W dzisiejszych czasach technologia rozwija się w niesamowitym tempie, a sztuczna inteligencja staje się coraz bardziej dostępna i powszechna. Możemy ją wykorzystać nie tylko w naszych telefonach czy komputerach, ale t akże w naszych domach. Wyobraźcie sobie, że możecie rozmawiać ze swoim domem, wydawać mu polecenia głosowe, a on będzie reagował natychmiast, dostosowując się do Waszych potrzeb i preferencji. Dodatkowo interakcja z Twoim smart home może odbywać się w formie humorystycznej konwersacji lub formalnego small talku. To wszystko jest możliwe dzięki integracji AI z platformą Home Assistant.
Na początku pokażę jak zintegrować darmową wersję Gemini, następnie skonfiguruję Chata GPT – do którego będzie potrzeba dokonania opłaty. Postanowiłem tak zrobić, ponieważ wiele osób już teraz opłaca korzystanie z wyższej wersji GPT więc być może będzie chciało wykorzystać jego potencjał w Home Assistant. Dodatkowo możecie chcieć wykorzystać integrację Ollama, czyli bezpłatnego i lokalnego asystenta sztucznej inteligencji, który niestety nie integruje się z wyzwalaczami zdań oraz ta integracja wymaga zewnętrznego serwera Ollama, który jest dostępny dla systemów macOS, Linux i Windows. Możesz go zainstalować lokalnie, ale przy tym byłoby więcej pracy więc w tym poradniku tę integrację pominiemy. Tutaj możecie zobaczyć jak wypada porównanie różnych modeli sztucznej inteligencji w Home Assistant (https://www.home-assistant.io/blog/2024/06/07/ai-agents-for-the-smart-home/#ai-agents)
Google GEMINI AI
Integracja z Google Generative AI dodaje agenta konwersacji opartego na Google Generative AI w Home Assistant. Opcjonalnie można zezwolić na kontrolowanie Home Assistant.
Sterowanie Home Assistant odbywa się poprzez zapewnienie dostępu AI do Assist API Home Assistant. Możesz kontrolować, do jakich urządzeń i podmiotów może uzyskać dostęp ze strony odsłoniętych podmiotów . AI jest w stanie dostarczyć Ci informacji o Twoich urządzeniach i je kontrolować.
Ta integracja nie integruje się z wyzwalaczami zdań.
Do korzystania z tej integracji wymagany jest klucz API, który możesz wygenerować tutaj i znajdować się w jednym z dostępnych regionów.
Parametry:
Model – Model używany do generowania odpowiedzi.
Temperatura
Kreatywność dozwolona w odpowiedziach. Wyższe wartości generują bardziej losowe i zróżnicowane odpowiedzi. Temperatura równa zero będzie deterministyczna.
Top P
Próg wiarygoności dla próbkowania top-p.
Top K
Liczba najwyżej ocenionych tokenów do uwzględnienia podczas generowania.
Maksymalna liczba tokenów zwracanych w odpowiedzi
Maksymalna liczba słów lub „tokenów”, które powinien wygenerować model sztucznej inteligencji.
Ustawienia bezpieczeństwa
Jakie treści mają być blokowane oraz w jakim stopniu.
OPENAI – Chat GPT
Integracja OpenAI dodaje agenta konwersacyjnego obsługiwanego przez OpenAI w Asystencie Domowym.
Sterowanie Home Assistant odbywa się poprzez zapewnienie dostępu AI do Assist API Home Assistant. Możesz kontrolować, do jakich urządzeń i podmiotów może uzyskać dostęp ze strony odsłoniętych podmiotów . AI jest w stanie dostarczyć Ci informacji o Twoich urządzeniach i je kontrolować.
Ta integracja nie integruje się z wyzwalaczami zdań .
Do korzystania z tej integracji wymagany jest klucz API, który można wygenerować tutaj.. Jest to usługa płatna, radę monitorować koszty w portalu (chodź podczas korzystania z Home Assistant te koszty są niewielkie) OpenAI ściśle i skonfiguruj limity użytkowania aby uniknąć niepożądanych kosztów związanych z korzystaniem z usługi.
Parametry:
Model wykorzystany do analizy – listę znajdziesz na portalu openAI
Temperatura
Wartość, która określa poziom kreatywności. Przy niskiej temperaturze otrzymasz konkretne odpowiedzi — potrzebne, gdy tworzysz wyjaśnienie zawiłej kwestii lub opisujesz prowadzone badania. Średnia temperatura zapewnia równowagę generowanej treści pomiędzy kreatywnością a dokładnością. A wysoka temperatura kreatywne, różnorodne, nieprzewidywalne odpowiedzi, które obrazują twórcze myślenie!
Top P
Alternatywa dla temperatury, top_p określa proporcję najbardziej prawdopodobnych wyborów słów, które model powinien wziąć pod uwagę podczas generowania tekstu. Czyli im niższy ten parametr to dla tego samego zapytania powinny generować się takie same odpowiedzi, natomiast wyższy będzie skutkował różnymi zdaniami odpowiedzi, zachowując sens i kontekst samej odpowiedzi.
Extended OpenAI Conversation
Ta integracja wprowadza dodatkowe funkcje, które nie były dostępne w głównej integracji a są to:
Dodatkowe funkcje
- Możliwość wywołania usług Home Assistant czyli korzystania z polecenia call service
- Możliwość tworzenia automatyzacji
- Możliwość pobierania danych z zewnętrznego API lub stron internetowych
- Możliwość pobierania historii stanu encji
- Możliwość przekazywania nazwy zalogowanego użytkownika do OpenAI w kontekście wiadomości
Po zainstalowaniu tego dodatku pokażę Wam w jaki sposób zostanie przygotowana automatyzacja. Sztuczna inteligencja sama przygotuje kod automatyzacji oraz wybierze odpowiednie encje z naszego serwera Home Assistant.
Oraz w tym miejscu przekazywane są wszystkie encje, które zostały udostępnione do wykorzystania dla Asystentów głosowych (przypominam, że te można udostępnić w zakładce Ustawienia > Asystenci głosowi > Udostępnij )
Automatyzacje
Przejdźmy teraz do stworzenia automatyzacji, która po wywołaniu dzwonka analizuje osobę przed drzwiami i wysyła powiadomienie ze zdjęciem oraz opisem na Twój telefon. Oczywiście to będzie pełna automatyzacja, aby pokazać możliwości, ale Ty możesz wykorzystać tylko jej część. Nie musisz wysyłać zdjęcia, jeżeli Gemini opisze Ci je, a dodatkowo możesz zamiast wysyłać powiadomienie na telefon wysłać je na głośnik i podczas gdy będziesz szedł do drzwi, usłyszysz kto czeka na Ciebie przed drzwiami.
Prompt dotyczący oceny jakości powietrza
Jesteś konsultantem ds. zdrowia i środowiska i odpowiadasz za
zapewnienie zdrowej jakości powietrza w moim domu. Podziel się
przemyśleniami na temat jakości powietrza w odniesieniu do pogody na
zewnątrz oraz naszych bieżących ustawień w domu. \_ Obecny czas
{{now()}}, jakość powietrza w domu na podstawie pyłów PM 2,5
{{states('sensor.smartmi_air_purifier_pm2_5')}} µg/m³, temperatura w
domu {{states('sensor.nspanell_analog_temperature1')}} temperatura na
zewnątrz {{state_attr('weather.dom', 'temperature')}} oraz warunki na
zewnątrz {{states('sensor.weather_forecast_daily')}}Porównanie modeli AI
Tutaj jeszcze nie przeprowadziłem wszystkich testów, ale na pewno się pojawią i w tym miejscu przeanalizuję różne modele sztucznej inteligencji w Smart Home, żeby pokazać Wam w jaki sposób każdy z nich reaguje i się zachowuje. Mam w planie wybrać najlepszego z nich do zastosowań w Home Assistant, sprawdzić czasy reakcji, koszty w przypadku Chata GPT dla różnych modeli oraz poprawność odpowiedzi dla tych samych zapytań w przypadku Gemini i GPT.
AI w Home Assistant inne możliwości
Chciałbym zebrać w tym miejscu jeszcze pomysły, którymi możecie się inspirować podczas wdrażania sztucznej inteligencji w swoim domu, jeżeli Wy macie jakieś pomysły to ja chętnie przetestuję je u siebie. Wszystko co się będzie pojawiać ciekawego będą w międzyczasie zbierał i aktualizował ten wpis blogowy.
Z mojego doświadczenia warto skonfigurować oba czaty sztucznej inteligencji. Każdy z nich ma inne możliwości i może być wykorzystywany do realizacji innych działań.
Pamiętajcie że najważniejsze jest aby przekazać do promptu (czyli tego zapytania przekazywanego do sztucznej inteligencji) jak najwięcej danych. Ważne są do dla niego wszystkie informacje (tak jak dla człowieka) m.in. o dacie, porze roku, informacjach z sensorów, czujników, encji. Wtedy przeanalizowane dane i odpowiedź będzie pełniejsza i bardziej przydatna dla nas i innych domowników.
W tym momencie polecam Wam wdrożenie u siebie scenariuszy, jedne z ciekawszych to właśnie
- Opisanie zdjęcia z kamery lub wizjera
- Poranna rutyna – Powiedz wychodzę do pracy – a AI sprawdzi pogodę i zaproponuje odpowiednie ubranie następnie sprawdzić dane na temat jakości powietrza lub natężenia ruchu, a po przeanalizowaniu danych powie jaki najlepiej wybrać środek transportu
- Raz dziennie może przygotować sprawdzenie czy dashboard serwisowy jest ok i przypomnieć o wykonaniu zadań dla głównego użytkownika
- Scena o 21 idziemy spać. Przygotuj automatyzacje która reaguje i wykonuje zadania. Zapytaj czy przygotować romantyczny wieczór?
- Sprawdzić na weekend czy warto podlać kwiaty, posprzątać dom przygotować śmieci.
- AI może analizować dane z czujników światła i ruchu, aby automatycznie włączać i wyłączać światło w zależności od potrzeb. Może również dostosowywać jasność i barwę światła do pory dnia lub nastroju mieszkańców.
- AI może również być kompanem do rozmowy, tworząc odpowiednią konfigurację asystenta głosowego możesz prowadzić dyskusje Czatem GPT lub Gemini na tematy nie związane ze Smart Home.
Cześć, próbuję ogarnąć jak zmusić AI do sprawdzenia czegoś w internecie, np repertuar kin lub jaki jest ruch uliczny na drodze do mojej pracy. Cy udało Ci się to rozwiązać?