Według najnowszego badania Organizacji Narodów Zjednoczonych do spraw Oświaty, Nauki i Kultury (UNESCO) oraz Kolegium Uniwersyteckiego w Londynie (UCL), niewielkie zmiany w budowie i wykorzystaniu algorytmów językowych mogą znacznie zmniejszyć zużycie energii bez wpływu na wydajność. Każde żądanie wysłane do ChatGPT zużywa średnio 0,34 Wh energii elektrycznej.
Chatbot otrzymuje około miliarda pytań dziennie. Stanowi to 310 GWh rocznie, co odpowiada rocznemu zużyciu energii elektrycznej przez 3 miliony ludzi w Etiopii. Aby zmniejszyć zużycie energii, które rośnie tylko w miarę rozprzestrzeniania się stosowania sztucznej inteligencji (AI), UNESCO opowiada się za zmniejszeniem rozmiaru modeli.
Formułowanie prostszych zapytań
Formułowanie krótszych zapytań i ograniczenie wielkości odpowiedzi modeli AI zmniejsza zużycie energii o 50 procent, według autorów raportu. Preferowane jest też korzystanie z małych modeli, a połączenie dwóch metod, a mianowicie użycie małych modeli językowych z krótkimi pytaniami lub instrukcjami, skutkuje 90-procentową redukcją zużywanej energii. Jednocześnie jest zachowana przy tym wysoka wartość odpowiedzi.
Zespół informatyków z UCL zidentyfikował trzy innowacje, które umożliwiają znaczne oszczędności energii, bez wpływu na wyniki. Po pierwsze stosowanie mniejszych modeli, dostosowanych do konkretnych zadań – takich jak tłumaczenie lub podsumowywanie – może znacznie zmniejszyć zużycie energii bez utraty wydajności. Po drugie, krótsze, bardziej zwięzłe podpowiedzi i odpowiedzi mogą zmniejszyć zużycie energii o ponad 50 procent. Po trzecie – kompresja modelu może zaoszczędzić do 44 procent energii. Zdaniem raportu UNESCO te trzy techniki są przydatne w środowiskach o niskich zasobach, gdzie brakuje energii i wody. Małe modele są znacznie bardziej dostępne w miejscach o niskich zasobach i ograniczonej łączności.
Ślad energetyczny AI
UNESCO, które ma mandat wspierania swoich 194 państw członkowskich w ich cyfrowych transformacjach, dostarcza im spostrzeżeń w celu opracowania energooszczędnej, etycznej i zrównoważonej polityki sztucznej inteligencji. W 2021 roku państwa członkowskie Organizacji jednogłośnie przyjęły zalecenie UNESCO w sprawie etyki sztucznej inteligencji, ramy zarządzania, które zawierają zorientowany na politykę rozdział, dotyczący wpływu AI na środowisko i ekosystemy.
Ten nowy raport wzywa rządy i przemysł do inwestowania w zrównoważone badania i rozwój AI, a także umiejętność czytania i pisania w zakresie sztucznej inteligencji. Raport ma na celu umożliwienie użytkownikom lepsze zrozumienie wpływu korzystania z AI na środowisko i podejmowanie bardziej świadomych decyzji. Zdaniem Tawfik Jelassi, zastępcy Dyrektora Generalnego ds. Komunikacji i Informacji w UNESCO – „Roczny ślad energetyczny Generative AI jest już równoważny śladowi energii w kraju o niskich dochodach i rośnie wykładniczo. Aby sztuczna inteligencja była bardziej zrównoważona, potrzebujemy zmiany paradygmatu w sposobie jej wykorzystania i musimy edukować konsumentów o tym, co mogą zrobić, aby zmniejszyć swój wpływ na środowisko”.
Ogromne zużycie energii przez zapytania
Według UNESCO, każdego dnia prośby, o średniej długości 300 słów, stanowią odpowiednik zużycia energii elektrycznej przez 38 000 gospodarstw domowych w Wielkiej Brytanii. Zapytania tego samego typu – tylko 150 słów do małego wyspecjalizowanego modelu językowego – reprezentują zużycie energii elektrycznej w mniej niż 4000 domach. Giganci technologiczni świadomi tego problemu energetycznego, mają teraz miniaturowe wersje w swoim asortymencie, z mniejszą liczbą parametrów, swoich dużych modeli językowych. Google sprzedaje na przykład Gemmę, Microsoft ma Phi-3, a OpenAI ma GPT-4o mini. Generatywne narzędzia sztucznej inteligencji są obecnie używane przez ponad 1 miliard ludzi dziennie. W tym raporcie zespół informatyków z UCL przeprowadził serię oryginalnych eksperymentów na wielu różnych otwartych dużych modelach językowych Large Language Mode (LLM).
UNESCO / Marcin Jóźwicki
