Bugete exorbitante pentru antrenarea AI: cât de mult costă să creezi un model de vârf, ca ChatGPT

„Acum, 100 de milioane. Există modele în antrenament astăzi care costă mai mult de un miliard,” a adăugat Amodei. „Cred că dacă vom ajunge la zece sau o sută de miliarde, iar îmbunătățirile algoritmice și cele ale cipurilor vor continua într-un ritm susținut, atunci cred că există o șansă bună ca până atunci să obținem modele mai bune decât majoritatea oamenilor în cele mai multe lucruri”, a spus Dario Amodei, citat de publicația tomshardware.

Compania Anthropic a fost înființată în 2021 de Dario Amodei și sora sa, Daniela, după ce au părăsit OpenAI, compania din spatele ChatGPT. Anthropic a lansat Claude, un nou model de inteligență artificială. De asemenea, giganții din IT, Google și Amazon, au investit în acest start-up.

CEO-ul Anthropic a menționat aceste cifre în timp ce discuta dezvoltarea inteligenței artificiale de la inteligența artificială generativă (cum ar fi ChatGPT) la inteligența artificială generală (AGI). El a spus că nu va exista un singur punct în care să atingem brusc AGI. În schimb, va fi o dezvoltare graduală în care modelele se bazează pe dezvoltarea modelelor anterioare, la fel cum învață un copil uman.

Astfel, dacă modelele AI devin de zece ori mai puternice în fiecare an, ne putem aștepta în mod rațional ca hardware-ul necesar pentru antrenarea lor să fie de cel puțin zece ori mai puternic. Prin urmare, hardware-ul ar putea fi cel mai mare factor de cost în antrenarea AI. În 2023, s-a raportat că ChatGPT ar necesita mai mult de 30.000 de GPU-uri, iar Sam Altman a confirmat că antrenarea ChatGPT-4 a costat 100 de milioane de dolari.

Anul trecut, peste 3,8 milioane de GPU-uri au fost livrate către centre de date. Având în vedere că cel mai recent cip AI B200 de la Nvidia costă între 30.000 și 40.000 de dolari, putem presupune că estimarea de un miliard de dolari a lui Dario pentru 2024 este realistă. Dacă progresele în cercetarea modelelor și cuantizării continuă să crească exponențial, specialiștii se  așteaptă ca cerințele hardware să urmeze același trend, cu excepția cazului în care tehnologii mai eficiente, precum cipul Sohu AI, devin mai răspândite.

Putem deja observa această creștere exponențială în acțiune. Elon Musk dorește să achiziționeze 300.000 de cipuri AI B200, în timp ce OpenAI și Microsoft planifică, potrivit zvonurilor, un centru de date AI de 100 de miliarde de dolari. Cu toată această cerere, am putea vedea livrările de GPU-uri către centre de date să crească până la 38 de milioane anul viitor, dacă Nvidia și alți furnizori pot face față pieței.

Cu toate acestea, pe lângă furnizarea hardware-ului efectiv al cipurilor, aceste companii AI trebuie să fie preocupate și de alimentarea cu energie electrică și infrastructura asociată. Consumul total estimat de energie al tuturor GPU-urilor pentru data center vândute anul trecut ar putea alimenta 1,3 milioane de locuințe. Dacă cerințele de energie ale centrelor de date continuă să crească exponențial, este posibil să rămânem fără suficientă electricitate la prețuri accesibile. În plus, deși aceste centre de date au nevoie de centrale electrice, ele necesită și o rețea electrică complet modernizată, capabilă să gestioneze toți electronii de care cipurile AI consumatoare de energie au nevoie pentru a funcționa. Din acest motiv, multe companii de tehnologie, inclusiv Microsoft, iau acum în considerare energia nucleară modulară pentru centrele lor de date.