Meta направи своята технология за изкуствен интелект с отворен код

Според Meta по-малките модели, обучени върху повече лексеми, са по-лесни за повторно обучение и прецизна настройка за конкретна употреба. Компанията твърди, че по-големите ѝ модели LLaMA 65B и 33B са обучени върху 1.4 трлн. лексеми, а най-малкият - 7B, върху 1 трлн. Според технически преглед на GPT-3, публикуван от Lambdalabs, езиковият модел на OpenAI е обучен върху 300 млрд. лексеми.

АIс отворен код

Според Ян ЛеКун, главен специалист по AI в Meta, нарастващата потайност в Google и OpenAI е "огромна грешка" и "много лош подход към това, което се случва". Той твърди, че потребителите и правителствата ще откажат да приемат изкуствения интелект, ако той не е извън контрола на компании като Google и Meta. "Искате ли всяка система за изкуствен интелект да бъде под контрола на няколко мощни американски компании, казва той, цитиран от The New York Times. Платформата, която ще спечели, ще бъде отворената."

LLaMA е публикуван под некомерсиален лиценз, насочен към изследователска дейност, като Meta предоставя достъп до него за всеки конкретен случай на проверени лица, свързани с организации от правителствения сектор, гражданското общество и академичните среди, както и на индустриални изследователски лаборатории, но в началото на март моделът изтича в публичното пространство, след като е публикуван в онлайн форума 4chan.

На 13 март изследователи от Станфордския университет публикуват демо на своя чатбот Alpaca, базиран на LLaMA 7B, като те заявяват, че според предварителната им оценка Alpaca се представя подобно на text-davinci-003 (GPT-3.5), "като същевременно е изненадващо малък и лесен/евтин за възпроизвеждане (<600$)". Подобно на други чатботове обаче Alpaca е склонен да "халюцинира" - уверено предоставяне на невярна информация, както и да използва обиден език. Демото е премахнато по-малко от седмица след като е било стартирано поради съображения за безопасност и нарастващите разходи.

"Първоначалната цел на пускането на демото беше да разпространим изследванията си по достъпен начин. Смятаме, че в по-голямата си част сме постигнали тази цел, и предвид разходите за хостинг и неадекватността на нашите филтри за съдържание, решихме да свалим демото", казва в изявление за онлайн изданието The Register говорител на Станфордският институт за изкуствен интелект, ориентиран към човека.

В края на март LMSYS Org, организация, основана от студенти и преподаватели от UC Berkeley в сътрудничество с UCSD и CMU, публикува чатбота Vicuna, базиран на LLaMA 13B. Според предварителна оценка, направена от GPT-4, Vicuna постига качество, подобно на Bard на Google, и над 90% от качеството на ChatGPT, като същевременно превъзхожда други модели като LLaMA и Alpaca. LMSYS заявява, че цената за тренирането на Vicuna е около 300 долара.

В изтекъл вътрешен документ, публикуван от Semianalysis в началото на месеца, изследовател от Google заявява, че "ние не сме в позиция да спечелим тази надпревара, а също така и OpenAI". Той добавя, че въпреки че моделът на Google все още има леко предимство, дистанцията се скъсява бързо, и че "в дългосрочен план най-добрите модели са тези, които могат да се обновяват бързо".

Опасения за безопасността

Решението на Meta изненада технологичния свят. Безплатният достъп до "перлата в короната" на Meta, след публикуването на кода на системата и одобряване поотделно на всеки желаещ, дал имейла си на компанията, обаче крие рискове според някои експерти, а и конкуренти, съобщава New York Times.

На практика компанията дава технологията си с изкуствен интелект като софтуер с отворен код, който може да бъде копиран, променен и използван повторно, безплатно, предоставяйки на външни хора всичко, което им трябва, за да създадат чатботове сами.

Google, OpenAI и други критикуват Meta, като твърдят, че подходът с неограничен отворен код е опасен. "Искаме да мислим по-внимателно за разкриването на подробности или отварянето на кода на технологията на изкуствения интелект, каза Зубин Гахрамани, вицепрезидент на Google по научните изследвания, цитиран от The New York Times. Къде това може да доведе до злоупотреба?" Този месец Сам Олтман, изпълнителният директор на OpenAI, свидетелства пред Американския конгрес относно рисковете, свързани с изкуствения интелект, призовавайки за неговата регулация.

ЛеКун твърди, че този вид технология не е толкова опасна, колкото изглежда, като според него малък брой лица вече могат да генерират и разпространяват дезинформация и реч на омразата. Той добавя, че токсичните материали могат да бъдат строго ограничени от социални мрежи като Facebook. "Не можете да попречите на хората да създават безсмислици или опасна информация, или каквото и да било друго, смята той. Но можете да спрете разпространението им."