Mąstymo mašinų laboratorija nori, kad AI modeliai būtų nuoseklesni

Labai domėjosi tuo, ką „Mira Murati“ mąstymo mašinų laboratorija kuria savo 2 milijardus dolerių sėklų finansavimo ir buvusių „Openai“ tyrėjų, kurie prisijungė prie laboratorijos, „Visų žvaigždžių“ komanda. Trečiadienį paskelbtame tinklaraščio įraše „Murati“ tyrimų laboratorija pasauliui pirmą kartą apžvelgė vieną iš jo projektų: kurti AI modelius su atkuriamais atsakymais.

Tyrimų tinklaraščio įraše, pavadinimu „Nenugalimas neterminizmo llm išvadoje“, bando išpakuoti pagrindinę priežastį, dėl kurios atsitiktinumas pateikia AI modelio atsakymus. Pvz., Keletą kartų užduokite „ChatGpt“ tą patį klausimą ir greičiausiai gausite platų atsakymų spektrą. Tai iš esmės buvo priimta AI bendruomenėje kaip faktas-šiandienos AI modeliai laikomi nereerminuojančiomis sistemomis, tačiau „Mąstymo mašinų laboratorija“ tai laiko išsprendžiama problema.

Įrašas, autorius pagal „Mind Mochines Lab“ tyrėją Horace'ą, teigia, kad pagrindinė AI modelių atsitiktinumo priežastis yra GPU branduolių būdas – mažos programos, veikiančios „NVIDIA“ kompiuterio lustų viduje – yra susiuvamos sujungimo apdorojimu (viskas, kas įvyksta po to, kai paspausite Enter Chatgpt). Jis siūlo, kad kruopščiai kontroliuojant šį orkestravimo sluoksnį, AI modelius įmanoma padaryti labiau determinuotus.

Be patikimesnių atsakymų įmonėms ir mokslininkams, jis pažymi, kad gaudami AI modelius, kad būtų galima generuoti atkuriamus atsakymus, taip pat galėtų pagerinti stiprinimo mokymosi (RL) mokymą. RL yra AI modelių apdovanojimo už teisingus atsakymus procesas, tačiau jei visi atsakymai yra šiek tiek skirtingi, tada duomenys tampa šiek tiek triukšmingi. Sukūrę nuoseklesnius AI modelio atsakymus, visas RL procesas gali padaryti „sklandesnį“, pasak jo. „Mąstymo mašinų laboratorija“ investuotojams sakė, kad ji planuoja naudoti RL, kad pritaikytų AI modelius įmonėms, anksčiau pranešta apie anksčiau.

Buvęs „Openai“ vyriausiasis technologijų pareigūnas Murati liepą sakė, kad ateinančiais mėnesiais bus atidengtas pirmasis „Mąstymo mašinų laboratorijos“ produktas ir kad jis bus „naudingas tyrėjams ir pradedantiesiems kurti pasirinktinius modelius“. Vis dar neaišku, kas yra tas produktas, ar jis panaudos šio tyrimo metodus, kad sukurtų daugiau atkuriamų atsakymų.

„Mąstymo mašinų laboratorija“ taip pat teigė, kad planuoja dažnai skelbti tinklaraščio įrašus, kodą ir kitą informaciją apie savo tyrimus, stengdamasis „naudotis visuomenei, bet taip pat pagerinti mūsų pačių tyrimų kultūrą“. Šis įrašas, pirmasis naujojoje bendrovės tinklaraščių serijoje „Connectionizm“, atrodo, yra šių pastangų dalis. Kai buvo įkurta, „Openai“ taip pat įsipareigojo atidaryti tyrimus, tačiau įmonė tapo labiau uždaryta, nes ji tapo didesnė. Pažiūrėsime, ar Murati tyrimų laboratorija išliks ištikima šiam teiginiui.

Tyrimų tinklaraštis siūlo retą žvilgsnį į vieną slapčiausių Silicio slėnio AI startuolių. Nors jis tiksliai neatskleidžia, kur veikia technologija, tai rodo, kad „Mąstymo mašinų laboratorija“ nagrinėja didžiausią klausimą AI tyrimų pasienyje. Tikrasis testas yra tai, ar „Mąstymo mašinų laboratorija“ gali išspręsti šias problemas ir gaminti produktus, susijusius su tyrimais, kad pateisintų jos 12 milijardų dolerių vertę.