“Es domāju, ka tas ļauj mums būt pārdomātākiem un pārdomātākiem par drošības jautājumiem,” saka Altmans. “Daļa no mūsu stratēģijas ir: pakāpeniskas pārmaiņas pasaulē ir labākas nekā pēkšņas pārmaiņas.” Vai arī, kā teica OpenAI viceprezidente Mira Moratti, kad es viņai jautāju par drošības komandas darbu, kas ierobežo atvērtu piekļuvi programmatūrai: “Ja mēs iemācīsimies ieviest šīs jaudīgās tehnoloģijas, sāksim, kad likmes ir ļoti zemas. .
Kamēr pats GPT-3 OpenAI darbojas ar 285 000 CPU kodoliem superdatoru klasterī Aiovas štatā, un tas darbojas ārpus Sanfrancisko misijas apgabala, atjaunotā bagāžas rūpnīcā. Pagājušā gada novembrī es tur satiku Iļju Sotskeferu, mēģinot izvilināt nespeciālista skaidrojumu par to, kā patiesībā darbojas GPT-3.
“Tā ir GPT-3 pamatideja,” Sotskevers uzmanīgi sacīja, noliecoties uz priekšu krēslā. Viņam ir interesants veids, kā atbildēt uz jautājumiem: daži nepatiesi iesākumi — “Es varu sniegt jums aprakstu, kas aptuveni atbilst jūsu pieprasītajam aprakstam” — tos pārtrauc ilgas meditatīvas pauzes, it kā viņš zīmē visu notiekošo atbildi.
Viņš beidzot teica: “GPT-3 pamatideja ir veids, kā saistīt intuitīvu izpratnes jēdzienu ar kaut ko, ko var izmērīt un saprast mehāniski, un tas ir uzdevums paredzēt nākamo vārdu tekstā. Citas mākslīgā intelekta formas mēģina iekodēt informāciju par pasauli: lielo meistaru šaha stratēģijas, klimatoloģijas principi. Bet GPT-3 inteliģence, ja to apzīmē inteliģence, nāk no apakšas uz augšu: izmantojot elementāro darbības vārdu, lai paredzētu nākamo vārdu. GPT-3 apmācībai modelim tiek dota “uzvedne” — daži teikumi vai teksta rindkopas, piemēram, no laikraksta raksta, romāna vai zinātniska raksta, un pēc tam tiek lūgts ieteikt iespējamo vārdu sarakstu. varētu pabeigt secību, sakārtotu pēc varbūtības. Apmācības sākumposmā piedāvātie vārdi ir muļķības. Pajautājiet algoritmam ar teikumu, piemēram, “Rakstītājs ir izdzēsis pēdējo vārdu no pirmā vārda…” un minējumi būtu kā muļķību straume: saraksts – parādās pareizais trūkstošais vārds: “rindkopa.” Pēc tam programma stiprina un vājina visus nejaušos neironu savienojumus, kas ģenerē konkrēto ieteikumu Visi savienojumi, kas ģenerēja nepareizus minējumus. Pēc tam tas pāriet uz nākamo maršrutētāju. Laika gaitā, veicot pietiekamas atkārtojumus, programma mācās.
Jau janvārī OpenAI pievienoja funkciju, kas ļauj lietotājiem sniegt tiešus GPT-3 norādījumus kā uzvedni, nevis tikai pieprasīt, lai viņi paplašinātu teksta parauga segmentu. Piemēram, izmantojot palīdzības režīmu, GPT-3 reiz tika dota uzvedne: “Uzrakstiet eseju, kurā apspriesta metafikcijas loma Italo Kalvīno darbā.” Īsa rindkopa, kas sākās šādi:
Itāļu autors Italo Kalvino tiek uzskatīts par ekspertu metafikcijas jomā, rakstīšanas veidā, kurā autors pārrauj ceturto sienu, lai apspriestu pašu rakstīšanas aktu. Kalvīno metafiction ir veids, kā izpētīt realitātes būtību un veidus, kā stāsti var veidot mūsu pasaules uztveri. Viņa romāni bieži ietver rotaļīgas struktūras un labirintus, kas manipulē ar robežām starp realitāti un fantāziju. Gadījumā, ja ceļotājs ir, piemēram, ziemas naktī, lasītāju nepārtraukti pārtrauc diskusijas lasīšanas akta metalīmenī un stāstīšanas būtību. . . .
Jūs varat dot GPT-3 tieši to pašu uzvedni atkal un atkal, un katru reizi tas ģenerēs unikālu atbildi, dažas pārliecinošākas par citām, bet gandrīz visas ir ļoti vienkāršas. Indikatīvas uzvednes var izpausties visdažādākajās formās: “Sniedziet man sarakstu ar visām Boloņas mērces sastāvdaļām”, “Uzrakstiet dzejoli par Francijas piejūras ciematu Džona Ešberija stilā”, “Izskaidrojiet lielo sprādzienu valodā, ka 8 g. -vecais saprot.” Dažkārt pirmo reizi, kad baroju ar šāda veida GPT-3 stimuliem, es jutu, ka pār manu muguru noslīdēja īstas zosāda. Šķita, ka mašīnai ģenerēt tik skaidru un atsaucīgu tekstu, kas pilnībā balstīts uz sākotnējo apmācību, lai paredzētu. nākamais vārds.
Taču mākslīgajam intelektam ir sena vēsture, kas rada inteliģences vai izpratnes ilūziju, faktiski nepiegādājot preces. plkst daudz apspriests papīrs Pagājušajā gadā publicētā Vašingtonas Universitātes valodniecības profesore Emīlija Bendere, bijušais Google pētnieks Timnits Gebru un līdzautoru grupa paziņoja, ka lielie valodu modeļi ir tikai “gadījuma papagaiļi”: tas ir, programma izmantoja randomizāciju tikai, lai remiksētu teikumus, ko rakstījis cilvēki.. Benders man nesen pa e-pastu teica: “Tas, kas ir mainījies, nav kaut kāds solis virs noteikta sliekšņa virzienā uz “mākslīgo intelektu”. Tā vietā, viņa teica, mainījušies ir “aparatūra, programmatūra un ekonomiskie jauninājumi, kas ļauj uzkrāt un apstrādāt milzīgus apjomus. datu kopas” — kā arī kultūra Tehnoloģija, kas „var būt cilvēkiem, kuri būvē un pārdod šādas lietas”, nebūt neveido to uz neprecīzu datu pamatiem.
