Jaunā Google AI meklēšana joprojām sniedz faktus pēc 11 mēnešu testēšanas

Hm, neviens no šiem skaitļiem summējas.

Google muļķīgajai rīcībai ir nozīme, jo tās AI skatās jūsu meklējumus Agrāk vai vēlāk. Tas jau bija uzņēmums Pārbaudes Šis jaunais Google — saukts par ģeneratīvās meklēšanas eksperimentu jeb SGE — ir bijis kopā ar brīvprātīgajiem aptuveni 11 mēnešus, un nesen Google galvenajos rezultātos sāka rādīt AI atbildes. Pat cilvēkiem, kuri nav pierakstījušies pārbaudei.

Jaunais Google var paveikt dažas noderīgas lietas. Bet, kā jūs redzēsit, viņš dažreiz arī izdomā faktus, nepareizi interpretē jautājumus, sniedz novecojušu informāciju un parasti izpļāpā. Vēl ļaunāk, pētnieki atklāj, ka mākslīgais intelekts bieži izceļ zemas kvalitātes vietnes kā uzticamus informācijas avotus.

Parasti es nepārskatu produktu, kas vēl nav pabeigts. Taču šis Google nākotnes tests ilgst gandrīz gadu, un tagad izdarītās izvēles ietekmēs to, kā miljardiem cilvēku iegūst informāciju. Uz spēles ir likta arī pašreizējā mākslīgā intelekta trakuma pamatideja: tehnoloģija var aizstāt vajadzību pašiem meklēt lietas, vienkārši sniedzot mums atbildes. Ja uzņēmums ar Google naudu un skaitļošanas jaudu nevar gūt panākumus, kurš to var?

SGE apvieno jums zināmo meklētājprogrammu ar tērzēšanas robota iespējām. Papildus tradicionālajiem rezultātiem SGE raksta tiešas atbildes uz vaicājumiem, mijas ar saitēm, lai dotos dziļāk.

SGE ir atbilde uz faktu, ka daži cilvēki, tostarp es, sāk vērsties pie AI, piemēram, ChatGPT, lai uzzinātu sarežģītākus jautājumus vai ja mums nav vēlmes lasīt dažādas vietnes. Viensmeklēšanas optimizācijas uzņēmums, lēš, ka, izmantojot SGE, lietotāja kopējais meklēšanas ceļš var samazināties 10 līdz 20 reizes, apvienojot priekšrocības, mīnusus, cenas un citu informāciju vienuviet.

Zinošs atbilžu robots šķiet noderīgs, jo mūsu uzmanības apjoms samazinās. Taču Google ir daudz darāmā. Mēs sagaidām, ka meklēšana būs ātra, taču Google AI atbildes aizņem mokošas sekundes vai divas. Google ir jālīdzsvaro jau tā trauslā tīmekļa ekonomika, kur tās AI atbildes var nozagt trafiku no izdevējiem, kuri veic smago un dārgo darbu, lai faktiski meklētu lietas.

Vissvarīgākais ir tas, ka jaunajam Google ir jāpilda savs solījums, ka tas spēs konsekventi un pareizi atbildēt uz mūsu jautājumiem. Šeit es koncentrēju savu testēšanu un turpināju atrast piemērus, kur Google AI veiktspēja bija sliktāka nekā tā priekšgājējam.

Google AI atbilžu pārbaude

Bieži vien, kad meklējat Google tīklā, jūs patiešām vēlaties iegūt informāciju vai saiti. Ikdienā jaunais Google bieži ir kaitinošs, jo tā AI ir tik runīgs.

Muļķīgs piemērs: “Ko ēd transformatori?”

AI atbilde man teica, ka izdomātajiem robotiem īsti nav nepieciešams ne ēst, ne dzert, lai gan viņiem ir vajadzīga kāda veida degviela. Tikmēr vecajam Google bija viena vārda atbilde, ko es meklēju: Energon. (Tā ir sava veida burvju degviela.) Šo atbildi saņēmu no jaunā Google, vienkārši ritinot lapu uz leju.

Tas notiek ne tikai ar kosmosa robotiem. Kad SE Ranking, uzņēmums, kas specializējas meklētājprogrammu optimizācijā, Pārbaudīts Izmantojot 100 000 atslēgvārdu vaicājumu, SGE atklāja, ka vidējā atbilde bija 3485 rakstzīmes — jeb aptuveni trešdaļa no šīs kolonnas garuma. Viens no izaicinājumiem, ar ko Google saskaras, ir zināt, kad tā AI ir labāk vienkārši klusēt; Dažreiz SGE lūgs jums nospiest pogu “Izveidot”, pirms ievadāt atbildi.

Pats galvenais, meklējot, mēs sagaidām pareizo informāciju. Google apgalvo, ka SGE ir priekšrocības ChatGPT, jo tās zināšanas ir atjauninātas.

Tomēr es atklāju, ka jaunais Google joprojām cīnās ar nesenajām lietām. Trīs dienas pēc Pēdējā ASV Kinoakadēmijas balvu pasniegšanas reizē es meklēju “Oskars 2024”. Viņa man teica, ka Oskari vēl ir gaidāmi, un uzskaitīja dažus kandidātus.

Un nekas vairāk nemazina manu pārliecību par Google AI atbildēm, kā tikai vērošana, kā tas pārliecinoši izdomā lietas.

Tas ietver faktus par jums patiešām. Es viņam pajautāju par godalgotu seriālu, ko rakstīju laikrakstam Washington Post, un viņš to attiecināja uz kādu svešinieku, pēc tam iedeva man saiti uz citu vietni.

Tad pienāca laiks, kad SGE ar prieku radīja informāciju par kaut ko, kas neeksistē. Es jautāju par restorānu Sanfrancisko ar nosaukumu Danny's Dan Dan Noodles, un viņš man teica, ka tajā ir “traks gaidīšanas laiks”, un aprakstīja tā ēdienu.

Problēma ir tāda, ka šis ir viltots veikals, kuru es nosaucu sava iecienītākā ķīniešu ēdiena vārdā. Google mākslīgajam intelektam nebija problēmu iegūt informāciju par šo tēmu.

Tā sauktās halucinācijas par reāliem un viltotiem priekšmetiem ir zināma pašreizējā mākslīgā intelekta problēma. Atruna SGE rezultātu augšpusē norāda, ka “ģeneratīvais AI ir eksperimentāls”, taču tas neatrisina problēmu. Google ir jāiemācās pateikt “es nezinu”, ja tas nav pārliecināts.

Lai sniegtu mums atbildes uz visu, Google AI ir jāidentificē uzticami avoti. Es neesmu ļoti pārliecināts par viņas spriedumu.

Atcerieties mūsu trakos rezultātus par Cukerberga tīro vērtību? Profesionāls pētnieks, kā arī vecais Google, varētu ieteikt pārbaudīt miljardieru sarakstu Forbes. Google atbilde uz AI balstījās uz ļoti dīvainu atbildi ZipRecruiter Marka Cukerberga darba vietu lapa, kas neeksistē.

Manos testos aizdomīgi avoti bija paraugs. Pēc Onely ieteikuma es jautāju jaunajam Google, kurš ir uzticamāks: Apple iPhone vai Samsung tālruņi. Kā ilggadējs recenzents es varu jums pastāstīt daudz labu informācijas avotu par šo tēmu, tostarp profesionālus žurnālistus un remontdarbu organizācijas, piemēram, iFixit.

Tā vietā AI citē nejaušus cilvēku viedokļus, kas iegūti no sociālajiem medijiem. Ja neskaita viena Reddit lietotāja pieredzes ierobežoto lietderību, kā Google zina, ka tā nav viltota tālruņa ražotāja publicēta atsauksme?

“Google SGE darbojas saskaņā ar atšķirīgu noteikumu kopumu salīdzinājumā ar tradicionālo meklētājprogrammu, ko mēs zinām šodien,” sacīja Tomeks Rudzki, Onely pētniecības un attīstības vadītājs.

SEO uzņēmumi mēģina veikt SGE vērtību kvantitatīvus pētījumus, lai gan tos ierobežo Google prasības testa aprēķiniem. Taču viņi atklāja līdzīgu modeli, kas saistīts ar atvienošanos starp vietnēm, uz kurām saistīja vecais un jaunais Google. SEO programmatūras uzņēmums iestādes Marta beigās es pārbaudīju meklējumus, izmantojot tūkstošiem iepirkšanās vienumu, un atklāju, ka 77 procentos gadījumu pirmā tradicionālā meklēšanas rezultāta domēns nekur neparādījās AI rakstītajā atbildē.

Pētījumā par 100 000 meklēto atslēgvārdu SE reitings Es atklāju, ka jautājumu un atbilžu pakalpojums Quora ir SGE visvairāk saistītais resurss; LinkedIn un Reddit ierindojās piektajā un sestajā vietā. Cik bieži šie avoti būtu pieņemami 8. klases pētnieciskajā darbā?

ieslēgts Meklē tehnoloģiju tēmas – Ietverot daudz jautājumu “kā to izdarīt” – SE Ranking atklāja, ka visatbilstošākais domēns ir simplelearn.com. Es par to iepriekš neesmu dzirdējis; Vietne sevi raksturo kā “tiešsaistes sāknēšanas nometni”.

“Šī tendence ne tikai samazina meklēšanas rezultātu kvalitāti, bet arī samazina trafiku un ieņēmumus daudziem maziem uzņēmumiem, tostarp saistītajām vietnēm,” saka Anastasija Kotsiubinska, SE Ranking SEO vadītāja.

Google saka, ka SGE ir abonēšanas pieredze. Bet Google jau ir paskrējis garām Gaidāmās beigas Pagājušā gada decembrī tas nesniedza nekādu atjauninājumu par to, kad pētījums būs pieejams ikvienam. Iespējams, ka Google neuzskata, ka SGE ir pietiekami precīzs, ātrs vai ienesīgs, un viņi galu galā to būtiski mainīs.

Viņiem būtu prātīgi iet lēnām, pat ja Google šķiet, ka tā atpaliek no AI sacīkstēm. Microsoft konkurējošā meklētājprogramma Bing veica līdzīgu mākslīgā intelekta remontu 2023. gada februārī, taču tā AI joprojām ir pazīstama ar to, ka tā ir novirzījusies no ceļa.

Intervijā Elizabete Reida, Google vadošā viceprezidente SGE, raksturoja to kā nepabeigtu darbu.

“Mēs patiešām koncentrējamies uz to, lai nodrošinātu, ka pieredze patiešām ir pareiza. Tam ir daudz dažādu faktoru, piemēram, latentums, precizitāte un izpalīdzība,” sacīja Rīds. “Ko esam atklājuši, atkārtojot un mācīšanās ir tāda, ka tas ir ļoti smalks.” Citiem vārdiem sakot, ir reizes, kad AI ir noderīgs, citreiz nē, un Google joprojām cenšas izdomāt, kur novilkt robežu.

Kad es dalījos ar piemēriem šajā slejā, Reids man teica, ka SGE halucināciju līmenis ir “ļoti zems” un ir “ievērojami samazinājies” kopš SGE darbības uzsākšanas maijā, lai gan viņa atteicās izteikties konkrēti.

“Es nevēlos samazināt tā nozīmi, tas ir tehnoloģiju izaicinājums” un kaut kas, “pie kā mēs patiešām strādājam,” sacīja Reids. Viņa piebilda, ka saišu ievietošana blakus AI atbildēm ir svarīga, lai cilvēki varētu paši pārbaudīt faktus.

Šis ir ieteikums. Tā kā Google atzīst, ka faktu pareiza noteikšana ir problēma, tai rūpīgi jāizpauž savi dati, pirms piedāvā SGE plašākai auditorijai. Ar miljardiem meklējumu katru dienu pat 0,001 procents var radīt daudz dezinformācijas.

Vēl viena joma, uz kuru Google koncentrējas, ir “censties nodrošināt, ka mēs pēc iespējas ātrāk nonākam pie jautājuma būtības un pēc tam sniegt papildu skaidrojumus”, sacīja Reids.

Attiecībā uz zemas kvalitātes avotu atsaukšanu Google ir iebildusi pret ārējiem pētījumiem par SGE, sakot, ka tas ir balstīts uz ierobežotāku meklēšanu, nekā Google uzskata par praktisku. Bet viņa atteicās dalīties ar saviem datiem.

SGE nav cita standarta nekā vecajam Google, sacīja Reids. “Mēs redzam, ka avoti parādās arvien vairāk,” viņa piebilda, “taču mērķis ir turpināt izvirzīt kvalitatīvu saturu priekšplānā.”

Cilvēkiem ir pietiekami grūti izvēlēties, kam ticēt. Kas liek Google domāt, ka pašreizējā AI tehnoloģija, kas pazīstama kā LLM vai lielo valodu modeļi, spēj sasniegt šo uzdevumu?

“Viņi nav ideāli,” sacīja Reids. “Mēs vēlamies izmantot šo pārdomāto pieeju, jo cilvēku uzticēšanās Google ir ļoti svarīga.”

No tā ir atkarīga mūsu informācijas nākotne.