Gemini, AI klienti un jaunais Google palīgs tālrunī Pixel 4

Pēdējā laikā arvien vairāk tiek runāts par to, ka mākslīgā intelekta aģenti saņem komandu un faktiski veic uzdevumu, ieskaitot nepieciešamos tālruņa pieskārienus un vilkumus. Šīs runas par AI aģenta izveidi man ļoti atgādina “jauno Google palīgu”, par kuru tika paziņots kopā ar Pixel 4 2019. gadā.

2019. gada I/O izstādē Google debitēja šo nākamās paaudzes palīgu. Hipotēze bija tāda, ka audio apstrāde ierīcē liks “pieskarties, lai ieslēgtu tālruni, justies gandrīz gausa”.

Google parādīja vienkāršas komandas, kas ietvēra lietojumprogrammu atvēršanu un vadīšanu, savukārt sarežģītākā ideja bija “kā ierīces iebūvētais palīgs var koordinēt uzdevumus dažādās lietojumprogrammās”. Piemērs bija ienākoša teksta saņemšana, atbildēšana ar balsi un pēc tam doma meklēt pievienoto attēlu un nosūtīt to. Spēja “palaist” un “vairākuzdevumu veikšana” tiek papildināta ar Gmail dabiskās valodas “komponēšanas” iespēju.

Šis nākamās paaudzes palīgs ļaus jums nekavējoties vadīt tālruni ar balsi, veikt vairākus uzdevumus dažādās lietotnēs un veikt sarežģītas darbības, praktiski bez latentuma.

Jaunais palīgs tika palaists Pixel 4 tālrunī vēlāk tajā pašā gadā un kļuva pieejams visās nākamajās Google ierīcēs.

• “Take a selfie.” Pēc tam sakiet “Share this with Ryan”.
• Sarunas pavedienā sakiet “Atbildēt, es esmu ceļā.”
• “Atrast jogas nodarbības pakalpojumā YouTube.” Pēc tam sakiet: “Kopīgojiet to ar mammu.”
• “Show me emails from Michelle on Gmail.”
• Kamēr ir atvērta lietotne Google fotoattēli, sakiet “Show me photos of New York”. Pēc tam sakiet “tie, kas atrodas Centrālajā parkā”.
• Kad pārlūkā Chrome ir atvērta recepšu vietne, varat teikt: “Meklēt šokolādes riekstu smalkmaizītes”.
• Kamēr ceļojumu lietotne ir atvērta, sakiet “Viesnīcas Parīzē”.

Šī ir AI aģentu pamatideja. Pagājušajā mēnesī Alphabet zvana laikā Sundar Pichai tika jautāts par ģeneratīvā AI ietekmi uz palīgu. Viņš sacīja, ka tas ļaus Google Assistant “laika gaitā darboties kā starpniekserveris” un “pārsniegt atbildes un sekot lietotājiem”.

saskaņā ar informācija Šonedēļ OpenAI strādā pie ChatGPT starpniekservera:

“Šāda veida pieprasījumi mudinātu aģentu veikt klikšķus, kursora kustības, teksta ievadīšanu un citas darbības, ko cilvēki veic, strādājot ar dažādām lietojumprogrammām, saskaņā ar personu, kas pārzina šo darbu.”

Pēc tam ir lielas darbības modeļa (LAM) Rabbit, kas ir apmācīts mijiedarboties ar esošajām mobilajām ierīcēm un darbvirsmas saskarnēm, lai veiktu noteiktu uzdevumu.

Versija, ko 2019. gadā ieviesa Google asistents, bija ļoti iepriekš ieprogrammēta, tāpēc lietotājiem bija jāpieņem noteiktas frāzes, nevis jāļauj cilvēkiem runāt dabiski un pēc tam automātiski jāizceļ darbība. Tajā laikā Google teica, ka Asistents “nevainojami darbojas ar daudzām lietotnēm” un ka tas “laika gaitā turpinās uzlabot lietotņu integrāciju”. Cik mums zināms, tas nekad nav noticis, savukārt dažas Google piedāvātās iespējas vairs nedarbojas lietojumprogrammas maiņas dēļ. Īsts aģents spēs pielāgoties, nevis paļauties uz noteiktiem nosacījumiem.

Ir viegli saprast, kā LLM varētu to uzlabot, jo Google Research pagājušajā gadā demonstrēja darbu pie “Sarunas mijiedarbības iespējošana ar mobilo interfeisu, izmantojot lielus valodu modeļus“.

Google pētījumi parādīja, ka viņu pieeja spēj “ātri saprast mobilā lietotāja interfeisa nolūku”:

Interesanti, ka mēs novērojām, ka LLM studenti izmantoja savas iepriekšējās zināšanas, lai, veidojot kopsavilkumus, secinātu informāciju, kas nav parādīta lietotāja saskarnē. Tālāk esošajā piemērā LLM secināja, ka metro stacijas pieder Londonas metro sistēmai, savukārt ievades lietotāja saskarnē šī informācija nav ietverta.

Tā var arī atbildēt uz jautājumiem par saturu, kas parādās lietotāja saskarnē, un kontrolēt to pēc tam, kad ir saņemti norādījumi dabiskā valodā.

Šķiet, ka iepriekšējie centieni ir radušies tāpēc, ka Google novēloti nākt klajā ar ideju un tai nebija vajadzīgās tehnoloģijas. Tagad, kad esam tikuši tik tālu, Google būtu gudrs, ja šīs pūles piešķirs par prioritāti, lai tā varētu sākt līderpozīcijas, nevis censties panākt.