Microsoft izlaiž Phi-3, savu līdz šim mazāko AI modeli

Microsoft ir laidusi klajā nākamo sava vieglā ar AI darbināmā modeļa versiju Phi-3 Mini, kas ir pirmais no trim mini modeļiem, ko uzņēmums plāno izlaist.

Phi-3 Mini mēra 3,8 miljardus parametru un ir apmācīts mazākā datu kopā, salīdzinot ar Phi-3 Mini Lieli valodu modeļi, piemēram, GPT-4. Tagad tas ir pieejams pakalpojumos Azure, Hugging Face un Ollama. Microsoft plāno izlaist Phi-3 Small (7B parametri) un Phi-3 Medium (14B parametri). Parametri norāda sarežģīto instrukciju skaitu, ko modelis var saprast.

Uzņēmums decembrī laida klajā Phi-2, kas darbojās līdzīgi lielākiem modeļiem, piemēram, Llama 2. Microsoft saka, ka Phi-3 darbojas labāk nekā iepriekšējā versija un var sniegt atbildes gandrīz 10 reizes lielākam modelim nekā tas spēj.

saka Ēriks Boids, Microsoft Azure AI platformas korporatīvais viceprezidents mala Phi-3 Mini ir līdzīgas iespējas kā LLM programmām, piemēram, GPT-3.5 “tikai mazākā formātā”.

Salīdzinot ar lielākajiem kolēģiem, AI modeļi ir mazi Tos bieži ir lētāk vadīt, un tie darbojas labāk personīgi Ierīces, piemēram, tālruņi un klēpjdatori. informācija Šī gada sākumā es ziņoju, ka Microsoft veido komandu, kas īpaši koncentrējās uz viegliem AI modeļiem. Kopā ar Phi uzņēmums izveidoja arī Orca-Math, modeli, kas koncentrējas uz matemātisko problēmu risināšanu.

Izstrādātāji apmācīja Phi-3, izmantojot “mācību programmu”, saka Boids. Viņus iedvesmoja tas, kā bērni mācās no stāstiem pirms gulētiešanas, grāmatām, kurās ir vienkāršāki vārdi, un teikumu struktūrām, kas runā par lielākām tēmām.

“Tur nav pietiekami daudz bērnu grāmatu, tāpēc mēs izveidojām sarakstu ar vairāk nekā 3000 vārdiem un lūdzām LLM izveidot “bērnu grāmatas”, lai mācītu Fai,” saka Boids.

Viņš piebilda, ka Phi-3 vienkārši balstās uz to, ko iepriekšējās iterācijas ir iemācījušies. Kamēr Phi-1 koncentrējās uz programmēšanu un Phi-2 sāka mācīties domāt, Phi-3 ir labāk programmēšana un argumentācija. Lai gan Phi-3 modeļu komplektam ir zināmas vispārīgas zināšanas, tas nevar pārspēt GPT-4 vai citu LLM platuma ziņā — pastāv liela atšķirība atbilžu veidā, ko varat saņemt no pilnībā tiešsaistē apmācīta LLM salīdzinājumā ar mazāku modeli. piemēram, Phi -3.

Boids saka, ka uzņēmumi bieži atklāj, ka mazāki modeļi, piemēram, Phi-3, labāk darbojas viņu pielāgotajām lietojumprogrammām, jo ​​daudziem uzņēmumiem to iekšējās datu kopas jebkurā gadījumā būs mazākas. Tā kā šie modeļi patērē mazāk skaitļošanas jaudas, tie bieži ir daudz lētāki.