Apple šodien izlaida vairākus atvērtā pirmkoda lielo valodu modeļus (LLM), kas ir paredzēti darbam ierīcē, nevis mākoņserveros. LLM programmas, ko sauc par OpenELM (Open Source Efficient Language Models), ir pieejamas vietnē Apskaujošās sejas centrālais elementskopiena AI koda kopīgošanai.
Kā parādīts baltajā grāmatā [PDF],Kopā ir astoņi OpenELM modeļi, no kuriem četri ir iepriekš sagatavoti, izmantojot CoreNet bibliotēku, un četri ir modeļi ar norādījumiem. Apple izmanto slāņu mērogošanas stratēģiju, kuras mērķis ir uzlabot precizitāti un efektivitāti.
Apple nodrošināja kodu, apmācības žurnālus un vairākas versijas, nevis tikai galīgo apmācības modeli, un projekta pētnieki cer, ka tas nodrošinās ātrāku progresu un “uzticamākus rezultātus” dabiskās valodas AI jomā.
OpenELM, atvērts valodas modelis, kas attīstās. OpenELM izmanto slāņu mērogošanas stratēģiju, lai efektīvi piešķirtu parametrus katrā transformatora modeļa slānī, tādējādi uzlabojot precizitāti. Piemēram, ja parametru budžets ir aptuveni 1 miljards parametru, OpenELM uzrāda 2,36% precizitātes uzlabojumu salīdzinājumā ar OLMo, vienlaikus iepriekšējai apmācībai ir nepieciešams 2 reizes mazāk marķieru.
Atkāpjoties no iepriekšējās prakses, kas nodrošina tikai modeļu svarus, secinājumu kodu un iepriekšēju apmācību par privātām datu kopām, mūsu versijā ir iekļauts viss valodu modeļa apmācības un novērtēšanas ietvars publiski pieejamās datu kopās, tostarp apmācības žurnāli, vairāki kontrolpunkti un iepriekšēja apmācība. punktus. Apmācības konfigurācijas.
Apple saka, ka tas izlaiž OpenELM modeļus, lai “dotu iespēju un bagātinātu atvērto pētniecības kopienu” ar modernākajiem valodu modeļiem. Atklātā pirmkoda modeļu koplietošana sniedz pētniekiem iespēju izpētīt riskus, datus un modeļu novirzes. Izstrādātāji un uzņēmumi var izmantot veidnes tādas, kādas tās ir, vai veikt tajās izmaiņas.
Atklāta informācijas apmaiņa ir kļuvusi par svarīgu rīku Apple, lai pieņemtu darbā labākos inženierus, zinātniekus un ekspertus, jo tas sniedz iespējas pētniecības darbiem, kas parasti nebūtu publicēti saskaņā ar Apple konfidencialitātes politikām.
Apple savās ierīcēs vēl nav ieviesis šāda veida AI iespējas, taču sagaidāms, ka iOS 18 iekļaus vairākas jaunas AI funkcijas, un baumas liecina, ka Apple plāno privātuma nolūkos ierīcē palaist savus lielos valodu modeļus.
