Kontentke ótiw

PaLM

Wikipedia, erkin enciklopediya

PaLM (ingl. Pathways Language Model, PaLM) — Google AI tárepinen jaratılǵan 540 milliard parametrli transformatorǵa tiykarlanǵan úlken til modeli.[1] Izertlewshiler sonday-aq model masshtabınıń tásirin tekseriw ushın PaLM-niń kishi versiyaların, 8 hám 62 milliard parametr úlgilerin oqıttı.

PaLM keń kólemli wazıypalardı orınlawǵa uqıplı, sonıń ishinde parasatlı pikirlew, arifmetikalıq pikirlew, házil menen túsindiriw, kod jaratıw hám awdarma.[2][3][4] Oylaw dizbegi usınısı menen biriktirilgende, PaLM sóz mashqalaları hám logikaǵa tiykarlanǵan sorawlar sıyaqlı bir neshe basqıshlardı tiykarlawdı talap etetuǵın maǵlıwmatlar jıynaǵında aytarlıqtay jaqsıraq ónimlilikke eristi.[1][5]

Model birinshi ret 2022 jıl aprelde járiyalandı hám Google PaLM menen basqa da bir neshe texnologiyalar ushın API iske qosılǵanǵa deyin, yaǵnıy 2023 jıl martqa shekem qupıya bolıp qaldı.[6] API dáslep kópshilikke shıǵarılǵanǵa shekem kútiw dizimine qosılǵan baǵdarlamashılardıń sheklengen sanına ashıq boldı.[7]

Google hám DeepMind PaLM 540B-nıń Med-PaLM dep atalatuǵın versiyasın islep shıqtı, ol medicinalıq maǵlıwmatlar boyınsha aldınǵı modellerden ústem boldı.[8] Med-PaLM AQSHtıń medicinalıq licenziyalaw sorawları boyınsha ótiw balın birinshi bolıp aldı hám kóp tańlawlı, ashıq sorawlarǵa anıq juwap beriw menen birge, ol dálillerdi támiyinleydi hám óz juwapların bahalay aladı.[9]

Google sonıń menen qatar robotlı manipulyaciya ushın paydalanılıwı múmkin PaLM-E zamanagóy kóriw tili modelin jaratıw ushın kóriw transformatorınıń járdemi menen PaLM-di keńeytti.[10] Model robototexnikadaǵı wazıypalardı qayta tayarlawdı yamasa anıq sazlawdı talap etpesten básekige shıdamlı túrde orınlay aladı.[11]

Google 2023 jıl may ayında jıllıq Google I/O tiykarǵı bayanatında PaLM 2 tuwralı járiyaladı.[12] PaLM 2 3,6 trillion tokende tayarlanǵan 340 milliard parametrli model bolıp tabıladı.[13]

2023 jıl iyunda Google PaLM-2 arxitekturası menen inicializaciyasın paydalanatuǵın sóylewden sóylewge awdarıw ushın AudioPaLM járiyaladı.[14]

Qaraqalpaq tili[redaktorlaw | derekti redaktorlaw]

Google 2024 jıl 27-iyun sánesinde Google Translate baǵdarlamasına jańa 110 tildiń qosılǵanın járiyaladı.[15] Google Translate kólemin keńeytiw ushın jasalma intellekt járdeminde PaLM 2 úlken til modeli menen jańa 110 til qosıldı.[16] Degen menen olardıń qatarına qaraqalpaq tili qosılmadı. Onıń bir neshe sebeplerin keltiriwge boladı. PaLM 2 parallel kóp tilli tekstte hám hár túrli tillerdiń anaǵurlım úlken korpusın aldınnan tayarlaydı. PaLM joqarı sapalı veb-hújjetlerdi, kitaplardı, Wikipedianı, sóylesiwlerdi hám GitHub kodın qamtıytuǵın inglis hám kóp tilli maǵlıwmatlar jıynaǵın paydalanıw arqalı oqıtıldı.[17] Al bul parallel maǵlıwmatlar jıynaǵında qaraqalpaq tili resursları derlik az. Usılardı esapqa alsaq qaraqalpaq tilindegi materiallar parallel inglis tilinde járiyalansa, qaraqalpaq tili Google Translate-ke qosılıw imkaniyatı artadı. Qaraqalpaq internet resursların tallap qarasaq, veb saytlardaǵı resurslardıń inglisshe awdarması derlik joq, al qaraqalpaqsha Wikipedia materiallarında inglis tilinen awdarılǵan materiallar az. Sapası jaǵınan da tolıq jaqsı dep bahalaw qıyın. Sonlıqtan aldaǵı waqıtta sapalı resurslar sanı artsa, PaLM 2 úlken til modeline qaraqalpaq tilide qosılıwı múmkin.

Oqıtıw[redaktorlaw | derekti redaktorlaw]

PaLM hár túrli til wazıypaları menen paydalanıw jaǵdayların óz ishine alatuǵın 780 milliard tokennen ibarat joqarı sapalı korpusta aldınnan tayarlanǵan. Bul maǵlıwmatlar jıynaǵı filtrlengen veb-betlerdi, kitaplardı, Wikipedia maqalaların, jańalıqlar maqalaların, GitHub-taǵı ashıq derek repozitoriylerden alınǵan derek kodtı hám sociallıq media sóylesiwlerin qamtıydı.[1] Ol Google LaMDA modelin úyretiw ushın paydalanatuǵın maǵlıwmatlar jıynaǵına tiykarlanǵan.[5] Maǵlıwmatlar jıynaǵında social media sóylesiw bólimi korpustıń 50% quraydı, bul modelge onıń sóylesiw imkaniyatlarına járdemlesedi.[5]

PaLM 540B eń úlken TPU konfiguraciyası bolǵan model menen maǵlıwmatlar parallelizmniń kombinaciyasın paydalanıp qosılǵan 768 xostqa biriktirilgen hárbir Pod-да 3072 TPU v4 chipleri bar eki TPU v4 Pod boyınsha oqıtıldı.[18] Bul 6144 mikrosxemanı paydalanıp, masshtabta ónimli oqıtıwǵa imkaniyat berdi hám usı shkaladaǵı LLM ushın erisilgen oqıtıwdıń eń joqarı ónimliligi rekordın belgiledi: FLOP apparatlıq qurallardı paydalanıw 57,8%.[2]

Derekler[redaktorlaw | derekti redaktorlaw]

  1. ↑ 1,0 1,1 1,2 Narang. „Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance“ (en). ai.googleblog.com. Qaraldı: 17-mart 2023-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "blog" defined multiple times with different content
  2. ↑ 2,0 2,1 Anadiotis. „Google sets the bar for AI language models with PaLM“. VentureBeat (12-aprel 2022-jıl). Qaraldı: 17-mart 2023-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "venturebeat" defined multiple times with different content
  3. ↑ Bastian. „Google PaLM: Giant language AI can explain jokes“. the decoder (5-aprel 2022-jıl). Qaraldı: 17-mart 2023-jıl.
  4. ↑ „Google: Why Is No One Talking About PaLM“ (en). seekingalpha.com (12-dekabr 2022-jıl). Qaraldı: 17-mart 2023-jıl.
  5. ↑ 5,0 5,1 5,2 Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named paper
  6. ↑ Vincent. „Google opens up its AI language model PaLM to challenge OpenAI and GPT-3“. The Verge (14-mart 2023-jıl). Qaraldı: 17-mart 2023-jıl.
  7. ↑ Huffman. „PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications“ (en). Qaraldı: 17-mart 2023-jıl.
  8. ↑ „MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor“. The Medical Futurist (17-yanvar 2023-jıl). Qaraldı: 17-mart 2023-jıl.
  9. ↑ Matias. „Our latest health AI research updates“ (en-us). Google (14-mart 2023-jıl). Qaraldı: 17-mart 2023-jıl.
  10. ↑ Driess. „PaLM-E: An embodied multimodal language model“ (en). ai.googleblog.com. Qaraldı: 17-mart 2023-jıl.
  11. ↑ Edwards. „Google's PaLM-E is a generalist robot brain that takes commands“ (en-us). Ars Technica (7-mart 2023-jıl). Qaraldı: 17-mart 2023-jıl.
  12. ↑ Lardinois. „Google launches PaLM 2, its next-gen large language model“. TechCrunch (10-may 2023-jıl). 10-may 2023-jılda túp nusqadan arxivlendi. Qaraldı: 10-may 2023-jıl.
  13. ↑ Elias. „Google's newest A.I. model uses nearly five times more text data for training than its predecessor“. CNBC (16-may 2023-jıl). Qaraldı: 18-may 2023-jıl.
  14. ↑ „AudioPaLM“. google-research.github.io. Qaraldı: 30-iyun 2023-jıl.
  15. ↑ https://blog.google/products/translate/google-translate-new-languages-2024/
  16. ↑ https://support.google.com/translate/answer/15139004?sjid=15406272473604331471-EU
  17. ↑ https://research.google/blog/pathways-language-model-palm-scaling-to-540-billion-parameters-for-breakthrough-performance/?_gl=1*1x6bkuj*_ga*NjgyMDM1MjEyLjE3MTk5MjQ5NzU.*_ga_KFG60X3H7K*MTcyMDEyMTc3My40LjAuMTcyMDEyMTc3My4wLjAuMA..
  18. ↑ „An empirical analysis of compute-optimal large language model training“ (en). www.deepmind.com. Qaraldı: 17-mart 2023-jıl.
«https://kaa.wikipedia.org/w/index.php?title=PaLM&oldid=86554» saytınan alınǵan