Kontentke ótiw

Úlken til modeli

Wikipedia, erkin enciklopediya

Úlken til modeli yamasa LLM (ingl. Large language model, LLM) − ulıwma maqsetli til generaciyasına hám klassifikaciya sıyaqlı basqa tábiyiy tildi qayta islew wazıypalarına erisiw qábileti menen ózgeshelenetuǵın esaplaw modeli. Til modellerine tiykarlanıp, LLM bul qábiletlerdi esaplawda qızǵın ózin-ózi basqaratuǵın hám yarım baqlanatuǵın oqıw procesinde teksttiń úlken kóleminen statistikalıq baylanıslardı úyreniw arqalı aladı.[1] Úlken til modelleri tekstti jaratıw ushın, generativ jasalma intellekt túri, kiris tekstin alıw hám keyingi token yamasa sózdi qaytalap boljaw arqalı paydalanılıwı múmkin.

LLM − 2017 jılı oylap tabılǵan transformator arxitekturasın paydalanatuǵın jasalma neyron tarmaqlar bolıp tabıladı. 2024 jıl iyundaǵı eń úlken hám eń qábiletli LLM-ler tek dekoderlerge, transformatorǵa tiykarlanǵan arxitektura menen dúzilgen, ol úlken ólshemdegi keń kólemli tekstli maǵlıwmatlardı ónimli qayta islewge hám jaratıwǵa imkaniyat beredi.

Tariyxıy túrde, 2020 jılǵa shekem anıq sazlaw - modeldi belgili wazıypalarǵa beyimlew ushın qollanılatuǵın tiykarǵı metod edi. Degen menen, GPT-3 sıyaqlı úlkenirek modeller modeldiń juwapların basqarıw ushın arnawlı kirgiziw kórsetpelerin islep shıǵıwdı óz ishine alatuǵın operativ injenerlik (ingl. prompt engineering) arqalı uqsas nátiyjelerge erisiw imkaniyatın kórsetti. Bul modeller adam tiliniń korpusına tán sintaksis, semantika hám ontologiyalar ituwralı bilim aladı, biraq sonıń menen birge olar oqıtılatuǵın maǵlıwmatlarda ushırasatuǵın anıq emeslikler menen qátelerdi miyras etedi.

Ayırım kórnekli LLM-ler − OpenAI-diń GPT modeller seriyası (mısalı, ChatGPT hám Microsoft Copilot-te qollanılatuǵın GPT-3.5 hám GPT-4), Google-dıń Gemini, Meta-nıń LLaMA shańaraǵı modelleri, Anthropic's Claude modelleri hám Mistral AI modelleri usılar qatarınan.

Tariyxı

2017 jılǵa shekem sol waqıttaǵı múmkinshilikler menen salıstırǵanda úlken bolatuǵın bir neshe til modelleri bar edi. 1990 jılları IBM sáykesli modelleri statistikalıq tildi modellestiriwge túrtki boldı. 2001 jılı 0,3 milliard sózge úyretilgen tegislengen n-gramm modeli sol gezdegi SOTA maqsetine eristi.[2] 2000-jılları Internetti paydalanıw keń tarqalǵanlıqtan, ayırım izertlewshiler Internet masshtabındaǵı til maǵlıwmatlar jıynaǵın (“veb korpus retinde”) jarattı, sonıń tiykarında olar statistikalıq til modellerin oqıttı. 2009 jılı tildi qayta islew wazıypalarınıń kópshiliginde statistikalıq til modelleri simvollı modellerinen basım boldı, óytkeni olar úlken maǵlıwmatlar jıynaǵın paydalı túrde qabıllay aladı.

2012 jılı neyron tarmaqlar súwretlerdi qayta islewde basım bolǵannan keyin olar tildi modellestiriwge de qollanıldı. Google awdarma xızmetin 2016 jılı neyron mashina awdarmasına aylandırdı. Transformers-ke shekem bolǵanday, onı seq2seq deep LSTM tarmaqları tárepinen ámelge asırdı.

Original maqaladan transformator modeliniń tiykarǵı komponentleri kórinisi, bul jerde qabatlar kóp tárepli itibardan keyin (aldınǵı ornına) qálpine keltirilgen.

2017 jılǵı NeurIPS konferenciyasında Google izertlewshileri transformatorlardıń arxitekturasın “Itibar beriń - sizge kerek” maqalasında tanıstırdı. Bul hújjettiń maqseti 2014 Seq2seq texnologiyasın jetilistiriw edi,[3] hám tiykarınan 2014 jılı Baxdanau h.t.b tárepinen islep shıqqan zeyin mexanizmine tiykarlanǵan edi. Keyingi 2018 jılı BERT engizildi hám tez arada “barlıq jerde” boldı.[4] Túpnusqa transformatorda kodlawshı da, dekoder blokları bolsa da, BERT tek kodlawshıǵa arnalǵan model bolıp tabıladı.

Tek dekoder menen jumıs isleytuǵın GPT-1 2018 jılı engizilgeni menen, 2019 jılı GPT-2 kópshiliktiń itibarın tarttı, óytkeni OpenAI dáslebinde zıyanlı paydalanıwdan qorıqqanlıqtan onı kópshilikke shıǵarıw ushın dım kúshli dep esapladı.[5] 2020 jılı GPT-3 bir adım alǵa jıljıdı hám 2024 jıldan baslap tek API arqalı ashıq, ol modeldi jergilikli orınlaw ushın júklep alıwdı usınbaydı. Biraq bul 2022 jılǵı tutınıwshıǵa arnalǵan brauzer tiykarındaǵı ChatGPT ulıwma xalıqtıń qıyalın jawlap alıp, ayırım ǵalaba xabar qurallarında daw hám onlayn dawlı talqılawlar payda etti.[6] 2023 jılı GPT-4 joqarı anıqlıǵı ushın hám multimodal imkaniyatları ushın “qásiyetli reys” retinde joqarı bahalandı.[7] OpenAI joqarı dárejeli arxitekturanı hám GPT-4 parametrleriniń sanın anıqlamadı.

Básekiles til modelleri, eń bolmaǵanda parametrler sanı boyınsha GPT seriyasın teńlestiriwge háreket etti.[8]

2024 jılǵı jaǵday boyınsha eń úlken hám eń qábiletli modellerdiń barlıǵı Transformator arxitekturasına tiykarlanǵan. Ayırım sońǵı qosımshalar basqa arxitekturalarǵa tiykarlanǵan, mısalı qaytalanatuǵın neyron tarmaq variantları hám Mamba (mámleketlik kosmos modeli).

Maǵlıwmatlar jıynaǵın aldınnan qayta islew

Itimal tokenizaciya

Mashinalıq oqıtıw algoritmleri tekstti emes, sanlardı qayta isleytuǵınlıqtan, tekst sanlarǵa aylandırılıwı kerek. Birinshi adımda sózlik tuwralı sheshim qabıllanadı, sonnan keyin pútin indeksler hárbir sózlik jazıwǵa erikli túrde, biraq unikal tayınlanadı hám aqırında, jaylastırıw pútin indeks penen baylanıstırıladı. Algoritmlerge bayt jup kodlaw hám WordPiece kiredi.

Itimal tokenizaciya maǵlıwmatlar jıynaǵın da qısadı. LLM-lar ádette kiritiwdi qısqartılmaǵan massiv bolıwın talap etetuǵınlıqtan, qısqa tekstler eń uzın teksttiń uzınlıǵına sáykes kelgenshe “toltırılıwı” kerek. Bir sózge ortasha esap penen qansha token kerek ekenligi, maǵlıwmatlar jıynaǵınıń tiline baylanıslı.[9]

BPE

Bayt-juplı kodlawdıń modifikaciyasın qollanıp, birinshi adımda barlıq unikal simvollar (sonıń ishinde bos orınlar menen punktuaciyalıq belgileri) n-gramnıń dáslepki jıynaǵı (yaǵnıy, uni-grammlardıń dáslepki jıynaǵı) retinde qarastırıladı. Izbe-iz qońsı simvollardıń eń jiyi jubı bi-grammaǵa biriktiriledi hám juptıń barlıq danaları onıń menen almastırıladı. Jiyi jiyi ushırasatuǵın (aldın biriktirilgen) n-grammlardıń qońsı juplarınıń barlıq kórinisleri belgilengen ólshemdegi sózlik alınǵanǵa shekem qayta-qayta onnan da uzınıraq n-grammǵa biriktiriledi (GPT-3 jaǵdayında ólshem 50257).[10] Token sózligi nolden baslap leksikanıń ólshemine shekemgi pútin sanlardan ibarat. Jańa sózlerdi bárqulla tokenler menen baslanǵısh ornatılǵan unigrammalardıń kombinaciyası retinde túsindiriwge boladı.

Tiykarınan inglisshe korpustan alınǵan chastotalarǵa tiykarlanǵan token sózligi ortasha inglis tili sózi ushın ilajı barınsha az tokenlerdi paydalanadı. Inglis tilinde optimallastırılǵan tokenizator arqalı kodlanǵan basqa tildegi ortasha sóz, biraq tokenlerdiń optimal emes sanına bólinedi. GPT-2 tokenizatorı ayırım tiller ushın, mısalı Myanmadaǵı shan tilindegi sóz ushın 15 ese kóp tokenlerdi paydalana aladı. Inglis tili menen salıstırǵanda portugal hám nemis sıyaqlı keń tarqalǵan tillerde “50% ke teń”.

Mısalı, GPT-3 (Legacy) paydalanatuǵın tokenizator tómendegi gáp tokenizatorın qalay bóledi: tokenizer: texts -> series of numerical "tokens".

token izer :  texts  -> series  of  numerical  " t ok ens "

Maǵlıwmatlar jıynaǵın tazalaw

LLM oqıtıw konteksinde maǵlıwmatlar jıynaǵı ádette maǵlıwmatlar jıynaǵınan zıyanlı bóleklerdi óshiriw, sapası tómen maǵlıwmatlardı joq etiw hám qaytalawdı óshiriw arqalı tazartıladı. Tazalanǵan maǵlıwmatlar jıynaǵı oqıtıw ónimliligin arttırıp, tómen aǵımnıń ónimliligin jaqsılawǵa alıp keliwi múmkin.[11] Oqıtılǵan LLM keyingi LLM-dı oqıtıw ushın maǵlıwmatlar jıynaǵın tazalawda paydalanılıwı múmkin.

Internette LLM arqalı jaratılǵan kontent úlesiniń artıwı menen keleshekte maǵlıwmatlardı tazalaw bunday kontentti filtrlewdi qamtıwı múmkin. LLM arqalı jaratılǵan kontent, eger kontent adam tekstine uqsas bolsa (filtrdi qıyınlastıradı), biraq sapası tómen bolsa (onda oqıtılǵan modellerdiń ónimliligin tómenletse) mashqala payda bolıwı múmkin.

Sintetikalıq maǵlıwmatlar

Eń úlken til modellerin oqıtıw ushın tábiyiy qoljetimlilikten góre kóbirek til maǵlıwmatları kerek bolıwı múmkin yamasa tábiyiy túrde payda bolatuǵın maǵlıwmatlardıń sapası jetkiliksiz bolıwı múmkin. Bunday jaǵdaylarda sintetikalıq maǵlıwmatlar qollanılıwı múmkin. Microsoft korporaciyasınıń Phi LLM seriyası basqa LLM jaratqan sabaqlıqqa uqsas maǵlıwmatlarǵa úyretilgen.

Úyretiw hám arxitektura

Adamnıń keri baylanısınan oqıtıwdı kúsheytiw (RLHF)

Proksimal siyasattı optimallastırıw sıyaqlı algortimler arqalı Adamnıń keri baylanısınan oqıtıwdı kúsheytiw (ingl. Reinforcement learning from human feedback (RLHF)), adam qolaylıqlarınıń maǵlıwmatlar jıynaǵına tiykarlanǵan modeldi jáne de anıq sazlaw ushın paydalanıladı.

Kórsetpeni sazlaw

“Ózbetinshe kórsetpe beriw” usılların qollanıp, LLM-ler bir neshe jaǵdaydı adam tárepinen jaratılǵan dúzetiwlerden baslap hár qanday ápiwayı juwaplardı almastırıp, durıs juwaplardı júkley aldı. Mısalı, “Gamlette usınılǵan tiykarǵı temalar tuwralı esse jazıń” kórsetpesinde “Eger siz esseni 17 marttan keyin tapsırsańız, siziń bahańız keshiktirilgen hár bir kún ushın 10%-ke tómenleydi” degen baslanǵısh ápiwayı juwmaq bolıwı múmkin. Yaǵnıy korpustaǵı usı tekstli izbe-izliktiń chastotasına tiykarlanǵan.

Ekspertlerdiń aralasıwı

Eń úlken LLM oqıtıw hám tikkeley paydalanıw ushın dım qımbat bolıwı múmkin. Bunday modeller ushın Google izertlewshileri 2017 jıldan baslap 1 trillion parametrge shekem jetetuǵın modellerdi oqıtıw ushın alıp barılǵan izertlewlerdiń tarmaǵın ekspertler aralasıwın qollanıwǵa boladı.

Operativ injenerlik, itibar qaratıw mexanizmi hám kontekstli ayna

Aldın tek (qımbat) anıq sazlaw arqalı erisiwge bolatuǵın nátiyjelerdiń kópshiligine bir sóylesiw kólemi menen sheklengen bolsa da (anıǵıraq, kontekstli aynanıń kólemi menen sheklengen) operativ injenerlik (ingl. prompt engineering) arqalı erisiwge boladı.[12]

Hárbir bası óziniń kriteriyaları boyınsha "it_" tokeni ushın qanshelli basqa tokenlerdiń sáykes keletuǵının esaplaǵanda, ekinshi baǵana menen usınılǵan ekinshi itibar qaratıw basınıń birinshi eki qatarǵa, yaǵnıy tokenlerge kóbirek itibar qaratatuǵının este saqlań. "The" hám "animal", al úshinshi baǵana tiykarınan tómengi eki qatarǵa, yaǵnıy eki tokenge ajıratılǵan "tired" ke itibar qaratadı.[13]

Kontekstli ayna sheńberinde qanday tokenlerdiń bir-birine sáykes keletuǵının anıqlaw ushın itibar qaratıw mexanizmi hárqaysısınıń ózine tán “sáykesligi” bar bir neshe itibar qaratıw basların paydalanıw arqalı hárbir token ushın, anıǵıraq aytqanda, onı kirgiziw ushın “jumsaq” salmaqlardı esaplaydı. Mısalı, kishi (yaǵnıy 117M parametr ólshemi) GPT-2 modelinde on eki itibar qaratıw bası hám bar bolǵanı 1k tokennen ibarat konteksli ayna bar edi.[14] Ortasha versiyasında onıń 345M parametri bar hám hárqaysısında 12 itibar qaratıwshısı bar 24 qabattan ibarat. Gradient túsiwi bar shınıǵıwlar ushın 512 partiya ólshemi paydalanıldı.[15]

2024 jıl fevralda usınılǵan Google Gemini 1.5 sıyaqlı eń úlken modellerde 1 millionǵa shekemgi kontekstli aynası bolıwı múmkin (10 million konteksli ayna da “sátli testten ótken”).[16] Úlken kontekstli aynaları bar basqa modellerde 200 mıń tokenge shekemgi kontekstli aynası bar Anthropic's Claude 2.1.[17] Bul maksimal kiriwshi tokenleriniń sanına baylanıslı ekenin hám shıǵıwshı tokenleriniń maksimal sanı kiriwshiden ózgeshelenetuǵın hám jiyi kishirek bolatuǵının este saqlań. Mısalı, GPT-4 Turbo modeliniń maksimal shıǵıwshısı 4096 tokendi quraydı.[18]

Model keyingi juwaptı jaratıwda esapqa alatuǵın sáwbettiń uzaqlıǵı kontekstli aynanıń ólshemi menen de sheklenedi. Eger sóylesiwdiń uzaqlıǵı, mısalı ChatGPT menen onıń kontekstli aynasınan uzaǵıraq bolsa, keyingi juwaptı jaratıwda konteksli aynanıń ishindegi bólimler ǵana esapqa alınadı yamasa model dım alıs bólimlerdi sáwbetten ulıwmalastırıw ushın ayırım algoritmdi qollanıwı kerek.

Kontekstli aynanı úlkeytiwdiń kemshilikleri joqarı esaplaw bahasın hám jergilikli kontekstke itibar qaratıwdı qamtıydı, al onı kishireytiw modeldiń zárúrli uzaq múddetli ǵárezlilikti jiberip alıwǵa alıp keliwi múmkin. Olardı teńlestiriw eksperiment hám domenge tán pikirler máselesi bolıp tabıladı.

Model segmenttiń qalay dawam etetuǵının yamasa onıń oqıtıw maǵlıwmatlar jıynaǵınan segmentti esapqa alıp, segmentte neniń jetispeytuǵının boljaw ushın aldınnan tayarlanıwı múmkin.[19]

  • avtoregressiv (yaǵnıy segmenttiń qalay dawam etetuǵının, GPT onı qalay islewin boljaw): mısalı, “Men awqatlanǵandı unataman” segmenti berilgen, model “muzqaymaq” yamasa “sushi” di boljaydı.
  • “maskalanǵan” (yaǵnıy segmentte jetispeytuǵın bólimlerdi toltırıw, “BERT”[20] bunı islew usılı): mısalı, “Men [__] [__] kremdi unataman” segmentin esapqa alıp, model onı “jew” hám “muz” jetispeytuǵının boljaydı.

Modeller gáplerdiń jupları usınǵan hám model olardıń oqıw korpusında izbe-iz payda bolıwın boljawı kerek keyingi gápti boljaw (NSP) sıyaqlı maǵlıwmatlardı tarqatıwdı túsiniwin tekseretuǵın járdemshi wazıypalar boyınsha oqıtılıwı múmkin.[20] Shınıǵıw waqtında regulyarizaciyanıń joǵalıwı shınıǵıwlardı turaqlı etiw ushın da qollanıladı. Degen menen, regulyarizaciyanıń joǵalıwı ádette testlew hám bahalaw waqtında paydalanılmaydı.

Trening bahası

Programmalıq támiynat penen apparatlıq támiynattaǵı jetiskenlikler 2020 jıldan baslap shıǵınlardı aytarlıqtay tómenletti, usılayınsha 2023 jılı 12 milliard parametrli LLM esaplaw bahası 72 300 A100-GPU-saattı quraydı, al 2020 jılı 1,5 milliard parametrli LLM oqıtıw bahası (bul 2020 jılǵı texnikalıq dárejeden eki ese az edi) 80 mıń dollar menen 1,6 mln dollar aralıǵında edi.[21] 2020 jıldan baslap barǵan sayın úlken modellerge úlken summalar salındı. Mısalı, 2019 jılı GPT-2 (yaǵnıy 1,5 milliard parametrli model) oqıtıw 50 000 AQSH dolların qurasa, 2022 jılı PaLM (yaǵnıy, 540 milliard parametrli model) 8 million dollar, al Megatron-Turing NLG oqıtıw bahası 530B (2021 jılı) shama menen 11 million dollardan ibarat.[22]

Transformator tiykarındaǵı LLM ushın oqıtıw bahası juwmaqlawshı bahasınan álleqayda joqarı. Bir token boyınsha shınıǵıw ushın bir parametrde 6 FLOP turadı, al bir token boyınsha juwmaq shıǵarıw ushın bir parametrge 1-2 FLOP kerek.

Derekler

  1. ↑ „Better Language Models and Their Implications“. OpenAI (14-fevral 2019-jıl). 19-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 25-avgust 2019-jıl.
  2. ↑ Goodman, Joshua (2001-08-09), A Bit of Progress in Language Modeling, arXiv:cs/0108005
  3. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, Łukasz; Polosukhin, Illia (2017). "Attention is All you Need". Advances in Neural Information Processing Systems (Curran Associates, Inc.) 30. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf. 
  4. ↑ Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (2020). "A Primer in BERTology: What We Know About How BERT Works". Transactions of the Association for Computational Linguistics 8. https://aclanthology.org/2020.tacl-1.54. 
  5. ↑ Hern. „New AI fake text generator may be too dangerous to release, say creators“. The Guardian (14-fevral 2019-jıl). Qaraldı: 20-yanvar 2024-jıl.
  6. ↑ „ChatGPT a year on: 3 ways the AI chatbot has completely changed the world in 12 months“. Euronews (30-noyabr 2023-jıl). Qaraldı: 20-yanvar 2024-jıl.
  7. ↑ Heaven. „GPT-4 is bigger and better than ChatGPT—but OpenAI won't say why“. MIT Technology Review (14-mart 2023-jıl). Qaraldı: 20-yanvar 2024-jıl.
  8. ↑ „Parameters in notable artificial intelligence systems“. ourworldindata.org (30-noyabr 2023-jıl). Qaraldı: 20-yanvar 2024-jıl.
  9. ↑ Yennie Jun. „All languages are NOT created (tokenized) equal“. Language models cost much more in some languages than others (3-may 2023-jıl). — „In other words, to express the same sentiment, some languages require up to 10 times more tokens.“. 17-avgust 2023-jılda túp nusqadan arxivlendi. Qaraldı: 17-avgust 2023-jıl.
  10. ↑ „OpenAI API“. platform.openai.com. 23-aprel 2023-jılda túp nusqadan arxivlendi. Qaraldı: 30-aprel 2023-jıl.
  11. ↑ Li, Yuanzhi; Bubeck, Sébastien; Eldan, Ronen; Del Giorno, Allie; Gunasekar, Suriya; Lee, Yin Tat (2023-09-11), Textbooks Are All You Need II: phi-1.5 technical report, arXiv:2309.05463
  12. ↑ Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten et al. (31 August 2022). "Emergent Abilities of Large Language Models". Transactions on Machine Learning Research. ISSN 2835-8856. https://openreview.net/forum?id=yzkSU5zdwD. 
  13. ↑ Allamar. „Illustrated transformer“. Qaraldı: 29-iyul 2023-jıl.
  14. ↑ Allamar. „The Illustrated GPT-2 (Visualizing Transformer Language Models)“. Qaraldı: 1-avgust 2023-jıl.
  15. ↑ Paaß, Gerhard. Foundation Models for Natural Language Processing. 
  16. ↑ „Our next-generation model: Gemini 1.5“. Google (15-fevral 2024-jıl). Qaraldı: 18-fevral 2024-jıl.
  17. ↑ „Long context prompting for Claude 2.1“ (6-dekabr 2023-jıl). Qaraldı: 20-yanvar 2024-jıl.
  18. ↑ „Rate limits“. openai.com. Qaraldı: 20-yanvar 2024-jıl.
  19. ↑ Zaib, Munazza; Sheng, Quan Z.; Emma Zhang, Wei „A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP“,. Proceedings of the Australasian Computer Science Week Multiconference, 4 February 2020 — 1–4 bet. DOI:10.1145/3373017.3373028. ISBN 9781450376976. 
  20. ↑ 20,0 20,1 Jurafsky, Dan; Martin, James H.. Speech and Language Processing, 7 January 2023.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "jm" defined multiple times with different content
  21. ↑ Wiggers. „The emerging types of language models and why they matter“. TechCrunch (28-aprel 2022-jıl).
  22. ↑ Maslej, Nestor; Fattorini, Loredana; Brynjolfsson, Erik; Etchemendy, John; Ligett, Katrina; Lyons, Terah; Manyika, James; Ngo, Helen; Niebles, Juan Carlos (2023-10-05), Artificial Intelligence Index Report 2023, arXiv:2310.03715

Silteme kórsetiwdegi qátelik: <ref> tag with name "palm-blog" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "glam-blog" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "lamda-blog" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "mtnlg-preprint" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "llama-blog" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "15Brelease" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "chinchilla-blog" defined in <references> is not used in prior text.
Silteme kórsetiwdegi qátelik: <ref> tag with name "chatgpt-blog" defined in <references> is not used in prior text.

Silteme kórsetiwdegi qátelik: <ref> tag with name "vb-gpt-neo" defined in <references> is not used in prior text.
«https://kaa.wikipedia.org/w/index.php?title=Úlken_til_modeli&oldid=92670» saytınan alınǵan