Tábiyiy tildi qayta islew

Tábiyiy tildi qayta islew (ingl. Natural language processing, NLP) ‒ kompyuter ilimi hám jasalma intellekttiń pánaralıq ishki tarawı bolıp tabıladı. Ol tiykarınan kompyuterlerge tábiyiy tilde kodlanǵan maǵlıwmatlardı qayta islew qábiletin támiyinlewge qaratılǵan hám usılayınsha maǵlıwmat alıw, bilimlerdi kórsetiw hám lingvistikanıń ishki tarawı bolǵan esaplaw lingvistikası menen tıǵız baylanıslı. Ádettе maǵlıwmatlar tekst korpuslarında jıynaladı, mashinalıq oqıtıw hám terеń oqıtıwda qaǵıydaǵa tiykarlanǵan, statistikalıq yamasa neyron tarmaqqa tiykarlanǵan usıllardan paydalanıladı.

Tábiyiy tildi qayta islewdiń tiykarǵı wazıypaları sózdi tanıw, tekstti klassifikaciyalaw, tábiyiy tildi túsiniw hám tábiyiy tildi qáliplestiriw bolıp tabıladı.

Tariyxı

Tábiyiy tildi qayta islew óziniń tamırların 1950-jıllardan baslaydı. 1950-jılı Alan Tyuring “Esaplaw mashinaları hám intellekt” dep atalǵan maqalasın járiyaladı, bunda házirgi waqıtta Tyuring testi dep atalatuǵın intellekttiń kriteriyası usınıldı, biraq sol waqıtta bul jasalma intellektten bólek máselesi retinde anıqlanbaǵan edi. Usınılǵan test tábiyiy tildi avtomatlastırılǵan túsiniw hám payda etiw menen baylanıslı tapsırmanı óz ishine aladı.

Simvolikalıq (NLP) (1950-jıllardan 1990-jıllardıń basına shekem)

Simvolikalıq NLP-niń tiykarǵı ideyası Jon Sirdiń qıtay bólmesi eksperimentinde jaqsı juwmaqlanǵan: Qaǵıydalar toplamı berilgende (mısalı, sáwbet hám oǵan sáykes juwaplar menen qıtay sóz kitapshası), kompyuter usı qaǵıydalardı ózi ushırasatuǵın maǵlıwmatlarǵa qollanıw arqalı tábiyiy tildi túsiniwdi (yamasa basqa da NLP wazıypaların) emulyaciya etedi.

• 1950-jıllar: 1954-jılı Djordjtawn tájiriybesi alpıstan aslam orıs gáplerin inglis tiline tolıq avtomatlastırılǵan awdarmanı óz ishine alǵan. Avtorlar úsh yamasa bes jıl ishinde mashinalıq awdarma máselesi sheshiletuǵının málimledi. Degen menen, haqıyqıy rawajlanıw álleqayda áste boldı, hám 1966-jılı ALPAC esabatı on jıllıq izertlewler kútilgenlerdi orınlay almaǵanın anıqlaǵannan keyin, mashinalıq awdarmaǵa qarjılandırıw ádewir qısqartıldı. Amerika Qurama Shtatlarında mashinalıq awdarma boyınsha keyingi izertlewler az ámelge asırıldı (biraq Yaponiya hám Evropa sıyaqlı basqa jerlerde izertlewler dawam etti) 1980-jıllardıń aqırına deyin, birinshi statistikalıq mashinalıq awdarma sistemaları rawajlanǵanǵa shekem.
• 1960-jıllar: 1960-jıllarda rawajlanǵan ayırım áhmiyetli tabıslı tábiyiy tildi qayta islew sistemalarına SHRDLU, sheklengen "bloklar dúnyasında" sheklengen sózlik qorı menen isleytuǵın tábiyiy til sisteması, hám ELIZA, 1964-jıldan 1966-jılǵa shekem Djozef Veyzenbaum tárepinen jazılǵan Rodjerlik psixoterapevttiń simulyaciyası kiredi. Adam oyı yamasa sezimi haqqında derlik hesh qanday maǵlıwmat paydalanbay, ELIZA geyde tańqalarlıq dárejede adamǵa uqsas ózara tásir kórsetken. "Pacient" júdá kishi bilim bazasınan asıp ketken waqıtta, ELIZA ulıwma juwap bere alatuǵın edi, mısalı, "Meniń basım awırıp atır" degen sózge "Ne ushın basıńız awırıp atır dep aytasız?" dep juwap beriwi múmkin. Ross Kvilliannıń tábiyiy til boyınsha tabıslı jumısı tek jigirma sózden ibarat sózlik qorı menen kórsetilgen, sebebi sol waqıtta kompyuter yadına tek sonday sóz sıyatuǵın edi.

• 1970-jıllar: 1970-jıllar dawamında, kóplegen baǵdarlamashılar "konceptual ontologiyalar" jazıwdı basladı, olar haqıyqıy dúnya haqqındaǵı maǵlıwmatlardı kompyuter túsinetuǵın maǵlıwmatlarǵa strukturaladı. Mısallar: MARGIE (Shank, 1975), SAM (Kallingford, 1978), PAM (Vilenskiy, 1978), TaleSpin (Mihan, 1976), QUALM (Lenert, 1977), Politics (Karbonel, 1979), hám Plot Units (Lenert 1981). Usı waqıtta birinshi chatterbotlar jazıldı (mısalı, PARRY).
• 1980-jıllar: 1980-jıllar hám 1990-jıllardıń basları TQI-daǵı (Tábiyiy tildi qayta islew) simvolikalıq usıllardıń gúllep-jasnaǵan dáwiri bolıp esaplanadı. Sol waqıttaǵı tiykarǵı izertlew tarawlarına qaǵıyda tiykarındaǵı sintaksislik analiz (mısalı, HPSG-niń generativ grammatikanıń esaplaw operacionalizaciyası sıpatında rawajlanıwı), morfologiya (mısalı, eki dárejeli morfologiya), semantika (mısalı, Lesk algoritmi), referens (mısalı, Oray teoriyası sheńberinde) hám tábiyiy tildi túsiniwdiń basqa da tarawları (mısalı, Ritorikalıq struktura teoriyasında) kiredi. Basqa izertlew baǵdarları da dawam ettirildi, mısalı, Racter hám Jabberwacky menen chatterbotlardı rawajlandırıw. Bul dáwirde áhmiyetli rawajlanıw (keyin  1990-jıllarda statistikalıq burılısqa alıp kelgen) sanlıq bahalawdıń áhmiyetiniń artıwı boldı.

Statistikalıq NLP (1990-2010-jıllar)

1980-jıllardıń aqırına shekem, kópshilik tábiyiy tildi qayta islew sistemaları qoldan jazılǵan qaǵıydalardıń quramalı toplamlarına tiykarlanǵan edi. Biraq, 1980-jıllardıń aqırınan baslap, til qayta islew ushın mashinalıq oqıtıw algoritmleriniń engiziliwi menen tábiyiy tildi qayta islewde revolyuciya júz berdi. Bul esaplaw quwatınıń turaqlı ósiwine (Mur nızamın qara) hám Xomskiy lingvistika teoriyalarınıń (mısalı, transformaciyalıq grammatika) ústemligi áste-aqırın kemeyiwine baylanıslı edi. Bul teoriyalardıń teoretikalıq tiykarları til qayta islewge mashinalıq oqıtıw usılın tiykarlaǵan korpus lingvistikasın qollap-quwatlamaǵan edi.

• 1990-jıllar: NLP-daǵı statistikalıq usıllardıń kóplegen áhmiyetli dáslepki tabısları mashinalıq awdarma tarawında júz berdi, ásirese IBM Research jumısları, mısalı IBM dúziliw modelleri arqasında. Bul sistemalar Kanada Parlamenti hám Evropa Awqamı tárepinen barlıq húkimet proceduraların barlıq rásmiy tillerde awdarıwdı talap etetuǵın nızamlar nátiyjesinde jaratılǵan bar kóp tilli tekst korpusların paydalana aldı. Biraq, basqa kóplegen sistemalar usı sistemalar tárepinen ámelge asırılǵan wazıypalar ushın arnawlı islep shıǵılǵan korpuslarǵa baylanıslı boldı, bul usı sistemalardıń tabısında tiykarǵı sheklew bolǵan (hám kóbinese ele de solay). Nátiyjede, sheklengen kólemdegi maǵlıwmatlardan nátiyjeli úyreniw usılların izertlewge úlken kúsh jumsaldı.
• 2000-jıllar: Internettiń ósiwi menen 1990-jıllardıń ortasınan baslap qayta islenbegen (annotaciyalanbaǵan) til maǵlıwmatları payda boldı. Sonlıqtan izertlew barǵan sayın baqlawsız hám yarım-basqarılatuǵın oqıtıw algoritmlerine kóbirek itibar qarata basladı. Bunday algoritmler qoldan belgilengen juwaplar menen belgilenbegen maǵlıwmatlardan yamasa belgilengen hám belgilenbegen maǵlıwmatlardıń kombinaciyasınan úyrene aladı. Ulıwma alǵanda, bul wazıypa baqlanatuǵın oqıtıwǵa qaraǵanda ádewir qıyın hám ádette berilgen kiriw maǵlıwmatları ushın kem dál nátiyje beredi. Biraq, belgilenbegen maǵlıwmatlardıń úlken kólemi bar (sonıń ishinde, basqa nárseler qatarında, pútkil Dúnyajúzilik tor mazmunı), eger qollanılǵan algoritm jetkilikli dárejede tómen waqıt quramalılıǵına iye bolsa, bul kóbinese tómengi nátiyjelerdıń ornın toltıra aladı.

Neyronlıq NLP (házirgi waqıtta)

2003-jılı, sol waqıttaǵı eń jaqsı statistikalıq algoritm bolǵan sóz n-gram modeli Yoshua Bengio hám onıń avtorlas joldasları tárepinen kóp qatlamlı perceptron (bir jasırın qatlam hám bir neshe sózden ibarat kontekst uzınlıǵı menen, til modellestirwinde CPU klasterinde 14 millionǵa shekem sózler menen úyretilgen) tárepinen basım boldı.

2010-jılı Tomash Mikolov (sol waqıtta Brno Texnologiya Universitetiniń PhD doktorantı) birlesken avtorlar menen birge ápiwayı qaytalanatuǵın neyron torın bir jasırın qatlam menen til modellestiriwge qollandı, hám keyingi jılları ol Word2vec-ti rawajlandırdı. 2010-jıllarda kórsetpe oqıtıw hám tereń neyron tor stilindegi (kóp jasırın qatlamlar menen) mashinalıq oqıtıw usılları tábiyiy tildi qayta islewde keń tarqaldı. Bul keń tarqalıwdıń sebepleriniń biri usınday usıllar kóplegen tábiyiy til wazıypalarında, mısalı, til modellestiriw hám sintaksislik analiz sıyaqlı tarawlarda eń joqarı nátiyje kórsete alıwı boldı. Bul medicina hám densawlıqtı saqlaw tarawında barǵan sayın áhmiyetli bolıp atır, sebebi NLP xızmet kórsetiw sapasın jaqsılaw yamasa nawqas qupıyalılıǵın qorǵaw maqsetinde izertlew ushın basqa jaǵdayda qoljetimsiz bolǵan elektronlıq densawlıq jazbalardaǵı eskertiw hám tekstlerdi tallaw jumıslarında járdem beredi.

Usıllar: Simvolikalıq, statistikalıq, neyron tarmaqlar

Simvolikalıq usıl, yaǵnıy, simvollar menen manipulyaciya jasawdıń qaǵıydalar toplamın qoldan kodlaw, sózlik izlew menen birge, tariyxıy jaqtan ulıwma JI hám ásirese NLP tárepinen qollanılǵan birinshi usıl boldı: mısalı, grammatika jazıw yamasa stemping ushın evristikalıq qaǵıydalar oylap tabıw arqalı.

Eki tárepten, statistikalıq hám neyron torların óz ishine alatuǵın mashinalıq oqıtıw usıllarınıń simvolikalıq usılǵa qaraǵanda kóplegen artıqmashlıqları bar:

• statistikalıq hám neyron torları usıllarınıń ekewi de tekst korpusınan alınǵan eń kóp ushırasatuǵın jaǵdaylarda kóbirek itibar qarata aladı, al qaǵıyda tiykarındaǵı usıl siyrek ushırasatuǵın jaǵdaylar hám kóp ushırasatuǵın jaǵdaylar ushın birdey qaǵıydalar beriwi kerek.

• statistikalıq yamasa neyron torları usılları menen jaratılǵan til modelleri qaǵıyda tiykarındaǵı sistemalarǵa qaraǵanda hám tanıs emes (mısalı, aldın kórilmegen sózler yamasa strukturalardı óz ishine alatuǵın), hám qátelik kiriw maǵlıwmatlarına (mısalı, qáte jazılǵan yamasa tosınnan qaldırıp ketilgen sózler menen) qarata bekkem boladı, qaǵıyda tiykarındaǵı sistemalardı jaratıw qımbatıraq boladı.

• bunday (itimallıq) til modeli qansha úlken bolsa, ol sonsha anıq boladı, al qaǵıyda tiykarındaǵı sistemalar tek qaǵıydalar sanı hám quramalılıǵın arttırıw arqalı ǵana anıqlıqtı arttıra aladı, bul sheshilmeytuǵın máselelerge alıp keledi.

2020-jılı simvollar menen manipulyaciya etiwdiń qaǵıyda tiykarındaǵı sistemaları ele qollanılıp atırǵan bolsa da, olar 2023-jılı LLM-lerdiń rawajlanıwı menen tiykarınan gónergen bolıp qaldı.

Olardan aldın olar kóbinese tómendegi jaǵdaylarda qollanılǵan:

• oqıtıw maǵlıwmatlarınıń muǵdarı mashinalıq oqıtıw usılların tabıslı qollanıw ushın jetkilikli bolmaǵan jaǵdaylarda, mısalı, Apertium sisteması tárepinen berilgen resursı az tillerdi mashinalıq awdarma ushın,
• NLP qubırlarında aldınnan qayta islew ushın, mısalı, tokenizaciya, yamasa
• NLP qubırlarınıń nátiyjelerin qayta islew hám ózgertiw ushın, mısalı, sintaksislik analizden bilim alıw ushın.

Statistikalıq usıl

1980-jıllardıń aqırı hám 1990-jıllardıń ortalarında statistikalıq usıl qaǵıyda tiykarındaǵı usıllardıń nátiyjesizsizligi sebepli payda bolǵan JI qısı dáwirin juwmaqladı.

Qatań bolsa, onda qaǵıydalar sistemasın payda etetuǵın eń dáslepki sheshim aǵashları burınǵı qaǵıyda tiykarındaǵı usıllarǵa júdá uqsas edi. Tek jasırın Markov modellerin sóz sózliklerge belgi qoyıwǵa qollanıw eski qaǵıyda tiykarındaǵı usıldıń juwmaqlanǵanın xabarladı.

Neyron torları

Statistikalıq usıllardıń tiykarǵı kemshiligi - olar quramalı belgi injenerligin talap etedi. 2015-jıldan baslap, statistikalıq usıl neyron torları usılı menen almastırıldı, sózlerdiń semantikalıq qásiyetlerin túsiriw ushın semantikalıq torlar hám sóz engiziwlerin qollanıw arqalı.

Aralıq wazıypalar (mısalı, sóz sózliklerge belgi qoyıw hám ǵárezlilik tallaw) endi kerek emes.

Sol waqıtta jańadan oylap tabılǵan izbe-izlik izbe-izlikke ózgertiw tiykarında jaratılǵan neyronlıq mashinalıq awdarma, sózlerdi dúziw sıyaqlı, aldın statistikalıq mashinalıq awdarma ushın zárúr bolǵan aralıq basqıshlarǵa zárúrligin esapqa alǵan.

Kóp ushırasatuǵın NLP wazıypaları

Tómende tábiyiy tildi qayta islewde eń kóp izertlenetuǵın wazıypalardıń ayırımlarınıń dizimi berilgen. Bul wazıypalardıń ayırımları tikkeley real dúnyadaǵı qollanıwlarǵa iye, al basqaları kóbirek úlken wazıypalardı sheshiwge járdem beretuǵın kishi wazıypalar sıpatında xızmet etedi.

Tábiyiy tildi qayta islew wazıypaları bir-biri menen tıǵız baylanısqan bolsa da, qolaylıq ushın olardı kategoriyalarǵa bóliwge boladı. Tómende qopal bóliw berilgen.

Tekst hám sóylewdi qayta islew

Simvollardı optikalıq tanıw (OCR)

Baspa tekstti kórsetiwshi súwret berilgende, oǵan sáykes kelgen tekstti anıqlaw.

Sóylewdi tanıw

Adam yamasa adamlar sóylep atırǵan dawıs úzindisi berilgende, sóylewdiń tekstlik kórinisin anıqlaw. Bul teksten sóylewge qarama-qarsı hám kóbinese "AI-complete" dep atalatuǵın júdá qıyın máselelerdiń biri (joqarıǵa qara). Tábiyiy sóylewde izbe-iz kelgen sózler arasında derlik úzilisler bolmaydı, sonlıqtan sóylew segmentaciyası sóylewdi tanıwdıń zárúrli kishi wazıypası bolıp tabıladı (tómenge qara). Kóp sóylew tillerinde izbe-iz kelgen háriplerdi bildiretuǵın sesler koartikulyaciya dep atalatuǵın proceste bir-birine aralasıp ketedi, sonlıqtan analog signaldı diskret simvollarǵa aylandırıw júdá qıyın process bolıwı múmkin. Sonıń menen birge, bir tildegi sózler hár qıylı akcent penen sóyleytuǵın adamlar tárepinen aytılatuǵınlıǵın esapqa alǵanda, sóylewdi tanıw baǵdarlaması kiriw maǵlıwmatlarınıń keń túrin onıń tekstlik ekvivalenti jaǵınan bir-birine birdey dep tanıy alıwı kerek.

Sóylew segmentaciyası

Adam yamasa adamlar sóylep atırǵan dawıs klipi berilgende, onı sózlerge ajıratıw. Bul sóylewdi tanıwdıń kishi wazıypası hám ádette onıń menen birge toparlanadı.

Tekstten sóylewge

Tekst berilgende, usı birliklerdi ózgertip, sóylew kórinisin payda etiw. Tekstten sóylewge kóriw qábileti sheklengen adamlarǵa járdem beriw ushın paydalanıwǵa boladı.

Sóz segmentaciyası (Tokenizaciya)

Tokenizaciya - bul tekstti ayırım sózlerge yamasa sóz bóleklerine bóletuǵın tekst analizinde qollanılatuǵın process. Bul texnika eki tiykarǵı komponentke alıp keledi: sóz indeksi hám tokenizaciya qılınǵan tekst. Sóz indeksi - bul unikal sózlerdi belgili sanlı identifikatorlarǵa sáykeslendiretuǵın dizim, al tokenizaciya qılınǵan tekst hár bir sózdi oǵan sáykes keletuǵın sanlı token menen almastıradı. Bul sanlı tokenler keyin hár qıylı tereń oqıtıw usıllarında qollanıladı.

Inglis tili sıyaqlı til ushın bul ádewir ápiwayı, sebebi sózler ádetde bos orınlar menen ajıratılǵan boladı. Biraq, qıtay, yapon hám tay tilleri sıyaqlı ayırım jazba tillerde sóz shegaraları bunday usılda belgilenbeydi, hám bul tillerde tekst segmentaciyası tildegi sózlerdiń sózligi hám morfologiyası haqqında bilimdi talap etetuǵın áhmiyetli wazıypa bolıp tabıladı. Geyde bul process maǵlıwmatlar maydanında sózler paketin (BOW) jaratıw sıyaqlı jaǵdaylarda da qollanıladı.

Morfologiyalıq analiz

Lemmatizaciya

Tek flektivlik qosımtaların alıp taslaw hám sózdiń tiykarǵı sózlik formasın qaytarıw wazıypası, ol sonday-aq lemma dep te ataladı. Lemmatizaciya - sózlerdi olardıń normallastırılǵan formasına keltiriwdiń basqa bir usılı. Biraq bul jaǵdayda, transformaciya haqıyqatında sózlerdi olardıń haqıyqıy formasına sáykeslestiriw ushın sózlikti qollanadı.

Morfologiyalıq segmentaciya

Sózlerdi ayırım morfemalarǵa ajıratıw hám morfemalar klasın anıqlaw. Bul wazıypanıń qıyınlıǵı kóp tárepten qarap atırǵan tildiń morfologiyasınıń (yaǵnıy, sózler strukturasınıń) quramalılıǵına baylanıslı. Inglis tilinde ádewir ápiwayı morfologiya bar, ásirese flektivlik morfologiya, sonlıqtan kóbinese bul wazıypanı tolıǵı menen esapqa almastan, sózdiń barlıq múmkin formaların (mısalı, "open, opens, opened, opening") ayırım sózler sıpatında modellestiriw múmkin. Biraq, túrk tili yamasa Meytey sıyaqlı joqarı agglutinativ hind tilinde bunday usıl múmkin emes, sebebi hár bir sózlik maqalasında sózdiń mıńlaǵan múmkin formaları bar.

Sóylew bólegin belgilew

Gáp berilgende, hár bir sóz ushın sóylew (POS) bólimin anıqlaw. Kóplegen sózler, ásirese kóp qollanılatuǵınları, sóylewdiń bir neshe bólimi sıpatında xızmet ete aladı. Mısalı, "kitap" atlıq ("stoldaǵı kitap") yamasa feyil ("ushıwǵa bilet alıw") bolıwı múmkin; "qoyıw" atlıq, feyil yamasa kelbetlik bolıwı múmkin; al "sırtqa" keminde bes hár qıylı sózdiń bólimi bolıwı múmkin.

Stemming

Flektivlik (yamasa geyde derivaciyalıq) sózlerdi tiykarǵı formaǵa keltiriw processi (mısalı, "jaqın" sózi "jaqınlastı", "jaqınlasıw", "jaqın", "jaqınıraq" h.t.b. ushın tiykar boladı). Stemming lemmatizaciyaǵa uqsas nátiyje beredi, biraq bunı sózlik emes, al qaǵıydalar tiykarında isleydi.

Sintaksislik analiz

Grammatika indukciyası

Tildiń sintaksisin súwretleytuǵın formal grammatikanı payda etiw.

Gáplerge bóliw (sonday-aq "gáp shegarasın anıqlaw" dep te ataladı)

Tekst bólegi berilgende, gáp shegaraların tabıw. Gáp shegaraları kóbinese noqatalar yamasa basqa punktuaciya belgileri menen belgilenedi, biraq usı belgilerdıń ózi basqa maqsetler ushın da xızmet ete aladı (mısalı, qısqartıwlardı belgilew).

Tallaw (Parsing)

Berilgen gáptiń parse aǵashın (grammatikalıq analiz) anıqlaw. Tábiyiy tiller grammatikası anıq emes hám kópshilik gáplerdiń bir neshe múmkin analizi bar: bálkim tańqalarlıq, ádettegi gáp ushın mıńlaǵan potencial parseler bolıwı múmkin (olardıń kópshiligi adam ushın tolıǵı menen mánissiz bolıp kórinedi). Parsingniń eki tiykarǵı túri bar: ǵárezlilik parsing hám quramlas parsing. Ǵárezlilik parsing gáptegi sózler arasındaǵı qatnaslarǵa itibar qaratadı (tiykarǵı obyektler hám predikatlar sıyaqlı nárselerdi belgilew), al quramlas parsing bolsa itimallıq kontekstsiz grammatikanı (PCFG) qollanıp parse aǵashın qurıwǵa itibar qaratadı (sonday-aq stoxastikalıq grammatikanı qara).

Leksikalıq semantika (konteksttegi ayırım sózlerdiń)

Leksikalıq semantika

Konteksttegi ayırım sózlerdiń esaplaw mánisi neden ibarat?

Distribuciyalıq (tarqatıw) semantika

Maǵlıwmatlardan semantikalıq kórsetpelerdi qalay úyreniwimiz múmkin?

Atawlı obyektti tanıw (NER)

Tekst aǵımı berilgende, teksttegi qaysı elementler adam yamasa orın sıyaqlı jeke atlarǵa sáykes keletuǵının hám hár bir bunday attıń tipi qanday ekenligin (mısalı, adam, orın, shólkem) anıqlaw. Inglis tili sıyaqlı tillerde bas hárip qollanıw atawlı birliklerdi tanıwǵa járdem bere alsa da, bul maǵlıwmat atawlı birliktiń túrin anıqlaw ushın járdem bere almaydı hám hár qanday jaǵdayda da kóbinese nadurıs yamasa jetkiliksiz boladı. Mısalı, gáptiń birinshi háribi de bas hárip penen jazıladı, al atawlı birlikler kóbinese bir neshe sózdi qamtıydı, olardıń tek ayırımları ǵana bas hárip penen jazıladı. Bunnan tısqarı, batıs emes jazıwlardaǵı basqa kóplegen tillerde (mısalı, qıtay yamasa arab) hesh qanday bas hárip qollanılmaydı, hám háttе bas hárip qollanılatuǵın tiller de onı atlardan parıqlaw ushın izbe-iz qollanbawı múmkin. Mısalı, nemis tilinde barlıq atlıqlar, olar at bolıw-bolmawına qaramastan, bas hárip penen jazıladı, al francuz hám ispan tillerinde kelbetlik sıpatında qollanılatuǵın atlar bas hárip penen jazılmaydı. Bul wazıypanıń basqa atı - token klassifikaciyası.

Sezim analizi (sonday-aq multimodallı sezim analizin qara)

Sezim analizi - bul teksttiń artındaǵı emocional maqsetti anıqlaw hám klassifikaciyalaw ushın qollanılatuǵın esaplaw usılı. Bul texnika tekstti analizlep, bildirilgen sezimniń unamlı, unamsız yamasa neytral ekenligin anıqlaw ushın qollanıladı. Sezim klassifikaciyası ushın modeller ádettе sóz n-gramları, Term jiyiligi-Keri dokument jiyiligi (TF-IDF) belgileri, qoldan jaratılǵan belgiler sıyaqlı kiriwlerdi paydalanadı yamasa tekst izbe-izliklerindegi uzaq múddetli hám qısqa múddetli ǵárezliliklerdi tanıw ushın islep shıǵılǵan tereń oqıtıw modellerin qollanadı. Sezim analiziniń qollanıwları hár qıylı, hár túrli onlayn platformalardaǵı tutınıwshı pikirlerin kategoriyalarǵa bóliw sıyaqlı wazıypalarǵa shekem keńeyedi.

Terminologiyanı shıǵarıw

Terminologiya shıǵarıwdıń maqseti - berilgen korpustan tiyisli terminlerdi avtomatik túrde shıǵarıp alıw.

Sóz mánisin anıqlaw (WSD)

Kóplegen sózlerdiń birden artıq mánisi bar; bizge kontekstte eń kóp mániske iye bolǵan mánisti tańlaw kerek. Bul máseleni sheshiw ushın bizge ádettе sózler dizimi hám olardıń baylanıslı mánisleri beriledi, mısalı, sózlikten yamasa WordNet sıyaqlı onlayn derekten.

Birliklerdi baylanıstırıw

Kóplegen sózler - ádettе jeke atlar - atawlı birliklerdi bildiredi; bul jerde bizge kontekstte aytılıp atırǵan birlikti (belgili bir tulǵa, orın, kompaniya h.t.b.) tańlaw kerek.

Relyaciyalıq semantika (ayırım gáplerdiń semantikası)

Qarım-qatnastı shıǵarıw

Tekst bólegi berilgende, atawlı birlikler arasındaǵı qatnastı anıqlaw (mısalı, kim kimge úylengen).

Semantikalıq tallaw (parsing)

Tekst bólegi berilgende (ádetте gáp), onıń semantikasınıń formal kórinisin payda etiw, ya graf túrinde (mısalı, AMR parsinginde) yamasa logikalıq formalizm boyınsha (mısalı, DRT parsinginde). Bul máselege ádettе semantikadan bir neshe elementar NLP wazıypaları aspektleri kiredi (mısalı, semantikalıq rol belgilew, sóz mánisin anıqlaw) hám tolıq diskurs analizin óz ishine alıw ushın keńeytiliw múmkin (mısalı, diskurs analizi, koreferenciya; tómendegi Tábiyiy tildi túsiniwdi qara).

Semantikalıq rol belgilew (sonday-aq tómendegi jasırın semantikalıq rol belgilewdi qara)

Bir gáp berilgende, semantikalıq predikatları anıqlaw hám olardı anıqlaw (mısalı, feyil freymler), keyin freym elementlerin (semantikalıq roller) anıqlaw hám klassifikaciyalaw.

Diskurs (ayırım gáplerden tıs semantika)

Koreferenciya sheshimi

Gáp yamasa úlken tekst bólegi berilgende, qaysı sózler ("esletiwler") bir obyektlerge ("birlikler") tiyisli ekenligin anıqlaw. Anafora sheshimi - bul wazıypanıń anıq mısalı bolıp, ol tikkeley almasıqlardı olar tiyisli bolǵan atlıqlar yamasa atlar menen sáykeslestiriwge qaratılǵan. Koreferenciya sheshiminiń ulıwmalıq wazıypası sonday-aq silteme sózler menen baylanıslı "kópir qatnasların" anıqlawdı óz ishine aladı. Mısalı, "Ol Djonnıń úyine aldıńǵı esikten kirdi" degen gápte "aldıńǵı esik" - bul silteme sóz hám anıqlanıwı kerek bolǵan kópir qatnası - bul esletilip atırǵan esiktiń Djonnıń úyiniń aldıńǵı esigi ekenligi faktı (basqa da esletiliw múmkin bolǵan qurılmanıń emes).

Diskurs analizi

Bul rubrika bir neshe baylanıslı wazıypalardı óz ishine aladı. Bir wazıypa - bul diskurs parsing, yaǵnıy baylanısqan teksttiń diskurs strukturasın anıqlaw, yaǵnıy gápler arasındaǵı diskurs qatnaslarınıń tábiyatın (mısalı, keńeytiw, túsindiriw, salıstırıw). Basqa múmkin wazıypa - tekst bólegindegi sóylew aktlerin tanıw hám klassifikaciyalaw (mısalı, awa-yaq soraw, mazmun sorawı, málimleme, tastıyıqlaw h.t.b.).

 

Bir gáp berilgende, semantikalıq predikatlar (mısalı, feyil freymler) hám olardıń házirgi gáptegi anıq semantikalıq rollerin anıqlaw hám olardı ajıratıw (joqarıdaǵı Semantikalıq rol belgilewdi qara). Keyin, házirgi gápte anıq kórinbegen semantikalıq rollerdi anıqlaw, olardı teksttiń basqa jerinde anıq kóringen argumentler hám kórsetilmegen argumentlerge klassifikaciyalaw, hám birinshilerin jergilikli tekst penen sheshiw. Buǵan jaqın baylanıslı wazıypa - nol anafora sheshimi, yaǵnıy koreferenciya sheshimin pro-drop tillerine keńeytiw.

Tekstlik logikalıq baylanıstı tanıw

Eki tekst bólegi berilgende, birewiniń haqıyqıy bolıwı ekinshisiniń haqıyqıy bolıwın támiynleytuǵının, ekinshisiniń biykarlanıwın támiynleytuǵının, yamasa ekinshisiniń ya haqıyqıy, ya jalǵan bolıwına múmkinshilik beretuǵının anıqlaw.

Tema segmentaciyası hám tanıw

Tekst bólegi berilgende, onı hár biri bir temaǵa arnalǵan segmentlerge bóliw hám segmenttiń temasın anıqlaw.

Argument óndiriw

Argumentlerdi izlewdiń maqseti - kompyuter programmaları járdeminde tábiyiy til tekstinen argumentativ strukturalardı avtomatik túrde shıǵarıp alıw hám anıqlaw. Bunday argumentativ strukturalarǵa aldın sharti, juwmaqlar, argument sxeması hám tiykarǵı hám járdemshi argument arasındaǵı yamasa diskurs ishindegi tiykarǵı hám qarsı argument arasındaǵı qatnaslar kiredi.

Joqarı dárejeli NLP qollanbaları

Avtomatik qısqasha mazmun (tekst qısqasha mazmunı)

Teksttiń bir bólegin oqıwǵa qolaylı qısqasha mazmun islep shıǵarıw. Kóbinese, belgili túrdegi tekstlerdiń qısqasha mazmunın beriwde qollanıladı, mısalı, ilimiy maqalalar, gazetanıń finanslıq bólimindegi maqalalar.

 

Grammatikalıq qátelerdi anıqlaw hám dúzetiw lingvistikalıq analizdiń barlıq dárejelerinde (fonologiya/orfografiya, morfologiya, sintaksis, semantika, pragmatika) úlken kólemli máselelerdi óz ishine aladı. Grammatikalıq qátelerdi dúzetiw áhmiyetli, sebebi ol inglis tilin ekinshi til sıpatında qollanıwshı yamasa úyreniwshi júzlegen million adamlarǵa tásir etedi. Sonıń ushın, 2011-jıldan baslap bir qansha ulıwma wazıypalarǵa tiykar boldı. Orfografiya, morfologiya, sintaksis hám semantikanıń belgili aspektlerine kelgende, hám GPT-2 sıyaqlı kúshli neyronlıq til modelleriniń rawajlanıwı sebepli, bul házirgi waqıtta (2019-jıl) tiykarınan sheshilgen máselege aylanǵan hám hár qıylı kommerciyalıq qollanıwlarda satılmaqta.

Logikalıq awdarma

Tekstti tábiyiy tilden formal logika tiline awdarıw.

Mashinalıq awdarma (MT)

Tekstti bir adam tilinen ekinshisine avtomatik túrde awdarıw. Bul eń qıyın máselelerdiń biri bolıp, "JI-tolıq" dep atalatuǵın máseleler klassına kiredi, yaǵnıy, durıs sheshiw ushın adamlar iye bolǵan barlıq túrdegi bilimlerdi (grammatika, semantika, real dúnya haqqındaǵı faktler h.t.b.) talap etedi.

Tábiyiy tildi túsiniw (NLU)

Teksttiń bóleklerin kompyuter programmaları ushın qolaylıraq bolǵan birinshi tártipli logika strukturaları sıyaqlı formal kórsetpelerge aylandırıw. Tábiyiy tildi túsiniw, tábiyiy til túsiniklerin shólkemlestirgen belgilewler túrinde bolatuǵın tábiyiy til ańlatpasınan alınıwı múmkin bolǵan kóp sanlı semantikadan kerekli semantikanı anıqlawdı óz ishine aladı. Til metamodeli hám ontologiyasın kirgiziwi hám jaratılıwı nátiyjeli, biraq empirikalıq sheshimler bolıp tabıladı. Semantikanı formallastırıw tiykarın dúziw ushın, jabıq dúnya boljawı (CWA) hám ashıq dúnya boljawı, yamasa subyektiv Awa/Yaq hám obyektiv Durıs/Nadurıs sıyaqlı jasırın boljawlar menen aljaspastan, tábiyiy til semantikasın anıq formallastırıw kútiledi.

Tábiyiy til generatsiyası (NLG):

Kompyuter bazalarınan yamasa semantikalıq maqsetlerden alınǵan maǵlıwmatlardı adamlar oqıy alatuǵın tilge aylandırıw.

Kitap generaciyası

Bul tábiyiy til generatsiyası hám basqa da NLP wazıypalarınıń keńeytilgen túri bolıp, tolıq kitaplar jaratıwdı óz ishine aladı. Birinshi mashina járdeminde jaratılǵan kitap 1984-jılı qaǵıydaǵa tiykarlanǵan sistema arqalı jaratıldı (Racter, "The policeman's beard is half-constructed"). Neyron tarmaq járdeminde jaratılǵan birinshi baspa jumısı 2018-jılı shıǵarıldı, "1 the Road" dep atalıp, roman sıpatında bazarǵa shıǵarıldı hám alpıs million sózdi óz ishine aladı. Bul eki sistema tiykarınan quramalı, biraq mánissiz (semantikasız) til modelleri bolıp tabıladı. Birinshi mashina járdeminde jaratılǵan ilimiy kitap 2019-jılı basıp shıǵarıldı (Beta Writer, "Lithium-Ion Batteries", Springer, Cham). Racter hám "1 the Road" kitaplarınan parıqlı, bul kitap faktlik bilimlerde tiykarlanǵan hám tekst qısqasha mazmunın jaratıwǵa tiykarlanǵan.

Document AI (JI Hújjet)

Hújjet JI platforması NLP texnologiyasınıń ústinde jaylasıp, jasalma intellekt, mashinalıq oqıtıw yamasa NLP boyınsha aldınǵı tájiriybesi bolmaǵan paydalanıwshılarǵa hár qıylı hújjet túrlerinen ózlerine kerekli bolǵan arnawlı maǵlıwmatlardı alıw ushın kompyuterdi tez úyretiwge múmkinshilik beredi. NLP járdeminde isleytuǵın Hújjet JI texnikalıq emes toparlarǵa, mısalı, yuristler, biznes analitikleri hám buxgalterlerge hújjetlerde jasırın bolǵan maǵlıwmatlardı tez alıwǵa múmkinshilik beredi.

Dialogtı basqarıw

Adam menen sóylesiwge arnalǵan kompyuter sistemaları.

Sorawlarǵa juwap beriw

Adam tili menen berilgen sorawǵa juwap anıqlaw. Tipik sorawlardıń anıq durıs juwabı boladı (mısalı, "Kanadanıń paytaxtı qaysı?"), biraq geyde ashıq sorawlar da qaraladı (mısalı, "Ómirdiń mánisi nede?").

Tekstten súwretke ótkerip jaratıw

Súwrettiń táriyipi berilgende, sol táriyip penen sáykes keletuǵın súwret jaratıw.

Tekstten saxnaǵa ótkerip jaratıw

Saxnanıń táriyipi berilgende, saxnanıń 3D modelin jaratıw.

Tekstten videoga ótkerip jaratıw

Videoniń táriyipi berilgende, sol táriyip penen sáykes keletuǵın video jaratıw.

Ulıwma tendenciyalar hám (múmkin) keleshek baǵdarları

Tarawdaǵı uzaq múddetli tendenciyalarǵa tiykarlanıp, NLPnıń keleshek baǵdarların ekstrapolyaciyalawǵa boladı. 2020-jılǵa kelip, CoNLL Ulıwma Wazıypalarınıń uzaq dawam etken seriyasınıń temalarında úsh tendenciyanı bayqawǵa boladı:

• Tábiyiy tildiń barǵan sayın abstrakt, "kognitivlik" aspektlerine qızıǵıwshılıq (1999–2001: ústirtin analiz, 2002–03: atlar gruppasın anıqlaw, 2006–09/2017–18: ǵárezlilik sintaksisi, 2004–05/2008–09 semantikalıq rol belgilew, 2011–12 koreferenciya, 2015–16: diskurs analizlew, 2019: semantikalıq analizlew).
• Kóp tillilikke hám, múmkin, kóp modallıqqa qızıǵıwshılıqtıń artıwı (1999-jıldan baslap inglis tili; 2002-jıldan baslap ispan, golland tilleri; 2003-jıldan baslap nemis tili; 2006-jıldan baslap bolgar, dan, yapon, portugal, sloven, shved, túrik tilleri; 2007-jıldan baslap bask, katalan, qıtay, grek, vengriya, italyan, túrik tilleri; 2009-jıldan baslap chex tili; 2012-jıldan baslap arab tili; 2017-jıl: 40+ til; 2018-jıl: 60+/100+ til)
• Simvollıq kórsetpelerdi saplastırıw (qaǵıydaǵa tiykarlanǵan usıllardan basqarılatuǵın úyreniwge, onnan hálsiz basqarılatuǵın usıllardı, kórsetpelerdi úyreniw hám basınan-ayaǵına shekemgi sistemalarǵa qaray)

Kogniciya

Joqarı dárejeli NLP qollanıwlarınıń kópshiligi aqıllı háreketlerdi hám tábiyiy tildi kórinip turǵan túsiniwdi imitaciyalawshı aspektlerdi óz ishine aladı. Keńirek aytqanda, kognitiv hárekettiń barǵan sayın rawajlanǵan aspektlerin texnikalıq operacionallastırıw NLPnıń rawajlanıw traektoriyalarınıń birin kórsetedi (joqarıda keltirilgen CoNLL ulıwma wazıypalarınıń tendenciyaların qarań).

Kogniciya "pikir, tájiriybe hám sezimler arqalı bilim hám túsinikti alıwdıń sanalı háreketi yamasa procesi" dep ataladı. Kognitiv ilim - bul aqıl hám onıń processleriniń pánler aralıq, ilimiy izertlewi. Kognitiv lingvistika - bul psixologiya hám lingvistikadan alınǵan bilim hám izertlewlerdi birlestiriwshi lingvistikanıń pánler aralıq tarawı. Ásirese, simvollik NLP dáwirinde esaplaw lingvistikası tarawı kognitiv izertlewler menen kúshli baylanıslardı saqlap qaldı.

Mısal retinde, Djordj Lakoff kognitiv ilim perspektivası arqalı tábiyiy tildi qayta islew (NLP) algoritmlerin dúziw ushın metodologiyanı usınıs etedi, kognitiv lingvistikanıń tabısları menen birge, eki anıqlawshı aspekt penen:

1. Lakoff tárepinen túsindiriletuǵın "bir ideyanı basqasınıń terminleri menen túsiniw" sıpatında anıqlanǵan konceptual metafora teoriyasın qollanıw, bul avtordıń niyeti haqqında túsinik beredi. Mısalı, inglis tilindegi "big" (úlken) sózin qarap shıǵayıq. Salıstırıwda qollanılǵanda ("That is a big tree" - "Bul úlken terek"), avtordıń niyeti terektiń basqa tereklerge yamasa avtordıń tájiriybesine salıstırǵanda fizikalıq jaqtan úlken ekenligin bildiriw. Metaforalıq túrde qollanılǵanda ("Tomorrow is a big day" - "Erteń úlken kún"), avtordıń niyeti áhmiyetlilikti bildiriw. "She is a big person" (Ol úlken adam) sıyaqlı basqa qollanıwlardıń artındaǵı niyet qosımsha maǵlıwmatlarsız adam ushın da, kognitiv NLP algoritmi ushın da bir qansha túsiniksiz bolıp qaladı.
2. Analiz etiliwshi tekst bóleginen aldın hám keyin berilgen maǵlıwmatlarǵa tiykarlanıp, sózge, sóz dizbegine, gápke yamasa tekst bólegine salıstırmalı máni ólshemlerin belgilew, mısalı, itimallıq kontekstsiz grammatika (PCFG) járdeminde. Bunday algoritmler ushın matematikalıq teńleme AQSH patenti US Patent 9269353te berilgen:

${RMM(token_{N})}={PMM(token_{N})}\times {\frac {1}{2d}}\left(\sum _{i=-d}^{d}{((PMM(token_{N})}\times {PF(token_{N-i},token_{N},token_{N+i}))_{i}}\right)$

Teńlemeniń túsindirmesi: Bunda

RMM - mánisiniń salıstırmalı ólshemi

token - hár qanday tekst bólegi, gáp, sóz dizbegi yamasa sóz

N - analiz etiliwshi tokenler sanı

PMM - korpusqa tiykarlanǵan mánistiń itimal ólshemi

d - N tokenler izbe-izligindegi tokenniń nolge teń emes ornı

PF - tilge tán itimallıq funkciyası

Kognitiv lingvistika menen baylanıslar NLPnıń tariyxıy miyrasınıń bir bólegi bolıp tabıladı, biraq 1990-jıllardaǵı statistikalıq burılıstan keyin olar azıraq qarastırıldı. Sonday-aq, kognitiv modellerin texnikalıq operacionallanatuǵın sistemalarǵa qaray rawajlandırıw usılları hár qıylı sistemalar kontekstinde ámelge asırılǵan, mısalı, kognitiv grammatika, funkcionallıq grammatika, konstrukciyalıq grammatika, esaplaw psixolingvistikası hám kognitiv nevrologiya (mısalı, ACT-R), biraq tiykarǵı NLPda sheklengen qollanıw menen (ACLdıń tiykarǵı konferenciyalarında qatnasıwı menen ólshengende). Jaqında kognitiv NLP ideyaları túsindirmelilikke erisiw usılı sıpatında qayta pát aldı, mısalı, "kognitiv JI" túsinik astında. Sonday-aq, kognitiv NLP ideyaları neyron modeller kóp modallı NLPǵa tán (kóbinese anıq aytılmasa da) hám jasalma intellekttegi rawajlanıwlarǵa, atap aytqanda, úlken til modeli usılların qollanıwshı qural hám texnologiyalarǵa hám London Universitet Kolledjindegi Britaniyalı neyroilimpaz hám teoretik Karl Dj. Friston tárepinen erkin energiya principine tiykarlanǵan jasalma ulıwma intellekttiń jańa baǵdarlarına tán.