Lyambda arxitekturası

Ulıwma lyambda arxitekturasınıń qayta islew hám xızmet kórsetiw qatlamları arqalı maǵlıwmatlardıń aǵımı

Lyambda arxitekturası ‒ bul toparlı hám aǵımlı qayta islew usıllarınıń ekewinen de paydalanıp, úlken kólemdegi maǵlıwmatlardı basqarıw ushın arnalǵan maǵlıwmatlardı qayta islew arxitekturası. Arxitekturaǵa bunday kózqaras keshigiw, ótkiziw qábileti hám qátelerge shıdamlılıq arasında teńsalmaqlılıqtı saqlawǵa urınadı. Bul toparlı qayta islewdi qollanıp toparlı maǵlıwmatlardıń keń qamtıwshı hám dál kórinislerin beriw, sol waqıtta real waqıt rejiminde aǵımlı qayta islewdi qollanıp onlayn maǵlıwmatlardıń kórinislerin beriw arqalı ámelge asırıladı. Eki kórinis shıǵısları kórsetiwden aldın biriktiriliwi múmkin. Lyambda arxitekturasınıń payda bolıwı úlken maǵlıwmatlar, real waqıt rejimindegi analiz hám map-reduce keshigiwlerin azaytıw talaplarınıń ósiwi menen baylanıslı.

Lyambda arxitekturası tek qosımsha etiletuǵın, ózgermeytuǵın maǵlıwmatlar deregine iye maǵlıwmatlar modeline tiykarlanadı, ol jazıw sisteması retinde xızmet etedi.  Ol bar bolǵan waqıyalardıń ústine jazıwdıń ornına, waqıt belgilengen waqıyalardı qabıl etiw hám islep shıǵıw ushın arnalǵan. Jaǵday maǵlıwmatlardıń tábiyiy waqıtqa tiykarlanǵan tártibinen anıqlanadı.

Sholıw

Lyambda arxitekturası úsh qabattan ibarat sistemanı súwretleydi: paketli islep shıǵıw, tez (yaki real waqıttaǵı) islep shıǵıw hám sorawlarǵa juwap beriw ushın xızmet kórsetiw qabatı. Islep shıǵıw qabatları pútkil maǵlıwmatlar toplamınıń ózgermeytuǵın bas kóshirmesinen qabıl etedi. Bul paradigma birinshi ret Natan Marz tárepinen "CAP teoremasın qalay jeńiw kerek" dep atalǵan blog jazbasında súwretlengen, onda ol onı baslanǵıshta "paketli/real waqıttaǵı arxitektura" dep ataǵan.

Paketli qabat

Paketli qabat júdá úlken kólemdegi maǵlıwmatlardı islep shıǵıwǵa bolatuǵın bólistirilgen islep shıǵıw sistemasın paydalanıw arqalı nátiyjelerdi aldın ala esaplaydı. Paketli qabat kórinislerdi jaratıwda barlıq bar bolǵan maǵlıwmatlardı islep shıǵıw imkaniyatına iye bolıw arqalı tolıq anıqlıqqa umtıladı. Bul tolıq maǵlıwmatlar toplamına tiykarlanıp qayta esaplaw arqalı hár qanday qáteliklerdi dúzetiwge, sońınan ámeldegi kórinislerdi jańalawǵa boladı degendi bildiredi. Shıǵıw ádette tek oqıwǵa bolatuǵın maǵlıwmatlar bazasında saqlanadı, jańalawlar ámeldegi aldın ala esaplanǵan kórinislerdi tolıq almastıradı.

2014-jılǵa kelip, Apache Hadoop jetekshi paketli islep shıǵıw sisteması dep bahalandı. Keyinrek Snowflake, Redshift, Synapse hám Big Query sıyaqlı basqa da baylanıslı maǵlıwmatlar bazaları da bul rolde paydalanıldı.

Tezlik qabat

Lyambda arxitekturasınıń islep shıǵıw hám xızmet kórsetiw qabatları arqalı maǵlıwmatlardıń aǵımın kórsetetuǵın diagramma. Atalıp ótilgen komponentlerdiń mısalları kórsetilgen.

Tezlik qabat maǵlıwmatlar aǵımların real waqıtta hám dúzetiwler yaki tolıqlıq talaplarısız islep shıǵadı. Bul qabat eń sońǵı maǵlıwmatlarǵa real waqıttaǵı kórinislerdi támiyinlew arqalı keshigiwdi azaytıwǵa umtılǵanlıqtan, ótkeretuǵın kólemdi joǵaltadı. Ásirese, tezlik qabat paketli qabattıń eń sońǵı maǵlıwmatlarǵa tiykarlanǵan kórinislerdi támiyinlewdegi keshigiwinen payda bolǵan "kemshilikti" toltırıw ushın juwapker bolıp tabıladı. Bul qabattıń kórinisleri aqırında paketli qabat tárepinen islep shıǵarılatuǵın kórinislerdey anıq yaki tolıq bolmawı múmkin, biraq olar maǵlıwmatlar qabıl etilgennen keyin derlik jedel bar boladı hám paketli qabattıń sol maǵlıwmatlar ushın kórinisleri bar bolǵanda almastırılıwı múmkin.

Bul qabatta ádette paydalanılatuǵın aǵımdı islep shıǵıw texnologiyalarına Apache Kafka, Amazon Kinesis, Apache Storm, SQLstream, Apache Samza, Apache Spark, Azure Stream Analytics, Apache Flink kiredi. Shıǵıw ádette tez NoSQL maǵlıwmatlar bazalarında, yamasa commit jurnalında saqlanadı.

Xızmet kórsetiw qabatı

Druid maǵlıwmatlar saqlaǵıshı menen lyambda arxitekturasın kórsetetuǵın diagramma.

Paketli hám tez qabatlardan shıqqan maǵlıwmatlar xızmet kórsetiw qabatında saqlanadı, ol aldın ala esaplanǵan kórinislerdi qaytarıw yamasa islep shıǵılǵan maǵlıwmatlardan kórinislerdi qurıw arqalı ad-xok sorawlarǵa juwap beredi.

Xızmet kórsetiw qabatında paydalanılatuǵın texnologiyalardıń mısallarına eki qabattan da shıqqan maǵlıwmatlardı islep shıǵıw ushın bir platformanı támiyinleytuǵın Apache Druid, Apache Pinot, ClickHouse hám Tinybird kiredi. Xızmet kórsetiw qabatında paydalanılatuǵın arnawlı saqlaǵıshlarǵa tez qabattan shıqqan maǵlıwmatlar ushın Apache Cassandra, Apache HBase, Azure Cosmos DB, MongoDB, VoltDB yaki Elasticsearch, al paketli qabattan shıqqan maǵlıwmatlar ushın Elephant DB, Apache Impala, SAP HANA yaki Apache Hive kiredi.

Optimizaciyalar

Maǵlıwmatlar toplamın optimizaciyalaw hám sorawdıń nátiyjeliligin arttırıw ushın shiyki maǵlıwmatlarǵa hár qıylı rollap hám agregaciya usılları qollanıladı, al esaplaw qárejetlerin onnan keyin de azaytıw ushın bahalaw usılları paydalanıladı. Qátege shıdamlılıq ushın qımbat tolıq qayta esaplaw zárúr bolsa da, nátiyjelilikti arttırıw ushın basqıshpa-basqısh esaplaw algoritmleri tańlap qosılıwı múmkin, al bólek esaplaw hám resurs paydalanıwdı optimizaciyalaw sıyaqlı usıllar keshigiwdi tómenletiwge nátiyjeli járdem bere aladı.

Paydalanıwdaǵı lyambda arxitekturası

Programmalıq reklama keńisligindegi kompaniyalar ushın analitikanı támiyinleytuǵın Metamarkets, aǵımlı hám paketli túrde islep shıǵılǵan maǵlıwmatlardı saqlaw hám xızmet kórsetiw ushın Druid-ten paydalanatuǵın lyambda arxitekturasınıń bir versiyasın paydalanadı.

Óziniń reklama maǵlıwmatlar qoymasında analitika alıp barıw ushın Yahoo da uqsas usıldı qollandı, sonday-aq Apache Storm, Apache Hadoop hám Druid-ten paydalandı.

Netflix Suro joybarınıń maǵlıwmatlar ushın bólek islep shıǵıw jolları bar, biraq jollar hár qıylı maqsetlerge xızmet etiwge arnalǵan hám sózsiz birdey tiptegi kórinislerdi támiyinlew ushın emes, sonlıqtan lyambda arxitekturasına tolıq ámel etpeydi. Soǵan qaramastan, ulıwma ideya tańlap alınǵan real waqıttaǵı waqıya maǵlıwmatların júdá tómen keshigiw menen sorawlar ushın bar etiw, al pútkil maǵlıwmatlar toplamı paketli qubır arqalı da islep shıǵıladı. Sońǵısı keshigiwge azıraq sezimtal hám map-reduce tipindegi islep shıǵıwdı talap etetuǵın qosımshalar ushın arnalǵan.

Sın hám alternativalar

Lyambda arxitekturasına qaratılǵan sın onıń tábiyatındaǵı quramalılıǵı hám sheklewshi tásiri ústinde toplanǵan. Paketli hám aǵımlı táreplerdiń hárbiri saqlanıwı hám sinxronda uslap turılıwı kerek bolǵan hár qıylı kod bazasın talap etedi, solay etip qayta islengen maǵlıwmatlar eki joldan da birdey nátiyje beredi. Biraq kod bazaların bir freymvorkqa abstrakciyalawǵa urınıw paketli hám haqıyqıy waqıt ekosistemalarındaǵı kóplegen arnawlı qurallardıń ruqsatın shekleydi.

Kappa arxitekturası

Djey Kreps bir kod bazası menen pútkilley aǵımlı kózqarastı qollanıw ushın kappa arxitekturasın usındı. Pútkilley aǵımlı kózqarastı qollanıwdıń artıqmashlıqları haqqındaǵı texnikalıq talqılawda Apache Samza sıyaqlı iykemli aǵımlı freymvorktı qollanıw keshigiwsiz paketli qayta islewdiń ayırım artıqmashlıqların bere alatuǵını atap ótildi. Bunday aǵımlı freymvork maǵlıwmatlardıń qálegen úlken kólemli aynaların jıynaw hám qayta islewge múmkinshilik beriwi, tosqınlıqtı esapqa alıwı hám jaǵdaydı basqara alıwı múmkin.