Kontentke ótiw

Programmalıq támiynattı testlew

Wikipedia, erkin enciklopediya
TestingCup – Programmalıq támiynattı testlew boyınsha Polsha chempionatı, Katovice, 2016-jıl may

Programmalıq támiynattı testlew (ingl. Software testing) – bul programmalıq támiynattıń kútilgen talaplarǵa sáykes keletuǵının tekseriw ámeliyatı.

Programmalıq támiynattı testlew paydalanıwshı yamasa qáwenderge programmalıq támiynattıń sapası hám onıń isten shıǵıw qáwipi haqqında obektiv, ǵarezsiz informaciya bere aladı. Ol barlıq qátelerdi tawıp bere almaydı.[1][2]

Orakldan durıslıqtı ólshew kriteriylerine tiykarlanıp, programmalıq támiynattı testlew máseleni anıqlawı múmkin bolǵan principleri hám mexanizmlerin qollanadı. Orakllarǵa mısallar: specifikaciyalar, kelisim-shártleri, salıstırmalı ónimler, sol ónimniń ótken versiyaları, kútilgen yaki boljanǵan maqset haqqındaǵı juwmaqlar, paydalanıwshı yaki tutınıwshı kútiwleri, tiyisli standartlar hám qollanılatuǵın nızamlar.

Programmalıq támiynattı testlew kóbinese tábiyatta dinamikalıq boladı; haqıyqıy nátiyjeniń kútilgen nátiyjege sáykes keliwin tekseriw ushın programmalıq támiynattı isletiw alıp barıladı. Ol tábiyatta statikalıq ta bolıwı múmkin; kodtı hám oǵan baylanıslı hújjetlerdi kórip shıǵıw.

Programmalıq támiynattı testlew kóbinese mına sorawǵa juwap beriw ushın qollanıladı: Programmalıq támiynat ózi islewi kerek bolǵan hám islewi zárúr bolǵan isti isley me?

Programmalıq támiynattı testlewden alınǵan maǵlıwmat programmalıq támiynat islep shıǵarılatuǵın procesti jaqsılaw ushın qollanılıwı múmkin.

Programmalıq támiynattı testlew "piramida" usılına ámel etiwi kerek, onda testlerińizdiń kóbisi birlik testleri bolıwı kerek, sońınan integraciya testleri hám aqırında aqırǵı paydalanıwshı (e2e) testleri eń tómen proporciyaǵa iye bolıwı kerek.[3][4][5]

Ekonomika

2002-jılı NIST tárepinen ótkerilgen izertlew programmalıq támiynat qátelikleri AQSH ekonomikasına jılına 59,5 milliard dollar zıyan keltiretuǵının xabarladı. Eger jaqsıraq programmalıq támiynat testlewi ámelge asırılǵanda, bul qımbat bahanıń úshten birinen aslamınıń aldın alıw múmkin edi.[6]

Qımbat bahalar sebepli programmalıq támiynat testlewin sırttan alıp keliw keń taralǵan, Qıtay, Filippin hám Indiya artıqmashılıqlı baǵdarlar bolıp tabıladı.

Tariyxı

Glenford J. Mayers 1979-jılı debaggingti (qáteliklerdi) testlewden ajıratıwdı dáslep engizdi.[7] Onıń itibarı buzılıw testlewine qaratılǵan bolsa da ("Tabıslı test jaǵdayı eli tabılmaǵan qáteni anıqlaytuǵın jaǵday."[7]), ol programmalıq támiynat injeneriyası jámiyetiniń debagging sıyaqlı tiykarǵı rawajlandırıw ámeliyatların verifikaciyadan ajıratıw qálewin kórsetip berdi.

Maqsetler

Programmalıq támiynattı testlew ádette maqsetke baǵdarlanǵan boladı.

Qátelerdi tabıw

Programmalıq támiynattı testlew ádette programmalıq támiynat qáteliklerin - kodtaǵı qáteni óz ishine aladı, bul qáte unamsız nátiyjege alıp keledi.[8]  Qáteler ádette testlew processin ásteletedi hám debagging hám dúzetiw ushın baǵdarlamashınıń járdemin talap etedi.

Barlıq kemshilikler isten shıǵıwǵa alıp kelmeydi. Mısal ushın, óli kodtaǵı kemshilik isten shıǵıw dep esaplanbaydı.

Bir waqıtta isten shıǵıwǵa alıp kelmeytuǵın kemshilik keyinnen ortalıq ózgerisler sebepli júz beriwi múmkin. Ortalıq ózgerislerine mısallar jańa kompyuter apparatlıq támiynatında islew, maǵlıwmatlardaǵı ózgerisler hám túrli programmalıq támiynat penen óz-ara baylanıs qılıwdı óz ishine aladı.[9]

Bir kemshilik bir neshe isten shıǵıw belgilerine alıp keliwi múmkin.

Talaplardıń qanaatlandırılıwın támiyinlew

Programmalıq támiynattı testlew Talaplar kemshiligin - talap ushın dizaynnan alıp taslawdı óz ishine alıwı múmkin.[10]  Talap kemshilikleri kóbinese testlewge jaramlılıq, masshtablılıq, saqlawǵa jaramlılıq, ónimdarlıq hám qáwipsizlik sıyaqlı funkcionallıq emes talaplar bolıwı múmkin.

Kodtı qamtıw

Programmalıq támiynattı testlewdiń tiykarǵı sheklewi – barlıq kirgiziwler hám aldın ala shártler (baslańǵısh jaǵday) kombinaciyalarında testlew hátteki ápiwayı ónim menen de ámelge asırıw múmkin emes. [11] Ádetten tıs shártlerde payda bolatuǵın kemshiliklerdi testlewde tabıw qıyın. Sonday-aq, sapanıń funkcionallıq emes ólshemleri (onıń ne islewi kerekligine salıstırǵanda qanday bolıwı kerek) – paydalanıwǵa qolaylılıq, masshtablılıq, ónimdarlıq, úylesimlilik hám isenimlilik – subektiv bolıwı múmkin; bir adam ushın jetkilikli bahalıqtı qurastıratuǵın nárse basqa adam ushın onday bolmawı múmkin.

Múmkin bolǵan hár bir kirgiziw ushın testlew ámelge asırıw múmkin bolmasa da, testlew testlerdi minimumǵa keltirip, qamtıwdı maksimumǵa jetkeriw ushın kombinatorikanı qollanıwı múmkin.

Kategoriyalar

Testlewdi kóp usıllar menen kategoriyaǵa bóliw múmkin.[12]

Avtomatlastırılǵan testlew

Programmalıq támiynattı testlewde test avtomatlastırıw – testlerdiń orınlanıwın hám haqıyqıy nátiyjelerdi boljanǵan nátiyjeler menen salıstırıwdı basqarıw ushın testlenip atırǵan programmalıq támiynattan ayırım programmalıq támiynattı qollanıw. Test avtomatlastırıw burınnan bar bolǵan rásmiylestirilgen testlew processindegi bir neshe qaytalanatuǵın, biraq zárúr wazıypalardı avtomatlastırıwı yaki qol menen islew qıyın bolatuǵın qosımsha testlewdi orınlawı múmkin. Test avtomatlastırıw úziliksiz jetkerip beriw hám úziliksiz testlew ushın kriteriyalıq jaqtan áhmiyetli.

Dárejeler

Programmalıq támiynattı testlew programmalıq támiynat sistemasınıń qansha bólegi test itibarında ekenligine tiykarlanıp dárejelerge bóliniwi múmkin.[13][14][15][16]

Birlik testlew

Birlik testlew, sonday-aq komponent yaki modul testlew dep te ataladı, ayırım derek kodı kútilgen tártipti tastıyıqlaw ushın testlenetuǵın programmalıq támiynat testlewiniń bir túri boladı.

Integraciya testlewi

Bul abzac Integraciya testlewinen úzindi bolıp tabıladı.

Integraciya testlewi, sonday-aq integraciya hám testlew dep te ataladı, qısqartılǵan I&T, programmalıq támiynat sistemasınıń bir neshe bólimleri topar retinde testlenetuǵın programmalıq támiynat testlewiniń bir túri.

Sistema testlewi

Bul abzac Sistema testlewinen úzindi bolıp tabıladı.

Sistema testlewi, sonday-aq end-to-end (E2E) testlew dep te ataladı, tolıq programmalıq támiynat sistemasında ótkeriletuǵın testlew.

Statikalıq, dinamikalıq hám passiv testlew

Programmalıq támiynattı testlewde kóp usıllar bar. Kórip shıǵıwlar, júrip ótiwler yaki tekseriwler statikalıq testlew dep ataladı, al belgili bir test jaǵdayları jıynaǵı menen programmalastırılǵan kodtı orınlaw dinamikalıq testlew dep ataladı.[17][18]

Statikalıq testlew kóbinese dálil oqıw sıyaqlı implicit boladı, plyus programmalastırıw  quralları/tekst redaktorları derek kodı strukturasın tekserip shıqqanda yaki kompilyatorlar (aldın ala kompilyatorlar) sintaksis hám maǵlıwmat aǵımın statikalıq programma analizi retinde tekserip shıqqanda. Dinamikalıq testlew programmanıń ózi isletilgende júz beredi. Dinamikalıq testlew kodtıń belgili bir bólimlerin testlew ushın programma 100% tamamlanbastan burın baslanıwı múmkin hám diskret funkciyalarǵa yaki modullerge qollanıladı.[17][18] Bular ushın ádettegi texnikalar ya stablar/drayverlerdi qollanıw yaki debagger ortalıǵınan orınlaw bolıp tabıladı.[18]

Statikalıq testlew verifikaciyanı óz ishine aladı, al dinamikalıq testlew validaciyanı da óz ishine aladı.[18]

Passiv testlew programmalıq támiynat ónimi menen hesh qanday óz-ara baylanıssız sistemanıń tártibin tastıyıqlawdı ańlatadı. Aktiv testlewge qarama-qarsı, testlewshiler hesh qanday test maǵlıwmatların bermeydi, biraq sistema jurnallarına hám izlerine qaraydı. Olar qanday da bir sheshimler qabıl etiw ushın úlgilerdi hám belgili bir tártipti qazıp aladı.[19] Bul oflayn orınlaw waqtındaǵı verifikaciyaǵa hám jurnal analizine baylanıslı.

Izleniw testlewi

Bul bólim Izleniw testlewinen úzindi bolıp tabıladı.

Izleniw testlewi programmalıq támiynat testlewine usıl bolıp tabıladı, ol bir waqıtta úyreniw, test dizaynı hám test orınlawı retinde qısqasha súwretlenedi. 1984-jılı bul termindi engizgen Sem Kaner, izleniw testlewin "testke baylanıslı úyreniw, test dizaynı, test orınlawı hám test nátiyjelerin interpretaciyalawdı proekt dawamında parallel túrde isleytuǵın óz-ara qollap-quwatlawshı ámeliyatlar retinde qaray otırıp, óz jumısınıń sapasın úziliksiz optimallastırıw ushın jeke testlewshiniń jeke erkinligi hám juwapkershiligine basım etetuǵın programmalıq támiynat testlewiniń stili" dep anıqlaydı.

Aldın ala belgilengen testlew hám adaptiv testlew

Orınlanıwı kerek bolǵan testlew strategiyasınıń túri IUT-qa qollanılatuǵın testler testlew jobası orınlana baslamastan aldın sheshiliwi kerek pe (aldın ala belgilengen testlew[20]) yaki IUT-qa qollanılatuǵın hár bir kirgiziw aldınǵı testlerdi qollanıw waqtında alınǵan nátiyjelerge dinamikalıq túrde baylanıslı bola ala ma (adaptiv testlew[21][22]) soǵan baylanıslı boladı.

Qara/aq qutı

Programmalıq támiynat testlewi kóbinese aq qutı hám qara qutıǵa bóliniwi múmkin. Bul eki usıl testlewshi test jaǵdayların islep shıqqanda alatuǵın kóz-qarastı súwretlew ushın qollanıladı. Eki qutınıń da aspektlerin óz ishine alatuǵın kúlreń qutı dep atalatuǵın gibrid usıl programmalıq támiynat testlew metodologiyasına da qollanılıwı múmkin.[23][24]

Aq qutı testlewi

White Box Testing Diagram
Aq qutı testlew diagramması

Aq qutı testlewi (sonday-aq ashıq qutı testlew, shisha qutı testlew, móldir qutı testlew hám strukturalıq testlew dep te ataladı) aqırǵı paydalanıwshıǵa kórsetiletuǵın funkcionallıqqa qarama-qarsı programmanıń ishki strukturaların yaki jumısların tastıyıqlaydı. Aq qutı testlewde sistemanıń ishki kóz-qarası (derek kodı), sonday-aq programmalastırıw kónlikpeleri test jaǵdayların islep shıǵıw ushın qollanıladı. Testlewshi kod arqalı jollardı isletiw ushın kirgiziwlerdi tańlaydı hám tiyisli nátiyjelerdi anıqlaydı.[23][24] Bul sxemadaǵı túyinlerdi testlewge uqsas, mısal ushın, sxema ishindegi testlew (ICT).

Aq qutı testlew programmalıq támiynat testlew processiniń birlik, integraciya hám sistema dárejelerinde qollanılıwı múmkin bolsa da, ádette birlik dárejesinde ámelge asırıladı.[25] Ol birlik ishindegi jollardı, integraciya waqtında birlikler arasındaǵı jollardı hám sistema dárejesindegi test waqtında kishi sistemalar arasındaǵı jollardı testley aladı. Test dizaynınıń bul usılı kóp qáteler yaki mashqalalardı anıqlay alsa da, ol specifikaciyanıń ámelge asırılmaǵan bólimlerin yaki jetispeytuǵın talaplardı anıqlamawı múmkin.

Aq qutı testlewde qollanılatuǵın texnikalarǵa tómendegiler kiredi:[24][26]

  • API testlew – ashıq hám jeke APIlerdi (qosımsha programmalastırıw interfeysleri) qollanıp qosımshanı testlew
  • Kodtı qamtıw – kodtı qamtıwdıń belgili bir kriteriylerin qanaatlandırıw ushın testlerdi islep shıǵıw (mısal ushın, test dizayneri programmadaǵı barlıq sózlerdi keminde bir ret orınlatıw ushın testlerdi islep shıǵıwı múmkin)
  • Qáte kirgiziw usılları – testlew strategiyalarınıń nátiyjeliligin ólshew ushın qasaqana qátelerdi kirgiziw
  • Mutaciya testlew usılları
  • Statikalıq testlew usılları

Kodtı qamtıw quralları qara qutı testlewin qosqanda, hár qanday usıl menen dóretilgen test komplektiniń tolıqlıǵın bahalawı múmkin. Bul programmalıq támiynat komandasına sistemanıń siyrek testlenetuǵın bólimlerin tekseriwge imkániyat beredi hám eń áhmiyetli funkciya punktleriniń testlengenine kepillik beredi.[27] Programmalıq támiynat ólshemi retinde kodtı qamtıw tómendegiler ushın procent retinde esabat beriliwi múmkin:[23][27][28]

  • Funkciya qamtıwı, orınlanǵan funkciyalar haqqında esabat beredi.
  • Sóz qamtıwı, testti tamamlaw ushın orınlanǵan qatarlar sanı haqqında esabat beredi.
  • Sheshim qamtıwı, berilgen testtiń Haqıyqıy hám Jalǵan tarmaqlarınıń ekewi de orınlanǵan ba, sonı esabat beredi.

100% sóz qamtıwı barlıq kod jollarınıń yaki tarmaqlarınıń (basqarıw aǵımı jaǵınan) keminde bir ret orınlanıwın támiyinleydi. Bul durıs funkcionallıqtı támiyinlewde járdem beredi, biraq jetkilikli emes, sebebi sol kod túrli kirgiziwlerdi durıs yaki nadurıs túrde islewi múmkin.[29]

Qara qutı testi

Qara qutı diagramması

Qara qutı testlew (sonday-aq funkcionallıq testlew dep te ataladı) derek kodın oqımay, ámelge asırıw haqqındaǵı bilimsiz test jaǵdayların islep shıǵıwdı súwretleydi. Testlewshiler programmalıq támiynattıń ne islewi kerek ekenligin ǵana biledi, onıń qalay isleytuǵının emes.[30] Qara qutı testlew usıllarına tómendegiler kiredi: ekvivalent bólistiriw, shegaralıq qun analizi, barlıq jup testlew, jaǵday ótiw tablicaları, sheshim tablicası testlew, fuzz testlew, modelge tiykarlanǵan testlew, paydalanıw jaǵdayın testlew, izleniw testlew hám specifikaciyaǵa tiykarlanǵan testlew.[23][24][28]

Specifikaciyaǵa tiykarlanǵan testlew tiyisli talaplarǵa muwapıq programmalıq támiynattıń funkcionallıǵın testlewge qaratılǵan.[39] Testlewdiń bul dárejesi ádette testlewshige tolıq test jaǵdayları beriliwin talap etedi, sonda ol berilgen kirgiziw ushın shıǵıw qunlılıǵı (yaki tártibi) test jaǵdayında kórsetilgen kútilgen qunlılıq penen "birdey" yaki "birdey emes" ekenligin ápiwayı túrde tastıyıqlay aladı. Test jaǵdayları specifikaciyalar hám talaplar, yaǵnıy qosımshanıń ne islewi kerek ekenligi átirapında qurıladı. Ol test jaǵdayların shıǵarıp alıw ushın specifikaciyalar, talaplar hám dizaynlardı qosqanda, programmalıq támiynatıń sırtqı súwretlerin qollanadı. Bul testler funkcionallıq yaki funkcionallıq emes bolıwı múmkin, biraq ádette funkcionallıq boladı. Durıs funkcionallıqtı támiyinlew ushın specifikaciyaǵa tiykarlanǵan testlew zárúr bolıwı múmkin, biraq ol kompleksli yamasa joqarı qáwipli jaǵdaylardan qorǵaw ushın jetkilikli emes.[31]

Qara qutı testlew testlewdiń hár qanday dárejesinde qollanılıwı múmkin, biraq ádette birlik dárejesinde emes.[25]

Komponent interfeysin testlew

Komponent interfeysin testlew qara qutı testlewiniń bir variantı bolıp tabıladı, itibar tek kishi sistema komponentiniń baylanıslı ámellerinen tısqarı maǵlıwmattıń mánislerine qaratılǵan.[32] Komponent interfeysin testlew ámeliyatı bul birlikler arasındaǵı tolıq integraciya testlewinen tısqarı, túrli birlikler yaki kishi sistema komponentleri arasında ótkerilgen maǵlıwmatlardı islewdi tekseriw ushın qollanılıwı múmkin.[33][34] Ótkerilip atırǵan maǵlıwmatlar "xabar paketleri" dep esaplanıwı múmkin hám diapazon yaki maǵlıwmat túrleri bir birlikten dóretilgen maǵlıwmatlar ushın tekseriliwi hám basqa birlikke ótkerilmesten aldın jaramlılıǵı tekseriliwi múmkin. Interfeysti testlew ushın bir variant bir neshe kún yaki hápte dawamında birlikler arasında ótkerilgen mıńlaǵan maǵlıwmat jaǵdayların analizlewge imkániyat beriw ushın kóbinese waqıt belgisi qoyılǵan, ótkerilip atırǵan maǵlıwmat elementleriniń ayırım log faylın saqlaw bolıp tabıladı. Testler basqa interfeys ózgeriwshileri ádettegi mánisler retinde ótkerilip atırǵanda, ayırım ekstremal maǵlıwmat mánislerin islewdi tekseriwdi óz ishine alıwı múmkin.[33] Interfeystegi ádetten tıs maǵlıwmat mánisleri keyingi birliktegi kútilmegen ónimdarlıqtı túsindiriwge járdem bere aladı.

Vizual testlew

Vizual testlewdiń maqseti baǵdarlamashılarǵa maǵlıwmatlardı baǵdarlamashı ózi talap etetuǵın informaciyanı ańsat taba alatuǵın hám informaciya anıq súwretlengen usılda kórsetiw arqalı programmalıq támiynattıń isten shıqqan waqtında ne bolıp atırǵanın tekseriw imkániyatın beriw bolıp tabıladı.[35]

Vizual testlewdiń tiykarında qandayda bir adam birewge máseleni (yaki test isten shıǵıwın) súwretlep beriwden góre kórsetiw anıqlıqtı hám túsiniwdi áhmiyetli dárejede arttıradı degen ideya bar. Sonlıqtan, vizual testlew pútkil test processin jazıwdı talap etedi – test sistemasında video formatta júz berip atırǵan barlıq nárseni jazıp alıw. Shıǵıw videoları veb-kamera arqalı súwret-ishinde-súwret rejimindegi real waqıttaǵı testlewshi kirgiziwi hám mikrofonlardan audio kommentariy menen tolıqtırıladı.

Vizual testlew bir neshe artıqmashılıqlardı támiyinleydi. Kommunikaciya sapası anaǵurlım artadı, sebebi testlewshiler máseleni (hám oǵan alıp kelgen waqıyalardı) baǵdarlamashıǵa tek súwretlep beriwden góre kórsete aladı hám kóp jaǵdaylarda test isten shıǵıwların qaytalaw zárúrligi joq boladı. Baǵdarlamashı test isten shıǵıwınıń ózi talap etetuǵın barlıq dálillerine iye boladı hám onıń ornına qáteniń sebebine hám onı qalay dúzetiw kerekligine itibar qarata aladı.

Ad xok testlew hám izleniw testlew programmalıq támiynattıń pútinligin tekseriw ushın áhmiyetli metodologiyalar bolıp tabıladı, sebebi olar ámelge asırıw ushın az tayarlıq waqıtın talap etedi, al áhmiyetli qátelerdi tez tabıw múmkin.[36] Ad xok testlewde, testlew improvizaciyalanǵan kútpegen usılda júz beretuǵın jerde, testlewshilerdiń testlewdi hújjetlestirilgen usıllarǵa tiykarlaw hám sońınan sol testlerdiń variantların improvizaciyalaw qábileti kemshilik dúzetiwlerin bunnan da qatal tekseriwge alıp keliwi múmkin.[36] Degen menen, eger proceduralardıń qatal hújjetlestiriliwi saqlanbasa, ad xok testlewdiń sheklewleriniń biri qaytalanıwdıń joqlıǵı bolıp tabıladı.[36]

Kúlreń qutı testlewi

Kúlreń qutı testlewo (amerikansha jazılıwı: gray-box testing) paydalanıwshı yaki qara qutı dárejesinde sol testlerdi orınlap atırǵanda testlerdi islep shıǵıw maqsetlerinde ishki maǵlıwmat strukturaları hám algoritmleri haqqındaǵı bilimlerdi qollanıwdı óz ishine aladı. Testlewshi kóbinese "derek kodı hám orınlanatuǵın binarlıqqa" ekewine de imkániyatqa iye boladı.[37] Kúlreń qutı testlewi, mısal ushın, shegaralıq mánisler yaki qáte xabarların anıqlaw ushın kersinshe injenerlik (dinamikalıq kod analizin qollanıw)di de óz ishine alıwı múmkin.[37] Kirgiziw maǵlıwmatların manipulyaciyalaw hám shıǵıwdı formatlaw kúlreń qutı dep esaplanbaydı, sebebi kirgiziw hám shıǵıw biz testlep atırǵan sistema dep ataytuǵın "qara qutıdan" anıq túrde sırtta boladı. Bul ayırmashılıq eki túrli baǵdarlamashı tárepinen jazılǵan kodtıń eki moduli arasında integraciya testlewin ótkerip atırǵanda áhmiyetli, onda test ushın tek interfeysler kórsetiledi.

Programmalıq támiynattıń qalay isleytuǵınınıń tiykarǵı túsiniklerin bilip, testlewshi sırttan programmalıq támiynattı testlep atırǵanda jaqsıraq xabardar etilgen testlew tańlawların ámelge asıradı. Ádette, kúlreń qutı testlewshige maǵlıwmatlar bazasın sebiw sıyaqlı ámeller menen ayırım testlew ortalıǵın ornatıwǵa ruqsat etiledi. Testlewshi maǵlıwmatlar bazasına SQL sózlerin orınlaw sıyaqlı belgili bir ámellerdi orınlaǵannan keyin hám kútilgen ózgerislerdiń sáwlelengenine kepillik beriw ushın sorawlardı orınlaǵannan keyin testlenip atırǵan ónimniń jaǵdayın baqlay aladı. Kúlreń qutı testlewi sheklengen informaciyaǵa tiykarlanǵan aqıllı test scenariylerin ámelge asıradı. Bul ásirese maǵlıwmat túrin qayta islew, ayrısha jaǵdaylardı qayta islew hám t.b qollanıladı.[38]

Kúlreń qutı testlewi koncepciyası menen qara hám aq qutı testlewi arasındaǵı bul "erkin ayırmashılıq" biraz joq boldı.[25]

Ornatıw testlewi

Bul bólim Ornatıw testlewinen úzindi bolıp tabıladı.

Kóp programmalıq támiynat sistemalarınıń olar tiykarǵı maqseti ushın qollanılmastan aldın zárúr bolǵan ornatıw proceduraları bar. Ornatılǵan programmalıq támiynatı sistemasına erisiw ushın bul proceduralardı testlew ornatıw testlewi dep ataladı. Bul proceduralar tolıq yaki yarım jańalawlardı hám ornatıw/óshiriw proceslerin óz ishine alıwı múmkin.

Paydalanıwshı túrli variantlardı tańlawı kerek. Baylanıslı fayllar hám kitapxanalar bólistiriliwi, júkleniwi yaki tabılıwı kerek. Jaramlı apparatlıq támiynat konfiguraciyaları bolıwı kerek. Programmalıq támiynat sistemaları basqa programmalıq támiynat sistemalarına baylanısıw ushın baylanısqa zárúr bolıwı múmkin.

Úylesimlilik testlewi

Programmalıq támiynattıń isten shıǵıwınıń (haqıyqıy yaki seziliw) keń taralǵan sebebi onıń basqa qosımsha programmalıq támiynatı, operaciyalıq sistemalar (yaki operaciyalıq sistema versiyaları, eski yaki jańa) yamasa dáslepkiden áhmiyetli dárejede ayırıqsha bolǵan maqsetli ortalıqlar (mısal ushın, terminal yaki jumıs stolında islewge arnalǵan GUI qosımshası endi veb-brauzerde kórsetіliwi kerek bolǵan veb-qosımshaǵa aylanıwı kerek) menen úylesimliliginiń joqlıǵı bolıp tabıladı. Mısal ushın, artqa úylesimlilik joq bolǵan jaǵdayda, bul baǵdarlamashılar programmalıq támiynattı tek maqsetli ortalıqtıń eń sońǵı versiyasında islep shıǵarıp hám testlep atırǵanlıǵı sebepli júz beriwi múmkin, onı barlıq paydalanıwshılar isletpewi múmkin. Bul eń sońǵı jumıstıń maqsetli ortalıqtıń dáslepki versiyalarında yaki maqsetli ortalıqtıń erterek versiyaları qollana alıwshı eski apparatlıq támiynatta islemewi sıyaqlı kútilmegen aqıbetke alıp keledi. Geyde bunday mashqalalardı operaciyalıq sistema funkcionallıǵın ayırım programma moduline yamasa kitapxanaǵa proaktiv túrde abstrakciyalaw arqalı dúzetiw múmkin.

Tútin hám sana testlewi

Sana testlewi bunnan aldınǵı testlew menen dawam etiw aqılǵa muwapıq pa, sonı anıqlaydı.

Tútin testlewi programmalıq támiynatıń pútkilley islewine tosqınlıq etetuǵın hár qanday tiykarǵı mashqalalar bar ma, sonı anıqlaw ushın islep shıǵarılǵan programmalıq támiynattı isletiwge minimal urınıwlardan ibarat. Bunday testler qurılıs verifikaciya testlewi retinde qollanılıwı múmkin.

Regressiya testlewi

Regressiya testlewi kodtaǵı úlken ózgeris júz bergennen keyin kemshiliklerdi tabıwǵa itibar qaratadı. Atap aytqanda, ol programmalıq támiynat regressiyaların, tómenletilgen yaki joǵalǵan funkciyalardı, sonıń ishinde qaytıp kelgen eski qátelerdi anıqlawǵa umtıladı. Bunday regressiyalar programmalıq támiynattıń burın durıs islep turǵan funkcionallıǵı kútilgendey islewin toqtatqanda júz beredi. Ádette, regressiyalar programma ózgerisleriniń kútilmegen aqıbeti retinde, programmalıq támiynatıń jańadan islep shıǵarılǵan bólegi burınnan bar kod penen soqlıǵısqanda júz beredi. Regressiya testlewi ádette kommerciyalıq programmalıq támiynatın islep shıǵıwdaǵı eń úlken test jumısı bolıp tabıladı,[39] aldınǵı programmalıq támiynat funkciyalarındaǵı kóp sanlı detallardı tekseriw sebepli hám hátteki jańa programmalıq támiynatı jańa dizayn bólimlerin testlew ushın ayırım eski test jaǵdayların qollanıp islep shıǵarılıwı múmkin, bul aldınǵı funkcionallıqtıń ele de qollap-quwatlanıwın támiyinleydi.

Regressiya testlewiniń keń tarqalǵan usıllarına aldınǵı test jaǵdayları jıynaqların qayta isletiw hám burın dúzetilgen qátelerdiń qayta payda bolǵanın tekseriw kiredi. Testlew tereńligi shıǵarıw processindegi basqıshqa hám qosılǵan funkciyalardıń qáwipine baylanıslı boladı. Olar ya shıǵarıwda kesh qosılǵan yaki qáwipli dep esaplanǵan ózgerisler ushın tolıq bolıwı múmkin, yaki ózgerisler shıǵarıwda erte bolsa yamasa tómen qáwipli dep esaplansa, hár bir funkciyadaǵı pozitiv testlerden ibarat júdá tómen bolıwı múmkin.

Qabıl etiw testlewi

Qabıl etiw testlewi programmalıq támiynatıń tutınıwshı kútiwlerine sáykes keliwin támiyinlew ushın sistema dárejesindegi testlew bolıp tabıladı.[40][41][42]

Qabıl etiw testlewi rawajlanıwdıń hár qanday eki basqıshı arasındaǵı tapsırıw processiniń bir bólegi retinde orınlanıwı múmkin. Testler kóbinese programmalıq támiynattı islep shıǵıw processinde olar orınlanatuǵın jerge yaki testtiń specifikalıq dárejesine baylanıslı bul dárejelerge toparlastırıladı.[42]

  • Paydalanıwshı qabıl etiw testlewi (UAT)
  • Operaciyalıq qabıl etiw testlewi (OAT)
  • Shártnamalıq hám regulyatorlıq qabıl etiw testlewi
  • Alfa hám beta testlewi

Geyde UAT tutınıwshı tárepinen, olardıń ortalıǵında hám ózleriniń apparatlıq támiynatında orınlanadı.

OAT sapanı basqarıw sistemasınıń bir bólegi retinde ónim, xızmet yaki sistemanıń operaciyalıq tayarlıǵın (shıǵarıwdan aldın) ótkeriw ushın qollanıladı. OAT tiykarınan programmalıq támiynattı islep shıǵıw hám programmalıq támiynattı saqlaw joybarlarında qollanılatuǵın funkcionallıq emes programmalıq támiynat testlewiniń keń taralǵan túri bolıp tabıladı. Testlewdiń bul túri sistemanıń qollap-quwatlanıwı yaki islep shıǵarıw ortalıǵınıń bir bólegi bolıwı ushın operaciyalıq tayarlıǵına itibar qaratadı. Sonlıqtan, ol operaciyalıq tayarlıq testlewi (ORT) yaki operaciyalar tayarlıǵı hám kepilligi (OR&A) testlewi dep te belgili. OAT ishindegi funkcionallıq testlew sistemanıń funkcionallıq emes aspektlerin tastıyıqlaw ushın talap etiletuǵın testler menen sheklenedi.

Bunnan tısqarı, programmalıq támiynat testlewi sistemanıń jetkeriwge jaramlılıǵın, sonday-aq kútilgendey islewi onıń islew ortalıǵına zıyan jetkermewin yaki tolıq emes buzbawın yamasa sol ortalıqtaǵı basqa proceslerdi islewden toqtatıp qoymawın támiyinlewi kerek.[43]

Shartnamalıq qabıl etiw testlewi shartnama dúziliw waqtında belgilengen shartnamanıń qabıl etiw kriteriylerine tiykarlanıp orınlanadı, al regulyatorlıq qabıl etiw testlewi programmalıq támiynat ónimine tiyisli regulyaciyalarǵa tiykarlanıp orınlanadı. Bul eki testti de paydalanıwshılar yaki ǵarezsiz testlewshiler orınlawı múmkin. Regulyaciyalıq qabıl etiw testlewi geyde regulyatorlıq agentliklerdiń test nátiyjelerin tekseriwin óz ishine aladı.[42]

Alfa testlewi

Alfa testlewi potencial paydalanıwshılar/tutınıwshılar yaki islep shıǵıwshılardıń saytındaǵı ǵarezsiz test komandası tárepinen simulyaciyalanǵan yamasa haqıyqıy operaciyalıq testlew bolıp tabıladı. Alfa testlewi kóbinese programmalıq támiynatı beta testlewine ótpesten aldın ishki qabıl etiw testlewiniń bir túri retinde dúkannan alınatuǵın programmalıq támiynatı ushın qollanıladı.[44]

Beta testlewi

Beta testlewi alfa testlewinen keyin keledi hám sırtqı paydalanıwshı qabıl etiw testlewiniń bir túri dep esaplanıwı múmkin. Beta versiyaları dep atalatuǵın programmalıq támiynatınıń versiyaları beta testlewshiler dep atalatuǵın programmalastırıw komandasınan tısqarı sheklengen auditoriyaǵa shıǵarıladı. Programmalıq támiynat adamlar toparlarına shıǵarıladı, sonda bunnan keyingi testlew ónimde az qáteler yaki kemshilikler bar ekenligin támiyinley aladı. Beta versiyaları keleshek paydalanıwshılardıń maksimal sanına kerі baylanıs maydanın arttırıw hám keńeytilgen yamasa hátteki belgilenbegen waqıt dawamında (máńgilik beta) dáslepki mánis jetkerip beriw ushın ashıq jámiyetke jetkilikli etiliwi múmkin.[45]

Funkcionallıq hám funkcionallıq emes testlew

Funkcionallıq testlew kodtıń belgili bir ámelin yaki funkciyasın tastıyıqlaytuǵın ámellerdi ańlatadı. Bular ádette kod talapları hújjetlerinde tabıladı, degen menen ayırım islep shıǵıw metodologiyaları paydalanıw jaǵdaylarınan yaki paydalanıwshı waqıyaları negizinde isleydi. Funkcionallıq testler "paydalanıwshı bunı isley ala ma" yamasa "bul funkciya isley me" degen sorawǵa juwap beriwge umtıladı.

Funkcionallıq emes testlew programmalıq támiynattıń masshtablılıq yaki basqa ónimdarlıq, belgili bir sheklewler astındaǵı tártip yaki qáwipsizlik sıyaqlı belgili bir funkciyaǵa yamasa paydalanıwshı ámeline baylanıslı bolmawı múmkin bolǵan aspektlerine baylanıslı. Testlew úziliw punktin, masshtablılıq yaki ónimdarlıqtıń ekstremalları turaqsız orınlanıwǵa alıp keletuǵın punktin anıqlaydı. Funkcionallıq emes talaplar ónim sapasın, ásirese onıń paydalanıwshılarınıń jaramlılıq kóz-qarası kontekstinde sáwlelendiretuǵın talaplar bolıwǵa umtıladı.

Úziliksiz testlew

Úziliksiz testlew programmalıq támiynatı shıǵarıw talabına baylanıslı biznes qáwipleri haqqında dárhal kerі baylanıs alıw ushın programmalıq támiynatı jetkerip beriw liniyasınıń bir bólegi retinde avtomatlastırılǵan testlerdi orınlaw processi bolıp tabıladı.[46][47] Úziliksiz testlew funkcionallıq talaplardı da, funkcionallıq emes talaplardı da validaciyalawdı óz ishine aladı; testlew kólemi tómennen joqarı talaplardı yaki paydalanıwshı waqıyaların validaciyalawdan baslap, joqarı biznes maqsetleri menen baylanıslı sistema talapların bahalawǵa shekem keńeyedi.[48]

Destruktiv testlewi

Destruktiv testlewi programmalıq támiynatı yamasa kishi sistemanıń isten shıǵıwına sebep bolıwǵa umtıladı. Ol programmalıq támiynatı jaramsız yaki kútilmegen kirgiziwlerdi alǵanda da durıs isleytuǵının tastıyıqlaydı, sonıń menen kirgiziw validaciyası hám qátelerdi basqarıw rutinalarınıń bekkemligin ornatadı. Fuzzing túrindegi programmalıq támiynatı qáte kirgiziw isten shıǵıw testlewiniń bir mısalı bolıp tabıladı. Programmalıq támiynatı qáte kirgiziw betinde túrli kommerciyalıq funkcionallıq emes testlew quralları baylanıstırılǵan; destruktiv testlewin orınlaytuǵın kóp sanlı ashıq kodlı hám biypul programmalıq támiynatı quralları da bar.

Programmalıq támiynat ónimdarlıǵın testlew

Ónimdarlıq testlewi ádette belgili bir júkleme astında sistema yaki kishi sistemanıń juwapkershilik hám turaqlılıq jaǵınan qalay isleytuǵının anıqlaw ushın orınlanadı. Ol sistemanıń masshtablılıq, isenimlilik hám resurs paydalanıw sıyaqlı basqa sapa atributların izertlew, ólshew, validaciyalaw yaki tastıyıqlaw ushın da xızmet etiwi múmkin.

Júkleme testlewi tiykarınan sistemanıń úlken muǵdardaǵı maǵlıwmatlar yaki kóp sanlı paydalanıwshılar bolsın, belgili bir júkleme astında islewin dawam ete ala ma, sonı testlewge baylanıslı. Bul ádette programmalıq támiynattıń masshtablılıǵı dep ataladı. Funkcionallıq emes ámel retinde orınlanǵanda baylanıslı júkleme testlew ámeli kóbinese shıdamlılıq testlewi dep ataladı. Kólem testlewi ayırım komponentler (mısal ushın fayl yaki maǵlıwmatlar bazası) ólshemi ádewir artqanda da programmalıq támiynatı funkciyaların testlew usılı bolıp tabıladı. Stress testlewi kútilmegen yaki siyrek júklemeler astında isenimliliktı testlew usılı bolıp tabıladı. Turaqlılıq testlewi (kóbinese júkleme yaki shıdamlılıq testlewi dep ataladı) programmalıq támiynattı qabıl etiwge bolatuǵın dáwirde yaki onnan joqarı dáwirde úziliksiz jaqsı isley ala ma, sonı tekseredi.

Ónimdarlıq testlewiniń belgili bir maqsetleri ne ekenligi haqqında az kelisim bar. Júkleme testlewi, ónimdarlıq testlewi, masshtablılıq testlewi hám kólem testlewi terminleri kóbinese bir-biriniń ornına qollanıladı.

Real waqıttaǵı programmalıq támiynat sistemalarınıń qatal waqıt sheklewleri bar. Waqıt sheklewleriniń orınlanıwın testlew ushın real waqıttaǵı testlew qollanıladı.

Paydalanıwǵa qolaylılıq testlewi

Paydalanıwǵa qolaylılıq testlewi paydalanıwshı interfeysiniń qollanıw hám túsiniwge ańsat ekenligin tekseriw bolıp tabıladı. Ol tiykarınan qosımshanı qollanıwǵa baylanıslı. Bul avtomatlastırılıwı múmkin bolǵan testlew túri emes; tájiriybeli UI dizaynerleri tárepinen baqlanıp atırǵan haqıyqıy adam paydalanıwshıları zárúr.

Imkániyatı sheklengenler ushın qolaylılıq testlewi

Imkániyatı sheklengenler ushın qolaylılıq testlewi programmalıq támiynatınıń imkániyatı sheklengen adamlar ushın qolaylı ekenligin támiyinlew ushın qollanıladı. Veb-imkániyat testlewiniń ayırım keń tarqalǵanları:

  • Shrift penen fon reńi arasındaǵı reń kontrastınıń tiyisli ekenligin támiyinlew
  • Shrift ólshemi
  • Multimedialıq mazmun ushın alternativ tekstler
  • Kompyuter klaviaturasınan tısqarı tıshqanshanı paydalanıp sistemanı qollanıw qábileti.

Ámel etiw ushın keń tarqalǵan standartlar:

  • 1990-jılǵı Imkániyatı sheklengen amerikalılar haqqındaǵı nızam
  • 508-bólim, 1973-jılǵı Reabilitaciya haqqındaǵı nızamǵa dúzetiw
  • Dúnya júzilik veb konsorciumınıń (W3C) Veb qolaylılıǵı baslaması (WAI)

Derekler

  1. ↑ Pan, Jiantao „Software Testing“. Carnegie Mellon University (spring 1999). Qaraldı: 21-noyabr 2017-jıl.
  2. ↑ Kaner, Cem; Falk, Jack; Nguyen, Hung Quoc. Testing Computer Software, 2nd, New York: John Wiley and Sons, 1999. ISBN 978-0-471-35846-6. 
  3. ↑ Cohn, Mike. Succeeding with Agile: Software Development Using Scrum. Addison-Wesley Professional, 2009. ISBN 978-0321579362. 
  4. ↑ Molina, Alessandro. Crafting Test-Driven Software with Python: Write test suites that scale with your applications' needs and complexity using Python and PyTest. Packt Publishing, 2021. ISBN 978-1838642655. 
  5. ↑ Fernandes da Costa, Lucas. Testing JavaScript Applications. Manning, 2021. ISBN 978-1617297915. 
  6. ↑ „The Economic Impacts of Inadequate Infrastructure for Software Testing“. National Institute of Standards and Technology (may 2002). Qaraldı: 19-dekabr 2017-jıl.
  7. ↑ 7,0 7,1 Myers, Glenford J.. The Art of Software Testing. John Wiley and Sons, 1979. ISBN 978-0-471-04328-7. 
  8. ↑ IEEE Standard Glossary of Software Engineering Terminology, 1990, doi:10.1109/IEEESTD.1990.101064, ISBN 978-1-55937-067-7 {{citation}}: Unknown parameter |publisher= ignored (járdem)
  9. ↑ „Certified Tester Foundation Level Syllabus“ (pdf). International Software Testing Qualifications Board (31-mart 2011-jıl). 28-oktyabr 2017-jılda túp nusqadan arxivlendi. Qaraldı: 15-dekabr 2017-jıl.
  10. ↑ Kolawa, Adam; Huizinga, Dorota. Automated Defect Prevention: Best Practices in Software Management. Wiley-IEEE Computer Society Press, 2007. ISBN 978-0-470-04212-0. 
  11. ↑ „Certified Tester Foundation Level Syllabus“. International Software Testing Qualifications Board (1-iyul 2005-jıl). 17-dekabr 2008-jılda túp nusqadan arxivlendi. Qaraldı: 15-dekabr 2017-jıl.
  12. ↑ Kaner, Cem; Bach, James; Pettichord, Bret. Lessons Learned in Software Testing: A Context-Driven Approach. Wiley, 2001 — 31–43 bet. ISBN 978-0-471-08112-8. 
  13. ↑ „Chapter 5“,Guide to the Software Engineering Body of Knowledge, 3.0. IEEE Computer Society, 2014. ISBN 978-0-7695-5166-1. 
  14. ↑ „Chapter 4: Software Testing“,SWEBOK v3.0: Guide to the Software Engineering Body of Knowledge. IEEE, 2014. ISBN 978-0-7695-5166-1. 
  15. ↑ Software Development and Professional Practice. APress, 2011. ISBN 978-1-4302-3801-0. 
  16. ↑ Creating a Software Engineering Culture. Addison-Wesley, 2013. ISBN 978-0-13-348929-3. 
  17. ↑ 17,0 17,1 Graham, D.; Van Veenendaal, E.; Evans, I.. Foundations of Software Testing. Cengage Learning, 2008 — 57–58 bet. ISBN 978-1-84480-989-9. 
  18. ↑ 18,0 18,1 18,2 18,3 Oberkampf, W.L.; Roy, C.J.. Verification and Validation in Scientific Computing. Cambridge University Press, 2010 — 154–5 bet. ISBN 978-1-139-49176-1. 
  19. ↑ Lee, D.; Netravali, A.N.; Sabnani, K.K.; Sugla, B.; John, A. „Passive testing and applications to network management“,. Proceedings 1997 International Conference on Network Protocols. IEEE Comput. Soc, 1997 — 113–122 bet. DOI:10.1109/icnp.1997.643699. ISBN 978-0-8186-8061-8. 
  20. ↑ Lee, D.; Yannakakis, M. (1996). "Principles and methods of testing finite state machines-a survey". Proceedings of the IEEE 84 (8): 1090–1123. doi:10.1109/5.533956. https://doi.org/10.1109/5.533956. 
  21. ↑ Petrenko, A.; Yevtushenko, N. „Adaptive testing of deterministic implementations specified by nondeterministic FSMs“,. In Testing Software and Systems: 23rd IFIP WG 6.1 International Conference, ICTSS 2011, Paris, France, November 7-10, Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2011 — 162–178 bet. DOI:10.1007/978-3-642-24580-0_12. ISBN 978-3-642-24579-4. 
  22. ↑ Petrenko, A.; Yevtushenko, N. „Adaptive testing of nondeterministic systems with FSM“,. In 2014 IEEE 15th International Symposium on High-Assurance Systems Engineering. IEEE, 2014 — 224–228 bet. DOI:10.1109/HASE.2014.39. ISBN 978-1-4799-3466-9. 
  23. ↑ 23,0 23,1 23,2 23,3 Limaye, M.G.. Software Testing. Tata McGraw-Hill Education, 2009 — 108–11 bet. ISBN 978-0-07-013990-9. 
  24. ↑ 24,0 24,1 24,2 24,3 Saleh, K.A.. Software Engineering. J. Ross Publishing, 2009 — 224–41 bet. ISBN 978-1-932159-94-3. 
  25. ↑ 25,0 25,1 25,2 Ammann, P.; Offutt, J.. Introduction to Software Testing. Cambridge University Press, 2016 — 26 bet. ISBN 978-1-316-77312-3. 
  26. ↑ Everatt, G.D.; McLeod Jr., R. „Chapter 7: Functional Testing“,. Software Testing: Testing Across the Entire Software Development Life Cycle. John Wiley & Sons, 2007 — 99–121 bet. ISBN 978-0-470-14634-7. 
  27. ↑ 27,0 27,1 Cornett, Introduction „Code Coverage Analysis“. Bullseye Testing Technology (8-aprel 1996-jıl). Qaraldı: 21-noyabr 2017-jıl.
  28. ↑ 28,0 28,1 Black, R.. Pragmatic Software Testing: Becoming an Effective and Efficient Test Professional. John Wiley & Sons, 2011 — 44–6 bet. ISBN 978-1-118-07938-6. 
  29. ↑ As a simple example, the C function int f(int x){return x*x-6*x+8;} consists of only one statement. All tests against a specification f(x)>=0 will succeed, except if x=3 happens to be chosen.
  30. ↑ Patton, Ron. Software Testing, 2nd, Indianapolis: Sams Publishing, 2005. ISBN 978-0-672-32798-8. 
  31. ↑ Bach, James (June 1999). "Risk and Requirements-Based Testing". Computer 32 (6): 113–114. http://www.satisfice.com/articles/requirements_based_testing.pdf. Retrieved August 19, 2008. 
  32. ↑ Mathur, A.P.. Foundations of Software Testing. Pearson Education India, 2011 — 63 bet. ISBN 978-81-317-5908-0. 
  33. ↑ 33,0 33,1 Clapp, Judith A.. Software Quality Control, Error Analysis, and Testing. William Andrew, 1995 — 313 bet. ISBN 978-0-8155-1363-6. 
  34. ↑ Mathur, Aditya P.. Foundations of Software Testing. Pearson Education India, 2007 — 18 bet. ISBN 978-81-317-1660-1. 
  35. ↑ Chima, Raspal. „Visual testing“. TEST Magazine. July 24, 2012da túp nusqadan arxivlendi. Qaraldı: January 13, 2012.
  36. ↑ 36,0 36,1 36,2 Lewis, W.E.. Software Testing and Continuous Quality Improvement, 3rd, CRC Press, 2016 — 68–73 bet. ISBN 978-1-4398-3436-7. 
  37. ↑ 37,0 37,1 Ransome, J.; Misra, A.. Core Software Security: Security at the Source. CRC Press, 2013 — 140–3 bet. ISBN 978-1-4665-6095-6. 
  38. ↑ „SOA Testing Tools for Black, White and Gray Box“. Crosscheck Networks. 1-oktyabr 2018-jılda túp nusqadan arxivlendi. Qaraldı: 10-dekabr 2012-jıl.
  39. ↑ Ammann, Paul; Offutt, Jeff. Introduction to Software Testing. Cambridge University Press, January 28, 2008 — 215 bet. ISBN 978-0-521-88038-1. 
  40. ↑ Machado, P.; Vincenzi, A.; Maldonado, J.C. „Chapter 1: Software Testing: An Overview“,. Testing Techniques in Software Engineering. Springer Science & Business Media, 2010 — 13–14 bet. ISBN 978-3-642-14334-2. 
  41. ↑ Clapp, J.A.; Stanten, S.F.; Peng, W.W.. Software Quality Control, Error Analysis, and Testing. Nova Data Corporation, 1995 — 254 bet. ISBN 978-0-8155-1363-6. 
  42. ↑ 42,0 42,1 42,2 „ISTQB CTFL Syllabus 2018“. ISTQB - International Software Testing Qualifications Board. 24-mart 2022-jılda túp nusqadan arxivlendi. Qaraldı: 11-aprel 2022-jıl.
  43. ↑ Woods, Anthony J. „Operational Acceptance – an application of the ISO 29119 Software Testing standard“. Capgemini Australia (5-iyun 2015-jıl). Qaraldı: 9-yanvar 2018-jıl.
  44. ↑ „Standard Glossary of Terms used in Software Testing“. International Software Testing Qualifications Board. Qaraldı: 9-yanvar 2018-jıl.
  45. ↑ O'Reilly, Section 4. End of the Software Release Cycle „What is Web 2.0“. O'Reilly Media (30-sentyabr 2005-jıl). Qaraldı: 11-yanvar 2018-jıl.
  46. ↑ Auerbach, Adam „Part of the Pipeline: Why Continuous Testing Is Essential“. TechWell Insights. TechWell Corp. (3-avgust 2015-jıl). Qaraldı: 12-yanvar 2018-jıl.
  47. ↑ Philipp-Edmonds, Cameron „The Relationship between Risk and Continuous Testing: An Interview with Wayne Ariola“. Stickyminds (5-dekabr 2014-jıl). Qaraldı: 16-yanvar 2018-jıl.
  48. ↑ Auerbach, Adam „Shift Left and Put Quality First“. TechWell Insights. TechWell Corp. (2-oktyabr 2014-jıl). Qaraldı: 16-yanvar 2018-jıl.
«https://kaa.wikipedia.org/w/index.php?title=Programmalıq_támiynattı_testlew&oldid=102849» saytınan alınǵan