Podczas pisania oprogramowania w kodzie na pewno wystąpią błędy. Może to mieć postać błędów składniowych, błędów logicznych, błędów wykonania, błędów wydajności, błędów danych lub jeszcze gorzej.
Niemal wszechobecny charakter błędów podczas pisania oprogramowania sprawia, że testowanie oprogramowania jest ważnym krokiem w rozwoju oprogramowania. Właściwe i skuteczne testowanie skutkuje nie tylko wysokiej jakości oprogramowaniem, które spełnia potrzeby użytkowników, ale także oprogramowaniem zgodnym z przepisami i posiadającym niewiele luk, które mogą zostać wykorzystane przez atakujących.
Testowanie oprogramowania może odbywać się w formie testów automatycznych, testów jednostkowych, testów integracyjnych lub testowania całego oprogramowania poprzez testowanie systemowe.
Jednak ważną kwestią, która pojawia się podczas tworzenia oprogramowania, jest sposób ustalenia, czy oprogramowanie zostało kompleksowo przetestowane. Czy testy, które przeprowadziłeś na oprogramowaniu, są wystarczające?
Czy w pełni przetestowałeś wszystkie części swojego oprogramowania, czy też są fragmenty kodu, które w ogóle nie zostały przetestowane?
Takie pytania z pewnością pojawią się podczas testowania oprogramowania i dlatego pokrycie kodu jest tak ważne.
Pokrycie kodu to metryka testowania oprogramowania, która informuje, jaka część kodu została wykonana, a tym samym przetestowana przez testy przeprowadzone na testowanym oprogramowaniu. Wyniki pokrycia kodu wyrażone są w procentach.
Ta wartość procentowa pokazuje, jaka część kodu została objęta testami przeprowadzonymi na kodzie. Na przykład, jeśli przeprowadzisz test i uzyskasz pokrycie kodu w wysokości 60%, oznacza to, że 40% Twojego kodu nie zostało objęte testami, które napisałeś, a zatem w nieprzetestowanym kodzie mogą występować błędy i luki w zabezpieczeniach.
Z tego powodu pokrycie kodu umożliwia analizę skuteczności i kompletności testów przeprowadzonych na oprogramowaniu. Ma to tę zaletę, że oprogramowanie jest odpowiednio i wszechstronnie testowane przed jego wydaniem. Zmniejsza to liczbę błędów oprogramowania w oprogramowaniu produkcyjnym, które mogą wpływać na wrażenia użytkowników z oprogramowania.
O ile pokrycie kodu w 100% niekoniecznie oznacza, że pisane oprogramowanie jest całkowicie wolne od błędów, chcesz dążyć do wysokiego pokrycia kodu, aby zapewnić wydajne testowanie oprogramowania.
W krytycznych branżach, takich jak lotnictwo i medycyna, gdzie błędy oprogramowania mogą spowodować śmierć, przepisy wymagają 100% pokrycia oprogramowania podczas testowania.
Spis treści:
Rodzaje wskaźników pokrycia kodu
Istnieje kilka rodzajów metryk pokrycia kodu, które można zmierzyć podczas testowania oprogramowania. Zawierają:
- Pokrycie instrukcji – mierzy procent instrukcji wykonywalnych w kodzie źródłowym, które zostały wykonane podczas testowania.
- Pokrycie funkcji – mierzy procent zdefiniowanych funkcji, które zostały wywołane podczas testowania.
- Branch Coverage – mierzy procent rozgałęzień lub możliwych ścieżek, które zostały wykonane ze wszystkich punktów decyzyjnych w kodzie źródłowym. Służy do zapewnienia, że wszystkie gałęzie wynikające ze struktur kontroli decyzji, takie jak instrukcje if, switch i if else, zostały w pełni przetestowane.
- Pokrycie warunków — mierzy procent wyrażeń boolowskich, które zostały przetestowane zarówno pod kątem wartości prawdziwych, jak i fałszywych.
- Pokrycie pętli – mierzy procent pętli w kodzie źródłowym, które zostały wykonane podczas testowania.
- Path Coverage – mierzy procent wszystkich możliwych ścieżek wykonania w kodzie źródłowym, które zostały przetestowane.
Powyższe metryki są zazwyczaj uwzględniane w raporcie pokrycia kodu.
Najlepsze praktyki dotyczące pokrycia kodu
Istnieją pewne najlepsze praktyki, które są zalecane podczas przeprowadzania pokrycia kodu w celu zapewnienia skuteczności i jakości pokrycia kodu. Zawierają:
Miej jasne cele dotyczące zasięgu
W każdym przeprowadzanym testowaniu oprogramowania ustaw docelowe wartości procentowe pokrycia dla każdej odpowiedniej miary pokrycia testowego. Ma to tę zaletę, że nie tylko zapewnia jasne cele testowania, ale także pomaga zmniejszyć liczbę defektów w oprogramowaniu poprzez ukierunkowanie wysiłków zespołu na zwiększenie pokrycia kodu. Pomaga również zapewnić, że podczas tworzenia oprogramowania poświęca się testowaniu oprogramowania tyle uwagi, na ile zasługuje.
Skoncentruj się na jakości testów
Należy zauważyć, że pokrycie kodu pokazuje po prostu procent kodu, który został przetestowany, a nie pokazuje, czy zostały one przetestowane poprawnie lub czy oprogramowanie jest wolne od błędów. Dlatego zamiast po prostu skupiać się na zbliżeniu pokrycia kodu do 100 procent, należy położyć nacisk na pisanie wysokiej jakości i skutecznych testów, które prawidłowo testują oprogramowanie i dodają wartość.
Zwiększ pokrycie kodu w często zmieniającym się kodzie
Podczas gdy osiągnięcie wysokiego poziomu pokrycia kodu w dużych projektach może być trudne, można dołożyć wszelkich starań, aby z czasem pokrycie kodu było coraz lepsze.
Świetnym sposobem na to jest wymaganie wysokiego pokrycia kodu wynoszącego ponad 90 procent w każdym nowym zatwierdzeniu do bazy kodu projektu.
Wymuszanie pokrycia kodu na poziomie zatwierdzenia jest nie tylko realistyczne i wykonalne, ale także gwarantuje, że wszelkie nowe zmiany wprowadzone w oprogramowaniu będą miały doskonałe pokrycie kodu.
Mierz i analizuj dane dotyczące pokrycia kodu
Wykorzystaj wyniki uzyskane z pokrycia kodu, aby zidentyfikować obszary, które nadal wymagają testowania, a także pokieruj przyszłymi testami, koncentrując się na obszarach o niskim pokryciu kodem.
Analizuj dane dotyczące pokrycia kodu, aby zidentyfikować krytyczne obszary aplikacji, które nie zostały jeszcze przetestowane, i skieruj swoje wysiłki na pełne przetestowanie nieprzetestowanych obszarów krytycznych. Wykorzystanie danych o pokryciu kodu do ulepszania i ustalania priorytetów w oprogramowaniu skutkuje lepiej przetestowanym oprogramowaniem z mniejszą liczbą defektów.
Pokrycie kodu a pokrycie testów
Podczas gdy oba są używane do ustalenia skuteczności testów, pokrycie kodu i pokrycie testów różnią się zasadniczo pod względem ich zastosowania i tego, co mierzą.
Pokrycie testami to miara używana do określenia stopnia, w jakim pisemne testy pokrywają wymagania oprogramowania. Obejmuje testowanie każdego wymagania dotyczącego oprogramowania i pomaga ustalić, jak dobrze oprogramowanie zostało przetestowane pod kątem spełniania wymagań.
Wyniki pokrycia testów pokazują procent wymagań oprogramowania, które zostały przetestowane. Zakres testów jest zwykle wykonywany przez specjalistów ds. zapewniania jakości.
Z drugiej strony pokrycie kodu jest metryką testowania oprogramowania używaną do określenia procentu kodu źródłowego, który został wykonany w testach pisemnych.
Wyniki pokrycia kodu pokazują, w jakim stopniu instrukcje, funkcje, ścieżki, pętle, rozgałęzienia i warunki w kodzie źródłowym zostały wykonane przez pisemne testy jednostkowe. Pokrycie kodu służy do oceny, jak dobrze napisane testy pokrywają kod źródłowy i jest zwykle wykonywane przez programistów.
Pokrycie kodu jest ważnym wskaźnikiem do pomiaru podczas testowania oprogramowania. Oto kilka narzędzi, które pomogą Ci z pokryciem kodu:
Koniczyna
Clover to narzędzie do pokrycia kodu typu open source, pierwotnie opracowane przez Atlassian, australijską firmę programistyczną, która opracowuje produkty dla zespołów programistycznych. Narzędzie jest napisane wyłącznie w Javie i może działać na dowolnym systemie operacyjnym, który spełnia wymagania Java Runtime Environment.
Clover może być używany do wykonywania pokrycia kodu na kodzie napisanym w językach programowania Java, Groovy lub AspectJ. Obsługuje frameworki testowe, takie jak JUnit, TestNG i Spock, a także może być zintegrowany z IDE, takimi jak IntelliJ IDEA i Eclipse.
Clover może być używany do mierzenia wskaźników pokrycia kodu, takich jak metoda, instrukcja, gałąź, pokrycie globalne i na test.
Na podstawie ćwiczenia pokrycia kodu może generować wysoce konfigurowalne raporty HTML, które pokazują wyniki pokrycia kodu oprócz obszarów największego ryzyka w oprogramowaniu i mogą być wykorzystywane do optymalizacji testów.
Raporty mogą być również generowane w formacie PDF, XML, JSON lub zwykłym tekstem. Kluczową zaletą koniczyny jest to, że można ją zintegrować z wieloma różnymi narzędziami oraz że jest aktywnie rozwijana i ulepszana.
JaCoCo
JaCoCo to bezpłatna biblioteka pokrycia kodu dla języka programowania Java, opracowana przez zespół EclEmma. Biblioteka jest zaimplementowana w EclEmma, które jest darmowym narzędziem do pokrycia kodu Java dla Eclipse IDE.
JaCoCo zapewnia bogatą analizę pokrycia, której wyniki są natychmiast podsumowywane i wyróżniane w edytorze kodu źródłowego Java, co pozwala użytkownikom na drążenie wyników pokrycia do poziomu metody.
Wyniki są prezentowane za pomocą konfigurowalnego kodu kolorystycznego, który wyróżnia linie kodu, które zostały w pełni, częściowo lub jeszcze nieobjęte testami prowadzonymi na kodzie źródłowym. Pozwala na łączenie i uwzględnianie różnych przebiegów testów w celu uzyskania całkowitego pokrycia kodu źródłowego.
JaCoCo to lekkie narzędzie, które nie wymaga modyfikowania projektów ani wykonywania żadnych innych konfiguracji do analizy pokrycia kodu.
Cobertura
Cobertura to bezpłatne narzędzie do pokrycia kodu Java o otwartym kodzie źródłowym, które jest oparte na Jcoverage i może być używane samodzielnie, za pośrednictwem skryptu Ant lub wtyczki Maven. Używanie go za pośrednictwem wtyczki Maven jest najczęstszym sposobem wykorzystania Cobertury do pokrycia kodu.
Cobertura mierzy procent linii lub rozgałęzień, które zostały wykonane przez testy przeprowadzone na kodzie źródłowym Java. Zapewnia metryki, takie jak pokrycie linii, które pokazuje procent instrukcji wykonanych podczas testów, a także pokrycie gałęzi, które pokazuje procent gałęzi pokrytych podczas testów.
Pokazuje również współczynnik złożoności, który rośnie wraz ze wzrostem liczby rozgałęzień w kodzie Java.
Wyniki pokrycia kodu są prezentowane w formacie HTML lub XML, pokazując, które części kodu źródłowego nie zostały przetestowane. Oprócz pokazywania wyników pokrycia testów, Cobertura może być również używana do lokalizowania nieprzetestowanego kodu i błędów, a także do identyfikowania niedostępnego kodu.
Stambuł
Istanbul to narzędzie do pokrycia kodu dla kodu JavaScript z obsługą ES6+. To narzędzie można zainstalować w dowolnym projekcie Javascript jako zależność programistyczną za pomocą menedżera pakietów węzłów.
Stambuł zapewnia metryki pokrycia kodu, takie jak instrukcja, oddział, funkcja i pokrycie linii. Pokazuje również linie w kodzie źródłowym, które nie zostały objęte testami. Czyni to poprzez dodanie liczników linii do kodu JavaScript, dzięki czemu może śledzić stopień, w jakim testy jednostkowe wykonują kod źródłowy.
Wyniki pokrycia kodu przez Stambuł można wyprowadzić w terminalu lub w formie HTML. Ponadto Stambuł oferuje wsparcie dla aplikacji, które tworzą podprocesy, zmapowany zasięg projektów Babel i TypeScript.
Pytest-cov
Pytest-cov to darmowa wtyczka Pythona służąca do generowania raportów pokrycia kodu dla kodu Pythona. Jest instalowany za pomocą instalatora pakietów Pythona Pip i jest obsługiwany z wiersza poleceń.
Jego raport pokrycia kodu pokazuje instrukcje w twoim projekcie Pythona, które nie zostały objęte testami, i zapewnia procent pokrycia testów pokazujący procent twojego kodu Pythona objętego testami.
Pytest-cov oferuje obsługę podprocesów, obsługę xdist i spójne zachowanie pytest. Domyślnym zachowaniem Pytest-cov podczas przeprowadzania testów jest usuwanie istniejących plików danych pokrycia, aby zapewnić nowe i czyste dane dla każdego nowego uruchomienia testu. Jednak umożliwia również użytkownikom łączenie wyników testów pokrycia kodu z poprzednich przebiegów testów.
pokrycie.py
Coverage.py to narzędzie do pokrycia kodu dla programów w Pythonie, które jest instalowane w projektach wykorzystujących pip.
Domyślnie mierzy pokrycie linii lub instrukcji i dostarcza wyniki pokazujące liczbę instrukcji w programie, te pominięte w testach i procentowe pokrycie testu, a także pokazuje linie w kodzie źródłowym Pythona, które zostały pominięte przez testy. Jednak nadal można go skonfigurować do pomiaru pokrycia gałęzi w programach Pythona.
Coverage.py może również służyć do określenia, które testy uruchomiły które linie w kodzie źródłowym. Jego raport pokrycia kodu może być prezentowany w terminalu, a także w formatach HTML, XML, JSON i LCOV.
SimpleCov
SimpleCov to solidne narzędzie do pokrycia kodu dla języka programowania Ruby. Wykorzystuje wbudowaną bibliotekę pokrycia Ruby do zbierania odpowiednich danych, które można wykorzystać do określenia pokrycia kodu po uruchomieniu testów.
Najlepszą rzeczą w SimpleCov jest prezentacja wyników pokrycia kodu. Łączy również wyniki z różnych rodzajów przeprowadzonych testów, dzięki czemu wygenerowany raport pokazuje wyniki ze wszystkich przeprowadzonych testów, umożliwiając łatwą identyfikację nieprzetestowanych części kodu.
Formatuje również kod źródłowy za pomocą kodów kolorystycznych, które można łatwo wykorzystać do identyfikacji przetestowanych i nieprzetestowanych części kodu. Domyślnie SimpleCov mierzy i raportuje pokrycie linii testów. Można go jednak skonfigurować tak, aby mierzyć i raportować pokrycie oddziałów przeprowadzonych testów.
Głęboka osłona
Deep Cover to dokładne narzędzie do pokrycia kodu dla kodu Ruby. Oferuje dokładniejsze raporty o pokryciu linii, zapewniając, że linia jest uważana za pokrytą tylko wtedy, gdy jest wykonana w całości, a nie częściowo.
Dodatkowo oferuje wsparcie dla pokrycia węzłów i gałęzi, które opcjonalnie można wykorzystać do sprawdzenia, czy są jakieś gałęzie, które nie zostały uwzględnione w testach.
Deep Cover jest nie tylko łatwy w użyciu bez konieczności konfiguracji, ale może być zintegrowany z projektami przy użyciu innych narzędzi do pokrycia kodu, takich jak wbudowana biblioteka pokrycia kodu Ruby lub SimpleCov. W takich przypadkach Deep Cover zaostrza narzędzia, oznaczając wiersze jako wykonane tylko wtedy, gdy wszystko w wierszu kodu jest w pełni wykonane.
Wniosek
O ile większe pokrycie kodu niekoniecznie zaowocuje oprogramowaniem wolnym od błędów, jest to kluczowa miara, którą należy wziąć pod uwagę podczas testowania oprogramowania. Pokrycie kodu jest ważne przy ocenie, w jakim stopniu napisane testy faktycznie sprawdzają kod źródłowy oprogramowania.
Dodatkowo praca nad poprawą pokrycia kodu podczas testowania skutkuje lepiej przetestowanym oprogramowaniem, które jest mniej podatne na błędy produkcyjne. Aby wykonać pokrycie kodu podczas testowania oprogramowania, rozważ użycie narzędzi sugerowanych w artykule.
Możesz także zapoznać się z narzędziami do testowania obciążenia opartymi na chmurze.