Test unitaire
En programmation informatique, le test unitaire (ou « T.U. », ou « U.T. » en anglais) est une procédure permettant de vérifier le bon fonctionnement d'une partie précise d'un logiciel ou d'une portion d'un programme (appelée « unité » ou « module »).
Pour les articles homonymes, voir Test.
Dans les applications non critiques, l'écriture des tests unitaires a longtemps été considérée comme une tâche secondaire. Cependant, les méthodes Extreme programming (XP) ou Test Driven Development (TDD) ont remis les tests unitaires, appelés « tests du programmeur », au centre de l'activité de programmation.
Origine et histoire
L'environnement de test SUnit[1] pour le langage Smalltalk est créé en par Kent Beck[2]. En 1997, Kent Beck rencontre Erich Gamma avec lequel il crée JUnit qui, par sa popularité, entraînera la création de nombreux frameworks de tests unitaires, cet ensemble se nomme xUnit[3].
A la même époque, ATTOL Unit test est développé, puis utilisé par Sextant Avionique en 1998[4]
Utilité[5]
On écrit un test pour confronter une réalisation à sa spécification. Le test définit un critère d'arrêt (état ou sorties à l'issue de l'exécution) et permet de statuer sur le succès ou sur l'échec d'une vérification. Grâce à la spécification, on est en mesure de faire correspondre un état d'entrée donné à un résultat ou à une sortie. Le test permet de vérifier que la relation d'entrée / sortie donnée par la spécification est bel et bien réalisée.
Trouver les erreurs rapidement
La méthode XP préconise d'écrire les tests en même temps, ou même avant la fonction à tester (Test Driven Development). Ceci permet de définir précisément l'interface du module à développer. Les tests sont exécutés durant tout le développement, permettant de visualiser si le code fraîchement écrit correspond au besoin.
Sécuriser la maintenance
Lors d'une modification d'un programme, les tests unitaires signalent les éventuelles régressions. En effet, certains tests peuvent échouer à la suite d'une modification, il faut donc soit réécrire le test pour le faire correspondre aux nouvelles attentes, soit corriger l'erreur se situant dans le code.
Documenter le code
Les tests unitaires peuvent servir de complément à l'API, il est très utile de lire les tests pour comprendre comment s'utilise une méthode. De plus, il est possible que la documentation ne soit plus à jour, mais les tests eux correspondent à la réalité de l'application.
Fonctionnement
On définit généralement 4 phases dans l'exécution d'un test unitaire :
- Initialisation (fonction
setUp
) : définition d'un environnement de test complètement reproductible (une fixture). - Exercice : le module à tester est exécuté.
- Vérification (utilisation de fonctions
assert
) : comparaison des résultats obtenus avec un vecteur de résultat défini. Ces tests définissent le résultat du test : SUCCÈS (SUCCESS
) ou ÉCHEC (FAILURE
). On peut également définir d'autres résultats comme EVITE (SKIPPED
). - Désactivation (fonction
tearDown
) : désinstallation des fixtures pour retrouver l'état initial du système, dans le but de ne pas polluer les tests suivants. Tous les tests doivent être indépendants et reproductibles unitairement (quand exécutés seuls).
Utilisation
Il s'agit pour le programmeur de tester un module, indépendamment du reste du programme, ceci afin de s'assurer qu'il répond aux spécifications fonctionnelles et qu'il fonctionne correctement en toutes circonstances. Cette vérification est considérée comme essentielle, en particulier dans les applications critiques. Elle s'accompagne couramment d'une vérification de la couverture de code (évaluation de la couverture structurelle), qui consiste à s'assurer que l'ensemble des tests conduit à exécuter l'ensemble (ou une fraction déterminée) des instructions présentes dans le code.
L'ensemble des tests unitaires doit être rejoué après une modification du code afin de vérifier qu'il n'y a pas de régressions (l'apparition de nouveaux dysfonctionnements). L'emploi d'une « stratégie de test » particulière peut limiter les tests à rejouer, par exemple : une analyse d'impact des modifications, corrélée à une preuve d'indépendance des modules, permet de cibler les cas de test unitaire à rejouer.
Commencer par les tests
Un test doit correspondre aux spécifications de l'application, il faut donc écrire les tests en premier puis les faire passer par la suite plutôt que d'écrire le code avant et de prendre le risque d'être influencé par celui-ci lors de la rédaction des tests [6]. Bob Martin[7], grand défenseur de la méthode TDD, propose un modèle simple pour l'écriture des tests unitaires :
- Écrire une fonction de test qui doit obtenir un résultat défini dans les spécifications. Ce code appelant un code qui n'existe pas encore, celui-ci doit échouer. Ceci a pour but de définir une fonction qui teste « quelque chose ».
- Écrire le code (le minimum de « quelque chose ») pour faire réussir le test.
- Une fois le test en succès, rajouter un autre test pour obtenir un résultat légèrement différent, en faisant varier les entrées par exemple. Ce nouveau test fera faillir le code principal.
- Modifier le code principal pour faire réussir les tests.
- Recommencer, en éliminant et refactorisant les éventuelles redondances dans le code des tests. On refactorise en même temps le code principal que le code des tests.
- Un test unitaire doit tester une caractéristique et une seule. On ne définit pas un « scénario » de test complexe dans un test unitaire.
- Il est déconseillé de tester les détails d'implémentation telles que les fonctions privées d'une classe, on se concentrera à tester les fonctions publiques, c'est-à-dire les interfaces avec lesquelles les acteurs extérieurs interagissent. Ainsi, on découple les tests de l'implémenation et on se concentre sur la vérification du comportement attendu tout en gardant une flexibilité sur la manière d'arriver au résultat souhaité.
Utiliser des mocks
Les mocks sont des objets permettant de simuler un objet réel de façon contrôlée. Dans certains cas, l'utilisation de mock est primordiale, pour un gain de temps de couverture de code, et de fiabilité des tests[8]
- pour simuler une base de données, un service web, etc., les interactions entre l'application et ces outils prennent du temps, l'utilisation de mock pour simuler leurs fonctionnements peut être un gain de temps considérable ;
- certains cas d'erreurs sont très difficile à reproduire, l'utilisation de mock permet ici de simuler une erreur pour pouvoir traiter ce cas et donc améliorer la couverture de code, par exemple le catch d'une exception ;
- sans l'utilisation de mock, le test peut retourner une erreur ne provenant pas du code qui est testé (par exemple une base de données).
Cependant, une utilisation abusive de mock peut avoir l'effet inverse, notamment allonger le temps d'exécution des tests, rendre les tests compliqués à comprendre.
Génération
La plupart des frameworks de la famille xUnit permettent la génération des classes de test unitaire. Cependant ces frameworks ne fournissent que le squelette des classes. Les tests devront donc être écrits par le développeur.
La génération de tests unitaires est un sujet important pour les chercheurs et plusieurs conférences s'intéressent à cette problématique, telles que International Symposium on Software Testing and Analysis (ISSTA), International Conference on Software Engineering (ICSE) et Automated Software Engineering (ASE).
Correction de test unitaire
Lors d'une modification dans le code d'un programme, il se peut que certains tests ne passent plus ; dans ce cas, le développeur doit déterminer si cela vient du code en lui-même ou du test : si cela vient du test, le développeur doit modifier son test car la suppression de celui-ci entraînerait une augmentation des chances de régression du programme. Certains chercheurs ont développé des outils pour résoudre ce problème.
ReAssert[9] est un outil suggérant des réparations pour un test qui échoue, il analyse les tests à modifier et suggère des changements au développeur, si cette suggestion convient au développeur, il peut effectuer le changement en cliquant sur un bouton.
Test unitaire paramétrable
Les tests unitaires paramétrables sont des tests unitaires qui prennent des paramètres. Ils peuvent ensuite utiliser des outils comme QuickCheck pour générer des paramètres. Ces tests sont supportés par JUnit, TestNG et NUnit.
En s'appuyant sur des cas concrets d'entrée et sortie, la génération d'Oracle et sur la couverture de test pour minimiser les cas, des chercheurs ont réussi à générer des tests unitaires paramétrables[10]. Les résultats de cette méthode sont prometteurs.
Environnements de développement
Il existe une multitude de cadriciels (framework) permettant de réaliser facilement des tests unitaires. Il en existe dans les principaux langages de programmation. Par exemple Test::More
[11] pour le Perl.
Frameworks xUnit
Le terme générique « xUnit » désigne un outil permettant de réaliser des tests unitaires dans un langage donné (dont l'initiale remplace « x » le plus souvent).
- AUnit[12] pour Ada ;
- ASUnit[13] pour ActionScript ;
- Cppunit[14] pour C++ ;
- CUnit[15] pour C ;
- DUnit pour Delphi ;
- FLEXunit pour Adobe Flex ;
- Google Test[16] et Boost Test[17] pour C++ ;
- HUnit[18] pour Haskell ;
- JSUnit[19], QUnit[20], Unit.js[21] et Jest[22] pour JavaScript ;
- JUnit[23] et TestNG[24] pour Java ;
- NUnit[25] pour .NET ;
- Microsoft Unit Test[26] pour .NET ;
- xUnit[27] pour .NET ;
- NUnitASP[28] pour ASP.NET (support interrompu depuis le ) ;
- OUnit[29] pour OCaml ;
- OCunit pour Objective C ;
- PBUnit pour PowerBuilder;
- PHPUnit[30], SimpleTest[31] et Atoum[32] pour PHP ;
- utPLSQL [33] pour PL/SQL ;
- Unittest et PyUnit pour Python ;
- Tape pour JavaScript ;
- Test::Unit pour Ruby ;
- Test::More pour Perl ;
- Typemock pour .NET, C++, C#. Avec Typemock vous pouvez travailler sur legacy code aussi.
- SUnit[34] pour Smalltalk ;
- RPGUnit[35] pour RPG ;
- ScalaTest pour Scala
- SASUnit[36] pour SAS.
Outils commerciaux
Divers outils permettent l'automatisation des tests unitaires :
Articles connexes
Notes
- Camp Smalltalk SUnit
- Simple Smalltalk Testing:With Patterns, in Smalltalk Report octobre 1994, Kent Beck
- Xunit, Martin Fowler
- GNU Based Compilation System for Space Embedded Applications, Blondin, J. P. & Martignano, M., DASIA 98 - Data Systems in Aerospace, Proceedings of the conference held 25-28 May, 1998 in Athens, Greece, Edited by B. Kaldeich-Schü.rmann. ESA SP-422. Paris: European Space Agency, 1998., p.137, "1998ESASP.422..137B", page 138 http://adsbit.harvard.edu//full/1998ESASP.422..137B/0000138.000.html
- 10 Reasons to Write Unit Tests
- Unit Testing Best Practices, Roy Osherove.
- Test First, bob Martin.
- Robert Martin, When to Mock.
- (en) Brett Daniel, Danny Dig, Tihomir Gvero, Vilas Jagannath, Johnston Jiaa, Damion Mitchell, Jurand Nogiec, Shin Hwei Tan et Darko Marinov, « ReAssert: a tool for repairing broken unit tests », ICSE, (lire en ligne).
- (en) Gordon Fraser et Andreas Zeller, « Generating Parameterized Unit Tests », ISSTA, (lire en ligne).
- Test::More sur CPAN, entre autres modules de tests. Voir aussi les articles de l'association des mongueurs de Perl dans Linux Magazine France disponibles sur http://articles.mongueurs.net/magazines
- AUnit
- AsUnit
- CppUnit et en version 2
- CUnit
- GoogleTest
- Boost.Test
- HUnit
- JsUnit
- http://qunitjs.com Unit testing for Javascript made by the jQuery Foundation
- (en) Unit JS : « Unit testing framework for Javascript ».
- (en) « Jest · 🃏 Delightful JavaScript Testing », sur jestjs.io (consulté le )
- Welcome to The New JUnit.org! | JUnit.org.
- http://testng.org/
- NUnit - Home
- (en-US) erickson-doug, « Writing Unit Tests for the .NET Framework with the Microsoft Unit Test Framework for Managed Code - Visual Studio », sur docs.microsoft.com (consulté le )
- (en) « Home > xUnit.net », sur xunit.github.io (consulté le )
- NUnitAsp - ASP.NET unit testing
- OUnit
- PHPUnit - Trac
- SimpleTest - Unit Testing for PHP
- Atoum
- utPLSQL
- Simple Smalltalk Testing: With Patterns
- http://rpgunit.sourceforge.net/
- (en) « SASUnit », sur SourceForge (consulté le )
- (en) « Ponicode - Quick and easy Javascript unit testing », sur ponicode.com (consulté le )
- Portail de l’informatique