Diviser pour régner (informatique)

En informatique, diviser pour régner (du latin « Divide ut imperes », divide and conquer en anglais) est une technique algorithmique consistant à :

Diviser : découper un problème initial en sous-problèmes ;
Régner : résoudre les sous-problèmes (récursivement ou directement s'ils sont assez petits) ;
Combiner : calculer une solution au problème initial à partir des solutions des sous-problèmes.

Trois étapes (diviser, régner, combiner) illustrées avec l'algorithme du tri fusion

Cette technique fournit des algorithmes efficaces pour de nombreux problèmes, comme la recherche d'un élément dans un tableau trié (recherche dichotomique), le tri (tri fusion, tri rapide), la multiplication de grands nombres (algorithme de Karatsuba) ou la transformation de Fourier discrète (transformation de Fourier rapide).

Exemples

Exemples détaillés

La table suivante donne des exemples d'algorithmes en donnant les trois étapes (diviser, régner, combiner).

	Diviser	Régner	Combiner
Recherche dichotomique	Pour chercher x dans le tableau trié T[1, .. n], on cherche dans T[1, .. n/2] si x < T[n/2] on cherche dans T[n/2 +1,..n] sinon.	-	-
Tri fusion	on découpe le tableau T[1, .. n] à trier en deux sous-tableaux T[1, .. n/2] et T[n/2 +1,..n]	on trie les deux sous-tableaux T[1, .. n/2] et T[n/2 +1,..n] (récursivement, ou on ne fait rien s'ils sont de taille 1)	on calcule une permutation triée du tableau initial en fusionnant les deux sous-tableaux triés T[1, .. n/2] et T[n/2 +1,..n].
Tri rapide	on choisit un élément du tableau au hasard qui sera 'pivot' et on permute tous les éléments de manière à placer à gauche du pivot les éléments qui lui sont inférieurs, et à droite ceux qui lui sont supérieurs	on trie les deux moitiés de part et d'autre du pivot.	-

Autres exemples

Voici d'autres exemples d'algorithmes diviser pour régner :

la transformation de Fourier rapide.
Il existe un algorithme de type diviser pour régner pour la recherche des deux points les plus rapprochés.
Quickhull pour le calcul de l'enveloppe convexe d'un ensemble de points.

Histoire

La recherche dichotomique est formalisée dans un article de John Mauchly en 1946, mais l'idée d'utiliser une liste triée pour faciliter la recherche remonte à Babylone en -220[1]. L'algorithme d'Euclide pour calculer le plus grand commun diviseur de deux nombres peut être vu comme un algorithme diviser pour régner (les deux nombres diminuent et on se ramène à un problème plus petit). Gauss décrit la transformée de Fourier rapide en 1805 [2] sans en faire l'analyse de complexité. La transformée de Fourier rapide est redécouverte un siècle plus tard.

John von Neumann invente le tri fusion en 1945[3]. L'algorithme de Karatsuba est inventé par Anatolii A. Karatsuba en 1960[4] : il multiplie deux nombres de n chiffres en $O(n^{\log _{2}3})$ opérations (voir notations de Landau). Cet algorithme contredit la conjecture d’Andreï Kolmogorov de 1956 qui stipule que $\Omega (n^{2})\,\!$ opérations sont nécessaires. Knuth donne une méthode utilisée par les services postaux : les lettres sont triées et séparés en fonction des zones géographiques, puis en sous-zones géographies, etc.[1] Ce tri est le tri radix, décrit pour les machines IBM à cartes (Trieur de cartes IBM (en)) dès 1929[1].

Intérêts

Complexité

La faible complexité des algorithmes diviser pour régner est l'un de leurs principaux intérêts[N 1]. Il existe plusieurs théorèmes facilitant le calcul des complexités des algorithmes de type diviser pour régner. Le principal théorème est le Master theorem. Pour des cas plus complexes on peut citer le théorème d'Akra-Bazzi. La table suivante compare la complexité d'un algorithme naïf et de l'algorithme diviser pour régner pour quelques problèmes (voir Notations de Landau) :

	Complexité avec l'algorithme naïf	Complexité avec l'algorithme diviser pour régner
Recherche dans un tableau trié de taille n	O(n)	O(log n)
Tri d'un tableau de n éléments	O(n²) (voir tri insertion, tri sélection)	O(n log n) avec le tri fusion O(n log n) en moyenne avec le tri rapide
Multiplication de deux nombres avec n chiffres	O(n²)	$O(n^{\log _{2}3})$ avec l'algorithme de Karatsuba

Parallélisme

Les algorithmes diviser pour régner sont souvent adaptés pour être exécutés sur des machines avec plusieurs processeurs.

Circuits

Il existe des circuits pour des entrées de taille fixées pour la transformation de Fourier rapide. Il existe également des réseaux de tris pour le tri fusion, appelé le tri bitonique.

Limites

Récursivité

Les algorithmes diviser pour régner se prêtent naturellement à une écriture récursive. Mais parfois, l'exécution d'algorithmes récursifs peut conduire à un dépassement de pile. On préfère donc parfois un algorithme itératif.

Sous-problèmes redondants

Lorsque l'on applique « diviser pour régner », il n'y a pas de redondance : chaque sous-problème n’est résolu qu'une seule fois lors des appels récursifs. Par contre, lorsque les sous-problèmes sont redondants, l'algorithme récursif obtenu à partir de « diviser pour régner » peut avoir une mauvaise complexité. Prenons l'exemple du calcul du n^ème terme de la suite de Fibonacci. L'algorithme suivant est en temps exponentiel en n :

 fonction fibonacci(n)
     si(n = 0 ou n = 1)
         renvoyer 1
     sinon
         renvoyer fibonacci(n-1) + fibonacci(n-2)

Pour pallier cette limite, on peut mémoriser les valeurs déjà calculées afin d'éviter de résoudre les sous-problèmes déjà rencontrés. Il s'agit de la mémoïsation (aussi utilisée en programmation dynamique).

Notes et références

Notes

L'utilisation du paradigme diviser pour régner n'est pas une garantie absolue d'optimalité : des algorithmes comme le tri faire-valoir sont plus mauvais que des algorithmes naïfs bien qu'ils utilisent ce paradigme.

Références

(en) Donald E. Knuth, The Art of Computer Programming, vol. 3 : Sorting and Searching, 1998, 2^e éd. [détail de l’édition].
(en) M. T. Heideman, D. H. Johnson et C. S. Burrus, « Gauss and the history of the fast Fourier transform », IEEE ASSP Magazine, vol. 1, n^o 4,‎ 1984, p. 14-21.
Knuth 1998, p. 159.
(ru) Anatolii A. Karatsuba et Yuri P. Ofman, « Умножение многозначных чисел на автоматах », Doklady Akademii Nauk SSSR, vol. 146,‎ 1962, p. 293–294 (lire en ligne) traduit en anglais dans (en) « Multiplication of Multidigit Numbers on Automata », Physics-Doklady, vol. 7,‎ 1963, p. 595–596 (présentation en ligne).

Voir aussi

Articles connexes

Liens externes

« Évaluation de la complexité pour le tri rapide »
(en) Diviser pour régner : tri, exponentiation, nombres de Fibonacci, multiplication matricielle, algorithme de Strassen… : vidéo d'une leçon dans le cadre d'un cours d'introduction à l'algorithmique au MIT.

Portail de l’informatique
Portail de l'informatique théorique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[5] L'utilisation du paradigme diviser pour régner n'est pas une garantie absolue d'optimalité : des algorithmes comme le tri faire-valoir sont plus mauvais que des algorithmes naïfs bien qu'ils utilisent ce paradigme.

[Knuth3-1] (en) Donald E. Knuth, The Art of Computer Programming, vol. 3 : Sorting and Searching, 1998, 2^e éd. [détail de l’édition].

[Heideman84-2] (en) M. T. Heideman, D. H. Johnson et C. S. Burrus, « Gauss and the history of the fast Fourier transform », IEEE ASSP Magazine, vol. 1, n^o 4,‎ 1984, p. 14-21.

[3] Knuth 1998, p. 159.

[4] (ru) Anatolii A. Karatsuba et Yuri P. Ofman, « Умножение многозначных чисел на автоматах », Doklady Akademii Nauk SSSR, vol. 146,‎ 1962, p. 293–294 (lire en ligne) traduit en anglais dans (en) « Multiplication of Multidigit Numbers on Automata », Physics-Doklady, vol. 7,‎ 1963, p. 595–596 (présentation en ligne).