Extraction de caractéristique en vision par ordinateur

La prise en compte de la couleur des images a été historiquement l'une des premières caractéristiques employées pour la recherche d'images par le contenu et produit encore des résultats parfois spectaculaires sur certaines bases. C'est en 1991 que Swain et Ballard ont proposé d'utiliser un histogramme couleur pour ce genre de tâche[3]. Il représente la distribution globale des couleurs dans l'image. Son calcul consiste en une quantification de l'espace couleur choisi (RVB par exemple) suivie du calcul de l'histogramme des pixels ainsi transformés. Par exemple, si l'on considère une image RVB classique et que l'on quantifie chaque plan couleur sur 4 bins, l'histogramme résultant aura une dimension ${\displaystyle 4^{3}=64}$. Si l'image est originellement codée sur 24 bits (la valeur de chaque plan est dans l'intervalle ${\displaystyle [0-255]}$), l'histogramme couleur sur 64 bins pourrait être représenté par un « cube » ${\displaystyle 4\times 4\times 4}$:

Chaque couleur représentant l'un des 64 bins quantifiés, et x étant alors le nombre de pixels de l'image correspondant à ce bin. En pratique, ce descripteur est généralement représenté par un vecteur mono dimensionnel à 64 dimensions.

% I = double ( imread('xxx.jpg'));
quant=4;
nb_bin=quant^3;

Iq = floor(I/nb_bin);
Iq = Iq(:,:,1) + quant*Iq(:,:,2) + quant*quant*Iq(:,:,3);
[NN, XX] = hist(Iq(:),nb_bin);

De nombreux descripteurs peuvent être dérivés de la représentation par histogramme, dont plusieurs ont été inclus au modèle expérimental de la norme MPEG-7. Il s'agit notamment de:

• dominant color: rend compte de la couleur dominante d'une image, calculée comme celle du bin ayant la plus grande valeur. L'espace de couleur peut être quelconque en théorie, mais l'utilisation de HSV donne des résultats intéressants[4].
• scalable colour: il s'agit de la transformée de Haar de l'histogramme couleur dans l'espace HSV, ce qui résulte en un code très compact.
• coulour structure: il s'agit d'un histogramme couleur «local». Sa construction est identique au principe présenté précédemment (histogramme couleur global), si ce n'est qu'un fenêtre de taille réduite (8x8 pixels) parcourt l'image lors du comptage des couleurs en chaque pixel. Il reflète ainsi une certaine information sur la structure spatiale de la répartition des couleurs.
• colour layout: la transformée en cosinus discrète de la représentation en histogramme est calculée et seule une partie des coefficients peut être utilisée pour la signature. Cela donne la possibilité d'obtenir un descripteur relativement grossier mais très compact ou bien un descripteur plus fin mais prenant plus de place. Un tel descripteur est intéressant pour des applications nécessitant une certaine scalabilité

Dès 1995, il a été proposé d'utiliser les moments calculés dans un espace de couleur donné pour caractériser les images[5]. On se restreint généralement aux deux ou trois premiers moments (moyenne, variance, asymétrie voire le moment d'ordre 4 appelé kurtosis) mais ils sont calculés dans chacun des trois plans de l'espace couleur choisi. Un raffinement possible consiste à diviser l'image selon une grille et à calculer ces moments dans chaque cellule.

La couleur d'un pixel ${\displaystyle p=(x,y)\in I}$ étant notée ${\displaystyle I(p)}$, définissons l'ensemble ${\displaystyle I_{c}\triangleq \{p|I(p)=c\}}$. Ainsi ${\displaystyle p\in I_{c}}$ signifie que le pixel p de l'image I a une couleur c. Considérons une valeur de distance entre pixels ${\displaystyle d\in [\![1\dots n]\!]}$ fixée a priori. La distance utilisée est par exemple ${\displaystyle L_{\infty }}$ définie pour deux pixels ${\displaystyle p_{1}=(x_{1},y_{1})}$ et ${\displaystyle p_{2}=(x_{2},y_{2})}$ par ${\displaystyle L_{\infty }(p_{1},p_{2})\triangleq \max\{|x_{1}-x_{2}|,|y_{1}-y_{2}|\}}$. Le corrélogramme pour ${\displaystyle i,j\in [\![1\dots m]\!]}$ et ${\displaystyle k\in [\![1\dots d]\!]}$est alors défini par:

${\displaystyle \gamma _{c_{i},c_{j}}^{k}(I)\triangleq {\overset {Pr}{p_{1}\in I_{c_{i}},p_{2}\in I_{c_{j}}}}[p_{2}\in I_{c_{j}}|L_{\infty }(p_{1}-p_{2})=k]}$

Cela reflète la probabilité qu'un pixel à une distance k du pixel considéré soit de couleur ${\displaystyle c_{j}}$. La taille du corrélogramme est ${\displaystyle O(m^{2}d)}$.

L'autocorrélogramme est défini par:

${\displaystyle \alpha _{c}^{(k)}(I)\triangleq \gamma _{c,c}^{k}(I)}$

Il nécessite un espace d'ordre ${\displaystyle O(md)}$.

Décrire les formes nécessite une identification préalable de régions. Cela peut résulter d'une segmentation de l'image ou de la détection de leurs contours. On peut alors caractériser les régions au moyen de divers indices telle leur orientation principale (par exemple leur premier axe propre), leur symétrie ou encore leurs moments de Zernike.

Une méthode de description particulièrement utilisée est celle proposée par Mokhtarian, appelée Curvature Scale Space[6]. Elle consiste à décrire une région en fonction des variations de courbure de son contour. Pour une courbe plane en coordonnées paramétriques dans un repère orthonormé ${\displaystyle \scriptstyle {r(t)=(x(t),y(t))}}$, la courbure s'exprime par:

${\displaystyle \gamma (t)={\frac {x'y''-y'x''}{(x'^{2}+y'^{2})^{3/2}}}}$.

Cette description est invariante en rotation et translation. Concernant le zoom, il faut a minima normaliser par la longueur du contour. Plus important, le descripteur est généralement calculé à différentes échelles, chacune correspondant à la convolution par un noyau gaussien.

A une certaine échelle, une foule peut être vue comme une texture.

La définition de la texture n'est pas évidente et dépend de l'échelle[7]^,[8]. On distingue trois approches pour définir la notion de texture. Dans la veine des travaux pionniers de Haralick[9], une première approche considère une texture comme résultant d'un processus stochastique et cherche à les décrire en ce qui a trait aux propriétés statistiques des valeurs et positions relatives des pixels[10]^,[11].

La seconde approche suppose l'existence de primitives fondamentales permettant de décrire les textures, tels les Textons définis par Julesz[12]. Par suite, une texture donnée est décrite comme une combinaison complexe de ces primitives, exprimée par exemple avec des graphes.

Une approche plus récente s'inspire plutôt de la perception visuelle et tend à rendre compte du processus de formation des textures du point de vue humain[13].

Une texture peut être décrite statistiquement, en rendant compte de la manière dont les niveaux de gris de l'image s'organisent les uns par rapport aux autres. On considère un opérateur de position p permettant de définir une matrice ${\displaystyle P_{ij}}$ qui compte le nombre de fois qu'un pixel de niveau de gris i est présent à la position p d'un pixel de niveau j. Si la matrice est normalisée entre 0 et 1, on parle de matrice de cooccurrence de niveau de gris[14]. La position relative de deux pixels peut aussi être définie par un angle ${\displaystyle \theta }$ et une distance d. Par exemple, si on considère trois niveaux de gris possibles et l'image I définie par:

${\displaystyle I={\begin{pmatrix}0&1&2&2\\0&0&1&2\\0&0&1&2\\0&0&0&1\\0&0&1&1\\\end{pmatrix}}}$

Et l'opérateur est à droite de (également défini par un angle ${\displaystyle \theta =0}$ et une distance ${\displaystyle d=1}$ pixel), alors la matrice de cooccurrence (non normalisée) est:

${\displaystyle C={\begin{pmatrix}5&5&0\\0&1&3\\0&0&1\\\end{pmatrix}}}$

Le 3 de la matrice ${\displaystyle C}$ signifiant que l'on trouve trois fois un pixel de valeur 2 (donc en troisième colonne) à la droite d'un pixel de valeur 1 (donc en seconde ligne).

À partir de cette matrice de cooccurrence, il est possible de définir maints descripteurs, tels que ceux répertoriés dans cette table:

Opérateur	Formulation
Maximum	${\displaystyle \max _{ij}(C_{ij})}$
Différence d'ordre k	${\displaystyle \sum _{i}\sum _{j}{c_{ij}\,(i-j)^{k}}}$
Entropie	${\displaystyle \sum _{i}\sum _{j}{c_{ij}\,log(c_{ij})}}$
Uniformité	${\displaystyle \sum _{i}{\sum _{j}{c_{ij}^{2}}}}$

Une autre approche statistique largement utilisée est le modèle MSAR (Multiresolution Simultaneous Autoregressive Models[15]) utilisé, au-delà de la reconnaissance de texture, pour reconnaître des scènes naturelles[16].

Cette approche suppose l'existence de primitives fondamentales permettant de décrire les textures. L'un des premiers exemples de telles primitives a été les Textons proposés par Julesz[12]. Une texture donnée est décrite comme une combinaison complexe de ces primitives, exprimée par exemple avec des graphes. Ces graphes peuvent alors servir de descripteurs de la texture.

L'expression des périodicités et autres régularités dans une image ou dans un signal se fait naturellement dans le cadre de l'analyse spectrale. Ainsi une transformée de Fourier discrète de l'image peut être une base pour fabriquer des descripteurs. Néanmoins, il est plus courant d'utiliser un ensemble de filtres de Gabor disposés à plusieurs échelles et orientations. Cela permet notamment d'identifier des « traits perceptifs majeurs » [17]. Des travaux ont montré qu'un descripteur basé sur une telle description spectrale pouvait rendre compte de la structure spatiale dominante d'une scène naturelle[18].

Une alternative à la transformée de Fourier est de calculer la transformée en cosinus discrète (DCT). En pratique des descripteurs basés sur les coefficients DCT ont permis de discriminer des images d'intérieur et d'extérieur[19], des images de paysages urbains contre des paysages naturels[20] et, combinés à d'autres descripteurs, plusieurs catégories de scènes naturelles simultanément[16].

La description d'une image au moyen de caractéristiques locales a généralement une dimension variable, dépendant du nombre de points d'intérêt extraits (en fait, ce nombre fois la dimension du descripteur local). Une telle représentation n'est donc pas adaptée à nourrir des algorithmes d'apprentissage classiquement utilisés (SVM, boosting...). Pour se ramener à une représentation dans un espace vectoriel de dimension fixe, il est fait appel à des techniques d'agrégation de descripteurs telles que celles des sacs de mots (bag of visterms)[21]. Le résultat d'une telle accumulation est donc une caractéristique globale d'une image ou d'une partie d'image (région).