Reconstruction 3D à partir d'images

^{[incompréhensible]}

La projection des coordonnées d'un point de l'espace sur l'image selon le modèle de sténopé est illustré ci-contre.

Projection centrale

Ainsi, les coordonnées ${\displaystyle (x_{m},y_{m},z_{m})}$ du point image de P dans le repère caméra sont :

${\displaystyle x_{m}=f{\frac {X}{Z}}=fx}$

${\displaystyle y_{m}=f{\frac {Y}{Z}}=fy}$

${\displaystyle z_{m}=f}$

En informatique, on exprime en général les coordonnées des points d'une image à partir du coin supérieur gauche. On a donc les coordonnées du centre optique sur l'image comme paramètres supplémentaires à déterminer.

Les relations s'écrivent matriciellement en faisant intervenir la matrice K, classiquement employée dans la littérature, dite de calibration interne : ${\displaystyle K={\begin{pmatrix}f&0&i_{1}\\0&f&i_{2}\\0&0&1\end{pmatrix}}}$.

Il s'agit simplement d'un vecteur de position de la caméra dans le repère de la scène et de trois vecteurs définissant l'orientation de celle-ci. Avec ces paramètres, on est alors capable de positionner les points de vue de l'objet les uns par rapport aux autres.

Il est fréquent que les positions et orientations des caméras soient donnés relativement à la première caméra.

Pour les paramètres intrinsèques, il est généralement possible de faire une estimation en amont des paramètres (qui sont des caractéristiques invariantes de l'appareil photo utilisé) en mettant en œuvre une technique de calibration qui consiste à photographier un objet bien connu (par exemple, un échiquier). Cependant, les techniques récentes de reconstruction savent estimer automatiquement les paramètres sans information a priori sur l'appareil photo[Note 2].

Pour les paramètres extrinsèques, on peut soit les estimer par calcul à partir des associations de points[Note 3], soit connaître précisément la position des caméras en faisant, par exemple, un montage spécifique. C'est ce que proposent Thomas T. Lu et Tien-Hsin Chao[2], avec un montage utilisant une unique caméra et deux points de vue simulés par deux miroirs et un prisme.

Chaque moitié de l'image obtenue fournit un point de vue différent de l'objet grâce aux miroirs et au prisme. On a ainsi l'avantage d'avoir un montage relativement simple à réaliser et ne nécessitant qu'une seule caméra. De plus, par principe, les paramètres de calibration extrinsèques sont connus et ce très précisément, sans estimation, d'où l'intérêt de la méthode.

L'association des points images du même point de la scène sur différentes photos est le point clé de la reconstruction 3D. C'est cela qui permet la détermination des coordonnées 3D des points de la scène par triangulation et également, pour les méthodes récentes, la calibration des caméras.

Pour cela, il convient tout d'abord de bien choisir les points sur les images, c'est l'étape d'extraction de points d'intérêt (feature points). Il peut s'agir par exemple de coins sur l'image, faciles à localiser. Ensuite, des données caractéristiques de ces points d'intérêt doivent être calculées pour pouvoir les identifier d'une image à l'autre.

Le choix et l'association de points d'intérêt peut être réalisé à la main, mais il est plus efficace d'automatiser la procédure. Des algorithmes relativement récents, comme SIFT et SURF, excellent dans ce domaine et ont permis une réelle efficacité de l'acquisition 3D à partir de photos[3].

Lorsque la position relative des caméras est connue (i.e. les paramètres extrinsèques de calibration), il est possible de ne rechercher les correspondances de points que sur les lignes épipolaires.

Géométrie épipolaire

Sur la figure ci-contre sont représentées deux vues d'un point X. Les points ${\displaystyle e_{G}}$ et ${\displaystyle e_{D}}$ sont respectivement les projections du centre de la caméra de droite ${\displaystyle O_{D}}$ sur l'image de gauche et du centre de la caméra de gauche ${\displaystyle O_{G}}$ sur l'image de droite. Ces deux points sont appelés épipôles. On voit que si ${\displaystyle x_{G}}$ est l'image du point X sur l'image de gauche, alors l'ensemble des points images possibles sur l'image de droite est une droite passant par ${\displaystyle e_{D}}$ appelée ligne épipolaire. La recherche des correspondances est alors simplifiée en une recherche sur un ensemble 1D lorsque la géométrie épipolaire est connue. Lorsque les axes des caméras sont parallèles, les lignes épipolaires sont horizontales et les associations sont donc à rechercher sur les mêmes numéros de ligne des images.

L'obtention des coordonnées des points dans l'espace est quasiment immédiate si les paramètres de calibration sont connus. Si on note :

• ${\displaystyle (x,y,z)}$ les coordonnées du point de la scène dans le repère absolu,
• ${\displaystyle (u_{1},v_{1})}$ (resp. ${\displaystyle (u_{2},v_{2})}$) les coordonnées du point dans l'image 1 (resp. 2),
• ${\displaystyle (X_{1},Y_{1},Z_{1})}$ (resp. ${\displaystyle (X_{2},Y_{2},Z_{2})}$) les coordonnées du point dans le repère caméra 1 (resp. 2),
• ${\displaystyle K_{1}}$ (resp. ${\displaystyle K_{2}}$) la matrice de calibration interne de la caméra 1 (resp. 2),
• ${\displaystyle R_{1}}$ et ${\displaystyle t_{1}}$ (resp. ${\displaystyle R_{2}}$ et ${\displaystyle t_{2}}$) l'orientation et la position de la caméra 1 (resp. 2) dans le repère absolu,

alors on a :

${\displaystyle K_{1}\times {\begin{pmatrix}X_{1}\\Y_{1}\\Z_{1}\end{pmatrix}}={\begin{pmatrix}Z_{1}u_{1}\\Z_{1}v_{1}\\Z_{1}\end{pmatrix}},\quad K_{2}\times {\begin{pmatrix}X_{2}\\Y_{2}\\Z_{2}\end{pmatrix}}={\begin{pmatrix}Z_{2}u_{2}\\Z_{2}v_{2}\\Z_{2}\end{pmatrix}}}$

et

${\displaystyle {\begin{pmatrix}x\\y\\z\end{pmatrix}}=R_{1}\times {\begin{pmatrix}X_{1}\\Y_{1}\\Z_{1}\end{pmatrix}}+t1=R_{2}\times {\begin{pmatrix}X_{2}\\Y_{2}\\Z_{2}\end{pmatrix}}+t2}$

Ainsi, la résolution de ces équations permet de trouver ${\displaystyle (x,y,z)}$.

Cette technique a pour but d'à la fois créer la reconstruction (Structure) et d'estimer le déplacement de la caméra entre les prises de vue (Motion)[1]. Le principe de la méthode est le suivant :

Tout d'abord, deux images sont sélectionnées parmi les différentes vues de l'objet et un repère de la scène initial est défini. Ensuite, la position et l'orientation des caméras à l'origine des autres images sont déterminés dans ce repère grâce aux associations de points. Des nouveaux points 3D sont alors ajoutés à la reconstruction. À chaque étape, la reconstruction est affinée et enrichie. Une fois la reconstruction effectuée et la position relative des caméras retrouvée, des ajustements peuvent être réalisés.

Grâce à cette méthode, on obtient une reconstruction et la position des caméras par rapport à celle-ci sans aucune hypothèse préalable. Tout ceci est fidèle à la réalité à un facteur d'échelle près.

Une fois que des points isolés sont obtenus par reconstruction, on peut soit conserver les points seulement, si ceux-ci suffisent à définir la forme de l'objet, soit vouloir une reconstruction dense, associée à un maillage.

Comme suggéré ici[4], une fois les points reconstruits, on peut utiliser un algorithme pour trouver les formes primitives (plan, sphère, cylindre, surface de Bézier...) correspondant au mieux à la forme locale de l'objet. L'utilisateur peut alors sélectionner une zone de l'objet et demander à l'algorithme de trouver par exemple le plan qui s'adapte le mieux aux points. Ceci peut se faire simplement par une minimisation de distance des points à la surface cherchée.

La méthode Visual Hulls[5], qui peut être traduit par silhouettes visuelles, est une méthode de reconstruction qui permet, à partir d'images calibrées, d'obtenir un modèle solide dense de l'objet.

Son principe est totalement différent du principe général de reconstruction présenté auparavant. Ici, ce sont les silhouettes apparentes de l'objet sur chacune des vues qui sont étudiées.

Le premier travail consiste à isoler le contour de l'objet dans chaque image pour en déduire le cône de vue et, par intersection, la silhouette de l'objet. De nombreux travaux supplémentaires, que nous ne détaillerons pas ici, sont ensuite à réaliser pour affiner le modèle de l'objet.

ARC3D est une solution de reconstruction 3D à partir de photos développée par des universitaires de l'université de Louvain.

Elle permet d'obtenir une reconstruction quasi-dense, c'est-à-dire composée d'un grand nombre de points, qu'il est possible de mailler. À chaque point est associée une valeur de couleur. Les reconstructions produites sont donc fidèles à la réalité. Aucune calibration préalable n'est nécessaire pour utiliser ARC3D.

Dans son principe, la démarche de reconstruction d'ARC3D ressemble à celle de Structure from Motion : elle est basée sur des associations de points mais cette fois sur plus de deux images à la fois. Les triples associations permettent d'estimer les positions des caméras dans un repère de la scène initialement défini, ce qui permet d'obtenir un modèle 3D à un facteur d'échelle près sans calibration.

ARC3D est librement utilisable via le site Web mais le travail est fait sur les machines d'ARC3D. En effet, il faut envoyer ses photos et récupérer un temps plus tard la reconstruction pour l'ouvrir dans un logiciel de manipulation 3D.

Exemple de reconstruction faite par ARC3D

La société 2d3 Sensing propose des outils évolués de reconstruction 3D à partir d'images.

Parmi eux, l'outil TopoMap permet d'obtenir un modèle dense (maillage) texturé à partir d'une vidéo de l'objet sans aucune calibration préalable de la caméra.

TopoMap analyse chacune des images du flux et en extrait des points caractéristiques qui seront utilisés pour la reconstruction. Celle-ci se fait via un algorithme de type Structure from Motion qui permet à la fois la reconstruction et la détermination du déplacement de la caméra lors de l'enregistrement.

Ensuite, la reconstruction est densifiée en créant automatiquement un maillage (cela doit être possible grâce au grand nombre de points reconstruits en premier lieu). Une texture issue de l'une des images (la plus adaptée pour ce faire est déterminée) est ensuite appliquée sur chacun des triangles du maillage. On obtient ainsi une excellente représentation informatique de l'objet, qui peut alors être manipulé facilement dans un logiciel de 3D.

Si des données GPS sont associées au déplacement de la caméra, il est même possible de les exploiter pour avoir un modèle à l'échelle et géopositionné (les coordonnées GPS de chaque point du maillage sont alors rendues disponibles).

La société Acute3D édite Smart3DCapture, une solution logicielle pour la reconstruction automatique de modèles 3D complexes à partir de photographies, déjà adoptée par Autodesk (6 millions d’utilisateurs pour 123D Catch), Blom, InterAtlas/Ubick, Pasco, Pictometry, etc. pour produire des modèles 3D haute résolution ainsi que des villes entières.

La gamme logicielle Smart3DCapture comprend 3 éditions:

• Smart3DCapture Advanced : Dédiée principalement mais non exclusivement aux opérateurs de drones, l'édition Advanced permet la production haute résolution de modèles 3D de bâtiments, de carrières, de zones de construction, etc. et produit en natif des orthophotos vraies ainsi que des modèles numériques de surface, avec un import de données d'entrée limité à 10GPix.
• Smart3DCapture Expert : Permettant un import de 30 GPix en données d'entrée, cette édition permet la reconstruction de bâtiments, de quartiers, etc.
• Smart3DCapture Ultimate : Edition dédiée à la reconstruction 3D automatique de villes entières avec un import illimité de données.

• Portail de l’imagerie numérique