Vision 3D artificielle (cours de master)
Rattachement
- Master Mathématique Vision et Apprentissage (MVA)
- Master Info spécialité IMAgerie (IMA)
Enseignants
Objectifs
La facilité et le coût minimal d'acquisition d'images numériques d'excellente qualité et de bonne résolution incitent à s'intéresser à l'information qui peut s'obtenir à partir de plusieurs images de la même scène. Supposant la scène statique et la caméra ou l'appareil photo mobile, deux cas sont possibles :
- S'il s'agit d'une pure rotation de la caméra, un panorama peut être construit par recalage paramétrique des images, simulant un angle de vue élargi de l'appareil.
- Par contre si ce mouvement comporte une part de translation, le parallaxe induit permet de reconstuire théoriquement la géométrie 3D de la scène, modulo les occlusions.
Les applications sont multiples, que ce soit en robotique, cartographie aérienne, réalité virtuelle, jeux vidéos, télévision 3D... Le but de ce cours est d'explorer les fondements théoriques permettant cette reconstruction 3D à partir de 2 ou plusieurs images, mais aussi d'en montrer les limitations pratiques dans l'état actuel des algorithmes. Bien que ce domaine de recherche ait réellement commencé il y a plus de 30 ans et malgré (ou grâce à) d'importantes avancées, il reste extrêmement actif. Il fait appel à de nombreux domaines des mathématiques, avec en premier lieu la géométrie projective et l'algèbre linéaire, mais aussi la géométrie différentielle, l'optimisation continue ou discrète, les probabilités, la géométrie algébrique...
Prérequis, déroulement du cours
Les bases mathématiques d'analyse, de calcul différentiel et d'algèbre linéaire indispensables à tout étudiant de master de mathématiques appliquées, ainsi qu'une compétence minimale en programmation dans un langage procédural (C, C++, java ou python) sont les seuls prérequis. Les exercices se feront en C++, mais l'expérience d'un des autres langages mentionés sera suffisante.
Une bibliothèque C++ de routines de base nécessaires aux exercices sera fournie : Imagine++.
Il est conseillé d'installer ce logiciel avant la première séance.
Les TP sont individuels et à faire en dehors des heures de cours.
Évaluation
La note finale est une pondération 1) des notes de rendu de TP et 2) de la note de l'examen final écrit (MVA).
Séances 2025
Les cours ont lieu à Jussieu. Horaire : 13:45-17:00.
- Mardi 30 septembre (Monasse).
Géométrie projective, matrice de caméra, construction de panorama
- Le déroulé du cours en une équation !
- Installer Imagine++ sous Mac, Windows ou Linux.
- Doc express Imagine++
- Si vous préférez utiliser VSCode sous Windows, voici la configuration.
- Exercice (deadline 08/10) : Panorama. Sorbonne: télécharger sur Moodle. Autres: email (indiquer MVA ou auditeur libre).
- Mardi 7 octobre (Monasse)
Matrices fondamentale et essentielle, leur calcul, algorithme RANSAC
- Mardi 14 octobre (Monasse)
Cartes de disparités, corrélation
- Mardi 21 octobre (Monasse)
Flot maximal/coupure de graphe pour le calcul de la carte de disparités
- Mardi 4 novembre (Monasse)
Stéréo multi-vues
- Mardi 18 novembre (Loïc Landrieu, Arslan Artykov)
Détection et description de features, deep 3D
- Mardi 25 novembre (Monasse, MVA seulement)
Examen final