Vision 3D artificielle (cours de master)
Rattachement
- Master Mathématique Vision et Apprentissage (MVA)
- Master Info spécialité IMAgerie (IMA)
Enseignants
Objectifs
La facilité et le coût minimal d'acquisition d'images numériques d'excellente qualité et de bonne résolution incitent à s'intéresser à l'information qui peut s'obtenir à partir de plusieurs images de la même scène. Supposant la scène statique et la caméra ou l'appareil photo mobile, deux cas sont possibles :
- S'il s'agit d'une pure rotation de la caméra, un panorama peut être construit par recalage paramétrique des images, simulant un angle de vue élargi de l'appareil.
- Par contre si ce mouvement comporte une part de translation, le parallaxe induit permet de reconstuire théoriquement la géométrie 3D de la scène, modulo les occlusions.
Les applications sont multiples, que ce soit en robotique, cartographie aérienne, réalité virtuelle, jeux vidéos, télévision 3D... Le but de ce cours est d'explorer les fondements théoriques permettant cette reconstruction 3D à partir de 2 ou plusieurs images, mais aussi d'en montrer les limitations pratiques dans l'état actuel des algorithmes. Bien que ce domaine de recherche ait réellement commencé il y a plus de 30 ans et malgré (ou grâce à) d'importantes avancées, il reste extrêmement actif. Il fait appel à de nombreux domaines des mathématiques, avec en premier lieu la géométrie projective et l'algèbre linéaire, mais aussi la géométrie différentielle, l'optimisation continue ou discrète, les probabilités, la géométrie algébrique...
Prérequis, déroulement du cours
Les bases mathématiques d'analyse, de calcul différentiel et d'algèbre linéaire indispensables à tout étudiant de master de mathématiques appliquées, ainsi qu'une compétence minimale en programmation dans un langage procédural (C, C++, java ou python) sont les seuls prérequis. Les exercices se feront en C++, mais l'expérience d'un des autres langages mentionés sera suffisante.
Une bibliothèque C++ de routines de base nécessaires aux exercices sera fournie : Imagine++.
Il est conseillé d'installer ce logiciel avant la première séance.
Les TP sont individuels et à faire en dehors des heures de cours.
Évaluation
La note finale est une pondération 1) des notes de rendu de TP et 2) de la note de l'examen final écrit (MVA).
Séances 2023
Les cours ont lieu à Jussieu. Horaire : 12:45-15:4513:00-15:45.
- Mardi 3 octobre (Monasse, couloir 56-66 salle 201). Attention, début du cours à 13h
Géométrie projective, matrice de caméra, construction de panorama
(transparents)
- Le déroulé du cours en une équation !
- Installer Imagine++ directement sous Mac, Windows ou Linux, ou bien installer une machine virtuelle Linux (comme Lubuntu avec VirtualBox).
- Doc express d'Imagine++
- Exercice (deadline 11/10) : Panorama, Corrigé. IMA: télécharger sur Moodle. Autres: email (indiquer MVA ou auditeur libre).
- Mardi 10 octobre (Monasse, couloir 24-34 salle 103)
Matrices fondamentale et essentielle, leur calcul, algorithme RANSAC
(transparents)
- Mardi 17 octobre (Monasse, Amphi Astier)
Cartes de disparités, corrélation
(transparents)
- Mardi 24 octobre (Monasse, couloir 56-66 salle 201)
Flot maximal/coupure de graphe pour le calcul de la carte de disparités
(transparents)
- Mardi 7 novembre (Monasse, couloir 14-24 salle 206)
Stéréo multi-vues
(transparents)
- Mardi 14 novembre (Loïc Landrieu, Amphi B2, MVA seulement)
Détection et description de features, deep 3D
(transparents 1/2, transparents 2/2)
- Mardi 21 novembre (Monasse, MVA seulement)
Examen final: 13:30-15:30. All documents allowed.