Vision 3D artificielle (cours de master)
Rattachement
- Master Mathématique Vision et Apprentissage (MVA)
- Master Info spécialité IMAgerie (IMA)
Enseignants
Objectifs
La facilité et le coût minimal d'acquisition d'images numériques d'excellente qualité et de bonne résolution incitent à s'intéresser à l'information qui peut s'obtenir à partir de plusieurs images de la même scène. Supposant la scène statique et la caméra ou l'appareil photo mobile, deux cas sont possibles :
- S'il s'agit d'une pure rotation de la caméra, un panorama peut être construit par recalage paramétrique des images, simulant un angle de vue élargi de l'appareil.
- Par contre si ce mouvement comporte une part de translation, le parallaxe induit permet de reconstuire théoriquement la géométrie 3D de la scène, modulo les occlusions.
Les applications sont multiples, que ce soit en robotique, cartographie aérienne, réalité virtuelle, jeux vidéos, télévision 3D... Le but de ce cours est d'explorer les fondements théoriques permettant cette reconstruction 3D à partir de 2 ou plusieurs images, mais aussi d'en montrer les limitations pratiques dans l'état actuel des algorithmes. Bien que ce domaine de recherche ait réellement commencé il y a plus de 30 ans et malgré (ou grâce à) d'importantes avancées, il reste extrêmement actif. Il fait appel à de nombreux domaines des mathématiques, avec en premier lieu la géométrie projective et l'algèbre linéaire, mais aussi la géométrie différentielle, l'optimisation continue ou discrète, les probabilités, la géométrie algébrique...
Prérequis, déroulement du cours
Les bases mathématiques d'analyse, de calcul différentiel et d'algèbre linéaire indispensables à tout étudiant de master de mathématiques appliquées, ainsi qu'une compétence minimale en programmation dans un langage procédural (C, C++, java ou python) sont les seuls prérequis. Les exercices se feront en C++, mais l'expérience d'un des autres langages mentionés sera suffisante.
Une bibliothèque C++ de routines de base nécessaires aux exercices sera fournie : Imagine++.
Il est conseillé d'installer ce logiciel avant la première séance.
Les TP sont individuels et à faire en dehors des heures de cours.
Évaluation
La note finale est une pondération 1) des notes de rendu de TP et 2) de la note de l'examen final écrit (MVA).
Séances 2024
Les cours ont lieu à Jussieu. Horaire : 12:45-15:4513:00-15:45.
- Mardi 1 octobre (Monasse, amphi 56B).
Géométrie projective, matrice de caméra, construction de panorama
(transparents)
- Le déroulé du cours en une équation !
- Installer Imagine++ directement sous Mac, Windows ou Linux, ou bien installer une machine virtuelle Linux (comme Lubuntu avec VirtualBox).
- Doc express d'Imagine++
- If you prefer to use VSCode under Windows, here are the settings.
- Exercice (deadline 09/10) : Panorama. Sorbonne: télécharger sur Moodle. Autres: email (indiquer MVA ou auditeur libre).
- Mardi 8 octobre (Monasse, 13:00-14:00 couloir 24-25 salle 301, 14:00-15:45 couloir 24-34 salle 112)
Matrices fondamentale et essentielle, leur calcul, algorithme RANSAC
(transparents)
- Exercice (deadline 16/10) : Fundamental. Ne pas supprimer le sous-dossier Imagine dans l'archive rendue.
- Mardi 15 octobre (Monasse, 13:00-14:00 couloir 24-25 salle 301, 14:00-15:45 couloir 24-34 salle 112)
Cartes de disparités, corrélation (transparents)
- Exercice (deadline 23/10): Seeds
- Mardi 22 octobre (Monasse, 13:00-14:00 couloir 24-25 salle 301, 14:00-15:45 couloir 24-34 salle 112)
Flot maximal/coupure de graphe pour le calcul de la carte de disparités
(transparents)
- Mardi 5 novembre (Monasse, couloir 24-25 salle 101)
Stéréo multi-vues
(transparents)
- Mardi 19 novembre (Loïc Landrieu, Arslan Artykov, couloir 55-65 salle 101)
Détection et description de features, deep 3D
(transparents 1/2, transparents 2/2)
- Mardi 26 novembre (Monasse, couloir 56-66 salle 105, MVA seulement)
Examen final: 13:00-15:30, tous documents autorisés.
