Pourquoi les caméras IA changent la façon dont les objectifs sont conçus

Pendant longtemps, le développement des caméras a suivi une logique assez simple :

Meilleur capteur → résolution plus élevée → meilleur appareil photo.

Puis l’IA est entrée en scène.

Soudain, la caméra n’enregistrait plus simplement ce qui s’était passé.

On s'attendait à ce qu'il le comprenne.

Une caméra de sécurité devra peut-être distinguer une personne d'un véhicule. Un robot peut avoir besoin de reconnaître un obstacle. Un drone peut avoir besoin de comprendre son environnement tout en se déplaçant à grande vitesse.

Et cela crée un problème auquel on ne prête pas suffisamment attention :

L’IA ne peut fonctionner qu’avec les informations visuelles que la caméra lui fournit.

Un algorithme brillant ne peut pas récupérer des détails que le système optique n’a jamais capturés.

C’est pourquoi l’IA change discrètement la façon dont les objectifs des appareils photo sont conçus.

L’IA ne fait pas disparaître les mauvaises optiques

Il est tentant de penser que des modèles d’IA de plus en plus puissants compenseront les caméras médiocres.

Parfois, la photographie informatique peut aider.

La réduction du bruit peut améliorer une image.

L’affûtage peut rendre les bords plus solides.

L'amélioration de l'IA peut reconstruire des détails visuellement plausibles.

Mais il y a une différence entre améliorer l’apparence d’une image et capturer des informations plus réelles.

Si un objet est très flou en raison d’une mauvaise résolution optique, le logiciel ne peut pas recréer de manière fiable les détails fins d’origine.

Si une image nocturne ne contient pratiquement aucun signal utilisable, un algorithme ne peut pas simplement inventer des preuves visuelles fiables.

Ceci est particulièrement important pour les applications de sécurité et industrielles où l'image n'est pas visualisée à des fins de divertissement.

Il est utilisé pour prendre des décisions.

Les performances en basse lumière deviennent une exigence de l'IA

L’un des plus grands défis des caméras IA est la faible luminosité.

Les humains peuvent souvent porter des jugements raisonnables dans des environnements sombres.

Les systèmes de vision par ordinateur sont moins indulgents.

À mesure que l’éclairage diminue, les caméras font généralement face :

Augmentation du bruit du capteur

Contraste inférieur

Flou de mouvement

Perte d'informations sur la couleur

Définition des bords réduite

Ces problèmes peuvent affecter directement la détection et la classification de l’IA.

Prenons l’exemple d’une personne qui traverse un parking la nuit.

Dans une scène lumineuse, l'IA peut disposer d'informations claires sur la silhouette, les vêtements, les mouvements et l'environnement de la personne.

Dans une scène mal éclairée, la même personne peut devenir une silhouette bruyante.

L’algorithme n’est pas devenu stupide d’un coup.

L’entrée est simplement devenue beaucoup plus difficile à interpréter.

C’est l’une des raisons pour lesquelles les conceptions optiques à grande ouverture et à faible luminosité deviennent de plus en plus pertinentes pour les systèmes de vision IA.

Des pixels plus petits créent des demandes optiques plus importantes

Les capteurs modernes continuent d’augmenter la densité des pixels.

Cela crée davantage de données d’image, mais impose également de plus grandes exigences à l’objectif.

Des pixels plus petits peuvent nécessiter que le système optique résolve des détails spatiaux plus fins.

Si l’objectif ne peut pas suivre le rythme, l’ajout de pixels produit des rendements décroissants.

Ceci est particulièrement important pour les caméras IA, car le système peut dépendre de fonctionnalités visuelles relativement petites.

Un humain peut reconnaître un objet grâce à sa forme générale.

Un modèle d'IA peut s'appuyer sur des motifs, des bords, des textures ou des relations de couleurs subtiles.

L’objectif doit donc fournir une image suffisamment nette pour que ces caractéristiques survivent à l’ensemble du pipeline d’imagerie.

C’est l’une des raisons pour lesquelles la conception optique et la sélection des capteurs doivent de plus en plus se dérouler ensemble.

Les objectifs grand angle créent un compromis intéressant en matière d'IA

Les caméras IA nécessitent souvent un large champ de vision.

Les robots doivent comprendre leur environnement.

Les drones ont besoin d’une connaissance de la situation.

Les caméras de sécurité doivent couvrir de vastes zones.

Alors pourquoi ne pas simplement élargir l’objectif ?

Parce que l’optique grand angle présente ses propres défis.

À mesure que le champ de vision augmente, les concepteurs doivent gérer :

Distorsion

Résolution de bord

Éclairage relatif

Aberration chromatique

Géométrie de l'image

Un objectif très large peut capturer une plus grande partie de l’environnement mais produire une qualité d’image plus faible près des bords.

Pour une vision humaine, cela peut être acceptable.

Pour l’IA, cela peut devenir plus compliqué.

Si les objets proches du bord de l’image sont fortement déformés ou flous, l’algorithme est invité à interpréter des informations visuelles déjà dégradées.

Cela crée un compromis de conception fondamental :

Plus de champ de vision contre plus de détails utilisables.

La bonne réponse dépend de l'application.

Robotique : les lentilles font désormais partie du système de perception

La montée en puissance de l’IA incarnée pousse ce problème encore plus loin.

Un robot n’a pas le luxe de demander :

"Quelqu'un peut-il allumer les lumières s'il vous plaît?"

Il doit fonctionner dans l’environnement qui lui est donné.

Cet environnement peut contenir :

Ombres

Éclairage inégal

Surfaces réfléchissantes

Espaces étroits

Déplacer des personnes

Objets à différentes distances

La caméra fait donc partie du système de perception du robot.

Pour la vision robotique, la conception des lentilles doit prendre en compte :

Champ de vision

Distorsion

Performance en faible luminosité

Résolution

Exigences en matière de perception de la profondeur

Taille et poids

Un objectif qui produit une belle image de laboratoire n’est pas nécessairement le bon objectif pour un robot en mouvement.

La fiabilité réelle compte plus qu’une démonstration parfaite.

Les drones et les drones ont besoin d’un équilibre optique différent

Les drones créent un autre défi intéressant.

Une caméra drone peut avoir besoin de :

Large champ de vision + faible poids + bonne résolution + capacité de faible luminosité.

C'est une combinaison difficile.

Un large champ de vision aide le drone à comprendre son environnement.

Le faible poids contribue à l’efficacité du vol.

Une bonne résolution aide à identifier les objets.

Les performances en basse lumière deviennent importantes à l’aube, au crépuscule, en vol en intérieur ou dans des conditions météorologiques difficiles.

Les systèmes FPV ajoutent une autre exigence :

L’image doit être immédiate.

Un flou de mouvement, une mauvaise exposition ou une distorsion excessive de l'image peuvent affecter négativement la perception visuelle du pilote.

C’est pourquoi la conception des objectifs des drones devient de plus en plus un problème d’optimisation plutôt qu’un simple choix de distance focale.

La surveillance par l'IA passe de la détection à la compréhension

Les caméras de sécurité constituent l’un des exemples les plus clairs de cette transition.

La surveillance traditionnelle demandait :

« Est-ce que quelque chose a bougé ?

La surveillance moderne de l’IA demande :

Qui a déménagé ?

De quel véhicule s'agit-il ?

Dans quelle direction se déplace-t-il ?

Quel objet est transporté ?

Le comportement est-il inhabituel ?

Que s'est-il passé avant et après l'événement ?

Plus les analyses sont avancées, plus l’image originale prend de la valeur.

C’est pourquoi l’imagerie couleur en basse lumière attire l’attention.

La couleur peut fournir des informations utiles pour :

Classification des véhicules

Identification des vêtements

Reconnaissance d'objets

Compréhension de la scène

L'infrarouge reste extrêmement utile dans les environnements très sombres, mais lorsqu'une lumière ambiante visible est disponible, un système optique à grande ouverture peut aider à préserver les informations qui autrement disparaîtraient lorsqu'une caméra passe en vision nocturne monochrome.

L'objectif devient un composant de qualité des données

C’est peut-être le plus grand changement que l’IA apporte à l’ingénierie optique.

Historiquement, les lentilles étaient souvent considérées comme des composants d’imagerie.

Ils devraient désormais être de plus en plus considérés comme des éléments de qualité des données.

La caméra capture des données.

L'objectif détermine la quantité d'informations optiques utiles atteignant le capteur.

Le capteur convertit ces informations en signaux électriques.

Le FAI le traite.

Le modèle d’IA l’interprète.

Si la première étape est faible, chaque étape suivante doit travailler plus fort.

Ce n'est pas toujours une bonne stratégie.

Il est généralement préférable de capturer de meilleures informations au début plutôt que de consacrer d’énormes ressources informatiques à tenter de les réparer par la suite.

Qu'est-ce que cela signifie pour la conception des objectifs ?

Les futurs objectifs des caméras IA seront probablement conçus de plus en plus en fonction des exigences des applications plutôt que de spécifications isolées.

Les ingénieurs devront peut-être prendre en compte :

Conception optique spécifique au capteur

Au lieu de simplement prendre en charge un format de capteur, les objectifs doivent correspondre aux caractéristiques réelles du capteur.

Meilleures performances en basse lumière

Les systèmes d’IA ont besoin d’informations visuelles utilisables même lorsque l’éclairage est limité.

Performances de bord plus cohérentes

Les systèmes grand angle ont besoin d’informations utilisables sur toute l’image, pas seulement au centre.

Contrôlédistorsion

Certaines applications peuvent tolérer une distorsion. D’autres ne le peuvent pas.

Stabilité thermique

Les robots, véhicules, drones et caméras extérieures peuvent fonctionner sur de larges plages de températures.

Optimisation spécifique à l'application

L’objectif de sécurité idéal n’est pas nécessairement l’objectif robotique idéal.

L’avenir appartient aux systèmes optiques conçus en fonction du travail qu’ils doivent accomplir.

Ce que nous apprenons chez Optique Boshi

ÀOptique Boshi, nous travaillons dans les domaines de la surveillance de sécurité, de l'imagerie automobile, de l'imagerie médicale, des appareils intelligents et d'autres applications optiques. Cette gamme d’applications rend une chose particulièrement évidente :

Il n’existe pas de définition universelle d’un « bon objectif ».

Un objectif grand angle peut être excellent pour un appareil photo et totalement inadapté à un autre.

Un objectif haute résolution peut être inutile pour un système de surveillance à faible coût, mais essentiel pour la vision industrielle.

Un objectif à grande ouverture peut être essentiel pour une application de surveillance nocturne, mais moins important dans un environnement industriel contrôlé.

Cette approche axée sur l’application est de plus en plus importante à mesure que les caméras font partie des systèmes d’IA.

L’objectif doit être conçu autour des informations que l’IA doit recevoir, et pas simplement autour des spécifications qui semblent impressionnantes sur une fiche produit.

L’avenir : de « voir clairement » à « voir utilement »

L'IA change le but des caméras.

Un appareil photo n’existe plus simplement pour produire une image attrayante.

Il existe pour fournir des informations.

Cela change les priorités optiques.

La question n'est plus seulement :

« Quelle est la netteté de cet objectif ? »

Cela devient :

« Cette lentille fournit-elle des informations visuelles fiables pour la tâche réelle du système ? »

Pour des raisons de sécurité, cela peut impliquer de préserver l'apparence d'une personne la nuit.

Pour la robotique, cela peut signifier maintenir la reconnaissance des objets sur un large champ de vision.

Pour les drones, cela peut signifier équilibrer la perception grand angle avec les performances en basse lumière.

Pour la vision industrielle, cela peut impliquer de résoudre de manière cohérente les petits défauts.

La révolution de l’IA est peut-être pilotée par les algorithmes, mais ceux-ci ont encore besoin d’être pris en compte.

Et c’est pourquoi l’avenir de la vision de l’IA sera également façonné par l’optique.