In real situation, a metric is generally not sufficient to describe the performance of a model,

Mathilde Brousmiche is a researcher in the AI department of Multitel. She completed a thesis in cosupervision between the University of Mons and the University of Sherbrooke (Canada). During her thesis, she worked with different modalities such as image and sound and more particularly on the fusion of audio-visual information with deep neural networks in the context of scene analysis.

The major axis of his current work concerns the tracking of objects. On the one hand, her research consists in tracking several objects regardless of their category, contrary to most researches that track only one category of objects at a time. On the other hand, the AI models developed must be adapted to a real situation with material constraints and the results must be interpretable and explainable to the user.

The AI automatically tracks a large number of objects, allowing a better understanding of the scene or anticipation of the next events. The automatic tracking allows, for example, to monitor and model the traffic flows in order to improve the mobility in urban areas. Several metrics exist to compare the performance of AI models. However, they do not always reflect the expected results in real situations. The value of the metric may be lower but the result obtained may better match the user’s expectations. This is why the concrete interpretation of the performances and the identification of the limits of the implemented solutions allow a better understanding from the users and to propose models that better match the expectations.

L’axe majeur de ses travaux actuels concerne le suivi (tracking) d’objets. Ses recherches consistent d’une part à réaliser le tracking de plusieurs objets quelle que soit leur catégorie contrairement à la plupart des travaux réalisant le tracking d’une seule catégorie d’objets à la fois. D’autre part, les modèles d’IA développés doivent être adaptés à une situation réelle avec des contraintes matérielles et les performances doivent être interprétables et explicables à l’utilisateur.

L’IA réalise automatiquement le tracking d’un grand nombre d’objet permettant une meilleure compréhension de la scène ou encore une anticipation de la suite des évènements. Le tracking automatique permet par exemple de superviser et modéliser les flux de trafics pour améliorer la mobilité dans les centres urbains. Plusieurs métriques existent pour comparer les performances des modèles d’IA. Cependant elle ne reflète pas toujours les résultats attendus en situation réelle. La valeur de la métrique peut être plus faible mais le résultat obtenu mieux correspondre aux attentes de l’utilisateur. C’est pourquoi, l’interprétation concrète des performances et l’identification des limites des solutions implémentées permettent une meilleure compréhension de la part des utilisateurs et de proposer des modèles qui correspondent mieux aux attentes.

En situation réelle, une simple métrique n’est généralement pas suffisante pour décrire les performances d’un modèle, il est nécessaire d’avoir une interprétation et explicabilité des performances afin de déterminer les limites réelles des modèles.

Leave a Reply

Your email address will not be published.