IA embarquéeTerminé

Deep Embedded Entomology

Développement et déploiement d'un modèle de computer vision sur FPGA pour classifier les principaux ordres d'insectes d'Amérique du Sud, avec évaluation des performances et de la consommation énergétique.

Overview

Lors de mon stage à l'Université de Quito en Équateur, un laboratoire d'entomologie souhaitait disposer d'une solution embarquée capable d'analyser automatiquement les insectes dans leur environnement naturel.

Objectifs

Constituer et traiter un jeu de données d'insectes, entraîner un modèle de vision par ordinateur, puis le quantifier et le déployer sur plusieurs plateformes FPGA afin de comparer leurs performances d'inférence et leur consommation énergétique.

Fonctionnalités

Traitement d'images
Classification d'insectes

Hardware

Zybo Z7
Kria KV260 Vision AI Starter Kit
Ultra96v2

Défis rencontrés

Constitution et nettoyage d'un jeu de données suffisamment représentatif pour l'entraînement
Adaptation et quantification du modèle pour permettre son exécution sur FPGA
Comparaison des performances entre plusieurs architectures matérielles

Ce que j'ai appris

Pipeline complet de computer vision : collecte, nettoyage, préparation et augmentation des données
Entraînement et évaluation d'un modèle de vision par ordinateur
Quantification et optimisation d'un modèle pour l'inférence embarquée
Déploiement de modèles IA sur FPGA avec Vitis AI et DPU
Benchmark des performances et de la consommation énergétique

Mises à jour envisagées

Connection du FPGA à une batterie avec activation d'un mode 'deep sleep' lorsqu'aucun insecte n'est détecté