Les fabricants sont soumis à une forte pression pour détecter plus rapidement les défauts, réduire le gaspillage et maintenir le fonctionnement des chaînes de production sans augmenter leurs effectifs. Les logiciels de contrôle qualité basés sur l'IA destinés au secteur manufacturier se sont imposés comme la solution la plus pratique pour répondre à cette pression. Cependant, les faire fonctionner de manière fiable en atelier s'avère plus difficile que ne le pensent la plupart des équipes.
Le défi ne consiste pas à développer un modèle capable de détecter des défauts. La plupart des équipes en sont capables dans un environnement contrôlé. Le véritable défi consiste à déployer ce modèle sur du matériel embarqué en périphérie, à garantir sa précision malgré l’évolution des conditions de production, et à le gérer sur l’ensemble d’un parc d’appareils répartis dans plusieurs sites, sans qu’un data scientist soit présent sur place à chaque emplacement.
Un récent webinaire organisé par Digi International, intitulé «Combler le fossé de l’IA en périphérie : de l’entraînement des modèles au déploiement en conditions réelles », a abordé ce problème de bout en bout. Animée en collaboration avec RBZ Robot Design, cette session s’est appuyée sur un système d’inspection visuelle automatisé fonctionnant en direct dans une boulangerie de Valence, en Espagne, pour illustrer chaque étape du processus de déploiement, de la collecte des données aux mises à jour OTA des modèles sur le terrain. Cet article met en lumière les principaux enseignements tirés et les applique aux déploiements dans le domaine du contrôle qualité industriel.
Principaux enseignements :
- Pour atteindre le seuil de précision de plus de 95 % requis pour le contrôle qualité en fabrication, il est nécessaire de disposer d'un ensemble de données sur mesure, constitué à partir de votre environnement de production réel, et non d'images génériques issues de sources ouvertes.
- Le framework d'entraînement que vous choisirez devra être adapté à l'accélérateur sur lequel vous prévoyez d'exécuter l'inférence. Changer de framework en cours de projet revient cher.
- La quantification réduit la taille du modèle d'environ quatre fois et accélère considérablement l'inférence, mais entraîne une perte de précision de 5 à 10 %. L'entraînement tenant compte de la quantification est le moyen le plus efficace d'y remédier.
- Les performances d'inférence varient considérablement selon le niveau de matériel. La NPU intégrée à l'Digi ConnectCore e 95 offre une inférence environ 27 fois plus rapide que le processeur, tandis que l'accélérateur externe RBZ ARA240 ramène ce temps à moins de 2 millisecondes.
- La conteneurisation permet de rendre les déploiements d'IA en périphérie portables, gérés par versions et actualisables sans intervenir sur la couche applicative supérieure.
- Digi ConnectCore Les services cloud proposent des mises à jour OTA, une surveillance à distance et un cycle d'amélioration continue pouvant s'adapter à un seul appareil comme à des milliers.
- L'Digi ConnectCore 95 est conçu pour permettre une évolutivité intégrée. Le passage de la NPU interne à un accélérateur externe nécessite une mise à jour du conteneur, et non un remplacement du matériel.
Ce dont les systèmes de contrôle qualité basés sur l'IA ont réellement besoin dans le secteur manufacturier
Le contrôle qualité basé sur l'IA dans le secteur manufacturier repose sur la vision artificielle : des caméras surveillent la chaîne de production, et un modèle entraîné analyse chaque image pour classer les produits et signaler les défauts. Cela semble simple. Dans la pratique, cela nécessite une infrastructure étroitement coordonnée, comprenant du matériel, des logiciels et des systèmes opérationnels.
Les systèmes d'inspection automatisés traditionnels s'appuyaient souvent sur des ordinateurs de bureau. Cette approche fonctionne, mais elle est coûteuse à l'unité et difficile à entretenir et à faire évoluer. L'IA embarquée en périphérie change la donne sur le plan économique. L'inférence s'effectue localement sur un appareil embarqué doté d'un circuit intégré dédié à l'IA. Le système est physiquement compact et conçu pour un usage industriel.
Le module SOM «Digi ConnectCore 95 » est spécialement conçu pour ce cas d’utilisation. Basé sur le processeur NXP i.MX 95, le module « Digi ConnectCore 95 » offre tout ce dont un équipementier a besoin pour développer un système d’inspection par vision industrielle prêt à la production, notamment des cœurs Cortex-A55 hautes performances, une unité de traitement neuronal (NPU) intégrée, un processeur de signal d’image (ISP) et la prise en charge de jusqu’à huit entrées caméra. Un bus PCIe permet également de connecter des accélérateurs de réseaux neuronaux externes pour les applications nécessitant un débit d'IA plus élevé, comme le montre le déploiement d'un système d'inspection en boulangerie utilisant le module RBZ ARA240.
Le processus complet de développement du contrôle qualité basé sur l'IA
Il est essentiel de bien comprendre l'ensemble du processus pour les équipes qui préparent leur premier déploiement d'IA en périphérie. Les étapes suivantes reflètent le processus réellement mis en œuvre dans le cadre du projet de boulangerie RBZ Robot Design. D'une manière générale, elles s'appliquent également à d'autres déploiements de systèmes de contrôle qualité basés sur l'IA dans le secteur industriel.
1. Collecte et annotation des données
C'est à cette étape que la plupart des projets sous-estiment l'effort requis. Les ensembles de données d'images open source permettent de créer des modèles dont la précision atteint 75 à 80 %, mais le contrôle qualité en fabrication exige généralement un taux de 95 % ou plus. Pour atteindre ce seuil, il faut constituer un ensemble de données sur mesure qui reflète l'environnement de production réel : vos produits, votre éclairage, vos types de défauts.
Le projet consacré à la boulangerie a nécessité plusieurs mois pour recueillir des données exploitables. L'établissement produit différents types de pain selon les jours, en fonction de la demande ; le jeu de données devait donc couvrir un large éventail de produits et de conditions. Cela a nécessité plusieurs semaines d'enregistrement vidéo en continu sur place, suivies d'une extraction d'images et d'un étiquetage manuel en collaboration avec le personnel de la boulangerie, qui était en mesure d'identifier ce qui constituait réellement un défaut.
La leçon à retenir : la collecte de données doit commencer plus tôt qu’on ne le jugerait nécessaire, et les équipes doivent prévoir dès le premier jour que le jeu de données évoluera à mesure que les appareils sur le terrain feront apparaître de nouveaux cas limites.
2. Choix du cadre de formation
Le cadre utilisé pour entraîner le modèle doit être choisi en fonction de l'environnement dans lequel il sera finalement exécuté. Si l'accélérateur cible nécessite TensorFlow Lite, le fait de procéder dès le départ à l'entraînement dans TensorFlow permet d'éviter une conversion fastidieuse par la suite. Les accélérateurs prenant en charge ONNX ou PyTorch offrent d'autres possibilités.
Pour le système d’inspection des produits de boulangerie, RBZ Robot Design a choisi PyTorch et ONNX, car ces outils permettaient de cibler à la fois le processeur (CPU) et l’accélérateur externe ARA240. Un modèle TensorFlow distinct a été développé afin de valider le fonctionnement avec la NPU interne de l’ Digi ConnectCore e 95. Le choix du framework a déterminé toutes les étapes en aval, et revenir en arrière en cours de projet aurait été coûteux.
3. Formation au modèle cloud
L'entraînement dans le cloud sur GPU produit généralement un modèle en virgule flottante. Cette étape est la plus familière du pipeline pour la plupart des équipes d'IA, mais l'enregistrement des points de contrôle est une étape qui est systématiquement négligée. Chaque session d'entraînement, y compris ses hyperparamètres et ses résultats, devrait être consignée et archivée. Lorsqu'un modèle commence à dériver en production six mois après son déploiement, la possibilité de remonter à un état d'entraînement spécifique pour identifier la source du problème s'avère inestimable.
4. Optimisation des modèles pour l'inférence en périphérie
C'est cette étape qui distingue l'IA en périphérie de l'IA dans le cloud. Les modèles exécutés sur une NPU embarquée doivent être quantifiés, passant d'une représentation en virgule flottante 32 bits à une représentation en entier 8 bits. Les avantages sont considérables : une réduction d'environ 4 fois la taille du modèle, des besoins en bande passante mémoire réduits et une inférence plus rapide. Cependant, la quantification entraîne une perte de précision de 5 à 10 %, voire davantage dans certains cas.
La méthode la plus efficace pour gérer cette perte est l’entraînement tenant compte de la quantification, qui modifie le processus d’entraînement lui-même afin de prendre en compte la réduction de précision qui se produira au moment de l’inférence. Pour le NXP i.MX 95 et la plateforme Digi ConnectCore 95, le framework logiciel eIQ de NXP fournit la chaîne d’outils complète : quantification, récupération de la précision et déploiement de l’inférence sur les trois niveaux de calcul.
Un principe d'architecture qui s'est avéré valable dans le cadre du projet « Bakery » : les modèles plus petits se quantifient plus proprement que les plus grands. Diviser une tâche complexe en deux modèles plus légers, par exemple un pour la localisation et un autre pour la classification, peut s'avérer plus facile à optimiser pour les périphériques que de construire un seul modèle qui gère les deux.
5. Emballage en conteneurs
Une fois le modèle optimisé, il est intégré dans un conteneur avec son moteur d’inférence, ses dépendances et sa configuration. La conteneurisation est désormais une pratique courante pour l’IA en périphérie en environnement de production. Le conteneur est portable, versionné et reproductible. Il permet également de dissocier la couche applicative de la couche d’inférence : si l’accélérateur cible passe de la NPU interne à l’ARA240, un simple remplacement du conteneur assure la transition sans modifier l’application qui le surmonte.
Digi ConnectCore Les services cloud prennent en charge les formats de conteneurs LXC, Docker et Podman. Le conteneur packagé est transféré vers le référentiel dans le cloud, où il devient l'artefact qui est déployé, surveillé et mis à jour sur l'ensemble du parc d'appareils sur le terrain.
Choisir le matériel d'inférence adapté
L'une des conclusions majeures de la démonstration d'inspection de boulangerie a été de montrer à quel point les performances d'inférence varient considérablement selon les différents niveaux de matériel d'inférence, et à quel point le choix approprié dépend de l'application ou du cas d'utilisation. Les figures suivantes sont issues de la démonstration en direct, qui a utilisé le même modèle pour les trois configurations.
| Accélérateur |
Temps d'inférence |
Le plus adapté |
| Processeur (NXP i.MX 95) |
1,6 seconde |
Prototypage ; petits modèles de gâchettes |
| NPU intégrée (NXP Neutron, 2 TOPS) |
60 millisecondes |
La plupart des applications d'inspection industrielle |
| NPU externe (RBZ ARA240, jusqu'à 16 TOPS) |
1,8 millisecondes |
Déploiements à haut débit, multi-modèles ou axés sur la croissance |
Le processeur (CPU) constitue le point de départ idéal lors du développement. Il permet des itérations rapides et ne nécessite aucune optimisation particulière. La NPU intégrée à l’Digi ConnectCore e 95 offre des performances environ 27 fois supérieures à celles du processeur, ce qui est suffisant pour de nombreux cas d’utilisation liés au contrôle qualité automatisé. Le RBZ ARA240 offre jusqu’à 40 TOPS avec 16 Go de mémoire vive dédiée via PCIe, et il peut prendre en charge de grands modèles linguistiques en plus des charges de travail liées à la vision. Il s’agit là d’un élément important à prendre en compte pour les équipes qui travaillent à la mise au point de systèmes de fabrication autonomes.
La précision est restée constante pour les trois configurations utilisées lors de la démonstration en boulangerie. L'approche par quantification a permis d'obtenir des résultats constants, que le traitement soit effectué sur le processeur central (CPU), sur l'unité de traitement numérique (NPU) interne ou sur l'ARA240. La couche applicative n'avait aucune visibilité sur l'accélérateur utilisé.
Une approche pratique de déploiement : livrer les premiers appareils équipés de la NPU interne, avec l'emplacement ARA240 disponible sur le matériel basé sur l'Digi ConnectCore e 95. Lorsque les besoins en IA augmentent, par exemple avec un plus grand nombre de modèles, des modèles plus volumineux et un débit plus élevé, le déploiement de l'accélérateur externe nécessite une mise à jour du conteneur plutôt qu'un remplacement complet du matériel.
Gestion de flotte avec les services cloud d’ Digi ConnectCore
La mise en place d'un seul système d'inspection par vision industrielle est gérable avec des processus manuels. En revanche, la mise en place de cinquante systèmes répartis sur plusieurs sites, avec des modèles qui doivent être constamment mis à jour à mesure que les produits et les défauts évoluent, nécessite une infrastructure opérationnelle adaptée.
Digi ConnectCore Les services cloud constituent l'infrastructure MLOps indispensable aux déploiements d'IA en périphérie à l'échelle de la production. Voici leurs principales fonctionnalités.
Mises à jour des conteneurs par liaison radio (OTA). Les nouvelles versions de modèle peuvent être déployées sur des appareils individuels, des groupes d’appareils ou l’ensemble du parc. Les déploiements progressifs permettent aux équipes de valider un nouveau modèle sur un groupe pilote avant de le déployer à grande échelle. Cela répond également aux exigences en matière de mises à jour logicielles et de sécurité OTA désormais intégrées dans les réglementations sur la cybersécurité, notamment la loi européenne sur la cyber-résilience.
Surveillance à distance et observabilité. Chaque module SOM «Digi ConnectCore 95 » déployé transmet des données télémétriques opérationnelles au tableau de bord dans le cloud : charge du processeur, utilisation de la mémoire vive, E/S réseau et indicateurs d'application. Dans la démonstration consacrée à la boulangerie, le tableau de bord affichait le nombre d'images par seconde, le temps d'inférence par appareil, le nombre total d'analyses et les taux de détection des défauts, le tout accessible à distance. Aucune intervention d'un technicien n'est nécessaire.
Cycle d’amélioration continue. Lorsqu’un modèle commence à présenter des écarts en conditions réelles (baisse de la précision, apparition de nouveaux types de défauts, évolution des conditions environnementales), les appareils peuvent être configurés pour renvoyer des données opérationnelles vers le cloud. Ces données sont réinjectées dans le pipeline d’entraînement, un nouveau modèle est entraîné et packagé, puis le conteneur mis à jour est déployé sur l’ensemble du parc. Ce cycle peut se dérouler de manière identique, que le parc compte un seul appareil ou plusieurs milliers.
Modèles de conformité. Le tableau de bord intègre une fonctionnalité de modèles qui définit les versions minimales requises pour le micrologiciel et le modèle. Les appareils vérifient la conformité par rapport au modèle lorsqu'ils se connectent au réseau et se mettent automatiquement à jour s'ils ne sont pas conformes. Cette fonctionnalité est particulièrement utile pour les appareils qui ont pu rester hors ligne pendant de longues périodes et permet de garantir la conformité de tous les appareils.
Sécurité des déploiements d'IA dans le secteur industriel
Dans les environnements de contrôle qualité industriels, seules les charges de travail vérifiées et signées peuvent s'exécuter sur le matériel de production. La présence de code non autorisé sur un appareil contrôlant ou surveillant une chaîne de production ne constitue pas un risque acceptable.
Digi TrustFence offre une sécurité intégrée au matériel pour l’ Digi ConnectCore e 95, garantissant que seules les charges de travail vérifiées et signées peuvent s’exécuter. Les services cloud d’Digi ConnectCore sont certifiés SOC 2 Type 2, et toutes les communications entre les appareils et le cloud utilisent une authentification par certificat et un chiffrement TLS. Ces fonctionnalités de sécurité sont incluses dans chaque module SOM d’ Digi ConnectCore e 95 sans frais supplémentaires.
Pour commencer
Voici quelques ressources très utiles pour vous lancer dans votre projet d'IA en périphérie basé sur l'IA et l'apprentissage automatique :
Foire aux questions sur les déploiements d'IA en périphérie
Quel est le seuil minimal de précision requis pour le contrôle qualité par IA dans le secteur industriel, et comment puis-je l'atteindre ?
La plupart des applications de contrôle qualité dans le secteur manufacturier exigent une précision de 95 % ou plus. Pour atteindre ce niveau, il faut disposer d’un ensemble de données sur mesure, constitué à partir de votre environnement de production réel, et non pas d’ensembles de données d’images open source génériques, dont la précision ne dépasse généralement pas 75 à 80 %. Cela implique de collecter des données sur site, couvrant vos produits spécifiques, vos conditions d’éclairage et vos types de défauts, puis de les étiqueter en collaboration avec des collaborateurs qui savent reconnaître ce qui constitue un véritable défaut.
Combien de temps dure généralement la collecte de données dans le cadre d'un projet d'inspection par IA en périphérie ?
Cela prend plus de temps que ne le prévoient la plupart des équipes. Le déploiement dans la boulangerie décrit dans cet article a nécessité plusieurs mois de collecte de données, dont plusieurs semaines d’enregistrement vidéo continu sur site. Le calendrier a été allongé par le fait que l’établissement produit différents types de pain selon les jours, ce qui a nécessité de couvrir un large éventail de conditions. Les équipes devraient commencer la collecte de données plus tôt qu’elles ne le jugent nécessaire et prévoir que l’ensemble de données s’étoffe au fil du temps, à mesure que les appareils déployés mettent en évidence de nouveaux cas limites.
Dans quelle mesure la précision diminue-t-elle lorsque j'optimise un modèle pour l'inférence en périphérie ?
La quantification d’un nombre à virgule flottante de 32 bits en un entier de 8 bits, nécessaire pour exécuter des modèles sur une NPU embarquée, entraîne généralement une perte de précision de 5 à 10 %, voire davantage dans certains cas. L'entraînement tenant compte de la quantification, qui adapte dès le départ le processus d'entraînement pour prendre en compte cette réduction de précision, constitue le moyen le plus efficace de gérer cette perte. Le projet « boulangerie » a permis de maintenir une précision constante sur les trois configurations matérielles (CPU, NPU interne et NPU externe) grâce à cette approche.
Quelles sont les différences de performances en matière d'inférence entre le processeur (CPU), le processeur de traitement neuronal (NPU) interne et le processeur de traitement neuronal (NPU) externe sur l'Digi ConnectCore 95 ?
Les différences sont considérables. L'exécution sur le processeur (NXP i.MX 95) prend environ 1,6 seconde par inférence, ce qui convient pour le prototypage mais s’avère trop lent pour la plupart des chaînes d’inspection en production. La NPU interne (NXP Neutron, 2 TOPS) réduit ce temps à environ 60 millisecondes, soit une amélioration d’environ 27 fois, ce qui est suffisant pour la plupart des cas d’utilisation en inspection industrielle. L'ARA240 RBZ externe (jusqu'à 16 TOPS) ramène le temps d'inférence à environ 1,8 milliseconde, ce qui convient aux déploiements à haut débit ou multi-modèles.
Dois-je remplacer le matériel si mes besoins en matière d'IA augmentent après le déploiement initial ?
N° Digi ConnectCore e 95 est conçu avec une possibilité d’évolution intégrée. Les premiers appareils peuvent être livrés avec la NPU interne, le slot PCIe étant disponible pour l’accélérateur externe RBZ ARA240. Lorsque les besoins évoluent, par exemple pour ajouter davantage de modèles, des modèles plus complexes ou pour augmenter le débit, le déploiement de l’accélérateur externe nécessite une mise à jour du conteneur plutôt qu’un remplacement matériel.
Quel cadre d'entraînement dois-je utiliser pour un projet d'IA en périphérie ?
Le choix du framework doit se faire en fonction de l’accélérateur sur lequel vous prévoyez d’exécuter l’inférence. Si le matériel cible nécessite TensorFlow Lite, effectuer l’entraînement dans TensorFlow dès le départ permet d’éviter une conversion fastidieuse par la suite. Pour le projet de boulangerie, RBZ Robot Design a sélectionné PyTorch et ONNX afin de cibler à la fois le processeur (CPU) et l’accélérateur ARA240, avec un modèle TensorFlow distinct développé pour la validation sur la NPU interne de l’ Digi ConnectCore e 95. Changer de framework en cours de projet est coûteux ; il est donc important de prendre cette décision dès le début.
Comment les mises à jour des modèles sont-elles transmises aux appareils sur le terrain ?
Digi ConnectCore Les services cloud gèrent les mises à jour des conteneurs par liaison radio (OTA). Les nouvelles versions de modèle peuvent être déployées sur des appareils individuels, des groupes d'appareils ou l'ensemble d'un parc. Les déploiements par étapes permettent aux équipes de valider un nouveau modèle sur un groupe pilote avant de procéder à un déploiement à plus grande échelle. Les appareils peuvent également être configurés à l'aide de modèles de conformité qui définissent les versions minimales de micrologiciel et de modèle ; des mises à jour automatiques sont alors déclenchées lorsqu'un appareil se connecte et que sa non-conformité est détectée.
À quoi ressemble concrètement le cycle d'amélioration continue ?
Lorsqu'un modèle déployé commence à présenter des écarts, que ce soit en raison de nouveaux types de défauts, de modifications apportées au produit ou d'une évolution des conditions environnementales, les appareils renvoient des données opérationnelles vers le cloud. Ces données alimentent le pipeline d'apprentissage ; un nouveau modèle est alors entraîné et intégré dans un conteneur, puis ce conteneur mis à jour est déployé sur l'ensemble du parc via une mise à jour OTA. Ce cycle fonctionne de la même manière, que le parc compte un seul appareil ou plusieurs milliers.
Quelles mesures de sécurité protègent les charges de travail d'IA exécutées sur Digi ConnectCore 95 ?
Digi TrustFence offre une sécurité intégrée au matériel, garantissant que seules les charges de travail vérifiées et signées peuvent s'exécuter sur l'appareil. Les services cloud d'Digi ConnectCore sont certifiés SOC 2 Type 2, et toutes les communications entre l'appareil et le cloud utilisent une authentification par certificat et un chiffrement TLS.
Pourquoi le blog recommande-t-il de diviser les tâches complexes en deux modèles plus légers plutôt qu'en un seul modèle plus volumineux ?
Les modèles plus petits se quantifient plus proprement que les plus grands. Un modèle unique prenant en charge à la fois la localisation et la classification peut s'avérer plus difficile à optimiser pour l'inférence en périphérie sans perte significative de précision. Le fait de diviser la tâche en deux modèles plus légers, l'un pour la localisation et l'autre pour la classification, tend à produire de meilleurs résultats de quantification et facilite la gestion tout au long du processus d'optimisation.