Quand les gens apprennent que j'ai passé vingt et un ans dans les Forces armées canadiennes à faire de la maintenance avionique et de l'audit qualité, et que je travaille maintenant en consultation en gouvernance IA, il y a habituellement une pause pendant qu'ils cherchent le lien. Le lien n'est pas subtil une fois qu'on le voit, mais il faut connaître ce qu'est réellement l'AF9000+, parce que le chevauchement entre la gestion de la qualité militaire et l'adoption responsable de l'IA est quasi total au niveau de la discipline sous-jacente.
Ce qu'est réellement l'AF9000+
L'AF9000+ est le système de gestion de la qualité des Forces armées canadiennes, une version adaptée à la défense de la norme ISO 9001 qui régit tout, de l'inspection des composants aux normes de documentation en passant par les procédures d'audit à travers la flotte. Chaque équipement sur lequel j'ai travaillé, de l'avionique du CF-188 Hornet aux systèmes de guerre électronique, était maintenu sous les protocoles AF9000+, et rien n'était jamais signé sans preuve derrière la signature. Aucun processus ne fonctionnait sans documentation. Aucun écart n'était laissé sans trace. Cette combinaison, preuve traçable, processus documenté et écart consigné, est la colonne vertébrale du système, et elle fonctionne parce que chaque personne à l'intérieur comprend que cette colonne vertébrale est non négociable.
Où les parallèles commencent
Le premier parallèle est le processus documenté. Dans l'AF9000+, chaque tâche de maintenance a un ordre technique qui précise exactement ce qui est fait, par qui, dans quel ordre et selon quels critères d'acceptation. En gouvernance IA, chaque déploiement de modèle devrait avoir l'équivalent : un document qui précise quelles données le modèle utilise, ce qu'il en fait, qui a approuvé sa mise en production et comment son comportement est surveillé. La plupart des organisations qui déploient l'IA aujourd'hui n'ont rien de tout cela, et quand quelque chose tourne mal, il n'y a aucun artefact vers lequel quiconque peut pointer pour établir ce qui aurait dû se passer.
Le deuxième parallèle est la piste d'audit. Les systèmes qualité militaires suivent tout parce que l'alternative, faire confiance à la mémoire et à la bonne volonté, échoue dès que les conditions changent ou que le personnel tourne. Les systèmes d'IA ont besoin de la même traçabilité au niveau de qui a modifié un modèle, quand, pourquoi et avec quelle approbation, parce que la dérive des modèles et la dérive des données sont invisibles jusqu'à ce qu'elles ne le soient plus, et reconstruire ce qui s'est passé après coup est presque impossible sans le dossier.
La classification des risques est le troisième parallèle, et c'est celui que les organisations comprennent le plus souvent mal intuitivement : chaque composant d'un aéronef ne reçoit pas le même niveau de surveillance, parce que les systèmes critiques obtiennent plus de supervision et les pièces courantes en obtiennent moins. Les applications d'IA devraient être classées de la même manière. Un chatbot répondant à des questions fréquentes n'a pas besoin de l'enveloppe de gouvernance d'un modèle qui évalue des candidatures, et traiter les deux au même niveau de rigueur produit soit du théâtre sécuritaire autour du chatbot, soit une sous-gouvernance dangereuse du modèle d'embauche.
Les audits réguliers sont le quatrième parallèle. L'AF9000+ exige des audits planifiés plutôt que réactifs, ce qui semble évident jusqu'à ce qu'on remarque que la plupart de la gouvernance IA dans la pratique est déclenchée par des incidents plutôt que par des calendriers. Les systèmes sérieux sont audités selon une cadence, qu'il y ait ou non un problème apparent, parce que détecter la dérive tôt est dramatiquement moins coûteux que la détecter après une plainte client.
Et le cinquième parallèle est la formation et la compétence : dans un environnement AF9000+, personne n'est autorisé à toucher un système d'aéronef sans formation documentée sur ce système spécifique, et la documentation existe parce que la mémoire institutionnelle n'est pas assez fiable pour lui confier du travail critique pour la sécurité. Les organisations qui déploient l'IA ont besoin de la même discipline autour des humains qui opèrent et supervisent les systèmes, parce qu'un outil d'IA manipulé par un utilisateur non formé est la source de la plupart des défaillances que je vois sur le terrain.
Ce que la plupart des organisations font mal
L'erreur commune est de traiter la gouvernance IA comme un projet ponctuel : rédiger une politique, la faire circuler pour signatures, classer le PDF et passer à la prochaine initiative. Ce n'est pas ainsi que la gestion de la qualité fonctionne dans une industrie sérieuse, et ce n'est pas ainsi que la gouvernance IA fonctionne non plus. L'AF9000+ m'a appris que la gouvernance est un rythme opérationnel continu, intégré dans la texture quotidienne du travail, pas un artefact de conformité superposé à un processus existant à la fin d'un trimestre.
Les organisations qui réussiront la gouvernance IA sont celles qui l'intègrent dans le flux de travail lui-même, et celles qui produisent un document de gouvernance pour le classer sont celles qui finiront par tout reconstruire sous pression après leur premier incident sérieux.
La question intéressante n'est pas de savoir si les principes de la gestion de la qualité militaire se transposent à l'IA. Ils se transposent. La question est de savoir combien de temps les organisations continueront à essayer de construire une gouvernance IA sans la discipline opérationnelle qui fait fonctionner tout système de qualité, et quel sera le coût de ce décalage lorsque la première mesure d'application très médiatisée frappera une entreprise canadienne qui ne pourra pas produire de piste d'audit.