Depuis deux ans, l’intelligence artificielle quitte progressivement les usages expérimentaux pour entrer dans des environnements de plus en plus sensibles.
Les IA génératives assistent désormais des médecins, des analystes sécurité, des développeurs, des équipes industrielles ou des opérateurs réseaux.
Dans certains secteurs, elles commencent même à intervenir dans l’aide au diagnostic, la maintenance prédictive, la cybersécurité ou l’assistance à la décision.
Cette évolution paraît logique. Les capacités des modèles progressent rapidement.
Mais elle révèle aussi un problème fondamental :
les systèmes critiques ont historiquement été construits précisément pour éviter l’incertitude.
Or, les IA génératives introduisent au contraire du probabilisme, de l’émergence et des comportements difficiles à formaliser complètement.
Pourquoi les systèmes critiques sont différents
Dans certains secteurs, l’erreur n’est pas simplement coûteuse. Elle peut devenir mortelle, industrielle ou géopolitique.
C’est notamment le cas :
- du nucléaire ;
- de l’aéronautique ;
- du médical ;
- du ferroviaire ;
- de la défense ;
- ou des infrastructures critiques.
Ces systèmes reposent historiquement sur :
- la redondance ;
- la certification ;
- l’auditabilité ;
- la validation ;
- et le déterminisme.
Avec les LLM, cette logique change profondément.
Une IA générative n’est pas un logiciel classique
Un logiciel traditionnel exécute des règles explicites dans des états relativement contrôlés.
Un modèle génératif produit au contraire des réponses probabilistes issues d’entraînements massifs sur des représentations statistiques extrêmement complexes.
Dans un système critique classique, il est parfois possible de démontrer certaines propriétés de sécurité.
Avec les LLM, on réduit surtout une probabilité d’erreur.
Et cette différence change complètement la notion même de certification.
Le problème des hallucinations
Les modèles génératifs peuvent produire :
- des faits faux ;
- des raisonnements incohérents ;
- des références inexistantes ;
- ou des affirmations erronées présentées avec assurance.
Dans un contexte grand public, ces erreurs semblent parfois bénignes.
Dans un système critique, elles deviennent beaucoup plus problématiques.
Car un environnement médical, industriel ou énergétique ne peut pas fonctionner correctement sur des approximations probabilistes non détectées.
Le vrai choc : le langage devient une surface d’attaque
Historiquement, les systèmes informatiques étaient principalement attaqués :
- par du code ;
- des vulnérabilités techniques ;
- des erreurs de configuration ;
- ou des failles réseau.
Avec les LLM, une nouvelle catégorie apparaît :
l’attaque par le langage lui-même.
Désormais, une instruction textuelle, un document ou une conversation peuvent devenir des vecteurs de manipulation du système.
Le prompt injection : une faille extraordinairement complexe
Le prompt injection repose sur une idée simple :
si une IA comprend le langage, alors le langage peut être utilisé pour la manipuler.
Le problème est immense, car le langage humain est ambigu, contextuel et pratiquement impossible à contraindre complètement.
Les attaques peuvent prendre plusieurs formes :
- jailbreaks ;
- instructions cachées ;
- documents contaminés ;
- prompt injection indirect ;
- manipulation d’agents autonomes ;
- ou empoisonnement contextuel.
Et contrairement à beaucoup de vulnérabilités classiques, il n’existe pas encore de méthode universelle permettant de neutraliser totalement ce problème.
Peut-on empêcher une IA de dévier ?
Cette question touche directement au problème de l’alignement.
Les grands laboratoires travaillent massivement sur :
- RLHF ;
- Constitutional AI ;
- guardrails ;
- supervision humaine ;
- filtrage ;
- ou systèmes de validation.
L’objectif est toujours le même :
réduire la probabilité que le système produise un comportement dangereux, incohérent ou hors mission.
Mais même les grands laboratoires reconnaissent implicitement que les comportements émergents restent difficiles à prévoir complètement.
Le paradoxe des systèmes critiques IA
Nous entrons donc dans une situation paradoxale.
D’un côté, les IA deviennent extraordinairement utiles.
De l’autre, leur auditabilité reste limitée et leur sécurisation absolue paraît extrêmement difficile.
Autrement dit :
plus les IA deviennent puissantes, plus nous découvrons qu’elles sont difficiles à sécuriser complètement.
La réponse actuelle : l’augmentation plutôt que l’autonomie
Dans beaucoup de domaines critiques, les architectures les plus crédibles reposent encore sur :
- des systèmes hybrides ;
- de la validation humaine ;
- du cloisonnement ;
- des périmètres limités ;
- et des contrôles multiples.
L’IA devient alors un système d’assistance ou de recommandation, mais pas nécessairement un système décisionnel autonome complet.
La différence est fondamentale.
Conclusion
L’IA générative ouvre des possibilités considérables.
Mais elle introduit également un problème inédit :
comment sécuriser des systèmes probabilistes capables d’interagir avec le langage humain dans des environnements où l’erreur n’est pas acceptable ?
Les modèles actuels restent puissants, utiles et parfois spectaculairement performants.
Mais ils demeurent également opaques, contextuels et difficilement auditables complètement.
Le problème du prompt injection montre d’ailleurs une rupture historique :
pour la première fois, le langage lui-même devient une surface d’attaque informatique.
Dans ce contexte, la vraie question devient probablement :
« Jusqu’où peut-on accepter l’incertitude dans des systèmes qui ont justement été construits pour la supprimer ? »
Ce texte a d’abord paru sur boris-foucaud.com. Il a été relu pour SemiosX en octobre 2026 : les chiffres dont la source n’a pu être établie ont été retirés ou présentés comme des exemples.