Je vais être direct : ce qui m’inquiète le plus dans l’intelligence artificielle, ce n’est pas uniquement sa capacité à inventer des réponses.

C’est la facilité avec laquelle certains commercialisent cette technologie sans être capables d’en démontrer la fiabilité.

Pour reprendre une expression que Claude Poirier a popularisée pendant des années à la radio et à la télévision ;) : « des vendeurs de bonbons à la cenne et des porteux de valises ».

Des gens qui arrivent avec leur solution miracle, leur démonstration impressionnante, leurs promesses de productivité et leur discours sur la transformation numérique.

Mais lorsqu’on commence à poser les vraies questions, le discours change.

  • Quel est le taux d’erreur de votre solution?
  • Comment mesurez-vous les hallucinations et les réponses partiellement fausses?
  • Quels tests de robustesse avez-vous réalisés?
  • Quels standards avez-vous suivis?
  • Où sont vos évaluations de sécurité et de confidentialité?
  • Qui valide les résultats
  • Et surtout, qui assume la responsabilité lorsqu’une erreur entraîne une mauvaise décision?

Parce qu’une belle interface, une réponse bien formulée et une démonstration spectaculaire ne constituent pas des preuves de fiabilité.

Voici ce que mon expérience sur le terrain m’a appris.

Au cours des deux dernières années, j’ai eu à intervenir dans plusieurs évaluations des facteurs relatifs à la vie privée (EFVP).

Sur ces dossiers, seulement peu disposaient d’une documentation à examiner.

Et je ne parle même pas ici de documentation nécessairement complète, en bonne voie d'une conformité ou suffisante.

Au Québec, la Loi sur la protection des renseignements personnels dans le secteur privée prévoit notamment des obligations d’EFVP dans certaines circonstances pour les entreprises du secteur privé. Ce n’est donc pas simplement un exercice facultatif de bonne volonté.

Pourtant, lorsque j’aborde ces obligations avec certains promoteurs de solutions d’IA, l’enthousiasme commercial laisse parfois place à un tout autre discours.

Et c’est là que le véritable problème apparaît.

On vend les capacités de l’intelligence artificielle. Beaucoup moins ses limites.

On présente les gains de temps, l’automatisation, la vitesse d’exécution et les économies potentielles.

Mais où sont les chiffres sur les réponses erronées?

Où sont les taux d’abstention, les erreurs factuelles, les sources inventées, les omissions, les mauvaises interprétations et les erreurs propagées d’un agent à un autre?

Une IA peut produire dix affirmations, dont neuf sont exactes. Si la dixième concerne une obligation légale, une décision financière ou un renseignement personnel ou pire sur une question de sécurité, elle peut être celle qui compte le plus.

Et une IA qui répond avec assurance n’est pas nécessairement une IA qui connaît la réponse.

Le plus troublant? Les fabricants eux-mêmes documentent ces limites dans leurs publications techniques et personne n'en parlent.

OpenAI, Anthropic, Google et Microsoft publient des travaux sur la factualité, les hallucinations, les comportements des modèles et les risques liés aux systèmes agentiques.

Mais combien de ceux qui revendent ou intègrent ces technologies prennent réellement le temps de comprendre ces documents, de réaliser leurs propres tests et d’en communiquer les résultats à leurs clients?

Comme disait mon père :

Tout prend son sens dans un marché où la capacité de vendre une technologie peut parfois dépasser la capacité d’en expliquer les risques.

Je ne suis pas contre l’intelligence artificielle. Bien au contraire.

Je suis contre l’idée qu’on puisse commercialiser une solution comme étant fiable sans avoir effectué les validations nécessaires pour soutenir cette affirmation.

  • Une démonstration n’est pas une évaluation.
  • Une certification affichée n’est pas une preuve que chaque réponse est exacte.
  • Un modèle performant n’est pas automatiquement un système sécuritaire.
  • Et surtout, l’absence d’erreur visible n’est pas une preuve d’absence de risque.

Il est temps de déplacer la conversation.

Arrêtons de demander uniquement : « Qu’est-ce que votre IA peut faire? »

Commençons à demander :

« Qu’avez-vous fait pour démontrer qu’elle le fait correctement, de façon sécuritaire, et qu’elle sait reconnaître ses propres limites? »

Parce qu’en matière d’intelligence artificielle, ce qu’on ne mesure pas peut devenir précisément ce qu’on fait payer aux autres.

Sources officielles pour approfondir :

OpenAI — Hallucinations et limites des modèles https://openai.com/index/why-language-models-hallucinate/

Anthropic — System Cards https://www.anthropic.com/system-cards

Google DeepMind — FACTS Benchmark Suite https://deepmind.google/blog/facts-benchmark-suite-systematically-evaluating-the-factuality-of-large-language-models/

Microsoft — Responsible AI Transparency Report https://www.microsoft.com/en-us/corporate-responsibility/topics/responsible-ai/reports/transparency-report/

LégisQuébec — Loi sur la protection des renseignements personnels dans le secteur privé, notamment les articles 3.3 et 17 https://www.legisquebec.gouv.qc.ca/fr/document/lc/P-39.1

#IntelligenceArtificielle #GouvernanceIA #Loi25 #EFVP #Cybersécurité #GestionDesRisques #Conformité #Responsabilité #ValidationHumaine

Publié à l'origine sur LinkedIn.