Prompter une IA : la qualité de la réponse commence par la qualité de la question

Pourquoi les tests simplistes sur les réseaux sociaux en disent souvent plus sur le prompt que sur le modèle

Cet article explique pourquoi de nombreux « tests » IA populaires partagés sur les réseaux sociaux testent en réalité bien davantage le prompt que le modèle, et pourquoi un prompt incomplet peut facilement mener à des réponses incomplètes, ambiguës ou même apparemment « stupides ».

Difficulté : Débutant

Liste de contrôle rapide

Avant-propos / Introduction

Ces derniers temps, j’ai vu le prompt suivant revenir encore et encore sur les réseaux sociaux pour « tester » si un modèle est bon ou non :

« La station de lavage est à 40 m de chez moi. Je veux laver ma voiture. Est-ce que je devrais y aller à pied ou en voiture ? »

Beaucoup de gens regardent la réponse, rient, et concluent immédiatement que le modèle est intelligent, stupide, inutile, brillant, surévalué, cassé… selon la réponse qu’ils ont obtenue.

Personnellement, je pense que c’est un mauvais test.

Pourquoi ?

Tout simplement parce que le prompt est sous-spécifié. Et dès qu’un prompt est sous-spécifié, la réponse n’est souvent rien d’autre que la conséquence des hypothèses que le modèle a dû formuler pour combler les lacunes.

Autrement dit : parfois, le modèle n’échoue pas face au problème. Parfois, c’est l’énoncé du problème lui-même qui est défaillant.

Et c’est exactement là que beaucoup de gens font une erreur.

Ils posent quelque chose de vague, d’incomplet, d’ambigu, bourré d’hypothèses personnelles cachées… puis ils reçoivent une réponse vague, incomplète ou ambiguë… et concluent finalement que le modèle est mauvais.

Mais la vraie question devrait souvent être :

Si la réponse est mauvaise, est-ce parce que le modèle est mauvais… ou parce que mon prompt était mauvais ?

C’est ce que je veux expliquer dans cet article.

En résumé — De quoi s’agit-il ?

Avec mes propres mots, je définirais un prompt de la manière suivante :

Un prompt n’est pas simplement une question. C’est le cadrage du problème que vous donnez au modèle.

Et cette distinction est très importante.

Une question peut être courte. Un cadrage doit être utilisable.

Si je ne donne au modèle que la moitié de l’histoire, je ne devrais pas être surpris s’il ne me donne que la moitié d’une réponse satisfaisante.

Donc, en très bref, un bon prompt n’est pas nécessairement :

• un prompt long,
• un prompt sophistiqué,
• un prompt avec des mots élaborés.

Un bon prompt est un prompt qui donne au modèle le bon objectif, le bon contexte, les bonnes contraintes et les bons critères de réussite.

Et un mauvais prompt ?

Un mauvais prompt est très souvent un prompt où je suppose silencieusement que le modèle sait :

• ce que je veux vraiment,
• ce que je considère comme évident,
• quelles options sont autorisées ou interdites,
• quel compromis m’importe le plus.

Mais le modèle ne vit pas dans ma tête.

Prérequis

Si je veux une réponse vraiment utile, je dois généralement fournir au minimum les éléments suivants :

• le vrai objectif
• le contexte
• les contraintes
• les critères de décision
• le type de résultat attendu

Appliquons cela à l’exemple de la station de lavage.

À première vue, le prompt semble simple. Mais l’est-il vraiment ?

Pas du tout.

Parce que plusieurs questions restent sans réponse :

• L’objectif est-il de laver la voiture, ou d’aller à la station de lavage ?
• Est-il autorisé de laver la voiture à la maison ?
• Est-ce que j’utilise uniquement la station de lavage pour nettoyer ma voiture ?
• Est-ce que j’optimise pour l’effort, le temps, la logique, l’économie de carburant, ou simplement la distance ?
• Est-ce que je veux que le modèle réponde avec le bon sens, ou qu’il remette en question les hypothèses ?

La réponse change complètement selon ces détails manquants.

Explication — pourquoi ce prompt échoue

Reprenons maintenant le célèbre prompt et examinons-le plus attentivement.

La station de lavage est à 40 m de chez moi.
Je veux laver ma voiture.
Est-ce que je devrais y aller à pied ou en voiture ?

Explication

• Le prompt dit : Je veux laver ma voiture.
• Il ne dit pas explicitement : Je dois utiliser la station de lavage.
• Il ne dit pas si laver la voiture à la maison est autorisé.
• Il ne définit pas le vrai critère d’optimisation.
• Il ne précise pas si le modèle doit se concentrer sur la distance ou sur la présence de la voiture à destination.

Alors pourquoi les réponses divergent-elles autant ?

Tout simplement parce que le prompt contient au moins trois problèmes possibles, pas un seul.

Interprétation 1 : l’utilisateur ne parle que de la distance

Dans ce cas, un modèle pourrait raisonner ainsi :

• 40 mètres, c’est presque rien,
• marcher est trivial,
• conduire serait absurde pour une si courte distance.

Sous cet angle, « à pied » semble intelligent.

Interprétation 2 : l’utilisateur veut que la voiture soit lavée à cette station de lavage

Dans ce cas, la voiture doit être physiquement présente à la station de lavage.

Donc oui, à moins de prévoir de la pousser, de la remorquer, ou de demander à quelqu’un d’autre, la réponse pratique est de conduire la voiture jusque-là.

Sous cet angle, « en voiture » semble intelligent.

Interprétation 3 : l’utilisateur veut uniquement le résultat — une voiture propre

Une autre réponse devient alors possible :

• si laver la voiture à la maison est autorisé,
• et si j’ai déjà le matériel nécessaire,
• je n’ai peut-être pas besoin de la station de lavage du tout.

Sous cet angle, la meilleure réponse pourrait être :

Vous n’avez pas forcément besoin d’y aller. Si votre seul objectif est d’avoir une voiture propre et que le lavage manuel à la maison est possible, vous pourriez la laver chez vous.

Et cette réponse n’est pas stupide non plus.

Alors laquelle est la « bonne » réponse ?

Cela dépend du prompt. Ou plus précisément : cela dépend de ce que le prompt a omis de préciser.

IMPORTANT

C’est là que les humains se leurrent souvent eux-mêmes.

Nous comblons inconsciemment les informations manquantes avec nos propres habitudes, notre propre logique, notre propre expérience de vie, nos propres attentes.

Ensuite, quand le modèle comble ces lacunes différemment, nous disons qu’il a tort.

Mais avait-il vraiment tort ? Ou fonctionnait-il simplement à partir d’un ensemble d’hypothèses différent du nôtre ?

C’est une différence énorme.

Solution(s) + variantes

La solution n’est pas d’écrire des prompts gigantesques pleins de bruit.

La solution est d’écrire des prompts qui éliminent les ambiguïtés importantes.

Améliorons l’exemple précédent.

La station de lavage est à 40 mètres de chez moi.
Je veux utiliser spécifiquement cette station car je n'y lave ma voiture que là-bas.
Est-ce que je devrais y aller à pied ou conduire ma voiture jusque-là ?
Répondez avec l'option la plus pratique uniquement.

Explication

• L’objectif est maintenant explicite : utiliser spécifiquement cette station de lavage
• L’alternative « laver à la maison » est implicitement exclue
• Le critère de décision est explicite : option la plus pratique
• Le modèle n’a plus à deviner si la voiture doit être présente sur place

Avec ce prompt, la réponse pratique est évidemment :

Conduire la voiture jusque-là.

Et maintenant, si le modèle répond autre chose, alors le test devient plus intéressant.

Une meilleure façon de prompter quand l’ambiguïté est possible

Une autre technique très utile consiste à demander explicitement au modèle d’exposer l’ambiguïté avant de répondre.

La station de lavage est à 40 mètres de chez moi.
Je veux laver ma voiture.
Est-ce que je devrais y aller à pied ou en voiture ?

Listez d'abord les hypothèses cachées dans mon prompt.
Ensuite, donnez-moi :
1. la réponse si je dois utiliser la station de lavage,
2. la réponse si laver à la maison est autorisé,
3. la meilleure réponse unique si je précise que j'utilise uniquement la station de lavage.

Explication

• Ce prompt ne fait pas semblant que l’ambiguïté n’existe pas
• Il demande au modèle de mettre en lumière l’ambiguïté
• Il impose une réponse structurée
• Il aide l’utilisateur à comprendre pourquoi différentes réponses peuvent toutes sembler valides

C’est, à mon avis, une utilisation bien plus intelligente de l’IA.

Parce qu’ici, je ne demande pas seulement une réponse. Je demande aussi au modèle de m’aider à améliorer le cadrage du problème.

Note de bas de page

Beaucoup de gens pensent que prompter consiste à trouver une sorte de formule magique.

Ce n’est pas le cas.

La plupart du temps, prompter revient simplement à faire ce que nous devrions déjà faire lorsque nous parlons à un expert humain :

• définir le but,
• clarifier le contexte,
• supprimer l’ambiguïté,
• expliquer ce que « bien » signifie dans cette situation.

C’est tout.

La différence est qu’avec l’IA, le coût de l’ambiguïté est souvent plus visible, car le modèle n’a pas accès à toutes les informations tacites qui se trouvent dans ma tête.

Note personnelle

Quand je lis des gens qui disent :

« J’ai essayé l’IA, c’est inutile. »

mon premier réflexe n’est plus de demander :

« Quel modèle avez-vous utilisé ? »

Mon premier réflexe est de demander :

« Qu’est-ce que vous lui avez exactement demandé ? »

Parce que j’ai vu trop de situations où le modèle était blâmé pour une réponse qui était, en réalité, le résultat naturel d’un prompt paresseux, incomplet, ou biaisé.

Bien sûr, les modèles échouent parfois. Bien sûr, certains modèles sont meilleurs que d’autres. Bien sûr, les versions gratuites ou les modèles plus légers peuvent consacrer moins d’efforts à résoudre l’ambiguïté et donner des réponses plus superficielles.

Mais même dans ce cas, la qualité du prompt reste une variable majeure.

Et beaucoup de gens sous-estiment cette variable.

D’autres exemples concrets

L’exemple de la station de lavage n’est pas du tout isolé. La même erreur se produit partout.

Exemple 1 : « Écris-moi un email »

Mauvais prompt :

Écris-moi un email à un client.

Explication

• Quel est l’objet de cet email ?
• Est-ce une relance, des excuses, une proposition, un refus ?
• Quel ton est-ce que je veux ?
• Quelle longueur doit-il avoir ?
• Quelle relation ai-je avec le client ?

Un prompt bien meilleur serait :

Écris-moi un court email de relance à un client potentiel qui semblait intéressé la semaine dernière mais n'a pas encore répondu.
Ton : professionnel, chaleureux et confiant.
Objectif : relancer la conversation sans paraître insistant.
Longueur : 120 à 150 mots.

Explication

• L’objet est explicite
• Le ton est explicite
• La relation est explicite
• La longueur est explicite
• Le critère de réussite est explicite

Le résultat sera considérablement meilleur.

Exemple 2 : « Résume cette réunion »

Mauvais prompt :

Résume cette réunion.

Explication

Cela semble simple, mais résumer pour qui ?

• pour le PDG ?
• pour les ingénieurs ?
• pour le client ?
• pour quelqu’un qui a manqué la réunion ?
• en 3 points ou 2 pages ?

Prompt amélioré :

Résume cette réunion pour un chef de projet très occupé.
Ne conserve que les décisions, les blocages et les prochaines actions.
Maximum 10 points.
N'inclure aucun remplissage conversationnel.

Explication

• Le public cible est défini
• Les informations pertinentes sont définies
• Le format est défini
• Le bruit à exclure est défini

Là encore, cela change tout.

Exemple 3 : « Quel est le meilleur modèle IA ? »

Mauvais prompt :

Quel est le meilleur modèle IA ?

Explication

Cette question est presque inutilisable.

Le meilleur pour quoi ?

• le code ?
• le brainstorming ?
• la traduction ?
• la faible latence ?
• la confidentialité ?
• le coût ?
• l’analyse de longs contextes ?

Prompt amélioré :

Quel est le meilleur modèle IA pour mon cas d'usage :
- j'ai principalement besoin d'aide pour le code et l'architecture
- le budget compte
- la latence compte
- je travaille souvent avec de longues instructions techniques
- je valorise un raisonnement fiable plutôt qu'un langage flamboyant

Comparez les options avec les avantages/inconvénients et terminez par une recommandation.

Explication

• Les critères de décision sont enfin visibles
• Le modèle peut optimiser autour de besoins réels
• Le format de sortie est clair
• La recommandation finale a du sens

Sans cela, « meilleur » ne veut presque rien dire.

Alors pourquoi ça ne fonctionne pas ?

Laissez-moi reformuler l’ensemble du problème de façon très simple.

Un modèle ne peut répondre qu’en se basant sur :

• ce que je dis explicitement,
• ce qu’il infère raisonnablement,
• ce que j’ai oublié de dire mais qu’il essaie de deviner.

Et c’est cette troisième catégorie qui est source de nombreux problèmes.

Parce que deviner n’est pas la même chose que comprendre.

Si je donne au modèle une tâche incomplète, il peut quand même produire une réponse grammaticalement parfaite, une réponse assurée, voire plausible… mais pas nécessairement la réponse que j’avais en tête.

Pourquoi ?

Tout simplement parce que je n’ai jamais correctement décrit ce que j’avais en tête.

Avertissement

Il existe aussi un autre piège : l’extrême opposé.

Un bon prompt n’est pas un prompt bourré de détails non pertinents.

Ajouter du bruit n’est pas la même chose qu’ajouter de la clarté.

Par exemple, si je demande de l’aide pour rédiger un email, le modèle n’a probablement pas besoin de savoir :

• la couleur de mon bureau,
• ce que j’ai mangé ce matin,
• le temps qu’il fait dehors,
• mon histoire de vie complète.

Un bon prompt n’est pas long pour le plaisir d’être long.

Un bon prompt est précis là où la précision compte.

C’est une chose très différente.

Un modèle pratique

Dans le doute, je recommande souvent d’utiliser une structure très simple comme celle-ci :

Mon objectif est : ...
Le contexte est : ...
Les contraintes importantes sont : ...
Les options autorisées / non autorisées sont : ...
Le résultat que je veux est : ...
Si quelque chose est ambigu, listez les hypothèses avant de répondre.

Explication

• Cela me force à réfléchir avant de demander
• Cela révèle très rapidement les informations manquantes
• Cela réduit le nombre de fausses hypothèses
• Cela mène souvent à de meilleures réponses, même avec des modèles moins puissants

Ce dernier point est important.

Parfois, les gens essaient de compenser un prompt faible en changeant de modèle.

Mais dans de nombreux cas réels, améliorer le prompt améliore déjà beaucoup la réponse.

flowchart TD
  objective["Objectif"]
  constraints["Contraintes"]
  assumptions["Hypothèses"]
  final["Prompt final"]

  objective --> final
  constraints --> final
  assumptions --> final

  classDef objective fill:#1f78c1,stroke:#1f78c1,color:#ffffff;
  classDef constraints fill:#f06a2f,stroke:#f06a2f,color:#ffffff;
  classDef assumptions fill:#7aa33f,stroke:#7aa33f,color:#ffffff;
  classDef final fill:#4b5563,stroke:#4b5563,color:#ffffff;
  classDef note fill:#eef2f7,stroke:#cbd5e1,color:#162033;

  class objective objective;
  class constraints constraints;
  class assumptions assumptions;
  class final final;

Conclusion

Pour juger un modèle équitablement, je dois le juger sur un problème bien défini, pas sur une question à moitié formulée polluée par mes propres hypothèses cachées.

Le célèbre exemple de la station de lavage l’illustre parfaitement.

Si je dis seulement :

« Je veux laver ma voiture »

je n’ai pas encore clairement précisé si :

• je dois aller à la station de lavage,
• j’utilise uniquement la station de lavage,
• laver à la maison est autorisé,
• la praticité compte plus que la distance,
• le but est le résultat ou le trajet.

Et si je ne l’ai pas correctement défini, le modèle est forcé d’improviser.

Donc oui, la qualité du modèle compte. Oui, certains modèles raisonnent mieux que d’autres. Oui, les versions plus légères ou gratuites peuvent être moins robustes quand le prompt est ambigu.

Mais avant de dire :

« La réponse est mauvaise, donc le modèle est mauvais »

je pense que nous devrions d’abord nous demander :

« Mon prompt était-il vraiment suffisamment bon pour mériter une bonne réponse ? »

Très souvent, c’est là le vrai point de départ.

À bientôt pour de nouveaux articles et bon prompting.