Rédaction de descriptifs par IA : Maisons du Monde face aux hallucinations

La moitié des produits n’avait pas de descriptif

Chez Maison du Monde, il y a des nouveautés trois fois par an. Cela signifie de nouveaux produits à décrire avec un contenu à publier sur le site e-commerce, à la fois pour détailler le produit et aussi  pour obtenir un meilleur référencement. Le constat est qu’en 2023, 50% des produits n’avaient pas de descriptif, en particulier pour tous les petits produits de décoration. De plus, Maisons du Monde avait une forte dépendance à son agence de traduction pour ses neuf pays, car il faut traduire tous les contenus dans toutes les langues.

Afin de rédiger une description, il est nécessaire de disposer des informations produits. Par exemple, pour un canapé, il faut connaître son style  et sa matière. Beaucoup de ces informations peuvent être récupérées depuis les bases de données de Maisons du Monde. Le prompt pour l’IA générative a été conçu avec les rédacteurs afin d’obtenir des textes inspirants et incitant à l’achat. Le prompt est la partie instruction pour l’IA générative, pour lui expliquer comment rédiger la description.

Le paramètre le plus important du prompt est « la température » qui est un peu l’indice de créativité de l’IA. Ce paramètre est compris entre 0 et 1. Une température à 0, la réponse est peu créative et une température à 1, la réponse est très créative. Maisons du Monde a fait le choix de mettre ce paramètre à 0,2 pour obtenir des résultats inspirants et qui ont besoin d’un peu de créativité, mais sans mettre ce paramètre à un niveau trop élevé pour éviter potentiellement des hallucinations. À la fin de ce processus, on récupère un fichier Excel qui contient des descriptions de produits.

Il faut dire à l’IA qu’elle est un retailer et qu’elle écrit des fiches produits

Quatre étapes principales apparaissent dans la rédaction d’un prompt au fil des tests. Le premier, c’est qu’il faut dire à l’IA qui elle est. Il faut lui préciser qu’elle est un retailer dans les meubles et la décoration. Cela est fait pour que l’IA  prenne le ton de la vente. Si l’IA sait qu’elle est un retailer, elle va prendre le ton de la vente et elle va savoir qu’on parle de meubles et de décoration, donc le vocabulaire à utiliser ira dans ce sens.

La deuxième étape est de fixer le contexte. On précise à l’IA qu’elle doit créer des fiches produits. Ainsi, elle sait qu’elle est sur une fiche produit, et cela va amener un certain type de vocabulaire. Il faut également préciser la taille du texte attendu sinon l’IA pourra produire deux lignes ou plusieurs paragraphes. Donc, Maisons du Monde a précisé vouloir trois ou quatre points présentés en « bullet points« . De même, il a été précisé que certains éléments devaient être en gras dans la description.  Lors des tests, les rédacteurs ont réagi en pointant que les premiers résultats de l’IA étaient trop techniques et que ce n’était pas intéressant pour la description. Il a donc été précisé à l’IA en dernière ligne d’éviter les détails techniques.

Ce prompt donnait de bons résultats mais le style d’écriture ne convenait pas et s’éloignait que ce que les rédacteurs Web pouvaient écrire. L’idée a donc été d’utiliser des exemples qui sont communiqués à l’IA avec les entrées (les attributs du produit) et les sorties (le descriptif rédigé). Par exemple, pour un canapé, il y a ses attributs tels que savoir que c’est un canapé, de style vintage avec trois places et d’autres informations, et la description qui va avec, qui a été rédigée par un rédacteur de Maisons du Monde.

Le style de la rédaction a été amélioré en donnant des exemples

Le style a été amélioré. « Nous avons donné une quinzaine d’exemples comme cela, et nous avons demandé une description pour un canapé qui n’a pas actuellement de description. On s’est rendu compte que le style convenait beaucoup mieux. Cela imitait beaucoup mieux ce qui était fait par nos rédacteurs » explique-t-on côté équipe Data Science.

L’outil a été ensuite mis entre les mains des rédacteurs et à leur disposition en toute autonomie. Les rédacteurs ne sont pas remplacés. Ils sont indispensables pour la partie relecture. « Ils sont en coopération avec l’IA parce qu’on ne peut pas faire une confiance aveugle à la sortie de l’IA générative. On n’est jamais à l’abri d’avoir un peu d’hallucination » prévient l’équipe.

Les rédacteurs relisent les descriptions obtenues avant de les publier sur le site web. Cette partie s’est déroulée de novembre décembre 2023. En janvier 2024, l’outil était mis en production. Cette industrialisation a fait émerger la question de la surveillance des coûts. L’API (l’interface informatique) d’accès à l’IA était à disposition des rédacteurs. Le coût est de 1,6 $ pour 1 000 descriptions. « Ce sont des coûts relativement faibles, mais nous les surveillons. Nous connaissons le coût d’utilisation de l’API et de Google BigQuery tous les jours. »

Augmenter le quota d’usage de l’API pour aller plus vite

Un autre enjeu concerne le quota d’usage de l’API de l’IA générative. « Quand vous utilisez une API, en général, vous avez un quota maximum de 60 [appels] par minute. C’était un peu trop peu, de notre point de vue. Nous voulions avoir jusqu’à des batchs de 300 pour des grandes familles de produits » explique-t-on côté Maisons du Monde. Le quota a donc été augmenté de 60 à 300 en passant par Google.

Un autre point est  le temps de réponse de l’API. « C’est en général 1 seconde par requête. Si on fait le calcul, pour générer 300 produits, il va y avoir cinq minutes de latence pour réussir à générer toutes nos descriptions. Si on le fait en synchrone ». Il a donc été décidé d’interroger l’API en asynchrone, c’est-à-dire de ne pas attendre la fin la réponse d’une requête avant d’en poser une autre. Maisons du Monde pose toutes les questions en même temps et reçoit les réponses au fur et à mesure. « Cela permet de passer de cinq minutes à 20 secondes ».

A noter que lorsque l’on utilise des exemples pour expliquer à l’IA générative ce que l’on attend d’elle, il faut limiter ce nombre d’exemples. « Nous avons remarqué que l’optimum se trouve entre 15 et 30 pour la pertinence, mais aussi pour le coût. Plus on met d’exemples en entrée, plus c’est coûteux » prévient Maisons du Monde.

Préciser à l’IA les attributs du produit à utiliser

Il faut également préciser les attributs des produits que l’on veut utiliser pour la rédaction. Par exemple, pour un canapé ce qui est important dans le choix du client c’est la matière, la couleur et la dimension. Pour un miroir ou une table à dîner, les attributs sont différents.

Les rédacteurs ont la main sur le choix de ces attributs. Si ils se rendent compte que le résultat ne convient pas , ils peuvent compléter un peu le prompt à leur façon pour optimiser. Et on peut ainsi obtenir, pour un canapé 3-4 places Snoop, un texte inspirationnel qui dit la matière dans laquelle il est fait, son cuir de vachette, et qui parle de la teinte et de son matelassage.

Au final, la production des descriptifs est trois fois plus rapide. « On peut se dire que trois fois plus rapide, ce n’est pas si énorme que ça, mais il y a la partie relecture qui doit être toujours réalisée par nos rédacteurs » déclare Maisons du Monde. « On ne peut pas se permettre de ne pas relire, puisqu’il y a des cas d’hallucination, donc il faut qu’on fasse très attention à ça » poursuit l’équipe.

Suppression de l’agence de traduction

Il y a d’autre part une forte économie de coûts de traduction car Maisons du Monde ne passe plus du tout par une agence sur cette partie. Tout est internalisé. La maintenabilité de la solution devient une question. L’IA a été développée avec Google Vertex AI Palm 2. Il s’agit de passer au nouveau modèle Gemini de Google.

Le cas des hallucinations demeure préoccupant. « Il y a des cas d’hallucination très concrets par exemple avec un produit qui est un porte-manteau. C’est un porte-manteau avec quatre accroches. Dans nos attributs produits, à aucun moment, on n’indique que ce produit a quatre accroches. Mais dans tous les exemples que l’IA a pu lire, elle a vu du six accroches ou cinq accroches. Donc en sortie, elle écrit : ‘magnifique patère à six accroches’. Il faut faire très attention parce que d’un point de vue client, cela peut être très déceptif » explique-t-on côté Maisons du Monde.

Dès lors, cela signifie que l’enseigne doit s’améliorer dans la complétude des attributs produits. Une autre possibilité serait d’utiliser l’image du produit. « Sur une image, on voit que le porte manteau a quatre accroches et donc [on pourrait] utiliser l’IA générative pour apprendre via l’image ce nombre d’accroches et être encore plus pertinent » estime l’équipe.

Certaines catégories de produits souffrent de plus d’hallucinations

Maisons du Monde relève que le nombre de descriptions qui ne convient pas et qui souffre d’une hallucination est très dépendant de la catégorie du produit. « Si une donnée est manquante, on va avoir l’hallucination. Sinon d’autres catégories où vraiment nous avons toutes les informations qui sont nécessaires à générer la description, nous n’avons pas d’hallucination » exprime l’équipe.

« En fait, dès qu’on identifie la catégorie où il y a des hallucinations, les rédacteurs sont attentifs à la relecture. Sur une catégorie, il n’y en a pas et sur une autre catégorie, il y a en a pas mal. C’est assez dépendant de la catégorie ». Une autre piste d’amélioration possible serait de séparer en deux prompts la rédaction du libellé du produit et son descriptif.

En conclusion, les rédacteurs web pour leur part apparaissent satisfaits. Ils ont été embarqués dès le début dans le projet. L’IA générative n’est pas vue comme un nouvel outil qui va prendre leur travail mais comme un gain de temps.  « Ils ont adopté cet outil et ils se disent que demain ils ont beaucoup plus de temps pour faire autre chose avec beaucoup plus de valeur ».  

Lire l’article complet sur : www.larevuedudigital.com