Face à l’envolée des coûts d’utilisation de l’IA dans les centres de données, mais confrontés à l’impérieuse nécessité de surfer sur cette vague d’innovation, les fabricants n’avaient pas d’autres choix. Ils devaient faire rentrer les fameux modèles de langage dans leurs produits. La manoeuvre les dispense de payer un fournisseur de cloud pour la location des processeurs. « Le coût de l’inférence [l’utilisation du modèle, NDLR] est trop cher, ce n’est pas tenable à l’échelle », souligne Patrick Joubert, un serial entrepreneur français du secteur (Recast, Ponicode, Rippletide).

Compresser un modèle d’IA
Mais, contraintes par la puissance de calcul bien moindre d’un smartphone comparée à celle d’une baie de serveurs, les marques de smartphones et d’IA ont dû soumettre leurs modèles d’IA à un régime drastique. Pendant la phase d’entraînement dans un data center – une étape incontournable -, les modèles sont compressés, c’est-à-dire qu’ils doivent s’appuyer sur moins de données pour fonctionner. Ils sont ensuite redécoupés en de plus petits modèles qu’une deuxième étape d’entraînement permet de spécialiser.
« De cette manière, il n’y a pas besoin d’un bazooka pour effectuer des tâches simples », relève Diego Ferri, le directeur de la stratégie de l’agence EY Fabernovel. Ainsi, résumer un texte ou suggérer des réponses à un SMS peut se réaliser en local. Pour les tâches plus ardues, le recours à une connexion Internet pour accéder à un centre de données s’avère en revanche indispensable. C’est le sens du partenariat entre Apple et le père de ChatGPT, OpenAI.

Un service haut de gamme… pour l’instant
Un hic résiste toutefois aux marques de smartphones. Cette technologie ne fonctionne pour l’instant que sur des processeurs récents – les NPU qui sont aux petits appareils ce que sont les fameux GPU aux plus gros. Seuls les smartphones les plus chers en sont aujourd’hui équipés.

Mais la technologie pourrait très vite se diffuser. D’après Canalys, le nombre de smartphones dopés à l’IA pourrait quadrupler sur le marché entre 2024 et 2028, et frôler les 800 millions d’unités vendues par an. Soit un peu plus de la moitié du marché.

Lire l’article complet sur : www.lesechos.fr