Une vague de "grands modèles de bout en bout" arrive. Des géants de la puce tels que Huawei et Qualcomm explorent l'implantation de grands modèles d'IA côté appareil, permettant aux téléphones mobiles de réaliser l'évolution d'une nouvelle génération d'espèces.
Par rapport aux applications d'intelligence artificielle telles que ChatGPT et Midjourney, qui s'appuient sur des serveurs cloud pour fournir des services, le grand modèle final se concentre sur la réalisation d'intelligence localement. Son avantage est qu'il peut mieux protéger la confidentialité, et en même temps, le téléphone mobile peut devenir l'assistant intelligent personnel de l'utilisateur grâce à l'apprentissage, et il n'y a pas besoin de s'inquiéter des temps d'arrêt du serveur cloud et d'autres problèmes.
Cependant, dans les conditions techniques existantes, les performances des téléphones portables sont loin d'être suffisantes pour supporter le fonctionnement de grands modèles. La solution technique courante dans l'industrie consiste à "réduire" le grand modèle par l'élagage, la quantification et la distillation, et à réduire les ressources et la consommation d'énergie dont il a besoin en partant du principe qu'il réduit le moins possible la précision.
Qualcomm a commencé à développer des puces pour les grands modèles d'extrémité. Cela indique que des terminaux mobiles déployant des modèles d'IA viennent à nous.
Les fabricants de téléphones mobiles mènent le grand modèle au terminal mobile
Les grands modèles d'IA se précipitent du cloud vers le terminal intelligent.
Le 4 août, lors de la conférence des développeurs Huawei 2023, Huawei a lancé HarmonyOS 4. Par rapport aux générations précédentes de systèmes d'exploitation, son changement le plus important est qu'il a intégré des capacités de grands modèles d'IA dans la couche inférieure du système. Huawei ouvre le prélude au passage du modèle IA du côté « terminal intelligent ».
À l'heure actuelle, les services fournis par les applications d'IA telles que ChatGPT et Midjourney sont essentiellement complétés par des serveurs cloud. En prenant ChatGPT comme exemple, le grand modèle et les ressources informatiques qui le sous-tendent sont stockés sur un serveur distant. Les utilisateurs interagissent avec le serveur en temps réel et le texte saisi est traité par le serveur pour obtenir une réponse. L'avantage de ceci est qu'il peut assurer le fonctionnement efficace et stable du modèle, car le serveur est généralement équipé de ressources informatiques puissantes et peut être étendu à tout moment pour s'adapter à des charges élevées.
Maintenant, une nouvelle logique de soutien a émergé. Huawei essaie d'introduire un grand modèle dans le terminal, ce qui signifie que tout le travail ci-dessus peut être effectué localement.Le système de téléphonie mobile lui-même a certaines capacités d'IA, et il n'a pas besoin d'accéder aux services cloud d'IA pour réaliser des mises à niveau intelligentes.
Yu Chengdong, directeur exécutif de Huawei et PDG de Terminal BG, a annoncé qu'HarmonyOS 4 est pris en charge par le modèle Pangu de Huawei, et espère apporter aux utilisateurs une toute nouvelle révolution d'expérience d'IA d'interaction de terminal intelligent, d'efficacité de productivité de haut niveau et de services personnalisés. .
HarmonyOS 4 introduit les mégamodèles d'IA
Les capacités d'intelligence artificielle d'HarmonyOS 4 sont actuellement principalement incarnées par l'assistant intelligent "Xiaoyi" de Huawei. Une fois le grand modèle connecté, Xiaoyi étend la saisie de diverses formes telles que du texte, des images et des documents sur la base de l'interaction vocale, et la capacité de compréhension du langage naturel est améliorée. Xiaoyi peut également se connecter à une variété de services et de scénarios selon des instructions, telles que l'extraction automatique de texte à partir d'images, la génération de divers types de contenu de courrier électronique commercial ou la génération d'images, etc.
Le changement le plus important est que Xiaoyi a la capacité de se souvenir et d'apprendre. Au fur et à mesure de son utilisation, il deviendra de plus en plus conscient du "maître", capable de donner intelligemment des plans tels que des plans de voyage et d'activités, et de le réaliser. selon les habitudes des utilisateurs Recommandations personnalisées. Huawei a révélé que ces nouvelles capacités de Xiaoyi lanceront une expérience de test public fin août.
En intégrant le modèle d'intelligence artificielle dans la couche inférieure du système de téléphonie mobile, Huawei espère améliorer l'intelligence globale du téléphone mobile. Bien que les fonctions mentionnées ci-dessus de Xiaoyi ne soient pas "avancées", pour les réaliser, les utilisateurs doivent souvent appeler ChatGPT, Midjourney et de nombreuses autres applications en même temps pour terminer. Lorsque le téléphone mobile lui-même dispose de capacités d'IA, il s'apparente à un assistant plus polyvalent, fournissant des services complets.
Avant la sortie d'HarmonyOS 4, Huawei a effectivement essayé de connecter de grands modèles d'IA à des terminaux mobiles. En mars de cette année, Huawei a lancé le téléphone mobile P60. La fonction de recherche d'image intelligente intégrée est basée sur la technologie multimodale des grands modèles. En miniaturisant le modèle côté téléphone mobile, le fonctionnement du modèle en langage naturel sur le téléphone mobile côté est réalisé.
Huawei n'est pas la première entreprise à introduire des modèles d'IA dans les appareils. Lors de la Conférence mondiale sur l'intelligence artificielle de 2023, Qualcomm a démontré la pratique de fonctionnement des modèles à grande échelle entrant du côté final, en exécutant le modèle d'IA générative Stable Diffusion sur un téléphone mobile équipé du Snapdragon 8 de deuxième génération et en exécutant 20 étapes de raisonnement. dans les 15 secondes, et une image de 512 x 512 pixels est générée, et l'effet d'image n'est pas significativement différent du niveau de traitement du cloud.
Lors du Shanghai MWC 2023, le PDG de Honor, Zhao Ming, a également déclaré que Honor encouragerait le déploiement de grands modèles côté smartphone pour obtenir une interaction naturelle multimodale, une reconnaissance précise des intentions et des services en boucle fermée pour les tâches complexes.
Apple attire également l'attention : il y a un mois, il a été révélé qu'Apple développait secrètement "Apple GPT", un outil d'intelligence artificielle basé sur le framework Ajax développé par Apple. Bien que les détails spécifiques n'aient pas encore été divulgués, il est généralement supposé dans l'industrie qu'Apple est susceptible d'ajouter un grand modèle au niveau du système pour améliorer l'intelligence de l'assistant vocal Siri, afin que Siri puisse enlever le chapeau de " retard mental artificiel ».
## Hype ou nouvelle révolution ?
Il n'est pas rare que les fabricants de téléphones portables se concentrent sur les grands modèles, mais pourquoi choisissent-ils la voie "appareil à côté" ? Après tout, les capacités d'interaction et de génération de Huawei Xiaoyi peuvent également être fournies via des serveurs cloud, et il semble que le coût soit plus économique et que la technologie soit plus facile à mettre en œuvre.
Est-ce un battage médiatique ou est-il vraiment nécessaire de mettre de grands modèles d'IA dans des terminaux mobiles intelligents ? Sur cette question, Yu Chengdong et Zhao Ming ont mentionné deux mots clés : sécurité de la vie privée et personnalisation.
Yu Chengdong a souligné que Huawei préconise que le premier principe de toute innovation en matière d'expérience d'IA et de conception de scènes est la sécurité et la protection de la vie privée, afin de créer une IA plus responsable, et promet que le contenu généré par l'IA sera marqué.
Par rapport au traitement des données dans le cloud, l'avantage le plus évident du côté du terminal intelligent est la confidentialité et la sécurité. Auparavant, ChatGPT a été impliqué à plusieurs reprises dans des tempêtes de fuites de données. En mars de cette année, Samsung a interdit l'utilisation de ChatGPT en interne. La raison en était que les employés des semi-conducteurs étaient soupçonnés d'avoir divulgué des secrets d'entreprise en utilisant ChatGPT ; En cas d'utilisation et de fuite de données personnelles, le montant de la réclamation est aussi élevé comme 3 milliards de dollars américains.
Lorsque le traitement des données se fait du côté final, les données personnelles de l'utilisateur ne seront pas téléchargées sur le serveur cloud, ce qui réduit considérablement le risque de fuite de confidentialité. Cela fournit également une condition préalable pour que l'assistant IA du téléphone mobile devienne véritablement un intendant de la vie uniquement lorsque la confidentialité est garantie, les utilisateurs se sentiront soulagés de transmettre des données à l'IA pour l'apprentissage.
Selon la compréhension de Zhao Ming, la mission du modèle d'IA côté final est de mieux comprendre les utilisateurs, "savoir à quelle heure je vais me coucher et ce que j'aime manger peut résoudre mes besoins immédiats, ce qui équivaut à avoir la capacité d'avoir un aperçu "Pour ce faire, l'IA doit être entraînée en fonction des données personnelles et des habitudes de l'utilisateur. A terme, le smartphone deviendra, espérons-le, un assistant polyvalent, ou un robot secrétaire personnel, capable d'aider les utilisateurs avec la restauration, la réservation , conseil, divertissement, Office et autres exigences multi-scénarios.
En revanche, ChatGPT et d'autres applications d'IA grand public sont des produits standardisés, et il est difficile d'avoir la capacité d'un assistant personnel sans modification.Il ne comprend pas l'utilisateur, mais ne répond qu'aux instructions d'entrée de l'utilisateur.réponse. Un téléphone mobile personnel est déjà un appareil intelligent personnel privé. Si le modèle d'IA qui comprend le langage humain peut fonctionner sur le téléphone mobile, le degré d'intelligence sera sans aucun doute grandement amélioré.
De plus, les applications qui s'appuient sur le cloud sont également instables. Par exemple, pour des raisons de réseau ou de serveur, la vitesse de réponse du cloud peut ralentir, voire se bloquer complètement. Cela s'est produit à plusieurs reprises sur ChatGPT, et les grands modèle sera considérablement affaibli Dépendance sur le cloud, afin d'éviter "cloud lag".
Sur la base des caractéristiques ci-dessus, la "révolution appareil-à-côté" des grands modèles a montré un potentiel, et on espère même que les téléphones mobiles qui ont été dans le goulot d'étranglement du développement pendant de nombreuses années subiront une autre évolution passionnante des espèces, tout comme l'émergence des smartphones à grand écran et la sortie de l'iPhone.
Mais il y a un problème évident pour que le grand modèle montre sa force sur le téléphone portable : la puce du téléphone portable peut-elle y résister ? Étant donné que les grands modèles contiennent souvent des dizaines de milliards ou des centaines de milliards de paramètres, nécessitent une formation de niveau astronomique et consomment une énorme puissance de calcul, les performances des puces de téléphonie mobile existantes ne peuvent évidemment pas répondre aux exigences.
À cet égard, la solution courante actuelle dans l'industrie est la "miniaturisation des modèles".
Pour faire simple, lorsque la structure du réseau du modèle est déterminée, le modèle est « allégé » sur le principe de réduire la précision le moins possible, réduisant ainsi les ressources et la consommation d'énergie qu'il nécessite. Ce processus comporte généralement trois étapes, en supprimant les paramètres du modèle qui ont un très faible impact sur la précision, appelé « élagage » ; en utilisant des types de données de moindre précision pour le raisonnement, appelé « quantification » dans le jargon ; et à partir de des modèles complexes, pour en extraire un modèle similaire mais plus simple, que l'on appelle vivement "distillation". Le but ultime est de réduire la taille du modèle.
D'autre part, les fabricants de puces tels que Qualcomm déploient et développent également des puces dédiées pour l'extrémité des grands modèles d'IA. Auparavant, la plate-forme mobile 5G de Qualcomm Snapdragon 8 Gen2 intégrait pour la première fois le processeur Hexagon spécifique à l'IA, en utilisant un système d'alimentation dédié indépendant, prenant en charge le raisonnement de micro-tranchage, la précision INT4 et l'accélération du réseau Transformer, etc., ce qui peut fournir des performances supérieures. en même temps, réduire la consommation d'énergie et l'utilisation de la mémoire.
Le grand modèle d'extrémité déclenche une nouvelle génération de terminaux intelligents révolutionnaires. IDC prévoit que d'ici 2026, près de 50 % des processeurs d'équipements terminaux sur le marché chinois disposeront de la technologie des moteurs d'IA. Un autre grand changement que l'IA apporte à la vie technologique humaine peut apparaître.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le grand modèle "s'amincit" dans le téléphone portable, le prochain iPhone arrive ?
Par rapport aux applications d'intelligence artificielle telles que ChatGPT et Midjourney, qui s'appuient sur des serveurs cloud pour fournir des services, le grand modèle final se concentre sur la réalisation d'intelligence localement. Son avantage est qu'il peut mieux protéger la confidentialité, et en même temps, le téléphone mobile peut devenir l'assistant intelligent personnel de l'utilisateur grâce à l'apprentissage, et il n'y a pas besoin de s'inquiéter des temps d'arrêt du serveur cloud et d'autres problèmes.
Cependant, dans les conditions techniques existantes, les performances des téléphones portables sont loin d'être suffisantes pour supporter le fonctionnement de grands modèles. La solution technique courante dans l'industrie consiste à "réduire" le grand modèle par l'élagage, la quantification et la distillation, et à réduire les ressources et la consommation d'énergie dont il a besoin en partant du principe qu'il réduit le moins possible la précision.
Qualcomm a commencé à développer des puces pour les grands modèles d'extrémité. Cela indique que des terminaux mobiles déployant des modèles d'IA viennent à nous.
Les fabricants de téléphones mobiles mènent le grand modèle au terminal mobile
Les grands modèles d'IA se précipitent du cloud vers le terminal intelligent.
Le 4 août, lors de la conférence des développeurs Huawei 2023, Huawei a lancé HarmonyOS 4. Par rapport aux générations précédentes de systèmes d'exploitation, son changement le plus important est qu'il a intégré des capacités de grands modèles d'IA dans la couche inférieure du système. Huawei ouvre le prélude au passage du modèle IA du côté « terminal intelligent ».
À l'heure actuelle, les services fournis par les applications d'IA telles que ChatGPT et Midjourney sont essentiellement complétés par des serveurs cloud. En prenant ChatGPT comme exemple, le grand modèle et les ressources informatiques qui le sous-tendent sont stockés sur un serveur distant. Les utilisateurs interagissent avec le serveur en temps réel et le texte saisi est traité par le serveur pour obtenir une réponse. L'avantage de ceci est qu'il peut assurer le fonctionnement efficace et stable du modèle, car le serveur est généralement équipé de ressources informatiques puissantes et peut être étendu à tout moment pour s'adapter à des charges élevées.
Maintenant, une nouvelle logique de soutien a émergé. Huawei essaie d'introduire un grand modèle dans le terminal, ce qui signifie que tout le travail ci-dessus peut être effectué localement.Le système de téléphonie mobile lui-même a certaines capacités d'IA, et il n'a pas besoin d'accéder aux services cloud d'IA pour réaliser des mises à niveau intelligentes.
Yu Chengdong, directeur exécutif de Huawei et PDG de Terminal BG, a annoncé qu'HarmonyOS 4 est pris en charge par le modèle Pangu de Huawei, et espère apporter aux utilisateurs une toute nouvelle révolution d'expérience d'IA d'interaction de terminal intelligent, d'efficacité de productivité de haut niveau et de services personnalisés. .
Les capacités d'intelligence artificielle d'HarmonyOS 4 sont actuellement principalement incarnées par l'assistant intelligent "Xiaoyi" de Huawei. Une fois le grand modèle connecté, Xiaoyi étend la saisie de diverses formes telles que du texte, des images et des documents sur la base de l'interaction vocale, et la capacité de compréhension du langage naturel est améliorée. Xiaoyi peut également se connecter à une variété de services et de scénarios selon des instructions, telles que l'extraction automatique de texte à partir d'images, la génération de divers types de contenu de courrier électronique commercial ou la génération d'images, etc.
Le changement le plus important est que Xiaoyi a la capacité de se souvenir et d'apprendre. Au fur et à mesure de son utilisation, il deviendra de plus en plus conscient du "maître", capable de donner intelligemment des plans tels que des plans de voyage et d'activités, et de le réaliser. selon les habitudes des utilisateurs Recommandations personnalisées. Huawei a révélé que ces nouvelles capacités de Xiaoyi lanceront une expérience de test public fin août.
En intégrant le modèle d'intelligence artificielle dans la couche inférieure du système de téléphonie mobile, Huawei espère améliorer l'intelligence globale du téléphone mobile. Bien que les fonctions mentionnées ci-dessus de Xiaoyi ne soient pas "avancées", pour les réaliser, les utilisateurs doivent souvent appeler ChatGPT, Midjourney et de nombreuses autres applications en même temps pour terminer. Lorsque le téléphone mobile lui-même dispose de capacités d'IA, il s'apparente à un assistant plus polyvalent, fournissant des services complets.
Avant la sortie d'HarmonyOS 4, Huawei a effectivement essayé de connecter de grands modèles d'IA à des terminaux mobiles. En mars de cette année, Huawei a lancé le téléphone mobile P60. La fonction de recherche d'image intelligente intégrée est basée sur la technologie multimodale des grands modèles. En miniaturisant le modèle côté téléphone mobile, le fonctionnement du modèle en langage naturel sur le téléphone mobile côté est réalisé.
Huawei n'est pas la première entreprise à introduire des modèles d'IA dans les appareils. Lors de la Conférence mondiale sur l'intelligence artificielle de 2023, Qualcomm a démontré la pratique de fonctionnement des modèles à grande échelle entrant du côté final, en exécutant le modèle d'IA générative Stable Diffusion sur un téléphone mobile équipé du Snapdragon 8 de deuxième génération et en exécutant 20 étapes de raisonnement. dans les 15 secondes, et une image de 512 x 512 pixels est générée, et l'effet d'image n'est pas significativement différent du niveau de traitement du cloud.
Lors du Shanghai MWC 2023, le PDG de Honor, Zhao Ming, a également déclaré que Honor encouragerait le déploiement de grands modèles côté smartphone pour obtenir une interaction naturelle multimodale, une reconnaissance précise des intentions et des services en boucle fermée pour les tâches complexes.
Apple attire également l'attention : il y a un mois, il a été révélé qu'Apple développait secrètement "Apple GPT", un outil d'intelligence artificielle basé sur le framework Ajax développé par Apple. Bien que les détails spécifiques n'aient pas encore été divulgués, il est généralement supposé dans l'industrie qu'Apple est susceptible d'ajouter un grand modèle au niveau du système pour améliorer l'intelligence de l'assistant vocal Siri, afin que Siri puisse enlever le chapeau de " retard mental artificiel ».
## Hype ou nouvelle révolution ?
Il n'est pas rare que les fabricants de téléphones portables se concentrent sur les grands modèles, mais pourquoi choisissent-ils la voie "appareil à côté" ? Après tout, les capacités d'interaction et de génération de Huawei Xiaoyi peuvent également être fournies via des serveurs cloud, et il semble que le coût soit plus économique et que la technologie soit plus facile à mettre en œuvre.
Est-ce un battage médiatique ou est-il vraiment nécessaire de mettre de grands modèles d'IA dans des terminaux mobiles intelligents ? Sur cette question, Yu Chengdong et Zhao Ming ont mentionné deux mots clés : sécurité de la vie privée et personnalisation.
Yu Chengdong a souligné que Huawei préconise que le premier principe de toute innovation en matière d'expérience d'IA et de conception de scènes est la sécurité et la protection de la vie privée, afin de créer une IA plus responsable, et promet que le contenu généré par l'IA sera marqué.
Par rapport au traitement des données dans le cloud, l'avantage le plus évident du côté du terminal intelligent est la confidentialité et la sécurité. Auparavant, ChatGPT a été impliqué à plusieurs reprises dans des tempêtes de fuites de données. En mars de cette année, Samsung a interdit l'utilisation de ChatGPT en interne. La raison en était que les employés des semi-conducteurs étaient soupçonnés d'avoir divulgué des secrets d'entreprise en utilisant ChatGPT ; En cas d'utilisation et de fuite de données personnelles, le montant de la réclamation est aussi élevé comme 3 milliards de dollars américains.
Lorsque le traitement des données se fait du côté final, les données personnelles de l'utilisateur ne seront pas téléchargées sur le serveur cloud, ce qui réduit considérablement le risque de fuite de confidentialité. Cela fournit également une condition préalable pour que l'assistant IA du téléphone mobile devienne véritablement un intendant de la vie uniquement lorsque la confidentialité est garantie, les utilisateurs se sentiront soulagés de transmettre des données à l'IA pour l'apprentissage.
Selon la compréhension de Zhao Ming, la mission du modèle d'IA côté final est de mieux comprendre les utilisateurs, "savoir à quelle heure je vais me coucher et ce que j'aime manger peut résoudre mes besoins immédiats, ce qui équivaut à avoir la capacité d'avoir un aperçu "Pour ce faire, l'IA doit être entraînée en fonction des données personnelles et des habitudes de l'utilisateur. A terme, le smartphone deviendra, espérons-le, un assistant polyvalent, ou un robot secrétaire personnel, capable d'aider les utilisateurs avec la restauration, la réservation , conseil, divertissement, Office et autres exigences multi-scénarios.
En revanche, ChatGPT et d'autres applications d'IA grand public sont des produits standardisés, et il est difficile d'avoir la capacité d'un assistant personnel sans modification.Il ne comprend pas l'utilisateur, mais ne répond qu'aux instructions d'entrée de l'utilisateur.réponse. Un téléphone mobile personnel est déjà un appareil intelligent personnel privé. Si le modèle d'IA qui comprend le langage humain peut fonctionner sur le téléphone mobile, le degré d'intelligence sera sans aucun doute grandement amélioré.
De plus, les applications qui s'appuient sur le cloud sont également instables. Par exemple, pour des raisons de réseau ou de serveur, la vitesse de réponse du cloud peut ralentir, voire se bloquer complètement. Cela s'est produit à plusieurs reprises sur ChatGPT, et les grands modèle sera considérablement affaibli Dépendance sur le cloud, afin d'éviter "cloud lag".
Sur la base des caractéristiques ci-dessus, la "révolution appareil-à-côté" des grands modèles a montré un potentiel, et on espère même que les téléphones mobiles qui ont été dans le goulot d'étranglement du développement pendant de nombreuses années subiront une autre évolution passionnante des espèces, tout comme l'émergence des smartphones à grand écran et la sortie de l'iPhone.
Mais il y a un problème évident pour que le grand modèle montre sa force sur le téléphone portable : la puce du téléphone portable peut-elle y résister ? Étant donné que les grands modèles contiennent souvent des dizaines de milliards ou des centaines de milliards de paramètres, nécessitent une formation de niveau astronomique et consomment une énorme puissance de calcul, les performances des puces de téléphonie mobile existantes ne peuvent évidemment pas répondre aux exigences.
À cet égard, la solution courante actuelle dans l'industrie est la "miniaturisation des modèles".
Pour faire simple, lorsque la structure du réseau du modèle est déterminée, le modèle est « allégé » sur le principe de réduire la précision le moins possible, réduisant ainsi les ressources et la consommation d'énergie qu'il nécessite. Ce processus comporte généralement trois étapes, en supprimant les paramètres du modèle qui ont un très faible impact sur la précision, appelé « élagage » ; en utilisant des types de données de moindre précision pour le raisonnement, appelé « quantification » dans le jargon ; et à partir de des modèles complexes, pour en extraire un modèle similaire mais plus simple, que l'on appelle vivement "distillation". Le but ultime est de réduire la taille du modèle.
D'autre part, les fabricants de puces tels que Qualcomm déploient et développent également des puces dédiées pour l'extrémité des grands modèles d'IA. Auparavant, la plate-forme mobile 5G de Qualcomm Snapdragon 8 Gen2 intégrait pour la première fois le processeur Hexagon spécifique à l'IA, en utilisant un système d'alimentation dédié indépendant, prenant en charge le raisonnement de micro-tranchage, la précision INT4 et l'accélération du réseau Transformer, etc., ce qui peut fournir des performances supérieures. en même temps, réduire la consommation d'énergie et l'utilisation de la mémoire.
Le grand modèle d'extrémité déclenche une nouvelle génération de terminaux intelligents révolutionnaires. IDC prévoit que d'ici 2026, près de 50 % des processeurs d'équipements terminaux sur le marché chinois disposeront de la technologie des moteurs d'IA. Un autre grand changement que l'IA apporte à la vie technologique humaine peut apparaître.