Se acerca una ola de "modelos grandes de extremo a lado". Gigantes de chips como Huawei y Qualcomm están explorando la implantación de grandes modelos de IA en el lado del dispositivo, lo que permite que los teléfonos móviles se den cuenta de la evolución de una nueva generación de especies.
En comparación con aplicaciones de IA como ChatGPT y Midjourney, que dependen de servidores en la nube para brindar servicios, el modelo grande del lado final se enfoca en obtener inteligencia localmente. Su ventaja es que puede proteger mejor la privacidad y, al mismo tiempo, el teléfono móvil puede convertirse en el asistente inteligente personal del usuario a través del aprendizaje, y no hay necesidad de preocuparse por el tiempo de inactividad del servidor en la nube y otros problemas.
Sin embargo, en las condiciones técnicas existentes, el rendimiento de los teléfonos móviles está lejos de ser suficiente para soportar el funcionamiento de modelos grandes. La solución técnica principal en la industria es "reducir" el modelo grande a través de la poda, la cuantificación y la destilación, y reducir los recursos y el consumo de energía que requiere con la premisa de reducir la precisión lo menos posible.
Qualcomm ha comenzado a desarrollar chips para modelos de gran tamaño. Esto indica que nos están llegando terminales móviles que implementan modelos de IA.
Los fabricantes de móviles llevan el modelo grande al terminal móvil
Los grandes modelos de IA se precipitan de la nube a la terminal inteligente.
El 4 de agosto, en la Conferencia de desarrolladores de Huawei de 2023, Huawei lanzó HarmonyOS 4. En comparación con las generaciones anteriores de sistemas operativos, su cambio más significativo es que incorporó capacidades de modelos grandes de IA en la capa inferior del sistema. Huawei está abriendo el preludio del modelo de IA moviéndose hacia el "lado de la terminal inteligente".
En la actualidad, los servicios que brindan las aplicaciones de IA como ChatGPT y Midjourney se completan básicamente a través de servidores en la nube. Tomando ChatGPT como ejemplo, el modelo grande y los recursos informáticos detrás de él se almacenan en un servidor remoto. Los usuarios interactúan con el servidor en tiempo real, y el servidor procesa el texto de entrada para obtener una respuesta. La ventaja de esto es que puede garantizar el funcionamiento eficiente y estable del modelo, ya que el servidor suele estar equipado con potentes recursos informáticos y puede ampliarse en cualquier momento para adaptarse a grandes cargas.
Ahora, ha surgido una nueva lógica de apoyo. Huawei está tratando de introducir modelos a gran escala en los terminales, lo que significa que todas las tareas mencionadas anteriormente se pueden realizar localmente.El sistema de telefonía móvil en sí tiene ciertas capacidades de IA y no necesita acceder a los servicios de nube de IA para lograr actualizaciones inteligentes. .
Yu Chengdong, director ejecutivo de Huawei y director ejecutivo de Terminal BG, anunció que HarmonyOS 4 es compatible con el modelo Pangu de Huawei y espera brindar a los usuarios una nueva revolución de experiencia de IA de interacción de terminal inteligente, eficiencia de productividad de alto nivel y servicios personalizados. .
HarmonyOS 4 presenta megamodelos de IA
Actualmente, las capacidades de inteligencia artificial de HarmonyOS 4 están representadas principalmente por el asistente inteligente "Xiaoyi" de Huawei. Después de conectar el modelo grande, Xiaoyi amplía la entrada de varias formas, como texto, imágenes y documentos sobre la base de la interacción de voz, y se mejora la capacidad de comprensión del lenguaje natural. Xiaoyi también puede conectarse a una variedad de servicios y escenarios de acuerdo con las instrucciones, como extraer automáticamente texto de imágenes, generar varios tipos de contenido de correo electrónico comercial o generar imágenes, etc.
El cambio más importante es que Xiaoyi tiene la capacidad de recordar y aprender. A medida que se siga utilizando, se volverá cada vez más consciente del "maestro", capaz de dar planes de forma inteligente, como viajes y planes de actividades, y realizarlos. según hábitos de usuario Recomendaciones personalizadas. Huawei reveló que estas nuevas capacidades de Xiaoyi iniciarán una experiencia de prueba pública a finales de agosto.
Al incorporar el modelo de IA en la capa inferior del sistema de telefonía móvil, Huawei espera mejorar la inteligencia general del teléfono móvil. Aunque las funciones de Xiaoyi mencionadas anteriormente no son "avanzadas", para realizarlas, los usuarios a menudo necesitan llamar a ChatGPT, Midjourney y muchas otras aplicaciones al mismo tiempo para completarlas. Cuando el propio teléfono móvil tiene capacidades de inteligencia artificial, es como un asistente más versátil que brinda servicios integrales.
Antes del lanzamiento de HarmonyOS 4, Huawei intentó conectar modelos grandes de IA a terminales móviles. En marzo de este año, Huawei lanzó el teléfono móvil P60. La función de búsqueda inteligente de imágenes integrada se basa en la tecnología de modelo grande multimodal. Al miniaturizar el modelo en el lado del teléfono móvil, la operación del modelo de lenguaje natural en el teléfono móvil lado se realiza.
Huawei no es la primera empresa en introducir modelos de IA en dispositivos. En la Conferencia Mundial de Inteligencia Artificial de 2023, Qualcomm demostró la práctica de operación de modelos a gran escala que ingresan al extremo, ejecutando el modelo de IA generativa Stable Diffusion en un teléfono móvil equipado con Snapdragon 8 de segunda generación y ejecutando 20 pasos de razonamiento. en 15 segundos, y se genera una imagen de 512x512 píxeles, y el efecto de la imagen no es significativamente diferente del nivel de procesamiento de la nube.
Durante el MWC de Shanghái 2023, el CEO de Honor, Zhao Ming, también dijo que Honor promoverá la implementación de modelos grandes en el extremo del lado del teléfono inteligente para lograr una interacción natural multimodal, un reconocimiento preciso de la intención y servicios de ciclo cerrado para tareas complejas.
También llama la atención Apple. Hace un mes, se reveló que Apple estaba desarrollando en secreto "Apple GPT", que es una herramienta de inteligencia artificial basada en el marco Ajax de desarrollo propio de Apple. Aunque los detalles específicos aún no se han revelado, generalmente se especula en la industria que es probable que Apple agregue un modelo grande a nivel de sistema para mejorar la inteligencia del asistente de voz Siri, para que Siri pueda quitarse el sombrero de " retraso mental artificial".
¿Bombo o nueva revolución?
No es raro que los fabricantes de teléfonos móviles se centren en modelos grandes, pero ¿por qué toman la ruta de "dispositivo a lado"? Después de todo, las capacidades de interacción y generación de Huawei Xiaoyi también se pueden proporcionar a través de servidores en la nube, y parece que el costo es más económico y la tecnología es más fácil de implementar.
¿Es una exageración o es realmente necesario poner modelos grandes de IA en terminales móviles inteligentes? Sobre este tema, tanto Yu Chengdong como Zhao Ming mencionaron dos palabras clave: privacidad, seguridad y personalización.
Yu Chengdong enfatizó que Huawei defiende que el primer principio de toda la innovación de la experiencia de IA y el diseño de escenarios es la seguridad y la protección de la privacidad, para crear una IA más responsable, y promete que el contenido generado por la IA estará marcado.
En comparación con el procesamiento de datos en la nube, la ventaja más obvia del lado del terminal inteligente es la privacidad y la seguridad. Anteriormente, ChatGPT se ha visto involucrado repetidamente en tormentas de fuga de datos. En marzo de este año, Samsung emitió una prohibición sobre el uso de ChatGPT internamente. El motivo fue que se sospechaba que los empleados de semiconductores filtraban secretos de la empresa mediante el uso de ChatGPT; en el caso de usar y filtrar datos de privacidad personal, el monto de la reclamación es tan alto como 3 mil millones de dólares estadounidenses.
Cuando el procesamiento de datos está en el lado final, los datos personales del usuario no se cargarán en el servidor de la nube, lo que reduce en gran medida el riesgo de fuga de privacidad. Esto también proporciona un requisito previo para que el asistente de inteligencia artificial del teléfono móvil se convierta realmente en un administrador de vida: solo cuando la privacidad está garantizada, los usuarios se sentirán aliviados de entregar datos a la inteligencia artificial para el aprendizaje.
A juicio de Zhao Ming, la misión del modelo de IA del lado final es comprender mejor a los usuarios, "saber a qué hora me acuesto y qué me gusta comer puede resolver mis necesidades inmediatas, lo que equivale a tener la capacidad de obtener información". en mis necesidades ". Para hacer esto, la IA debe ser entrenada en función de los datos y hábitos personales del usuario. Eventualmente, el teléfono inteligente se convertirá en un asistente completo, o en una secretaria robot personal, capaz de ayudar a los usuarios con el catering, la reserva , consultoría, entretenimiento, Oficina y otros requisitos de múltiples escenarios.
Por el contrario, tanto ChatGPT como otras aplicaciones de IA convencionales son productos estandarizados, y es difícil tener la capacidad de un asistente personal sin modificaciones. No entiende al usuario, sino que solo responde a las instrucciones de entrada del usuario. Un teléfono móvil personal ya es un dispositivo inteligente personal privado. Si el modelo de IA que entiende el lenguaje humano puede ejecutarse en el teléfono móvil, el grado de inteligencia sin duda mejorará en gran medida.
Además, las aplicaciones que dependen de la nube también son inestables. Por ejemplo, debido a razones de la red o del servidor, la velocidad de respuesta de la nube puede ralentizarse o incluso bloquearse por completo. Esto ha sucedido muchas veces en ChatGPT, y los grandes localizados El modelo se debilitará considerablemente. Dependencia de la nube, para evitar el "retraso de la nube".
Con base en las características anteriores, la "revolución de dispositivo a lado" de los modelos grandes ha mostrado potencial, e incluso se espera que los teléfonos móviles que han estado en el cuello de botella del desarrollo durante muchos años experimenten otra especie de evolución emocionante, al igual que la aparición de los teléfonos inteligentes de pantalla grande y el lanzamiento del iPhone.
Pero hay un problema evidente para que el gran modelo muestre su fuerza en el móvil: ¿Podrá soportarlo el chip del móvil? Dado que los modelos grandes a menudo contienen decenas de miles de millones o cientos de miles de millones de parámetros, y requieren un entrenamiento de nivel astronómico y consumen una enorme potencia informática, el rendimiento de los chips de teléfonos móviles existentes obviamente no puede cumplir con los requisitos.
En este sentido, la solución principal actual en la industria es la "miniaturización del modelo".
En pocas palabras, cuando se determina la estructura de la red del modelo, el modelo se "reduce" con la premisa de reducir la precisión lo menos posible, reduciendo así los recursos y el consumo de energía que requiere. Este proceso suele tener tres pasos: eliminar los parámetros del modelo que tienen un impacto muy pequeño en la precisión, lo que se denomina "poda", usar tipos de datos de menor precisión para el razonamiento, lo que se denomina "cuantización" en la jerga, y de modelos complejos, para extraer un modelo similar pero más simple, que se llama vívidamente "destilación". El objetivo final es reducir el tamaño del modelo.
Por otro lado, los fabricantes de chips como Qualcomm también están implementando y desarrollando chips dedicados para el extremo de los modelos grandes de IA. Anteriormente, la plataforma móvil 5G de Qualcomm Snapdragon 8 Gen2 integró el procesador Hexagon específico de IA por primera vez, utilizando un sistema de fuente de alimentación dedicado independiente, compatible con razonamiento de microcorte, precisión INT4 y aceleración de red de transformador, etc., al tiempo que proporciona un mayor rendimiento. Reduzca el consumo de energía y el uso de la memoria.
El modelo grande del lado del extremo está iniciando una nueva generación de revolución de terminales inteligentes. IDC predice que para 2026, casi el 50 % de los procesadores de equipos terminales en el mercado chino tendrán tecnología de motor de IA. Puede aparecer otro gran cambio que trae la IA a la vida tecnológica humana.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
El gran modelo "adelgaza" en el teléfono móvil, ¿viene el próximo iPhone?
En comparación con aplicaciones de IA como ChatGPT y Midjourney, que dependen de servidores en la nube para brindar servicios, el modelo grande del lado final se enfoca en obtener inteligencia localmente. Su ventaja es que puede proteger mejor la privacidad y, al mismo tiempo, el teléfono móvil puede convertirse en el asistente inteligente personal del usuario a través del aprendizaje, y no hay necesidad de preocuparse por el tiempo de inactividad del servidor en la nube y otros problemas.
Sin embargo, en las condiciones técnicas existentes, el rendimiento de los teléfonos móviles está lejos de ser suficiente para soportar el funcionamiento de modelos grandes. La solución técnica principal en la industria es "reducir" el modelo grande a través de la poda, la cuantificación y la destilación, y reducir los recursos y el consumo de energía que requiere con la premisa de reducir la precisión lo menos posible.
Qualcomm ha comenzado a desarrollar chips para modelos de gran tamaño. Esto indica que nos están llegando terminales móviles que implementan modelos de IA.
Los fabricantes de móviles llevan el modelo grande al terminal móvil
Los grandes modelos de IA se precipitan de la nube a la terminal inteligente.
El 4 de agosto, en la Conferencia de desarrolladores de Huawei de 2023, Huawei lanzó HarmonyOS 4. En comparación con las generaciones anteriores de sistemas operativos, su cambio más significativo es que incorporó capacidades de modelos grandes de IA en la capa inferior del sistema. Huawei está abriendo el preludio del modelo de IA moviéndose hacia el "lado de la terminal inteligente".
En la actualidad, los servicios que brindan las aplicaciones de IA como ChatGPT y Midjourney se completan básicamente a través de servidores en la nube. Tomando ChatGPT como ejemplo, el modelo grande y los recursos informáticos detrás de él se almacenan en un servidor remoto. Los usuarios interactúan con el servidor en tiempo real, y el servidor procesa el texto de entrada para obtener una respuesta. La ventaja de esto es que puede garantizar el funcionamiento eficiente y estable del modelo, ya que el servidor suele estar equipado con potentes recursos informáticos y puede ampliarse en cualquier momento para adaptarse a grandes cargas.
Ahora, ha surgido una nueva lógica de apoyo. Huawei está tratando de introducir modelos a gran escala en los terminales, lo que significa que todas las tareas mencionadas anteriormente se pueden realizar localmente.El sistema de telefonía móvil en sí tiene ciertas capacidades de IA y no necesita acceder a los servicios de nube de IA para lograr actualizaciones inteligentes. .
Yu Chengdong, director ejecutivo de Huawei y director ejecutivo de Terminal BG, anunció que HarmonyOS 4 es compatible con el modelo Pangu de Huawei y espera brindar a los usuarios una nueva revolución de experiencia de IA de interacción de terminal inteligente, eficiencia de productividad de alto nivel y servicios personalizados. .
Actualmente, las capacidades de inteligencia artificial de HarmonyOS 4 están representadas principalmente por el asistente inteligente "Xiaoyi" de Huawei. Después de conectar el modelo grande, Xiaoyi amplía la entrada de varias formas, como texto, imágenes y documentos sobre la base de la interacción de voz, y se mejora la capacidad de comprensión del lenguaje natural. Xiaoyi también puede conectarse a una variedad de servicios y escenarios de acuerdo con las instrucciones, como extraer automáticamente texto de imágenes, generar varios tipos de contenido de correo electrónico comercial o generar imágenes, etc.
El cambio más importante es que Xiaoyi tiene la capacidad de recordar y aprender. A medida que se siga utilizando, se volverá cada vez más consciente del "maestro", capaz de dar planes de forma inteligente, como viajes y planes de actividades, y realizarlos. según hábitos de usuario Recomendaciones personalizadas. Huawei reveló que estas nuevas capacidades de Xiaoyi iniciarán una experiencia de prueba pública a finales de agosto.
Al incorporar el modelo de IA en la capa inferior del sistema de telefonía móvil, Huawei espera mejorar la inteligencia general del teléfono móvil. Aunque las funciones de Xiaoyi mencionadas anteriormente no son "avanzadas", para realizarlas, los usuarios a menudo necesitan llamar a ChatGPT, Midjourney y muchas otras aplicaciones al mismo tiempo para completarlas. Cuando el propio teléfono móvil tiene capacidades de inteligencia artificial, es como un asistente más versátil que brinda servicios integrales.
Antes del lanzamiento de HarmonyOS 4, Huawei intentó conectar modelos grandes de IA a terminales móviles. En marzo de este año, Huawei lanzó el teléfono móvil P60. La función de búsqueda inteligente de imágenes integrada se basa en la tecnología de modelo grande multimodal. Al miniaturizar el modelo en el lado del teléfono móvil, la operación del modelo de lenguaje natural en el teléfono móvil lado se realiza.
Huawei no es la primera empresa en introducir modelos de IA en dispositivos. En la Conferencia Mundial de Inteligencia Artificial de 2023, Qualcomm demostró la práctica de operación de modelos a gran escala que ingresan al extremo, ejecutando el modelo de IA generativa Stable Diffusion en un teléfono móvil equipado con Snapdragon 8 de segunda generación y ejecutando 20 pasos de razonamiento. en 15 segundos, y se genera una imagen de 512x512 píxeles, y el efecto de la imagen no es significativamente diferente del nivel de procesamiento de la nube.
Durante el MWC de Shanghái 2023, el CEO de Honor, Zhao Ming, también dijo que Honor promoverá la implementación de modelos grandes en el extremo del lado del teléfono inteligente para lograr una interacción natural multimodal, un reconocimiento preciso de la intención y servicios de ciclo cerrado para tareas complejas.
También llama la atención Apple. Hace un mes, se reveló que Apple estaba desarrollando en secreto "Apple GPT", que es una herramienta de inteligencia artificial basada en el marco Ajax de desarrollo propio de Apple. Aunque los detalles específicos aún no se han revelado, generalmente se especula en la industria que es probable que Apple agregue un modelo grande a nivel de sistema para mejorar la inteligencia del asistente de voz Siri, para que Siri pueda quitarse el sombrero de " retraso mental artificial".
¿Bombo o nueva revolución?
No es raro que los fabricantes de teléfonos móviles se centren en modelos grandes, pero ¿por qué toman la ruta de "dispositivo a lado"? Después de todo, las capacidades de interacción y generación de Huawei Xiaoyi también se pueden proporcionar a través de servidores en la nube, y parece que el costo es más económico y la tecnología es más fácil de implementar.
¿Es una exageración o es realmente necesario poner modelos grandes de IA en terminales móviles inteligentes? Sobre este tema, tanto Yu Chengdong como Zhao Ming mencionaron dos palabras clave: privacidad, seguridad y personalización.
Yu Chengdong enfatizó que Huawei defiende que el primer principio de toda la innovación de la experiencia de IA y el diseño de escenarios es la seguridad y la protección de la privacidad, para crear una IA más responsable, y promete que el contenido generado por la IA estará marcado.
En comparación con el procesamiento de datos en la nube, la ventaja más obvia del lado del terminal inteligente es la privacidad y la seguridad. Anteriormente, ChatGPT se ha visto involucrado repetidamente en tormentas de fuga de datos. En marzo de este año, Samsung emitió una prohibición sobre el uso de ChatGPT internamente. El motivo fue que se sospechaba que los empleados de semiconductores filtraban secretos de la empresa mediante el uso de ChatGPT; en el caso de usar y filtrar datos de privacidad personal, el monto de la reclamación es tan alto como 3 mil millones de dólares estadounidenses.
Cuando el procesamiento de datos está en el lado final, los datos personales del usuario no se cargarán en el servidor de la nube, lo que reduce en gran medida el riesgo de fuga de privacidad. Esto también proporciona un requisito previo para que el asistente de inteligencia artificial del teléfono móvil se convierta realmente en un administrador de vida: solo cuando la privacidad está garantizada, los usuarios se sentirán aliviados de entregar datos a la inteligencia artificial para el aprendizaje.
A juicio de Zhao Ming, la misión del modelo de IA del lado final es comprender mejor a los usuarios, "saber a qué hora me acuesto y qué me gusta comer puede resolver mis necesidades inmediatas, lo que equivale a tener la capacidad de obtener información". en mis necesidades ". Para hacer esto, la IA debe ser entrenada en función de los datos y hábitos personales del usuario. Eventualmente, el teléfono inteligente se convertirá en un asistente completo, o en una secretaria robot personal, capaz de ayudar a los usuarios con el catering, la reserva , consultoría, entretenimiento, Oficina y otros requisitos de múltiples escenarios.
Por el contrario, tanto ChatGPT como otras aplicaciones de IA convencionales son productos estandarizados, y es difícil tener la capacidad de un asistente personal sin modificaciones. No entiende al usuario, sino que solo responde a las instrucciones de entrada del usuario. Un teléfono móvil personal ya es un dispositivo inteligente personal privado. Si el modelo de IA que entiende el lenguaje humano puede ejecutarse en el teléfono móvil, el grado de inteligencia sin duda mejorará en gran medida.
Además, las aplicaciones que dependen de la nube también son inestables. Por ejemplo, debido a razones de la red o del servidor, la velocidad de respuesta de la nube puede ralentizarse o incluso bloquearse por completo. Esto ha sucedido muchas veces en ChatGPT, y los grandes localizados El modelo se debilitará considerablemente. Dependencia de la nube, para evitar el "retraso de la nube".
Con base en las características anteriores, la "revolución de dispositivo a lado" de los modelos grandes ha mostrado potencial, e incluso se espera que los teléfonos móviles que han estado en el cuello de botella del desarrollo durante muchos años experimenten otra especie de evolución emocionante, al igual que la aparición de los teléfonos inteligentes de pantalla grande y el lanzamiento del iPhone.
Pero hay un problema evidente para que el gran modelo muestre su fuerza en el móvil: ¿Podrá soportarlo el chip del móvil? Dado que los modelos grandes a menudo contienen decenas de miles de millones o cientos de miles de millones de parámetros, y requieren un entrenamiento de nivel astronómico y consumen una enorme potencia informática, el rendimiento de los chips de teléfonos móviles existentes obviamente no puede cumplir con los requisitos.
En este sentido, la solución principal actual en la industria es la "miniaturización del modelo".
En pocas palabras, cuando se determina la estructura de la red del modelo, el modelo se "reduce" con la premisa de reducir la precisión lo menos posible, reduciendo así los recursos y el consumo de energía que requiere. Este proceso suele tener tres pasos: eliminar los parámetros del modelo que tienen un impacto muy pequeño en la precisión, lo que se denomina "poda", usar tipos de datos de menor precisión para el razonamiento, lo que se denomina "cuantización" en la jerga, y de modelos complejos, para extraer un modelo similar pero más simple, que se llama vívidamente "destilación". El objetivo final es reducir el tamaño del modelo.
Por otro lado, los fabricantes de chips como Qualcomm también están implementando y desarrollando chips dedicados para el extremo de los modelos grandes de IA. Anteriormente, la plataforma móvil 5G de Qualcomm Snapdragon 8 Gen2 integró el procesador Hexagon específico de IA por primera vez, utilizando un sistema de fuente de alimentación dedicado independiente, compatible con razonamiento de microcorte, precisión INT4 y aceleración de red de transformador, etc., al tiempo que proporciona un mayor rendimiento. Reduzca el consumo de energía y el uso de la memoria.
El modelo grande del lado del extremo está iniciando una nueva generación de revolución de terminales inteligentes. IDC predice que para 2026, casi el 50 % de los procesadores de equipos terminales en el mercado chino tendrán tecnología de motor de IA. Puede aparecer otro gran cambio que trae la IA a la vida tecnológica humana.