Uma onda de "modelos grandes de ponta a ponta" está chegando. Gigantes de chips como Huawei e Qualcomm estão explorando a implantação de grandes modelos de IA no lado do dispositivo, permitindo que os telefones celulares percebam a evolução de uma nova geração de espécies.
Comparado com aplicativos de IA, como ChatGPT e Midjourney, que dependem de servidores em nuvem para fornecer serviços, o modelo grande de ponta concentra-se na realização de inteligência localmente. Sua vantagem é que ele pode proteger melhor a privacidade e, ao mesmo tempo, o celular pode se tornar o assistente pessoal inteligente do usuário por meio do aprendizado, e não há necessidade de se preocupar com o tempo de inatividade do servidor em nuvem e outros problemas.
No entanto, nas condições técnicas existentes, o desempenho dos telefones celulares está longe de ser suficiente para suportar a operação de modelos grandes. A solução técnica dominante na indústria é "diminuir" o modelo grande por meio de poda, quantização e destilação e reduzir os recursos e o consumo de energia necessários com a premissa de reduzir a precisão o mínimo possível.
A Qualcomm começou a desenvolver chips para modelos grandes de ponta. Isso indica que os terminais móveis que implantam modelos de IA estão chegando até nós.
Os fabricantes de telefones celulares lideram o modelo grande para o terminal móvel
Grandes modelos de IA estão correndo da nuvem para o terminal inteligente.
Em 4 de agosto, na Huawei Developer Conference de 2023, a Huawei lançou o HarmonyOS 4. Em comparação com as gerações anteriores de sistemas operacionais, sua mudança mais significativa é que ele incorporou recursos de modelo grande de IA na camada inferior do sistema. A Huawei está abrindo o prelúdio para o modelo de IA passar para o "lado do terminal inteligente".
Atualmente, os serviços fornecidos por aplicativos de IA, como ChatGPT e Midjourney, são basicamente concluídos por meio de servidores em nuvem. Tomando o ChatGPT como exemplo, o grande modelo e os recursos de computação por trás dele são armazenados em um servidor remoto. Os usuários interagem com o servidor em tempo real e o texto de entrada é processado pelo servidor para obter uma resposta. A vantagem disso é que pode garantir o funcionamento eficiente e estável do modelo, pois o servidor geralmente é equipado com poderosos recursos de computação e pode ser expandido a qualquer momento para acomodar altas cargas.
Agora, uma nova lógica de suporte surgiu. A Huawei está tentando introduzir um modelo grande no terminal, o que significa que todo o trabalho acima pode ser feito localmente. O próprio sistema de telefonia móvel possui certos recursos de IA e não precisa acessar os serviços de nuvem de IA para obter atualizações inteligentes.
Yu Chengdong, diretor executivo da Huawei e CEO da Terminal BG, anunciou que o HarmonyOS 4 é suportado pelo modelo Pangu da Huawei e espera trazer aos usuários uma nova revolução na experiência de IA de interação de terminal inteligente, eficiência de produtividade de alto nível e serviços personalizados .
HarmonyOS 4 apresenta megamodelos de IA
Atualmente, os recursos de IA do HarmonyOS 4 são incorporados principalmente pelo assistente inteligente "Xiaoyi" da Huawei. Depois que o modelo grande é conectado, Xiaoyi expande a entrada de várias formas, como texto, imagens e documentos com base na interação por voz, e a capacidade de compreensão da linguagem natural é aprimorada. Xiaoyi também pode se conectar a uma variedade de serviços e cenários de acordo com as instruções, como extrair texto automaticamente de imagens, gerar vários tipos de conteúdo de e-mail comercial ou gerar imagens, etc.
A mudança mais importante é que Xiaoyi tem a capacidade de lembrar e aprender. À medida que continua a ser usado, ele se tornará cada vez mais consciente do "mestre", capaz de dar planos de maneira inteligente, como viagens e planos de atividades, e realizá-los de acordo com os hábitos do usuário Recomendações personalizadas. A Huawei revelou que esses novos recursos do Xiaoyi iniciarão uma experiência de teste público no final de agosto.
Ao construir o modelo AI na camada inferior do sistema de telefonia móvel, a Huawei espera melhorar a inteligência geral do telefone móvel. Embora as funções mencionadas acima de Xiaoyi não sejam "avançadas", para realizá-las, os usuários geralmente precisam chamar ChatGPT, Midjourney e muitos outros aplicativos ao mesmo tempo para concluir. Quando o próprio telefone celular possui recursos de IA, é como um assistente mais versátil, fornecendo serviços abrangentes.
Antes do lançamento do HarmonyOS 4, a Huawei tentou conectar modelos grandes de IA a terminais móveis. Em março deste ano, a Huawei lançou o telefone móvel P60. A função de pesquisa de imagem inteligente integrada é baseada na tecnologia de modelo grande multimodal. Ao miniaturizar o modelo no lado do telefone móvel, a operação do modelo de linguagem natural no telefone celular lado é realizado.
A Huawei não é a primeira empresa a introduzir modelos de IA em dispositivos. Na Conferência Mundial de Inteligência Artificial de 2023, a Qualcomm demonstrou a prática de operação de modelos em grande escala entrando no lado final, executando o modelo generativo de AI Stable Diffusion em um telefone celular equipado com o Snapdragon 8 de segunda geração e executando 20 etapas de raciocínio dentro de 15 segundos, e uma imagem de 512x512 pixels é gerada, e o efeito da imagem não é significativamente diferente do nível de processamento da nuvem.
Durante o Shanghai MWC 2023, o CEO da Honor, Zhao Ming, também disse que a Honor promoverá a implantação de modelos grandes no lado do smartphone para obter interação natural multimodal, reconhecimento de intenção preciso e serviços de circuito fechado para tarefas complexas.
Também atraindo a atenção está a Apple.Um mês atrás, revelou-se que a Apple estava desenvolvendo secretamente o "Apple GPT", que é uma ferramenta de inteligência artificial baseada na estrutura Ajax desenvolvida pela própria Apple. Embora os detalhes específicos ainda não tenham sido divulgados, geralmente especula-se na indústria que a Apple provavelmente adicionará um modelo grande no nível do sistema para melhorar a inteligência do assistente de voz Siri, para que Siri possa tirar o chapéu de " retardo mental artificial".
Hype ou Nova Revolução?
Não é incomum que os fabricantes de telefones celulares se concentrem em modelos grandes, mas por que eles seguem a rota "device-to-side"? Afinal, os recursos de interação e geração do Huawei Xiaoyi também podem ser fornecidos por meio de servidores em nuvem, e parece que o custo é mais econômico e a tecnologia é mais fácil de implementar.
É um exagero ou é realmente necessário colocar grandes modelos de IA em terminais móveis inteligentes? Sobre esta questão, tanto Yu Chengdong quanto Zhao Ming mencionaram duas palavras-chave: segurança de privacidade e personalização.
Yu Chengdong enfatizou que a Huawei defende que o primeiro princípio de toda inovação de experiência de IA e design de cena é segurança e proteção de privacidade, para criar uma IA mais responsável e promete que o conteúdo gerado pela IA será marcado.
Em comparação com o processamento de dados na nuvem, a vantagem mais óbvia do lado do terminal inteligente é a privacidade e a segurança. Anteriormente, o ChatGPT esteve repetidamente envolvido em tempestades de vazamento de dados. Em março deste ano, a Samsung proibiu o uso do ChatGPT internamente. O motivo foi que os funcionários de semicondutores eram suspeitos de vazar segredos da empresa usando o ChatGPT; No caso de uso e vazamento de dados de privacidade pessoal, o valor da reclamação é tão alto como 3 bilhões de dólares americanos.
Quando o processamento de dados está no lado final, os dados pessoais do usuário não serão carregados no servidor em nuvem, o que reduz muito o risco de vazamento de privacidade. Isso também fornece um pré-requisito para o assistente de IA do telefone móvel se tornar realmente um administrador de vida - somente quando a privacidade é garantida, os usuários se sentirão aliviados em entregar os dados à IA para aprendizado.
No entendimento de Zhao Ming, a missão do modelo de IA final é entender melhor os usuários, “saber a que horas vou para a cama e o que gosto de comer pode resolver minhas necessidades imediatas, o que equivale a ter a capacidade de obter insights em minhas necessidades. "Para fazer isso, a IA precisa ser treinada com base nos dados e hábitos pessoais do usuário. Eventualmente, esperamos que o smartphone se torne um assistente completo, ou uma secretária robótica pessoal, capaz de ajudar os usuários com serviços de bufê, reservas , consultoria, entretenimento, escritório e outros requisitos de vários cenários.
Por outro lado, tanto o ChatGPT quanto outros aplicativos convencionais de IA são produtos padronizados e é difícil ter a capacidade de um assistente pessoal sem modificação. Ele não entende o usuário, mas apenas responde às instruções de entrada do usuário. Um telefone celular pessoal já é um dispositivo inteligente pessoal privado.Se o modelo de IA que entende a linguagem humana puder ser executado no telefone celular, o grau de inteligência sem dúvida aumentará muito.
Além disso, os aplicativos que dependem da nuvem também são instáveis. Por exemplo, devido a motivos de rede ou servidor, a velocidade de resposta da nuvem pode diminuir ou até travar completamente. Isso aconteceu muitas vezes no ChatGPT e no grande modelo será muito enfraquecido.Confiança na nuvem, de modo a evitar "atraso na nuvem".
Com base nas características acima, a "revolução do dispositivo para o lado" de grandes modelos mostrou potencial, e espera-se até que os telefones celulares que estão no gargalo do desenvolvimento por muitos anos passem por outra evolução emocionante da espécie, assim como o surgimento de smartphones de tela grande e o lançamento do iPhone.
Mas há um problema óbvio para o modelo grande mostrar sua força no celular: o chip do celular aguenta? Como os modelos grandes geralmente contêm dezenas de bilhões ou centenas de bilhões de parâmetros e exigem treinamento em nível astronômico e consomem enorme poder de computação, o desempenho dos chips existentes para telefones celulares obviamente não atende aos requisitos.
A este respeito, a atual solução dominante na indústria é a "miniaturização do modelo".
Simplificando, quando a estrutura de rede do modelo é determinada, o modelo é “diminuído” na premissa de reduzir a precisão o mínimo possível, reduzindo assim os recursos e o consumo de energia necessários. Esse processo geralmente tem três etapas, cortando os parâmetros do modelo que têm um impacto muito pequeno na precisão, o que é chamado de "poda"; usando tipos de dados de menor precisão para raciocinar, o que é chamado de "quantização" no jargão; e de modelos complexos, para extrair um modelo semelhante, mas mais simples, que é vividamente chamado de "destilação". O objetivo final é reduzir o tamanho do modelo.
Por outro lado, fabricantes de chips como a Qualcomm também estão implantando e desenvolvendo chips dedicados para modelos grandes de IA. Anteriormente, a plataforma móvel 5G da Qualcomm Snapdragon 8 Gen2 integrava o processador Hexagon específico de IA pela primeira vez, usando um sistema de fonte de alimentação dedicado independente, suportando o raciocínio de micro-slicing, precisão INT4 e aceleração de rede Transformer, etc., proporcionando maior desempenho, Reduza o consumo de energia e o uso de memória.
O modelo grande do lado final está iniciando uma nova geração de revolução de terminal inteligente. A IDC prevê que, até 2026, quase 50% dos processadores de equipamentos terminais no mercado chinês terão tecnologia de mecanismo de IA. Outra grande mudança que a IA traz para a vida tecnológica humana pode aparecer.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
O grande modelo "emagrece" no celular, o próximo iPhone está chegando?
Comparado com aplicativos de IA, como ChatGPT e Midjourney, que dependem de servidores em nuvem para fornecer serviços, o modelo grande de ponta concentra-se na realização de inteligência localmente. Sua vantagem é que ele pode proteger melhor a privacidade e, ao mesmo tempo, o celular pode se tornar o assistente pessoal inteligente do usuário por meio do aprendizado, e não há necessidade de se preocupar com o tempo de inatividade do servidor em nuvem e outros problemas.
No entanto, nas condições técnicas existentes, o desempenho dos telefones celulares está longe de ser suficiente para suportar a operação de modelos grandes. A solução técnica dominante na indústria é "diminuir" o modelo grande por meio de poda, quantização e destilação e reduzir os recursos e o consumo de energia necessários com a premissa de reduzir a precisão o mínimo possível.
A Qualcomm começou a desenvolver chips para modelos grandes de ponta. Isso indica que os terminais móveis que implantam modelos de IA estão chegando até nós.
Os fabricantes de telefones celulares lideram o modelo grande para o terminal móvel
Grandes modelos de IA estão correndo da nuvem para o terminal inteligente.
Em 4 de agosto, na Huawei Developer Conference de 2023, a Huawei lançou o HarmonyOS 4. Em comparação com as gerações anteriores de sistemas operacionais, sua mudança mais significativa é que ele incorporou recursos de modelo grande de IA na camada inferior do sistema. A Huawei está abrindo o prelúdio para o modelo de IA passar para o "lado do terminal inteligente".
Atualmente, os serviços fornecidos por aplicativos de IA, como ChatGPT e Midjourney, são basicamente concluídos por meio de servidores em nuvem. Tomando o ChatGPT como exemplo, o grande modelo e os recursos de computação por trás dele são armazenados em um servidor remoto. Os usuários interagem com o servidor em tempo real e o texto de entrada é processado pelo servidor para obter uma resposta. A vantagem disso é que pode garantir o funcionamento eficiente e estável do modelo, pois o servidor geralmente é equipado com poderosos recursos de computação e pode ser expandido a qualquer momento para acomodar altas cargas.
Agora, uma nova lógica de suporte surgiu. A Huawei está tentando introduzir um modelo grande no terminal, o que significa que todo o trabalho acima pode ser feito localmente. O próprio sistema de telefonia móvel possui certos recursos de IA e não precisa acessar os serviços de nuvem de IA para obter atualizações inteligentes.
Yu Chengdong, diretor executivo da Huawei e CEO da Terminal BG, anunciou que o HarmonyOS 4 é suportado pelo modelo Pangu da Huawei e espera trazer aos usuários uma nova revolução na experiência de IA de interação de terminal inteligente, eficiência de produtividade de alto nível e serviços personalizados .
Atualmente, os recursos de IA do HarmonyOS 4 são incorporados principalmente pelo assistente inteligente "Xiaoyi" da Huawei. Depois que o modelo grande é conectado, Xiaoyi expande a entrada de várias formas, como texto, imagens e documentos com base na interação por voz, e a capacidade de compreensão da linguagem natural é aprimorada. Xiaoyi também pode se conectar a uma variedade de serviços e cenários de acordo com as instruções, como extrair texto automaticamente de imagens, gerar vários tipos de conteúdo de e-mail comercial ou gerar imagens, etc.
A mudança mais importante é que Xiaoyi tem a capacidade de lembrar e aprender. À medida que continua a ser usado, ele se tornará cada vez mais consciente do "mestre", capaz de dar planos de maneira inteligente, como viagens e planos de atividades, e realizá-los de acordo com os hábitos do usuário Recomendações personalizadas. A Huawei revelou que esses novos recursos do Xiaoyi iniciarão uma experiência de teste público no final de agosto.
Ao construir o modelo AI na camada inferior do sistema de telefonia móvel, a Huawei espera melhorar a inteligência geral do telefone móvel. Embora as funções mencionadas acima de Xiaoyi não sejam "avançadas", para realizá-las, os usuários geralmente precisam chamar ChatGPT, Midjourney e muitos outros aplicativos ao mesmo tempo para concluir. Quando o próprio telefone celular possui recursos de IA, é como um assistente mais versátil, fornecendo serviços abrangentes.
Antes do lançamento do HarmonyOS 4, a Huawei tentou conectar modelos grandes de IA a terminais móveis. Em março deste ano, a Huawei lançou o telefone móvel P60. A função de pesquisa de imagem inteligente integrada é baseada na tecnologia de modelo grande multimodal. Ao miniaturizar o modelo no lado do telefone móvel, a operação do modelo de linguagem natural no telefone celular lado é realizado.
A Huawei não é a primeira empresa a introduzir modelos de IA em dispositivos. Na Conferência Mundial de Inteligência Artificial de 2023, a Qualcomm demonstrou a prática de operação de modelos em grande escala entrando no lado final, executando o modelo generativo de AI Stable Diffusion em um telefone celular equipado com o Snapdragon 8 de segunda geração e executando 20 etapas de raciocínio dentro de 15 segundos, e uma imagem de 512x512 pixels é gerada, e o efeito da imagem não é significativamente diferente do nível de processamento da nuvem.
Durante o Shanghai MWC 2023, o CEO da Honor, Zhao Ming, também disse que a Honor promoverá a implantação de modelos grandes no lado do smartphone para obter interação natural multimodal, reconhecimento de intenção preciso e serviços de circuito fechado para tarefas complexas.
Também atraindo a atenção está a Apple.Um mês atrás, revelou-se que a Apple estava desenvolvendo secretamente o "Apple GPT", que é uma ferramenta de inteligência artificial baseada na estrutura Ajax desenvolvida pela própria Apple. Embora os detalhes específicos ainda não tenham sido divulgados, geralmente especula-se na indústria que a Apple provavelmente adicionará um modelo grande no nível do sistema para melhorar a inteligência do assistente de voz Siri, para que Siri possa tirar o chapéu de " retardo mental artificial".
Hype ou Nova Revolução?
Não é incomum que os fabricantes de telefones celulares se concentrem em modelos grandes, mas por que eles seguem a rota "device-to-side"? Afinal, os recursos de interação e geração do Huawei Xiaoyi também podem ser fornecidos por meio de servidores em nuvem, e parece que o custo é mais econômico e a tecnologia é mais fácil de implementar.
É um exagero ou é realmente necessário colocar grandes modelos de IA em terminais móveis inteligentes? Sobre esta questão, tanto Yu Chengdong quanto Zhao Ming mencionaram duas palavras-chave: segurança de privacidade e personalização.
Yu Chengdong enfatizou que a Huawei defende que o primeiro princípio de toda inovação de experiência de IA e design de cena é segurança e proteção de privacidade, para criar uma IA mais responsável e promete que o conteúdo gerado pela IA será marcado.
Em comparação com o processamento de dados na nuvem, a vantagem mais óbvia do lado do terminal inteligente é a privacidade e a segurança. Anteriormente, o ChatGPT esteve repetidamente envolvido em tempestades de vazamento de dados. Em março deste ano, a Samsung proibiu o uso do ChatGPT internamente. O motivo foi que os funcionários de semicondutores eram suspeitos de vazar segredos da empresa usando o ChatGPT; No caso de uso e vazamento de dados de privacidade pessoal, o valor da reclamação é tão alto como 3 bilhões de dólares americanos.
Quando o processamento de dados está no lado final, os dados pessoais do usuário não serão carregados no servidor em nuvem, o que reduz muito o risco de vazamento de privacidade. Isso também fornece um pré-requisito para o assistente de IA do telefone móvel se tornar realmente um administrador de vida - somente quando a privacidade é garantida, os usuários se sentirão aliviados em entregar os dados à IA para aprendizado.
No entendimento de Zhao Ming, a missão do modelo de IA final é entender melhor os usuários, “saber a que horas vou para a cama e o que gosto de comer pode resolver minhas necessidades imediatas, o que equivale a ter a capacidade de obter insights em minhas necessidades. "Para fazer isso, a IA precisa ser treinada com base nos dados e hábitos pessoais do usuário. Eventualmente, esperamos que o smartphone se torne um assistente completo, ou uma secretária robótica pessoal, capaz de ajudar os usuários com serviços de bufê, reservas , consultoria, entretenimento, escritório e outros requisitos de vários cenários.
Por outro lado, tanto o ChatGPT quanto outros aplicativos convencionais de IA são produtos padronizados e é difícil ter a capacidade de um assistente pessoal sem modificação. Ele não entende o usuário, mas apenas responde às instruções de entrada do usuário. Um telefone celular pessoal já é um dispositivo inteligente pessoal privado.Se o modelo de IA que entende a linguagem humana puder ser executado no telefone celular, o grau de inteligência sem dúvida aumentará muito.
Além disso, os aplicativos que dependem da nuvem também são instáveis. Por exemplo, devido a motivos de rede ou servidor, a velocidade de resposta da nuvem pode diminuir ou até travar completamente. Isso aconteceu muitas vezes no ChatGPT e no grande modelo será muito enfraquecido.Confiança na nuvem, de modo a evitar "atraso na nuvem".
Com base nas características acima, a "revolução do dispositivo para o lado" de grandes modelos mostrou potencial, e espera-se até que os telefones celulares que estão no gargalo do desenvolvimento por muitos anos passem por outra evolução emocionante da espécie, assim como o surgimento de smartphones de tela grande e o lançamento do iPhone.
Mas há um problema óbvio para o modelo grande mostrar sua força no celular: o chip do celular aguenta? Como os modelos grandes geralmente contêm dezenas de bilhões ou centenas de bilhões de parâmetros e exigem treinamento em nível astronômico e consomem enorme poder de computação, o desempenho dos chips existentes para telefones celulares obviamente não atende aos requisitos.
A este respeito, a atual solução dominante na indústria é a "miniaturização do modelo".
Simplificando, quando a estrutura de rede do modelo é determinada, o modelo é “diminuído” na premissa de reduzir a precisão o mínimo possível, reduzindo assim os recursos e o consumo de energia necessários. Esse processo geralmente tem três etapas, cortando os parâmetros do modelo que têm um impacto muito pequeno na precisão, o que é chamado de "poda"; usando tipos de dados de menor precisão para raciocinar, o que é chamado de "quantização" no jargão; e de modelos complexos, para extrair um modelo semelhante, mas mais simples, que é vividamente chamado de "destilação". O objetivo final é reduzir o tamanho do modelo.
Por outro lado, fabricantes de chips como a Qualcomm também estão implantando e desenvolvendo chips dedicados para modelos grandes de IA. Anteriormente, a plataforma móvel 5G da Qualcomm Snapdragon 8 Gen2 integrava o processador Hexagon específico de IA pela primeira vez, usando um sistema de fonte de alimentação dedicado independente, suportando o raciocínio de micro-slicing, precisão INT4 e aceleração de rede Transformer, etc., proporcionando maior desempenho, Reduza o consumo de energia e o uso de memória.
O modelo grande do lado final está iniciando uma nova geração de revolução de terminal inteligente. A IDC prevê que, até 2026, quase 50% dos processadores de equipamentos terminais no mercado chinês terão tecnologia de mecanismo de IA. Outra grande mudança que a IA traz para a vida tecnológica humana pode aparecer.