Наближається хвиля «наскрізних великих моделей». Такі гіганти чіпів, як Huawei та Qualcomm, досліджують можливість імплантації великих моделей штучного інтелекту на пристрої, що дозволить мобільним телефонам реалізувати еволюцію нового покоління видів.
Порівняно з додатками ШІ, такими як ChatGPT і Midjourney, які покладаються на хмарні сервери для надання послуг, кінцева велика модель зосереджена на реалізації інтелектуальних даних локально. Його перевага полягає в тому, що він може краще захищати конфіденційність, і в той же час мобільний телефон може стати особистим розумним помічником користувача через навчання, і вам не потрібно турбуватися про простої хмарного сервера та інші проблеми.
Однак за існуючих технічних умов продуктивності мобільних телефонів далеко не достатньо для підтримки роботи великих моделей. Основне технічне рішення в галузі полягає в тому, щоб «зменшити» велику модель за допомогою скорочення, квантування та дистиляції, а також зменшити необхідні для цього ресурси та споживання енергії за умови мінімального зниження точності.
Компанія Qualcomm почала розробку чіпів для великих моделей. Це свідчить про те, що до нас приходять мобільні термінали, які розгортають моделі AI.
Виробники мобільних телефонів ведуть велику модель до мобільних терміналів
Великі моделі штучного інтелекту поспішають із хмари на розумний термінал.
4 серпня на конференції Huawei Developer Conference 2023 компанія Huawei випустила HarmonyOS 4. У порівнянні з попередніми поколіннями операційних систем, її найсуттєвішою зміною є те, що вона вбудувала можливості великої моделі ШІ в нижній рівень системи. Huawei відкриває прелюдію до моделі штучного інтелекту, яка переходить на «розумний термінал».
На даний момент послуги, які надаються додатками ШІ, такими як ChatGPT і Midjourney, в основному виконуються через хмарні сервери. Для прикладу ChatGPT велика модель і обчислювальні ресурси, що стоять за нею, зберігаються на віддаленому сервері. Користувачі взаємодіють із сервером у режимі реального часу, а введений текст обробляється сервером для отримання відповіді. Перевагою цього є те, що він може забезпечити ефективну та стабільну роботу моделі, оскільки сервер, як правило, оснащений потужними обчислювальними ресурсами та може бути розширений у будь-який час, щоб відповідати високим навантаженням.
Тепер з’явилася нова допоміжна логіка. Huawei намагається впроваджувати масштабні моделі в термінали, що означає, що всі вищезазначені завдання можна виконувати локально.Сама система мобільного телефону має певні можливості штучного інтелекту, і їй не потрібен доступ до хмарних сервісів штучного інтелекту для досягнення інтелектуальних оновлень. .
Юй Чендун, виконавчий директор Huawei та генеральний директор Terminal BG, представив, що HarmonyOS 4 підтримується моделлю Huawei Pangu і сподівається запропонувати користувачам абсолютно нову революцію досвіду штучного інтелекту, яка полягає у взаємодії з розумними терміналами, високому рівні ефективності продуктивності та персоналізованих послугах. .
HarmonyOS 4 представляє мегамоделі ШІ
Можливості штучного інтелекту HarmonyOS 4 в даний час в основному втілені в розумному помічнику Huawei «Xiaoyi». Після підключення великої моделі Xiaoyi розширює введення різних форм, таких як текст, зображення та документи, на основі голосової взаємодії, і здатність розуміння природної мови покращується. Xiaoyi також може підключатися до різноманітних служб і сценаріїв відповідно до інструкцій, таких як автоматичне вилучення тексту із зображень, генерування різних типів комерційного вмісту електронної пошти або генерування зображень тощо.
Більш важливою зміною є те, що Xiaoyi має здатність запам'ятовувати та вчитися. У міру того, як він продовжує використовуватися, він буде все більше і більше усвідомлювати "господаря", здатний розумно давати плани, такі як подорожі та плани діяльності, і реалізовувати їх відповідно до звичок користувача Персональні рекомендації. Huawei повідомила, що ці нові можливості Xiaoyi почнуть публічно тестувати наприкінці серпня.
Вбудовуючи модель AI у нижній рівень системи мобільного телефону, Huawei сподівається покращити загальний інтелект мобільного телефону. Хоча вищезазначені функції Xiaoyi не є «просунутими», для їх реалізації користувачам часто потрібно одночасно викликати ChatGPT, Midjourney та багато інших програм. Коли сам мобільний телефон має можливості ШІ, він схожий на більш універсального помічника, який надає комплексні послуги.
До випуску HarmonyOS 4 компанія Huawei фактично намагалася підключити великі моделі штучного інтелекту до мобільних терміналів. У березні цього року Huawei випустила мобільний телефон P60. Вбудована функція інтелектуального пошуку зображень заснована на мультимодальній технології великої моделі. Завдяки мініатюризації моделі на стороні мобільного телефону робота моделі природною мовою на мобільному телефоні сторона реалізується.
Huawei не перша компанія, яка впроваджує моделі ШІ в пристрої. На Всесвітній конференції зі штучного інтелекту 2023 року компанія Qualcomm продемонструвала практику роботи великомасштабних моделей, що входять до кінцевої сторони, запускаючи генеративну модель AI Stable Diffusion на мобільному телефоні, оснащеному процесором Snapdragon 8 другого покоління, і виконуючи 20 кроків міркування. протягом 15 секунд, і створюється зображення розміром 512x512 пікселів, і ефект зображення суттєво не відрізняється від рівня обробки хмари.
Під час Shanghai MWC 2023 генеральний директор Honor Чжао Мін також сказав, що Honor сприятиме розгортанню кінцевих великих моделей на стороні смартфонів для досягнення мультимодальної природної взаємодії, точного розпізнавання намірів і послуг замкнутого циклу для складних завдань.
Також привертає увагу Apple Місяць тому було виявлено, що Apple таємно розробляє «Apple GPT», який є інструментом штучного інтелекту на основі фреймворку Ajax, розробленого Apple. Хоча конкретні деталі ще не розголошені, в галузі зазвичай припускають, що Apple, ймовірно, додасть велику модель на системному рівні для покращення інтелекту голосового помічника Siri, щоб Siri могла зняти капелюха " штучна розумова відсталість».
Гайп чи нова революція?
Виробники мобільних телефонів нерідко зосереджуються на великих моделях, але чому вони вибирають шлях «від пристрою до сторони»? Зрештою, можливості взаємодії та генерації Huawei Xiaoyi також можуть бути забезпечені через хмарні сервери, і здається, що вартість є економічнішою, а технологія легшою для впровадження.
Це ажіотаж чи дійсно необхідно розміщувати великі моделі ШІ в розумних мобільних терміналах? У цьому питанні Ю Чендун і Чжао Мін назвали два ключових слова: безпека конфіденційності та персоналізація.
Юй Чендун підкреслив, що Huawei підтримує те, що першочерговим принципом усіх інновацій ШІ та дизайну сцени є безпека та захист конфіденційності, щоб створити більш відповідальний ШІ, і обіцяє, що контент, створений ШІ, буде позначатися.
Порівняно з обробкою даних у хмарі найбільш очевидною перевагою інтелектуального терміналу є конфіденційність і безпека. Раніше ChatGPT неодноразово брав участь у штормах витоку даних. У березні цього року Samsung видав внутрішню заборону на використання ChatGPT. Причина полягала в тому, що співробітників Semiconductor підозрювали в розголошенні секретів компанії за допомогою ChatGPT; У разі використання та витоку особистих конфіденційних даних сума позову настільки ж висока як 3 мільярди доларів США.
Коли обробка даних відбувається на кінцевій стороні, особисті дані користувача не будуть завантажені на хмарний сервер, що значно знижує ризик витоку конфіденційності. Це також є передумовою для того, щоб помічник зі штучним інтелектом мобільного телефону справді став розпорядником життя – лише коли конфіденційність гарантована, користувачі відчують полегшення, коли передають дані ШІ для навчання.
Згідно з розумінням Чжао Міна, місія кінцевої моделі штучного інтелекту полягає в тому, щоб краще розуміти користувачів: «знати, о котрій годині я лягаю спати і що я люблю їсти, може вирішити мої нагальні потреби, що еквівалентно можливості отримати розуміння "Щоб зробити це, ШІ потрібно навчити на основі особистих даних і звичок користувача. Сподіваюся, врешті смартфон стане універсальним помічником або особистим роботом-секретарем, який зможе допомагати користувачам у кейтингу, бронюванні , консалтинг, розваги, офіс та інші різноманітні вимоги.
Навпаки, і ChatGPT, і інші стандартні додатки штучного інтелекту є стандартизованими продуктами, і важко мати можливість персонального помічника без модифікацій.Він не розуміє користувача, а лише відповідає на введені користувачем інструкції.відповідь. Персональний мобільний телефон уже є приватним особистим розумним пристроєм. Якщо модель AI, яка розуміє людську мову, зможе працювати на мобільному телефоні, ступінь інтелекту, безсумнівно, значно покращиться.
Крім того, програми, які покладаються на хмару, також нестабільні. Наприклад, через мережу чи серверні причини швидкість відповіді хмари може сповільнитися або навіть повністю вийти з ладу. Це траплялося багато разів на ChatGPT, і локалізовані великі модель буде значно послаблена. Покладення на хмару, щоб уникнути «відставання хмари».
Виходячи з наведених вище характеристик, «революція від пристроїв до сторін» великих моделей продемонструвала потенціал, і є навіть надія, що мобільні телефони, які були вузьким місцем розвитку протягом багатьох років, зазнають ще одну захоплюючу еволюцію видів, так само як поява смартфонів з великим екраном і вихід iPhone.
Але є очевидна проблема для великої моделі, щоб показати свою силу на мобільному телефоні: чи може чіп мобільного телефону витримати це? Оскільки великі моделі часто містять десятки мільярдів або сотні мільярдів параметрів, вимагають навчання астрономічного рівня та споживають величезну обчислювальну потужність, продуктивність існуючих чіпів мобільних телефонів, очевидно, не може відповідати вимогам.
У зв'язку з цим, поточним основним рішенням в галузі є "мініатюризація моделі".
Простіше кажучи, коли визначається мережева структура моделі, модель «зменшується» на передумові зниження точності якомога менше, тим самим зменшуючи необхідні ресурси та споживання енергії. Цей процес зазвичай має три етапи: вирізання параметрів у моделі, які мають дуже незначний вплив на точність, що називається «обрізанням»; використання типів даних із нижчою точністю для міркувань, що на жаргоні називається «квантуванням»; і з складні моделі, щоб отримати подібну, але простішу модель, яка яскраво називається «дистиляцією». Кінцева мета — зменшити розмір моделі.
З іншого боку, виробники чіпів, такі як Qualcomm, також розгортають і розробляють спеціальні чіпи для кінцевої частини великих моделей штучного інтелекту. Раніше мобільна платформа Qualcomm 5G Snapdragon 8 Gen2 вперше інтегрувала спеціальний процесор Hexagon для штучного інтелекту, використовуючи незалежну спеціальну систему живлення, підтримуючи міркування мікрозрізів, точність INT4 і прискорення мережі Transformer тощо, що може забезпечити вищу продуктивність в той же час, зменшити споживання енергії та використання пам'яті.
Велика модель торцевої сторони запускає революцію нового покоління розумних терміналів. IDC прогнозує, що до 2026 року майже 50% процесорів термінального обладнання на китайському ринку матимуть технологію штучного інтелекту. Можливо, з’явиться ще одна велика зміна, яку штучний інтелект привносить у технологічне життя людини.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Велика модель «зменшується» до мобільного телефону, наступний iPhone приходить?
Порівняно з додатками ШІ, такими як ChatGPT і Midjourney, які покладаються на хмарні сервери для надання послуг, кінцева велика модель зосереджена на реалізації інтелектуальних даних локально. Його перевага полягає в тому, що він може краще захищати конфіденційність, і в той же час мобільний телефон може стати особистим розумним помічником користувача через навчання, і вам не потрібно турбуватися про простої хмарного сервера та інші проблеми.
Однак за існуючих технічних умов продуктивності мобільних телефонів далеко не достатньо для підтримки роботи великих моделей. Основне технічне рішення в галузі полягає в тому, щоб «зменшити» велику модель за допомогою скорочення, квантування та дистиляції, а також зменшити необхідні для цього ресурси та споживання енергії за умови мінімального зниження точності.
Компанія Qualcomm почала розробку чіпів для великих моделей. Це свідчить про те, що до нас приходять мобільні термінали, які розгортають моделі AI.
Виробники мобільних телефонів ведуть велику модель до мобільних терміналів
Великі моделі штучного інтелекту поспішають із хмари на розумний термінал.
4 серпня на конференції Huawei Developer Conference 2023 компанія Huawei випустила HarmonyOS 4. У порівнянні з попередніми поколіннями операційних систем, її найсуттєвішою зміною є те, що вона вбудувала можливості великої моделі ШІ в нижній рівень системи. Huawei відкриває прелюдію до моделі штучного інтелекту, яка переходить на «розумний термінал».
На даний момент послуги, які надаються додатками ШІ, такими як ChatGPT і Midjourney, в основному виконуються через хмарні сервери. Для прикладу ChatGPT велика модель і обчислювальні ресурси, що стоять за нею, зберігаються на віддаленому сервері. Користувачі взаємодіють із сервером у режимі реального часу, а введений текст обробляється сервером для отримання відповіді. Перевагою цього є те, що він може забезпечити ефективну та стабільну роботу моделі, оскільки сервер, як правило, оснащений потужними обчислювальними ресурсами та може бути розширений у будь-який час, щоб відповідати високим навантаженням.
Тепер з’явилася нова допоміжна логіка. Huawei намагається впроваджувати масштабні моделі в термінали, що означає, що всі вищезазначені завдання можна виконувати локально.Сама система мобільного телефону має певні можливості штучного інтелекту, і їй не потрібен доступ до хмарних сервісів штучного інтелекту для досягнення інтелектуальних оновлень. .
Юй Чендун, виконавчий директор Huawei та генеральний директор Terminal BG, представив, що HarmonyOS 4 підтримується моделлю Huawei Pangu і сподівається запропонувати користувачам абсолютно нову революцію досвіду штучного інтелекту, яка полягає у взаємодії з розумними терміналами, високому рівні ефективності продуктивності та персоналізованих послугах. .
Можливості штучного інтелекту HarmonyOS 4 в даний час в основному втілені в розумному помічнику Huawei «Xiaoyi». Після підключення великої моделі Xiaoyi розширює введення різних форм, таких як текст, зображення та документи, на основі голосової взаємодії, і здатність розуміння природної мови покращується. Xiaoyi також може підключатися до різноманітних служб і сценаріїв відповідно до інструкцій, таких як автоматичне вилучення тексту із зображень, генерування різних типів комерційного вмісту електронної пошти або генерування зображень тощо.
Більш важливою зміною є те, що Xiaoyi має здатність запам'ятовувати та вчитися. У міру того, як він продовжує використовуватися, він буде все більше і більше усвідомлювати "господаря", здатний розумно давати плани, такі як подорожі та плани діяльності, і реалізовувати їх відповідно до звичок користувача Персональні рекомендації. Huawei повідомила, що ці нові можливості Xiaoyi почнуть публічно тестувати наприкінці серпня.
Вбудовуючи модель AI у нижній рівень системи мобільного телефону, Huawei сподівається покращити загальний інтелект мобільного телефону. Хоча вищезазначені функції Xiaoyi не є «просунутими», для їх реалізації користувачам часто потрібно одночасно викликати ChatGPT, Midjourney та багато інших програм. Коли сам мобільний телефон має можливості ШІ, він схожий на більш універсального помічника, який надає комплексні послуги.
До випуску HarmonyOS 4 компанія Huawei фактично намагалася підключити великі моделі штучного інтелекту до мобільних терміналів. У березні цього року Huawei випустила мобільний телефон P60. Вбудована функція інтелектуального пошуку зображень заснована на мультимодальній технології великої моделі. Завдяки мініатюризації моделі на стороні мобільного телефону робота моделі природною мовою на мобільному телефоні сторона реалізується.
Huawei не перша компанія, яка впроваджує моделі ШІ в пристрої. На Всесвітній конференції зі штучного інтелекту 2023 року компанія Qualcomm продемонструвала практику роботи великомасштабних моделей, що входять до кінцевої сторони, запускаючи генеративну модель AI Stable Diffusion на мобільному телефоні, оснащеному процесором Snapdragon 8 другого покоління, і виконуючи 20 кроків міркування. протягом 15 секунд, і створюється зображення розміром 512x512 пікселів, і ефект зображення суттєво не відрізняється від рівня обробки хмари.
Під час Shanghai MWC 2023 генеральний директор Honor Чжао Мін також сказав, що Honor сприятиме розгортанню кінцевих великих моделей на стороні смартфонів для досягнення мультимодальної природної взаємодії, точного розпізнавання намірів і послуг замкнутого циклу для складних завдань.
Також привертає увагу Apple Місяць тому було виявлено, що Apple таємно розробляє «Apple GPT», який є інструментом штучного інтелекту на основі фреймворку Ajax, розробленого Apple. Хоча конкретні деталі ще не розголошені, в галузі зазвичай припускають, що Apple, ймовірно, додасть велику модель на системному рівні для покращення інтелекту голосового помічника Siri, щоб Siri могла зняти капелюха " штучна розумова відсталість».
Гайп чи нова революція?
Виробники мобільних телефонів нерідко зосереджуються на великих моделях, але чому вони вибирають шлях «від пристрою до сторони»? Зрештою, можливості взаємодії та генерації Huawei Xiaoyi також можуть бути забезпечені через хмарні сервери, і здається, що вартість є економічнішою, а технологія легшою для впровадження.
Це ажіотаж чи дійсно необхідно розміщувати великі моделі ШІ в розумних мобільних терміналах? У цьому питанні Ю Чендун і Чжао Мін назвали два ключових слова: безпека конфіденційності та персоналізація.
Юй Чендун підкреслив, що Huawei підтримує те, що першочерговим принципом усіх інновацій ШІ та дизайну сцени є безпека та захист конфіденційності, щоб створити більш відповідальний ШІ, і обіцяє, що контент, створений ШІ, буде позначатися.
Порівняно з обробкою даних у хмарі найбільш очевидною перевагою інтелектуального терміналу є конфіденційність і безпека. Раніше ChatGPT неодноразово брав участь у штормах витоку даних. У березні цього року Samsung видав внутрішню заборону на використання ChatGPT. Причина полягала в тому, що співробітників Semiconductor підозрювали в розголошенні секретів компанії за допомогою ChatGPT; У разі використання та витоку особистих конфіденційних даних сума позову настільки ж висока як 3 мільярди доларів США.
Коли обробка даних відбувається на кінцевій стороні, особисті дані користувача не будуть завантажені на хмарний сервер, що значно знижує ризик витоку конфіденційності. Це також є передумовою для того, щоб помічник зі штучним інтелектом мобільного телефону справді став розпорядником життя – лише коли конфіденційність гарантована, користувачі відчують полегшення, коли передають дані ШІ для навчання.
Згідно з розумінням Чжао Міна, місія кінцевої моделі штучного інтелекту полягає в тому, щоб краще розуміти користувачів: «знати, о котрій годині я лягаю спати і що я люблю їсти, може вирішити мої нагальні потреби, що еквівалентно можливості отримати розуміння "Щоб зробити це, ШІ потрібно навчити на основі особистих даних і звичок користувача. Сподіваюся, врешті смартфон стане універсальним помічником або особистим роботом-секретарем, який зможе допомагати користувачам у кейтингу, бронюванні , консалтинг, розваги, офіс та інші різноманітні вимоги.
Навпаки, і ChatGPT, і інші стандартні додатки штучного інтелекту є стандартизованими продуктами, і важко мати можливість персонального помічника без модифікацій.Він не розуміє користувача, а лише відповідає на введені користувачем інструкції.відповідь. Персональний мобільний телефон уже є приватним особистим розумним пристроєм. Якщо модель AI, яка розуміє людську мову, зможе працювати на мобільному телефоні, ступінь інтелекту, безсумнівно, значно покращиться.
Крім того, програми, які покладаються на хмару, також нестабільні. Наприклад, через мережу чи серверні причини швидкість відповіді хмари може сповільнитися або навіть повністю вийти з ладу. Це траплялося багато разів на ChatGPT, і локалізовані великі модель буде значно послаблена. Покладення на хмару, щоб уникнути «відставання хмари».
Виходячи з наведених вище характеристик, «революція від пристроїв до сторін» великих моделей продемонструвала потенціал, і є навіть надія, що мобільні телефони, які були вузьким місцем розвитку протягом багатьох років, зазнають ще одну захоплюючу еволюцію видів, так само як поява смартфонів з великим екраном і вихід iPhone.
Але є очевидна проблема для великої моделі, щоб показати свою силу на мобільному телефоні: чи може чіп мобільного телефону витримати це? Оскільки великі моделі часто містять десятки мільярдів або сотні мільярдів параметрів, вимагають навчання астрономічного рівня та споживають величезну обчислювальну потужність, продуктивність існуючих чіпів мобільних телефонів, очевидно, не може відповідати вимогам.
У зв'язку з цим, поточним основним рішенням в галузі є "мініатюризація моделі".
Простіше кажучи, коли визначається мережева структура моделі, модель «зменшується» на передумові зниження точності якомога менше, тим самим зменшуючи необхідні ресурси та споживання енергії. Цей процес зазвичай має три етапи: вирізання параметрів у моделі, які мають дуже незначний вплив на точність, що називається «обрізанням»; використання типів даних із нижчою точністю для міркувань, що на жаргоні називається «квантуванням»; і з складні моделі, щоб отримати подібну, але простішу модель, яка яскраво називається «дистиляцією». Кінцева мета — зменшити розмір моделі.
З іншого боку, виробники чіпів, такі як Qualcomm, також розгортають і розробляють спеціальні чіпи для кінцевої частини великих моделей штучного інтелекту. Раніше мобільна платформа Qualcomm 5G Snapdragon 8 Gen2 вперше інтегрувала спеціальний процесор Hexagon для штучного інтелекту, використовуючи незалежну спеціальну систему живлення, підтримуючи міркування мікрозрізів, точність INT4 і прискорення мережі Transformer тощо, що може забезпечити вищу продуктивність в той же час, зменшити споживання енергії та використання пам'яті.
Велика модель торцевої сторони запускає революцію нового покоління розумних терміналів. IDC прогнозує, що до 2026 року майже 50% процесорів термінального обладнання на китайському ринку матимуть технологію штучного інтелекту. Можливо, з’явиться ще одна велика зміна, яку штучний інтелект привносить у технологічне життя людини.