Bir "uçtan uca büyük modeller" dalgası geliyor. Huawei ve Qualcomm gibi çip devleri, cihaz tarafında büyük AI modellerinin yerleştirilmesini keşfederek, cep telefonlarının yeni nesil türlerin evrimini gerçekleştirmesini sağlıyor.
Hizmetleri sağlamak için bulut sunucularına güvenen ChatGPT ve Midjourney gibi yapay zeka uygulamalarıyla karşılaştırıldığında uçtan uca büyük model, zekayı yerel olarak gerçekleştirmeye odaklanır. Avantajı, gizliliği daha iyi koruyabilmesi ve aynı zamanda cep telefonunun öğrenme yoluyla kullanıcının kişisel akıllı asistanı olabilmesi ve bulut sunucusunun kapalı kalma süresi ve diğer sorunlar hakkında endişelenmenize gerek olmamasıdır.
Ancak mevcut teknik koşullar altında cep telefonlarının performansı, büyük modellerin çalışmasını desteklemek için yeterli olmaktan uzaktır. Sektördeki ana teknik çözüm, budama, niceleme ve damıtma yoluyla büyük modeli "inceltmek" ve doğruluğu mümkün olduğu kadar az azaltmak öncülüyle ihtiyaç duyduğu kaynakları ve enerji tüketimini azaltmaktır.
Qualcomm, uçtan uca büyük modeller için yongalar geliştirmeye başladı. Bu, AI modellerini kullanan mobil terminallerin bize geldiğini gösteriyor.
Cep telefonu üreticileri büyük modeli mobil terminale yönlendiriyor
AI büyük modelleri buluttan akıllı terminale koşuyor.
4 Ağustos'ta, 2023 Huawei Geliştirici Konferansı'nda Huawei, HarmonyOS 4'ü piyasaya sürdü. Önceki nesil işletim sistemleriyle karşılaştırıldığında, en önemli değişikliği, AI büyük model yeteneklerini sistemin alt katmanına yerleştirmesidir. Huawei, "akıllı terminal tarafına" geçen AI modelinin başlangıcını açıyor.
Şu anda ChatGPT ve Midjourney gibi yapay zeka uygulamalarının sağladığı hizmetler temel olarak bulut sunucular üzerinden tamamlanıyor. Örnek olarak ChatGPT'yi ele alırsak, arkasındaki büyük model ve bilgi işlem kaynakları uzak bir sunucuda depolanır.Kullanıcılar sunucuyla gerçek zamanlı olarak etkileşime girer ve giriş metni sunucu tarafından bir yanıt almak için işlenir. Bunun avantajı, modelin verimli ve kararlı çalışmasını sağlayabilmesidir, çünkü sunucu genellikle güçlü bilgi işlem kaynaklarıyla donatılmıştır ve yüksek yükleri karşılamak için herhangi bir zamanda genişletilebilir.
Şimdi yeni destekleyici mantık ortaya çıktı. Huawei, büyük ölçekli modelleri terminallere sokmaya çalışıyor, bu da yukarıda belirtilen tüm görevlerin yerel olarak yapılabileceği anlamına geliyor.Cep telefonu sisteminin kendisi belirli AI yeteneklerine sahiptir ve akıllı yükseltmeler elde etmek için AI bulut hizmetlerine erişmesi gerekmez. .
Huawei İcra Direktörü ve Terminal BG CEO'su Yu Chengdong, HarmonyOS 4'ün Huawei'nin Pangu modeli tarafından desteklendiğini ve kullanıcılara akıllı terminal etkileşimi, üst düzey üretkenlik verimliliği ve kişiselleştirilmiş hizmetlerden oluşan yepyeni bir yapay zeka deneyimi devrimi getirmeyi umduğunu açıkladı. .
HarmonyOS 4, AI mega modellerini tanıtıyor
HarmonyOS 4'ün AI yetenekleri şu anda esas olarak Huawei'nin akıllı asistanı "Xiaoyi" tarafından somutlaştırılıyor. Büyük model bağlandıktan sonra Xiaoyi, metin, resim ve belgeler gibi çeşitli biçimlerin girişini sesli etkileşim temelinde genişletir ve doğal dil anlama yeteneği geliştirilir. Xiaoyi ayrıca talimatlara göre çeşitli hizmetlere ve senaryolara bağlanabilir, örneğin resimlerden otomatik olarak metin çıkarmak, çeşitli türlerde ticari e-posta içeriği oluşturmak veya resimler oluşturmak vb.
Daha da önemlisi Xiaoyi'nin hatırlama ve öğrenme yeteneğine sahip olmasıdır.Kullanılmaya devam ettikçe "usta"nın giderek daha fazla farkına varacak, seyahat ve aktivite planları gibi planları akıllıca verebilecek ve gerçekleştirebilecektir. kullanıcı alışkanlıklarına göre Kişiselleştirilmiş öneriler. Huawei, Xiaoyi'nin bu yeni yeteneklerinin Ağustos sonunda halka açık bir test deneyimine başlayacağını açıkladı.
AI modelini cep telefonu sisteminin alt katmanına yerleştirerek Huawei, cep telefonunun genel zekasını geliştirmeyi umuyor. Xiaoyi'nin yukarıda belirtilen işlevleri "gelişmiş" olmasa da, bunları gerçekleştirmek için kullanıcıların genellikle tamamlamak için ChatGPT, Midjourney ve diğer birçok uygulamayı aynı anda araması gerekir. Cep telefonunun kendisi yapay zeka özelliklerine sahip olduğunda, kapsamlı hizmetler sunan çok yönlü bir asistan gibidir.
HarmonyOS 4'ün piyasaya sürülmesinden önce Huawei, AI büyük modellerini mobil terminallere bağlamayı denedi. Huawei bu yılın Mart ayında P60 cep telefonunu piyasaya sürdü.Dahili akıllı görsel arama işlevi, çok modlu büyük model teknolojisine dayanıyor.Modeli cep telefonu tarafında minyatürleştirerek, cep telefonunda doğal dil modeli işlemi tarafı gerçekleştirilir.
Huawei, AI modellerini cihazlara tanıtan ilk şirket değil. Qualcomm, 2023 Dünya Yapay Zeka Konferansı'nda, ikinci nesil Snapdragon 8 ile donatılmış bir cep telefonunda üretken yapay zeka modeli Stable Diffusion'ı çalıştırarak ve 20 adımlı muhakeme yürüterek uçtan giren büyük ölçekli modellerin operasyon pratiğini gösterdi. 15 saniye içinde ve 512x512 piksellik bir görüntü oluşturulur ve görüntü efekti, bulut işleme seviyesinden önemli ölçüde farklı değildir.
Şanghay MWC 2023 sırasında Honor CEO'su Zhao Ming, Honor'un çok modlu doğal etkileşim, kesin amaç tanıma ve karmaşık görevler için kapalı döngü hizmetleri elde etmek için akıllı telefon tarafında uçtan uca büyük modellerin konuşlandırılmasını teşvik edeceğini söyledi.
Bir diğer dikkat çeken ise Apple.Bir ay önce Apple'ın kendi geliştirdiği Ajax çerçevesine dayalı bir yapay zeka aracı olan "Apple GPT"yi gizlice geliştirdiği ortaya çıktı. Spesifik detaylar henüz açıklanmamış olsa da, sektörde genel olarak Apple'ın ses asistanı Siri'nin zekasını geliştirmek için sistem düzeyinde büyük bir model ekleyeceği ve böylece Siri'nin "" şapkasını çıkarabileceği yönünde spekülasyonlar yapılıyor. yapay zeka geriliği".
Aldatmaca mı yoksa Yeni Devrim mi?
Cep telefonu üreticilerinin büyük modellere odaklanması alışılmadık bir durum değil, ancak neden "cihazdan yana" rotayı izliyorlar? Sonuçta Huawei Xiaoyi'nin etkileşim ve üretim yetenekleri bulut sunucular üzerinden de sağlanabiliyor ve maliyetin daha ekonomik ve teknolojinin uygulanmasının daha kolay olduğu görülüyor.
Bu bir yutturmaca mı yoksa AI büyük modellerini akıllı mobil terminallere koymak gerçekten gerekli mi? Bu konuda hem Yu Chengdong hem de Zhao Ming iki anahtar kelimeden bahsetti: gizlilik güvenliği ve kişiselleştirme.
Yu Chengdong, Huawei'nin daha sorumlu bir yapay zeka oluşturmak için tüm yapay zeka deneyimi yeniliklerinin ve sahne tasarımının ilk ilkesinin güvenlik ve mahremiyetin korunması olduğunu savunduğunu vurguladı ve yapay zeka tarafından üretilen içeriğin işaretleneceğinin sözünü verdi.
Bulutta veri işleme ile karşılaştırıldığında, akıllı terminal tarafının en belirgin avantajı gizlilik ve güvenliktir. Daha önce, ChatGPT defalarca veri sızıntısı fırtınalarına karışmıştı. Bu yılın Mart ayında Samsung, ChatGPT'nin dahili olarak kullanılmasına bir yasak getirdi.Bunun nedeni, yarı iletken çalışanlarının ChatGPT kullanarak şirket sırlarını sızdırdığından şüphelenilmesiydi; Kişisel gizlilik verilerinin kullanılması ve sızdırılması durumunda, iddia tutarı bir o kadar yüksek. 3 milyar ABD doları olarak.
Veri işleme son tarafta olduğunda, kullanıcının kişisel verileri bulut sunucusuna yüklenmeyecektir, bu da gizlilik sızıntısı riskini büyük ölçüde azaltır. Bu aynı zamanda, cep telefonu yapay zeka asistanının gerçek anlamda bir cankurtaran haline gelmesi için bir ön koşul sağlar - yalnızca gizlilik garanti edildiğinde, kullanıcılar öğrenme için verileri yapay zekaya teslim etme konusunda rahat hissedeceklerdir.
Zhao Ming'in anlayışına göre, son taraf AI modelinin misyonu, kullanıcıları daha iyi anlamaktır, "ne zaman yatağa gittiğimi ve ne yemeyi sevdiğimi bilmek, acil ihtiyaçlarımı çözebilir, bu da içgörü kazanma yeteneğine sahip olmakla eşdeğerdir. "Bunu yapmak için, yapay zekanın kullanıcının kişisel verilerine ve alışkanlıklarına göre eğitilmesi gerekiyor. Sonunda, akıllı telefon umarım çok yönlü bir asistan veya kullanıcılara yiyecek içecek, rezervasyon gibi konularda yardımcı olabilecek kişisel bir robot sekreter haline gelir." , danışmanlık, eğlence, Office ve diğer çoklu senaryo gereksinimleri.
Buna karşılık, hem ChatGPT hem de diğer ana akım AI uygulamaları standartlaştırılmış ürünlerdir ve değişiklik yapılmadan kişisel asistan yeteneğine sahip olmak zordur.Kullanıcıyı anlamaz, ancak yalnızca kullanıcının giriş talimatlarına yanıt verir. Kişisel bir cep telefonu zaten kişiye özel bir akıllı cihazdır.İnsan dilinden anlayan yapay zeka modeli cep telefonunda çalışabilirse zeka derecesi şüphesiz çok daha iyi olacaktır.
Ek olarak, buluta güvenen uygulamalar da kararsızdır. Örneğin, ağ veya sunucu nedenlerinden dolayı bulutun yanıt hızı yavaşlayabilir, hatta tamamen çökebilir. Bu, ChatGPT'de birçok kez oldu ve yerelleştirilmiş büyük model büyük ölçüde zayıflayacak. "Bulut gecikmesinden" kaçınmak için buluta güven.
Yukarıdaki özelliklere dayanarak, büyük modellerin "cihazdan yana devrimi" potansiyel göstermiştir ve hatta uzun yıllardır geliştirme darboğazı içinde olan cep telefonlarının başka bir heyecan verici tür evrimi geçirmesi umulmaktadır. büyük ekranlı akıllı telefonların ortaya çıkışı ve iPhone'un piyasaya sürülmesi.
Ancak büyük modelin gücünü cep telefonunda göstermesi konusunda bariz bir sorun var: Cep telefonu çipi buna dayanabilecek mi? Büyük modeller genellikle on milyarlarca veya yüz milyarlarca parametre içerdiğinden ve astronomik düzeyde eğitim gerektirdiğinden ve büyük bilgi işlem gücü tükettiğinden, mevcut cep telefonu çiplerinin performansı açıkça gereksinimleri karşılayamaz.
Bu bağlamda, sektördeki mevcut ana çözüm "model minyatürleştirme" dir.
Basitçe söylemek gerekirse, model ağ yapısı belirlenirken, doğruluğu mümkün olduğu kadar az azaltmak, böylece ihtiyaç duyduğu kaynakları ve enerji tüketimini azaltmak öncülüyle model “zayıflaştırılır”. Bu süreç genellikle üç adımdan oluşur: doğruluk üzerinde çok küçük bir etkiye sahip olan parametrelerin modelden çıkarılması "budama" olarak adlandırılır; muhakeme için daha düşük kesinlikteki veri türlerinin kullanılması, jargonda "kuantizasyon" olarak adlandırılır; ve canlı bir şekilde "damıtma" olarak adlandırılan benzer ancak daha basit bir modeli çıkarmak için karmaşık modeller. Nihai hedef, modelin boyutunu azaltmaktır.
Öte yandan, Qualcomm gibi yonga üreticileri de AI büyük modellerinin uç tarafı için özel yongalar dağıtıyor ve geliştiriyor. Daha önce, Qualcomm'un 5G mobil platformu Snapdragon 8 Gen2, daha yüksek performans sağlarken mikro dilimleme muhakemesini, INT4 hassasiyetini ve Transformer ağ hızlandırmasını vb. destekleyen bağımsız bir özel güç kaynağı sistemi kullanarak yapay zekaya özgü Hexagon işlemciyi ilk kez entegre etti. Enerji tüketimini ve bellek kullanımını azaltın.
Uçtan uca büyük model, yeni nesil akıllı terminal devrimini başlatıyor. IDC, 2026 yılına kadar Çin pazarındaki terminal ekipmanı işlemcilerinin yaklaşık %50'sinin AI motor teknolojisine sahip olacağını tahmin ediyor. Yapay zekanın insan teknolojik yaşamına getirdiği bir başka büyük değişiklik daha ortaya çıkabilir.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük model cep telefonuna "zayıflıyor", bir sonraki iPhone geliyor mu?
Hizmetleri sağlamak için bulut sunucularına güvenen ChatGPT ve Midjourney gibi yapay zeka uygulamalarıyla karşılaştırıldığında uçtan uca büyük model, zekayı yerel olarak gerçekleştirmeye odaklanır. Avantajı, gizliliği daha iyi koruyabilmesi ve aynı zamanda cep telefonunun öğrenme yoluyla kullanıcının kişisel akıllı asistanı olabilmesi ve bulut sunucusunun kapalı kalma süresi ve diğer sorunlar hakkında endişelenmenize gerek olmamasıdır.
Ancak mevcut teknik koşullar altında cep telefonlarının performansı, büyük modellerin çalışmasını desteklemek için yeterli olmaktan uzaktır. Sektördeki ana teknik çözüm, budama, niceleme ve damıtma yoluyla büyük modeli "inceltmek" ve doğruluğu mümkün olduğu kadar az azaltmak öncülüyle ihtiyaç duyduğu kaynakları ve enerji tüketimini azaltmaktır.
Qualcomm, uçtan uca büyük modeller için yongalar geliştirmeye başladı. Bu, AI modellerini kullanan mobil terminallerin bize geldiğini gösteriyor.
Cep telefonu üreticileri büyük modeli mobil terminale yönlendiriyor
AI büyük modelleri buluttan akıllı terminale koşuyor.
4 Ağustos'ta, 2023 Huawei Geliştirici Konferansı'nda Huawei, HarmonyOS 4'ü piyasaya sürdü. Önceki nesil işletim sistemleriyle karşılaştırıldığında, en önemli değişikliği, AI büyük model yeteneklerini sistemin alt katmanına yerleştirmesidir. Huawei, "akıllı terminal tarafına" geçen AI modelinin başlangıcını açıyor.
Şu anda ChatGPT ve Midjourney gibi yapay zeka uygulamalarının sağladığı hizmetler temel olarak bulut sunucular üzerinden tamamlanıyor. Örnek olarak ChatGPT'yi ele alırsak, arkasındaki büyük model ve bilgi işlem kaynakları uzak bir sunucuda depolanır.Kullanıcılar sunucuyla gerçek zamanlı olarak etkileşime girer ve giriş metni sunucu tarafından bir yanıt almak için işlenir. Bunun avantajı, modelin verimli ve kararlı çalışmasını sağlayabilmesidir, çünkü sunucu genellikle güçlü bilgi işlem kaynaklarıyla donatılmıştır ve yüksek yükleri karşılamak için herhangi bir zamanda genişletilebilir.
Şimdi yeni destekleyici mantık ortaya çıktı. Huawei, büyük ölçekli modelleri terminallere sokmaya çalışıyor, bu da yukarıda belirtilen tüm görevlerin yerel olarak yapılabileceği anlamına geliyor.Cep telefonu sisteminin kendisi belirli AI yeteneklerine sahiptir ve akıllı yükseltmeler elde etmek için AI bulut hizmetlerine erişmesi gerekmez. .
Huawei İcra Direktörü ve Terminal BG CEO'su Yu Chengdong, HarmonyOS 4'ün Huawei'nin Pangu modeli tarafından desteklendiğini ve kullanıcılara akıllı terminal etkileşimi, üst düzey üretkenlik verimliliği ve kişiselleştirilmiş hizmetlerden oluşan yepyeni bir yapay zeka deneyimi devrimi getirmeyi umduğunu açıkladı. .
HarmonyOS 4'ün AI yetenekleri şu anda esas olarak Huawei'nin akıllı asistanı "Xiaoyi" tarafından somutlaştırılıyor. Büyük model bağlandıktan sonra Xiaoyi, metin, resim ve belgeler gibi çeşitli biçimlerin girişini sesli etkileşim temelinde genişletir ve doğal dil anlama yeteneği geliştirilir. Xiaoyi ayrıca talimatlara göre çeşitli hizmetlere ve senaryolara bağlanabilir, örneğin resimlerden otomatik olarak metin çıkarmak, çeşitli türlerde ticari e-posta içeriği oluşturmak veya resimler oluşturmak vb.
Daha da önemlisi Xiaoyi'nin hatırlama ve öğrenme yeteneğine sahip olmasıdır.Kullanılmaya devam ettikçe "usta"nın giderek daha fazla farkına varacak, seyahat ve aktivite planları gibi planları akıllıca verebilecek ve gerçekleştirebilecektir. kullanıcı alışkanlıklarına göre Kişiselleştirilmiş öneriler. Huawei, Xiaoyi'nin bu yeni yeteneklerinin Ağustos sonunda halka açık bir test deneyimine başlayacağını açıkladı.
AI modelini cep telefonu sisteminin alt katmanına yerleştirerek Huawei, cep telefonunun genel zekasını geliştirmeyi umuyor. Xiaoyi'nin yukarıda belirtilen işlevleri "gelişmiş" olmasa da, bunları gerçekleştirmek için kullanıcıların genellikle tamamlamak için ChatGPT, Midjourney ve diğer birçok uygulamayı aynı anda araması gerekir. Cep telefonunun kendisi yapay zeka özelliklerine sahip olduğunda, kapsamlı hizmetler sunan çok yönlü bir asistan gibidir.
HarmonyOS 4'ün piyasaya sürülmesinden önce Huawei, AI büyük modellerini mobil terminallere bağlamayı denedi. Huawei bu yılın Mart ayında P60 cep telefonunu piyasaya sürdü.Dahili akıllı görsel arama işlevi, çok modlu büyük model teknolojisine dayanıyor.Modeli cep telefonu tarafında minyatürleştirerek, cep telefonunda doğal dil modeli işlemi tarafı gerçekleştirilir.
Huawei, AI modellerini cihazlara tanıtan ilk şirket değil. Qualcomm, 2023 Dünya Yapay Zeka Konferansı'nda, ikinci nesil Snapdragon 8 ile donatılmış bir cep telefonunda üretken yapay zeka modeli Stable Diffusion'ı çalıştırarak ve 20 adımlı muhakeme yürüterek uçtan giren büyük ölçekli modellerin operasyon pratiğini gösterdi. 15 saniye içinde ve 512x512 piksellik bir görüntü oluşturulur ve görüntü efekti, bulut işleme seviyesinden önemli ölçüde farklı değildir.
Şanghay MWC 2023 sırasında Honor CEO'su Zhao Ming, Honor'un çok modlu doğal etkileşim, kesin amaç tanıma ve karmaşık görevler için kapalı döngü hizmetleri elde etmek için akıllı telefon tarafında uçtan uca büyük modellerin konuşlandırılmasını teşvik edeceğini söyledi.
Bir diğer dikkat çeken ise Apple.Bir ay önce Apple'ın kendi geliştirdiği Ajax çerçevesine dayalı bir yapay zeka aracı olan "Apple GPT"yi gizlice geliştirdiği ortaya çıktı. Spesifik detaylar henüz açıklanmamış olsa da, sektörde genel olarak Apple'ın ses asistanı Siri'nin zekasını geliştirmek için sistem düzeyinde büyük bir model ekleyeceği ve böylece Siri'nin "" şapkasını çıkarabileceği yönünde spekülasyonlar yapılıyor. yapay zeka geriliği".
Aldatmaca mı yoksa Yeni Devrim mi?
Cep telefonu üreticilerinin büyük modellere odaklanması alışılmadık bir durum değil, ancak neden "cihazdan yana" rotayı izliyorlar? Sonuçta Huawei Xiaoyi'nin etkileşim ve üretim yetenekleri bulut sunucular üzerinden de sağlanabiliyor ve maliyetin daha ekonomik ve teknolojinin uygulanmasının daha kolay olduğu görülüyor.
Bu bir yutturmaca mı yoksa AI büyük modellerini akıllı mobil terminallere koymak gerçekten gerekli mi? Bu konuda hem Yu Chengdong hem de Zhao Ming iki anahtar kelimeden bahsetti: gizlilik güvenliği ve kişiselleştirme.
Yu Chengdong, Huawei'nin daha sorumlu bir yapay zeka oluşturmak için tüm yapay zeka deneyimi yeniliklerinin ve sahne tasarımının ilk ilkesinin güvenlik ve mahremiyetin korunması olduğunu savunduğunu vurguladı ve yapay zeka tarafından üretilen içeriğin işaretleneceğinin sözünü verdi.
Bulutta veri işleme ile karşılaştırıldığında, akıllı terminal tarafının en belirgin avantajı gizlilik ve güvenliktir. Daha önce, ChatGPT defalarca veri sızıntısı fırtınalarına karışmıştı. Bu yılın Mart ayında Samsung, ChatGPT'nin dahili olarak kullanılmasına bir yasak getirdi.Bunun nedeni, yarı iletken çalışanlarının ChatGPT kullanarak şirket sırlarını sızdırdığından şüphelenilmesiydi; Kişisel gizlilik verilerinin kullanılması ve sızdırılması durumunda, iddia tutarı bir o kadar yüksek. 3 milyar ABD doları olarak.
Veri işleme son tarafta olduğunda, kullanıcının kişisel verileri bulut sunucusuna yüklenmeyecektir, bu da gizlilik sızıntısı riskini büyük ölçüde azaltır. Bu aynı zamanda, cep telefonu yapay zeka asistanının gerçek anlamda bir cankurtaran haline gelmesi için bir ön koşul sağlar - yalnızca gizlilik garanti edildiğinde, kullanıcılar öğrenme için verileri yapay zekaya teslim etme konusunda rahat hissedeceklerdir.
Zhao Ming'in anlayışına göre, son taraf AI modelinin misyonu, kullanıcıları daha iyi anlamaktır, "ne zaman yatağa gittiğimi ve ne yemeyi sevdiğimi bilmek, acil ihtiyaçlarımı çözebilir, bu da içgörü kazanma yeteneğine sahip olmakla eşdeğerdir. "Bunu yapmak için, yapay zekanın kullanıcının kişisel verilerine ve alışkanlıklarına göre eğitilmesi gerekiyor. Sonunda, akıllı telefon umarım çok yönlü bir asistan veya kullanıcılara yiyecek içecek, rezervasyon gibi konularda yardımcı olabilecek kişisel bir robot sekreter haline gelir." , danışmanlık, eğlence, Office ve diğer çoklu senaryo gereksinimleri.
Buna karşılık, hem ChatGPT hem de diğer ana akım AI uygulamaları standartlaştırılmış ürünlerdir ve değişiklik yapılmadan kişisel asistan yeteneğine sahip olmak zordur.Kullanıcıyı anlamaz, ancak yalnızca kullanıcının giriş talimatlarına yanıt verir. Kişisel bir cep telefonu zaten kişiye özel bir akıllı cihazdır.İnsan dilinden anlayan yapay zeka modeli cep telefonunda çalışabilirse zeka derecesi şüphesiz çok daha iyi olacaktır.
Ek olarak, buluta güvenen uygulamalar da kararsızdır. Örneğin, ağ veya sunucu nedenlerinden dolayı bulutun yanıt hızı yavaşlayabilir, hatta tamamen çökebilir. Bu, ChatGPT'de birçok kez oldu ve yerelleştirilmiş büyük model büyük ölçüde zayıflayacak. "Bulut gecikmesinden" kaçınmak için buluta güven.
Yukarıdaki özelliklere dayanarak, büyük modellerin "cihazdan yana devrimi" potansiyel göstermiştir ve hatta uzun yıllardır geliştirme darboğazı içinde olan cep telefonlarının başka bir heyecan verici tür evrimi geçirmesi umulmaktadır. büyük ekranlı akıllı telefonların ortaya çıkışı ve iPhone'un piyasaya sürülmesi.
Ancak büyük modelin gücünü cep telefonunda göstermesi konusunda bariz bir sorun var: Cep telefonu çipi buna dayanabilecek mi? Büyük modeller genellikle on milyarlarca veya yüz milyarlarca parametre içerdiğinden ve astronomik düzeyde eğitim gerektirdiğinden ve büyük bilgi işlem gücü tükettiğinden, mevcut cep telefonu çiplerinin performansı açıkça gereksinimleri karşılayamaz.
Bu bağlamda, sektördeki mevcut ana çözüm "model minyatürleştirme" dir.
Basitçe söylemek gerekirse, model ağ yapısı belirlenirken, doğruluğu mümkün olduğu kadar az azaltmak, böylece ihtiyaç duyduğu kaynakları ve enerji tüketimini azaltmak öncülüyle model “zayıflaştırılır”. Bu süreç genellikle üç adımdan oluşur: doğruluk üzerinde çok küçük bir etkiye sahip olan parametrelerin modelden çıkarılması "budama" olarak adlandırılır; muhakeme için daha düşük kesinlikteki veri türlerinin kullanılması, jargonda "kuantizasyon" olarak adlandırılır; ve canlı bir şekilde "damıtma" olarak adlandırılan benzer ancak daha basit bir modeli çıkarmak için karmaşık modeller. Nihai hedef, modelin boyutunu azaltmaktır.
Öte yandan, Qualcomm gibi yonga üreticileri de AI büyük modellerinin uç tarafı için özel yongalar dağıtıyor ve geliştiriyor. Daha önce, Qualcomm'un 5G mobil platformu Snapdragon 8 Gen2, daha yüksek performans sağlarken mikro dilimleme muhakemesini, INT4 hassasiyetini ve Transformer ağ hızlandırmasını vb. destekleyen bağımsız bir özel güç kaynağı sistemi kullanarak yapay zekaya özgü Hexagon işlemciyi ilk kez entegre etti. Enerji tüketimini ve bellek kullanımını azaltın.
Uçtan uca büyük model, yeni nesil akıllı terminal devrimini başlatıyor. IDC, 2026 yılına kadar Çin pazarındaki terminal ekipmanı işlemcilerinin yaklaşık %50'sinin AI motor teknolojisine sahip olacağını tahmin ediyor. Yapay zekanın insan teknolojik yaşamına getirdiği bir başka büyük değişiklik daha ortaya çıkabilir.