端侧AI大模型很可能是为5G而生？
- 来源：维科网通信
- 2023/8/23 10:10:57
- 25063
就在前几天小米的年度演讲中，雷军提到小米的AI大模型能力，小爱同学正式升级为生成式大模型，现已经进入测试阶段。小米高管公式在8月17号表示，小米将会很快实现端侧AI模型能力。
01.端侧AI的优势
端侧也就是我们常说的边缘计算，这种模式可以更好的支持AloT场景。也就是：AI+IoT(Internet of Things 物联网)=AIoT。边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算也是一种分布式计算。它将数据资料的处理、应用程序的运行甚至一些功能服务的实现，由网络中心下放到网络边缘的节点上，以减少业务的多级传递，降低核心网和传输的负担。它的应用程序是在边缘侧发起，产生更快的网络服务相应。对物联网而言，边缘计算技术取得突破，意味着许多控制将通过本地设备实现而无需交由云端，处理过程将在本地边缘计算层完成。
端侧AI具有如下优点:
Al 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟;
端侧计算可以更高效的处理有价值的关键数据，其余的数据只是临时性的，在端侧结合 AI 能力，不仅可以更及时处理数据，而且减轻网络带宽的限制和缓解对中心侧数据存储的压力;
在端侧的 Al 技术可以高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将 Al 处理后的结果上报云端。
端侧AI的技术难点：
硬件资源限制
存储、内存、计算资源
模型的版本管理、生命周期
终端的种类很多，不同硬件架构的适配和模型迁移成本过高
第三点同时导致了端侧AI应用复杂度增加
02.5G和端侧计算相辅相成
5G 是一项长期演进的技术，也许最开始，我们对它的感知只是手机网速更快、时延更低，但 5G 的意义远不止于此。随着 5G 标准从 Rel-15、Rel-16 到 Rel-17 等的不断演进，5G 也将不断扩展到更多行业。数据显示，全球有200多家运营商已经部署了5G商用网络，另有将近300家运营商正在投资部署5G技术。在我国，目前已累计建成5G行业虚拟专网16000余个，应用案例涵盖交通、医疗、教育、智慧城市、农业等多个领域。
在5G网络在诞生之初，便定义了它的三大应用场景：eMBB(增强移动宽带)、mMTC (海量机器类通信)和 uRLLC(超可靠低时延通信)，相应的为满足高清视频、智慧城市、车联网等业务需求提供技术支持。
但值得关注的是，每个业务场景在发展过程中都有其自身所面临的一些挑战。例如，eMBB将对网络带宽产生数百Gbps的超高需求，从而对回传网络造成巨大传输压力，单方面投资扩容汇聚与城域网络将大幅提高单位媒体流传输成本，无法实现投资收益；uRLLC需要端到端1ms级超低时延支撑，仅仅依赖无线与固网物理层与传输层技术进步，无法满足苛刻的时延需求；mMTC将产生海量数据，导致运营管理的巨大挑战，仅仅由云端集中统一监控无法支撑如此复杂的物联系统。
边缘计算恰好可以为这些问题带来解决方案。首先，边缘计算设备将为新的和现有的边缘设备提供连接和保护；其次，尽管5G将为基于云的应用程序提供更好的连接性和更低的延迟，但仍然存在处理和存储数据的成本，混合边缘计算/5G解决方案可以降低这些成本；最后，边缘计算可以让更多应用程序在边缘运行，例如分析，网络安全或合规性/监管应用程序，减短了由数据传输速度和带宽限制所带来的延时，并可对本地数据做初步分析，为云分担了一部分工作。
高通中国区研发负责人徐晧认为，面对当前AI技术取得重大突破，未来AI与5G-Advanced融合发展，将对智能终端和AI应用发展带来非常深远的影响。在5G-Advanced更大带宽、更低时延的网络能力支撑下，未来AI处理将通过“云-边-网-端”架构不断从云端向边缘、终端侧扩展，从而在手机、汽车、XR、无人机等多种形式的智能终端上催生出大量新兴AI应用。而多种形式的智能终端和丰富的AI应用又会反过来进一步促进5G-Advanced繁荣发展。
版权与免责声明：凡本网注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本网授权不
展开全部
热门评论