智东西
作者 | ZeR0
编辑 | 漠影
智东西8月30日报道，本周，在高通美国圣迭戈总部，高通技术公司工程技术高级副总裁侯纪磊与智东西等媒体进行深入交流，围绕2bit量化瓶颈与应用潜力、高带宽计算（HBC）技术的优势及进展、端云协同的智能体体验如何实现等话题展开分享。
侯纪磊博士负责领导高通AI工程技术团队，这个部门包含研发、系统、商用软件、面向开发者的AI平台等若干团队，旨在保证强有力的端到端功能。
他谈道，AI研发与产品必须保持强耦合，两者之间需要形成一个“飞轮”，研发驱动产品、产品反哺研发，只有这样，整个体系才能有生命力。在AI领域，研发的意义不仅仅是做出一些炫酷的技术，更重要的是推动产品快速落地。
设备端模型需要在满足功耗和内存限制的前提下，追求更高推理性能。侯纪磊告诉智东西，高通在2bit量化感知训练（QAT）方案上走在行业前沿，已与部分中国厂商合作。在他看来，要解决2bit量化精度损失问题，关键在于用实际用例数据做匹配。
据他分享，高通内部做了一些评估，30B左右的模型在ARC-AGI-3等复杂基准测试上已表现得相当好。面向个人、家庭、私有化场景乃至一些小型企业，100B或以下的模型已经可以覆盖70%~80%的日常任务需求，剩余的复杂任务可以分配给云端处理。
提到高通对多家AI公司的收购，侯纪磊解释说，高通的大部分收购都是为了“差异补缺”，更多是考虑人才储备以及更好地在全球布局，被收购团队很快就会融入到高通完整体系之中。
此外，高通的一些端侧技术和其他技术储备，也将逐渐通过产品技术路线图的演进融合，形成更强的协同效应。
侯纪磊称，无论是目前的端侧推理平台，还是未来可能拓展到云端的推理平台，高通都希望在推理层面为各种AI入口提供支撑。
一、高通2bit量化方案走在行业前沿，已与部分中国厂商合作
大多数情况下，模型是基于32bit或16bit精度进行训练，将这样一个高比特模型放入应用时通常会转换成4bit。
侯纪磊谈道，在将4bit转为2bit、提供2bit量化感知训练（QAT）方案方面，高通是走在行业前沿的企业，在这一领域，高通已经在和部分中国厂商合作，提供一些参考方案。
从一些基准测试表现来看，高通的2bit参考方案，相对比较接近16bit、32bit的浮点（FP）模型的表现。
然而，在实际应用场景中使用模型，往往会有精度损失。侯纪磊认为主要原因有几方面：
首先，一个模型可能是基于FP16精度训练，当它从16bit压缩到2bit，模型的系统容量就会受到破坏，需要评估模型容量的损失会对厂商的实际系统用例造成多少影响。如果影响比较大，那就说明，把16bit压缩到2bit时，模型容量已不足以支撑最终用户的用例。
第二种解释是，16bit模型在多任务上的泛化能力是比较强的，而把它转换成2bit时，其多任务泛化能力会受到很大的约束和限制，同时OEM和模型厂商在落地时往往会提出更高的要求，如果使用普通的QAT并用一般的数据集去弥补这些损失，可能是不够的。
对此，侯纪磊认为，做2bit QAT一定要用实用的数据，要跟厂商最终的实际用例数据从数据分布和多任务泛化方面进行匹配，如果能找到这样的多元化、具备鲁棒性的泛在数据，那么2bit QAT依然具有较大的应用潜力。
举例来说，谷歌在近期推出的Gemma 4系列E2B和E4B模型，就提供了2bit QAT的模型检查点（Checkpoint）。谷歌在数据能力方面有优势，所以他们经过数据的筛选和优化，能使2bit QAT实现很好的效果。
当把这项技术应用到手机端或具体场景时，无论是模型厂商还是最终的OEM，都需要有足够的数据能力去推动这一技术发展。
二、详解HBC技术：将计算搬到数据附近，有效内存带宽提升几十倍
芯片方面，高通已陆续发布高通飞龙AI100、AI200、AI250、AI300等多代AI推理加速器。
在AI加速器领域，高通在今年6月举行的投资日活动上做了一个很有亮点的发布——高带宽计算（HBC）技术。
据侯纪磊透露，HBC是高通两三年前就在数据中心领域开始投入的方向。高通想把HBC作为切入点率先进入市场，逐步将高通在端侧积累的系统级、算法级优化能力融入其中，形成差异化优势。
在现代AI的规模下，移动数据已是整个系统中最大的能耗来源之一。
大模型推理与人类交互通常有两个过程：一是预填（Prefill），计算密集型阶段；二是解码（Decode），带宽密集型阶段。高通认为，在面向预填和解码的大模型处理场景，推动HBC的应用对高通及其客户都能带来实际价值。
根据高通博客文章，借助高通HBC第一代技术，高通飞龙AI250实现有效内存带宽相较于搭载LPDDR5X的高通飞龙AI200提升18倍；搭载高通HBC第二代技术的高通飞龙AI300，有效内存带宽较高通飞龙AI200提升54倍。
现有片上SRAM方案、基于HBM的加速器方案都存在一些限制。
片上SRAM方案将模型保存在直接置于处理器裸片之上的超高速内存中。其带宽极高，时延极低，但片上内存每比特成本高昂，且单个器件上能容纳的容量受限，因此一个大模型必须分散到大量器件上，结果是在小规模下速度出色，单位吞吐量成本低，但随着模型增长，在硅片、功耗与系统复杂度上付出了高昂代价，因为容量被牺牲换取了带宽。
高带宽内存（HBM）方案是主流的AI加速器方案，在一颗大型处理器旁边环绕堆叠式HBM，既提供充足容量，又提供了相对较高的带宽。该方案用少得多的器件即可容纳模型，但数据仍要从内存跨入处理器，致使功耗较高。
高带宽计算（HBC）方案采用相对低成本的DDR内存，通过3D堆叠的近存计算架构，把数字逻辑芯片（Digital Die）放在了内存架构底层，这之上集成了计算单元，能够直接承载计算。
该方案将计算搬到数据处，使最数据密集的操作在内存模块内完成，只将紧凑的结果发送到接口之外，从一开始就消除了大部分数据流，因此能以整体较低的AI推理总拥有成本，提供高有效内存带宽、低每token能耗和良好的内存容量。
成熟、大规模量产的内存技术，提供了一条务实的规模化路径。让近存计算变得切实可行的堆叠技术本身也已成熟：3D集成方面的进展，尤其是将DRAM直接键合到逻辑芯片之上的能力，正在从实验室走向大规模量产。
据高通估算，在大批处理大小下，高通HBC相比HBM具有6倍的每瓦特带宽；在小批处理和大批处理大小下，高通HBC相比SRAM具有200倍的每瓦特容量。
其他方案优化的是数据移动，而HBC在很大程度上避免了数据移动。
计算机架构师用Roofline模型来推演性能。该模型以工作负载的算术强度（即每搬运一个字节所执行的运算次数）为横轴，绘制其可达性能。只有当工作负载在每个字节上执行了足够多的算术运算，足以覆盖取回该字节的成本时，它才能达到峰值算力。低于这一临界点，它就位于一个斜面屋顶之上，而屋顶的高度完全由带宽决定。
在运行相同的工作负载时，运算次数对每个方案来说都是相同的，但跨越芯片边界的每个字节所执行的有效运算大相径庭，提高强度的方式是缩小分母——必须跨越内存与算力之间昂贵边界的字节数，HBC架构便缩小了分母。
按照高通的总结，片上内存在小型、固定、低批大小的FFN场景中领先，HBC在注意力机制和系统规模上领先，基于HBM的加速器则是介于两者之间的全能型选手。
侯纪磊补充道，在提供相同带宽时，HBM的价格更高，占用的电路板面积也很大，所以成本高昂。与HBM相比，HBC方案首先减少了整个电路板的面积，其次在带宽受限的场景下，达到相同性能的综合性价比更占优势。
元股证券:ygzq.hk无论是提供通用方案，还是基于HBC提供定制方案，目前高通与中国客户和海外客户都有深入交流。
此外，高通的方案也得到了一些大型存储器厂商的认可。产业各方正在形成共识，希望通过紧密合作，共同推动HBC的落地。
三、很多端侧创新技术可迁移至云侧，已与模型厂商深度适配形成参考方案
从研发角度，端侧与云侧的一个共同点是模型效率，即每瓦特性能、每焦耳推理性能，本质上是在单位能量范围内尽可能优化计算。
端侧适合部署简单、隐私数据相关、个人事务相关的任务，云端适合承载复杂、长步骤、长上下文、强推理、智能体编排相关的任务。在侯纪磊看来，这两类在成本、隐私、时延等方面相对互补，配合好就能为用户带来较好的无缝体验。
在端侧，更重要的着眼点是把大模型推理优化做到极致，使它们变成端侧的一个智能体入口。高通提供平台来帮助推动实现端云结合的智能体体验。
高通在端侧已投入多年，在相对较小的大语言模型部署上带来了很多技术创新，包括低比特量化、多token生成、近存计算、稀疏注意力、长上下文处理等。这些创新在技术角度是互通的，只是模型参数规模不同，所以把端侧的很多技术迁移到云侧更容易。
挑战在于，这些技术进入云侧之后，从模型和系统层面有很多优化工作要完成。
高通平台上OEM可能有三五十家，模型厂商也要面对多家客户，如果每家都逐一适配，成本极高。侯纪磊认为，从规模化的角度来看，高通先和模型厂商进行深度适配与优化，形成成熟的参考方案，再把它推广给更多客户，这种方案对于模型厂商和高通都更有优势。高通已在与两家重要模型厂商推进这样的合作。
据他观察，端侧智能密度大概每12个月会有2-4倍的提升。如果这样的发展速度能够保持，未来一两年，无论是10B还是20B级模型，它们的能力和优势都会继续提升。
用户用例、具体任务，以及将能力真正转化为顺手、自然、不会让用户反感的体验，都需要不断迭代。
此外，智能体操作系统涉及隐私信息的处理和存储，未来需在端侧提供一个相对私密的处理环境，保护隐私信息。这需要建立清晰的“握手”机制，把接口如何定义、各方如何负责等问题表达清楚。高通希望从平台角度支持隐私保护和接口定义。
结语：AI推理竞争拼系统能力，需要形成更紧密的生态协同
在AI领域，端侧和边缘侧正成为承载高频、隐私敏感、低成本推理需求的主战场，其中效率优势是关键的竞争分水岭。
AI推理竞争正在从单点硬件性能，升级为“平台+生态+落地速度”的系统能力，这离不开模型优化、软件栈打通、开发者生态和落地效率的综合比拼。
从端云协同到2bit量化中天证券，都需要芯片厂商、模型厂商和终端厂商形成更紧密的协同合作。未来，谁能把端侧效率、云侧性价比和开发者体验真正打通，谁就更有可能在AI推理的规模化落地中掌握话语权。
证券开户专属服务提示：本文来自互联网，不代表本网站观点。
相关文章