新浪新闻客户端

端云协同架构是如何平衡端侧算力与云端资源的?

端云协同架构是如何平衡端侧算力与云端资源的?
2026年10月17日 12:58 新浪网 作者
avatar
极客指南

  端云协同架构的核心逻辑可以概括为“端侧快执行、云侧深思考”——高频、低延迟、涉及隐私的任务留在本地处理,复杂推理、长上下文和跨领域知识整合则交由云端大模型完成。这一分工并非简单的任务划分,而是通过一个跑在设备里的“请求路由器”,综合任务复杂度、网络质量、设备电量与温度、数据隐私等级四个信号动态决策任务去向。

  一、端侧与云端各承担什么任务

  端侧主攻三类任务:0.5B到2B参数的量化小模型常驻本地,专门负责输入补全与润色、敏感信息本地脱敏、意图分类与路由。

  云端负责重型推理:长上下文理解、复杂逻辑推演、全库检索增强以及模型版本的持续更新,由云端大模型承担。

  中等任务分流至边缘层:7B到13B级别的模型部署在边缘节点,处理摘要、改写、常规问答等中等难度请求,把网络往返压到几十毫秒。

  二、调度机制怎么做到“智能分流”

  四信号路由器:设备端的请求路由器综合判断任务复杂度、当前网络质量、设备电量与温度、数据隐私等级,简单高频请求留本地,中等任务发边缘,只有真正的“硬骨头”才回源中心云。

  置信度阈值控制:端侧小模型不需要“聪明”,但需要“知道自己不知道”——把输出置信度的阈值校准好,低置信就上交云端,分类错误不会演变成体验事故。

  自动分配三种模式:以YanClaw为例,系统能自动识别内容类型并选择策略——涉密内容全走本地,高难度任务只把“做什么事”发云端构思、原始资料不外传,日常复杂任务则拆分后本地与云端分工合作。

  三、这套架构带来的实际收益

  隐私与响应兼得:原始数据留在本机,只在必要时上传摘要或指令;本地推理把网络耗时降为零,语音助手等场景的响应延迟可控制在200毫秒以内。

  成本大幅下降:大量高频请求不再持续消耗云端Token,联想“端-边-云”架构的目标是推动80%的Token消耗产出于设备本地,其百应AI主机在执行市场分析类任务时Token成本直降70%至95%。

本文由AI生成

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2026 SINA Corporation

All Rights Reserved 新浪公司 版权所有