科大讯飞：无尽语音旅程里的新试炼|大模型|AI眼镜|智能语音|AI|模型

　　（来源：脑极体）

　　很多谍战电影里都有这样的“名场面”：情报员依靠天赋异禀在无数电波杂音里分辨摩斯密码，甚至听出每个报务员独有的发报习惯，凭借一双“灵耳”挖出敌台。

　　那对故事中的“灵耳”，终于在现实中被AI复现。例如一段经典的谍战电影片段中，主人公在街道上躲避敌人，包含了形形色色的复杂音源。这种声音不仅常人难以判断，对智能语音来说更是一道难解的问题。这条街上究竟在发生什么？有多少人和物体在发出声音？他们之间的关系是什么？

　　对于智能语音系统来说，“这道题”包含了对各种声音元素的感知、识别理解和综合推理，可以说把考验指数拉满。

　　但当这样的音源被输入星火语音基座大模型时，它却能轻松完成对人声与各种声音线索的综合感知与精准推理。

　　这里不妨引出一个问题：智能语音是我们最熟悉的AI能力，它几乎无处不在，无时不存，它，还能再次进化吗？

　　在科大讯飞看来，智能语音赛道仍然蕴藏着无穷的潜力。2026年科大讯飞全球1024开发者节期间发布了其在智能语音技术方面的最新进展，包括语音基座大模型SparkAudio 1.0，以及基于基座大模型之上各方面语音技术能力的提升。

　　经过数十年发展，智能语音技术在诸多场景中已经完成了极高的适配度，但在复杂真实场景与高阶应用需求上依旧面对着清晰的技术瓶颈。让我们进入这段打破技术壁障的故事。

　　科大讯飞锻造的“万灵之耳”，正在帮助AI时代实现一场从听见到听懂的无尽旅程。

　　1952年，贝尔实验室发布了世界首个语音识别系统Audrey。由此开始，智能语音技术作为最基础，也是最重要的AI技术分支，开启了自己长达七十年的漫长征程。

　　七十年中，智能语音经历了隐马尔可夫模型HMM时代、深度神经网络DNN、端到端序列建模Transformer时代等阶段。在今天，我们身边的手机、音箱、穿戴设备、家电都具备了语音识别与语义理解能力，可以说是用数十年构筑起了智能社会的交互基石。

　　但这门最为普遍也最为基础的技术，真的已经发展到至善至美了吗？答案恐怕未必。

　　原因在于，智能语音技术只是实现了“听见”，但距离真正意义上的“听懂”依旧有一段距离。比如说，有三个最典型的难题横亘在智能语音技术的前进方向上：

　　1.复杂音源的解析难题。

　　在智能语音技术发展初期，AI只需要识别单人静音环境下的语音。但当产业发展到今天，复杂音源的解析已经成为关键需求。在较为嘈杂或者多人对话的场景中，人类天然可以自主聚焦目标说话人的声音，但AI很难精准分离目标声音与干扰音。多人对话场景、复杂的背景音与环境音，这些都给智能语音技术带来了全新考验。

　　2.难以攻克的语义理解壁垒。

　　对于智能语音技术来说，“听见”是一回事，“听懂”则是另一回事。在真实的自然语言理解场景中，用户经常会出现上下文关联、多主题切换等表达方式。或者出现大量间接表达、自我修正、口语化表述、语序混乱等现象。这些问题都让模型很难精准理解用户意图，尤其在实时交互、同声传译等场景中带来了明显困扰。

　　3.难以破局的鲁棒性困境。

　　实验室环境下模型准确度极高，但到真实的户外、工厂、车载等环节中错误率就会直线飙升，鲁棒性出现问题。遇到实时翻译、直播字幕、车载指令等对延迟要求极高的应用场景，模型鲁棒性弱的问题就会被无限放大。模型鲁棒性弱的另一个问题在于技术大规模落地时，众多场景需要专项模型适配与调参，导致成本较高，推广效率较低，最终阻碍产业应用前进。

　　归其根本，真实复杂的声音世界对于智能语音技术来说依旧是一面叹息之墙。模型就像温室里的花朵，一旦遇到噪音密布、音源复杂的“风雪交加”，就很容易暴露出自己的脆弱。

　　那么回到开头的那一幕：智能语音究竟是如何破解真实场域、复杂声音这道历史性难题的？

　　事实上，科大讯飞借助星火语音基座大模型SparkAudio 1.0完成了一次全新的智能语音技术破障。回到前文讨论的谍战电影识别案例当中。这个场景里，星火语音基座大模型SparkAudio 1.0必须把声音识别、时间关系、语义理解和场景推断结合起来，最终才能对一段包含多种声源的音频进行整体解读。

　　在多声源感知层面，模型必须同时捕捉影片背景中的音乐、人声、机械运转声、金属碰撞声和铃声，从而在混合音频中辨认不同声音类别。

　　来到语音内容理层面，则需要识别“小伙子擦干净点啊”“爆米花”“看车看车”等口语内容，并区分吆喝、日常交流和提醒等不同表达功能。

　　来到时间顺序组织环节，模型还需要按声音出现的顺序整理音频内容，描述各类声音如何交替或伴随出现，而不是只给出一组孤立标签。

　　接下来，模型需要对声景关系进行建模，将叫卖声、车辆铃声和“看车”提醒联系起来，理解它们可能共同构成街道或人车混行环境中的声景。

　　在这一系列动作之后，最终给出对语音场景综合判断：综合人声、机械声和环境线索，形成对街头摊贩及车辆活动场景，推理出整体情景究竟如何。从中不难看出，想要真正理解复杂环境中的声音元素与声音关系，是一件需要抽丝剥茧、层层推演的工作，要对多个声音叠加、信息分散、需要结合上下文理解的复杂场景进行精准的感知和理解。

　　而SparkAudio 1.0实现的这一切，就是从“听见”到“听懂”的变化。

　　AI能够复现情报员的“天赋异禀”，背后是星火语音基座大模型SparkAudio 1.0实现了全方位突围。

　　SparkAudio 1.0能够支持文本和语音两个模态的输入以及文本模态的输出，从而完成语音转写、多语言翻译、多方言识别、环境音识别、说话人分离、情感分析以及复杂的音频问答等场景任务。在多语种识别和情绪、声音事件等关键场景的音频感知与推理能力上，SparkAudio 1.0的表现尤为突出。

　　之所以其能够实现这些目标，关键在于星火语音基座大模型SparkAudio 1.0实现了三大技术创新，达成了效果更好、响应更快、成本更低的智能语音能力。

　　1.半监督音频编码器SemiEnc：在预训练过程中，将量化器的输入，从原始的声学特征，升级为结合有监督数据构建的专项模型提取的强化表征，引入不同维度的信息先验，通过多任务训练显著强化编码器的建模能力，提升了语音识别等任务的鲁棒性，带来了各项任务的效果提升。

　　2.动态分段端到端建模S-S2S：以语音到语音的端到端语音建模技术为基础，依托语音理解与生成融合反馈决策闭环，打通识别、理解、生成模块的时序壁垒，支持增量流式语义驱动提前生成、动态反馈校正，在保证效果的同时大幅压低语音同传、实时语音交互的响应延迟，满足实时语音业务的低时延需求。

　　3.双范式协同解码CoDec：音频编码器首先通过非自回归CTC Decoder并行解码，一次性生成结果，然后通过LLM自回归模块通过投机解码判断是否需要介入，以及从何处开始自回归修正，使得在保证效果的同时，语音大模型平均推理时延和计算成本大幅下降。

　　基于上述技术创新，按照发布方披露的测试数据，SparkAudio 1.0实现了整体效果提升20%、响应时间降低 15%、成本降低 60%。这意味着其模型效果更好、等待时间更少、规模化应用门槛更低。

　　基于基座模型的升级，讯飞智能语音能力得到了多维度的升级与拓展，也带来了星火识别大模型Spark-ASR-2.0、新一代星火语音同传大模型 Spark-LiveTranslation，以及星火语音交互大模型Spark-Audio-Realtime，实现了从基座大模型升级，到识别、同传、交互能力全面提升的立体格局。

　　在识别方面，Spark-ASR-2.0 语音识别大模型实现了显著进步。其通过非自回归与LLM增强自回归协同、中英文混合文本与声学联合增强、动态上下文注入等关键技术创新，整体的语音识别效果大幅提升，尤其在通用识别、复杂声学场景识别、上下文识别和文本流畅规范性等方面改善明显。

　　在同传方面，Spark-LiveTranslation 语音同传大模型围绕场景感知、长历史理解、播报长度调控和复杂场景鲁棒性实现了全维度提升，让翻译质量与实时体验协同提升。比如说，其模型MOS 评分由 4.4 提升至 4.6，同时缩短了S2S 响应时间。

　　在交互方面，Spark-Audio-Realtime 语音交互大模型实现了交互革新，在多种交互场景带来了显著提升。

　　识别更准、同传体验更优、交互能力全面迭代的最终效果，让我们见证了智能语音的壁障被重新打破。这条技术旅程，远没有走到它的终点。

　　当AI能够听懂来自复杂世界的真实声音，星火大模型的“万灵之耳”，终将成为万业之源。

　　在AI带来生产力革命与生活方式革新的过程中，我们一次次见证了智能语音将带来多么巨大的社会经济价值跃迁。当技术壁障又一次被打破，汹涌而出的产业价值就将成为定局。

　　第一步，智能语音技术的升级，将通过科大讯飞的产品布局释放出潜力。根据目前消息，讯飞听见、智能办公本等产品都将接入语音基座大模型。

　　以SparkAudio 1.0全新升级的讯飞智能办公本为例。产品端将可以实现手写标注说话人姓名后，后续发言自动对应；在会议场景中准确识别接话抢话、多人交叠发言等复杂场景；能够更加准确识别中英混杂、专业术语。而这些基于智能语音能力的升级，恰好也正是当前阶段AI趋势中的刚性需求，是AI技术融入真实办公场景的典型体现。

　　最新发布的讯飞 AI 录音环，可以将语音能力带进更便携的记录场景，实现两小时录音转写仅需两分钟，综合识别准确率超 96%。

　　第二步，向更加广阔的产业空间中看。车载场景、机器人场景、户外场景、工业场景当中，复杂音域里的智能语音能力都是关键的产业枢纽。比如说，在智能座舱当中，精准识别复杂音源可以让车机更准确识别驾驶员指令，从而实现精准的车载智能服务；当AI眼镜成为新的硬件风潮，可以在户外空间准确识别声音，完成高质量同传的智能语音能力可以极大地升级用户体验，成为新硬件形态的发展动力。

　　诸如这样的例子还有很多，智能语音是智能世界的基石，是产业智能化链条里不可或缺的一环。科大讯飞完成的智能语音突破将驶入千行万业。这场技术旅途，也在无形中构筑起了产业壁垒。

　　语音是人类最基本的沟通方式，也是AI探索的起点。这条赛道自始至终都蕴藏着无尽的可能性。过去数十年的语音技术突破，让这门技术变得可用性极强，经济价值巨大，也让AI真正走向千家万户。

　　在这条无尽之路上，科大讯飞始终担任着队列中的先锋，承担着为中国科技探索语音富矿的关键任务。走技术破障的路，走千行百业赋能的路，走独属于自己的路。

　　在科大讯飞看来，日益发展的应用场景正在对语音技术的效果和性能提出更高需求。只有依靠系统性创新，将软硬一体化、远场高噪多人语音增强和识别、超拟人语音合成和百变声音复刻、多模态全双工交互等多项关键技术深度融合，才能真正实现新一代智能语音技术在真实场景中的落地应用。

　　在当前阶段，技术要求更高，产业需求更加苛刻的智能语音赛道，让这个领域具有突破力的玩家变得更加稀缺。而笃定于语音赛道的科大讯飞，既是中国智能语音赛道上入局最早，布局最广的企业，同时也一直在深化产业积累，积极引领新一轮的技术创新。

　　2024年，科大讯飞牵头的“多语种智能语音关键技术及产业化”项目获得国家科学技术进步奖一等奖，含金量十足；语音基座大模型、识别大模型，超拟人合成+百变声音复刻，多模态交互系统等核心智能语音技术不断落地。今年，科大讯飞已经在国际权威语音识别大赛CHiME-9连续6届夺冠，在TASK 1－多模态上下文感知识别MCoRec上获得排名第一。可以确切地说，通过智能语音技术优势，科大讯飞已经构筑了从基础模型、垂类模型到产品体系的全链路优势。站在这些优势上不断前进，才最终锻造出了一双“万灵之耳”。