2015 年，声网将 WebRTC 大会引入中国，推敲了第一届面向国内开发者、业务东说念主员和用户的 RTC（及时视音频）大会。在大会启动的前夜，现任声网阛阓 VP、RTC 大会主策东说念主彭小欢失眠了，她相称惦念翌日会不会有东说念主来。

一晃十年当年了，当年的 RTC 大会早已升级为 RTE（及时互联网）大会， 10 月 25 日 RTE 2024 也依期而至，但早已不必惦念是否有东说念主光顾，现场可谓是群贤毕集。

图：RTE2024 开幕今日的现场

国内大模子鸿沟的「大模子六虎」，其中的智谱、MiniMax、零一万物团队齐出咫尺 2024 年 RTE 大会上，在 ChatGPT 发布后的近两年时期里，智谱和 MiniMax 分手在 tob 和 toc 两条道路上越走越深，有许多心得不错共享，通义千问团队也带着国内最打开发者生态的劝诫在 RTE 大会上加入辩论。

这次 RTE 大会也不乏 AI 大牛创业者的身影，举例全球最受详细标 AI 科学家之一，一年前从阿里巴巴去职、躬身入局大模子 Infra 的贾扬清也出咫尺 RTE 大会的主论坛上，共享了他在 AI Infra 鸿沟创业 18 个月后的劝诫心得以及对 RTE+AI 的趋势判断。

除此，谷歌、蚂蚁、面壁智能、生数科技、商汤、旷视、WPS、Soul 等也在大会上共享了团队当年一年里在 ChatGPT 时期的 AI 探索。

本年的 RTE 大会，可谓是大咖云集，AI 内容拉满。

迄今，RTE 大会已经是第十届，十年如一日地每年坚合手举办，从未间隔。恰逢 GenAI 爆发，声网深耕的 RTC（及时音视频）技巧，让东说念主与 AI 的交互不再局限于翰墨，也不错通过语音通话进行生动、通顺的低延时交互，这也成为当下国表里大模子厂商新的发力点——多模态。

而本年的 RTE 大会便提供了一个疏浚平台，凭借在业界的影响力，眩惑百行万企众人参与，使得业内一齐共同探索 RTE+AI 的将来后劲，这也将给 RTE 和声网带来更多机遇与挑战。

当年，声网 CEO 赵斌期待"通过 RTC 这么的大会让路发者使用及时音视频功能像使用水相通简陋"，十年后，及时音视频功能奏效在百行万企应用，丝滑地融入人人的职责生计中。在此十年之期，亦然声网创办的十周年，RTE 启动与 GenAI 相连。

走到今天，一切齐源于 RTE 大会以及背后的声网公司十年前的那份坚合手与初心。

1

开垦到闹热：技巧布说念者到行业风向标

今天，及时音视频（RTC）互动技巧已经成为一项基础设施，在咱们的普通生计中无处不在。

视频会议、在线课堂、酬酢平台直播连线 PK 等广阔场景齐有及时音视频的支合手，才有了低蔓延、低卡顿、高领略度、千里浸式的互动体验。

十年前，国内及时音视频如故一派荒野，声网看到机会，领先推出 RTC PaaS 办事以此来打开阛阓。及时音视频技巧门槛较高，仅有 WebRTC，开发者依然很难上手实践，而在 RTC PaaS 模式下，开发者只需调用简陋的 API 接口就能已毕及时音视频互动，极地面责问了开发者的门槛和本钱。

彼时恰逢出动互联网全面爆发，通盘这个词行业期许盎然，及时音视频也启动寻找落地的机会。

配置后的第二年，声网首创东说念主赵斌意志到及时音视频将是互联网企业必须的器用和功能，声网行为在这片荒野上第一个挥锄头开荒的东说念主，必须担负起技巧布说念者的背负。

是以在 2015 年，为了让及时音视频行业领有一个能进行技巧疏浚、行业趋势探讨的机会，声网将 WebRTC 大会引入中国，推敲了第一届面向国内开发者、业务东说念主员和用户的 RTC 大会，这亦然一个为开发者而生的纯行业技巧峰会。

第一届 RTC 大会议程安排上仅由一个主会场、一个分论坛，以及一个 workshop 构成，就眩惑了 700 多名不雅众参与。之后，声网与参会者商定——一年一会，一元复始。

在第一届 WebRTC 大会上，W3CWebRTC 法度中 Media Capture 和 Streams Specifications 中枢部分的合编者——" WebRTC 法度之父" Dan Burnett 出席现场会议，并与伊利诺伊理工学院客座教诲 Alan Johnston 一齐，为开发者们进行了约 8 个小时的培训课程，关于开发者来说，在其时 RTC 专科常识极端匮乏的年代，犹如亢旱逢甘露。

2015 年的 RTC 大会松懈了 RTC 技巧布说念在国内「三无」状况：无行业会议、无专科册本、无专科媒体及社区。而在 RTE 大会迈入第 10 年之际，声网也于本年 8 月隆重出书行业首本系统先容及时互动的技巧型科普典籍《读懂及时互动》，合手续为科普及时互动保驾护航。

十年当年了，今天 RTE 大会已经成为业内当之无愧的"全球限制最大音视频行业峰会"，大会限制彭胀到 20 多个论坛，不雅众数上限一度达到六七千东说念主。

据声网官方统计，这些年间，大会累计影响了 200 多万开发者，隐敝 300 多个行业场景，眩惑 2000 多名众人讲师参与共享，得益斐然。这期间，RTE 大会似乎每年齐能"押题"奏效，成为行业的风向标。

2015 年，在第一届 RTC 大会上，声网提议"直播连麦"将成为主流玩法，第二年，连麦互动便成为直播风口。

2016 年，声网以为在线栽植将成为新风口，第二年，在线栽植迎来爆发式增长。

……

2023 年，大会主题是智能、高清，再一次奏效预判了将来趋势，24 年龄首多模态爆发，Sora、GPT-4o 引爆公论，多模态成为各大模子玩家最无边的发力标的。

当 AI 成为科技界的主流，RTE 第十届等于以" AI 爱"为主题，推出了隐敝 AI、出海、Voice AI 等 20+ 行业及技巧分论坛。

在这次大会上，声网 CEO 赵斌以为生成式 AI 正在驱动 IT 行业发生大变革，主要体咫尺四个层面：结尾、软件、云和东说念主机界面，其中 AI Native Cloud 将成为主流。

Lepton AI 首创东说念主兼 CEO 贾扬清也以为继 Web 云、数据云之后，AI 是云的第三次海浪。在 AI 云的形式下，及时的疏浚和智能的相连在用户体验设施相称无边，不错说及时将径直与分娩力划上等号。

行为这次大会的主论坛演讲嘉宾，贾扬清分手从 AI 应用、云、GPU 算力云技巧以及企业大模子自主性等层面带来了他对 AI 基础设施进化的解读。他以为，今天是最容易斥地 AI 应用的时期，越是苟且的 AI 模子念念路越容易产生优秀的远离。

本次大会合手续了两天，大会上的共享嘉宾麇集了当下 AI 届的绅士，包括「大模子六虎」中的智谱、MiniMax、零一万物，还有谷歌、WPS、Soul 这些在 AI 应用落地探索走在前线的企业。他们相连自身业务，共享了当年两年里在 AI、大模子标的的探索，这将是给与业界的一笔可贵劝诫。

本次大会不仅囊括了 RTE+AI 发展的前沿技巧共享，还将关注点放在了当下全球最调度的 AI 落地问题上。

大会最精彩的一部分便麇集在在圆桌辩论设施，就 AI 的 6000 亿好意思金艰难，Lepton AI 首创东说念主兼 CEO 贾扬清、MiniMax 合股东说念主魏伟、面壁智能聚拢首创东说念主＆CTO 曾国洋、Hugging Face 工程师王铁震、Agora 聚拢首创东说念主 Tony Wang 五位嘉宾一齐探讨了从 AI 基础设施到 AI 买卖化落地的机会与挑战。

贾扬清以为基于开源架构的应用会越来越大宗；王铁震号令全球不仅要关注开源模子自己，还要兴趣开源模子的基础设施和数据闭环；魏伟则阐释了在居品和用户办事历程中，文本、语音、音乐、视频这些模子不错很好地匡助艺术、影视、音乐等鸿沟的创作家擢升效用，并提议新念念路；曾国洋以为将来算力一定会越来越低廉，算力本钱优化最终会转念为检修更刚劲的模子。

在大会上，声网发布了他们的 RTE+AI 才能全景图，在全景图中，声网从及时 AI 基础设施、RTE+AI 生态才能、声网 AI Agent、及时多模态对话式 AI 处置决策、RTE+AI 应用场景五个维度，领略呈现了当下 RTE 与 AI 相相连的技巧才能与应用决策。

正如 CEO 赵斌所说，生成式 AI 与 RTE 相连带来的场景翻新，将成为下一个十年的主题。

2

新机遇：

及时多模态是通向 AGI 的必由之路

本年 5 月，GPT-4o 照旧发布便再次引起业内热议，其展示出的及时语音交互才能让东说念主印象潜入，始创了 AI 及时语音交互的先河。

在发布会上，GPT-4o 展示了大幅责问的言语蔓延，平均 320 毫秒的反当令期，让 AI 与东说念主类的对话第一次接近东说念主类确凿对话的反应速率。

及时的疏浚和智能的才能是东说念主机相连的重中之重，正如贾扬清在 RTE 大会上所说，及时不错跟分娩力划等号。

但要达到东说念主类可经受范围内的「及时」，端到端及时多模态的崛起仅仅近来取得技巧突破的一条昭彰，它从念念考速率上裁减了语音的交互实践，而另一条暗线则是 RTC（及时音视频，Real-Time Communications）技巧的跳跃。

而 GPT-4o 恰是在选用 RTC 决策后，便展现出了当然、通顺的低延时语音交互体验。而且在实质应用中，用户的设备许多时候不行永恒联网，是以不管多刚劲的模子齐要依靠 RTC 技巧来已毕及时对话。

因此，RTC 是将多模态大模子跟及时互动场景贯穿起来的要害技巧桥梁。

声网 CEO 赵斌称，生成式 AI 有一个大的、领略的标的就是向多模态领略深度进化，除了提供 GPT-4o 发布会上令东说念主惊艳的状貌拟东说念主对话以外，更无边的是打开大模子进一步智能进化的数据需求。

咫尺翰墨检修数据基本上已经被充分利用，言语自己是一种声息化的翰墨，大约提供的信息和数据的空间将会被放大许多倍，何况迥殊翰墨，当然环境的声息和视觉数据的获得、垄断，将给大模子提供险些无穷的数据空间。因此多模态成为当下的无边发展标的。

在鼓动多模态领略深度进化上，声网通过当年和多个行业伙伴打磨、对接、深度实验、测试、评估，发现多模态对话体验存在两个要害侧面：（1）声息体验包括蔓延、口吻、状貌、状貌、口音，这些齐是东说念主与大模子进行东说念主机对话时体验的要害角度。（2） 东说念主与大模子支合手的 agent 对话时的互动体验中，最中枢的就是「打断行为」，要是在对话中打断不当然，出现抢话、不知说念若何顺利开展下一段辩论等行为，也会对东说念主机交互的远离产生影响。

而这些要通过对现存的 RTE 技巧栈等基础设施进行调动，大模子才有机会大限制参与到与东说念主的各式对话，在各式场景、形式、模子下开展径直语音对话。将来 RTE 基础设施将会成为多模态大模子 AI Infra 的要害部分。（注：RTE 在提供 RTC 音视频办事的基础上进一步提供了愈加丰富和活泼的及时互动才能，让路发者不错凭证不同的场景需求，解放地礼聘和组合各式及时互动才能，打造出愈加个性化和各异化的及时互动体验）。

赵斌以为唯有把 RTE 技巧垄断地弥散好，部署到全球各个云和边际节点，大模子的多模态才能才能大宗地、高质地地走进各式及时互动场景。

而在这场多模态带来的及时对话式 AI 的竞争中，由于 RTE 技巧门槛较高，那么接下来，唯有领有中枢技巧和具备行业处置决策才能的及时音视频厂商才能接住大模子带来的这波新机遇。

在国内阛阓，声网不仅是头部玩家，如故及时音视频鸿沟的开垦者，深深扎根行业已达十年。

10 月初 OpenAI 发布了及时 API 公测版，对准了 GPT-4o 语音到语音的 AI 应用和智能体，还公布了三家语音 API 合营者的身份：LiveKit、Twilio，以及 Agora。

其中，Agora 的兄弟公司等于声网，从底层的 RTC 等音视频才能来看，两个兄弟公司齐有一致且深厚的技巧积存。

相较于市面上大部分 2-3 秒的 AI 互动蔓延实践，声网的对话式 AI 处置决策将对话反应延时优化至 500 毫秒，该决策以语音为中枢，支合手视频扩展，已毕文本 / 音频 / 图像 / 视频的组合输入 & 输出，通过丰富的功能构建确凿、当然的 AI 语音交互体验。

而声网 RTE 技巧在 AI 上的探索，并不是追风口的一时兴起，早在四年前，transformer 在学术界崭露头角不久，声网是业内首家启动把 AI 技巧引入 RTE 技巧栈的公司，用于改善音视频传输保险。

不仅如斯，紧跟兄弟公司 Agora 的设施，声网跟   MiniMax 正在打磨国内第一个 Realtime API。声网 CEO 赵斌在 RTE2024 上展示了声网基于 MiniMax Realtime API 打造的东说念主工智能体。在演示视频中，东说念主与智能体能平缓通顺地进行及时语音对话，即便东说念主打断发问、进行新的发问，智能体也能像东说念主相通反应贤达。

不错意想的是J9九游会，AI 跟 RTE 相连，正给东说念主机交互带来诸多可能，纯翰墨互动的大模子无法已毕 AGI，RTC 加合手下的及时多模态将是必由之路。「雷峰网音书」