四天复刻 AI 实时主播:Vidu 负责演出,场控层才是关键(附开源框架)
一个没有真人驱动的 AI 直播间,开播就有数千人在线,观众发一句弹幕,主播回一句,动作、表情、互动全是现场生成——最近走红的「天工开帧」直播间就是这样。开发者 Gary 看完之后花了四天时间从零复刻了一个同类直播间:他的 AI 主播「晚晚」已经在抖音正经播完一场 70 多分钟的直播,整套工具框架还按 MIT 协议开源了。这篇文章把他的拆解思路、实现方式、成本账和踩过的坑完整梳理一遍。涉及的效果与数据均为作者自述口径,供参考。



一、先拆解:内层是数字人,外层是「场控」
把走红的直播间拆成内外两层,结构就清楚了。内层是主播本身:画面上方挂着 Vidu S 的标识,用的是 Vidu 最新的数字人模型(vidus2),动作、表情、说话全部实时生成,基本可以排除开源模型本地部署的猜测。Vidu 的数字人有三条路线:一是实时数字人,脸、声音、回话全交给模型;二是把声音提前准备好喂进去,模型只管对口型,这条路甚至能唱歌;三是拿真人视频驱动,把画面里的人换掉。

作者把三条路线都实测了一遍:换人路线动作最自然,但没法现场接弹幕;喂声音路线要自己再搭一套回话和配音;结合原直播间接弹幕的速度判断,对方走的就是实时路线。早期他自己的版本三条路效果都不及格——动作、回复、音色全是「人机感」。结论是:差距不在路线,在底图、声音和人设。
原直播间「活人感」的来源,他总结了四点:动作,主播大部分时间低头看手机弹幕,看到有意思的会笑、露牙,手一会儿托腮一会儿拿零食,像下班回家开播的普通女生,而不是站直了背稿的数字人;画面,朦胧感不是后期滤镜,而是数字人画面自带的柔光打脸、周围压暗,再缩进手机横框里,AI 的破绽反而被藏住;节奏,大约 20 秒回一条弹幕,这个「慢」刚好盖住 AI 的反应时间,真人主播看弹幕本来也不秒回;真人小窗,角落里有个活人,观众心里知道背后有人在看。

二、真正的功夫:场控这一层
打个比方:真人直播间里主播旁边有个场控,盯弹幕、踢广告、把问题递给主播、提醒换衣服、冷场时递话题。AI 直播间里,主播是 Vidu 的,而作者自己做的就是这个「场控」层,具体包括:
- 过滤:低俗、广告引流的弹幕直接不念;
- 排队:弹幕逐条处理,需要时可做礼物插队逻辑(作者后来删掉了,见下文);
- 意图识别:分清一条弹幕是聊天、换衣服、要道具、换背景,还是比心、挥手这类动作指令;
- 预设管理:比如衣柜,每套衣服是一张完整照片,换装即换图重开;
- 待机话题:没有弹幕时让主播有话可说,而不是发呆或重复暖场;
- 说明卡与 AI 标识:把能做什么、做不到什么、弹幕怎么发写在画面上;
- 本地工作台:改人设、管衣柜、换声音、调动作都在网页上完成;
- 推流链路:OBS 把数字人画面、说明卡和真人摄像头(左下角小窗)拼好,再经抖音直播伴侣横屏推出。

成本方面要算清账(作者自述数据):Vidu 实时数字人按秒计费,1.5 积分/秒,折合约 169 元/小时;他正式播的那场 1 小时 07 分钟,含开播预热、每次换装重开会话和中途重启,Vidu 一共扣了 191.47 元。测试阶段这个成本可以接受,但想靠它变现,投产比必须先算明白。
三、踩坑实录:底图、换装、音色与一场翻车
底图决定生死。形象迭代了好几轮:先是 CG 风格的游戏角色,数字人感太重;再用生图模型转成真人照片,又一眼「AI 脸」;原创的四个带口音角色(东北、长沙、闽南、台湾腔)栽在审美和底图上——肤色太黄太艳、皮肤纹理过多、平视正对像证件照。最后参考其他创作者的提示词思路才定版「晚晚」:人设是 24 岁、在杭州做平面设计的女生,晚上下班回家开播陪聊,养了只黑猫,性格慢热、带点冷幽默,被问到就大方承认自己是 AI 主播。还有一个细节教训:人设里写的示例台词,她会原样照念——示例只能写给人看,不能直接喂给主播。




换装靠「整张照片重开」。直接让 AI 在身上改衣服,改一次还行,改两次脸就崩。现在的做法是每套衣服提前做一张完整照片(人、衣服、房间都在图里),换装就是拿这张照片重新开一场,又快又稳,衣柜现有 7 套,切换约 5 秒。这套逻辑同样适用于场景和动作切换,前提是预设底图足够多。


音色要进直播间里验。作者发现口音能盖住不少 AI 味,所以早期角色都带口音;但更要命的经验是:很多音色单独听都像真人,一放进实时直播就变味。晚晚最终用的是在火山引擎上自行设计的音色,提供原始音频素材克隆后接入 Vidu。另外,第一场试播暴露了待机语音翻来覆去只有三四句的问题,第二场前他围绕人设准备了 100 个冷场话题,全部说完一轮才重复。
换背景翻车,是最值得警惕的坑。某次直播中她换了 9 次背景,前 8 次正常,第 9 次从雪山木屋换到城市夜景后,肩带和上衣被模型「画没了」,主播被迫下播。事后定位原因:换装走的是整张照片重开,而换背景走的是直播中把一张参考图交给模型当场重画画面——她身上的衣服没有一起作为约束交过去,模型等于可以自由重画她的身体,前 8 次画对了,第 9 次就出错。这类偶发问题「测几次没事」不等于安全。目前换背景和道具功能已默认关闭,等改成整图重开或加上画面检查再恢复。

此外还有:Vidu 中途断线约 3 分钟,全靠真人小窗顶住场面——真人小窗不只是让观众安心,出事时也是保险。目前未解决的问题包括:弹幕到开口的延迟 10–20 秒、对口型唱歌和大幅度动作做不了、话太长会被新指令打断、记忆较短(断线恢复后会「失忆」)、回话偶尔仍有 AI 味。

四、边界:文字能拦,画面拦不住
合规层面,抖音对 AI 生成内容要求打标识、有真人出镜和互动,不鼓励无人直播和挂机。晚晚的画面上全程挂着「AI 实时生成画面」,作者本人摄像头常驻左下角。一场直播里被关键词过滤掉的弹幕有 18 条,其中多条是要求换泳装、吊带裙之类的擦边指令(关键词也有误伤,后来调整过);礼物插队功能技术上能实现,但会被平台算作诱导打赏,作者已主动删除。
作者的提醒很实在:文字可以用关键词拦,画面拦不住——AI 实时生成的画面随时可能出意外,真人在场不只是平台要求,也是保护自己。想靠数字人 24 小时无人挂机「躺赚」,目前并不现实。另外,不要拿明星或他人的脸和角色做数字人,自己原创一个并不麻烦。
五、延展方向与开源说明
作者看好的延展方向:一是游戏主播,给「AI 教玩游戏」类爆款内容配上能实时互动的角色形象;二是互动剧情直播,用场控层桥接场景图与台词生成,让弹幕指挥主线走向(去哪、跟谁、做什么选择),这是真人主播做不到的形态;三是娱乐直播,原直播间的围观量已经证明了潜力。

整套工具框架已按 MIT 协议开源在 GitHub 仓库 ai-live-avatar,包含弹幕过滤与排队、弹幕识别、衣柜、说明卡与画面叠层、本地工作台,以及接 OBS 和抖音横屏开播的整套东西;不想花钱也可以先空跑,研究过滤、排队和叠层的实现。抓取直播间网页弹幕的部分没有放进仓库(实现简单但有风险,需要的自行补)。原直播间作者的 GitHub 在 beiyege-01。最后一句作者的原话送给想动手的人:工具大家都能用,但角色得是自己的——换一张自己的脸、写一个人设,同样能跑起来。