窄带高清技术之百万级并发下的演唱会直播细节修复
史无前例，高清又不卡。
5月，百视TV联合上海人民广播电台、时代峰峻共同出品的《东方风云榜》，绚烂呈现一场三十周年音乐分享会·时代少年团《理想之途》。有人说，这是一场似梦非梦的记忆。
演唱会由“乐园”、“少年”、“乌托邦”三大篇章组成，精心之作引来社交话题近30亿次，满足3万多现场观众的同时，线上由百视TV全程直播，沸腾的直播间里更是被观众评论接连刷屏，事件热度值一再打破历史记录。
(相关资料图)
“嘎嘎清晰”的超高清画质、“一点不卡”的直播体验、“懂观众心理”的调度和镜头切换……观众的花式评论泉涌不断，确实，高清又不卡，谁不爱。
观众们直呼，“这辈子没看过这么高清的直播！”。
（图片截选自社交媒体）
官方信息显示，在演唱会直播当晚，峰值在线人数超过130万，直播间评论量达423万，在这海量数据背后的丝滑、超清直播体感，是百视TV联合阿里云视频云在聚焦原创音乐发展、助力传统IP宣发及「内容+服务」的商业模式上的全新探索。
一、窄带高清，毫厘细节的精妙画感达到观众惊呼的视觉感，是一场画质修复与编码算法的精妙之战。
首先，要理解大型户外演唱会直播的错综因子。
相较电商直播带货和其他直播场景，大型户外演唱会的影响因素很多，让直播视觉效果的呈现会更为复杂。
舞台布局多元复杂，如常见的镭光管和频闪灯打造光影交织的幻影效果、变幻多样；现场烟雾、巨幕AR大屏等元素，构成了绚丽多彩的视觉效果；Idol的多层次妆造和舞台道具，往往包含极为细腻丰富的细节；现场多机位拍摄，配合Idol快速的动态舞动，导致直播画面切换快，目标运动性很强。这些复杂情景都不可小觑，需要全部纳入直播视频流处理的范畴。
对于现场观众，这些丰富变幻可以将演唱会的直面效果拉满，但满足百万千万的线上直播观众，想要达到复刻甚至更佳的视觉氛围，这些复杂因子对直播过程中的视频编码压缩技术，带来极大挑战。
再者，用生成式细节修复力，逆转直播源流的低画质。
一般来说，大型活动直播对实时性和流畅度的要求是第一位的，而在户外活动直播中，现场网络质量很容易发生波动，高码率传输会导致卡顿和延迟现象。
因此，为了优先保障这场演唱会的直播信号稳定和流畅，百视TV选择较小的码率进行推流（8Mbps @1080p 50fps）。然而，对于呈现这类视效高度复杂的演唱会，1080p 50fps的信号源，通常需要大于30Mbps的码率，才能保证较好的编码输出质量。
这意味着，实际推流码率远低于直播高画质所需要的码率，因此，会存在因高压缩率导致的明显画质损失，具体表现为：背景光影区大片的马赛克块效应；脸部细节模糊不清，头发纹理细节丢失，以及服装道具细节丢失；服装、字幕、贴片图案、LOGO等边缘毛刺现象。
下图是8Mpbs 1080p直播源流的两个典型画面的截图，画面中，Idol的发丝不再有细节，同时出现了明显的面部马赛克块效应，和字幕边缘的毛刺感。显然，这些画质问题堆积成流动的低细节画面，必然极大影响观感体验。
直播源流画面1: 存在面部马赛克块效应
直播源流画面2: 存在字幕边缘毛刺问题
针对这类直播推流存在的画质问题，百视TV使用了阿里云“窄带高清2.0”技术，通过生成式细节修复能力，显著提升源流的画面清晰度；同时，通过自适应编码能力，降低源流的码率；从而达到转码流相比源流码率更低，但画质清晰度更优，呈现毫厘细节的精妙画感。
整体来看，“窄带高清2.0”有两大核心模块：
视觉编码「窄带高清2.0」采用基于场景和内容的帧类型决策和块级码率分配，模式决策采用面向主观友好的算法；在内容自适应编码部分，考虑到，人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的，通过基于恰可察觉失真（JND）自适应编码技术，丢弃视觉冗余信息，在主观质量不发生明显降低的情况下，可以大幅节省码率；同时，通过ROI码控技术调整码率分配策略，进一步提升人眼感兴趣区域的清晰度。
细节修复「窄带高清2.0」采用基于生成对抗网络（GAN）的细节修复生成技术，在修复因编码压缩引起的马赛克块效应和边缘毛刺的同时，“脑补”生成一些自然的纹理细节，使得画面纹理细节更丰富、更自然、更有质感。
窄带高清2.0 核心技术模块解读
通过窄带高清处理，我们将原有的码率降低的同时，反而可以获得更好的视觉效果：演唱会视频中，场景的编码块效应、边缘毛刺被有效去除，丢失的发丝细节再度呈现，面部皮肤修复后更有肤质感，字幕文字清晰度也更加优质。
第三，演唱会人像的定制模版，更是点睛之笔。
对于超大型偶像演唱会，看清Idol的“颜”一定是观众粉丝的首要诉求。
着力一场“更懂观众”的演唱会直播，阿里云视频云“窄带高清2.0”在基础模型的效果之上，专属打造了演唱会场景Idol人像定制模版，针对优化人像区域的细节修复生成效果，将Idol的“怼脸直拍”，通过直播清晰还原送到观众屏幕前。
当然，业界已存在一些针对人像修复的处理方案，但这类方案一般是将视频画面中的人脸抠图操作，再单独进行处理。
然而，在演唱会直播转码场景，这类方案存在两个问题：一是对于非正面及人像有遮挡的情况，处理效果不佳会存在比较明显的bad case，因此，直播转码可能会出现意想不到的翻车风险；二是抠像后再处理，整个方案耗时存在不确定性，对于直播50 fps的场景，可能会因此带来卡顿。
因此，窄带高清2.0人像优化功能采用更优的语义分割图引导的图像复原技术，处理模型的输入除了低画质视频，还有该视频对应的语义分割图，而语义分割图用于引导模型更聚焦在人像区域的生成效果。
以下是窄带高清2.0对Idol脸细节修复效果呈现：
左：直播源流 8Mpbs右：窄带高清2.0转码输出 6Mpbs
左：直播源流 8Mpbs右：窄带高清2.0转码输出 6Mpbs
左：直播源流 8Mpbs右：窄带高清2.0转码输出 6Mpbs
针对垂直细分场景的专属修复，阿里云视频云探索不断，去年的NBA赛季，在百视TV NBA转播场景，为了更好地平衡直播流畅性、稳定性和高清画质，窄带高请2.0针对篮球赛事场景进行针对性优化，为百视TV定制了篮球直播赛事的转码模版和AI修复模型，极大提升了画面清晰度和整体视觉表现，观赛效果极佳。
总言之，把握场景特征的专属定制，往往是沉浸视感的点睛一环，利用算法的精妙将场景造势发挥极致。
二、超高清高并发的“零卡顿”，是极致天花板我们显然可见《理想之途》演唱会的热烈之象，百视TV的线上直播间也是空前沸腾，仅仅通过预约阶段158万的人数便可窥见。
再叠加天时之势，恰逢五一假期，演唱会直播19:30-22:30更是一场晚间的超级流量场，这自然带来一个问题：直播质量如何保障？
我们总说，极致流畅、零卡顿播放是直播保障追求的目标，但真实落地绝非易事。对演唱会这类强沉浸强互动的场景，尤其对“时代少年团”的这场光耀的超高清直播，每一次卡顿大概都是情绪的窒息。
于是，当百万受众瞬时涌入，如何守住如此高清质感的直播“零卡顿”？
当然这要受益于阿里云文体直播解决方案系统化的综合能力，全球3200+节点、180+TB带宽储备、全球实时流媒体传输网络（GRTN），足以保障千万级用户高并发下的高品质观看体验。
定制化的全链路灾备与应急预案，和多年大型直播活动积累的最佳实践经验，更是给予了这场超大型演唱会落地的高可靠性。
为了防止在高峰期流量资源抢占带来不良影响，阿里云提前为百视TV就演唱会直播预约情况进行带宽资源准备及锁量，一旦直播过程中，遇到断流或帧率异常，配置的主备流能实现“自动切换”。
正是在这些完备的预案和保障下，即使直播过程中遇到突发情况，也能让观众“毫无察觉”，沉浸于流畅之境。
三、演唱会直播，调动更多感官超大型演唱会直播引发的感官与话题，俨然成为一个时代的文化现象，百万人共屏，千万人共振，数亿级的衍生回荡。
有幸的是，视频云技术在这其中释放淋漓之力。
如今的窄带高清2.0，突破当代视频编码器的能力上限，深度升级了流畅度与高清度，实现在同等画质下更省流、在同等带宽下更高清的商业价值和观看体感，双重满足平台与观众。
不止如此，阿里云文体直播解决方案也在不断丰富，带来极致流畅、视觉饱满、音视沉浸的超现实感受。
在画质优化上，从海量数据中所沉淀的具有美学价值的高质量色彩、亮度转换，通过SDR+频率分解技术，对面部和肤色区域进行专门的色彩处理和保护，使得处理后的画质通透感、清晰度大幅提升。以普惠化的视角，即使观众所用的终端不支持HDR的设备，也能同样获得端侧一致的超高清体验。
在听觉沉浸上，支持杜比音效的基础上，视频云音频团队研发了“音量归一”，展现演唱会直播流畅一致的音量水平，解决音量在不同音频内容上忽大忽小的恶劣体验；而“环绕声”、“人声增强”等技术，在带来更具层次感和弧线感的沉浸体验基础上，去除嘈杂声音干扰，从而更加凸显高质量的人声质感。
这其中，还提出了全景声音频。
全景声音频(Ambisonics格式)是通过独有的双耳渲染技术，转换为含有全部空间信息的双声道音频，在VR头显以及具有陀螺仪的手机设备上，实现自由视角下的声像始终保持统一，达到“人转动声源位置不动”的沉浸式之感。这也是一项提供全景声内容从生产到消费的全链路技术。
在任何一场大型文娱的共频现场，我们渴望更多的感官调动和超现实的链接，基于云的音视频技术在背后默默推动。
回顾这一次的《理想之途》，期待下一次的“乌托邦之境”。
