Loading...
墨滴

瀟灑

2021/08/27  阅读:27  主题:默认主题

830Yinwenpei

SS51 Katsenou

来源:youtube: Picture Coding Symposium Channel
https://www.youtube.com/watch?v=ici6_QsY-Mc&list=PLLGe2HCSsE-wiXGh2DO8-Vq-7_l9_RZ1Z&index=6
主讲人:Katsenou
内容整理:尹文沛
主题是一种有效估计基于 vemma 的视频自适应流的比特率阶梯的新方法,因为众所周知的视频内容在其参数空间内非常多样化。

目录

Motivation

正如你在图1中看到的,我们有上百个不同的序列,不同的颜色,不同的运动模式,不同的空间信息,不同的静态或不同的动态纹理,导致压缩性能非常不同。除此之外,有的用户会处在多变的网络环境中,网速有快有慢,同时他们还使用多种多样的设备,比如智能手机,笔记本电脑,电视等等。所以我们的目的是旨在以目标比特率提供最佳质量以保证每一个用户的快乐。

图1 视频画面的多样性
图1 视频画面的多样性

在 http 中,自适应流视频内容通常是通过调整其空间分辨率和量化级别以最佳匹配终端用户来编码的,一组分辨率和目标比特率的组合被创建按,就像图1展示的示例一样,这就是我们所说的比特率阶梯。众所周知,对每个视频的所有内容使用固定比特率阶梯的传统解决方案当然得不到最高质量。我们可以肯定地说,一个固定的梯度不适合所有最近播放的所有视频内容。定制的解决方案已被业界报道并采用,例如 netflix,bet,mobin,breitkov dimmer 使用的解决方案。这些解决方案中的一些基于复杂详尽的编码,而另一些解决方案基于问题代码进行复杂性分析,然后决定要使用的基本参数。

Netflix 提出的最好的解决方案之一是 "per title" ,比特率阶梯的定制导致了这个方案的生成,它验证了对内容定制解决方案的需求。现在,如果您想找到最佳方法,那么最佳梯度方法是对不同分辨率和不同参数进行详尽编码。但这意味着我们将有很高的财务成本,但也会有很高的计算成本,时间上也不合算,所以问题是我们如何才能找到最佳比特率梯度以及有效提升该过程的计算效率,这样我们就不需要刚开始就牺牲QoE性能。

Definition of bitrate ladder

图2 比特率梯度的定义
图2 比特率梯度的定义

通常情况下,定义比特率梯度的第一步是选择我们传输视频的目标比特率,这些将代表我们通常所说的比特率等级。和梯度有关数据的可以被定义为一个元组,该元组含有比特率值 ,相关系数 ,量化参数 和分辨率 。质量和比特率必须是单调递增的。我们需要提取计算 Pareto 前沿,对 Pareto front 在速率和质量维度上进行采样,我们通过检查 vemma 运费曲线的斜率确认 vemma 值的变化是否有意义来检查保留的所有阶梯等级是否有意义。

不同的方法构建参考梯度

RL

图3 相关梯度构建
图3 相关梯度构建

这种方法即上一节提到的方法,计算 Pareto front,然后对 Pareto front 进行采样,最后提取比特率梯度。

NIL

图4 朴素插值法构建比特率梯度
图4 朴素插值法构建比特率梯度

这个方法不是在整个 qp 范围内对所有 qp 进行实际编码,而是在不同分辨率下采用等距步长和等距 qp 值,然后根据这些编码进行插值,然后提取帕累托前沿,并基于此建立比特率阶梯。

CIL

图5(a) 内容驱动插值法构建比特率梯度
图5(a) 内容驱动插值法构建比特率梯度

在这里,我们建议使用内容驱动的插值来构建阶梯,而不是使用整个 qp 范围,我们将插值推向更接近帕累托前沿的曲线部分,因此我们实际要做的是找到位置曲线 vm 的饱和度是通过计算曲线的拐点来实现的,如果我们在连续域中,那么拐点是最高曲率的点,这个问题会更容易解决,在这里使用这个公式,但是因为我们在离散域中,所以我们需要找到另一种方法来定义并为此目的估计曲率的最高点我们使用本文中描述的针算法,在这里我们计算曲线的拐点,该算法基于数据中最大曲率点的概念。如果曲线顺时针旋转由连接数据集中最低和最高值的线定义的角度,则集合近似为曲线中局部最大值的一组点。

考虑到所有这些,所提出的方法预测 rq 曲线的最高曲率点,以在对中间 qps 应用分段三次铝热插值后引导最接近帕累托前沿的一小组初始编码,并基于这些值帕累托前沿是,提取此 pareto front 当然会产生最佳解决方案,但其准确性当然取决于每个分辨率执行的编码次数。使用这种方法看到的额外好处是,通过调整编码次数,您可以提高准确性,受保护的帕累托前沿和阶梯与朴素插值相比具有更高的精度。

图5(b) 内容驱动插值法构建比特率梯度
图5(b) 内容驱动插值法构建比特率梯度

总结所有建议的方法使用内容特征来估计每个序列在每个分辨率下的曲线拐点首先提取空间时间特征以预测需要拼接的拐点,然后我们遵循对 nicu 的顺序预测每一步从最高分辨率开始到最低分辨率。我们应用特征选择,特别是递归特征消除。接下来我们训练和测试几种机器学习回归方法,包括支持向量机和不同的内核和随机森林,但我们发现最合适的给我们最好的结果是应用海洋过程,这似乎给我们最好的让我们说预测拐点,以避免过度拟合,我们在得到这些后应用 10 倍随机交叉验证过程预测对应于中点的 qp,最后用 knee points 概念解决一些问题代码。

图5(c) 内容驱动插值法构建比特率梯度
图5(c) 内容驱动插值法构建比特率梯度

Results

图6 评估结果
图6 评估结果

这个结果展示了了,应用CIL方法,复杂性显着降低,以较小的 BD-Rate 成本降低 77.4%,与最佳参考阶梯相比降低 1.04%,同时实现构建具有 77% RL-hits 的阶梯。

瀟灑

2021/08/27  阅读:27  主题:默认主题

作者介绍

瀟灑