[导读] XviD的一些必读【转贴】

『 Silky的XviD 2-pass研究心得--曲线压缩 』 ---- 作者：Silky
结论就是，不要用那些「曲线压缩」比较好 :P
压缩的时候，bitrate 会视压缩的困难程度上下变化（VBR），encoder 的 rate control会控制让压出来的平均 bitrate 接近我们所设定的最终大小。
「曲线压缩」的意思就是将 bitrate 较大的 frame 拉下来，降低一点流量（High bitrate scenes %），bitrate 较小的 frame 补上去，提高一点流量（Low bitrat scenes %）。也就是将原本上下震荡的流量曲线压平一点，最大和最小的差距不要那么大。压得越平，流量曲线就越接近一条固定的直线，也就是变成 CBR。
Alt. Curve 也是做一样的事情，只是参数更复杂。
不过这样实在很没有意义不是吗？本来 bitrate 高的 frame，就是因为这个 frame 需要
较多的 bits 纪录，你现在把它拉下来，画质岂不更惨？而 bitrate 低的 frame，就是不需要花那么多 bits 记录的 frame，你又给它多补一些 bits，岂不浪费？
所以我从 Nandub 开始就一直搞不懂，Koepi 的曲线压缩设计到底是在做什么。
如果有人问我 Nandub 的曲线压缩要怎么设，我一定回答通通不要用 :P
因为我从来没压过流量设得极低的作品，所以无法理解这些曲线压缩究竟有什么用。
根据 Koepi 的说法，当流量极低的时候，很多 frame 的 bitrate 都不够。
此时如果把少数几个 bitrate 很高的 frame 拉低一点，把省下来的 bits 分给其它frame，立刻会对这些游走在底线边缘的 frame 的画质有很大的帮助。
曲线压缩的目的便是牺牲少数几个 frame，让大部分的 frame 增进画质。
而，这少数几个 bitrate 超高的 frame，又通常都是高动态的画面。
人眼对高动态的画面比较无法精确的判断、分辨出画质的好坏。
所以牺牲这几个 frame，增进大部分时间看起来的品质，可以说是相当划算。
好像还蛮有道理的 :P
不过如果曲线压缩的参数设定得不好的话，对画质会有很大的伤害，而且在不是超低流量的情况下，曲线压缩也没有意义。
所以最好的作法还是，让 encoder 自行视情况调节，使用自由的 VBR，这样压出来的结果会越接近 CQ「固定品质」。
（当然，如果流量实在设得超低，CQ 压出来的结果就是「固定烂品质」:P这时适当的运用曲线压缩，以少换多，就有它的价值了）
经过许多人的测试经验，最后的结论就是「linear scaling」的结果最好。
linear scaling 就是不用任何的曲线压缩，1st-pass 以 quant 2 压一遍，2nd-pass 就直接把 1st-pass 压出来的流量曲线整个往下平移，降低 bitrate，达到你所设定的目标大小为止。
由于曲线只是整个往下平移，使得最终的 bitrate 变小，而不改变其原本的震荡幅度，所以称为「线性的调整大小」。
这样，原本复杂，需要高 bitrate 的画面还是分到较多的 bits；简单，不用太多 bitrate 的画面也不会浪费了 bits。
线性调整压出来的结果较接近「完美的 VBR」，也就是固定的平均品质，不会有几个 frame 突然发生明显劣化的情况。
使用 linear scaling 的方法很简单，2nd-pass 的时候，把 Two Pass 设定底下的High bitrate scenes % 和 Low bitrate scenes % 两个设定都设为 0，不使用曲线压缩。
payback delay 一般设为 10 秒，也就是 24fps 的话设 240，30fps 设 300。
同时关闭 Alt. Curve，通通不要用。
这样跑 2nd-pass 的时候就会自动根据 XviD Codec 内建的 scaling 算法，做线性调整。
另一个方法，就是用 Kopei 写的 StatsReader。
（Koepi 后来也建议，使用 linear scaling 较好）
用 StatsReader 读入 1st-pass 的 stats 文件，设定目标档案大小，然后储存一个新的 stats 檔。
XviD 压缩时选 2 Pass - 2nd pass Ext.，Two Pass 设定底下的 2nd pass stats选你刚刚储存的那个 stats 檔。同样曲线压缩、Alt. Curve 等等都要关掉。
这样便会用 Kopei 设计的 linear scale 来做线性调整了。（Koepi 设计的 linear scale 和 Codec 内建的计算法有些不同）
还有，用 NiTroGen 写的 XviD Stats Viewer 也可以做 linear scaling，用法和 Kopei 的相同

不建议使用Alt.Cuv，直接使用linear scale就好了...xxp留

XXP 也收集Silky大大的帖子啊 我也来贴点
这是关于VHQ的那篇
……其实不用指名小弟，论坛上其它前辈也可以回答，指名小弟的话只有小弟进来看，万一小弟事情一忙没有上来的话怎么办 :P

引用 stevenxu 发表的贴子:
1）Maillist上讲的VHQ是什么东东？

简单的说，高品质模式，开了同码率下品质比较好，固定品质下档案比较小。

复杂的说... 真的要复杂的说吗？ :P
（有人要看吗？ ^^;）

我们知道压缩的时候会将画面切成好多个 16x16 大小的小方块作动作预测，每个方块称为 Macroblock。每个 Macroblock 压缩的时候要做好几个选择，首先我们要决定这个 Macroblock 是要独立压缩，压成一个 intra-block，或者是要参考其它画面压缩，压成一个 inter-block。
接下来如果是压成 inter-block，要参考其它画面作预测压缩，那么要使用哪种动作预测模式呢？例如 MPEG-4 有 INTER4V（4MV）模式，一个 Macroblock 可以有 4 个 Motion Vector（动作向量），内部 4 个 8x8 的小方块各自使用一个 MV，各自记录最接近的参考对象。使用 4MV 让内部的小方块各自参考误差最小的对象，可以缩小所需记录的误差值，但是同时需要记录的向量个数也会增加为 4 个，一来一往、此消彼长，到底能不能提高压缩效率并不一定，要看情况。那么是要使用一般的 16x16 方块共享一个 MV 的预测模式（INTER），还是要使用 8x8 方块的 4MV 预测模式（INTER4V），这个 encoder 必须要作决定。

最后 encoder 还要决定找到的参考对象误差是不是很小，如果小到一定程度，我们就可以视为没有误差，不用编码、记录这个 Macroblock 的误差（not coded）。此时如果 MV = (0,0)，也就是参考的对象和目前的方块在画面上的同一位置，那么这个 Macroblock 就可以 skip 掉，完全不记录任何数据，显示的时候直接使用前一个画面相同位置的方块来显示。

Macroblock 要用上面哪种模式压缩，压出来所需的 bit 会最少，encoder 必须要作判断。判断的时候会根据理论上的算式作判断，例如如果 四个SAD8x8的总和 < SAD16x16，我们就把这个方块用 INTER4V 模式压缩。SAD 是 sum of absolute differences 的缩写，误差绝对值的总和，是一种计算、判断、寻找最少误差量的方法。
根据这些简单的计算判断，encoder 可以很快速的决定要用哪种模式压缩。但是这样压出来真的会最小，所需的 bit 真的会最少吗？答案是不一定。可能这个 Macroblock 用 INTER 压缩会比较有效率，压出来所需的 bit 会比较少，但是却被计算式判断为要使用 INTER4V 压缩，白白浪费了许多 bit。
所以 XviD 和 FFMPEG 的开发小组之前就发现，使用 4MV 模式的时候，压缩效率反而不好，就是因为 encoder 的判断太简陋，造成了 4MV 的使用没有效率，使得压出来的档案反而变大。

FFMPEG 首先设计了一个 VHQ 模式，也就是高品质模式，也叫做 brute force。在这个模式底下，encoder 会把 Macroblock 各种可能的压缩模式都压一遍，INTRA/INTER/INTER4V... 都压一次，然后从里面选压出来最小，所需花费的 bit 数最少的一种模式来使用。这样就可以确定，我们选择的压缩模式是最有效率的压缩模式。实验结果证明，使用 4MV 的时候一定要搭配 VHQ 模式，压出来的品质才会最好，档案也会是最小的。不过当然，使用 VHQ 模式压缩的时间也需要比较久。

XviD 现在也设计了这个 VHQ 模式，第一件做的事情（VHQ 设定选项选 "1 - Mode Decision"）就是上面说的 brute force，每种模式都压一次，选最好的。

XviD 的 VHQ 模式做的第二件事情，是 FFMPEG 里面没有的，但是这个功能还是要从 FFMPEG 谈起。
FFMPEG 可以让你自行选择动作估计（ME）的时候使用的「比对最小误差」的计算方法。当我们寻找误差最小的参考对象时，要怎么比较哪个参考位置的误差是最小的呢？一般我们是使用上面提到的 SAD，将两个方块的像素值相减，取绝对值，然后把 16x16 所有的点相减的结果加起来，作为总和的误差。这个计算的方法比较简单，速度很快，效果也很不错。但是 FFMPEG 还提供了其它各种的比较方法让你作测试，有
0. SAD: sum of absolute differences，计算法如上所述
1. SSE: sum of squared errors，和 SAD 差不多，但是不是取绝对值，而是平方，计算复杂度高一点
2. SATD: sum of absolute hadamard transformed differences，将像素值先作 hadamard 转换，然后再比较两个方块 hadamard 转换后系数的绝对值差值。这是 H.264 建议使用的做法，计算复杂度又比 SSE 高
3. DCT: sum of absolute dct transformed differences，先作 DCT 转换，然后比较 DCT 系数的绝对值差值，理论上是最精确的比较法，但是计算复杂度最高
4. PSNR: sum of the squared quantization errors，计算量化误差的平方总和
5. BIT: number of bits needed for the block，计算此方块实际所需的 bit 数
6. RD: rate distoration optimal，利用 Lagrangian 算式找出 rate-distortion 的最佳平衡点

实验证明，次像素的动作检索如果使用比较精确的比对方法，例如 SATD/DCT，品质会提高（这个同时是 H.264 建议的方法）。同时固定码率下，BIT/RD 的比对法也会提升品质。另外 SSE 似乎对动画类型的影片有最好的效果。

XviD 的开发人员看到 FFMPEG 不错的实验结果，也开始着手开发类似的高品质模式。sisKin 一开始是打算使用 DCT 比对法（因为他说虽然 DCT 比 SATD 复杂，但是他发现实际上压缩的时候最耗时的动作不是在 CPU 的计算上，而是在等待内存的存取上，所以使用 SATD/DCT 的速度应该不会差太多），结果后来是使用 BIT 比对法，比较实际上所需的 bit 数最小的。
以前曾说过 ME 的时候做次像素的动作检索，例如 Quarter Pixel，可以提高压缩率，但是那时没仔细说 Quarter Pixel 是怎么做的。如果我们一开始的时候就把整个画面内插，补出 1/4 的像素，然后在这个画面上作检索，这样一定会很慢很慢，因为要搜寻、比对的位置变得很多，范围很大，而且也很没有效率。所以实际上做的时候，我们是先做整数像素的搜寻，找出整数像素上误差最小的位置，然后再内插补出这个位置周围的 1/2 像素，订出八个新的搜寻位置，如下图

代码:--------------------------------------------------------------------------------
y x y x y
x x x x x
y x y x y
x x x x x
y x y x y

y: 整数像素
x: 1/2 像素
中间的 y: 找出来误差最小的整数像素位置，也就是误差最小方块的左上角顶点位置
红色: 新的次像素比对位置
--------------------------------------------------------------------------------

这样我们就只要比对这八个新位置和原来的整数像素位置哪个误差最小，就可以找出 1/2 像素精度误差最小的位置。这么一来就不用内插计算那么多的点，也不用比对那么多的次数，是不是比较有效率呢？
做完 1/2 Pixel 之后，我们可以继续再做 1/4 Pixel 精度的新位置比对，依此类推。

XviD 的 VHQ 功能做的第二件事，就是当确定好了 Macroblock 的压缩模式之后，我们可能会找到有很多位置的误差都相同。因为 SAD 找出来的误差经过量化以后，较小的误差值会被量化为 0。如果 quantizer 很高的话，那么就有可能误差都被量化为 0，这个方块就不需要 coded、记录误差值了，只需要记录 MV 即可。而当使用次像检索的时候，通常邻近周围位置的误差会很接近，经过量化之后，就可能有很多位置的误差结果都变成 0，那么我们就要从这些误差都是 0 的位置里面，找一个 MV 最小的位置，也就是最靠近目前方块的位置来使用，这样不是就可以更进一步的减少记录 MV 所需的 bit 数了吗？
所以 XviD 的 VHQ 模式的 2~4 选项，就是在多做这个额外的最小 MV 搜寻，搜寻范围由 "2 - Limited Search" 到 "4 - Wide Search" 增大，范围越大找到越小 MV 的机会越高，但是所花的时间越长。

但是但是，这个额外的搜寻可以保证找出来的参考位置所需花费的总 bit 数最少，压出来的档案会最小，但是 PSNR，也就是画质却会降低喔!!
为什么呢？因为当 Macroblock 不记录误差值，not coded 的时候，会直接显示 MV 所指向的参考画面中的那一个方块，而不需要再作动作补偿，补上差值（MC）。那么和原本方块误差最小的方块应该是哪一个呢？是我们原先用 SAD 找出来的那一个。不过后来我们又发现附近有其它位置因为 "经过量化" 以后，所需记录的误差 bit 数也变为 0，所以我们又改找其它 "量化后误差为 0"，而 MV 较小的位置，使压出来的 bit 数更小。但是这样却会偏离了我们原先所找出来的最佳位置，其它 MV 较小的位置，其原本的误差是比较大的，所以显示的时候直接拿这个误差比较大的方块来显示，而不是我们原先用 SAD 所找到的误差最小的方块，这样画质就会下降啰。

不知道这样解释好不好懂 ^^;

其实不用理解这么深入，总之：
VHQ 模式 1 一定可以缩小档案、同时提高品质
VHQ 模式 2~4 固定品质（quantizer）压缩，可以让档案更小，但是品质（PSNR）却会下降大概 0.1dB
使用 quanity/2pass 模式压缩时，VHQ 2~4 通常能取得较好的档案大小和 PSNR 比。


2）丢失keyframe的问题是不是一直没解决？昨天我压一个10分钟的片断，竟然只有9个keyframe。哪个版本没有这个问题？

丢失 keyframe？应该解决了呀。如果压出来 keyframe 很少，代表 XviD 判断 Scene Change 场景变换的地方很少，所以不需要插入 keyframe。如果间隔太长造成搜寻段落播放时不方便，可以藉由设定 Maximum I-frame interval 来控制 I-frame 的间隔。MPEG-4 Standard 文件里面有提到，为了避免 iDCT mismatch 的问题，建议每 132 个 inter-block 之后就要强制更新为 intra-block 压缩。目前 XviD 和其它 MPEG-4 encoder 都没有实作这个限制，我们可以自行用 Maximum I-frame interval 这个选项设为 132 来做到这个要求。（I-frame 内的 Macroblock 一定全部以 intra-block 压缩，这样设定的话不管前面如何选择，一定最少每 132 次压缩中就会有一个 intra-block）
不过这个只是建议，不一定要照做，132 的 I-frame 间距对低码率的情况来说，太密集了一点，品质会下降。


3）压VCD的时候，运动物体周围的镶边很严重，怎么办？我试了一些filter都不管用。用Divx3.11压缩的时候，同样的码率，虽然图象质量不够完善，但镶边要少得多，什么道理？

因为 MPEG-4 压缩压缩效率比较高。
因为 VCD 是 CBR，DivX 3.11 是 VBR。

我是怕我写得很乱，大家看不下去，那就白写了 ^^;
虽然我已经简化很多... ^^;;
...例如上面说的 XviD 的 VHQ 2~4 会额外做最小 MV 的搜寻，这个最小 MV 其实并不是数字上最小的 MV。不是数字上最小的 MV？那么什么才是我们要找的最小 MV 呢？因为其实 MV 也会进一步的使用预测来压缩，我们会用周围方块的 MV 来预测目前的 MV 是多少，只要记录其误差值就可以了。所以其实我们要找的最小 MV，是和「预测的 MV」误差最小的 MV，而不是实际上数字最小的 MV（和目前方块最靠近的 MV）。
实际的情况是这样，不过我想如果我上面解释 VHQ 2~4 的时候是这样写，讲得这么复杂，看的人大概会晕掉...




引用 stevenxu 发表的贴子:
还有问题：我说的keyframe丢失是指第一遍和第二遍keyframe数量不一样，一般10万帧的一部影片，第一遍400多个keyframe，第二遍就只剩200不到，而且不管2 pass Int.还是2 pass Ext.都一样。doom9论坛上有人提到过，但是没见人回答。
Maximum I-frame interval好像不起作用，即使在第一遍的时候，设置为100的时候，10万帧的片断也不能得到1000个I帧。

嗯，不清楚您的设置是什么，您有用 B-frame + Modulated Quant 吗？
B-frame + Modulated Quant 会有问题，可能会出现错误的 Frame Type Decision，造成 I-frame 消失。
另外，Maximum I-frame interval 的问题新版已经修正了，不过要注意的是这个数字不包含 B-frame 在内。也就是如果只有 P-frame，间隔设 100，每 100 Frame 就会插入一个 I-frame。但是如果加入 B-frame，因为 B-frame 不会被其它画面参考，B-frame 的误差不会累积、传递给下一个 Frame，所以 B-frame 不包括在这个 Maximum I-frame interval 的计算里面，所以出来的结果就不会每 100 Frame 就插入一个 I-Frame。

这个是正确的，ISO 的每 132 个 inter-block 就要更新为 intra-block 的限制里面也不包含 B-frame 的 block。
这个也就是使用 B-frame 的好处，B-frame 不会被参考，误差不会传递给下一张画面，不影响下一张画面的画质，所以它可以压得比较差一点，quantizer 可以提高，把省下来的码率分给它要参考的 I/P Frame。这样 I/P Frame 的画质很好，B-frame 参考它们压缩，虽然本身的 quantizer 很高，和原本画面的误差很大，但是这个误差比较不容易形成明显的压缩瑕疵。因为参考画面没有瑕疵，不会传递瑕疵给这张 B-frame，B-frame 参考前后两张画面压缩，本来就有时间轴上内插的效果，画面会比较平滑，再加上预测准确，误差小，所以即使 quantizer 高，也比较不容易出现明显压缩瑕疵。但是其实 B-frame 的误差还是很大，画面会劣化，只是这个劣化不会产生明显压缩瑕疵，一般看不出来。（注意看的话还是可以看出，会感觉画面有一种周期性的骚动感）

所以一般的 encoder 预设会降低 B-frame 的品质，XviD 预设是 150/100，DivX 5.02 就更高了，我记得当 I/P Frame 固定 quantizer 是 2 的时候，B-frame 就已经是 4 了，I/P Frame quantizer 越高，B-frame 会越高，所以 DivX 5.02 的 B-frame 都非常小。DivX 5.02 的这个默认值可以修改 registry 的 "Bidir quant multiplier" 来变更。

扯远了，所以如果有使用 B-frame，Maximum I-frame interval 的数字就不会按照全部的 Frame 数目来计算，而会把 B-frame 排除在外。如果觉得间距太长不方便搜寻播放，可以再缩短 Maximum I-frame interval 的设定来调整。不过一般来说，没有误差累积的问题的话，I-frame 不是越少越好，尤其在低码率的时候


第三个问题怪我没说清楚，我是把55分钟左右的VCD压缩成230MB（其中视频190MB）的AVI，用XVID的时候镶边很严重，DIVX3.11就轻得多。

喔，我弄错意思了。
压 VCD 我没有经验，不过我的看法大致和大家相同，大概是 XviD 保留细节太多，画面太锐利，造成容易出现明显瑕疵。
您的设定是？我想也许用 H.263 Quant 会比较好一点。

XviD 用 MPEG Quant 的话 noise 感很重，一般的 MPEG-1/MPEG-2 encoder 会用 Adaptive Quant，每个 Macroblock 的 quantizer（MQUANT，MPEG-4 叫 DQUANT）会视情况变化，不是整个画面都一样。XviD 只有在用 Lumi masking 的时候才有这种功能，否则画面上全部的 Macroblock 的 quantizer 都一样。而且 MPEG-4 先天有个限制，Macroblock 和 Macroblock 之间最大的 DQUANT 差距不可以相差超过 3，所以它的弹性很小，限制比较多，无法像 MPEG-1/MPEG-2 那样运用自如。不知道是不是因为这个原因，还是说 MPEG-4 的 MPEG Quant 还有其它 bug（MPEG-4 的缺点太多了，有些设计简直让人吐血），我觉得 XviD 的 MPEG Quant noise 很严重，尤其是锐利线条周围，很容易出现 ringing effect。所以我后来都只用 H.263 Quant。而 DivX 5 也是使用 H.263 Quant，也只能用 H.263 Quant，不知道他们是不是也遭遇到这种 MPEG Quant 的问题。
MPEG-4 真是烂毙了... >_<

更新最新的版本看看，最近 XviD 又改进了很多，例如 sysKin 的 VHQ 模式（不能和 GMC 一起用，目前 B-frame 不会使用 VHQ，只对 P-frame 有效），pete 的高品质 AC 预测模式（intra-block 独立压缩很消耗 bit，MPEG-4 会用 DC/AC 预测进一步缩减 intra-block 的大小，pete 的这个高品质预测模式可以进一步提高 intra-block 的压缩率，虽然只有一点点，.01% ^^;;），应该会进步很多。安装前记得先把旧版本删除掉。