SSIM Introduction
SSIM 是2004年提出来的,原始论文在这里。SSIM相较PSNR更符合人眼的主观感觉,因此在很多图片视频任务中广泛使用,包括压缩,降噪等等。本文简单介绍下SSIM公式,并根据论文On the Mathematical Properties of the SSIM对SSIM做了分析,最后总结了如何在编码器中针对SSIM来做优化。
SSIM简介
SSIM的计算公式如下:
其中l(x, y)代表x, y对于mean的相似度,c(x, y)代表的contrast的对比度,s(x, y)代表的是结构的相似度;他们的计算方式分别如下
其中
而对比度相似度c(x, y)的计算方式与l(x, y)的相似,具体如下
结构相似度s(x, y)无法表示成一个数,作者是把他转换成归一化的向量,然后计算下余弦相似度:
其中
也就是两个相对于均值一起变动的节奏或者波形是否一致。可以考虑一维的情况,协方差在计算的时候会减去均值。
如果
因此SSIM(x, y) 小于1, 大于-1;
On the Mathematical Properties of the SSIM
作者首先把SSIM分成两部分,
然后使用
之后通过构建
在图片或者视频的很多处理中,大部分时候mean都是保持一致的,因此SSIM中的
如何针对SSIM做优化
从以上分析可以看到,SSIM可以近似表示为