SSIM Introduction

SSIM 是2004年提出来的，原始论文在这里。SSIM相较PSNR更符合人眼的主观感觉，因此在很多图片视频任务中广泛使用，包括压缩，降噪等等。本文简单介绍下SSIM公式，并根据论文On the Mathematical Properties of the SSIM对SSIM做了分析，最后总结了如何在编码器中针对SSIM来做优化。

SSIM简介

SSIM的计算公式如下：

\[ S(x, y) = f(l(x, y), c(x, y), s(x, y)) \]

其中l(x, y)代表x, y对于mean的相似度，c(x, y)代表的contrast的对比度，s(x, y)代表的是结构的相似度；他们的计算方式分别如下

\[ l(x, y)=\frac {2\mu_x \mu_y + C_1} {\mu_x^2 + \mu_y^2 + C_1} \]

其中\(\mu_x\), \(\mu_y\) 分别为块的均值；其中\(\mu_x\), \(\mu_y\)相差越大，\(l(x, y)\)就越小；

而对比度相似度c(x, y)的计算方式与l(x, y)的相似，具体如下

\[ c(x, y) = \frac{2\sigma_x\sigma_y + C_2}{\sigma_x^2+\sigma_y^2 + C_2} \]

结构相似度s(x, y)无法表示成一个数，作者是把他转换成归一化的向量，然后计算下余弦相似度:

\[ s(x, y) = \frac{\sigma_{xy} + C_3}{\sigma_x\sigma_y + C_3} \]

其中\(\sigma_{xy}\)为x, y的covariance，expected value of the product of their deriations from there individual expected values. 计算方式为

\[ \sigma_{xy} = \frac{1}{N-1}\sum_{i=1}^N(x_i - \mu_x)(y_i - \mu_y) \]

也就是两个相对于均值一起变动的节奏或者波形是否一致。可以考虑一维的情况，协方差在计算的时候会减去均值。

如果\(C_3 = C_2/2\)，最终的SSIM的公式为

\[ SSIM(x, y) = \frac{(2\mu_x\mu_y + C1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)} \]

因此SSIM(x, y) 小于1， 大于-1；

On the Mathematical Properties of the SSIM

作者首先把SSIM分成两部分，

\[ S_1(x,y) = l(x,y) = \frac{2\mu_x\mu_y + C_1}{\mu_x^2 + \mu_y^2 + C_1} \\ S_2(x,y) = \frac{2\sigma_{xy} + C_2}{\sigma_x^2 + \sigma_y^2 + C_2} \]

然后使用\(d_1 = \sqrt{1 - S_1}\)和\(d_2 = \sqrt{1 - S_2}\)作为normalized metrics; 作者先证明了NRMSE是一个metrics，然后说明\(d_1\)和\(d_2\)是NRMSE的一种。NRMSE的定义如下

\[ NRMSE(x,y,c) = \frac{||x-y||_2}{\sqrt{||x||_2 + ||y||_2 + c}} \]

之后通过构建\(D_2 := ||d(x,y)||_2 = \sqrt{2 - S_1(x,y) - S_2(x, y)}\)来表示一个距离，\(||d(x,y)||_2\)是\(\sqrt{1-SSIM(x,y)}\)的低阶近似。

在图片或者视频的很多处理中，大部分时候mean都是保持一致的，因此SSIM中的\(c(x,y)\)和\(s(x,y)\)更加重要。作者也通过计算SSIM和\(D_2\)的相关性，可以看出图像的均值相差不大的情况下，SSIM和其他\(D_2\)的相关性是很高的，大于0.967；

如何针对SSIM做优化

从以上分析可以看到，SSIM可以近似表示为\(d_2\)，\(d_2\)可以理解为相对损失，因此相同的SSIM分数下，复杂的块，也就是\(\sigma_x\) 更大的块，可以允许有更大的损失。也可以把SSIM理解为weighted MSE，加权的因子是\(\frac{1}{\sigma_x}\)，因此简单的块有更大的权重。在图片或视频压缩中，可以针对简单区域分配更多的比特从而优化SSIM的表现。