LSI系统与变换

发表于 2024-08-29 更新于 2024-09-11

讲解基于信号处理的图像二维卷积和傅里叶变换，以及图像采样。

图像分解和线性移位不变图像处理系统

数字图像可以用具有两个整数参数的二维函数表示，例如$f(x, y)$，其中$x$和$y$是整数。

基本元素图像是脉冲

\[\delta(x, y) = \begin{cases}1,&x=y=0\\0,&\text{Otherwise}\end{cases}\]

转移并缩放脉冲

\[f(x, y) = c\delta(x-i, y-j) = \begin{cases}c,&x=i,y=j\\0,&\text{Otherwise}\end{cases}\]

它描述任意某个像素，且其他像素灰度值为零。任何图像$f(x,y)$都可以用多个移位和缩放脉冲的总和来表示。

\[f(x,y)=\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty f(i,j)\delta(x-i,y-j)\]

或

\[f(x,y)=\sum_{j=-n}^n\sum_{i=-m}^m f(i,j)\delta(x-i,y-j)\]

例如，以$(0,0)$为中心，大小为$11\times11$的常数灰度级$215$正方形为：$f(x,y)=\sum_{j=-5}^5\sum_{i=-5}^5215\delta(x-i,y-i)$

二维卷积及其性质

一个处理系统将任意输入图像$f(x,y)$变换为唯一的输出图像$g(x,y)$。这个过程可以表示为：

\[g(x,y)=T\{f(x,y)\}=T\left\{\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty f(i,j)\delta(x-i,y-j)\right\}\]

其中$\delta(x-i,y-j)$是二维的单位冲激函数，用于对输入图像进行采样。

如果处理系统是线性的，那么

\[g(x,y)=T\{f(x,y)\}=\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty T\left\{f(i,j)\delta(x-i,y-j)\right\}\]

如果我们定义对输入冲激图像$\delta(x,y)$的输出图像为系统的脉冲响应$h(x,y)\triangleq T\{\delta(x,y)\}$，那么对于平移不变系统，有：

\[T\{\delta(x-i,y-j)\}=h(x-i,y-j)\]

因此，给定输入图像$f(x,y)$，线性平移不变（Linear and Shift-Invariant，LSI）图像处理系统$T$通过以下方式生成输出图像$g(x,y)$

\[\begin{aligned}g(x,y)&=T\{f(x,y)\}=\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty f(i,j)h(x-i,y-j)\\&\triangleq f(x,y)*h(x,y)=\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty f(i,j)h(x-i,y-j)\end{aligned}\]

（就是二维的卷积运算）

LSI系统完全由其脉冲响应$h(x,y)$来表征，对于任何LSI图像处理系统，输出图像等于输入图像与系统的脉冲响应卷积。

交换律：$f(x,y)*h(x,y)=h(x,y)*f(x,y)$
结合律：$f(x,y)*(h_1(x,y)*h_2(x,y))=(f(x,y)*h_1(x,y))*h_2(x,y)$
分配律：$f(x,y)*(h_1(x,y)+h_2(x,y))=f(x,y)*h_1(x,y)+f(x,y)*h_2(x,y)$

图像处理系统的脉冲响应$h(x,y)$是当一个脉冲图像输入到系统时，系统输出的图像。因此，脉冲响应$h(x,y)$也是一个图像，通常称为滤波器或滤波器掩模或滤波器系数或滤波器参数的空间表示。虽然脉冲响应$h(x,y)$基本上是一幅图像，但为了加快图像处理速度，与大小为$256\times256$的正常图像相比，它通常是一幅小尺寸的图像，例如$3\times3$、$5\times5$、…、$11\times11$。

\[g(x,y)=f(x,y)*h(x,y)=\sum_{j=-\infty}^\infty\sum_{i=-\infty}^\infty h(i,j)f(x-i,y-j)=\sum_{j=-3}^3\sum_{i=-3}^3 h(i,j)f(x-i,y-j)\]

其中$h(x,y)\neq0$仅当$-3\lt x,y\lt3$

（其实就是卷积核）

二维傅里叶变换及其性质

形象展示傅里叶变换

设$f(x)$为单变量$x$的连续函数，$F(u)$为其傅里叶变换，则

\[F(u)=\mathfrak{F}\{f(x)\}=\int_{-\infty}^{+\infty}f(x)\text{e}^{-2\pi\text{i}ux}\text{d}x\]

\[f(x)=\mathfrak{F}^{-1}\{F(u)\}=\int_{-\infty}^{+\infty}F(u)\text{e}^{2\pi\text{i}ux}\text{d}u\]

其中，$u$为频率变量，$\text{i}$为复数单位（课件用的$\text{j}$），$\text{i}=\sqrt{-1}$

二维傅里叶变换和逆傅里叶变换由下式给出

\[F(u,v)=\mathfrak{F}\{f(x,y)\}=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)\text{e}^{-2\pi\text{i}(ux+vy)}\text{d}x\text{d}y\]

\[f(x,y)=\mathfrak{F}^{-1}\{f(x,y)\}=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}F(u,v)\text{e}^{2\pi\text{i}(ux+vy)}\text{d}u\text{d}v\]

其中$u$和$v$是两个频率变量

大小为$m\times n$的二维离散函数（或图像）$f(x,y)$的离散傅里叶变换（DFT）定义为：

\[F(u,v)=\sum_{x=0}^{m-1}\sum_{y=0}^{n-1}f(x,y)\text{e}^{-2\pi\text{i}(\frac umx+\frac vny)}\]

\[f(x,y)=\frac1{mn}\sum_{u=0}^{m-1}\sum_{v=0}^{n-1}F(u,v)\text{e}^{2\pi\text{i}(\frac umx+\frac vny)}\]

DFT的性质：

周期性：$F(u,v)=F(u+m,v)=F(u,v+n)=F(u+m,v+n)$
实像$f(x,y)$的共轭对称性：$F(u,v)=F^*(-u,-v)$，$\lvert F(u,v)\rvert=\lvert F(-u,-v)\rvert$
线性和缩放：$\mathfrak{F}\{\alpha f_1(x,y)+\beta f_2(x,y)+\cdots\}=\mathfrak{F}\{\alpha f_1(x,y)\}+\mathfrak{F}\{\beta f_2(x,y)\}+\cdots$，$\mathfrak{F}\{f(\alpha x,\beta y)\}=\frac1{\lvert\alpha\beta\rvert}F(\frac u\alpha,\frac v\beta)$
卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积

平移：

\[f(x-x_0,y-y_0)\Leftrightarrow F(u,v)\text{e}^{-2\pi\text{i}\left(\frac umx_0+\frac vny_0\right)}\]

\[F(u-u_0,v-v_0)\Leftrightarrow f(x,y)\text{e}^{-2\pi\text{i}\left(\frac{u_0}mx+\frac{v_0}ny\right)}\]

旋转：

\[\begin{cases}x=r\cos\theta\\y=r\sin\theta\\u=\omega\cos\theta\\v=\omega\sin\theta\end{cases}\]

\[f(r,\theta+\theta_0)\Leftrightarrow F(\omega,\theta+\theta_0)\]

旋转不变变换：

\[g(u,v)=\frac1\pi\int_0^{2\pi}\int_0^1f(r,\theta)\text{e}^{-\text{i}(2\pi ur^2+v\theta)}\text{d}r\text{d}\theta\]

图像采样

数字图像$f_d(m,n)$是通过对连续类比图像$f_c(x,y)$进行采样和量化而得到的。其中，采样将连续变量$x$，$y$转换为整数$m$，$n$，量化将连续变量$f_c$转换为有限数字集$f_d$。由于量化对图像处理的影响小于采样，因此我们将更多地关注采样过程和理论。

给定一个连续类比图像$f_c(x,y)$，通过以下数学公式可以很容易地得到其离散图像$f_d(m,n)$

$f_d(m,n)=f_c(m\Delta x,n\Delta y)$

如果二维函数$f_c(x,y)$的傅里叶变换$F_c(u,v)$在有界空间频率支持之外为零，则该函数是带限函数。比如

\[F_c(u,v)=0\ (\lvert u\rvert\gt U_0,\lvert v\rvert\gt V_0)\]

其中$2U_0$和$2V_0$被称为2D函数的$x$和$y$带宽。

实际上，真实世界的图像可以很好地通过带限信号来近似。

定义一个2D采样函数

\[s(x,y)=\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}\delta(x-m\Delta x,y-n\Delta y)\]

它的傅里叶变换如下

\[S(u,v)=\frac1{\Delta x\Delta y}\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}\delta\left(u-\frac m{\Delta x},v-\frac n{\Delta y}\right)\]

将连续图像$f_c(x,y)$与采样图像$s(x,y)$相乘，得到

\[f_d(x,y)=f_c(x,y)s(x,y)=\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}f_c(m\Delta x,n\Delta y)\delta(x-m\Delta x,y-n\Delta y)\]

采样图像$f_d(x,y)$在连续域的傅里叶变换为：

\[\begin{aligned}F_d(u,v)&=F_c(u,v)*S(u,v)\\&=\frac1{\Delta x\Delta y}\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}F_c(u,v)*\delta(u-\frac m{\Delta x},v-\frac n{\Delta y})\\&=\frac1{\Delta x\Delta y}\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}F_c(u-\frac m{\Delta x},v-\frac n{\Delta y})\\&=\frac1{\Delta x\Delta y}\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}F_c(u-mf_{xs},v-nf_{ys})\end{aligned}\]

它是$F_c(u,v)$的周期性复制，位于间距为$\left(\frac1{\Delta x},\frac1{\Delta y}\right)$的矩形网格上。

采样图像$f_d(x,y)$的频谱由连续$f_c(x,y)$图像的频谱组成，该图像在间距为$\left(\frac1{\Delta x},\frac1{\Delta y}\right)$的矩形网格中在频率平面上无限重复。

如果$x$、$y$采样频率大于带宽，或者采样间隔小于带宽的倒数，即$f_{xs}=\frac1{\Delta x}\geq2U_0$且$f_{ys}=\frac1{\Delta y}\geq2V_0$，那么可以使用具有以下频率响应的低通滤波器从$F_d(u,v)$中恢复$F_c(u,v)$

\[H(u,v)=\begin{cases}\Delta x\Delta y&,(u,v)\in\mathfrak R\\0&,\text{Otherwise}\end{cases}\]

也就是

\[\begin{aligned}F_c(u,v)&=F_d(u,v)H(u,v)\\f_c(x,y)&=f_d(x,y)*h(x,y)\\&=h(x,y)*\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}f_c(m\Delta x,n\Delta y)\delta(x-m\Delta x,y-n\Delta y)\\&=\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}f_c(m\Delta x,n\Delta y)h(x,y)*\delta(x-m\Delta x,y-n\Delta y)\\&=\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}f_c(m\Delta x,n\Delta y)h(x-m\Delta x,y-n\Delta y)\\&=\sum_{m=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty}f_c(m,n)h(x-m\Delta x,y-n\Delta y)\end{aligned}\]

因此，可以从离散图像$f_d(m,n)$中恢复连续图像$f_c(x,y)$的所有信息。

采样定理

如果采样率$(f_{xs},f_{ys})$$大于奈奎斯特频率，则可以根据采样值$f_c(mx,ny)= f_d(m,n)$无误地恢复出带宽为$(2U_0,2V_0)$的带限图像$f_c(x,y)$，该矩形网格间距为$(x,y)$。

所需采样率的下限，即带宽，称为奈奎斯特速率或奈奎斯特频率。它们的倒数称为奈奎斯特间隔。

低于奈奎斯特频率的采样将导致$F_c(u,v)$的周期性复制重叠，从而产生失真的频谱$F_d(u,v)$，其中$ F_c(u,v)$不可挽回地丢失，这种现象称为混叠。

通过在采样之前对图像$f_c(x,y)$进行低通滤波以使其带宽小于采样频率，可以避免或减少混叠。

终于整理好了，后面一堆看不懂，真是一坨大的。