摘要

  传统相机通过镜头将图像映射到二维传感器阵列，阵列上每个像素采集局部光强。单像素成像则通过调制器依次投射预设的图案，然后通过单点探测器记录每次投射照明下的整体光强，然后再由计算机重构图像。它与关联成像、鬼成像和压缩感知密切相关，为复杂场景提供了另一种成像方案。本文从传统成像出发，简要介绍单像素成像的基本原理，再到傅里叶、哈达玛、DCT图案、离散W图案和图案生成到图像重构的流程，并讨论一下采样率、分辨率、差分测量、动态成像及深度学习这几个方向。

1.传统成像

  传统相机：通过小孔成像原理，将画面聚焦到相机的胶片上，然后胶片上的感光剂随着光照发生变化，形成影像。
  数码相机：与传统相机类似，不过是将画面聚焦到像素阵列的CCD或CMOS上，将光信号转化成电信号。然后通过处理器加工计算成图像并存储到相机的内存当中。

  现代工业针对于传统成像方法已经非常成熟了，但是针对复杂场景下的成像问题，比如红外、太赫兹、X射线等波段，传统成像仍然存在价格昂贵、噪声高或难以制作的问题。

2.单像素成像

什么是单像素成像？

  单像素成像（Single-Pixel Imaging，SPI）是一种通过空间光调制器（常见为数字微镜器件DMD）生成一系列图案。然后通过一个单像素的桶探测器，经过多轮图案变换，收集每轮的光强数据，然后通过关联算法重构物体图像的一种成像方法。

2.1 鬼成像

  典型鬼成像把光分成两路，其中信号光路经过目标物体，由桶探测器记录总光强，参考光路记录空间分布，不与物体相互作用。虽然桶探测器只记录总光强，但是通过关联计算，可以把参考图案与桶信号联系起来，从相关性中重构图像。

2.2 计算鬼成像与单像素成像

  计算鬼成像(CGI)，也称单像素成像，去掉了参考光路，使用计算机生成已知图案，然后通过相关计算重构图像的一种方法。

  当图案由计算机产生，通过 DMD 等器件投射到目标物体后，桶探测器记录每次投射的总光强，然后通过关联计算重构图像的方法被称为计算鬼成像或单像素成像，本文主要探讨的就是这种成像方法。

3 单像素成像图案生成

  早期单像素成像图案使用的是随机图案，这使得重建图像的质量和效率都很低。

如图，针对256*256像素的图片使用随机图案采样，即使采样率高达200%的情况下重构图像依然质量不高，而且采样耗时将近40秒。

所以为了保证在低采样率下能够高质量快速重构图像，使用正交图案成为了关联成像的重要方向。

4. 正交图案：傅里叶变换、哈达玛变换、DCT与DWT

  正交图案是指一组按照特定数学规则生成，彼此具有正交关系的照明图案。几种常见的正交关系有：傅里叶基、哈达玛基和离散余弦变换

4.1 傅里叶变换

  傅里叶基的核心思想是：任何满足一定条件的图像，都可以表示为一组不同频率、不同幅度的正弦波和余弦波的叠加。
  如下图所示，三种不同空间频率对应着不同的变化

  例如，人物的明暗分布，对应低空间频率。
  人物的边缘、轮廓等纹理，包含中高空间频率。
  人物的纹理细节，包含较高空间频率。

  傅里叶变换将原始图像的像素位置、亮度，转化为图像由哪些空间频率组成，以及频率的强弱和方向。如图，图像越靠近中心的部分频率越低，越靠近外围频率越高

  当前频谱图的中心低频区域相比外围高频区域亮度更亮，说明这张图像存在较强的低频成分。针对于一般图像而言，大部分图像的二维傅里叶变换图都是低频成分大于高频成分。也就是说，如果我们即使只针对低频区域进行重构，在丢失部分数据的情况下，图像依旧可以保留大部分重要信息。

  可以看到，即使只保留5%的采样下，依旧能够恢复差不多的图像。
  所以，使用傅里叶基可以保证在低采样率的情况下依旧可以重构图像。

4.2 哈达玛变换

  哈达玛矩阵（Hadamard Matrix）是一种正交矩阵，它是由一组+1和-1组成的正交基函数的线性组合。
  简单来讲，傅里叶变换通过正弦和余弦来分析图像，而哈达玛变换使用+1和-1组成特殊图案来分析图像。

$$ \mathbf{H}_2 = \begin{bmatrix} 1 & 1 \\\\ 1 & -1 \end{bmatrix}\qquad $$