角点检测 - 计算机视觉算法与实践-从入门到精通

要检测图像中对象的角点，可以先检测边缘，然后确定两条边缘的交点。然而，还有其他方法，其中包括：

Moravec检测器 [Moravec 1980]，
Harris检测器 [Harris & Stephens 1988]。

Moravec检测器¶

该检测器的原理是观察一个子图像在所有方向上移动一个像素时是否发生显著变化。如果发生显著变化，则所考虑的像素是一个角点。

在数学上，图像中每个像素 $(m,n)$ 的变化由 $E_{m,n}(x,y)$ 来表征，它表示偏移 $(x,y)$ 后子图像之间的差异：

\forall m,n,x,y \qquad E_{m,n}(x,y) = \sum_{u,v} w_{m,n}(u,v) \big[f(u+x,v+y)-f(u,v)\big]^2

(1)

其中：

$x$ 和 $y$ 表示四个方向上的偏移： $(x,y) \in \{(1,0),\,(1,1),\,(0,1),\,(-1,1)\}$ ,
$w_{m,n}$ 是围绕像素 $(m,n)$ 的一个矩形窗口，
$f(u+x,v+y)-f(u,v)$ 是子图像 $f(u,v)$ 与偏移后的图像块 $f(u+x,v+y)$ 之间的差异，

在每个像素 $(m,n)$ 处，保留 $E_{m,n}(x,y)$ 在四个方向上的最小值，并记为 $F_{m,n}$ 。最后，检测到的角点对应于 $F_{m,n}$ 的局部最大值，即在像素 $(m,n)$ 处， $E_{m,n}(x,y)$ 的最小值较大。

事实证明，Moravec检测器有几个局限性。首先， $w$ 是一个二值窗口，因此检测器对窗口中的所有像素都给予相同的权重。当图像中的噪声很高时，可能导致错误的角点检测。其次，只考虑了四个方向。第三，由于只考虑了 $E$ 的最小值，检测器对边缘仍然非常敏感。由于这些原因，Harris提出了一个检测器来克服这些局限性。

Harris检测器¶

为了避免噪声响应，Moravec检测器的矩形窗口 $w$ 在 $E_{m,n}(x,y)$ 的表达式中被替换为高斯窗口 $w$ 。

为了将Moravec检测器扩展到所有方向，而不仅限于最初的四个方向，对移位的子图像 $f(u+x,v+y)$ 进行泰勒级数展开：

\begin{align} f(u+x,v+y) &\approx f(u,v) + x \,\partial_x f(u,v) + y \,\partial_y f(u,v) \\ f(u+x,v+y) - f(u,v) &\approx x \,\partial_x f(u,v) + y \,\partial_y f(u,v) \end{align}

(2)

因此：

E_{m,n}(x,y) \approx \sum_{u,v} w_{m,n}(u,v) \big[ x \,\partial_x f(u,v) + y \,\partial_y f(u,v) \big]^2

(3)

这个表达式可以写成以下矩阵形式：

E_{m,n}(x,y) \approx \begin{pmatrix} x & y \end{pmatrix} M \begin{pmatrix} x \\ y \end{pmatrix}

(4)

其中

M = \sum_{u,v} w_{m,n}(u,v) \begin{pmatrix} (\partial_x f)^2 & \partial_x f \,\partial_y f \\ \partial_x f \,\partial_y f & (\partial_y f)^2 \\ \end{pmatrix}

(5)

矩阵 $M$ 是结构张量，由图像的一阶导数构建而成。它是一个对称矩阵，其特征值 $\lambda_1$ 和 $\lambda_2$ 提供了关于窗口 $w$ 内局部图像结构的信息。请注意，这与基于二阶导数的海森矩阵不同。

结构张量的特征值可以解释如下（如 Figure 2 所示）：

平坦区域：如果两个特征值 $\lambda_1$ 和 $\lambda_2$ 都很小，这意味着在任何方向上的强度变化都很小。
边缘：如果一个特征值很大而另一个很小（例如 $\lambda_1 \gg \lambda_2$ ），这表示在一个方向上有强梯度，但在正交方向上没有。
角点：如果两个特征值都很大（ $\lambda_1$ 和 $\lambda_2$ 都很大，且 $\lambda_1 \approx \lambda_2$ ），这表示在多个方向上有显著的强度变化，这对应于一个角点。

计算 $M$ 的特征值可能很困难，因此一个替代方法是计算：

R = \mathrm{det}(M) - k (\mathrm{trace}(M))^2 = \lambda_1 \lambda_2 - k(\lambda_1 + \lambda_2)^2

(6)

其中 $0.04 < k < 0.06$ 。

因此， $R$ 的值在平坦区域较低，在边缘上为负，在角点上为正 (Figure 3)。

Harris检测器在 Figure 5 的例子中得到了说明。

Harris检测器。
二值图像表示系数 R 的负值（轮廓）、弱值（平坦区域）和正值（角点）。 — Figure 5:Harris检测器。二值图像表示系数 $R$ 的负值（轮廓）、弱值（平坦区域）和正值（角点）。

代码示例¶

这是一个使用 scikit-image 库进行Harris角点检测的示例。我们将使用一个棋盘格图像，这对于演示角点检测非常理想。

import matplotlib.pyplot as plt
from skimage import data
from skimage.feature import corner_harris, corner_subpix, corner_peaks

# 配置中文字体支持
plt.rcParams['font.sans-serif'] = [
    'Noto Sans CJK SC', 'Noto Sans CJK JP', 'SimHei',
    'Microsoft YaHei', 'WenQuanYi Micro Hei', 'DejaVu Sans'
]
plt.rcParams['axes.unicode_minus'] = False

# 创建一个样本图像
image = data.checkerboard()

# 计算Harris角点响应图像
coords = corner_peaks(corner_harris(image), min_distance=5, threshold_rel=0.02)

# 寻找亚像素角点估计
coords_subpix = corner_subpix(image, coords, window_size=13)

# 显示结果
fig, ax = plt.subplots()
ax.imshow(image, cmap=plt.cm.gray)
ax.plot(coords[:, 1], coords[:, 0], '.b', markersize=3)
ax.plot(coords_subpix[:, 1], coords_subpix[:, 0], '+r', markersize=15)
ax.axis((0, 350, 350, 0))
plt.show()