2021-04-12技术00
请注意,本文编写于 538 天前,最后修改于 25 天前,其中某些信息可能已经过时。

一种提取图片边缘的算法

起源

突发奇想利用边缘提取做了一个图片转线稿的小程序

先来看一下效果:

环境

Python 3.8 、PIL、numpy

直接使用pip install 安装即可

pip install pillow
pip install numpy

思路

众所周知,我们所看到的图片是一副二维图片,由一堆RGB色值各不相同的像素点构成。

那么我们可以将各个像素点的RGB色值转变为图片的第三维度,这样图片就由二维平面图变为了三维立体图。

此时我们将这张图片看作一个实实在在的三维物体,三维物体表面某点高度由对应二维平面的像素点的RGB色值决定,RGB色值有大有小,自然三维物体表面就会有高低起伏

在某个高度,某个方向上添加一个点光源照射这个物体,在光的照射下,物体凹凸不平的表面自然而然就会出现阴影(RGB色值变化越大的地方表面越陡,阴影越深),再将这些阴影投影回二维平面,这样就得到了图片的边缘。

实现

  1. 将原图转为灰度图

    为了简化矩阵,提高运算速度,我们对图像进行灰度图转换

  2. 使用高斯滤波进行降噪

    这个算法对噪点很敏感(你想想平地上突然隆起一个笔直的擎天柱是不是显得特别扎眼)去除噪点影响,方法为使用高斯滤波,使图像模糊,然后使用领域降噪对图像进行降噪处理

  3. 计算图像梯度

    numpy自带矩阵梯度计算(np.gradient),该梯度用来作为图像升维参考,梯度值越大,说明图像颜色在该点变化率越大,对应的虚拟深度应该也越大。

  4. 赋予图像虚拟深度

    因为图像中的RGB值有大有小,直接作为三维高度并不合适,需要经过一些权衡计算来将其转变为三维高度,我们这里结合图像梯度和颜色向量来计算,并预设一个放大深度值,用来放大深度效果。

  5. 光源设置

    这个需要进行调参了,光源的位置是一个很玄学的问题,位置不同,最后的效果也完全不一样。

    个人觉得光源的最佳位置是与平面俯视角(即z轴与平面的夹角)呈 α =(pi / 2.2 )°,平面方向角(即x与y的夹角呈β =(pi / 4 )°,这个角度下提取到的线稿最为清晰。

  6. 三维梯度转二维灰度

    最后我们需要的是二维矩阵而不是三维矩阵,因此分别求平面各点在xy平面、xz平面、yz平面的投影

    Dx,Dy,DzD_{x},D_{y},D_{z}

    将三个方向的投影的值相加的和与原色相乘,也就是(灰度化)

    (Dx+Dy+Dz)255(D_{x}+D_{y}+D_{z})*255
  7. 极值处理

    将处理后的图像进行极值处理,RGB值靠近黑色(0)的归为黑色,靠近白色(255)的归为白色,突出边缘。

  8. 锐化处理

    为了让我们最后的线稿更加清晰,可以对处理后的图片进行一定程度的锐化操作

    代码

# 领域降噪
def calculate_noise_count(img_obj, w, h, width, height):
    count = 0
    for _w_ in [w - 1, w, w + 1]:
        for _h_ in [h - 1, h, h + 1]:
            if _w_ > width - 1:
                continue
            if _h_ > height - 1:
                continue
            if _w_ == w and _h_ == h:
                continue
            if img_obj[_w_, _h_] < 230:  # 这里因为是灰度图像,设置小于230为非白色
                count += 1
    return count


# 高斯滤波+锐化+领域降噪的线稿提取方案
def img_ege_get(byte: bytes):
    time = datetime.now()
    byte_stream = io.BytesIO(byte)
    im1 = Image.open(byte_stream).convert('L') # 灰度图
    im = im1.filter(ImageFilter.GaussianBlur(radius=0.75)) # 高斯模糊 75%

    a = np.asarray(im).astype('float')

    depth = 10. # 设定虚拟深度
    grad = np.gradient(a)
    grad_x, grad_y = grad
    grad_x = grad_x * depth / 100.
    grad_y = grad_y * depth / 100.
    # 梯度向量计算
    A = np.sqrt(grad_x ** 2 + grad_y ** 2 + 1.)
    uni_x = grad_x / A
    uni_y = grad_y / A
    uni_z = 1. / A
    vec_el = np.pi / 2.2
    vec_az = np.pi / 4.
    dx = np.cos(vec_el) * np.cos(vec_az)
    dy = np.cos(vec_el) * np.sin(vec_az)
    dz = np.sin(vec_el)

    b = 255 * (dx * uni_x + dy * uni_y + dz * uni_z)
    b = b.clip(0, 255)  # 二值化处理,要么为0,(黑色边缘)要么为255(白色背景)
    im2 = Image.fromarray(b.astype('uint8'))
    im2 = im2.filter(ImageFilter.SHARPEN)
    weight, height = im2.size
    # 降噪
    pim = im2.load()
    map(row_noise, [(pim, height, weight, w,) for w in range(weight)])
    imgByteArray = io.BytesIO()
    im2.save(imgByteArray, format='png')
    imgByteArray = imgByteArray.getvalue()
    print(datetime.now() - time)
    return imgByteArray

# 领域降噪
def row_noise(pim, height, weight, w):
    for h in range(height):
        if calculate_noise_count(pim, w, h, weight, height) < 4:
            pim[w, h] = 255

源码地址

本文作者:伞菌

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!