一种提取图片边缘的算法




# 起源

突发奇想利用边缘提取做了一个图片转线稿的小程序

先来看一下效果：

<img src="https://i.loli.net/2021/10/11/e9G2JMzf1ilEcKB.png" style="zoom: 50%;" />



# 环境

Python 3.8 、PIL、numpy

直接使用pip install 安装即可

```python
pip install pillow
pip install numpy
```

# 思路

众所周知，我们所看到的图片是一副二维图片，由一堆RGB色值各不相同的像素点构成。

那么我们可以将各个像素点的**RGB色值转变为图片的第三维度**，这样图片就由二维平面图变为了三维立体图。

此时我们将这张图片**看作一个实实在在的三维物体**，三维物体表面某点高度由对应二维平面的像素点的RGB色值决定，RGB色值有大有小，自然三维物体**表面就会有高低起伏**。

在某个高度，某个方向上**添加一个点光源照射这个物体**，在光的照射下，物体凹凸不平的表面自然而然就会出现阴影（RGB色值变化越大的地方表面越陡，阴影越深），再**将这些阴影投影回二维平面**，这样就得到了图片的边缘。

# 实现



1. #### 将原图转为灰度图

   为了简化矩阵，提高运算速度，我们对图像进行灰度图转换

2. #### 使用高斯滤波进行降噪

   这个算法对噪点很敏感（你想想平地上突然隆起一个笔直的擎天柱是不是显得特别扎眼）去除噪点影响，方法为使用高斯滤波，使图像模糊，然后使用领域降噪对图像进行降噪处理

3. #### 计算图像梯度

   numpy自带矩阵梯度计算(np.gradient)，该梯度用来作为图像升维参考，梯度值越大，说明图像颜色在该点变化率越大，对应的虚拟深度应该也越大。

4. #### 赋予图像虚拟深度

   因为图像中的RGB值有大有小，直接作为三维高度并不合适，需要经过一些权衡计算来将其转变为三维高度，我们这里结合图像梯度和颜色向量来计算，并预设一个放大深度值，用来放大深度效果。

5. #### 光源设置

   这个需要进行调参了，光源的位置是一个很玄学的问题，位置不同，最后的效果也完全不一样。

   个人觉得光源的最佳位置是与平面俯视角（即z轴与平面的夹角）呈 α =（pi / 2.2 ）°，平面方向角（即x与y的夹角呈β =（pi / 4 ）°，这个角度下提取到的线稿最为清晰。

6. #### 三维梯度转二维灰度

   最后我们需要的是二维矩阵而不是三维矩阵，因此分别求平面各点在xy平面、xz平面、yz平面的投影
   $$
   D_{x},D_{y},D_{z}
   $$
   将三个方向的投影的值相加的和与原色相乘，也就是（灰度化）
   $$
   (D_{x}+D_{y}+D_{z})*255
   $$
   
7. #### 极值处理

   将处理后的图像进行极值处理，RGB值靠近黑色（0）的归为黑色，靠近白色（255）的归为白色，突出边缘。

8. #### 锐化处理

   为了让我们最后的线稿更加清晰，可以对处理后的图片进行一定程度的锐化操作

   # 代码

```python
# 领域降噪
def calculate_noise_count(img_obj, w, h, width, height):
    count = 0
    for _w_ in [w - 1, w, w + 1]:
        for _h_ in [h - 1, h, h + 1]:
            if _w_ > width - 1:
                continue
            if _h_ > height - 1:
                continue
            if _w_ == w and _h_ == h:
                continue
            if img_obj[_w_, _h_] < 230:  # 这里因为是灰度图像，设置小于230为非白色
                count += 1
    return count


# 高斯滤波+锐化+领域降噪的线稿提取方案
def img_ege_get(byte: bytes):
    time = datetime.now()
    byte_stream = io.BytesIO(byte)
    im1 = Image.open(byte_stream).convert('L') # 灰度图
    im = im1.filter(ImageFilter.GaussianBlur(radius=0.75)) # 高斯模糊 75%

    a = np.asarray(im).astype('float')

    depth = 10. # 设定虚拟深度
    grad = np.gradient(a)
    grad_x, grad_y = grad
    grad_x = grad_x * depth / 100.
    grad_y = grad_y * depth / 100.
    # 梯度向量计算
    A = np.sqrt(grad_x ** 2 + grad_y ** 2 + 1.)
    uni_x = grad_x / A
    uni_y = grad_y / A
    uni_z = 1. / A
    vec_el = np.pi / 2.2
    vec_az = np.pi / 4.
    dx = np.cos(vec_el) * np.cos(vec_az)
    dy = np.cos(vec_el) * np.sin(vec_az)
    dz = np.sin(vec_el)

    b = 255 * (dx * uni_x + dy * uni_y + dz * uni_z)
    b = b.clip(0, 255)  # 二值化处理，要么为0，（黑色边缘）要么为255（白色背景）
    im2 = Image.fromarray(b.astype('uint8'))
    im2 = im2.filter(ImageFilter.SHARPEN)
    weight, height = im2.size
    # 降噪
    pim = im2.load()
    map(row_noise, [(pim, height, weight, w,) for w in range(weight)])
    imgByteArray = io.BytesIO()
    im2.save(imgByteArray, format='png')
    imgByteArray = imgByteArray.getvalue()
    print(datetime.now() - time)
    return imgByteArray

# 领域降噪
def row_noise(pim, height, weight, w):
    for h in range(height):
        if calculate_noise_count(pim, w, h, weight, height) < 4:
            pim[w, h] = 255
```

# [源码地址](https://github.com/farewell12345/FAQ-Bot-QQ/tree/master/src/main/Python)

图片转线稿算法

一嗨租车面试比较突然，也没有约面，直接电话打来开始面试，有点猝不及防，这点上体验不太好，但是另一方面来说效率真的还蛮高，两轮技术面，一轮HR面，仅仅用时两天就确认通过面试聊offer了



# 一面
1. 自我介绍
2. Activity启动模式
3. Java 锁
4. 高并发集合（HashMap、List）
5. RxJava有没有了解
6. Android事件分发流程
7. handler组成
8. 线程池
9. 反问

一面总共也就十来分钟，特别快，问完就撤，面试官来也匆匆去也匆匆的感觉。。。
# 二面
一面过了几个小时二面的电话就来了，，，和一面差不多，也是十几分钟就结束了
1. 自我介绍
2. Service的理解
3. 之前实习过程中所学到的东西
4. 有过了解Flutter吗？
5. Set和List的区别
6. 线程池有没有了解
7. 反问
# HR面
1. 未来规划
2. 对岗位是否感兴趣？
3. 在实验室主要负责什么？
4. 如何开展培训？
5. 解答疑问，聊入职相关

[秋招] 一嗨租车 客户端开发岗 一面+二面+HR面

今天（9.14）比心HR突然打电话约面，介于明天后天都有面试和笔试，就约在了今天晚上面试
更新，一面通过，下周二面



# 一面
1. 自我介绍
2. Android启动模式
3. Android生命周期
4. 项目中如何实现网络请求
5. 说一下Handler
6. 说一下Java的锁
7. voilatile关键字修饰下，i++是否会产生线程冲突？
8. 说一下在加类锁的情况下，外部访问static方法和类的对象实例访问会不会产生线程冲突？
9. 有没有自定义View？自定义View有哪些方式？
10. 说一下项目里遇到的难点？
11. 线程池有了解吗？
12. 如何在android里实现多个网络请求同步工作？
13. 反问
# 二面
时隔太久了，有很多记不太清楚了
1. 接触过哪些Android性能优化的方法？
2. 平时如何学习？
3. 说说项目
# 后续
发了offer，但是因为要实习转正，并且在上海，所以只能遗憾地拒绝了

[秋招]比心客户端开发岗（需实习转正）一面+二面+HR

9月6号完成了360一面，目前还在流程中，后续会更新



# 一面
1. 自我介绍
2. Activity生命周期
3. View事件分发流程
4. 线程和进程的区别
5. handler的组成
6. handler里一个handler可以有几个looper？
7. handler是如何实现线程切换的？
8. Android常见的内存泄漏
9. Android里的进程通信有哪些实现方式？
10. Android虚拟机和进程的区别？
11. 如何实现自定义view？
12. Java锁的实现
13. Kotlin协程
14. 问项目
15. 算法题，线程交替打印
16. 反问


面试使用的是牛客，期间频繁掉线，导致面试的时候面试官一直在频繁重连，所以整体体验一般，但是面试官很有趣，留着长发，看着很和蔼，希望能有二面
# 后续
挂了

[秋招]360 Android开发岗 一面

七月初投递百度提前批，七月底完成了一面+二面+三面+加面

之前忙于实习，一直没更，凭借记忆尽量回想一些问题更新一下。



# 一面
1. 自我介绍
2. Android Service的启动方式？
    答：onStart、onBind
3. 说一下MVC、MVP和MVVM的区别以及你对他们的理解？
    答：巴拉巴拉，，，
4. 了解SharedPreferences吗？知道commit和apply的区别吗？
    答：同步和异步，一个是直接写硬盘一个先内存后异步写硬盘，一个有返回没返回
5. 说一下Kotlin的高阶函数？
    答：基于函数式编程思想，本质上类似Java的lambda表达式，map，filter啦之类的，，，
7. 说一下Kotlin的协程？它与线程有什么区别？
    答：协程原理，更适合轻量级的异步任务，程序层面的异步调度，，，，
8. 了解Activity的启动模式吗？有哪几种？
    答：四种，巴拉巴拉，，，，
9. 了解Handler吗？它是干什么的？它有哪些部分组成？
10. 一个Handler里面的Looper最多有几个？
11. Android如果发生了内存泄漏，有哪些可能？
    答：Handler内部类，静态变量滥用，匿名内部类太多巴拉巴拉，，，
13. Android如果发生了ANR，有哪些可能？
14. 介绍一下你的项目，其中有哪些难点？如何解决的？
15. 反问
# 二面
1. 自我介绍
2. 了解Android广播机制吗？本地广播是什么？
3. 如何优化一个ListView？
    答：contentView复用，使用ViewHolder对contentView进行处理
 4. saveInstanceState有了解吗？
     答： 用在当Activity重新启动中用来保存状态并在重新OnCreate的时候恢复，存一个Bundle
 5. Bundle是干什么的？
     答：可以保存Key-Value数据，一般主要用来在Activity中进行通信
 6. Android权限你知道有哪些？如何申请？
     答：读写权限、定位权限、网络权限，，，巴拉巴拉
 7. 问项目
 8. OKHttp了解吗？
     答：只知道它使用了责任链模式
 9. 责任链模式的优缺点？
     答：便于维护和拓展巴拉巴拉，，，
 10. 反问
 # 三面
 三面是部门Leader，问的更加偏向于业务思维
 1. 自我介绍
 2. 问项目
 3. 你认为什么样的广告是好的广告？（提示：可以从展示形式、持续时间来切入）
     答：巴拉巴拉
 3. 了解Fragment吗？它的生命周期能不能说一下？
 5. 你在学习和研发过程中有没有遇到过很棘手的问题，如何解决的？
 6. 了解过SDK开发吗？之前在那家公司实习主要做什么工作？
 7. 有使用过SDK吗？你认为SDK和库的区别是什么？
 8. 之前对百度有了解吗？有接触过相关的业务或者使用过相关的产品吗？
 9. 反问

三面比较快，可能因为面试官有事情，前后只有半个小时不到，然后面试官跟我约了加面，让我简单找资料学一下SDK的设计原则相关的知识，他加面的时候会再问我
 # 加面
 加面比较轻松，基本就是面试官与我闲聊
 1. 你来说说现在你所了解到的关于SDK的相关知识，如何设计研发一款SDK？
 2. 你是如何学习到这些知识的？
 3. 你对日后的规划是怎样的？
 5. 考虑来实习吗？
 6. 面试官对我的评价（很不错，希望把这个offer给我，但是要看人事那边的情况）
 7. 反问
 # 后续
 隔了一个月后，百度提前批结束了，尝试联系面试官，面试官说我面试早就通过了，没有进入下一流程是因为一直需要等待提前批结束后进入排序，面试官说对我的打分并不低，但是由于学校的问题，今年人事卡双一流高校，卡的很严，会帮我准备相关的材料争取一下，但是建议我不要抱太大希望。
### 9.9 简历被流转，重新进入初筛阶段，百度寄摆