RoboMaster视觉组-相机选型指北

写在前面

对于Robomaster强队来说，工业相机是机器人身上不可或缺的一部分。但工业相机型号繁多、参数复杂，该选择什么型号的工业相机、搭配什么参数的镜头，之前不是相机爱好者的话，往往一头雾水。本文即是写给那些一头雾水的RMer的。

当然，我也不是什么专业人士，只是一个蒟蒻大学生而已，如有错误，还请指正。

一、相机简单分类

1. 按使用情况分类

相机类型	说明
USB相机	成本低，帧率较低，成像一般 \|
工业级相机	成本偏高，一般分相机与镜头组合，成像根据焦距决定，帧率较高 \|
深度相机	成本偏高，可以获得深度信息，帧率一般，成像一般 \|

2. 按色彩分类

相机类型	说明
彩色	适用于景物细部辨别。但又因为颜色而使其信息量增大，一般为黑白摄像头的10倍 \|
黑白	适用于光线不足地区，若仅用于监视物体的运动与位置时，可选。分辨率、帧率通常高于彩色摄像头 \|

3. 按感光芯片类型分类

相机类型	信息读取方式	速度	电源及耗电量	成像质量	总结
CCD	CCD电荷耦合器存储的电荷信息需要在同步信号控制下，一位一位地实旋转移后读取，电荷信息转移和读取输出需要有时钟控制电路和三组不同的电源相配合，整个电路较为复杂	在同步时钟的控制下，以行为单位一位一位地输出信息，速度较慢	需要三组电源供电，耗电量较大	由于该技术起步较早，重现质量相对于CMOS光电传感器有一定的优势	优势：成像质量好；缺点：制造工艺复杂，成本贵
CMOS	CMOS光电传感器经光电转换后直接产生电流（或电压）信号，信号读取十分简单	在读取电信号的同时也可以处理各单元的图像信息，速度比CCD快很多	只需要一个电源，耗电量非常小，仅为CCD的1/8或1/10，CMOS光电传感器在节能方面有巨大的优势	近几年来电路消噪技术不断发展，成像质量也较为良好	CMOS结构相对简单，与现有的大规模集成电路生成工艺相同，成本较低

由于暂时只使用过CMOS芯片的相机，所以下文默认为CMOS相机。

4. 按传感器类型分类

相机类型	图像细节决定因素	优缺点	适用范围	备注
线阵相机	逐行数模转换	一维像元数可以做得很多，而总像元素较面阵相机少，而且像元尺寸比较灵活，帧幅数高，特别适用于一维动态目标的测量，成本昂贵，检测速度相对较低	大幅面高速运动或者滚轴等运动的特殊应用	线阵相机必须用可以支持线阵型相机的采集卡，而且一般应用于特殊环境下的检测
面阵相机	分辨率(焦距)决定	可以获取二维图像信息，测量图像直观，但像元总数多，而每行的像元数一般较线阵少，帧幅率受到限制，因此其应用面较广，如面积、形状、尺寸、位置，甚至温度等的测量。受生产技术制约，单个面阵面积很难达到一般工业测量现场的需求	静止检测或者一般低速的检测（RM比赛完全够用）	一般选用面阵相机

二、相机关键参数详解

1. 快门类型

快门类型	说明	适用范围
全局快门	逐行数模转换	静止物体
卷帘快门	50度 < X < 180度,存在果冻效应	运动物体

果冻效应

在照片和视频拍摄里都会出现，而且机械快门和电子快门都有，胶片相机也躲不掉，最明显的是物体扭曲，对应检测一个高速运动的物体来说，是毁灭性的灾难。其本质为CMOS读取速度过慢。大多数相机的最高同步速度都不超1/250秒，它的原本含义是机械快门幕帘跨越成像元件所需的时间，速度快于这个时间的快门实际上都不是全开的，可以参考下图进行理解：

上面一排是低速快门，也就是低于最快同步速度时，比如曝光1秒，可以看到快门是可以全开，感光元件最上和最下列会有同时曝光的情况，在这种情况下使用闪光灯，可以保证整个感光元件都能对受闪光灯照射的被摄物正确曝光。

下面一排是高速快门，比如1/8000秒，虽然快门需要1/250秒才能完全跨过感光元件，但只要将前后帘移动的时间差等同于你想要拍摄的快门时间，就能保证前后帘之间留出的缝隙扫过的感光元件区域都是你想要的曝光时间，所以同步速度的快慢对于快门速度没有影响。

CMOS最上面一排像素的曝光早于最下面一排接近1/250秒，对于高速运转的物体来说，1/250秒已经可以运动很长一段距离了，所以这就是果冻效应的一个根本原因，参考飞机果冻效应。而对闪光灯来说，因为没有快门全开，超过最快同步速度时均匀曝光成为几乎不可能的事情，虽然也有采用多次闪光脉冲的方式实现高速同步，但闪光功率会明显降低，限制比较多。

2. 分辨率

相机每次采集图像的像素点数，一般对应于光电传感器靶面排列的像元数，如1920x1080。

分辨率越高，图像越清晰。

名称	分辨率	说明
HD 720P	960x720或1080x720	100万像素
HD 960P	1280x1024	130万像素
HD 1080P	1920x1080	200万像素
类推...	...	...

3. 帧率

相机的帧频/行频表示相机采集图像的频率，通常面阵相机用帧频表示，单位fps（Frame Per Second），如30fps，表示相机在1秒钟内最多能采集30 帧图像。

在RoboMaster比赛中，识别的速度尽量越快越好，即摄像头帧率尽量越高越好。

而通常这些摄像头的帧率一方面受摄像头自身硬件属性影响例如做工、型号、快门类型等等，一方面受计算平台处理能力因素（需要注意的是你的编译运行方式也可以影响，例如VSxxxx DEBUG模式与RELEASE模式），另一方面则受分辨率的增加而减少（带宽限制），还受曝光等的影响。

4. 快门曝光

工业线阵相机都是逐行曝光的方式，可以选择固定行频和外触发同步的方式，曝光时间可以与行周期一致，也可以设定一个固定的时间

面阵相机有帧曝光、场曝光和滚动曝光几种常见方式，工业数字相机一般都提供外触发采图的功能，快门速度一般可到10ms，高速相机还会更快。

一定范围内，曝光时间越长，图像芯片所得到的光电信号就会越强，图像质量就会越好。但是曝光时间大于一帧的时候，将会使摄像头帧率变低。

5. 位深

每位像素数据的位数，常见的是8bit，10bit，12bit。分辨率和像素深度共同决定了图像的大小。例如对于像素深度为8bit的500万像素，则整张图片应该有500万*8/1024/1024/8=5M（1bit=8Byte，1024Byte=1KB，1024KB=1M）。

增加像素深度可以增强测量的精度，但同时也降低了系统的速度，并且提高了系统集成的难度（线缆增加，尺寸变大等）。

6. 接口

在机器视觉检测技术中，工业相机的输入、输出接口有USB3.0、GigE、10GigE、CameraLink、Firewie等几种。

只用过USB3.0接口的相机，不知道别的接口如何。

三、镜头关键参数详解

机器视觉常用定焦镜头，并且都是手动调整光圈，一般不允许自动调整光圈，镜头上有调焦和调光圈两个环，为了防止误碰动，工业镜头的两个环都有锁定螺丝但我们直接用胶带粘死。

注意调焦环不是用来调整焦距，而是调整像距，保证清晰图像落在焦平面上

1. 焦距

目前顶级摄像头的镜头采用的是五层‘’全玻‘’，镜头的组成即为透镜的结构，由几片透镜组成，一般分为塑胶透镜（P）与玻璃透镜（G）。透镜越多，成本也高；玻璃透镜比塑胶透镜贵，因此采用玻璃透镜的摄像头其成像效果相对于塑胶镜头会好一些。

焦距和可视距离、角度的关系可以参考下图：

2. 接口

物镜的接口有三种国际标准：F接口、C接口和CS接口。

F接口是通用型接口，一般适用于焦距大于25mm的镜头，当物镜的焦距小于25mm时，物镜的尺寸不大，一般采用C型或CS型接口。

传感器芯片尺寸需要小于或等于镜头尺寸，C 或CS 安装座也要匹配（或者增加转接口）

3. 像素

匹配相机的像素即可。

四、Tips

一定要看

不用太过考虑品牌，需要考虑的是参数和技术支持。

- 一般当你购买一个公司的产品后会有技术支持，而购买工业相机后，会用到相应的SDK，这个SDK可以理解为公司给你做的库，给你二次开发用的，里面包括很多函数用来解决不同的情况，比如画面太亮影响装甲板的识别，需要通过调用函数调低相机的曝光，这些都会在SDK附带的技术文档里有（有的甚至直接代码注释好的）。

买相机是可以讲价的，毕竟除了几个壕队财大气粗，大伙都经费有限。
如果使用黑白摄像头的话，需要搭配使用滤光片，但很难滤去白光的影响。
低曝光下调整gamma值或提高绿通道的增益，来实现在低曝光的前提下看清楚装甲板的数字（如果使用了提高绿通道的增益的方法，原先识别红色灯条🔥 跟蓝色灯条🌌 的算法要反过来用）。
增益：即图像芯片所得到的光电信号的放大倍数，增益值越大，图像光电信号放大得越多，图像也就越亮。但同时，放大倍数越大，噪声也会跟着一起放大，所以噪声点会增加很多，一般会通过算法或者硬件上将增益调低。
镜头一定存在畸变，如使用PnP计算的话，需要标定。
感觉如果图像颜色不正确，试试看调整白平衡。

五、使用过的相机

品牌	型号	搭配镜头	参数	效果
大华	A5201CU150	大华MH0820S	彩色 230W像素 150FPS 8mm焦距	效果较好，0~9米内都挺清晰，帧率也挺高
大华	A5201CU150	沃乐斯WL1408-5MP	彩色 230W像素 150FPS 8mm焦距	效果较好，0~9米内都挺清晰，帧率也挺高，但这个镜头较沉
大恒	MER-139-210U3C	HN-P-0628-6M-C1-1.8	彩色 130W像素 210FPS 6mm焦距	相对于上面的大华，图像模糊很多，但也在可接受范围内