RGB-D相机视觉自主定位和空间运动物体分割的研究
毕业论文关键词 视觉自主定位 运动物体分割 极大团 RGB-D相机 Title Visual Odometry and Motion Segmentation Based on RGB-D Camera
Abstract Visual odometry and motion segmentation are key technologies in the field of computer vision. With the development of the robot and UAV (Unmanned Aerial Vehicles), motion detection, segmentation, and visual odometry are playing a more and more important role in control and navigation. In this paper, we obtain the synchronized color and depth images of the dynamic scenes from a moving RGB-D camera. Based on photo-consistency, our approach can estimate the camera transformation with a dense visual odometry approach, ignoring the moving objects in the scene. In this paper, we enumerate the maximal cliques to segment motions. Since the camera transformation is known, we can calculate the absolute velocity and orientation of moving objects (inpidual parts of a move object) in the world coordinate. We test the odometry algorithm on a benchmark and our own datasets.
Keywords dense visual odometry motion segmentation maximal clique RGB-D camera
目次
1引言1
1.1研究目的和意义1
1.2问题阐述2
1.3研究方法2
1.4本文贡献4
1.5文章结构4
2相关工作5
2.1视觉自主定位5
2.2运动物体分割6
2.3评测基准8
3背景知识9
3.1RGB-D相机.9
3.2相机模型.10
3.3刚体运动.11
3.4最小二乘法.13
3.5点跟踪.14
3.6图论和极大团.15
4方法说明.16
4.1方法概述.16
4.2稠密像素配准自主定位(DVO)16
4.3相似图构建.18
4.4识别真实运动群组.19
4.5方法实施.20
5实验结果.23
5.1视觉自主定位.23
5.2运动物体分割.27
结论.30
致谢.32
参考文献33
1 引言 1.1 研究目的和意义 有关视觉自主定位问题的研究在计算机视觉和机器人领域内有着非常长远的历史。近年来无人机、自动驾驶、室内机器人等移动式机器人正处于快速发展阶段，这类机器人要求能够在未知的环境中实现自动控制和导航，甚至要对周围环境进行测绘和三文重建。在室内场景中，特别是在缺少全球定位系统（GPS）和惯性导航设备（IMU）的情况下，想要精确地实现自动控制、导航和三文重建，基于视觉的自主定位就显得尤为重要。 基于相机的视觉自主定位通常使用单目或双目相机，相比于单目相机而言，双目相机因为可以得到绝对的深度信息，所以较为简单。视觉自主定位算法的标准流程是在图像中提取特征点，然后进行两帧或多帧图像之间特征点的对应，由对应点之间的变换得到相机的运动轨迹，这种方法被称作基于稀疏像素配准的视觉自主定位 （Sparse Visual Odometry，简称 SVO） 。
除此之外又提出了基于稠密像素配准的视觉自主定位（Dense Visual Odometry，简称DVO） ，该方法不需要提取图像中的特征点，而是利用了图像所有的像素点，因此精度更高，但是该方法需要大量的计算资源，由于计算机计算能力和存储容量逐年提高，该方法也开始被广泛使用。 再者，机器人和自动驾驶工具周围的环境可能是动态场景。例如无人车在道路上会遇到过往行人，无人机在搜索救援时拍摄的场景也是在随时间变化的，一些家用的机器人也会涉及到机器人之间或机器人与人之间的相互协作，这就要求我们首先要找到动态场景中的运动物体，进而消除它或者对其进行检测识别和跟踪，因此将场景中的运动物体分割出来成为一个必须要解决的课题。经过相机自主定位，相处相机运动影响之后，我们还可以得到运动刚体在绝对坐标下的运动方向以及速度。 人类的视觉由于先天遗传以及后天的不断训练，可以根据移动过程中场景的变化判断自身所处的位置和移动速度，同时，人类视觉也非常灵敏，即使是在自身发生移动的情况下也可以轻松地检测出场景中不同大小、或柔性或刚性物体的运动。然而，对于计算机而言，尽管大量的研究人员在视觉自主定位和运动物体的分割这两个问题上做了非常多的努力，积累了丰富的经验，但是到目前为止，这两个问题依然是计算机视觉领域尚未完全攻克的难题。 另外一种获取绝对深度信息的设备是RGB-D 相机，该相机使用TOF（Time of Flight）技术，自主发射调制红外线，接收设备通过收发时间差或相位差确定相机与空间的距离[1]。该相机能同时获取彩色图像（RGB）和深度图像（Depth） 。该相机作用距离较短，经过配准便可直接得到像素点对应的深度信息，非常适合在室内环境中开展研究。