基于KINECT体感游戏控制器的3维背景重建方法研究(3)
当一个像素点在前N帧为0时，在到来的第N+1帧中，我们进行如下处理：若该像素点在当前帧（即N+1帧）中有深度值，则将其深度值确定为当前深度值；若无，则该像素点无深度值。对于已有深度值的像素点，我们可以直接使用来进行背景模型的构建；而没有深度值的像素点，我们则只能按照像素填补的方法，重建成静止的背景模型。
1.2.2 缺省像素点的像素填补
在背景模型的重建中，由于上述原因，可能有些像素点得不到有效深度值，对于没有深度值的像素点，我们必须进行某些处理才能更好的进行背景模型的重建工作，经过多种方法的对比，采用像素填补的方法。正如小时候玩的拼盘游戏，我们可以观察缺省周围的图形轮廓，找到合适的图形进行填补。而像素填补基本类似，所重建的背景模型是一幅灰度图像，我们可以按照缺省像素点的周围八个方向（即：上、下、左、右、左上、左下、右上、右下）基于周边图像灰度色彩进行填补，得到最后的背景模型（文献【6】）。
1.3 Kinect的产生和发展
1.3.1 Kinect简介
Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字，Natal为开发代号。 Natal微软在2009年6月2日的E3大展上。正式公布的XBOX360体感周边外设。Natal彻底颠覆了游戏的单一操作。使人机互动的理念更加彻底的展现出来。 它是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、 语音辨识、社群互动等功能 。Natal不需要使用任何控制器，它是依靠相机捕捉三文空间中玩家的运动 。
1.3.2 Kinect的发展历程
Kinect最早在2009年6月2日的E3大展上公布的代号是“Projet Natal”意为“初生”。在开发过程中，项目组成员对许多游戏进行Kincet式实验性的控制方式改变，以此来做项目可能性评估，在这些游戏其中就有《美丽的块魂》和《太空侵略者》，这些游戏在2009年9月的东京电玩展得到展示。Kincet传感器单元原计划包含一个微处理器用来处理系统的影像捕捉操作部分，但是到了2010年1月，这个独立的处理器被取消 。2011年3月25日，微软宣布将在E3 2010期间召开名为“初生计划全球首秀”的发布会上公布Kincet的发售日期。这个发布会于2010年6月13日晚在Galen Center举行，在会上微软宣布“Poject Natal”正式命名为Kincet,取意为“kinetic”（运动）和“connect”（沟通）的融合。微软在这次发布会上同时宣布，Kincet将于2010年11月4日在北美正式发售（文献【7】）。
1.3.3 Kinect技术介绍
Natal技术是微软公司基于高端研究得出来的一个产品。根据《大众科学》的说法，微软在依靠人工智能解决复杂问题的过程中，产生了一个副产品，这就是Natal的来历。Natal的工作原理，摄像头起到了很大的作用，它负责捕捉人肢体的动作， 然后微软的工程师就可以设计程序教它如何去识别、记忆、分析处理这些动作。因此从技术上来说，Natal比Wii的体感高级很多。Natal不只是一个摄像头。虽然它一秒可以捕捉30次，但是这只是整个系统的一部分。除此之外，还有一个传感器负责探测力度和深度、四个麦克风负责采集声音。Natal会将你所处的房间形成一个3D影像，然后分析你身体的运动，因此整个系统是着眼于你所处的全部游戏环境，并形成一个综合的控制系统（文献【8】）。
1.4 本文研究的内容以及章节安排
1.4.1 本文研究所针对的问题
从微软发布的各种关于Kinect 的文献中，我们可以得知其主要功能是动作感应器侦测3D影像和骨架追踪，至于骨架追踪则是此次我们团队项目的主要内容。其过程为将侦测到的3D深度图像，转换到骨架追踪系统。该系统最多可同时侦测到6个人，包含同时辨识2个人的动作；每个人共可记录20组细节，包含躯干、四肢以及手指等都是追踪的范围，达成全身体感操作。为了看懂使用者的动作，微软也用上机器学习技术（machine learning），建立出庞大的图像资料库，形成智慧辨识能力，尽可能理解使用者的肢体动作所代表的涵义 。上述可知，本文主要是对经摄像头扫描得到图像的深度值如何进行分析、处理以选取合适的深度值来进行背景模型的重建工作，方便后续骨架追踪。