WO2013185714A1 - 增强现实中识别对象的方法及系统和计算机 - Google Patents

Abstract

一种增强现实中对象的识别方法及系统和计算机，该识别方法包括：计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线焦点的空间坐标；所述计算机接收输入设备输入的各虚拟对象的空间坐标，并与所述双眼视线焦点的空间坐标进行比对，确定出用户待操作的虚拟对象。

Description

增强现实中识别对象的方法及系统和计算机 技术领域

本发明涉及一种增强现实技术， 尤其涉及一种增强现实中识别对象的方 法及系统和计算机。

背景技术

增强现实 （Augmented Reality, 简称 AR ) , 也被称之为混合现实， 是通 过计算机技术， 将虚拟的信息应用到真实世界， 真实的环境和虚拟的对象实 时地叠加到了同一个画面或空间同时存在。

增强现实技术可应用到如下领域：

医疗领域： 医生可以利用增强现实技术， 轻易地进行手术部位的精确定 位； 军事领域： 部队可以利用增强现实技术， 进行方位的识别， 获得目前所 在地点的地理数据等重要军事数据； 古迹复原和数字化文化遗产保护： 文化 古迹的信息以增强现实的方式提供给参观者， 用户不仅可以通过 HMD看到 古迹的文字解说， 还能看到遗址上残缺部分的虚拟重构； 工业维修领域： 通 过头盔式显示器将多种辅助信息显示给用户， 包括虚拟仪表的面板、 被维修 设备的内部结构、 被维修设备零件图等； 网络视频通讯领域： 该系统使用增 强现实和人脸跟踪技术 ,在通话的同时在通话者的面部实时叠加一些如帽子、 目艮镜等虚拟对象， 在很大程度上提高了视频对话的趣味性； 电视转播领域： 通过增强现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面 中， 使得观众可以得到更多的信息； 娱乐、 游戏领域： 增强现实游戏可以让 位于全球不同地点的玩家， 共同进入一个真实的自然场景， 以虚拟替身的形 式， 进行网络对战； 旅游、 展览领域： 人们在浏览、 参观的同时， 通过增强 现实技术将接收到途经建筑的相关资料， 观看展品的相关数据资料； 市政建 设规划： 釆用增强现实技术将规划效果叠加到真实场景中以直接获得规划的 效果。

对于增强现实的显示技术实现原理基本上是将左右两眼看到的真实场景 图像之上叠加上生成的虚拟图像。 目前已经有类似头盔的产品出售. 谷歌 ( Google )眼镜也是类似产品，但由于虚拟信息叠加在单眼， 不能实现立体的 虚拟场景。

相关技术对于虚拟 3D 空间内对象与图片的展现技术目前已经相对比较 成熟， 但交互技术目前仍存在一些障碍， 具体表现为计算机无法很方便地获 知人对于 3D 空间内的哪个对象感兴趣， 想操纵哪个对象或虚拟对象。 对于 这方面相关技术主要有以下几种：

头盔上装有传感器， 实现对头盔在 3D空间中的定位和方向定位； 通过外部传感器跟踪人眼动作， 确定视线方向， 但因为空间是 3D, 该方 法不能够定位对象景深；

通过手势识别方式， 判断想要操作的对象位置， 同样缺乏景深信息， 如 果有多个景深的对象处于相同方位， 就无法正确识别。

双目视觉基本上是通过两个平行轴摄像机拍摄对象， 然后用本领域熟知 的深度恢复和三维重建方法 ( Ramesh Jain, Rangachar Kasturi, Brain G Schunck, Machine Version, McGraw Hill, 1995 )进行三维重建。 发明内容

本发明实施例提供了一种增强现实中识别对象的方法及系统和计算机， 以解决如何在三维空间中识别出用户的关注对象， 并与该关注对象进行交互 的问题。

本发明实施例提供了一种增强现实中识别对象的方法， 该方法包括： 计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位 置， 居所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线 焦点的空间坐标；

所述计算机接收输入设备输入的各虚拟对象的空间坐标， 并与所述双眼 视线焦点的空间坐标进行比对， 确定出用户待操作的虚拟对象。

优选地， 所述计算机确定出用户待操作的虚拟对象之后， 所述方法还包 括：

所述计算机接收输入设备输入的动作信息， 根据所述动作信息和预保存 的动作和操作的一对一映射关系， 对待操作对象执行所述动作信息对应的操 作； 所述待操作对象包括所述用户待操作的虚拟对象。

优选地， 所述预保存的动作和操作的一对一映射关系包括如下对应关系 中的一种或任意组合：

双眼视线滑动对应于： 改变当前输入焦点；

左眼闭合且右眼视线滑动对应于： 拖拽操作；

左眼闭合且右眼眨眼对应于： 点击操作；

右眼闭合且左眼视线滑动对应于： 放大或缩小操作；

右眼闭合且左眼眨眼对应于： 右键点击操作；

双眼快速连续眨眼对应于： 弹出菜单操作；

单眼凝视对象 2秒以上对应于： 长按操作；

双眼凝视对象 2秒以上对应于： 删除操作； 以及

双眼闭合 2秒以上对应于： 关闭菜单操作。

优选地， 所述计算机对待操作对象执行对应的操作之前， 所述方法还包 括：

所述计算机接收输入设备输入的视差图像， 对外部世界建模， 确定所述 双眼视线焦点处有真实对象， 识别出所述真实对象的属性； 所述待操作对象 包括识别出属性的真实对象。

优选地， 所述输入设备为以下设备中的一种或多种： 眼球检测设备、 手 持设备、 语音输入设备、 摄像头和虚拟模型系统。

优选地， 所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位 置计算得到双眼视线焦点的空间坐标， 包括： 所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左 眼瞳孔相对坐标和右眼瞳孔相对坐标， 4艮据所述左眼瞳孔相对坐标和所述右 眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。

本发明实施例还提供了一种计算机， 应用与增强现实中， 该计算机包括 图像识别模块、 图像分析模块、 景深恢复计算模块和对象匹配模块， 其中： 图像识别模块， 设置为： 分别接收输入设备输入的用户的左目艮眼球瞳孔 位置和右眼眼球瞳孔位置， 并输出至图像分析模块；

所述图像分析模块， 设置为： 分别根据所述左眼眼球瞳孔位置和所述右 眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标 , 并输出至 景深恢复计算模块；

所述景深恢复计算模块， 设置为： 根据所述左眼瞳孔相对坐标和所述右 眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标，并输出至对象匹配模块； 以及

所述对象匹配模块， 设置为： 接收输入设备输入的各虚拟对象的空间坐 标， 并与所述双眼视线焦点的空间坐标进行比对， 确定出用户待操作的虚拟 对象。

优选地， 所述计算机还包括：

对象操控命令输出模块， 设置为： 接收输入设备输入的动作信息， 根据 所述动作信息和预保存的动作和操作的一对一映射关系， 为所述对象匹配模 块确定的所述待操作的虚拟对象输出对应的操控命令。

优选地， 所述预保存的动作和操作的一对一映射关系包括如下对应关系 中的一种或任意组合：

双眼视线滑动对应于： 改变当前输入焦点；

左眼闭合且右眼视线滑动对应于： 拖拽操作；

左眼闭合且右眼眨眼对应于： 点击操作；

右眼闭合且左眼视线滑动对应于： 放大或缩小操作；

右眼闭合且左眼眨眼对应于： 右键点击操作；

双眼快速连续眨眼对应于： 弹出菜单操作；

单眼凝视对象 2秒以上对应于： 长按操作；

双眼凝视对象 2秒以上对应于： 删除操作； 以及

双眼闭合 2秒以上对应于： 关闭菜单操作。

优选地， 所述景深恢复计算模块， 还设置为： 接收输入设备输入的视差 图像， 对外部空间建模， 判断所述双眼视线焦点处是否有真实对象； 所述图像识别模块， 还设置为： 在所述景深恢复计算模块确定所述双眼 视线焦点处有真实对象之后， 识别所述景深恢复计算模块确定的所述真实对 象的属性。

优选地， 所述对象操控命令输出模块， 还设置为： 接收输入设备输入的 动作信息， 根据所述动作信息和预保存的动作和操作的一对一映射关系， 为 所述图像识别模块识别出属性的所述真实对象输出对应的操控命令。

本发明实施例还提供了一种增强现实中识别对象的系统， 该系统包括输 入设备和计算机， 其中：

所述输入设备， 设置为： 为所述计算机提供输入信息， 所述输入信息包 括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置， 以及各虚拟对象的空间坐 标；

所述计算机为上述计算机。

优选地， 所述输入信息还包括所述输入设备获得的眼部动作信息和 /或视 差图像； 或者， 所述输入设备提供的语音信息和 /或视差图像； 或者， 所述输 入设备提供的按键信息和 /或视差图像。

优选地， 所述输入设备为以下设备中的一种或多种： 眼球检测设备、 手 持设备、 语音输入设备、 摄像头和虚拟模型系统。

本发明实施例， 通过检测双眼瞳孔位置， 实现三维视线的建模， 并将三 维视线与三维空间进行叠加匹配， 解决了在三维空间中识别出用户的关注对 象的问题， 并可以与该关注对象进行交互。 附图概述

图 1为本发明实施例增强现实的场景示意图；

图 2为本发明计算机实施例的结构示意图；

图 3为本发明增强现实中对象的识别系统实施例的结构示意图； 图 4为本发明实施例眼球坐标的示意图； 图 5为本发明实施例空间模型的示意图。

本发明的较佳实施方式

下文中将结合附图对本发明的实施例进行详细说明。 需要说明的是， 在 不冲突的情况下， 本申请中的实施例及实施例中的特征可以相互任意组合。

本发明实施例通过输入设备检测使用者双眼的位置及视线方向， 利用双 眼立体视觉效应判断出使用者注视点在空间中的位置， 并在距离用户一定距 离的空间内投射出虚拟增强现实影像或对象； 将双眼注视点坐标与虚拟增强 现实屏幕或对象的坐标进行比对， 控制虚拟空间内的鼠标或增强显示效果, 用于实现用户虚拟世界与现实空间的交互， 或利用眨眼、 语音、 手势等辅助 手段实现对虚拟空间内对象的操作。

如图 1所示， 为本发明增强现实的场景示意图， 其中， 目艮球检测设备用 于检测眼球视线方向； 投影屏幕在双眼投射不同图片， 实现增强现实的虚拟 立体视觉；与双眼方向一致的对外摄像头， 拍摄外部真实世界，通过计算机实 现对外部世界的建模， 计算机计算双眼视线焦点 （用户的注视点） 的空间坐 标； 计算机将用户注视点坐标与虚拟世界对象坐标， 以及真实世界的对象坐 标比较； 眼球检测设备捕获眼部动作， 实现对虚拟世界或真实世界注视点处 对象的操作。

通过上述技术可以实现： 主动感知用户的空间注视点， 并通过计算机反 馈实现与虚拟世界的交互； 使用双眼操作距离用户一定距离虚拟屏幕上的应 用或菜单； 以主动感知方式获取人机指令信息， 真正做到所见所得， 因此具 有广阔的应用场景和范围。

对应上述场景， 本发明实施例提供了一种增强现实中对象的识别方法， 该方法从计算机侧进行描述， 该方法包括：

步骤一、 计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼 球瞳孔位置， 居所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到 双眼视线焦点的空间坐标；

该输入设备可以为摄像头； 该步骤可以包括： 计算机根据所述左眼眼球 瞳孔位置和所述右眼眼球瞳孔位置获得左眼瞳孔相对坐标和右眼瞳孔相对坐 标， 根据所述左眼瞳孔相对坐标和所述右眼瞳孔相对坐标计算得到双眼视线 焦点的空间坐标；

步骤二、 计算机接收输入设备输入的各虚拟对象的空间坐标， 并与所述 双眼视线焦点的空间坐标进行比对， 确定出用户待操作的虚拟对象。

该步骤中的输入设备可以为虚拟模型系统；

另外， 计算机在确定出用户待操作的虚拟对象之后， 所述方法还包括： 所述计算机接收输入设备例如眼球检测设备输入的动作信息， 根据所述动作 信息和预保存的动作和操作的一对一映射关系， 对待操作对象执行对应的操 作； 所述待操作对象包括所述用户待操作的虚拟对象。 当然， 还可以使用手 持设备进行按键或鼠标输入， 或通过语音输入方法来替代操作待操作对象。

较佳地， 所述计算机对待操作对象执行对应的操作之前， 所述方法还包 括： 所述计算机接收输入设备例如摄像头输入的视差图像， 对外部空间建模， 确定所述双眼视线焦点处有真实对象， 识别出所述真实对象的属性； 所述待 操作对象包括识别出属性的真实对象。

与上述方法实施例相对应， 本发明实施例还提供了一种计算机， 该计算 机包括：

图像识别模块 11 , 设置为： 分别接收输入设备输入的用户的左眼眼球瞳 孔位置和右眼眼球瞳孔位置， 并输出至图像分析模块 12;

所述图像分析模块 12, 设置为： 分别根据所述左眼眼球瞳孔位置和所述 右眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标 , 并输出 至景深恢复计算模块 13;

所述景深恢复计算模块 13 , 设置为： 根据所述左眼瞳孔相对坐标和所述 右眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标， 并输出至对象匹配模 块 14; 以及

所述对象匹配模块 14, 设置为： 接收输入设备输入的各虚拟对象的空间 坐标， 并与所述双眼视线焦点的空间坐标进行比对， 确定出用户待操作的虚 拟对象。

另外， 所述计算机还包括： 对象操控命令输出模块 15 , 设置为： 接收输 入设备输入的动作信息， 根据所述动作信息和预保存的动作和操作的一对一 映射关系， 为所述对象匹配模块确定的所述待操作的虚拟对象输出对应的操 控命令。

较佳地， 为了判断双眼视线焦点是否有真实对象， 所述景深恢复计算模 块， 还设置为： 接收输入设备输入的视差图像， 对外部空间建模， 判断所述 双眼视线焦点处是否有真实对象； 所述图像识别模块， 还设置为： 在所述景 深恢复计算模块确定所述双眼视线焦点处有真实对象之后， 识别所述景深恢 复计算模块确定的所述真实对象的属性。 此后， 所述对象操控命令输出模块， 还可以设置为： 接收输入设备输入的动作信息， 根据所述动作信息和预保存 的动作和操作的一对一映射关系， 为所述图像识别模块识别出属性的所述真 实对象输出对应的操控命令。

另外， 本发明实施例还提供了一种增强现实中对象的识别系统， 如图 3 所示， 该系统包括图 2所示结构的计算机和输入设备， 所述输入设备， 设置 为： 为所述计算机提供输入信息， 所述输入信息包括用户的左眼眼球瞳孔位 置和右眼眼球瞳孔位置， 以及各虚拟对象的空间坐标。

上述输入信息还包括所述输入设备获得的眼部动作信息和 /或视差图像； 或者， 所述输入设备提供的语音信息和 /或视差图像； 或者， 所述输入设备提 供的按键信息和 /或视差图像。 对应地， 所述输入设备为以下设备中的一种或 多种： 目艮球检测设备、 手持设备、 语音输入设备、 摄像头和虚拟模型系统。

该系统的工作原理为：

步骤 101、 系统校准（特征点标定）：在虚拟空间内距离人 2 米位置， 投 射虚拟的 X 焦点对象， 要求用户注视该焦点数秒。 为达到精确计算瞳孔位置 的目的， 可以在虚拟影像的边界点分别布置虚拟焦点图片， 并要求重复四次 校准动作： 左上， 右上， 左下， 右下， 如图 4所示；

当然， 在该步骤之前， 需要分别将两个摄像头对准用户的两只眼睛； 经过校准， 每只眼能够得到四个坐标位置真实对象的空间坐标为

(x0,y0,2),(xl,yl,2),(x2,y2,2),(x3,y3,2), 对 应 左 眼 瞳 孔 坐 标 （x0，,y0，） (xl ^,,yl ^,)(x2^,,y2^,)(x3^,,y3'), 对 应 右 眼 瞳 孔 坐 标 （x0",y0，，) (xl",yl")(x2",y2")(x3",y3");

步骤 102、 立体视觉计算： 双眼注视三维空间内一个对象 P, 图 5为空间 模型：

左眼线性方程： Z= ( X ) *m + (Y)*n

右眼线性方程： Z= (X +a) * ml + Y*nl

a为瞳距， 可以测量得到， 一般为 55-60mm;

步骤 103、根据校准特征点坐标及眼球坐标， 可以计算出 m,n,ml,nl的数 值；

步骤 104、 用户注视对象， 测量瞳孔位置， 并计算出视线方向信息； 根据已知的 m,n,ml ,ηΐ , 代入公式， 并输入 xl ,yl ,x2,y2信息， 可以得到 注视点 X, Y, Z坐标；

步骤 105、 将注视点 X, Υ, Z坐标与增强现实内对象坐标进行匹配， 找到接近的虚拟对象；

可选地， 通过与视线同方向的对外摄像设备， 获取外部的视差图像， 经 过计算实现对外部世界的建模， 并将注视点坐标与外部世界坐标进行匹配； 步骤 106、 如果注视点与虚拟对象匹配， 通过眼部动作或语音， 按键操 作等对虚拟对象进行控制；

类似地， 如果注视点与真实对象匹配， 通过眼部动作或语音， 按键操作 等对真实对象进行控制。

上述系统的工作流程为：

步骤 201、 左右眼摄像头对准人的左右眼， 检测目艮球瞳孔位置， 通过与 标定图片瞳孔位置的比较， 获取瞳孔相对坐标值；

步骤 202、 将左右眼瞳孔坐标位置输入景深恢复计算模块， 计算得到用 户视线焦点的空间坐标（X, Y, Z) ；

步骤 203、 通过虚拟模型系统获取三维增强现实显示各虚拟对象的空间 坐标位置， 并与视线焦点坐标进行比对， 如果视线焦点在某个虚拟对象（图 标， 按钮或菜单等） 附近， 则认为该用户准备操作该虚拟对象；

步骤 204、 眼球检测设备同时通过分析前后帧目艮球的图片差别， 检测用 户眼睛动作， 典型如眨眼， 长闭眼， 单眼开闭， 视线滑动等； 每个动作对应 的命令含义预先定义， 并将分析出的用户动作输入对象操控命令输出模块， 对视线内对象进行操控动作。

进行双眼协调控制可以包括多种动作， 各种动作及其对应的命令如下： (1 )双眼视线滑动： 改变当前输入焦点；

(2)左眼闭合， 右眼视线滑动： 拖拽；

(3)左目艮闭合， 右眼眨眼： 点击；

(4)右目艮闭合， 左眼视线滑动： 放大 /缩小；

(5)右目艮闭合， 左眼眨眼： 右键点击；

(6)双眼快速连续眨眼： 弹出菜单；

(7)单眼凝视对象 2秒以上： 长按；

(8)双眼凝视对象 2秒以上： 删除；

(9) 闭合双眼 2秒以上： 关闭菜单；

这些组合动作可以通过自定义映射， 定义为不同的操作方法， 用于计算 机设备的界面操作； 上述映射关系仅为示例， 可灵活设置；

步骤 205、 可选地， 前向左摄像头和前向右摄像头分别获取差值图像， 交给景深恢复计算模块， 该景深恢复计算模块同时输入视线焦点坐标， 由该 景深恢复计算模块判断是否在视线焦点处存在真实对象， 如果存在真实对 象， 由后续的图像识别模块识别对象属性， 并将识别出的对象返回给对象 操控命令输出模块实现对象操作命令输出。

上述前向左、前向右摄像头部件为可选组件， 没有该组件只能实现虚拟 对象操控， 存在该组件后可以实现虚拟对象和真实对象的协同操控。 釆用本发明所述方法和系统， 与现有技术相比， 通过双眼跟踪， 实现对 注视点的三维建模和景深恢复， 对增强现实场景的操控， 不仅仅能够操作指 定方向的对象， 更可以操作同一方向不同距离的多个虚拟对象或真实对象， 提高了对操作对象的识别精度， 让用户对虚拟或真实场景内的操作更加真 实。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成， 上述程序可以存储于计算机可读存储介质中， 如只读 存储器、 磁盘或光盘等。 可选地， 上述实施例的全部或部分步骤也可以使用 一个或多个集成电路来实现。 相应地， 上述实施例中的各模块 /单元可以釆用 硬件的形式实现， 也可以釆用软件功能模块的形式实现。 本发明不限制于任 何特定形式的硬件和软件的结合。

以上实施例仅用以说明本发明的技术方案而非限制， 仅仅参照较佳实施 例对本发明进行了详细说明。 本领域的普通技术人员应当理解， 可以对本发 明的技术方案进行修改或者等同替换， 而不脱离本发明技术方案的精神和范 围， 均应涵盖在本发明的权利要求范围当中。

工业实用性

本发明实施例， 通过检测双眼瞳孔位置， 实现三维视线的建模， 并将三 维视线与三维空间进行叠加匹配， 解决了在三维空间中识别出用户的关注对 象的问题， 并可以与该关注对象进行交互。

Claims

权 利 要 求 书

1、 一种增强现实中识别对象的方法， 该方法包括：

计算机接收输入设备输入的用户的左眼眼球瞳孔位置和右眼眼球瞳孔位 置， 居所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得到双眼视线 焦点的空间坐标；

所述计算机接收输入设备输入的各虚拟对象的空间坐标， 并与所述双眼 视线焦点的空间坐标进行比对， 确定出用户待操作的虚拟对象。

2、 根据权利要求 1所述的方法， 其中：

所述计算机确定出用户待操作的虚拟对象之后， 所述方法还包括： 所述计算机接收输入设备输入的动作信息， 根据所述动作信息和预保存 的动作和操作的一对一映射关系， 对待操作对象执行所述动作信息对应的操 作； 所述待操作对象包括所述用户待操作的虚拟对象。

3、 根据权利要求 2所述的方法， 其中：

所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种 或任意组合：

双眼视线滑动对应于： 改变当前输入焦点；

左眼闭合且右眼视线滑动对应于： 拖拽操作；

左眼闭合且右眼眨眼对应于： 点击操作；

右眼闭合且左眼视线滑动对应于： 放大或缩小操作；

右眼闭合且左眼眨眼对应于： 右键点击操作；

双眼快速连续眨眼对应于： 弹出菜单操作；

单眼凝视对象 2秒以上对应于： 长按操作；

双眼凝视对象 2秒以上对应于： 删除操作； 以及

双眼闭合 2秒以上对应于： 关闭菜单操作。

4、 根据权利要求 2所述的方法， 其中：

所述计算机对待操作对象执行对应的操作之前， 所述方法还包括： 所述计算机接收输入设备输入的视差图像， 对外部世界建模， 确定所述 双眼视线焦点处有真实对象， 识别出所述真实对象的属性； 所述待操作对象 包括识别出属性的真实对象。

5、 根据权利要求 1-4任一权利要求所述的方法， 其中：

所述输入设备为以下设备中的一种或多种： 眼 ί 佥测设备、 手持设备、 语音输入设备、 摄像头和虚拟模型系统。

6、 根据权利要求 1所述的方法， 其中：

所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置计算得 到双眼视线焦点的空间坐标， 包括：

所述计算机根据所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置获得左 眼瞳孔相对坐标和右眼瞳孔相对坐标， 4艮据所述左眼瞳孔相对坐标和所述右 眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标。

7、 一种计算机， 应用与增强现实中， 该计算机包括图像识别模块、 图像 分析模块、 景深恢复计算模块和对象匹配模块， 其中：

所述图像识别模块， 设置为： 分别接收输入设备输入的用户的左眼眼球 瞳孔位置和右眼眼球瞳孔位置， 并输出至所述图像分析模块；

所述图像分析模块， 设置为： 分别根据所述左眼眼球瞳孔位置和所述右 眼眼球瞳孔位置对应获得左眼瞳孔相对坐标和右眼瞳孔相对坐标 , 并输出至 景深恢复计算模块；

所述景深恢复计算模块， 设置为： 根据所述左眼瞳孔相对坐标和所述右 眼瞳孔相对坐标计算得到双眼视线焦点的空间坐标， 并输出至所述对象匹配 模块； 以及

所述对象匹配模块， 设置为： 接收输入设备输入的各虚拟对象的空间坐 标， 并与所述双眼视线焦点的空间坐标进行比对， 确定出用户待操作的虚拟 对象。

8、 根据权利要求 7所述的计算机， 所述计算机还包括：

对象操控命令输出模块， 其设置为： 接收输入设备输入的动作信息， 根 据所述动作信息和预保存的动作和操作的一对一映射关系， 为所述对象匹配 模块确定的所述待操作的虚拟对象输出对应的操控命令。

9、 根据权利要求 8所述的计算机， 其中：

所述预保存的动作和操作的一对一映射关系包括如下对应关系中的一种 或任意组合：

双眼视线滑动对应于： 改变当前输入焦点；

左眼闭合且右眼视线滑动对应于： 拖拽操作；

左眼闭合且右眼眨眼对应于： 点击操作；

右眼闭合且左眼视线滑动对应于： 放大或缩小操作；

右眼闭合且左眼眨眼对应于： 右键点击操作；

双眼快速连续眨眼对应于： 弹出菜单操作；

单眼凝视对象 2秒以上对应于： 长按操作；

双眼凝视对象 2秒以上对应于： 删除操作； 以及

双眼闭合 2秒以上对应于： 关闭菜单操作。

10、 根据权利要求 7-9任一权利要求所述的计算机， 其中：

所述景深恢复计算模块， 还设置为： 接收输入设备输入的视差图像， 对 外部空间建模， 判断所述双眼视线焦点处是否有真实对象；

所述图像识别模块， 还设置为： 在所述景深恢复计算模块确定所述双眼 视线焦点处有真实对象之后， 识别所述景深恢复计算模块确定的所述真实对 象的属性。

11、 根据权利要求 10所述的计算机， 其中：

所述对象操控命令输出模块，还设置为： 接收输入设备输入的动作信息， 根据所述动作信息和预保存的动作和操作的一对一映射关系， 为所述图像识 别模块识别出属性的所述真实对象输出对应的操控命令。

12、 一种增强现实中对象的识别系统， 该系统包括输入设备和计算机， 其中：

所述输入设备， 设置为： 为所述计算机提供输入信息， 所述输入信息包 括用户的左眼眼球瞳孔位置和右眼眼球瞳孔位置， 以及各虚拟对象的空间坐 标；

所述计算机为权利要求 7-11任一权利要求所述的计算机。

13、 根据权利要求 12所述的系统， 其中：

所述输入信息还包括所述输入设备获得的眼部动作信息和 /或视差图像； 或者， 所述输入设备提供的语音信息和 /或视差图像； 或者， 所述输入设备提 供的按键信息和 /或视差图像。

14、 根据权利要求 12或 13所述的系统， 其中：

所述输入设备为以下设备中的一种或多种： 眼 ί 佥测设备、 手持设备、 语音输入设备、 摄像头和虚拟模型系统。