WO2022040954A1 - 一种通过手势控制的ar空间可视三维重建方法 - Google Patents

一种通过手势控制的ar空间可视三维重建方法 Download PDF

Info

Publication number
WO2022040954A1
WO2022040954A1 PCT/CN2020/111216 CN2020111216W WO2022040954A1 WO 2022040954 A1 WO2022040954 A1 WO 2022040954A1 CN 2020111216 W CN2020111216 W CN 2020111216W WO 2022040954 A1 WO2022040954 A1 WO 2022040954A1
Authority
WO
WIPO (PCT)
Prior art keywords
reconstruction
gestures
space
camera
visual
Prior art date
Application number
PCT/CN2020/111216
Other languages
English (en)
French (fr)
Inventor
陈雨
Original Assignee
南京智导智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京智导智能科技有限公司 filed Critical 南京智导智能科技有限公司
Priority to PCT/CN2020/111216 priority Critical patent/WO2022040954A1/zh
Publication of WO2022040954A1 publication Critical patent/WO2022040954A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the invention relates to the technical field of three-dimensional reconstruction, in particular to an AR space visual three-dimensional reconstruction method controlled by gestures.
  • 3D reconstruction refers to the establishment of a mathematical model suitable for computer representation and processing of 3D objects. It is the basis for processing, operating and analyzing its properties in a computer environment.
  • 3D reconstruction refers to the process of reconstructing 3D information from single-view or multi-view images. Since the information of a single video is incomplete, 3D reconstruction requires the use of empirical knowledge.
  • the multi-view 3D reconstruction (similar to human dual Target positioning) is relatively easy. The method is to calibrate the camera first, that is, to calculate the relationship between the camera's image coordinate system and the world coordinate system. Then use the information in multiple two-dimensional images to reconstruct three-dimensional information.
  • the AR 3D reconstruction method adopted at this stage has the following defects.
  • the present invention can see the current results of the 3D reconstruction on the AR side in real time through the gesture-controlled AR space visual 3D reconstruction method, use the natural gestures of the human body based on the gesture sensor, control the reconstruction process, and support the suspension of the 3D reconstruction process. Rotate and move the object to a new viewing angle and start 3D reconstruction from the new angle.
  • a gesture-controlled AR space visual three-dimensional reconstruction method which includes the following steps.
  • Step 1 Jointly calibrate the AR glasses camera and the depth camera C1 to obtain the coordinate transformation relationship between the two sets of camera coordinate systems.
  • Step 2 The user stands in front of the workbench wearing AR glasses, and determines the bounding box surrounding the target object through gesture interaction.
  • Step 3 Turn on 3D reconstruction, and freely change the viewing angle to observe the objects placed on the workbench.
  • the depth camera C1 will continuously collect RGB-D data, and perform real-time 3D reconstruction of the scene through the ElasticFusion algorithm.
  • Step 4 The virtual model of the object in the form of a point cloud is transmitted to the server, and then the server sends it to the AR client for visualization, and at the same time realizes virtual and real registration.
  • Step 5 The user pauses the 3D reconstruction process through gestures, and checks the current 3D reconstruction progress.
  • Step 6 According to the judgment in Step 5, the user can move and rotate the target object to a new viewing angle, and then restart the 3D reconstruction algorithm through gestures, and the algorithm will continue to scan and fill the surface of the 3D reconstruction model from the new angle.
  • Step 7 Repeat steps 5 and 6.
  • the three-dimensional reconstruction algorithm is terminated by gestures, and the virtual model is output.
  • Leap Motion By processing the acquired video images, Leap Motion can locate the fingertips, joints, palms, and wrists in the images in three-dimensional physics. The position in space; then superimpose the prefab of the human hand model to this position in the augmented reality environment, and determine the position and posture of the hand and the palm through 23 key points of joints, fingertips, palms, and wrists.
  • the first step is to place the black and white checkerboard in the scene to ensure that the color image data can be collected by the AR glasses camera and the depth camera C1 at the same time.
  • the extrinsic parameter matrices of the two sets of cameras are calculated by the method.
  • the groups with the calibration result error greater than 0.05 pixels are eliminated, and the average value of the remaining matrices is calculated to obtain the final transformation matrix M from the depth camera C1 coordinate system to the AR glasses camera coordinate system.
  • the user uses gesture 1 to sequentially determine points P1, P2 and P3 in space to form a plane area, and then uses gesture 1 to determine point P4 in space, and move toward point P4 along the vertical direction of the determined plane. Extrude, divide a cuboid area in space to get a bounding box.
  • step 3 uses the pass-through filter in the PCL library to process the input point cloud, remove the points outside the bounding box range, and output the remaining points.
  • step 4 builds a "3D reconstruction client-server-AR client" system architecture based on the TCP/IP protocol.
  • the industrial camera C2 is used to identify the two-dimensional code posted on the target object
  • the PnP algorithm is used to obtain the pose Mpre and Mpost of the camera in the world coordinate system, respectively.
  • step 6 calculates the pose change matrix Mb of the corner points of the two-dimensional code before and after the user's operation according to Mpre and Mpost, so as to deduce the pose change matrix Mo of the target object before and after the user's operation.
  • the step 6 includes calculating the pose Mpost of the camera in the world coordinate system, calculating the pose change matrix Mb of the corner points of the two-dimensional code before and after the user's operation according to Mpre and Mpost, and inferring the position of the object before and after the user's operation.
  • Pose change matrix Mo update the new calculated pose of the 3D reconstruction algorithm, update the new pose of the bounding box, restart the 3D reconstruction process using gestures.
  • the present invention can see the current results of the 3D reconstruction on the AR side in real time through the gesture-controlled AR space visual 3D reconstruction method, use the natural gestures of the human body based on the gesture sensor to control the reconstruction process, support the suspension of the 3D reconstruction process, and convert the 3D reconstruction process.
  • the object is rotated, moved to a new viewing angle, and the 3D reconstruction starts from the new angle.
  • Figure 1 is a flow chart of the present invention.
  • FIG. 2 is a schematic diagram of a bounding box in the present invention.
  • Fig. 3 is a flow chart of step 5 and step 6 in the present invention.
  • FIG. 4 is a specific action table of gestures in the present invention.
  • Leap Motion can locate the fingertips, joints, palms, and wrists in the three-dimensional physical space of the images. Then superimpose the human hand model prefab to this position in the augmented reality environment, and determine the position and posture of the hand and the palm through a total of 23 key points such as joints, fingertips, palms, and wrists.
  • FIG. 1 The flowchart of the AR space visual 3D reconstruction method controlled by gestures is shown in FIG. 1 , and specifically includes the following steps.
  • Step 1 Jointly calibrate the AR glasses camera and the depth camera C1 to obtain the coordinate transformation relationship between the two sets of camera coordinate systems.
  • MAi is the extrinsic parameter matrix corresponding to the AR glasses camera in the ith group of calibration calculations
  • MDi is the extrinsic parameter matrix corresponding to the depth camera C1 in the ith group of calibration calculations
  • (XAC, YAC, ZAC) is the point P converted to The coordinates in the AR glasses camera coordinate system
  • (XDC, YDC, ZDC) are the coordinates of the point P converted to the depth camera C1 coordinate system.
  • Step 2 as shown in Figure 2, the user stands in front of the workbench wearing AR glasses, and determines a bounding box surrounding the target object through gesture interaction.
  • the user uses gesture 1 to sequentially determine points P1, P2 and P3 in the space, and the three points are divided into a plane area in the space.
  • the user uses gesture 1 to determine the point P4 in the space, stretches toward the point P4 along the vertical direction of the determined plane, and divides a cuboid area in the space.
  • Step 3 Turn on 3D reconstruction, and freely change the viewing angle to observe the objects placed on the workbench.
  • the depth camera C1 will continuously collect RGB-D data, and perform real-time 3D reconstruction of the scene through the ElasticFusion algorithm.
  • Step 4 The virtual model of the object in the form of a point cloud is transmitted to the server, and then the server sends it to the AR client for visualization, and at the same time realizes virtual and real registration.
  • Step 5 The user pauses the 3D reconstruction process through gestures, and checks the current 3D reconstruction progress.
  • the user uses gesture 4 to suspend the 3D reconstruction algorithm.
  • the industrial camera C2 is hung on the top of the workbench.
  • the industrial camera C2 will calculate the pose Mpre of the camera in the world coordinate system through the PnP algorithm according to the QR code posted on the target object; Assume that the center point of the QR code is used as the origin of the world coordinate system; the world coordinates of the three corner points are calculated from the real size of the two-dimensional code, and the pixel coordinates of the three corner points are obtained through the function of detecting corner points in the OpenCV library.
  • the PnP algorithm can be used to calculate the pose Mpre of the camera in the world coordinate system.
  • gesture 5 The user uses gesture 5 to move the bounding box and the object point cloud model within the bounding box away from the real object (out of the virtual and real registration state), and rotate and zoom with gesture 6 and gesture 7 to observe the progress of 3D reconstruction: Determine if there are voids on the surface of the virtual model, and which angle details are missing or not rich enough.
  • Step 6 According to the judgment in Step 5, the user can move and rotate the target object to a new viewing angle, and then restart the 3D reconstruction algorithm through gestures, and the algorithm will continue to scan and fill the surface of the 3D reconstruction model from the new angle.
  • the user moves and rotates the target object to a new observation angle, and the industrial camera C2 suspended on the top of the workbench will calculate the pose Mpost of the camera in the world coordinate system through the PnP algorithm according to the QR code posted on the target object.
  • the center point of the QR code is used as the origin of the world coordinate system; the world coordinates of the 3 corner points are calculated from the real size of the QR code, and the pixel coordinates of the 3 corner points are obtained through the function of detecting the corner points in the OpenCV library; Two parameters are used as input, and the PnP algorithm can be used to calculate the pose Mpost of the camera in the world coordinate system.
  • 6.2 Calculate the pose change matrix Mb of the corner points of the two-dimensional code before and after the user's operation according to Mpre and Mpost, so as to deduce the pose change matrix Mo of the target object before and after the user's operation.
  • the world coordinate system of the QR code is the center of the QR code, so the world coordinate Pcorner of the corner point of the QR code is a fixed value, and Mb and Mo can be calculated by the following formulas.
  • QUOTE and QUOTE are the coordinates of the corner points of the QR code in the camera coordinate system of the industrial camera C2 before and after the user's operation.
  • Step 7 Repeat steps 5 and 6; when the user judges that the 3D reconstruction model has reached the expected target, the user uses gesture 8 to end the 3D reconstruction algorithm and output the virtual model.
  • the present invention uses the gesture-controlled AR space visual 3D reconstruction method to see the current results of the 3D reconstruction on the AR end in real time, uses the natural gestures of the human body based on the gesture sensor, controls the reconstruction process, supports the suspension of the 3D reconstruction process, rotates the object, Move to a new viewing angle and start 3D reconstruction from the new angle.

Abstract

一种通过手势控制的AR空间可视三维重建方法，其包括以下步骤：1：对AR眼镜相机和深度相机C1进行联合标定；2：通过手势交互确定包围目标物体的包围盒；3：开启三维重建；4：客户端进行可视化，同时实现虚实注册；5：用户通过手势暂停三维重建过程，查看当前的三维重建进度；6：将目标物体移动、旋转到新的观察角度，然后通过手势重新开启三维重建算法；7：通过手势结束三维重建算法，输出虚拟模型。所述方法通过手势控制的AR空间可视三维重建方法可在AR端实时看到三维重建的当前结果，使用基于手势传感器的人体自然手势动作，控制重建流程。

Description

一种通过手势控制的AR空间可视三维重建方法 技术领域
本发明涉及三维重建技术领域，具体为一种通过手势控制的AR空间可视三维重建方法。
 背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。
 技术问题
现阶段采用的AR三维重建方法具有以下缺陷。
（1）使用单个相机无法对物体的盲区角度进行扫描重建。
（2）三维重建算法在电脑端运行，AR用户手持或者头戴深度相机无法实时把控重建的进度。
（3）使用鼠标、键盘控制整个重建流程，不符合人体自然习惯。
由此可见，提供一种通过手势控制的AR空间可视三维重建方法是本领域亟需解决的问题。
 技术解决方案
针对上述问题，本发明通过手势控制的AR空间可视三维重建方法可在AR端实时看到三维重建的当前结果，使用基于手势传感器的人体自然手势动作，控制重建流程，支持暂停三维重建流程，将物体旋转、移动到新的观察角度，从新角度开始三维重建。
为解决上述问题， 提供一种通过手势控制的AR空间可视三维重建方法，其包括以下步骤。
步骤一：对AR眼镜相机和深度相机C1进行联合标定，得到两组相机坐标系之间的坐标转换关系。
步骤二：用户佩戴AR眼镜站于工作台前，通过手势交互确定包围目标物体的包围盒。
步骤三：开启三维重建，并自由变换视角观察工作台上摆放的物体，深度相机C1将不断采集RGB-D数据，并通过ElasticFusion算法对场景进行实时三维重建。
步骤四：将点云形式的物体虚拟模型传输给服务器，再由服务器发放给AR客户端进行可视化，同时实现虚实注册。
步骤五：用户通过手势暂停三维重建过程，查看当前的三维重建进度。
步骤六：用户根据步骤五的判断情况，可以将目标物体移动、旋转到新的观察角度，然后通过手势重新开启三维重建算法，算法将从新的角度继续对三维重建模型的表面进行扫描填充。
步骤七：重复进行步骤五和步骤六，用户判断三维重建模型达到预期目标时，通过手势结束三维重建算法，输出虚拟模型。
进一步的，所述手势的全部实现均建立在硬件设备Leap Motion的基础之上，Leap Motion通过对获取到的视频图像进行处理，能够定位到图像中手指指尖、关节、手掌、手腕在三维物理空间中的位置；然后在增强现实环境中叠加人手模型预制体到该位置，通过关节和指尖点、手掌、手腕23个关键点来确定手与手掌的位置、姿态。
进一步的，所述步骤一是将黑白棋盘格置于场景中，保证能同时被AR眼镜相机与深度相机C1采集到彩色图像数据，针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵。
进一步的，，所述步骤一剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机C1坐标系转换至AR眼镜相机坐标系的转换矩阵M。
进一步的，所述步骤二中用户使用手势1在空间中依次确定P1、P2和P3点形成一个平面区域，再使用手势1在空间中确定P4点，沿着所确定平面的垂直方向朝P4点拉伸，在空间中划分出一个长方体区域，以此得到包围盒。
进一步的，所述步骤三使用PCL库中的直通滤波器对输入点云进行处理，剔除包围盒范围外的点，将剩余点输出。
进一步的，所述步骤四基于TCP/IP协议搭建“三维重建客户端-服务器-AR客户端”系统架构。
进一步的，所述步骤五和步骤六通过工业相机C2识别目标物体上张贴的二维码，使用PnP算法分别获得相机在世界坐标系下的位姿Mpre和Mpost。
进一步的，所述步骤六根据Mpre和Mpost计算出二维码角点在用户操作前后的位姿变化矩阵Mb，从而推断出目标物体在用户操作前后的位姿变化矩阵Mo。
进一步的，所述步骤六包括计算相机在世界坐标系下的位姿Mpost、根据Mpre和Mpost计算出二维码角点在用户操作前后的位姿变化矩阵Mb并推断物体在用户操作前后的位姿变化矩阵Mo、更新三维重建算法的新计算位姿、更新包围盒的新位姿、使用手势重新开始三维重建进程。
 有益效果
再者，本发明通过手势控制的AR空间可视三维重建方法可在AR端实时看到三维重建的当前结果，使用基于手势传感器的人体自然手势动作，控制重建流程，支持暂停三维重建流程，将物体旋转、移动到新的观察角度，从新角度开始三维重建。
 附图说明
图1是本发明的流程图。
图2是本发明中包围盒的示意图。
图3是本发明中步骤五和步骤六的流程图。
图4是本发明中手势的具体动作表。
 本发明的最佳实施方式
本发明所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「 侧面」等，仅是附图中的方向，只是用来解释和说明本发明，而不是用来限定本发明的保护范围。
本发明中手势识别的全部实现均建立在硬件设备Leap Motion的基础之上，Leap Motion通过对获取到的视频图像进行处理，能够定位到图像中手指指尖、关节、手掌、手腕在三维物理空间中的位置；然后在增强现实环境中叠加人手模型预制体到该位置，通过关节和指尖点、手掌、手腕等共23个关键点来确定手与手掌的位置、姿态。
所述通过手势控制的AR空间可视三维重建方法的流程如图1所示，具体包括以下步骤。
步骤一：对AR眼镜相机和深度相机C1进行联合标定，得到两组相机坐标系之间的坐标转换关系。
1.1：将深度相机C1固定在AR眼镜上，保证在移动AR眼镜时二者不会有太大的相对位姿改变。
1.2：将黑白棋盘格置于场景中，保证能同时被AR眼镜相机与深度相机C1采集到彩色图像数据，针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵，假设AR眼镜相机的外参矩阵为：{MA1, MA2…MA12}，深度相机C1的外参矩阵为：{MD1, MD2…MD12}。
1.3：将黑白棋盘格确定的世界坐标系中的任意一点P(Xw, Yw, Zw)转换为两组相机坐标系的坐标，转换公式如下。
Figure 635752dest_path_image001
（2）。
上式中，MAi是第i组标定计算中AR眼镜相机对应的外参矩阵，MDi是第i组标定计算中深度相机C1对应的外参矩阵；(XAC, YAC, ZAC)是点P转换到AR眼镜相机坐标系下的坐标，(XDC, YDC, ZDC)是点P转换到深度相机C1坐标系下的坐标。
1.4：联合式(1)和式(2)，可得到从深度相机C1坐标系转换到AR眼镜相机坐标系的转换矩阵Mi，转换公式如下。
Figure 363537dest_path_image002
（3）。
1.5：对于12组标定计算所得的转换矩阵{M1, M2…M12}，剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机C1坐标系转换至AR眼镜相机坐标系的转换矩阵M。
步骤二，如图2所示，用户佩戴AR眼镜站于工作台前，通过手势交互确定包围目标物体的包围盒。
2.1：用户使用手势1在空间中依次确定P1、P2和P3点，由这三点在空间中划分成一个平面区域。
2.2：用户使用手势1在空间中确定P4点，沿着所确定平面的垂直方向朝P4点拉伸，在空间中划分出一个长方体区域。
2.3：通过步骤2.1和步骤2.2得到了包围目标物体的包围盒以及尺寸数据（长、宽、高），用户使用手势2进行确认并进入下一步，若不满意则使用手势3进行撤销操作，重新选择。
步骤三：开启三维重建，并自由变换视角观察工作台上摆放的物体，深度相机C1将不断采集RGB-D数据，并通过ElasticFusion算法对场景进行实时三维重建。
3.1：计算上述包围盒在三条坐标轴维度上的界限：Xmin、Xmax 、Ymin、Ymax、Zmin、Zmax。
3.2：将3.1所述的6个值作为参数，使用PCL库中的直通滤波器对输入点云进行处理，剔除包围盒范围外的点，将剩余点输出。
步骤四：将点云形式的物体虚拟模型传输给服务器，再由服务器发放给AR客户端进行可视化，同时实现虚实注册。
4.1：基于TCP/IP协议搭建“三维重建客户端-服务器-AR客户端”系统架构，将步骤3生成的物体虚拟模型，以点云形式上传给服务器，并由服务器发放给AR客户端进行渲染。
4.2：通过步骤1计算所得转换矩阵M，将物体点云从深度相机C 1坐标系转换到AR眼镜相机坐标系，实现虚实注册。对于点云中任意一点P(X, Y, Z)，转换到AR眼镜相机坐标系后的新坐标为P (X’, Y’, Z’)，如下所示：
Figure 852287dest_path_image003
。
将传输的所有点云进行坐标转换后，在AR眼镜显示屏上渲染，同时实现虚实注册。
步骤五：用户通过手势暂停三维重建过程，查看当前的三维重建进度。
5.1：用户使用手势4暂停三维重建算法，工作台顶部悬挂有工业相机C2，,工业相机C2将根据目标物体上张贴的二维码，通过PnP算法计算相机在世界坐标系下的位姿Mpre；假设以二维码中心点作为世界坐标系原点；通过二维码真实尺寸计算出3个角点的世界坐标，通过OpenCV库中检测角点的函数求解出3个角点的像素坐标。以这两个参数作为输入，使用PnP算法就可以计算出相机在世界坐标系下的位姿Mpre。
5.2：用户使用手势5将包围盒以及包围盒范围内的物体点云模型从实物中挪开（脱离虚实注册状态），配合手势6和手势7进行旋转、缩放，以此来观察三维重建进度：判断虚拟模型表面是否存在空洞、哪些角度细节缺失或不够丰富。
5.3：用户使用手势3撤销观察，令包围盒以及包围盒范围内的物体点云模型复位，回到原本的虚实注册状态。
步骤六：用户根据步骤五的判断情况，可以将目标物体移动、旋转到新的观察角度，然后通过手势重新开启三维重建算法，算法将从新的角度继续对三维重建模型的表面进行扫描填充。
6.1：用户将目标物体移动、旋转到新的观察角度，工作台顶部悬挂的工业相机C2将根据目标物体上张贴的二维码，通过PnP算法计算相机在世界坐标系下的位姿Mpost。假设以二维码中心点作为世界坐标系原点；通过二维码真实尺寸计算出3个角点的世界坐标，通过OpenCV库中检测角点的函数求解出3个角点的像素坐标；以这两个参数作为输入，使用PnP算法就可以计算出相机在世界坐标系下的位姿Mpost。
6.2：根据Mpre和Mpost计算出二维码角点在用户操作前后的位姿变化矩阵Mb，从而推断出目标物体在用户操作前后的位姿变化矩阵Mo，由于在计算Mpre和Mpost时所设定的世界坐标系皆为二维码中心，因此二维码角点的世界坐标Pcorner是一个定值，Mb和Mo可通过下式计算。
Figure 58141dest_path_image004
。
上式中， QUOTE
Figure 50367dest_path_image005
 
Figure 214632dest_path_image005
和 QUOTE
Figure 659520dest_path_image006
 
Figure 400556dest_path_image006
分别为用户操作前后，二维码角点在工业相机C2的相机坐标系中的坐标。
6.3：更新三维重建算法的新计算位姿；假设三维重建算法在暂停前，深度相机C1在所设定的世界坐标系下的位姿为Mw，在变换目标物体后，新的位姿Mw’可通过下式计算。
Figure 247289dest_path_image007
。
6.4：更新包围盒的新位姿；对于原始包围盒的8个边界点Pi(i=1、2…8)进行坐标转换，生成新的边界点Pi’(i=1、2…8)，以新的边界点为基础构建新包围盒。
Figure 316876dest_path_image008
。
6.5：用户使用手势2重新开始三维重建进程，算法将从新的位姿Mw’开始计算，且以新包围盒作为点云筛选约束。
步骤七，重复进行步骤五和步骤六；用户判断三维重建模型达到预期目标时，通过手势8结束三维重建算法，输出虚拟模型。
步骤五和步骤六的流程如图3所示，上述手势1-8的具体动作参见图4。
本发明通过手势控制的AR空间可视三维重建方法可在AR端实时看到三维重建的当前结果，使用基于手势传感器的人体自然手势动作，控制重建流程，支持暂停三维重建流程，将物体旋转、移动到新的观察角度，从新角度开始三维重建。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当 将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

  1. 一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述AR空间可视三维重建方法包括以下步骤：
    步骤一：对AR眼镜相机和深度相机C1进行联合标定，得到两组相机坐标系之间的坐标转换关系；
    步骤二：用户佩戴AR眼镜站于工作台前，通过手势交互确定包围目标物体的包围盒；
    步骤三：开启三维重建，并自由变换视角观察工作台上摆放的物体，深度相机C1将不断采集RGB-D数据，并通过ElasticFusion算法对场景进行实时三维重建；
    步骤四：将点云形式的物体虚拟模型传输给服务器，再由服务器发放给AR客户端进行可视化，同时实现虚实注册；
    步骤五：用户通过手势暂停三维重建过程，查看当前的三维重建进度；
    步骤六：用户根据步骤五的判断情况，可以将目标物体移动、旋转到新的观察角度，然后通过手势重新开启三维重建算法，算法将从新的角度继续对三维重建模型的表面进行扫描填充；
    步骤七：重复进行步骤五和步骤六，用户判断三维重建模型达到预期目标时，通过手势结束三维重建算法，输出虚拟模型。
  2. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述手势的全部实现均建立在硬件设备Leap Motion的基础之上，Leap Motion通过对获取到的视频图像进行处理，能够定位到图像中手指指尖、关节、手掌、手腕在三维物理空间中的位置；然后在增强现实环境中叠加人手模型预制体到该位置，通过关节和指尖点、手掌、手腕23个关键点来确定手与手掌的位置、姿态。
  3. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤一将黑白棋盘格置于场景中，保证能同时被AR眼镜相机与深度相机C1采集到彩色图像数据，针对12组不同位姿摆放的黑白棋盘格，使用张正友标定法计算得到两组相机的外参矩阵。
  4. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤一剔除标定结果误差大于0.05像素的组别，对剩下的矩阵计算平均值，得到最终的从深度相机C1坐标系转换至AR眼镜相机坐标系的转换矩阵M。
  5. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤二中用户使用手势1在空间中依次确定P1、P2和P3点形成一个平面区域，再使用手势1在空间中确定P4点，沿着所确定平面的垂直方向朝P4点拉伸，在空间中划分出一个长方体区域。
  6. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤三使用PCL库中的直通滤波器对输入点云进行处理，剔除包围盒范围外的点，将剩余点输出。
  7. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤四基于TCP/IP协议搭建“三维重建客户端-服务器-AR客户端”系统架构。
  8. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤五和步骤六通过工业相机C2识别目标物体上张贴的二维码，使用PnP算法分别获得相机在世界坐标系下的位姿Mpre和Mpost。
  9. 根据权利要求8所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤六根据Mpre和Mpost计算出二维码角点在用户操作前后的位姿变化矩阵Mb，从而推断出目标物体在用户操作前后的位姿变化矩阵Mo。
  10. 根据权利要求1所述的一种通过手势控制的AR空间可视三维重建方法，其特征在于，所述步骤六包括计算相机在世界坐标系下的位姿Mpost、根据Mpre和Mpost计算出二维码角点在用户操作前后的位姿变化矩阵Mb并推断物体在用户操作前后的位姿变化矩阵Mo、更新三维重建算法的新计算位姿、更新包围盒的新位姿、使用手势重新开始三维重建进程。
PCT/CN2020/111216 2020-08-26 2020-08-26 一种通过手势控制的ar空间可视三维重建方法 WO2022040954A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/111216 WO2022040954A1 (zh) 2020-08-26 2020-08-26 一种通过手势控制的ar空间可视三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/111216 WO2022040954A1 (zh) 2020-08-26 2020-08-26 一种通过手势控制的ar空间可视三维重建方法

Publications (1)

Publication Number Publication Date
WO2022040954A1 true WO2022040954A1 (zh) 2022-03-03

Family

ID=80352373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111216 WO2022040954A1 (zh) 2020-08-26 2020-08-26 一种通过手势控制的ar空间可视三维重建方法

Country Status (1)

Country Link
WO (1) WO2022040954A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978333A (zh) * 2022-05-25 2022-08-30 深圳玩智商科技有限公司 一种识别设备、系统及方法
CN116880687A (zh) * 2023-06-07 2023-10-13 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
WO2024050460A1 (en) * 2022-09-01 2024-03-07 Snap Inc. 3d space carving using hands for object capture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
US20190362562A1 (en) * 2018-05-25 2019-11-28 Leap Motion, Inc. Throwable Interface for Augmented Reality and Virtual Reality Environments
CN110910508A (zh) * 2019-11-20 2020-03-24 三星电子（中国）研发中心 一种图像显示方法、装置和系统
CN111047631A (zh) * 2019-12-04 2020-04-21 广西大学 一种基于单Kinect加圆盒的多视角三维点云配准方法
CN111399634A (zh) * 2019-11-25 2020-07-10 南京邮电大学 一种手势引导物体识别的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362562A1 (en) * 2018-05-25 2019-11-28 Leap Motion, Inc. Throwable Interface for Augmented Reality and Virtual Reality Environments
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备
CN110910508A (zh) * 2019-11-20 2020-03-24 三星电子（中国）研发中心 一种图像显示方法、装置和系统
CN111399634A (zh) * 2019-11-25 2020-07-10 南京邮电大学 一种手势引导物体识别的方法及装置
CN111047631A (zh) * 2019-12-04 2020-04-21 广西大学 一种基于单Kinect加圆盒的多视角三维点云配准方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978333A (zh) * 2022-05-25 2022-08-30 深圳玩智商科技有限公司 一种识别设备、系统及方法
CN114978333B (zh) * 2022-05-25 2024-01-23 深圳玩智商科技有限公司 一种识别设备、系统及方法
WO2024050460A1 (en) * 2022-09-01 2024-03-07 Snap Inc. 3d space carving using hands for object capture
CN116880687A (zh) * 2023-06-07 2023-10-13 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN116880687B (zh) * 2023-06-07 2024-03-19 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN117021117A (zh) * 2023-10-08 2023-11-10 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Similar Documents

Publication Publication Date Title
WO2022040954A1 (zh) 一种通过手势控制的ar空间可视三维重建方法
WO2013112749A1 (en) 3d body modeling, from a single or multiple 3d cameras, in the presence of motion
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
CN108053435A (zh) 基于手持移动设备的动态实时三维重建方法和系统
CN107330978B (zh) 基于位置映射的增强现实建模体验系统及方法
JP2020182251A (ja) 画像処理装置、画像処理方法、及びプログラム
EP2852935A1 (en) Systems and methods for generating a 3-d model of a user for a virtual try-on product
WO2014154839A1 (en) High-definition 3d camera device
KR20130028878A (ko) 조합형 입체 카메라 및 입체 디스플레이 상호 작용
WO2009140908A1 (zh) 光标处理方法、装置及系统
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN104990518A (zh) 一种基于fpga的三维扫描控制装置和方法
CN110568923A (zh) 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
JP2020068513A5 (ja) 画像処理装置およびその制御方法、プログラム
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
CN114155288A (zh) 一种通过手势控制的ar空间可视三维重建方法
KR101588935B1 (ko) 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법
CN111047678B (zh) 一种三维人脸采集装置和方法
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN107247424B (zh) 一种基于激光距离传感器的ar虚拟开关的开关方法
CN115908755A (zh) 一种ar投影方法、系统及ar投影仪
JP2017134775A (ja) 画像処理装置、画像処理方法及びプログラム
JP3429400B2 (ja) モデリングシステム
TWI603288B (zh) 在３ｄ空間中將３ｄ幾何數據用於虛擬實境圖像的呈現和控制的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20950627

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20950627

Country of ref document: EP

Kind code of ref document: A1