WO2018040511A1 - 基于ar的二维图像转换至三维场景的实现方法 - Google Patents

基于ar的二维图像转换至三维场景的实现方法 Download PDF

Info

Publication number
WO2018040511A1
WO2018040511A1 PCT/CN2017/073559 CN2017073559W WO2018040511A1 WO 2018040511 A1 WO2018040511 A1 WO 2018040511A1 CN 2017073559 W CN2017073559 W CN 2017073559W WO 2018040511 A1 WO2018040511 A1 WO 2018040511A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
model
image
dimensional image
boundary
Prior art date
Application number
PCT/CN2017/073559
Other languages
English (en)
French (fr)
Inventor
杨旭波
冯乐乐
Original Assignee
上海交通大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海交通大学 filed Critical 上海交通大学
Publication of WO2018040511A1 publication Critical patent/WO2018040511A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Definitions

  • the invention relates to a technology in the field of image processing, in particular to an implementation method of converting a two-dimensional image based on an augmented reality (AR) to a three-dimensional scene.
  • AR augmented reality
  • augmented reality technology based on modern mobile devices has shown great potential in the field of children's entertainment and education.
  • the augmented reality-based cartoon picture book further enhances the children's experience of coloring on paper by combining the two-dimensional cartoon painting and the virtual three-dimensional model in the real environment, so that the cartoon drawing drawn by children on paper can be changed. It has to be vivid.
  • the object of the present invention is to overcome the deficiencies of the prior art mentioned above, and to provide an implementation method for converting a two-dimensional image based on AR into a three-dimensional scene, which can be quickly generated into a three-dimensional model with texture information, and automatically registered to an augmented reality flat. station.
  • the invention relates to an implementation method for converting a two-dimensional image based on AR into a three-dimensional scene, comprising the following steps:
  • Step 1 automatically generate a three-dimensional model with texture information according to the input two-dimensional image, specifically including:
  • Extract the boundary map according to the input two-dimensional image first convert the two-dimensional image from the RGB color space to the HSV color space, and then apply the adaptive threshold algorithm to the S channel in the following formula to obtain the initialized boundary map:
  • dst(x, y) is the pixel in the output boundary map
  • src(x, y) is the corresponding pixel in the input two-dimensional image
  • T(x, y) is the threshold calculated for the pixel.
  • the present invention uses different maximum area constraint values depending on the area of the area when discrete vertices are obtained.
  • the three-dimensional grid is generated by the method mentioned in “Naturasketch: Modeling from images and natural sketches” published by Olsen et al. in “Computer Graphics and Applications” in 2011, by: calculating each discrete The closest distance from the vertex to the boundary of the region and a distance map that indicates how much height the vertex needs to expand outward.
  • the present invention uses a local Laplacian smoothing method to further smooth the entire three-dimensional grid.
  • Step 2 Register the 3D model obtained in step 1 to the augmented reality platform of the mobile terminal, and obtain the corresponding registration.
  • the second two-dimensional image is obtained by acquiring a plurality of registered two-dimensional images in the field of view of the imaging device to obtain a customized three-dimensional scene composed of a plurality of three-dimensional models.
  • the augmented reality platform is used to identify and track the registered two-dimensional image, and the virtual three-dimensional model is superimposed on the two-dimensional image in the real environment through the camera built in the mobile terminal.
  • the present invention supports performing a series of gesture operations on the three-dimensional model in an augmented reality environment to obtain a more complex three-dimensional scene.
  • gesture operations include but are not limited to:
  • Animation operation by operating a virtual animation endpoint to create a simple model animation, the present invention interpolates the position, rotation angle and zoom size of the two animation endpoints to obtain an interpolation animation.
  • the invention relates to a system for implementing the above method, comprising: an image segmentation module, a mesh generation module, an augmented reality module and a model editing module, wherein: the image segmentation module divides the two-dimensional image and transmits the segmentation information to the mesh generation module.
  • the mesh generation module registers the generated three-dimensional model into the augmented reality module and is displayed by the augmented reality module, and the model editing module transmits the user's input operation to the mesh generation module to further edit and modify the three-dimensional model and the scene.
  • the present invention can fully utilize the user's drawing experience in the real environment, quickly generate a two-dimensional image drawn by the user in the real world as a three-dimensional model with texture information, and automatically register to the augmented reality.
  • users are free to make custom 3D models.
  • the present invention utilizes an interactive gesture operation in an augmented reality environment to allow a user to create a three-dimensional scene containing a plurality of three-dimensional models through a series of multi-touch gestures, which enables the user to exert more creativity.
  • Figure 1 is a schematic flow chart of the present invention
  • 3 is a three-dimensional model automatically generated by a two-dimensional image of an embodiment
  • Figure 5 is a three dimensional scene of an embodiment constructed from a number of registered two-dimensional images.
  • a system for converting a two-dimensional image based on an AR to a three-dimensional scene includes: an image segmentation module, a mesh generation module, an augmented reality module, and a model editing module, wherein: the image segmentation module divides the two-dimensional image and then transmits and segments the image.
  • Information to the grid generation module the grid generation module registers the generated three-dimensional model into the augmented reality module and is displayed by the augmented reality module, and the model editing module transmits the user's input operation to the grid generation module to implement the three-dimensional model and the scene. Further editing and modification.
  • the system realizes conversion of a two-dimensional image to a three-dimensional scene by:
  • step one the user draws a two-dimensional image containing a black stroke using a drawing tool such as a pencil, an eraser, a crayons, or a crayon in a real environment.
  • a drawing tool such as a pencil, an eraser, a crayons, or a crayon in a real environment.
  • step two the user takes a photo of the two-dimensional image in step one by using the augmented reality application of the present invention installed on the mobile device, as shown in FIG. 2 .
  • the system generates a three-dimensional model with texture information according to the input two-dimensional image, which specifically includes:
  • the two-dimensional image is first transformed from the RGB color space into the HSV color space, and an adaptive threshold algorithm is applied on the S channel to obtain an initialized boundary map. It is determined whether the saturation value of each boundary pixel in the boundary map is greater than a certain threshold. If it is greater than, the boundary pixel is considered to be an abnormal point, and is removed from the boundary map.
  • the morphological opening and closing operations are applied in the above obtained boundary map to remove smaller holes and regions to obtain a final boundary map.
  • a number of closed regions are obtained according to the boundary map, and the system generates a corresponding three-dimensional mesh for each region.
  • the generation method adopts the name “Naturasketch” published by Olsen et al. in “Computer Graphics and Applications” in 2011.
  • the 3D mesh generation method mentioned in :Modeling from images and natural sketches.
  • the method obtains the height at which each vertex needs to be expanded by calculating the distance map of the area map. Since the linear distance value directly makes the mesh too sharp, the system uses a smooth mapping function to map the linear distance value to the true expansion height value, resulting in several smooth three-dimensional mesh structures.
  • the corresponding region in the two-dimensional image is used as the texture of the three-dimensional mesh, and is rendered by stylized cartoon rendering, thereby obtaining a texture information.
  • 3D model for each region in the second step, the corresponding region in the two-dimensional image is used as the texture of the three-dimensional mesh, and is rendered by stylized cartoon rendering, thereby obtaining a texture information.
  • step 3 the three-dimensional model obtained in step two is registered on the augmented reality platform, so that the three-dimensional model is superimposed on the two-dimensional image in the real world through the mobile device, as shown in FIG. 3 .
  • Step 4 Based on the three-dimensional model obtained in step three, the user performs a series of operations on the three-dimensional model in an augmented reality environment, as follows:
  • the over-divided area on the 3D model is merged by a single-finger drag gesture to obtain a combined 3D model.
  • the three-dimensional model is moved to change its spatial position relative to the two-dimensional image.
  • the three-dimensional model is enlarged or reduced by the two-finger squeezing gesture.
  • the three-dimensional model is rotated by a single-finger drag gesture.
  • an interpolation animation is generated for the 3D model or a skeleton animation is generated by modifying the position, rotation, and size of the animation endpoint.
  • step 5 the user repeats steps 1 through 4 to obtain a plurality of two-dimensional images registered to the augmented reality platform, and each of the two-dimensional images corresponds to a series of three-dimensional models.
  • the user creates a customized three-dimensional scene by setting a plurality of registered two-dimensional images in the field of view of the camera, as shown in FIG. 5.
  • the relative position of the three-dimensional model in the three-dimensional scene is changed by freely moving the two-dimensional image in the real world.
  • the present invention can make full use of the user's drawing experience in the real world to quickly generate a two-dimensional cartoon drawing into a three-dimensional model with texture information, compared to a single input modeling system on an electronic device such as a tablet computer.
  • interactive operations based on augmented reality make it easier and more convenient to edit 3D models and create custom 3D scenes.
  • the present invention allows the user to freely use his imagination to create personalized three-dimensional models and three-dimensional scenes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

一种基于AR的二维图像转换至三维场景的实现方法，根据输入的二维图像自动生成具有纹理信息的三维模型，将三维模型注册到增强现实平台上，得到对应的注册后的二维图像；通过在摄像装置的视野范围内设置多张注册后的二维图像，得到由若干三维模型组成的自定义三维场景。本发明能够充分利用用户在真实世界中的绘画经验，采用的建模方法可以在移动设备上通过极少的用户输入来快速得到三维模型，同时基于增强现实的交互式用户界面为用户提供了一种在增强现实环境中快速构建自定义卡通场景的途径。

Description

基于AR的二维图像转换至三维场景的实现方法 技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于增强现实(AR)的二维图像转换至三维场景的实现方法。
背景技术
近年来，基于现代移动设备的增强现实技术在儿童娱乐和教育领域展现出巨大的潜力。其中，基于增强现实的卡通绘本通过把现实环境中的二维卡通画和虚拟三维模型相结合的方式，进一步提高了儿童在纸张上涂色的体验，让儿童在纸上绘制的卡通画可以变得立体生动起来。
目前，市场上已有一些增强现实绘本应用。这些应用可以识别用户在纸上涂色后的二维卡通画，然后使用用户的涂色结果为增强现实环境中三维模型增加颜色信息，从而让用户可以通过移动设备看到涂色后的三维卡通角色覆盖在真实的世界上。这种系统主要存在的问题是，系统使用的三维模型都是提前制作好的，用户并不能创建任意的三维模型。而且，尽管用户可以通过在绘本上涂色来为这些模型添加颜色信息，用户需要提前打印这些由提供商提前准备好的黑白线框图。由于无法允许儿童创建自定义的二维卡通画和三维模型，这类系统限制了儿童的创造力。
Arroyave-Tobón和Santiago等人在《Computers in Industry》上发表的《Air-modelling:a tool for gesture-based solid modelling in context during early design stages in AR environments.》(2015年)一文中提出了一种方法，他们通过提供一种计算机辅助设计界面让用户在增强现实环境中利用手势操作来创建虚拟物体。然而，这种方法本质上仍然需要用户学习并使用传统的建模工具，操作方式对儿童并不友好。而且，这种方法只能创建某些简单的基础模型，能够支持创建的模型范围十分有限。
De Lima E S和FeijóB等人在《Entertainment Computing》上发表了名为《In-place sketching for content authoring in augmented reality games》(2014年)的文章，在这篇文章里作者提出了一个基于增强现实的交互式叙事系统。玩家可以在真实的纸张上绘制某些提前定义好的图案，系统可以根据识别到的图案来在相应位置放置特定的虚拟模型。这种方法存在的问题是，系统使用的三维模型均是提前制作好的，用户并不能创建自定义的三维模型。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提出了一种基于AR的二维图像转换至三维场景的实现方法，能够快速生成为具有纹理信息的三维模型，并自动注册到增强现实平 台。
本发明通过以下技术方案实现：
本发明涉及一种基于AR的二维图像转换至三维场景的实现方法，包括以下步骤：
步骤一，根据输入的二维图像自动生成具有纹理信息的三维模型，具体包括：
1.1)根据输入的二维图像提取边界图：首先将二维图像由RGB颜色空间转换到HSV颜色空间，然后在其中的S通道按如下公式应用自适应阈值算法，得到初始化的边界图：
Figure PCTCN2017073559-appb-000001
其中：dst(x,y)是输出的边界图中的像素，src(x,y)是输入的二维图像中对应的像素，T(x,y)是针对该像素计算得到的阈值。完成后，通过判断初始边界图中的边界像素的饱和度值是否超过某个阈值认定该像素是否属于边界图，并将不属于边界图的像素移除；最后在边界图上应用Jean Serra等人在《Image Analysis and Mathematical Morphology》一文中提出的形态学开操作和闭操作来消除边界图中较小的孔洞和区域，得到优化后的边界图。
1.2)在优化后的边界图上应用区域填充算法得到若干闭合区域，并为闭合区域生成相应的三维网格。
1.3)使用Suzuki等人在《Topological Structural Analysis of Digitized Binary Images by Border Following》(1985年)一文中提到的边缘查找方法，找到每个闭合区域的边缘信息，然后应用一致性有约束的德劳内三角化算法，得到该区域内若干离散的顶点。
优选地，本发明在获得离散的顶点时，根据区域的面积使用不同的最大面积约束值。区域面积越小，最大面积约束值也越小。
1.4)计算离散的顶点在三维网格中的膨胀高度，使用圆滑映射函数将距离映射图中的线性距离值D(x)变换成膨胀高度值
Figure PCTCN2017073559-appb-000002
其中：a＝Dmax-D(x)，Dmax是该区域内的最大距离值，从而得到更加平滑的三维模型。
所述的三维网格通过Olsen等人于2011年在《Computer Graphics and Applications》中发表的名为《Naturasketch:Modeling from images and natural sketches》中提到的方法生成，具体方法为：计算每个离散的顶点到区域边界的最近距离并生成距离映射图，该距离表明了该顶点需要向外膨胀多少高度。
为了进一步提高三维网格中横截面的平滑度，本发明使用局部拉普拉斯平滑方法进一步平滑整个三维网格。
1.5)把该闭合区域在二维图像中的对应区域作为三维网格的纹理，并应用风格化的渲染方式得到相应的渲染效果，通过组合若干三维网格构成一个完整的具有纹理信息的三维模型。
步骤二，将步骤一得到的三维模型注册到移动终端的增强现实平台上，得到对应的注册 后的二维图像；通过在摄像装置的视野范围内采集多张注册后的二维图像，得到由若干三维模型组成的自定义三维场景。
所述的增强现实平台用于识别和追踪已注册的二维图像，通过移动终端内置的摄像装置看到虚拟的三维模型叠加到真实环境中的二维图像上。
优选地，本发明支持在增强现实环境中对三维模型进行一系列手势操作，得到更加复杂的三维场景。这些操作包括但不限于：
1)合并区域，通过在触摸屏幕上使用手指拖拽手势来合并三维模型上某些过分割的区域。具体为：将需要合并的区域和边界图合并成一张新的区域图，并利用细化算法估测二维图像边界的宽度值，再以该宽度值作为参数对新的区域图进行腐蚀操作，从而消除边界像素对三维模型的影响，然后为这个新的区域按照步骤二中的方法产生新的三维网格。
2)仿射变换，通过在触摸屏幕上使用拖拽虚拟的坐标轴来平移三维模型，或通过两指的挤压手势来缩放三维模型，或通过一个起点在三维模型上的拖拽手势来旋转模型。
3)复制操作，通过在触摸屏幕上使用单指的双击手势在虚拟空间中的特定位置复制若干三维模型的副本。
4)动画操作，通过操作虚拟的动画端点来制作简单的模型动画，本发明会对两个动画端点的位置、旋转角度和缩放大小进行插值，得到一段插值动画。
本发明涉及一种实现上述方法的系统，包括：图像分割模块、网格生成模块、增强现实模块以及模型编辑模块，其中：图像分割模块将二维图像进行分割后传输分割信息至网格生成模块，网格生成模块将生成的三维模型注册到增强现实模块中并由增强现实模块显示，模型编辑模块将用户的输入操作传输给网格生成模块来实现对三维模型和场景的进一步编辑和修改。
技术效果
与该领域现有技术相比，本发明可以充分利用用户在真实环境中的绘图经验，将用户在真实世界中绘制的二维图像快速生成为具有纹理信息的三维模型，并自动注册到增强现实平台上，允许用户自由地制作自定义的三维模型。本发明利用增强现实环境下的交互式手势操作让用户通过一系列多点触摸手势来创建包含若干三维模型的三维场景，能够让用户发挥更多的创造力。
附图说明
图1为本发明提出的模拟流程图；
图2为实施例手绘的二维图像；
图3为实施例由二维图像自动生成的三维模型；
图4为实施例在增强现实环境下对三维模型的编辑；
图5为实施例由若干已注册的二维图像构建的三维场景。
具体实施方式
实施例1
本实施例中展示了一个由若干二维图像到一个三维场景的实施例。
本实施例一基于AR的二维图像转换至三维场景的系统，包括：图像分割模块、网格生成模块、增强现实模块以及模型编辑模块，其中：图像分割模块将二维图像进行分割后传输分割信息至网格生成模块，网格生成模块将生成的三维模型注册到增强现实模块中并由增强现实模块显示，模型编辑模块将用户的输入操作传输给网格生成模块来实现对三维模型和场景的进一步编辑和修改。
如图1所示，所述系统通过以下方式实现二维图像至三维场景的转换：
步骤一，用户在真实环境里利用铅笔、橡皮、彩笔、蜡笔等绘图工具绘制一张包含黑色描边的二维图像。
步骤二，用户利用安装在移动设备上的包含本发明的增强现实应用，对步骤一中的二维图像拍摄照片，如图2所示。系统根据输入的二维图像，生成一个具有纹理信息的三维模型，具体包括：
第一步，先将二维图像由RGB颜色空间变换到HSV颜色空间中，并在S通道上应用自适应阈值算法，得到初始化的边界图。判断边界图中每个边界像素的饱和度值是否大于某个阈值，如果大于，则认为该边界像素为异常点，将其从边界图中移除。在上述得到边界图中应用形态学的开操作和闭操作，来移除较小的孔洞和区域，得到最终的边界图。
第二步，根据边界图得到若干封闭的区域，系统为每个区域生成相应的三维网格，其生成方法采用了Olsen等人于2011年在《Computer Graphics and Applications》中发表的名为《Naturasketch:Modeling from images and natural sketches》中提到的三维网格生成方法。该方法通过计算区域图的距离映射图得到每个顶点需要膨胀的高度。由于直接使用线性距离值会使得网格变得过于锋利，系统使用一个圆滑映射函数将线性距离值映射到真正的膨胀高度值，从而得到若干平滑的三维网格结构。
第三步，对于第二步中的每个区域，使用二维图像中的相应区域作为该三维网格的纹理，并使用风格化的卡通渲染对其进行渲染，由此得到一个具有纹理信息的三维模型。
步骤三，将步骤二得到的三维模型注册到增强现实平台上，使得通过移动设备看到三维模型被叠加在真实世界中的二维图像上，如图3所示。
步骤四，在步骤三得到的三维模型基础上，用户在增强现实环境中对该三维模型进行一系列操作，具体如下：
第一步，通过单指的拖拽手势合并三维模型上过分割的区域，得到合并后的三维模型。
第二步，通过拖拽虚拟坐标轴，如图4所示，来移动三维模型，改变其相对于二维图像的空间位置。
第三步，通过双指的挤压手势，放大或缩小三维模型。
第四步，通过单指的拖拽手势旋转三维模型。
第五步，通过单指的双击手势，在虚拟空间中的不同位置制作若干模型副本。如图4所示，通过复制卡通树的三维模型得到一个森林场景。
第六步，通过修改动画端点的位置、旋转和大小等参数，为三维模型制作一段插值动画，或生成骨骼动画。
通过按照任意顺序进行如上操作，也可对第五步中得到的三维模型副本进行上述所有操作。
步骤五，用户重复进行步骤一到步骤四，得到若干注册到增强现实平台的二维图像，每张二维图像对应了一系列三维模型。用户通过将多张注册后的二维图像设置于摄像装置视野范围内，创建出自定义的三维场景，如图5所示。通过在真实世界中自由移动二维图像来改变三维场景中三维模型的相对位置。
由此可见，本发明相较于在平板电脑等电子设备上单一输入的建模系统，可以充分利用用户在真实世界中的绘画经验，快速将二维卡通画生成为具有纹理信息的三维模型。同时，基于增强现实的交互式操作可以更加灵活方便地编辑三维模型，创建自定义的三维场景。相较于只支持固定模型和模板的增强现实绘本应用，本发明允许用户自由发挥想象力，创建个性化的三维模型和三维场景。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

  1. 一种基于AR的二维图像转换至三维场景的实现方法，其特征在于，根据输入的二维图像自动生成具有纹理信息的三维模型，将三维模型注册到增强现实平台上，得到对应的注册后的二维图像；通过在摄像装置的视野范围内设置多张注册后的二维图像，得到由若干三维模型组成的自定义三维场景。
  2. 根据权利要求1所述的基于AR的二维图像转换至三维场景的实现方法，其特征是，所述的三维模型，通过以下方式得到：
    1.1)根据输入的二维图像提取边界图：首先将二维图像由RGB颜色空间转换到HSV颜色空间，然后在其中的S通道应用自适应阈值算法，得到初始化的边界图；然后通过判断初始边界图中的边界像素的饱和度值是否超过阈值认定该像素是否属于边界图，并将不属于边界图的像素移除；最后在边界图上应用形态学的开操作和闭操作消除边界图中较小的孔洞和区域，得到优化后的边界图；
    1.2)在优化后的边界图上应用区域填充算法得到若干闭合区域，并为闭合区域生成相应的三维网格；
    1.3)使用边缘查找方法，找到每个闭合区域的边界，然后应用一致性有约束的德劳内三角化算法，得到该区域内若干离散的顶点；
    1.4)计算离散的顶点在三维网格中的膨胀高度，使用圆滑映射函数将距离映射图中的线性距离值变换成膨胀高度值；
    1.5)把该闭合区域在二维图像中的对应区域作为三维网格的纹理，并应用风格化的渲染方式得到相应的渲染效果，通过组合若干三维网格构成一个完整的具有纹理信息的三维模型。
  3. 根据权利要求2所述的基于AR的二维图像转换至三维场景的实现方法，其特征是，在获得离散的顶点时，根据区域的面积使用不同的最大面积约束值。
  4. 根据权利要求2所述的基于AR的二维图像转换至三维场景的实现方法，其特征是，为了进一步提高三维网格中横截面的平滑度，使用局部拉普拉斯平滑方法进一步平滑整个三维网格。
  5. 根据权利要求1或2所述的基于AR的二维图像转换至三维场景的实现方法，其特征是，所述的增强现实平台用于识别和追踪已注册的二维图像，使得用户能够通过移动终端内置的摄 像装置看到虚拟的三维模型叠加到真实环境中的二维图像上。
  6. 根据权利要求1所述的基于AR的二维图像转换至三维场景的实现方法，其特征是，所述的三维模型支持手势操作以得到更加复杂的三维场景，该手势操作包括：
    1)合并区域，通过在触摸屏幕上通过手指拖拽手势来合并三维模型上某些过分割的区域，将需要合并的区域和边界图合并成一张新的区域图，并利用细化算法估测二维图像边界的宽度值，再以该宽度值作为参数对新的区域图进行腐蚀操作，从而消除边界像素对三维模型的影响，然后为这个新的区域按照步骤二中的方法产生新的三维网格；
    2)仿射变换，通过在触摸屏幕上通过拖拽虚拟的坐标轴来平移三维模型、通过手指的挤压手势来缩放三维模型，或通过一个起点在三维模型上的拖拽手势来旋转模型；
    3)复制操作，通过在触摸屏幕上通过手指的双击手势在虚拟空间中的特定位置复制若干三维模型的副本；
    4)动画操作，通过操作虚拟的动画端点来制作简单的模型动画，然后通过对两个动画端点的位置、旋转角度和缩放大小进行插值，得到一段插值动画，用户还可为模型指定若干骨骼点或自动提取模型骨架，生成模型的骨骼动画。
  7. 一种实现上述权利要求1～6中任一所述方法的系统，其特征在于，包括：图像分割模块、网格生成模块、增强现实模块以及模型编辑模块，其中：图像分割模块将二维图像进行分割后传输分割信息至网格生成模块，网格生成模块将生成的三维模型注册到增强现实模块中并由增强现实模块显示，模型编辑模块将用户的输入操作传输给网格生成模块来实现对三维模型和场景的进一步编辑和修改。
PCT/CN2017/073559 2016-06-28 2017-02-15 基于ar的二维图像转换至三维场景的实现方法 WO2018040511A1 (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610486634 2016-06-28
CN201610792428.3A CN106373187B (zh) 2016-06-28 2016-08-31 基于ar的二维图像转换至三维场景的实现方法
CN201610792428.3 2016-08-31

Publications (1)

Publication Number Publication Date
WO2018040511A1 true WO2018040511A1 (zh) 2018-03-08

Family

ID=57899986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/073559 WO2018040511A1 (zh) 2016-06-28 2017-02-15 基于ar的二维图像转换至三维场景的实现方法

Country Status (2)

Country Link
CN (1) CN106373187B (zh)
WO (1) WO2018040511A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658523A (zh) * 2018-12-10 2019-04-19 西安小明出行新能源科技有限公司 利用ar增强现实应用实现车辆各功能使用说明的方法
CN110136245A (zh) * 2019-04-30 2019-08-16 南方电网调峰调频发电有限公司 一种3d模型处理系统
CN110874830A (zh) * 2018-08-31 2020-03-10 北京京东尚科信息技术有限公司 图像处理的方法、装置和设备
CN111260084A (zh) * 2020-01-09 2020-06-09 长安大学 基于增强现实协同装配维修的远程系统及方法
CN112242004A (zh) * 2019-07-16 2021-01-19 华中科技大学 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
CN112862938A (zh) * 2021-01-15 2021-05-28 湖北理工学院 一种环境设计展示装置及方法
CN113350792A (zh) * 2021-06-16 2021-09-07 网易（杭州）网络有限公司 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质
CN113674293A (zh) * 2021-08-20 2021-11-19 建信金融科技有限责任公司 图片处理方法、装置、电子设备和计算机可读介质
CN113793415A (zh) * 2021-09-15 2021-12-14 云南建投第一勘察设计有限公司 一种2d图纸转3d效果的处理系统及方法
CN113870440A (zh) * 2021-10-13 2021-12-31 福州大学 基于mar的机械制图移动端助学系统
CN117132507A (zh) * 2023-10-23 2023-11-28 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373187B (zh) * 2016-06-28 2019-01-11 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN107610217B (zh) * 2017-08-22 2021-09-07 深圳中广核工程设计有限公司 一种核电设备虚拟识别展示系统和方法
CN110223541A (zh) * 2018-03-03 2019-09-10 哈尔滨越泰科技发展有限公司 一种基于镜面折射图像识别方法的教育套件
CN108537878B (zh) 2018-03-26 2020-04-21 Oppo广东移动通信有限公司 环境模型生成方法、装置、存储介质及电子设备
CN108492381A (zh) * 2018-03-30 2018-09-04 三盟科技股份有限公司 一种将实物颜色转换成3d模型贴图的方法及系统
CN109584377B (zh) * 2018-09-04 2023-08-29 亮风台（上海）信息科技有限公司 一种用于呈现增强现实内容的方法与设备
CN109472873B (zh) * 2018-11-02 2023-09-19 北京微播视界科技有限公司 三维模型的生成方法、装置、硬件装置
CN109671317B (zh) * 2019-01-30 2021-05-25 重庆康普达科技有限公司 基于ar的脸谱互动教学方法
CN110221689B (zh) * 2019-05-10 2022-07-08 杭州小影创新科技股份有限公司 一种基于增强现实的空间绘画方法
CN110233683B (zh) * 2019-06-14 2021-08-31 上海恒能泰企业管理有限公司 Ar边缘计算资源调度方法、系统及介质
CN116778114A (zh) * 2022-03-07 2023-09-19 北京百度网讯科技有限公司 对组件进行操作的方法、电子设备、存储介质及程序产品
CN116168214B (zh) * 2023-04-25 2023-07-18 浙江一山智慧医疗研究有限公司 医疗图像纹理特征提取方法、装置及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
US20130222427A1 (en) * 2012-02-29 2013-08-29 Electronics And Telecommunications Research Institute System and method for implementing interactive augmented reality
CN103473807A (zh) * 2013-09-26 2013-12-25 王治魁 一种3d模型变换系统及方法
CN104740869A (zh) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及系统
CN105096387A (zh) * 2015-07-16 2015-11-25 青岛科技大学 一种二维草图智能三维化处理方法
CN105488846A (zh) * 2015-11-25 2016-04-13 联想(北京)有限公司 一种显示方法及电子设备
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN106373187A (zh) * 2016-06-28 2017-02-01 上海交通大学 基于ar的二维图像转换至三维场景的实现方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824495B2 (en) * 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
CN103823554A (zh) * 2014-01-12 2014-05-28 青岛科技大学 一种数字化虚实交互系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111561A (zh) * 2009-12-25 2011-06-29 新奥特（北京）视频技术有限公司 一种模拟真实场景的三维模型投影方法及装置
US20130222427A1 (en) * 2012-02-29 2013-08-29 Electronics And Telecommunications Research Institute System and method for implementing interactive augmented reality
CN103473807A (zh) * 2013-09-26 2013-12-25 王治魁 一种3d模型变换系统及方法
CN104740869A (zh) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及系统
CN105096387A (zh) * 2015-07-16 2015-11-25 青岛科技大学 一种二维草图智能三维化处理方法
CN105488846A (zh) * 2015-11-25 2016-04-13 联想(北京)有限公司 一种显示方法及电子设备
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN106373187A (zh) * 2016-06-28 2017-02-01 上海交通大学 基于ar的二维图像转换至三维场景的实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLSEN LUK E ET AL.: "NaturaSketch: Modeling from Images and Natural Sketches", IEEE COMPUTER GRAPHICS AND APPLICATIONS, 31 December 2011 (2011-12-31), XP055603409 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874830A (zh) * 2018-08-31 2020-03-10 北京京东尚科信息技术有限公司 图像处理的方法、装置和设备
CN109658523B (zh) * 2018-12-10 2023-05-09 田海玉 利用ar增强现实应用实现车辆各功能使用说明的方法
CN109658523A (zh) * 2018-12-10 2019-04-19 西安小明出行新能源科技有限公司 利用ar增强现实应用实现车辆各功能使用说明的方法
CN110136245B (zh) * 2019-04-30 2023-04-07 南方电网调峰调频发电有限公司 一种3d模型处理系统
CN110136245A (zh) * 2019-04-30 2019-08-16 南方电网调峰调频发电有限公司 一种3d模型处理系统
CN112242004A (zh) * 2019-07-16 2021-01-19 华中科技大学 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
CN112242004B (zh) * 2019-07-16 2023-09-01 华中科技大学 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
CN111260084B (zh) * 2020-01-09 2024-03-15 长安大学 基于增强现实协同装配维修的远程系统及方法
CN111260084A (zh) * 2020-01-09 2020-06-09 长安大学 基于增强现实协同装配维修的远程系统及方法
CN112862938B (zh) * 2021-01-15 2022-06-03 湖北理工学院 一种环境设计展示装置及方法
CN112862938A (zh) * 2021-01-15 2021-05-28 湖北理工学院 一种环境设计展示装置及方法
CN113350792A (zh) * 2021-06-16 2021-09-07 网易（杭州）网络有限公司 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质
CN113350792B (zh) * 2021-06-16 2024-04-09 网易（杭州）网络有限公司 虚拟模型的轮廓处理方法、装置、计算机设备及存储介质
CN113674293A (zh) * 2021-08-20 2021-11-19 建信金融科技有限责任公司 图片处理方法、装置、电子设备和计算机可读介质
CN113793415A (zh) * 2021-09-15 2021-12-14 云南建投第一勘察设计有限公司 一种2d图纸转3d效果的处理系统及方法
CN113793415B (zh) * 2021-09-15 2023-10-31 云南建投第一勘察设计有限公司 一种2d图纸转3d效果的处理系统及方法
CN113870440A (zh) * 2021-10-13 2021-12-31 福州大学 基于mar的机械制图移动端助学系统
CN117132507B (zh) * 2023-10-23 2023-12-22 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质
CN117132507A (zh) * 2023-10-23 2023-11-28 光轮智能(北京)科技有限公司 图像增强方法、图像处理方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN106373187B (zh) 2019-01-11
CN106373187A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
WO2018040511A1 (zh) 基于ar的二维图像转换至三维场景的实现方法
Hu et al. Fast tetrahedral meshing in the wild
US10861232B2 (en) Generating a customized three-dimensional mesh from a scanned object
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
Schweikardt et al. Digital clay: deriving digital models from freehand sketches
Wang et al. Feature based 3D garment design through 2D sketches
US8286102B1 (en) System and method for image processing using multi-touch gestures
Huo et al. Window-shaping: 3d design ideation by creating on, borrowing from, and looking at the physical world
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US9202309B2 (en) Methods and apparatus for digital stereo drawing
US20130124148A1 (en) System and Method for Generating Editable Constraints for Image-based Models
JP2011221980A (ja) バーチャル・モデル生成システム、バーチャル・モデル生成プログラム、および、インタラクティブ・バーチャル・コンテンツ生成システム
Bhattacharjee et al. A survey on sketch based content creation: from the desktop to virtual and augmented reality
Olsen et al. Image-assisted modeling from sketches.
US8665261B1 (en) Automatic spatial correspondence disambiguation
Feng et al. Magictoon: A 2d-to-3d creative cartoon modeling system with mobile ar
Sandnes Sketching 3D immersed experiences rapidly by hand through 2D cross sections
Zhang et al. NK-CDS: A creative design system for museum art derivatives
CN104820584B (zh) 一种面向层次化信息自然操控的3d手势界面的构建方法及系统
Di Fiore et al. A multi-level sketching tool for pencil-and-paper animation
Miranda et al. Sketch express: facial expressions made easy
Li et al. Fast content-aware resizing of multi-layer information visualization via adaptive triangulation
CN117853320B (zh) 一种基于多媒体操控的图像映射方法、系统及存储介质
Liu et al. Animating characters in Chinese painting using two-dimensional skeleton-based deformation
CN117011493B (zh) 基于符号距离函数表示的三维人脸重建方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17844822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 10.07.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17844822

Country of ref document: EP

Kind code of ref document: A1