KR102113812B1 - Apparatus and method for implementing immersive augmented reality with RGB-D data - Google Patents
Apparatus and method for implementing immersive augmented reality with RGB-D data Download PDFInfo
- Publication number
- KR102113812B1 KR102113812B1 KR1020140125198A KR20140125198A KR102113812B1 KR 102113812 B1 KR102113812 B1 KR 102113812B1 KR 1020140125198 A KR1020140125198 A KR 1020140125198A KR 20140125198 A KR20140125198 A KR 20140125198A KR 102113812 B1 KR102113812 B1 KR 102113812B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- model
- color
- augmented reality
- images
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000002131 composite material Substances 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법이 개시된다. RGB-D 영상을 이용한 실감형 증강현실 구현 장치는 컬러 영상 및 깊이 영상을 입력받는 입력부, 컬러 영상 및 깊이 영상의 합성 영상을 생성하는 합성영상 생성부, 합성 영상에서 공간 및 객체를 인식하는 객체 인식부, 인식한 객체의 3차원 객체 정보를 추출하는 객체정보 추출부 및 3차원 객체 정보 및 컬러 영상을 이용하여 객체가 사라지거나 변형된 증강 영상을 생성하고 출력하는 증강영상 생성부를 포함한다.Disclosed is an apparatus and method for realizing augmented reality using RGB-D images. A device for realizing augmented reality using RGB-D images includes an input unit that receives color images and depth images, a composite image generator that generates composite images of color images and depth images, and object recognition that recognizes spaces and objects in composite images. The unit includes an object information extraction unit for extracting 3D object information of the recognized object, and an augmented image generation unit for generating and outputting an augmented image in which an object disappears or is modified using 3D object information and a color image.
Description
본 발명은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법에 관한 것이다.
The present invention relates to a device and method for realizing augmented reality using RGB-D images.
증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3차원의 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다. 종래의 증강현실 기술은 인식한 위치와 자세 정보를 이용하여 실사 영상에 미리 만들어진 가상 콘텐츠를 정합하여 보여준다. 이는 실제 현실의 영상에 가상의 콘텐츠를 덧입히기 때문에, 사용자로 하여금 혼합 현실의 이질감을 느끼게 하여 몰입도를 떨어드리는 문제점이 있으며, 더불어, 현재 출시되는 증강현실 서비스는 증강현실 서비스마다 실제 물체에 증강할 가상 콘텐츠를 제작해야 하기 때문에 많은 비용이 소모되는 문제점이 있다.
Augmented reality technology estimates the position and posture of an object to be augmented by extracting a defined marker or learned natural image information from an image coming from the camera, and uses this to add 3D virtual content, pictures, videos, and other multimedia contents. It is a skill to show. Conventional augmented reality technology matches and shows pre-made virtual content on a live-action image using recognized position and posture information. This is because the virtual content is superimposed on the image of the real reality, which causes the user to feel the heterogeneity of the mixed reality and decreases the degree of immersion. In addition, the augmented reality service that is currently released is augmented to the real object for each augmented reality service There is a problem in that a lot of cost is consumed because it is necessary to produce virtual content.
본 발명은 가상의 콘텐츠가 아닌, 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강하여 물체가 없어지거나 변형되는 영상을 생성하는 RGB-D 영상을 이용한 실감형 증강현실 구현 장치 및 방법을 제안하는 것이다.
The present invention proposes an apparatus and method for realizing augmented reality using RGB-D images that augment an image that transforms a real object recognized from a photographed image rather than virtual content, thereby generating an image in which an object disappears or is transformed. Is to do.
본 발명의 일 측면에 따르면, RGB-D 영상을 이용한 실감형 증강현실 구현 장치가 개시된다.According to an aspect of the present invention, a device for realizing augmented reality using a RGB-D image is disclosed.
본 발명의 실시예에 따른 RGB-D 영상을 이용한 실감형 증강현실 구현 장치는, 컬러 영상 및 깊이 영상을 입력받는 입력부; 상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 합성영상 생성부; 상기 합성 영상에서 공간 및 객체를 인식하는 객체 인식부; 인식한 객체의 3차원 객체 정보를 추출하는 객체정보 추출부; 및 상기 3차원 객체 정보 및 상기 컬러 영상을 이용하여 상기 객체가 사라지거나 변형된 증강 영상을 생성하고 출력하는 증강영상 생성부를 포함한다.
상기 합성영상 생성부는 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성한다.
상기 객체 인식부는 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식한다.
상기 객체정보 추출부는 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력한다.
상기 객체정보 추출부는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델 및 컬러맵을 출력한다.
상기 증강영상 생성부는, 상기 컬러 영상에서 상기 객체정보 추출부로부터의 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력한다.
본 발명의 실시예에 따른 RGB-D 영상을 이용한 실감형 증강현실 구현 방법은, 컬러 영상 및 깊이 영상을 입력받는 단계; 상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 단계; 상기 합성 영상에서 공간 및 객체를 인식하는 단계; 인식된 객체의 3차원 객체 정보를 추출하는 단계; 및 상기 3차원 객체 정보 및 상기 컬러 영상을 이용하여 상기 객체가 사라지거나 변형된 증강 영상을 생성하는 단계를 포함한다.
상기 합성 영상을 생성하는 단계는, 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성하는 단계이다.
상기 인식하는 단계는, 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식하는 단계이다.
상기 추출하는 단계는, 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력하는 단계이다.
상기 추출하는 단계는, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델과 컬러맵을 출력하는 것을 포함한다.
상기 증강 영상을 생성하는 단계는, 상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력하는 단계이다.
An apparatus for realizing augmented reality using a RGB-D image according to an embodiment of the present invention includes: an input unit that receives a color image and a depth image; A composite image generating unit generating a composite image of the color image and the depth image; An object recognition unit for recognizing space and objects in the composite image; An object information extraction unit for extracting 3D object information of the recognized object; And an augmented image generation unit that generates and outputs an augmented image in which the object disappears or is modified using the 3D object information and the color image.
The synthesized image generator synchronizes the color image and the depth image, removes noise from the depth image, corrects resolution, and maps the color image and pixels of the depth image to generate the synthesized image.
The object recognition unit detects a line segment in the composite image, recognizes spatial information in the composite image using the detected line segment, separates the space in the composite image into a plurality of regions, and features points in each separated region Extracts and recognizes objects in each area using feature points and location information in space.
The object information extracting unit estimates a posture change using a 3D point cloud generated using a depth image of the recognized object, reconstructs a 3D model using the 3D point cloud, and reconstructs the color image and the Using the mapping of the depth image, the color map of the reconstructed 3D model is extracted, and the extracted 3D model and color map are output.
The object information extracting unit determines whether an existing extracted 3D model and color map exist, and when the previously extracted 3D model and color map exist, the currently extracted 3D model and color map are previously extracted. After synthesis with each of the 3D model and the color map, the 3D model and the color map are output.
The augmented image generation unit removes an object region corresponding to a 3D model from the object information extraction unit from the color image, estimates a background image by using surrounding background information of the removed object region, and removes the removed region. Fill with the estimated background image, and when the effect of the object appearing on the augmented image is applied, the object is synthesized and output to the background image of Chae Won-jin.
A method for realizing augmented reality using a RGB-D image according to an embodiment of the present invention includes: receiving a color image and a depth image; Generating a composite image of the color image and the depth image; Recognizing space and objects in the composite image; Extracting 3D object information of the recognized object; And generating an augmented image in which the object disappears or is modified using the 3D object information and the color image.
The generating of the synthesized image may include synchronizing the color image and the depth image, removing noise of the depth image, correcting a resolution, and mapping pixels of the color image and the depth image to map the synthesized image. It is a step to create.
The recognizing step may include detecting a line segment in the composite image, recognizing spatial information in the composite image using the detected line segment, separating a space in the composite image into a plurality of regions, and separating each region. In this step, feature points are extracted and objects in each area are recognized using feature points and location information in space.
In the extracting step, a posture change is estimated using a 3D point cloud generated using a depth image of the recognized object, a 3D model is reconstructed using the 3D point cloud, and the color image and It is a step of extracting the color map of the reconstructed 3D model using the mapping of the depth image, and outputting the extracted 3D model and color map.
The extracting step determines whether an existing extracted 3D model and color map exist, and extracts the currently extracted 3D model and color map when the previously extracted 3D model and color map exist. And outputting the 3D model and color map after synthesis with each of the 3D model and color map.
In the generating of the augmented image, the object region corresponding to the 3D model is removed from the color image, the background image is estimated using the background information of the removed object region, and the background is estimated. When filling with an image and the effect of the object appearing on the augmented image is applied, it is a step of synthesizing and outputting the object to the background image of Chae Won-jin.
본 발명은 가상의 콘텐츠가 아닌, 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강함으로써, 실제로 사용자가 보는 영상과 증강현실 영상 사이의 이질감을 없애고, 사용자가 실제 환경에 알맞게 변화된 증강현실을 체험하게 할 수 있으며, 가상 콘텐츠 제작이 필요치 않아 비용을 줄일 수 있다.
The present invention augments the image of a real object that is recognized from a captured image, not virtual content, thereby eliminating the heterogeneity between the image actually viewed by the user and the augmented reality image, and the augmented reality that the user has changed according to the actual environment. You can experience it, and you can reduce the cost because you do not need to create virtual content.
도 1은 증강현실 구현 장치에서 RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 나타낸 흐름도.
도 2 내지 도 5는 도 1의 각 단계를 구체적으로 나타낸 흐름도.
도 6은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치의 구성을 개략적으로 예시한 도면.
도 7은 합성 영상으로부터 공간을 인식하고 영역을 분리한 결과를 예시한 도면.
도 8은 3차원 모델을 재구성하고 컬러맵을 추출한 결과를 예시한 도면.
도 9는 객체 영역의 영상 제거 및 객체 변형 효과를 적용한 결과를 예시한 도면.
도 10은 실사를 변형하여 증강 영상을 생성한 예를 나타낸 도면.1 is a flow chart showing a method of realizing augmented reality using RGB-D images in an augmented reality implementation device.
2 to 5 are flowcharts specifically showing each step of FIG. 1.
6 is a diagram schematically illustrating the configuration of a device for realizing augmented reality using RGB-D images.
7 is a diagram illustrating a result of recognizing a space and separating an area from a composite image.
8 is a diagram illustrating a result of reconstructing a 3D model and extracting a color map.
9 is a diagram illustrating a result of applying an image removal and object transformation effect of an object region.
10 is a view showing an example in which an augmented image is generated by modifying a live action.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention can be variously changed and can have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, when it is determined that detailed descriptions of related known technologies may unnecessarily obscure the subject matter of the present invention, detailed descriptions thereof will be omitted. In addition, the numbers used in the description process of this specification are only identification symbols for distinguishing one component from other components.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in this specification, when one component is referred to as "connected" or "connected" with another component, the one component may be directly connected to the other component, or may be directly connected, but in particular It should be understood that, as long as there is no objection to the contrary, it may or may be connected via another component in the middle.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the overall understanding in describing the present invention, the same reference numerals will be used for the same means regardless of the drawing numbers.
도 1은 증강현실 구현 장치에서 RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 나타낸 흐름도이고, 도 2 내지 도 5는 도 1의 각 단계를 구체적으로 나타낸 흐름도이다. 이하에서는, RGB-D 영상을 이용한 실감형 증강현실 구현 방법을 도 1을 중심으로 설명하되, 도 2 내지 도 5를 참조하기로 한다.1 is a flowchart illustrating a method of realizing augmented reality using RGB-D images in an augmented reality implementation device, and FIGS. 2 to 5 are flowcharts showing each step of FIG. 1 in detail. Hereinafter, a method of realizing augmented reality using RGB-D images will be described with reference to FIG. 1, but will be described with reference to FIGS. 2 to 5.
S100 단계에서, 증강현실 구현 장치는 컬러 영상 및 깊이 영상을 입력받는다. 여기서, 증강현실 구현 장치는 컬러 영상과 깊이 영상을 획득하는 장치를 구비할 수 있다. 예를 들어, 증강현실 구현 장치는 키넥트(Kinect) 장치와 같은 RGB-D 영상 입력 장치를 이용하여 컬러 영상 및 깊이 영상을 획득할 수 있다.In step S100, the augmented reality implementation device receives a color image and a depth image. Here, the apparatus for realizing augmented reality may include a device that acquires a color image and a depth image. For example, the augmented reality implementation device may acquire a color image and a depth image using an RGB-D image input device such as a Kinect device.
S200 단계에서, 증강현실 구현 장치는 입력된 컬러 영상과 깊이 영상의 합성 영상을 생성한다. 이에 대하여 이하에서 도 2를 참조하여 설명한다.In step S200, the augmented reality implementation device generates a composite image of the input color image and depth image. This will be described below with reference to FIG. 2.
S210 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 동기화 여부를 판단한다.In step S210, the augmented reality implementation device determines whether to synchronize the color image and the depth image.
S220 단계에서, 증강현실 구현 장치는 동기화되지 않은 경우, 컬러 영상과 깊이 영상을 동기화한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상에 시간차가 있는 경우, 느리게 입력되는 영상에 동기화를 맞추어 준다. 키넥트 장치의 경우, 컬러 영상이 느리게 입력될 수 있다.In step S220, if the augmented reality implementation device is not synchronized, the color image and the depth image are synchronized. For example, when there is a time difference between a color image and a depth image, the apparatus for implementing augmented reality synchronizes the input image slowly. In the case of the Kinect device, a color image may be input slowly.
S230 단계에서, 증강현실 구현 장치는 깊이 영상의 노이즈를 제거하고, 해상도를 보정한다. 예를 들어, 증강현실 구현 장치는 입력된 깊이 영상에 포함된 노이즈를 Bilateral filter, Median filter 등을 이용하여 제거할 수 있다. 또한, 증강현실 구현 장치는 컬러 영상에 비하여 낮은 깊이 영상의 해상도를 Markov Random Field나 Spatiotemporal filter, 에지를 보존하는 Bilateral filter 등을 이용한 upsampling 방법을 통해 높여줄 수 있다.In step S230, the apparatus for implementing augmented reality removes noise of the depth image and corrects the resolution. For example, the apparatus for implementing augmented reality may remove noise included in the input depth image using a bilateral filter, a median filter, and the like. In addition, the augmented reality implementation device can increase the resolution of a low-depth image compared to a color image through an upsampling method using a Markov Random Field, Spatiotemporal filter, or Bilateral filter to preserve edges.
S240 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 픽셀을 매핑하여 합성 영상을 생성한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 해상도가 동일해지면, 카메라 파라미터간의 호모그래피를 이용하여 컬러 영상과 깊이 영상의 픽셀을 매핑할 수 있다.In step S240, the augmented reality implementation device generates a composite image by mapping pixels of a color image and a depth image. For example, when the resolution of the color image and the depth image is the same, the apparatus for implementing augmented reality may map pixels of the color image and the depth image using homography between camera parameters.
다시, 도 1을 참조하면, S300 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 공간 및 객체를 인식한다. 이에 대하여 이하에서 도 3을 참조하여 설명한다.Referring back to FIG. 1, in step S300, the augmented reality implementation device recognizes spaces and objects in a composite image of a color image and a depth image. This will be described below with reference to FIG. 3.
S310 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 선분을 검출한다. 예를 들어, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 합성 영상에서 3D Hough transform, Canny edge detector 등의 방법을 이용하여 선분을 검출할 수 있다.In step S310, the augmented reality implementation device detects a line segment from a composite image of a color image and a depth image. For example, the augmented reality implementation device may detect a line segment using a method of 3D Hough transform, Canny edge detector, etc., in a composite image of a color image and a depth image.
S320 단계에서, 증강현실 구현 장치는 추출한 선분을 이용하여 합성 영상에서의 공간 정보를 인식한다. 예를 들어, 증강현실 구현 장치는 추출한 선분을 이용하여 합성 영상에서 소실점 후보를 찾고, 평면들의 방향 정보, 위치 정보 등을 종합하여 벽면, 바닥, 천장 등과 같은 공간의 정보를 인식할 수 있다.In step S320, the apparatus for implementing augmented reality recognizes spatial information in the synthesized image using the extracted line segment. For example, the apparatus for realizing augmented reality may find a candidate for a vanishing point in the composite image using the extracted line segment, and recognize information of a space such as a wall, floor, or ceiling by synthesizing direction information and location information of planes.
S330 단계에서, 증강현실 구현 장치는 합성 영상에서 각 객체의 영역을 분리한다. 예를 들어, 증강현실 구현 장치는 합성 영상의 각 픽셀간 컬러 및 깊이값 차이를 이용하여 물체의 영역을 분리할 수 있으며, 이때, 분리한 각 영역을 바닥과 벽면에 평행한 직육면체로 표현하여 영역의 위치와 회전값을 계산할 수 있다. 영역 분리 알고리즘은 Graph-based algorithm, Conditional random field model 등의 세그멘테이션 알고리즘이 사용될 수 있다.In step S330, the augmented reality implementation device separates the area of each object from the composite image. For example, the apparatus for implementing augmented reality can separate an area of an object using a difference in color and depth values between pixels of a composite image, where the separated area is represented by a rectangular parallelepiped parallel to the floor and the wall. You can calculate the position and rotation value of. Segmentation algorithms such as a graph-based algorithm and a conditional random field model may be used as the region separation algorithm.
예를 들어, 도 7은 합성 영상으로부터 공간을 인식하고 영역을 분리한 결과를 예시한 도면이다. 도 7에 도시된 바와 같이, 증강현실 구현 장치는 벽면 및 바닥의 정보를 인식하고, 객체의 영역을 직육면체로 분리할 수 있다.For example, FIG. 7 is a diagram illustrating a result of recognizing a space and separating an area from a composite image. As illustrated in FIG. 7, the apparatus for implementing augmented reality may recognize information on a wall surface and a floor, and may separate an area of an object into a cuboid.
S340 단계에서, 증강현실 구현 장치는 객체 인식을 위하여, 분리한 각 영역에서 특징점을 추출한다. 예를 들어, 증강현실 구현 장치는 특징점 추출을 위하여 RGB-SIFT(Scale-invariant feature transform), Depth-SIFT 등의 알고리즘을 이용할 수 있다.In step S340, the apparatus for implementing augmented reality extracts feature points from each separated area for object recognition. For example, the apparatus for implementing augmented reality may use algorithms such as Scale-invariant Feature Transform (RGB-SIFT) and Depth-SIFT to extract feature points.
S350 단계에서, 증강현실 구현 장치는 각 영역의 특징점과 공간 상에서의 위치 정보를 이용하여 영역이 나타내는 객체를 인식한다. 예를 들어, 증강현실 구현 장치는 Constrained parametric min-cut 알고리즘과 Joint boost 알고리즘과 같은 다중분류 알고리즘을 이용하여 객체를 인식할 수 있다.In step S350, the augmented reality implementation apparatus recognizes the object represented by the region using feature points of each region and location information on the space. For example, the augmented reality implementation device may recognize an object using a multi-classification algorithm such as a constrained parametric min-cut algorithm and a joint boost algorithm.
S360 단계에서, 증강현실 구현 장치는 인식한 객체를 등록한다. 예를 들어, 증강현실 구현 장치는 인식한 객체가 새롭게 인식된 객체인 경우, 객체 추적 및 실사의 3차원 정보 추출을 위하여 객체 데이터베이스에 새롭게 인식한 객체를 등록할 수 있다. 만약, 영역의 객체 인식이 실패하는 경우, 해당 영역은 이후 프로세스에 사용되지 않는다.In step S360, the augmented reality implementation device registers the recognized object. For example, when the recognized object is a newly recognized object, the augmented reality implementation device may register the newly recognized object in the object database for object tracking and real-time 3D information extraction. If the object recognition of the region fails, the region is not used in subsequent processes.
다시, 도 1을 참조하면, S400 단계에서, 증강현실 구현 장치는 인식한 객체의 3차원 객체 정보를 추출한다. 이에 대하여 이하에서 도 4를 참조하여 설명한다.Referring back to FIG. 1, in step S400, the augmented reality implementation device extracts 3D object information of the recognized object. This will be described below with reference to FIG. 4.
S410 단계에서, 증강현실 구현 장치는 인식한 객체 영역의 깊이 영상을 이용하여 3차원 포인트 클라우드(3D point cloud)를 생성한다.In step S410, the apparatus for implementing augmented reality creates a 3D point cloud using the depth image of the recognized object area.
S420 단계에서, 증강현실 구현 장치는 생성한 3차원 포인트 클라우드를 이용하여 자세 변화를 추정한다. 예를 들어, 증강현실 구현 장치는 이전 프레임에 대한 해당 객체의 3차원 포인트 클라우드와의 자세 변화를 Iterative closest points 알고리즘을 이용하여 추정할 수 있다.In step S420, the apparatus for implementing augmented reality estimates a posture change using the generated 3D point cloud. For example, the apparatus for implementing augmented reality may estimate a change in posture of a corresponding object with a 3D point cloud for a previous frame using an Iterative closest points algorithm.
S430 단계에서, 증강현실 구현 장치는 생성한 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성한다. 예를 들어, 증강현실 구현 장치는 3차원 포인트 클라우드를 Truncated signed distance function과 같은 객체 표면 표현 방식으로 변환한 후 Raycasting을 통하여 3차원 모델을 재구성할 수 있다.In step S430, the augmented reality implementation device reconstructs the 3D model using the generated 3D point cloud. For example, the apparatus for implementing augmented reality may reconstruct a 3D model through raycasting after transforming a 3D point cloud into an object surface representation method such as a truncated signed distance function.
S440 단계에서, 증강현실 구현 장치는 컬러 영상과 깊이 영상의 매핑을 이용하여, 재구성한 3차원 모델의 컬러맵을 추출한다.In operation S440, the apparatus for implementing augmented reality extracts a color map of the reconstructed 3D model by using a mapping between a color image and a depth image.
예를 들어, 도 8은 3차원 모델을 재구성하고 컬러맵을 추출한 결과를 예시한 도면이다. 도 8에 도시된 바와 같이, 증강현실 구현 장치는 실제 객체의 3차원 모델을 재구성하고, 재구성한 3차원 모델의 실사와 같은 컬러맵을 추출할 수 있다.For example, FIG. 8 is a diagram illustrating a result of reconstructing a 3D model and extracting a color map. As illustrated in FIG. 8, the apparatus for implementing augmented reality may reconstruct a 3D model of a real object and extract a color map such as a photorealistic image of the reconstructed 3D model.
S450 단계에서, 증강현실 구현 장치는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지 여부를 판단한다.In step S450, the apparatus for implementing augmented reality determines whether an existing 3D model and a color map exist.
S460 단계에서, 증강현실 구현 장치는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우, 기존 및 새롭게 추출된 3차원 모델 및 컬러맵을 합성한다. 예를 들어, 증강현실 구현 장치는 이전 모델 및 컬러맵과의 가중치합을 통하여 합성할 수 있다.In step S460, the apparatus for implementing augmented reality synthesizes the existing and newly extracted 3D model and color map when the previously extracted 3D model and color map exist. For example, the apparatus for implementing augmented reality may be synthesized through a weighted sum of the previous model and the color map.
S470 단계에서, 증강현실 구현 장치는 컬러맵을 보정한다. 예를 들어, 증강현실 구현 장치는 노이즈에서 비롯된 오류를 제거하고, Photometric consistency를 최대화하는 Color map optimization을 통하여 컬러맵을 실사와 같게 보정할 수 있다.In step S470, the augmented reality implementation device corrects the color map. For example, the apparatus for implementing augmented reality can correct the color map as in real life through color map optimization that eliminates errors caused by noise and maximizes photometric consistency.
다시, 도 1을 참조하면, S500 단계에서, 증강현실 구현 장치는 입력된 영상 및 추출한 3차원 객체 정보를 이용하여 증강 영상을 생성하고 출력한다. 이에 대하여 이하에서 도 5를 참조하여 설명한다.Referring back to FIG. 1, in step S500, the augmented reality implementation device generates and outputs an augmented image using the input image and the extracted 3D object information. This will be described below with reference to FIG. 5.
S510 단계에서, 증강현실 구현 장치는 입력된 컬러 영상에서 선택된 객체의 영역의 영상을 제거한다.In step S510, the augmented reality implementation device removes the image of the selected object area from the input color image.
S520 단계에서, 증강현실 구현 장치는 제거된 부분의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 추정한 배경 영상으로 제거된 부분을 채워준다. 예를 들어, 증강현실 구현 장치는 주변 배경 정보를 사용하는 Example-based texture synthesis, 이미지 데이터베이스를 사용하는 Image-based scene completion와 같은 영상 완성 알고리즘을 이용하여 배경 영상을 추정하고, 자연스러운 합성을 위하여 Poisson blending과 같은 방법을 이용하여 접합 부위를 매끄럽게 처리할 수 있다.In step S520, the augmented reality implementation device estimates the background image using the background information of the removed portion and fills the removed portion with the estimated background image. For example, the augmented reality implementation device estimates a background image using an image completion algorithm such as Example-based texture synthesis using ambient background information and Image-based scene completion using an image database, and Poisson for natural synthesis. You can use a method such as blending to smooth the joints.
S530 단계에서, 증강현실 구현 장치는 증강 영상에 객체가 나타나는 효과가 적용되는지 여부를 판단한다.In step S530, the apparatus for implementing augmented reality determines whether an effect in which an object appears is applied to the augmented image.
S540 단계에서, 증강현실 구현 장치는 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 배경 영상이 채워진 영상에 변형 객체를 합성한다. 예를 들어, 증강현실 구현 장치는 배경 영상이 자연스럽게 채워진 부분 위에 크기, 모양, 재질, 위치, 자세 등의 변화가 가해진 물체의 영상을 실사로 렌더링하여 합성할 수 있다.In operation S540, when the effect of the object appearing on the augmented image is applied, the augmented reality implementation device synthesizes the deformed object on the image filled with the background image. For example, the apparatus for implementing augmented reality may render and synthesize an image of an object in which a change in size, shape, material, position, posture, etc. is applied to a portion where the background image is naturally filled.
S550 단계에서, 증강현실 구현 장치는 객체가 사라지거나 변형된 증강 영상을 출력한다. 예를 들어, 증강현실 구현 장치는 증강 영상을 TV나 모니터, 태블릿, 대형 스크린 등의 영상 출력장치를 통하여 출력할 수 있다.In step S550, the augmented reality implementation device outputs an augmented image in which the object disappears or is modified. For example, the augmented reality implementation device may output the augmented image through an image output device such as a TV, monitor, tablet, or large screen.
예를 들어, 도 9는 객체 영역의 영상 제거 및 객체 변형 효과를 적용한 결과를 예시한 도면이다. 도 9에 도시된 바와 같이, 증강현실 구현 장치는 객체가 사라지거나 변형된 증강 영상을 생성할 수 있다.For example, FIG. 9 is a diagram illustrating a result of applying an image removal and object transformation effect of an object region. As shown in FIG. 9, the apparatus for implementing augmented reality may generate an augmented image in which an object disappears or is modified.
예를 들어, 도 10은 실사를 변형하여 증강 영상을 생성한 예를 나타낸 도면이다. 도 10에 도시된 바와 같이, 증강현실 구현 장치는 촬영된 영상에서 인식한 실제 물체를 변형한 영상을 증강하여 물체가 없어지거나 변형되는 영상을 생성할 수 있다.
For example, FIG. 10 is a diagram illustrating an example in which an augmented image is generated by modifying a live action. As shown in FIG. 10, the apparatus for implementing augmented reality may generate an image in which an object disappears or is deformed by augmenting an image in which a real object recognized in the captured image is modified.
도 6은 RGB-D 영상을 이용한 실감형 증강현실 구현 장치의 구성을 개략적으로 예시한 도면이다.6 is a diagram schematically illustrating the configuration of a device for realizing augmented reality using RGB-D images.
도 6을 참조하면, 증강현실 구현 장치는 영상 입력부(10), 합성영상 생성부(20), 객체 인식부(30), 객체정보 추출부(40) 및 증강영상 생성부(50)를 포함한다.Referring to FIG. 6, the apparatus for implementing augmented reality includes an
영상 입력부(10)는 컬러 영상 및 깊이 영상을 입력받는다. 예를 들어, 영상 입력부(10)는 컬러 영상과 깊이 영상을 획득하는 장치로, 키넥트(Kinect) 장치와 같은 RGB-D 영상 입력 장치를 구비할 수 있다.The
합성영상 생성부(20)는 입력된 컬러 영상과 깊이 영상의 합성 영상을 생성한다. 예를 들어, 합성영상 생성부(20)는 컬러 영상과 깊이 영상을 동기화하고, 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 컬러 영상과 깊이 영상의 픽셀을 매핑하여 합성 영상을 생성할 수 있다.The
객체 인식부(30)는 컬러 영상과 깊이 영상의 합성 영상에서 공간 및 객체를 인식한다. 예를 들어, 객체 인식부(30)는 선분 추출을 통해 합성 영상에서 공간을 인식하고, 분리한 객체에서 추출된 특징점을 이용하여 객체를 인식할 수 있다.The
객체정보 추출부(40)는 인식한 객체의 3차원 객체 정보를 추출한다. 예를 들어, 객체정보 추출부(40)는 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 컬러 영상과 깊이 영상의 매핑을 이용하여, 재구성한 3차원 모델의 컬러맵을 추출할 수 있다.The object
증강영상 생성부(50)는 입력된 영상 및 추출한 3차원 객체 정보를 이용하여 증강 영상을 생성하고 출력한다. 예를 들어, 증강영상 생성부(50)는 입력된 컬러 영상에서 선택된 객체의 영역의 영상을 제거하고, 제거된 부분의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 추정한 배경 영상으로 제거된 부분을 채워 증강 영상을 생성하거나, 배경 영상이 채워진 영상에 변형 객체를 합성하여 증강 영상을 생성할 수 있다.The augmented
예를 들어, 증강영상 생성부(50)는 TV나 모니터, 태블릿, 대형 스크린 등과 같은 영상 출력장치를 구비할 수 있다.
For example, the augmented
한편, 본 발명의 실시예에 따른 증강현실 구현 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다. Meanwhile, the augmented reality implementation method according to an embodiment of the present invention may be implemented in a form of a program command that can be performed through means for processing various electronic information and recorded in a storage medium. The storage medium may include program instructions, data files, data structures, or the like alone or in combination.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The program instructions recorded on the storage medium may be specially designed and configured for the present invention or may be known and usable by those skilled in the software art. Examples of storage media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic-optical media such as floptical disks. (magneto-optical media) and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. In addition, the above-described medium may be a transmission medium such as an optical or metal wire or waveguide including a carrier wave that transmits a signal designating a program command, data structure, or the like. Examples of program instructions include machine language codes such as those produced by a compiler, as well as high-level language codes that can be executed by a device that processes information electronically using an interpreter or the like, for example, a computer.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
The above has been described with reference to preferred embodiments of the present invention, but those of ordinary skill in the art may vary the present invention without departing from the spirit and scope of the invention as set forth in the claims below. It will be understood that modifications and changes can be made.
10: 영상 입력부
20: 합성영상 생성부
30: 객체 인식부
40: 객체정보 추출부
50: 증강영상 생성부10: video input
20: composite image generation unit
30: object recognition unit
40: object information extraction unit
50: augmented image generation unit
Claims (12)
상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 합성영상 생성부;
상기 합성 영상에서 공간 및 객체를 인식하는 객체 인식부;
인식한 객체에 대해 3차원 포인트 클라우드를 이용하여 재구성된 3차원 모델을 포함하는 3차원 객체 정보를 추출하는 객체정보 추출부; 및
상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역을 상기 제거된 객체 영역의 주변 배경 정보로부터 추정된 배경 영상으로 채워주고, 채워진 배경 영상에 변형된 객체를 합성하여 증강 영상을 생성하는 증강영상 생성부를 포함하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.An input unit that receives color images and depth images;
A composite image generating unit generating a composite image of the color image and the depth image;
An object recognition unit for recognizing space and objects in the composite image;
An object information extraction unit for extracting 3D object information including a 3D model reconstructed using a 3D point cloud for the recognized object; And
The object region corresponding to the 3D model is removed from the color image, the removed object region is filled with the background image estimated from the background information of the removed object region, and the deformed object is synthesized on the filled background image to enhance it. Including an augmented image generator for generating an image
Realistic augmented reality device using RGB-D images.
상기 합성영상 생성부는 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.According to claim 1,
The synthesized image generating unit synchronizes the color image and the depth image, removes noise of the depth image, corrects resolution, and maps the color image and the pixels of the depth image to generate the synthesized image.
Realistic augmented reality device using RGB-D images.
상기 객체 인식부는 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.According to claim 1,
The object recognition unit detects a line segment in the composite image, recognizes spatial information in the composite image using the detected line segment, separates the space in the composite image into a plurality of regions, and features points in each separated region And recognizes objects in each area using feature points and location information in space.
Realistic augmented reality device using RGB-D images.
상기 객체정보 추출부는 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.According to claim 1,
The object information extracting unit estimates a posture change using a 3D point cloud generated using a depth image of the recognized object, reconstructs a 3D model using the 3D point cloud, and reconstructs the color image and the Extracting the color map of the reconstructed 3D model using the mapping of the depth image, and outputting the extracted 3D model and color map
Realistic augmented reality device using RGB-D images.
상기 객체정보 추출부는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델 및 컬러맵을 출력하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.The method of claim 4,
The object information extracting unit determines whether an existing extracted 3D model and color map exist, and when the previously extracted 3D model and color map exist, the currently extracted 3D model and color map are previously extracted. After synthesizing with each 3D model and color map, outputting the 3D model and color map
Realistic augmented reality device using RGB-D images.
상기 증강영상 생성부는, 상기 컬러 영상에서 상기 객체정보 추출부로부터의 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력하는
RGB-D 영상을 이용한 실감형 증강현실 구현 장치.The method of claim 4,
The augmented image generation unit removes an object region corresponding to a 3D model from the object information extraction unit from the color image, estimates a background image by using surrounding background information of the removed object region, and removes the removed region. Filling with the estimated background image, and when the effect of the object appearing in the augmented image is applied, the object is synthesized and output to the background image of Chae Won-jin.
Realistic augmented reality device using RGB-D images.
상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 단계;
상기 합성 영상에서 공간 및 객체를 인식하는 단계;
인식된 객체에 대해 3차원 포인트 클라우드를 이용하여 재구성된 3차원 모델을 포함하는 3차원 객체 정보를 추출하는 단계; 및
상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역을 상기 제거된 객체 영역의 주변 배경 정보로부터 추정된 배경 영상으로 채워주고, 채워진 배경 영상에 변형된 객체를 합성하여 증강 영상을 생성하는 단계를 포함하는
RGB-D 영상을 이용한 실감형 증강현실 구현 방법.Receiving a color image and a depth image;
Generating a composite image of the color image and the depth image;
Recognizing space and objects in the composite image;
Extracting 3D object information including a 3D model reconstructed using the 3D point cloud for the recognized object; And
The object region corresponding to the 3D model is removed from the color image, the removed object region is filled with the background image estimated from the background information of the removed object region, and the deformed object is synthesized on the filled background image to enhance it. Including generating an image
A method for realizing realistic augmented reality using RGB-D images.
상기 합성 영상을 생성하는 단계는, 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성하는 단계
인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법.The method of claim 7,
The generating of the synthesized image may include synchronizing the color image and the depth image, removing noise of the depth image, correcting a resolution, and mapping pixels of the color image and the depth image to map the synthesized image. Steps to generate
A method for realizing augmented reality using realistic RGB-D images.
상기 인식하는 단계는, 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식하는 단계
인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법.The method of claim 7,
The recognizing step may include detecting a line segment in the composite image, recognizing spatial information in the composite image using the detected line segment, separating a space in the composite image into a plurality of regions, and separating each region. Extracting feature points from and recognizing objects in each area using feature points and location information in space
A method for realizing augmented reality using realistic RGB-D images.
상기 추출하는 단계는, 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력하는 단계
인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법.The method of claim 7,
In the extracting step, a posture change is estimated using a 3D point cloud generated using a depth image of the recognized object, a 3D model is reconstructed using the 3D point cloud, and the color image and Extracting the color map of the reconstructed 3D model using the mapping of the depth image, and outputting the extracted 3D model and color map
A method for realizing augmented reality using realistic RGB-D images.
상기 추출하는 단계는, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델과 컬러맵을 출력하는 것을 포함하는
RGB-D 영상을 이용한 실감형 증강현실 구현 방법.The method of claim 10,
The extracting step determines whether an existing extracted 3D model and color map exist, and extracts the currently extracted 3D model and color map when the previously extracted 3D model and color map exist. And outputting the 3D model and the color map after synthesis with each of the 3D model and the color map.
A method for realizing realistic augmented reality using RGB-D images.
상기 증강 영상을 생성하는 단계는, 상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력하는 단계
인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법.
The method of claim 10,
In the generating of the augmented image, the object region corresponding to the 3D model is removed from the color image, the background image is estimated using the background information of the removed object region, and the background is estimated. Filling with an image, and when the effect of the object appearing on the augmented image is applied, compositing and outputting the object to the background image of Chae Won-jin
A method for realizing augmented reality using realistic RGB-D images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125198A KR102113812B1 (en) | 2014-09-19 | 2014-09-19 | Apparatus and method for implementing immersive augmented reality with RGB-D data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140125198A KR102113812B1 (en) | 2014-09-19 | 2014-09-19 | Apparatus and method for implementing immersive augmented reality with RGB-D data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160034513A KR20160034513A (en) | 2016-03-30 |
| KR102113812B1 true KR102113812B1 (en) | 2020-05-22 |
Family
ID=55660157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140125198A KR102113812B1 (en) | 2014-09-19 | 2014-09-19 | Apparatus and method for implementing immersive augmented reality with RGB-D data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102113812B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023074999A1 (en) * | 2021-10-27 | 2023-05-04 | 한국전자기술연구원 | System for acquiring 3d ar object image in real time, and operating method therefor |
| US11670063B2 (en) | 2020-11-20 | 2023-06-06 | Samsung Electronics Co., Ltd. | System and method for depth map guided image hole filling |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101980360B1 (en) * | 2015-09-04 | 2019-08-28 | 한국전자통신연구원 | Apparatus and method for object recognition with convolution neural network |
| CN106355647A (en) * | 2016-08-25 | 2017-01-25 | 北京暴风魔镜科技有限公司 | Augmented reality system and method |
| JP6171079B1 (en) * | 2016-12-22 | 2017-07-26 | 株式会社Ｃｙｇａｍｅｓ | Inconsistency detection system, mixed reality system, program, and inconsistency detection method |
| KR102291682B1 (en) * | 2017-12-01 | 2021-08-20 | 클릭트 주식회사 | Method and program for providing augmented reality by using depth data |
| KR102022980B1 (en) * | 2017-12-01 | 2019-09-19 | 클릭트 주식회사 | Method and program for providing augmented reality by using depth data |
| KR102061152B1 (en) * | 2018-05-24 | 2020-02-11 | (주)네모랩스 | System for providing ar service and method for generating 360 angle rotatable image file thereof |
| US11645756B2 (en) | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
| KR102515405B1 (en) * | 2021-11-09 | 2023-03-30 | 한국전자기술연구원 | Providing Method of 3-dimension map for Augmented Reality contents used by Kinect devices and electronic device supporting the same |
| KR102555165B1 (en) * | 2022-10-04 | 2023-07-12 | 인하대학교 산학협력단 | Method and System for Light Field Synthesis from a Monocular Video using Neural Radiance Field |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110088995A (en) * | 2010-01-29 | 2011-08-04 | 주식회사 울프슨랩 | Method and system to visualize surveillance camera videos within 3d models, and program recording medium |
| KR101216222B1 (en) * | 2011-01-14 | 2012-12-28 | 에스케이플래닛 주식회사 | System and method for providing augmented reality service |
| KR20130001762A (en) * | 2011-06-28 | 2013-01-07 | 삼성전자주식회사 | Image generating apparatus and method |
| KR20130068575A (en) * | 2011-12-15 | 2013-06-26 | 한국전자통신연구원 | Method and system for providing interactive augmented space |
| KR101732898B1 (en) * | 2012-11-26 | 2017-05-08 | 삼성전자주식회사 | Image processing apparatus and method thereof |
-
2014
- 2014-09-19 KR KR1020140125198A patent/KR102113812B1/en active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11670063B2 (en) | 2020-11-20 | 2023-06-06 | Samsung Electronics Co., Ltd. | System and method for depth map guided image hole filling |
| WO2023074999A1 (en) * | 2021-10-27 | 2023-05-04 | 한국전자기술연구원 | System for acquiring 3d ar object image in real time, and operating method therefor |
| KR20230060596A (en) * | 2021-10-27 | 2023-05-08 | 한국전자기술연구원 | Realtime collecting System for 3D Augmented Reality Object image and operating method thereof |
| KR102539827B1 (en) | 2021-10-27 | 2023-06-08 | 한국전자기술연구원 | Realtime collecting System for 3D Augmented Reality Object image and operating method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160034513A (en) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102113812B1 (en) | Apparatus and method for implementing immersive augmented reality with RGB-D data | |
| US11089284B2 (en) | Image processing apparatus, image generating method, and storage medium | |
| KR20180087918A (en) | Learning service Method of virtual experience for realistic interactive augmented reality | |
| EP3460761A1 (en) | Image processing apparatus, image processing method, image processing system, and program | |
| US20220385721A1 (en) | 3d mesh generation on a server | |
| KR101669119B1 (en) | System and method for multi-layered augmented reality | |
| RU2587425C2 (en) | Method of producing high-quality image depth map | |
| US11270505B2 (en) | Capture of raw augmented reality data and subsequent 3D mesh generation | |
| WO2017142654A1 (en) | 3-dimensional scene analysis for augmented reality operations | |
| CN103503455A (en) | System and method for video caption re-overlaying for video adaptation and retargeting | |
| US20190068955A1 (en) | Generation apparatus, generation method, and computer readable storage medium | |
| KR102551713B1 (en) | Electronic apparatus and image processing method thereof | |
| EP2462536A1 (en) | Systems and methods for three-dimensional video generation | |
| WO2014013673A1 (en) | Moving image generation device and moving image generation method | |
| JP2022031304A (en) | Video conversion system, video conversion method, and video conversion program | |
| KR20210032549A (en) | Image processing apparatus, image processing method, and computer program | |
| KR102362345B1 (en) | Method and apparatus for processing image | |
| US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
| KR20100104088A (en) | Method and apparatus for processing multi-viewpoint image | |
| KR102167273B1 (en) | Method, apparatus and computer program product for augmenting real object | |
| CN116801037A (en) | Augmented reality live broadcast method for projecting image of live person to remote real environment | |
| CN113947671A (en) | Panoramic 360-degree image segmentation and synthesis method, system and medium | |
| EP2462539A1 (en) | Systems and methods for three-dimensional video generation | |
| KR20160101762A (en) | The method of auto stitching and panoramic image genertation using color histogram | |
| KR101801898B1 (en) | Method and apparatus for generating representing image from multi-view image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |