KR20180087918A - Learning service Method of virtual experience for realistic interactive augmented reality - Google Patents
Learning service Method of virtual experience for realistic interactive augmented reality Download PDFInfo
- Publication number
- KR20180087918A KR20180087918A KR1020170012120A KR20170012120A KR20180087918A KR 20180087918 A KR20180087918 A KR 20180087918A KR 1020170012120 A KR1020170012120 A KR 1020170012120A KR 20170012120 A KR20170012120 A KR 20170012120A KR 20180087918 A KR20180087918 A KR 20180087918A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- information
- model
- input
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000000463 material Substances 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000002156 mixing Methods 0.000 claims abstract description 5
- 230000002123 temporal effect Effects 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
- G06T5/002—Denoising; Smoothing
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
Description
본 발명은 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법에 관한 것으로, 더욱 상세하게는 실제객체와 배경을 인식하여 실사를 변형해 실감나게 보여주는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법에 관한 것이다.The present invention relates to a real interactive interactive augmented reality virtual experience and learning service method, and more particularly, to a realistic interactive augmented reality virtual experience and learning service method that realizes real objects and a background and realistically transforms the real world.
증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3D 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다.The augmented reality technology extracts the defined markers and the learned natural image information from the incoming image from the camera, estimates the position and attitude of the object to be augmented, and uses it to show multimedia contents such as 3D virtual contents, pictures, and videos to be.
종래 증강현실 기술은 인식한 위치, 자세 정보를 이용해 미리 만들어진 가상 콘텐츠를 정합하여 보여준다. 실제 현실의 영상에 가상의 콘텐츠를 덧입히기 때문에 사용자로 하여금 혼합 현실의 이질감을 느끼게 하여 몰입도를 떨어뜨린다. 더불어 현재 출시되는 증강현실 서비스마다 실제 물체에 증강할 가상 콘텐츠를 제작해야 하기 때문에 많은 비용이 소모된다.Conventional augmented reality technology matches previously created virtual contents using recognized position and attitude information. Since the virtual reality is added to the actual image, the user feels the heterogeneity of the mixed reality and reduces the immersion. In addition, since the augmented reality services to be released are required to produce virtual contents to be added to actual objects, a great deal of cost is consumed.
상기와 같은 문제점을 해결하기 위한 본 발명은 사용자가 촬영하는 영상에 실제 촬영되는 물체를 인식하고 실사를 변형한 영상을 증강하여 변형된 영상을 생성하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법을 제공하는 데 그 목적이 있다.According to an aspect of the present invention, there is provided a realistic interactive virtual reality experience learning service method for recognizing an actual object to be photographed by a user and enhancing an image obtained by modifying the real image to generate a modified image The purpose is to do.
상기와 같은 목적을 달성하기 위한 본 발명은 카메라를 통해 영상을 입력받고 칼라 영상과 깊이 영상의 시간적 및 공간적 동기화를 제공하는 RGB-D 영상 입력 단계; 입력된 영상에서 실공간을 구분하고 인식하는 공간 및 객체 인식 단계; 인식된 공간과 객체를 실사처럼 표현할 수 있는 3D 위치, 칼라, 메쉬 정보를 추출하는 객체 3D 정보 추출 단계; 및 추출된 3D 정보와 입력 영상을 변형 및 혼합하여 물체가 사라지는 효과나 크기, 모양, 재질, 위치, 자세가 변형되는 실감형 증강현실을 표현하는 객체 변형 및 증강 영상 생성 단계;를 포함하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법을 제공한다.According to an aspect of the present invention, there is provided an image processing method comprising: inputting an image through a camera and inputting an RGB-D image, which provides temporal and spatial synchronization of a color image and a depth image; A space and an object recognition step of recognizing and recognizing a real space in an input image; An object 3D information extraction step of extracting a 3D position, color, and mesh information that can represent the recognized space and object as a real image; And an object deformation and augmented image generation step of expressing a realistic augmented reality in which an object disappears and a size, a shape, a material, a position and an attitude are deformed by deforming and mixing the extracted 3D information and an input image, Interactive incremental reality virtual experience learning service method.
상기 RGB-D 영상 입력 단계는, RGB-D 입력 장치로부터 칼라 영상과 깊이 영상을 입력받는 단계; 칼라 영상과 깊이 영상에 시간차가 있는 경우 느리게 입력되는 영상에 동기화를 맞추는 단계; 입력된 깊이 영상에 포함된 노이즈를 제거하는 단계; 칼라 영상에 비해 낮은 깊이 영상 해상도를 높여주는 단계; 및 칼라 영상과 깊이 영상의 해상도가 동일해지면 칼라 영상과 깊이 영상의 각 픽셀을 매핑하는 단계;를 포함할 수 있다.The RGB-D image input step may include: receiving a color image and a depth image from an RGB-D input device; Adjusting the synchronization of the slowly input image when there is a time difference between the color image and the depth image; Removing noise included in the input depth image; Increasing the resolution of the lower depth image compared to the color image; And mapping each pixel of the color image and the depth image when the resolution of the color image and the depth image become equal to each other.
상기 공간 및 객체 인식 단계는, 동기화와 보정이 이루어진 RGB-D 영상에서 선분을 검출하는 단계; 추출한 선분을 통해 소실점 후보를 찾고 평면들의 방향 정보, 위치 정보 등을 종합하여 벽면, 바닥, 천장 등의 공간의 정보를 인식하는 단계; RGB-D 영상의 각 픽셀 간 칼라, 깊이 값 차이를 통해 물체의 영역을 분리하며 각 영역을 바닥과 벽면에 평행한 직육면체으로 표현하여 영역의 위치와 회전 값을 계산하는 단계; 객체 인식을 위해 분리된 각 영역에서 특징점을 추출하는 단계; 각 영역의 특징점과 공간상에서의 위치 정보를 이용해 영역이 나타내는 객체를 인식하는 단계; 및 새로 인식된 객체의 경우 객체 추적 및 실사 3D 정보 추출을 위해 객체 데이터베이스에 인식된 객체를 등록하는 단계;를 포함할 수 있다.The space and object recognition step may include detecting a line segment in an RGB-D image that is synchronized and corrected; Recognizing information of a space such as a wall surface, a floor, and a ceiling by searching for a vanishing point candidate through the extracted line segment and combining direction information of the planes, position information, and the like; A step of separating an area of an object through a color and depth value difference between pixels of the RGB-D image and calculating a position and a rotation value of the area by expressing each area as a rectangular parallelepiped parallel to the floor and the wall; Extracting feature points in each separated region for object recognition; Recognizing an object represented by a region using feature points of each region and position information on the space; And registering the recognized object in the object database for object tracking and real-world 3D information extraction in the case of the newly recognized object.
상기 실사 객체 3D 정보 추출 단계는, 인식된 객체 영역의 깊이 영상을 이용해 3D 포인트 클라우드를 생성하는 단계; 이전 프레임에 해당 객체의 3D 포인트 클라우드와의 자세 변화를 추정하는 단계; 3D 포인트 클라우드를 객체 표면 표현 방식으로 변환한 후 3D 모델을 재구성하는 단계; 칼라 영상과 깊이 영상의 매핑을 이용하여 재구성한 객체 3D 모델의 칼라 맵을 추출하는 단계; 기존에 다른 자세에서 추출한 3D 모델과 칼라 맵이 있다면 새로운 정보와 합성하는 단계; 및 3D 모델과 칼라 맵이 모두 추출되면 노이즈에서 비롯된 오류를 제거하고 칼라 맵을 실사와 같게 보정하는 단계;를 포함할 수 있다.The step of extracting the real image object 3D information includes: generating a 3D point cloud using a depth image of the recognized object area; Estimating a posture change of the object with the 3D point cloud in a previous frame; Transforming the 3D point cloud into an object surface representation method and reconstructing the 3D model; Extracting a color map of a reconstructed object 3D model using a mapping between a color image and a depth image; A step of synthesizing a 3D model and a color map extracted from another posture with new information; And removing the error caused by the noise when the 3D model and the color map are all extracted, and correcting the color map like a real image.
상기 객체 변형 및 증강 영상 생성 단계는, 입력 칼라 영상에서 해당 물체의 영역을 모두 제거하는 단계; 제거된 부분을 주변 배경 정보를 이용해 배경 영상을 추정하여 채워주는 단계; 증강 영상에 객체가 나타나는 효과가 적용되는지 여부를 판단하는 단계; 배경 영상이 채워진 영상에 3D 모델 변형 효과를 적용하는 단계; 객체가 사라지거나 변형된 3D 모델 증강 영상을 생성하는 단계; 및 생성된 3D 모델 증강 영상을 보여주는 단계;를 포함할 수 있다. The object transforming and augmenting image generating step may include the steps of removing all the regions of the object from the input color image; Estimating and filling a background image using the surrounding background information; Determining whether an effect of displaying an object in an augmented image is applied; Applying a 3D model deformation effect to an image filled with a background image; Generating a 3D model augmented image in which an object disappears or is deformed; And displaying the generated 3D model augmented image.
이상과 같이 본 발명에 따르면, 카메라로 입력되는 영상을 분석하여 실시간으로 객체를 실감나게 변형하여 보여줄 수 있고, 실제 주변 환경을 변형시켜 실사와 같은 효과를 줄 수 있다.As described above, according to the present invention, an image inputted by a camera can be analyzed to realistically modify an object in real time, and the real environment can be modified to provide an effect similar to a real image.
또한, 본 발명에 따르면 실제 물체와 관련된 정보를 가상 콘텐츠 제작의 필요 없이 증강하여 보여줄 수 있으며, 실제 물건을 변형하고 이동시켜 보여주는 기술은 실제 공간을 배경으로 하는 교육 프로그램이나 게임, 제품 디자인, 건물 인테리어 시뮬레이션에 응용될 수 있다. In addition, according to the present invention, information related to an actual object can be augmented without requiring the production of a virtual content, and techniques for transforming and displaying actual objects can be applied to educational programs, games, product designs, It can be applied to simulation.
도 1은 본 발명의 일실시예에 따른 실감형 인터랙티브 증강현실 가상체험 학습 서비스 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 일실시예에 따른 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법을 나타낸 흐름도이다.
도 3 내지 도 6은 도 2의 각 단계를 구체적으로 나타낸 흐름도이다.1 is a block diagram illustrating a real-time interactive interactive virtual reality experience learning service system according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a realistic interactive interactive virtual reality experience learning service method according to an embodiment of the present invention.
Figs. 3 to 6 are flowcharts specifically showing the respective steps of Fig. 2. Fig.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly explain the present invention, parts not related to the description are omitted.
그러면 본 발명의 일실시예에 따른 실감형 인터랙티브 증강현실 가상체험 학습 서비스 시스템 및 방법에 대하여 설명한다. A realistic interactive interactive virtual reality experience learning service system and method according to an embodiment of the present invention will now be described.
도 1은 본 발명의 일실시예에 따른 실감형 인터랙티브 증강현실 가상체험 학습 서비스 시스템을 나타낸 블럭도이다.1 is a block diagram illustrating a real-time interactive interactive virtual reality experience learning service system according to an embodiment of the present invention.
도 1에 나타낸 바와 같이, 본 발명의 실감형 인터랙티브 증강현실 가상체험 학습 서비스 시스템은 RGB-D 영상 입력부(10), 공간 및 객체 인식부(20), 객체 3D 정보 추출부(30), 객체 변형 및 증강 영상 생성부(40)를 포함하여 구성된다.1, the real-time interactive enhanced reality virtual experience and learning service system of the present invention includes an RGB-D
상기 RGB-D 영상 입력부(10)는 카메라를 통해 영상을 입력 받고 칼라 영상과 깊이 영상의 시간적 및 공간적 동기화를 제공한다. 상기 RGB-D 영상 입력부(10)는 키넥트(Kinect) 장치와 같은 RGB-D 영상 입력 장치를 구비할 수 있다.The RGB-D
상기 공간 및 객체 인식부(20) 입력된 영상에서 실공간을 구분하고 객체를 인식한다.The space and
상기 객체 3D 정보 추출부(30)는 인식된 공간과 객체를 실사처럼 표현할 수 있는 3D 위치, 칼라, 메쉬 정보를 추출한다.The object 3D
상기 객체 변형 및 증강 영상 생성부(40)는 추출된 3D 정보와 입력 영상을 변형, 혼합하여 물체가 사라지는 효과나 크기, 모양, 재질, 위치, 자세가 변형되는 실감형 증강현실을 표현한다.The object deformation and augmented
도 2는 본 발명의 일실시예에 따른 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법을 나타낸 흐름도이고, 도 3 내지 도 6은 도 2의 각 단계를 구체적으로 나타낸 흐름도이다. FIG. 2 is a flowchart illustrating a real-time interactive interactive virtual reality experience learning service method according to an embodiment of the present invention, and FIGS. 3 to 6 are flowcharts illustrating each step in FIG.
도 2에 나타낸 바와 같이, 본 발명의 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법은 카메라를 통해 영상을 입력 받고 칼라 영상과 깊이 영상의 시간적, 공간적 동기화를 제공하는 GB-D 영상 입력 단계(S100)와, 입력된 영상에서 실공간을 구분하고 인식하는 공간 및 객체 인식 단계(S200)와, 인식된 공간과 객체를 실사처럼 표현할 수 있는 3D 위치, 칼라, 메쉬 정보를 추출하는 객체 3D 정보 추출 단계(S300)와, 추출된 3D 정보와 입력 영상을 변형, 혼합하여 물체가 사라지는 효과나 크기, 모양, 재질, 위치, 자세가 변형되는 실감형 증강현실을 표현하는 객체 변형 및 증강 영상 생성 단계(S400)를 포함한다.2, the real interactive interactive augmented reality virtual experience learning service method of the present invention includes a GB-D image input step S100 for inputting an image through a camera and providing temporal and spatial synchronization of a color image and a depth image, A space and object recognition step (S200) for distinguishing and recognizing a real space from the input image, an object 3D information extraction step (S300) for extracting 3D position, color, and mesh information capable of expressing the recognized space and object as real images S300), an object transformed and augmented image generating step (S400) of expressing a realistic augmented reality in which an effect of eliminating an object, a size, a shape, a material, a position and an attitude are transformed by modifying and mixing the extracted 3D information and an input image, .
먼저, 상기 RGB-D 영상 입력 단계(S100)는 도 3에 나타낸 바와 같이, 먼저 키넥트(Kinect)와 같은 RGB-D 입력 장치로부터 칼라 영상과 깊이 영상을 입력 받는다(S110). First, as shown in FIG. 3, the RGB-D image input step S100 receives a color image and a depth image from an RGB-D input device such as a Kinect (S110).
이어서, 칼라 영상과 깊이 영상에 시간차가 있는 경우(S120) 느리게 입력되는 영상에(Kinect의 경우 칼라 영상) 동기화를 맞추어 준다(S130). Then, if there is a time difference between the color image and the depth image (S120), the image is slowly synchronized with the input image (color image in the case of Kinect) (S130).
이어서, 입력된 깊이 영상에 포함된 노이즈를 양방향 필터(Bilateral filter), 미디언 필터(Median filter) 등의 노이즈 제거 방법을 이용해 제거한다(S140). Subsequently, the noise included in the input depth image is removed using a noise removal method such as a bilateral filter or a median filter (S140).
다음으로, 칼라 영상에 비해 낮은 깊이 영상 해상도를 마르코프 랜덤 필드(Markov Random Field)나 시공간 필터(Spatiotemporal filter), 엣지를 보존하는 양방향 필터(Bilateral filter) 등의 업샘플링(upsampling) 방법을 통해 높여준다(S150). Next, the lower depth image resolution is increased by an upsampling method such as a Markov random field, a spatiotemporal filter, and a bilateral filter that preserves an edge, as compared with a color image (S150).
다음으로, 칼라 영상과 깊이 영상의 해상도가 동일해지면 카메라 파라미터 간의 호모그래피를 이용해 칼라 영상과 깊이 영상의 각 픽셀을 매핑한다(S160). Next, when the resolution of the color image is equal to that of the depth image, each pixel of the color image and the depth image is mapped using homography between the camera parameters (S160).
상기 공간 및 객체 인식 단계(S200)는 도 4에 나타낸 바와 같이, 먼저 동기화와 보정이 이루어진 RGB-D 영상에서 3D 허프 트랜스폼(3D Hough transform), 캐니 에지 검출(Canny edge detector) 등의 방법을 이용해 선분을 검출한다(S210). As shown in FIG. 4, the space and object recognition step S200 may include a method such as 3D Hough transform and Canny edge detector in an RGB-D image which is synchronized and corrected first To detect a line segment (S210).
이어서, 추출한 선분을 통해 소실점 후보를 찾고 평면들의 방향 정보, 위치 정보 등을 종합하여 벽면, 바닥, 천장 등의 공간의 정보를 인식한다(S220). Then, information on a space such as a wall, a floor, and a ceiling is recognized by combining the direction information of the planes, the position information, and the like (S220).
이어서, RGB-D 영상의 각 픽셀 간 칼라, 깊이 값 차이를 통해 물체의 영역을 분리하며 각 영역을 바닥과 벽면에 평행한 직육면체으로 표현하여 영역의 위치와 회전 값을 계산한다(S230). 이때, 영역 분리 알고리즘으로는 그래프 기반 알고리즘(Graph-based algorithm)과 조건부 랜덤 필드 모델(Conditional random field model) 등의 세그멘테이션 알고리즘을 사용한다. Next, the area of the object is separated through the color and depth value difference between each pixel of the RGB-D image, and the area and the rotation value are calculated by expressing each area as a rectangular parallelepiped parallel to the floor and the wall (S230). In this case, segmentation algorithms such as a graph-based algorithm and a conditional random field model are used as the segmentation algorithm.
다음으로, 객체 인식을 위해 분리된 각 영역에서 특징점을 추출한다(S240). 이때, 특징점 추출을 위해 RGB-SIFT(Scale-invariant feature transform), Depth-SIFT 등의 알고리즘을 이용한다. Next, minutiae points are extracted in each separated region for object recognition (S240). At this time, algorithms such as RGB-SIFT (Scale-invariant feature transform) and Depth-SIFT are used to extract feature points.
다음으로, 각 영역의 특징점과 공간상에서의 위치 정보를 이용해 영역이 나타내는 객체를 인식한다(S250). 이때, 객체의 인식에는 제한적 파라메틱 최소 절단(Constrained parametric min-cut) 알고리즘과 조인트 부스트(Joint boost) 알고리즘과 같은 멀티-클래스(Multi-class) 인식 알고리즘을 사용한다. Next, the object represented by the region is recognized using the feature point of each region and the position information in the space (S250). At this time, a multi-class recognition algorithm such as a constrained parametric min-cut algorithm and a joint boost algorithm is used for object recognition.
이어서, 새로 인식된 객체의 경우(S260) 객체 추적 및 실사 3D 정보 추출을 위해 객체 데이터베이스에 인식된 객체를 등록한다(S270). 이때, 영역의 객체 인식이 실패할 경우 해당 영역은 이후 프로세스에 사용되지 않는다.Then, in the case of the newly recognized object (S260), the recognized object is registered in the object database for object tracking and real image 3D information extraction (S270). At this time, if the object recognition of the area fails, the corresponding area is not used in the subsequent process.
상기 실사 객체 3D 정보 추출 단계(S300)는 도 5에 나타낸 바와 같이, 우선 인식된 객체 영역의 깊이 영상을 이용해 3D 포인트 클라우드(point cloud)를 생성한다(S310). As shown in FIG. 5, the 3D object information extraction step S300 generates a 3D point cloud using the depth image of the recognized object region (S310).
이어서, 이전 프레임에 해당 객체의 3D 포인트 클라우드(point cloud)와의 자세 변화를 반복 근접 포인트(Iterative closest points) 알고리즘을 이용해 추정한다(S320). Subsequently, the posture change of the object with the 3D point cloud in the previous frame is estimated using the iterative closest points algorithm (S320).
이어서, 3D 포인트 클라우드를 Truncated signed distance function과 같은 객체 표면 표현 방식으로 변환한 후 레이케스팅(Raycasting)을 통해 3D 모델을 재구성한다(S330).Subsequently, the 3D point cloud is converted into an object surface representation method such as a truncated signed distance function, and the 3D model is reconstructed through ray casting (S330).
다음으로, 칼라 영상과 깊이 영상의 매핑을 이용하여 재구성한 객체 3D 모델의 칼라 맵을 추출한다(S340). Next, a color map of the reconstructed object 3D model is extracted using the mapping of the color image and the depth image (S340).
이어서, 기존에 다른 자세에서 추출한 3D 모델과 칼라 맵이 있다면(S350) 가중치 합(Weighted sum)과 같은 보정을 통해 새로운 정보와 합성한다(S360). Subsequently, if there is a 3D model and a color map extracted from other positions (S350), the weighted sum is combined with the new information through a correction (S360).
이어서, 3D 모델과 칼라 맵이 모두 추출되면 노이즈에서 비롯된 오류를 제거하고 포토메트릭 컨시스턴스(Photometric consistency)를 최대화하는 컬러 맵 최적화(Color map optimization)를 통해 칼라 맵을 실사와 같게 보정한다(S370).Subsequently, when the 3D model and the color map are extracted, the color map is corrected to be the same as the actual image through color map optimization which removes errors caused by noise and maximizes the photometric consistency (S370) .
상기 객체 변형 및 증강 영상 생성 단계(S400)는 도 6에 나타낸 바와 같이, 먼저 입력 칼라 영상에서 해당 물체의 영역을 모두 제거한다(S410). As shown in FIG. 6, the object transformed and augmented image generation step (S400) first removes all the regions of the object from the input color image (S410).
이어서, 제거된 부분을 주변 배경 정보를 이용해 배경 영상을 추정하여 채워준다(S420). 이때, 영상 완성에는 주변 배경 정보를 사용하는 샘플 기반 텍스처 압축(Example-based texture synthesis), 이미지 데이터베이스를 사용하는 이미지 기반 신 완료(Image-based scene completion)와 같은 영상 완성 알고리즘을 이용하며 자연스러운 합성을 위해 접합 부위를 매끄럽게 처리한다. Subsequently, the background image is estimated and filled using the surrounding background information (S420). At this time, the image completion is accomplished by using image-based scene completion such as sample-based texture synthesis using surrounding background information and image-based scene completion using image database, Smoothes the joints to.
이어서, 증강 영상에 객체가 나타나는 효과가 적용되는지 여부를 판단한다(S430). Then, it is determined whether the effect of displaying the object in the augmented image is applied (S430).
다음으로, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 배경 영상이 채워진 영상에 3D 모델 변형 효과를 적용한다(S440). 이때, 배경 영상이 자연스럽게 채워진 부분 위에 크기, 모양, 재질, 위치, 자세 등의 변화가 가해진 물체의 영상을 실사로 렌더링하여 합성할 수 있다. 물체가 사라지는 효과를 내는 경우에는 앞의 영상을 합성하지 않는다. Next, if the effect of displaying the object in the augmented image is applied, a 3D model deformation effect is applied to the image in which the background image is filled (S440). At this time, it is possible to render an image of an object in which a change in size, shape, material, position, posture, etc. is applied on a naturally filled portion of the background image. When the effect of eliminating an object is produced, the previous image is not synthesized.
이어서, 객체가 사라지거나 변형된 3D 모델 증강 영상을 생성한다(S450). Then, a 3D model augmented image in which the object disappears or is deformed is generated (S450).
다음으로, 생성된 3D 모델 증강 영상을 TV나 모니터, 태블릿, 대형 스크린 등의 영상 출력장치를 통해 보여준다(S460). Next, the generated 3D model augmented image is displayed through a video output device such as a TV, a monitor, a tablet, or a large screen (S460).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
10: RGB-D 영상 입력부
20: 공간 및 객체 인식부
30: 객체 3D 정보 추출부
40: 객체 변형 및 증강 영상 생성부10: RGB-D image input unit 20: space and object recognition unit
30: object 3D information extracting unit 40: object transforming and augmenting image generating unit
Claims (5)
입력된 영상에서 실공간을 구분하고 인식하는 공간 및 객체 인식 단계;
인식된 공간과 객체를 실사처럼 표현할 수 있는 3D 위치, 칼라, 메쉬 정보를 추출하는 객체 3D 정보 추출 단계; 및
추출된 3D 정보와 입력 영상을 변형 및 혼합하여 물체가 사라지는 효과나 크기, 모양, 재질, 위치, 자세가 변형되는 실감형 증강현실을 표현하는 객체 변형 및 증강 영상 생성 단계;를 포함하는 것을 특징으로 하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법.An RGB-D image input step of inputting an image through a camera and providing temporal and spatial synchronization of a color image and a depth image;
A space and an object recognition step of recognizing and recognizing a real space in an input image;
An object 3D information extraction step of extracting a 3D position, color, and mesh information that can represent the recognized space and object as a real image; And
And an object deformation and augmented image generation step of representing a realistic augmented reality in which an effect of disappearing an object, a size, a shape, a material, a position, and an attitude are modified by deforming and mixing the extracted 3D information and an input image Realistic interactive interactive augmented reality service.
상기 RGB-D 영상 입력 단계는,
RGB-D 입력 장치로부터 칼라 영상과 깊이 영상을 입력받는 단계;
칼라 영상과 깊이 영상에 시간차가 있는 경우 느리게 입력되는 영상에 동기화를 맞추는 단계;
입력된 깊이 영상에 포함된 노이즈를 제거하는 단계;
칼라 영상에 비해 낮은 깊이 영상 해상도를 높여주는 단계; 및
칼라 영상과 깊이 영상의 해상도가 동일해지면 칼라 영상과 깊이 영상의 각 픽셀을 매핑하는 단계;를 포함하는 것을 특징으로 하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법. The method according to claim 1,
In the RGB-D image input step,
Receiving a color image and a depth image from an RGB-D input device;
Adjusting the synchronization of the slowly input image when there is a time difference between the color image and the depth image;
Removing noise included in the input depth image;
Increasing the resolution of the lower depth image compared to the color image; And
And mapping each pixel of the color image and the depth image when the resolution of the color image and the depth image become equal to each other.
상기 공간 및 객체 인식 단계는,
동기화와 보정이 이루어진 RGB-D 영상에서 선분을 검출하는 단계;
추출한 선분을 통해 소실점 후보를 찾고 평면들의 방향 정보, 위치 정보 등을 종합하여 벽면, 바닥, 천장 등의 공간의 정보를 인식하는 단계;
RGB-D 영상의 각 픽셀 간 칼라, 깊이 값 차이를 통해 물체의 영역을 분리하며 각 영역을 바닥과 벽면에 평행한 직육면체으로 표현하여 영역의 위치와 회전 값을 계산하는 단계;
객체 인식을 위해 분리된 각 영역에서 특징점을 추출하는 단계;
각 영역의 특징점과 공간상에서의 위치 정보를 이용해 영역이 나타내는 객체를 인식하는 단계; 및
새로 인식된 객체의 경우 객체 추적 및 실사 3D 정보 추출을 위해 객체 데이터베이스에 인식된 객체를 등록하는 단계;를 포함하는 것을 특징으로 하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법. The method according to claim 1,
The method of claim 1,
Detecting line segments in an RGB-D image subjected to synchronization and correction;
Recognizing information of a space such as a wall surface, a floor, and a ceiling by searching for a vanishing point candidate through the extracted line segment and combining direction information of the planes, position information, and the like;
A step of separating an area of an object through a color and depth value difference between pixels of the RGB-D image and calculating a position and a rotation value of the area by expressing each area as a rectangular parallelepiped parallel to the floor and the wall;
Extracting feature points in each separated region for object recognition;
Recognizing an object represented by a region using feature points of each region and position information on the space; And
And registering the recognized object in the object database for object tracking and real image 3D information extraction in the case of a newly recognized object.
상기 실사 객체 3D 정보 추출 단계는,
인식된 객체 영역의 깊이 영상을 이용해 3D 포인트 클라우드를 생성하는 단계;
이전 프레임에 해당 객체의 3D 포인트 클라우드와의 자세 변화를 추정하는 단계;
3D 포인트 클라우드를 객체 표면 표현 방식으로 변환한 후 3D 모델을 재구성하는 단계;
칼라 영상과 깊이 영상의 매핑을 이용하여 재구성한 객체 3D 모델의 칼라 맵을 추출하는 단계;
기존에 다른 자세에서 추출한 3D 모델과 칼라 맵이 있다면 새로운 정보와 합성하는 단계; 및
3D 모델과 칼라 맵이 모두 추출되면 노이즈에서 비롯된 오류를 제거하고 칼라 맵을 실사와 같게 보정하는 단계;를 포함하는 것을 특징으로 하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법. The method according to claim 1,
In the step of extracting the real image object 3D information,
Generating a 3D point cloud using a depth image of the recognized object area;
Estimating a posture change of the object with the 3D point cloud in a previous frame;
Transforming the 3D point cloud into an object surface representation method and reconstructing the 3D model;
Extracting a color map of a reconstructed object 3D model using a mapping between a color image and a depth image;
A step of synthesizing a 3D model and a color map extracted from another posture with new information; And
And removing the errors caused by the noise when the 3D model and the color map are both extracted, and correcting the color map like a real image.
상기 객체 변형 및 증강 영상 생성 단계는,
입력 칼라 영상에서 해당 물체의 영역을 모두 제거하는 단계;
제거된 부분을 주변 배경 정보를 이용해 배경 영상을 추정하여 채워주는 단계;
증강 영상에 객체가 나타나는 효과가 적용되는지 여부를 판단하는 단계;
배경 영상이 채워진 영상에 3D 모델 변형 효과를 적용하는 단계;
객체가 사라지거나 변형된 3D 모델 증강 영상을 생성하는 단계; 및
생성된 3D 모델 증강 영상을 보여주는 단계;를 포함하는 것을 특징으로 하는 실감형 인터랙티브 증강현실 가상체험 학습 서비스 방법. The method according to claim 1,
The object modification and enhancement image generation step may include:
Removing all the regions of the object from the input color image;
Estimating and filling a background image using the surrounding background information;
Determining whether an effect of displaying an object in an augmented image is applied;
Applying a 3D model deformation effect to an image filled with a background image;
Generating a 3D model augmented image in which an object disappears or is deformed; And
And displaying the generated 3D model augmented image based on the generated 3D model augmented reality image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170012120A KR20180087918A (en) | 2017-01-25 | 2017-01-25 | Learning service Method of virtual experience for realistic interactive augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170012120A KR20180087918A (en) | 2017-01-25 | 2017-01-25 | Learning service Method of virtual experience for realistic interactive augmented reality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180087918A true KR20180087918A (en) | 2018-08-03 |
Family
ID=63250214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170012120A KR20180087918A (en) | 2017-01-25 | 2017-01-25 | Learning service Method of virtual experience for realistic interactive augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180087918A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020047259A1 (en) * | 2018-08-31 | 2020-03-05 | Snap Inc. | Augmented reality anthropomorphization system |
| KR20200074443A (en) * | 2018-12-17 | 2020-06-25 | 주식회사 락소 | A hologram-based home furnishing simulation system and a method using the same |
| KR20210023283A (en) * | 2019-08-22 | 2021-03-04 | 서울시립대학교 산학협력단 | Apparatus and method for integrating |
| KR102299065B1 (en) | 2020-12-31 | 2021-09-08 | 더에이치알더 주식회사 | Apparatus and Method for Providing learning platform based on XR |
| KR20210120315A (en) * | 2020-03-26 | 2021-10-07 | 주식회사 큐랩 | A augmented reality sports content system using depth recognition and color recognition |
| US11335067B2 (en) | 2017-09-15 | 2022-05-17 | Snap Inc. | Augmented reality system |
| KR20220067857A (en) * | 2020-11-18 | 2022-05-25 | 한국철도기술연구원 | Automated bim construction system and method of railway tunnel |
| KR20230128742A (en) | 2022-02-28 | 2023-09-05 | 부재희 | Virtual space reality experience apparatus, method of controlling the same, and storage medium |
| US11769307B2 (en) | 2015-10-30 | 2023-09-26 | Snap Inc. | Image based tracking in augmented reality systems |
| US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
-
2017
- 2017-01-25 KR KR1020170012120A patent/KR20180087918A/en not_active Application Discontinuation
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11769307B2 (en) | 2015-10-30 | 2023-09-26 | Snap Inc. | Image based tracking in augmented reality systems |
| US11335067B2 (en) | 2017-09-15 | 2022-05-17 | Snap Inc. | Augmented reality system |
| US11721080B2 (en) | 2017-09-15 | 2023-08-08 | Snap Inc. | Augmented reality system |
| US10997760B2 (en) | 2018-08-31 | 2021-05-04 | Snap Inc. | Augmented reality anthropomorphization system |
| WO2020047259A1 (en) * | 2018-08-31 | 2020-03-05 | Snap Inc. | Augmented reality anthropomorphization system |
| US11450050B2 (en) | 2018-08-31 | 2022-09-20 | Snap Inc. | Augmented reality anthropomorphization system |
| US11676319B2 (en) | 2018-08-31 | 2023-06-13 | Snap Inc. | Augmented reality anthropomorphtzation system |
| KR20200074443A (en) * | 2018-12-17 | 2020-06-25 | 주식회사 락소 | A hologram-based home furnishing simulation system and a method using the same |
| US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
| KR20210023283A (en) * | 2019-08-22 | 2021-03-04 | 서울시립대학교 산학협력단 | Apparatus and method for integrating |
| KR20210120315A (en) * | 2020-03-26 | 2021-10-07 | 주식회사 큐랩 | A augmented reality sports content system using depth recognition and color recognition |
| KR20220067857A (en) * | 2020-11-18 | 2022-05-25 | 한국철도기술연구원 | Automated bim construction system and method of railway tunnel |
| KR102299065B1 (en) | 2020-12-31 | 2021-09-08 | 더에이치알더 주식회사 | Apparatus and Method for Providing learning platform based on XR |
| KR20230128742A (en) | 2022-02-28 | 2023-09-05 | 부재희 | Virtual space reality experience apparatus, method of controlling the same, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180087918A (en) | Learning service Method of virtual experience for realistic interactive augmented reality | |
| US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| KR102295403B1 (en) | Depth estimation method and apparatus, electronic device, program and medium | |
| KR102113812B1 (en) | Apparatus and method for implementing immersive augmented reality with RGB-D data | |
| Dhamo et al. | Peeking behind objects: Layered depth prediction from a single image | |
| RU2587425C2 (en) | Method of producing high-quality image depth map | |
| WO2022156626A1 (en) | Image sight correction method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
| CN107920202B (en) | Video processing method and device based on augmented reality and electronic equipment | |
| CN106896925A (en) | The device that a kind of virtual reality is merged with real scene | |
| Sanches et al. | Mutual occlusion between real and virtual elements in augmented reality based on fiducial markers | |
| JP7159384B2 (en) | Image processing device, image processing method, and program | |
| KR101173559B1 (en) | Apparatus and method for the automatic segmentation of multiple moving objects from a monocular video sequence | |
| CN113220251B (en) | Object display method, device, electronic equipment and storage medium | |
| US20190068955A1 (en) | Generation apparatus, generation method, and computer readable storage medium | |
| CN112712487A (en) | Scene video fusion method and system, electronic equipment and storage medium | |
| US20210166476A1 (en) | Automatic 3D Image Reconstruction Process from Real-World 2D Images | |
| KR101125061B1 (en) | A Method For Transforming 2D Video To 3D Video By Using LDI Method | |
| JP6555755B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR102362345B1 (en) | Method and apparatus for processing image | |
| CN112734914A (en) | Image stereo reconstruction method and device for augmented reality vision | |
| CN110570441B (en) | Ultra-high definition low-delay video control method and system | |
| KR102167273B1 (en) | Method, apparatus and computer program product for augmenting real object | |
| Inamoto et al. | Free viewpoint video synthesis and presentation of sporting events for mixed reality entertainment | |
| KR101718309B1 (en) | The method of auto stitching and panoramic image genertation using color histogram | |
| CN113486941A (en) | Live image training sample generation method, model training method and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |