KR20130068575A - Method and system for providing interactive augmented space - Google Patents

Method and system for providing interactive augmented space Download PDF

Info

Publication number
KR20130068575A
KR20130068575A KR1020110135858A KR20110135858A KR20130068575A KR 20130068575 A KR20130068575 A KR 20130068575A KR 1020110135858 A KR1020110135858 A KR 1020110135858A KR 20110135858 A KR20110135858 A KR 20110135858A KR 20130068575 A KR20130068575 A KR 20130068575A
Authority
KR
South Korea
Prior art keywords
augmented
space
augmented content
content
interactive
Prior art date
Application number
KR1020110135858A
Other languages
Korean (ko)
Inventor
유재상
이준섭
지형근
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110135858A priority Critical patent/KR20130068575A/en
Publication of KR20130068575A publication Critical patent/KR20130068575A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An interactive augmented space offering method and a system thereof are provided to maximize reality by using a real space as an augmented space display space in real time. CONSTITUTION: An interactive AR(Augmented Reality) space providing system obtains a depth image and a two-dimensional color image and generates a three-dimensional point cloud map(310,320). The system estimates a three-dimensional model from the three-dimensional point cloud map and configures a three-dimensional polygon map(330). The system projects augmented content to the estimated space(350). The system supplies interaction between the augmented content and the user(360). [Reference numerals] (310) Obtain a depth image and a 2D color image; (320) Generate a 3D point cloud map; (330) Configure a 3D polygon map; (340) Trace an object in a real space on which an augmented content is projected; (350) Project the augmented content on the traced object; (360) Supply user interaction for the augmented content; (AA) Start; (BB) End

Description

인터랙티브 증강 공간 제공 방법 및 시스템{Method and system for providing interactive augmented space} Method and system for providing interactive augmented space

본 발명은 증강 현실 기술에 관한 것으로, 더욱 상세하게는, 실 공간을 인터랙티브한 증강 현실 공간으로 사용하는 인터랙티브 증강 공간 디스플레이 서비스를 제공하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to augmented reality technology, and more particularly, to a method and system for providing an interactive augmented space display service using the real space as an interactive augmented reality space.

증강현실(Augmented Reality) 기술이란 컴퓨터 그래픽 기술을 사용하여 현실과 유사한 또는 현실과 동떨어진 가상의 공간을 생성하는 가상 현실(Virtual Reality) 기술에서 파생된 기술 분야로써, 현실 공간(Reality)과 가상 공간을 일치화시켜, 현실에 가상의 물체를 합성하여 그 합성된 가상의 물체가 원래 현실 공간에 존재하는 것처럼 보이도록 하는 기술을 말한다. Augmented Reality technology is a field of technology derived from Virtual Reality technology that uses computer graphics technology to create virtual spaces that are similar or distant from reality. It is a technique of synthesizing a virtual object to reality so that the synthesized virtual object appears to exist in the original real space.

그래픽스 기술의 발전으로 현실보다 더 현실 같은 가상 공간을 생성하지만, 이질감이 느껴지는 가상 현실 기술과는 달리, 증강 현실 기술은 현실 공간 위에 가상의 물체를 합성하여 중첩하여 보여주므로, 이질감이 적을 뿐 아니라, 현실 공간에서는 얻을 수 없는 부가적인 정보나 가상의 물체를 증강하여 현실 공간을 콘텐츠의 목적에 맞는 공간으로 보강할 수 있는 특징이 있다. The development of graphics technology creates more realistic virtual spaces than reality, but unlike virtual reality technology, where a sense of heterogeneity is felt, augmented reality technology synthesizes and displays virtual objects on the real space, so it is not only heterogeneous. By reinforcing additional information or virtual objects not obtained in the real space, the real space can be reinforced with a space suitable for the purpose of the content.

그러나, 위와 같은 장점에도 불구하고 그 동안 대부분의 증강 현실 기술은 모니터, 프로젝터와 같은 디스플레이 장치를 이용해 카메라로부터 입력되는 현실의 영상에 가상의 콘텐츠를 중첩시켜 화면에 보여주는 기술이 주류를 이루고 있어, 증강 현실 기술만의 장점인 현실감과 몰입감이 경감되는 단점이 있다. However, in spite of the above advantages, most augmented reality technologies have been used to display virtual screens by overlaying virtual contents on the images of reality input from cameras using display devices such as monitors and projectors. There is a disadvantage in that reality and immersion, which are advantages of reality technology, are alleviated.

다른 방법으로, 헬멧 및 안경 타입의 HMD(Head Mounted Display)장비를 이용해 증강 현실 기술을 구현하는 방법이 있다. 그러나 이 방법은 무겁고 큰 장비를 얼굴에 써야 하는 부담감과, 시야가 제한된다는 점, 전력 공급 및 데이터 전송 케이블로 인한 이동성의 제약, 그리고 비용이 많이 소모된다는 문제점이 있다. Alternatively, there is a method of implementing augmented reality technology using a helmet and glasses-type head mounted display (HMD) equipment. However, this method suffers from the burden of heavy and large equipment on the face, limited visibility, limited mobility due to power supply and data transmission cables, and high cost.

관련 선행기술문헌으로는 2010년 3월 2일에 공개되고, 공개번호가 10-2010-22263이고, 출원인이 (주)지아트이고, 발명의 명칭이 "결합된 캐드 모델을 이용한 복수 객체 동시 추적 장치 및 방법"인 공개특허공보가 있다.Related prior art documents are published on March 2, 2010, the publication number is 10-2010-22263, Applicant is GART, and the name of the invention "Multi-object simultaneous tracking device using a combined CAD model And a method ".

본 발명은 실제 공간을 인식하여 인식된 공간에 증강 콘텐츠를 직접 중첩시키고, 증강 콘텐츠와 사용자와의 인터랙션을 할 수 있는 인터랙티브 증강 공간 제공 방법 및 시스템을 제공한다. The present invention provides an interactive augmented space providing method and system capable of directly superimposing augmented content in a recognized space by recognizing a real space and interacting with the augmented content and a user.

일 측면에 따른 인터랙티브 증강 공간 제공 방법은, 뎁스 영상 및 2차원 컬러 영상을 획득하는 단계와, 뎁스 영상으로부터 3D 포인트 클라우드 맵을 생성하는 단계와, 2차원 컬러 영상을 분석하여 3D 포인트 클라우드 맵으로부터 3D 모델을 추정하여 3D 폴리곤 맵을 구성하는 단계와, 증강 콘텐츠가 투영될 실 공간의 객체를 추적하는 단계와, 추적된 실 공간의 객체에 증강 콘텐츠를 투영하여 증강 콘텐츠를 제공하는 단계와, 증강 콘텐츠에 대한 실 공간의 사용자와의 인터랙션을 제공하는 단계를 포함한다. According to one or more exemplary embodiments, a method for providing an interactive augmented space includes: obtaining a depth image and a 2D color image, generating a 3D point cloud map from the depth image, and analyzing the 2D color image to 3D from the 3D point cloud map Estimating a model to construct a 3D polygon map, tracking an object in the real space to which the augmented content is projected, providing augmented content by projecting the augmented content to the tracked object in the real space, and Providing an interaction with a user of the real space for.

본 발명에 의하면 현실 공간을 실시간으로 인식하여 현실 공간을 증강 공간 디스플레이 공간으로 이용하여 현실감과 몰입감을 극대화할 수 있다. 또한, 공간 인식 외에 사용자 인식을 통해 증강 콘텐츠와 사용자가 인터랙션을 할 수 있고, 인터랙션의 결과를 사용자의 시선변화 없이 바로 확인하게 할 수 있다. According to the present invention it is possible to maximize the realism and immersion by using the real space as an augmented space display space by recognizing the real space in real time. In addition, the user may interact with augmented content through user recognition in addition to spatial recognition, and may immediately check the result of the interaction without changing the user's gaze.

도 1은 본 발명의 일 실시예에 따른 인터랙티브 증강 공간 제공 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 인터랙티브 증강 공간 제공 시스템이 제공되는 환경의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 인터랙티브 증강 공간 제공 방법을 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 증강 콘텐츠에 대한 사용자 인터랙션 과정을 나타내는 순서도이다. 1 is a block diagram showing the configuration of an interactive augmented space providing system according to an embodiment of the present invention.
2 is a diagram illustrating an example of an environment in which an interactive augmented space providing system of the present invention is provided.
3 is a flowchart illustrating a method for providing an interactive augmented space according to an embodiment of the present invention.
4 is a flowchart illustrating a user interaction process for augmented content according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the terms described below are defined in consideration of the functions of the present invention, and this may vary depending on the intention of the user, the operator, or the like. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 증강 공간 제공 시스템의 구성을 나타내는 블록도이다. 1 is a block diagram showing the configuration of an augmented space providing system according to an embodiment of the present invention.

인터랙티브 증강 공간 제공 시스템(100)은 뎁스 영상 획득부(110), 영상 획득부(120), 제어부(130), 저장부(140) 및 투영부(150)를 포함한다. The interactive augmented space providing system 100 includes a depth image obtaining unit 110, an image obtaining unit 120, a control unit 130, a storage unit 140, and a projection unit 150.

뎁스 영상 획득부(110)는 촬상된 객체에 대한 거리 정보를 포함하는 뎁스(depth) 영상을 촬영한다. 뎁스 영상 획득부(110)는 실 공간에 대한 뎁스 영상을 얻기 위하여 실 공간의 여러 위치에 설치된 복수의 뎁스 카메라를 포함하여 구성될 수 있다. The depth image acquirer 110 photographs a depth image including distance information about the photographed object. The depth image acquisition unit 110 may include a plurality of depth cameras installed at various positions of the real space in order to obtain a depth image of the real space.

영상 획득부(120)는 2차원의 컬러 영상을 촬영한다. 2차원의 컬러 영상은 RGB 영상일 수 있다. The image acquisition unit 120 captures a two-dimensional color image. The two-dimensional color image may be an RGB image.

제어부(130)는 실 공간상의 특정 객체에 증강 콘텐츠를 제공하고, 사용자가 증강 콘텐츠와 인터랙션할 수 있도록 뎁스 영상 획득부(110), 영상 획득부(120), 저장부(140) 및 투영부(150)의 동작을 제어한다. The controller 130 provides the augmented content to a specific object in the real space, and allows the user to interact with the augmented content, the depth image obtaining unit 110, the image obtaining unit 120, the storage unit 140, and the projection unit ( 150 to control the operation.

저장부(140)는 제어부(130)의 동작에 이용되는 다양한 데이터를 저장한다. 저장부(140)는 투영부(150)를 통해 복수의 증강 콘텐츠를 생성하는데 이용되는 데이터, 증강 콘텐츠가 투영될 대상 객체에 대응하는 원시적 3차원 모델 데이터, 실 공간의 사람 인식에 이용되는 사용자 객체 정보 등을 저장할 수 있다. 증강 콘텐츠는 캐릭터, 공과 같은 3차원 형상의 물체 등 다양한 형태를 가질 수 있다. The storage 140 stores various data used for the operation of the controller 130. The storage 140 stores data used to generate a plurality of augmented contents through the projector 150, primitive three-dimensional model data corresponding to a target object to which the augmented contents are projected, and a user object used to recognize a person in real space. Information and the like. The augmented content may have various forms such as a character and an object having a three-dimensional shape such as a ball.

투영부(150)는 제어부(130)의 실 공간 인식 및 매칭 결과에 따라 증강 콘텐츠를 실 공간의 특정 객체상에 투영한다. 또한, 투영부(150)는 제어부(130)의 휴먼 인터랙션 결과를 분석하여 증강 콘텐츠를 실 공간의 특정 대상 객체상에 투영할 수 있다. 투영부(150)는 실 공간상의 여러 위치에 설치되는 복수의 프로젝터를 포함할 수 있다. The projection unit 150 projects the augmented content onto a specific object in the real space according to the real space recognition and matching result of the control unit 130. In addition, the projection unit 150 may analyze the human interaction result of the controller 130 and project the augmented content onto a specific target object in the real space. The projection unit 150 may include a plurality of projectors installed at various positions in the real space.

제어부(130)는 뎁스 영상 획득부(110)로부터 뎁스 영상을 수신하고, 영상 획득부(120)로부터 2차원 영상을 획득한다. 제어부(130)는 뎁스 영상을 이용하여 실 환경에 대응하는 3D 포인트 클라우드 맵을 구축한다. 제어부(130)는 뎁스 영상 획득부(110)에 포함된 복수의 뎁스 카메라로부터 입력되는 복수의 뎁스 영상을 각 뎁스 카메라의 위치 및 방향에 따라 통합하여 3D 포인트 클라우드 맵을 생성할 수 있다. The controller 130 receives the depth image from the depth image obtaining unit 110 and obtains the 2D image from the image obtaining unit 120. The controller 130 constructs a 3D point cloud map corresponding to the real environment using the depth image. The controller 130 may generate a 3D point cloud map by integrating a plurality of depth images input from a plurality of depth cameras included in the depth image acquisition unit 110 according to positions and directions of each depth camera.

그런 다음, 제어부(130)는 3D 포인트 클라우드 맵상의 3D 점들을 그룹지어 3D 폴리곤 맵을 생성한다. 폴리곤은 3차원 컴퓨터 그래픽에서 입체 형상을 표현하는 가장 작은 단위인 다각형을 가리킨다. 제어부(130)는 2차원 컬러 영상에서 동일한 컬러의 폴리곤들까지 묶는 방법으로 3D 폴리곤 맵을 추정하여 구성할 수 있다. Then, the controller 130 generates a 3D polygon map by grouping 3D points on the 3D point cloud map. Polygon refers to a polygon, the smallest unit that represents a three-dimensional shape in three-dimensional computer graphics. The controller 130 may estimate and configure the 3D polygon map by binding polygons of the same color in the 2D color image.

그런 다음, 제어부(130)는 미리 설정된 소정의 원시적 3D 모델 데이터와 실 환경에 대응하는 구성된 3D 폴리곤 맵을 매칭하여, 증강 콘텐츠가 증강될 실 공간의 대상 물체를 인식하고 추적한다. 미리 설정된 원시적 3D 모델 데이터는 증강 콘텐츠가 증강될 실 공간의 대상 물체를 추적하는데 이용되는 데이터로, 사면체, 육면체와 같은 다면체와 원기둥, 구, 평면과 같은 복잡하지 않은 원시적인 도형에 대응하는 정보로 구성될 수 있다. 미리 설정된 원시적 3D 모델 데이터는 각 꼭지점의 3D 좌표, 높이, 너비 등의 기하학적 데이터 및 도형의 어느 면에 콘텐츠가 투영될지에 대한 정보를 포함할 수 있다. 예를 들어, 원시적 3D 모델 데이터는 육면체에 대한 기하학적 데이터 및 콘텐츠의 투영면이 육면체의 상면임을 나타내는 정보로 구성될 수 있다. Then, the controller 130 recognizes and tracks the target object in the real space where the augmented content is to be augmented by matching the predetermined primitive 3D model data and the configured 3D polygon map corresponding to the real environment. Preset primitive 3D model data is used to track a target object in real space where augmented content is to be augmented, and corresponds to polyhedrons such as tetrahedrons and cubes and to primitive primitives such as cylinders, spheres, and planes. Can be configured. The preset primitive 3D model data may include geometric data such as 3D coordinates, height, and width of each vertex, and information on which side of the figure is projected. For example, the primitive 3D model data may be composed of geometric data about the cube and information indicating that the projection plane of the content is the top plane of the cube.

제어부(130)는 3D 폴리곤 맵에서 추정한 모든 3D 모델에 대해 미리 설정된 원시적 3D 모델 데이터와의 1)기하학적 구조의 유사성, 2)추정된 3D 모델에 증강 콘텐츠가 투영될 면들이 존재하는지 여부 및 추정된 3D 모델의 증강 콘텐츠가 투영될 면과 원시적 3D 모델 데이터의 증강 콘텐츠가 투영될 면 사이의 상관 관계를 수치화한 후, 1), 2)의 가중치 합을 계산해 유사도를 측정하고, 가장 높은 유사도를 갖는 3D 모델을 매칭하여 선정하고, 선정된 3D 모델의 위치 및 자세를 추적할 수 있다. 그 후, 제어부(130)는 추적된 3D 모델에 해당하는 실 공간의 대상 객체에 증강 콘텐츠를 투영하여 증강 콘텐츠를 제공하도록 투영부(150)를 제어할 수 있다. The control unit 130 may 1) similarity of the geometrical structure with preset primitive 3D model data for all 3D models estimated from the 3D polygon map, 2) whether or not there are planes on which the augmented content is projected on the estimated 3D model. After quantifying the correlation between the surface on which the augmented content of the 3D model is projected and the surface on which the augmented content of the primitive 3D model data is projected, the weighted sums of 1) and 2) are calculated to measure the similarity, and the highest similarity is calculated. The 3D model having a matching can be selected and the position and posture of the selected 3D model can be tracked. Thereafter, the controller 130 may control the projection unit 150 to provide the augmented content by projecting the augmented content to the target object in the real space corresponding to the tracked 3D model.

이와 같은 구성에 의해, 인터랙티브 증강 공간 제공 시스템(100)은 증강 콘텐츠가 제공되는 실 공간 및 증강 콘텐츠가 투영될 실 공간상의 대상 물체(예를 들어, 책상)에 대한 3D 모델 데이터를 미리 구축하는 등의 사전 학습 없이도, 미리 설정된 원시적 3D 모델 데이터를 이용하여 증강 콘텐츠가 투영될 실 공간의 대상 물체를 추적할 수 있다. 또한, 원시적 3D 모델 데이터는 어느 면에 콘텐츠가 투영될지에 대한 정보를 포함함으로써, 증강 콘텐츠가 투영될 대상 물체의 위치를 특정할 수 있으므로, 증강 콘텐츠 제작 및 제공에 편의를 제공할 수 있다. By such a configuration, the interactive augmented space providing system 100 may pre-construct 3D model data of a real object in which augmented content is provided and a target object (eg, a desk) in the real space in which the augmented content is to be projected. Without pre-learning, the preliminary primitive 3D model data can be used to track the target object in the real space where the augmented content is projected. In addition, since the primitive 3D model data includes information on which side the content is projected, the position of the object to which the augmented content is to be projected can be specified, thereby providing convenience for producing and providing augmented content.

또한, 제어부(130)는 증강 콘텐츠에 대한 실 공간의 사용자와의 인터랙션을 제공하도록 동작한다. 제어부(130)는 3D 폴리곤 맵에서 증강 콘텐츠와 인터랙션을 수행하는 사용자를 인식하고, 인식된 사람의 각 신체 부위를 인식하고 인식된 각 신체 부위를 추적할 수 있다. 인터랙티브 증강 공간 제공 시스템(100)은 미리 설정된 사람의 3차원 형상을 나타내는 객체 데이터와 매칭되는 데이터를 3D 폴리곤 맵에서 추출함으로써 사용자 및 사용자의 각 신체 부위를 인식하고 추적할 수 있다. In addition, the controller 130 operates to provide an interaction with the user of the real space for the augmented content. The controller 130 may recognize a user performing interaction with the augmented content in the 3D polygon map, recognize each body part of the recognized person, and track each recognized body part. The interactive augmented space providing system 100 may recognize and track the user and each body part of the user by extracting data matching the object data representing the three-dimensional shape of the person from the 3D polygon map.

제어부(130)는 뎁스 영상 획득부(110) 및 영상 획득부(120)로부터 입력되는 뎁스 영상 및 2차원 컬러 영상을 이용하여 추적된 각 신체 부위의 움직임을 분석하여 증강 콘텐츠와의 인터랙션 동작을 인식할 수 있다. 사용자의 인터랙션 동작은 예를 들어, 사용자가 손을 올리는 동작, 흔드는 동작, 증강 콘텐츠를 터치하는 동작 등 다양할 수 있다. The controller 130 analyzes the movement of each body part tracked by using the depth image and the two-dimensional color image input from the depth image obtaining unit 110 and the image obtaining unit 120 to recognize the interaction operation with the augmented content. can do. The interaction of the user may vary, for example, by raising the hand, shaking, or touching the augmented content.

제어부(130)는 인식된 인터랙션 동작을 증강 콘텐츠에 반영하고, 반영된 증강 콘텐츠를 투영부(150)를 통해 실 공간에 투영할 수 있다. 예를 들어, 제어부(130)는 인식된 인터랙션 동작에 따라서 증강 콘텐츠를 다른 콘텐츠로 변경하거나, 현재 제공중인 증강 콘텐츠를 변형시킬 수 있다. 이와 같은 방법으로, 인터랙티브 증강 공간 제공 시스템(100)은 사용자가 증강 콘텐츠와 인터랙션을 수행하도록 할 수 있다. The controller 130 may reflect the recognized interaction motion to the augmented content and project the reflected augmented content to the real space through the projection unit 150. For example, the controller 130 may change the augmented content to another content or modify the currently provided augmented content according to the recognized interaction operation. In this way, the interactive augmented space providing system 100 may allow a user to interact with the augmented content.

도 2는 본 발명의 인터랙티브 증강 공간 제공 시스템이 제공되는 환경의 일 예를 나타내는 도면이다. 2 is a diagram illustrating an example of an environment in which an interactive augmented space providing system of the present invention is provided.

도 2에 도시된 바와 같이, 실내 공간(10)에 다수의 프로젝터(150-1, 150-2)와 도 1의 뎁스 영상 획득부(110) 및 영상 획득부(120)를 포함하는 카메라 장치(110 및 120)가 설치된다. 하나의 카메라 장치(110 및 120)가 도시되어 있으나, 실내 공간(10)의 여러 위치에 카메라 장치(110 및 120)가 설치될 수 있다. 실내 공간(10)에는 증강 콘텐츠를 증강시킬 대상 물체가 존재한다. 증강 콘텐츠가 증강될 대상 물체는 벽, 바닥, 책상, 박스 등일 수 있다. 예를 들어, 도 2의 책상(30)이 증강 콘텐츠가 증강될 대상 물체가 될 수 있다. 사용자(20)는 다수의 프로젝터(150-1, 150-2)에 의해 책상(30)에 투영되는 증강 콘텐츠와 인터랙션을 수행할 수 있다. As shown in FIG. 2, a camera apparatus including a plurality of projectors 150-1 and 150-2, a depth image acquirer 110, and an image acquirer 120 of FIG. 1 in an indoor space 10 ( 110 and 120 are installed. Although one camera device 110 and 120 is illustrated, the camera devices 110 and 120 may be installed at various positions of the indoor space 10. The indoor space 10 has a target object to augment the augmented content. The object to be augmented content may be a wall, a floor, a desk, a box, or the like. For example, the desk 30 of FIG. 2 may be an object to which augmented content is to be augmented. The user 20 may interact with augmented content projected onto the desk 30 by the plurality of projectors 150-1 and 150-2.

도 3은 본 발명의 일 실시예에 따른 인터랙티브 증강 공간 제공 방법을 나타내는 순서도이다. 3 is a flowchart illustrating a method for providing an interactive augmented space according to an embodiment of the present invention.

인터랙티브 증강 공간 제공 시스템(100)은 뎁스 영상 및 2차원 컬러 영상을 획득한다(310). The interactive augmented space providing system 100 obtains a depth image and a 2D color image (310).

인터랙티브 증강 공간 제공 시스템(100)은 획득한 뎁스 영상으로부터 3D 포인트 클라우드 맵을 생성한다(320). The interactive augmented space providing system 100 generates a 3D point cloud map from the acquired depth image (320).

인터랙티브 증강 공간 제공 시스템(100)은 2차원 컬러 영상을 분석하여 연속된 3D 포인트 클라우드들을 폴리곤(polygon)으로 묶고, 폴리곤들을 이용하여 같은 모델에 속한 폴리곤들을 묶어 3D 모델을 추정하여 3D 폴리곤 맵을 구성한다(330). The interactive augmented space providing system 100 analyzes a 2D color image to bundle continuous 3D point clouds into polygons, and combines polygons belonging to the same model using polygons to estimate a 3D model to construct a 3D polygon map. (330).

인터랙티브 증강 공간 제공 시스템(100)은 증강 콘텐츠가 투영될 실 공간의 대상 객체를 인식하고 추적한다(340). 인터랙티브 증강 공간 제공 시스템(100)은 3D 폴리곤 맵으로부터 미리 지정한 증강 콘텐츠가 투영될 대상 객체에 대응하는 원시적 3D 모델 데이터와 가장 유사하거나, 증강 콘텐츠를 투영하기에 적절한 3D 모델(예를 들어, 평평한 면을 가지는 벽면이나, 바닥면에 대응하는 3D 모델)을 찾아 매칭할 수 있다. The interactive augmented space providing system 100 recognizes and tracks a target object in a real space in which the augmented content is projected (340). The interactive augmented space providing system 100 is most similar to the primitive 3D model data corresponding to the target object to which the predefined augmented content from the 3D polygon map corresponds to the target object to be projected, or a 3D model (eg, a flat face) suitable for projecting the augmented content. 3D model corresponding to the wall surface or the bottom surface) can be found and matched.

인터랙티브 증강 공간 제공 시스템(100)은 증강 콘텐츠가 투영될 물체의 위치가 추적이 되면, 콘텐츠의 요소가 투영될 적절한 면들을 찾고, 그 대상 면들에 맞게 콘텐츠를 변화하여 사용자가 어색함을 느끼지 않게 실 공간의 추적된 객체상에 증강 콘텐츠를 투영한다(350). 인터랙티브 증강 공간 제공 시스템(100)은 인식된 대상 물체를 실 공간에서 계속하여 추적하여, 인식된 대상 물체가 위치가 이동하거나, 자세가 변화하더라도 위치와 자세를 추적하고, 추적된 대상 물체상에 증강 콘텐츠를 투영할 수 있다. When the position of the object on which the augmented content is to be projected is tracked, the interactive augmented space providing system 100 finds suitable faces on which the elements of the content are projected, and changes the content according to the target faces so that the user does not feel awkward. Project augmented content on the tracked object of 350. The interactive augmentation space providing system 100 continuously tracks the recognized target object in real space, tracks the position and posture even if the recognized target object moves or changes position, and augments the tracked target object. You can project content.

인터랙티브 증강 공간 제공 시스템(100)은 투영된 증강 콘텐츠에 대한 사용자 인터랙션을 제공한다(360). The interactive augmented space providing system 100 provides 360 a user interaction with the projected augmented content.

도 4는 본 발명의 일 실시에에 따른 증강 콘텐츠에 대한 사용자 인터랙션 과정을 나타내는 순서도이다. 4 is a flowchart illustrating a user interaction process for augmented content according to an embodiment of the present invention.

공간 증강 디스플레이 시스템(100)은 뎁스 영상 및 2차원 컬러 영상을 실시간으로 연속하여 획득함에 따라, 도 3을 참조하여 설명한 바와 동작 320, 330, 340 및 350을 계속하여 실행하고 있다고 가정한다. As the spatial enhancement display system 100 continuously acquires the depth image and the 2D color image in real time, it is assumed that the operations 320, 330, 340, and 350 are continuously executed as described with reference to FIG. 3.

인터랙티브 증강 공간 제공 시스템(100)은 3D 폴리곤 맵에서 증강 콘텐츠와 인터랙션을 수행할 사용자를 인식한다(410). The interactive augmented space providing system 100 recognizes a user who will interact with the augmented content in the 3D polygon map (410).

인터랙티브 증강 공간 제공 시스템(100)은 인식된 사람의 각 신체 부위를 인식하고 인식된 각 신체 부위를 추적한다(420). 인터랙티브 증강 공간 제공 시스템(100)은 미리 설정된 사람의 3차원 형상을 나타내는 객체 데이터와 매칭되는 데이터를 3D 폴리곤 맵에서 추출함으로써 사용자 및 사용자의 각 신체 분위를 인식할 수 있다. The interactive augmented space providing system 100 recognizes each body part of the recognized person and tracks each recognized body part (420). The interactive augmented space providing system 100 may recognize the user and each body part of the user by extracting data matching the object data representing the three-dimensional shape of the person from the 3D polygon map.

인터랙티브 증강 공간 제공 시스템(100)은 추적된 각 신체 부위의 움직임을 분석하여 가상 객체와의 인터랙션 동작을 인식한다(430). The interactive augmented space providing system 100 analyzes the movement of each tracked body part to recognize the interaction with the virtual object (430).

인터랙티브 증강 공간 제공 시스템(100)은 인식된 인터랙션 동작을 증강 콘텐츠에 반영하고, 반영된 증강 콘텐츠를 실 공간에 프로젝터들을 이용하여 투영한다(440). 이와 같은 방법으로, 인터랙티브 증강 공간 제공 시스템(100)은 사용자가 증강 콘텐츠와 인터랙션을 수행하도록 할 수 있다. The interactive augmented space providing system 100 reflects the recognized interaction motion to the augmented content and projects the reflected augmented content to the real space using projectors (440). In this way, the interactive augmented space providing system 100 may allow a user to interact with the augmented content.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.One aspect of the present invention may be embodied as computer readable code on a computer readable recording medium. The code and code segments implementing the above program can be easily deduced by a computer programmer in the field. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. The computer-readable recording medium may also be distributed over a networked computer system and stored and executed in computer readable code in a distributed manner.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims.

Claims (1)

뎁스 영상 및 2차원 컬러 영상을 획득하는 단계;
뎁스 영상으로부터 3D 포인트 클라우드 맵을 생성하는 단계;
2차원 컬러 영상을 분석하여 3D 포인트 클라우드 맵으로부터 3D 모델을 추정하여 3D 폴리곤 맵을 구성하는 단계;
증강 콘텐츠가 투영될 실 공간의 객체를 추적하는 단계;
상기 추적된 실 공간의 객체에 증강 콘텐츠를 투영하여 증강 콘텐츠를 제공하는 단계; 및
증강 콘텐츠에 대한 실 공간의 사용자와의 인터랙션을 제공하는 단계; 를 포함하는 것을 특징으로 하는 인터랙티브 증강 공간 제공 방법. Obtaining a depth image and a two-dimensional color image;
Generating a 3D point cloud map from a depth image;
Analyzing the two-dimensional color image to estimate the 3D model from the 3D point cloud map to construct a 3D polygon map;
Tracking the object in the real space in which the augmented content is to be projected;
Providing augmented content by projecting augmented content to the tracked real space object; And
Providing an interaction with a user of the real space for the augmented content; Interactive augmented space providing method comprising a.
KR1020110135858A 2011-12-15 2011-12-15 Method and system for providing interactive augmented space KR20130068575A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110135858A KR20130068575A (en) 2011-12-15 2011-12-15 Method and system for providing interactive augmented space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110135858A KR20130068575A (en) 2011-12-15 2011-12-15 Method and system for providing interactive augmented space

Publications (1)

Publication Number Publication Date
KR20130068575A true KR20130068575A (en) 2013-06-26

Family

ID=48864172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110135858A KR20130068575A (en) 2011-12-15 2011-12-15 Method and system for providing interactive augmented space

Country Status (1)

Country Link
KR (1) KR20130068575A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034513A (en) * 2014-09-19 2016-03-30 한국전자통신연구원 Apparatus and method for implementing immersive augmented reality with RGB-D data
KR20160079941A (en) 2014-12-09 2016-07-07 주식회사어린이상상연구소 System for overlapping of contents
WO2016204334A1 (en) * 2015-06-19 2016-12-22 (주)블루클라우드 Exercise system based on immersive interactive contents and method therefor
KR20170001130A (en) * 2015-06-25 2017-01-04 삼성중공업 주식회사 Apparatus for inspecting protrusion of outfittings
KR20170081964A (en) 2016-01-05 2017-07-13 한국전자통신연구원 Augmented Reality device based on recognition spacial structure and method thereof
CN106973569A (en) * 2014-05-13 2017-07-21 Pcp虚拟现实股份有限公司 Generation and the playback multimedia mthods, systems and devices of virtual reality
WO2018004154A1 (en) * 2016-06-30 2018-01-04 재단법인 실감교류인체감응솔루션연구단 Mixed reality display device
CN111148967A (en) * 2017-09-29 2020-05-12 松下电器（美国）知识产权公司 Three-dimensional data creation method, client device, and server

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973569A (en) * 2014-05-13 2017-07-21 Pcp虚拟现实股份有限公司 Generation and the playback multimedia mthods, systems and devices of virtual reality
KR20160034513A (en) * 2014-09-19 2016-03-30 한국전자통신연구원 Apparatus and method for implementing immersive augmented reality with RGB-D data
KR20160079941A (en) 2014-12-09 2016-07-07 주식회사어린이상상연구소 System for overlapping of contents
WO2016204334A1 (en) * 2015-06-19 2016-12-22 (주)블루클라우드 Exercise system based on immersive interactive contents and method therefor
KR20170001130A (en) * 2015-06-25 2017-01-04 삼성중공업 주식회사 Apparatus for inspecting protrusion of outfittings
KR20170081964A (en) 2016-01-05 2017-07-13 한국전자통신연구원 Augmented Reality device based on recognition spacial structure and method thereof
US9892323B2 (en) 2016-01-05 2018-02-13 Electronics And Telecommunications Research Institute Augmented reality device based on recognition of spatial structure and method thereof
WO2018004154A1 (en) * 2016-06-30 2018-01-04 재단법인 실감교류인체감응솔루션연구단 Mixed reality display device
CN111148967A (en) * 2017-09-29 2020-05-12 松下电器（美国）知识产权公司 Three-dimensional data creation method, client device, and server
CN111148967B (en) * 2017-09-29 2024-03-08 松下电器（美国）知识产权公司 Three-dimensional data creation method, client device, and server

Similar Documents

Publication Publication Date Title
JP7209777B2 (en) Surface modeling system and method
KR20130068575A (en) Method and system for providing interactive augmented space
KR102069964B1 (en) Virtual reality-based apparatus and method to generate a three dimensional(3d) human face model using image and depth data
EP2671210B1 (en) Three-dimensional environment reconstruction
JP5773944B2 (en) Information processing apparatus and information processing method
EP1883052B1 (en) Generating images combining real and virtual images
KR101135186B1 (en) System and method for interactive and real-time augmented reality, and the recording media storing the program performing the said method
US9041775B2 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
CN105190703A (en) Using photometric stereo for 3D environment modeling
KR101556992B1 (en) 3d scanning system using facial plastic surgery simulation
Wither et al. Pictorial depth cues for outdoor augmented reality
JP2023532285A (en) Object Recognition Neural Network for Amodal Center Prediction
JP7006810B2 (en) 3D measuring device, mobile robot, push wheel type moving device and 3D measurement processing method
EP3980975B1 (en) Method of inferring microdetail on skin animation
Petit et al. Virtualization gate
KR101360388B1 (en) Devices and Methods for tracking multiple 3D object using coupled CAD model
WO2023120217A1 (en) Information processing device, information processing method, and program
WO2021166751A1 (en) Information-processing device, information-processing method, and computer program
CN117369233A (en) Holographic display method, device, equipment and storage medium
JP2024506299A (en) Scene understanding using occupancy grids
Welch et al. A Projector-based Physical Sand Table for Tactical Planning and Review
Cortes Reina Depth assisted composition of synthetic and real 3d scenes
Weise MEng Computing Individual Project Accurate Real-time Hand Tracking for Manipulation of Virtual Objects Outsourcing Report

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination