KR101876419B1 - 프로젝션 기반 증강현실 제공장치 및 그 방법 - Google Patents

프로젝션 기반 증강현실 제공장치 및 그 방법 Download PDF

Info

Publication number
KR101876419B1
KR101876419B1 KR1020160002214A KR20160002214A KR101876419B1 KR 101876419 B1 KR101876419 B1 KR 101876419B1 KR 1020160002214 A KR1020160002214 A KR 1020160002214A KR 20160002214 A KR20160002214 A KR 20160002214A KR 101876419 B1 KR101876419 B1 KR 101876419B1
Authority
KR
South Korea
Prior art keywords
information
augmented
space
user
actual
Prior art date
Application number
KR1020160002214A
Other languages
English (en)
Other versions
KR20170082907A (ko
Inventor
이기석
김대환
김항기
김혜미
김기홍
박수란
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160002214A priority Critical patent/KR101876419B1/ko
Publication of KR20170082907A publication Critical patent/KR20170082907A/ko
Application granted granted Critical
Publication of KR101876419B1 publication Critical patent/KR101876419B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/10Projectors with built-in or built-on screen
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/20Stereoscopic photography by simultaneous viewing using two or more projectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00335Recognising movements or behaviour, e.g. recognition of gestures, dynamic facial expressions; Lip-reading
    • G06K9/00355Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/6269Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on the distance between the decision surface and training patterns lying on the boundary of the class cluster, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6268Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches
    • G06K9/627Classification techniques relating to the classification paradigm, e.g. parametric or non-parametric approaches based on distances between the pattern to be recognised and training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Abstract

프로젝션 기반 증강현실 제공장치 및 그 방법이 개시된다. 일 실시 예에 따른 증강현실 제공장치는, 실제공간 정보와 사용자 정보를 획득하는 입력부와, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서를 포함한다.

Description

프로젝션 기반 증강현실 제공장치 및 그 방법 {Apparatus for providing augmented reality based on projection mapping and method thereof}
본 발명은 컨텐츠 제공기술에 관한 것으로, 보다 상세하게는 현실세계에 가상세계를 결합한 증강현실 컨텐츠 제공 기술에 관한 것이다.
체험자의 몰입도를 높이기 위해 프로젝션(projection)을 통한 컨텐츠 제시는 다양하게 이루어져 왔다. 예를 들어, 대형 건물에 컨텐츠를 투사하여 표현하는 미디어 파사드(media facade)나 미디어 아트에서 전시공간을 표현하는 등의 사례를 찾아볼 수 있다. 이러한 사례들을 보면 고정된 환경에 사전 제작된 영상을 투사하는 형태가 대부분이다.
이러한 구성 형태에서 사용자는 자신에게 프로젝션되는 영상을 볼 수 없고 다른 사람들에게 보여주는 형태여서 실감 체험의 몰입도를 높인다고 보기는 어렵다. 또한, 몰입을 위한 디스플레이 활용 측면에서 보면, 일반적인 체험 장치들은 동작 인식 센서에서 입력된 정보를 통해 제시된 가상공간에서 사용자의 움직임을 그대로 반영하여 TV나 HMD(Head mounted display) 등에 컨텐츠를 가시화하는 형태이다. 이러한 장치들은 실제공간에서의 사용자 행동을 가상공간으로 매핑시켜 주기 때문에 몰입도를 향상시키나, TV와 같은 디스플레이에서는 평면적이고 좁은 가시화 영역 제약에 의해 충분한 실감 체험을 제시하기 어렵다. HMD의 경우에는 머리에 착용하여 몰입도를 극대화할 수 있으나, 착용에 따른 불편함과 외부가 보이지 않아 외부환경과의 자연스러운 상호작용을 수행하는데 어려움이 있다.
일 실시 예에 따라, 사용자에게 새로운 형태의 실감나는 체험을 제공할 수 있는 프로젝션 기반 증강현실 제공장치 및 그 방법을 제안한다.
일 실시 예에 따른 증강현실 제공장치는, 실제공간 정보와 사용자 정보를 획득하는 입력부와, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서를 포함한다.
일 실시 예에 따른 입력부는 사용자의 스켈레톤 정보와 각 신체부위의 신체정보를 포함한 사용자 정보를 사전에 획득하고, 프로세서는 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 사용자의 신체와 일치되게 투사되도록 사용자 정보를 이용한다.
일 실시 예에 따른 입력부는, 사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하며, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다.
일 실시 예에 따른 프로세서는, 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 상호작용 처리부와, 상호작용 처리부를 통해 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로젝션 가시화부를 포함한다.
일 실시 예에 따른 상호작용 처리부는, 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식한다.
일 실시 예에 따른 상호작용 처리부는, 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색한다.
일 실시 예에 따른 프로젝션 가시화부는, 실제공간과 가상공간 간의 매핑 파라미터를 구하고 매핑 파라미터를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다.
일 실시 예에 따른 프로젝션 가시화부는, 입력부를 통해 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 입력부를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현한다.
일 실시 예에 따른 프로젝션 가시화부는, 사용자의 신체에 프로젝션하는 경우, 입력부를 통해 사전에 획득한 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링한다.
일 실시 예에 따른 프로젝션 가시화부는, 다수의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩 및 마스킹을 수행한다.
일 실시 예에 따른 프로세서는, 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 컨텐츠 공유 처리부를 더 포함한다.
일 실시 예에 따른 프로세서는, 증강 컨텐츠가 시나리오 로직에 따라 진행되도록 지원하고, 상기 프로젝션 가시화부에 증강 컨텐츠 가시화 데이터를 제공하는 컨텐츠 로직 처리부를 더 포함한다.
다른 실시 예에 따른 증강현실 제공장치를 이용한 증강현실 제공방법은, 실제공간 정보와 사용자 정보를 획득하는 단계와, 획득된 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 단계와, 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 단계를 포함한다.
일 실시 예에 따른 실제공간 정보와 사용자 정보를 획득하는 단계는, 사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계와, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계를 포함한다.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식한다.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색한다.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 실제공간과 가상공간 간의 매핑 파라미터를 구하고 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현한다.
일 실시 예에 따른 증강 컨텐츠를 생성하는 단계에서, 사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링한다.
일 실시 예에 따른 증강현실 제공방법은, 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 단계를 더 포함한다.
일 실시 예에 따르면, 실제공간에서 프로젝션 매핑 기법을 통해 표현된 가상환경과 실제환경 사이에 상호작용이 수행되도록 제공하여 실감나는 증강 컨텐츠를 제공할 수 있다. 이를 기반으로 사용자의 신체나 사전에 정의된 다양한 객체 표면에 대한 프로젝션을 통하여 증강 컨텐츠의 표현 범위를 확대할 수 있다. 또한, 원격지에 존재하는 사용자들과 공간 내에 실물 객체를 추가하고 인식시켜 증강 컨텐츠를 활용하는 신개념 놀이 공간의 창조가 가능하다.
나아가, 몰입 기반의 증강 컨텐츠 제시를 위해 HMD(Head Mounted Display)와 같은 디스플레이를 착용해야 하는 불편이 없고 TV와 같은 제한적인 디스플레이 가시화 영역에 따른 체험 공간 제약을 뛰어 넘어 보다 넓은 공간에서 다수의 인원이 함께 증강 컨텐츠와 실감 상호작용을 통한 체험을 실시하는데 효과적이다.
도 1은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 도 1의 증강현실 제공장치의 구성도,
도 3은 본 발명의 일 실시 예에 따른 프로젝션 기반 실감 체험 환경을 도시한 참조도,
도 4는 본 발명의 일 실시 예에 따른 사용자 신체에 대한 프로젝션 예를 도시한 참조도,
도 5는 본 발명의 일 실시 예에 따른 사용자의 동작과 프로젝션된 가상객체와의 상호작용 예를 도시한 참조도,
도 6은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공방법을 도시한 흐름도,
도 7은 본 발명의 일 실시 예에 따른 사용자 정보 획득 예를 도시한 참조도,
도 8은 본 발명의 일 실시 예에 따른 프로젝터 반사경의 외관도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공 시스템의 구성도이다.
도 1을 참조하면, 증강현실 제공 시스템은 증강현실 제공장치(1), 입력장치(2) 및 디스플레이 장치(3)를 포함한다. 도 1에서는 입력장치(2)와 디스플레이 장치(3)가 증강현실 제공장치(1)와 물리적으로 분리되는 것으로 도시하였으나, 실시 예에 따라 입력장치(2)가 증강현실 제공장치(1)에 포함될 수 있고, 디스플레이 장치(3)가 증강현실 제공장치(1)에 포함될 수도 있다.
증강현실 제공장치(1)는 입력장치(2)로부터 실제공간 정보와 사용자 정보를 획득하고, 획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경과 가상환경을 맵핑하여 동적으로 변화하는 증강 컨텐츠를 생성한다. 그리고 생성된 증강 컨텐츠를 프로젝터(projector)(30)를 포함하는 디스플레이 장치(3)를 통해 프로젝션(projection)하여 가시화한다. 여기서, 실제환경은 실제공간에 존재하는 사용자 또는 실제객체일 수 있고, 가상환경은 가상공간 또는 가상객체일 수 있다.
입력장치(2)는 증강현실 제공장치(1)에 실제공간 정보와 사용자 정보를 제공한다. 입력장치(2)는 실제공간에서 이동하는 사용자에 대한 영상정보를 획득하여 제공할 수 있다. 이 경우, 입력장치(2)는 일반 이미지 획득용 카메라, 컬러(color) 정보와 깊이(depth) 정보를 획득하는 RGB 카메라 등일 수 있다. 입력장치(2)는 광을 이용하여 사용자의 움직임 정보를 획득하여 제공할 수 있다. 이 경우, 입력장치(2)는 라이더(light Detection and Ranging: LIDAR) 등일 수 있다. 라이더는 레이저 레이더로서, 전자파로서 레이저 광을 이용하는 레이더이다. 사용자 정보는 사용자의 신체정보를 포함할 수 있는데, 예를 들어 사용자의 관절 위치 및 그 길이정보이다.
사용자 정보를 획득하기 위해 입력장치(2)를 구성하여, 사용자의 사용자의 스켈레톤 정보와 각 신체정보를 획득하고, 획득된 정보를 이용하여 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 신체에 꼭 맞도록 정확하게 투사가 가능하도록 할 수 있다. 이에 대한 실시 예는 도 7을 참조로 하여 후술한다.
디스플레이 장치(3)는 적어도 하나의 프로젝터(30)를 포함한다. 증강현실 제공장치(1)는 프로젝터(30)를 통해 증강 컨텐츠를 프로젝션한다. 최근 LED에 기반하여 밝고 유지비가 적게 들며 수명이 긴 광원 사용이 가능해지면서, 미니 프로젝터나 저가의 프로젝터가 많이 보급되고 있어 상당히 저가에도 프로젝션 환경을 구축할 수 있어서 그 활용도가 점차 높아지고 있다.
프로젝터를 적게 사용하면서 보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시키거나 3D 프린터를 이용하여 투사면에 적합한 반사면을 만들고 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다.
일 실시 예에 따른 증강현실 제공장치(1)는 사용자에게 실감 체험을 주기 위해, 프로젝터(30)를 활용하여 실제공간과 실제객체 및 사용자 등에 가상객체를 동적으로 가시화하며, 프로젝션 매핑 기법을 통해 표현된 가상환경과 실제환경 간에 상호작용이 수행되도록 하여 실감나는 증강 컨텐츠를 제공한다. 또한, 이를 확장하여 원격지에 있는 사용자들이 마치 한 공간에 모여있는 것처럼 함께 재생이 가능하다.
도 2는 본 발명의 일 실시 예에 따른 도 1의 증강현실 제공장치의 구성도이다.
도 1 및 도 2를 참조하면, 일 실시 예에 따른 증강현실 제공장치(1)는 입력부(10), 프로세서(12), 메모리(14) 및 통신부(16)를 포함한다.
입력부(10)는 사용자의 체험 환경에서 프로젝션을 위해 실제공간 정보와 사용자 정보를 입력장치(2)로부터 획득한다. 프로세서(12)는 입력부(10)를 통해 획득된 실제공간 정보와 사용자 정보를 기반으로 실제환경과 가상환경을 매핑하여 증강 컨텐츠를 생성하고 이를 프로젝터(30)를 통해 프로젝션하여 가시화한다. 통신부(16)는 원격지에 존재하는 다른 사용자들의 증강현실 제공장치와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 증강 컨텐츠 및 동기화를 위한 정보를 송수신한다. 메모리(14)에는 증강현실 제공장치(1)의 동작 수행을 위한 정보와 동작 수행에 따라 생성되는 정보가 저장된다. 메모리(14)에는 실제환경과 가상환경 간의 매핑정보가 저장되며, 사전에 제작되어, 실제객체와 대응되는 가상객체의 모델 데이터가 저장될 수 있다. 가상객체 모델 데이터는 실제공간 정보와 사용자 정보를 기반으로 인식된 실제공간의 특징과 기저장된 가상객체의 모델 데이터와의 비교를 통해 변화될 수 있다.
일 실시 예에 따른 프로세서(12)는 프로젝션 가시화부(120), 상호작용 처리부(122), 컨텐츠 공유 처리부(124) 및 컨텐츠 로직 처리부(126)를 포함한다.
상호작용 처리부(122)는 실제공간 정보와 사용자 정보를 이용하여 실제객체를 인식하고 인식된 실제객체로부터 사용자의 동작을 포함한 실제환경을 인식한다. 그리고 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성한다. 프로젝션 가시화부(120)는 상호작용 처리부(122)를 통해 생성된 증강 컨텐츠를 프로젝터(30)를 통해 프로젝션하여 가시화한다. 컨텐츠 공유 처리부(124)는 원격지에 존재하는 다른 사용자들과 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 한다. 컨텐츠 로직 처리부(126)는 프로젝션 가시화부(120)가 시나리오에 따라 증강 컨텐츠를 가시화하도록 증강 컨텐츠 가시화 데이터를 제공한다.
이하, 각 구성요소에 대해 상세히 후술한다.
입력부(10)는 입력장치(2)로부터 증강 컨텐츠가 표현될 실제 3차원 공간에 대한 점 군(Point Cloud) 정보, 사용자 스켈레톤(Skeleton) 정보, 재생 중인 영상 정보를 획득한다. 또한, 체험 공간 내에 존재하는 다양한 실제객체들에 대해 인식 및 추적을 위한 정보들을 획득한다.
사용자 정보 획득을 용이하게 하기 위해. 별도로 구성된 입력장치(2)를 활용하여 사전에 사용자의 스켈레톤 정보와 사용자의 신체정보를 획득할 수 있다. 이 경우, 프로세서(12)가 획득한 정보를 이용하여 사용자의 신체에 꼭 맞도록 정확하게 투사가 가능하도록 증강 컨텐츠를 프로젝션할 수 있다. 나아가, 사용자 정보를 저장하여 차후에 재사용이 가능하다.
일 실시 예에 따른 입력부(10)는 증강 컨텐츠가 구동될 초기환경을 구축하기 위해, 사전에 2단계를 거쳐 정보를 획득한다. 1단계로서, 사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군(Point Cloud) 정보를 획득하고, 이를 사전에 모델링을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다. 2단계로서, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군(Point Cloud) 정보를 획득하고, 이를 사전에 제작한 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록한다. 증강 컨텐츠가 구동되는 간략화된 3차원 배경 모델 정보는 획득 및 복원된 공간 정보를 간략화하여 구성할 수도 있으나, 보다 효율적인 처리를 위해 사전에 모델링되어 이를 이용한다. 이와 더불어 사용자들의 신체정보를 사전에 획득하여 각 관절의 길이와 얼굴 사진 등을 증강 컨텐츠에서 활용할 수 있도록 준비한다.
프로젝션 가시화부(120)는 실제공간에 가상공간을 결합하여 생성된 증강 컨텐츠를 하나 이상의 프로젝터(30)와 다양한 디스플레이들을 통해 가시화한다. 이를 위해, 입력장치(2)와 프로젝터(30)를 연계한 켈리브레이션(calibration) 단계를 거쳐, 증강 컨텐츠를 프로젝션하기 위한 실제공간과 가상의 3차원 좌표공간 간의 연관 관계를 계산하기 위해 매핑 파라미터를 구한다. 예를 들어, 캘리브레이션 단계에서 입력장치(2)와 프로젝터(30)의 내부 파라미터(intrinsic parameter)와 외부 파라미터(extrinsic parameter)를 구한 후 이를 조합하여 가상공간과 실제공간이 동일하게 매핑될 수 있도록 한다. 또한, 여러 개의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩(edge blending)과 마스킹(masking) 등을 통하여 체험을 위한 공간을 확장할 수 있다. 전술한 과정들은 컴퓨터 비전(computer vision)에서 활용되는 다양한 패턴 기반의 연관점 분석에 기반하여 수행될 수 있다.
보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시켜 투사면을 확대시키거나, 3D 프린터를 이용하여 투사면에 적합한 굴곡을 가진 반사면을 만들고 여기에 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다. 이에 대한 실시 예는 도 8을 참조로 하여 후술한다.
상호작용 처리부(122)가 입력부(10)를 통해 획득한 정보를 이용하여 실제공간과 가상공간 간의 상호작용을 계산하여 증강 컨텐츠에 반영하면, 프로젝션 가시화부(120)가 증강 컨텐츠를 프로젝터(30)를 통해 실제공간과 매핑되는 가상공간에 표현한다. 실제공간은 예를 들어, 벽면, 바닥면, 3차원 아이템 객체의 표면, 사용자의 신체 일부일 수 있다. 3차원 아이템 객체의 경우, 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 입력부(10)를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색한 객체 위치에 사전에 제작하여 간략화된 가상객체 매쉬로 대체하는 형태로 증강 컨텐츠를 표현한다. 공간에서의 위치정보는 각 입력장치(2)에 따라 그 상대 좌표계가 상이하므로, 등록된 3차원 배경 모델을 중심으로 모든 입력장치(2)에 대한 정보를 상대적으로 맞추어 계산하여 처리한다. 전술한 바와 같이, 입력부(10)를 통해 획득된 정보를 기반으로 컨텐츠 로직 처리부(126)의 증강 컨텐츠 시나리오 진행에 맞추어 상호작용 처리부(122)가 상호작용을 계산하여 프로젝션 가시화부(120)를 통해 가시화되는 증강 컨텐츠의 예가 도 4에 도시된 바와 같다.
상호작용 처리부(122)는 입력부(10)에서 획득된 실제공간 정보, 사용자 정보, 프로젝션되는 공간 내에 존재하는 실제객체들의 3차원 정보를 기반으로 공간의 변화를 분석하고 사용자 동작을 인식하며, 실제공간과 가상공간 간의 상호작용을 처리한다.
가장 간단한 형태로는 실제객체에 컬러 또는 적외선 패턴 기반의 마커(marker)를 부착하여 실제객체를 검색하는 방법이 있지만, 실제객체에 프로젝션되는 영상의 품질이 떨어지는 문제가 발생할 수 있기 때문에 실제객체의 3차원 정보를 기반으로 공간의 변화를 분석한다.
증강 컨텐츠 시나리오의 활용에 필요한 공간 분석 및 객체를 인식하고 활용하기 위해, 입력장치 중 하나인 깊이 센서로부터 획득된 깊이 정보를 기반으로 한 영상 처리와 기계 학습을 이용하거나, 점 군(Point Cloud) 정보를 기반으로 ICP(Iterative Closest Point) 등을 이용할 수 있다.
증강 컨텐츠가 구동되는 프로젝션 환경은 어두운 공간에서 주로 운용되므로, 깊이 센서 기반의 깊이 정보를 주로 활용하고, 컬러 정보를 부가적으로 활용하여 실제 영상을 분석한다. 인식이 필요한 객체의 학습 데이터를 획득하기 위해, 3차원 배경 모델을 배경에 위치시켜 학습 데이터를 획득한다. 학습 데이터를 효과적으로 획득하기 위해서, 실제 객체의 특정 위치나 면을 컬러로 마킹하거나 테잎을 붙여 획득하는 방식으로 깊이 정보 맵과 컬러 정보 맵을 연계하여 학습을 위한 정답 셋으로 활용할 수 있다. 획득된 깊이 정보 맵에서 특징 정보들을 추출하고 이를 코딩하여 증강 컨텐츠에 활용되는 객체들을 구분하고 공간 내에서의 객체의 위치를 검색한다. 이를 위한 기계 학습은 SVM(Support Vector Machines)이나 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.
학습 데이터를 통해 실시간 상호작용을 계산하는 단계에서, 상호작용 처리부(122)는 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 적당한 개수의 그리드(grid)로 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간 상에 객체가 추가될만한 영역을 검색하여 보다 정밀한 분석을 한다. 또한, 사용자의 신체를 제외한 공간 내에 존재하는 객체들의 경우에는 배경 정보로 반영하여 실시간성을 확보한다.
프로젝션 가시화부(120)에서 프로젝션 공간과 실제공간 사이의 상호 연관성을 구했기 때문에, 상호작용 처리부(122)가 인식된 객체 정보를 기반으로 실제공간에서의 사용자의 동작을 분석하여 증강 컨텐츠에 반영하는 상호작용이 가능하다. 실제공간 정보는 입력부(10)에서 획득한 깊이 맵과 이를 이용한 점 군(Point Cloud) 정보이며, 이를 간략화하여 동일한 공간 정보를 가지는 3차원 매쉬와 일치시켜 사용한다. 상호작용은 사전에 간략화된 형태로 등록된 3차원 매쉬를 이용하게 되고, 다양한 증강 컨텐츠 시나리오에 따라 다른 기하학적 처리 방식이 필요하다. 획득된 사용자들의 각 관절에 대한 위치와 각도를 기준으로 지향점을 구할 수 있으며, 간략화된 3차원 매쉬와 직선과의 충돌 처리를 통하여 사용자가 어느 위치의 가상객체와 상호작용을 하였는지 알 수 있다. 이렇게 실제 투영되는 공간과 동일한 가상의 매쉬들을 존재시키는 방식으로, 공간과 상호작용을 하는 증강 컨텐츠 시나리오의 구현이 가능하다. 이에 대한 예는 도 5에 도시된 바와 같다.
모든 상호작용은 객체가 투영되는 가상공간과 실제공간 사이의 상호 매핑 관계를 기반으로 수행되며, 3차원 모델 공간에서의 다양한 연산을 통해 상호작용을 수행한다. 변경된 증강 컨텐츠의 내용에 따라 실제와 동일한 가상의 매쉬들을 존재시키는 방식으로 공간과 상호작용을 하는 증강 컨텐츠 시나리오의 구현이 가능하다. 또한, 공간 내에 실물 객체를 추가하고 인식시켜 증강 컨텐츠에 활용이 가능하기 때문에, 순서대로 실제 주사위나 윷을 던져 가상의 게임판에 입력으로 넣는다든지, 구조물을 세워 원격지의 상대 공격을 막거나 구조물을 변경하여 환경을 변경하는 등과 같이 다양한 상호작용 증강 컨텐츠를 창조하는 것이 가능하다.
특히, 사용자의 신체에 프로젝션하는 경우, 실시간으로 사용자의 관절 정보를 획득하는 것보다, 입력부(10)를 통해 사전에 획득한 사용자 신체정보, 예를 들어 관절의 길이 등을 이용하여 사전에 간략화된 형태로 공간에 렌더링하면 보다 정확성을 향상시킬 수 있다.
컨텐츠 공유 처리부(124)는 네트워크를 통하여 원격에 존재하는 다른 사용자들과 체험을 공유할 수 있도록 지원한다. 실제공간 내에 존재하는 정보인 사용자 정보와 실제객체의 위치/종류, 증강 컨텐츠 내에 존재하는 가상 정보인 가상객체 정보, 증강 컨텐츠 진행을 위한 동기화 정보 등을 네트워크를 통하여 공유한다. 증강 컨텐츠가 진행되는 간략화된 3차원 배경 모델을 기준으로 원격지 간의 가상공간 좌표계를 연계하여 가상의 증강 컨텐츠 공간을 확장할 수 있도록 한다. 이렇게 공유되고 확장된 가상공간들은 디스플레이상에 마치 유리를 통하여 원격에 존재하는 사용자들을 보는 것과 같이 증강 컨텐츠 배경에 원격지에서 획득된 정보를 오버레이하여 제시하여 공유가 가능하다.
컨텐츠 로직 처리부(126)는 상호작용 처리부(122)와 컨텐츠 공유 처리부(124)를 연계하여 증강 컨텐츠가 시나리오 로직에 따라 진행되도록 지원한다. 또한, 증강 컨텐츠를 가시화하는 프로젝션 가시화부(120)에 맞도록 3차원 장면을 생성하기 위한 랜더링 엔진에 증강 컨텐츠 가시화 데이터를 제공하며, 증강 컨텐츠의 지속적인 운용을 위한 관리를 수행한다. 증강 컨텐츠 가시화 데이터는 사전 제작된 모델 데이터를 이용하여 생성될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 프로젝션 기반 실감 체험 환경을 도시한 참조도이다.
도 3을 참조하면, 프로젝션 기반 실감 체험 환경은 다양한 형태로 구조가 변형될 수 있으나, 그 이해를 돕기 위해 도 3에 도시된 바와 같이 후방 벽면(300)과 테이블(310)이 결합한 형태의 체험 환경을 예시로 제공한다. 입력장치들은 체험 공간의 구조를 고려하여 사용자에 의한 음영이 적고 최대한 넓은 영역의 정보를 획득하고 표현할 수 있는 위치에 설치된다. 예를 들어, 도 3에 도시된 바와 같이 키넥트(320)가 상단에 위치하며, 이 경우 증강현실 제공장치는 상단에 위치하는 입력장치로부터 실제공간 정보와 사용자 정보를 획득한다. 프로젝터의 설치 예로는, 도 3에 도시된 바와 같이, 좌우에 각각 테이블 탑용 프로젝터(Table_top_L projector, Table_top_R projector)(330,360)가 설치되고, 좌우에 각각 배경용 프로젝터(BG_L projector, BG_R projector)(340,350)가 설치될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 사용자 신체에 대한 프로젝션 예를 도시한 참조도이다.
도 4를 참조하면, 사용자 신체에 프로젝션하는 경우, 실시간으로 사용자의 관절 정보를 획득하는 것이 아니라, 사전에 획득한 사용자 신체정보, 예를 들어 관절의 길이 등을 이용하여 간략화된 형태로 랜더링을 실시하면 보다 정확성을 향상시킬 수 있다.
도 5는 본 발명의 일 실시 예에 따른 사용자의 동작과 프로젝션된 가상객체와의 상호작용 예를 도시한 참조도이다.
도 5를 참조하면, 사용자의 동작 A는 팔 굽혔다가 펴서 전기광선을 쏘는 동작으로, 한 손이나 양 손으로 동시로 펴서 쏠 수 있으며 손은 교체 가능하다. 동작 A의 경우, 사전에 획득된 사용자 팔의 관절에 대한 위치와 각도 정보를 기준으로 직선을 구할 수 있고, 공간의 3차원 매쉬와 직선과의 충돌 처리를 통하여 사용자가 어느 위치의 가상객체와 상호작용하였는지 알 수 있다.
사용자의 동작 B는 한 손으로 테이블을 치거나, 양 손으로 테이블을 치는 동작이다. 사용 예로는, 양 손으로 동시에 내리칠 경우 강력한 전기장이 발생하도록 하여, 손 주위의 로봇 거위를 일괄 사냥할 수 있다. 동작 B의 경우, 사용자의 팔 관절의 속도를 검출하여 검출된 속도를 기준으로 사용자가 어떻게 가상객체와 상호작용하였는지 알 수 있다.
사용자의 동작 C는 반원 구 잡기 동작으로, 전기력을 충전하는 형식의 개념을 도입하여 테이블 상단의 원형구에 일정시간 터치 시 손목 위로 빛이 프로젝션된다. 동작 C의 경우, 테이블의 특정 위치에 사용자의 손이 올려져 있음을 검출하고 손의 깊이 값을 가지고 사용자가 어떻게 가상객체와 상호작용하였는지 알 수 있다.
전술한 바와 같이 다양한 형태로 프로젝션 되는 공간의 특정 부분을 대상으로 사용자가 터치하거나 치거나 두드리거나 만지는 등의 다양한 상호작용이 가능하다. 이 경우, 증강 컨텐츠가 실제공간과 가상공간에 연계되어 가시화됨에 따라 다양한 효과를 가지는 상호작용을 지원하는 시나리오가 가능하다.
도 6은 본 발명의 일 실시 예에 따른 프로젝션 기반 증강현실 제공방법을 도시한 흐름도이다.
도 6을 참조하면, 증강현실 제공장치는 실제공간 정보와 사용자 정보 및 객체 정보를 획득한다(600). 이어서, 실제공간 정보와 사용자 정보를 이용하여 실제객체를 인식하고 인식된 실제객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성한다(610). 이어서, 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화한다(620). 상호작용 처리 및 증강 컨텐츠 생성 단계(610) 및 프로젝션 가시화 단계(620)는 컨텐츠 시나리오(630)에 따라 이루어진다.
상호작용 처리 및 증강 컨텐츠 생성 단계(610)에서, 증강현실 제공장치는 깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식할 수 있다. 증강현실 제공장치는 학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색할 수 있다.
증강현실 제공장치는 실제공간과 가상공간 간의 매핑 파라미터를 검색해서 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 한다. 증강현실 제공장치는 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색한 객체 위치에 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현할 수 있다. 사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링할 수 있다.
나아가, 증강현실 제공장치는 원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 정보 획득 예를 도시한 참조도이다.
도 7을 참조하면, 별도의 입력장치를 구성하고, 사용자의 신체에 프로젝션을 실시할 때 신체에 꼭 맞게 정확하게 증강 콘텐트를 투사하도록 사용자 정보를 획득한다. 예를 들어, 센서를 통한 영상정보를 기반으로 사용자의 스켈레톤 정보와 사용자의 각 신체부위의 형태를 알 수 있는 신체정보를 획득한다. 사전에 사용자의 신체정보와 같은 사용자 정보를 획득하면 이를 증강 컨텐츠에서 이용할 수 있고, 사용자 정보를 저장하여 차후에 재사용도 가능하다.
도 8은 본 발명의 일 실시 예에 따른 프로젝터 반사경의 외관도이다.
도 8을 참조하면, 프로젝터 반사경은 프로젝터 전용 반사거울과 프로젝터를 거치할 수 있는 거치대를 포함한다. 프로젝터 반사경은 빔 프로젝터에서 나오는 빛을 반사거울을 통해 원하는 위치로 프로젝션할 수 있게 한다. 보다 넓은 투사영역을 확보하기 위해 거울 반사를 통하여 투사 거리를 증가시켜 투사면을 확대시키거나, 3D 프린터를 이용하여 투사면에 적합한 굴곡을 가진 반사면을 만들고 여기에 거울 반사 코팅을 실시하여 보다 적은 수의 프로젝터를 이용하여 보다 넓은 공간에 투사가 가능하도록 할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 증강현실 제공장치 2: 입력장치
3: 디스플레이 장치 10: 입력부
12: 프로세서 14: 메모리
16: 통신부 120: 프로젝션 가시화부
122: 상호작용 처리부 124: 컨텐츠 공유 처리부
126: 컨텐츠 로직 처리부

Claims (20)

  1. 실제공간 정보와 사용자 정보를 획득하는 입력부; 및
    획득된 실제공간 정보와 사용자 정보를 이용하여 실제환경을 인식하고 인식된 실제환경과 가상환경을 매핑하여 공간의 변화나 사용자의 움직임에 대응하여 변화하는 증강 컨텐츠를 생성하며 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로세서;
    를 포함하고,
    상기 입력부는
    사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하며, 증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하고 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 것을 특징으로 하는 증강현실 제공장치.
  2. 제 1 항에 있어서,
    상기 입력부는 사용자의 스켈레톤 정보와 각 신체부위의 신체정보를 포함한 사용자 정보를 사전에 획득하고,
    상기 프로세서는 사용자의 신체에 증강 컨텐츠를 프로젝션할 때 사용자의 신체와 일치되게 투사되도록 사용자 정보를 이용하는 것을 특징으로 하는 증강현실 제공장치.
  3. 삭제
  4. 제 1 항에 있어서, 상기 프로세서는
    실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 상호작용 처리부; 및
    상기 상호작용 처리부를 통해 생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 프로젝션 가시화부;
    를 포함하는 것을 특징으로 하는 증강현실 제공장치.
  5. 제 4 항에 있어서, 상기 상호작용 처리부는
    깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식하는 것을 특징으로 하는 증강현실 제공장치.
  6. 제 4 항에 있어서, 상기 상호작용 처리부는
    학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색하는 것을 특징으로 하는 증강현실 제공장치.
  7. 제 4 항에 있어서, 상기 프로젝션 가시화부는
    실제공간과 가상공간 간의 매핑 파라미터를 구하고 매핑 파라미터를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 하는 것을 특징으로 하는 증강현실 제공장치.
  8. 제 4 항에 있어서, 상기 프로젝션 가시화부는
    상기 입력부를 통해 사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 상기 입력부를 통해 획득된 데이터를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현하는 것을 특징으로 하는 증강현실 제공장치.
  9. 제 4 항에 있어서, 상기 프로젝션 가시화부는
    사용자의 신체에 프로젝션하는 경우, 상기 입력부를 통해 사전에 획득한 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링하는 것을 특징으로 하는 증강현실 제공장치.
  10. 제 4 항에 있어서, 상기 프로젝션 가시화부는
    다수의 프로젝터가 중첩되는 영역에 대한 처리를 위해, 영상에 대한 에지 블랜딩 및 마스킹을 수행하는 것을 특징으로 하는 증강현실 제공장치.
  11. 제 4 항에 있어서, 상기 프로세서는
    원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 컨텐츠 공유 처리부;
    를 더 포함하는 것을 특징으로 하는 증강현실 제공장치.
  12. 제 4 항에 있어서, 상기 프로세서는
    증강 컨텐츠가 시나리오 로직에 따라 진행되도록 지원하고, 상기 프로젝션 가시화부에 증강 컨텐츠 가시화 데이터를 제공하는 컨텐츠 로직 처리부;
    를 더 포함하는 것을 특징으로 하는 증강현실 제공장치.
  13. 증강현실 제공장치를 이용한 증강현실 제공방법에 있어서,
    실제공간 정보와 사용자 정보를 획득하는 단계;
    획득된 실제공간 정보와 사용자 정보를 이용하여 객체를 인식하고 인식된 객체로부터 사용자의 동작을 포함한 실제환경을 인식하며, 인식된 실제환경과 가상환경 간의 상호작용을 계산하여 실제환경에 가상환경을 결합함에 따라 증강 컨텐츠를 생성하는 단계; 및
    생성된 증강 컨텐츠를 프로젝터를 통해 프로젝션하여 가시화하는 단계;
    를 포함하고,
    상기 실제공간 정보와 사용자 정보를 획득하는 단계는,
    사용자 및 3차원 아이템 모델이 모두 제거된 실제공간에 대하여 3차원 공간에 대한 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계; 및
    증강 컨텐츠에 활용되는 각 3차원 아이템 모델에 대한 영상 및 깊이 정보 맵과 이를 이용하여 만든 점 군 정보를 획득하여 이를 사전 제작을 통해 간략화된 3차원 배경 모델과 일치시켜 일치시킨 정보를 등록하는 단계;
    를 포함하는 것을 특징으로 하는 증강현실 제공방법.
  14. 삭제
  15. 제 13 항에 있어서, 상기 증강 컨텐츠를 생성하는 단계는
    깊이 정보와 점 군 정보를 포함한 실제공간 정보를 기반으로 한 영상 처리와 기계 학습을 통해 실제공간을 분석하여 객체를 인식하는 것을 특징으로 하는 증강현실 제공방법.
  16. 제 13 항에 있어서, 상기 증강 컨텐츠를 생성하는 단계는
    학습 데이터를 통해 실제공간과 가상공간 간의 상호작용을 계산하며, 반응 속도를 향상시키기 위해 사전에 제작된 간략화된 3차원 배경 모델을 이용하여 공간을 분할하고, 부분별로 사전 매칭을 실시하여 증강 컨텐츠를 표현할 공간에 객체가 추가될만한 영역을 검색하는 것을 특징으로 하는 증강현실 제공방법.
  17. 제 13 항에 있어서, 상기 증강 컨텐츠를 생성하는 단계는
    실제공간과 가상공간 간의 매핑 파라미터를 구하고 이를 조합하여 실제공간과 가상공간이 동일하게 매핑될 수 있도록 하는 것을 특징으로 하는 증강현실 제공방법.
  18. 제 13 항에 있어서, 상기 증강 컨텐츠를 생성하는 단계는
    사전에 제작한 간략화된 3차원 배경 모델을 학습시켜 등록한 후에, 실제공간 정보와 사용자 정보를 이용하여 증강 컨텐츠를 표현할 공간상의 객체 위치를 검색하고, 검색된 객체 위치에, 사전에 제작하여 간략화된 가상의 객체 매쉬로 대체하여 증강 컨텐츠를 표현하는 것을 특징으로 하는 증강현실 제공방법.
  19. 제 13 항에 있어서, 상기 증강 컨텐츠를 생성하는 단계는
    사용자의 신체에 프로젝션하는 경우, 사용자 신체정보를 이용해서 사전에 제작하여 간략화된 가상의 객체 매쉬를 3차원 공간에 그대로 렌더링하는 것을 특징으로 하는 증강현실 제공방법.
  20. 제 13 항에 있어서, 상기 증강현실 제공방법은
    원격지에 존재하는 다른 사용자와 증강 컨텐츠를 공유하고 동기화하여 함께 체험할 수 있도록 하는 단계;
    를 더 포함하는 것을 특징으로 하는 증강현실 제공방법.
KR1020160002214A 2016-01-07 2016-01-07 프로젝션 기반 증강현실 제공장치 및 그 방법 KR101876419B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160002214A KR101876419B1 (ko) 2016-01-07 2016-01-07 프로젝션 기반 증강현실 제공장치 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160002214A KR101876419B1 (ko) 2016-01-07 2016-01-07 프로젝션 기반 증강현실 제공장치 및 그 방법
US15/241,543 US20170200313A1 (en) 2016-01-07 2016-08-19 Apparatus and method for providing projection mapping-based augmented reality

Publications (2)

Publication Number Publication Date
KR20170082907A KR20170082907A (ko) 2017-07-17
KR101876419B1 true KR101876419B1 (ko) 2018-07-10

Family

ID=59274995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160002214A KR101876419B1 (ko) 2016-01-07 2016-01-07 프로젝션 기반 증강현실 제공장치 및 그 방법

Country Status (2)

Country Link
US (1) US20170200313A1 (ko)
KR (1) KR101876419B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975150B1 (ko) * 2018-10-12 2019-05-03 (주)셀빅 디지털 콘텐츠 테마파크 운용 시스템

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101808840B1 (ko) * 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
KR20180134522A (ko) * 2017-06-09 2018-12-19 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
KR102082290B1 (ko) * 2017-12-06 2020-02-27 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
KR101989447B1 (ko) * 2017-12-12 2019-06-14 주식회사 큐랩 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US10750810B2 (en) 2017-12-24 2020-08-25 Jo-Ann Stores, Llc Method of projecting sewing pattern pieces onto fabric
KR20190110227A (ko) 2018-03-20 2019-09-30 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
EP3718087A4 (en) * 2018-05-23 2021-01-06 Samsung Electronics Co., Ltd. CONTENT MANAGEMENT METHOD AND APPARATUS IN AN AUGMENTED REALITY SYSTEM
KR102117007B1 (ko) * 2018-06-29 2020-06-09 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
US10699488B1 (en) * 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
KR101949103B1 (ko) * 2018-10-10 2019-05-21 (주)셀빅 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템
KR102091217B1 (ko) * 2018-12-12 2020-03-19 주식회사 하이쓰리디 모바일 증강현실 영상 편집 시스템
KR200489627Y1 (ko) * 2019-06-11 2019-07-12 황영진 증강현실을 이용한 멀티플레이 교육 시스템
WO2021002687A1 (ko) * 2019-07-04 2021-01-07 (주) 애니펜 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR101036429B1 (ko) * 2010-08-24 2011-05-23 윤상범 가상현실 무도 수련장치 및 방법, 그 기록 매체
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20150085255A (ko) * 2014-01-15 2015-07-23 (주)디스트릭트홀딩스 증강현실 스테이지, 라이브 댄스 스테이지 및 라이브 오디션을 위한 서비스 시스템 및 서비스 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
KR20130053466A (ko) * 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
US20140247263A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
WO2015039239A1 (en) * 2013-09-17 2015-03-26 Société Des Arts Technologiques Method, system and apparatus for capture-based immersive telepresence in virtual environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
KR101036429B1 (ko) * 2010-08-24 2011-05-23 윤상범 가상현실 무도 수련장치 및 방법, 그 기록 매체
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
KR20150085255A (ko) * 2014-01-15 2015-07-23 (주)디스트릭트홀딩스 증강현실 스테이지, 라이브 댄스 스테이지 및 라이브 오디션을 위한 서비스 시스템 및 서비스 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975150B1 (ko) * 2018-10-12 2019-05-03 (주)셀빅 디지털 콘텐츠 테마파크 운용 시스템

Also Published As

Publication number Publication date
KR20170082907A (ko) 2017-07-17
US20170200313A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
KR101876419B1 (ko) 프로젝션 기반 증강현실 제공장치 및 그 방법
US10564731B2 (en) Processing of gesture-based user interactions using volumetric zones
EP2670496B1 (en) Using a three-dimensional environment model in gameplay
CN103793060B (zh) 一种用户交互系统和方法
CN107004279B (zh) 自然用户界面相机校准
US20150245010A1 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
CN105981076B (zh) 合成增强现实环境的构造
CN105190703A (zh) 使用光度立体来进行3d环境建模
WO2016130860A2 (en) Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20110292036A1 (en) Depth sensor with application interface
WO2017020766A1 (zh) 场景提取方法、物体定位方法及其系统
JP6171079B1 (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
KR20110025216A (ko) 가상 오브젝트들 상에 효과를 발생시키는 방법
CN110738737A (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
US20110149042A1 (en) Method and apparatus for generating a stereoscopic image
US20200320793A1 (en) Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
KR20210042476A (ko) 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
Abramova et al. Real-time motion tracking for dance visualization using Kalman filters
CN111510701A (zh) 虚拟内容的显示方法、装置、电子设备及计算机可读介质
Herbig DEPlaTa-A Digitally Enhanced Planning Table for Rough Factory Layouts
KR20100022263A (ko) 결합된 캐드 모델을 이용한 복수 객체 동시 추적 장치 및 방법
CN110349259A (zh) 室内空间的三维地图生成方法及装置
Rhee et al. Combining pointing gestures with video avatars for remote collaboration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant