KR20130053466A - 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법 - Google Patents

인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법 Download PDF

Info

Publication number
KR20130053466A
KR20130053466A KR1020110117987A KR20110117987A KR20130053466A KR 20130053466 A KR20130053466 A KR 20130053466A KR 1020110117987 A KR1020110117987 A KR 1020110117987A KR 20110117987 A KR20110117987 A KR 20110117987A KR 20130053466 A KR20130053466 A KR 20130053466A
Authority
KR
South Korea
Prior art keywords
space
virtual
augmented
content
interaction
Prior art date
Application number
KR1020110117987A
Other languages
English (en)
Inventor
이준섭
유재상
지형근
강석빈
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110117987A priority Critical patent/KR20130053466A/ko
Priority to US13/612,711 priority patent/US20130120365A1/en
Publication of KR20130053466A publication Critical patent/KR20130053466A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

사용자의 실제공간에 배치된 동적인 다수의 물체에 직접 정합된 콘텐츠를 투영하여 맵핑하고, 사용자의 인터렉션에 따라 해당 콘텐츠가 변형 및 반응하도록 한 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법이 제시된다. 제시된 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치는 실제공간에서 추출된 깊이 영상을 근거로 실제공간을 가상공간으로 재구성하여 프리미티브 오브젝트를 매칭하고, 프리미티브 오브젝트에 맵핑되어 재구성된 가상공간에 합성된 가상 3D 오브젝트를 실제공간에 투영하는 증강공간 인식부; 및 실제공간에 투영된 가상 3D 오브젝트에 대한 사용자의 제스처 인터렉션을 인식하고, 인식한 제스처 인터렉션에 대응되는 가상 3D 오브젝트의 변형을 반영하여 실제공간에 투영하는 인터렉션 처리부를 포함한다.

Description

인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법{APPARATUS AND METHOD FOR PLAYING CONTENTS TO PROVIDE AN INTERACTIVE AUGMENTED SPACE}
본 발명은 사용자 공간을 디스플레이화하고 사용자와의 직접적인 3D 터치 인터렉션을 지원하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법에 관한 것으로, 더욱 상세하게는 일반 사용자 공간같이 비 정규화된 환경에 바로 투영되는 3D 콘텐츠, 오디오, 비디오, 이미지 등의 증간 공간 콘텐츠를 제공하여 사용자와의 직접적인 인터렉션을 제공하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법에 대한 것이다.
증강현실(Augmented Reality) 및 증강가상(Augmented Virtuality)은 혼합현실(Mixed Reality)의 두 분류로, 현실 공간과 가상공간을 합성하는 기술이다. 증강현실 및 증강가상은 현실 이미지에 가상 오브젝트를 자연스럽게 합성하거나, 가상공간에 현실의 이미지를 합성하고, 상호 간의 인터렉션을 제공할 수 있도록 하는 기술이다.
종래의 증강현실 및 증강가상 등의 혼합현실 기술은 모두 단일 영상과 3D 오브젝트간의 정합을 다루고 있다. 증강현실은 단일 입력 영상에서 광학 마커 등의 특별 영상 식별자를 이용하여 3D 기하 좌표를 인식하고, 인식된 3D 기하 좌표에 3D 오브젝트를 합성한다. 반대로, 증강가상의 경우 단일 영상으로부터 획득하거나 미리 정의된 3D 기하 정보에 기반하여 3D 가상공간을 생성하고, 입력된 실제 화상으로부터 사용자를 추출하여 기생성된 가상공간에 정합하여 합성한다.
종래의 증강현실 제공 시스템은 주로 웹 카메라 또는 캠코더를 통해 촬영된 영상에서 마커(marker) 정보를 포함하는 영상정보를 추출하여 해당 물체의 자세 정보를 추정한다. 종래의 증강현실 제공 시스템은 추정된 자세 정보를 이용하여 소리, 2D/3D 가상 객체, 동영상 등의 멀티미디어 콘텐츠를 입력 실사 영상과 정합하여 보여줌으로써 학습자에게 혼합현실 체험을 제공한다. 그에 따라, 종래의 증강현실 제공 시스템은 사용자에게 몰입감과 실제감을 더하여 체험효과 향상에 도움을 줄 수 있다.
종래의 증강현실 제공 시스템은 마커 기반 증강 현실 시스템, 또는 마커리스(marker-less) 기반 증강 현실 시스템과 같은 비전 기반의 증강현실 제공 시스템으로 구성된다. 즉, 종래의 증강현실 제공 시스템은 현실 공간과 가상공간의 정합을 위해서 마커를 이용한 마커 기반 증강 현실 시스템, 또는 입력 영상에 인위적인 마커가 포함되어 있지 않은 자연 영상을 이용한 마커리스 기반 증강 현실 시스템이 선택적으로 적용된다.
다른 형태의 증강현실 제공 시스템으로는 사용자 모바일 단말에서 GPS 등의 위치 정보를 활용한 위치 기반 증강현실 제공 시스템과, 사용자 단말의 자이로 센서, 가속도 센서, 나침반 센서 등을 활용한 센서 기반의 증강현실 제공 시스템이 있다.
이러한, 비전 기반 증강현실 제공 시스템과 위치 기반 증강현실 제공 시스템 및 센서 기반 증강현실 제공 시스템은 사용자 화면(디스플레이), 모니터, 스크린 등과 같이 별도의 표시장치에서 가상 콘텐츠와 실제공간이 정합된다. 즉, 종래의 증강현실 제공 시스템은 증강현실을 하나의 창 형태로 제공하여 사용자의 현실 공간과 증강 현실이 재현되는 공간이 다르기 때문에, 사용자 공간에 가상 콘텐츠가 정합되어 바로 인터렉션할 수 없는 문제점이 있다.
다른 형태의 증강현실 제공 기술로는 미디어 파사트 방법 또는 프로젝션 매핑 방법 등이 있다. 미디어 파사트 방법 및 프로젝션 매핑 방법은 콘텐츠를 프로젝트로 투영하여 사용자의 실제공간에 반영하지만, 제한적인 사용자의 실제공간 또는 단순 대형 스크린에 투영하는 형태로 구현되기 때문에, 사용자의 인터렉션이 제한되어 있고, 동적인 공간에 투영이 불가한 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사용자의 실제공간에 배치된 동적인 다수의 물체에 직접 정합된 콘텐츠를 투영하여 맵핑하고, 사용자의 인터렉션에 따라 해당 콘텐츠가 변형 및 반응하도록 한 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치는, 실제공간에서 추출된 깊이 영상을 근거로 실제공간을 가상공간으로 재구성하여 프리미티브 오브젝트를 매칭하고, 프리미티브 오브젝트에 맵핑되어 재구성된 가상공간에 합성된 가상 3D 오브젝트를 실제공간에 투영하는 증강공간 인식부; 및 실제공간에 투영된 가상 3D 오브젝트에 대한 사용자의 제스처 인터렉션을 인식하고, 인식한 제스처 인터렉션에 대응되는 가상 3D 오브젝트의 변형을 반영하여 실제공간에 투영하는 인터렉션 처리부를 포함한다.
증강공간 인식부는, 실제공간에 설치된 복수의 카메라에서 추출된 복수의 깊이 영상을 하나의 깊이 영상으로 병합하는 증강공간 디스플레이 멀티 연동 모듈을 포함한다.
증강공간 인식부는, 실제공간의 깊이 영상을 3D 폴리곤 또는 포인트 클라우드 형태의 가상공간으로 재구성하는 실제공간 3D 인식 모듈을 포함한다.
증강공간 인식부는, 콘텐츠에 포함된 하나 이상의 프리미티브 오브젝트를 재구성된 가상공간에 매칭하는 가상공간 매칭 모듈을 포함한다.
증강공간 인식부는, 렌더링된 가상 3D 오브젝트를 실제공간에 투영하는 증강공간 콘텐츠 투영 모듈을 포함한다.
인터렉션 처리부는, 실제공간의 깊이 영상에서 식별된 다중 사용자 정보를 이용하여 실제공간에 위치한 사용자의 인터렉션 포인트 및 제스처를 인식하여 인터렉션 포인트 정보 및 제스처 정보를 생성하는 제스처 인터렉션 인식 모듈을 포함한다.
인터렉션 처리부는, 실제공간에 위치한 사용자 인식을 통해 생성되는 인터렉션 포인트 정보 및 제스처 정보를 근거로 사용자 인터렉션을 반영하여 실제공간에 투영된 가상 3D 오브젝트를 재구성하는 인터랙티브 증강 스테이지 구성 모듈을 포함한다.
인터렉션 처리부는, 실제공간의 깊이 영상에서 사용자를 식별하여 다중 사용자 정보를 생성하는 사용자 인식/추적 모듈; 및 사용자의 제스처 정보 및 인터렉션 포인트 정보를 근거로 인터렉션 포인트의 실제공간 좌표 정보와 제스처 이벤트를 생성하는 인터랙티브 증강 스테이지 구성 모듈을 포함한다.
재구성된 가상공간에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 합성하고, 재구성된 가상공간에 합성된 결과물 중에서 재구성된 가상공간에 맵핑된 가상 3D 콘텐츠들을 렌더링하는 증강공간 재현부를 더 포함한다.
증강공간 재현부는, 복수의 프리미티브 오브젝트와 복수의 가상 3D 오브젝트가 상호 페어링되어 구성되는 콘텐츠를 로드하고, 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 로드한 콘텐츠에 포함된 가상 3D 오브젝트를 할당하는 콘텐츠 처리 모듈을 포함한다.
증강공간 재현부는, 콘텐츠에 포함된 가상 3D 오브젝트를 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 맵핑하는 3D 신 구성 재현 모듈을 포함한다.
증강공간 재현부는, 가상 3D 오브젝트가 맵핑된 재구성된 가상공간을 실제공간에 정합하여 합성하는 증강 콘텐츠 재생 모듈; 및 증강 콘텐츠 재생모듈에서 실제공간에 합성된 결과를 중에서 재구성된 가상공간을 제외한 가상 3D 콘텐츠를 렌더링하는 3D 렌더링 모듈을 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법은, 증강공간 재현부에 의해, 프리미티브 오브젝트 및 가상 3D 오브젝트를 포함하는 콘텐츠를 로드하는 단계; 증강공간 인식부에 의해, 실제공간의 깊이 영상을 이용하여 재구성된 가상공간에 콘텐츠에 포함된 프리미티브 오브젝트를 매칭하는 단계; 증강공간 인식부에 의해, 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 콘텐츠에 포함된 가상 3D 오브젝트를 맵핑하는 단계; 및 증강공간 인식부에 의해, 맵핑된 가상 3D 오브젝트를 실제공간에 투영하는 단계를 포함한다.
프리미티브 오브젝트를 매칭하는 단계는, 실제공간에서 추출한 복수의 깊이 영상을 병합하는 단계; 병합된 깊이 영상을 이용하여 실제공간을 가상공간으로 재구성하는 단계; 재구성된 가상공간에서 콘텐츠에 포함된 프리미티브 오브젝트가 배치될 영역을 검출하는 단계; 검출하는 단계에서 검출한 영역에 프리미티브 오브젝트를 매칭하는 단계를 포함한다.
가상공간으로 재구성하는 단계에서는, 실제공간을 3D 폴리곤 또는 포인트 클라이드 형태의 가상공간으로 재구성한다.
가상 3D 오브젝트를 맵핑하는 단계는, 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 콘텐츠에 포함된 가상 3D 오브젝트를 할당하는 단계; 및 할당된 가상 3D 오브젝트를 재구성된 가상공간에 맵핑하는 단계를 포함한다.
실제공간에 투영하는 단계는, 재구성된 가상공간에 가상 3D 오브젝트를 합성하는 단계; 합성된 가상 3D 오브젝트를 렌더링하는 단계; 및 렌더링된 가상 3D 오브젝트를 실제공간에 투영하는 단계를 포함한다.
렌더링하는 단계에서는, 재구성된 가상공간에 합성된 프리미티브 오브젝트 및 가상 3D 콘텐츠 중에서 가상 3D 콘텐츠만을 렌더링한다.
인터렉션 처리부에 의해, 실제공간에서의 사용자 인터렉션을 투영된 가상 3D 오브젝트에 반영하는 단계를 더 포함한다.
사용자 인터렉션을 투영된 가상 3D 오브젝트에 반영하는 단계는, 실제공간에서의 다중 사용자 정보를 식별하는 단계; 식별한 다중 사용자 정보를 근거로 사용자 제스처 및 인터렉션 포인트를 인식하는 단계; 인식한 사용자 제스처 및 인터렉션 포인트를 재구성된 가상공간에 위상 공간 정합하여 제스처 이벤트를 발생하는 단계; 및 발생한 제스처 이벤트에 따른 가상 3D 오브젝트의 변형을 반영하여 실제공간에 투영하는 단계를 포함한다.
본 발명에 의하면, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법은 실제공간을 디스플레이화하고 사용자와의 직접적인 3D 터치 인터렉션을 지원하는 공간 인터렉션 중심의 콘텐츠 서비스 제공함으로써, 사용자의 공간에 직접 콘텐츠를 표시하고 인터렉션을 지원하도록 하는 공간 인터랙티브 콘텐츠가 가능한 효과가 있다.
또한, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법은 인터랙티브 공간 디스플레이 콘텐츠를 통해 기존 공간에 인터렉션 가능한 3D 콘텐츠를 투영하여 다양한 응용서비스, 교육, 에듀테인먼트, 공연 등에서 몰입감 및 체험감을 높일 수 있다.
또한, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법은 인터랙티브 공간 역할극 학습 콘텐츠, 3D 공간 멀티방 콘텐츠, 인터랙티브 3D 가상 스테이지 공연 콘텐츠 등 다양한 형태로 제공할 수 있다.
도 1 및 도 2는 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치를 설명하기 위한 도면.
도 3은 도 1의 증강공간 재현부를 설명하기 위한 도면.
도 4는 도 1의 증강공간 인식부를 설명하기 위한 도면.
도 5는 도 1의 인터렉션 처리부를 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법을 설명하기 위한 흐름도.
도 7 내지 도 9는 도 6의 프리미티브 오브젝트를 매칭하는 단계를 설명하기 위한 도면.
도 10 및 도 11은 도 6의 가상 3D 오브젝트를 맵핑하는 단계를 설명하기 위한 도면.
도 12 및 도 13은 도 6의 실제공간에 투영하는 단계를 설명하기 위한 도면.
도 14 내지 도 16은 도 6의 사용자 인터렉션을 반영하는 단계를 설명하기 위한 도면.
도 17 내지 도 19는 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법의 적용 예를 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1 및 도 2는 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치를 설명하기 위한 도면이다. 도 3은 도 1의 증강공간 재현부를 설명하기 위한 도면이고, 도 4는 도 1의 증강공간 인식부를 설명하기 위한 도면이고, 도 5는 도 1의 인터렉션 처리부를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100)는 저작도구(200)에서 생성되는 3D 콘텐츠를 사용자의 실제공간에 투영하는 방식으로 재생하여 사용자에게 인터랙티브 증강공간을 제공한다. 이를 위해, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100)는 증강공간 재현부(120), 증강공간 인식부(140), 인터렉션 처리부(160)를 포함하여 구성된다. 이때, 도 2에 도시된 바와 같이, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100)는 3D 콘텐츠를 원격에서 제어 및 동기화하기 위한 증강공간 디스플레이 관리부(180)를 더 포함할 수도 있다.
증강공간 재현부(120)는 실제공간에서의 가상 오브젝트 투영 위치를 검출하는데 근거가 되는 콘텐츠를 저작도구(200)로부터 로드한다. 이때, 증강공간 재현부(120)는 복수의 프리미티브 오브젝트와 복수의 가상 3D 오브젝트가 상호 페어링되어 구성되는 콘텐츠를 로드한다. 증강공간 재현부(120)는 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 할당한다. 증강공간 재현부(120)는 할당한 가상 3D 오브젝트를 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 맵핑한다. 증강공간 재현부(120)는 가상 3D 오브젝트가 맵핑된 실제공간의 3D 폴리곤(또는 포인트 클라이드)을 실제공간에 정합하여 합성한다. 증강공간 재현부(120)는 실제공간에 합성된 가상 3D 오브젝트를 렌더링한다. 이를 위해, 도 3에 도시된 바와 같이, 증강공간 재현부(120)는 콘텐츠 처리 모듈(122), 3D 신 구성 재현 모듈(124), 증강 콘텐츠 재생 모듈(126), 3D 렌더링 모듈(128)을 포함하여 구성된다.
콘텐츠 처리 모듈(122)은 저작도구(200; 예를 들면, 증강공간 디스플레이 저작도구, 기타 3D 저작도구)에서 생성된 콘텐츠를 로드한다. 이때, 저작도구(200)에서 생성된 콘텐츠는 가상 3D 오브젝트 및 해당 가상 3D 오브젝트가 투영될 수 있는 프리미티브 오브젝트(예를 들면, 정육면체, 원뿔, 원기둥, 정사면체, 스피어, 바닥, 벽)가 상호 페어링되어 구성된다. 콘텐츠는 증강공간에 투영되는 가상 3D 오브젝트에 대한 정보와, 사용자 인터렉션 후에 반응을 정의한 스크립트, 및 기타 이벤트 효과를 위한 사운드, 동영상을 포함한 멀티 미디어 콘텐츠를 포함한다.
콘텐츠 처리 모듈(122)은 증강공간 인식부(140; 즉, 후술할 가상공간 매칭 모듈(146))에서 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 할당한다. 이때, 콘텐츠 처리 모듈(122)은 기로드된 콘텐츠에 포함된 복수의 프리미티브 오브젝트와 가상 3D 오브젝트 페어링을 근거로 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 할당한다. 콘텐츠 처리 모듈(122)은 프리미티브 오브젝트에 할당된 가상 3D 오브젝트를 3D 신 구성 재현 모듈(124)에게로 전송한다.
3D 신 구성 재현 모듈(124)은 콘텐츠 처리 모듈(122)로부터 수신한 가상 3D 오브젝트를 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 맵핑한다. 즉, 3D 신 구성 재현 모듈(124)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 복수의 프리미티브 오브젝트에 각각에 할당된 가상 3D 오브젝트를 맵핑한다. 이를 통해, 사용자 실제공간에서 바닥, 벽, 기둥, 테이블 등에 정합된 프리미티브 오브젝트 위에 가상 3D 오브젝트(예를 들면, 물병, 통닭, 빵, 와인잔, 사과 등)이 정합되어 맵핑된다.
증강 콘텐츠 재생 모듈(126)은 가상 3D 오브젝트가 맵핑된 실제공간의 3D 폴리곤(또는 포인트 클라이드)을 실제공간에 정합하여 합성한다. 이때, 증강 콘텐츠 재생 모듈(126)은 실제공간에 가상 3D 오브젝트를 정확하게 정합하기 위해서 투영하는 프로젝터와 실제공간을 인식했던 Depth Cam 또는 스테레오 캠의 화각 등의 정보를 포함하는 인트린짓 파라미터와, 프로젝터와 카메라의 공간상 위치 정보를 포함하는 익스트린짓 파라미터를 이용한다.
3D 렌더링 모듈(128)은 증강 콘텐츠 재생모듈에서 실제공간에 합성된 결과를 렌더링한다. 즉, 3D 렌더링 모듈(128)은 재구성된 실제공간의 3D 폴리곤(또는 포인트 클라이드)을 제외하고, 실제공간에 맵핑된 가상 3D 오브젝트(예를 들면, 물병, 통닭, 빵, 와인 잔, 사과 등)들을 렌더링한다.
증강공간 인식부(140)는 테이블, 벽, 바닥, 기둥 등이 배치된 실제공간을 3D로 인식하고 트랙킹을 수행한다. 증강공간 인식부(140)는 콘텐츠 저작에 사용한 가상공간 및 가상 3D 오브젝트와 실제공간 및 실제 오브젝트를 매칭하여, 다양한 동적 환경에 대응한다. 실제공간에 정합된 3D 영상을 증강하여, 출연자 공간 자체를 Tangible Display로 활용한다. 증강공간 인식부(140)는 설치 공간 크기에 따라 복수의 공간 디스플레이를 지원하여, 하나의 증간 3D 공간을 공유한다. 이를 위해서, 증강공간 인식부(140)는 사용자의 실제공간에 대한 복수의 깊이 영상을 이용하여 가상공간 안에 실제공간을 재구성한다. 이때, 증강공간 인식부(140)는 실제환경을 3D 폴리곤 또는 포인트 클라우드 형태로 재구성한다. 증강공간 인식부(140)는 콘텐츠에 포함된 프리미티브 오브젝트를 실제공간의 3D 폴리곤(또는, 포인트 클라우드)에 매칭한다. 증강공간 인식부(140)는 실제공간의 3D 폴리곤(또는, 포인트 클라우드)에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 매칭한다. 이를 위해, 도 4에 도시된 바와 같이, 증강공간 인식부(140)는 증강공간 디스플레이 멀티 연동 모듈(142), 실제공간 3D 인식 모듈(144), 가상공간 매칭 모듈(146), 증강공간 콘텐츠 투영 모듈(148)을 포함하여 구성된다.
증강공간 디스플레이 멀티 연동 모듈(142)은 사용자의 실제공간에 대한 복수의 깊이 영상을 하나의 깊이 영상으로 병합한다. 증강공간 디스플레이 멀티 연동 모듈(142)은 병합한 깊이 영상을 실제공간 3D 인식 모듈(144)에게로 전송한다. 이때, 증강공간 디스플레이 멀티 연동 모듈(142)은 사용자의 실제공간에 설치된 복수의 카메라에서 추출된 복수의 깊이 영상을 수신한다. 여기서, 사용자의 실제공간에 설치되는 복수의 카메라는 Depth Cam, 스테레오 카메라 등으로 구성된다.
실제공간 3D 인식 모듈(144)은 증강공간 디스플레이 멀티 연동 모듈(142)로부터 수신한 깊이 영상을 이용하여 사용자의 실제환경을 가상공간 안에 재구성한다. 이때, 실제공간 3D 인식 모듈(144)은 사용자의 실제환경을 3D 폴리곤 또는 포인트 클라우드 형태로 가상공간 안에 재구성한다. 실제공간 3D 인식 모듈(144)은 재구성된 3D 폴리곤 또는 포인트 클라우드를 가상공간 매칭 모듈(146)에게로 전송한다.
가상공간 매칭 모듈(146)은 로드된 콘텐츠에 정의되어 있는 프리미티브 오브젝트가 배치될 영역을 재구성된 실제공간 3D 폴리곤으로부터 검출한다. 즉, 가상공간 매칭 모듈(146)은 지오메트릭 매칭 기법을 이용하여 실제공간의 3D 폴리곤(또는 포인트 클라이드)으로부터 기로드된 콘텐츠에 포함된 복수의 프리미티브 오브젝트에 대응되는 영역을 분리 및 식별한다.
가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 복수의 프리미티브 오브젝트를 매칭한다. 즉, 가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에서 기검출한 영역에 콘텐츠에 포함된 프리미티브 오브젝트를 매칭한다. 이는, 가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에서 복수의 프리미티브 오브젝트에 대응하여 분리 및 식별한 영역에 해당 프리미티브 오브젝트를 매칭하는 것으로, 사용자의 실제공간에서 존재하는 바닥, 벽, 기둥, 테이블 등의 구성물에 콘텐츠에 포함된 프리미티브 오브젝트를 매칭하는 것이다.
증강공간 콘텐츠 투영 모듈(148)은 증강공간 재현부(120; 즉, 3D 렌더링 모듈(128))에서 렌더링된 가상 3D 오브젝트를 실제공간에 투영한다. 이를 위해, 증강공간 콘텐츠 투영 모듈(148)은 Depth Cam 또는 스테레오 캠과 함께 설치되어 있는 복수의 프로젝터에 렌더링된 가상 3D 오브젝트를 전달한다. 복수의 프로젝터는 렌더링된 가상 3D 오브젝트를 실제공간에 투영한다. 이를 통해, 실제공간의 바닥, 벽, 기둥, 테이블 등에 가상 3D 오브젝트(예를 들면, 물병, 통닭, 빵, 와인잔, 사과 등)가 투영된다.
인터렉션 처리부(160)는 실제공간에 투영된 가상 3D 오브젝트에 대한 사용자의 제스처 인터렉션을 반영한다. 즉, 인터렉션 처리부(160)는 실제공간에서 감지한 제스처 인터렉션에 대응되는 스크립트에 따라 가상 3D 오브젝트의 변형을 반영하여 실제공간에 투영한다. 이를 위해, 도 5에 도시된 바와 같이, 인터렉션 처리부(160)는 사용자 인식/추적 모듈, 제스처 인터렉션 인식 모듈(164), 인터랙티브 증강 스테이지 구성 모듈(166)을 포함하여 구성된다.
사용자 인식/추적 모듈은 실제공간에 설치된 Depth Cam 또는 스테레오 캠으로부터 depth image(즉, 깊이 정보 화상)을 수신하여 다중 사용자를 식별한다. 사용자 인식/추적 모듈은 식별한 다중 사용자 정보를 제스처 인터렉션 인식 모듈(164)에게로 전송한다.
제스처 인터렉션 인식 모듈(164)은 사용자 인식/추적 모듈로부터 수신한 다중 사용자 정보를 근거로 사용자의 인터렉션 포인트(예를 들면, 손, 발, 머리 등)를 인식한다. 제스처 인터렉션 인식 모듈(164)은 다중 사용자 정보를 근거로 사용자의 제스처(예를 들면, 터치, 드래그, 손들기, 걷기 등)를 인식한다. 제스처 인터렉션 인식 모듈(164)은 인식한 사용자의 인터렉션 포인트 정보 및 제스처 정보를 인터랙티브 증강 스테이지 구성 모듈(166)에게로 전송한다.
인터랙티브 증강 스테이지 구성 모듈(166)은 제스처 인터렉션 인식 모듈(164)로부터 수신한 사용자의 제스처 정보 및 인터렉션 포인트 정보를 재구성된 실제공간 3D 폴리곤과 위상 공간 정합한다. 이를 통해, 인터랙티브 증강 스테이지 구성 모듈(166)은 사용자의 인터렉션 포인트의 실제공간 좌표 정보와 함께, 상태 정보 형태의 제스처 이벤트를 생성할 수 있다.
인터랙티브 증강 스테이지 구성 모듈(166)은 콘텐츠 내에 정의되어 있는 가상 3D 오브젝트와의 인터렉션 정의 스크립트에 따라 터치, 드래깅, 클릭 등의 제스처 이벤트에 따라 가상 3D 오브젝트를 재구성한다. 이를 통해, 사용자의 인터렉션에 따른 가상 3D 오브젝트의 변형을 반영하여 사용자의 증강공간 콘텐츠가 변형되고, 변형된 증강공간 콘텐츠가 실제공간에 투영된다.
이하, 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 6은 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법을 설명하기 위한 흐름도이다. 도 7 내지 도 9는 도 6의 프리미티브 오브젝트(300)를 매칭하는 단계를 설명하기 위한 도면이고, 도 10 및 도 11은 도 6의 가상 3D 오브젝트(400)를 맵핑하는 단계를 설명하기 위한 도면이고, 도 12 및 도 13은 도 6의 실제공간에 투영하는 단계를 설명하기 위한 도면이고, 도 14 내지 도 16은 도 6의 사용자 인터렉션을 반영하는 단계를 설명하기 위한 도면이다.
먼저, 증강공간 재현부(120)는 실제공간에서의 가상 오브젝트 투영 위치를 검출하는데 근거가 되는 콘텐츠를 저작도구(200)로부터 로드한다(S100). 즉, 증강공간 재현부(120)의 콘텐츠 처리 모듈(122)은 저작도구(200)에서 생성된 콘텐츠를 로드한다. 이때, 저작도구(200)에서 생성된 콘텐츠는 가상 3D 오브젝트(400) 및 해당 가상 3D 오브젝트(400)가 투영될 수 있는 프리미티브 오브젝트(300; 예를 들면, 정육면체, 원뿔, 원기둥, 정사면체, 스피어, 바닥, 벽)가 상호 페어링되어 구성된다. 콘텐츠는 증강공간에 투영되는 가상 3D 오브젝트(400)에 대한 정보와, 사용자 인터렉션 후에 반응을 정의한 스크립트, 및 기타 이벤트 효과를 위한 사운드, 동영상을 포함한 멀티 미디어 콘텐츠를 포함한다.
증강공간 인식부(140)는 기로드한 콘텐츠에 포함되는 프리미티브 오브젝트(300)를 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭한다(S200).
더욱 상세하게 설명하면, 증강공간 인식부(140)의 증강공간 디스플레이 멀티 연동 모듈(142)은 사용자의 실제공간에 대한 복수의 깊이 영상을 하나의 깊이 영상으로 병합한다(S220). 이때, 증강공간 디스플레이 멀티 연동 모듈(142)은 사용자의 실제공간에 설치된 복수의 카메라(600)에서 추출된 복수의 깊이 영상을 수신한다. 즉, 도 8에 도시된 바와 같은, 사용자의 실제공간에 설치된 Depth Cam, 스테레오 카메라 등에서 촬영된 실제공간의 깊이 영상을 병합하여 하나의 깊이 영상으로 변환한다. 증강공간 디스플레이 멀티 연동 모듈(142)은 병합한 깊이 영상을 실제공간 3D 인식 모듈(144)에게로 전송한다.
실제공간 3D 인식 모듈(144)은 증강공간 디스플레이 멀티 연동 모듈(142)로부터 수신한 깊이 영상을 이용하여 사용자의 실제환경을 가상공간 안에 재구성한다. 이때, 실제공간 3D 인식 모듈(144)은 사용자의 실제환경을 3D 폴리곤 또는 포인트 클라우드 형태로 가상공간 안에 재구성한다(S240). 실제공간 3D 인식 모듈(144)은 재구성된 3D 폴리곤 또는 포인트 클라우드를 가상공간 매칭 모듈(146)에게로 전송한다.
가상공간 매칭 모듈(146)은 로드된 콘텐츠에 정의되어 있는 프리미티브 오브젝트(300)가 배치될 영역을 재구성된 실제공간의 3D 폴리곤으로부터 검출한다(S260). 즉, 가상공간 매칭 모듈(146)은 지오메트릭 매칭 기법을 이용하여 실제공간의 3D 폴리곤(또는 포인트 클라이드)으로부터 기로드된 콘텐츠에 포함된 복수의 프리미티브 오브젝트(300)에 대응되는 영역을 분리 및 식별한다.
가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 복수의 프리미티브 오브젝트(300)를 매칭한다(S280). 즉, 도 9에 도시된 바와 같이, 가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에서 기검출한 영역에 콘텐츠에 포함된 프리미티브 오브젝트(300)를 매칭한다. 이는, 가상공간 매칭 모듈(146)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에서 복수의 프리미티브 오브젝트(300)에 대응하여 분리 및 식별한 영역에 해당 프리미티브 오브젝트(300)를 매칭하는 것으로, 사용자의 실제공간에서 존재하는 바닥, 벽, 기둥, 테이블 등의 구성물에 콘텐츠에 포함된 프리미티브 오브젝트(300)를 매칭하는 것이다.
증강공간 재현부(120)는 기로드한 콘텐츠에 포함되는 가상 3D 오브젝트(400)를 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 맵핑한다(S300).
더욱 상세하게 설명하면, 콘텐츠 처리 모듈(122)은 가상공간 매칭 모듈(146)에서 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 프리미티브 오브젝트(300)에 가상 3D 오브젝트(400)를 할당한다(S320). 이때, 콘텐츠 처리 모듈(122)은 기로드된 콘텐츠에 포함된 복수의 프리미티브 오브젝트(300)와 가상 3D 오브젝트(400) 페어링을 근거로 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 프리미티브 오브젝트(300)에 가상 3D 오브젝트(400)를 할당한다. 콘텐츠 처리 모듈(122)은 프리미티브 오브젝트(300)에 할당된 가상 3D 오브젝트(400)를 3D 신 구성 재현 모듈(124)에게로 전송한다.
3D 신 구성 재현 모듈(124)은 콘텐츠 처리 모듈(122)로부터 수신한 가상 3D 오브젝트(400)를 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 맵핑한다(S340). 즉, 3D 신 구성 재현 모듈(124)은 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 매칭된 복수의 프리미티브 오브젝트(300)에 각각에 할당된 가상 3D 오브젝트(400)를 맵핑한다. 이를 통해, 도 11에 도시된 바와 같이, 사용자 실제공간에서 바닥, 벽, 기둥, 테이블 등에 정합된 프리미티브 오브젝트(300) 위에 가상 3D 오브젝트(400; 예를 들면, 물병, 통닭, 빵, 와인잔, 사과 등)이 정합되어 맵핑된다.
증강공간 재현부(120) 및 증강공간 인식부(140)는 맵핑된 가상 3D 오브젝트(400)를 실제공간에 투영한다(S400).
더욱 상세하게 설명하면, 증강공간 재현부(120)의 증강 콘텐츠 재생 모듈(126)은 가상 3D 오브젝트(400)가 맵핑된 실제공간의 3D 폴리곤(또는 포인트 클라이드)을 실제공간에 정합하여 합성한다(S420). 이때, 증강 콘텐츠 재생 모듈(126)은 실제공간에 가상 3D 오브젝트(400)를 정확하게 정합하기 위해서 투영하는 프로젝터(700)와 실제공간을 인식했던 Depth Cam 또는 스테레오 캠의 화각 등의 정보를 포함하는 인트린짓 파라미터와, 프로젝터(700)와 카메라(600)의 공간상 위치 정보를 포함하는 익스트린짓 파라미터를 이용한다.
증강공간 재현부(120)의 3D 렌더링 모듈(128)은 증강 콘텐츠 재생모듈에서 실제공간에 합성된 결과를 렌더링한다. 즉, 3D 렌더링 모듈(128)은 재구성된 실제공간의 3D 폴리곤(또는 포인트 클라이드)을 제외하고, 실제공간에 맵핑된 가상 3D 오브젝트(400)들을 렌더링한다(S440).
증강공간 인식부(140)의 증강공간 콘텐츠 투영 모듈(148)은 3D 렌더링 모듈(128)에서 렌더링된 가상 3D 오브젝트(400)를 실제공간에 투영한다(S460). 이를 위해, 증강공간 콘텐츠 투영 모듈(148)은 Depth Cam 또는 스테레오 캠과 함께 설치되어 있는 복수의 프로젝터(700)에 렌더링된 가상 3D 오브젝트(400)를 전달한다. 복수의 프로젝터(700)는 렌더링된 가상 3D 오브젝트(400)를 실제공간에 투영한다. 이를 통해, 도 13에 도시된 바와 같이, 실제공간의 바닥, 벽, 기둥, 테이블 등에 가상 3D 오브젝트(400)가 투영된다.
인터렉션 처리부(160)는 투영된 가상 3D 오브젝트(400)에 사용자 인터렉션을 반영한다(S500). 즉, 인터렉션 처리부(160)는 실제공간에서 감지한 제스처 인터렉션에 대응되는 스크립트에 따라 가상 3D 오브젝트(400)의 변형을 반영하여 실제공간에 투영한다.
더욱 상세하게 설명하면, 사용자 인식/추적 모듈은 실제공간에서의 다중 사용자 정보를 식별한다(S520). 즉, 사용자 인식/추적 모듈은 실제공간에 설치된 Depth Cam 또는 스테레오 캠으로부터 depth image(즉, 깊이 정보 화상)을 수신하여 다중 사용자를 식별한다. 사용자 인식/추적 모듈은 식별한 다중 사용자 정보를 제스처 인터렉션 인식 모듈(164)에게로 전송한다.
제스처 인터렉션 인식 모듈(164)은 사용자 인식/추적 모듈로부터 수신한 다중 사용자 정보를 근거로 사용자의 인터렉션 포인트를 인식한다. 제스처 인터렉션 인식 모듈(164)은 다중 사용자 정보를 근거로 사용자의 제스처를 인식한다(S540). 이때, 제스처 인터렉션 인식 모듈(164)은 손, 발, 머리 등의 인터렉션 포인트 정보, 및 터치, 드래그, 손들기, 걷기 등의 제스처 정보를 인식한다. 제스처 인터렉션 인식 모듈(164)은 인식한 사용자의 인터렉션 포인트 정보 및 제스처 정보를 인터랙티브 증강 스테이지 구성 모듈(166)에게로 전송한다.
인터랙티브 증강 스테이지 구성 모듈(166)은 제스처 인터렉션 인식 모듈(164)로부터 수신한 사용자의 제스처 정보 및 인터렉션 포인트 정보를 이용하여 실제공간의 3D 폴리곤(또는 포인트 클라이드)에 위상 공간 정합하여 제스처 이벤트를 발생한다(S560). 즉, 인터랙티브 증강 스테이지 구성 모듈(166)은 제스처 인터렉션 인식 모듈(164)로부터 수신한 사용자의 제스처 정보 및 인터렉션 포인트 정보를 재구성된 실제공간 3D 폴리곤과 위상 공간 정합한다. 이를 통해, 도 15에 도시된 바와 같이, 인터랙티브 증강 스테이지 구성 모듈(166)은 사용자의 인터렉션 포인트의 실제공간 좌표 정보와 함께, 상태 정보 형태의 제스처 이벤트를 생성한다.
인터랙티브 증강 스테이지 구성 모듈(166)은 콘텐츠 내에 정의되어 있는 가상 3D 오브젝트(400)와의 인터렉션 정의 스크립트에 따라 터치, 드래깅, 클릭 등의 제스처 이벤트에 따라 가상 3D 오브젝트(400)를 재구성하여 실제공간에 투영한다(S580). 이를 통해, 도 16에 도시된 바와 같이, 사용자의 인터렉션에 따른 가상 3D 오브젝트(400)의 변형을 반영하여 사용자의 증강공간 콘텐츠가 변형되고, 변형된 증강공간 콘텐츠가 실제공간에 투영된다.
이하, 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100) 및 방법의 적용 예를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 17 내지 도 19는 본 발명의 실시예에 따른 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법의 적용 예를 설명하기 위한 도면이다. 도 17 내지 도 19는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100) 및 방법을 연극 공연장에 적용한 예이다.
먼저, 공연장에 설치된 복수의 카메라(600)를 이용하여 공연장의 투영 실제공간(즉, 도 17의 세 벽면, 바닥) 및 실제 오브젝트(500)들(즉, 도 17의 바닥에 위치한 두 개의 육면체)을 인식한다. 또한, 복수의 카메라(600)를 이용하여 투영 실제공간에 위치한 두 명의 공연자를 인식한다.
공연장에 설치된 복수의 프로젝터(700)를 이용하여 실제공간에 배치된 실제 오브젝트(500)들에 가상 3D 객체를 직접 투영한다. 그에 따라, 도 18에 도시된 바와 같이, 실제공간에 배치된 각각의 실제 오브젝트(500)들은 가상 3D 객체인 선물상자, 썰매로 디스플레이된다.
공연장(즉, 사용자 공간) 및 실제 오브젝트(500)들에 정합되어 프로젝터(700)를 통해 실제 오브젝트(500)에 투영된 가상 3D 오브젝트(400)들은 공연자의 터치 등의 액션에 의하여 다른 가상 3D 오브젝트(400)가 맵핑되어, 공연자와 가상 3D 오브젝트(400)와의 인터렉션을 제공한다. 즉, 도 19에 도시된 바와 같이, 공연자가 가상 3D 오브젝트(400)가 투영된 실제 오브젝트(500)를 터치하면, 이를 감지하여 실제 오브젝트(500)에 투영된 선물상자의 개수를 증가시키거나, 썰매를 자동차로 변경한다.
상술한 바와 같이, 본 발명에 의하면, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100) 및 방법은 실제공간을 디스플레이화하고 사용자와의 직접적인 3D 터치 인터렉션을 지원하는 공간 인터렉션 중심의 콘텐츠 서비스 제공함으로써, 사용자의 공간에 직접 콘텐츠를 표시하고 인터렉션을 지원하도록 하는 공간 인터랙티브 콘텐츠가 가능한 효과가 있다.
또한, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100) 및 방법은 인터랙티브 공간 디스플레이 콘텐츠를 통해 기존 공간에 인터렉션 가능한 3D 콘텐츠를 투영하여 다양한 응용서비스, 교육, 에듀테인먼트, 공연 등에서 몰입감 및 체험감을 높일 수 있다.
또한, 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치(100) 및 방법은 인터랙티브 공간 역할극 학습 콘텐츠, 3D 공간 멀티방 콘텐츠, 인터랙티브 3D 가상 스테이지 공연 콘텐츠 등 다양한 형태로 제공할 수 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 콘텐츠 재생 장치 120: 증강공간 재현부
122: 콘텐츠 처리 모듈 124: 3D 신 구성 재현 모듈
126: 증강 콘텐츠 재생 모듈 128: 3D 렌더링 모듈
140: 증강공간 인식부
142: 증강공간 디스플레이 멀티 연동 모듈
144: 실제공간 3D 인식 모듈 146: 가상공간 매칭 모듈
148: 증강공간 콘텐츠 투영 모듈
160: 인터렉션 처리부 162: 사용자 인식/추척 모듈
164: 제스처 인터렉션 인식 모듈
166: 인터랙티브 증강 스테이지 구성 모듈
180: 증강공간 디스플레이 관리부 200: 저작도구
300: 프리미티브 오브젝트 400: 가상 3D 오브젝트
500: 실제 오브젝트 600: 카메라
700: 프로젝트

Claims (20)

  1. 실제공간에서 추출된 깊이 영상을 근거로 상기 실제공간을 가상공간으로 재구성하여 프리미티브 오브젝트를 매칭하고, 상기 프리미티브 오브젝트에 맵핑되어 상기 재구성된 가상공간에 합성된 가상 3D 오브젝트를 상기 실제공간에 투영하는 증강공간 인식부; 및
    상기 실제공간에 투영된 가상 3D 오브젝트에 대한 사용자의 제스처 인터렉션을 인식하고, 상기 인식한 제스처 인터렉션에 대응되는 가상 3D 오브젝트의 변형을 반영하여 상기 실제공간에 투영하는 인터렉션 처리부를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  2. 청구항 1에 있어서,
    상기 증강공간 인식부는,
    상기 실제공간에 설치된 복수의 카메라에서 추출된 복수의 깊이 영상을 하나의 깊이 영상으로 병합하는 증강공간 디스플레이 멀티 연동 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  3. 청구항 1에 있어서,
    상기 증강공간 인식부는,
    상기 실제공간의 깊이 영상을 3D 폴리곤 또는 포인트 클라우드 형태의 가상공간으로 재구성하는 실제공간 3D 인식 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  4. 청구항 1에 있어서,
    상기 증강공간 인식부는,
    콘텐츠에 포함된 하나 이상의 프리미티브 오브젝트를 상기 재구성된 가상공간에 매칭하는 가상공간 매칭 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  5. 청구항 1에 있어서,
    상기 증강공간 인식부는,
    렌더링된 가상 3D 오브젝트를 실제공간에 투영하는 증강공간 콘텐츠 투영 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  6. 청구항 1에 있어서,
    상기 인터렉션 처리부는,
    상기 실제공간의 깊이 영상에서 식별된 다중 사용자 정보를 이용하여 상기 실제공간에 위치한 사용자의 인터렉션 포인트 및 제스처를 인식하여 인터렉션 포인트 정보 및 제스처 정보를 생성하는 제스처 인터렉션 인식 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  7. 청구항 1에 있어서,
    상기 인터렉션 처리부는,
    상기 실제공간에 위치한 사용자 인식을 통해 생성되는 인터렉션 포인트 정보 및 제스처 정보를 근거로 사용자 인터렉션을 반영하여 상기 실제공간에 투영된 가상 3D 오브젝트를 재구성하는 인터랙티브 증강 스테이지 구성 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  8. 청구항 1에 있어서,
    상기 인터렉션 처리부는,
    상기 실제공간의 깊이 영상에서 사용자를 식별하여 다중 사용자 정보를 생성하는 사용자 인식/추적 모듈; 및
    사용자의 제스처 정보 및 인터렉션 포인트 정보를 근거로 인터렉션 포인트의 실제공간 좌표 정보와 제스처 이벤트를 생성하는 인터랙티브 증강 스테이지 구성 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  9. 청구항 1에 있어서,
    상기 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 가상 3D 오브젝트를 합성하고, 상기 재구성된 가상공간에 합성된 결과물 중에서 상기 재구성된 가상공간에 맵핑된 가상 3D 콘텐츠들을 렌더링하는 증강공간 재현부를 더 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  10. 청구항 9에 있어서,
    상기 증강공간 재현부는,
    복수의 프리미티브 오브젝트와 복수의 가상 3D 오브젝트가 상호 페어링되어 구성되는 콘텐츠를 로드하고, 상기 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 상기 로드한 콘텐츠에 포함된 가상 3D 오브젝트를 할당하는 콘텐츠 처리 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  11. 청구항 9에 있어서,
    상기 증강공간 재현부는,
    콘텐츠에 포함된 가상 3D 오브젝트를 상기 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 맵핑하는 3D 신 구성 재현 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  12. 청구항 9에 있어서,
    상기 증강공간 재현부는,
    가상 3D 오브젝트가 맵핑된 상기 재구성된 가상공간을 상기 실제공간에 정합하여 합성하는 증강 콘텐츠 재생 모듈; 및
    상기 증강 콘텐츠 재생모듈에서 상기 실제공간에 합성된 결과를 중에서 상기 재구성된 가상공간을 제외한 가상 3D 콘텐츠를 렌더링하는 3D 렌더링 모듈을 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치.
  13. 증강공간 재현부에 의해, 프리미티브 오브젝트 및 가상 3D 오브젝트를 포함하는 콘텐츠를 로드하는 단계;
    증강공간 인식부에 의해, 실제공간의 깊이 영상을 이용하여 재구성된 가상공간에 상기 콘텐츠에 포함된 프리미티브 오브젝트를 매칭하는 단계;
    상기 증강공간 인식부에 의해, 상기 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 상기 콘텐츠에 포함된 가상 3D 오브젝트를 맵핑하는 단계; 및
    상기 증강공간 인식부에 의해, 상기 맵핑된 가상 3D 오브젝트를 상기 실제공간에 투영하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  14. 청구항 13에 있어서,
    상기 프리미티브 오브젝트를 매칭하는 단계는,
    상기 실제공간에서 추출한 복수의 깊이 영상을 병합하는 단계;
    상기 병합된 깊이 영상을 이용하여 상기 실제공간을 가상공간으로 재구성하는 단계;
    상기 재구성된 가상공간에서 상기 콘텐츠에 포함된 프리미티브 오브젝트가 배치될 영역을 검출하는 단계;
    상기 검출하는 단계에서 검출한 영역에 상기 프리미티브 오브젝트를 매칭하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  15. 청구항 14에 있어서,
    상기 가상공간으로 재구성하는 단계에서는,
    상기 실제공간을 3D 폴리곤 또는 포인트 클라이드 형태의 가상공간으로 재구성하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  16. 청구항 13에 있어서,
    상기 가상 3D 오브젝트를 맵핑하는 단계는,
    상기 재구성된 가상공간에 매칭된 프리미티브 오브젝트에 상기 콘텐츠에 포함된 가상 3D 오브젝트를 할당하는 단계; 및
    상기 할당된 가상 3D 오브젝트를 상기 재구성된 가상공간에 맵핑하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  17. 청구항 13에 있어서,
    상기 실제공간에 투영하는 단계는,
    상기 재구성된 가상공간에 가상 3D 오브젝트를 합성하는 단계;
    상기 합성된 가상 3D 오브젝트를 렌더링하는 단계; 및
    상기 렌더링된 가상 3D 오브젝트를 상기 실제공간에 투영하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  18. 청구항 17에 있어서,
    상기 렌더링하는 단계에서는,
    상기 재구성된 가상공간에 합성된 프리미티브 오브젝트 및 가상 3D 콘텐츠 중에서 상기 가상 3D 콘텐츠만을 렌더링하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  19. 청구항 13에 있어서,
    인터렉션 처리부에 의해, 상기 실제공간에서의 사용자 인터렉션을 상기 투영된 가상 3D 오브젝트에 반영하는 단계를 더 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
  20. 청구항 19에 있어서,
    상기 사용자 인터렉션을 상기 투영된 가상 3D 오브젝트에 반영하는 단계는,
    상기 실제공간에서의 다중 사용자 정보를 식별하는 단계;
    상기 식별한 다중 사용자 정보를 근거로 사용자 제스처 및 인터렉션 포인트를 인식하는 단계;
    상기 인식한 사용자 제스처 및 인터렉션 포인트를 상기 재구성된 가상공간에 위상 공간 정합하여 제스처 이벤트를 발생하는 단계; 및
    상기 발생한 제스처 이벤트에 따른 가상 3D 오브젝트의 변형을 반영하여 상기 실제공간에 투영하는 단계를 포함하는 것을 특징으로 하는 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 방법.
KR1020110117987A 2011-11-14 2011-11-14 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법 KR20130053466A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110117987A KR20130053466A (ko) 2011-11-14 2011-11-14 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
US13/612,711 US20130120365A1 (en) 2011-11-14 2012-09-12 Content playback apparatus and method for providing interactive augmented space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117987A KR20130053466A (ko) 2011-11-14 2011-11-14 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130053466A true KR20130053466A (ko) 2013-05-24

Family

ID=48280157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117987A KR20130053466A (ko) 2011-11-14 2011-11-14 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법

Country Status (2)

Country Link
US (1) US20130120365A1 (ko)
KR (1) KR20130053466A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139443A (ko) * 2013-05-27 2014-12-05 (주)지에스엠솔루션 전방위 영상을 이용한 공간정보 구축 방법
KR101666561B1 (ko) 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
CN109116977A (zh) * 2017-06-22 2019-01-01 韩国电子通信研究院 虚拟体验内容提供方法及用于其的装置
KR20210005183A (ko) * 2018-05-08 2021-01-13 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
KR20210025102A (ko) * 2018-08-28 2021-03-08 그리 가부시키가이샤 배신 유저의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 라이브 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
KR20210147231A (ko) * 2020-05-28 2021-12-07 한국전자통신연구원 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템
US11736779B2 (en) 2018-11-20 2023-08-22 Gree, Inc. System method and program for distributing video
US11838603B2 (en) 2018-08-28 2023-12-05 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
KR102615580B1 (ko) * 2023-02-06 2023-12-21 주식회사 에이치디엠 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법
KR102699465B1 (ko) * 2023-07-10 2024-08-27 주식회사 포어티 실제공간 기반의 혼합현실 제공 방법 및 시스템

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986328A (zh) * 2013-12-17 2020-11-24 索尼公司 信息处理设备和方法以及非易失性计算机可读存储介质
WO2015123775A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Systems and methods for incorporating a real image stream in a virtual image stream
CN106575158B (zh) * 2014-09-08 2020-08-21 英特尔公司 环境映射虚拟化机构
US10297082B2 (en) 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
CN105511602A (zh) * 2015-11-23 2016-04-20 合肥金诺数码科技股份有限公司 3d虚拟漫游系统
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
CN106445118B (zh) * 2016-09-06 2019-05-17 网易（杭州）网络有限公司 虚拟现实交互方法及装置
CN106502396B (zh) * 2016-10-20 2020-10-23 网易（杭州）网络有限公司 虚拟现实系统、基于虚拟现实的交互方法及装置
CN106598277B (zh) * 2016-12-19 2019-09-17 网易（杭州）网络有限公司 虚拟现实交互系统
GB201707294D0 (en) * 2017-05-08 2017-06-21 Rajab Khalid Nodens
EP3413166B1 (en) * 2017-06-06 2023-06-21 Nokia Technologies Oy Rendering mediated reality content
US10417829B2 (en) 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
EP3502839A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
CN108377398B (zh) * 2018-04-23 2020-04-03 太平洋未来科技（深圳）有限公司 基于红外的ar成像方法、系统、及电子设备
CN110460893B (zh) 2018-05-08 2022-06-03 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11645756B2 (en) * 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2022220459A1 (en) 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems
US20240070243A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Authenticating a selective collaborative object
US20240070300A1 (en) * 2022-08-31 2024-02-29 Youjean Cho Selective collaborative object access based on timestamp
US12019773B2 (en) 2022-08-31 2024-06-25 Snap Inc. Timelapse of generating a collaborative object
US12079395B2 (en) 2022-08-31 2024-09-03 Snap Inc. Scissor hand gesture for a collaborative object

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US8760395B2 (en) * 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140139443A (ko) * 2013-05-27 2014-12-05 (주)지에스엠솔루션 전방위 영상을 이용한 공간정보 구축 방법
KR101666561B1 (ko) 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
US10409447B2 (en) 2015-07-13 2019-09-10 Korea Advanced Institute Of Science And Technology System and method for acquiring partial space in augmented space
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
CN109116977A (zh) * 2017-06-22 2019-01-01 韩国电子通信研究院 虚拟体验内容提供方法及用于其的装置
KR20190000069A (ko) * 2017-06-22 2019-01-02 한국전자통신연구원 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치
KR20210005183A (ko) * 2018-05-08 2021-01-13 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
KR20230006652A (ko) * 2018-05-08 2023-01-10 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
KR20210025102A (ko) * 2018-08-28 2021-03-08 그리 가부시키가이샤 배신 유저의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 라이브 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
US11838603B2 (en) 2018-08-28 2023-12-05 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US11736779B2 (en) 2018-11-20 2023-08-22 Gree, Inc. System method and program for distributing video
KR20210147231A (ko) * 2020-05-28 2021-12-07 한국전자통신연구원 영상 합성 장치 및 방법, 그리고 이를 포함하는 영상 방송 시스템
KR102615580B1 (ko) * 2023-02-06 2023-12-21 주식회사 에이치디엠 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법
KR102699465B1 (ko) * 2023-07-10 2024-08-27 주식회사 포어티 실제공간 기반의 혼합현실 제공 방법 및 시스템

Also Published As

Publication number Publication date
US20130120365A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
KR20130053466A (ko) 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
CN107852573B (zh) 混合现实社交交互
CN105981076B (zh) 合成增强现实环境的构造
US10871934B2 (en) Virtual content displayed with shared anchor
KR101940720B1 (ko) 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
TWI567659B (zh) 照片表示視圖的基於主題的增強
US8644467B2 (en) Video conferencing system, method, and computer program storage device
US10200654B2 (en) Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
WO2020020102A1 (zh) 生成虚拟内容的方法、终端设备及存储介质
WO2017203774A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
JP2013506226A (ja) 仮想環境との相互作用のためのシステム及び方法
GB2543913A (en) Virtual conference room
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
US11189057B2 (en) Provision of virtual reality content
WO2018080849A1 (en) Simulating depth of field
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
US10732706B2 (en) Provision of virtual reality content
US20220076484A1 (en) Virtual-World Simulator
US11385856B2 (en) Synchronizing positioning systems and content sharing between multiple devices
WO2021196973A1 (zh) 虚拟内容的显示方法、装置、电子设备及存储介质
Soares et al. Designing a highly immersive interactive environment: The virtual mine
Park et al. AR room: Real-time framework of camera location and interaction for augmented reality services
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
JP7354186B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application