KR20160124985A - 혼합 현실 체험 공간 제공 방법 및 시스템 - Google Patents

혼합 현실 체험 공간 제공 방법 및 시스템 Download PDF

Info

Publication number
KR20160124985A
KR20160124985A KR1020150055376A KR20150055376A KR20160124985A KR 20160124985 A KR20160124985 A KR 20160124985A KR 1020150055376 A KR1020150055376 A KR 1020150055376A KR 20150055376 A KR20150055376 A KR 20150055376A KR 20160124985 A KR20160124985 A KR 20160124985A
Authority
KR
South Korea
Prior art keywords
user
scenario
virtual
display
interaction
Prior art date
Application number
KR1020150055376A
Other languages
English (en)
Other versions
KR101770188B1 (ko
Inventor
양웅연
김기홍
이길행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150055376A priority Critical patent/KR101770188B1/ko
Publication of KR20160124985A publication Critical patent/KR20160124985A/ko
Application granted granted Critical
Publication of KR101770188B1 publication Critical patent/KR101770188B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시 예들은, 혼합 현실 기반의 가상 체험 공간을 제공하기 위한 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 혼합 현실 체험 공간 제공 방법은, 가상 시나리오를 기반으로 혼합 현실 체험 공간에 위치하는 고정형 디스플레이 또는 사용자 착용형 디스플레이에 적어도 하나의 가상 객체를 디스플레이하는 단계; 상기 가상 객체와 사용자 간의 상호 작용이 감지되는 경우, 감지된 상호 작용에 따른 상호 작용 결과를 생성하는 단계; 상기 생성된 상호 작용 결과를 기반으로 시나리오 수정을 수행하는 단계; 및 상기 수정된 시나리오에 따라 상기 고정형 디스플레이 또는 사용자 착용형 디스플레이에 가상 객체를 디스플레이 하는 단계를 포함한다. 본 발명의 실시 예들에 따르면, 현실적인 가상 체험 공간을 제공할 수 있다.

Description

혼합 현실 체험 공간 제공 방법{Method for providing mixed reality experience space}
본 발명의 실시 예들은, 혼합 현실 체험 공간을 제공하기 위한 방법에 관한 것이다.
기존의 게임 콘솔형 체험 기술은, 3차원 공간에 존재하는 객체와 사용자 간의 직접적인 상호 작용을 제공하지 못하는 한계가 있다.
예를 들어, 사용자가 가상의 비누방울을 터뜨리고자 하는 상황을 가정하자. 이러한 경우, 사용자는, 원거리에 위치한 디스플레이에 출력되는 자신의 모습과 가상의 비누방울을 보면서 자신의 몸을 움직여 비누방울을 터뜨려야 한다. 디스플레이 영상을 보면서 자신의 움직임을 조절해야 하므로 자연스럽지 못한 액션을 취해야 한다.
또한, 종래의 게임 콘솔형 체험 기술은, 다수의 사용자가 공유하는 체험 공간 내에서, 각 사용자와 객체 간의 상호 작용을 제공하기 어렵다.
본 발명의 실시 예들은, 사용자가 가상 객체와 상호 작용을 할 수 있도록 하는 방안을 제공한다.
본 발명의 일 실시 예에 따른 혼합 현실 체험 공간 제공 방법은, 가상 시나리오를 기반으로 혼합 현실 체험 공간에 위치하는 고정형 디스플레이 또는 사용자 착용형 디스플레이에 적어도 하나의 가상 객체를 디스플레이하는 단계; 상기 가상 객체와 사용자 간의 상호 작용이 감지되는 경우, 감지된 상호 작용에 따른 상호 작용 결과를 생성하는 단계; 상기 생성된 상호 작용 결과를 기반으로 시나리오 수정을 수행하는 단계; 및 상기 수정된 시나리오에 따라 상기 고정형 디스플레이 또는 사용자 착용형 디스플레이에 가상 객체를 디스플레이하는 단계를 포함한다.
본 발명의 실시 예들에 따르면, 현실적인 가상 체험 공간을 제공할 수 있다. 본 발명의 실시 예들에 따르면, 다수의 사용자가 동시에 가상 현실을 체험할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 혼합 현실 체험 공간을 설명하기 위한 예시도,
도 2는 본 발명의 일 실시 예에 따른 시나리오 운영 서버를 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 시나리오 메인 출력 디바이스를 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 에에 따른 사용자 인터페이스를 설명하기 위한 블록도,
도 5는 본 발명의 일 실시 예에 따른 사용자 디바이스를 설명하기 위한 블록도,
도 6 및 도 7은 본 발명의 일 실시 예에 따른 가상 사격 훈련을 위한 혼합 현실 체험 공간을 설명하기 위한 예시도.
이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명의 실시 예들은, 소비자 가전 시장에 "N스크린 기술"로 소개되고 있는 기술을 활용할 수 있다. N스크린 기술은, 클라우드 서비스 기반의 환경에서 다수의 디스플레이 장치를 연동함으로써, 사용자의 이동 상황에서도 사용자가 콘텐츠의 시청을 끊김 없이 지속적으로 체험할 수 있도록 하는 서비스를 제공할 수 있다.
본 발명의 실시 예들은, 블루스크린 기술을 기반으로 하는 합성 영상을 이용하지 않고, 사용자가 실제 위치하는 공간에 가상 객체를 제공하여 사용자가 가상 객체와 직접적인 상호 작용을 이룰 수 있도록 한다.
본 발명의 실시 예들은, 다수의 참여자가 동시에 하나의 체험 공간을 공유하면서, 서로의 상호 작용 공간이 공유되거나 분리되는 다양한 상호 작용 시나리오를 구현할 수 있도록 한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 일 실시 예에 따른 혼합 현실 체험 공간을 설명하기 위한 예시도이다.
시나리오 운영 서버(100)는, 사용자에게 제공할 가상 시나리오를 생성할 수 있다. 그리고, 가상 시나리오에 존재하는 가상 객체를 구현하기 위한 데이터(영상 및 음성 데이터 등)를 생성하여 혼합 현실 체험 공간에 존재하는 시나리오 메인 출력 디바이스(200) 및 사용자 디바이스(500) 중 적어도 하나로 출력할 수 있다.
혼합 현실 체험 공간에는, 시나리오 메인 출력 디바이스(200), 사용자 인터페이스(300), 사용자 인터페이스 감지부(400) 및 사용자 디바이스(500) 중 적어도 하나가 위치할 수 있다.
시나리오 메인 출력 디바이스(200)는, 시나리오 운영 서버(100)로부터 영상 및 음성 데이터 등을 수신하고, 수신된 데이터들을 기반으로 영상 및 음성을 생성하여 사용자에게 제공할 수 있다.
사용자 인터페이스(300)는, 가상 시나리오 구현을 위하여 미리 설치된 도구(예를 들어, 총 및 비누방울 생성 도구 등)일 수 있다. 사용자 인터페이스(300)는, 사용자와의 상호 작용으로 인하여 형태 등이 변화할 수 있다. 사용자 인터페이스(300)는 실물과 유사한 도구일 수도 있고, 단순한 외형을 갖는 물체일 수도 있다. 사용자는 사용자 인터페이스(300)를 이용하여 가상 객체와 상호 작용을 수행할 수 있다.
사용자 인터페이스 감지부(400)는, 사용자와 사용자 인터페이스(300) 간의 상호 작용을 감지하고 감지된 정보를 시나리오 운영 서버(100)로 전송할 수 있다. 이에 따라 시나리오 운영 서버(100)는 시나리오를 수정할 수 있다. 사용자 인터페이스 감지부(400)는, 상호 작용 감지를 위하여 각종 센서 및 카메라 등을 포함할 수 있다. 실시 예에 따라, 사용자 인터페이스 감지부(400)는 생략될 수 있으며, 이러한 경우, 사용자 인터페이스(300)에 상호 작용 감지를 위한 각종 센서 및 카메라가 탑재될 수 있다.
사용자 디바이스(500)는, 시나리오 운영 서버(100)로부터 수신되는 영상 및 음성 데이터를 출력할 수 있다. 또한, 사용자 디바이스(500)는, 촬영 영상 및 각종 센싱 데이터를 생성하여 시나리오 운영 서버(100)로 전송할 수 있다. 이에 따라, 시나리오 운영 서버(100)는 시나리오를 수정할 수 있다. 사용자 디바이스(500)는, 예를 들어 스마트폰 또는 스마트 글래스(예를 들어, HMD(Head Mounted Display) 및 EGD(Eye Glasses-type Display) 등)와 같이 사용자가 휴대 가능한 디바이스일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 시나리오 운영 서버를 설명하기 위한 블록도이다. 도 2를 참조하면, 본 발명의 일 실시 예에 따른 시나리오 운영 서버(100)는, 시나리오 처리부(110), 영상/음성 데이터 생성부(120), 데이터 관리부(130) 및 통신부(140)를 포함한다. 실시 예에 따라, 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
시나리오 처리부(110)는, 혼합 현실 체험 서비스를 제공하기 위한 각종 가상 시나리오들을 생성할 수 있다. 또한, 시나리오 처리부(110)는, 사용자 인터페이스(300), 사용자 인터페이스 감지부(400) 및 사용자 디바이스(500) 중 적어도 하나로부터 수신되는 정보에 기반하여 가상 시나리오를 생성 또는 수정할 수 있다. 예를 들어, 시나리오 처리부(110)는, 사용자 인터페이스(300), 사용자 인터페이스 감지부(400) 및 사용자 디바이스(500) 중 적어도 하나로부터 수신되는 정보를 기반으로 가상 객체와 사용자 간의 상호 작용이 있었는지 여부를 감지할 수 있다. 상호 작용이 감지되는 경우, 시나리오 처리부(100)는 감지된 상호 작용에 따른 상호 작용 결과를 생성하고, 생성된 상호 작용 결과를 기반으로 가상 시나리오를 수정할 수 있다. 가상 시나리오를 수정한다는 것은, 예를 들어 가상 시나리오에 존재하는 가상 객체들의 위치를 이동시키거나 가상 객체들을 삭제하거나 새로운 가상 객체를 생성하는 동작을 포함할 수 있다.
영상/음성 데이터 생성부(120)는, 시나리오 처리부(110)에서 생성된 가상 시나리오들을 위한 각종 데이터, 예를 들어 가상 객체와 관련된 영상 및 음성 데이터를 생성하여 시나리오 메인 출력 디바이스(200) 및 사용자 디바이스(500) 중 적어도 하나로 전송할 수 있다.
데이터 관리부(130)는, 가상 시나리오를 구현하는 데 이용되는 각종 데이터들을 저장할 수 있다.
통신부(140)는, 각종 유/무선 통신 방식을 이용하여 혼합 현실 체험 공간에 존재하는 디바이스 및 인터페이스들과 데이터를 교환할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 시나리오 메인 출력 디바이스를 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 일 실시 예에 따른 시나리오 메인 출력 디바이스(200)는, 메인 디스플레이(210), 메인 스피커(220) 및 통신부(230)를 포함한다. 실시 예에 따라 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
혼합 현실 체험 공간에는, 적어도 하나의 메인 디스플레이(210)가 배치될 수 있다. 메인 디스플레이(210)는, 시나리오 운영 서버(100)로부터 수신되는 영상 데이터를 기반으로 가상 객체를 혼합 현실 체험 공간에 가시화시킬 수 있다.
메인 디스플레이(210)는, 2D 스크린 또는 3D 스크린이거나, 사이니지(signage) 출력용 디스플레이와 같이 특정 정보만을 가시화하는 장치일 수 있다. 시나리오 환경을 구성하는 기획자의 의도에 따라, 어느 하나의 메인 디스플레이(210)에 출력되는 가상 객체의 출력 상태는 컴퓨터 등의 시뮬레이션이 가능한 장치를 통하여 제어될 수 있다.
메인 스피커(220)는, 시나리오 운영 서버(100)로부터 수신되는 음성 데이터를 기반으로 현재 시나리오에 따른 음성을 출력할 수 있다.
통신부(230)는, 각종 유/무선 통신 방식을 이용하여 시나리오 운영 서버(100)와 데이터를 교환할 수 있다.
도 4는 본 발명의 일 실시 에에 따른 사용자 인터페이스를 설명하기 위한 블록도이다. 도 4를 참조하면, 본 발명의 일 실시 예에 따른 사용자 인터페이스(300)는 센서부(310) 및 통신부(320)를 포함한다. 실시 예에 따라 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
센서부(310)는, 사용자 인터페이스의 위치를 측정하거나, 사용자의 상호 작용을 감지하기 위한 다양한 센서를 포함할 수 있다. 센서부(310)는, 측정 및 감지된 정보들을 통신부(320)를 통하여 시나리오 운영 서버(100)로 전송할 수 있다.
통신부(320)는, 각종 유/무선 통신 방식을 이용하여 시나리오 운영 서버(100)와 데이터를 교환할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 사용자 디바이스를 설명하기 위한 블록도이다. 도 5를 참조하면, 본 발명의 일 실시 예에 따른 사용자 디바이스(500)는, 사용자 디스플레이(510), 사용자 스피커(520), 영상 획득부(530), 영상 제어부(540), 센서부(550) 및 통신부(560)를 포함한다. 실시 예에 따라, 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
사용자 디스플레이(510)는, 영상 제어부(540)의 제어 하에 가상 객체를 디스플레이할 수 있다. 사용자 디스플레이(510)는, 물리적인 디스플레이일 수도 있고 가상의 스크린일 수도 있다.
사용자 디스플레이(510)는, 투시형 광학계를 구비할 수 있다. 사용자 디스플레이(510)가 투시형 광학계를 구비하는 경우, 사용자는 사용자 디스플레이(510)를 통하여 사용자 디스플레이(510)의 반대편에 존재하는 객체를 볼 수 있다.
일반적으로, 공간에 허상을 형성하는 광학계의 경우, 사용자의 시점으로부터 일정한 거리에 허상이 맺히게 된다. 따라서, 사용자 디스플레이(510)가 가상 객체를 디스플레이하는 가상 스크린은, 사용자의 시점으로부터 초점 거리(L1)에 형성된다고 가정할 수 있다. 만약, 사용자 주변에 시나리오 메인 출력 디바이스(200)가 혼재하는 경우라면, 시나리오 메인 출력 디바이스가 가상 객체를 디스플레이하는 가상 스크린(또는 물리적인 스크린)은, 사용자의 시점으로부터 초점 거리(L2)에 형성된다고 할 수 있다. 여기서, L1과 L2는 서로 같은 값이거나 서로 다른 값일 수 있다.
투시형 광학계는, 시나리오 메인 출력 디바이스(200)에 의하여 형성되는 가상 스크린과, 사용자 디스플레이(510)에 의하여 형성되는 가상 스크린 각각에 대응하는 디스플레이 필터(예를 들어, 입체 필터)를 내장할 수 있다. 따라서, 투시형 광학계는, 입력되는 다수의 영상을 선택적으로 투과/차단하여 사용자에게 제공할 수 있다. 투시형 광학계에 내장되는 디스플레이 필터는, 각각의 영상 출력 소스에 구비된 필터와 동일한 필터일 수 있다. 한편, 사용자 디스플레이(510)에 의하여 형성되는 가상 스크린은 투시형 광학계의 구조에 의하여 결정된다. 따라서, 렌즈 구조를 조절하거나 액체 렌즈와 같이 가변형 초점을 가지는 광학 모듈을 채택하여 초점 거리(L1)를 제어할 수 있다.
사용자 스피커(520)는, 시나리오 운영 서버(100)로부터 수신되는 음성 데이터를 기반으로 사용자에게 음성을 제공할 수 있다.
영상 획득부(530)는, 카메라 모듈을 포함할 수 있으며, 사용자 주변의 영상 정보를 획득할 수 있다. 획득된 사용자 주변의 영상 정보는, 시나리오 운영 서버(100)로 전송되어, 가상 객체와의 상호 작용을 위한 정보로 이용될 수 있다.
영상 제어부(540)는, 시나리오 운영 서버(100)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에 기반하여 가상 객체를 사용자 디스플레이(510)에 출력할 수 있다. 영상 제어부(540)는, 가상 객체를 사용자 디스플레이(510)에 출력함에 있어, 센서부(550)로부터 수신되는 6 자유도 정보에 기반하여 영상의 위치를 조절할 수 있다. 이에 따라 사용자 디스플레이(510)에는 정확한 3차원 영상이 출력될 수 있다.
센서부(550)는, 가속도 센서 및 자이로 센서 등을 포함할 수 있으며, 사용자의 6 자유도(6DoF(Degrees of Freedom)) 정보를 실시간으로 획득할 수 있다. 획득된 6 자유도 정보는, 영상 제어부(540)로 전송될 수 있다.
통신부(560)는, 각종 유/무선 통신 방식을 이용하여 시나리오 운영 서버(100)와 데이터를 교환할 수 있다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 가상 사격 훈련을 위한 혼합 현실 체험 공간을 설명하기 위한 예시도이다.
기존의 사격 훈련(또는 게임)은, 사용자 전면(front side)에 배치된 소수의 영상 스크린에 가상의 목표물을 가시화 시키고, 영상 스크린으로부터 원거리에 위치하는 사용자가 무기를 들고 가상의 목표물을 사격하는 형태를 가지고 있었다.
본 발명의 실시 예들에서는, 가상의 목표물을 표현할 수 있는 공간을 스크린 외부 공간까지 확장할 수 있다. 예를 들어, N 스크린 기술의 이용하여 혼합 현실 체험 공간 내에 다수의 스크린을 구현할 수 있다. 또한, 각각의 사용자들(U1, U2, U3)은 사용자 디바이스, 예를 들어 HMD 또는 EGD를 착용할 수 있다. 전술한 바와 같이, 사용자 디바이스에서 측정된 사용자의 6DOF 정보는 시나리오 운영 서버(100)로 전송될 수 있으며, 이에 따라, 시나리오 운영 서버(100)는 사용자 디바이스의 6DOF 정보와 시나리오 메인 출력 장치의 위치를 고려하여 사용자 디바이스(500)에 의하여 형성되는 가상 스크린에 표시될 영상을 사용자 디바이스(500)로 전송할 수 있다.
따라서, 사용자들(U1, U2)은, 시나리오 메인 출력 디바이스(200)에 의하여 형성되는 스크린에 출력될 수 없는 가상의 목표물을 사용자 디바이스를 통하여 볼 수 있다.
한편, 메인 디스플레이(210)에 가시화되고 있는 목표물(T3)이 사용자(U3)의 신체에 접근하여 충돌이 발생하는 상황을 가정하자. 이러한 경우, 메인 디스플레이(210)에 목표물(T3)을 가시화하는 것보다는, 사용자(U3)가 착용한 사용자 디바이스의 디스플레이에 목표물(T3)을 가시화시키는 것이 보다 사실적이고 자연스럽다. 이를 위하여, 전술한 초점 거리(L1, L2)가 이용될 수 있다. 예를 들어, 목표물(T3)을 출력할 위치가 초점 거리(L2)보다 초점 거리(L1)에 더 가까운 경우 사용자 디스플레이(510)에 목표물(T3)이 출력되도록 할 수 있다. 반대로, 목표물(T3)을 출력할 위치가 초점 거리(L1)보다 초점 거리(L2)에 더 가까운 경우 메인 디스플레이(210)에 목표물(T3)이 출력되도록 할 수 있다.
한편, 사용자들(U2, U3)이 실물 사용자 인터페이스(예를 들어, 실물 모형의 소총)를 사용해서 가상의 목표물과 상호 작용한다고 가정한다. 이 때, 사용자들(U2, U3)이 착용한 사용자 디바이스에 내장된 영상 획득부(또는 깊이 정보를 추출하는 센서)를 통하여 사용자의 손 부분에 해당하는 영상을 획득할 수 있고, 획득된 영상은 시나리오 운영 서버로 전송될 수 있다. 이에 따라, 시나리오 운영 서버는, 사용자들(U2, U3)이 사용하는 실물 사용자 인터페이스의 위치에 가상의 사용자 인터페이스(예를 들어, 우주 레이저 총)를 중첩(overlap)하여 가시화 시킬 수 있다. 마찬가지로, 맨 손(bare hand) 또는 스위치 등이 내장 된 실물 사용자 인터페이스를 사용하는 사용자(U1)에 대하여는, 맨 손 또는 해당 실물 사용자 인터페이스의 위치에 가상의 사용자 인터페이스(예를 들어, 우주 레이저 총)를 중첩시켜서 가시화 할 수 있다.
가상 사용자 인터페이스 또한 컴퓨터 시뮬레이션에 의해 제어되므로, 가상의 무기와 가상의 목표물 사이의 상호 작용의 결과(예를 들어, 목표물의 명중 여부)가 표현될 수 있다. 그리고, 혼합 현실 체험 공간 내에 존재하는 사용자 디바이스의 위치와 메인 스피커의 위치를 기반으로 자연스러운 음성 출력이 이루어지게 할 수 있다. 사용자 디바이스의 위치는 사용자 디바이스에 탑재된 센서로부터 획득될 수 있으며, 메인 스피커의 위치는 시스템 운영자에 의하여 제공될 수 있다. 시나리오 운영 서버는, 혼합 현실 체험 공간에 위치하는 스피커들의 위치를 고려하여, 각 스피커들의 채널과 음량을 제어함으로써 자연스러운 음성 출력이 이루어지도록 할 수 있다.
이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.
또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims (1)

  1. 가상 시나리오를 기반으로 혼합 현실 체험 공간에 위치하는 고정형 디스플레이 또는 사용자 착용형 디스플레이에 적어도 하나의 가상 객체를 디스플레이하는 단계;
    상기 가상 객체와 사용자 간의 상호 작용이 감지되는 경우, 감지된 상호 작용에 따른 상호 작용 결과를 생성하는 단계;
    상기 생성된 상호 작용 결과를 기반으로 시나리오 수정을 수행하는 단계; 및
    상기 수정된 시나리오에 따라 상기 고정형 디스플레이 또는 사용자 착용형 디스플레이에 가상 객체를 디스플레이하는 단계
    를 포함하는 혼합 현실 체험 공간 제공 방법.
KR1020150055376A 2015-04-20 2015-04-20 혼합 현실 체험 공간 제공 방법 및 시스템 KR101770188B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150055376A KR101770188B1 (ko) 2015-04-20 2015-04-20 혼합 현실 체험 공간 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150055376A KR101770188B1 (ko) 2015-04-20 2015-04-20 혼합 현실 체험 공간 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160124985A true KR20160124985A (ko) 2016-10-31
KR101770188B1 KR101770188B1 (ko) 2017-08-24

Family

ID=57445819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150055376A KR101770188B1 (ko) 2015-04-20 2015-04-20 혼합 현실 체험 공간 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101770188B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081877A1 (en) * 2018-10-18 2020-04-23 Ha Nguyen Ultrasonic messaging in mixed reality
CN114972818A (zh) * 2022-05-07 2022-08-30 浙江理工大学 一种基于深度学习与混合现实技术的目标锁定系统
US20220343615A1 (en) * 2019-11-05 2022-10-27 Simbionix Ltd. System and method for immerssive mixed reality space(s)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020081877A1 (en) * 2018-10-18 2020-04-23 Ha Nguyen Ultrasonic messaging in mixed reality
US20220343615A1 (en) * 2019-11-05 2022-10-27 Simbionix Ltd. System and method for immerssive mixed reality space(s)
CN114972818A (zh) * 2022-05-07 2022-08-30 浙江理工大学 一种基于深度学习与混合现实技术的目标锁定系统
CN114972818B (zh) * 2022-05-07 2024-05-14 浙江理工大学 一种基于深度学习与混合现实技术的目标锁定系统

Also Published As

Publication number Publication date
KR101770188B1 (ko) 2017-08-24

Similar Documents

Publication Publication Date Title
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
Schmalstieg et al. Augmented reality: principles and practice
KR102517876B1 (ko) 증강 현실 데이터를 레코딩하기 위한 기술
Anthes et al. State of the art of virtual reality technology
US9734633B2 (en) Virtual environment generating system
US20170150108A1 (en) Autostereoscopic Virtual Reality Platform
US10755486B2 (en) Occlusion using pre-generated 3D models for augmented reality
JP2016522463A5 (ko)
US11094107B2 (en) Information processing device and image generation method
EP3106963B1 (en) Mediated reality
KR20210040474A (ko) 거울 메타포를 사용한 원격 몰입 경험 제공
JPWO2015098807A1 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
WO2021106803A1 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
US10955911B2 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
US20220147138A1 (en) Image generation apparatus and information presentation method
CN116210021A (zh) 确定角加速度
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
CN105893452A (zh) 一种呈现多媒体信息的方法及装置
JP2021512402A (ja) マルチビューイング仮想現実ユーザインターフェース
JP2020162083A (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP2021086606A (ja) 授業システム、視聴端末、情報処理方法及びプログラム
KR101893038B1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant