KR20180134522A - 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 - Google Patents

가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20180134522A
KR20180134522A KR1020170072348A KR20170072348A KR20180134522A KR 20180134522 A KR20180134522 A KR 20180134522A KR 1020170072348 A KR1020170072348 A KR 1020170072348A KR 20170072348 A KR20170072348 A KR 20170072348A KR 20180134522 A KR20180134522 A KR 20180134522A
Authority
KR
South Korea
Prior art keywords
user
virtual
space
interaction
size
Prior art date
Application number
KR1020170072348A
Other languages
English (en)
Other versions
KR102395030B1 (ko
Inventor
양웅연
김기홍
김진호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170072348A priority Critical patent/KR102395030B1/ko
Priority to US15/981,526 priority patent/US10599213B2/en
Publication of KR20180134522A publication Critical patent/KR20180134522A/ko
Application granted granted Critical
Publication of KR102395030B1 publication Critical patent/KR102395030B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

가상 콘텐츠 원격 제어 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득하는 단계; 공간 데이터를 기반으로 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성하는 단계; 사용자 인터랙션 영역에 적어도 하나의 개별 공간을 가시화하고, 사용자의 신체와 적어도 하나의 개별 공간에 포함된 가상 객체 간에 상호작용할 수 있는 인터랙션 환경을 제공하는 단계; 및 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 가상 객체를 제어하는 단계를 포함한다.

Description

가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 {METHOD FOR REMOTE CONTROLLING VIRTUAL COMTENTS AND APPARATUS USING THE SAME}
본 발명은 가상 콘텐츠를 원격으로 제어하는 기술에 관한 것으로, 특히 VR(Virtual Reality), AR(Augmented Reality) 및 MR(Mixed Reality) 등의 인터페이스 장치를 이용하는 현실 사용자의 신체와 가상 객체 간에 자연스러운 상호작용이 가능한 환경을 제공하여 가상 콘텐츠를 제어할 수 있는 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치에 관한 것이다.
2012년을 전후로 시야각이 약 100도에 상응하는 높은 수준의 시각적 몰입감을 제시하는 착용형 디스플레이(HMD; Head Mounted Display)를 대중에게 저렴한 가격으로 보급할 수 있는 기술이 개발되어서, HMD는 현재 가상현실 기술 시장의 재부흥기를 선도 하고 있다.
가상현실 기술은 사용자가 체험하는 가상현실 콘텐츠에 대한 실감적인 만족도를 높이기 위해서 하드웨어적인 측면에서의 다양한 감각 지원형 인터페이스가 필요하며, 최근에는 관련 기술의 안정화 및 스타트업 기업의 시작품 출시 사례가 증가하고 있다. 예를 들면, 사용자의 위치 추적을 위한 카메라 기반의 트래킹(tracking) 시스템, 사용자의 전신 동작을 추적하거나, 머리, 손, 손가락의 정밀한 자세와 방향을 추적하는 장치 등이 있다. 그리고, 가상의 물리적인 힘을 표현하고 인식하는 햅틱 기술을 포함하여, 인공적인 3차원 공간감을 제시하는 사운드 출력 및 향기를 제시하는 인터페이스 기술도 소개되고 있다.
또한, 증강 및 혼합현실 기술은 카메라로 획득된 영상의 환경 및 객체에 대한 정보 인식을 기반으로, 인공적인 콘텐츠 정보를 추가하여 특정 목적의 일을 수행하거나, 유사 홀로그램 무대와 같이 광학적으로 합성되는 반투과형 영상을 실제 공간과 혼합하여 특정 이벤트를 수행하는 형태로 응용 기술이 개발되었다.
이와 같이, 가상현실(VR), 증강현실(AR) 및 혼합현실(MR) 기술은 콘텐츠의 체험 시나리오를 중심으로 하드웨어 및 소프트웨어 중심의 단위 기능 구현에 중점을 두고 있는 상태이다. 미래 기술을 선도적으로 연구하는 학계 및 연구계에서는 가상, 증강, 혼합현실 시스템을 통해서 사용자가 이상적인 체험(Presence)을 얻기 위해, 휴먼팩터(human factor) 관점에서 사람의 인지 과정에 대한 적절한 피드백을 자연스럽게 제공할 것을 권고하고 있다.
그러나, 현재 하드웨어 및 소프트웨어 기술은 인간의 감각에 대해서 현실과 가상을 구분할 수 없는 수준으로 완벽한 수준의 피드백 효과를 재현할 수 없기 때문에, 현실적으로는 인간의 인지 특성을 기반으로 하드웨어 및 소프트웨어의 제어 가능 요소를 조정하는 기술을 연구 개발하고 있다. 이와 동일한 목적으로 수행되는 대표적인 연구가 콘텐츠 시나리오와 사용자 및 하드웨어 환경의 조건을 최적화 시키면서 적절한 피드백을 제시하는 방법을 연구하는 상호작용 기술(interaction technology) 분야 이다.
한국 공개 특허 제10-2012-0117104호, 2012년 10월 24일 공개(명칭: 가상현실 런닝머신)
본 발명의 목적은 가상현실, 증강현실 및 혼합현실에 의한 콘텐츠를 원격지에서 참여하는 사용자들의 몰입감을 향상시켜 서비스 품질과 사용자 만족도의 수준을 향상시키는 것이다.
또한, 본 발명의 목적은 사용자가 자신을 중심으로 제시되는 다중 감각 정보를 대상으로 가상 객체를 직관적으로 조작할 수 있는 환경을 제공하는 것이다.
또한, 본 발명의 목적은 가상 콘텐츠에 대한 모션 플랫폼을 통해 현장에서 가상 콘텐츠를 이용하는 현장 사용자와 원격 사용자가 마치 같은 공간에서 가상 콘텐츠를 이용하는 듯한 느낌을 제공하는 것이다.
또한, 본 발명의 목적은 가상 콘텐츠를 이용하기 위해서 새로운 기술이나 인터페이스에 대한 별도의 학습 과정을 필요하지 않도록 사용자에게 편의성을 제공할 수 있는 상호작용 기술을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상 콘텐츠 원격 제어 방법은 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득하는 단계; 상기 공간 데이터를 기반으로 상기 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 상기 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성하는 단계; 상기 사용자 인터랙션 영역에 상기 적어도 하나의 개별 공간을 가시화하고, 상기 사용자의 신체와 상기 적어도 하나의 개별 공간에 포함된 가상 객체 간에 상호작용할 수 있는 인터랙션 환경을 제공하는 단계; 및 상기 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 상기 가상 객체를 제어하는 단계를 포함한다.
이 때, 사용자 인터랙션 영역은 상기 사용자의 신체를 고려한 사용자 작업 가능 영역과 상기 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 상기 사용자 작업 가능 영역에 상기 적어도 하나의 개별 공간을 포함시키고, 상기 적어도 하나의 개별 공간 중 상기 교집합 영역에 상응하는 부분을 가시화할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 상기 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 상기 인터랙션 환경을 제공할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교하는 단계; 및 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 상기 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 상기 사용자 인터랙션 영역에 제공하는 단계를 포함할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 상기 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 상기 적어도 하나의 개별 공간의 크기를 상기 사용자의 신체 크기에 상응하게 조절하는 단계를 더 포함할 수 있다.
이 때, 사용자 작업 가능 영역은 상기 사용자의 신체 사이즈 정보, 기설정된 기간 동안 수집한 사용자 움직임 정보 및 상기 사용자에 상응하게 측정된 신체 도달 가능 범위 중 적어도 하나를 고려하여 생성될 수 있다.
이 때, 생성하는 단계는 상기 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N 차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 상기 적어도 하나의 개별 공간을 생성할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 헤드 트래킹(Head Tracking) 및 시선 트래킹(Eye Tracking) 중 적어도 하나의 방식을 기반으로 상기 사용자의 시선 방향을 검출하는 단계; 및 상기 시선 방향을 기반으로 상기 표시 가능 범위를 감지하여, 상기 표시 가능 범위가 변경되는 경우에 변경된 표시 가능 범위에 상응하게 상기 교집합 영역을 실시간으로 추출하는 단계를 포함할 수 있다.
이 때, 생성하는 단계는 상기 가상 공간을 가상 콘텐츠 시나리오를 기반으로 복수개의 분할 그룹들로 재배치하는 단계; 및 상기 복수개의 분할 그룹들을 배치된 순서에 따라 융합하여 상기 적어도 하나의 개별 공간을 생성하는 단계를 포함할 수 있다.
이 때, 인터랙션 환경을 제공하는 단계는 적어도 하나의 출력 모듈을 기반으로 가상 콘텐츠에 의해 발생하는 이벤트 효과를 상기 사용자에게 출력하는 단계를 더 포함할 수 있다.
이 때, 가상 공간은 3차원으로 정의되는 가상 공간 및 3차원 이상의 다차원으로 정의되는 논리적인 가상 공간 중 적어도 하나에 상응할 수 있다.
이 때, 획득하는 단계는 IPC(Internet Process Communication) 및 RPC(Remote Process Communication) 중 어느 하나를 기반으로 상기 공간 데이터를 획득할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 장치는, 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득하는 통신부; 상기 공간 데이터를 기반으로 상기 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 상기 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성하는 변환부; 상기 사용자 인터랙션 영역에 상기 적어도 하나의 개별 공간을 가시화하고, 상기 사용자의 신체와 상기 적어도 하나의 개별 공간에 포함된 가상 객체 간의 상호작용할 수 있는 인터랙션 환경을 제공하는 처리부; 및 상기 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 상기 가상 객체를 제어하는 제어부를 포함한다.
이 때, 사용자 인터랙션 영역은 상기 사용자의 신체를 고려한 사용자 작업 가능 영역과 상기 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응할 수 있다.
이 때, 처리부는 상기 사용자 작업 가능 영역에 상기 적어도 하나의 개별 공간을 포함시키고, 상기 적어도 하나의 개별 공간 중 상기 교집합 영역에 상응하는 부분을 가시화할 수 있다.
이 때, 처리부는 상기 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 상기 인터랙션 환경을 제공할 수 있다.
이 때, 처리부는 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교하고, 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 상기 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 상기 사용자 인터랙션 영역에 제공할 수 있다.
이 때, 처리부는 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 상기 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 상기 적어도 하나의 개별 공간의 크기를 상기 사용자의 신체 크기에 상응하게 조절할 수 있다.
이 때, 사용자 작업 가능 영역은 상기 사용자의 신체 사이즈 정보, 기설정된 기간 동안 수집한 사용자 움직임 정보 및 상기 사용자에 상응하게 측정된 신체 도달 가능 범위 중 적어도 하나를 고려하여 생성될 수 있다.
이 때, 변환부는 상기 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N 차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 상기 적어도 하나의 개별 공간을 생성할 수 있다.
이 때, 처리부는 헤드 트래킹(Head Tracking) 및 시선 트래킹(Eye Tracking) 중 적어도 하나의 방식을 기반으로 상기 사용자의 시선 방향을 검출하고, 상기 시선 방향을 기반으로 상기 표시 가능 범위를 감지하여, 상기 표시 가능 범위가 변경되는 경우에 변경된 표시 가능 범위에 상응하게 상기 교집합 영역을 실시간으로 추출할 수 있다.
이 때, 변환부는 상기 가상 공간을 가상 콘텐츠 시나리오를 기반으로 복수개의 분할 그룹들로 재배치하고, 상기 복수개의 분할 그룹들을 배치된 순서에 따라 융합하여 상기 적어도 하나의 개별 공간을 생성할 수 있다.
이 때, 처리부는 적어도 하나의 출력 모듈을 기반으로 가상 콘텐츠에 의해 발생하는 이벤트 효과를 상기 사용자에게 출력할 수 있다.
이 때, 가상 공간은 3차원으로 정의되는 가상 공간 및 3차원 이상의 다차원으로 정의되는 논리적인 가상 공간 중 적어도 하나에 상응할 수 있다.
이 때, 통신부는 IPC(Internet Process Communication) 및 RPC(Remote Process Communication) 중 어느 하나를 기반으로 상기 공간 데이터를 획득할 수 있다.
본 발명에 따르면, 가상현실, 증강현실 및 혼합현실에 의한 콘텐츠를 원격지에서 참여하는 사용자들의 몰입감을 향상시켜 서비스 품질과 사용자 만족도의 수준을 향상시킬 수 있다.
또한, 본 발명은 현실과 가상 세계의 존재감의 차이를 최소화 시키는 높은 수준의 체험(Presence)을 사용자에게 제공할 수 있다.
또한, 본 발명은 사용자가 자신을 중심으로 제시되는 다중 감각 정보를 대상으로 가상 객체를 직관적으로 조작할 수 있는 환경을 제공할 수 있다.
또한, 본 발명은 가상 콘텐츠에 대한 모션 플랫폼을 통해 현장에서 가상 콘텐츠를 이용하는 현장 사용자와 원격 사용자가 마치 같은 공간에서 가상 콘텐츠를 이용하는 듯한 느낌을 제공할 수 있다.
또한, 본 발명은 가상 콘텐츠를 이용하기 위해서 새로운 기술이나 인터페이스에 대한 별도의 학습 과정을 필요하지 않도록 사용자에게 편의성을 제공할 수 있는 상호작용 기술을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 가상 콘텐츠 원격 제어 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 가상 콘텐츠 원격 제어 과정 중 공간 변환 과정의 일 예를 나타낸 도면이다.
도 5 내지 도 6은 본 발명에 따른 가상 콘텐츠 원격 제어 시스템의 구현 예를 나타낸 도면이다.
도 7는 본 발명에 따른 사용자 인터랙션 영역을 결정하여 가시화하는 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 장치를 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 시스템은 원거리에 위치하는 현실 공간에 대한 가상 공간(110), 인터랙션 장치(120) 및 사용자(130)를 포함한다.
이 때, 가상 공간(110)은 사용자(130)와는 거리상으로 멀리 떨어져 있는 현실 공간에서 서비스 되고 있는 가상 콘텐츠에 의해 생성된 것일 수 있다.
즉, 가상 공간(110)이 서비스 되고 있는 현실 공간에는 현장에서 직접 가상 콘텐츠를 이용하는 사용자들이 존재할 수 있다.
이 때, 도 1에 도시된 사용자(130)는 가상 콘텐츠가 제공되는 현실 공간과는 멀리 떨어진 곳에서 네트워크 및 가상, 증강, 혼합 현실 디바이스 중 적어도 하나를 기반으로 가상 콘텐츠를 이용 및 체험하는 사용자에 상응할 수 있다. 즉, 사용자(130)는 원격지에 해당하는 현장에서 직접 가상 콘텐츠를 이용하는 사용자와 가상 공간(110)을 공유하여 사용할 수 있다.
이 때, 인터랙션 장치(120)는 사용자(130)가 가상 콘텐츠에 의한 가상 공간(110)과 상호작용(interaction)하여, 가상 공간에 존재하는 가상 객체를 제어할 수 있는 인터랙션 환경을 사용자(130)에게 제공할 수 있다.
이 때, 인터랙션 장치(120)는 HMD(Head Mounted Display)와 같은 착용형 디바이스를 착용한 사용자가 자신의 신체를 직접 이용하여 가상 객체를 제어할 수 있는 인터랙션 환경을 제공할 수 있다. 즉, 키보드, 마우스 또는 조이스틱과 같은 컨트롤러를 이용하지 않고, 사용자의 손이나 음성 등을 이용하여 직관적으로 가상 객체를 제어할 수 있는 환경을 제공할 수 있다.
이와 같은 직관적인 인터랙션 환경을 제공함으로써 사용자는 보다 수월하게 가상 콘텐츠를 체험할 수 있고, 실제로 가상 콘텐츠에 자신이 존재하는 것과 같은 느낌의 몰입감을 느낄 수도 있다.
이 때, 인터랙션 장치(120)는 가상 공간에 대한 공간 데이터를 획득하여, 가상 공간을 인터랙션 환경으로 제공 가능한 개별 공간으로 변형할 수 있다.
이 때, 개별 공간은 가상 공간에 대해 회전(rotation), 이동(translation), 크기(scale) 변환 및 N 차원으로의 투영(projection) 중 적어도 하나를 수행하여 생성될 수 있다.
이 때, 가상 공간을 가상 콘텐츠 시나리오에 따라 복수개의 분할 그룹들로 재배치할 수 있고, 재배치된 순서에 따라서 융합하여 개별 공간을 생성할 수 있다.
이 때, 개별 공간은 사용자에 상응하게 결정된 사용자 인터랙션 영역을 고려하여 생성될 수 있다.
이 때, 사용자 인터랙션 영역은 인터랙션 장치(120)를 통해 제공되는 인터랙션 환경에서 사용자가 실제로 신체를 이용하여 가상 객체를 제어할 수 있는 공간에 해당할 수 있다. 따라서, 사용자 인터랙션 영역은 사용자의 신체 조건 상 작업이 가능한 영역에 해당하되, 사용자가 착용하는 착용형 디스플레이를 통해 표시 가능한 범위에 상응하게 결정될 수 있다.
따라서, 인터랙션 장치(120)는 가상 공간을 사용자 인터랙션 영역에 최적화될 수 있는 형태로 변형하여 개별 공간을 생성한 뒤, 생성된 개별 공간을 사용자 인터랙션 영역에 가시화할 수 있다.
사용자(130)는 착용형 디스플레이를 통해 사용자 인터랙션 영역에 가시화된 개별 공간에서 가상 콘텐츠에 상응하는 가상 객체를 제어할 수 있다.
이 때, 사용자(130)는 자신의 신체를 이용하여 멀티모달(multimodal) 방식으로 가상 객체와 상호작용할 수 있고, 사용자의 신체 크기와 가상 객체 크기의 비율을 고려하여 별도의 가상 인터랙션 도구를 통해 가상 객체를 제어할 수도 있다.
이 때, 사용자(130)가 가상 객체를 제어한 결과는 실시간으로 가상 콘텐츠에 반영되므로, 가상 공간(110)이 서비스 되고 있는 현실 공간의 현장에서 직접 가상 콘텐츠를 이용하는 사용자들도 사용자(130)에 의한 제어 결과를 확인할 수 있다.
또한, 현장에서 직접 가상 콘텐츠를 이용하는 사용자들에 의해서 가상 공간(110)에 특정 이벤트가 발생한 경우, 사용자(130)에게도 해당 이벤트에 관련된 출력을 제공할 수 있다. 이 때, 이벤트에 의한 효과가 존재하는 경우에는 사용자(130)의 주변에 구비된 별도의 출력기기 및 엑추에이터 등을 통해 사용자(130)에게 이벤트 효과를 제공할 수도 있다.
이와 같은 가상 콘텐츠 제어 시스템을 통해서 온라인 네트워크 기반의 원격지 참여자가 가상현실 공간에 접속했을 경우, 현실 공간의 참여자가 인지하고 행위하는 공간과 원격지의 가상공간이 연계됨으로써 제어되는 가상객체의 행위 및 그 인지 수준을 자연스럽게 일치시키는 인터페이스를 제공할 수 있다.
즉, 단순하게 원격지에서 조종기(controller)를 통해서 임의의 객체를 제어하는 기존의 기술과는 다르게, 사용자 자신이 가상 객체에 빙의(possession)되어서 가상 이동(navigation)할 수 있다. 또한, 3인칭 시점(god's view 또는 bird's view)에서 가상 공간의 모든 상황을 관찰 및 통제하면서 다른 사용자들과 긴밀하게 상호작용함으로써 가상 콘텐츠의 이벤트를 보다 수월하게 제어할 수도 있다.
도 2는 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득한다(S210).
이 때, 원거리에 위치하는 현실 공간에 별도의 통신 모듈이 구비될 수 있고, 별도의 통신 모듈을 기반으로 공간 데이터를 전송 받을 수 있다.
이 때, 공간 데이터를 가상 공간을 구성할 수 있는 데이터에 상응할 수 있다.
이 때, 가상 공간은 3차원으로 정의되는 가상 공간 및 3차원 이상의 다차원으로 정의되는 논리적인 가상 공간 중 적어도 하나에 상응할 수 있다.
이 때, 가상 공간은 가상 콘텐츠의 시나리오를 고려하여 하나 또는 복수개가 존재할 수 있다.
이 때, IPC(Internet Process Communication) 및 RPC(Remote Process Communication) 중 어느 하나를 기반으로 공간 데이터를 획득할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 공간 데이터를 기반으로 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성한다(S220).
이 때, 사용자 인터랙션 영역은 사용자의 신체를 고려한 사용자 작업 가능 영역과 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응할 수 있다.
이 때, 사용자 작업 가능 영역은 사용자의 신체 사이즈 정보, 기설정된 기간 동안 수집한 사용자 움직임 정보 및 사용자에 상응하게 측정된 신체 도달 가능 범위 중 적어도 하나를 고려하여 생성될 수 있다.
따라서, 사용자의 작업 가능 영역은 사용자마다 상이하게 설정될 수 있으며, 사용자의 접속 정보와 매칭되어 저장 및 보관될 수도 있다.
이 때, 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 적어도 하나의 개별 공간을 생성할 수 있다.
예를 들어, 가상 공간이 사용자의 신체 사이즈를 고려하여 결정되는 사용자 인터랙션 영역과 서로 다른 크기 비율에 해당하는 경우에 크기 변환을 통해 사용자의 신체 사이즈에 적합한 크기로 개별 공간을 생성할 수 있다.
다른 예를 들어, 가상 공간이 시각적으로 표현하기 어려운 3차원 이상의 가상 공간에 상응하는 경우에는 사용자가 시각적으로 확인하여 제어할 수 있는 N차원으로 투영한 개별 공간을 생성할 수도 있다.
이 때, 가상 공간을 가상 콘텐츠 시나리오를 기반으로 복수개의 분할 그룹들로 재배치할 수 있고, 복수개의 분할 그룹들을 재배치된 순서에 따라 융합하여 적어도 하나의 개별 공간을 생성할 수 있다.
예를 들어, 가상 공간은 시각적으로 표현하기 어려운 다차원의 공간에 해당할 수도 있고, 사용자의 신체 사이즈에 비교하여 너무 크거나 너무 작게 형성된 공간에 상응할 수도 있다. 따라서, 이러한 다양한 가상 공간에 포함된 가상 콘텐츠들을 사용자가 사용자 인터랙션 영역에서 수월하게 제어하기 위해서는 가상 공간의 차원을 사용자에 상응하게 변환하거나 크기를 변환하는 방식으로 재배치를 수행할 수 있다. 즉, 이와 같이 재배치되어 생성된 가상 공간이 사용자가 직접 상호작용하기 위한 적어도 하나의 개별 공간에 상응할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 사용자 인터랙션 영역에 적어도 하나의 개별 공간을 가시화하고, 사용자의 신체와 적어도 하나의 개별 공간에 포함된 가상 객체 간에 상호작용할 수 있는 인터랙션 환경을 제공한다(S230).
이 때, 사용자는 가상 현실(VR), 증강 현실(AR) 또는 혼합 현실(MR)을 위한 착용형 디스플레이를 착용하여 가시화된 개별 공간을 시각적으로 확인할 수 있다.
이 때, 사용자 작업 가능 영역에 적어도 하나의 개별 공간을 포함시키고, 적어도 하나의 개별 공간 중 교집합 영역에 상응하는 부분을 가시화할 수 있다.
즉, 가상 공간을 변환시킨 개별 공간을 사용자 작업 가능 영역에 포함시켜서 사용자가 제어 가능한 상태로 준비하되, 실제로 사용자가 제어할 것으로 예상되는 착용형 디스플레이의 표시 가능 범위에 해당하는 교집합 영역을 가시화하여 사용자에게 보여줄 수 있다.
이 때, 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 인터랙션 환경을 제공할 수 있다. 예를 들어, 사용자의 손이나 손가락은 물론이고, 음성, 머리 움직임, 시선 등 다양한 직간접적 상호작용 방법으로 가상 객체를 제어할 수 있는 환경을 제공할 수 있다.
이 때, 사용자의 신체 크기와 가상 객체의 크기를 비교할 수 있고, 비교한 결과, 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 인터랙션 영역에 제공할 수 있다.
즉, 가상 공간이 사용자가 상호작용하기 위한 사용자 인터랙션 영역으로 제시될 때, 사용자의 신체 크기와는 다른 비율로 제시 되는 경우, 사용자의 손이나 손가락이 가상 객체와 일대일 크기가 아니므로 상호작용에 불편한 상황이 발생할 수 있다. 이와 같은 경우 간접적인 상호작용 수단(interaction metaphor)으로써 가상 인터랙션 도구를 제공할 수 있다.
이 때, 사용자가 가상 객체와 직접 상호작용하려는 신체 부위에 가상 객체와 상호작용하기에 적합한 가상 인터랙션 도구를 중첩(overlay, superimpose)시켜서 도구(tool)처럼 활용할 수 있다.
예를 들면, 사용자가 가상 소인국 콘텐츠에 참여하는 경우에 사용자 인터랙션 영역으로 가상 공간이 축소되어 제공되었다고 가정한다면, 사용자의 손이 가상 객체에 상대적으로 매우 크기 때문에 가상 객체를 선택하거나 제어하기 어려울 수 있다. 이러한 경우에는 사용자의 손 끝에 축소된 미니 월드에 적합한 소형 가상 인터랙션 도구(virtual interaction tool)를 가시화시켜 제공할 수 있다. 이 때, 사용자의 손의 6자유도 정보(6DOF; x, y, z, pitch, yaw, roll)와 연계되어서 제어되거나, 사용자의 손의 모양(hand posture) 및 음성, 시선 명령 등에 연계된 방법으로 가상 인터랙션 도구의 구체적인 위치, 자세 및 기구적 동작 제어가 실행되도록 할 수도 있다. 이와 같은 제어를 통해 사용자는 미니월드의 가상 객체와 자신의 신체 부분이 직접 연계되어 상호작용할 수 있는 느낌을 체험할 수 있으며, 가상 콘텐츠상의 가상 세계에서도 자연스럽게 연계(seamless control)되어 원격지 공간의 크기 비율로 변환된 상황에서 이벤트가 실시간으로 일어나는 것으로 표현될 수 있다.
다른 예를 들어, 사용자가 가상 거인국 콘텐츠에 참여하여 가상의 공간이 사용자 인터랙션 영역에 표현하기에 매우 큰 공간이라고 가정할 수 있다. 이러한 경우에는 사용자의 손에 거대한 가상 공간의 가상 객체와 상호작용할 수 있도록 실 공간보다 큰 부피를 가지는 가상 인터랙션 도구를 가시화 시켜서 직접적인 상호작용을 지원할 수도 있다.
이 때, 사용자의 신체 크기와 가상 객체의 크기를 비교한 결과, 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 적어도 하나의 개별 공간의 크기를 사용자의 신체 크기에 상응하게 조절할 수 있다.
즉, 상기의 예를 들어, 사용자가 가상 거인국 콘텐츠에 참여한 경우, 거대한 가상 공간을 사용자 신체 크기와 동일한 비율로 축소시켜서, 거인국 콘텐츠이지만 일반 사람의 세상이 된 것처럼 자연스럽게 크기를 조정하여 상호작용할 수 있도록 지원할 수도 있다.
이 때, 헤드 트래킹(Head Tracking) 및 시선 트래킹(Eye Tracking) 중 적어도 하나의 방식을 기반으로 사용자의 시선 방향을 검출할 수 있다.
이 때, 시선 방향을 기반으로 표시 가능 범위를 감지하여, 표시 가능 범위가 변경되는 경우에 변경된 표시 가능 범위에 상응하게 교집합 영역을 실시간으로 추출할 수 있다.
이 때, 적어도 하나의 출력 모듈을 기반으로 가상 콘텐츠에 의해 발생하는 이벤트 효과를 사용자에게 출력할 수 있다.
예를 들어, 가상 콘텐츠의 가상 공간이 꽃밭으로 변경되는 경우에는 사용자의 후각을 자극할 수 있는 출력 모듈을 통해 꽃향기를 제공함으로써 사용자가 실제로 꽃밭에 존재하는 것과 같은 몰입감을 제공할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 가상 객체를 제어한다(S240).
예를 들어, 사용자는 기존의 버튼이나 조이스틱을 조작하여 자신의 행위와 연계된 가상의 아바타를 조작하는 것과 같이 손이나 손가락으로 가상의 아바타를 조작하거나 가상 객체의 네비게이션을 제어할 수 있다.
이 때, 사용자가 제어한 결과는 실시간으로 가상 콘텐츠에 반영되어, 가상 콘텐츠를 이용 또는 체험하는 다른 사용자들에게도 제어결과가 반영된 가상 공간이 제공될 수 있다.
또한, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 방법은 상술한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장한다.
이와 같이 가상 콘텐츠 원격 제어 방법을 이용함으로써, 가상현실, 증강현실 및 혼합현실에 의한 콘텐츠를 원격지에서 참여하는 사용자들의 몰입감을 향상시켜 서비스 품질과 사용자 만족도의 수준을 향상시킬 수 있다.
또한, 현실과 가상 세계의 존재감의 차이를 최소화 시키는 높은 수준의 체험(Presence)을 사용자에게 제공할 수 있으며, 사용자가 자신을 중심으로 제시되는 다중 감각 정보를 대상으로 가상 객체를 직관적으로 조작할 수 있다.
도 3은 본 발명에 따른 가상 콘텐츠 원격 제어 과정의 일 예를 나타낸 도면이다.
도 3을 참조하면, 본 발명에 따른 가상 콘텐츠 원격 제어를 위해서는 사용자(370)와는 원거리의 현실 공간(300)에 존재하는 가상 공간(301, 302)을 자기동작감각(proprioception sense) 및 시감각(visual sense)이 일치되는 사용자(370)의 상호작용 공간으로 매핑할 수 있다.
이 때, 가상 공간(301, 302)은 도 3에 도시된 것과 같이 임의의 크기와 공간 배치 구조를 가지고 있는 현실 공간이나 가상현실 콘텐츠를 통해 3차원으로 정의되는 가상 공간(301)이나 단순히 시각적으로 표현할 수 없는 3차원 이상의 N차원으로 정의되는 논리적인 다차원 가상 공간(302)에 해당할 수 있다.
이 때, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 장치는 IPC(Internal Process Communication)또는 RPC(Remote Process Communication) 통신(310)를 통해서 가상 공간(301, 302)에 해당하는 공간 데이터를 획득할 수 있다.
예를 들어, 가상 공간(301, 302)이 생성되는 현실 공간에 설치된 통신모듈이 가상 공간(301, 302)에 해당하는 공간 데이터를 사용자(370)가 위치하는 지역(local space)에 구비된 가상 콘텐츠 원격 제어 장치로 전송할 수 있다.
이 때, 가상 콘텐츠 원격 제어 장치는 일정한 사전 규칙 또는 사용자(370)의 저작(authoring) 명령에 따라서 가상 공간(301, 302)을 회전(rotation), 이동(translation), 크기(scale)변환 및 P차원으로의 투영(projection) 중 적어도 하나에 상응하는 공간 변환 처리를 수행하여(S320), 개별 공간(321, 322)으로 변환할 수 있다.
이 때, 개별 공간(321, 322)은 하나의 개별 공간으로 생성되어, 생성된 개별 공간의 상대적인 위치 및 속성 값이 사용자 인터랙션 영역에 상응하게 변환될 수 있다. 또한, 개별 공간(321, 322)은 부분적으로 그룹화되어 연속적 또는 불연속적으로 통합된 이후에 사용자 인터랙션 영역에 상응하게 변환될 수도 있다(S330).
이 때, 개별 공간(321, 322)은 원격지(remote)에서 로컬(local)로 전송됨에 따라 사용자 인터랙션 영역에 상응하게 변환되는 것으로, 상대적인 위치 및 속성 값의 변환(매핑) 관계가 정의될 수 있다. 따라서, 역방향(local -> remote)으로 정보가 전송될 때에는 그 역의 함수 관계로 정보가 변환(통합->분리) 될 수 있다.
이 후, 사용자 인터랙션 영역에 상응하는 멀티모달(multimodal) 인터랙션 방식에 상응하는 환경이 제공될 수 있다(S340).
이 때, 사용자 인터랙션 영역은 사용자(370)와 사용자 주변의 환경(IoT)에 대한 정보를 획득하고(S350), 획득한 정보를 기반으로 가시화 및 직접 상호작용 공간 최적화를 수행하여(S360) 결정될 수 있다.
이 때, 가상현실(VR), 증강현실(AR) 또는 혼합현실(MR) 서비스를 이용하기 위해 착용형 디스플레이를 착용한 사용자(370)는 자신의 몸을 기준으로 신체가 쉽게 도달할 수 있는 거리로 정의되는 근신 공간 범위내의 작업 가능 영역(371)과 착용형 디스플레이의 표시 가능 범위(372)의 교집합 영역에 상응하는 사용자 인터랙션 영역을 대상으로 가상 객체와의 상호작용을 수행할 수 있다.
사용자(370)는 시선, 머리의 움직임, 음성, 손 제스쳐 및 직접 3차원 객체를 만지고 조작하는 등의 직간접적 멀티모달 상호작용 방법으로 가상 객체와 상호작용을 할 수 있다.
이 때, 작업 가능 영역(371)은 인간공학 기반으로 개인 사용자가 작업 가능한 범위에 포함되는 영역에 상응할 수 있다.
이 때, 표시 가능 범위(372)는 시야(field of view)로 정의 되는 가상의 절두체(virtual frustum) 공간에 상응할 수 있다.
이 때, 가상 콘텐츠 원격 제어 장치는 IoT 디바이스와 같이 사용자(370)의 주변에 설치된 센서들을 기반으로 사용자(370)의 행위나 가상 콘텐츠 진행에 필요한 주변 환경의 정보를 취득해서 원격으로 전송할 수 있다. 또한, 원격지의 정보나 현장에서 발생되는 가상의 특수 효과를 별도의 출력 모듈(actuator)을 통해 사용자(370)에게 전달할 수도 있다(S380).
도 4는 본 발명에 따른 가상 콘텐츠 원격 제어 과정 중 공간 변환 과정의 일 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명에 따른 공간 변환 과정은 먼저 원거리의 현실 공간(400)에 분산해서 존재하는 다수의 가상 공간(401~403) 및 N차원의 정보로 정의되는 공간(404)을 변환하여 변환된 공간(411~414)을 생성할 수 있다.
이 후, 가상 콘텐츠의 시나리오에 따라서 각각의 변환된 공간(411~414)을 연결하거나 또는 분할 그룹으로 재배치 할 수 있다.
이와 같은 과정을 통해 원격지에 존재하는 다수의 가상 공간(401~404)들이 사용자(430)가 직접 상호작용이 가능한 사용자 인터랙션 영역(440) 안에 들어올 수 있도록 변형될 수 있다.
이 때, 사용자(430)는 사용자 인터랙션 영역(440)에 존재하는 가상 콘텐츠를 관찰하고 직접적 또는 간접적으로 상호작용 할 수 있다. 예를 들어, 가상 콘텐츠에 포함된 가상 객체를 선택하여 조작하거나, 공간을 이동하는 등의 상호작용을 수행할 수 있다.
또한, 본 발명에 따른 가상 콘텐츠 원격 제어 장치는 사용자(430)가 사용자 인터랙션 영역(440) 안에 있는 가상 객체를 만지거나 터치 및 선택 할 때, 사용자 신체의 크기와 가상 객체의 크기의 비율을 고려하여 가상 객체의 크기 수준에 적합한 가상 인터랙션 도구(431)를 제공할 수 있다. 즉, 사용자 인터랙션 영역(440) 내에 가시화되는 개별 공간이 축소된 mini-world의 형태로 표현되는 경우, 사용자(430)의 손의 크기는 상대적으로 크게 보이게 되므로 축소된 가상 객체를 선택하거나 조작하는 등의 직접적인 상호작용이 어려울 수 있다. 따라서, 사용자(430)가 보다 수월하게 가상 콘텐츠를 제어할 수 있도록 상호작용에 적합한 가상 인터랙션 도구(431)를 제공할 수 있다.
이 때, 사용자(430)의 손이나 손가락의 위치에 가상 인터랙션 도구(431)가 중첩하거나 또는 사용자(430)의 손을 가상 인터랙션 도구(431)로 대체하는 방식으로 상호작용을 위한 도구(metaphor)를 제공할 수 있다.
이 때, 사용자(430)가 자신을 중심으로 정의되는 신체 주변 공간(local space)에서 가상 콘텐츠의 전체 공간(world space)을 모두 관찰하면서 직접 가상 객체를 제어하는 상호작용을 수행하면, 원격지 공간(remote)에서는 마치 가상 콘텐츠 내부의 세상 전체를 관장하는 신(God)이 존재하는 것처럼 각각의 세계와 상호작용하는 시나리오를 자연스럽게 연출할 수 있다.
이 때, 가상 콘텐츠 원격 제어 장치는 IoT 센서 액추에이터(450)와 같은 출력 모듈을 통해 가상 콘텐츠 내에서 발생하는 이벤트에 의한 효과를 사용자(430)에게 제공함으로써 사용자(430)의 몰입감을 향상시킬 수도 있다.
도 5 내지 도 6은 본 발명에 따른 가상 콘텐츠 원격 제어 시스템의 구현 예를 나타낸 도면이다.
도 5 내지 도 6을 참조하면, 원거리의 현실 공간(510)에는 다수의 동종(homogeneous) 및 이기종(heterogeneous)의 가상현실 체험 시스템을 통해서 온라인 네트워크로 가상 전장(virtual battle field) 게임에 참여하는 현장 사용자들(511~513)과 서비스 콘텐츠가 존재할 수 있다.
이 때, 본 발명의 주요 활용 대상이 되는 원격 사용자(531, 532)가 가상현실, 증강현실 또는 혼합현실 서비스를 위한 디스플레이 안경을 착용하면, 원격지에서 서비스되고 있는 인터랙티브 VR 콘텐츠(520)의 현재 상황이 원격 사용자(531, 532)의 근신공간 내부에 들어올 정도의 크기로 변환(scale down)되어 자연스러운 위치 이동 및 직관적인 시점 이동을 통해서 관찰할 수 있는 상황이 제공된다.
이 때, 원격지의 분산형 게임 시스템을 사용하는 현장 사용자들(511~513)의 개별적인 공간과 행위는 인터랙티브 VR 콘텐츠(520)에서 특정한 하나의 가상 공간(521)에 표현될 수 있으며, 그 상황이 도 6에 도시된 것과 같이 원격 사용자(531, 532)의 사용자 인터랙션 영역(600)에 mini-world의 형태로 실시간으로 재현될 수 있다.
이 때, 원격 사용자(531)는 특정한 하나의 가상 공간(521)의 다수의 다른 참여자 또는 게임 속의 가상 객체와 상호작용을 하기 위해서, 직접 사용자 인터랙션 영역(600) 내부의 가상 객체를 잡아서 이동시키거나, 3차원 그래픽 인터페이스 메뉴(3D User interface), 제스쳐, 음성 인터페이스 및 환경에 배치된 센서 등을 통해서 명령을 입력할 수 있다.
또한, 인터랙티브 VR 콘텐츠(520)에 포함된 가상 공간에 의해 발생할 수 있는 충돌, 빛, 바람, 소리 및 향기 등의 물리적인 특수 효과는 사용자(531)가 착용하는 스마트 밴드나 햅틱 슈트 및 사용자(531)의 주변에 존재하는 오감 인터페이스 및 액츄에이터(진동 의자, 냉온열기, 발향 장치 등)를 통해서 제공될 수 있다.
도 7는 본 발명에 따른 사용자 인터랙션 영역을 결정하여 가시화하는 과정의 일 예를 나타낸 도면이다.
도 7을 참조하면, 본 발명에 따른 사용자가 직접 자신의 신체를 사용해서 가상 객체와 상호작용할 수 있는 사용자 인터랙션 영역을 설정하는 작업을 수행할 수 있다.
이 때, 인간공학적 방법론에 의해서 특정한 신체 치수 정보를 가지는 사용자가 자연스럽게 도달 가능한 작업 가능 영역을 탐색할 수 있다(S702).
이 때, 작업 가능 영역은 기본 정의 공간(super set)을 기준으로 가상 콘텐츠의 시나리오에 적합하게 미리 설계된 부분 공간(sub set)을 사전에 정의된 근신공간 중에서 선택하여 사용자가 명령 입력 인터페이스(예; 2DGUI, 3DGUI, 버튼, 음성 명령 등)고를 수 있다(S704).
또는, 사용자의 신체 사이즈에 따라 작업 가능 영역이 달라질 수 있으므로, 사용자에 따른 다양한 신체 사이즈 조건을 실시간으로 반영하기 위해서, 사용자 작업 가능 공간 탐색 작업을 거쳐서 작업 가능 영역을 정의할 수 있다(S706).
예를 들어, 사용자의 손이나 손가락의 공간적 위치를 추적하는 센서를 통해서 사용자가 미리 약속된 행위(인간공학 연구에서 사용자의 동작 범위를 추출하는 일련의 자세들의 집합)를 하거나, 일정 시간 동안 자유롭게 신체 움직임을 하도록 유도하여 사용자 신체 도달 가능 범위를 추출함으로써 작업 가능 영역을 정의할 수 있다. 또한, 가상 콘텐츠의 시나리오상으로 상호작용이 필요한 위치에 시청각적으로 특정 자극을 제시하고, 사용자가 직접 해당 위치를 터치하도록 하는 방법으로 사용자 신체 도달 가능 범위를 추출하여 작업 가능 영역을 정의할 수도 있다.
또는, 직접 조작형 가상현실(VR), 증강현실(AR) 및 혼합현실(MR) 도구에 의존하여 작업 가능 영역을 자동으로 결정할 수도 있다(S708).
상술한 단계(S704), 단계(S706) 및 단계(S708) 중 적어도 하나의 단계를 수행하면 현재 사용자에게 특화된 작업 가능 영역(비정형의 3D space volume)을 획득할 수 있다.
이 후, 사용자의 시점과 연동하기 위해서 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위를 기반으로 작업 가능 영역 중에서 사용자 인터랙션 영역을 결정할 수 있다(S710).
이 때, 사용자가 착용한 착용형 디스플레이의 시야를 고려하여 헤드 트래킹(Head Tracking) 또는 시선 트래킹(Eye Tracking)에 의한 정보를 기준으로 작업 가능 영역에 상응하는 가상의 공간 정보들 중 표시 가능 범위에 해당하는 공간 정보를 가시화하여 보여줄 수 있다(S712).
도 8은 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 장치를 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 장치는 통신부(810), 변환부(820), 처리부(830), 제어부(840) 및 저장부(850)를 포함한다.
통신부(810)는 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득한다.
이 때, 원거리에 위치하는 현실 공간에 별도의 통신 모듈이 구비될 수 있고, 별도의 통신 모듈을 기반으로 공간 데이터를 전송 받을 수 있다.
이 때, 공간 데이터를 가상 공간을 구성할 수 있는 데이터에 상응할 수 있다.
이 때, 가상 공간은 3차원으로 정의되는 가상 공간 및 3차원 이상의 다차원으로 정의되는 논리적인 가상 공간 중 적어도 하나에 상응할 수 있다.
이 때, 가상 공간은 가상 콘텐츠의 시나리오를 고려하여 하나 또는 복수개가 존재할 수 있다.
이 때, IPC(Internet Process Communication) 및 RPC(Remote Process Communication) 중 어느 하나를 기반으로 공간 데이터를 획득할 수 있다.
변환부(820)는 공간 데이터를 기반으로 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성한다.
이 때, 사용자 인터랙션 영역은 사용자의 신체를 고려한 사용자 작업 가능 영역과 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응할 수 있다.
이 때, 사용자 작업 가능 영역은 사용자의 신체 사이즈 정보, 기설정된 기간 동안 수집한 사용자 움직임 정보 및 사용자에 상응하게 측정된 신체 도달 가능 범위 중 적어도 하나를 고려하여 생성될 수 있다.
따라서, 사용자의 작업 가능 영역은 사용자마다 상이하게 설정될 수 있으며, 사용자의 접속 정보와 매칭되어 저장 및 보관될 수도 있다.
이 때, 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 적어도 하나의 개별 공간을 생성할 수 있다.
예를 들어, 가상 공간이 사용자의 신체 사이즈를 고려하여 결정되는 사용자 인터랙션 영역과 서로 다른 크기 비율에 해당하는 경우에 크기 변환을 통해 사용자의 신체 사이즈에 적합한 크기로 개별 공간을 생성할 수 있다.
다른 예를 들어, 가상 공간이 시각적으로 표현하기 어려운 3차원 이상의 가상 공간에 상응하는 경우에는 사용자가 시각적으로 확인하여 제어할 수 있는 N차원으로 투영한 개별 공간을 생성할 수도 있다.
이 때, 가상 공간을 가상 콘텐츠 시나리오를 기반으로 복수개의 분할 그룹들로 재배치할 수 있고, 복수개의 분할 그룹들을 재배치된 순서에 따라 융합하여 적어도 하나의 개별 공간을 생성할 수 있다.
예를 들어, 가상 공간은 시각적으로 표현하기 어려운 다차원의 공간에 해당할 수도 있고, 사용자의 신체 사이즈에 비교하여 너무 크거나 너무 작게 형성된 공간에 상응할 수도 있다. 따라서, 이러한 다양한 가상 공간에 포함된 가상 콘텐츠들을 사용자가 사용자 인터랙션 영역에서 수월하게 제어하기 위해서는 가상 공간의 차원을 사용자에 상응하게 변환하거나 크기를 변환하는 방식으로 재배치를 수행할 수 있다. 즉, 이와 같이 재배치되어 생성된 가상 공간이 사용자가 직접 상호작용하기 위한 적어도 하나의 개별 공간에 상응할 수 있다.
처리부(830)는 사용자 인터랙션 영역에 적어도 하나의 개별 공간을 가시화하고, 사용자의 신체와 적어도 하나의 개별 공간에 포함된 가상 객체 간에 상호작용할 수 있는 인터랙션 환경을 제공한다.
이 때, 사용자는 가상 현실(VR), 증강 현실(AR) 또는 혼합 현실(MR)을 위한 착용형 디스플레이를 착용하여 가시화된 개별 공간을 시각적으로 확인할 수 있다.
이 때, 사용자 작업 가능 영역에 적어도 하나의 개별 공간을 포함시키고, 적어도 하나의 개별 공간 중 교집합 영역에 상응하는 부분을 가시화할 수 있다.
즉, 가상 공간을 변환시킨 개별 공간을 사용자 작업 가능 영역에 포함시켜서 사용자가 제어 가능한 상태로 준비하되, 실제로 사용자가 제어할 것으로 예상되는 착용형 디스플레이의 표시 가능 범위에 해당하는 교집합 영역을 가시화하여 사용자에게 보여줄 수 있다.
이 때, 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 인터랙션 환경을 제공할 수 있다. 예를 들어, 사용자의 손이나 손가락은 물론이고, 음성, 머리 움직임, 시선 등 다양한 직간접적 상호작용 방법으로 가상 객체를 제어할 수 있는 환경을 제공할 수 있다.
이 때, 사용자의 신체 크기와 가상 객체의 크기를 비교할 수 있고, 비교한 결과, 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 인터랙션 영역에 제공할 수 있다.
즉, 가상 공간이 사용자가 상호작용하기 위한 사용자 인터랙션 영역으로 제시될 때, 사용자의 신체 크기와는 다른 비율로 제시 되는 경우, 사용자의 손이나 손가락이 가상 객체와 일대일 크기가 아니므로 상호작용에 불편한 상황이 발생할 수 있다. 이와 같은 경우 간접적인 상호작용 수단(interaction metaphor)으로써 가상 인터랙션 도구를 제공할 수 있다.
이 때, 사용자가 가상 객체와 직접 상호작용하려는 신체 부위에 가상 객체와 상호작용하기에 적합한 가상 인터랙션 도구를 중첩(overlay, superimpose)시켜서 도구(tool)처럼 활용할 수 있다.
예를 들면, 사용자가 가상 소인국 콘텐츠에 참여하는 경우에 사용자 인터랙션 영역으로 가상 공간이 축소되어 제공되었다고 가정한다면, 사용자의 손이 가상 객체에 상대적으로 매우 크기 때문에 가상 객체를 선택하거나 제어하기 어려울 수 있다. 이러한 경우에는 사용자의 손 끝에 축소된 미니 월드에 적합한 소형 가상 인터랙션 도구(virtual interaction tool)를 가시화시켜 제공할 수 있다. 이 때, 사용자의 손의 6자유도 정보(6DOF; x, y, z, pitch, yaw, roll)와 연계되어서 제어되거나, 사용자의 손의 모양(hand posture) 및 음성, 시선 명령 등에 연계된 방법으로 가상 인터랙션 도구의 구체적인 위치, 자세 및 기구적 동작 제어가 실행되도록 할 수도 있다. 이와 같은 제어를 통해 사용자는 미니월드의 가상 객체와 자신의 신체 부분이 직접 연계되어 상호작용할 수 있는 느낌을 체험할 수 있으며, 가상 콘텐츠상의 가상 세계에서도 자연스럽게 연계(seamless control)되어 원격지 공간의 크기 비율로 변환된 상황에서 이벤트가 실시간으로 일어나는 것으로 표현될 수 있다.
다른 예를 들어, 사용자가 가상 거인국 콘텐츠에 참여하여 가상의 공간이 사용자 인터랙션 영역에 표현하기에 매우 큰 공간이라고 가정할 수 있다. 이러한 경우에는 사용자의 손에 거대한 가상 공간의 가상 객체와 상호작용할 수 있도록 실 공간보다 큰 부피를 가지는 가상 인터랙션 도구를 가시화 시켜서 직접적인 상호작용을 지원할 수도 있다.
이 때, 사용자의 신체 크기와 가상 객체의 크기를 비교한 결과, 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 적어도 하나의 개별 공간의 크기를 사용자의 신체 크기에 상응하게 조절할 수 있다.
즉, 상기의 예를 들어, 사용자가 가상 거인국 콘텐츠에 참여한 경우, 거대한 가상 공간을 사용자 신체 크기와 동일한 비율로 축소시켜서, 거인국 콘텐츠이지만 일반 사람의 세상이 된 것처럼 자연스럽게 크기를 조정하여 상호작용할 수 있도록 지원할 수도 있다.
이 때, 헤드 트래킹(Head Tracking) 및 시선 트래킹(Eye Tracking) 중 적어도 하나의 방식을 기반으로 사용자의 시선 방향을 검출할 수 있다.
이 때, 시선 방향을 기반으로 표시 가능 범위를 감지하여, 표시 가능 범위가 변경되는 경우에 변경된 표시 가능 범위에 상응하게 교집합 영역을 실시간으로 추출할 수 있다.
이 때, 적어도 하나의 출력 모듈을 기반으로 가상 콘텐츠에 의해 발생하는 이벤트 효과를 사용자에게 출력할 수 있다.
예를 들어, 가상 콘텐츠의 가상 공간이 꽃밭으로 변경되는 경우에는 사용자의 후각을 자극할 수 있는 출력 모듈을 통해 꽃향기를 제공함으로써 사용자가 실제로 꽃밭에 존재하는 것과 같은 몰입감을 제공할 수 있다.
제어부(840)는 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 가상 객체를 제어한다.
예를 들어, 사용자는 기존의 버튼이나 조이스틱을 조작하여 자신의 행위와 연계된 가상의 아바타를 조작하는 것과 같이 손이나 손가락으로 가상의 아바타를 조작하거나 가상 객체의 네비게이션을 제어할 수 있다.
이 때, 사용자가 제어한 결과는 실시간으로 가상 콘텐츠에 반영되어, 가상 콘텐츠를 이용 또는 체험하는 다른 사용자들에게도 제어결과가 반영된 가상 공간이 제공될 수 있다.
저장부(850)는 상술한 바와 같이 본 발명의 일실시예에 따른 가상 콘텐츠 원격 제어 과정에서 발생되는 다양한 정보를 저장한다.
실시예에 따라, 저장부(850)는 가상 콘텐츠 원격 제어 장치와 독립적으로 구성되어 가상 콘텐츠 원격 제어를 위한 기능을 지원할 수 있다. 이 때, 저장부(850)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.
한편, 가상 콘텐츠 원격 제어 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 가상 콘텐츠 원격 제어 장치를 통해, 가상현실, 증강현실 및 혼합현실에 의한 콘텐츠를 원격지에서 참여하는 사용자들의 몰입감을 향상시켜 서비스 품질과 사용자 만족도의 수준을 향상시킬 수 있다.
또한, 현실과 가상 세계의 존재감의 차이를 최소화 시키는 높은 수준의 체험(Presence)을 사용자에게 제공할 수 있으며, 사용자가 자신을 중심으로 제시되는 다중 감각 정보를 대상으로 가상 객체를 직관적으로 조작할 수 있다.
이상에서와 같이 본 발명에 따른 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110, 301, 302, 401, 402, 403, 404: 가상 공간
120: 인터랙션 장치 130, 370, 430: 사용자
300, 400, 510: 원거리의 현실 공간 310: IPC 또는 RPC 통신
321, 322: 개별 공간
371: 사용자 작업 가능 영역 372: 착용형 디스플레이 표시 가능 범위
411, 412, 413, 414: 변환된 공간
421, 422: 공간 재배치 및 융합된 개별 공간
431: 가상 인터랙션 도구 440, 600: 사용자 인터랙션 영역
450: IoT 센서 액추에이터 511, 512, 513: 현장 사용자
520: 인터랙티브 VR 콘텐츠 521: 특정한 하나의 가상 공간
530: 사용자가 위치하는 현실 공간 531, 532: 원격 사용자
810: 통신부 820: 변환부
830: 처리부 840: 제어부
850: 저장부

Claims (20)

  1. 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득하는 단계;
    상기 공간 데이터를 기반으로 상기 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 상기 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성하는 단계;
    상기 사용자 인터랙션 영역에 상기 적어도 하나의 개별 공간을 가시화하고, 상기 사용자의 신체와 상기 적어도 하나의 개별 공간에 포함된 가상 객체 간에 상호작용할 수 있는 인터랙션 환경을 제공하는 단계; 및
    상기 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 상기 가상 객체를 제어하는 단계
    를 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  2. 청구항 1에 있어서,
    상기 사용자 인터랙션 영역은
    상기 사용자의 신체를 고려한 사용자 작업 가능 영역과 상기 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  3. 청구항 2에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    상기 사용자 작업 가능 영역에 상기 적어도 하나의 개별 공간을 포함시키고, 상기 적어도 하나의 개별 공간 중 상기 교집합 영역에 상응하는 부분을 가시화하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  4. 청구항 1에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    상기 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 상기 인터랙션 환경을 제공하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  5. 청구항 1에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교하는 단계; 및
    상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 상기 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 상기 사용자 인터랙션 영역에 제공하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  6. 청구항 5에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 상기 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 상기 적어도 하나의 개별 공간의 크기를 상기 사용자의 신체 크기에 상응하게 조절하는 단계를 더 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  7. 청구항 2에 있어서,
    상기 사용자 작업 가능 영역은
    상기 사용자의 신체 사이즈 정보, 기설정된 기간 동안 수집한 사용자 움직임 정보 및 상기 사용자에 상응하게 측정된 신체 도달 가능 범위 중 적어도 하나를 고려하여 생성되는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  8. 청구항 1에 있어서,
    상기 생성하는 단계는
    상기 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N 차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 상기 적어도 하나의 개별 공간을 생성하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  9. 청구항 3에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    헤드 트래킹(Head Tracking) 및 시선 트래킹(Eye Tracking) 중 적어도 하나의 방식을 기반으로 상기 사용자의 시선 방향을 검출하는 단계; 및
    상기 시선 방향을 기반으로 상기 표시 가능 범위를 감지하여, 상기 표시 가능 범위가 변경되는 경우에 변경된 표시 가능 범위에 상응하게 상기 교집합 영역을 실시간으로 추출하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  10. 청구항 1에 있어서,
    상기 생성하는 단계는
    상기 가상 공간을 가상 콘텐츠 시나리오를 기반으로 복수개의 분할 그룹들로 재배치하는 단계; 및
    상기 복수개의 분할 그룹들을 배치된 순서에 따라 융합하여 상기 적어도 하나의 개별 공간을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  11. 청구항 1에 있어서,
    상기 인터랙션 환경을 제공하는 단계는
    적어도 하나의 출력 모듈을 기반으로 가상 콘텐츠에 의해 발생하는 이벤트 효과를 상기 사용자에게 출력하는 단계를 더 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  12. 청구항 1에 있어서,
    상기 가상 공간은
    3차원으로 정의되는 가상 공간 및 3차원 이상의 다차원으로 정의되는 논리적인 가상 공간 중 적어도 하나에 상응하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  13. 청구항 1에 있어서,
    상기 획득하는 단계는
    IPC(Internet Process Communication) 및 RPC(Remote Process Communication) 중 어느 하나를 기반으로 상기 공간 데이터를 획득하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 방법.
  14. 사용자와 원거리에 위치하는 현실 공간을 기반으로 생성된 가상 공간에 대한 공간 데이터를 획득하는 통신부;
    상기 공간 데이터를 기반으로 상기 사용자에 상응하는 사용자 인터랙션(Interaction) 영역에 상응하도록 상기 가상 공간을 변형하여 적어도 하나의 개별 공간을 생성하는 변환부;
    상기 사용자 인터랙션 영역에 상기 적어도 하나의 개별 공간을 가시화하고, 상기 사용자의 신체와 상기 적어도 하나의 개별 공간에 포함된 가상 객체 간의 상호작용할 수 있는 인터랙션 환경을 제공하는 처리부; 및
    상기 인터랙션 환경에서 발생하는 사용자 인터랙션 이벤트에 상응하게 상기 가상 객체를 제어하는 제어부
    를 포함하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  15. 청구항 14에 있어서,
    상기 사용자 인터랙션 영역은
    상기 사용자의 신체를 고려한 사용자 작업 가능 영역과 상기 사용자가 착용하는 착용형 디스플레이의 표시 가능 범위 간의 교집합 영역에 상응하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  16. 청구항 15에 있어서,
    상기 처리부는
    상기 사용자 작업 가능 영역에 상기 적어도 하나의 개별 공간을 포함시키고, 상기 적어도 하나의 개별 공간 중 상기 교집합 영역에 상응하는 부분을 가시화하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  17. 청구항 14에 있어서,
    상기 처리부는
    상기 사용자의 신체를 이용한 멀티모달(multimodal) 인터랙션 방식을 기반으로 상기 인터랙션 환경을 제공하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  18. 청구항 14에 있어서,
    상기 처리부는
    상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교하고, 상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과가 가상 인터랙션 도구가 필요한 것으로 판단되는 경우에 상기 가상 객체의 크기에 상응하는 가상 인터랙션 도구를 상기 사용자 인터랙션 영역에 제공하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  19. 청구항 18에 있어서,
    상기 처리부는
    상기 사용자의 신체 크기와 상기 가상 객체의 크기를 비교한 결과, 상기 적어도 하나의 개별 공간의 크기 조절이 필요한 것으로 판단되는 경우에 상기 적어도 하나의 개별 공간의 크기를 상기 사용자의 신체 크기에 상응하게 조절하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
  20. 청구항 14에 있어서,
    상기 변환부는
    상기 가상 공간을 회전(rotation), 이동(translation), 크기(scale) 변환 및 N 차원으로의 투영(projection) 중 적어도 하나에 상응하게 변형하여 상기 적어도 하나의 개별 공간을 생성하는 것을 특징으로 하는 가상 콘텐츠 원격 제어 장치.
KR1020170072348A 2017-06-09 2017-06-09 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치 KR102395030B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170072348A KR102395030B1 (ko) 2017-06-09 2017-06-09 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US15/981,526 US10599213B2 (en) 2017-06-09 2018-05-16 Method for remotely controlling virtual content and apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072348A KR102395030B1 (ko) 2017-06-09 2017-06-09 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20180134522A true KR20180134522A (ko) 2018-12-19
KR102395030B1 KR102395030B1 (ko) 2022-05-09

Family

ID=64563457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072348A KR102395030B1 (ko) 2017-06-09 2017-06-09 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US10599213B2 (ko)
KR (1) KR102395030B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961069A (zh) * 2021-09-30 2022-01-21 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784822B (zh) * 2018-10-10 2023-09-26 株式会社日立制作所 基于增强现实的机械紧固部的管理方法
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
US11481177B2 (en) * 2020-06-30 2022-10-25 Snap Inc. Eyewear including multi-user, shared interactive experiences
KR102633100B1 (ko) 2021-11-22 2024-02-05 한국전자통신연구원 다자 참여 증강현실 콘텐츠의 공유 공간 생성 방법 및 장치
CN114882972B (zh) * 2022-04-13 2023-03-24 江苏医药职业学院 一种基于虚拟现实的老年人康复锻炼系统及方法
CN114926614B (zh) * 2022-07-14 2022-10-25 北京奇岱松科技有限公司 一种基于虚拟世界和现实世界的信息交互系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120056105A (ko) * 2010-11-24 2012-06-01 한국전자통신연구원 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법
KR20120117104A (ko) 2011-04-14 2012-10-24 김세진 가상현실 러닝머신
US20180253902A1 (en) * 2016-12-20 2018-09-06 Colopl, Inc. Method executed on computer for providing object in virtual space, program for executing the method on the computer, and computer apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP3633888B2 (ja) * 2000-07-28 2005-03-30 株式会社ソニー・コンピュータエンタテインメント 情報提供システム、方法及びコンピュータプログラム
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
KR100641654B1 (ko) 2004-11-25 2006-11-08 한국전자통신연구원 원격 가상 현실 음향/영상 송수신 장치 및 그 방법
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
KR100809479B1 (ko) * 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
JP5368547B2 (ja) 2008-04-05 2013-12-18 ソーシャル・コミュニケーションズ・カンパニー 共有仮想エリアコミュニケーション環境ベースの装置および方法
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20120064557A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법
EP3654147A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
KR20130099317A (ko) 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
KR101360888B1 (ko) 2012-08-03 2014-02-11 김만근 오프라인 연동형 가상현실을 제공하는 휴대용 통신 단말기 및 이를 이용한 원격 게임방법
US20150193979A1 (en) * 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment
US20150328082A1 (en) * 2014-05-16 2015-11-19 HDFEEL Corp. Interactive Entertainment System Having Sensory Feedback
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
WO2017143303A1 (en) * 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP6246310B1 (ja) * 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120056105A (ko) * 2010-11-24 2012-06-01 한국전자통신연구원 표면 변형 기반의 다중 감각 인터페이스 장치 및 방법
KR20120117104A (ko) 2011-04-14 2012-10-24 김세진 가상현실 러닝머신
US20180253902A1 (en) * 2016-12-20 2018-09-06 Colopl, Inc. Method executed on computer for providing object in virtual space, program for executing the method on the computer, and computer apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961069A (zh) * 2021-09-30 2022-01-21 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质

Also Published As

Publication number Publication date
KR102395030B1 (ko) 2022-05-09
US10599213B2 (en) 2020-03-24
US20180356879A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
KR102395030B1 (ko) 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US11741917B2 (en) Eclipse cursor for mixed reality displays
AU2021282503B2 (en) Selecting virtual objects in a three-dimensional space
CN110832441B (zh) 用于虚拟、增强和混合现实显示系统的键盘
US20230266859A1 (en) Eclipse cursor for virtual content in mixed reality displays
US20240005808A1 (en) Individual viewing in a shared space
AU2022224790A1 (en) Interactions with 3D virtual objects using poses and multiple-DOF controllers
EP3599532B1 (en) A system for importing user interface devices into virtual/augmented reality
Wang et al. Interaction with gaze, gesture, and speech in a flexibly configurable augmented reality system
Yang et al. Effect of spatial enhancement technology on input through the keyboard in virtual reality environment
Yu et al. Depthmove: Leveraging head motions in the depth dimension to interact with virtual reality head-worn displays
CN114746796A (zh) 动态浏览器舞台
Guo et al. Synchronous mixed reality (SMR): A personalized virtual‐real fusion framework with high immersion and effective interaction
Ren Designing for Effective Freehand Gestural Interaction
CN117480472A (zh) 用于在环境中提供沉浸式体验的方法
Pignatel et al. Affordable Interaction Systems for Design Review on a Virtual Room
Bowman et al. 3D User Interfaces: New Directions and New Perspectives

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant