KR20170114371A - 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법 - Google Patents

가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법 Download PDF

Info

Publication number
KR20170114371A
KR20170114371A KR1020160041028A KR20160041028A KR20170114371A KR 20170114371 A KR20170114371 A KR 20170114371A KR 1020160041028 A KR1020160041028 A KR 1020160041028A KR 20160041028 A KR20160041028 A KR 20160041028A KR 20170114371 A KR20170114371 A KR 20170114371A
Authority
KR
South Korea
Prior art keywords
virtual reality
motion
character
reality image
simulator
Prior art date
Application number
KR1020160041028A
Other languages
English (en)
Other versions
KR101799980B1 (ko
Inventor
곽동훈
Original Assignee
삼성물산 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성물산 주식회사 filed Critical 삼성물산 주식회사
Priority to KR1020160041028A priority Critical patent/KR101799980B1/ko
Publication of KR20170114371A publication Critical patent/KR20170114371A/ko
Application granted granted Critical
Publication of KR101799980B1 publication Critical patent/KR101799980B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법에 관한 것으로서, 보다 상세하게는 가상 현실 영상 콘텐츠를 디스플레이하는 출력 장치와, 가상 현실 영상과 동기화되어 동작하며 사용자가 탑승할 수 있는 모션 시뮬레이터를 제어하는 제어 장치에 있어서, 사용자의 뇌파 또는 음성 신호를 입력받는 입력부; 뇌파 또는 음성 신호와 가상 현실 영상 내 캐릭터의 움직임 데이터가 매핑되어 저장된 데이터베이스; 및 입력된 뇌파 또는 음성 신호를 기초로 데이터베이스로부터 캐릭터의 움직임 데이터를 검색하여, 움직임 데이터를 기초로 출력 장치에 디스플레이되는 가상 현실 영상 콘텐츠와 모션 시뮬레이터를 동기화하여 제어하는 제어부를 포함한다.

Description

가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법{APPARATUS, SYSTEM AND METHOD FOR CONTROLLING VIRTUAL REALITY IMAGE AND SIMULATOR}
본 발명은 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법에 관한 것으로서, 보다 자세하게는 뇌파 또는 음성 신호를 입력 신호로 하여, 가상 현실 공간 속의 캐릭터를 제어하며, 움직이는 캐릭터의 시야를 반영한 가상 현실 영상 콘텐츠를 디스플레이하는 출력 장치 및 사용자가 탑승할 수 있는 모션 시뮬레이터를 제어하는 장치, 시스템 및 방법에 관한 것이다.
가상 현실(Virtual Reality, VR)이란, 멀티미디어 기술을 응용하여 현실에서 존재하지 않는 환경을 실제로 존재하는 것처럼 느끼게 하는 것을 말한다. 이러한 가상 현실은 여러 가지 영상이나 컴퓨터 그래픽을 이용하여 가공의 세계나 원격지의 공간을 표시하여 마치 자신이 그 자리에 있는 것처럼 느끼게 하기에 ‘가상 현실’이라 지칭한다.
최근에는 인간의 머리에 착용하여 가상 현실을 즐길 수 있는 HMD(Head Mounted Display)를 활용한 가상 현실 컨텐츠가 제공된다. 이들은 교육, 엔터테인먼트, 게임, 테마 파크 등의 다양한 분야에서 활용되고 있으며 일반 소비자 대상으로 시장이 점점 커지고 있다.
특히 HMD가 보여주는 가상 현실 영상의 내용에 대응되도록 움직이는 모션 시뮬레이터를 결합한 시스템의 시장이 활발히 확대되고 있다. 이러한 가상 현실 영상에 모션 시뮬레이터를 결합한 시스템은, 영상의 진행 시간에 따라 정해진 모션 시뮬레이터의 움직임이 사전에 프로그램된 순서에 따라서 제공될 뿐, 사용자의 제어에 따라 실시간으로 가상 현실 영상에 변경을 가하고, 그에 따라 모션 시뮬레이터가 대응되는 움직임을 갖도록 할 수 없었다. 이로 인해 가상 현실의 효과가 반감될 뿐 아니라, 다양한 방식으로의 활용에 제약이 생긴다.
한국 공개특허공보 제10-2015-0135154호: 가상현실 모션 시뮬레이터
본 발명의 실시예는 전술한 문제점을 해결하기 위하여 안출된 것으로, 사용자가 원하는 명령대로 가상 현실 공간 속의 캐릭터를 움직이며, 캐릭터의 움직임에 맞추어 출력 장치가 디스플레이하는 가상 현실 영상 콘텐츠 및 모션 시뮬레이터를 제어하는 것을 목적으로 한다.
이때 특히 뇌파 또는 음성 신호 등을 이용하여 가상 현실 영상 콘텐츠와 모션 시뮬레이터의 움직임을 제어하는 것을 목적으로 한다.
한편, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
전술한 문제를 해결하기 위해, 가상 현실 영상 및 모션 시뮬레이터 제어 장치는 가상 현실 영상 콘텐츠를 디스플레이하는 출력 장치와, 상기 가상 현실 영상과 동기화되어 동작하며 사용자가 탑승할 수 있는 모션 시뮬레이터를 제어하는 제어 장치에 있어서, 사용자의 뇌파 또는 음성 신호를 입력받는 입력부; 상기 뇌파 또는 음성 신호와 상기 가상 현실 영상 내 캐릭터의 움직임 데이터가 매핑되어 저장된 데이터베이스; 및 상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하여, 상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 제어부를 포함한다.
이때 상기 움직임 데이터는, 상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함할 수 있다.
또한 상기 디스플레이되는 가상 현실 영상 콘텐츠는, 상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정될 수 있다.
더불어 상기 입력된 뇌파 또는 음성 신호는, 매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이될 수 있다.
아울러 상기 제어 장치는, HMD(Head Mounted Device) 장치에 탑재될 수 있다.
또한 상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도가 달라질 수 있다.
가상 현실 영상 시스템은 가상 현실 영상을 출력하는 출력 장치; 상기 가장 현실 영상과 동기화되어 동작하며 사람이 탑승할 수 있는 모션 시뮬레이터; 및 상기 출력 장치 및 상기 모션 시뮬레이터를 제어하는 제어 장치를 포함하고, 상기 제어 장치는 사용자의 뇌파 또는 음성 신호를 입력받는 입력부; 상기 뇌파 또는 음성 신호와 상기 가상 현실 영상 내 캐릭터의 움직임 데이터가 매핑되어 저장된 데이터베이스; 및 상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하여, 상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 제어부를 포함한다.
이때 상기 움직임 데이터는, 상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함할 수 있다.
또한 상기 디스플레이되는 가상 현실 영상 콘텐츠는, 상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정될 수 있다.
더불어 상기 입력된 뇌파 또는 음성 신호는, 매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이될 수 있다.
아울러 상기 제어 장치는, HMD(Head Mounted Device) 장치에 탑재될 수 있다.
또한 상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도가 달라질 수 있다.
가상 현실 영상 및 모션 시뮬레이터 제어 방법은 사용자의 뇌파 또는 음성 신호에 따라 출력되는 가상 현실 영상 및 모션 시뮬레이터의 움직임을 제어하는 방법에 있어서, 사용자의 뇌파 또는 음성 신호를 입력받는 단계; 상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하는 단계; 상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 단계를 포함한다.
이때 상기 움직임 데이터는, 상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함할 수 있다.
또한 상기 디스플레이되는 가상 현실 영상 콘텐츠는, 상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정될 수 있다.
더불어 상기 입력된 뇌파 또는 음성 신호는, 매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이될 수 있다.
아울러 상기 제어 장치는, HMD(Head Mounted Device) 장치에 탑재될 수 있다.
또한 상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도가 달라질 수 있다.
본 발명의 실시예는 가상 현실 영상 콘텐츠를 출력하는 출력 장치 및 모션 시뮬레이터의 움직임을 외부 신호의 실시간 입력에 따라 제어되도록 할 수 있다.
특히 뇌파 또는 음성 신호를 입력 신호로 하여, 가상 현실 공간 속의 캐릭터를 제어하고, 캐릭터의 움직임에 대응되도록 가상 현실 영상 콘텐츠 및 모션 시뮬레이터를 제어할 수 있다.
본 발명의 실시예에 대한 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 특정 명령에 대해 가상 현실 영상 시점 이동 또는 모션 시뮬레이터의 움직임을 매핑하여 데이터베이스화하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 영상 및 모션 시뮬레이터 제어 방법의 순서를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 영상 시스템을 나타낸 도면이다.
도 1을 참조하면, 가상 현실 영상 시스템은 제어 장치(100), 출력 장치(200), 및 모션 시뮬레이터(300)를 포함한다.
출력 장치(200)는 가상 현실 영상을 디스플레이하며, 사용자의 입력 신호에 따라 디스플레이되는 영상이 제어된다.
이때 출력 장치(200)는 사용자의 안구 부위에 착용되는 고글 형태로서, 1인칭 영상을 출력할 수 있다. 예를 들면, 인간의 머리에 착용되어 안구를 감싸며 가상 현실을 즐길 수 있는 HMD(Head Mounted Display) 형태일 수 있다.
여기서 가상 현실(Virtual Reality, VR)이란 멀티미디어 기술을 응용하여 현실에서 존재하지 않는 환경을 실재로 존재하는 것처럼 느끼게 하는 것을 말한다. 이러한 가상 현실은 여러 가지 영상이나 컴퓨터 그래픽을 이용하여 가공의 세계나 원격지의 공간을 표시하여 마치 자신이 그 자리에 있는 것처럼 느끼게 하기에 ‘가상 현실’이라 지칭한다.
모션 시뮬레이터(300)는 사용자의 몸에 착용되는 장치 또는 사용자가 탑승하는 동체로서, 사용자가 가상 현실 영상을 통해 느끼는 실감도를 움직임을 통해 증강하기 위한 장치이다. 모션 시뮬레이터(300)는 제어 장치(100)에 의하여 제어되며, 특히 가상 현실 영상과 동기화되어 동작될 수 있다.
제어 장치(100)는 출력 장치(200) 및 모션 시뮬레이터(300)를 제어한다. 제어 장치(100)는 사용자로부터 입력 신호를 입력 받아, 출력 장치(200) 및 모션 시뮬레이터(300)를 제어하는데, 이때 입력 신호는 예를 들면 사용자의 인체에서 내보내는 모션, 뇌파, 음성 신호 등을 포함할 수 있다.
일 실시예에 따른 제어 장치(100)의 구성은 입력부(110), 데이터베이스(120) 및 제어부(130)를 포함할 수 있다.
입력부(110)는 사용자의 뇌파 또는 음성 신호를 입력 받을 수 있다.
뇌파(Electroencephalogram)란 약 수십억 개가 되는 뇌 신경세포 상호의 결합 형태나 활동에 의해서 나타나는 움직임으로, 일반적으로 두피 상에 전극을 접착하여 측정되며, 수십 마이크로 볼트의 전위차와 주로 30Hz 이하의 주파수를 지닌 파장으로서 인간의 의식상태를 반영하는 물리 값이다.
특히 입력부(110)는 일 실시예로, 사용자의 머리에 전극을 접착하는 방식으로 사용자의 뇌파를 입력 받을 수 있으며, 뇌파를 측정하는 방법은 공지된 방법을 포함하며, 예를 들면 대한민국 공개특허공보 1999-0046503호 (헤드밴드를 이용한 실시간 뇌파측정 장치 및 그 방법)의 방법을 사용할 수도 있다.
이때 입력하는 신호로 사용될 뇌파는 사용자가 특정 명령 또는 행동을 지칭하는 언어를 생각하였을 경우 발생하는 뇌파를 입력 신호로 사용할 수 있다.
보다 구체적으로 예를 들면, 사용자의 머리에 뇌파 측정 장치를 씌우고 특정 언어를 생각할 때 발생하는 뇌파를 측정하고, 이때 제어부(130)가 입력부(110)를 통해 수신한 뇌파를 데이터베이스(120)의 데이터를 기초로 분석하여 사용자가 특정 명령을 입력한 것이라고 판단할 수 있다(Stocco & Rao et al., “Playing 20 Questions with the Mind: Collaborative Problem Solving by Humans Using a Brain-to-Brain Interface”, PLOS ONE, Published:23 Sep 2015).
또한 입력부(110)는 입력되는 뇌파의 패턴이 비슷하더라도 진폭이 다름을 구분하여 사용자의 뇌파를 측정할 수 있다. 이때 사용자는 동일하게 “우측”으로 이동할 것을 의도해도 장애물이 다가오는 속도가 급박한 경우와 천천히 다가오는 경우, 뇌파의 진폭은 다를 수 있다. 그리하여 같은 사용자로부터의 명령의 입력, 예를 들면 우측으로의 이동, 에 대한 강도를 구분하여, 사용자가 어떠한 명령을 내렸을 때 그 명령에 따른 가상 현실 공간 내 캐릭터의 반응 속도, 즉 우측으로 이동하기 시작하기까지의 시간을 달리하는 데 이용할 수 있다.
입력부(110)는 다른 실시예로, 소리를 입력 받는 마이크를 통해 음성 신호를 입력 받을 수 있다. 이때 제어부(130)는 음성 신호를 분석하여 사용자가 특정 명령 또는 행동을 입력한 것이라고 판단할 수 있다.
또한 입력부(110)는 입력되는 입력 신호의 패턴이 비슷하더라도 진폭이 다름을 구분하여 사용자의 음성 신호를 측정할 수 있다.
도 2를 참조하면, 데이터베이스(120)에는 뇌파 또는 음성 신호의 아날로그 특성(예를 들면 주파수 특성, 패턴 특성 등)에 의해 발생한 사용자의 명령에 따른 가상 현실 내 캐릭터의 움직임 데이터가 매핑되어 저장될 수 있다.
움직임 데이터란 뇌파 또는 음성 신호에 따른 캐릭터의 특정 행동이 매핑된 테이블이다. 특정 행동은 예를 들면 캐릭터의 이동 방향, 이동 속도, 회전, 자세와 관련된 움직임을 포함하는 데이터일 수 있다. 또한 추가적으로 뇌파 또는 음성 신호에 따라 수행될 모션 시뮬레이터(300)의 움직임 데이터가 저장되어 있을 수도 있다.
더하여 데이터베이스(120)에는 사용자가 가상 현실을 체험하기 위한 가상 현실 공간이 저장되어 있고, 가상 현실 공간의 각 위치마다 위치 좌표가 특정되어 저장될 수 있다. 가상 현실 공간은 가상의 3차원 공간으로서, 사용자는 출력 장치(100)를 통해 가상 현실 내 캐릭터의 1인칭 시점으로 표시되는 가상 현실 공간 배경을 가상 현실 영상 콘텐츠로서 볼 수 있다.
제어부(130)는 입력된 뇌파 또는 음성 신호와 매핑된 캐릭터의 움직임 데이터를 데이터베이스(120)에서 검색하여, 검색된 움직임 데이터를 기초로 출력 장치에 디스플레이되는 가상 현실 영상 콘텐츠 및 모션 시뮬레이터를 동기화하여 제어할 수 있다.
이때 사용자가 출력 장치(200)를 통해 보는 가상 현실 영상 콘텐츠는 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 표시되는 가상 현실 공간 배경은 캐릭터의 가상 현실 공간 내에서의 위치 좌표와 움직임 데이터를 기초로 결정될 수 있다.
예를 들어 사용자의 뇌파 또는 음성 신호에 따라 캐릭터가 움직여야 하는 명령이 매핑되었다면, 제어부(130)는 캐릭터가 위치하는 좌표를 변경하여 캐릭터를 움직일 수 있고, 이때 캐릭터의 위치 좌표를 기준으로 캐릭터가 가상 현실 공간을 바라보는 시야, 즉 가상 현실 영상 콘텐츠를 출력 장치(200)에 디스플레이할 수 있다.
이때 제어 장치(100)는 사용자의 입력, 예를 들면 머리 움직임을 감지하여 캐릭터의 움직임에 반영할 수 있어, 캐릭터의 시야는 같은 위치 좌표에서도 사용자의 머리의 움직임에 따라 시야의 방향을 달라지고, 상이한 가상 현실 공간 배경이 가상 현실 영상 콘텐츠로서 출력될 수 있다.
이를 위하여 제어 장치(300)는 HMD(Head Mounted Device) 장치에 탑재되어 출력 장치(100)와 결합될 형태일 수도 있다.
또한 캐릭터가 도달할 수 없도록 설정된 위치 좌표에서는 캐릭터가 움직이지 않는바, 이때 가상 현실 영상 콘텐츠 역시 캐릭터의 움직임에 대응되어 시야가 변하지 않을 수 있다. 예를 들면, 평지에서는 캐릭터의 위치 좌표 이동이 제한되지 않아 캐릭터의 움직임에 따라 시야가 변화할 수 있으나, 위치 좌표 이동이 제한된 벽이 있는 경우에는 캐릭터의 움직임이 제한되어 그에 따른 시야 변화도 제한될 수 있다.
한편 캐릭터가 움직이는 움직임, 예를 들면 이동 방향, 속도, 회전, 자세에 따라 모션 시뮬레이터(300)가 대응되어 움직이도록 미리 프로그램화 되어 있음이 바람직하다.
예를 들면, 제어부(130)가 입력부(110)로부터 입력 받은 뇌파 또는 음성 신호가 ‘오른쪽 이동’에 해당하는 명령인 경우, 데이터베이스(120)로부터 명령어 ‘오른쪽 이동’과 매핑된 움직임 데이터를 검색하여, 검색된 움직임 데이터에 따라 캐릭터의 위치 좌표를 오른쪽으로 변경시키고, 캐릭터의 위치 좌표를 기초로 가상 현실 영상 콘텐츠를 출력 장치(100)에 출력하며, 이와 동시에 캐릭터의 움직임에 맞추어 모션 시뮬레이터(300)가 오른쪽으로 움직임을 갖도록 할 수 있다.
이때 제어부(130)는 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 움직임 데이터가 가상 현실 영상 콘텐츠 및 모션 시뮬레이터에 반영되는 속도가 달라질 수 있다. 예를 들어 제어부(130)가 입력부(110)로부터 입력 받은 뇌파 또는 음성 신호가 ‘오른쪽 이동’에 해당하는 명령인 경우, 입력된 진폭이 강할수록 입력 받은 시간으로부터 제어부(130)가는 가상 현실 영상 내의 캐릭터의 위치 좌표를 오른쪽으로 이동시키기 시작하는 시간이 질 수 있다. 또한, 뇌파 또는 음성 신호의 진폭의 세기가 클수록 캐릭터의 움직임에 맞추어 모션 시뮬레이터(300)가 움직이기 시작하는 반응속도 역시 빨라질 할 수 있다.
또한, 제어부(130)는 입력 받는 뇌파 또는 음성 신호의 진폭 세기에 따라 캐릭터의 움직임의 폭이 달라지거나, 캐릭터의 움직임 속도가 달라질 수 있다. 예를 들면 뇌파 또는 음성 신호의 진폭 세기가 클수록 캐릭터 움직임의 크기나 움직임의 반경을 더욱 늘릴 수 있고, 움직임의 신속성이 커질 수 있다.
또한, 입력 신호가 음성 신호일 경우에는 사용자가 말하는 음성의 빠르기에 따라 움직임 데이터에 따른 제어되는 캐릭터의 움직임의 속도나, 캐릭터의 움직이기 시작하는 반응속도가 달라질 수 있다. 예를 들면, 음성 내 말하기의 속도가 빠를수록, 음성 신호 입력 후 캐릭터가 움직이기까지의 시간과 관련된 가상 현실 영상 또는 모션 시뮬레티이터의 반응속도나, 가상 현실 영상 내 캐릭터의 움직임의 속도가 빨라질 수 있다.
또한 제어부(130)는 사용자의 뇌파 또는 음성 신호와 매핑된 움직임 데이터에 대한 내용이 텍스트로 변환되어, 가상 현실 영상 콘텐츠 내에 텍스트를 출력할 수 있다. 따라서 입력부(110)로부터 입력 받은 뇌파 또는 음성 신호가 ‘오른쪽 이동’에 해당하는 명령인 경우, 데이터베이스(120)로부터 명령어 ‘오른쪽 이동’과 매핑된 움직임 데이터를 검색 후 출력 장치(100)에 텍스트로 ‘오른쪽 이동’과 같이 디스플레이할 수 있다.
다른 실시예로 제어부(130)는 데이터베이스(120)에 뇌파 또는 음성신호와 가상 현실 영상의 움직임 데이터 및 모션 시뮬레이터(300)의 움직임 데이터가 각각 매핑되어 있는 경우에, 검색된 움직임 데이터에 따라 출력 장치(200) 및 모션 시뮬레이터(300)를 각각 제어할 수 있다.
한편 가상 현실 영상의 시점 이동과 모션 시뮬레이터(300)의 움직임이 수행되는 시간 차이나, 서로 다른 동작을 행하는 오류를 줄이기 위해 데이터베이스(120)는 가상 현실 영상의 움직임 데이터를 저장하고, 제어부(130)는 모션 시뮬레이터(300)가 가상 현실 영상에 대응되는 움직임을 갖도록 미리 프로그램화하여 제어하는 구성이 바람직할 것이다.
한편 상술한 실시예가 포함하는 제어부(130)는 이 들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 상기 명령을 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 영상 및 모션 시뮬레이터 제어 방법의 순서를 나타낸 도면이다.
가상 현실 영상 및 모션 시뮬레이터 제어 방법은, 사용자의 뇌파 또는 음성 신호에 따라 출력되는 가상 현실 영상 및 모션 시뮬레이터의 움직임을 제어하는 방법에 있어서, 사용자의 뇌파 또는 음성 신호를 입력받는 단계(S310); 입력된 뇌파 또는 음성 신호를 기초로 데이터베이스로부터 캐릭터의 움직임 데이터를 검색하는 단계(S320); 움직임 데이터를 기초로 출력 장치에 디스플레이되는 가상 현실 영상 콘텐츠와 모션 시뮬레이터를 동기화하여 제어하는 단계(S330)를 포함할 수 있다. 이때 각 단계는 제어 장치(100)에 의하여 구현된다.
이때 움직임 데이터는 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함할 수 있다.
또한 디스플레이되는 가상 현실 영상 콘텐츠는 캐릭터의 가상 현실 공간에서의 위치 좌표와, 검색된 움직임 데이터를 기초로 결정된다.
더불어 입력된 뇌파 또는 음성 신호는 매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 가상 현실 영상 콘텐츠 내에 디스플레이될 수 있다.
아울러 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 가상 현실 영상 콘텐츠 및 모션 시뮬레이터에 반영되는 속도가 달라질 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 제어 장치
110: 입력부
120: 데이터베이스
130: 제어부
200: 출력 장치
300: 모션 시뮬레이터

Claims (20)

  1. 가상 현실 영상 콘텐츠를 디스플레이하는 출력 장치와, 상기 가상 현실 영상과 동기화되어 동작하며 사용자가 탑승할 수 있는 모션 시뮬레이터를 제어하는 제어 장치에 있어서,
    사용자의 뇌파 또는 음성 신호를 입력받는 입력부;
    상기 뇌파 또는 음성 신호와 상기 가상 현실 영상 내 캐릭터의 움직임 데이터가 매핑되어 저장된 데이터베이스; 및
    상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하여, 상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 제어부;
    를 포함하는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  2. 제1항에 있어서,
    상기 움직임 데이터는,
    상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함하는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  3. 제1항에 있어서,
    상기 디스플레이되는 가상 현실 영상 콘텐츠는,
    상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정되는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  4. 제1항에 있어서,
    상기 입력된 뇌파 또는 음성 신호는,
    매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이되는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  5. 제1항에 있어서,
    상기 제어 장치는,
    HMD(Head Mounted Device) 장치에 탑재되는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  6. 제1항에 있어서,
    상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 달라지는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.
  7. 제1항에 있어서,
    상기 입력되는 음성 신호의 빠르기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 가 달라지는 가상 현실 영상 및 모션 시뮬레이터 제어 장치.

  8. 가상 현실 영상을 출력하는 출력 장치;
    상기 가장 현실 영상과 동기화되어 동작하며 사람이 탑승할 수 있는 모션 시뮬레이터; 및
    상기 출력 장치 및 상기 모션 시뮬레이터를 제어하는 제어 장치;
    를 포함하고,
    상기 제어 장치는,
    사용자의 뇌파 또는 음성 신호를 입력받는 입력부;
    상기 뇌파 또는 음성 신호와 상기 가상 현실 영상 내 캐릭터의 움직임 데이터가 매핑되어 저장된 데이터베이스; 및
    상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하여, 상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 제어부;
    를 포함하는 가상 현실 영상 시스템.
  9. 제8항에 있어서,
    상기 움직임 데이터는,
    상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함하는 가상 현실 영상 시스템.
  10. 제8항에 있어서,
    상기 디스플레이되는 가상 현실 영상 콘텐츠는,
    상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정되는 가상 현실 영상 시스템.
  11. 제8항에 있어서,
    상기 입력된 뇌파 또는 음성 신호는,
    매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이되는 가상 현실 영상 시스템.
  12. 제8항에 있어서,
    상기 제어 장치는 HMD(Head Mounted Device) 장치에 탑재되는 가상 현실 영상 시스템.
  13. 제8항에 있어서,
    상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 달라지는 가상 현실 영상 시스템.
  14. 제8항에 있어서,
    상기 입력되는 음성 신호의 빠르기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 가 달라지는 가상 현실 영상 시스템.
  15. 사용자의 뇌파 또는 음성 신호에 따라 출력되는 가상 현실 영상 및 모션 시뮬레이터의 움직임을 제어하는 방법에 있어서,
    사용자의 뇌파 또는 음성 신호를 입력받는 단계;
    상기 입력된 뇌파 또는 음성 신호를 기초로 상기 데이터베이스로부터 상기 캐릭터의 움직임 데이터를 검색하는 단계;
    상기 움직임 데이터를 기초로 상기 출력 장치에 디스플레이되는 상기 가상 현실 영상 콘텐츠와 상기 모션 시뮬레이터를 동기화하여 제어하는 단계;
    를 포함하는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
  16. 제15항에 있어서,
    상기 움직임 데이터는,
    상기 캐릭터의 이동 방향, 속도, 회전, 자세와 관련된 움직임을 포함하는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
  17. 제15항에 있어서,
    상기 디스플레이되는 가상 현실 영상 콘텐츠는,
    상기 캐릭터의 시각에서 본 가상 현실 공간 배경을 포함하며, 상기 표시되는 가상 현실 공간 배경은 상기 캐릭터의 가상 현실 공간 내에서의 위치 좌표와, 상기 검색된 움직임 테이터를 기초로 결정되는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
  18. 제15항에 있어서,
    상기 입력된 뇌파 또는 음성 신호는 매핑된 움직임 데이터의 내용이 텍스트로 변환되어, 상기 가상 현실 영상 콘텐츠 내에 디스플레이되는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
  19. 제15항에 있어서,
    상기 입력되는 뇌파 또는 음성 신호의 진폭의 세기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 달라지는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
  20. 제15항에 있어서,
    상기 입력되는 음성 신호의 빠르기에 따라, 상기 움직임 데이터가 상기 가상 현실 영상 콘텐츠 및 상기 모션 시뮬레이터에 반영되는 속도, 상기 캐릭터의 움직임의 폭, 상기 캐릭터의 움직임의 속도 중 적어도 어느 하나가 가 달라지는 가상 현실 영상 및 모션 시뮬레이터 제어 방법.
KR1020160041028A 2016-04-04 2016-04-04 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법 KR101799980B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160041028A KR101799980B1 (ko) 2016-04-04 2016-04-04 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160041028A KR101799980B1 (ko) 2016-04-04 2016-04-04 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170114371A true KR20170114371A (ko) 2017-10-16
KR101799980B1 KR101799980B1 (ko) 2017-11-21

Family

ID=60295733

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160041028A KR101799980B1 (ko) 2016-04-04 2016-04-04 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101799980B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190099681A (ko) * 2018-02-19 2019-08-28 (주)플레이솔루션 게임 엔진 기반 콘텐츠의 모션 시뮬레이터 연동을 위한 실시간 필터 방법
KR20200086060A (ko) 2019-01-08 2020-07-16 주식회사 원이멀스 가상 환경에서 한글 문자를 입력할 수 있는 시스템 및 방법
KR20200086061A (ko) 2019-01-08 2020-07-16 주식회사 원이멀스 잡기 모션을 활용한 가상 현실 로코모션 통합 제어 시스템 및 방법
WO2023075083A1 (ko) * 2021-10-25 2023-05-04 울산과학기술원 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220062152A (ko) 2020-11-06 2022-05-16 서정호 보정값을 이용한 연산 가속화 방법
KR20220062151A (ko) 2020-11-06 2022-05-16 서정호 충돌 연산 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190099681A (ko) * 2018-02-19 2019-08-28 (주)플레이솔루션 게임 엔진 기반 콘텐츠의 모션 시뮬레이터 연동을 위한 실시간 필터 방법
KR20200086060A (ko) 2019-01-08 2020-07-16 주식회사 원이멀스 가상 환경에서 한글 문자를 입력할 수 있는 시스템 및 방법
KR20200086061A (ko) 2019-01-08 2020-07-16 주식회사 원이멀스 잡기 모션을 활용한 가상 현실 로코모션 통합 제어 시스템 및 방법
WO2023075083A1 (ko) * 2021-10-25 2023-05-04 울산과학기술원 실시간 행위자 상태 연동을 이용한 가상 현실 기반 hitl 실험 장치 및 방법

Also Published As

Publication number Publication date
KR101799980B1 (ko) 2017-11-21

Similar Documents

Publication Publication Date Title
KR101799980B1 (ko) 가상 현실 영상 및 모션 시뮬레이터 제어 장치, 시스템 및 방법
CN106023289B (zh) 图像生成系统及图像生成方法
Romanus et al. Mid-air haptic bio-holograms in mixed reality
Motejlek et al. Taxonomy of virtual and augmented reality applications in education
EP3050046B1 (en) Method and device for controlling a haptic device
KR20130098770A (ko) 입체감 확장형 가상 스포츠 체험 시스템
Vourvopoulos et al. Brain-controlled serious games for cultural heritage
Islam et al. Vibrotactile feedback in virtual motor learning: A systematic review
Kenwright Virtual reality: Where have we been? where are we now? and where are we going?
Deng et al. Multimodality with eye tracking and haptics: a new horizon for serious games?
Buń et al. Application of professional and low-cost head mounted devices in immersive educational application
Jerald et al. VR interactions
Edmond Jr et al. Virtual environments: Surgical simulation in otolaryngology
Tseng et al. Fingermapper: Mapping finger motions onto virtual arms to enable safe virtual reality interaction in confined spaces
Sziebig et al. Vibro-tactile feedback for VR systems
Lange et al. Vibrotactile assistance for user guidance towards selection targets in VR and the cognitive resources involved
Basori et al. Telerobotic 3D articulated arm-assisted surgery tools with augmented reality for surgery training
Leeb et al. Combining BCI and virtual reality: scouting virtual worlds
Ghosh et al. Education Applications of 3D Technology
Jadhav et al. Mixed reality in healthcare education
Grillon Simulating interactions with virtual characters for the treatment of social phobia
Landry et al. A broad spectrum of sonic interactions at immersive interactive sonification platform (iISoP)
Rodríguez et al. Gamification and Virtual Reality for Tongue Rehabilitation
Rodríguez Benítez et al. Gamification and Virtual Reality for Tongue Rehabilitation
Tripathi A Study on the Field of XR Simulation Creation, Leveraging Game Engines to Develop a VR Hospital Framework

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right