KR20170101757A - 멀미 저감을 위한 영상 표시 장치 및 방법 - Google Patents

멀미 저감을 위한 영상 표시 장치 및 방법 Download PDF

Info

Publication number
KR20170101757A
KR20170101757A KR1020160106171A KR20160106171A KR20170101757A KR 20170101757 A KR20170101757 A KR 20170101757A KR 1020160106171 A KR1020160106171 A KR 1020160106171A KR 20160106171 A KR20160106171 A KR 20160106171A KR 20170101757 A KR20170101757 A KR 20170101757A
Authority
KR
South Korea
Prior art keywords
user
image
signal
electric
intensity
Prior art date
Application number
KR1020160106171A
Other languages
English (en)
Other versions
KR102365162B1 (ko
Inventor
정현기
김현기
문재민
윤치열
이상민
장성현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2016/014978 priority Critical patent/WO2017150795A1/en
Priority to EP16892808.3A priority patent/EP3365755B1/en
Priority to CN201680082566.0A priority patent/CN108700937A/zh
Priority to US15/396,942 priority patent/US10248202B2/en
Publication of KR20170101757A publication Critical patent/KR20170101757A/ko
Application granted granted Critical
Publication of KR102365162B1 publication Critical patent/KR102365162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

일 실시 예에 따른 영상 표시 장치는 영상을 재생하는 디스플레이; 상기 영상의 움직임에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 생성하는 프로세서; 및 전기 자극 장치로 상기 신호를 송신하는 통신부;를 포함한다.

Description

멀미 저감을 위한 영상 표시 장치 및 방법{VIDEO DISPLAY APPARATUS AND METHOD FOR REDUCING SICKNESS}
멀미 저감을 위한 영상 표시 장치 및 방법에 관한 것이다.
사용자는 영상 표시 장치를 가상현실장치를 이용하여 머리에 착용하고, 3차원 공간을 촬영한 영상을 영상 표시 장치 등을 통해 볼 수 있다. 사용자는 영상을 시청하면서 머리를 돌릴 수 있고, 사용자의 머리의 방향에 따라 영상 표시 장치는 영상을 재생한다.
사용자는 영화, 드라마, 스포츠 등의 컨텐츠를 시청하는 동안, 컨텐츠에 따라 향기가 제공되거나 움직임이 제공될 수 있다. 움직임은 사용자가 앉아 있는 의자가 직접적으로 움직여서 제공되거나, 사용자에게 전류를 인가하여 움직임이 있는 것과 같이 느끼게 함으로써 제공될 수 있다.
멀미 저감을 위한 영상 표시 장치 및 방법을 제공하는데 있다.
현실감을 증대 시키기 위한 영상 표시 장치 및 방법을 제공하는데 있다.
또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
일 실시 예에 따른 영상 표시 장치는 영상을 재생하는 디스플레이; 상기 영상의 움직임에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 생성하는 프로세서; 및 전기 자극 장치로 상기 신호를 송신하는 통신부;를 포함한다.
사용자에게 제공되는 영상의 시점에 따라 멀미를 저감시키기 위한 전기 자극을 인가할 수 있다.
가상현실 영상을 시청하는 사용자가 느끼는 현실감을 증대시키기 위한 전기 자극을 인가할 수 있다.
사용자의 피드백에 기초하여 전기 자극을 인가하는 시간 및 세기를 조정할 수 있다.
도 1은 가상현실 멀미(VR Sickness)가 발생하는 원인을 설명하는 도면이다.
도 2는 사용자의 멀미를 감소시키기 위한 일 실시예를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 영상 표시 장치의 구성도이다.
도 4는 일 실시 예에 따른 영상의 시점에 따른 전기 자극을 인가하는 방법을 설명하는 도면이다.
도 5는 일 실시 예에 따른 영상의 시점에 따른 전기 자극을 인가하는 방법을 설명하는 순서도이다.
도 6은 영상 표시 장치가 전기 자극 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 영상 표시 장치를 설명하기 위한 구성도이다.
도 8은 일 실시 예에 따른 전기 자극 장치를 설명하기 위한 구성도이다.
도 9는 영상의 변화의 정도에 따라 주파수를 조절하는 예를 설명하기 위한 그래프이다.
도 10은 영상의 회전 방향에 따라 오프셋을 부가하는 예를 설명하기 위한 그래프이다.
도 11은 전극의 부착 정도에 따라 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 전극의 부착 정도에 따른 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 순서도이다.
도 13은 일 실시 예에 따른 인체 저항에 따라 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 순서도이다.
도 14는 일 실시 예에 따른 HMD를 설명하기 위한 구성도이다.
도 15는 일 실시 예에 따라 전기 자극을 조정하는 방법을 설명하기 위한 도면이다.
도 16은 일 실시 예에 따라 사용자의 움직임을 감지하여 전기 자극의 세기를 조정하는 방법을 설명하기 위한 순서도이다.
도 17은 일 실시 예에 따라 사용자가 전기 자극의 세기를 조정하는 방법을 설명하기 위한 도면이다.
도 18은 사용자가 전기 자극 장치를 이용하여 전기 자극의 세기를 조정하는 예를 설명하기 위한 도면이다.
도 19는 일 실시 예에 따른 전기 자극의 전송 시간을 보정하는 방법을 설명하기 위한 도면이다.
도 20은 영상정보를 나타내는 전기 자극 데이터의 일 예이다.
도 21은 서버에서 복수의 영상 표시 장치들로 전기 자극 데이터 또는 신호를 전송하는 예를 설명하기 위한 도면이다.
도 22는 서버에서 복수의 전기 자극 장치들로 전기 자극 데이터 또는 신호를 전송하는 예를 설명하기 위한 도면이다.
도 23은 일 실시 예에 따라 사용자가 수동으로 전기 자극 신호를 인가하는 방법을 설명하기 위한 도면이다.
도 24는 일 실시 예에 따른 영상의 움직임에 따른 전기 자극을 위한 신호를 생성하는 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서(특히, 특허 청구 범위에서)에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어 질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어 질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 가상현실 멀미가 발생하는 원인을 설명하는 도면이다. 사용자(10)는 영상 표시 장치(100)을 통해 영상을 시청한다. 영상 표시 장치(100)는 사용자가 가상현실에 있는 것과 같이 느끼도록 영상을 재생한다. 사용자의 눈은 영상을 시청하기 때문에, 사용자(10)는 사용자(10)가 움직인다고 인식하게 된다. 하지만, 실제로 사용자(10)는 움직이지 않기 때문에, 전정 기관은 아무런 움직임을 인식하지 못하게 되고, 실제 움직임과 전정 기관의 인식의 차이로 인하여 사용자(10)는 멀미를 느낀다. 따라서, 전정 기관에 전기 자극을 인가하여 사용자(10)가 멀미를 느끼지 않도록 할 수 있다.
도 2는 사용자의 멀미를 감소시키기 위한 일 실시예를 설명하기 위한 도면이다. 도 2를 참조하면, 영상 표시 장치(100)는 전기 자극 장치(200)로 신호를 전송하여 사용자(10)에게 전기 자극이 인가되도록 전기 자극 장치(200)를 제어할 수 있다.
사용자(10)는 영상 표시 장치(100)를 통해 영상을 시청한다. 사용자(10)는 전기 자극 장치(200)도 함께 착용할 수 있다. 전기 자극 장치(200)는 영상 표시 장치(100)와 별도의 장치일 수 있다. 또한, 전기 자극 장치(200)와 영상 표시 장치(100)는 HMD(Head mounted display)와 같은 형태로 일체형으로 제작될 수도 있다.
영상 표시 장치(100)는 영상을 분석하여 영상에 따른 신호를 전기 자극 장치(200)로 전송한다. 영상 표시 장치(100)는 영상의 시점, 영상에서의 방향 변화, 영상의 변화의 크기 등을 감지하여, 전기 자극 장치(200)로 신호를 전송한다. 영상 표시 장치(100)는 전지 자극의 크기(magnitude), 주파수, 오프셋 등을 제어하기 위한 신호를 전기 자극 장치(200)로 전송한다. 전기 자극의 형태에 관하여는 도 9 내지 도 11을 통해 자세히 설명한다.
전기 자극 장치(200)는 영상 표시 장치(100)로부터 수신된 신호에 따라 사용자(10)에게 전기 자극을 인가한다. 예를 들어, 전기 자극 장치(200)는 사용자(10)에게 전류를 인가할 수 있다. 전기 자극 장치(200)는 영상 표시 장치(100)로부터 수신된 신호에 따라 전기 자극의 세기, 주파수, 오프셋 등을 조절하여, 조절된 전기 자극을 사용자(10)에게 인가한다.
전기 자극에 따라 사용자(10)의 전정 기관이 반응하여 뉴런(neuron)을 통해 뇌로 신호가 전달된다. 따라서, 사용자(10)는 전기 자극이 인가되지 않았을 때에 비하여, 전기 자극이 인가되면 멀미를 덜 느끼게 된다.
도 3은 일 실시 예에 따른 영상 표시 장치의 구성도이다. 도 3을 참조하면, 영상 표시 장치(100)는 프로세서(110), 디스플레이(120) 및 통신부(130)를 포함한다.
프로세서(110)는 디스플레이(120) 및 통신부(130)를 제어한다. 프로세서(110)는 디스플레이(120)에 영상을 제공하여, 디스플레이(120)가 영상을 표시할 수 있도록 제어한다. 프로세서(110)는 통신부(130)를 통해 전기 자극 장치(200)로 신호를 전송한다.
프로세서(110)는 영상을 분석하여, 영상의 특징을 추출한다. 프로세서(110)는 영상의 시점을 판단한다. 영상의 시점이란 영상을 바라보는 사용자의 시각과 관점을 의미할 수 있다. 예컨대, 프로세서(110)는 영상의 시점이 1인칭인지 3인칭인지를 판단할 수 있다. 또는 프로세서(110)는 영상의 시점이 1인칭과 3인칭이 혼합된 형태인지 판단할 수 있다. 1인칭 시점의 영상은 3차원 공간 내에 위치한 객체의 시점에서 촬영된 영상을 의미하고, 3인칭 시점의 영상은 객체의 외부에서 촬영된 영상을 의미한다. 다시 말해서, 1인칭 시점의 영상은 객체가 바라본 3차원 공간의 영상이고, 3인칭 시점의 영상은 외부에서 3차원 공간을 바라본 3차원 공간의 영상이다. 또한, 영상은 1인칭에서 3인칭으로 또는 3인칭에서 1인칭으로 변경될 수 있다. 프로세서(110)는 영상에서 배경 또는 객체의 움직임을 판단한다. 프로세서(110)는 배경이 움직이는지, 객체가 움직이는지를 판단하여 영상의 시점을 판단할 수 있다. 또한, 프로세서(110)는 영상에서 회전 움직임이 있는지 판단할 수 있다.
예를 들어, 프로세서(110)는 메인 객체가 없고, 영상 내에 서브 객체만 포함되어 있는 경우, 영상을 1인칭 시점의 영상으로 판단할 수 있다. 메인 객체는 다른 객체보다 상대적으로 크기가 큰 객체일 수 있다. 또는, 프로세서(110)는 중심점을 기준으로 회전하는 움직임을 검출하였을 때, 1인칭 시점의 영상으로 판단할 수 있다. 프로세서(110)는 1인칭 시점의 영상으로 판단한 후, 영상 내에서 서브 객체만 움직이는지 또는 배경이 움직이는지를 판단한다. 프로세서(110)는 서브 객체만 움직이는 경우에는 전기 자극 신호가 인가될 필요 없는 것으로 판단하고, 배경이 움직이는 경우에는 전기 자극 신호가 인가될 필요가 있는 것으로 판단한다. 메인 객체는 영상의 중앙에 위치하고, 크기의 변화가 적은 객체일 수 있고, 서브 객체는 영상의 주변에 위치하고, 크기의 변화가 많은 객체일 수 있다.
또한, 프로세서(110)는 영상의 중앙에 메인 객체가 고정되어 있고, 메인 객체를 제외한 객체들이 움직일 때, 영상을 3인칭 시점의 영상으로 판단한다. 사용자가 3인칭 시점의 영상을 시청할 때는 멀미가 적게 발생하므로, 프로세서(110)는 사용자가 3인칭 시점의 영상을 시청할 때, 사용자에게 인가하는 전기 자극 신호의 세기를 1인칭 시점의 영상을 시청할 때 인가하는 전기 자극 신호의 세기보다 약하게 설정할 수 있다. 또는, 프로세서(110)는 사용자가 3인칭 시점의 영상을 시청할 때는 전기 자극 신호를 인가하지 않을 수 있다.프로세서(110)는 영상에서 기계 학습으로 생성된 분류기를 이용해 객체의 특징에 기초하여 객체를 인식할 수 있다. 프로세서(110)는 영상의 픽셀 데이터를 직접 이용하는 픽셀 영역 접근 방법 또는 압축된 영상 정보를 이용하는 압축 영역 접근 방법 또는 상기 방법들을 조합한 하이브리드 접근 방법 등을 이용할 수 있다.
구체적으로, 프로세서(110)는 객체의 지역적인 그레디언트(또는 엣지 방향)의 히스토그램(histogram)를 추출하여 객체를 식별할 수 있다. 또는, 프로세서(110)는 영상에서 검출 대상 영역에 대한 다양한 채널(R,G,B color value, gray value, gradient magnitude value, gradient histogram value)에서 계산된 영상의 특징을 이용하여 객체를 검출할 수 있다.
프로세서(110)는 영상에 포함되어 있는 객체의 경계선을 검출할 수 있다. 프로세서(110)는 영상의 색상, 밝기 등을 활용하여 인접 픽셀 사이의 색상 차이나 밝기 차이 등을 이용하여 객체의 경계선을 검출할 수 있다. 예를 들어, 프로세서(110)는 유사한 색상을 갖는 영역을 하나의 객체로 검출할 수 있다. 프로세서(110)는 영상에서 픽셀의 밝기를 나타내는 값이 낮은 값에서 높은 값으로, 또는 높은 값에서 낮은 값으로 변하는 지점들을 연결하여 객체의 경계선을 검출할 수 있다. 프로세서(110)는 영상의 픽셀값들을 미분하여 그레디언트를 계산하고, 그레디언트를 통해 밝기가 변하는 지점을 검출할 수 있다.
프로세서(110)는 객체 모델과 유사한 특징을 포함하는 영역을 객체로 검출할 수 있다. 프로세서(110)는 영상에서 특징점(keypoint)를 추출하여, 객체 모델과 비교할 수 있다.
프로세서(110)는 객체의 움직임을 검출할 수 있다. 프로세서(110)는 현재 프레임과 이전 프레임과의 차이에 기초하여 객체의 움직임을 검출할 수 있다.
프로세서(110)는 영상의 움직임을 검출할 수 있다. 프로세서(110)는 현재 프레임과 이전 프레임에서 동일 또는 유사한 블록을 결정하고, 동일 또는 유사한 블록의 이동을 통해 영상의 움직임을 검출한다. 프로세서(110)는 블록의 이동을 벡터로 표시하여, 현재 프레임과 이전 프레임 사이의 움직임을 나타낼 수 있다.
프로세서(110)는 BMA(Block-Matching-Algorithm) 또는 옵티컬 플로우(Optical Flow)를 이용하여 움직임 추정(motion estimation)을 수행할 수 있다. 예를 들어, 옵티컬 플로우는 연속하는 두 프레임 간 차이를 통해 움직임을 추정하는 방법이다 옵티컬 플로우는 영상에서 밝기 패턴이 어떻게 이동하였는지를 나타낼 수 있다. 옵티컬 플로우는 명도를 서서히 변화시켜 영상에서 발생하는 움직임의 방향과 속도를 벡터로 나타낼 수 있다. Sparse optical flow는 영상에서 주요 특징점을 추출한 뒤, 추출된 특징점에 대해 움직임 정보를 추출하는 방법이다. Dense Optical flow는 영상의 각각의 픽셀에 대해 움직임 정보를 추출하는 방법으로, 대표적인 알고리즘으로는 Gunner Farneback 알고리즘이 있다. 움직임 정보가 큰 비디오를 분석할 때는, sparse optical flow가 사용되고, 움직임 정보가 작은 비디오를 분석할 때는, dense optical flow가 사용될 수 있다.
프로세서(110)는 영상의 움직임에 따라 전기 자극을 위한 신호를 생성한다. 프로세서(110)는 영상 표시 장치를 착용한 사용자의 움직임이 아닌, 영상 자체의 움직임이 발생할 때 전기 자극을 위한 신호를 생성할 수 있다.
옵티컬 플로우는 객체의 검출 및 객체의 움직임 추적에 사용될 수 있다.
또한, 프로세서(110)는 객체의 전체적인 모습 뿐만 아니라, 객체를 구성하는 부분들도 함께 검출하고, 객체의 전체적인 모습과 부분들에 기초하여 객체를 검출할 수 있다.
프로세서(110)는 상기 방법들을 이용하여 객체를 검출하고, 검출된 객체의 크기, 움직임 등에 기초하여 영상의 시점을 결정할 수 있다.
다른 예로서, 프로세서(110)는 영상들 사이의 픽셀값들의 변화에 기초하여 전기 자극 신호를 인가할지 여부를 결정할 수 있다. 프로세서(110)는 영상의 일부가 변하는지, 전체 영상이 변하는지를 판단한다. 프로세서(110)는 영상의 일부가 변하는지는 영상의 일부 영역의 픽셀값들만 변하는지를 모니터링하여 판단할 수 있다. 또한, 프로세서(110)는 전체 영상이 변하는지는 영상의 전체 픽셀값들이 변하는지 또는 평행 이동하는지를 모니터링하여 판단할 수 있다.
또 다른 예로서, 프로세서(110)는 영상의 변화 정도에 기초하여 전기 자극 신호를 인가할지 여부를 결정할 수 있다. 예를 들어, 프로세서(110)는 픽셀값이 변경되는 픽셀의 수가 전체 픽셀의 수의 50% 이상이면 전기 자극 신호를 인가하고, 50% 이하이면 전기 자극 신호를 인가하지 않는 것으로 결정할 수 있다. 프로세서(110) 사용자의 지시에 따라 전체 픽셀의 수 대비 변경되는 픽셀의 수의 비율을 높이거나 낮출 수 있다.
프로세서(110)는 전기 자극 장치(200)로 전송할 신호를 생성한다. 프로세서(110)는 영상을 분석한 결과에 기초하여 신호를 생성한다. 프로세서(110)는 전기 자극의 세기, 주파수, 크기, 오프셋 등을 결정하여, 신호를 생성할 수 있다.
통신부(130)는 전기 자극 장치(200)와 유선 또는 무선으로 연결되어 신호를 송수신한다. 통신부(130)는 블루투스, 와이파이 등의 근거리 통신 또는 다른 통신 방법을 통해 신호를 송수신할 수 있다. 통신 방법은 제한되지 않는다.
디스플레이(120)는 가상현실을 제공하기 위한 영상을 제공한다. 예를 들어, 디스플레이(120)는 사용자(10)의 두 눈이 동일한 영상을 시청하도록 동일한 영상을 2개의 분할된 화면에 표시할 수 있다.
도 4는 일 실시 예에 따른 영상의 시점에 따른 전기 자극을 인가하는 방법을 설명하는 도면이다.
영상 표시 장치(100)는 영상의 시점에 따라 전기 자극의 인가할지를 결정할 수 있다. 영상 표시 장치(100)는 영상의 시점에 따라 사용자에게 전기 자극을 인가하기 위한 신호를 전기 자극 장치로 전송한거나 전기 자극 장치의 동작을 중단 시킨다. 예를 들어, 영상 표시 장치(100)는 영상을 분석하여, 영상의 시점이 1인칭인지 3인칭인지 등을 판단할 수 있다.
영상 표시 장치(100)는 영상의 시점이 1인칭이면 전기 자극 장치(200)로 신호를 전송하여, 전기 자극 장치(200)가 사용자에게 신호를 인가하도록 제어한다. 도 4의 1인칭 시점의 영상에서 자동차는 움직이지 않으나 도로가 움직인다. 영상 표시 장치(100)는 1인칭 시점의 영상 내에서 객체들만 이동하는 경우에는 전기 자극 장치(200)로 신호를 전송하지 않을 수 있다. 영상 표시 장치(100)는 1인칭 시점의 영상 내에서 객체들의 이동은 없거나 적으나, 배경이 움직이는 경우에는 전기 자극 장치(200)로 신호를 전송할 수 있다.
영상 표시 장치(100)는 영상의 시점이 3인칭이면 전기 자극 장치(200)로 신호를 전송하지 않거나, 전기 자극을 인가하지 않는다는 신호를 전송한다. 전기 자극 장치(200)는 영상 표시 장치(100)에 의해 제어되기 때문에, 전기 자극 장치(200)는 영상 표시 장치(100)로부터 신호를 수신하지 않으면 전기 자극을 사용자에게 인가하지 않는다.
도 4의 3인칭 시점의 영상에서 자동차는 움직이지만, 도로는 정지 상태일 수 있다. 영상에 따라 도로도 자동차와 함께 움직일 수 있으나, 1인칭 시점의 영상에서 도로의 움직임에 비해 3인칭 시점의 영상에서 도로의 움직임은 더 적거나 다른 패턴으로 움직인다.
도 5는 일 실시 예에 따른 영상의 시점에 따른 전기 자극을 인가하는 방법을 설명하는 순서도이다.
단계 510에서, 영상 표시 장치(100)는 디스플레이(120)에 영상을 표시한다.
단계 520에서, 영상 표시 장치(100)는 영상이 1인칭 시점인지를 판단한다. 영상이 1인칭 시점이면 단계 530으로 진행하고, 그렇지 않으면 단계 540으로 진행한다.
단계 530에서, 영상 표시 장치(100)는 사용자에게 전기 자극을 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다.
단계 540에서, 영상 표시 장치(100)는 전기 자극 장치(200)의 동작을 중단한다.
도 6은 영상 표시 장치가 전기 자극 장치를 제어하는 방법을 설명하기 위한 도면이다. 도 6은 사용자가 머리를 회전하는 경우를 도시하고 있다. 사용자는 영상을 시청하는 중, 머리를 움직일 수 있다. 영상 표시 장치(100)는 사용자의 움직임에 따라 변경된 영상을 표시한다. 사용자의 머리는 좌/우로 회전하거나, 위/아래로 회전할 수 있다. 도 6에서 설명하는 머리의 회전은 사용자가 직접 움직이는 경우를 의미한다.
영상 표시 장치(100)는 사용자의 머리의 회전을 감지하면, 사용자에게 전기 자극이 인가되지 않도록 전기 자극 장치(200)를 제어한다. 사용자의 머리가 회전하여, 영상이 회전하는 중에는 Vims(Visually induced motion sickness)가 적기 때문에, 전기 자극이 사용자에게 인가되면 사용자는 더 어지러울 수 있다. 따라서, 영상 표시 장치(100)는 전기 자극 장치(200)에 신호를 전송하지 않거나, 전기 자극을 인가하지 말라는 신호를 전송한다.
영상 표시 장치(100)는 사용자가 머리를 회전하는 경우 이외에, 외부 움직임에 의하여 움직임이 발생하는 경우에는 전기 자극 장치(200)로 신호를 전송하여, 사용자에게 전기 자극이 인가되도록 전기 자극 장치(200)를 제어한다. 예를 들어, 사용자가 걷거나 사용자가 자동차 또는 기차 등을 탑승하고 있는 경우, 영상 표시 장치(100)는 사용자에게 전기 자극이 인가되도록 전기 자극 장치(200)를 제어한다. 영상 표시 장치(100)는 사용자가 영상을 시청하면서 외부 움직임에 의해 사용자의 움직임이 발생하는 경우와 사용자가 영상을 시청하지 않으면서 외부 움직임에 의해 사용자의 움직임이 발생하는 경우를 구분하여 전기 자극 장치(200)를 제어할 수 있다.
영상 표시 장치(100)는 사용자가 머리를 회전하는 경우 이외에, 외부 움직임에 의하여 움직임이 발생하는 경우에는 전기 자극 장치(200)로 신호를 전송하여, 사용자에게 전기 자극이 인가되도록 전기 자극 장치(200)를 제어한다. 예를 들어, 사용자가 걷거나 사용자가 자동차 또는 기차 등을 탑승하고 있는 경우, 사용자는 멀미를 느낄 수 있다. 이때, 영상 표시 장치(100) 또는 전기 자극 장치(200)는 실시간으로 사용자가 멀미를 느끼는지를 감지하여 멀미를 저감시키기 위한 전기 자극 신호를 사용자에게 인가할 수 있다.
또 다른 실시 예에서, 기차 또는 하이퍼루프 등과 같은 운송 수단은 고정된 경로를 따라 이동한다. 따라서, 경로에서 사용자가 멀미를 느끼는 구간이 존재한다. 멀미를 느끼는 구간은 운송 수단의 위치, 속도 및 방향성 등에 의해 결정될 수 있다. 운송 수단에 구비된 컴퓨터 또는 운송수단과 연결된 서버는 경로에 따른 전기 자극 데이터를 생성할 수 있고, 생성된 전기 자극 데이터는 영상 표시 장치(100) 또는 전기 자극 장치(200)로 전송된다.
또 다른 예에서, 운송 수단에 구비된 컴퓨터 또는 운송 수단과 연결된 서버는 전기 자극 데이터에 기초하여 영상 표시 장치(100) 또는 전기 자극 장치(200)로 신호를 전송하여 영상 표시 장치(100) 또는 전기 자극 장치(200)가 사용자에게 전기 자극 신호를 인가하도록 제어할 수 있다. 운송 수단에 구비된 컴퓨터 또는 운송 수단과 연결된 서버는 사용자 또는 운송 수단의 위치를 감지하고, 사용자에게 전기 자극이 인가될 시점인지를 판단한다. 운송 수단에 구비된 컴퓨터 또는 운송 수단과 연결된 서버는 잔기 자극이 인가될 시점에 사용자가 착용하고 있는 영상 표지 장치(100) 또는 전기 자극 장치(200)로 신호를 전송하여 영상 표시 장치(100) 또는 전기 자극 장치(200)가 사용자에게 전기 자극 신호를 인가하도록 제어할 수 있다.
도 7은 일 실시 예에 따른 영상 표시 장치를 설명하기 위한 구성도이다. 도 7의 영상 표시 장치(100)는 센서(140)를 더 포함한다. 센서(140)는 사용자의 움직임을 감지하기 위한 장치이다. 예를 들어, 센서(140)는 자이로 센서, 가속도 센서 등의 모션 센서이다.
센서(140)는 사용자의 움직임을 감지하여, 프로세서(110)로 감지 결과를 출력한다. 센서(140)는 머리의 회전, 롤링(Rolling), 피칭(pitching), 요잉(yawing) 등의 움직임을 감지할 수 있다.
프로세서(110)는 센서(140)로부터 수신된 감지 결과에 기초하여 전기 자극을 인가할지 여부를 결정할 수도 있다. 예를 들어, 센서(140)가 사용자의 머리가 회전하는 것을 감지한 경우, 프로세서(110)는 도 6에서 설명한 것과 같이 전기 자극을 인가하는 것을 중단할 수 있다.
도 8은 일 실시 예에 따른 전기 자극 장치를 설명하기 위한 구성도이다. 도 8을 참조하면, 전기 자극 장치(200)는 통신부(210), 전류 생성기(220) 및 전극(230)을 포함한다.
통신부(210)는 영상 표시 장치(100)와 유선 또는 무선으로 연결되어 신호를 송수신한다. 통신부(210)는 블루투스, 와이파이 등의 근거리 통신 또는 다른 통신 방법을 통해 신호를 송수신할 수 있다.
통신부(210)는 영상 표시 장치(100)로부터 전기 자극에 관한 신호를 수신하여, 전류 생성기(220)로 출력한다.
전류 생성기(220)는 통신부(210)로부터 수신된 신호에 기초하여 전류를 생성한다. 전류 생성기(220)는 전류의 세기(magnitude) 및 주파수를 조절할 수 있다. 또한, 전류 생성기(220)는 교류 전류에 오프셋을 부가할 수 있다. 전류 생성기(220)는 영상 표시 장치(100)로부터 수신된 신호에 기초하여, 전류를 인가할 전극(230), 전극(230)에 인가하는 전류의 극성, 전류의 세기 등을 결정할 수 있다.
전극(230)은 사용자의 인체에 부착된다. 전류는 전극(230)을 통해 인체로 흐른다. 2개의 전극(230)이 1쌍을 이룰 수 있으며, 사용자의 귀 뒤에 부착될 수 있다. 또한, 전극(230)은 사용자의 관자 놀이 부근에 1쌍이 부착될 수도 있다. 또한, 전극(230)은 사용자의 양쪽 귀 뒤 및 목 뒤에 부착될 수 있고, 전기 자극 장치(200)는 왼쪽 귀 뒤에서 목 뒤로 전류가 흐르도록 제어하거나, 목 뒤에서 양쪽 귀 뒤쪽으로 전류가 흐르도록 제어할 수 있다.
전극(230)이 부착되는 위치 및 개수는 이에 한정되지 않는다.
도 9는 영상의 변화의 정도에 따라 주파수를 조절하는 예를 설명하기 위한 그래프이다. 영상 표시 장치(100)는 영상의 변화의 정도에 따라 주파수 및 전류폭을 결정하고, 결정된 주파수 및 전류폭을 전기 자극 장치(200)로 전송할 수 있다.
영상의 움직임이 클수록, 작은 주파수 및 큰 전류폭의 전기 자극이 사용자에게 인가될 수 있다. 반대로, 영상의 움직임이 작을수록, 큰 주파수 및 작은 전류폭의 전기 자극이 사용자에게 인가될 수 있다.
도 9는 전기 자극 장치(200)에 의해 출력되는 전기 자극의 형태를 도시한다. 전기 자극 장치(200)는 일반 움직임에 대한 전기 자극을 사용자에게 인가할 때, 기준 주파수 신호를 전극(230)으로 출력한다. 전기 자극 장치(200)는 작은 움직임에 대한 전기 자극을 사용자에게 인가할 때, 고주파 신호를 전극(230)으로 출력한다. 고주파는 기준 주파수보다 상대적으로 높은 주파수를 의미한다. 반대로, 전기 자극 장치(200)는 일반 움직임보다 큰 움직임에 대한 전기 자극을 사용자에게 인가할 때, 기준 주파수보다 낮은 저주파 신호를 전극(230)으로 출력한다.
도 10은 영상의 회전 방향에 따라 오프셋을 부가하는 예를 설명하기 위한 그래프이다. 영상 표시 장치(100)는 영상의 회전 방향에 따라 전기 자극에 오프셋을 부가할 수 있다. 영상 표시 장치(100)는 회전 방향에 따라 오프셋의 방향을 결정하여 전기 자극 장치(200)로 전송한다.
영상이 왼쪽으로 회전하는 경우, 영상 표시 장치(100)는 마이너스(-) 오프셋을 부가할 수 있다. 예를 들어, 마이너스 오프셋은 교류 전류를 0(Ampere) 이하로 평행 이동하는 것을 의미한다. 반대로, 영상이 오른쪽으로 회전하는 경우, 영상 표시 장치(100)는 플러스(+) 오프셋을 부가할 수 있다. 예를 들어, 플러스 오프셋은 교류 전류를 0(Ampere) 이상으로 평행 이동하는 것을 의미한다.
도 10에서는 영상의 회전 방향에 따라 오프셋의 방향을 설명하였으나, 전기 자극이 인가되는 전극의 위치에 따라 오프셋의 방향은 반대가 될 수 있다.
영상 표시 장치(100)는 방향 변화량에 따라 오프셋의 크기를 결정할 수 있다. 영상 표시 장치(100)는 방향의 변화량이 클수록 오프셋의 크기를 증가시키고, 방향의 변화량이 작을수록 오프셋의 크기를 감소시킨다.
도 11은 전극의 부착 정도에 따라 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 도면이다. GVS(Galvanic Vestibular Stimulation)은 전기 자극 장치(200)의 일 예이다. 전기 자극 장치(200)는 압력의 세기에 따라 전기 자극을 인가하거나 인가하지 않을 수 있다. 또한, 전기 자극 장치(200)는 압력의 세기에 따라 전기 자극의 세기를 조절할 수 있다.
전기 자극 장치(200)는 압력 센서를 더 포함할 수 있다. 압력 센서는 전극(230)의 뒷면에 부착될 수 있다. 압력 센서는 사용자가 전기 자극 장치(200)를 착용하였을 때 압력을 측정한다. 전기 자극 장치(200)는 측정된 압력을 영상 표시 장치(100)로 전송한다.접촉 저항과 압력은 반비례한다. 따라서, 압력의 세기가 커질수록 접촉 저항이 줄어들고, 압력의 세기가 작아 질수록 접촉 저항이 커진다. 접촉 저항이 커지면, 동일한 전류가 전극(230)으로 출력되어도 높은 전압이 인가되므로 사용자가 불편함을 느낄 수 있다. 따라서, 접촉 저항이 커지면(또는, 압력이 작으면) 전기 자극 장치(200)는 전기 자극의 세기를 조절하거나, 압력의 세기가 임계압력보다 작으면 전기 자극을 인가하지 않는다.
영상 표시 장치(100)는 압력의 크기에 따라 전기 자극 장치(200)를 제어한다. 영상 표시 장치(100)는 측정된 압력이 임계압력보다 작으면 전기 자극 장치(200)의 동작을 중단 시킨다. 다시 말해서, 영상 표시 장치(100)는 사용자에게 전기 자극이 인가되지 않도록 전기 자극 장치(200)를 제어한다.
영상 표시 장치(100)는 측정된 압력이 임계압력보다 작으면 사용자에게 통지한다. 영상 표시 장치(100)는 디스플레이(120)를 통해 경고 메시지를 표시하거나, 음향을 제공할 수 있다. 영상 표시 장치는 측정된 압력이 임계압력보다 커지면 정상 착용 메시지를 표시할 수 있다.
영상 표시 장치(100)는 측정된 압력이 임계압력보다 크면 전기 자극을 인가할 준비를 한다. 측정된 압력이 임계압력보다 크면, 사용자가 전기 자극 장치(200)를 정상적으로 착용하여, 전극(230)이 사용자에게 정확히 부착되었다는 것을 의미한다. 따라서, 영상 표시 장치(100)는 정상적으로 전기 자극을 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다. 영상 표시 장치(100)는 측정된 압력이 임계압력보다 크면, 측정된 압력의 크기에 따라 전기 자극 장치(200)에 인가되는 전기 자극의 세기를 조절한다. 접촉 저항에 따라 사용자에게 실제로 인가되는 전기의 세기가 달라진다. 또는, 사용자마다 접촉 저항의 크기가 다르므로, 동일한 세기의 전기를 인가하여도 실제로 느끼는 전기의 세기는 다를 수 있다. 전기 자극 장치(200)는 사용자에게 실제로 인가된 전기의 세기를 측정할 수 있다. 전기 자극 장치(200)는 사용자에게 인가한 전기의 세기와 사용자에게 실제로 인가된 전기의 세기를 비교하여, 사용자에게 인가하는 전기의 세기를 조절할 수 있다.
전기 자극 장치(200)는 영상 표시 장치(100)로부터 신호를 수신하거나 수신하지 않더라도, 측정된 압력이 임계압력보다 작으면 전기 자극을 전극(230)으로 출력하지 않을 수 있다.
도 12는 일 실시 예에 따른 전극의 부착 정도에 따른 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 순서도이다.
단계 1210에서, 영상 표시 장치(100)는 전기 자극 장치(200)로부터 압력을 수신한다.
단계 1220에서, 영상 표시 장치(100)는 수신된 압력이 임계압력보다 큰지를 판단한다.
단계 1230에서, 영상 표시 장치(100)는 사용자에게 전기 자극을 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다. 영상 표시 장치(100)는 영상이 1인칭 시점인 경우에만 전기 자극을 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다.
단계 1240에서, 영상 표시 장치(100)는 전기 자극 장치(200)의 동작을 중단한다.
단계 1250에서, 영상 표시 장치(100)는 수신된 압력이 임계압력보다 작음을 통지한다. 또는 영상 표시 장치(100)는 전기 자극이 인가되지 않음을 사용자에게 통지할 수 있다. 영상 표시 장치(100)는 디스플레이(120)에 메시지를 표시하거나, 소리 등으로 사용자에게 통지할 수 있다.
도 13은 일 실시 예에 따른 인체 저항에 따라 전기 자극의 인가 여부를 결정하는 방법을 설명하기 위한 순서도이다.
단계 1310에서, 영상 표시 장치(100)는 전기 자극 장치(200)로부터 인체 저항의 크기를 수신한다. 전기 자극 장치(200)는 전류를 인체에 인가하고, 전압을 측정하여 인체 전류를 측정할 수 있다.
단계 1320에서, 영상 표시 장치(100)는 인체 저항의 크기에 따라 전기 자극의 세기를 결정한다. 동일한 전류가 사용자에게 인가되어도, 사용자마다 인체 저항에 따라 전압이 다르므로 불편함이 생길 수 있다.
단계 1330에서, 영상 표시 장치(100)는 결정된 전기 자극을 사용자에게 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다. 영상 표시 장치(100)는 전기 자극 장치(200)로 결정된 전기 자극의 세기를 출력할 수 있다.
도 13의 단계들은 영상의 시점이 1인칭이고, 전극(230)이 사용자에게 정확히 부착된 경우를 전제로 수행될 수 있다. 다시 말해서, 영상의 시점이 1인칭이고, 측정된 압력이 임계압력보다 높은 경우에만, 영상 표시 장치(100)는 인체 저항의 크기에 따라 전기 자극의 세기를 결정하여 사용자에게 전기 자극을 인가할 수 있다.
또한, 영상 표시 장치(100)는 사용자의 머리가 회전하는 경우에는 영상의 시점, 압력의 크기, 인체 저항의 크기 등과 관계없이 사용자에게 전기 자극을 인가하지 않을 수 있다.
도 14는 일 실시 예에 따른 HMD를 설명하기 위한 구성도이다. 도 14의 HMD(1400)는 영상 표시 장치(100)와 전기 자극 장치(200)가 일체형으로 제작된 장치를 나타낼 수 있다. 따라서, HMD(1400)는 별도의 통신부를 포함하고 있지 않고, 프로세서(1410), 디스플레이(1420), 전류 생성기(1430), 전극(1440)등을 포함한다. 추가적으로, HMD(1400)는 가속도 센서, 자이로 센서, 압력 센서 또는 저항 측정기 등을 더 포함할 수 있다.
상기 도면들을 통해 설명된 영상 표시 장치(100) 및 전기 자극 장치(200)에 관한 내용들은 도 14의 HMD(1400)에도 동일하게 적용된다.
도 1 내지 도 14는 가상현실 영상을 시청하는 사용자의 멀미를 저감시키기 위한 방법에 관한 도면이며, 이하 도 15 내지 도 19는 가상현실 영상을 시청하는 사용자가 느끼는 현실감을 증대시키기 위반 방법에 관한 도면이다.
사용자는 영상에서의 움직임을 시청하지만, 실제 신체의 움직임은 없기 때문에 멀미를 느낀다. 따라서, 영상 표시 장치(100)는 가상현실 영상을 시청하는 사용자가 느끼는 멀미를 저감시키기 위해 영상의 움직임에 따라 전정 기관을 자극한다.
가상현실 영상을 시청하는 사용자는 영상과 동일한 움직임을 느낌으로써 보다 높은 몰임감을 느낄 수 있다. 따라서, 영상 표시 장치(100)는 영상에서의 움직임과 동일한 방향, 세기로 전정 기관을 자극하여 사용자가 영상과 동일한 움직임을 느낄 수 있게 함으로써 사용자가 느끼는 현실감을 증대시킬 수 있다. 현실감을 증대 시키기 위해서, 전기 자극 데이터가 영상과 함께 실행되고, 전기 자극 데이터에 따라 사용자에게 전기 자극이 인가된다. 전기 자극 데이터는 전기 자극을 인가하는 인체의 위치, 전기 자극을 인가하는 시점 및 세기 등을 포함한다.
영상 표시 장치(100)는 멀미 저감 기능과 현실감 증대 기능을 선택할 수 있다. 영상 표시 장치(100)는 영상만 재생될 때 멀미 저감 기능을 선택하고, 전기 자극 데이터가 영상과 함께 실행되는 경우에는 현실감 증대 기능을 선택한다. 영상 표시 장치(100)는 사용자의 선택에 따라 멀미 저감 기능 또는 현실감 증대 기능을 선택할 수도 있다.
멀미 저감 기능은 영상 표시 장치(100)가 실시간으로 영상을 분석하여 사용자에게 전기 자극을 인가하는 기능이다. 멀미 저감 기능이 선택된 경우, 사용자에게 인가되는 전기 자극은 교류 전류일 수 있다. 영상 표시 장치(100)는 교류 전류의 세기(magnitude), 주파수, 오프셋 등을 변경할 수 있다.
현실감 증대 기능은 영상 표시 장치(100)가 전기 자극 데이터의 세기 또는 전기 자극을 인가하는 시점을 조정하는 기능이다. 전기 자극 데이터는 영상과 함께 미리 제작되므로, 영상 표시 장치(100)는 전기 자극 데이터에 기록된 형태의 전기 자극을 사용자에게 인가한다. 현실감 증대 기능이 선택된 경우, 사용자에게 인가되는 전기 자극은 영상의 변화에 기초한 신호일 수 있다. 영상의 변화에 따라 전기 자극의 형태, 세기 등이 결정될 수 있다.
도 15는 일 실시 예에 따라 전기 자극을 조정하는 방법을 설명하기 위한 도면이다. 영상 표시 장치(100)는 사용자의 피드백에 따라 조정된 전기 자극을 인가할 수 있다. 구체적으로, 영상 표시 장치(100)는 전기 자극 데이터에 기록된 전기 자극의 세기를 조정한다.
영상 표시 장치(100)는 전기 자극 장치(200)를 통해 사용자에게 전기 자극을 인가한다. 영상 표시 장치(100)는 사용자로부터 피드백을 수신한다. 사용자의 피드백은 사용자로부터 직접 또는 간접적으로 수신할 수 있다. 예를 들어, 사용자는 전기 자극의 세기를 직접 조정할 수 있다. 또한, 영상 표시 장치(100)는 사용자의 움직임을 감지하여 전기 자극의 세기를 조정할 수 있다.
영상 표시 장치(100)는 피드백에 기초하여 조정된 전기 자극을 인가한다. 영상 표시 장치(100)는 피드백에 기초하여 전기 자극의 세기 또는 전기 자극을 인가하는 시간 등을 조정할 수 있다. 또한, 영상 표시 장치(100)는 전기 자극의 형태는 조정하지 않고, 세기 또는 시간만을 조정할 수 있다.
도 16은 일 실시 예에 따라 사용자의 움직임을 감지하여 전기 자극의 세기를 조정하는 방법을 설명하기 위한 순서도이다.
단계 1610에서, 영상 표시 장치(100)는 디스플레이(120)에 영상을 재생한다.
단계 1620에서, 영상 표시 장치(100)는 영상의 재생 시간에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 전기 자극 장치(200)로 전송한다. 영상 표시 장치(100)는 영상의 재생 시간에 따라 전기 자극의 형태를 기록한 전기 자극 데이터를 저장한다. 전기 자극 데이터는 영상의 움직임의 방향, 크기 등에 기초하여 미리 생성된 데이터이다. 전기 자극 데이터는 자막 파일과 같이, 영상이 재생되면 함께 실행될 수 있다. 영상 표시 장치(100)는 전기 자극 데이터에 기초하여 신호를 전기 자극 장치(200)로 전송한다.
단계 1630에서, 영상 표시 장치(100)는 사용자의 움직임을 감지한다. 영상 표시 장치(100)는 자이로 센서, 가속도 센서 등의 모션 센서를 이용하여 사용자의 움직임을 감지할 수 있다.
단계 1640에서, 영상 표시 장치(100)는 움직임의 정도에 따라 전기 자극의 세기를 조정한다. 영상 표시 장치(100)는 전기 자극 데이터에 기록된 전기 자극의 세기와 사용자의 움직임의 정도를 비교하여 전기 자극의 세기를 조정할 수 있다. 예를 들어, 영상 표시 장치(100)는 전기 자극의 세기에 비해 사용자의 움직임이 크면 전기 자극의 세기를 감소시키고, 전기 자극의 세기에 비해 사용자의 움직임이 작으면 전기 자극의 세기를 증가시킬 수 있다. 영상 표시 장치(100)는 전기 자극의 세기와 사용자의 움직임의 정도를 비교하여 사용자의 민감도를 업데이트하고, 전기 자극의 세기를 조정할 수 있다. 민감도는 동일한 세기의 전류에 대해 사용자마다 체감하는 정도를 나타내는 수치이다. 동일한 세기의 전류가 인가되어도, 사용자에 따라 체감하는 정도가 다르다. 따라서, 영상 표시 장치(100)는 사용자의 움직임의 정도에 따라 사용자의 민감도를 업데이트할 수 있고, 업데이트된 민감도에 기초하여 전기 자극의 세기를 조정한다. 구체적으로, 영상 표시 장치(100)는 전기 자극 데이터의 형태는 유지하되, 민감도에 기초하여 전류의 진폭만을 조절할 수 있다.
도 17은 일 실시 예에 따라 사용자가 전기 자극의 세기를 조정하는 방법을 설명하기 위한 도면이다.
사용자는 전기 자극의 세기를 영상 표시 장치(100)를 이용하여 조정할 수 있다. 영상 표시 장치(100)는 전기 자극의 세기를 점진적으로 증가시키고, 사용자는 원하는 세기의 전기 자극의 세기를 선택한다. 영상 표시 장치(100)는 사용자에 의해 선택된 전기 자극의 세기에 기초하여 전기 자극을 인가한다.
도 17에 도시된 바와 같이, 사용자는 영상 표시 장치(100)의 디스플레이(120)에 표시된 바(bar, 1710)를 터치하여 원하는 전기 자극의 세기를 선택할 수 있다. 또한, 사용자는 영상 표시 장치(100)의 볼륨 버튼과 같이 물리적인 버튼을 이용하여 전기 자극의 세기를 선택할 수도 있다.
영상 표시 장치(100)는 사용자의 직접적인 입력이 없더라도, 사용자의 움직임을 감지하여 전기 자극의 세기를 선택할 수도 있다. 영상 표시 장치(100)는 전기 자극의 세기가 점진적으로 증가하는 동안, 모션 센서를 이용하여 사용자의 움직임의 크기를 감지한다. 영상 표시 장치(100)는 전기 자극의 세기에 대한 사용자의 움직임의 크기에 기초하여 전기 자극의 세기를 조정할 수 있다. 영상 표시 장치(100)는 전기 자극의 세기에 대한 사용자의 움직임의 크기에 기초하여 사용자의 민감도를 획득할 수 있다. 영상 표시 장치(100)는 사용자의 민감도를 설정하고, 민감도에 기초하여 전기 자극의 세기를 조정한다.
또한, 영상 표시 장치(100)는 전기 자극의 세기가 점진적으로 증가하는 동안, 사용자의 제스쳐를 감지하여 전기 자극의 세기를 선택할 수 있다. 사용자는 고개를 끄덕이거나 영상 표시 장치(100)의 외부를 탭(tap)하는 동작을 통해 전기 자극의 세기를 선택할 수 있다. 영상 표시 장치(100)는 사용자의 제츠쳐가 감지되는 시점에 인가된 전기 자극의 세기를 기준 세기로 선택할 수 있다.
도 18은 사용자가 전기 자극 장치를 이용하여 전기 자극의 세기를 조정하는 예를 설명하기 위한 도면이다.
전기 자극 장치(200)는 물리적인 버튼을 추가로 구비할 수 있다. 사용자는 착용하고 있는 전기 자극 장치(200)의 버튼을 눌러 전기 자극의 세기를 조정할 수 있다. 사용자는 영상이 재생되는 동안에도 전기 자극 장치(200)의 버튼을 눌러 전기 자극의 세기를 증가시키거나 감소시킬 수 있다.
전기 자극 장치(200)는 사용자의 입력에 기초하여 전극(230)으로 출력하는 전류의 세기를 조정한다. 또한, 전기 자극 장치(200)는 사용자의 입력을 영상 표시 장치(100)로 전송할 수 있다. 영상 표시 장치(100)는 사용자의 입력에 기초하여 조정된 신호를 전기 자극 장치(200)로 전송할 수 있다.
도 19는 일 실시 예에 따른 전기 자극의 전송 시간을 보정하는 방법을 설명하기 위한 도면이다.
영상 표시 장치(100)와 전기 자극 장치(200)는 유선 또는 무선으로 연결되어 있으므로, 영상 표시 장치(100)에서 신호를 전송할 때의 시간과 전기 자극 장치(200)에서 신호를 수신할 때의 시간에 차이가 발생한다. 또한, 영상의 움직임이 발생하는 시간과 사용자가 전기 자극을 느끼는 시간 사이에도 차이가 발생한다.
영상 표시 장치(100)는 전기 자극 장치(200)와 영상을 재생하기 이전에 동기화한다. 영상 표시 장치(100)는 신호를 전기 자극 장치(200)로 전송하고, 전송 시간을 기록한다. 전기 자극 장치(200)는 신호를 수신하고, 수신 시간을 기록한다. 전기 자극 장치(200)는 수신 시간을 영상 표시 장치(100)로 전송한다. 영상 표시 장치(100)는 송신 시간과 수신 시간을 비교하여 전송 시간을 조정한다. 전송 시간은 재생될 영상과 함께 전기 자극 데이터에 기록되어 있다. 영상 표시 장치(100)는 전기 자극 데이터에 기록된 전송 시간을 조정하고, 조정된 전송 시간에 전기 자극 장치(200)로 신호를 전송한다.
영상 표시 장치(100)는 사용자의 움직임에 따라 전송 시간을 조정한다. 영상 표시 장치(100)는 신호를 전기 자극 장치(200)로 전송하고, 전송 시간을 기록한다. 영상 표시 장치(100)는 사용자가 전기 자극에 반응하는 반응 시간을 기록한다. 영상 표시 장치(100)는 모션 센서를 이용하여 사용자의 반응을 감지할 수 있다. 영상 표시 장치(100)는 전송 시간과 반응 시간을 비교하여, 전송 시간을 조정한다.
영상 표시 장치(100)는 전송 시간을 보정함으로써 영상이 변화하는 시간과 일치하는 시간에 사용자에게 전기 자극을 인가할 수 있다.
도 20은 영상정보를 나타내는 전기 자극 데이터의 일 예이다. 예를 들어, 전기 자극 데이터는 메타 데이터의 형태일 수 있다.
영상 표시 장치(100)는 영상과 함께 영상 정보를 나타내는 전기 자극 데이터를 저장할 수 있다. 전기 자극 데이터는 영상이 재생되는 동안 멀미 저감 또는 현실감 증대를 위해 사용자에게 인가되는 전기 자극 신호에 대한 정보이다.
예를 들어, 전기 자극 데이터는 name과 value 2개의 필드(field)를 포함할 수 있다. Time은 전기 자극이 인가되는 시간을 나타낸다. Type은 전기 자극의 종류를 나타내고, pitch, roll, yaw 등이 있다. Mode는 전기 자극의 파형을 나타내고, DCS(직류), ACS(교류), Custom motion type(사용자 지정) 등이 있다. Current는 전류의 세기를 나타낸다. Frequency는 인가되는 전류의 주파수를 나타낸다. Count는 인가되는 전기 자극의 횟수를 나타낸다. Direction은 인가되는 전기 자극의 방향을 나타낸다.
도 20의 전기 자극 데이터의 형태는 일 예이며, 전기 자극 데이터는 다양한 필드를 포함할 수 있다.
도 21 및 도 22는 서버가 복수의 영상 표시 장치들 또는 전기 자극 장치들에 신호를 전송하는 예를 설명하기 위한 도면이다. 서버(2100)는 영상 데이터 및 전기 자극 데이터를 생성 및 저장할 수 있다. 전기 자극 데이터는 영상 데이터가 재생되는 동안 전기 자극이 인가되는 시간, 전기 자극의 세기, 전기 자극의 형태에 관한 정보를 포함한다. 전기 자극 데이터는 영상 데이터가 생성될 때 같이 생성될 수 있다. 예를 들어, 영화 제작사는 영화를 제작하면서 영화에 대한 전기 자극 데이터를 함께 제작할 수 있다.
서버(2100)는 복수의 영상 표시 장치들(2110 내지 2140) 또는 복수의 전기 자극 장치들(2210 내지 2240)로 신호를 전송한다. 영상 표시 장치들(2110 내지 2140) 또는 복수의 전기 자극 장치들(2210 내지 2240)은 수신된 신호에 따라 사용자에게 전기 자극을 인가한다.
또 다른 예로, 서버(2100)는 복수의 영상 표시 장치들(2110 내지 2140) 또는 복수의 전기 자극 장치들(2210 내지 2240)로 영상 데이터 또는 전기 자극 데이터를 전송할 수 있다. 영상 표시 장치들(2110 내지 2140)는 영상 데이터를 재생하는 동안 영상 데이터에 대응하는 전기 자극 데이터에 기초하여 사용자에게 전기 자극을 인가할 수 있다. 영상 표시 장치들(2100 내지 2140)은 영상이 재생되는 시간에 따라 전기 자극 데이터에 기록된 전기 자극을 사용자에게 인가한다. 복수의 전기 자극 장치들(2210 내지 2240)은 전기 자극 데이터에 기초하여 사용자에게 전기 자극을 인가할 수 있다.
도 21은 서버에서 복수의 영상 표시 장치들로 전기 자극 데이터 또는 신호를 전송하는 예를 설명하기 위한 도면이다. 전기 자극 데이터는 영상에 따라 전기 자극 신호를 사용자에게 인가하기 위해 생성된 데이터이고, 영상이 재생되기 이전에 영상 표시 장치들(2110 내지 2140)으로 전송될 수 있다. 신호는 서버(2100)가 전기 자극을 인가하는 시점에 영상 표시 장치들(2110 내지 2140)으로 전송된다. 서버(2100)는 영상 표시 장치들(2110 내지 2140)으로 전기 자극 데이터 또는 신호를 전송하고, 영상 표시 장치들(2110 내지 2140)은 전기 자극 데이터 또는 신호에 기초하여 사용자에게 전기 자극을 인가한다. 영상 표시 장치들(2110 내지 2140)는 수신된 전기 자극 데이터에 대응하는 영상을 재생할 수 있다. 영상이 재생되면, 영상 표시 장치들(2110 내지 2140)는 재생되는 영상에 대응하는 전기 자극 데이터가 저장되어 있는지 메모리를 검색한다. 영상 표시 장치들(2110 내지 2140)은 전기 자극 데이터가 검색되면, 영상이 재생되는 동안 전기 자극 데이터에 기초하여 사용자에게 전기 자극이 인가되도록 전기 자극 장치를 제어한다.
도 21에서는 영상 표시 장치들(2110 내지 2140)로 전기 자극 데이터 또는 신호를 전송하는 것을 도시하였으나, 서버(2100)는 복수의 HMD로 전기 자극 데이터 또는 신호를 전송할 수 있다.
도 22는 서버에서 복수의 전기 자극 장치들로 전기 자극 데이터 또는 신호를 전송하는 예를 설명하기 위한 도면이다. 서버(2100)는 전기 자극 장치들(2210 내지 2240)로 전기 자극 데이터 또는 신호를 전송하고, 전기 자극 장치들(2210 내지 2240)은 전기 자극 데이터 또는 신호에 기초하여 사용자에게 전기 자극을 인가한다. 서버(2100)는 전기 자극 데이터 또는 신호를 영상과 함께 전송할 수 있다. 또는 서버(2100)는 영상을 복수의 사용자들에게 표시하고, 영상이 재생되는 동안 사용자들이 착용하고 있는 전기 자극 장치들(2210 내지 2240)이 사용자에게 전기 자극을 인가하도록 전기 자극 장치들(2210 내지 2240)에 전기 자극 데이터 또는 신호를 전송한다.
영화관에 많은 관객들이 입장하여 영화를 감상하는 경우를 예를 들어 설명한다. 관객은 3D 영화를 관람하기 위해 3D 안경을 착용하는 것처럼, 영화관에 입장하여 전기 자극 장치(2210)를 착용한다. 서버(2100)는 영화를 재생하면서, 관객에 전기 자극 신호를 인가하기 위해, 전기 자극 장치(2210)로 전기 자극 데이터 또는 신호를 전송한다. 관객들은 동일한 영화를 감상하기 때문에, 서버(2100)는 복수의 전기 자극 장치들(2210 내지 2240)에 동일한 전기 자극 데이터를 전송하거나, 동일한 시점에 신호를 전송할 수 있다.
도 23은 일 실시 예에 따라 사용자가 수동으로 전기 자극 신호를 인가하는 방법을 설명하기 위한 도면이다. 도 23을 참조하면, 사용자는 영상을 시청하는 동안, 영상의 이동에 따라 조이스틱(2300)을 조작할 수 있다. 조이스틱(2300)은 사용자의 조작에 따라, 전기 자극 장치(200)로 신호를 전송한다. 전기 자극 장치(200)는 전송된 신호에 기초하여 사용자에게 전기 자극을 인가한다.
사용자는 조이스틱(2300)을 조작하고, 전기 자극 장치(200)는 조이스틱(2300)의 이동 방향에 따라 사용자에게 전기 자극을 인가할 수 있다.
예를 들어, 사용자는 영상을 시청하면서, 멀미를 저감하거나 현실감을 증대시키기 위해 영상의 움직임에 따라 조이스틱(2300)을 조작할 수 있다. 영상이 왼쪽으로 회전하면, 사용자는 조이스틱(2300)을 왼쪽으로 회전시킬 수 있다. 영상이 오른쪽으로 회전하면, 사용자는 조이스틱(2300)을 왼쪽으로 회전시킬 수 있다. 사용자는 조이스틱(2300)을 이용하여 직접 전기 자극 신호의 방향, 세기 등을 제어할 수 있다.
조이스틱(2300)은 볼 및 스틱을 포함할 수 있으며, 볼은 스틱에 의해 지지될 수 있다. 사용자는 볼을 조작할 수 있고, 조이스틱(2300)은 볼의 움직임을 감지하여 전기 자극 장치로 신호를 전송할 수 있다.
또 다른 실시 예로, 사용자는 사용자의 생체 신호를 측정하는 측정 장치를 부착할 수 있다. 측정 장치는 사용자의 맥박, 뇌파, 체온 등의 생체 신호를 측정할 수 있다. 측정된 생체 신호에 기초하여 사용자가 멀미를 느끼는지가 판단될 수 있다. 전기 자극 장치(200)는 측정 장치로부터 출력되는 신호에 기초하여 사용자에게 전기 자극을 인가하여, 멀미를 저감시킬 수 있다.
도 24는 일 실시 예에 따른 영상의 움직임에 따른 전기 자극을 위한 신호를 생성하는 방법을 설명하기 위한 순서도이다.
단계 2410에서, 영상 표시 장치는 영상을 재생한다. 영상은 가상현실 영상일 수 있다.
단계 2420에서, 영상 표시 장치는 영상의 움직임에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 생성한다. 영상 표시 장치는 영상의 움직임을 검출한다. 생성된 신호는 전기 자극의 세기, 전기 자극이 인가되는 신체의 위치, 전기 자극이 인가되는 시점 등의 정보를 포함한다. 프로세서(110)는 영상 표시 장치를 착용한 사용자의 움직임이 아닌, 영상 자체의 움직임이 발생할 때 전기 자극을 위한 신호를 생성할 수 있다.
영상 표시 장치는 영상의 움직임의 방향에 따라 신호를 생성할 수 있다. 영상은 회전, 전진, 후진, 확대 또는 축소 될 수 있다. 영상 표시 장치는 영상이 회전, 전진, 후진, 확대 또는 축소 되는지를 검출하여, 검출된 영상의 움직임에 기초하여 신호를 생성한다. 영상 표시 장치는 BMA(Block-Matching-Algorithm) 또는 옵티컬 플로우(Optical Flow)를 이용하여 영상의 움직임을 검출할 수 있다.
단계 2430에서, 영상 표시 장치는 전기 자극 장치로 신호를 송신한다. 신호를 수신한 전기 자극 장치는 신호에 포함된 정보에 기초하여 사용자에게 전기 자극을 인가한다.
영상 표시 장치는 영상의 시점에 따라 신호를 생성할 수 있다. 영상의 시점은 1인칭 시점 또는 3인칭 시점 등일 수 있다. 영상 표시 장치는 1인칭 시점의 영상을 재생할 때, 영상의 움직임에 따라 신호를 생성할 수 있다. 영상 표시 장치는 3인칭 시점의 영상을 재생할 때, 신호를 생성하지 않을 수 있다. 또한, 3인칭 시점의 영상이 재생될 때라도, 영상 표시 장치는 1인칭 시점의 영상이 재생될 때보다 작은 세기의 전기 자극을 나타내는 신호를 생성할 수 있다.
한편, 상술한 실시예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터(예: 프로그램 명령어 및 코드)가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, "부", "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.

Claims (17)

  1. 가상현실 영상을 제공하는 영상 표시 장치에 있어서,
    상기 영상을 재생하는 디스플레이;
    상기 영상의 움직임에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 생성하는 프로세서; 및
    전기 자극 장치로 상기 신호를 송신하는 통신부;를 포함하는 영상 표시 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 영상의 회전, 전진, 후진, 확대 또는 축소에 따라 상기 신호를 생성하는 것을 특징으로 하는, 영상 표시 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 영상의 시점을 판단하고, 상기 시점에 따라 상기 신호를 생성하는 것을 특징으로 하는, 영상 표시 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는 상기 시점이 1인칭일 때 상기 신호를 생성하고, 상기 시점이 3인칭일 때 상기 신호를 생성하지 않는 것을 특징으로 하는, 영상 표시 장치.
  5. 제 1 항에 있어서,
    상기 영상 표시 장치를 착용한 사용자의 움직임을 감지하는 센서를 더 포함하고,
    상기 프로세서는 상기 사용자의 상기 움직임의 정도에 따라 상기 전기 자극의 세기를 조정하는, 영상 표시 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 전기 자극의 세기와 상기 사용자의 상기 움직임의 정도를 비교하여, 상기 사용자의 민감도를 업데이트하고, 상기 민감도에 기초하여 상기 전기 자극의 세기를 조정하는 것을 특징으로 하는, 영상 표시 장치.
  7. 제 5 항에 있어서,
    상기 디스플레이는 상기 전기 자극의 세기를 표시하고, 상기 사용자로부터 입력을 수신하여 상기 프로세서로 출력하고,
    상기 프로세서는 상기 전기 자극의 세기를 점진적으로 증가시키고, 상기 입력에 기초하여 상기 사용자에 의해 선택된 세기로 상기 전기 자극의 세기를 조정하는 것을 특징으로 하는, 영상 표시 장치.
  8. 제 5 항에 있어서,
    상기 프로세서는 상기 신호를 전송한 시간과 상기 센서로부터 상기 사용자의 상기 움직임이 감지된 시간을 비교하여 상기 전기 자극을 전송하는 시간을 조정하는 것을 특징으로 하는, 영상 표시 장치.
  9. 가상현실 영상에 따라 전기 자극을 제공하는 방법에 있어서,
    상기 영상을 재생하는 단계;
    상기 영상의 움직임에 따라 전기 자극을 사용자에게 인가하기 위한 신호를 생성하는 단계; 및
    전기 자극 장치로 상기 신호를 송신하는 단계;를 포함하는 전기 자극 제공 방법.
  10. 제 9 항에 있어서,
    상기 신호를 생성하는 단계는 상기 영상의 회전, 전진, 후진, 확대 또는 축소에 따라 상기 신호를 생성하는 것을 특징으로 하는, 전기 자극 제공 방법.
  11. 제 9 항에 있어서,
    상기 신호를 생성하는 단계는 상기 영상의 시점에 따라 상기 신호를 생성하는 것을 특징으로 하는, 전기 자극 제공 방법.
  12. 제 11 항에 있어서,
    상기 신호를 생성하는 단계는 상기 시점이 1인칭일 때 상기 신호를 생성하고, 상기 시점이 3인칭일 때 상기 신호를 생성하지 않는 것을 특징으로 하는, 전기 자극 제공 방법.
  13. 제 9 항에 있어서,
    영상 표시 장치를 착용한 사용자의 움직임을 감지하는 단계를 더 포함하고,
    상기 신호를 생성하는 단계는 상기 사용자의 상기 움직임의 정도에 따라 상기 전기 자극의 세기를 조정하여 상기 신호를 생성하는 것을 특징으로 하는, 전기 자극 제공 방법.
  14. 제 13 항에 있어서, 상기 전기 자극의 세기를 조정하는 단계는,
    상기 전기 자극의 세기와 상기 사용자의 상기 움직임의 정도를 비교하여, 상기 사용자의 민감도를 업데이트하고, 상기 민감도에 기초하여 상기 전기 자극의 세기를 조정하는 것을 특징으로 하는, 전기 자극 제공 방법.
  15. 제 13 항에 있어서,
    상기 전기 자극의 세기를 표시하는 단계;
    상기 사용자로부터 입력을 수신하는 단계;를 더 포함하고,
    상기 전기 자극의 세기를 조정하는 단계는, 상기 전기 자극의 세기를 점진적으로 증가시키고, 상기 입력에 기초하여 상기 사용자에 의해 선택된 세기로 상기 전기 자극의 세기를 조정하는 것을 특징으로 하는, 전기 자극 제공 방법.
  16. 제 9 항에 있어서,
    상기 신호를 전송한 시간과 상기 센서로부터 사용자의 움직임이 감지된 시간을 비교하여 상기 전기 자극을 전송하는 시간을 조정하는 단계를 더 포함하는 것을 특징으로 하는, 전기 자극 제공 방법.
  17. 제9항 내지 제16항에 있어서, 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 독출할 수 있는 기록매체.
KR1020160106171A 2016-02-29 2016-08-22 멀미 저감을 위한 영상 표시 장치 및 방법 KR102365162B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2016/014978 WO2017150795A1 (en) 2016-02-29 2016-12-21 Video display apparatus and method for reducing vr sickness
EP16892808.3A EP3365755B1 (en) 2016-02-29 2016-12-21 Video display apparatus and method for reducing vr sickness
CN201680082566.0A CN108700937A (zh) 2016-02-29 2016-12-21 视频显示设备和用于减轻vr不适的方法
US15/396,942 US10248202B2 (en) 2016-02-29 2017-01-03 Video display apparatus and method for reducing VR sickness

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160024301 2016-02-29
KR1020160024301 2016-02-29

Publications (2)

Publication Number Publication Date
KR20170101757A true KR20170101757A (ko) 2017-09-06
KR102365162B1 KR102365162B1 (ko) 2022-02-21

Family

ID=59925416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160106171A KR102365162B1 (ko) 2016-02-29 2016-08-22 멀미 저감을 위한 영상 표시 장치 및 방법

Country Status (3)

Country Link
EP (1) EP3365755B1 (ko)
KR (1) KR102365162B1 (ko)
CN (1) CN108700937A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020472B1 (ko) * 2018-08-08 2019-09-10 가천대학교 산학협력단 Eeg센서 기반 향분사장치를 활용한 vr 콘텐츠 사용자의 피로도 완화 시스템
US10832483B2 (en) 2017-12-05 2020-11-10 Electronics And Telecommunications Research Institute Apparatus and method of monitoring VR sickness prediction model for virtual reality content
WO2023043011A1 (ko) * 2021-09-15 2023-03-23 사회복지법인 삼성생명공익재단 영상 컨텐츠와 모션 체어를 연동하는 방법, 컴퓨터 프로그램 및 시스템
KR20230095570A (ko) 2021-12-22 2023-06-29 고려대학교 산학협력단 역방향 광류를 이용한 멀미 저감 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099625B (zh) * 2020-08-25 2022-03-29 华南理工大学 基于微电流刺激的虚拟力反馈评估和调整系统与方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100130620A (ko) * 2008-03-10 2010-12-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
US20150325027A1 (en) * 2014-05-09 2015-11-12 Dreamworks Animation Llc Method and system for reducing motion sickness in virtual reality ride systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507242B1 (ko) * 2013-10-21 2015-03-31 포항공과대학교 산학협력단 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100130620A (ko) * 2008-03-10 2010-12-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치
US20150325027A1 (en) * 2014-05-09 2015-11-12 Dreamworks Animation Llc Method and system for reducing motion sickness in virtual reality ride systems
KR101564964B1 (ko) * 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832483B2 (en) 2017-12-05 2020-11-10 Electronics And Telecommunications Research Institute Apparatus and method of monitoring VR sickness prediction model for virtual reality content
KR102020472B1 (ko) * 2018-08-08 2019-09-10 가천대학교 산학협력단 Eeg센서 기반 향분사장치를 활용한 vr 콘텐츠 사용자의 피로도 완화 시스템
WO2023043011A1 (ko) * 2021-09-15 2023-03-23 사회복지법인 삼성생명공익재단 영상 컨텐츠와 모션 체어를 연동하는 방법, 컴퓨터 프로그램 및 시스템
KR20230095570A (ko) 2021-12-22 2023-06-29 고려대학교 산학협력단 역방향 광류를 이용한 멀미 저감 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램

Also Published As

Publication number Publication date
KR102365162B1 (ko) 2022-02-21
EP3365755A4 (en) 2018-10-17
CN108700937A (zh) 2018-10-23
EP3365755B1 (en) 2021-06-30
EP3365755A1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
US10248202B2 (en) Video display apparatus and method for reducing VR sickness
KR102365162B1 (ko) 멀미 저감을 위한 영상 표시 장치 및 방법
Kim et al. Vrsa net: Vr sickness assessment considering exceptional motion for 360 vr video
KR102196380B1 (ko) 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
CN204952205U (zh) 一种头戴式组合健身系统
US6623428B2 (en) Digital image sequence display system and method
TW201539037A (zh) 電子式隱形眼鏡與其成像系統
US20200201434A1 (en) Bioresponsive virtual reality system and method of operating the same
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
JP2018126185A (ja) 装置、音データの生成方法、及びプログラム
JP2005318973A (ja) 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
Rounds et al. Using posterior eeg theta band to assess the effects of architectural designs on landmark recognition in an urban setting
JP7364099B2 (ja) 出力制御装置、出力制御方法およびプログラム
KR20190069684A (ko) 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법
KR20200093235A (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
US20120282585A1 (en) Interest-Attention Feedback System for Separating Cognitive Awareness into Different Left and Right Sensor Displays
Cristino et al. The nature of the visual representations involved in eye movements when walking down the street
KR20220014254A (ko) 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
KR102383793B1 (ko) 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
Soto-Faraco et al. Multisensory interactions during motion perception: From basic principles to media applications
CN113576497A (zh) 一种面向双眼竞争的视觉稳态诱发电位检测系统
CN108887961A (zh) 座椅和基于座椅的专注度评测方法
CN117116417B (zh) 一种基于物联网的跑步场景模拟方法及系统
Choy Objective and subjective quality assessments of 3D videos

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant