KR20190028358A - 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법 - Google Patents

3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190028358A
KR20190028358A KR1020187021232A KR20187021232A KR20190028358A KR 20190028358 A KR20190028358 A KR 20190028358A KR 1020187021232 A KR1020187021232 A KR 1020187021232A KR 20187021232 A KR20187021232 A KR 20187021232A KR 20190028358 A KR20190028358 A KR 20190028358A
Authority
KR
South Korea
Prior art keywords
dimensional
video
acceleration
angular velocity
user
Prior art date
Application number
KR1020187021232A
Other languages
English (en)
Inventor
가우라브 엔 프라단
마이클 제이 세베떼
잔 스테파넥
Original Assignee
메이오 파운데이션 포 메디칼 에쥬케이션 앤드 리써치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메이오 파운데이션 포 메디칼 에쥬케이션 앤드 리써치 filed Critical 메이오 파운데이션 포 메디칼 에쥬케이션 앤드 리써치
Priority to KR1020247009027A priority Critical patent/KR20240042156A/ko
Publication of KR20190028358A publication Critical patent/KR20190028358A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36036—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/0404—Electrodes for external use
    • A61N1/0408—Use-related aspects
    • A61N1/0456—Specially adapted for transcutaneous electrical nerve stimulation [TENS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014—External stimulators, e.g. with patch electrodes
    • A61N1/3603—Control systems
    • A61N1/36031—Control systems using physiological parameters for adjustment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Otolaryngology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 비디오의 장면에서의 가속에 대응하는 갈바닉 전정 자극을 제공하는 방법에 관한 것이다. 실시형태는 (1) 3 차원 비디오 각속도 정보를 포함하는 3 차원 비디오 신호를 수신하는 단계, (2) 3 차원 헤드 각속도 정보를 포함하는 3 차원 헤드 방향 신호를 수신하는 단계, (3) 상기 비디오 각속도 정보 및 상기 헤드 각속도 정보에 기초하여 결과적인 3 차원 각속도 정보를 계산하는 단계, (4) 결과적인 3 차원 각속도 정보에 의거하여 3 차원 가속 정보를 계산하는 단계, (5) 결과적인 3 차원 각가속 정보에 대응하는 3 차원 갈바닉 전정 자극 신호를 생성하는 단계를 포함하며, 여기서 상기 3 차원 자극 신호는 디스플레이된 장면을 시청하는 사용자의 가속에 대응하는 3 차원 가속감을 자극할 것이다.

Description

3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법
본 발명은 일반적으로 가상 현실 자극 시스템에 관한 것이다. 특히, 본 발명은 갈바닉 전정 자극(galvanic vestibular stimulation)과 3 차원 비디오의 통합에 관한 것이다.
오큘러스(Oculus) VR에 의해 개발된 리프트(Rift) 디바이스와 같은 소위 가상 현실 또는 증강 현실 시스템은, 3 차원 비디오를 헤드셋 상에 디스플레이함으로써 사용자에게 3 차원 시각 자극을 제공한다. 사용자의 헤드의 방향(orientation) 및/또는 움직임(motion)을 나타내는 정보는, 추적 디바이스에 의해 추적되고, 이 정보는 비디오의 디스플레이를 제어하기 위해 시스템에 의해 사용된다(예를 들어, 디스플레이된 비디오의 장면은 사용자가 헤드를 돌리는 방향의 장면에 적절하게 대응함). 또한, 가상 경험을 향상시키기 위해 사용자에게 움직임 또는 가속감을 제공하기 위해 시각적 자극과 함께 갈바닉 전정 자극(galvanic vestibular stimulation; GVS)을 제공하는 것이 알려져 있다. 이러한 유형의 시스템은, 예를 들어 캠벨(Campbell)에 의한 미국 특허 제5,762,612호, 라발레(LaValle) 등에 의한 미국 특허 제9,063,30호 및 브로켄(Brokken) 등에 의한 미국 특허 출원 공보 제2011/0044604호에 개시되어 있으며, 이들 모두는 전체적으로 그리고 모든 목적을 위해 본원에 참고로 통합된다. GVS 시스템은, 예를 들어 세베테(Cevette) 등에 의한 미국 특허 제8,718,796호에 개시되어 있으며, 이는 전체적으로 그리고 모든 목적을 위해 본원에 참고로 통합된다. 그러나, 향상된 가상 현실 시스템에 대한 지속적인 요구가 남아있다. 특히, 시각 자극에 대응하는 향상된 통합 전정 자극을 제공하는 시스템이 필요하다.
본 발명의 실시형태는 비디오의 장면에서의 가속에 대응하는 갈바닉 전정 자극을 제공하는 방법을 포함한다. 실시형태에서, 상기 방법은 (1) 3 차원 비디오 각속도 정보를 포함하는 3 차원 비디오 신호를 수신하는 단계 - 상기 3차원 비디오 신호는 사용자에게 디스플레이될 수 있는 장면을 나타냄 - ; (2) 3 차원 헤드 각속도 정보를 포함하는 3 차원 헤드 방향 신호를 수신하는 단계 - 상기 헤드 방향 신호는 디스플레이된 장면을 시청하는 사용자의 헤드의 방향을 나타냄 -; (3) 상기 비디오 각속도 정보 및 상기 헤드 각속도 정보에 기초하여 결과적인 3 차원 각속도 정보를 계산하는 단계 - 상기 결과적인 3 차원 각속도 정보는 상기 시청되는 장면에 대한 상기 사용자의 3 차원 각속도를 나타냄 - ; (4) 결과적인 3 차원 각속도 정보에 기초하여 3 차원 가속(acceleration) 정보를 계산하는 단계 - 상기 3 차원 가속 정보는 장면을 시청하는 사용자의 3 차원 가속을 나타냄 - ; (5) 결과적인 3 차원 각가속 정보에 대응하는 3 차원 갈바닉 전정 자극 신호를 생성하는 단계 - 상기 3 차원 자극 신호는 디스플레이된 장면을 시청하는 사용자의 가속에 대응하는 3 차원 가속감을 자극함 - 를 포함한다. 3 차원은 실시형태에서 피치(pitch), 요(yaw) 및 롤(roll)과 같은 적어도 3 축에 대한 속도 또는 가속도를 나타낸다. 실시형태들은 또한 (1) 2 차원 비디오 신호를 수신하는 단계; 및 (2) 2 차원 비디오 신호에 기초하여 3 차원 비디오 신호를 생성하는 단계를 포함한다.
도 1은 본 발명의 실시형태에 따른 3 차원 비디오 및 갈바닉 전정 자극 시스템의 블록도이다.
본 발명의 실시형태에 따른 통합된 3 차원(three dimensional; 3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템(10) 및 방법은 도 1을 참조하여 기술될 수 있다. 도시된 바와 같이, 시스템(10)은 2 차원(two diemensional; 2D) 비디오 소스(12), 3D 비디오 변환기(14), 3D 시각 자극 시스템(16), 결과적으로 생성된 3D 각속도 계산기(18) 및 GVS 자극 시스템(20)을 포함한다. 2D 비디오 소스(12)는 2D 비디오 데이터 또는 신호의 임의의 원하는 소스일 수 있다. 비디오 소스(12)의 예들은 TV 수신기, DVD 또는 기타 재생 디바이스, 비디오 게임 콘솔, 무인 카메라 또는 TV 프로그래밍, 영화, 카메라에 의해 캡쳐된 비디오 게임 필드 및 장면들과 같은 비디오 시각 장면들을 나타내는 2D 비디오 신호들을 제공하는 다른 카메라를 포함한다. 실시형태에서, 2D 비디오 소스(12)의 출력은 합성 비디오 신호이다. 비디오 소스(12)에 의해 제공된 2D 비디오 신호는 3D 비디오 변환기(14)에 연결된다. 3D 비디오 변환기(14)는 본 발명의 실시형태들에서 범용 직렬 버스(Universal Serial Bus; USB)를 통해 비디오 신호를 수신하도록 구성된다. 합성 비디오 신호를 출력하는 2D 비디오 소스(12)와 함께 사용하도록 구성된 이러한 실시형태에서, 2D 비디오 소스와 3D 비디오 변환기(14) 사이에 합성-대-USB(composite-to-USB) 변환기(도시되지 않음)가 연결될 수 있다. 2D 비디오 소스(12)는 다른 포맷으로 비디오를 제공할 수 있고 3D 비디오 변환기(14)는 본 발명의 다른 실시형태에서 다른 포맷으로 비디오를 수신할 수 있다.
3D 비디오 변환기(14)는 수신된 2D 비디오 신호를 대응하는 3D 비디오 데이터 또는 신호로 변환한다. 실시형태에서, 3D 비디오 변환기(14)는 Open GL(Open Graphics Library)을 실행하는 컴퓨터를 포함한다. 다른 실시형태는 다른 3D 비디오 포맷에 기초한다. 비디오 변환기(14)에 의해 생성된 3D 비디오 신호는 3D 비디오의 대응하는 장면에서의 움직임의 3D 비디오 각속도 정보 특징을 나타내는 데이터를 포함한다. 예를 들어, 3D 비디오 각속도 정보는 피치, 요 및 롤 방향의 각각의 각속도로서 수치적으로 표현될 수 있고, 매트릭스 형태로 표시될 수 있다. 실시형태에서, 비디오 변환기(14)에 의해 생성된 3D 비디오 신호는 3D 시각 자극 시스템(16)과 호환 가능한 포맷을 갖는다. 다른 실시형태들(도시되지 않음)은 비디오 변환기(14)에 의해 생성된 3D 비디오 신호를 자극 시스템(16)과 호환 가능한 포맷으로 변환하기 위한 변환기를 포함한다.
3D 시각 자극 시스템(16)은 도시된 실시형태에서 가상 환경 사용자 시스템(30), 시각 디스플레이(32) 및 헤드 트래커(34)를 포함한다. 시각 디스플레이(32)는 가상 환경 사용자 시스템(30)에 의해 구동되고, 3D 비디오 변환기(14)로부터 수신된 3D 비디오의 3D 시각 디스플레이를 제공한다. 실시형태에서, 시각 디스플레이(32)는 Oculus VR에 의해 개발된 유형의 오큘러스 리프트(Oculus Rift) 헤드 장착형 디스플레이이다. 다른 실시형태에서는 다른 가상 현실 디스플레이 시스템이 사용된다. 헤드 트래커(34)는 사용자가 시각 디스플레이(32) 상에서 비디오를 보는 동안 사용자의 헤드 또는 눈의 방향을 나타내는 정보 또는 신호를 생성하고 가상 환경 사용자 시스템(30)에 제공한다. 예를 들어, 헤드 트래커(34)는 (예를 들어, 움직임을 검출하는 가속도계를 포함하는) 시각 디스플레이(32)에 내장될 수 있고 및/또는 센서와 같은 외부 디바이스일 수 있다. 헤드 트래커(34)에 의해 제공된 헤드 방향 정보는 사용자의 헤드 움직임을 나타내는 3D 헤드 각속도의 형태일 수 있다. 실시형태에서, 헤드 트래커(34)에 의해 제공되는 헤드 각속도 정보는 헤드의 피치, 요 및 롤 방향의 각각의 각속도로서 수치적으로 표현되며, 매트릭스 형태로 표시된다. 예를 들어, 비디오 게임 콘솔 또는 비디오 드라이버 하드웨어 및 소프트웨어를 구비한 범용 컴퓨터일 수 있는 가상 환경 사용자 시스템(30)은, 3D 비디오 변환기(14)로부터 수신된 비디오 신호 및 헤드 트래커(34)에 의해 제공된 헤드 방향 정보에 응답하여 시작 디스플레이(32)를 구동하여, 비디오 및 헤드의 움직임에 대응하는 시각적 가상 현실 환경을 사용자에게 제공한다.
결과적으로 생성된 각속도 계산기(18)는 3D 비디오 각속도 정보 및 3D 헤드 각속도 정보를 수신한다. 도시된 실시형태에서, 이 비디오 및 헤드 각속도 정보는, 가상 환경 사용자 시스템(30)을 통해 수신된다. 다른 실시형태들(도시되지 않음)에서, 3D 비디오 및 헤드 각속도 정보 중 하나 또는 모두는, 각각 3D 비디오 변환기(14) 또는 헤드 트래커(34)로부터 직접 수신될 수 있다. 각속도 계산기(18)는 비디오 및 헤드 움직임 각속도(즉, 비디오의 시청 장면에 대한 대응하는 사용자의 각속도) 모두에 기초하여 결과적인 3D 각속도를 계산하고, 그 정보를 나타내는 신호를 제공한다. 실시형태에서, 결과적인 3D 각속도는 피치, 요 및 롤 방향의 각각에서 각속도로 표현되며, 매트릭스 형태로 표시된다. 실시형태에서 각속도 계산기(18)는 프로그래밍된 컴퓨터이다.
GVS 자극 시스템(20)은, 각속도 계산기(18)로부터 결과적인 3D 각속도 정보를 수신하도록 연결되고, 전극(도시되지 않음)을 통해 사용자에게 인가될 수 있는 3D GVS 명령(command) 또는 신호를 생성한다. 3D GVS 신호는 비디오 장면을 보는 사용자의 가속에 대응하는 3D 가속감을 자극한다. GVS 자극 시스템(20)의 도시된 실시형태는 3D 가속 계산기(40) 및 GVS 명령 발생기(42)를 포함한다. 3D 가속 계산기(40)는 결과적인 3D 각속도 정보를 처리하고, 각속도 정보와 연관된 3D 가속 정보를 계산한다(예를 들어, 3D 각속도의 변화를 결정함). 실시형태에서, 3D 가속 정보는 피치, 요 및 롤 방향의 각각의 가속도를 나타낸다. 실시형태에서 3D 가속 계산기(40)는 프로그래밍된 컴퓨터이다.
GVS 명령 발생기(42)는 3D 가속 정보를, 사용자의 대응하는 3D 가속감을 자극하는 사용자의 신체에 (예를 들어, 전극을 통해) 적용하기에 적합하고 적절한 전기 신호로 변환한다. 실시형태에서, 명령 발생기(42)는 피치, 요 및 롤 치수의 각각에서의 가속을 나타내는 자극을 제공하는 GVS 신호를 생성한다. 실시형태에서, GVS 자극 시스템(20)은 좌측 유양 돌기, 이마, 우측 유양 돌기, 및 목의 목덜미에 배치된 4개의 전극을 통해 운동 지각(motion perception)을 제공하는 4 채널 시스템일 수 있다. 다양한 전극에 인가된 명령의 진폭, 위치 및/또는 타이밍은 각속도 계산기(18)에 의해 제공된 3D 각속도 정보에 응답하여 실시간으로 GVS 명령을 제공하도록 제어될 수 있고, 이에 의해 사용자에게 제공되는 시각 자극에 대응하는 운동 지각을 자극한다. 예로써, 상기 확인된 세베테(Cevette) 등에 의한 미국 특허 제8,718,796호에 개시된 것과 같은 접근법은, 이러한 목적을 위하여 사용될 수 있다. 다른 실시형태는 다른 전극 수 및 배치 구성, 및 다른 자극 접근법을 포함한다.
실시형태에서, 3D 비디오 변환기(14), 가상 환경 사용자 시스템(30), 결과적으로 생성된 3D 각속도 계산기(18), 및 3D 가속 계산기(40)는 별개의 컴퓨터 시스템 또는 프로세서에 의해 구현될 수 있다. 다른 실시형태에서, 3D 비디오 변환기(14), 가상 환경 사용자 시스템(30), 결과적으로 생성된 3D 각속도 계산기(18), 및 3D 가속 계산기(40)는 논리 함수를 나타내며, 이들 함수의 전부 또는 일부는 다른 컴퓨터 시스템 아키텍처에 의해 수행될 수 있다. 예를 들어, 3D 비디오 변환기(14), 가상 환경 사용자 시스템(30), 및 결과적으로 생성된 각속도 계산기(18)에 의해 수행되는 기능들은, 하나의 컴퓨터 시스템 상의 GVS 움직임 애플리케이션에 의해 제공될 수 있다.
본 발명의 실시형태는 중요한 이점을 제공한다. 예를 들어, 이러한 실시형태는 비디오 장면에 대응하는 움직임을 엄밀하게 나타내는 움직임 자극을 제공함으로써 사용자의 가상 현실 경험을 향상시킬 수 있다. 시스템 및 방법은 임의의 원하는 2D 비디오 소스와 관련하여 사용될 수 있다는 점에서 융통성이 있다. 시스템 및 방법은 또한 구현하기에 효율적일 수 있다.
본 발명이 바람직한 실시형태를 참조하여 설명되었지만, 당업자는 본 발명의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항을 변경할 수 있다는 것을 인식할 것이다. 예를 들어, 본 명세서에서 사용되는 바와 같이, “가상 현실” 이라는 용어는 예를 들어 소위 “증강 현실” 환경을 포함하여 적어도 부분적으로 전자적으로 생성된 자극을 사용자에게 제공하는 모든 시스템 및 방법을 광범위하게 망라하도록 의도된다.

Claims (15)

  1. 비디오의 장면(scene)들에서의 가속에 대응하는 갈바닉 전정 자극을 제공하는 방법으로서,
    3 차원 비디오 각속도 정보를 포함하는 3 차원 비디오 신호를 수신하는 단계 - 상기 3차원 비디오 신호는 사용자에게 디스플레이될 수 있는 장면을 나타냄 - 와,
    3 차원 헤드 각속도 정보를 포함하는 3 차원 헤드 방향 신호를 수신하는 단계 - 상기 헤드 방향 신호는 디스플레이된 장면을 시청하는 사용자의 헤드의 방향을 나타냄 - 와,
    상기 비디오 각속도 정보 및 상기 헤드 각속도 정보에 기초하여 결과적인 3 차원 각속도 정보를 계산하는 단계 - 상기 결과적인 3 차원 각속도 정보는 상기 시청되는 장면에 대한 상기 사용자의 3 차원 각속도를 나타냄 - 와,
    결과적인 3 차원 각속도 정보에 기초하여 3 차원 가속 정보를 계산하는 단계 - 상기 3 차원 가속 정보는 상기 장면을 시청하는 사용자의 3 차원 가속을 나타냄 - 와,
    결과적인 3 차원 각가속 정보에 대응하는 3 차원 갈바닉 전정 자극 신호를 생성하는 단계 - 상기 3 차원 자극 신호는 디스플레이된 장면을 시청하는 사용자의 가속에 대응하는 3 차원 가속감(acceleration sensation)을 자극함 -
    를 포함하는 갈바닉 전정 자극을 제공하는 방법.
  2. 제1항에 있어서, 상기 3 차원은 적어도 3 축에 대한 속도 또는 가속도를 나타내는 것인 갈바닉 전정 자극을 제공하는 방법.
  3. 제2항에 있어서, 상기 적어도 3 축은 피치(pitch), 요(yaw) 및 롤(roll) 축을 포함하는 것인 갈바닉 전정 자극을 제공하는 방법.
  4. 제3항에 있어서,
    2 차원 비디오 신호를 수신하는 단계와,
    상기 2 차원 비디오 신호에 기초하여 상기 3 차원 비디오 신호를 생성하는 단계를 더 포함하는 갈바닉 전정 자극을 제공하는 방법.
  5. 제2항에 있어서,
    2 차원 비디오 신호를 수신하는 단계와,
    상기 2 차원 비디오 신호에 기초하여 상기 3 차원 비디오 신호를 생성하는 단계를 더 포함하는 갈바닉 전정 자극을 제공하는 방법.
  6. 제1항에 있어서,
    2 차원 비디오 신호를 수신하는 단계와,
    상기 2 차원 비디오 신호에 기초하여 상기 3 차원 비디오 신호를 생성하는 단계를 더 포함하는 갈바닉 전정 자극을 제공하는 방법.
  7. 제6항에 있어서,
    상기 비디오 신호에 의해 표현된 상기 장면들을 사용자에게 디스플레이하는 단계와,
    상기 장면들을 디스플레이하면서 상기 3 차원 자극 신호를 상기 사용자에게 인가하는 단계를 더 포함하는 갈바닉 전정 자극을 제공하는 방법.
  8. 제1항에 있어서,
    상기 비디오 신호에 의해 표현된 상기 장면들을 사용자에게 디스플레이하는 단계와,
    상기 장면들을 디스플레이하면서 상기 3 차원 자극 신호를 상기 사용자에게 인가하는 단계를 더 포함하는 갈바닉 전정 자극을 제공하는 방법.
  9. 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(galvanic vestibular stimulation; GVS)을 제공하는 시스템에 있어서,
    3D 시각 자극 사용자 시스템으로서,
    가상 환경 사용자 시스템;
    상기 가상 환경 사용자 시스템에 연결된 시각 디스플레이; 및
    상기 가상 환경 사용자 시스템에 연결된 헤드 트래커를 포함하는 것인, 상기 3D 시각 자극 사용자 시스템과,
    상기 3D 시각 자극 시스템에 연결된 3D 각속도 계산기와,
    상기 3D 각속도 계산기에 연결된 3D 가속 계산기와,
    상기 3D 가속 계산기에 연결된 3D GVS 명령 발생기
    를 포함하는 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  10. 제9항에 있어서, 상기 3D 시각 자극 시스템에 연결된 3D 비디오 변환기를 더 포함하는 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  11. 제10항에 있어서, 상기 3D 비디오 변환기에 연결된 2 차원 비디오 소스를 더 포함하는 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  12. 제11항에 있어서, 상기 3 차원은 적어도 3 축에 대한 속도 또는 가속도를 나타내는 것인 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  13. 제12항에 있어서, 상기 적어도 3 축은 피치, 요 및 롤 축을 포함하는 것인 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  14. 제9항에 있어서, 상기 3 차원은 적어도 3 축에 대한 속도 또는 가속도를 나타내는 것인 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
  15. 제14항에 있어서, 상기 적어도 3 축은 피치, 요 및 롤 축을 포함하는 것인 통합된 3 차원(3D) 비디오 및 대응하는 3D 갈바닉 전정 자극(GVS)을 제공하는 시스템.
KR1020187021232A 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법 KR20190028358A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247009027A KR20240042156A (ko) 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562387586P 2015-12-23 2015-12-23
US62/387,586 2015-12-23
PCT/US2016/067560 WO2017112593A1 (en) 2015-12-23 2016-12-19 System and method for integrating three dimensional video and galvanic vestibular stimulation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247009027A Division KR20240042156A (ko) 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190028358A true KR20190028358A (ko) 2019-03-18

Family

ID=59089858

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187021232A KR20190028358A (ko) 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법
KR1020247009027A KR20240042156A (ko) 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247009027A KR20240042156A (ko) 2015-12-23 2016-12-19 3 차원 비디오 및 갈바닉 전정 자극을 통합하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (2) US11331485B2 (ko)
EP (1) EP3395067A4 (ko)
JP (2) JP6911028B2 (ko)
KR (2) KR20190028358A (ko)
AU (2) AU2016377491A1 (ko)
CA (1) CA3007434A1 (ko)
WO (1) WO2017112593A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016377491A1 (en) 2015-12-23 2018-06-21 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US906330A (en) 1908-02-03 1908-12-08 Challenge Machinery Co Jogger for printing-presses.
JP3138313B2 (ja) * 1992-02-05 2001-02-26 株式会社ナムコ 画像合成用スコープ、画像合成装置及びゲーム装置
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5762612A (en) 1997-02-28 1998-06-09 Campbell; Craig Multimodal stimulation in virtual environments
JP2002133444A (ja) * 2000-10-20 2002-05-10 Matsushita Electric Ind Co Ltd 映像情報作成装置
US6623428B2 (en) 2001-10-11 2003-09-23 Eastman Kodak Company Digital image sequence display system and method
JP4481209B2 (ja) * 2005-04-08 2010-06-16 日本電信電話株式会社 電気刺激装置及びバーチャルリアリティ体感装置
JP4804784B2 (ja) * 2005-04-08 2011-11-02 日本電信電話株式会社 電気刺激誘導装置
RU2010141546A (ru) 2008-03-10 2012-04-20 Конинклейке Филипс Электроникс Н.В. (Nl) Обработки видеоданных
US9446308B2 (en) * 2008-10-31 2016-09-20 Gearbox, Llc System and method for game playing using vestibular stimulation
WO2010084849A1 (ja) * 2009-01-22 2010-07-29 日本電気株式会社 立体映像鑑賞システム、表示システム、光シャッタおよび立体映像鑑賞方法
US8718796B2 (en) 2009-03-05 2014-05-06 Mayo Foundation For Medical Education Galvanic vestibular stimulation system and method of use for simulation, directional cueing, and alleviating motion-related sickness
US8746894B2 (en) * 2009-08-25 2014-06-10 Dolby Laboratories Licensing Corporation 3D display system
US20110304706A1 (en) 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR101291137B1 (ko) 2011-06-02 2013-08-01 삼성중공업 주식회사 선박용 추진장치 및 이를 갖춘 선박
US20130171596A1 (en) * 2012-01-04 2013-07-04 Barry J. French Augmented reality neurological evaluation method
KR20140098950A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 3차원 동영상 생성 장치 및 방법
EP2961474B1 (en) * 2013-03-01 2022-12-14 The Regents of the University of California Cosmetic method for altering body mass composition using galvanic vestibular stimulation
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
KR101564964B1 (ko) 2015-02-05 2015-11-02 계명대학교 산학협력단 가상현실 멀미를 감소시키는 전기 자극 헤드 마운트 디스플레이 장치
AU2016377491A1 (en) 2015-12-23 2018-06-21 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation

Also Published As

Publication number Publication date
AU2021204730A1 (en) 2021-08-05
AU2021204730B2 (en) 2023-07-13
JP6911028B2 (ja) 2021-07-28
CA3007434A1 (en) 2017-06-29
AU2021204730C1 (en) 2024-02-01
EP3395067A4 (en) 2019-07-17
US20220203093A1 (en) 2022-06-30
US20180343433A1 (en) 2018-11-29
US11904165B2 (en) 2024-02-20
JP7257453B2 (ja) 2023-04-13
EP3395067A1 (en) 2018-10-31
KR20240042156A (ko) 2024-04-01
AU2016377491A1 (en) 2018-06-21
JP2021184260A (ja) 2021-12-02
JP2019508768A (ja) 2019-03-28
US11331485B2 (en) 2022-05-17
WO2017112593A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
US11119319B2 (en) Rendering device, head-mounted display, image transmission method, and image correction method
EP3008548B1 (en) Head-mountable apparatus and systems
CN204465755U (zh) 可交互立体混合现实的装置及应用该装置的虚拟现实头盔
KR102516096B1 (ko) 정보 처리 시스템 및 정보 처리 방법
US11360545B2 (en) Information processing device, information processing method, and program
EP3588447A1 (en) Image processing device, image processing method, and image system
US11904165B2 (en) System and method for integrating three dimensional video and galvanic vestibular stimulation
EP3364270A1 (en) Information processing device and information processing method
EP3477428B1 (en) Image processing system and method
KR102152595B1 (ko) 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
US20180205930A1 (en) Information processing device, information processing method, and program
WO2021060019A1 (ja) 情報処理装置、情報処理方法、サーバ装置、および、プログラム
KR20180122869A (ko) 3차원 영상 처리 방법 및 장치
CN205539744U (zh) 一种基于头部跟踪的裸眼增强现实显示系统
JP2023030298A (ja) 気配提示装置
CN108445624B (zh) 具有增强现实功能的头戴式显示装置
EP3647909A1 (en) Multi-user environment
CN116721234A (zh) 增强现实系统及其标定方法、装置、电子设备及存储介质
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2024101000627; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20240318

Effective date: 20240501