KR20160139461A - 헤드 마운티드 디스플레이 및 그 제어 방법 - Google Patents

헤드 마운티드 디스플레이 및 그 제어 방법 Download PDF

Info

Publication number
KR20160139461A
KR20160139461A KR1020150074211A KR20150074211A KR20160139461A KR 20160139461 A KR20160139461 A KR 20160139461A KR 1020150074211 A KR1020150074211 A KR 1020150074211A KR 20150074211 A KR20150074211 A KR 20150074211A KR 20160139461 A KR20160139461 A KR 20160139461A
Authority
KR
South Korea
Prior art keywords
frame
head
mounted display
time
computing device
Prior art date
Application number
KR1020150074211A
Other languages
English (en)
Inventor
박용학
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150074211A priority Critical patent/KR20160139461A/ko
Priority to US15/576,217 priority patent/US10585283B2/en
Priority to PCT/KR2015/008810 priority patent/WO2016190489A1/ko
Publication of KR20160139461A publication Critical patent/KR20160139461A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H04N13/0429—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/02—Non-photorealistic rendering
    • H04N13/0438—

Abstract

본 발명은 헤드 마운티드 디스플레이 및 그 제어 방법으로, 제 1 센싱 정보를 기초로 렌더링된 프레임을 컴퓨팅 디바이스로부터 수신하고, 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 제 2 센싱 정보를 기초로 타임 워프된 프레임을 프로세싱하고, 프로세싱된 프레임을 스크린에 디스플레이하는 것을 그 요지로 한다.

Description

헤드 마운티드 디스플레이 및 그 제어 방법 {Head mounted display and, the controlling method thereof}
본 발명은 헤드 마운티드 디스플레이 및 그 제어 방법에 관한 것으로서, 컴퓨팅 디바이스로부터 2차원 평면 또는 곡선 디스플레이에 적합하게 렌더링한 프레임을 수신하고, 디스플레이에 렌더링한 프레임을 출력하기 직전에 센싱 정보를 기초로 계산된 오리엔테이션에 맞게 수신된 프레임을 타임 워프하고, 변경된 프레임을 렌즈 등의 광학 구조에 맞게 왜곡시켜서 (디스토션, distortion) 사용자 머리의 오리엔테이션 센싱 시점부터 디스플레이에 실제로 이미지가 출력되는 지연 시간(motion to photon latency)을 감소시킴으로써, 사용자가 스크린을 볼 때 어지러움을 느끼지 않는 헤드 마운티드 디스플레이 및 그 제어 방법에 관한 것이다.
최근 IT 기술의 발달로 헤드 마운티드 디스플레이(Head mounted display, HMD)는 일상 생활에서 큰 이슈로 떠오르고 있다. 특히, 헤드 마운티드 디스플레이는 다양한 프로그램, 애플리케이션과 연계해서, 일상 생활에서 필수적인 기능을 수행하는 소통하는 도구로서 활용되고 있다.
가상현실(Virtual Reality, VR)은 컴퓨터를 이용하여 구축한 가상의 공간과 인간 감각계와의 상호작용을 통해 마치 현실과 같은 경험을 제공하는 기술에 대한 것으로, 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 말한다. 이때 만들어진 가상 환경이나 상황은 사용자의 감각을 자극하고 실제와 비슷한 공간적, 시간적 체험을 하게 함으로써 마치 현실에서 실제로 일어나는 것처럼 보이게 만든다.
가상현실 기기(VR devices)를 이용하면 사용자가 이러한 가상 현실을 보다 실감나게 느낄 수 있고 실제와 가상 공간을 보다 쉽게 넘나들면서 가상현실 세계에 몰입할 수 있다. 또한, 가상현실 기기는 이러한 가상현실 세계에서 사용자의 움직임과 경험을 컨트롤하는 수단으로서 작용하는데 가상현실 세계에서의 대상들과의 상호 작용도 가능하기 때문에 사용자마다 서로 다른 경험을 할 수 있다는 점이 특징이다.
지금까지 가상현실 기기는 게임, 테마 파크 등 놀이문화와 군용 컴퓨터 시뮬레이션 같은 일부 분야에서만 소규모 시장을 형성하고 있었다. 그러나, 산업이 발전함에 따라 가상현실 기술이 활용되는 분야는 점점 넓어지고 있다. 제조업이나 쇼핑, 군사, 교육 등 많이 알려진 분야는 물론이며 고고학이나 건축, 미술, 음악, 의료 등 다양한 분야에 걸쳐 활용이 가능하다.
특히, 의료분야의 경우 외상 후 스트레스 장애(PTSD)와 같은 정신적 치료에도 가상현실 기술이 사용되면서 향후 가상현실 관련 시장은 빠르게 성장할 가능성이 높다고 보고 있다. 최근 스마트폰, 태블릿 등의 발달로 인해 일반 대중이 가상현실 또는 증강현실을 보다 쉽게 체험할 수 있게 되고 거부감도 적어지면서 가상현실 기기에 대한 관심은 점점 높아지고 있다.
가상 현실에서는 눈앞에 나타남의 의미하는 현전(Presence)이라는 개념이 등장하는데, 이는 높은 몰입감을 제공함으로써 사용자가 가상으로 구성된 비물리적 세계에 실제로 존재한다고 인지하게 만드는 것을 의미한다. 이러한 현전의 경험을 형성하는데 있어 장애 요소는 지연 시간(motion to photon latency)이다.
지연 시간은 사용자가 움직임을 시작하는 순간부터 그것이 실제 화면에 반영하여 광자가 사용자 눈까지 도달하는 데 걸리는 시간으로, 즉, 사용자의 시선 이동과 이에 따른 화면 업데이트 사이에 발생하는 시간차를 말한다. 지연 시간을 최소화하는 것은 편안한 VR 사용 환경을 제공하는데 결정적인 요소이다.
그런데, 종래에는 지연 시간이 20 ms 이상인 경우가 많아서, 사람들이 헤드 마운트 디스플레이(Head mounted display, HMD) 를 착용하고 가상현실 프로그램을 실행할 때 어지러움, 메스꺼움을 나타나는 경우가 많아, 사용자가 불편함을 느끼는 문제점이 있었다.
본 발명의 일 실시 예는, 컴퓨팅 디바이스로부터 제 1 센싱 정보를 기초로 렌더링한 프레임을 수신하고, 제 2 센싱 정보를 기초로 프레임을 타임 워프하고 디스토션함으로써, 지연 시간을 단축하여 보다 자연스러운 가상 현실 화면을 구현할 수 있는 헤드 마운티드 디스플레이 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 일 실시 예는, 렌더링하는 컴퓨팅 디바이스의 프레임 출력이 화면의 업데이트 주기와 싱크(sync)가 맞지 않는 경우, 예를 들어 화면의 재생률(refresh rate)이 90Hz 이고 영화 컨텐트의 프레임 속도(frame rate)가 30 Hz인 경우, 헤드 마운티드 디스플레이의 오리엔테이션에 맞게 가상 현실 화면을 출력함으로써 보다 자연스러운 가상 현실 화면을 구현하는 헤드 마운티드 디스플레이 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 일 실시 예는, 사용자가 가상 현실 화면을 보고 있는 중에 외부 디바이스로부터 전화 알림 메시지를 수신하면, 메시지 박스가 떨리지 않고 또렷하게 디스플레이되어 사용자 편의성이 향상되는 헤드 마운티드 디스플레이 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 일 실시 예는 컴퓨팅 디바이스에서 렌더링만 수행하고, 헤드 마운티드 디스플레이에서 타임 워핑, 디스토션을 수행하여 지연 시간(motion to photon latency)을 전송 시간과 독립시킴으로써 컴퓨팅 디바이스에서 프레임 데이터를 압축할 수 있고, 헤드 마운티드 디스플레이로의 프레임 전송 시간을 단축시키고, 전송 데이터량을 축소할 수 있어 보다 자연스러운 가상 현실 화면을 구현할 수 있는 헤드 마운티드 디스플레이 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 일 실시 예는 컴퓨팅 디바이스에서 헤드 마운티드 디스플레이로 데이터 전송 시 종래기술과 달리 데이터 전송 과정에서 생기는 지연 과정의 영향을 받지 않아, 선이 많은 VR 헤드 마운티드 디스플레이들을 무선으로 대체할 수 있어, 불필요한 공간을 감소시킬 수 있는 헤드 마운티드 디스플레이 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른, 헤드 마운티드 디스플레이의 제어 방법은 컴퓨팅 디바이스와 통신 연결하는 단계; 상기 헤드 마운티드 디스플레이의 모션을 제 1 시점에 센싱하는 단계; 상기 제 1 시점에 센싱된 제 1 센싱 정보를 상기 컴퓨팅 디바이스로 전송하는 단계; 상기 제 1 센싱 정보를 기초로 렌더링된 프레임을 상기 컴퓨팅 디바이스로부터 수신하는 단계; 상기 헤드 마운티드 디스플레이의 모션을 제 2 시점에 센싱하는 단계; 상기 제 2 시점에 센싱된 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하는 단계; 상기 제 2 센싱 정보를 기초로 타임 워프된 상기 프레임을 프로세싱하는 단계; 및 프로세싱된 상기 프레임을 스크린에 디스플레이하는 단계를 포함한다.
본 발명의 다른 실시 예에 따른 헤드 마운티드 디스플레이는 컴퓨팅 디바이스와 데이터를 송수신하는 통신 모듈; 상기 헤드 마운티드 디스플레이의 모션을 센싱하는 센서 모듈; 제 1 센싱 정보를 상기 컴퓨팅 디바이스로 전송하고, 렌더링된 상기 프레임을 상기 컴퓨팅 디바이스로부터 수신하고, 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 상기 제 2 센싱 정보를 기초로 타임 워프된 상기 프레임을 프로세싱하고, 프로세싱된 상기 프레임을 디스플레이하는 컨트롤러; 및 상기 컨트롤러로부터의 제어 명령에 따라 프로세싱된 상기 프레임을 스크린에 디스플레이하는 디스플레이 모듈을 포함한다.
본 발명의 일 실시 예에 따르면, 컴퓨팅 디바이스로부터 제 1 센싱 정보를 기초로 렌더링한 프레임을 수신하고, 제 2 센싱 정보를 기초로 프레임을 타임 워프하고 디스토션함으로써, 지연 시간을 단축하여 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 다른 일 실시 예에 따르면, 렌더링하는 컴퓨팅 디바이스의 프레임 출력이 화면의 업데이트 주기와 싱크(sync)가 맞지 않는 경우, 예를 들어 화면의 재생률(refresh rate)이 90Hz 이고 영화 컨텐트의 프레임 속도(frame rate)가 30Hz인 경우, 헤드 마운티드 디스플레이의 오리엔테이션에 맞게 가상 현실 화면을 출력함으로써 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 사용자가 가상 현실 화면을 보고 있는 중에 전화 알림 메시지를 외부 디바이스로부터 수신하면, 메시지 박스가 떨리지 않고 또렷하게 디스플레이되어 사용자 편의성이 향상된다.
본 발명의 또 다른 일 실시 예에 따르면, 컴퓨팅 디바이스에서 렌더링만 수행하고, 헤드 마운티드 디스플레이에서 타임 워핑, 디스토션을 수행하여 지연 시간(motion to photon latency)을 전송 시간과 독립시킴으로써 컴퓨팅 디바이스에서 프레임 데이터를 압축할 수 있고, 헤드 마운티드 디스플레이로의 프레임 전송 시간을 단축시키고, 전송 데이터량을 축소할 수 있어 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 컴퓨팅 디바이스에서 헤드 마운티드 디스플레이로 데이터 전송 시 종래기술과 달리 데이터 전송 과정에서 생기는 지연 과정의 영향을 받지 않아, 선이 많은 VR 헤드 마운티드 디스플레이들을 무선으로 대체할 수 있어, 불필요한 공간을 감소시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 헤드 마운티드 디스플레이의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 헤드 마운티드 디스플레이 제어 방법의 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 모바일 디바이스와 헤드 마운티드 디스플레이 사이에서 데이터 전송과 프로세스를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따라 사용자가 헤드 마운티드 디스플레이를 착용한 것을 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따라 사용자가 헤드 마운티드 디스플레이를 착용한 상태에서, 헤드 마운티드 디스플레이를 제 1 시점에 센싱, 제 2 시점에 센싱 했을 때, 사용자의 움직임에 따라 가상 현실 화면을 구현하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 1 시점에 센싱하고, 제 2 시점에 센싱하고, 헤드 마운티드 디스플레이와 디바이스간의 데이터 전송을 도시하고, 제 2 시점에 센싱한 이후의 프로세스를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 1 시점에 센싱, 제 2 시점에 센싱한 경우의 프로세스를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따라 하드웨어 구성에서 제 1 GPU, 제 2 GPU와 같은 복수의 GPU를 포함하는 경우를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 하드웨어 구성에서 메모리와 무선 통신부를 추가한 것을 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 2 시점에 센싱하고, 이후 프로세스를 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따라 종래기술과 본원발명에서 가상현실 구현 중에 이벤트가 발생하면, 화면을 다르게 구현하는 것을 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 내부에서 모든 프로세스가 실행되는 헤드 마운티드 디스플레이의 구성도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 본 발명의 일 실시 예에 따른 헤드 마운티드 디스플레이의 구성도이다.
도 1에 도시한 바와 같이, 헤드 마운티드 디스플레이(100)는 통신 모듈(110), 센서 모듈(120), 컨트롤러(130), 디스플레이 모듈(140), 메모리(150), 디스플레이 버퍼(160)를 포함한다.
통신 모듈(110)은 컴퓨팅 디바이스(200)와 데이터를 송수신한다. 통신 모듈(110)은 무선 통신부를 포함한다. 이에 대한 상세한 설명은 도 9에서 후술한다.
센서 모듈(120)는 헤드 마운티드 디스플레이(100)의 모션을 센싱한다.
센서 모듈(120)은 모션, 포지션, 오리엔테이션 데이터를 생성하는 센서들을 포함한다. 센서 모듈(120)은 자이로스코프, 가속도 센서, 자기 센서, 적어도 하나의 비디오 카메라, 칼라 센서들을 포함하고, 모션 센서, 포지션 센서, 오리엔테이션 센서들을 포함한다.
센서 모듈(120)은 높은 비율에서 센서 데이터를 제공하기 위하여 상대적으로 높은 주파수 대역에서 작동할 수 있다.
예를 들면, 센서 데이터는 1,000 Hz의 비율로 생성될 수 있다. 또는 센서 모듈(120)은 매 백만분의 1초마다 센싱할 수 있다. 이러한 방법으로 1초당 수천 개의 센서 데이터가 생성될 수 있다.
센서 모듈(120)은 IMU 센서 모듈을 포함한다. 이에 대한 상세한 설명은 도 8에서 후술한다.
컨트롤러(130)는 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송하고, 렌더링된 프레임을 컴퓨팅 디바이스(200)로부터 수신하고, 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 제 2 센싱 정보를 기초로 타임 워프된 상기 프레임을 프로세싱하고, 프로세싱된 프레임을 디스플레이한다.
렌더링된 프레임은 컴퓨팅 디바이스(200)에 의해 프레임에 포함된 이미지의 그림자, 색상 및 농도 중 적어도 하나가 변경된 것이다.
여기서, 렌더링(rendering)은 프레임에 포함된 이미지의 그림자, 색상 및 농도 중 적어도 하나를 변경한 것이다.
구체적으로, 렌더링(rendering)은 컴퓨터 프로그램을 사용하여 모델(또는 이들을 모아놓은 장면인 씬(scene) 파일)로부터 영상을 만들어내는 프로세스를 말한다. 하나의 씬 파일에는 정의된 언어나 자료 구조로 이루어진 개체들이 있으며, 여기에는 가상의 장면(씬)을 표현하는 도형의 배열, 시점, 텍스처 매핑, 조명, 셰이딩 정보를 포함한다. 씬 파일에 포함된 자료들은 렌더링을 수행하여 결과물로서 디지털 이미지, 래스터 그래픽스 이미지 파일을 만들어낸다. 렌더링 방식은 그래픽 처리 장치(GPU) 같은 렌더링 장치를 통한 그래픽스 파이프라인을 따라 씬 파일에 저장되어있는 3차원 연출로부터 2차원의 그림을 만들어낸다.
여기서, 프레임(Frame)은 비디오 프레임으로 동영상을 재생할 때, 장면의 움직임이 연속적으로 표시되는 각각의 영상 한 화면을 말한다.
컨트롤러(130)는 프레임을 렌즈의 광학 구조에 맞추어 디스토션한다.
여기서, 디스토션은 광각 렌즈의 왜곡 현상을 의미하고, 이미지의 원근감이 극단적으로 과장되어 영상이 일그러지는 것을 말한다.
컨트롤러(130)는 적어도 하나의 이벤트가 발생하면, 컴퓨팅 디바이스(200)로부터 제 1 프레임 레이어와 제 2 프레임 레이어를 포함하는 적어도 두 개의 프레임 레이어를 통신 모듈(110)을 통하여 수신하고, 수신된 적어도 두 개의 프레임 레이어 중 제 1 프레임 레이어만을 타임 워프하고, 제 1 프레임 레이어 위에 제 2 프레임 레이어를 배치하고, 배치된 제 1 프레임 레이어와 제 2 프레임 레이어를 디스토션한다.
여기서, 제 2 프레임 레이어는 이벤트에 관한 것이다. 제 1 프레임 레이어의 이미지는 헤드 마운티드 디스플레이(100)의 모션에 따라 변경되고, 제 2 프레임 레이어의 이미지는 헤드 마운티드 디스플레이(100)의 모션에 독립적인 것이다.
이에 대한 자세한 설명은 도 10, 11에서 후술한다.
컨트롤러(130)는 렌더링된 프레임을 컴퓨팅 디바이스(200)로부터 수신하고, 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)한다.
여기서, 타임 워프(time warp)는 제 2 센싱 정보 중 오리엔테이션(Orientation) 및 수신된 프레임을 기초로 오리엔테이션에 대응하는 프레임을 생성하는 것을 의미한다.
여기서, 오리엔테이션은 헤드 마운티드 디스플레이(100)를 착용한 사용자가 사물을 바라보는 3차원 공간에서의 방향 벡터를 의미한다.
제 2 시점은 제 1 시점 이후에 해당하며, 제 1 시점과 제 2 시점간 시간 간격은 고정되어 있거나 또는 변경 가능하다.
컨트롤러(130)는 제 2 센싱 정보를 기초로 수신된 프레임을 동시에 타임 워프(time warp)와 디스토션(distortion)한다.
예를 들어, 논리상으로는 타임 워프 과정을 실행하고, 디스토션 과정을 실행한다. 그러나, 수학적으로 볼 때, 타임 워프 과정을 곱하기 2 라고 보고, 디스토션 과정을 곱하기 3으로 보는 경우, 곱하기 2와 곱하기 3을 결합(combine)할 때, 곱하기 6의 결과가 나온다.
이러한 경우, 처음부터 하나의 프로세스로 곱하기 6을 실행하면, 즉, 타임 워프 과정과 디스토션 과정을 동시에 실행하면, 곱하기 6의 결과가 나오므로 타임 워프 과정을 실행한 후, 디스토션 과정을 실행한 결과와 동일한 결과가 된다.
따라서, 순차적으로 타임 워프 과정과 디스토션 과정을 실행한 경우와 타임워프 과정과 디스토션 과정을 동시에 실행한 경우는 동일한 결과를 얻을 수 있다.
컨트롤러(130)는 제 1 GPU(132)과 제 2 GPU(134)를 포함한다.
GPU는 그래픽 프로세싱 유닛으로 그래픽 처리를 위한 고성능의 처리 장치를 말한다.
제 1 GPU(132)는 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 제 2 GPU(134)는 제 2 센싱 정보를 기초로 타임 워프된 프레임을 디스토션(distortion)한다.
이에 대한 상세한 설명은 도 8에서 후술한다.
디스플레이 모듈(140)은 컨트롤러(130)로부터의 제어 명령에 따라 프로세싱된 프레임을 스크린에 디스플레이한다.
디스플레이 모듈(140)은 적어도 하나가 될 수 있다. 예를 들어, 디스플레이 모듈(140)은 헤드 마운티드 디스플레이를 착용한 사용자 바로 양쪽 눈 앞에 있을 수 있다. 이러한 경우, 사용자에게 하나의 디스플레이 모듈(140)로 프레임을 스크린에 디스플레이하는 것보다 상대적으로 적은 해상도를 이용하여 프레임을 스크린에 디스플레이할 수 있는 장점이 있다.
메모리(150)는 렌더링된 프레임을 저장한다.
디스플레이 버퍼(160)는 디스플레이 모듈(140)이 프레임을 스크린에 디스플레이 하기 직전에 프레임의 이미지 데이터를 저장한다. 그리고, 디스플레이 버퍼(160)는 메모리(150)를 포함할 수 있다.
이러한 방식으로, 컨트롤러(130)는 디스플레이 버퍼(160)에 저장된 프레임을 스크린에 디스플레이함으로써 컨트롤러(130)로부터의 입력에 즉시 반응하여 동작할 수 있다.
본 발명의 일 실시 예에 따르면, 컨트롤러(130)는 추적 모듈(미도시)과 연동하여 스크린에 디스플레이 되는 프레임에 포함된 오브젝트와의 거리를 보정한다.
추적 모듈(미도시)은 카메라 모듈을 포함하고 위치가 고정되어 있다. 여기서, 카메라 모듈은 벽과 같은 주변에 고정된 물체를 촬영함으로써, 위치 판단 시 기준이 될 수 있는 고정 위치 정보를 컨트롤러(130)에게 제공한다. 추적 모듈(미도시)은 인공 위성과 같은 외부 디바이스와의 통신하여 컨트롤러(130)에게 위치 정보를 제공할 수 있다.
예를 들어, 컨트롤러(130)는 카메라 모듈을 포함하는 추적 모듈(미도시)로부터 위치 정보를 수신하고, 수신한 위치 정보를 기초로 프레임에 포함된 오브젝트의 거리를 보정한다.
예를 들어, 헤드 마운티드 디스플레이(100)를 착용한 사용자가 앞으로 움직인 경우, 컨트롤러(130)는 센서 모듈(120)이 센싱한 값에 값을 기초로, 프레임에 포함된 오브젝트의 거리를 30 cm로 보고, 스크린에 디스플레이하는데, 실제 거리는 25 cm 가 될 수 있고, 방향이 기준 방향 보다 시계 방향으로 30 도만큼 더 회전할 수 있다. 따라서, 오차 거리 5 cm, 오차 각도 30 도가 발생할 수 있다.
컨트롤러(130)는 추적 모듈(미도시)로부터 수신한 위치 정보를 기초로 30 cm 를 25 cm 로 보정하고, 반시계 방향으로 방향을 조정하여 오차 각도 30도를 보정한다.
도 2는 본 발명의 일 실시 예에 따른 헤드 마운티드 디스플레이 제어 방법의 순서도이다. 본 발명은 컨트롤러(130)에 의하여 수행된다.
도 2에 도시한 바와 같이, 먼저, 컴퓨팅 디바이스와 통신 연결한다(S210).
다음으로, 헤드 마운티드 디스플레이(100)의 모션을 제 1 시점에 센싱한다(S220).
제 1 시점에 센싱된 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다(S230).
제 1 센싱 정보를 기초로 렌더링된 프레임을 컴퓨팅 디바이스(200)로부터 수신한다(S240).
헤드 마운티드 디스플레이(100)의 모션을 제 2 시점에 센싱한다(S250).
여기서, 제 2 시점은 제 1 시점 이후에 해당하며, 제 1 시점과 제 2 시점간 시간 간격은 고정되어 있거나 또는 변경 가능하다.
제 2 시점에 센싱된 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)한다(S260).
구체적으로, 컨트롤러(630)는 제 2 센싱 정보 중 오리엔테이션(Orientation) 및 수신된 프레임을 기초로 오리엔테이션에 대응하는 프레임을 생성한다.
제 2 센싱 정보를 기초로 타임 워프된 프레임을 프로세싱한다(S270).
구체적으로, 컨트롤러(130)는 프레임을 렌즈의 광학 구조에 맞추어 디스토션한다. 여기서, 렌즈는 HMD 렌즈를 포함한다.
프로세싱된 프레임을 스크린에 디스플레이한다(S280).
도 3은 본 발명의 일 실시 예에 따른 모바일 디바이스와 헤드 마운티드 디스플레이 사이에서 데이터 전송과 프로세스를 도시한 도면이다.
도 3에 도시한 바와 같이, 먼저, 컴퓨팅 디바이스(200)와 통신 연결한다(S310).
다음으로, 헤드 마운티드 디스플레이(100)의 모션을 제 1 시점에 센싱한다(S220).
제 1 시점에 센싱된 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다(S330).
컴퓨팅 디바이스(200)는 수신한 제 1 센싱 정보를 기초로 프레임을 렌더링한다(S340).
컴퓨팅 디바이스(200)는 렌더링한 프레임을 헤드 마운티드 디스플레이(100)로 전송한다(S350).
헤드 마운티드 디스플레이(100)는 헤드 마운티드 디스플레이(100)의 모션을 제 2 시점에 센싱한다(S360).
헤드 마운티드 디스플레이(100)는 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)한다(S370).
헤드 마운티드 디스플레이(100)는 제 2 센싱 정보를 기초로 타임 워프된 프레임을 프로세싱한다(S380).
헤드 마운티드 디스플레이(100)는 프로세싱된 프레임을 스크린에 디스플레이한다(S390).
도 4는 본 발명의 일 실시 예에 따라 사용자가 헤드 마운티드 디스플레이를 착용한 것을 도시한 도면이다.
헤드 마운티드 디스플레이(410)는 사용자의 눈 위에 착용된다.
사용자의 머리 중심은 피치(420), 요(430) 및 롤(440) 축의 3차원 중심에 위치한다. 3차원 좌표계에서 피치(420)는 x축 회전이고, 요(430)는 y축 회전이고, 롤(440)은 z축 회전이다.
사용자가 착용한 헤드 마운티드 디스플레이(410)의 움직임은 피치(420), 요(430), 롤(440)로 표현될 수 있다.
3차원 오리엔테이션을 표현하는 방법 중 하나는 사원수(quaternion)를 이용한 방법이다. 3차원 오리엔테이션은 다음과 같은 사원수에 의하여 표현될 수 있기 때문이다. q(v, a)=(cos(a/2), v_x sin(a/2), v_y sin(a/2), v_z sin(a/2)) 이고, 여기서, q(v, a)는 동일한 회전을 표현한다.
사원수를 이용하여 회전에 대한 연산을 하는 경우 상대적으로 적은 파라미터를 이용할 수 있는 장점이 있다. 또한, 사원수를 이용하는 것은 하르(Haar) 방법과 더불어 기하학 연산에서 3차원 공간에서 예측을 수행하는데 매우 유용하다.
여기서, 사원수는 복소수의 확장으로 윌리엄 해밀턴이 생각해 낸 수로써, 일종의 벡터이다. 사원수의 사칙 연산은 가능하나 교환법칙은 성립하지 않는다. 사원수 v는, i 제곱 = j 제곱 = k 제곱 = - 1 이 되는 세 수, i, j, k에 대하여 v = a + b i + c j + d k (단, a, b, c, d는 실수)로 나타낸다.
도 5는 본 발명의 일 실시 예에 따라 사용자가 헤드 마운티드 디스플레이를 착용한 상태에서, 헤드 마운티드 디스플레이를 제 1 시점에 센싱, 제 2 시점에 센싱 했을 때, 사용자의 움직임에 따라 가상 현실 화면을 구현하는 것을 도시한 도면이다.
도(510)과 같이, 초기 상태에서는 헤드 마운티드 디스플레이를 착용한 사용자가 특정 방향을 응시한다. 이 시점이 기준 시점이 되고, 각도는 0도가 된다.
도(512)와 같이, 초기 상태에서 디스플레이 모듈(140)은 특정 방향에서의 가상 현실 화면을 디스플레이한다.
도(520)과 같이, 헤드 마운티드 디스플레이(100)를 착용한 사용자가 고개를 기준 시점에서 제 1 특정 각도 회전한 시점이 제 1 시점이 되고, 센서 모듈(120)은 제 1 시점에서 사용자의 모션을 센싱한다.
도(522)와 같이, 디스플레이 모듈(140)은 특정 방향에서 제 1 특정 각도 회전한 방향에서의 가상 현실 화면을 디스플레이한다.
도(530)과 같이, 헤드 마운티드 디스플레이를 착용한 사용자가 고개를 기준 시점에서 제 2 특정 각도 회전한 시점이 제 2 시점이 되고, 센서 모듈(120)은 제 2 시점에서 사용자의 모션을 센싱한다.
도(532)와 같이, 디스플레이 모듈(140)은 특정 방향에서 제 2 특정 각도 회전한 방향에서의 가상 현실 화면을 디스플레이한다.
도 6은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 1 시점에 센싱하고, 제 2 시점에 센싱하고, 헤드 마운티드 디스플레이(100)와 컴퓨팅 디바이스(200)간의 데이터 전송을 도시하고, 제 2 시점에 센싱한 이후의 프로세스를 도시한 도면이다.
도 6에 도시한 바와 같이, 먼저, 헤드 마운티드 디스플레이(100)가 초기 상태에 있다.
헤드 마운티드 디스플레이(100)는 제 1 시점에 센싱하고, 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다(S610).
컴퓨팅 디바이스(200)는 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 렌더링된 프레임을 헤드 마운티드 디스플레이(100)로 전송한다(S620).
헤드 마운티드 디스플레이(100)는 제 2 시점에 센싱하고, 제 2 센싱 정보를 기초로 렌더링된 프레임을 프로세싱한다.
도(610)과 같이, 제 2 시점에 센싱한 이후의 프로세스를 검토하면, 헤드 마운티드 디스플레이(100)는 제 2 시점에 센싱하고, 제 2 센싱 정보를 기초로 렌더링된 프레임을 타임 워프하고, 타임 워프된 프레임을 디스토션한다.
헤드 마운티드 디스플레이(100)는 디스토션된 프레임을 스크린에 디스플레이한다.
이 경우, 제 2 시점에 센싱한 이후의 프로세스 진행 시간 t = 1.3 + 13.3 / 2 = 7.95 ms 이다.
여기서, t는 제 2 시점을 기준으로 측정되고, 프레임을 타임 워프하고, 타임 우프된 프레임을 디스토션하는 시간은 1.3 ms이고, 프레임을 스크린에 디스플레이하는 시간은 6.65 ms 이다.
본 발명의 일 실시 예에 따르면, 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이(100)로 렌더링된 프레임을 보낼 때, 헤드 마운티드 디스플레이(100)보다 느린 fps로 보낼 경우 또는 프레임 전송률이 떨어진 경우, 헤드 마운티드 디스플레이(100)는 이와 관계없이 메모리에 저장한 이미지를 타임 워프할 수 있다.
여기서, fps(frame per second)는 1초당 GPU가 처리하는 프레임의 수를 말한다. 프레임 레이트(frame rate)는 프레임 주파수(frame frequency)라고 표현하고, 이미지(프레임)가 렌더링되는 주파수를 말하고, 일반적으로 fps 단위로 측정된다. Quality of Service 관점에서 프레임 레이트가 높을 경우 높은 품질을 보장한다.
예를 들어, 렌더링하는 컴퓨팅 디바이스(200)에서 GPU 성능이 헤드 마운티드 디스플레이(100)에 비하여 낮아서 15 fps으로 출력하고 있더라도, 헤드 마운티드 디스플레(100)는 수신한 프레임을 메모리(150)에 저장하고, 계속 센싱되는 오리엔테이션 정보를 기초로 저장된 프레임을 화면 재생률(refresh rate) 30 fps에 맞춰서 디스플레이한다.
디스플레이 모듈(140)이 고정된 화면 재생률(refresh rate)을 사용하지 않는 경우 다음 프레임을 디스플레이할 수 있는 시점에서 곧바로 오리엔테이션 정보를 센싱하고, 센싱 정보를 기초로 프레임을 타임 워프하고, 센싱 정보를 기초로 프레임을 디스토션하고, 디스토션된 프레임을 디스플레이한다.
예를 들어, 특정 게임을 실행할 때, 프레임 렌더링이 프레임 구간마다 다를 수 있다. 제 1 구간에서는 프레임 렌더링이 70 fps 이고, 제 1 구간과 상이한 제 2 구간에서는 프레임 렌더링이 120 fps가 될 수 있다.
렌더링이 끝난 직후, 컴퓨팅 디바이스가(200)가 렌더링된 프레임을 헤드 마운티드 디스플레이(100)로 전송하면, 컨트롤러(130)는 컴퓨팅 디바이스가 전송한 프레임을, 디스플레이 모듈(140)에 지원되는 특정 주파수에 맞추어 디스플레이하지 않고 있는 그대로 스크린에 디스플레이 한다.
도 7은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 1 시점에 센싱, 제 2 시점에 센싱한 경우의 프로세스를 도시한 도면이다.
도(710)과 같이, 종래기술 1은 헤드 마운티드 디스플레이(100)가 제 1 시점에 센싱하고, 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다. 컴퓨팅 디바이스(200)는 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 렌더링된 프레임을 디스토션하고, 비디오 동기화를 위해 전송하기 전에 일시적으로 대기하고, 디스토션된 프레임을 헤드 마운티드 디스플레이(100)로 전송한다. 헤드 마운티드 디스플레이(100)는 수신된 프레임을 스크린에 디스플레이한다.
여기서, 프레임을 스크린에 디스플레이하는 시간은 픽셀을 화면에 디스플레이하는 시작점에서 끝점까지의 소요 시간을 2로 나눈 것이다.
예를 들면, 픽셀을 화면에 디스플레이하는 시작점에서 끝점까지의 소요 시간이 13.3 ms 인 경우, 프레임을 스크린에 디스플레이하는 시간은 13.3 / 2 = 6.65 ms 가 된다.
이 과정은 종래기술 2, 본원발명에서도 동일하다.
종래기술 1에서의 소요 시간 t1 = 13.3 + 12 + 13.3/2 = 31.95 ms 가 된다.
여기서, 프레임을 렌더링하고 대기하는 시간은 13.3 ms이고, 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이(100)로 프레임을 전송하는 시간은 12 ms 이고, 프레임을 스크린에 디스플레이하는 시간은 6.65 ms 이다.
도(720)과 같이, 종래기술 2에서 헤드 마운티드 디스플레이(100)는 제 1 시점과 제 2 시점에 센싱하고, 제 1 센싱 정보, 제 2 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다. 컴퓨팅 디바이스(200)는 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 렌더링된 프레임을 제 2 센싱 정보를 기초로 타임 워프하고, 타임 워프된 프레임을 제 2 센싱 정보를 기초로 디스토션하고, 비디오 동기화를 위해 전송하기 전에 일시적으로 대기하고, 디스토션된 프레임을 헤드 마운티드 디스플레이(100)로 전송한다. 헤드 마운티드 디스플레이(100)는 수신된 프레임을 스크린에 디스플레이한다.
소요 시간 t2 = 1.3 + 12 + 13.3/2 = 19.95 ms 가 된다.
여기서, t2는 제 2 시점을 기준으로 측정되고, 프레임을 타임 워프하고, 타임 워프된 프레임을 디스토션하는 시간은 1.3 ms이고, 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이(100)로 프레임을 전송하는 시간은 12 ms 이고, 프레임을 스크린에 디스플레이하는 시간은 6.65 ms 이다.
종래기술 2에서는 컴퓨팅 디바이스(200)가 프레임을 렌더링하고, 렌더링된 프레임을 타임워프, 디스토션, 비디오 동기화를 위해 전송하기 전에 일시적으로 대기하는 프로세스를 수행함으로써, 데이터 크기가 커져서 전송시간이 12 ms 를 초과할 가능성이 높다.
도(730)과 같이, 본원발명에서 헤드 마운티드 디스플레이(100)는 제 1 시점(732)에 센싱하고, 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다. 컴퓨팅 디바이스(200)가 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 렌더링된 프레임을 헤드 마운티드 디스플레이로 전송한다. 헤드 마운티드 디스플레이(100)는 제 2 시점(734)에 센싱하고, 센싱된 제 2 센싱 정보 중 오리엔테이션 정보를 기초로 렌더링된 프레임을 타임 워프하고, 디스토션하고, 디스토션된 프레임을 스크린에 디스플레이한다.
소요 시간 t3 = 1.3 + 13.3/2 = 7.95 ms 가 된다.
여기서, t3는 제 2 시점을 기준으로 측정되고, 프레임을 타임 워프하고, 타임 우프된 프레임을 디스토션하는 시간은 1.3 ms이고, 프레임을 스크린에 디스플레이하는 시간은 6.65 ms 이다.
종래기술 1은 제 1 시점에 센싱한 제 1 센싱 정보만을 기초로 프레임을 렌더링하고, 사용자가 고개를 움직인 시점인 제 2 시점을 반영하지 못해, 프레임을 화면에 디스플레이하면, 사용자가 어지러움을 느끼게 된다.
종래기술 2는 컴퓨팅 디바이스(200)가 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 제 2 센싱 정보를 기초로 렌더링한 프레임을 타임 워프하고, 디스토션함으로써 사용자가 고개를 움직인 시점인 제 2 시점을 반영할 수 있으나, 데이터 양의 크기가 본원발명에 비하여 커서 전송 시간이 오래 걸리는 문제점이 있다. 또한, 무선 통신을 이용하여 프레임을 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이(100)로 전송하는 경우 지연 시간이 연장된다.
본원발명은 종래기술 1과 비교할 때, 헤드 마운티드 디스플레이(100)가 전송 과정 중 또는 이후에 센싱한 제 2 센싱 정보를 기초로 렌더링된 프레임을 타임워프하고, 타임 워프된 프레임을 디스토션함으로써, 지연 시간을 단축시킬 수 있다.
본원발명은 종래기술 1, 2에 비하여 렌더링한 프레임을 컴퓨팅 디바이스에서 헤드 마운티드 디스플레이로 전송한 이후에 타임 워프를 함으로써, 선이 많은 VR 헤드 마운티드 디스플레이들을 무선으로 대체하더라도 무선으로 인한 지연 시간의 영향을 받지 않으므로 지연 시간을 단축할 수 있다.
도 8은 본 발명의 일 실시 예에 따라 하드웨어 구성에서 제 1 GPU, 제 2 GPU와 같은 복수의 GPU를 포함하는 경우를 도시한 도면이다.
본원발명의 헤드 마운티드 디스플레이(100)는 IMU 센서 모듈(120), 소형 GPU(130), 디스플레이 모듈(140)을 포함한다.
IMU 센서 모듈(120)은 움직이는 물체의 관성량을 측정해서, 물체의 이동 방향, 현재 포즈, 현재 위치 등을 센싱한다.
컨트롤러(130)는 제 1 GPU(132)와 제 2 GPU(134)를 포함한다. 여기서, 컨트롤러(130)는 소형 GPU를 포함한다. 소형 GPU는 프레임을 타임 워프하고, 프레임을 디스토션한다.
제 1 GPU(132)는 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 제 2 GPU(134)는 제 2 센싱 정보를 기초로 타임 워프된 프레임을 디스토션(distortion)한다.
따라서, 본 발명에 따르면 프레임 타임 워프와 디스토션을 별개의 GPU에서 수행하여 처리 속도를 높일 수 있다.
또한, 컨트롤러(130)는 타임 워프 및 디스토션 과정을 디스플레이 구동 칩(Display Driver IC, DDI)에서 실행하도록 제어할 수 있다. 여기서, DDI는 액정표시장치(LCD)처럼 디바이스에서 메모리반도체가 기억한 내용을 화면에 나타나도록 중간에서 화소를 조절해주는 반도체 칩이다.
컴퓨팅 디바이스(200)은 GPU(230)를 포함한다. GPU(230)은 프레임 렌더링을 수행한다.
GPU(630)은 제 1 GPU(232), 제 2 GPU(234)를 포함한다.
예를 들어, 제 1 GPU(232)와 제 2 GPU(234) 중 어느 하나인 특정 GPU는 사용자의 왼쪽 눈을 통해 보이는 시야에 대한 프레임을 렌더링하고, 특정 GPU와 상이한 GPU는 사용자의 오른쪽 눈을 통해 보이는 시야에 대한 프레임을 렌더링한다.
제 1 GPU(232), 제 2 GPU(234) 중 어느 하나인 특정 GPU는 렌더링한 프레임을 조합하여 단일한 스테레오 방식의 3D 화면의 프레임을 생성한다.
따라서, 본 발명에 따르면, 컴퓨팅 디바이스에서 복수의 GPU를 사용함으로써,가상 현실 애플리케이션 실행시 복수의 GPU에 각각 특정 작업을 나누어 할당하여 프레임율을 개선한다. 또한, GPU 사용 설정을 고성능 VR 렌더링에 맞추어 최적화하고, 높은 프레임율을 통해 보다 자연스럽고 부드러운 화면을 사용자에게 제공할 수 있다.
또한, 본 발명에 따르면, 컴퓨팅 디바이스(200)에서 렌더링만 수행하고, 헤드 마운티드 디스플레이(100)에서 타임 워핑, 디스토션을 수행하여 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이로(100)의 전송 시간을 단축할 수 있어 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
외부 추적 디바이스(300)는 헤드 마운티드 디스플레이(100)의 컨트롤러(130) 와 연동하여 스크린에 디스플레이 되는 프레임에 포함된 오브젝트와의 거리 보정에 이용될 수 있다.
외부 추적 디바이스(300)는 카메라 모듈을 포함하고 위치가 고정되어 있다. 여기서, 카메라 모듈은 자신의 현재 위치 정보를 컨트롤러(130)에게 제공하거나 벽과 같은 주변에 고정된 물체를 촬영함으로써, 고정 위치 정보를 컨트롤러(130)에게 제공한다.
예를 들어, 컨트롤러(130)는 카메라 모듈을 포함하는 외부 추적 디바이스(300)로부터 위치 정보를 수신하고, 수신한 위치 정보를 기초로 프레임에 오브젝트의 거리를 보정한다.
예를 들어, 헤드 마운티드 디스플레이(100)를 착용한 사용자가 앞으로 움직인 경우, 컨트롤러(130)는 센서 모듈(120)이 센싱한 값에 값을 기초로, 프레임에 포함된 오브젝트로와의 거리를 30 cm로 보고, 스크린에 디스플레이하는데, 실제 거리는 25 cm 가 될 수 있고, 방향이 기준 방향 보다 시계 방향으로 30 도만큼 더 회전할 수 있다. 따라서, 오차 거리 5 cm, 오차 각도 30 도가 발생할 수 있다.
컨트롤러(130)는 추적 디바이스(300)로부터 수신한 위치 정보를 기초로 30 cm 를 25 cm 로 보정하고, 반시계 방향으로 회전하여 오차 각도 30도를 보정한다.
도 9는 본 발명의 일 실시 예에 따른 하드웨어 구성에서 메모리와 무선 통신부를 추가한 것을 도시한 도면이다.
본원발명 2와 같이, 헤드 마운티드 디스플레이(100)는 메모리(150)를 더 포함한다.
메모리(150)는 렌더링된 프레임을 저장한다.
컨트롤러(130)는 제 2 센싱 정보를 기초로 메모리(150)에 저장된 프레임을 타임 워프한다.
본원발명 3와 같이, 컴퓨팅 디바이스(200)는 무선 통신부(210)를 더 포함하고, 헤드 마운티드 디스플레이(100)는 무선 통신부(110)를 더 포함한다.
컴퓨팅 디바이스(200)의 무선 통신부(210)는 프레임을 패킷으로 분리하고, 분리된 패킷을 헤드 마운티드 디스플레이(100)의 무선 통신부(110)로 전송한다. 헤드 마운티드 디스플레이(100)의 무선 통신부(110)는 수신된 패킷을 결합하여 프레임으로 복원한다.
도 10은 본 발명의 일 실시 예에 따라 헤드 마운티드 디스플레이를 제 2 시점에 센싱하고, 이후 프로세스를 도시한 도면이다.
도(1010)과 같이, 제 1 시점은 전화 알림 메시지 수신과 같은 이벤트가 발생한 시점이고 사용자는 제 1 지점에 있고, 도(1020)과 같이 제 2 시점은 사용자가 제 1 지점에서 제 2 지점으로 시선을 움직인 시점이다.
컨트롤러(130)는 전화 알림 메시지 수신과 같은 이벤트가 발생하면, 컴퓨팅 디바이스(200)로부터 제 1 프레임 레이어와 제 2 프레임 레이어를 포함하는 적어도 두 개의 프레임 레이어를 수신한다.
컨트롤러(130)는 제 1 프레임 레이어와 제 2 프레임 레이어 중 제 1 프레임레이어에 한하여 타임 워프를 한다.
여기서, 제 1 프레임 레이어의 이미지는 헤드 마운티드 디스플레이의 모션에 따라 변경되고, 제 2 프레임 레이어의 이미지는 헤드 마운티드 디스플레이의 모션에 독립적인 것이다.
컨트롤러(130)는 제 1 프레임 레이어 위에 제 2 프레임 레이어를 배치한다.
컨트롤러(130)는 배치된 제 1 프레임 레이어와 제 2 프레임 레이어를 디스토션한다.
즉, 컨트롤러(130)는 제 2 시점에 센싱한 이후에 제 1 프레임 레이어만을 타임 워프 -> 제 1 프레임 레이어 위에 타임 워프 하지 않은 제 2 프레임 레이어 배치 -> 디스토션 프로세스를 수행한다.
본 발명의 일 실시 예에 따르면, 컴퓨팅 디바이스(200)에서 헤드 마운티드 디스플레이(100)로 두 개의 프레임 레이어를 전송할 때, 컴퓨팅 디바이스(200)는 제 2 프레임 레이어(타임 워프 하지 않는 프레임 레이어)를 이미지가 아닌 메타 데이터로 보낸다.
컨트롤러(130)는 수신한 메타 데이터를 기초로 제 2 프레임 레이어를 복원한다. 여기서, 메타 데이터는 텍스트임을 나타내는 인디케이터, 텍스트를 포함한다.
컨트롤러(130)는 제 2 프레임 레이어를 제 1 프레임 레이어 위에 배치하고, 배치된 제 1 프레임 레이어와 제 2 프레임 레이어를 디스토션한다.
본 발명에 따르면, 외부 디바이스로부터 문자를 수신하면, 두 개의 이미지 프레임을 헤드 마운티드 디스플레이(100)로 전송하는 것이 아니고 하나의 이미지 프레임과 메타 데이터를 헤드 마운티드 디스플레이(100)로 전송하므로 전송 시간 및 데이터 량을 감소시킬 수 있고, 메모리 사용량을 감소시킬 수 있다.
도 11은 본 발명의 일 실시 예에 따라 종래기술과 본원발명에서 가상 현실 구현 중에 이벤트가 발생하면, 화면을 다르게 구현하는 것을 도시한 도면이다.
타임 워프를 하는 경우, 센서 모듈(120)은 제 1 시점, 제 2 시점에 헤드 마운티드 디스플레이의 모션을 두 번 센싱한다.
구체적으로, 센서 모듈(120)은 제 1 시점에 헤드 마운티드 디스플레이(100)의 모션을 센싱하고, 제 1 센싱 정보를 컴퓨팅 디바이스(200)로 전송한다. 컴퓨팅 디바이스(200)는 제 1 센싱 정보를 기초로 프레임을 렌더링하고, 렌더링된 프레임을 헤드 마운티드 디스플레이(100)로 전송한다.
이 경우, 제 2 센싱 정보 중 오리엔테이션과 렌더링된 프레임을 기초로 오리엔테이션 대응하는 프레임을 생성하기 때문에 중간에 메시지 수신과 같은 이벤트가 발생하면, 수신된 메시지가 사용자가 원하는 위치에 표시되지 않는 문제가 생긴다.
특히, 문자 메시지, 전화 알림 메시지 등은 사용자의 시선 방향에 영향을 받지 않는다. 이러한 메시지를 수신하는 경우, 제 1 센서 정보와 제 2 센서 정보의 차이로 메시지 박스가 떨리게 보여서 사용자가 불편함을 느끼는 문제점이 있었다.
종래 기술에서는 도(1110)과 같이, 시점이 제 1 시점일 때, 사용자가 특정 이미지를 보고 있고, 특정 이미지는 제 1 지점에 있다.
도(1120)과 같이, 시점이 제 2 시점일 때, 사용자 시선에 따라 특정 이미지는 제 1 지점에서 제 2 지점으로 이동한다.
여기서, 제 1 시점은 전화 알림 메시지 수신과 같은 적어도 하나의 이벤트가 발생한 시점이고, 제 2 시점은 사용자 시선을 제 1 지점에서 제 2 지점으로 움직인 시점이다.
본원 발명에서는 도(1130)과 같이, 시점이 제 1 시점일 때, 사용자가 특정 이미지를 보고 있고, 특정 이미지는 제 1 지점에 있다.
도(1140)과 같이, 시점이 제 2 시점일 때, 사용자 시선에 따라 특정 이미지는 제 1 지점에서 제 2 지점으로 이동하고, 전화 알림 이벤트 메시지 박스 이미지는 고정된다.
구체적으로, 컨트롤러(130)는 특정 이미지를 포함하는 제 1 프레임 레이어와 메시지 박스 이미지를 포함하는 제 2 프레임 레이어를 포함하는 적어도 두 개의 프레임 레이어를 통신 모듈을 통하여 수신한다.
여기서, 레이어(layer)는 여러 개의 이미지를 겹쳐서 표시하기 위하여 사용하는 층을 말한다. 구체적으로, 하나의 프레임 내에서 여러 개의 이미지들이 각기 다른 움직임 또는 효과 등을 갖는 경우에 각 층을 달리하여 제작하는데, 이 과정에서 각각의 이미지들을 하나하나 겹쳐서 나타나는 것을 말한다.
컨트롤러(130)는 수신된 적어도 두 개의 프레임 레이어 중 제 1 프레임 레이어만을 타임 워프하고, 제 1 프레임 레이어 위에 제 2 프레임 레이어를 배치한다.
컨트롤러(130)는 배치된 제 1 프레임 레이어와 제 2 프레임 레이어를 디스토션한다.
여기서, 특정 이미지를 포함하는 제 1 프레임 레이어의 이미지는 헤드 마운티드 디스플레이의 모션에 따라 변경되고, 메시지 박스 이미지를 포함하는 제 2 프레임 레이어의 이미지는 헤드 마운티드 디스플레이의 모션에 독립적인 것이다.
즉, 컨트롤러(130)는 사용자의 시선에 따라 변경되는 제 1 프레임 레이어의 이미지와 사용자의 시선에 관계없이 고정하기 싶은 제 2 프레임 레이어의 이미지를 따로 분리한다.
따라서, 본 발명에 따르면, 센싱 시점에 따라 발생하는 제 1 센서 정보와 제 2 센서 정보의 차이로 떨리는 현상을 보정하여, 메시지 박스 이미지 떨림이 발생하지 않으므로 사용자 편의성이 향상된다.
도 12는 본 발명의 일 실시 예에 따른 내부에서 모든 프로세스가 실행되는 헤드 마운티드 디스플레이의 구성도이고, 도 8은 컨트롤러의 구성도이다.
도 12, 8에 도시한 바와 같이, 컨트롤러(130)은 제 1 GPU(132), 제 2 GPU(134)를 포함한다.
제 1 GPU(132)는 프레임을 렌더링하고, 렌더링한 프레임을 메모리(150)에 저장한다. 제 2 GPU(134)는 제 2 센싱 정보를 기초로 디스플레이 모듈(140)의 화면 재생률에 맞추어 렌더링한 프레임을 타임 워프하고, 타임워프한 프레임을 디스토션한다.
여기서, 제 2 GPU(134)는 제 1 GPU(132)와 별도 프로세싱 모듈 혹은 display driver IC를 포함한다.
따라서, 제 1 GPU(132)가 프레임을 렌더링하는 제 1 과정과 제 2 GPU(134)가 렌더링한 프레임을 타임 워프하고 타임 워프한 프레임을 디스토션하는 제 2 과정이 비동기화된다. 즉, 제 1 과정과 제 2 과정을 실행하는 시간대가 다르다.
그리고, 제 1 과정과 제 2 과정을 실행하는 시간대가 다름에 따라, 제 1 과정의 fps가 기설정된 값보다 낮아도, 사용자가 어지러움을 느끼는 현상을 방지할 수 있다.
구체적으로, 제 1 과정에서 프레임 수신 속도가 기설정된 값보다 느린 경우, 예를 들어 10 fps 인 경우, 제 2 GPU(134)는 프레임을 수신할 때마다 센싱을 하지 않는다. 제 2 GPU(134)는 디스플레이 모듈(140)의 화면 재생률에 맞추어 센싱 정보를 센서 모듈(120)로부터 수신하고, 수신한 센싱 정보를 기초로 렌더링한 프레임을 타임 워프하고, 타임 워프된 프레임을 디스토션하고 이를 스크린에 디스플레이한다.
본 발명에 따르면, 프레임 수신 속도가 기설정된 값보다 느리더라도 제 2 GPU(134)가 수신한 센싱 정보 중 오리엔테이션과 프레임을 수신된 기초로 오리엔테이션에 대응하는 프레임을 생성함으로써 사용자가 어지러움을 느끼는 것을 감소시킬 수 있다.
본 발명의 일 실시 예에 따르면, 컴퓨팅 디바이스로부터 제 1 센싱 정보를 기초로 렌더링한 프레임을 수신하고, 제 2 센싱 정보를 기초로 프레임을 타임 워프하고 디스토션함으로써, 지연 시간을 단축하여 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 다른 일 실시 예에 따르면, 렌더링하는 컴퓨팅 디바이스의 프레임 출력이 화면의 업데이트 주기와 싱크(sync)가 맞지 않는 경우, 예를 들어 화면의 재생률(refresh rate)이 90Hz 이고 영화 컨텐트의 프레임 속도(frame rate)가 30Hz인 경우, 헤드 마운티드 디스플레이의 오리엔테이션에 맞게 가상 현실 화면을 출력함으로써 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 사용자가 가상 현실 화면을 보고 있는 중에 전화 알림 메시지를 외부 디바이스로부터 수신하면, 메시지 박스가 떨리지 않고 또렷하게 디스플레이되어 사용자 편의성이 향상된다.
본 발명의 또 다른 일 실시 예에 따르면, 컴퓨팅 디바이스에서 렌더링만 수행하고, 헤드 마운티드 디스플레이에서 타임 워핑, 디스토션을 수행하여 지연 시간(motion to photon latency)을 전송 시간과 독립시킴으로써 컴퓨팅 디바이스에서 프레임 데이터를 압축할 수 있고, 헤드 마운티드 디스플레이로의 프레임 전송 시간을 단축시키고, 전송 데이터량을 축소할 수 있어 보다 자연스러운 가상 현실 화면을 구현할 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 컴퓨팅 디바이스에서 헤드 마운티드 디스플레이로 데이터 전송 시 종래기술과 달리 데이터 전송 과정에서 생기는 지연 과정의 영향을 받지 않아, 선이 많은 VR 헤드 마운티드 디스플레이들을 무선으로 대체할 수 있어, 불필요한 공간을 감소시킬 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 이동 단말기
151: 터치스크린
180: 제어부
100: 헤드 마운티드 디스플레이
110: 통신 모듈 120: 센서 모듈
130: 컨트롤러 140: 디스플레이 모듈
150: 메모리 160 : 디스플레이 버퍼

Claims (15)

  1. 헤드 마운티드 디스플레이의 제어 방법에 있어서,
    컴퓨팅 디바이스와 통신 연결하는 단계;
    상기 헤드 마운티드 디스플레이의 모션을 제 1 시점에 센싱하는 단계;
    상기 제 1 시점에 센싱된 제 1 센싱 정보를 상기 컴퓨팅 디바이스로 전송하는 단계;
    상기 제 1 센싱 정보를 기초로 렌더링된 프레임을 상기 컴퓨팅 디바이스로부터 수신하는 단계;
    상기 헤드 마운티드 디스플레이의 모션을 제 2 시점에 센싱하는 단계;
    상기 제 2 시점에 센싱된 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하는 단계;
    상기 제 2 센싱 정보를 기초로 타임 워프된 상기 프레임을 프로세싱하는 단계; 및
    프로세싱된 상기 프레임을 스크린에 디스플레이하는 단계
    를 포함하는 헤드 마운티드 디스플레이의 제어 방법.
  2. 제 1 항에 있어서, 상기 프로세싱하는 단계는
    상기 프레임을 렌즈의 광학 구조에 맞추어 디스토션하는 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  3. 제 1 항에 있어서,
    적어도 하나의 이벤트가 발생하면, 상기 컴퓨팅 디바이스로부터 제 1 프레임 레이어와 제 2 프레임 레이어를 포함하는 적어도 두 개의 프레임 레이어를 수신하는 단계; 및
    수신된 상기 제 2 프레임 레이어가 아닌 제 1 프레임에 한하여 타임 워프를 하는 단계;
    를 더 포함하는 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  4. 제 3 항에 있어서,
    상기 제 1 프레임 레이어의 이미지는 상기 헤드 마운티드 디스플레이의 모션에 따라 변경되고, 상기 제 2 프레임 레이어의 이미지는 상기 헤드 마운티드 디스플레이의 모션에 독립적인 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  5. 제 1 항에 있어서, 상기 렌더링은
    상기 컴퓨팅 디바이스에 의해, 상기 프레임에 포함된 이미지의 그림자, 색상 및 농도 중 적어도 하나가 변경되는 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  6. 제 1 항에 있어서, 타임 워프(time warp)하는 단계는
    제 2 센싱 정보 중 오리엔테이션(Orientation) 및 수신된 상기 프레임을 기초로 상기 오리엔테이션에 대응하는 프레임을 생성하는 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  7. 제 1 항에 있어서,
    상기 제 2 시점은 상기 제 1 시점 이후에 해당하며, 상기 제 1 시점과 상기 제 2 시점간 시간 간격은 고정되어 있거나 또는 변경 가능한 것
    인 헤드 마운티드 디스플레이의 제어 방법.
  8. 헤드 마운티드 디스플레이에 있어서,
    컴퓨팅 디바이스와 데이터를 송수신하는 통신 모듈;
    상기 헤드 마운티드 디스플레이의 모션을 센싱하는 센서 모듈;
    제 1 센싱 정보를 상기 컴퓨팅 디바이스로 전송하고, 렌더링된 상기 프레임을 상기 컴퓨팅 디바이스로부터 수신하고, 제 2 센싱 정보를 기초로 수신된 프레임을 타임 워프(time warp)하고, 상기 제 2 센싱 정보를 기초로 타임 워프된 상기 프레임을 프로세싱하고, 프로세싱된 상기 프레임을 디스플레이하는 컨트롤러; 및
    상기 컨트롤러로부터의 제어 명령에 따라 프로세싱된 상기 프레임을 스크린에 디스플레이하는 디스플레이 모듈
    을 포함하는 헤드 마운티드 디스플레이.
  9. 제 8 항에 있어서, 상기 컨트롤러는
    상기 프레임을 렌즈의 광학 구조에 맞추어 디스토션하는 것
    인 헤드 마운티드 디스플레이.
  10. 제 8 항에 있어서, 상기 컨트롤러는
    적어도 하나의 이벤트가 발생하면, 상기 컴퓨팅 디바이스로부터 제 1 프레임 레이어와 제 2 프레임 레이어를 포함하는 적어도 두 개의 프레임 레이어를 상기 통신 모듈을 통하여 수신하고, 수신된 적어도 두 개의 프레임 레이어 중 상기 제 1 프레임 레이어만을 타임 워프하고, 상기 제 1 프레임 레이어 위에 상기 제 2 프레임 레이어를 배치하고, 배치된 상기 제 1 프레임 레이어와 상기 제 2 프레임 레이어를 디스토션하되, 상기 제 2 프레임 레이어는 상기 이벤트에 관한 것
    인 헤드 마운티드 디스플레이.
  11. 제 10 항에 있어서,
    상기 제 1 프레임 레이어의 이미지는 상기 헤드 마운티드 디스플레이의 모션에 따라 변경되고, 상기 제 2 프레임 레이어의 이미지는 상기 헤드 마운티드 디스플레이의 모션에 독립적인 것
    인 헤드 마운티드 디스플레이.
  12. 제 8 항에 있어서, 상기 렌더링된 프레임은
    상기 컴퓨팅 디바이스에 의해 상기 프레임에 포함된 이미지의 그림자, 색상 및 농도 중 적어도 하나가 변경된 것
    인 헤드 마운티드 디스플레이.
  13. 제 8 항에 있어서, 상기 컨트롤러는
    제 2 센싱 정보 중 오리엔테이션(Orientation) 및 수신된 상기 프레임을 기초로 상기 오리엔테이션에 대응하는 프레임을 생성하는 것
    인 헤드 마운티드 디스플레이.
  14. 제 8 항에 있어서,
    상기 제 2 시점은 상기 제 1 시점 이후에 해당하며, 상기 제 1 시점과 상기 제 2 시점간 시간 간격은 고정되어 있거나 또는 변경 가능한 것
    인 헤드 마운티드 디스플레이.
  15. 제 8 항에 있어서, 상기 컨트롤러는
    상기 제 2 센싱 정보를 기초로 수신된 프레임을 동시에 타임 워프(time warp)와 디스토션(distortion)하는 것
    인 헤드 마운티드 디스플레이.
KR1020150074211A 2015-05-27 2015-05-27 헤드 마운티드 디스플레이 및 그 제어 방법 KR20160139461A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150074211A KR20160139461A (ko) 2015-05-27 2015-05-27 헤드 마운티드 디스플레이 및 그 제어 방법
US15/576,217 US10585283B2 (en) 2015-05-27 2015-08-24 Head mounted display and control method therefor
PCT/KR2015/008810 WO2016190489A1 (ko) 2015-05-27 2015-08-24 헤드 마운티드 디스플레이 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150074211A KR20160139461A (ko) 2015-05-27 2015-05-27 헤드 마운티드 디스플레이 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20160139461A true KR20160139461A (ko) 2016-12-07

Family

ID=57393999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150074211A KR20160139461A (ko) 2015-05-27 2015-05-27 헤드 마운티드 디스플레이 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10585283B2 (ko)
KR (1) KR20160139461A (ko)
WO (1) WO2016190489A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075731A (ko) * 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이의 지연 측정 장치 및 방법
KR20180096940A (ko) * 2017-02-22 2018-08-30 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2019066591A1 (ko) * 2017-09-29 2019-04-04 클릭트 주식회사 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR20190076709A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 와핑 처리를 수행하는 그래픽 프로세서, 이를 포함하는 렌더링 시스템 및 그래픽 프로세서 동작방법
KR101997066B1 (ko) * 2017-12-29 2019-07-08 주식회사호텔롯데 가상 현실 영상 시스템 및 그 동작 방법
WO2019152067A1 (en) * 2018-02-03 2019-08-08 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR102087841B1 (ko) * 2018-12-19 2020-03-12 주식회사 라온텍 패널 타임 워프를 갖는 ar/vr/mr 시스템용 디스플레이 유닛
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR20220148027A (ko) * 2021-04-28 2022-11-04 (주)이머시브캐스트 Hmd 기반의 pc 게임 확장 시스템

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545435B (en) * 2015-12-15 2019-10-30 Advanced Risc Mach Ltd Data processing systems
GB201621434D0 (en) * 2016-12-16 2017-02-01 Palantir Technologies Inc Processing sensor logs
US10394313B2 (en) 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
CN106998409B (zh) * 2017-03-21 2020-11-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
US10785471B1 (en) * 2017-05-12 2020-09-22 Facebook Technologies, Llc Upsampling content for head-mounted displays
US10347037B2 (en) 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10586377B2 (en) 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
EP3521899A1 (en) * 2018-02-03 2019-08-07 Facebook Technologies, LLC Apparatus, system, and method for achieving intraframe image processing in head-mounted displays
GB2575824B (en) * 2018-07-24 2022-08-03 Displaylink Uk Ltd Generating display data
CN110868581A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及系统
US10948976B1 (en) * 2019-02-06 2021-03-16 Facebook Technologies, Llc Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
WO2021023819A1 (en) * 2019-08-06 2021-02-11 Sony Corporation Communication devices and methods
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN113132714B (zh) * 2019-12-31 2023-09-08 精工爱普生株式会社 电路装置、电子设备和移动体
CN113129224B (zh) * 2019-12-31 2023-11-28 精工爱普生株式会社 显示系统、电子设备、移动体和显示方法
KR20230058712A (ko) * 2020-09-03 2023-05-03 삼성전자주식회사 통신 시스템에서 컨텐츠와 디바이스들의 성능 차이 완화를 위한 방법 및 장치
CN112380989B (zh) * 2020-11-13 2023-01-24 歌尔科技有限公司 一种头戴显示设备及其数据获取方法、装置和主机
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
US11822713B2 (en) * 2021-06-11 2023-11-21 Rockwell Collins, Inc. Pose augmentation of head worn display video for latency reduction
US11972549B2 (en) * 2021-10-13 2024-04-30 Microsoft Technology Licensing, Llc Frame selection for image matching in rapid target acquisition

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004363987A (ja) * 2003-06-05 2004-12-24 Advanced Telecommunication Research Institute International 画像提示システム
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8208009B2 (en) * 2008-02-05 2012-06-26 Disney Enterprises, Inc. Stereoscopic image generation using retinal rivalry in scene transitions
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
KR20130101380A (ko) * 2012-03-05 2013-09-13 유큐브(주) 착용형 디스플레이 장치를 이용한 정보제공 시스템 및 방법
KR20140126492A (ko) * 2013-04-23 2014-10-31 엘지전자 주식회사 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
WO2014178477A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075731A (ko) * 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이의 지연 측정 장치 및 방법
KR20180096940A (ko) * 2017-02-22 2018-08-30 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2018155917A1 (ko) * 2017-02-22 2018-08-30 삼성전자 주식회사 전자 장치 및 그 제어 방법
WO2019066591A1 (ko) * 2017-09-29 2019-04-04 클릭트 주식회사 가상현실 영상 제공 방법 및 이를 이용한 프로그램
US11127208B2 (en) 2017-09-29 2021-09-21 Clicked, Inc. Method for providing virtual reality image and program using same
US10769753B2 (en) 2017-12-22 2020-09-08 Samsung Electronics Co., Ltd. Graphics processor that performs warping, rendering system having the graphics processor, and method of operating the graphics processor
CN109978749A (zh) * 2017-12-22 2019-07-05 三星电子株式会社 图形处理器、渲染系统及操作图形处理器的方法
KR20190076709A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 와핑 처리를 수행하는 그래픽 프로세서, 이를 포함하는 렌더링 시스템 및 그래픽 프로세서 동작방법
KR101997066B1 (ko) * 2017-12-29 2019-07-08 주식회사호텔롯데 가상 현실 영상 시스템 및 그 동작 방법
WO2019152067A1 (en) * 2018-02-03 2019-08-08 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10559276B2 (en) 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10803826B2 (en) 2018-02-03 2020-10-13 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in headmounted displays
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
KR102087841B1 (ko) * 2018-12-19 2020-03-12 주식회사 라온텍 패널 타임 워프를 갖는 ar/vr/mr 시스템용 디스플레이 유닛
KR20220148027A (ko) * 2021-04-28 2022-11-04 (주)이머시브캐스트 Hmd 기반의 pc 게임 확장 시스템

Also Published As

Publication number Publication date
WO2016190489A1 (ko) 2016-12-01
US20180146189A1 (en) 2018-05-24
US10585283B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
KR20160139461A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
CN109791433B (zh) 预测式中心凹虚拟现实系统
CN108241213B (zh) 头戴式显示器及其控制方法
KR101979564B1 (ko) 가상 현실 시스템에서 모션-대-포톤 레이턴시 및 메모리 대역폭을 감소시키기 위한 시스템들 및 방법들
WO2017086263A1 (ja) 情報処理装置および画像生成方法
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
WO2019026765A1 (ja) レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
KR20190085509A (ko) 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
JP2019079339A (ja) 画像生成装置、画像生成システム、画像生成方法、およびプログラム
JP7134060B2 (ja) 画像生成装置および画像生成方法
US11694352B1 (en) Scene camera retargeting
JP2020024417A (ja) 情報処理装置
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
JP2019095916A (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US20210058611A1 (en) Multiviewing virtual reality user interface
US20210250616A1 (en) Video encoding system
JP6711803B2 (ja) 画像生成装置および画像生成方法
US11187914B2 (en) Mirror-based scene cameras
US11887228B2 (en) Perspective correct vector graphics with foveated rendering
WO2017056597A1 (ja) 情報処理装置
CN117745981A (zh) 图像生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application