KR20200063614A

KR20200063614A - Ar/vr/mr 시스템용 디스플레이 유닛

Info

Publication number: KR20200063614A
Application number: KR1020180149533A
Authority: KR
Inventors: 양월동; 김광원; 홍욱; 박세진
Original assignee: 주식회사 라온텍
Priority date: 2018-11-28
Filing date: 2018-11-28
Publication date: 2020-06-05
Also published as: US20200168001A1

Abstract

본 발명은 디스플레이 유닛에 관한 것으로, 더욱 상세하게는 지연 시간(MTP Latency)을 감소시킬 수 있는 AR/VR/MR 시스템용 디스플레이 유닛에 관한 것이다.
본 발명의 실시 형태에 따른 디스플레이 유닛은, 렌더러로부터 수신된 렌더링된 프레임을 저장하는 프레임 버퍼, 움직임 검출 및 위치 추적기로부터 수신된 센싱 정보에 기초하여 타임 워프 제어 신호를 출력하는 디스플레이 타임 워프 엔진부, 및 상기 프레임 버퍼에 저장된 상기 프레임을 읽어와 상기 타임 워프 제어 신호에 기초하여 상기 프레임을 타임 워프하는 리프레셔를 포함하는, 디스플레이 컨트롤러; 및 상기 리프레셔로부터 상기 타임 워프된 프레임을 제공받아 화면에 디스플레이하는 디스플레이 패널;을 포함한다.

Description

AR/VR/MR 시스템용 디스플레이 유닛{DISPLAY UNIT FOR AR/VR/MR SYSTEM}

본 발명은 디스플레이 유닛에 관한 것으로, 더욱 상세하게는 지연 시간(MTP Latency)을 감소시킬 수 있는 AR/VR/MR 시스템용 디스플레이 유닛에 관한 것이다.

증강현실(AR, Augmented Reality) 시스템, 가상현실(VR, Virtual Reality) 시스템 및 혼합현실(MR, Mixed Reality) 시스템에 있어서, 사용자가 HMD(Head Mounted Display)를 사용하는 경우에, 사용자의 위치 이동이나 머리 회전 시, 이동에 필요한 정보는 IMU(inertial measurement unit) 또는 옵틱 엔진(Optic Engine) 등으로부터 얻는다. 얻은 정보는 AP의 시스템으로 전달된 후, 최종 GPU에서 회전에 해당하는 이미지를 재생성하여, 다시 HMD의 디스플레이 유닛으로 전달된다, 이러한 과정에서 지연 시간(Motion To Photon(MTP) Latency)이 발생되어, HMD 를 사용중인 사용자에게 현실과 가상의 불일치로 인한 이질감을 일으킨다.

지연 시간(MTP Latency)은 사용자가 움직임을 시작하는 순간부터 그것이 실제 화면에 반영하여 광자가 사용자 눈까지 도달하는 데 걸리는 시간으로, 즉, 사용자의 시선 이동과 이에 따른 화면 업데이트 사이에 발생하는 시간차를 말한다. 지연 시간을 최소화하는 것은 편안한 AR, VR, MR 사용 환경을 제공하는데 결정적인 요소이다.

홀로그래픽 광학 소자(HOE, Holographic Optical Element), 회절성 광학 소자(DOE, Diffractive Optical Element)와 같이 웨이브가이드 옵틱(WaveGuide Optic)을 지원하는 순차 디스플레이(Sequential Display), 예를 들어 LcoS(Liquid Crystal on Silicon), DLP(Digital Light Processing)의 경우, R, G, B를 각각 스캔(scan)하는 구조이기 때문에, HMD를 사용중인 사용자가 빠르게 움직일 경우, 각각의 R, G, B 이미지는 다른 영역에 표시된다. 따라서, 색균열(또는 색분리, Color Break Up)이 발생될 수 있으며, 이로 인해 AR, VR, MR 기기를 사용하는 사용자에게 불편한 사용자 경험을 제공한다.

종래의 하드웨어 타임워프(HW Time Warp) 또는 소프웨어 타임워프(SW Time Warp)는, 디스플레이 유닛(Display unit) 앞단에 위치한 시스템 영역에서 이루어지기 때문에, 최종적으로 디스플레이 유닛으로 갱신된 이미지가 전달되는 동안에, 다시 지연 시간(MTP Latency)이 발생하게 된다.

이하, 종래의 AR/VR/MR 시스템을 도 1 내지 도 5를 참조하여 개략적으로 설명한다.

도 1은 종래의 AR/VR/MR 시스템의 제1 예이고, 제1 예에 따른 AR/VR/MR 시스템에서의 디스플레이 지연 시간을 나타내는 도면이고, 도 2는 종래의 AR/VR/MR 시스템의 제2 예로서, 테더드(Tethered)를 지원하는 AR/VR/MR 시스템에서의 디스플레이 지연 시간을 나타내는 도면이고, 도 3은 도 2는 종래의 AR/VR/MR 시스템의 제3 예로서, 하드웨어 방식 또는 소프트웨어 방식으로 타임 워프(Time Warp)를 지원하는 AR/VR/MR 시스템에서 디스플레이 지연 시간을 나타내는 도면이고, 도 4는 종래의 AR/VR/MR 시스템의 제4 예로서, 이미지 압축과 타임 워프(Time Warp)를 지원하는 AR/VR/MR 시스템에서 디스플레이 지연 시간을 나타내는 도면이다.

도 1 내지 도 4를 참조하면, 도 1에 도시된 종래의 제1 예에 따른 AR/VR/MR 시스템에서는 제1 시점(t0)부터 제4 시점(t4)까지의 지연 시간이 발생되고, 도 2에 도시된 종래의 제2 예에 따른 AR/VR/MR 시스템에서는 제1 시점(t0)부터 제5 시점(t5)까지의 지연 시간이 발생되고, 도 3에 도시된 종래의 제3 예에 따른 AR/VR/MR 시스템에서는 제2 시점(t2)부터 제4 시점(t4)까지의 지연 시간이 발생되고, 도 4에 도시된 도시된 종래의 제4 예에 따른 AR/VR/MR 시스템에서는 제2 시점(t2)부터 제4 시점(t4)까지의 지연 시간이 발생된다.

본 발명이 해결하고자 하는 과제는, 지연 시간(MTP Latency)을 감소시킬 수 있는 AR/VR/MR 시스템용 디스플레이 유닛을 제공한다.

또한, 디스플레이 유닛에서 타임 워프를 수행함으로서 발생될 수 있는 프레임의 비동기화 문제를 해결할 수 있는 AR/VR/MR 시스템용 디스플레이 유닛을 제공한다.

또한, R, G, B를 각각 스캔(scan)하는 순차 디스플레이 패널(Sequential Display)에 있어서, 사용자의 움직임에 의한 색균열(또는 색분리, Color Break Up) 현상을 줄일 수 있는 AR/VR/MR 시스템용 디스플레이 유닛을 제공한다.

본 발명의 실시 형태에 따른 디스플레이 유닛은, 렌더러로부터 수신된 렌더링된 프레임을 저장하는 프레임 버퍼, 움직임 검출 및 위치 추적기로부터 수신된 센싱 정보에 기초하여 타임 워프 제어 신호를 출력하는 디스플레이 타임 워프 엔진부, 및 상기 프레임 버퍼에 저장된 상기 프레임을 읽어와 상기 타임 워프 제어 신호에 기초하여 상기 프레임을 타임 워프하는 리프레셔를 포함하는, 디스플레이 컨트롤러; 및 상기 리프레셔로부터 상기 타임 워프된 프레임을 제공받아 화면에 디스플레이하는 디스플레이 패널을 포함한다.

본 발명의 실시 형태에 따른 디스플레이 유닛을 사용하면, 타임 워프를 디스플레이 유닛에서 수행되므로, 지연 시간을 줄일 수 있는 이점이 있다.

또한, 디스플레이 유닛에서 타임 워프를 수행하여 컨텐츠 생성기에서 디스플레이 유닛으로의 전송 시간을 단축할 수 있어 보다 자연스러운 증강 현실, 가상 현실 및 혼합 현실 화면을 구현할 수 있다.

또한, 최종적으로 사용자 움직임에 대한 지연 시간을 리프레시 시간(Refresh time) 또는 프레임 레이트 업 컨버젼(Frame Rate Up Conversion) 시간안으로 처리할 수 있으므로, 가상의 이미지와 현실 세계의 환경 불일치에 의한 이질감을 해소할 수 있는 이점이 있다.

또한, R, G, B를 각각 스캔(scan)하는 순차 디스플레이 패널(Sequential Display)에 있어서, 사용자의 움직임에 의한 색균열(또는 색분리, Color Break Up) 현상을 줄일 수 있는 이점이 있다.

도 1은 종래의 AR/VR/MR 시스템의 제1 예이고, 제1 예에 따른 AR/VR/MR 시스템에서의 디스플레이 지연 시간을 나타내는 도면이다.
도 2는 종래의 AR/VR/MR 시스템의 제2 예로서, 테더드(Tethered)를 지원하는 AR/VR/MR 시스템에서의 디스플레이 지연 시간을 나타내는 도면이다.
도 3은 도 2는 종래의 AR/VR/MR 시스템의 제3 예로서, 하드웨어 방식 또는 소프트웨어 방식으로 타임 워프(Time Warp)를 지원하는 AR/VR/MR 시스템에서 디스플레이 지연 시간을 나타내는 도면이다.
도 4는 종래의 AR/VR/MR 시스템의 제4 예로서, 이미지 압축과 타임 워프(Time Warp)를 지원하는 AR/VR/MR 시스템에서 디스플레이 지연 시간을 나타내는 도면이다.
도 5는 본 발명의 일 실시 형태에 따른 디스플레이 유닛과 이를 포함하는 AR/VR/MR 시스템을 보여주는 블록도이다.
도 6은 본 발명의 다른 실시 형태에 따른 디스플레이 유닛(500')과 이를 포함하는 AR/VR/MR 시스템을 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')과 이를 포함하는 AR/VR/MR 시스템을 설명하기 위한 도면이다.
도 8은 도 7에 도시된 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')과 이를 포함하는 AR/VR/MR 시스템을 적용한 경우에, 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')을 착용한 사용자의 인지를 예시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 형태를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 형태는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 형태는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 형태에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 형태로 구현될 수 있다. 또한, 각각의 개시된 실시 형태 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

도 5는 본 발명의 일 실시 형태에 따른 디스플레이 유닛과 이를 포함하는 AR/VR/MR 시스템을 보여주는 블록도이다.

도 5에서는 본 발명의 일 실시 형태에 따른 디스플레이 유닛을 포함하는 AR/VR/MR 시스템에서 디스플레이 지연 시간을 함께 예시적으로 보여준다.

도 5를 참조하면, 본 발명의 일 실시 형태에 따른 AR/VR/MR 시스템은, 컨텐츠 생성기(Content Generator, 100), 렌더러(Renderer, 300), 디스플레이 유닛(Display Unit, 500), 움직임 검출 및 위치 추적기(700)를 포함할 수 있다.

컨텐츠 생성기(Content Generator, 100)는, 소정의 컨텐츠를 생성한다. 소정의 컨텐츠는 정지 영상, 동영상, 3D 영상, 입체 영상 등일 수 있다. 컨텐츠 생성기(100)는 AR, VR, MR 용 게임의 개발이 가능한 유니티3D(unity3D) 엔진 또는 언리얼(Unreal) 엔진일 수 있다. 또한, 컨텐츠 생성기(100)는 소정의 컨텐츠를 생성하는 소프트웨어(SW)일 수 있다.

컨텐츠 생성기(100)가 생성하는 소정의 컨텐츠는, 다수의 프레임(frame)으로 구성되어 디스플레이 유닛(500)에서 화면에 디스플레이될 수 있다. 여기서, 프레임(Frame)은 디스플레이 유닛(500)의 디스플레이 패널(550)의 화면에 뿌려지는 정지 영상의 낱장을 뜻한다. 또한, 프레임(Frame)은 비디오 게임(Video Game)에서 한 화면에 몇 번의 정지 화면을 보여주는가를 나타낼 때도 쓰이고, 모션 캡처 시스템(Motion Capture System)에서 초당 몇 번의 움직임을 잡아내는가를 나타내는 단위로도 사용된다.

렌더러(300)는 컨텐츠 생성기(100)로부터 컨텐츠를 수신하고, 수신된 컨텐츠를 렌더링하여 렌더링된 프레임(또는 렌더링된 영상 정보)을 생성한다.

렌더러(300)는 수신된 컨텐츠의 프레임의 그림자, 색상 및 농도 중 적어도 하나 이상을 변경하여 렌더링(rendering)된 프레임을 생성할 수 있다. 여기서, 렌더링(rendering)은 2차원의 화상에 광원·위치·색상 등 외부의 정보를 고려하여 사실감을 불어넣어, 3차원 화상을 만드는 과정을 뜻하는 컴퓨터그래픽스 용어이다. 와이어프레임(wire), 레이트레이싱(raytracing) 렌더링 방법 등이 있다.

렌더러(300)는, 예를 들어, 초당 30 프레임과 같은, 디스플레이 유닛(500)의 리프레시 레이트(refresh rate)와 동일한 레이트(rate)로 디스플레이되도록 프레임을 렌더링할 수 있다.

렌더러(300)는 GPU(Graphics Processing Unit)일 수 있으며, 렌더링된 프레임의 데이터를 저장하는 프레임 버퍼(350)를 포함할 수 있다.

프레임 버퍼(350)는 디스플레이 패널(550)의 화면에 나타나는 프레임을 각 픽셀 단위로 저장한다. 예를 들어, 흑백 정보를 출력할 때에는 하나의 픽셀에 하나의 비트를 대응시켜 비트값에 따라 흑백을 구분하고, 컬러 영상면을 나타낼 경우에는 하나의 픽셀에 여러 가지 비트를 대응시켜 표현한다. 프레임 버퍼(350)는 SDRAM과 같은 메모리로 구현될 수 있다.

움직임 검출 및 위치 추적기(700)는, 움직이는 물체의 관성량을 측정해서, 물체의 이동 방향, 현재 포즈, 현재 위치 등을 센싱할 수 있다. 움직임 검출 및 위치 추적기(700)는 IMU 센서 모듈을 포함할 수 있다. 또한, 움직임 검출 및 위치 추적기(700)는 옵틱(Optic) 기반의 센서를 포함할 수도 있다.

또한, 움직임 검출 및 위치 추적기(700)는 복수의 센서를 포함하고, 복수의 센서에서 출력되는 센싱 신호들을 융합하여 센서 퓨전(sensor fusion) 데이터를 생성 및 출력할 수도 있다.

움직임 검출 및 위치 추적기(700)에서 센싱된 센싱 정보는 디스플레이 컨트롤러(510)의 디스플레이 타임 워프 엔진부(515)로 제공될 수 있다. 또한, 움직임 검출 및 위치 추적기(700)에서 센싱된 센싱 정보는 컨텐츠 생성기(100)로도 제공되고, 컨텐츠 생성기(100)는 센싱 정보에 기초하여 소정의 컨텐츠를 생성할 수 있다. 여기서, 센싱 정보는 예를 들어, 오리엔테이션(orientation) 정보, 위치 정보 등을 포함할 수 있다.

디스플레이 유닛(500)은 디스플레이 컨트롤러(510)와 디스플레이 패널(550)을 포함한다.

렌더러(300)에서 생성된 렌더링된 프레임은 디스플레이 컨트롤러(510)에 의해 판독되고, 디스플레이 패널(550)로 제공된다. 여기서, 디스플레이 컨트롤러(510)는 렌더링된 프레임을 움직임 검출 및 위치 추적기(700)로부터 제공된 센싱 정보에 따라 타임 워프하고, 타임 워프된 프레임을 디스플레이 패널(550)로 제공할 수 있다.

디스플레이 컨트롤러(510)는 디스플레이 패널(550)로 디스플레이 유닛(500)을 착용한 사용자의 시청에 적합한 프레임을 제공하도록 동작한다. 디스플레이 컨트롤러(510)는 유선 또는 무선 방식으로 디스플레이 패널(550)과 연결될 수 있다.

디스플레이 컨트롤러(510)는 디스플레이 구동 칩(Display Driver IC, DDI)일 수 있다. DDI는 OLED, LCD 등의 디스플레이 패널(550)의 각 픽셀을 구동하는 데에 쓰이는 작은 반도체 칩이다.

디스플레이 컨트롤러(510)은 렌더러(300)의 프레임 버퍼(350)에 저장된 렌더링된 프레임의 정보를 수신할 수 있다.

디스플레이 컨트롤러(510)는 프레임 버퍼(511)를 포함할 수 있다.

프레임 버퍼(511)는 렌더러(300)로부터 렌더링된 프레임을 판독하고 이를 데이터 형태로 저장한다. 프레임 버퍼(511)는 디스플레이 패널(550)의 화면에 나타나는 프레임의 데이터를 각 픽셀 단위로 저장한다.

프레임 버퍼(511)는 SDRAM과 같은 메모리로 구현될 수 있다.

디스플레이 컨트롤러(510)은 리프레셔(513, Refresher)를 포함할 수 있다.

리프레셔(513)는 프레임 버퍼(511)에 저장된 렌더링된 프레임의 데이터를 읽어와, 디스플레이 타임 워프 엔진부(515)로부터 제공된 타임 워프 제어 신호에 기초하여 렌더링된 프레임 데이터를 타임 워프(timp warp) 처리한 후, 타임 워프된 프레임 데이터를 디스플레이 패널(550)로 제공한다.

리프레셔(513)는 프레임 버퍼(511)에 저장된 렌더링된 프레임 데이터의 손실을 막기 위해서, 주기적으로 프레임 버퍼(511)를 리프레시할 수 있다. 주기적인 리프레시 시간을 리프레시 시간(refresh time)이라 한다.

디스플레이 컨트롤러(510)는 디스플레이 타임 워프 엔진부(515, Display Time warp engine)를 포함할 수 있다.

디스플레이 타임 워프 엔진부(515)는 움직임 검출 및 위치 추적기(700)로부터 움직임 및 위치 정보를 포함한 센싱 정보를 수신한다.

디스플레이 타임 워프 엔진부(515)는 수신된 센싱 정보를 기초로 타임 워프 제어 신호를 생성하고, 생성된 타임 워프 제어 신호를 리프레셔(513)로 제공한다. 타임 워프 제어 신호는 프레임 버퍼(511)에 저장된 해당 프레임의 각 픽셀의 이동 정보를 포함한다.

리프레셔(513)는 각 픽셀의 이동 정보를 포함한 타임 워프 제어 신호에 기초하여 프레임 버퍼(511)에서 읽어온 렌더링된 프레임의 각 픽셀의 데이터 정보(비트열)를 수정할 수 있다. 이에 따라, 디스플레이 패널(550)에서는 사용자의 움직임 또는/및 이동에 따라 수정되는 프레임이 디스플레이될 수 있다.

도 5에 도시된 본 발명의 실시 형태에 따른 AR/VR/MR 시스템은, 디스플레이 유닛(500) 앞단에서 타임 워프가 수행되지 않고, 디스플레이 유닛(500) 내의 디스플레이 컨트롤러(510)에서 타임 워프가 수행되므로, 지연 시간(MTP latency)은 리프레셔(513)가 프레임 버퍼(511)에 저장된 프레임의 데이터를 읽는 시간(tx)과 디스플레이 패널(550)에서의 스캔 시간을 합산한 시간(tx_1)밖에 걸리지 않는다. 따라서, 타임 워프를 디스플레이 유닛(500) 앞단에서 수행하는 도 3과 도 5의 시스템과 비교하여, 지연 시간 상당히 짧아지는 이점이 있다.

디스플레이 패널(550)은 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 및 무기 전계발광소자와 유기발광다이오드소자(Organic Light Emitting Diode, OLED)를 포함한 전계발광소자(Electroluminescence Device, EL), OLEDoS(OLED on Silicon), 액정을 사용한 실리콘상층액정(Lcos), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자의 표시패널로 구현될 수 있다.

디스플레이 패널(550)에는 데이터라인들과 스캔라인들(또는 게이트라인들)이 교차된다. 디스플레이 패널(550)은 데이터라인들과 스캔라인들에 의해 정의된 매트릭스 형태로 형성되는 픽셀들을 포함한다. 디스플레이 패널(550)의 각 픽셀은 복수의 서브픽셀들(레드 서브픽셀, 그린 서브픽셀, 블루 서브픽셀)을 포함할 수 있으며, 각 서브픽셀은 TFT(Thin Film Transistor)를 포함할 수 있다.

도 6은 본 발명의 다른 실시 형태에 따른 디스플레이 유닛(500')과 이를 포함하는 AR/VR/MR 시스템을 설명하기 위한 도면이다.

도 6에는 디스플레이 유닛(500')과 움직임 검출 및 위치 추적기(700)만이 도시되어 있으나, 전체 디스플레이 시스템은 도 5에 도시된 컨텐츠 생성기(100)와 렌더러(300)를 더 포함할 수 있다. 이 경우, 도 5에 도시된 컨텐츠 생성기(100)와 렌더러(300)는 도 6에 도시된 디스플레이 유닛(500') 앞단에 배치될 수 있다.

도 6에 도시된 디스플레이 유닛(500')은 도 5에 도시된 렌더러(300)로부터 렌더링된 프레임(또는 이미지(image))을 수신하는 인터페이스부(512), 인터페이스부(512)로부터 제공되는 렌더링된 프레임을 전처리하는 전처리 엔진부(514), 전처리된 프레임을 저장하는 프레임 버퍼(511'), 리프레셔(513), 디스플레이 타임 워프 엔진부(515), 후처리 엔진부(516) 및 디스플레이 패널(550)을 포함할 수 있다. 여기서, 인터페이스부(512), 전처리 엔진부(514), 프레임 버퍼(511'), 리프레셔(513), 디스플레이 타임 워프 엔진부(515) 및 후처리 엔진부(516)는 디스플레이 컨트롤러에 포함되는 구성일 수 있다.

인터페이스부(512)는 렌더러(300)와 같은 부품과 디스플레이 유닛(500')을 서로 연결하여 렌더링된 프레임의 데이터를 주고받게 해주는 역할을 한다. 예를 들어, 인터페이스부(512)는 MIPI(Mobile Industry Processor Interface)의 DSI 인터페이스, LVDS(Low Voltage Differential Signal) 인터페이스, 및 RGB 인터페이스 중 어느 하나일 수 있다.

전처리 엔진부(514)는 인터페이스부(512)를 통해 제공되는 프레임을 전처리한다. 여기서 전처리는 제공되는 프레임을 압축 해제(de-compression)하거나, 바이패스(bypass)하거나, 앞뒤로 수신된 프레임들에서 제1 프레임의 각 픽셀이 제2 프레임에서 어느 위치로 움직였는지를 추정하는 모션 추정(Motion Estimation)을 할 수 있다. 압축 해제, 바이패스 및 모션 추정이 전부 전처리 엔진부(514)에서 수행될 수도 있고, 적어도 하나 또는 조합된 두 개가 전처리 엔진부(514)에서 수행될 수도 있다.

전처리 엔진부(514)는 전처리된 프레임의 전처리 정보를 디스플레이 타임 워프 엔진부(515)로 제공할 수 있다. 여기서, 전처리 엔진부(514)는 디스플레이 타임 워프 엔진부(515)의 요청에 따른 전처리 정보를 디스플레이 타임 워프 엔진부(515)로 제공할 수 있다. 여기서, 전처리 정보는 앞뒤 프레임의 비교 정보를 포함할 수 있다. 디스플레이 타임 워프 엔진부(515)는 제공된 비교 정보와 움직임 검출 및 위치 추적기(700)로부터 제공된 센싱 정보를 기초로 해당 프레임의 타임 워프 여부를 결정할 수 있다.

프레임 버퍼(511')는 도 5에 도시된 프레임 버퍼(511)와 달리 더블 프레임 버퍼로 구성될 수 있다. 즉, 프레임 버퍼(511')가 제1 프레임 버퍼와 제2 프레임 버퍼를 포함한다. 프레임 버퍼(511')가 제1 프레임 버퍼와 제2 프레임 버퍼를 포함하면, 프레임 버퍼(511')가 시간적으로 차이가 나는 앞뒤 프레임을 각각 저장할 수 있기 때문에, 디스플레이 프로세싱을 고속으로 안정적으로 처리할 수 있다. 특히, AR, VR, MR 시스템에서는 단순한 2D 영상이 아닌 3D 영상 또는 현실 이미지와 가상 이미지가 혼합되어 있고, 해당 영상 정보의 데이터 크기가 크기 때문에, 더블 프레임 버퍼를 이용하면, 고속으로 안정적으로 프로세싱이 가능하다.

리프레셔(513)는 프레임 속도(frame rate)를 높일 수 있다. 예를 들어, 리플레시부(513)은 인터페이스부(512)를 통해 입력되는 프레임의 프레임 속도(60Hz)보다 높은 프레임 속도(120Hz ~ 180Hz)로 높일 수 있다. 프레임 속도를 높이는 방법으로는 프레임 속도 업 컨버젼(Frame rate up conversion)이란 기술을 통해서 앞뒤 프레임들 사이에 중간 프레임을 생성하여 삽입할 수 있다. 프레임 속도를 높임으로서 지연 시간을 더 줄일 수 있다.

리프레셔(513)는, 디스플레이 패널(550)이 R, G, B를 각각 스캔(scan)하는 순차 디스플레이 패널(Sequential Display)인 경우에, 디스플레이 패널(550)로 전송할 R 필드(Field), G 필드 및 B 필드 각각의 픽셀 위치(Pixel Position)를 디스플레이 타임 워프 엔진부(515)로부터의 타임 워프 제어 신호에 기초하여 재조정할 수 있다. 이러한 리프레셔(513)의 재조정에 의해서, 사용자의 움직임에 의한 디스플레이 패널(550)의 화면에 주사되는 이미지의 색균열(Color Break Up) 현상을 줄일 수 있다.

도 7은 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')과 이를 포함하는 AR/VR/MR 시스템을 설명하기 위한 도면이다.

도 7을 참조하면, 디스플레이 유닛(500'')는 인터페이스부(512), 전처리부(514'), 프레임 버퍼(511'), 리프레셔(513), 디스플레이 타임 워프 엔진부(515) 및 디스플레이 패널(550)을 포함할 수 있다. 전처리부(514')를 제외한 나머지 상술한 구성들은 도 5 및 도 6에서 설명한 것이므로, 구체적인 설명은 생략한다.

전처리부(514')는 도 6에 도시된 전처리부(514)의 구체적인 일 예이다. 전처리부(514')는 압축해제/바이패스부(514a)와 객체 모션 추정부(514b)를 포함한다.

압축해제/바이패스부(514a)는 인터페이스부(512)를 통해 제공되는 프레임의 데이터가 압축되어 있는지 여부를 확인하여, 압축된 경우에는 압축을 해제한 후 압축 해제된 프레임의 데이터를 객체 모션 추정부(514b)로 제공하고, 반대로 압축되지 않은 경우에는 수신된 프레임의 데이터를 객체 모션 추정부(514b)로 제공한다.

객체 모션 추정부(514b)는 앞뒤로 수신되는 두 프레임의 데이터를 비교하여, 두 프레임의 제1 프레임의 특정 픽셀이 제2 프레임에서 어느 위치로 움직였는지를 추정한다.

객체 모션 추정부(514b)는 추정된 추정 정보를 디스플레이 타임 워프 엔진부(515)로 제공한다. 디스플레이 타임 워프 엔진부(515)는 제공된 추정 정보를 기초로 해당 프레임의 타임 워프 여부를 결정한다.

본 발명의 실시 형태에 따른 디스플레이 유닛(500'')은 디스플레이 유닛(500'') 내부에서 픽셀의 위치를 재조정하므로, 추후, 렌더러(300)로 부터 렌더링된 프레임이 전달될 경우, 기존에 이미 자체적으로 이동시킨 픽셀의 위치를 원복하여, 전달된 프레임과의 동기화가 이루어져야 하는 필요성이 있다. 이러한 필요성을 해결하기 위해서, 디스플레이 타임 워프 엔진부(515)가 객체 모션 추정부(514b)로부터 추정 정보를 기초로 해당 프레임의 타임 워프 여부를 결정할 수 있다.

또는, 디스플레이 타임 워프 엔진부(515)는 컨텐츠 제공부(100) 또는 렌더러(300)로부터 프레임 갱신 정보를 움직임 검출 및 위치 추적기(700)를 통해 수신하고, 디스플레이 타임 워프 엔진부(515)는 수신된 프레임 갱신 정보를 기초로 해당 프레임의 타임 워프 여부를 결정할 수 있다.

이와 같이, 객체 모션 추정부(514b)로 제공되는 추정 정보, 또는 컨텐츠 제공부(100) 또는 렌더러(300)로부터 제공되는 프레임 갱신 정보를 기초로, 디스플레이 타임 워프 엔진부(515)는 타임 워프를 수행해야 하는 해당 프레임의 타임 워프 여부를 결정할 수 있다. 여기서, 디스플레이 타임 워프 엔진부(515)는 상기 2가지 정보인, 추정 정보와 프레임 갱신 정보를 함께 제공받아 해당 프레임의 타임 워프 여부를 결정할 수 있다.

도 8은 도 7에 도시된 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')과 이를 포함하는 AR/VR/MR 시스템을 적용한 경우에, 본 발명의 또 다른 실시 형태에 따른 디스플레이 유닛(500'')을 착용한 사용자의 인지를 예시한 도면이다.

도 7 및 도 8을 참조하면, 제1 시점(t1)에서 사용자는 디스플레이 패널(550)의 화면에 디스플레이된 프레임을 인지하고, 제2 시점(t2)에서 사용자가 머리 또는 몸을 좌측으로 소정 각도 회전한 경우, 움직임 검출 및 위치 추적기(700)는 사용자의 회전을 감지하고, 감지된 센싱 정보를 디스플레이 타임 워프 엔진부(515)로 제공한다. 제3 시점(t3)에 타임 워프된 프레임이 디스플레이 패널(550)의 화면에 디스플레이 된다.

제4 시점(t4)에서 렌더러(300)가 새로운 프레임(또는 이미지)를 렌더링한 경우, 이 새로운 렌더링된 프레임이 그대로 디스플레이 유닛(500'')으로 제공될 경우, 디스플레이 타임 워프 엔진부(515)는 새로운 프레임을 이전 프레임와 동일하게 타임 워프하지 않고, 이전 프레임과 새로운 프레임의 차이를 객체 모션 추정부(514b)로 제공되는 추정 정보 또는/및 컨텐츠 제공부(100) 또는 렌더러(300)로부터 제공되는 프레임 갱신 정보로부터 확인하고, 확인된 사항에 기초하여 새로운 프레임을 타임 워프하지 않고 동기화를 맞출 수 있다. 만약, 디스플레이 타임 워프 엔진부(515)가 새로운 프레임을 이전 프레임과 동일하게 타임 워프를 하게 되면, 새로운 프레임의 별 표시는 더 우측으로 이동하게 되는 문제가 발생할 수 있다.

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 컨텐츠 생성기
300: 렌더러
500: 디스플레이 유닛
700: 움직임 검출 및 위치 추적기

Claims

렌더러로부터 수신된 렌더링된 프레임을 저장하는 프레임 버퍼, 움직임 검출 및 위치 추적기로부터 수신된 센싱 정보에 기초하여 타임 워프 제어 신호를 출력하는 디스플레이 타임 워프 엔진부, 및 상기 프레임 버퍼에 저장된 상기 프레임을 읽어와 상기 타임 워프 제어 신호에 기초하여 상기 프레임을 타임 워프하는 리프레셔를 포함하는, 디스플레이 컨트롤러 및
상기 리프레셔로부터 상기 타임 워프된 프레임을 제공받아 화면에 디스플레이하는 디스플레이 패널;
을 포함하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서,
상기 타임 워프 제어 신호는, 상기 프레임 버퍼에 저장된 해당 프레임의 각 픽셀의 이동 정보를 포함하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서,
상기 리프레셔는 상기 프레임 버퍼를 주기적으로 리프레시하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서, 상기 리프레셔는,
상기 디스플레이 패널이 R, G, B를 각각 스캔(scan)하는 순차 디스플레이 패널(Sequential Display)인 경우에, 상기 디스플레이 패널로 전송할 R 필드(Field), G 필드 및 B 필드 각각의 픽셀 위치(Pixel Position)를 상기 디스플레이 타임 워프 엔진부로부터의 상기 타임 워프 제어 신호에 기초하여 재조정하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서, 상기 디스플레이 컨트롤러는,
상기 렌더로부터 상기 렌더링된 프레임을 수신하는 인터페이스부 및
상기 인터페이스부로부터 출력되는 상기 렌더링된 프레임을 전처리하여 상기 프레임 버퍼로 제공하고, 전처리 정보를 상기 디스플레이 타임 워프 엔진부로 제공하는 전처리부;
를 더 포함하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 5 항에 있어서,
상기 프레임 버퍼는 더블 프레임 버퍼인, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서, 상기 디스플레이 컨트롤러는,
상기 렌더러로부터 둘 이상의 상기 렌더링된 프레임을 순차적으로 수신하는 인터페이스부; 및
상기 인터페이스부로부터 앞뒤로 수신된 제1 및 제2 프레임에서 상기 제1 프레임의 각 픽셀이 상기 제2 프레임에서 어느 위치로 움직였는지를 추정하고, 추정 정보를 상기 디스플레이 타임 워프 엔진부로 제공하는 객체 모션 추정부; 를 포함하고,
상기 디스플레이 타임 워프 엔진부는, 상기 추정 정보와 상기 센싱 정보에 기초하여 상기 프레임의 타임 워프 여부를 결정하는,
AR/VR/MR 시스템용 디스플레이 유닛.
제 7 항에 있어서, 상기 디스플레이 컨트롤러는,
상기 렌더러로부터 수신되는 상기 렌더링된 프레임을 압축해제하거나 바이패스하는 압축해제/바이패스부를 더 포함하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 7 항에 있어서,
상기 디스플레이 타임 워프 엔진부는, 상기 렌더러 또는 컨텐츠 생성기로부터 앞뒤 프레임들을 비교한 프레임 갱신 정보를 수신하고,
상기 디스플레이 타임 워프 엔진부는, 상기 추정 정보, 상기 프레임 갱신 정보 및 상기 센싱 정보에 기초하여 상기 프레임의 타임 워프 여부를 결정하는, AR/VR/MR 시스템용 디스플레이 유닛.
제 1 항에 있어서,
상기 디스플레이 타임 워프 엔진부는, 상기 렌더러 또는 컨텐츠 생성기로부터 앞뒤 프레임들을 비교한 프레임 갱신 정보를 수신하고,
상기 디스플레이 타임 워프 엔진부는, 상기 프레임 갱신 정보와 상기 센싱 정보에 기초하여 상기 프레임의 타임 워프 여부를 결정하는, AR/VR/MR 시스템용 디스플레이 유닛.