KR20210096449A - Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템 - Google Patents

Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템 Download PDF

Info

Publication number
KR20210096449A
KR20210096449A KR1020200009927A KR20200009927A KR20210096449A KR 20210096449 A KR20210096449 A KR 20210096449A KR 1020200009927 A KR1020200009927 A KR 1020200009927A KR 20200009927 A KR20200009927 A KR 20200009927A KR 20210096449 A KR20210096449 A KR 20210096449A
Authority
KR
South Korea
Prior art keywords
warping
eyes
meshes
determining
hud system
Prior art date
Application number
KR1020200009927A
Other languages
English (en)
Inventor
하인우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200009927A priority Critical patent/KR20210096449A/ko
Priority to US17/021,196 priority patent/US11436698B2/en
Publication of KR20210096449A publication Critical patent/KR20210096449A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 HUD 시스템에서 영상을 재생하는 방법은 좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상을 획득하고, 양안의 위치들을 획득하고, HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 양안의 위치들에 대응하는 워핑 메쉬들을 결정하고, 스테레오 영상에 워핑 메쉬들을 적용함으로써 스테레오 영상을 워핑하고, 양안의 위치들에 기초하여 광 필드 렌더링을 수행함으로써 워핑된 스테레오 영상으로부터 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하며, 결정된 픽셀의 값들을 디스플레이 패널에 재생한다.

Description

HUD 시스템에서 영상을 재생하는 방법 및 그 HUD 시스템{METHOD OF PLAYING IMAGE ON HUD SYSTEM AND HUD SYSTEM}
아래의 실시예들은 HUD(HEAD UP DISPLAY) 시스템에서 영상을 재생하는 방법 및 그 HUD 시스템에 관한 것이다.
영상 시스템에서 워핑(warping)은 예를 들어, 영상의 이동(x축, y축), 회전, 및 스케일(scale) 등을 이용하여 이미지를 보정하기 위한 처리 방법을 말한다. 하지만, 차량의 윈드 쉴드(windshield)와 같이 사용자의 눈의 위치에 따라 굴곡이 달라지는 경우에 단일 시점의 워핑으로는 영상의 왜곡을 바로잡는 데에 큰 어려움이 있다.
일 실시예에 따르면, HUD(Head-Up Display) 시스템에서 영상을 재생하는 방법은 좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상(stereo image)을 획득하는 단계; 상기 양안의 위치들을 획득하는 단계; 상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 위치들에 대응하는 워핑 메쉬(warping mesh)들을 결정하는 단계; 상기 스테레오 영상에 상기 워핑 메쉬들을 적용함으로써 상기 스테레오 영상을 워핑(warping)하는 단계; 상기 양안의 위치들에 기초하여 광 필드 렌더링(Light Field Rendering)을 수행함으로써 상기 워핑된 스테레오 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하는 단계; 및 상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 단계를 포함한다.
상기 양안의 위치들을 획득하는 단계는 눈 추적기(eye tracker)를 이용하여 상기 양안을 추적함으로써 상기 양안 각각의 3차원 위치를 획득하는 단계를 포함할 수 있다.
상기 워핑 메쉬들을 결정하는 단계는 상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하는 단계; 및 상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계는 상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 데이터베이스는 상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함할 수 있다.
상기 워핑 메쉬들을 결정하는 단계는 상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 워핑 메쉬들을 결정하는 단계는 상기 데이터베이스에 기초하여, 상기 좌안의 위치에 대응하는 제1 워핑 메쉬를 결정하는 단계; 및 상기 우안의 위치에 대응하는 제2 워핑 메쉬를 결정하는 단계를 포함할 수 있다.
상기 스테레오 영상의 프레임 레이트는 양안 추적 동작의 레이트, 스테레오 렌더링 동작의 레이트, 워핑 동작의 레이트, 및 광필드 렌더링 동작의 레이트에 동기화될 수 있다.
상기 광학 레이어는 차량의 윈드쉴드를 포함할 수 있다.
상기 스테레오 영상을 획득하는 단계는 사용자에게 제공되는 3D 객체를 획득하는 단계; 및 상기 3D 객체에 대한 스테레오 렌더링을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, HUD 시스템에서 영상을 재생하는 방법은 사용자의 양안에 대응하는 입력 영상을 획득하는 단계; 눈 추적기를 이용하여 상기 양안을 추적함으로써 상기 양안의 3차원 위치들을 획득하는 단계; 상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 3차원 위치들에 대응하는 워핑 메쉬들을 결정하는 단계; 상기 입력 영상에 상기 워핑 메쉬들을 적용함으로써 상기 입력 영상을 워핑하는 단계; 및 상기 워핑된 영상을 출력하는 단계를 포함한다.
상기 워핑 메쉬들을 결정하는 단계는 상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하는 단계; 및 상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계는 상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 데이터베이스는 상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함할 수 있다.
상기 워핑 메쉬들을 결정하는 단계는 상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정하는 단계를 포함할 수 있다.
상기 워핑 메쉬들을 결정하는 단계는 상기 데이터베이스에 기초하여, 상기 좌안의 위치에 대응하는 제1 워핑 메쉬(warping mesh)를 결정하는 단계; 및 상기 우안의 위치에 대응하는 제2 워핑 메쉬를 결정하는 단계를 포함할 수 있다.
상기 워핑된 영상을 출력하는 단계는 상기 양안의 위치들에 기초하여 광 필드 렌더링(Light Field Rendering)을 수행함으로써 상기 워핑된 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하는 단계; 및 상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 단계를 포함할 수 있다.
상기 광학 레이어는 차량의 윈드쉴드를 포함할 수 있다.
일 실시예에 따르면, 영상을 재생하는 HUD 시스템은 좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상 및 상기 양안의 위치들을 획득하는 통신 인터페이스; 및 상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 위치들에 대응하는 워핑 메쉬들을 결정하고, 상기 스테레오 영상에 상기 워핑 메쉬들을 적용함으로써 상기 스테레오 영상을 워핑하고, 상기 양안의 위치들에 기초하여 광 필드 렌더링을 수행함으로써 상기 워핑된 스테레오 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하며, 상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 프로세서를 포함한다.
상기 HUD 시스템은 상기 양안 각각의 3차원 위치를 추적하는 눈 추적기를 더 포함하고, 상기 통신 인터페이스는 상기 눈 추적기에서 추적된 양안 각각의 3차원 위치를 획득할 수 있다.
상기 프로세서는 상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하고, 상기 격자점들에 대응하는 워핑 메쉬들을 결정할 수 있다.
상기 프로세서는 상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정할 수 있다.
상기 데이터베이스는 상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함할 수 있다.
상기 프로세서는 상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정할 수 있다.
상기 프로세서는 상기 스테레오 영상을 획득하기 위하여, 사용자에게 제공되는 3D 객체를 획득하고, 상기 3D 객체에 대한 스테레오 렌더링을 수행할 수 있다.
도 1은 일 실시예에 따른 HUD 시스템에서 영상을 재생하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따른 HUD(Head-Up Display) 시스템을 도시한 도면.
도 3은 일 실시예에 따라 일정 곡률을 갖는 광학 레이어에서 사용자의 양안의 위치에 따라 발생하는 뷰(view)들의 차이를 설명하기 위한 도면.
도 4 및 도 5는 실시예들에 따라 영상을 재생하는 방법을 설명하기 위한 도면.
도 6은 일 실시예에 따라 워핑 메쉬들을 결정하는 방법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 HUD 시스템에서 3D 객체를 재생하는 방법을 설명하기 위한 도면.
도 8은 다른 실시예에 따라 HUD 시스템에서 영상을 재생하는 방법을 나타낸 흐름도.
도 9는 일 실시예에 따른 HUD 시스템의 블럭도.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 HUD 시스템에서 영상을 재생하는 방법을 나타낸 흐름도이다. 도 1을 참조하면, 일 실시예에 따른 HUD 시스템은 좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상(stereo image)을 획득한다(110). 일 실시예에 따른 HUD 시스템의 일 예시는 아래의 도 2를 참조하여 구체적으로 설명한다. 스테레오 영상은 사용자의 좌안에 대응하는 좌측 영상 및 사용자의 우안에 대응하는 우측 영상을 포함할 수 있다.
단계(110)에서, HUD 시스템은 예를 들어, 사용자에게 제공될 3D 객체를 획득하고, 3D 객체에 대한 스테레오 렌더링을 수행할 수 있다. 스테레오 렌더링은 3D 객체에 기초하여 좌측 영상 및 우측 영상을 생성하는 동작으로 이해될 수 있다. 3D 객체는 예를 들어, 증강 현실(Augmented Reality) 객체이거나 또는 가상 현실(Virtual Reality) 객체일 수 있다. 또는, 단계(110)에서 HUD 시스템은 3차원 영화 등 기 생성되어 있는 스테레오 영상을 수신할 수도 있다. 이 경우, 스테레오 렌더링 동작은 생략될 수 있다.
HUD 시스템은 양안의 위치들을 획득한다(120). HUD 시스템은 예를 들어, 눈 추적기(eye tracker)를 이용하여 사용자의 양안을 추적함으로써 양안 각각의 3차원 위치를 획득할 수 있다. 이때, 눈 추적기의 출력값은 HUD 시스템의 특정 포인트를 기준으로 한 상대적인 좌표로서, 예를 들어, 사용자의 좌안의 위치를 나타내는 3차원 실수 벡터값(left_x, left_y, left_z) 및 사용자의 우안의 위치를 나타내는 3차원 실수 벡터값(right_x right_y, right_z)일 수 있다. 아래에서 상세히 설명하겠으나, 실시예들에서 눈 추적기를 통해 사용자의 양안의 위치를 실시간으로 추적함으로써 시점 의존적인 워핑이 가능하게 된다.
HUD 시스템은 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 양안의 위치들에 대응하는 워핑 메쉬(warping mesh)들을 결정한다(130). 광학 레이어는 차량의 윈드쉴드를 포함할 수 있다. 실시예에 따라, 광학 레이어는 차량의 옆 유리나 뒷 유리를 포함할 수도 있다. 이때, 데이터베이스는 예를 들어, HUD 시스템 내의 미리 설정된 공간(예를 들어, 차량 내에서 운전자의 양안이 위치할 수 있는 범위의 공간)을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함할 수 있다. 일 실시예에 따르면, 개별 복셀은 직육면체 등 다면체일 수 있다. 이하, 다면체의 꼭지점(들)을 격자점(들)이라 지칭한다.
보다 구체적으로, 데이터베이스는 미리 설정된 굴곡을 가진 광학 레이어로부터 일정 거리만큼 떨어진 미리 설정된 공간에 포함된 복수의 격자점들에 대응하여 사전 캘리브레이션된 워핑 메쉬들을 포함할 수 있다. 일 실시예에서는 설명의 편의를 위하여 '워핑 메쉬들'이라는 표현을 사용하였으나 위핑 메쉬들을 대신하여 변환 관계를 나타낼 수 있는 다양한 용어들(예를 들어, 변환 매트릭스, 워핑 파라미터 등)이 사용될 수 있다. 일 실시예에 따라 사전 캘리브레이션된 워핑 메쉬들을 생성하는 과정은 아래의 도 5를 참조하여 구체적으로 설명한다.
단계(130)에서 HUD 시스템은 데이터베이스에 기초하여, 양안의 위치들에 인접한 격자점들을 추출할 수 있다. HUD 시스템은 격자점들에 대응하는 워핑 메쉬들을 결정할 수 있다. HUD 시스템은 예를 들어, 눈 추적기를 통해 양안의 위치들이 획득되면, 양안의 위치와 인접한 격자점들의 위치들 간의 거리에 따라 워핑 메쉬들을 가중합 또는 가중 평균하여, 워핑 메쉬들을 적응적으로 결정할 수 있다. HUD 시스템은 데이터베이스에 기초하여, 좌안의 위치에 대응하는 제1 워핑 메쉬를 결정하고, 우안의 위치에 대응하는 제2 워핑 메쉬를 결정할 수 있다.
예를 들어, HUD 시스템은 사용자의 양안에 대응하여 데이터베이스에 저장된 키 워핑 메쉬들(key warping mesh)을 보간함으로써 워핑 메쉬들을 결정할 수 있다. 아래에서 상세히 설명하겠으나, HUD 시스템은 데이터베이스에서, 좌안의 위치를 포함하는 복셀의 격자점들에 대응하는 키 워핑 메쉬들을 획득할 수 있다. HUD 시스템은 키 워핑 메쉬들을 평균하여, 좌안을 위한 워핑 메쉬를 적응적으로 결정할 수 있다. 경우에 따라, 좌안의 위치와 격자점들 각각의 위치 사이의 거리에 따라 키 워핑 메쉬들을 가중 평균하여, 좌안을 위한 워핑 메쉬를 적응적으로 결정할 수도 있다. HUD 시스템은 동일한 방식으로 우안을 위한 워핑 메쉬를 적응적으로 결정할 수 있다. HUD 시스템이 워핑 메쉬들을 이용하여 워핑 메쉬들을 결정하는 보다 구체적인 방법은 아래의 도 6을 참조하여 구체적으로 설명한다.
HUD 시스템은 스테레오 영상에 단계(130)에서 결정된 워핑 메쉬들을 적용함으로써 스테레오 영상을 워핑(warping)한다(140). 워핑 메쉬들은 좌안을 위한 제1 워핑 메쉬와 우안을 위한 제2 워핑 메쉬를 포함한다. 워핑 메쉬 각각은 스테레오 영상을 분할하는 격자들을 변형하는 정보를 포함할 수 있다. 예를 들어, 스테레오 영상의 좌측 영상과 우측 영상은 각각 바둑판 모양의 격자들로 분할될 수 있다. 워핑 메쉬는 해당 격자들의 꼭지점들을 2차원의 영상 평면 상에서 이동시키는 정보를 포함할 수 있다. 물론 스테레오 영상의 좌측 영상에는 좌안용 제1 워핑 메쉬가 적용되고, 스테레오 영상의 우측 영상에는 우안용 제2 워핑 메쉬가 적용된다. 좌안의 위치와 우안의 위치가 상이하므로, 제1 워핑 메쉬와 제2 워핑 메쉬는 상이하다. 이하, 워핑이 적용된 스테레오 영상을 '워핑된 스테레오 영상'이라고 지칭한다.
HUD 시스템은 양안의 위치들에 기초하여 광 필드 렌더링을 수행함으로써 단계(140)에서 워핑된 스테레오 영상으로부터 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정한다(150). 광 필드 렌더링은 예를 들어, 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 또는 방향성 백라이트를 통하여 출력되는 레이들(rays) 중 어느 레이가 사용자의 좌안 및 우안으로 전파되는지를 결정하는 과정에 해당할 수 있다. 광 필드 렌더링을 통하여, HUD 시스템에 포함된 디스플레이 패널의 각 픽셀들이 좌안을 위한 영상을 재생해야 하는지, 우안을 위한 영상을 재생해야 하는지 여부가 결정될 수 있다. HUD 시스템은 특정 픽셀이 좌안에 해당한다고 결정되면 워핑된 좌측 영상에서 픽셀 값을 샘플링하고, 특정 픽셀이 우안에 해당한다고 결정되면 워핑된 우측 영상에서 픽셀 값을 샘플링할 수 있다.
HUD 시스템은 단계(150)에서 결정된 픽셀의 값들을 디스플레이 패널에 재생한다(160). 디스플레이 패널에 재생되는 영상은 렌티큘러 렌즈 등을 통하여 방향성을 가지는 광선들로 출력되고, 광선들은 차량의 윈드 쉴드 등 광학레이어에서 굴절되어 운전자를 향하여 전파된다. 운전자는 좌안과 우안에서 서로 다른 영상을 시청하게 되므로, 3차원 영상을 경험할 수 있다.
일 실시예에 따르면, 스트레오 영상의 프레임 레이트는 양안 추적 동작의 레이트, 스테레오 렌더링 동작의 레이트, 워핑 동작의 레이트, 및 광 필드 렌더링 동작의 레이트에 동기화될 수 있다. 예를 들어, 스테레오 영상의 프레임 레이트가 60fps인 경우, 16.6ms마다 프레임이 변한다. 이 경우, 양안 추적 동작, 스테레오 렌더링 동작, 워핑 동작, 및 광 필드 렌더링 동작이 16.6ms 이내에 수행될 수 있다.
도 2는 일 실시예에 따른 HUD(Head-Up Display) 시스템을 도시한 도면이다. 도 2를 참조하면, 일 실시예에 따른 HUD 시스템(200)의 구조가 도시된다. HUD 시스템(200)는 디스플레이 패널(210) 및 백라이트 유닛(BLU)(220)을 포함하는 PGU(picture generation unit)(230), 및 광학 레이어(240)를 포함할 수 있다. HUD 시스템(200)은 3차원 HUD 시스템일 수 있다.
디스플레이 패널(210)은 복수의 픽셀들을 포함할 수 있다. 백라이트 유닛(BLU)(220)은 디스플레이 패널(210)의 뒤에서 고르게 빛을 비춰주는 역할을 한다.
PGU(230)는 광학 레이어(240)를 통하여 사용자에게 3차원 영상(260)을 제공하기 위하여, 사용자의 머리의 움직임 및 아이 박스(eye box)(250)에서의 사용자의 양 눈의 위치를 고려하여 디스플레이 패널(210)에 표시되는 패널 영상을 생성할 수 있다. 예를 들어, 운전 중인 사용자는 전방을 주시하면서 때때로 좌우 또는 후방을 살피게 되므로 사용자의 눈이 이동 가능한 위치 또는 영역이 일정 거리 이내로 한정될 수 있다. 아이 박스(250)는 이와 같이 운전 중인 사용자의 눈이 이동 가능한 일정 거리 이내의 위치 또는 영역에 해당할 수 있다.
도면에 도시하지는 않았지만, 일 실시예에 따른 HUD 시스템(200)은 눈 추적기(미도시)를 포함하고, 아이 박스(250) 내에서의 사용자의 양안을 추적하여 양안의 위치를 획득할 수 있다. 사용자의 양안의 위치는 예를 들어, PGU(230)가 스테레오 렌더링(stereo rendering), 워핑(warping) 및/또는 광 필드 렌더링(Light Field Rendering) 시에 이용되어 디스플레이 패널(210)의 픽셀 값들을 결정하는 데에 이용될 수 있다. PGU(230)는 결정된 픽셀의 값들을 디스플레이 패널(210)에 재생할 수 있다.
PGU(230)는 적어도 하나의 프로세서에 의해 구성될 수 있다. 이때, 광학 레이어(240)는 미리 설정된 곡률을 가질 수 있으며, 특히 중심부보다는 운전석 또는 조수석에 가까운 가장자리로 갈수록 높은 곡률을 가질 수 있다. 따라서, 광학 레이어를 통해 제공되는 패널 영상의 허상(260) 또한 이러한 곡률을 영향을 받아 사용자의 양안의 위치에 따라 왜곡이 상이하게 발생할 수 있다. 사용자의 양안의 위치에 따라 발생하는 뷰(view)들의 차이는 아래의 도 3을 참조하여 구체적으로 설명한다.
도 3은 일 실시예에 따라 일정 곡률을 갖는 광학 레이어에서 사용자의 양안의 위치에 따라 발생하는 뷰(view)들의 차이를 설명하기 위한 도면이다. 도 3을 참조하면, 양안의 위치에 따라 발생한 뷰들 간의 위치 차이를 도시한 도면(310), 양안의 위치에 따라 발생한 양안 시차(disparity)를 도시한 도면(330) 및 양안의 위치에 따라 발생하는 펴지는 모양의 차이를 도시한 도면(350)이 도시된다.
예를 들어, 사용자의 좌안에 대응하는 뷰(View) 1과 사용자의 우안에 대응하는 뷰 2에서 같은 포인트(point)를 바라보더라도 양안의 위치에 따라 도면(310)과 같이 실제 공간 상에서 보이는 포인트의 위치(또는 높이)가 다를 수 있다. 도면(310)과 같이 같은 포인트가 뷰(View) 1과 뷰 2와 같이 다르게 보이는 경우 어지러움이 발생할 수 있다.
또는, 사용자의 좌안에 대응하는 뷰 1과 사용자의 우안에 대응하는 뷰 2가 동일한 스크린 위치(screen position)를 나타낸다고 하더라도 도면(330)과 같이 시차 간격이 달라질 수 있다. 다시 말해, 사용자의 양안의 위치에 따라 스크린 상의 동일 위치를 나타내는 포인트이라고 하더라도 도면(330)의 뷰 1 및 뷰 2와 같이 해당 포인트가 앞으로 나왔다 들어갔다 하는 것처럼 시차 간격이 달라질 수 있어 어지러움이 발생할 수 있다.
이 밖에도, 도면(350)에서 사용자의 좌안에 대응하는 뷰 1에 대하여 워핑 파라미터 또는 워핑 메쉬를 맞췄다고 하자. 이 경우, 해당 워핑 파라미터 또는 해당 워핑 메쉬를 사용자의 우안에 대응하는 뷰 2에 그대로 적용하는 경우, 도면(350)의 뷰 2와 같이 뷰 1에 맞춰진 워핑 파라미터 또는 워핑 메쉬가 뷰 2에는 맞지 않은 것을 볼 수 있다.
이와 같이 사용자의 눈의 위치에 따라 다양한 형태로 뷰 차이가 발생할 수 있으므로, 좌우 양안에 대한 워핑 파리미터 또는 워핑 메쉬 또한 서로 구분되어야 함을 알 수 있다. 일 실시예에서는 사용자의 양안 각각의 위치에 따라 서로 다른 워핑 메쉬를 사용하여 스테레오 영상을 워핑함으로써 사용자에게 어지러움이 없는 보다 편안한 영상을 제공할 수 있다.
도 4는 일 실시예에 따라 영상을 재생하는 방법을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 HUD 시스템은 입력 영상을 수신할 수 있다(410). 입력 영상은 예를 들어, 사용자의 양안에 대응하는 스테레오 영상일 수 있다. 또는 실시예에 따라서, 입력 영상은 사용자의 양안을 촬영한 단일 영상일 수도 있다.
HUD 시스템은 예를 들어, 눈 추적기 또는 홍채 감지 센서 등을 사용하여 사용자의 양안 각각의 위치를 추적할 수 있다(431). 이때, 사용자의 양안 각각의 위치는 예를 들어, 2차원 위치일 수도 있고, 3차원 위치일 수도 있다. HUD 시스템은 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 액세스하여, 시점 의존 워핑 파라미터들(view-dependent warping parameters)을 검색(query)할 수 있다(433). 앞서 설명한 것과 같이 데이터베이스는 시점에 의존하여 미리 캘리브레이션 된 워핑 파라미터들을 저장할 수 있다. HUD 시스템은 검색된 워핑 파라미터들에 기초하여 양안의 위치들에 대응하는 워핑 메쉬들을 생성할 수 있다(435).
HUD 시스템은 생성된 워핑 메쉬들을 단계(410)에서 수신된 입력 영상에 적용함으로써 입력 영상을 워핑할 수 있다(430). HUD 시스템은 워핑된 영상을 디스플레이 패널에 출력할 수 있다(450).
도 5는 다른 실시예에 따라 영상을 재생하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 HUD 시스템은 다시점, 다시 말해 사용자의 양안 각각에 대한 워핑 파라미터를 계산 혹은 측정한 후, 이를 기초로 실시간에서의 사용자의 양안의 위치에 맞도록 워핑 파라미터를 보간하여 워핑 시에 이용할 수 있다.
HUD 시스템은 사전 캘리브레이션 과정을 통해 획득한 워핑 파라미터 또는 워핑 메쉬를 이용하여 실시간에서 추적된 사용자의 양안의 위치에 대응하는 워핑 파라미터를 보간함으로써 어지러움이 없이 보다 편안한 3D 영상이 재생되도록 할 수 있다.
사전 캘리브레이션 과정에서, 눈 위치가 샘플링될 수 있다(510). 예를 들어, HUD 시스템의 광학 레이어를 통하여 제공되는 영상을 미리 설정된 공간을 분할하는 여러 위치에서 카메라로 촬영할 수 있다. 카메라의 위치는 눈의 위치에 대응할 수 있다.
샘플링된 위치를 기초로 눈의 위치를 추적(520)하여 분할된 포인트들 별로 워핑 파라미터 또는 워핑 메쉬를 미리 계산할 수 있다(530). 예를 들어, 촬영 영상의 왜곡된 정도에 따라 해당 위치에서의 워핑 메쉬가 캘리브레이션 될 수 있다. HUD 시스템의 눈 추적기를 이용하여 카메라의 위치가 추적되고, 추적된 위치에 대응하여 워핑 메쉬가 저장될 수 있다.
도면에 도시하지 않았으나, 추적된 위치가 정규화되어 저장될 수 있다. 예를 들어, 사전 캘리브레이션 과정에서, 카메라의 서로 다른 위치들이 서로 균일하게 배치되기 어렵다. 이 경우, 3차원의 시청 후보 공간을 분할하는 복셀들의 형태가 서로 다르게 결정될 수 있다. 일 실시예에 따르면, 데이터베이스에 저장되는 위치들이 정규화되어, 3차원의 시청 후보 공간을 분할하는 복셀들의 형태를 서로 동일하게 만들 수 있다. 물론 정규화 과정에서 위치가 변하면, 해당 위치에 대응하는 워핑 메쉬도 함께 변해야 한다. 정규화 과정에서, 워핑 메쉬는 주변 위치의 워핑 메쉬들에 기초한 보간법 등을 통하여 보정될 수 있다.
이후, 실시간(Run-time) 과정에서, 실제 추적한 사용자의 눈의 위치가 입력되면(550), HUD 시스템은 실제 눈의 위치와 인접한 격자점들의 위치를 기초로 워핑 파라미터를 보간(interpolation)할 수 있다(560). HUD 시스템은 예를 들어, 삼선형 보간(Trilinear interpolation) 방식 등에 기초하여 워핑 파라미터를 보간할 수 있다. HUD 시스템은 보간된 워핑 파라미터를 적용하여 영상을 워핑할 수 있다(570).
도 6은 일 실시예에 따라 워핑 메쉬들을 결정하는 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 각 노드(격자점)에 저장되는 시점 의존 워핑 메쉬(630)는 실제 시점(view point)(610)에 해당하는 소스 포인트(source point)(u,v)와 HUD 가상 스크린(virtual screen)(650)의 타겟 포인트(target point)(u', v') 간의 매핑 관계를 나타내는 메쉬에 해당할 수 있다. 여기서, 소스 포인트는 예를 들어, 입력 영상을 20 X 10의 정규 격자(regular grid)로 쪼갠 꼭지점들에 해당할 수 있다. 또한, 타겟 포인트는 입력 영상이 워핑된 모양에 대응하는 꼭지점들에 해당할 수 있다.
일 실시예에 따른 HUD 시스템은 타겟 포인트들을 예를 들어, 3차원 공간에서 8개의 격자점들(또는 꼭지점들)로 이루어진 육면체의 변 및 내부의 임의의 점에서의 데이터 값을 선형적으로 보간하는 근사화하는 삼선형 보간법(Trilinear interpolation)에 의해 보간할 수 있다.
도 7은 일 실시예에 따른 HUD 시스템에서 3D 객체를 재생하는 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 일 실시예에 따른 HUD 시스템은 HUD 시스템의 위치를 월드 좌표계에 맵핑시키는 맵 매칭(map matching)(710)을 수행하고, 눈 추적기 또는 내부 카메라(interior camera)를 이용하여 사용자의 양안 각각의 위치를 실시간으로 추적(eye tracking)할 수 있다(720).
HUD 시스템은 단계(720)에서 추적한 양안 각각의 위치를 기초로, 출력 영상에 표시할 3D 객체에 대한 증강 현실 렌더링(AR Rendering)을 수행할 수 있다(730). 여기서, 3D 객체는 증강 현실 객체일 수 있다.
HUD 시스템은 단계(720)에서 추적한 양안 각각의 위치를 기초로, 렌더링한 3D 객체에 대해 3D 렌더링을 수행할 수 있다(740).
도 8은 다른 실시예에 따라 HUD 시스템에서 영상을 재생하는 방법을 나타낸 흐름도이다. 도 8을 참조하면, 일 실시예에 따른 HUD 시스템은 입력 영상을 획득한다(810). 입력 영상은 예를 들어, 사용자의 양안을 포함하는 2차원 영상일 수 있다.
HUD 시스템은 눈 추적기를 이용하여 사용자의 양안을 추적함으로써 양안의 3차원 위치들을 획득한다(820).
HUD 시스템은 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 양안의 3차원 위치들에 대응하는 워핑 메쉬들을 결정한다(830). 광학 레이어는 예를 들어, 차량의 윈드쉴드를 포함할 수 있다. 단계(830)에서, HUD 시스템은 예를 들어, 데이터베이스에 기초하여, 양안의 위치들에 인접한 격자점들을 추출할 수 있다. 이때, 데이터베이스는 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함할 수 있다. 또한, HUD 시스템은 격자점들에 대응하는 워핑 메쉬들을 결정할 수 있다. HUD 시스템은 예를 들어, 양안의 위치들과 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 워핑 메쉬들을 결정할 수 있다. 또한, HUD 시스템은 양안에 대응하여 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 워핑 메쉬들을 결정할 수 있다. HUD 시스템은 데이터베이스에 기초하여, 좌안의 위치에 대응하는 제1 워핑 메쉬를 결정할 수 있다. 또한, HUD 시스템은 데이터베이스에 기초하여, 우안의 위치에 대응하는 제2 워핑 메쉬를 결정할 수 있다.
HUD 시스템은 입력 영상에 워핑 메쉬들을 적용함으로써 입력 영상을 워핑한다(840). HUD 시스템은 워핑된 영상을 출력한다(850). 단계(850)에서, HUD 시스템은 예를 들어, 양안의 위치들에 기초하여 광 필드 렌더링(Light Field Rendering)을 수행함으로써 워핑된 영상으로부터 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하고, 결정된 픽셀의 값들을 디스플레이 패널에 재생할 수 있다.
도 9는 일 실시예에 따른 HUD 시스템의 블럭도이다. 도 9를 참조하면, 일 실시예에 따른 HUD 시스템(900)은 통신 인터페이스(910), 및 프로세서(930)를 포함한다. HUD 시스템(900)은 메모리(950), 눈 추적기(970), 및 광학 어레이(990)를 더 포함할 수 있다. 통신 인터페이스(910), 프로세서(930), 메모리(950), 눈 추적기(970), 및 광학 어레이(990)는 통신 버스(905)를 통해 서로 연결될 수 있다.
통신 인터페이스(910)는 좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상 및 양안의 위치들을 수신한다. 통신 인터페이스(910)는 눈 추적기(970)에서 추적된 양안 각각의 3차원 위치를 수신할 수 있다.
프로세서(930)는 HUD 시스템(900)에 포함된 광학 레이어(990)의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 양안의 위치들에 대응하는 워핑 메쉬들을 결정한다. 프로세서(930)는 스테레오 영상에 워핑 메쉬들을 적용함으로써 스테레오 영상을 워핑한다. 프로세서(930)는 양안의 위치들에 기초하여 광 필드 렌더링을 수행함으로써 워핑된 스테레오 영상으로부터 HUD 시스템(900)에 포함된 디스플레이 패널의 픽셀 값들을 결정한다. 프로세서(930)는 결정된 픽셀의 값들을 디스플레이 패널에 재생한다.
메모리(950)는 통신 인터페이스(910)를 통해 획득한 사용자의 양안에 대응하는 스테레오 영상 및/또는 눈 추적기(970)를 통해 획득한 양안의 위치들을 저장할 수 있다.
메모리(950)는 HUD 시스템(900)에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스를 저장할 수 있다. 메모리(950)는 프로세서(930)에 의해 결정된 디스플레이 패널의 픽셀 값들을 저장할 수 있다.
눈 추적기(970)는 양안 각각의 3차원 위치를 추적할 수 있다.
광학 어레이(990)는 프로세서(930)에서 결정된 디스플레이 패널의 픽셀 값들에 의해 재생되는 영상을 사용자에게 표시할 수 있다.
실시예에 따라서, 통신 인터페이스(910)는 프로세서(930)가 워핑한 스테레오 영상을 출력하거나, 또는 다른 장치로 제공할 수도 있다. 통신 인터페이스(910)는 프로세서(930)가 결정한 디스플레이 패널의 픽셀 값들을 출력할 수도 있다.
또한, 프로세서(930)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(930)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 예측 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(930)는 프로그램을 실행하고, HUD 시스템(900)을 제어할 수 있다. 프로세서(930)에 의하여 실행되는 프로그램 코드는 메모리(950)에 저장될 수 있다.
메모리(950)는 상술한 프로세서(930)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(950)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(950)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(950)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (28)

  1. HUD(Head-Up Display) 시스템에서 영상을 재생하는 방법에 있어서,
    좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상(stereo image)을 획득하는 단계;
    상기 양안의 위치들을 획득하는 단계;
    상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 위치들에 대응하는 워핑 메쉬(warping mesh)들을 결정하는 단계;
    상기 스테레오 영상에 상기 워핑 메쉬들을 적용함으로써 상기 스테레오 영상을 워핑(warping)하는 단계;
    상기 양안의 위치들에 기초하여 광 필드 렌더링(Light Field Rendering)을 수행함으로써 상기 워핑된 스테레오 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하는 단계; 및
    상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  2. 제1항에 있어서,
    상기 양안의 위치들을 획득하는 단계는
    눈 추적기(eye tracker)를 이용하여 상기 양안을 추적함으로써 상기 양안 각각의 3차원 위치를 획득하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  3. 제1항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하는 단계; 및
    상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는.
    영상을 재생하는 방법.
  4. 제3항에 있어서,
    상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계는
    상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  5. 제1항에 있어서,
    상기 데이터베이스는
    상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함하는,
    영상을 재생하는 방법.
  6. 제1항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  7. 제1항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 데이터베이스에 기초하여,
    상기 좌안의 위치에 대응하는 제1 워핑 메쉬(warping mesh)를 결정하는 단계; 및
    상기 우안의 위치에 대응하는 제2 워핑 메쉬를 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  8. 제1항에 있어서,
    상기 스테레오 영상의 프레임 레이트는
    양안 추적 동작의 레이트, 스테레오 렌더링 동작의 레이트, 워핑 동작의 레이트, 및 광필드 렌더링 동작의 레이트에 동기화되는,
    영상을 재생하는 방법.
  9. 제1항에 있어서,
    상기 광학 레이어는
    차량의 윈드쉴드를 포함하는,
    영상을 재생하는 방법.
  10. 제1항에 있어서,
    상기 스테레오 영상을 획득하는 단계는
    사용자에게 제공되는 3D 객체를 획득하는 단계; 및
    상기 3D 객체에 대한 스테레오 렌더링을 수행하는 단계
    를 더 포함하는,
    영상을 재생하는 방법.
  11. HUD 시스템에서 영상을 재생하는 방법에 있어서,
    입력 영상을 획득하는 단계;
    눈 추적기를 이용하여 사용자의 양안을 추적함으로써 상기 양안의 3차원 위치들을 획득하는 단계;
    상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 3차원 위치들에 대응하는 워핑 메쉬들을 결정하는 단계;
    상기 입력 영상에 상기 워핑 메쉬들을 적용함으로써 상기 입력 영상을 워핑하는 단계; 및
    상기 워핑된 영상을 출력하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  12. 제11항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하는 단계; 및
    상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는.
    영상을 재생하는 방법.
  13. 제12항에 있어서,
    상기 격자점들에 대응하는 상기 워핑 메쉬들을 결정하는 단계는
    상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  14. 제11항에 있어서,
    상기 데이터베이스는
    상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함하는,
    영상을 재생하는 방법.
  15. 제11항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  16. 제11항에 있어서,
    상기 워핑 메쉬들을 결정하는 단계는
    상기 데이터베이스에 기초하여,
    상기 좌안의 위치에 대응하는 제1 워핑 메쉬(warping mesh)를 결정하는 단계; 및
    상기 우안의 위치에 대응하는 제2 워핑 메쉬를 결정하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  17. 제11항에 있어서,
    상기 워핑된 영상을 출력하는 단계는
    상기 양안의 위치들에 기초하여 광 필드 렌더링(Light Field Rendering)을 수행함으로써 상기 워핑된 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하는 단계; 및
    상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 단계
    를 포함하는,
    영상을 재생하는 방법.
  18. 제11항에 있어서,
    상기 광학 레이어는
    차량의 윈드쉴드를 포함하는,
    영상을 재생하는 방법.
  19. 하드웨어와 결합되어 제1항 내지 제18항중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  20. 영상을 재생하는 HUD 시스템에 있어서,
    좌안 및 우안을 포함하는 사용자의 양안에 대응하는 스테레오 영상 및 상기 양안의 위치들을 획득하는 통신 인터페이스;
    상기 HUD 시스템에 포함된 광학 레이어의 곡률을 고려하여 미리 구비된 데이터베이스에 기초하여, 상기 양안의 위치들에 대응하는 워핑 메쉬들을 결정하고, 상기 스테레오 영상에 상기 워핑 메쉬들을 적용함으로써 상기 스테레오 영상을 워핑하고, 상기 양안의 위치들에 기초하여 광 필드 렌더링을 수행함으로써 상기 워핑된 스테레오 영상으로부터 상기 HUD 시스템에 포함된 디스플레이 패널의 픽셀 값들을 결정하며, 상기 결정된 픽셀의 값들을 상기 디스플레이 패널에 재생하는 프로세서
    를 포함하는,
    HUD 시스템.
  21. 제20항에 있어서,
    상기 양안 각각의 3차원 위치를 추적하는 눈 추적기
    를 더 포함하고,
    상기 통신 인터페이스는
    상기 눈 추적기에서 추적된 양안 각각의 3차원 위치를 획득하는,
    HUD 시스템.
  22. 제20항에 있어서,
    상기 프로세서는
    상기 데이터베이스에 기초하여, 상기 양안의 위치들에 인접한 격자점들을 추출하고, 상기 격자점들에 대응하는 워핑 메쉬들을 결정하는,
    HUD 시스템.
  23. 제22항에 있어서,
    상기 프로세서는
    상기 양안의 위치들과 상기 격자점들의 위치들 간의 거리에 따른 가중 평균을 통해 상기 워핑 메쉬들을 결정하는,
    HUD 시스템.
  24. 제20항에 있어서,
    상기 데이터베이스는
    상기 HUD 시스템 내의 미리 설정된 공간을 분할하는 복수의 복셀들에 대응하여 미리 계산된 워핑 메쉬들을 포함하는,
    HUD 시스템.
  25. 제20항에 있어서,
    상기 프로세서는
    상기 양안에 대응하여 상기 데이터베이스에 저장된 워핑 메쉬들을 보간함으로써 상기 워핑 메쉬들을 결정하는,
    HUD 시스템.
  26. 제20항에 있어서,
    상기 광학 레이어는 차량의 윈드 쉴드를 포함하는,
    HUD 시스템.
  27. 제20항에 있어서,
    상기 스테레오 영상의 프레임 레이트는
    양안 추적 동작의 레이트, 스테레오 렌더링 동작의 레이트, 워핑 동작의 레이트, 및 광필드 렌더링 동작의 레이트에 동기화되는,
    HUD 시스템.
  28. 제20항에 있어서,
    상기 프로세서는
    상기 스테레오 영상을 획득하기 위하여
    사용자에게 제공되는 3D 객체를 획득하고, 상기 3D 객체에 대한 스테레오 렌더링을 수행하는,
    HUD 시스템.
KR1020200009927A 2020-01-28 2020-01-28 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템 KR20210096449A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200009927A KR20210096449A (ko) 2020-01-28 2020-01-28 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US17/021,196 US11436698B2 (en) 2020-01-28 2020-09-15 Method of playing back image on display device and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200009927A KR20210096449A (ko) 2020-01-28 2020-01-28 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템

Publications (1)

Publication Number Publication Date
KR20210096449A true KR20210096449A (ko) 2021-08-05

Family

ID=76970311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200009927A KR20210096449A (ko) 2020-01-28 2020-01-28 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템

Country Status (2)

Country Link
US (1) US11436698B2 (ko)
KR (1) KR20210096449A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
BR112022001434A2 (pt) * 2019-07-28 2022-06-07 Google Llc Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas
EP4215401A1 (en) * 2022-01-11 2023-07-26 Hyundai Mobis Co., Ltd. System for controlling vehicle display

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249289B1 (en) * 1996-11-27 2001-06-19 Silicon Graphics, Inc. Multi-purpose high resolution distortion correction
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
KR100525425B1 (ko) * 2003-02-04 2005-11-02 엘지전자 주식회사 영상 워핑 방법 및 장치
WO2009131688A2 (en) 2008-04-25 2009-10-29 Thomson Licensing Inter-view skip modes with depth
KR101679290B1 (ko) * 2009-11-17 2016-11-24 삼성전자 주식회사 영상 처리 방법 및 장치
EP2709723B1 (en) * 2011-05-17 2019-11-20 Boston Scientific Neuromodulation Corporation User-defined graphical shapes used as a visualization aid for stimulator programming
US9992471B2 (en) * 2012-03-15 2018-06-05 Fuji Xerox Co., Ltd. Generating hi-res dewarped book images
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US10228562B2 (en) * 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
JP6278769B2 (ja) * 2014-03-19 2018-02-14 矢崎総業株式会社 車両用表示装置
US10082865B1 (en) * 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
WO2017079333A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
KR101776740B1 (ko) * 2015-12-10 2017-09-08 현대자동차 주식회사 Hud 자동 보정방법 및 보정시스템
US20170169612A1 (en) * 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US20170178288A1 (en) * 2015-12-21 2017-06-22 Stanislaw Adaszewski Two-dimensional piecewise approximation to compress image warping fields
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US10356343B2 (en) * 2016-03-18 2019-07-16 Raytheon Company Methods and system for geometric distortion correction for space-based rolling-shutter framing sensors
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images
JP6880174B2 (ja) 2016-08-22 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実、拡張現実、および複合現実システムおよび方法
US10379611B2 (en) 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
DE102016224166B3 (de) * 2016-12-05 2018-05-30 Continental Automotive Gmbh Head-Up-Display
WO2018105533A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 画像投影装置、画像表示装置、および移動体
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
KR20180123354A (ko) 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
CN110770796B (zh) 2017-06-05 2024-03-15 谷歌有限责任公司 平稳变化的中央凹型渲染
US10948740B2 (en) 2017-09-19 2021-03-16 Intel Corporation Head-mounted displays having curved lens arrays and generating elemental images for displaying
WO2019217260A1 (en) 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated display
WO2019217262A1 (en) 2018-05-07 2019-11-14 Zermatt Technologies Llc Dynamic foveated rendering
US10796407B2 (en) 2018-05-11 2020-10-06 Samsung Electronics Co., Ltd. Foveated domain storage and processing
US11308681B1 (en) * 2018-11-02 2022-04-19 Facebook Technologies, Llc. Display engine for post-rendering processing
JP2023500234A (ja) * 2019-11-01 2023-01-05 ラキシウム インコーポレイテッド 眼追跡器を組み込む明視野ディスプレイと、眼追跡情報を使用して明視野ディスプレイのためのビューを生成するための方法
EP3848781B1 (en) * 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body

Also Published As

Publication number Publication date
US20210233207A1 (en) 2021-07-29
US11436698B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
KR100596686B1 (ko) 화상생성장치 및 방법
KR101953686B1 (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
US10237531B2 (en) Discontinuity-aware reprojection
US7973791B2 (en) Apparatus and method for generating CG image for 3-D display
KR20210096449A (ko) Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
JP2018515825A (ja) Ｌｉｄａｒステレオ融合実写３ｄモデルバーチャルリアリティビデオ
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
Bonatto et al. Real-time depth video-based rendering for 6-DoF HMD navigation and light field displays
US20220070427A1 (en) Display apparatus and operating method of the same
CA2540538C (en) Stereoscopic imaging
KR20180136891A (ko) 전방향 비디오에 관한 영상 처리 방법 및 장치
US10382679B2 (en) Drawing apparatus, drawing method, and drawing program
KR101790720B1 (ko) 실 영상의 지형 렌더링을 이용한 집적 영상 생성 방법 및 이를 기록한 기록 매체
JP2015043187A (ja) 画像生成装置および画像生成プログラム
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
CN114815286B (zh) 全视差三维光场显示系统的参数确定方法、装置及设备
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
WO2019026183A1 (ja) 画像生成装置および画像生成方法
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
US20120268452A1 (en) Stereoscopic image generation method and stereoscopic image generation system
KR101784208B1 (ko) 다수의 깊이 카메라를 이용한 3차원 디스플레이 시스템 및 방법
Jeong Autostereoscopic 3D Display Rendering from Stereo Sequences
Chuchvara Real-time video-plus-depth content creation utilizing time-of-flight sensor-from capture to display
CN116723306A (zh) 一种降低裸眼3d技术中光栅显示器失真的方法与装置

Legal Events

Date Code Title Description
A201 Request for examination