KR20220031850A - 라이트 필드 표시 장치 및 이의 영상 처리 방법 - Google Patents

라이트 필드 표시 장치 및 이의 영상 처리 방법 Download PDF

Info

Publication number
KR20220031850A
KR20220031850A KR1020200113389A KR20200113389A KR20220031850A KR 20220031850 A KR20220031850 A KR 20220031850A KR 1020200113389 A KR1020200113389 A KR 1020200113389A KR 20200113389 A KR20200113389 A KR 20200113389A KR 20220031850 A KR20220031850 A KR 20220031850A
Authority
KR
South Korea
Prior art keywords
image
view
viewing angle
user
light field
Prior art date
Application number
KR1020200113389A
Other languages
English (en)
Inventor
목랑균
권재중
김범식
박정우
정수빈
조현진
하영상
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020200113389A priority Critical patent/KR20220031850A/ko
Priority to US17/347,675 priority patent/US11553171B2/en
Priority to CN202111024827.2A priority patent/CN114137737A/zh
Publication of KR20220031850A publication Critical patent/KR20220031850A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/10—Mirrors with curved faces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본원 발명의 일 실시예에 따른 라이트 필드 표시 장치는 표시 모듈, 표시 모듈로부터 출사된 제1 영상 및 제1 영상과 다른 경로로부터 출사된 제2 영상을 결합한 제3 영상을 출사하고, 제1 영상이 입사하는 제1 면, 제1 면과 수직으로 배치되고 제2 영상이 입사하는 제2 면, 제2 면과 마주하고 제3 영상이 출사되는 출사면을 구비하는 광 결합기, 및 3D 모델링 데이터에 기반해서 영상 데이터를 생성하고, 영상 데이터를 표시 모듈로 제공하는 제어부를 포함한다.
광 결합기는, 제1 면, 제2 면, 출사면 및 제1 면과 마주하는 제3 면을 구비하는 광도파로, 광도파로 내부에 출사면에 대해 비스듬하게 배치된 빔스플리터, 및 광도파로의 제3 면에 인접 배치된 오목 미러를 포함한다.
제어부는, 3D 모델링 데이터에 포함된 깊이 정보에 대응하여, 제3 면을 기준으로 오목 미러를 상하로 이동시킨다.

Description

라이트 필드 표시 장치 및 이의 영상 처리 방법{LIGHT FIELD DISPLAY DEVICE AND METHOD OF PROCESSING IMAGES OF THE SAME}
본 발명은 라이트 필드 표시 장치 및 이의 영상 처리 방법에 관한 것이다.
사람의 양 눈에 서로 다른 영상을 표시하는 3차원(3-dimensional) 표시 장치는 안경식 방식과, 무안경식 방식이 존재할 수 있다. 안경식 방식은 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 이용하여 원하는 영상을 필터링하는 방식이다. 그리고, 무안경식 방식은 패럴랙스 베리어(parallax barrier) 또는 렌티큘러 렌즈(Lenticular Lens) 등을 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 방식이다.
특히, 무안경식 방식 중 라이트 필드(Light Field)를 재현하는 방식도 있다. 라이트 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 라이트 필드를 임의의 면에서 광학적으로 재생하면 이러한 면의 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 볼 수 있다.
이와 같이, 라이트 필드를 재현하는 방식은 일정한 공간에 존재하는 점들이 여러 방향으로 출력하는 광선을 표시 장치를 통해 그대로 재현하는 방식을 의미할 수 있다.
다만, 라이트 필드 방식의 표시 장치를 통해 표시되는 3차원 영상은, 설계된 광학계에 의해 특정 위치에서 가장 명확히 보이고, 그 위치를 벗어나는 경우 3차원 영상의 해상도가 낮아지는 문제점이 발생할 수 있다.
본 발명이 해결하고자 하는 과제는 3차원 영상의 깊이감(또는 3D depth)을 향상시킨 라이트 필드 표시 장치를 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 3차원 영상의 해상도 및 시야각을 향상시킨 라이트 필드 표시 장치의 영상 처리 방법을 제공하는 것이다.
다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 과제를 해결하기 위한 본원 발명의 일 실시예에 따른 라이트 필드 표시 장치는 표시 모듈, 상기 표시 모듈로부터 출사된 제1 영상 및 상기 제1 영상과 다른 경로로부터 출사된 제2 영상을 결합한 제3 영상을 출사하고, 상기 제1 영상이 입사하는 제1 면, 상기 제1 면과 수직으로 배치되고 상기 제2 영상이 입사하는 제2 면, 상기 제2 면과 마주하고 상기 제3 영상이 출사되는 출사면을 구비하는 광 결합기, 및 3D 모델링 데이터에 기반해서 영상 데이터를 생성하고, 상기 영상 데이터를 상기 표시 모듈로 제공하는 제어부를 포함한다.
상기 광 결합기는, 상기 제1 면, 상기 제2 면, 상기 출사면 및 상기 제1 면과 마주하는 제3 면을 구비하는 광도파로, 상기 광도파로 내부에 상기 출사면에 대해 비스듬하게 배치된 빔스플리터, 및 상기 광도파로의 상기 제3 면에 인접 배치된 오목 미러를 포함한다.
상기 제어부는, 상기 3D 모델링 데이터에 포함된 깊이 정보에 대응하여, 상기 제3 면을 기준으로 상기 오목 미러를 상하로 이동시킨다.
상기 제어부는, 상기 깊이 정보에 포함된 깊이값이 기준 깊이값보다 큰 경우, 상기 깊이값과 상기 기준 깊이값의 차이의 크기에 대응하여, 상기 오목 미러를 상기 제3 면으로부터 아래 방향으로 이동시킬 수 있다.
상기 제1 영상은, 상기 3D 모델링 데이터가 상기 기준 깊이값을 가지는 경우, 상기 제2 면에서 표시되고, 상기 3D 모델링 데이터가 상기 기준 깊이값보다 큰 깊이값을 가질수록 상기 빔스플리터와 인접한 영역에서 표시될 수 있다.
상기 빔스플리터는 하프 미러(half mirror)일 수 있다.
상기 출사면으로 입사된 광이 상기 빔스플리터 및 상기 오목 미러를 경유하여 다시 상기 출사면으로 출사되지 않도록 하는 복수의 편광판을 포함할 수 있다.
상기 복수의 편광판은, 상기 제1 면 상에 배치된 제1 편광판, 및 상기 출사면 상에 배치되고, 상기 제1 편광판과 편광축이 수직인 제2 편광판을 포함할 수 있다.
상기 제3 면과 상기 오목 미러 사이에 배치되는 1/4 파장판을 포함할 수 있다.
상기 제2 면 상에 배치되고, 상기 제2 편광판과 편광축이 나란한 제3 편광판을 더 포함할 수 있다.
상기 표시 모듈은, 복수의 화소들을 포함하는 표시 패널, 및 상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함할 수 있다.
상기 복수의 마이크로 렌즈들의 피치는, 기본 시야각 구간의 시야갹을 약 6°가 되도록 설계되는 것을 특징으로 할 수 있다.
사용자의 양안의 위치를 추적하는 눈 추적(eye tracking) 센서를 더 포함할 수 있다.
상기 제어부는, 상기 3D 모델링 데이터를 다시점 가상 카메라들에 의해 제1 군의 다시점 영상으로 변환하는 다시점 영상 생성기, 및 상기 제1 군의 다시점 영상을 상기 복수의 화소에 맵핑시키는 그래픽 프로세서를 포함할 수 있다.
상기 다시점 가상 카메라들은 상기 사용자의 좌안 및 우안 각각에 대응되도록 적어도 2 개 이상 배치되는 것을 특징으로 할 수 있다.
상기 기본 시야각 구간의 좌우측에는 복수의 서브 시야각 구간들을 포함하고, 상기 서브 시야각 구간들 각각은 상기 기본 시야각 구간의 절반에 해당하는 시야각을 가질 수 있다.
상기 기본 시야각 구간 및 상기 복수의 시야각 구간들을 포함하는 확장 시야각 구간의 시야각은, 상기 기본 시야각 구간의 시야각의 5배 내지 10배인 것을 특징으로 할 수 있다.
상기 다시점 영상 생성기는, 상기 눈 추적 센서에 의해 검출된 상기 사용자의 양안의 위치 변화에 대응하여, 상기 다시점 가상 카메라들의 위치를 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환할 수 있다.
상기 다시점 영상 생성기는, 상기 사용자와 상기 눈 추적 센서 사이의 거리를 산출하고, 상기 산출된 거리에 대응하여, 상기 다시점 가상 카메라들의 간격을 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환할 수 있다.
상기 다시점 영상 생성기는, 상기 산출된 사용자와 상기 눈 추적 센서 사이의 거리가 멀어지면, 상기 다시점 가상 카메라들 간의 간격을 넓히고, 상기 산출된 사용자와 상기 눈 추적 센서 사이의 거리가 가까워지면, 상기 다시점 가상 카메라들 간의 간격을 줄이는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위한 본원의 일 실시예에 따른 복수의 화소들을 포함하고, 영상 데이터에 따른 영상을 표시하는 표시 모듈, 광결합기 및 눈 추적 센서를 포함하는 라이트 필드 표시 장치의 영상 처리 방법에 있어서, 3D 모델링 데이터를 수신하는 단계, 상기 3D 모델링 데이터를 다시점 가상 카메라들에 의해 제1 군의 다시점 영상으로 변환하는 단계, 상기 제1 군의 다시점 영상 각각을 상기 복수의 화소에 맵핑하여 상기 영상 데이터를 출력하는 단계를 포함한다.
상기 눈 추적 센서에 의해 사용자의 양안의 위치를 검출하는 단계, 및 검출된 상기 사용자의 양안의 위치 변화에 대응하여, 상기 다시점 가상 카메라들의 위치를 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환하는 단계를 더 포함한다.
상기 표시 모듈은, 상기 복수의 화소들을 포함하는 표시 패널, 및 상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함하고, 상기 복수의 마이크로 렌즈들의 피치는, 기본 시야각 구간의 시야각을 약 6°가 되도록 설계되는 것을 특징으로 할 수 있다.
상기 사용자와 상기 눈 추적 센서 사이의 거리를 산출단계, 및 상기 산출된 거리에 대응하여, 상기 다시점 가상 카메라들의 간격을 변경함으로써, 상기 3D 모델링 데이터를 상기 제2 군의 다시점 영상과 다른 제3 군의 다시점 영상들로 변환하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따른 라이트 필드 표시 장치는, 광학계에 포함된 오목 미러(concave mirror)의 위치를 가변시킴으로써, 3차원 영상의 깊이감(또는 3D depth)을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 라이트 필드 표시 장치의 영상 처리 방법은 아이 트랙킹(eye-tracking)을 이용하여, 3차원 영상의 해상도 및 시야각을 향상시킬 수 있다.
다만, 본 발명의 효과는 상술한 효과에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 개략적인 사시도이다.
도 2는 도 1에 도시된 라이트 필드 표시 장치의 측면도이다.
도 3은 본 발명의 일 실시예에 따른 오목 미러의 구동 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 표시 모듈을 간략히 나타낸 분해 사시도이다.
도 4c는 도 4a에 도시된 표시 모듈을 사용하여 입체 영상을 표시하는 것을 예시적으로 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 제어부를 개략적으로 나타낸 블록도이다.
도 6 및 도 7은 눈 추적 센서에 의해 검출된 사용자의 양안의 위치에 따라 복수의 가상 카메라들의 배치를 변경하는 것을 설명하기 위한 도면이다.
도 8은 눈 추적 센서에 의해 사용자의 좌안 및 우안의 좌표를 산출하는 것을 설명하기 위한 도면이다.
도 9는 사용자의 좌안 및 우안의 좌표 차이에 대응되는 사용자와 눈 추적 센서와의 거리를 나타낸 그래프이다.
도 10은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 개략적인 측면도이다.
도 11은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 영상 처리 방법을 설명하기 위한 순서도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 개략적인 사시도이다.
도 1을 참조하면, 라이트 필드 표시 장치(1000)는 표시 모듈(100), 광결합기(200), 눈 추적 센서(300) 및 제어부(미도시)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 라이트 필드 표시 장치(1000)는 표시 모듈(100) 및 광결합기(200)를 이용하여 생성된 제1 영상(OJ)(또는, 3차원 객체) 및 광결합기(200)의 제2 면(S2) 및 출사면(OS)을 통과한 외부 전경 즉, 실사 영상(또는, 제2 영상)을 결합한 제3 영상을 사용자(UE)에게 제공할 수 있다. 이 때, 제1 영상(OJ)(또는, 3차원 객체)은 실사 영상에 대한 추가적인 정보 등을 포함하는 가상 현실 영상일 수 있다. 라이트 필드 표시 장치(1000)는 광결합기(200)의 제2 면(S2) 및 출사면(OS)이 투명한 투시형 표시 장치로서, 증강 현실 표시 장치일 수 있다.
다만, 라이트 필드 표시 장치(1000)의 실시예는 이에 한정되는 것은 아니고, 예를 들어, 광결합기(200)의 제2 면(S2)은 광을 투과하지 않고, 표시 모듈(100) 및 광결합기(200)를 이용하여 생성된 제1 영상(OJ)만을 출사면(OS)을 통해 사용자(UE)에게 제공할 수도 있다.
본 발명의 일 실시예에 따르면, 라이트 필드 표시 장치(1000)는 눈 추적 센서(300)를 통해 사용자(UE)의 눈의 위치를 검출할 수 있다. 표시 장치(1000)는 검출된 눈의 위치에 대응하여, 도 5 내지 도 9를 통해 후술할 다시점 가상 카메라의 위치 및 간격을 변경하여 다시점 이미지를 변경함으로써, 역시(inversion) 현상을 감소시키고, 제1 영상(OJ)의 입체감을 향상시킬 수 있다.
눈 추적 센서(300)는 실시간으로 사용자(UE)를 촬영하고, 촬영 영상을 실시간으로 제어부로 전송할 수 있다. 예를 들어, 눈 추적 센서(300)는 웹 카메라, 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 등이 이용될 수 있다. 제어부는 촬영 영상으로부터 사용자의 좌안 및 우안의 위치를 계산할 수 있다.
제어부(도 5 참조)는 복수의 내부 유닛들을 포함할 수 있다. 내부 유닛들은 마더 보드에 직접 실장되거나 별도의 기판에 실장되어 커넥터 등을 통해 마더보드에 전기적으로 연결될 수 있다.
제어부는 라이트 필드 표시 장치(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부는 표시 모듈(100)을 턴-온시키거나 턴-오프시킬 수 있다. 제어부는 3D 모델링 데이터에 기반해서 영상 데이터를 생성하고, 생성된 영상데이터를 표시 모듈(100)에 제공할 수 있다. 여기서, 3D 모델링 데이터는 제1 영상(OJ)에 포함된 3차원 객체의 좌표 정보 및 깊이 정보를 포함할 수 있다. 또한, 제어부는 광결합기(200)에 포함된 액츄에이터(actuator, 미도시)의 동작을 제어할 수 있다.
도 2는 도 1에 도시된 라이트 필드 표시 장치의 측면도이다. 도 3은 본 발명의 일 실시예에 따른 오목 미러의 구동 방법을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 표시 모듈(100)은 영상 데이터에 따라 광을 변조하여, 제1 영상(OJ)에 대한 제1 광(L1)을 형성한다. 제1 영상(OJ)은 2차원 영상 또는 3차원 영상일 수 있고, 3차원 영상은 홀로그램(hologram) 영상, 스테레오(stereo) 영상, 라이트 필드(light field) 영상, IP(integral photography) 영상 등일 수 있고 또한, 멀티 뷰(multi-view) 혹은 슈퍼 멀티뷰(super multi-view) 방식의 영상을 포함할 수 있다.
표시 모듈(100)은 예를 들어, LCoS(liquid crystal on silicon)소자, LCD(liquid crystal display)소자, OLED(organic light emitting diode)소자, DMD(digital micromirror　device)를 포함할 수 있고, 또한, Micro LED, QD(quantum dot) LED 등의 차세대 디스플레이 소자를 포함할 수 있다. 표시 모듈(100)은 표시 패널(110) 및 마이크로 렌즈 어레이(120)를 포함할 수 있다. 표시 모듈(100)에 대한 상세한 설명은 도 4a, 도 4b 및 도 4c를 통해 후술한다.
광결합기(200)는 제1 영상(OJ)에 대한 제1 광(L1)과　제2 영상에 대한 제2광(L2)을 결합하여 제3 광(L3)을 출사하는 것으로, 제1 영상(OJ)이 입사하는 제1 면(S1),　제2 영상이 입사하는 제2 면(S2) 및 제1 영상(OJ) 및 제2 영상이 결합된 제3 영상이 출사되는 출사면(OS)을 포함할 수 있다.
광결합기(200)는 제1 면(S1), 제2 면(S2), 출사면(OS) 및 제1 면(S1)과 마주하는 제3 면(S3)을 구비하는 광도파로(210)와 광도파로(210) 내에 배치되고 출사면(OS)에 대해 기울어진 빔스플리터(220), 제3 면(S3)에 인접 배치된　오목　미러(230)를 포함할 수 있다.
빔스플리터(220)는 입사광의 일부는 반사하고, 일부는 투과시키는 것으로 하프 미러(half　mirror)일 수 있다. 다만, 이에 한정되지 않으며 일편광은 반사, 다른 편광은 투과시키는 편광 빔스플리터가 사용될 수도 있다.
오목　미러(230)는 빔스플리터(220)를 투과한 제1 광(L1)이　오목　미러(230), 빔스플리터(220)를 경유한 후, 사용자(UE)의 시야에 포커싱되도록　오목한 반사면을 구비한다.
도 3을 참조하면, 일 실시예에 따른 제어부는 3D 모델링 데이터에 포함된 깊이 정보에 대응하여, 제3 면(S3)을 기준으로 오목 미러(230)를 상하로 이동시킬 수 있다.
예를 들어, 제어부는 깊이 정보에 포함된 깊이값이 기준 깊이값보다 큰 경우, 깊이 정보에 포함된 깊이값과 기준 깊이값의 차이의 크기에 대응하여, 오목 미러(230)를 기준 위치보다 아래로 이동시킬 수 있다.
이 때, 3D 모델링 데이터에 포함된 깊이값이 기준 깊이값과 동일한 경우, 제3 면(S3)에 인접하게 오목 미러(230')가 배치되고, 제1 영상(OJ')은 광도파로(210)의 제2 면(S2)에서 표시될 수 있다.
3D 모델링 데이터에 포함된 깊이값이 기준 깊이값보다 클수록 오목 미러(230)가 제3 면(S3)으로부터 멀리 배치될 수 있다. 제1 영상(OJ)은, 3D 모델링 데이터에 포함된 깊이값과 기준 깊이값의 차이의 크기가 커질수록 빔스플리터(220)와 인접한 영역에서 표시될 수 있다.
도시하지 않았으나, 오목 미러(230)의 하단에는 액츄에이터를 구비할 수 있고, 제어부는 3D 모델링 데이터에 포함된 깊이 정보 및 기준 깊이값에 기초하여 액츄에이터를 구동함으로써, 기준 깊이값에 대응되는 위치에 배치된 오목 미러(230')를 깊이 정보에 포함된 깊이값과 기준 깊이값의 차이의 크기에 대응되는 위치로 오목 미러(230)를 이동시킬 수 있다.
이와 같이, 제어부는 오목 미러(230)의 배치 위치를 3D 모델링 데이터에 포함된 깊이값에 기초하여, 실시간으로 조정할 수 있다. 예를 들어, 3D 모델링 데이터에 포함된 깊이값이 낮은 경우(i.e. 자막 등을 표시하는 경우), 제어부는 제3 면(S3)에 인접하게 오목 미러(230')를 배치시키고, 3D 모델링 데이터에 포함된 깊이값이 깊은 경우(i.e. 3D 영상을 표시하는 경우), 제어부는 제3 면(S3)으로부터 소정거리 이격되도록 오목 미러(230)를 배치시킬 수 있다. 이와 같이, 제1 영상(OJ)의 표시 깊이가 상황에 따라 적응적으로 가변되므로 사용자(UE)는 영상 시청 시 눈의 피로가 줄어드는 효과를 기대할 수 있다.
다만, 제어부는 라이트 필드 표시 장치(1000) 턴-온 시 사용자(UE)에 의해 기설정된 위치로 오목 미러(230)를 이동시킬 수도 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 표시 모듈을 간략히 나타낸 분해 사시도이다.
도 4a를 참조하면, 표시 모듈(100)은 표시 패널(110) 및 마이크로 렌즈 어레이(120)를 포함할 수 있다.
표시 패널(110)은 복수의 화소들(PX)을 포함할 수 있다. 각각의 화소는 예를 들면, 적색 화소, 녹색 화소 및 청색 화소를 포함할 수 있다. 화소들(PX)은 제1 방향(D1) 및 제1 방향(D1)과 실질적으로 수직한 제2 방향(D2)으로 매트릭스 형태로 배열될 수 있다. 다만, 화소들(PX) 배열 상태는 예시적인 것으로서, 이에 한정되는 것은 아니다. 예를 들어, 화소들(PX)은 펜타일 구조일 수 있다.
마이크로 렌즈 어레이(120)는 표시 패널(110) 상에 배치된다. 마이크로 렌즈 어레이(120)는 복수의 마이크로 렌즈(ML)들을 포함할 수 있다. 표시 패널(110)의 화소들(PX)에서 발생한 광들이 마이크로 렌즈 어레이(120)의 마이크로 렌즈(ML)들을 통과하여 라이트 필드(light field)를 형성할 수 있다.
마이크로 렌즈 어레이(120)는 액티브(active) 렌즈로 구성될 수 있다. 마이크로 렌즈 어레이(120)는 마이크로 렌즈 어레이를 구성하는 전극들에 인가되는 전압에 의해 전기장(전계)을 생성하고, 이에 따라 액정 분자의 배열을 변형시킬 수 있다. 마이크로 렌즈 어레이(120)는 2차원 표시 모드에서는 표시 패널(110)에서 표시된 영상이 그대로 투과되도록 하고, 3차원 표시 모드에서는 표시 패널(110)의 영상의 시역을 분리할 수 있다. 예컨대, 3차원 표시 모드로 동작하는 마이크로 렌즈 어레이(120)는 표시 패널(110)에 표시된 다시점 영상을 광의 회절 및 굴절 현상을 이용하여 각 시점 영상 별로 해당하는 시역에 상이 맺히도록 할 수 있다.
라이트 필드를 형성하기 위한 표시 패널(110)의 화소들(PX)의 배열, 마이크로 렌즈 어레이(120)를 구성하는 마이크로 렌즈(ML)들의 배열 및 화소들(PX)과 마이크로 렌즈(ML)들의 상대적인 위치 관계는 도 4a에 도시된 실시예로 한정되지 않으며 다양한 실시예로 구현될 수 있다.
영상 해상도(Image quality)와 시야각(Field of View)은 서로 상반된 관계(trade off)를 갖는다. 즉, 마이크로 렌즈(ML)의 픽셀 피치(P)가 작을수록 영상 해상도는 증가하나 시야각은 좁아지고, 마이크로 렌즈(ML)의 픽셀 피치(P)가 클수록 시야각은 넓어지나 영상 해상도는 감소하게 된다.
본 발명의 일 실시예에 따르면, 영상 해상도를 증가시키기 위해, 마이크로 렌즈(ML)의 픽셀 피치(P)는 시야각(또는 기본 시야각 구간(MV)의 시야각)이 약 6°가 되도록 설계될 수 있다.
한편, 도 4b를 참조하면, 표시 모듈(100')은 표시 패널(110) 및 렌티큘러 렌즈 어레이(120')를 포함할 수 있다.
렌티큘러 렌즈 어레이(120')는 표시 패널(110) 상에 배치된다. 렌티큘러 렌즈 어레이(120')는 복수의 렌티큘러 렌즈(RL)들을 포함할 수 있다. 표시 패널(110)의 화소들(PX)에서 발생한 광들이 렌티큘러 렌즈 어레이(120')의 렌티큘러 렌즈(RL)들을 통과하여 라이트 필드(light field)를 형성할 수 있다.
렌티큘러 렌즈 어레이(120')는 한 방향으로 배열된 복수의 렌티큘러 렌즈(RL)를 포함할 수 있다. 각 렌티큘러 렌즈(RL)는 한 방향(예: 제2 방향(DR2))으로 길게 뻗을 수 있다. 각 렌티큘러 렌즈(RL)에 대응하며 이웃하는 화소행의 색배열은 서로 다를 수 있다. 즉, 각 렌티큘러 렌즈(RL)에 대응하는 이웃하는 화소행의 첫 번째 화소(PX)가 나타내는 기본색은 서로 다를 수 있다. 이를 위해 각 렌티큘러 렌즈(RL)의 연장 방향은 열 방향인 제2 방향(DR2)과 예각을 이루며 기울어질 수도 있고 제2 방향(DR2)에 대체로 나란할 수도 있다.
라이트 필드를 형성하기 위한 표시 패널(110')의 화소들(PX)의 배열, 렌티큘러 렌즈 어레이(120')를 구성하는 렌티큘러 렌즈(RL)들의 배열 및 화소들(PX)과 렌티큘러 렌즈(RL)들의 상대적인 위치 관계는 도 4b에 도시된 실시예로 한정되지 않으며 다양한 실시예로 구현될 수 있다.
영상 해상도(Image quality)와 시야각(Field of View)은 서로 상반된 관계(trade off)를 갖는다. 즉, 렌티큘러 렌즈(RL)의 픽셀 피치(P')가 작을수록 영상 해상도는 증가하나 시야각은 좁아지고, 렌티큘러 렌즈(RL)의 픽셀 피치(P')가 클수록 시야각은 넓어지나 영상 해상도는 감소하게 된다.
본 발명의 일 실시예에 따르면, 영상 해상도를 증가시키기 위해, 렌티큘러 렌즈(RL)의 픽셀 피치(P')는 시야각(또는 기본 시야각 구간(MV)의 시야각)이 약 6°가 되도록 설계될 수 있다.
이하, 설명의 편의를 위해, 도 4a에 도시된 표시 모듈 실시예를 기준으로 설명한다.
도 4c는 도 4a에 도시된 표시 모듈을 사용하여 입체 영상을 표시하는 것을 예시적으로 보여주는 도면이다.
도 4c를 참조하면, '라이트 필드(Light Field)'는 빛이 공간 상에서 분포하는 상태를 광선의 분포를 통해 표현하는 개념이다. 이 개념을 이용하면 사물에서 반사되거나 발생한 빛은 공간 속을 직진하여 사람의 눈에 들어오는 것으로 정의되며, 3차원 공간은 무수히 많은 라이트 필드로 구성될 수 있다. 개별적인 라이트 필드를 수학적으로 표현하는 데는 예를 들어, 5차원 플렌옵틱(Plenoptic) 함수(I(x, y, z, θ, φ))가 사용될 수 있다. 즉, 라이트 필드는 공간 상의 특정 평면 상에서 광선이 평면을 지나는 점의 삼차원 공간 좌표(x, y, z)와 광선이 향하는 공간 방향각(θ, φ)에 대한 휘도로 표기될 수 있다. 라이트 필드는 앞에서 말한 특정 평면을 지나는 빛의 플렌옵틱 함수값을 정보화 함으로써 획득(capture)될 수 있다. 즉, 라이트 필드는 일정 영역의 좌표(x, y, z) 각각에 대하여 각도(θ, φ)별 휘도 값에 의해 획득될 수 있다. 예를 들어, 영상 데이터가 표시 패널(110)로 제공되고, 표시 패널(110)에서 생성되는 광선(light ray)의 방향은 마이크로 렌즈 어레이(120)에 의해 특정 방향(관찰 시점)으로 향하는 라이트 필드를 형성하고, 사용자(UE)는 객체들(OJ1, OJ2)을 3차원 영상으로 시청할 수 있다.
도 4a 및 도 4c에는 설명의 편의를 위해, 사용자(UE)가 표시 모듈(100)로부터 형성된 3차원 영상을 직접 시청하는 것으로 도시하였으나, 도 1 및 도 2에 도시된 바와 같이, 광결합기(200)를 이용하여 3차원 영상 및 실사 영상이 결합된 영상을 사용자(UE)에게 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 제어부를 개략적으로 나타낸 블록도이다. 도 6 및 도 7은 눈 추적 센서에 의해 검출된 사용자의 양안의 위치에 따라 복수의 가상 카메라들의 배치를 변경하는 것을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 제어부(400)는 다시점 영상 생성기(410) 및 그래픽 프로세서(420)를 포함할 수 있다.
다시점 영상 생성기(410)는 3D 모델링 데이터를 제1 다시점 영상들로 변환할 수 있다. 예를 들어, 다시점 영상 생성기(410)는 다시점 가상 카메라로 구현될 수 있다. 이 때, 3D 모델링 데이터는 라이트 필드 표시 장치(1000)에 포함된 메모리(미도시)로부터 제공될 수 있다. 다만, 이에 한정되는 것은 아니고, 3D 영상 데이터는 외부 장치로부터 제공될 수도 있다. 일 실시예에 따르면, 다시점 영상 생성기(410)는 AP(application processor), CPU(central processing unit) 또는 마이크로 프로세서일 수 있다.
다시점 가상 카메라는 애프리케이션(application)으로 구현될 수 있다. 다시점 가상 카메라는 복수의 가상 카메라들을 포함하며, 다시점 영상 생성기(410)는 복수의 가상 카메라들 간의 간격 및 각도 등에 대한 설정 정보에 기반하여 3D 영상 데이터를 제1 다시점 영상들로 변환할 수 있다. 다시점 가상 카메라들은 상기 사용자(UE)의 좌안 및 우안 각각에 대응되도록 적어도 2 개 이상 배치될 수 있다.
그래픽 프로세서(420)는 다시점 영상들을 도 4a에 도시된 복수의 화소들(PX)에 각각 매핑하여 한 프레임의 영상 데이터를 출력할 수 있다. 그래픽 프로세서(420)는 다시점 영상 맵핑 알고리즘에 의해서 다시점 정보가 있는 영상을 라이트 필드 시점 배열 규칙에 따라 화소 단위로 재배열하는 일련의 동작을 수행할 수 있다.
그래픽 프로세서(420)는 영상 데이터를 도 4a에 도시된 표시 패널(110)의 구동부(미도시)에 제공할 수 있다. 표시 패널(110)(또는, 표시 모듈(100))은 수신한 영상 데이터에 기초하여 3차원 영상을 표시할 수 있다.
도 5 및 도 6을 참조하면, 다시점 영상 생성기(410)는 제1 영상(OJ)에 포함된 3차원 객체를 제1 내지 제16 가상 카메라들에 의해 촬영함으로써 제1 내지 제16 다시점 영상들을 생성할 수 있다. 이 때, 제1 내지 제8 다시점 영상들은 사용자(UE)의 좌안에 대응되는 좌 시점 영상이고, 제9 내지 제16 다시점 영상들은 사용자(UE)의 우안에 대응된 우 시점 영상일 수 있다. 다만, 가상 카메라들의 개수는 이에 한정되는 것은 아니고, 제1 영상(OJ)을 표시하는데 요구되는 시점수 및 시점간격에 대응하여 가변할 수 있다.
그래픽 프로세서(420)는 기본 시야각 구간(MV)에 제1 내지 제16 다시점 영상들이 표시되도록 영상 데이터를 생성하고, 기본 시야각 구간(MV)을 기준으로 좌우에 배치된 복수의 서브 시야각 구간(SV1~SV8)에 제1 내지 제16 다시점 영상들이 순차적으로 반복 표시되도록 영상 데이터를 생성할 수 있다. 이 때, 기본 시야각 구간(MV)은 약 6°이고, 서브 시야각(SV)은 기본 시야각 구간(MV)의 절반에 해당하는 약 3°일 수 있다. 본 발명의 일 실시예에 따르면, 기본 시야각 구간(MV) 및 복수의 시야각 구간들(SV1~SV8)을 포함하는 확장 시야각 구간의 시야각은, 기본 시야각 구간의 시야각의 5배 내지 10배일 수 있다. 즉, 복수의 시야각 구간들의 개수는 18개일 수 있다.
예를 들어, 그래픽 프로세서(420)는 제1 서브 시야각 구간(SV1), 제3 서브 시야각 구간(SV3), 제5 서브 시야각 구간(SV5) 및 제7 서브 시야각 구간(SV7)에 제1 내지 제8 다시점 영상들(또는, 좌 시점 영상)이 표시되도록 영상 데이터를 생성하고, 제2 서브 시야각 구간(SV2), 제4 서브 시야각 구간(SV4), 제6 서브 시야각 구간(SV6) 및 제8 서브 시야각 구간(SV8)에 제9 내지 제16 다시점 영상들(또는, 우 시점 영상들)이 표시되도록 영상 데이터를 생성할 수 있다.
다만, 사용자(UE)의 좌안과 우안 사이의 거리를 62mm로 가정하는 경우, 3차원 영상을 역시 현상이 발생없이 시청하기 위한 시야각은 약 12 °이다. 따라서, 도 6에 도시된 바와 같이, 사용자(UE)의 좌안의 위치(LL1)가 제1 서브 시야각 구간(SV1)에 대응되고, 사용자(UE)의 우안의 위치(RR1)가 제4 서브 시야각 구간(SV4)에 대응되는 경우, 제1 서브 시야각 구간(SV1)에는 좌 시점 영상들(또는, 제1 내지 제8 다시점 영상들)이 표시되고, 제4 서브 시야각 구간(SV4)에는 우 시점 영상들(또는, 제9 내지 제16 다시점 영상들)이 표시되므로, 사용자(UE)는 고 해상도의 3차원 영상을 시청할 수 있다.
반면에, 사용자(UE)의 좌안의 위치가 제4 서브 시야각 구간(SV4)에 대응되고, 사용자(UE)의 우안의 위치가 제5 서브 시야각 구간(SV5)에 대응되는 경우, 제4 서브 시야각 구간(SV4)에는 우 시점 영상들(또는, 제9 내지 제16 다시점 영상들)이 표시되고, 제5 서브 시야각 구간(SV5)에는 좌 시점 영상들(또는, 제1 내지 제8 다시점 영상들)이 표시되므로, 사용자(UE)는 역시 현상으로 인해 어지러움을 느낄 수 있다. 즉, 도 6에 도시된 실시예와 같이, 기본 시야각 구간(MV) 및 제1 내지 제8 서브 시야각 구간들(SV1~SV8)에 표시되는 다시점 영상들을 고정하는 경우, 사용자(UE)가 고해상도의 영상을 시청할 수 있는 반면에 시야각이 제한적이라는 문제점이 있다.
본 발명은 영상의 해상도를 높은 수준으로 유지하고, 도 1에 도시된 눈 추적 센서(300)를 이용하여 사용자(UE)의 시야각을 향상시키고자 한다.
본 발명의 일 실시예에 따르면, 눈 추적 센서(300)는 실시간으로 사용자(UE)를 촬영하여 촬영 영상을 생성할 수 있다. 다시점 영상 생성기(410)는 촬영 영상으로부터 사용자(UE)의 좌안 및 우안의 위치 정보를 제공받을 수 있다. 다시점 영상 생성기(410)는 눈 추적 센서(300)에 의해 검출된 사용자(UE)의 좌안 및 우안의 위치 변화에 대응하여, 다시점 가상 카메라들의 위치를 변경함으로써, 3D 모델링 데이터를 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환할 수 있다.
도 7을 참조하면, 사용자(UE)의 좌안의 위치(LL3)는 제2 서브 시야각 구간(SV2)에 대응되고, 사용자(UE)의 우안의 위치(RR3)는 기본 시야각 구간(MV)에 대응된다. 다만, 도 6에 도시된 실시예와 다르게, 기본 시야각 구간(MV) 및 제1 내지 제8 서브 시야각 구간들(SV1~SV8) 각각에 표시되는 다시점 영상들이 고정적이지 않고 가변적이다. 즉, 다시점 영상 생성기(410)는 눈 추적 센서(300)에 의해 검출된 사용자(UE)의 좌안의 위치(LL3) 및 우안의 위치(RR3) 변화에 대응하여, 다시점 가상 카메라들의 위치를 변경함으로써, 기존의 다시점 영상들을 새로운 다시점 영상들로 변환할 수 있다.
예를 들어, 눈 추적 센서(300)에 의해 제2 서브 시야각 구간(SV2)에 사용자(UE)의 좌안의 위치(LL3)가 대응되는 것으로 검출된 경우, 다시점 영상 생성기(410)는 제2 서브 시야각 구간(SV2)에 제1 내지 제8 다시점 가상 카메라를 배치하고, 제1 군의 다시점 영상(i.e. 제9 내지 제16 다시점 영상; 도 6 참조)을 제2 군의 다시점 영상(i.e. 제1 내지 제8 다시점 영상; 도 7 참조)으로 변환할 수 있다.
이 후, 그래픽 프로세서(420)는 제2 서브 시야각 구간(SV2)을 기준으로, 제1 내지 제16 다시점 영상들이 순차적으로 반복 표시되도록 영상 데이터를 생성할 수 있다. 예를 들어, 제1 서브 시야각 구간(SV1), 제3 서브 시야각 구간(SV3), 제5 서브 시야각 구간(SV5) 및 제7 서브 시야각 구간(SV7)에 제9 내지 제16 다시점 영상들(또는, 우 시점 영상)이 표시되도록 영상 데이터를 생성하고, 제2 서브 시야각 구간(SV2), 제4 서브 시야각 구간(SV4), 제6 서브 시야각 구간(SV6) 및 제8 서브 시야각 구간(SV8)에 제1 내지 제8 다시점 영상들(또는, 좌 시점 영상들)이 표시되도록 영상 데이터를 생성할 수 있다.
도 8은 눈 추적 센서에 의해 사용자의 좌안 및 우안의 좌표를 산출하는 것을 설명하기 위한 도면이다. 도 9는 사용자의 좌안 및 우안의 좌표 차이에 대응되는 사용자와 눈 추적 센서와의 거리를 나타낸 그래프이다.
도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따라, 다시점 영상 생성기(410)는, 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)를 산출하고, 산출된 거리(Z)에 대응하여, 다시점 가상 카메라들의 간격을 변경함으로써, 3D 모델링 데이터를 제1 다시점 영상과 다른 제2 다시점 영상들로 변환할 수 있다. 이 때, 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)는 눈 추적 센서(300)로부터 사용자(UE)의 좌안 위치 및 우안 위치를 잇는 가상의 직선(LV)까지의 최단 거리로 정의될 수 있다.
눈 추적 센서(300)는 사용자(UE)를 촬영함으로써 실시간으로 촬영 영상을 생성할 수 있다. 다시점 영상 생성기(410)는 촬영 영상으로부터 사용자(UE)의 양안의 좌표 차이를 제공받을 수 있다. 이 때, 양안의 좌표 차이는 화소(PX) 단위로 나타낼 수 있다.
도 9에 도시된 그래프는 사용자(UE)의 양안의 거리가 62mm인 경우, 사용자(UE)의 양안의 좌표 차이 별로 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)를 실험적으로 구해 얻어진 Z축 캘리브레이션 함수이다. Z축 캘리브레이션 함수는 아래 수학식으로 나타낼 수 있다.
[수학식]
y = 0.0416x2 - 13.478x +1299.6 (여기서, x는 사용자(UE)의 양안 좌표 차이이고, y는 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)이다.)
예를 들어, 눈 추적 센서(300)로부터 제공된 촬영 영상에서, 사용자(UE)의 양안의 좌표 차이가 50 화소(pixel)인 경우 Z축 캘리브레이션 함수에 따르면, 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)는 약 800mm이다.
한편, 예시적으로 사용자(UE)의 양안의 거리가 62mm인 경우를 전제로 Z축 캘리브레이션 함수를 산출하였으나, 이에 한정되는 것은 아니고, 사용자(UE)의 양안의 거리 별로 Z축 캘리브레이션 함수를 산출할 수 있다. 다시점 영상 생성기(410)는 사용자(UE)의 양안의 거리를 라이트 필드 표시 장치(1000)의 최초 구동 시 눈 추적 센서(300)에 의해 직접 획득하거나, 사용자(UE)의 입력에 의해 획득할 수 있다.
이와 같이, 다시점 영상 생성기(410)는 눈 추적 센서(300) 및 캘리브레이션 함수를 이용하여 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)를 산출한 후, 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)가 멀어지면, 다시점 가상 카메라들 간의 간격을 넓히고, 반대로 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)가 가까워지면, 다시점 가상 카메라들 간의 간격을 줄일 수 있다.
사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)가 멀어진다는 것은 3D 모델링 데이터에 포함된 3차원 객체와 사용자(UE) 사이의 거리도 멀어지는 것을 의미하고, 사용자(UE)와 눈 추적 센서(300) 사이의 거리(Z)가 가까워진다는 것은 3D 모델링 데이터에 포함된 3차원 객체와 사용자(UE) 사이의 거리도 가까워지는 것을 의미한다. 따라서, 동일한 개수의 가상 카메라들로 3차원 객체를 촬영하는 경우, 3차원 객체와 사용자(UE) 사이의 거리가 멀어질수록 가상 카메라들 각각이 촬영해야하는 범위가 넓어지고, 3차원 객체와 사용자(UE) 사이의 거리가 가까워질수록 가상 카메라들 각각이 촬영해야하는 범위가 줄어드는 것을 반영함으로써 3차원 객체를 보다 입체감있게 표시할 수 있다.
이하, 다른 실시예들에 대해 설명한다. 이하의 실시예에서, 이미 설명한 실시예와 동일한 구성에 대해서는 설명을 생략하거나 간략화하고, 차이점을 위주로 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 개략적인 측면도이다.
도 10을 참조하면, 도 10에 도시된 라이트 필드 표시 장치(1000_1)는　출사면(OS)으로 입사된 외부 광이 빔스플리터(220) 및 오목 미러(230)를 경유하여 다시 출사면(OS)으로 출사되지 않도록하는 광학 부재들이 더 구비된 점에서 도 2의 라이트 필드 표시 장치(1000)와 차이가 있고, 나머지 구성은 실질적으로 동일하다.
구체적으로, 라이트 필드 표시 장치(1000_1)는 표시 모듈(100) 및 표시 모듈(100)에서 형성된 제1 영상에 대한 제1 광(L1) 및 상기 제1 영상과 다른 경로로부터의　제2 영상에 대한 제2 광(L2)을 결합하는 광결합기(200_1)를 포함할 수 있다.
일 실시예에 따른 광결합기(200_1)는 제1 면(S1) 상에 배치되는 제1 편광판(241), 출사면(OS) 상에 배치되는 제2 편광판(242), 및 제3 면(S3)과 오목 미러(230) 사이에 배치되는 1/4 파장판을 포함할 수 있다.
광도파로(210)의 제1 면(S1) 상에는 제1 편광판(241)이 배치되고, 출사면(OS) 상에는 제2 편광판(242)이 배치될 수 있다. 제1 편광판(241) 및 제2 편광판(242)은 서로 수직인 편광축을 가지며, 예를 들어, 제1 편광판(241)은 제1 편광(↔)의 광을 투과시키는 편광축, 제2 편광판(242)은 제2 편광(⊙)의 광을 투과시키는 편광축을 가질 수 있다. 또한, 광도파로(210)의 제3 면(244)과 오목 미러(230) 사이에 1/4 파장판(244)이 배치될 수 있다.
제1 편광판(241), 제2 편광판(242), 및 1/4 파장판(244)에 의해 제1 면(S1)으로 입사된 제1 영상에 대한 제1 광(L1)은 사용자(UE)의 시야에 도달할 수 있다. 즉, 제1 광(L1)은 제1 편광판(241)을 지나며 제1 편광(↔)의 광이 되고, 제1 편광(↔)의 광 중 일부는 하프 미러인 빔스플리터(230)를 투과하고, 다음 1/4 파장판(244)을 투과하여 원편광의 광이되고, 오목 미러(230)에서 반사된 후 반대 방향의 원편광의 광이 된다. 다음, 다시 1/4 파장판(244)을 지난 후 제2 편광(⊙)의 광이 되고, 빔스플리터(220)에 반사되어 제2 편광판(242)에 입사한다. 제2 편광판(242)은 제2 편광(⊙)의 광만을 투과시키므로 입사된 제2 편광(⊙)의 광은 투과되어 사용자(UE)의 시야에 전달될 수 있다.
한편, 제2 편광판(242) 및 1/4 파장판(244)에 의해 출사면(OS)으로 입사된 외부로부터의 노이즈 광(Ln)은 사용자(UE)의 시야에 도달하지 못 할 수 있다. 즉, 노이즈 광(L_n)은 제2 편광판(242)를 지나며 제2 편광(⊙)의 광이 되고, 빔스플리터에 반사되어, 제1/4 파장판(244)을 투과하여 반대 방향의 원편광의 광이 되고,　오목　미러(230)에서 반사된 후 원편광의 광이 된다. 다음, 다시 1/4 파장판(244)을 지난 후 제1 편광(↔)의 광이 되고, 빔스플리터에 반사되어 제2 편광판(242)에 입사한다. 제2 편광판(242)은 제2 편광(⊙)의 광만을 투과시키므로 입사된 제1 편광(↔)의 노이즈 광(Ln)은 흡수된다.
일 실시예에 따른 광결합기(200_1)는 제2 면(S2) 상에 배치되는 제3 편광판(243)을 더 포함할 수 있다. 제3 편광판(243)은 제2 편광판(242)과 동일한 편광축을 가질 수 있다. 즉, 제2 편광(⊙)의 광을 투과시키는 편광축을 가질 수 있다. 이로 인해, 광도파로(210)의 제2 면(S2)으로 입사된 제2 영상에 대한 제2 광(L2)은 사용자(UE)의 시야에 도달할 수 있다. 즉, 제2 광(L2)은 제3 편광판(243)을 지나며 제2 편광(⊙)의 광이 되고, 다음 제2 편광판(242)에 입사한다. 제2 편광판(242)은 제2 편광(⊙)의 광만을 투과시키므로 입사된 제2 편광(⊙)의 광은 투과되어 사용자(UE)의 시야에 전달될 수 있다.
도 11은 본 발명의 일 실시예에 따른 라이트 필드 표시 장치의 영상 처리 방법을 설명하기 위한 순서도이다.
도 1 내지 도 11을 참조하면, 복수의 화소들(PX)을 포함하고, 영상 데이터에 따른 3차원 영상을 표시하는 표시 모듈(100) 및 사용자(UE)의 좌안 및 우안의 위치를 추적하는 눈 추적 센서(300)를 포함하는 라이트 필드 표시 장치(1000)의 영상 처리 방법은, 다시점 영상 생성기(410)로 3D 모델링 데이터를 수신할 수 있다(S10).
이 때, 3D 영상 데이터는 제1 영상(OJ)에 포함된 3차원 객체의 좌표 정보 및 깊이 정보를 포함할 수 있다.
3D 영상 데이터는 라이트 필드 표시 장치(1000)에 포함된 메모리(미도시)로부터 제공될 수 있다. 다만, 이에 한정되는 것은 아니고, 3D 영상 데이터는 외부 장치로부터 제공될 수도 있다.
다음으로, 3D 모델링 데이터를 다시점 가상 카메라들에 의해 제1 다시점 영상들로 변환할 수 있다(S20).
다시점 가상 카메라는 애프리케이션(application)으로 구현될 수 있다. 다시점 가상 카메라는 복수의 가상 카메라들을 포함하며, 다시점 영상 생성기(410)는 복수의 가상 카메라들 간의 간격 및 각도 등에 대한 설정 정보에 기반하여 3D 영상 데이터를 제1 다시점 영상들로 변환할 수 있다. 다시점 가상 카메라들은 상기 사용자(UE)의 좌안 및 우안 각각에 대하여 적어도 2 개 이상 할당될 수 있다.
다음으로, 그래픽 프로세서(420)에 의해 제1 다시점 영상들 각각을 복수의 화소(PX)에 맵핑하여 영상 데이터를 출력할 수 있다(S30).
그래픽 프로세서(420)는 다시점 영상 맵핑 알고리즘에 의해서 다시점 정보가 있는 영상을 라이트 필드 시점 배열 규칙에 따라 화소 단위로 재배열하는 일련의 동작을 수행할 수 있다.
그래픽 프로세서(420)는 영상 데이터를 도 4a에 도시된 표시 패널(110)의 구동부(미도시)에 제공할 수 있다. 표시 패널(110)(또는, 표시 모듈(100))은 수신한 영상 데이터에 기초하여 3차원 영상을 표시할 수 있다.
다음으로, 눈 추적 센서에 의해 사용자(UE)의 양안의 위치를 검출할 수 있다(S40).
눈 추적 센서(300)는 실시간으로 사용자(UE)를 촬영하여 촬영 영상을 생성할 수 있다. 눈 추적 센서(300)는 촬영 영상을 제어부(400)의 다시점 영상 생성기(410)에 제공할 수 있다. 예를 들어, 눈 추적 센서(300)는 웹 카메라, 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 등이 이용될 수 있다. 제어부는 촬영 영상으로부터 사용자의 좌안 및 우안의 위치를 계산할 수 있다.
다음으로, 검출된 사용자의 양안의 위치 변화에 대응하여, 다시점 가상 카메라들의 위치를 변경함으로써, 3D 모델링 데이터를 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환할 수 있다(S50).
다시점 영상 생성기(410)는 촬영 영상으로부터 사용자(UE)의 좌안 및 우안의 위치 정보를 제공받을 수 있다. 다시점 영상 생성기(410)는 눈 추적 센서(300)에 의해 검출된 사용자(UE)의 좌안 및 우안의 위치 변화에 대응하여, 다시점 가상 카메라들의 위치를 변경함으로써, 3D 모델링 데이터를 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환할 수 있다.
도 7을 참조하면, 사용자(UE)의 좌안의 위치(LL3)는 제2 서브 시야각 구간(SV2)에 대응되고, 사용자(UE)의 우안의 위치(RR3)는 기본 시야각 구간(MV)에 대응된다. 다만, 도 6에 도시된 실시예와 다르게, 기본 시야각 구간(MV) 및 제1 내지 제8 서브 시야각 구간들(SV1~SV8) 각각에 표시되는 다시점 영상들이 고정적이지 않고 가변적이다. 즉, 다시점 영상 생성기(410)는 눈 추적 센서(300)에 의해 검출된 사용자(UE)의 좌안의 위치(LL3) 및 우안의 위치(RR3) 변화에 대응하여, 다시점 가상 카메라들의 위치를 변경함으로써, 3D 모델링 데이터에 대한 기존의 다시점 영상들을 새로운 다시점 영상들로 변환할 수 있다.
예를 들어, 눈 추적 센서(300)에 의해 제2 서브 시야각 구간(SV2)에 사용자(UE)의 좌안의 위치(LL3)가 대응되는 것으로 검출된 경우, 다시점 영상 생성기(410)는 제2 서브 시야각 구간(SV2)에 제1 내지 제8 다시점 가상 카메라를 배치하고, 제1 군의 다시점 영상(i.e. 제9 내지 제16 다시점 영상; 도 6 참조)을 제2 군의 다시점 영상(i.e. 제1 내지 제8 다시점 영상; 도 7 참조)으로 변환할 수 있다.
이 후, 그래픽 프로세서(420)는 제2 서브 시야각 구간(SV2)을 기준으로, 제1 내지 제16 다시점 영상들이 순차적으로 반복 표시되도록 영상 데이터를 생성할 수 있다. 예를 들어, 제1 서브 시야각 구간(SV1), 제3 서브 시야각 구간(SV3), 제5 서브 시야각 구간(SV5) 및 제7 서브 시야각 구간(SV7)에 제9 내지 제16 다시점 영상들(또는, 우 시점 영상)이 표시되도록 영상 데이터를 생성하고, 제2 서브 시야각 구간(SV2), 제4 서브 시야각 구간(SV4), 제6 서브 시야각 구간(SV6) 및 제8 서브 시야각 구간(SV8)에 제1 내지 제8 다시점 영상들(또는, 좌 시점 영상들)이 표시되도록 영상 데이터를 생성할 수 있다.
일 실시예에 따르면 사용자(UE)와 눈 추적 센서(300) 사이의 거리를 산출하고, 산출된 거리에 대응하여, 다시점 가상 카메라들의 간격을 변경함으로써, 3D 모델링 데이터를 제2 군의 다시점 영상과 다른 제3 군의 다시점 영상들로 변환할 수 있다.
이상에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 라이트 필드 표시 장치
100: 표시 모듈
110: 표시 패널
120: 마이크로 렌즈 어레이
200: 광결합기
210: 광도파로
220: 빔스플리터
230: 오목 미러
300: 눈 추적 센서
400: 제어부
MV: 기본 시야각 구간
SV1~SV8: 제1 내지 제8 서브 시야각 구간들

Claims (20)

  1. 표시 모듈;
    상기 표시 모듈로부터 출사된 제1 영상 및 상기 제1 영상과 다른 경로로부터 출사된 제2 영상을 결합한 제3 영상을 출사하고, 상기 제1 영상이 입사하는 제1 면, 상기 제1 면과 수직으로 배치되고 상기 제2 영상이 입사하는 제2 면, 상기 제2 면과 마주하고 상기 제3 영상이 출사되는 출사면을 구비하는 광 결합기; 및
    3D 모델링 데이터에 기반해서 영상 데이터를 생성하고, 상기 영상 데이터를 상기 표시 모듈로 제공하는 제어부;를 포함하되,
    상기 광 결합기는,
    상기 제1 면, 상기 제2 면, 상기 출사면 및 상기 제1 면과 마주하는 제3 면을 구비하는 광도파로;
    상기 광도파로 내부에 상기 출사면에 대해 비스듬하게 배치된 빔스플리터; 및
    상기 광도파로의 상기 제3 면에 인접 배치된 오목 미러;를 포함하고,
    상기 제어부는,
    상기 3D 모델링 데이터에 포함된 깊이 정보에 대응하여, 상기 제3 면을 기준으로 상기 오목 미러를 상하로 이동시키는 라이트 필드 표시 장치.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 깊이 정보에 포함된 깊이값이 기준 깊이값보다 큰 경우, 상기 깊이값과 상기 기준 깊이값의 차이의 크기에 대응하여, 상기 오목 미러를 상기 제3 면으로부터 아래 방향으로 이동시키는 라이트 필드 표시 장치.
  3. 제2 항에 있어서,
    상기 제1 영상은,
    상기 3D 모델링 데이터가 상기 기준 깊이값을 가지는 경우, 상기 제2 면에서 표시되고,
    상기 3D 모델링 데이터가 상기 기준 깊이값보다 큰 깊이값을 가질수록 상기 빔스플리터와 인접한 영역에서 표시되는 라이트 필드 표시 장치.
  4. 제1 항에 있어서,
    상기 빔스플리터는 하프 미러(half mirror)인 라이트 필드 표시 장치.
  5. 제1 항에 있어서,
    상기 출사면으로 입사된 광이 상기 빔스플리터 및 상기 오목 미러를 경유하여 다시 상기 출사면으로 출사되지 않도록 하는 복수의 편광판을 포함하되,
    상기 복수의 편광판은,
    상기 제1 면 상에 배치된 제1 편광판; 및
    상기 출사면 상에 배치되고, 상기 제1 편광판과 편광축이 수직인 제2 편광판;을 포함하는 라이트 필드 표시 장치.
  6. 제5 항에 있어서,
    상기 제3 면과 상기 오목 미러 사이에 배치되는 1/4 파장판을 포함하는 라이트 필드 표시 장치.
  7. 제5 항에 있어서,
    상기 제2 면 상에 배치되고, 상기 제2 편광판과 편광축이 나란한 제3 편광판을 더 포함하는 라이트 필드 표시 장치.
  8. 제1 항에 있어서,
    상기 표시 모듈은,
    복수의 화소들을 포함하는 표시 패널; 및
    상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함하는 라이트 필드 표시 장치.
  9. 제8 항에 있어서,
    상기 복수의 마이크로 렌즈들의 피치는, 기본 시야각 구간의 시야갹을 약 6°가 되도록 설계되는 것을 특징으로 하는 라이트 필드 표시 장치.
  10. 제9 항에 있어서,
    사용자의 양안의 위치를 추적하는 눈 추적(eye tracking) 센서를 더 포함하는 라이트 필드 표시 장치.
  11. 제10 항에 있어서,
    상기 제어부는,
    상기 3D 모델링 데이터를 다시점 가상 카메라들에 의해 제1 군의 다시점 영상으로 변환하는 다시점 영상 생성기; 및
    상기 제1 군의 다시점 영상을 상기 복수의 화소에 맵핑시키는 그래픽 프로세서;를 포함하는 라이트 필드 표시 장치.
  12. 제11 항에 있어서,
    상기 다시점 가상 카메라들은 상기 사용자의 좌안 및 우안 각각에 대응되도록 적어도 2 개 이상 배치되는 것을 특징으로 하는 라이트 필드 표시 장치.
  13. 제11 항에 있어서,
    상기 기본 시야각 구간의 좌우측에는 복수의 서브 시야각 구간들을 포함하고,
    상기 서브 시야각 구간들 각각은 상기 기본 시야각 구간의 절반에 해당하는 시야각을 가지는 라이트 필드 표시 장치.
  14. 제13 항에 있어서,
    상기 기본 시야각 구간 및 상기 복수의 시야각 구간들을 포함하는 확장 시야각 구간의 시야각은, 상기 기본 시야각 구간의 시야각의 5배 내지 10배인 것을 특징으로 하는 라이트 필드 표시 장치.
  15. 제11 항에 있어서,
    상기 다시점 영상 생성기는,
    상기 눈 추적 센서에 의해 검출된 상기 사용자의 양안의 위치 변화에 대응하여, 상기 다시점 가상 카메라들의 위치를 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환하는 라이트 필드 표시 장치.
  16. 제11 항에 있어서,
    상기 다시점 영상 생성기는,
    상기 사용자와 상기 눈 추적 센서 사이의 거리를 산출하고, 상기 산출된 거리에 대응하여, 상기 다시점 가상 카메라들의 간격을 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환하는 라이트 필드 표시 장치.
  17. 제16 항에 있어서,
    상기 다시점 영상 생성기는,
    상기 산출된 사용자와 상기 눈 추적 센서 사이의 거리가 멀어지면, 상기 다시점 가상 카메라들 간의 간격을 넓히고,
    상기 산출된 사용자와 상기 눈 추적 센서 사이의 거리가 가까워지면, 상기 다시점 가상 카메라들 간의 간격을 줄이는 것을 특징으로 하는 라이트 필드 표시 장치.
  18. 복수의 화소들을 포함하고, 영상 데이터에 따른 영상을 표시하는 표시 모듈, 광결합기 및 눈 추적 센서를 포함하는 라이트 필드 표시 장치의 영상 처리 방법에 있어서,
    3D 모델링 데이터를 수신하는 단계;
    상기 3D 모델링 데이터를 다시점 가상 카메라들에 의해 제1 군의 다시점 영상으로 변환하는 단계;
    상기 제1 군의 다시점 영상 각각을 상기 복수의 화소에 맵핑하여 상기 영상 데이터를 출력하는 단계를 포함하되,
    상기 눈 추적 센서에 의해 사용자의 양안의 위치를 검출하는 단계; 및
    검출된 상기 사용자의 양안의 위치 변화에 대응하여, 상기 다시점 가상 카메라들의 위치를 변경함으로써, 상기 3D 모델링 데이터를 상기 제1 군의 다시점 영상과 다른 제2 군의 다시점 영상들로 변환하는 단계를 더 포함하는 라이트 필드 표시 장치의 영상 처리 방법.
  19. 제18 항에 있어서,
    상기 표시 모듈은, 상기 복수의 화소들을 포함하는 표시 패널, 및 상기 표시 패널 상에 배치되고 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이를 포함하고,
    상기 복수의 마이크로 렌즈들의 피치는, 기본 시야각 구간의 시야각을 약 6°가 되도록 설계되는 것을 특징으로 하는 라이트 필드 표시 장치의 영상 처리 방법.
  20. 제18 항에 있어서,
    상기 사용자와 상기 눈 추적 센서 사이의 거리를 산출단계; 및
    상기 산출된 거리에 대응하여, 상기 다시점 가상 카메라들의 간격을 변경함으로써, 상기 3D 모델링 데이터를 상기 제2 군의 다시점 영상과 다른 제3 군의 다시점 영상들로 변환하는 단계를 더 포함하는 라이트 필드 표시 장치의 영상 처리 방법.
KR1020200113389A 2020-09-04 2020-09-04 라이트 필드 표시 장치 및 이의 영상 처리 방법 KR20220031850A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200113389A KR20220031850A (ko) 2020-09-04 2020-09-04 라이트 필드 표시 장치 및 이의 영상 처리 방법
US17/347,675 US11553171B2 (en) 2020-09-04 2021-06-15 Light field display device and method of processing image of the same
CN202111024827.2A CN114137737A (zh) 2020-09-04 2021-09-02 光场显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200113389A KR20220031850A (ko) 2020-09-04 2020-09-04 라이트 필드 표시 장치 및 이의 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR20220031850A true KR20220031850A (ko) 2022-03-14

Family

ID=80393913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200113389A KR20220031850A (ko) 2020-09-04 2020-09-04 라이트 필드 표시 장치 및 이의 영상 처리 방법

Country Status (3)

Country Link
US (1) US11553171B2 (ko)
KR (1) KR20220031850A (ko)
CN (1) CN114137737A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043515A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 몰입감 있는 영상을 제공하는 디스플레이 장치
KR20240048637A (ko) * 2022-10-07 2024-04-16 주식회사 조이그램 홀로그래픽 광학 소자 및 플렌옵틱 디스플레이를 활용한 공간 인터랙션 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220031850A (ko) * 2020-09-04 2022-03-14 삼성디스플레이 주식회사 라이트 필드 표시 장치 및 이의 영상 처리 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11609427B2 (en) * 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
CN108700743A (zh) 2016-01-22 2018-10-23 康宁股份有限公司 宽视场个人显示器
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
KR102485447B1 (ko) 2017-08-09 2023-01-05 삼성전자주식회사 광학 윈도우 시스템 및 이를 포함하는 투시형 디스플레이 장치
KR20190118846A (ko) 2018-04-11 2019-10-21 한국과학기술연구원 다초점 증강현실 장치
KR102530278B1 (ko) 2018-10-18 2023-05-10 삼성디스플레이 주식회사 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
US11385474B2 (en) * 2020-03-31 2022-07-12 Disney Enterprises, Inc. Visual effect system including perspective-correct autostereoscopic retroreflective projection
KR20220031850A (ko) * 2020-09-04 2022-03-14 삼성디스플레이 주식회사 라이트 필드 표시 장치 및 이의 영상 처리 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043515A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 몰입감 있는 영상을 제공하는 디스플레이 장치
KR20240048637A (ko) * 2022-10-07 2024-04-16 주식회사 조이그램 홀로그래픽 광학 소자 및 플렌옵틱 디스플레이를 활용한 공간 인터랙션 시스템

Also Published As

Publication number Publication date
CN114137737A (zh) 2022-03-04
US11553171B2 (en) 2023-01-10
US20220078398A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
JP6782703B2 (ja) 時分割多重の視覚ディスプレイ
US10429660B2 (en) Directive colour filter and naked-eye 3D display apparatus
US11553171B2 (en) Light field display device and method of processing image of the same
JP3151347B2 (ja) 自動立体方向性ディスプレイ装置
US11054661B2 (en) Near-eye display device and near-eye display method
US20160202594A1 (en) Backlight unit and display apparatus including the same
US10642061B2 (en) Display panel and display apparatus
JP2023517828A (ja) 高解像度液晶ディスプレイ
JP2022520807A (ja) 高解像度３ｄディスプレイ
KR101830155B1 (ko) 고해상도 다중패널을 이용한 3차원 디스플레이
WO1996003671A1 (en) Three-dimensional display method(s) and apparatus
WO2021175341A1 (zh) 一种多背光光源的显示模组
JP2008541165A (ja) フラットパネルディスプレイを利用した３次元映像表示装置
CN112526763B (zh) 一种光场3d显示装置及其驱动方法
JP7438737B2 (ja) ３次元映像を表示する装置及び方法
CN112335237A (zh) 显示三维图像的立体显示系统和方法
CN117795396A (zh) 显示设备和显示方法
JP3739348B2 (ja) 三次元表示装置
TWI394983B (zh) 自動立體顯示之可控制的照明裝置
KR101093929B1 (ko) 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템
JP2016110146A (ja) 画像表示装置
KR20190079175A (ko) 공간 영상 투영 장치
JP3739349B2 (ja) 三次元表示装置
KR101514133B1 (ko) 입체 영상 표시 장치의 서브 패널
KR101768341B1 (ko) 평행구조를 이용한 다방향 공간 영상 투영 장치

Legal Events

Date Code Title Description
A201 Request for examination