KR20220146179A - 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법 - Google Patents

끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법 Download PDF

Info

Publication number
KR20220146179A
KR20220146179A KR1020210053125A KR20210053125A KR20220146179A KR 20220146179 A KR20220146179 A KR 20220146179A KR 1020210053125 A KR1020210053125 A KR 1020210053125A KR 20210053125 A KR20210053125 A KR 20210053125A KR 20220146179 A KR20220146179 A KR 20220146179A
Authority
KR
South Korea
Prior art keywords
mode
image
observer
region
display panel
Prior art date
Application number
KR1020210053125A
Other languages
English (en)
Other versions
KR102551963B1 (ko
Inventor
김남
임영태
권기철
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020210053125A priority Critical patent/KR102551963B1/ko
Publication of KR20220146179A publication Critical patent/KR20220146179A/ko
Application granted granted Critical
Publication of KR102551963B1 publication Critical patent/KR102551963B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 영상을 제공하기 위한 디스플레이 패널 및 렌즈 어레이를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에 관한 것으로서, 관측자의 위치를 감지하기 위한 깊이 카메라, 상기 렌즈 어레이를 가이드하여 선형으로 이동시키기 위한 리니어 스테이지, 상기 리니어 스테이지를 구동시키기 위한 구동부 및 상기 디스플레이 패널을 통해 3차원 영상이 디스플레이되도록 하며, 상기 깊이 카메라에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 제어부를 포함한다.
본 발명에 의하면, 어떤 위치에서도 관측자에게 높은 해상도를 갖는 고품질의 3차원 영상을 제공하는 효과가 있다.

Description

끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법{Light Field Digital Information Display System and method with Non-Discontinuous 3-D Image transmission}
본 발명은 디지털 정보 디스플레이 기술에 관한 것으로서, 더욱 상세하게는 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 기술에 관한 것이다.
기존의 고정된 광고판 또는 현수막 등을 이용한 정적인 광고는 소비자들의 눈길을 사로잡기에 한계가 있기 때문에, 최근에는 광고효과를 극대화하기 위해 전시되는 화면이 화려하게 시시각각 변화하는 동적인 광고 시스템이 사람들의 눈길을 끌기 시작했다.
이러한 변화에 맞추어 LCD(액정디스플레이, Liquid Crystal Display)의 대형화, 고휘도화를 앞세워 디스플레이 산업의 5대 신성장 동력 중 하나로 급부상한 DID(Digital Information Display)는 그 시장에서 점차 그 영역을 키워나가고 있다. DID는 기업광고 혹은 홍보를 위해 운영하는 옥내외용 디스플레이 전광판을 말한다.
제공하고자 하는 서비스 또는 재화를 소비자에게 더욱 시각적인 방법으로 전달하기 위해 3차원 디스플레이 기술을 적용하려고 노력하고 있으나, 2010년 초반을 기점으로 LCD 패널의 한계 및 3차원 디스플레이 기술의 한계로 인하여 적용에 한계가 있었다.
하지만, 최근 LCD 패널의 대형화 및 고해상도화가 진행되고, 마이크로 LED 및 나노 LED 디스플레이 기술이 상용화에 근접함에 따라, 라이트 필드(light field) 기술을 적용한 3차원 디스플레이 기술의 구현이 가능해지고 있다.
도 1은 라이트 필드 기술에 기반한 3차원 디스플레이 기술을 예시한 것이다.
최근 시판되고 있는 4K 또는 8K 고해상도 디스플레이 패널에서는 요소 영상 기반의 콘텐츠가 재생되고, 디스플레이 패널 정면에 평행하게 렌즈 어레이를 장착하게 되면 각 요소 영상은 렌즈 어레이와 매칭되어 특정한 영역에 3차원 영상이 재생되는 시스템을 제공하고 있다.
이러한 3차원 영상은 기존의 3차원 TV 또는 모니터와 달리, 안경을 쓰지 않고 입체영상을 디스플레이 할 수 있을 뿐 아니라, 수평 방향에 대한 3차원 정보를 제공하는 렌티큘러(Lenticular) 방식의 디스플레이와는 달리 수직, 수평, 대각선 방향에 대한 입체정보를 제공할 수 있는 장점이 있다.
이러한 라이트 필드 기술을 이용한 디스플레이 구성을 위해서는 몇 가지 절충되는 요인에 대해서 선택해야 한다.
첫 번째, 렌즈 어레이의 초점거리와 디스플레이 패널 사이의 거리가 상이할 때 재생되는 영상이 리얼/버츄얼(Real/Virtual) 모드가 되어 3차원 이미지를 이루는 3차원 공간 화소의 크기가 작아져서, 최종 3차원 재생 영상의 품질은 향상되나, 중앙 깊이 면(Central Dpeth Plane)의 주위에서 매우 좁게 형성되므로 높은 품질의 시청 가능한 영역이 제한된다.
두 번째, 렌즈 어레이의 초점거리와 디스플레이 패널 사이의 거리가 같을 때 재생되는 영상의 3차원 공간 화소의 크기는 렌즈 어레이의 크기와 같기 때문에, 넓은 범위에서 3차원 영상의 시청 가능한 영역이 생성되는 장점을 가지고 있으나, 3차원 이미지를 구성하는 화소의 크기가 단일 렌즈의 크기로 고정되기 때문에 낮은 3차원 영상 품질을 갖게되는 단점이 있다.
따라서 DID의 경우 정보를 제공하는 측면에서 관측자에게 고품질의 영상을 제공해야 하기 때문에, 흥미 유발에 어떠한 방해요소가 발생한다면, 이로 인해 DID의 정보 전달 목적을 위배하게 된다.
그리고 관측자의 위치에 따라 거리가 멀리 떨어져 있는 위치에서 3차원 효과에 대한 인지가 발생하여 DID로 시선을 이끌 수 있게 하기 위해서는, 관측자의 거리에 상관없이 고품질의 3차원 라이트 필드 영상을 끊임없이 제공할 필요가 있다.
대한민국 등록특허 10-1896339
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 관측자의 거리에 따라 최적의 3차원 영상 정보를 제공하기 위하여, 라이트 필드 기술을 이용한 고화질의 3차원 디지털 정보 디스플레이 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 3차원 영상을 제공하기 위한 디스플레이 패널 및 렌즈 어레이를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에 관한 것으로서, 관측자의 위치를 감지하기 위한 깊이 카메라, 상기 렌즈 어레이를 가이드하여 선형으로 이동시키기 위한 리니어 스테이지, 상기 리니어 스테이지를 구동시키기 위한 구동부 및 상기 디스플레이 패널을 통해 3차원 영상이 디스플레이되도록 하며, 상기 깊이 카메라에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 제어부를 포함한다.
상기 디스플레이 패널과 상기 렌즈 어레이 간의 거리를 g, 상기 렌즈 어레이의 초점거리를 f라 할 때, g=f이면 포커스드 모드이고, g>f이면 리얼 모드이고, g<f이면 버츄얼 모드이고, 상기 포커스드 모드에서 최적의 3차원 영상이 제공되는 영역을 포커스드 모드 영역, 상기 리얼 모드에서 최적의 3차원 영상이 제공되는 영역을 리얼 모드 영역, 상기 버츄얼 모드에서 최적의 3차원 영상이 제공되는 영역을 버츄얼 모드 영역이라고 할 때, 상기 제어부는 상기 깊이 카메라에서 감지한 관측자의 위치가 상기 포커스드 모드 영역, 상기 리얼 모드 영역, 상기 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 상기 구동부를 제어할 수 있다.
상기 제어부는, 관측자의 위치가 상기 포커스드 모드 영역에 있으면, 상기 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하고, 관측자의 위치가 상기 리얼 모드 영역에 있으면, 상기 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하고, 관측자의 위치가 상기 버츄얼 모드 영역에 있으면, 상기 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 할 수 있다.
본 발명의 3차원 영상을 제공하기 위한 디스플레이 패널, 렌즈 어레이, 상기 렌즈 어레이를 가이드하여 선형으로 이동시키기 위한 리니어 스테이지 및 상기 리니어 스테이지를 구동시키기 위한 구동부를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에서의 디지털 정보 디스플레이 방법에서, 깊이 카메라에서 관측자의 위치를 감지하는 단계 및 상기 디스플레이 패널을 통해 3차원 영상이 디스플레이되도록 하며, 상기 깊이 카메라에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 단계를 포함한다.
상기 디스플레이 패널과 상기 렌즈 어레이 간의 거리를 g, 상기 렌즈 어레이의 초점거리를 f라 할 때, g=f이면 포커스드 모드이고, g>f이면 리얼 모드이고, g<f이면 버츄얼 모드이고, 상기 포커스드 모드에서 최적의 3차원 영상이 제공되는 영역을 포커스드 모드 영역, 상기 리얼 모드에서 최적의 3차원 영상이 제공되는 영역을 리얼 모드 영역, 상기 버츄얼 모드에서 최적의 3차원 영상이 제공되는 영역을 버츄얼 모드 영역이라고 할 때, 상기 깊이 카메라에서 감지한 관측자의 위치가 상기 포커스드 모드 영역, 상기 리얼 모드 영역, 상기 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 상기 구동부를 제어할 수 있다.
관측자의 위치가 상기 포커스드 모드 영역에 있으면, 상기 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계, 관측자의 위치가 상기 리얼 모드 영역에 있으면, 상기 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계 및 관측자의 위치가 상기 버츄얼 모드 영역에 있으면, 상기 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 관측자의 위치에 따라 렌즈 어레이의 위치와 재생되는 요소 영상을 변화시켜 최적의 3차원 영상을 제공함으로써, 어떤 위치에서도 관측자에게 높은 해상도를 갖는 고품질의 3차원 영상을 제공하는 효과가 있다. 따라서, 관측자에게 제공하고자 하는 3차원 정보에 대한 흥미를 유발시킬 수 있는 효과가 있다.
도 1은 라이트 필드 기술에 기반한 3차원 디스플레이 기술을 예시한 것이다.
도 2는 3차원 영상을 제공하는 디지털 정보 디스플레이 시스템에서 포커스드 모드의 구조를 도시한 것이다.
도 3은 3차원 영상을 제공하는 디지털 정보 디스플레이 시스템에서 리얼 모드의 구조를 도시한 것이다.
도 4는 도 3의 리얼 모드에서 유효 깊이 인식 범위와 3차원 이미지 화소의 크기를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구성을 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구조를 개념적으로 도시한 것이다.
도 7은 본 발명의 다른 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구조를 개념적으로 도시한 것이다.
도 8은 요소 영상 생성 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 정보 디스플레이 방법을 보여주는 흐름도이다.
본 명세서에서 개시된 실시 예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시 예는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시 예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시 예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시 예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 3차원 영상을 제공하는 디지털 정보 디스플레이 시스템에서 포커스드 모드의 구조를 도시한 것이고, 도 3은 3차원 영상을 제공하는 디지털 정보 디스플레이 시스템에서 리얼 모드의 구조를 도시한 것이다.
도 2 및 도 3을 참조하면, 3차원 영상을 제공하는 디지털 정보 디스플레이 시스템에서 디스플레이 패널과 렌즈 어레이 간의 거리를 g, 상기 렌즈 어레이의 초점거리를 f라 할 때, g=f이면 포커스드(focused) 모드이고, g>f이면 리얼(real) 모드이고, g<f이면 버츄얼(virtual) 모드라고 한다.
리얼 모드에서는 3차원 영상이 렌즈 어레이와 관측자 사이에 결상되며, 버츄얼 모드에서는 3차원 영상이 관측자 기준으로 디스플레이 후면에 결상된다.
최근 범용으로 판매되고 있는 디스플레이의 가장 작은 픽셀 사이즈가 약 90um 일 때, 렌즈 어레이의 초점거리가 3.3mm, 렌즈 어레이의 단일 렌즈 크기가 1mm일 때 가시광선 대역의 3차원 인식 공간은 714mm ~ 1250mm이며 시야각은 약 17°이다. 따라서 영상의 파장에 따라 최소 714mm, 최대 1250mm 이내까지 관측자의 눈이 해당 영역내에 들어와야 3차원 영상을 인식할 수 있다. 해당 위치에서 3차원 이미지의 화소 크기가 1mm, 즉 렌즈 어레이의 단일 렌즈 크기와 같다.
이 때 관측자의 위치가 714mm 이내로 들어올 경우, 공간 해상도의 관점에서 디스플레이와 가까이 갈수록 관측자가 느끼는 공간해상도의 분해능이 떨어지는 인식을 갖게 된다. 이는 멀리서 한 점을 보는 것과 가까이서 한 점을 보는 것에서, 한 점의 크기를 느끼는 것이 거리에 따라 달라짐을 말하며, 이는 공간해상도 측면에서 3차원 정보를 이루는 한 화소가 단일 렌즈의 크기이기 때문에 가까이 갈수록 동공에 입사되는 화소의 크기가 커보이며, 이는 3차원 이미지의 품질의 저하를 발생시킨다.
따라서 관측자가 디스플레이에 접근할수록 포커스드 모드에서 리얼 및 버츄얼 모드로 변환해야 관측자가 느끼는 3차원 품질을 향상시킬 수 있다.
도 4는 도 3의 리얼 모드에서 유효 깊이 인식 범위와 3차원 이미지 화소의 크기를 도시한 것이다.
도 4에서 보는 바와 같이, 리얼 모드의 경우, 유효한 깊이 인식 거리를 나타내는 관측 깊이 Dr 이 매우 좁기 때문에, 관측자의 위치에 따라 렌즈 어레이의 위치를 이동시켜야 한다.
도 5는 본 발명의 일 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구성을 도시한 블록도이고, 도 6은 본 발명의 일 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구조를 개념적으로 도시한 것이고, 도 7은 본 발명의 다른 실시예에 따른 라이트 필드 디지털 정보 디스플레이 시스템의 구조를 개념적으로 도시한 것이다.
도 6은 RGB, IR 에미터(emitter) 기반의 깊이 카메라를 예시한 실시예이고, 도 7은 양안 카메라(stereo depth camera) 기반의 깊이 카메라를 예시한 실시예이다.
도 5 내지 도 7을 참조하면, 본 발명은 3차원 영상을 제공하기 위한 디스플레이 패널(display panel)(10) 및 렌즈 어레이(lens array)(20)를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에 관한 것이다.
본 발명에서 라이트 필드 디지털 정보 디스플레이 시스템은 깊이 카메라(depth camera)(110), 제어부(120), 구동부(130) 및 리니어 스테이지(linear stage)(140)를 포함한다.
깊이 카메라(110)는 관측자의 위치를 감지하는 역할을 한다.
구동부(130)는 리니어 스테이지(140)를 구동시키는 역할을 한다.
리니어 스테이지(140)는 렌즈 어레이(20)를 가이드하여 선형으로 이동시키는 역할을 한다. 리니어 스테이지(140)에는 렌즈 어레이(20)를 체결하여 선형으로 이동시키도록 렌즈 어레이 가이드(lens array guide)(30)가 구비되어 있다.
제어부(120)는 디스플레이 패널(10)을 통해 3차원 영상이 디스플레이되도록 하며, 깊이 카메라(110)에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 구동부(130)를 제어한다.
도 6에서 보는 바와 같이, 본 발명에서 포커스드 모드(g=f)에서 최적의 3차원 영상이 제공되는 영역을 포커스드 모드 영역, 리얼 모드(g>f)에서 최적의 3차원 영상이 제공되는 영역을 리얼 모드 영역, 버츄얼 모드(g<f)에서 최적의 3차원 영상이 제공되는 영역을 버츄얼 모드 영역이라 한다.
본 발명의 일 실시예에서 포커스드 모드 영역, 리얼 모드 영역, 버츄얼 모드 영역을 설정하는 과정을 다음과 같이 설명한다.
D는 3차원 영상을 측정할 수 있는 구간,
Figure pat00001
는 렌즈 어레이에 의해 결상되는 이미지의 중심으로부터 라이트 필드 이미지가 렌즈 어레이를 통과하여 결상되는 위치와의 차이, d는 단일 렌즈 어레이의 피치 사이즈,
Figure pat00002
라고 할 때,
Figure pat00003
(1)
의 수학식으로 나타낼 수 있다.
수학식 (1)을 통해 포커스드 모드 영역, 리얼 모드 영역, 버츄얼 모드 영역으로 구분할 수 있다.
본 발명에서 수학식 (1)을 이용하여 라이트 필드 시스템이 가진 스펙들을 조합하여 g=f, g>f, g<f 를 미리 계산하고, 깊이 카메라를 통해 관측자가 있는 구간을 미리 계산된 결과치와 비교하여 포커스드 모드 영역, 리얼 모드 영역, 버츄얼 모드 영역 중 특정 영역에 있을 때, 해당 모드 영역에 따른 최적의 3차원 영상을 제공할 수 있는지를 판단하고, 이에 맞게 리니어 스테이지를 이동하여 최적의 3차원 영상을 볼 수 있는 조건으로 렌즈 어레이의 위치를 이동한다.
예를 들어, 관측자가 디스플레이 패널로 다가오는 경우, 포커스드 모드(g=f)에서 볼 수 있는 3차원 영상 제공의 최대 범위를 벗어나는 순간, 포커스도 모드 영역을 벗어난 것으로 판단하여,
Figure pat00004
에 의해 결정된 g값을 이용하여, g>f, g<f의 조건에서 미리 계산된 데이터를 D값과 비교하는 방식으로 렌즈 어레이의 위치를 조절한다.
제어부(120)는 깊이 카메라(110)에서 감지한 관측자의 위치가 포커스드 모드 영역, 리얼 모드 영역, 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 구동부(130)를 제어할 수 있다. 즉, 제어부(120)는 관측자가 포커스드 모드 영역에 있으면 포커스드 모드(g=f)에 맞게 렌즈 어레이(20)가 위치하도록 구동부(130)를 제어하고, 관측자가 리얼 모드 영역에 있으면 리얼 모드(g>f)에 맞게 렌즈 어레이(20)가 위치하도록 구동부(130)를 제어하고, 관측자가 버츄얼 모드 영역에 있으면 버츄얼 모드(g<f)에 맞게 렌즈 어레이(20)가 위치하도록 구동부(130)를 제어한다.
본 발명의 일 실시예에서 제어부(120)는 리얼 모드의 경우, 렌즈 어레이(20)가 관측 깊이(Dr) 범위 내에 위치하도록 구동부(130)를 제어할 수 있다.
본 발명의 일 실시예에서 재생되어야 할 3차원 요소 영상들은 다음의 절차를 거쳐 생성된다.
공간상에 3D 모델(x,y,z 좌표를 가지고 있는 3D 그래픽스)로부터 특정 거리에 가상의 렌즈 어레이를 위치시키고, 이를 통해 확보될 수 있는 요소 영상을 생성한다. 이는 실물영상 기반이 아닌 3차원 그래픽 툴로 가상의 공간에 영상을 생성하고 이를 기반으로 하는 요소 영상을 생성하는 것을 의미한다.
도 8은 요소 영상 생성 과정을 설명하기 위한 도면이다.
가상의 렌즈 어레이를 통해 요소 영상을 획득하기 위해서는 재생과정과 동일한 방식으로 획득과정의 절차를 밟아야 한다.
우선 가상의 렌즈 어레이로부터 가상의 픽업면까지의 거리에 따라 확보하고자 하는 3차원 그래픽 객체가 특정한 각 θ1(가상의 렌즈 어레이의 최대 시야각의 절반 값), θ2(가상의 렌즈 어레이 중심을 지나며 렌즈 어레이와의 거리에 따라 제어 가능한 각도)를 설정하여 객체의 외부 표면과 렌즈 어레이를 통과하는 선을 생성하고, 이를 가상의 픽업면의 해당 위치에 픽셀값을 위치시키면 가상의 픽업면에 요소영상과 같은 픽셀 배열들이 생성된다.
이 픽셀 배열들은 g값에 따라 각기 변화하기 때문에 해당 g값이 g=f 구간(포커스드 모드 영역), g>f 구간(리얼모드 영역), g<f 구간(버츄얼모드 영역)에 정합될 때의 영상을 생성하고, 해당 영역과 매칭되는 관측자의 위치를 확보했을 때, 이 때의 요소 영상을 재생하도록 한다.
제어부(120)는 관측자의 위치가 포커스드 모드 영역에 있으면, 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 디스플레이 패널(10)을 통해 재생되도록 한다.
그리고, 제어부(120)는 관측자의 위치가 리얼 모드 영역에 있으면, 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 디스플레이 패널(10)을 통해 재생되도록 한다.
그리고, 제어부(120)는 관측자의 위치가 버츄얼 모드 영역에 있으면, 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 디스플레이 패널(10)을 통해 재생되도록 한다.
본 발명의 라이트 필드 디지털 정보 디스플레이 시스템에서의 디지털 정보 디스플레이 방법은 깊이 카메라(110)에서 관측자의 위치를 감지하는 단계 및 제어부(120)가 디스플레이 패널(10)을 통해 3차원 영상이 디스플레이되도록 하며, 깊이 카메라(110)에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 구동부(130)를 제어하는 단계를 포함한다.
본 발명의 일 실시예에서 제어부(120)는 깊이 카메라(110)에서 감지한 관측자의 위치가 포커스드 모드 영역, 리얼 모드 영역, 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 구동부(130)를 제어할 수 있다.
본 발명에서 라이트 필드 디지털 정보 디스플레이 방법은 제어부(120)에서 관측자의 위치가 포커스드 모드 영역에 있으면, 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 디스플레이 패널(10)을 통해 재생되도록 하는 단계, 관측자의 위치가 리얼 모드 영역에 있으면, 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 디스플레이 패널(10)을 통해 재생되도록 하는 단계 및 관측자의 위치가 버츄얼 모드 영역에 있으면, 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 디스플레이 패널을 통해 재생되도록 하는 단계를 더 포함하여 이루어질 수 있다.
도 9는 본 발명의 일 실시예에 따른 디지털 정보 디스플레이 방법을 보여주는 흐름도이다.
도 9의 실시예에서 라이트 필드 디지털 정보 디스플레이 시스템에서 요소 영상과 렌즈 어레이(20)의 위치는 포커스드 모드로 디폴트 설정되어 있다고 가정한다.
도 9를 참조하면, 관측자의 위치가 포커스드 모드 영역에 있으면(S801), 이미 포커스드 모드로 디폴트 설정되어 있기 때문에, 요소 영상에 변동이 없고(S803), 구동부(130)에 변화가 없다(S805).
그리고, 관측자의 위치가 리얼 모드 영역에 있으면(S807), 리얼 모드용 요소 영상이 재생되도록 하고(S809), 리얼 모드에 맞는 위치로 렌즈 어레이(20)가 이동되도록 구동부(130)가 구동된다(S811).
그리고, 관측자의 위치가 버츄얼 모드 영역에 있으면(S813), 버츄얼 모드용 요소 영상이 재생되도록 하고(S815), 버츄얼 모드에 맞는 위치로 렌즈 어레이(20)가 이동되도록 구동부(130)가 구동된다(S817).
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
110 깊이 카메라 120 제어부
130 구동부 140 리니어 스테이지

Claims (6)

  1. 3차원 영상을 제공하기 위한 디스플레이 패널 및 렌즈 어레이를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에서,
    관측자의 위치를 감지하기 위한 깊이 카메라;
    상기 렌즈 어레이를 가이드하여 선형으로 이동시키기 위한 리니어 스테이지;
    상기 리니어 스테이지를 구동시키기 위한 구동부; 및
    상기 디스플레이 패널을 통해 3차원 영상이 디스플레이되도록 하며, 상기 깊이 카메라에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 제어부
    를 포함하는 라이트 필드 디지털 정보 디스플레이 시스템.
  2. 청구항 1에 있어서,
    상기 디스플레이 패널과 상기 렌즈 어레이 간의 거리를 g, 상기 렌즈 어레이의 초점거리를 f라 할 때,
    g=f이면 포커스드 모드이고, g>f이면 리얼 모드이고, g<f이면 버츄얼 모드이고,
    상기 포커스드 모드에서 최적의 3차원 영상이 제공되는 영역을 포커스드 모드 영역, 상기 리얼 모드에서 최적의 3차원 영상이 제공되는 영역을 리얼 모드 영역, 상기 버츄얼 모드에서 최적의 3차원 영상이 제공되는 영역을 버츄얼 모드 영역이라고 할 때,
    상기 제어부는 상기 깊이 카메라에서 감지한 관측자의 위치가 상기 포커스드 모드 영역, 상기 리얼 모드 영역, 상기 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 것을 특징으로 하는 라이트 필드 디지털 정보 디스플레이 시스템.
  3. 청구항 2에 있어서,
    상기 제어부는,
    관측자의 위치가 상기 포커스드 모드 영역에 있으면, 상기 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하고,
    관측자의 위치가 상기 리얼 모드 영역에 있으면, 상기 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하고,
    관측자의 위치가 상기 버츄얼 모드 영역에 있으면, 상기 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 것을 특징으로 하는 라이트 필드 디지털 정보 디스플레이 시스템.
  4. 3차원 영상을 제공하기 위한 디스플레이 패널, 렌즈 어레이, 상기 렌즈 어레이를 가이드하여 선형으로 이동시키기 위한 리니어 스테이지 및 상기 리니어 스테이지를 구동시키기 위한 구동부를 구비하는 라이트 필드 디지털 정보 디스플레이 시스템에서의 디지털 정보 디스플레이 방법에서,
    깊이 카메라에서 관측자의 위치를 감지하는 단계; 및
    상기 디스플레이 패널을 통해 3차원 영상이 디스플레이되도록 하며, 상기 깊이 카메라에서 감지한 관측자의 위치에 따라 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 단계를 포함하는 디지털 정보 디스플레이 방법.
  5. 청구항 4에 있어서,
    상기 디스플레이 패널과 상기 렌즈 어레이 간의 거리를 g, 상기 렌즈 어레이의 초점거리를 f라 할 때,
    g=f이면 포커스드 모드이고, g>f이면 리얼 모드이고, g<f이면 버츄얼 모드이고,
    상기 포커스드 모드에서 최적의 3차원 영상이 제공되는 영역을 포커스드 모드 영역, 상기 리얼 모드에서 최적의 3차원 영상이 제공되는 영역을 리얼 모드 영역, 상기 버츄얼 모드에서 최적의 3차원 영상이 제공되는 영역을 버츄얼 모드 영역이라고 할 때,
    상기 깊이 카메라에서 감지한 관측자의 위치가 상기 포커스드 모드 영역, 상기 리얼 모드 영역, 상기 버츄얼 모드 영역 중에서 어느 영역에 속해 있는지 판단하고, 관측자가 위치한 영역에서 최적의 3차원 영상이 제공되도록 상기 구동부를 제어하는 것을 특징으로 하는 라이트 필드 디지털 정보 디스플레이 방법.
  6. 청구항 5에 있어서,
    관측자의 위치가 상기 포커스드 모드 영역에 있으면, 상기 포커스드 모드에 정합될 때의 요소 영상인 포커스드 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계;
    관측자의 위치가 상기 리얼 모드 영역에 있으면, 상기 리얼 모드에 정합될 때의 요소 영상인 리얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계; 및
    관측자의 위치가 상기 버츄얼 모드 영역에 있으면, 상기 버츄얼 모드에 정합될 때의 요소 영상인 버츄얼 모드용 요소 영상이 상기 디스플레이 패널을 통해 재생되도록 하는 단계를 더 포함하는 것을 특징으로 하는 라이트 필드 디지털 정보 디스플레이 방법.
KR1020210053125A 2021-04-23 2021-04-23 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법 KR102551963B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210053125A KR102551963B1 (ko) 2021-04-23 2021-04-23 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053125A KR102551963B1 (ko) 2021-04-23 2021-04-23 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220146179A true KR20220146179A (ko) 2022-11-01
KR102551963B1 KR102551963B1 (ko) 2023-07-05

Family

ID=84042205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053125A KR102551963B1 (ko) 2021-04-23 2021-04-23 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102551963B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020084470A (ko) * 2001-05-02 2002-11-09 대한민국(서울대학교 총장) 입체 영상 표시 장치
KR20120011424A (ko) * 2010-07-29 2012-02-08 주식회사 팬택 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
KR101896339B1 (ko) 2012-12-27 2018-09-10 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020084470A (ko) * 2001-05-02 2002-11-09 대한민국(서울대학교 총장) 입체 영상 표시 장치
KR20120011424A (ko) * 2010-07-29 2012-02-08 주식회사 팬택 능동형 입체영상 디스플레이 장치 및 그의 구동 방법
KR101896339B1 (ko) 2012-12-27 2018-09-10 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치

Also Published As

Publication number Publication date
KR102551963B1 (ko) 2023-07-05

Similar Documents

Publication Publication Date Title
US6808268B2 (en) Projection system for aerial display of three-dimensional video images
CN104977785B (zh) 组合式可见与不可见投影系统
US20180090052A1 (en) Non-Uniform Resolution, Large Field-of-View Headworn Display
CN107632709B (zh) 显示系统和方法
US10063848B2 (en) Perspective altering display system
US20150146352A1 (en) Display device and display device frame
US20090109404A1 (en) Projection system for aerial display of three-dimensional video images
US8823702B2 (en) Volumetric display with rim-driven, varifocal beamsplitter and high-speed, addressable backlight
US20100020254A1 (en) Multi-panel virtual image display
TW200519833A (en) Optimising brightness control in a 3D image display device
CN101616334A (zh) 视频信号的显示方法和装置
US11619867B2 (en) Image display device
JP2011123465A (ja) 光走査型プロジェクター
US20100302136A1 (en) Method and apparatus for displaying three-dimensional stereo images viewable from different angles
US20140132650A1 (en) Method of driving light source, light source apparatus for performing the method and display apparatus having the light source apparatus
CN108848370B (zh) 全视差可切换的裸眼3d显示装置及其显示方法
CN110870304B (zh) 向用户提供信息以观察多视图内容的方法和装置
US11144272B2 (en) Fan display apparatus, display method and fan display video wall system
KR102551963B1 (ko) 끊김 없는 3차원 영상 제공이 가능한 라이트 필드 디지털 정보 디스플레이 시스템 및 방법
Yan et al. Omnidirectional multiview three-dimensional display based on direction-selective light-emitting diode array
US20200233233A1 (en) Reflective Surround Display System
US20210407463A1 (en) Display apparatus
US10547831B2 (en) Display device and display device frame
US6195069B1 (en) Method and apparatus for 3-dimensional motion picture display
CN111240035A (zh) 透射变焦扫描裸眼三维显示方法

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant