KR20150027670A - Eia 생성 방법 및 이를 수행할 수 있는 장치 - Google Patents

Eia 생성 방법 및 이를 수행할 수 있는 장치 Download PDF

Info

Publication number
KR20150027670A
KR20150027670A KR20130167449A KR20130167449A KR20150027670A KR 20150027670 A KR20150027670 A KR 20150027670A KR 20130167449 A KR20130167449 A KR 20130167449A KR 20130167449 A KR20130167449 A KR 20130167449A KR 20150027670 A KR20150027670 A KR 20150027670A
Authority
KR
South Korea
Prior art keywords
generating
image
eia
view image
clusters
Prior art date
Application number
KR20130167449A
Other languages
English (en)
Inventor
샤오후이 지아오
밍차이 지오우
타오 홍
웨이밍 리
하이타오 왕
김지연
샨동 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/916,437 priority Critical patent/US20160217602A1/en
Priority to PCT/KR2014/003911 priority patent/WO2015034157A1/ko
Publication of KR20150027670A publication Critical patent/KR20150027670A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

EIA를 생성하는 방법 및 이를 수행할 수 있는 장치가 개시된다. 일 실시예에 따른 디스플레이 시스템은 EIA를 디스플레이하는 디스플레이 패널과, 상기 디스플레이 패널의 앞 부분에 위치하는 렌즈 어레이와, 사용자를 촬영하여 깊이 영상을 생성하는 깊이 카메라와, 상기 깊이 영상으로부터 상기 사용자와 상기 디스플레이 시스템과의 시청 거리를 계산하고, 상기 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성하고, 상기 복수의 광선 클러스들을 렌더링하여 다시점 영상을 생성하고, 상기 다시점 영상에 기초하여 상기 EIA를 생성하는 이미지 처리 장치를 포함할 수 있다.

Description

EIA 생성 방법 및 이를 수행할 수 있는 장치{METHOD OF GENERATING EIA AND APPARATUS OPERATING THE SAME}
아래 실시예들은 EIA를 생성하는 방법 및 이를 수행할 수 있는 장치에 관한 것이다.
통합 영상 디스플레이(integral imaging display)는 사용자가 육안으로 3D 영상을 시청할 수 있는 디스플레이 기술이다. 상기 3D 영상은 수평 및 수직 방향의 지속적인 시차 변화를 가진다.
통합 영상 디스플레이 시스템은 LCD 패널 및 렌즈 어레이를 포함한다. 상기 통합 영상 디스플레이 시스템은 LCD 패널에 2D 영상인 EIA를 디스플레이하고, 상기 렌즈 어레이를 통해 상기 EIA의 서로 다른 부분을 서로 다른 방향으로 3D 공간에 굴절(refraction)하여 3D 영상을 생성한다.
실시예들은 시청 거리에 따라 하나의 시점에 대응하는 최적의 라이트 필드 광선들을 재구성할 수 있는 기술을 제공할 수 있다.
실시예들은 상기 재구성된 라이트 필드 광선들을 싱글 패스로 병렬 렌더링하여 렌더링 시간을 감소하고, 신속하게 고해상도의 다시점 영상을 생성할 수 있는 기술을 제공할 수 있다.
일 실시예에 따른 디스플레이 시스템은 EIA(elemental image array)를 디스플레이하는 디스플레이 패널(display panel)과, 상기 디스플레이 패널의 앞 부분에 위치하는 렌즈 어레이(lens array)와, 사용자를 촬영하여 깊이 영상을 생성하는 깊이 카메라와, 상기 깊이 영상으로부터 상기 사용자와 상기 디스플레이 시스템과의 시청 거리를 계산하고, 상기 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성하고, 상기 복수의 광선 클러스터들을 렌더링하여 다시점 영상을 생성하고, 상기 다시점 영상에 기초하여 상기 EIA를 생성하는 이미지 처리 장치를 포함할 수 있다.
상기 이미지 처리 장치는 상기 EIA에 기초하여 상기 디스플레이 패널의 픽셀 넓이를 조절할 수 있다.
상기 이미지 처리 장치는 상기 깊이 영상을 이용하여 상기 시청 거리를 계산하고, 상기 시청 거리에 따라 상기 복수의 광선 클러스터들을 생성하고, 상기 복수의 광선 클러스터들의 렌더링 파라미터들을 계산하는 광 클러스터 생성부와, 상기 사용자의 인터랙티브 데이터를 이용하여 변환 행렬을 생성하는 변환 행렬 생성부와, 상기 렌더링 파라미터들과 상기 변환 행렬을 이용하여 상기 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 상기 다시점 영상을 생성하고, 상기 다시점 영상에 기초하여 상기 EIA를 생성하는 GPU를 포함할 수 있다.
상기 GPU는 3D 컨텐츠를 기하 복제하여 상기 다시점 영상을 생성할 수 있다.
상기 GPU는 상기 다시점 영상에 멀티-샘플링 안티-앨리어싱 동작을 수행할 수 있다.
상기 GPU는 상기 다시점 영상에 클리핑 동작을 수행할 수 있다.
상기 광 클러스터 생성부는 상기 시청 거리, 상기 디스플레이 패널의 파라미터들, 및 상기 렌즈 어레이의 파라미터들을 이용하여 상기 렌더링 파라미터들을 계산할 수 있다.
상기 깊이 카메라는 실시간으로 상기 사용자를 촬영하여 상기 깊이 영상을 생성하고, 상기 이미지 처리 장치는 상기 깊이 영상을 이용하여 실시간으로 계산된 상기 시청 거리에 따라 최적화된 상기 복수의 광선 클러스터들을 생성할 수 있다.
상기 이미지 처리 장치는 상기 다시점 영상을 픽셀 재정리하여 상기 EIA를 생성할 수 있다.
일 실시예에 따른 디스플레이 시스템의 EIA를 생성하는 방법은 사용자를 촬영한 깊이 영상을 이용하여 상기 사용자와 상기 디스플레이 시스템과의 시청 거리를 계산하는 단계와, 상기 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성하는 단계와, 상기 복수의 광선 클러스터들을 렌더링하여 다시점 영상을 생성하는 단계와, 상기 다시점 영상에 기초하여 EIA를 생성하는 단계를 포함할 수 있다.
상기 방법은 상기 EIA에 기초하여 상기 디스플레이 시스템의 디스플레이 패널의 픽셀 넓이를 조절하는 단계를 더 포함할 수 있다.
상기 다시점 영상을 생성하는 단계는 3D 컨텐츠를 기하 복제하고, 상기 사용자의 인터랙티브 데이터에 기초한 변환 행렬에 따라 기하 복제된 3D 컨텐츠를 상기 복수의 광선 클러스터들 각각으로 이동하여 상기 다시점 영상을 생성할 수 있다.
상기 다시점 영상을 생성하는 단계는 상기 다시점 영상에 멀티 샘플링 안티 앨리어싱을 수행하는 단계를 포함할 수 있다.
상기 다시점 영상을 생성하는 단계는 상기 다시점 영상에 클리핑 동작을 수행하는 단계를 포함할 수 있다.
상기 다시점 영상을 생성하는 단계는 상기 복수의 클러스터들을 싱글 패스 병렬 렌더링하여 상기 다시점 영상을 생성하는 단계를 포함할 수 있다.
상기 EIA를 생성하는 단계는 상기 다시점 영상을 픽셀 재정리하여 상기 EIA를 생성하는 단계를 포함할 수 있다.
상기 인터랙티브 데이터는 3D 인터랙티브 데이터 및 2D 인터랙티브 데이터 중에서 적어도 하나를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2 a 및 도 2b는 도 1에 도시된 광선 클러스터 생성부의 동작을 설명하기 위한 도면이다.
도 3은 도 1에 도시된 GPU의 개략적인 블록도이다.
도 4는 도 3에 도시된 지오메트리 세이더의 동작을 설명하기 위한 도면이다.
도 5는 도 3에 도시된 프래그먼트 세이더의 클리핑 동작을 설명하기 위한 도면이다.
도 6은 도 3에 도시된 프래그먼트 세이더의 픽셀 재정리 동작을 설명하기 위한 도면이다.
도 7은 도 1에 도시된 디스플레이 시스템의 동작을 설명하기 위한 플로우 차트이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 디스플레이 시스템(display system; 10)은 디스플레이 장치(display device; 100) 및 이미지 처리 장치(image processing device; 200)를 포함할 수 있다. 디스플레이 시스템(10)은 사용자(또는 시청자)와 인터랙티브할 수 있는 인터랙티브 시스템일 수 있다. 또한, 디스플레이 시스템(10)은 육안 3D 디스플레이 시스템일 수 있다.
디스플레이 장치(100)는 이미지 처리 장치(200)로부터 생성된 EIA에 기초하여 3D 이미지(3D image)를 생성할 수 있다. 디스플레이 장치(100)는 디스플레이 패널(display panel; 110), 렌즈 어레이(lens array; 130), 및 깊이 카메라(depth camera; 150)를 포함할 수 있다.
디스플레이 패널(110)은 이미지 처리 장치(200)로부터 생성된 EIA(elemental image array)를 디스플레이할 수 있다. 디스플레이 패널(100)은 디스플레이 패널 파라미터들(display pannel parameters; PR1)을 이미지 처리 장치(200)로 전송할 수 있다. 예를 들어, 디스플레이 패널 파라미터들(PR1)은 렌즈 어레이(130)와 디스플레이 패널(110) 간의 간격, 및 디스플레이 패널(100)의 픽셀 사이즈(또는 넓이) 등을 포함할 수 있다.
예를 들어, 디스플레이 패널(110)은 LCD 패널로 구현될 수 있다. 또한, 디스플레이 패널(110)은 터치 스크린 패널, FTF-LCD(thin film transistor-liquid crystal display) 패널, LED(liquid emitting diode) 디스플레이 패널, OLED(organic LED) 디스플레이 패널, AMOLED(active matrix OLED) 디스플레이 패널, 또는 플렉시블(flexible) 디스플레이 패널로 구현될 수 있다.
렌즈 어레이(130)는 EIA로부터 방출된 광선들(rays)을 굴절하여 3D 이미지(3D image)을 생성할 수 있다. 렌즈 어레이(130)는 렌즈 어레이 파라미터들(lens array parameters; PR2)을 이미지 처리 장치(200)로 전송할 수 있다. 예를 들어, 렌즈 어레이 파라미터들(PR2)은 렌즈 어레이(130)의 렌즈의 개수, 초점 거리, 렌즈 어레이(130)와 디스플레이 패널(110) 간의 간격, 및 렌즈 어레이(130)의 피치(예를 들어, 인접한 렌즈들 각각의 광 중심 간의 거리) 등을 포함할 수 있다.
깊이 카메라(150)는 디스플레이 시스템(10)의 스크린에 설치될 수 있다. 깊이 카메라(150)는 렌즈 어레이(130)에 인접하고, 렌즈 어레이(130)의 상단에 설치될 수 있다. 깊이 카메라(150)는 사용자를 촬영하여 깊이 영상(depth image; D_IM)을 생성할 수 있다. 깊이 카메라(150)는 깊이 영상(D_IM)을 이미지 처리 장치(200)로 전송할 수 있다.
일 실시예에 따라, 깊이 카메라(150)는 실시간으로 사용자를 촬영하여 깊이 영상(D_IM)을 생성하고, 실시간으로 깊이 영상(D_IM)을 이미지 처리 장치(200)로 전송할 수 있다.
이미지 처리 장치(200)는 디스플레이 시스템(10)의 동작을 전반적으로 제어할 수 있다. 이미지 처리 장치(200)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(intergrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 이미지 처리 장치(200)는 애플리케이션 프로세서(application processor)일 수 있다.
이미지 처리 장치(200)는 깊이 영상(D_IM)을 이용하여 시청 거리(viewing distance)를 계산하고, 계산된 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들(multiple ray clusters)을 생성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 시청 거리, 디스플레이 패널 파라미터들(PR1), 및 렌즈 어레이 파라미터들(PR2)에 기초하여 복수의 광선 클러스터들을의 렌더링 파라미터들을 계산할 수 있다. 예를 들어, 시청 거리는 사용자와 디스플레이 시스템(10)과의 거리일 수 있다.
이미지 처리 장치(200)는 하나의 시점에 대응하는 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링(single pass parallel rendering)하여 다시점 영상(multi-view image)을 생성할 수 있다. 예를 들어, 이미지 처리 장치(200)는 렌더링 파라미터들과 사용자의 인터랙티브 데이터(interactive data)에 기초한 변환 행렬(transformation matrix)을 이용하여 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 다시점 영상을 생성할 수 있다.
이미지 처리 장치(200)는 다시점 영상을 픽셀 재정리(pixel rearrangement)하여 EIA를 생성할 수 있다. 이미지 처리 장치(200)는 상기 EIA를 디스플레이 장치(100)로 전송할 수 있다.
이미지 처리 장치(200)는 CPU(central processing unit; 210), 광선 클러스터 생성부(ray cluster generating unit; 230), 변환 행렬 생성부(transformation matrix generating unit; 240), GPU(graphic processing unit; 250), 메모리 컨트롤러(memory controller; 270), 및 메모리(memory; 275)를 포함할 수 있다. 이미지 처리 장치(200)는 픽셀 넓이 조절부(pixel width adjusting unit; 290)을 더 포함할 수 있다.
CPU(210)는 이미지 처리 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, CPU(210)는 버스(bus; 205)를 통해 각 구성요소(230, 240, 250, 270, 및 290)의 동작을 제어할 수 있다.
일 실시예에 따라, CPU(210)는 멀티-코어(muti-core)로 구현될 수 있다. 상기 멀티-코어는 두 개 또는 그 이상의 독립적인 코어들(cores)을 갖는 컴퓨팅 컴포넌트(computing component)일 수 있다.
광선 클러스터 생성부(230)는 깊이 영상(D_IM)을 이용하여 시청 거리를 계산할 수 있다. 깊이 카메라(150)가 사용자를 촬영하여 실시간으로 깊이 영상(D_IM)을 전송함으로써, 광선 클러스터 생성부(230)은 사용자의 위치에 따라 시청 거리를 업데이트할 수 있다.
광선 클러스터 생성부(230)는 시청 거리에 대응하는 시청 범위, 예를 들어 시청 넓이를 계산하여 최적화된 라이트 필드를 획득할 수 있다.
광선 클러스터 생성부(230)는 시청 거리에 따라 라이트 필드의 라이트 필드 광선들(light field rays)을 클러스터링하여 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성할 수 있다. 예를 들어, 광선 클러스터 생성부(230)는 복수의 광선 클러스터들을 이용하여 라이트 필드 광선들이 하나의 시점에 대응되도록 재구성할 수 있다.
광선 클러스터 생성부(230)는 사용자의 위치에 따라 업데이트되는 시청 거리에 따라 하나의 시점에 대응하는 최적의 라이트 필드 광선들을 재구성할 수 있다.
광선 클러스터 생성부(230)는 시청 거리, 디스플레이 패널 파라미터들(PR1), 및 렌즈 어레이 파라미터들(PR2)에 기초하여 하나의 시점에 대응하는 복수의 광선 클러스터들의 렌더링 파라미터들을 계산할 수 있다. 광선 클러스터 생성부(230)는 상기 렌더링 파라미터들을 GPU(250)로 전송할 수 있다.
변환 행렬 생성부(240)는 사용자의 인터랙티브 데이터 및 메모리(275)로부터 3D 데이터를 수신할 수 있다. 사용자 인터랙티브 데이터는 3D 캡처 동작, 및 2D 키보드/마우스 동작(예를 들어, 회전, 이동, 및 스케일링 등) 중에서 적어도 어느 하나에 의해서 생성된 데이터를 포함할 수 있다. 예를 들어, 인터랙티브 데이터는 3D 인터랙티브 데이터 및 2D 인터랙티브 데이터 중에서 적어도 하나를 포함할 수 있다. 3D 데이터는 디스플레이될 3D 컨텐츠의 기하 특징, 재료, 및 텍스처 등을 포함할 수 있다.
변환 행렬 생성부(240)는 사용자의 인터랙티브 데이터를 이용하여 3D 데이터, 예를 들어 3D 컨텐츠를 제어하는 변환 행렬(transformation matrix)을 생성할 수 있다. 변환 행렬은 3D 컨텐츠의 위치 변환 정보(예를 들어, 이동 및/또는 회전 등)를 포함할 수 있다. 변환 행렬은 3D 컨텐츠의 이동 행렬일 수 있다. 변환 행렬 생성부(240)는 변환 행렬을 GPU(250)로 전송할 수 있다.
GPU(250)는 CPU(210)의 부하를 감소시키기 위해 그래픽 처리와 관련된 동작을 수행할 수 있다.
GPU(250)는 렌더링 파라미터들 및 변환 행렬을 이용하여 하나의 시점에 대응하는 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 다시점 영상을 생성할 수 있다.
또한, GPU(250)는 다시점 영상을 픽셀 재정리하여 EIA를 생성할 수 있다. GPU(250)의 동작은 도 3을 참조하여 상세히 설명될 것이다.
메모리 컨트롤러(270)는 CPU(210)의 제어에 따라 메모리(275)에 저장된 3D 데이터를 CPU(210) 및/또는 GPU(250)로 전송할 수 있다.
메모리(290)는 3D 데이터를 저장할 수 있다. 예를 들어, 3D 데이터는 디스플레이될 3D 컨텐츠의 기하 특징, 재료, 및 텍스처 등을 포함할 수 있다. 예를 들어, 3D 컨텐츠는 다각형 그리드 및/또는 텍스처를 포함할 수 있다. 도 1에서는 메모리(275)를 이미지 처리 장치(200)의 내부에 구현하고 있지만, 실시예에 따라 메모리(275)는 이미지 처리 장치(200)의 외부에 구현되는 외부 메모리일 수 있다. 메모리(275)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM: RRAM), 나노튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM: PoRAM), 나노 부유 게이트 메모리(Nano Floating Gate Memory: NFGM), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronics Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
픽셀 넓이 조절부(290)은 GPU(250)에 의해 생성된 EIA에 기초하여 디스플레이 패널(110)의 픽셀 넓이를 조절할 수 있다. 픽셀 넓이 조절부(290)의 픽셀 넓이 조절 동작은 후술한다.
도 1에서는 광 클러스터 생성부(230), 변환 행렬 생성부(240), 및 픽셀 넓이 조절부(290)가 CPU(210) 외부에 구현된 별개의 IP(intellectual property)로 도시되어 있지만, 실시예에 따라, 광 클러스터 생성부(230), 변환 행렬 생성부(240), 및 픽셀 넓이 조절부(290)는 CPU(210) 내부에 구현될 수 있다.
디스플레이 시스템(10)은 시청 거리가 업데이트됨에 따라 하나의 시점에 대응하는 최적의 라이트 필드 광선들을 재구성하고, 재구성된 라이트 필드 광선들을 싱글 패스 병렬 렌더링함으로써 신속하게 EIA를 적응적으로 생성할 수 있다.
도 2 a 및 도 2b는 도 1에 도시된 광선 클러스터 생성부의 동작을 설명하기 위한 도면이다.
도 2 a 및 도 2b에서는 설명의 편의를 위해 수평 방향에 따른 3개의 광선 클러스터들(C1, C2, 및 C3)과 3개의 광선 클러스터들(C1, C2, 및 C3)에 대응하는 3개의 절두체들(VF1, VF2, 및 VF3)만을 도시하였다.
도 1 내지 도 2b를 참조하면, 광선 클러스터 생성부(230)는 시청 거리(D)에 따라 라이트 필드의 라이트 필드 광선들을 클러스터링(clustering)하여 하나의 시점, 예를 들어 공동 시점에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)을 생성할 수 있다.
광선 클러스터 생성부(230)는 시청 거리(D)에 대응하는 시청 넓이(W)를 계산할 수 있다. 예를 들어, 광선 클러스터 생성부(230)는 아래의 수학식 1을 통해 시청 넓이(W)를 계산할 수 있다.
Figure pat00001
p는 렌즈 어레이(130)의 렌즈 피치일 수 있다. g는 렌즈 어레이(130)와 디스플레이 패널(110) 간의 간격일 수 있다. 예를 들어, g는 렌즈 어레이(130)의 렌즈의 광 중심과 디스플레이 패널(110) 간의 간격일 수 있다.
광선 클러스터 생성부(230)는 EI의 사이즈(E), 예를 들어 EI의 넓이(width)를 계산할 수 있다. 예를 들어, 광선 클러스터 생성부(230)는 아래의 수학식 2를 통해 EI의 사이즈(E)를 계산할 수 있다.
Figure pat00002
광선 클러스터 생성부(230)에 의해 생성된 복수의 광선 클러스터들의 개수(n)는 하나의 EI에 포함된 픽셀들의 개수에 가장 가까운 정수(예를 들어, 라운딩 정수)일 수 있다. 광선 클러스터 생성부(230)는 복수의 광선 클러스터들(C1, C2, 및 C3)의 개수(n)를 수학식 3을 통해 결정할 수 있다.
Figure pat00003
x는 수평 방향을 의미할 수 있다. Pd는 디스플레이 패널(110)의 픽셀 피치일 수 있다. nx는 수평 방향에 따른 복수의 광선 클러스터들(C1, C2, 및 C3)의 개수일 수 있다. 예를 들어, nx는 0이 아닌 정수(non-zero integer)일 수 있다.
수직 방향에 따른 복수의 광선 클러스터들의 개수인 ny도 수학식 3을 통해 결정될 수 있다.
도 2a에 도시된 바와 같이, 시청 넓이(W)의 하나의 점에 수렴하는 광선들(light rays)은 하나의 광선 클러스터(C1, C2 또는 C3)로 그룹화될 수 있다.
도 2b에 도시된 바와 같이, 복수의 광선 클러스터들(C1, C2, 및 C3) 각각은 절두체들(view frustums; VF1, VF2, 및 VF3) 각각에 대응할 수 있다. 예를 들어, 광선 클러스터(C1)의 복수의 광선들은 하나의 절두체(VF1)에 대응할 수 있다. 광선 클러스터(C2)의 복수의 광선들은 하나의 절두체(VF2)에 대응할 수 있다. 광선 클러스터(C3)의 복수의 광선들은 하나의 절두체(VF3)에 대응할 수 있다.
예를 들어, 절두체들(VF1, VF2, 및 VF3) 각각은 원근 절두체(perspective view frustum)일 수 있다. 또한, 절두체들(VF1, VF2, 및 VF3) 각각은 경사진 원근 절두체(shear perspective view frustum)일 수 있다.
복수의 광선 클러스터들(C1, C2, 및 C3)에 대응하는 절두체들(VF1, VF2, 및 VF3)은 렌더링을 위한 렌더링 파라미터들을 가질 수 있다.
렌더링 파라미터들은 절두체들(VF1, VF2, 및 VF3)의 시점(viewpoint; Vi), 및 시야각(view angle; θi)을 포함할 수 있다. 시점(Vi)은 시점(Vi)의 x좌표 및/또는 y좌표를 포함할 수 있다. 시야각(θi)은 절두체(VF1, VF2, 또는 VF3)가 수평 방향으로 따라가는 각도, 예를 들어 절두체(VF1, VF2, 또는 VF3)의 양쪽 라인의 각도일 수 있다. i는 복수의 광선 클러스터들(C1, C2, 및 C3)의 시퀀스일 수 있다. 예를 들어, i는 수평 방향 시퀀스일 수 있다.
시점(Vi)은 아래의 수학식 4를 통해 계산될 수 있다.
Figure pat00004
도 2b에 도시된 바와 같이, 시점(V1)은 절두체(VF1)의 시점이고, 시점(V2)은 절두체(VF2)의 시점이고, 시점(V3)은 절두체(VF3)의 시점일 수 있다. 예를 들어, 복수의 광선 클러스터들(C1, C2, 및 C2) 각각의 집합 포인트는 절두체들(VF1, VF2, 및 VF3) 각각의 시점(V1, V2, 및 V3)에 대응할 수 있다. 렌즈 어레이 평면(LAP)은 렌더링 과정에서의 초점면(focal plane; FPA)에 대응할 수 있다.
시야각(θi)은 아래의 수학식 5를 통해 계산될 수 있다.
Figure pat00005
L은 렌즈 어레이(130)의 넓이이고, p는 렌즈 어레이(130)의 렌즈 피치일 수 있다.
복수의 광선 클러스터들(C1, C2, 및 C3)의 시퀀스, 예를 들어, 수평 방향에 따른 시퀀스(i)는 아래의 수학식 6을 만족할 수 있다.
Figure pat00006
광선 클러스터 생성부(230)는 복수의 클러스터들(C1, C2, 및 C3)을 하나의 공동 시점(joint viewpoint; V)으로 변환(translate)할 수 있다.
광선 클러스터 생성부(230)는 하나의 시점, 공동 시점(V)에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)에 대응하는 하나의 절두체를 위한 렌더링 파라미터들만을 계산할 수 있다.
하나의 절두체를 위한 렌더링 파라미터들, 예를 들어, 공동 시점(V)과 공동 시야각(θ)은 아래의 수학식 7과 수학식 8에 의해 정의될 수 있다.
Figure pat00007
Figure pat00008
도 2b에 도시된 바와 같이, 공동 시점(V)는 시점(V2)일 수 있다. 예를 들어, 광선 클러스터 생성부(230)는 공동 시점(V), 예를 들어 시점(V2)에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)을 생성하고, 시점(V2)에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)의 하나의 절두체를 위한 렌더링 파라미터들만을 계산할 수 있다.
광선 클러스터 생성부(230)는 라이트 필드의 각 광선의 방향을 직접적으로 계산하지 않고, 렌더링 파라미터들을 계산함으로써 간접적으로 획득할 수 있다. 하나의 공동 시점(V)에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)의 하나의 절두체가 결정될 때, 라이트 필드의 각 광선의 방향도 자연스럽게 결정될 수 있다.
광선 클러스터 생성부(230)는 렌더링 파라미터들을 GPU(250)로 전송할 수 있다.
도 3은 도 1에 도시된 GPU의 개략적인 블록도이다.
도 1 내지 도 3을 참조하면, GPU(250)는 버텍스 세이더(vertex shader; 253), 지오메트리 세이더(geometry shader; 255), 및 프래그먼트 세이더(fragment shader; 257)을 포함할 수 있다.
버텍스 세이더(253)는 메모리(290)로부터 출력된 3D 데이터를 수신하고, 상기 3D 데이터를 처리할 수 있다. 예를 들어, 버텍스 세이더(253)는 3D 컨텐츠의 점들을 처리할 수 있다. 버텍스 세이더(253)는 점들을 변환(transformation), 모핑(morphing), 스키닝(skinning), 및/또는 라이팅(lighting) 등과 같은 동작을 통하여 처리할 수 있다.
지오메트리 세이더(255)는 첫번째 렌더링을 수행하여 다시점 영상을 생성할 수 있다. 지오메트리 세이더(255)는 렌더링 파라미터들과 변환 행렬(T)에 기초하여 하나의 시점에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)을 렌더링하여 다시점 영상을 생성할 수 있다. 예를 들어, 지오메트리 세이더(255)는 복수의 광선 클러스터들(C1, C2, 및 C3)에 대해 싱글 패스 병렬 렌더링을 수행하여 다시점 영상을 생성할 수 있다.
도 4는 도 3에 도시된 지오메트리 세이더의 동작을 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 지오메트리 세이더(255)는 하나의 시점(V)에 대응하는 복수의 광선 클러스터들(C1, C2, 및 C3)의 하나의 절두체를 렌더링하여 라이트 필드의 광선들의 모든 색상 값을 획득할 수 있다.
지오메트리 세이더(255)는 기하 복제(geometry duplication)를 통해 다시점 영상을 생성할 수 있다. 예를 들어, 지오메트리 세이더(225)는 디스플레이된 3D 컨텐츠(M)를 기하 복제하고 변환 행렬(T)을 이용하여 변환을 수행하여 각 광선 클러스터(예를 들어, C1 및 C3)에 이동시킬 수 있다.
지오메트리 세이더(255)는 변환 행렬(T)에 의하여 기하 복제된 3D 컨텐츠를 변환시킬 수 있다. 변환 행렬(T)는 수학식 9에 의해 표현될 수 있다.
Figure pat00009
i', j' 각각은 기하 복제된 3D 컨텐츠의 수평 시퀀스 및 수직 시퀀스를 의미하고, 아래의 수학색 10에 의해 표현될 수 있다.
Figure pat00010
디스플레이된 3D 컨텐츠(M)는 아래의 수학식 11에 의해 표현될 수 있다.
Figure pat00011
디스플레이된 3D 컨텐츠(M)의 3D 포인트(vk)는 아래의 수학식 12와 같이 표현될 수 있다.
Figure pat00012
xk, yk, 및 zk 각각은 디스플레이된 3D 컨텐츠(M)의 3D 포인트(vk)의 x, y, 및 z 좌표일 수 있다.
기하 복제된 3D 컨텐츠(Mi'j')의 3D 포인트(vi'j'k)는 아래의 수학식 13에 계산될 수 있다.
Figure pat00013
이에, 기하 복제된 3D 컨텐츠(Mi'j')는 아래의 수학식 14와 같이 표현될 수 있다.
Figure pat00014
지오메트리 세이더(255)는 싱글 패스 병렬 렌더링을 통해 다시점 영상을 획득할 수 있다. 다시점 영상은
Figure pat00015
의 이미지 해상도를 구비할 수 있다.
지오메트리 세이더(255)는 하나의 렌더링 패스로 복수의 클러스터들을 렌더링함으로써 렌더링 시간을 감소하고, 신속하게 고해상도의 다시점 영상을 생성할 수 있다.
프래그먼트 세이더(257)는 다시점 영상에 멀티 샘플링 안티-앨리어싱을 수행하여 다시점 영상의 화질을 향상시킬 수 있다. 예를 들어, 프래그먼트 세이더(257)는 다시점 영상에 32xMSAA(32 배속 multi-sampling anti-aliasing)을 수행할 수 있다.
프래그먼트 세이더(257)는 다시점 영상에 클리핑(clipping)을 수행할 수 있다.
도 5는 도 3에 도시된 프래그먼트 세이더의 클리핑 동작을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 프래그먼트 세이더(257)는 크리핑을 수행하여 하나의 시점에 대응하는 복수의 광선 클러스터들이 오버랩되면서 발생하는 결함(artifact)을 제거할 수 있다.
프래그먼트 세이더(257)는 두 번째 렌더링을 수행하여 EIA를 생성할 수 있다. 예를 들어, 프래그먼트 세이더(257)는 다시점 영상을 픽셀 재정리하여 EIA를 생성할 수 있다.
도 6은 도 3에 도시된 프래그먼트 세이더의 픽셀 재정리 동작을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 프래그먼트 세이더(257)는 픽셀 재정리를 수행할 수 있다.
프래그먼트 세이더(257)은 EIA를 광 클러스터 생성부(230)로 전송할 수 있다.
픽셀 넓이 조절부(290)는 GPU(250)에 의해 생성된 EIA에 기초하여 디스플레이 패널(110)의 픽셀 넓이를 조절할 수 있다. 픽셀 넓이 조절부(290)는 픽셀 넓이가 EIA에 포함된 EI 사이즈(E)와 매칭되지 않을 때, 픽셀 넓이를 조절할 수 있다. 예를 들어, 픽셀 넓이 조절부(290)는 픽셀 넓이를 렌즈 어레이(130)의 렌즈 피치(p)/복수의 광선 클러스터들의 개수(n)의 몫으로 조절할 수 있다. 픽셀 넓이가 조절된 디스플레이 패널(110)은 EIA를 디스플레이할 수 있다.
픽셀 넓이 조절부(290)가 디스플레이 패널(110)의 픽셀 넓이(Pd)를 조절함으로써 디스플레이 시스템(10)은 정확한 3D 이미지를 디스플레이할 수 있다.
도 7은 도 1에 도시된 디스플레이 시스템의 동작을 설명하기 위한 플로우 차트이다.
도 7을 참조하면, 깊이 카메라(150)는 사용자를 촬영하여 깊이 영상(D_IM)을 생성할 수 있다(310).
광선 클러스터 생성부(230)는 깊이 영상(D_IM)을 이용하여 시청 거리를 계산하고, 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성할 수 있다(320).
광선 클러스터 생성부(230)는 하나의 시점에 대응하는 복수의 광선 클러스터들의 렌더링 파라미터들을 생성할 수 있다(330).
GPU(250)는 렌더링 파라미터들 및 변환 행렬(T)을 이용하여 하나의 시점에 대응하는 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 다시점 영상을 생성할 수 있다(340).
또한, GPU(250)는 다시점 영상을 픽셀 재정리하여 EIA를 생성할 수 있다(350).
픽셀 넓이 조절부(290)는 EIA에 기초하여 디스플레이 패널(110)의 픽셀 넓이를 조절할 수 있다(360).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 디스플레이 시스템에 있어서,
    EIA(elemental image array)를 디스플레이하는 디스플레이 패널(display panel);
    상기 디스플레이 패널의 앞 부분에 위치하는 렌즈 어레이(lens array);
    사용자를 촬영하여 깊이 영상을 생성하는 깊이 카메라; 및
    상기 깊이 영상으로부터 상기 사용자와 상기 디스플레이 시스템과의 시청 거리를 계산하고, 상기 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성하고, 상기 복수의 광선 클러스터들을 렌더링하여 다시점 영상을 생성하고, 상기 다시점 영상에 기초하여 상기 EIA를 생성하는 이미지 처리 장치
    를 포함하는 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 이미지 처리 장치는,
    상기 EIA에 기초하여 상기 디스플레이 패널의 픽셀 넓이를 조절하는
    디스플레이 시스템.
  3. 제1항에 있어서,
    상기 이미지 처리 장치는,
    상기 깊이 영상을 이용하여 상기 시청 거리를 계산하고, 상기 시청 거리에 따라 상기 복수의 광선 클러스터들을 생성하고, 상기 복수의 광선 클러스터들의 렌더링 파라미터들을 계산하는 광 클러스터 생성부;
    상기 사용자의 인터랙티브 데이터를 이용하여 변환 행렬을 생성하는 변환 행렬 생성부; 및
    상기 렌더링 파라미터들과 상기 변환 행렬을 이용하여 상기 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 상기 다시점 영상을 생성하고, 상기 다시점 영상에 기초하여 상기 EIA를 생성하는 GPU
    를 포함하는 디스플레이 시스템.
  4. 제3항에 있어서,
    상기 GPU는 3D 컨텐츠를 기하 복제하여 상기 다시점 영상을 생성하는 디스플레이 시스템.
  5. 제3항에 있어서,
    상기 GPU는 상기 다시점 영상에 멀티-샘플링 안티-앨리어싱 동작을 수행하는 디스플레이 시스템.
  6. 제3항에 있어서,
    상기 GPU는 상기 다시점 영상에 클리핑 동작을 수행하는 디스플레이 시스템.
  7. 제3항에 있어서,
    상기 광 클러스터 생성부는,
    상기 시청 거리, 상기 디스플레이 패널의 파라미터들, 및 상기 렌즈 어레이의 파라미터들을 이용하여 상기 렌더링 파라미터들을 계산하는
    디스플레이 시스템.
  8. 제1항에 있어서,
    상기 깊이 카메라는 실시간으로 상기 사용자를 촬영하여 상기 깊이 영상을 생성하고,
    상기 이미지 처리 장치는 상기 깊이 영상을 이용하여 실시간으로 계산된 상기 시청 거리에 따라 최적화된 상기 복수의 광선 클러스터들을 생성하는
    디스플레이 시스템.
  9. 제1항에 있어서,
    상기 이미지 처리 장치는 상기 다시점 영상을 픽셀 재정리하여 상기 EIA를 생성하는 디스플레이 시스템
  10. 디스플레이 시스템의 EIA를 생성하는 방법에 있어서,
    사용자를 촬영한 깊이 영상을 이용하여 상기 사용자와 상기 디스플레이 시스템과의 시청 거리를 계산하는 단계;
    상기 시청 거리에 따라 하나의 시점에 대응하는 복수의 광선 클러스터들을 생성하는 단계;
    상기 복수의 광선 클러스터들을 렌더링하여 다시점 영상을 생성하는 단계; 및
    상기 다시점 영상에 기초하여 EIA를 생성하는 단계
    를 포함하는 EIA를 생성하는 방법.
  11. 제10항에 있어서,
    상기 EIA에 기초하여 상기 디스플레이 시스템의 디스플레이 패널의 픽셀 넓이를 조절하는 단계
    를 더 포함하는 EIA를 생성하는 방법.
  12. 제10항에 있어서,
    상기 다시점 영상을 생성하는 단계는,
    3D 컨텐츠를 기하 복제하고, 상기 사용자의 인터랙티브 데이터에 기초한 변환 행렬에 따라 기하 복제된 3D 컨텐츠를 상기 복수의 광선 클러스터들 각각으로 이동하여 상기 다시점 영상을 생성하는 단계
    를 포함하는 EIA를 생성하는 방법.
  13. 제10항에 있어서,
    상기 다시점 영상을 생성하는 단계는,
    상기 다시점 영상에 멀티 샘플링 안티 앨리어싱을 수행하는 단계
    를 포함하는 EIA를 생성하는 방법.
  14. 제10항에 있어서,
    상기 다시점 영상을 생성하는 단계는,
    상기 다시점 영상에 클리핑 동작을 수행하는 단계
    를 포함하는 EIA를 생성하는 방법.
  15. 제10항에 있어서,
    상기 다시점 영상을 생성하는 단계는,
    상기 복수의 광선 클러스터들을 싱글 패스 병렬 렌더링하여 상기 다시점 영상을 생성하는 단계
    를 포함하는 EIA를 생성하는 방법.
  16. 제10항에 있어서,
    상기 EIA를 생성하는 단계는,
    상기 다시점 영상을 픽셀 재정리하여 상기 EIA를 생성하는 단계
    를 포함하는 EIA를 생성하는 방법.
  17. 제12항에 있어서,
    상기 인터랙티브 데이터는 3D 인터랙티브 데이터 및 2D 인터랙티브 데이터 중에서 적어도 하나를 포함하는 EIA를 생성하는 방법.
  18. 제10항 내지 제17항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR20130167449A 2013-09-04 2013-12-30 Eia 생성 방법 및 이를 수행할 수 있는 장치 KR20150027670A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/916,437 US20160217602A1 (en) 2013-09-04 2014-05-02 Method for generating eia and apparatus capable of performing same
PCT/KR2014/003911 WO2015034157A1 (ko) 2013-09-04 2014-05-02 Eia 생성 방법 및 이를 수행할 수 있는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310397971.XA CN104427325B (zh) 2013-09-04 2013-09-04 快速集成图像生成方法及与用户交互的裸眼三维显示系统
CN201310397971.X 2013-09-04

Publications (1)

Publication Number Publication Date
KR20150027670A true KR20150027670A (ko) 2015-03-12

Family

ID=52975091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130167449A KR20150027670A (ko) 2013-09-04 2013-12-30 Eia 생성 방법 및 이를 수행할 수 있는 장치

Country Status (3)

Country Link
US (1) US20160217602A1 (ko)
KR (1) KR20150027670A (ko)
CN (2) CN108174184A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101651421B1 (ko) * 2015-07-13 2016-08-26 동국대학교 산학협력단 컬러 압축 영상에 깊이 정보를 은닉하는 방법
CN106526843A (zh) * 2016-12-26 2017-03-22 Tcl数码科技（深圳）有限责任公司 一种裸眼3d光栅的模拟方法和装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796624B (zh) * 2015-04-20 2017-12-19 清华大学深圳研究生院 一种光场编辑传播方法
CN107534730B (zh) * 2015-04-28 2020-06-23 索尼公司 图像处理装置及图像处理方法
CN105425404B (zh) * 2015-11-20 2019-06-18 上海英耀激光数字制版有限公司 一种集成成像光学系统
KR102459850B1 (ko) 2015-12-03 2022-10-27 삼성전자주식회사 3d 이미지 처리 방법 및 장치, 및 그래픽 처리 장치
CN106231286B (zh) * 2016-07-11 2018-03-20 北京邮电大学 一种三维图像生成方法及装置
TWI654448B (zh) 2016-08-10 2019-03-21 群睿股份有限公司 影像顯示裝置
TWI634350B (zh) * 2016-08-10 2018-09-01 群睿股份有限公司 影像顯示方法
CN107765438B (zh) * 2016-08-18 2020-09-15 群睿股份有限公司 影像显示装置及影像显示方法
CN106412556B (zh) * 2016-10-21 2018-07-17 京东方科技集团股份有限公司 一种图像生成方法及装置
US10969740B2 (en) 2017-06-27 2021-04-06 Nvidia Corporation System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics
CN109782452B (zh) * 2017-11-13 2021-08-13 群睿股份有限公司 立体影像产生方法、成像方法与系统
CN109991751B (zh) 2017-12-29 2021-05-11 中强光电股份有限公司 光场显示装置与方法
CN108683904B (zh) * 2018-04-28 2020-02-07 中国人民解放军陆军装甲兵学院 一种三维全息显示系统的分辨率测试方法及系统
CN110891169B (zh) * 2018-08-19 2021-07-09 安徽省东超科技有限公司 一种基于光泳捕获的可交互体三维显示装置及其控制方法
CN110225322B (zh) * 2019-06-03 2021-07-30 深圳市微光视界科技有限公司 一种动态锁定的方法、装置、移动终端及存储介质
CN112087614A (zh) * 2019-06-12 2020-12-15 上海麦界信息技术有限公司 一种生成二维光场图像的方法、装置和计算机可读介质
CN110297333B (zh) * 2019-07-08 2022-01-18 中国人民解放军陆军装甲兵学院 一种光场显示系统调节方法及系统
CN110913200B (zh) * 2019-10-29 2021-09-28 北京邮电大学 一种多屏拼接同步的多视点图像生成系统及方法
KR20210090475A (ko) * 2020-01-10 2021-07-20 삼성전자주식회사 공기조화기
CN111479053B (zh) * 2020-03-25 2021-07-16 清华大学 扫描光场多色显微成像的软件控制系统及方法
CN112351265B (zh) * 2020-09-27 2023-08-01 成都华屏科技有限公司 一种自适应裸眼3d视觉伪装系统
US11477427B2 (en) * 2021-01-27 2022-10-18 Huawei Technologies Co., Ltd. 3D light field displays utilizing micro-LED pixel arrays and metasurface multi-lens arrays
CN114967170B (zh) * 2021-02-18 2023-07-18 清华大学 基于柔性裸眼三维显示设备的显示处理方法及其装置
CN114095717A (zh) * 2021-09-24 2022-02-25 锋芒科技南京有限公司 一种光场片源合成方法
CN113989432A (zh) * 2021-10-25 2022-01-28 北京字节跳动网络技术有限公司 3d影像的重构方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6559844B1 (en) * 1999-05-05 2003-05-06 Ati International, Srl Method and apparatus for generating multiple views using a graphics engine
GB0003311D0 (en) * 2000-02-15 2000-04-05 Koninkl Philips Electronics Nv Autostereoscopic display driver
JP2003337303A (ja) * 2002-05-17 2003-11-28 Canon Inc 立体画像表示装置および立体画像表示システム
EP2098994A1 (en) * 2008-03-04 2009-09-09 Agfa HealthCare NV System for real-time volume rendering on thin clients via a render server
KR101296900B1 (ko) * 2009-01-07 2013-08-14 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
JP5064453B2 (ja) * 2009-07-31 2012-10-31 本田技研工業株式会社 車両用エンジンの排気管に設けられる消音器
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
WO2012014009A1 (en) * 2010-07-26 2012-02-02 City University Of Hong Kong Method for generating multi-view images from single image
JP2012098341A (ja) * 2010-10-29 2012-05-24 Dhs:Kk 三次元画像表示方法
US9183670B2 (en) * 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
US20120236133A1 (en) * 2011-03-18 2012-09-20 Andrew Charles Gallagher Producing enhanced images from anaglyph images
CN104054335A (zh) * 2012-01-17 2014-09-17 索尼爱立信移动通讯有限公司 便携式电子设备和控制自动立体显示器的方法
CN102647610B (zh) * 2012-04-18 2014-05-07 四川大学 基于像素提取的集成成像方向性显示方法
CN103247065B (zh) * 2013-04-26 2016-04-06 北京大学 一种裸眼3d视频生成方法
CN103236222B (zh) * 2013-04-27 2015-12-09 中国科学院重庆绿色智能技术研究院 基于集成成像原理并具有动态立体效果的防伪安全薄膜

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101651421B1 (ko) * 2015-07-13 2016-08-26 동국대학교 산학협력단 컬러 압축 영상에 깊이 정보를 은닉하는 방법
CN106526843A (zh) * 2016-12-26 2017-03-22 Tcl数码科技（深圳）有限责任公司 一种裸眼3d光栅的模拟方法和装置

Also Published As

Publication number Publication date
US20160217602A1 (en) 2016-07-28
CN104427325B (zh) 2018-04-27
CN104427325A (zh) 2015-03-18
CN108174184A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
KR20150027670A (ko) Eia 생성 방법 및 이를 수행할 수 있는 장치
JP4990852B2 (ja) ３次元移動の自由視点映像生成システムおよび記録媒体
US9465361B2 (en) Image based multiview multilayer holographic rendering algorithm
US9406164B2 (en) Apparatus and method of multi-view rendering
US10909659B2 (en) Super-resolution image processing using a machine learning system
US20100321380A1 (en) Image Processing Method and Associated Apparatus for Rendering Three-dimensional Effect Using Two-dimensional Image
US11570418B2 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
US10595000B1 (en) Systems and methods for using depth information to extrapolate two-dimentional images
WO2012140397A2 (en) Three-dimensional display system
JP2020523957A (ja) マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器
Luo et al. GPU rendering for tiled multi-projector autostereoscopic display based on chromium
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
Zhou et al. Analysis and practical minimization of registration error in a spherical fish tank virtual reality system
EP2962290B1 (en) Relaying 3d information by depth simulation using 2d pixel displacement
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
Liao et al. Autostereoscopic integral photography imaging using pixel distribution of computer graphics generated image
Smit et al. A programmable display layer for virtual reality system architectures
Harish et al. Designing perspectively correct multiplanar displays
KR20230013099A (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
WO2015034157A1 (ko) Eia 생성 방법 및 이를 수행할 수 있는 장치
US10869023B1 (en) Method and apparatus for correcting lenticular distortion
Songnian et al. The representation of visual depth perception based on the plenoptic function in the retina and its neural computation in visual cortex V1
Hoang et al. Real-time stereo rendering technique for virtual reality system based on the interactions with human view and hand gestures
US20240119661A1 (en) Three-dimensional perspective correction

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application