KR102240568B1 - 영상 처리 방법 및 장치 - Google Patents
영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102240568B1 KR102240568B1 KR1020140107172A KR20140107172A KR102240568B1 KR 102240568 B1 KR102240568 B1 KR 102240568B1 KR 1020140107172 A KR1020140107172 A KR 1020140107172A KR 20140107172 A KR20140107172 A KR 20140107172A KR 102240568 B1 KR102240568 B1 KR 102240568B1
- Authority
- KR
- South Korea
- Prior art keywords
- sub
- pixel
- panel
- image
- pixels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Abstract
3차원 디스플레이 장치를 위한 영상 처리 방법 및 장치가 개시된다. 실시예들은 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 제1 패널을 위한 영상 데이터를 처리할 수 있다.
Description
아래 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로 3차원 디스플레이 장치를 위한 영상 처리 방법 및 장치에 관한 것이다.
현재 상용화되고 있는 대부분의 3차원 디스플레이 장치는 사용자의 두 눈에 서로 다른 영상을 재생함으로써 깊이 감을 주는 원리를 사용한다. 그러나 이러한 방식은 사용자에게 양안 시차 정보만을 줄 뿐, 초점 조절, 운동 시차 등 단안 깊이 인지 요인을 전달하지 못한다. 이로 인하여, 3차원 영상이 자연스럽지 못하고, 눈의 피로가 야기될 수 있다.
피로감 없는 자연스러운 3차원 영상을 표시하는 기술로서 광선의 공간 각도(spatio-angular) 분포 즉, 라이트 필드(light field)를 재생하는 3차원 디스플레이 기술들이 있다. 여기서, 라이트 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 라이트 필드를 임의의 면에서 광학적으로 재생하면 그 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 보게 된다.
피로감 없는 자연스러운 3차원 영상을 표시하는 기술로서 광선의 공간 각도(spatio-angular) 분포 즉, 라이트 필드(light field)를 재생하는 3차원 디스플레이 기술들이 있다. 여기서, 라이트 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 라이트 필드를 임의의 면에서 광학적으로 재생하면 그 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 보게 된다.
삭제
일 측에 따른 영상 처리 방법은 제1 패널을 위한 영상 데이터를 수신하는 단계; 및 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 상기 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 상기 영상 데이터를 처리하는 단계를 포함한다. 상기 제1 패널은 RGB 패널이고, 상기 제2 패널은 펜타일 패널일 수 있다.
상기 광학적 특성은 상기 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다. 상기 광학적 특성은 상기 제2 패널과 광학 레이어 사이의 거리; 상기 제2 패널 내 상기 서브 픽셀의 위치; 및 상기 광학 레이어 내 원소들 중 상기 서브 픽셀로부터 출력된 빛이 지나는 원소의 위치 중 적어도 하나에 기초하여 계산될 수 있다.
상기 제2 패널의 서브 픽셀 구조는 상기 제2 패널에 포함된 서브 픽셀들의 색상들; 상기 제2 패널에 각 색상의 서브 픽셀들이 배치된 형태; 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 크기; 및 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 수 중 적어도 하나를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 다 시점 영상을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 다 시점 영상으로부터, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 상기 서브 픽셀에 대응하는 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 서브 픽셀의 광선 방향에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 카메라 파라미터는 각각의 시점을 위한 카메라의 화각; 상기 각각의 시점을 위한 카메라의 촬영 방향; 및 상기 각각의 시점을 위한 카메라와 피사체 사이의 거리 중 적어도 하나를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 시점의 영상으로부터, 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 서브 픽셀이 복수의 시점들에 대응하는 경우, 상기 결정하는 단계는 상기 복수의 시점들 및 상기 복수의 시점들에서 상기 서브 픽셀에 대응하는 복수의 영역들을 결정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 복수의 시점들의 영상들로부터, 상기 결정된 복수의 영역들 각각에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계; 및 상기 복수의 영역들 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계; 및 상기 양 눈의 위치에 기초하여, 상기 제2 패널에 포함된 상기 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 서브 픽셀에 대응하는 영역을 결정하는 단계는 상기 서브 픽셀에 대응하는 눈의 위치에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 영상 데이터가 3차원 모델을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 3차원 모델에 기초하여, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 3차원 모델을 상기 서브 픽셀의 광선 방향에 따라 바라보도록 상기 시점을 결정하는 단계; 및 상기 광선 방향으로 전파되는 빛이 상기 결정된 시점을 위한 가상의 카메라에 입사되는 위치에 기초하여, 상기 결정된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 서브 픽셀 값들을 생성하는 단계는 상기 결정된 시점 및 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀을 위한 값을 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 생성된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 입체 영상을 포함하는 경우, 상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는 상기 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계; 상기 서브 픽셀이 대응하는 영상으로부터, 상기 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀의 광선 방향을 따라 전파되는 빛이 상기 사용자의 오른쪽 눈보다 상기 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 왼쪽 영상에 대응하는 것으로 결정되고, 상기 빛이 상기 왼쪽 눈보다 상기 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
상기 추출하는 단계는 상기 서브 픽셀이 대응하는 영상으로부터, 상기 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
다른 일 측에 따른 영상 처리 장치는 제1 패널을 위한 영상 데이터를 수신하는 수신부; 및 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 상기 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 상기 영상 데이터를 처리하는 처리부를 포함한다.
상기 광학적 특성은 상기 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다. 상기 광학적 특성은 상기 제2 패널과 광학 레이어 사이의 거리; 상기 제2 패널 내 상기 서브 픽셀의 위치; 및 상기 광학 레이어 내 원소들 중 상기 서브 픽셀로부터 출력된 빛이 지나는 원소의 위치 중 적어도 하나에 기초하여 계산될 수 있다.
상기 제2 패널의 서브 픽셀 구조는 상기 제2 패널에 포함된 서브 픽셀들의 색상들; 상기 제2 패널에 각 색상의 서브 픽셀들이 배치된 형태; 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 크기; 및 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 수 중 적어도 하나를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 다 시점 영상을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 다 시점 영상으로부터, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 상기 서브 픽셀에 대응하는 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 서브 픽셀의 광선 방향에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 카메라 파라미터는 각각의 시점을 위한 카메라의 화각; 상기 각각의 시점을 위한 카메라의 촬영 방향; 및 상기 각각의 시점을 위한 카메라와 피사체 사이의 거리 중 적어도 하나를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 시점의 영상으로부터, 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 서브 픽셀이 복수의 시점들에 대응하는 경우, 상기 결정하는 단계는 상기 복수의 시점들 및 상기 복수의 시점들에서 상기 서브 픽셀에 대응하는 복수의 영역들을 결정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 복수의 시점들의 영상들로부터, 상기 결정된 복수의 영역들 각각에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계; 및 상기 복수의 영역들 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계; 및 상기 양 눈의 위치에 기초하여, 상기 제2 패널에 포함된 상기 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 서브 픽셀에 대응하는 영역을 결정하는 단계는 상기 서브 픽셀에 대응하는 눈의 위치에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 영상 데이터가 3차원 모델을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 3차원 모델에 기초하여, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 3차원 모델을 상기 서브 픽셀의 광선 방향에 따라 바라보도록 상기 시점을 결정하는 단계; 및 상기 광선 방향으로 전파되는 빛이 상기 결정된 시점을 위한 가상의 카메라에 입사되는 위치에 기초하여, 상기 결정된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 서브 픽셀 값들을 생성하는 단계는 상기 결정된 시점 및 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀을 위한 값을 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 생성된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 입체 영상을 포함하는 경우, 상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는 상기 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계; 상기 서브 픽셀이 대응하는 영상으로부터, 상기 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀의 광선 방향을 따라 전파되는 빛이 상기 사용자의 오른쪽 눈보다 상기 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 왼쪽 영상에 대응하는 것으로 결정되고, 상기 빛이 상기 왼쪽 눈보다 상기 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
상기 추출하는 단계는 상기 서브 픽셀이 대응하는 영상으로부터, 상기 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
다른 일 측에 따른 영상 처리 장치는 제1 패널을 위한 영상 데이터를 수신하는 수신부; 및 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 상기 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 상기 영상 데이터를 처리하는 처리부를 포함한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
도 1 내지 도 7은 일 실시예에 따른 영상 처리 장치를 설명하는 도면들.
도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들.
도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들.
도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들.
도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들.
도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도.
도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들.
도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들.
도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들.
도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들.
도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들.
도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도.
도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들.
도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 라이트 필드 디스플레이 기법을 위한 렌더링에 사용될 수 있다. 라이트 필드 디스플레이 기법은 3차원 영상을 표현하는 무 안경 방식의 기법으로, 예를 들어 3D 텔레비전, 3D 모니터, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 및 3D 모바일 기기 등에 적용될 수 있다.
도 1 내지 도 7은 일 실시예에 따른 영상 처리 장치를 설명하는 도면들이다. 영상 처리 장치는 라이트 필드 디스플레이 기법을 이용하여 영상을 처리하는 장치로, 예를 들어 라이트 필드 렌더링 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 영상 처리 장치는 라이트 필드 렌더링 장치라고 지칭될 수 있다.
도 1을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(111)와 처리부(112)를 포함한다. 수신부(111)는 제1 패널을 위한 영상 데이터(120)를 수신할 수 있다. 일 실시예에 따르면, 제1 패널을 위한 영상 데이터(120)는 제1 패널용 다 시점 영상을 포함할 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치(130)를 위한 영상을 생성하기 위하여, 제1 패널을 위한 영상 데이터(120)를 처리할 수 있다. 제2 패널 기반 3차원 디스플레이 장치(130)는 라이트 필드 디스플레이 기법을 이용하여 3차원 영상을 재생하는 장치로, 예를 들어 제2 패널 기반 라이트 필드 디스플레이 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 제2 패널 기반 3차원 디스플레이 장치(130)는 제2 패널 기반 라이트 필드 디스플레이 장치라고 지칭될 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널을 위한 영상 데이터(120)를 처리함으로써, 제2 패널 기반 라이트 필드 디스플레이 장치를 위한 영상을 생성할 수 있다. 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성은 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.
보다 구체적으로, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 라이트 필드 렌더링 장치(110)는 라이트 필드를 렌더링하기 위한 각종 모듈들로 구성될 수 있고, 라이트 필드 렌더링 장치(110)를 구성하는 각종 모듈들은 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 모듈은 적어도 하나의 프로세서에 의하여 구동될 수 있다.
제1 패널의 서브 픽셀 구조와 제2 패널의 서브 픽셀 구조는 서로 다를 수 있다. 임의의 패널의 서브 픽셀 구조는 그 패널에 포함된 서브 픽셀들의 색상들, 그 패널에 각 색상의 서브 픽셀들이 배치된 형태, 그 패널에 포함된 각 색상의 서브 픽셀들의 크기, 및 그 패널에 포함된 각 색상의 서브 픽셀들의 수 등을 포함할 수 있다.
예를 들어, 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 펜타일 패널일 수 있다. 일반적인 RGB 패널의 서브 픽셀 구조와 펜타일 패널의 서브 픽셀 구조는 서로 다르다. 보다 구체적으로, 일반적인 RGB 패널은 하나의 픽셀에 서로 크기가 동일한 R(red) 서브 픽셀, G(green) 서브 픽셀, 및 B(blue) 서브 픽셀이 포함되는 서브 픽셀 구조를 가진다. 예를 들어, 일반적인 RGB 패널은 RGB 스트라이프(stripe) 구조로 구현될 수 있다.
반면, 펜타일 패널은 하나의 픽셀에 서로 크기가 동일한 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀이 포함되는 서브 픽셀 구조를 가지지 않는다. 펜타일 패널은 다양한 형태로 구현될 수 있다. 일 예로, 펜타일 패널은 도 2와 같은 서브 픽셀 구조를 가질 수 있다. 도 2와 같은 서브 픽셀 구조는 다이아몬드 펜타일 구조라고 지칭될 수 있다. 도 2를 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. G 서브 픽셀의 크기는 R 서브 픽셀의 크기 및 B 서브 픽셀의 크기보다 작을 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 대각 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 대각 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
다른 예로, 펜타일 패널은 도 3과 같은 서브 픽셀 구조를 가질 수 있다. 도 3을 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. R 서브 픽셀의 크기, G 서브 픽셀의 크기, 및 B 서브 픽셀의 크기는 서로 다를 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 세로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 세로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
또 다른 예로, 펜타일 패널은 도 4와 같은 서브 픽셀 구조를 가질 수 있다. 도 4를 참조하면, 펜타일 패널은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 이외에도 W 서브 픽셀을 더 포함할 수 있다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 W 서브 픽셀을 포함한다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 가로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 B 서브 픽셀과 W 서브 픽셀은 가로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
이상에서, 설명의 편의를 위하여 제2 패널이 펜타일 패널인 경우를 설명하였으나, 제2 패널은 펜타일 패널 이외에도 일반적인 RGB 패널과 상이한 구조의 패널일 수 있다.
라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다. 예를 들어, 도 5를 참조하면, 제2 패널 기반 라이트 필드 디스플레이 장치는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 빛을 그대로 표현할 수 있다. 제2 패널 기반 라이트 필드 디스플레이 장치는 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 반사하는 원리를 이용한다.
제2 패널 기반 라이트 필드 디스플레이 장치는 서브 픽셀들을 포함하는 제2 패널(501) 및 서브 픽셀들로부터 출력되는 빛이 통과하는 광학 레이어(502)를 포함할 수 있다. 여기서, 광학 레이어(502)는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 광학 레이어(502)는 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 이하, 설명의 편의를 위하여 광학 레이어(502)가 렌즈 어레이인 경우를 설명하나, 실시예들은 전술한 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어를 이용할 수 있다.
제2 패널(501)에 포함된 서브 픽셀로부터 출력되는 빛의 방향은 광학 레이어(502)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 빛은 광학 레이어(502)를 통과하면서 특정 방향으로 방사될 수 있다. 이러한 과정을 통해 제2 패널 기반 라이트필드 디스플레이 장치는 입체 영상 또는 다 시점 영상을 표현할 수 있다.
광학 레이어(502)는 복수의 원소들을 포함할 수 있다. 각각의 원소들은 3D 화소라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 예를 들어, 광학 레이어(502)에 포함된 하나의 3D 화소에서 15×4 방향의 광선들(503)이 출력될 수 있다. 제2 패널 기반 라이트필드 디스플레이 장치는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들을 표현할 수 있다.
이 때, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 각 서브 픽셀들로부터 출력되는 광선의 방향이 달라질 수 있다. 이로 인하여, 제1 패널용 다 시점 영상의 서브 픽셀 값들을 제2 패널(501)의 서브 픽셀 값들로 결정하는 경우, 다 시점 영상이 제대로 표현되지 못한다. 예를 들어, 일반적인 RGB 패널의 서브 픽셀 구조에 따라 라이트 필드 렌더링 된 패널 영상을 펜타일 패널의 서브 픽셀 구조에 맞게 단순 변환하는 경우, 펜타일 패널의 서브 픽셀 구조에 따라 서브 픽셀의 광선 방향이 변경되는 점이 무시됨으로써 의도된 영상이 제대로 표현될 수 없다.
라이트 필드 렌더링 장치(110)는 임의의 서브 픽셀 구조를 갖는 제2 패널을 이용하는 라이트 필드 디스플레이 장치를 위한 렌더링 기법을 제공할 수 있다. 예를 들어, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널용 다 시점 영상으로부터 제2 패널의 서브 픽셀을 위한 값을 생성할 수 있다. 라이트 필드 렌더링 장치(110)의 동작과 관련된 보다 상세한 사항들은 후술한다.
이로 인하여, 실시예들은 라이트필드 디스플레이 장치가 다양한 패널로 구현될 수 있도록 하는 기술을 제공할 수 있다. 아래에서 상세히 설명하겠으나, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 맞게 서브 픽셀 구조 변환하는 연산을 최소화하기 위해, 제2 패널 기반 라이트 필드 디스플레이 장치에서 실제 사용되는 서브 픽셀에 대해서만, 서브 픽셀 구조 변환을 수행하는 알고리즘을 제공할 수 있다.
도 6을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(610), 결정부(620), 추출부(630), 및 생성부(640)를 포함한다. 수신부(610)는 제1 패널용 다 시점 영상을 수신할 수 있다. 수신부(610)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(620)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 추출부(630)는 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출할 수 있다. 생성부(640)는 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 결정부(620), 추출부(630), 및 생성부(640)는 도 1의 처리부(112)에 대응할 수 있다.
결정부(620)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 7을 참조하면, 결정부(620)는 서브 픽셀(711)을 위한 값을 렌더링하기 위하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(711)로부터 출력된 빛은 광학 레이어(720) 내 원소(721)의 중심을 지나는 방향으로 전파(propagate)될 수 있다. 결정부(620)는 제2 패널(710)과 광학 레이어(720) 사이의 거리, 제2 패널(710) 내 서브 픽셀(711)의 위치, 및 광학 레이어(720) 내 원소들 중 서브 픽셀(711)로부터 출력된 빛이 지나는 원소(721)의 위치에 기초하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 이하, 서브 픽셀로부터 출력된 빛은 LED와 같이 자체적으로 발광하는 서브 픽셀로부터 출력되는 빛뿐만 아니라 LCD와 같이 백라이트의 빛을 투과시키는 서브 픽셀로부터 출력되는 빛을 모두 포함할 수 있다.
서브 픽셀(711)의 광선 방향에 따라 전파되는 빛은 다 시점 영상의 시점들(730) 중 어느 하나에 대응될 수 있다. 다 시점 영상은 복수의 시점들에 대응하는 시점 영상들로 구성될 수 있다. 결정부(620)는 서브 픽셀(711)의 광선 방향에 따라 전파되는 빛이 도달하는 위치에 대응하는 시점(731)을 선택할 수 있다. 시점 선택 동작과 관련된 보다 상세한 사항들은 도 8 및 도 9를 통하여 후술한다.
결정부(620)는 다 시점 영상을 위한 카메라 파라미터에 기초하여, 선택된 시점(731)의 영상(740) 내 서브 픽셀에 대응하는 위치(741)를 결정할 수 있다. 카메라 파라미터는 다 시점 영상을 촬영한 다 시점 카메라의 파라미터로, 예를 들어 각각의 시점을 위한 카메라의 화각, 각각의 시점을 위한 카메라의 촬영 방향, 각각의 시점을 위한 카메라와 피사체 사이의 거리를 포함할 수 있다. 카메라 파라미터는 다 시점 영상에 포함되며, 결정부(620)는 다 시점 영상으로부터 카메라 파라미터를 획득할 수 있다. 위치 결정 동작과 관련된 보다 상세한 사항들은 도 10 내지 도 13을 통하여 후술한다.
결정부(620)는 선택된 시점(731)의 영상(740) 내 위치(741)를 포함하는 영역(742)을 서브 픽셀(711)에 대응하는 영역으로 결정할 수 있다. 영역(742)은 영상(740) 내에서 위치(741)를 중심으로 하는 미리 정해진 크기의 영역일 수 있다. 영역 결정 동작과 관련된 보다 상세한 사항들은 도 14 및 도 15를 통하여 후술한다.
이상에서, 결정부(620)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(620)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 다 시점 영상을 촬영하는 거리, 다 시점 영상을 촬영하는 화각, 다 시점 영상을 촬영하는 방향, 또는 다 시점 영상을 위한 카메라 파라미터 등 다 시점 영상을 촬영하는 조건이 표준화되는 경우, 임의의 서브 픽셀에 대응하는 시점 및 해당 서브 픽셀에 대응하는 영역은 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀 구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점들 및 영역들과 관련된 정보를 저장할 수 있다. 이 경우, 결정부(620)는 미리 구비된 테이블을 참조함으로써, 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
추출부(630)는 다 시점 영상으로부터, 시점(731) 및 영역(742)대응하는 서브 픽셀 값들을 추출할 수 있다. 예를 들어, 추출부(630)는 다 시점 영상을 구성하는 복수의 시점 영상들 중 시점(731)에 대응하는 시점 영상을 검출할 수 있다. 추출부(630)는 검출된 시점 영상으로부터, 영역(742)에 포함된 서브 픽셀들의 값들을 추출할 수 있다.
이 때, 추출부(630)는 영역(742)에 포함된 서브 픽셀들 중 서브 픽셀(711)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 추출할 수 있다. 예를 들어, 서브 픽셀(711)은 R 서브 픽셀일 수 있고, 영역(742)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 추출부(630)는 영역(742) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 추출할 수 있다.
생성부(640)는 영역(742)에 기초하여 서브 픽셀(711)을 위한 값을 생성할 수 있다. 생성부(640)는 영역(742)으로부터 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(711)을 위한 값을 생성할 수 있다. 예를 들어, 생성부(640)는 제2 패널(710)의 서브 픽셀 구조에 기초하여 가중치들을 결정할 수 있다. 생성부(640)는 가중치들을 이용하여, 영역(742)으로부터 추출된 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(711)을 위한 값을 계산할 수 있다. 생성된 값은 서브 픽셀(711)에 인가될 수 있다. 필터링 동작과 관련된 보다 상세한 사항들은 도 16 내지 도 23을 통하여 후술한다.
도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들이다. 도 8을 참조하면, 서브 픽셀(810)은 다양한 방향들로 빛을 출력할 수 있고 출력된 빛은 광학 레이어(820)를 통과하면서 광선 방향들이 양자화되는 형태로 표현될 수 있다. 예를 들어, 서브 픽셀(810)로부터 출력되는 빛의 방향들은 광학 레이어(820)에 포함된 원소들 각각의 중심을 지나는 방향들로 양자화될 수 있다.
결정부(도면 미 표시)는 양자화된 광선 방향들 중 다 시점 영상을 구성하는 시점들에 대응하는 광선 방향을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다. 예를 들어, 제1 광선 방향(841)은 다 시점 영상을 구성하는 시점들 중 시점(830)에 대응하고, 제2 광선 방향(842)은 다 시점 영상을 구성하는 시점들 어디에도 대응하지 않을 수 있다. 제1 광선 방향(841)은 서브 픽셀(810)로부터 출력된 빛이 원소(821)의 중심을 통과하는 방향이고, 제2 광선 방향(842)은 서브 픽셀(810)로부터 출력된 빛이 원소(822)의 중심을 통과하는 방향이다. 이 경우, 결정부는 제1 광선 방향(841)을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다.
경우에 따라서, 복수의 광선 방향들이 다 시점 영상을 구성하는 시점들에 대응할 수 있다. 이 경우, 결정부는 다 시점 영상의 중심 위치에 가까운 시점에 대응하는 광선 방향을 해당 서브 픽셀의 광선 방향으로 결정할 수 있다. 다 시점 영상의 중심 위치는 다 시점 영상을 구성하는 복수의 시점들이 분포하는 영역의 중심에 해당하는 위치일 수 있다.
도 9를 참조하면, 일 실시예에 따른 제2 패널(910)의 서브 픽셀들 각각의 광선 방향은 광학 레이어(920) 내 어느 하나의 원소의 중심을 통과하는 방향으로 결정될 수 있다. 각 광선 방향은 다 시점 영상을 구성하는 복수의 시점들(930) 중 어느 하나에 대응할 수 있다.
도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들이다. 도 10을 참조하면, 제2 패널의 서브 픽셀(1010)로부터 출력되는 빛은 광학 레이어의 원소(1020)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 결정부(도면 미 표시)는 다 시점 영상을 위한 카메라 파라미터에 기초하여 시점(1030)의 영상(1040) 내에서 서브 픽셀(1010)에 대응하는 위치를 결정할 수 있다.
예를 들어, 결정부는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1050)를 설정할 수 있고, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간 내 어느 위치에 입사되는지 여부를 계산할 수 있다. 여기서, 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간은 시점(1030)의 영상(1040)에 해당하며, 광선 방향(1025)을 따라 전파되는 빛은 영상(1040) 내 위치(1041)에 입사될 수 있다. 결정부는 위치(1041)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 11을 참조하면, 일 실시예에 따른 결정부(도면 미 표시)는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1060)를 도 10의 가상의 카메라(1050)와 다르게 설정할 수 있다. 이 경우, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)의 영상(1040) 내 다른 위치에 입사될 수 있다. 예를 들어, 광선 방향(1025)을 따라 전파되는 빛은 시점(1030)의 영상(1040) 내 위치(1042)에 입사될 수 있다. 결정부는 위치(1042)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 12를 참조하면, 일 실시예에 따른 서브 픽셀(1210)로부터 출력되는 빛은 광학 레이어의 원소(1220)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 여기서, 광선 방향(1225)을 따라 전파되는 빛은 시점(1030)을 위한 가상의 카메라(1050)의 중심(1031)에 정확히 입사되지 않고, 다른 위치(1032)에 입사될 수 있다. 이 경우, 결정부(도면 미 표시)는 원소(1220)와 가상의 카메라(1050)의 중심(1031) 사이의 가상의 광선을 이용하여 서브 픽셀(1210)에 대응하는 위치를 결정할 수 있다.
예를 들어, 도 13을 참조하면, 결정부는 원소(1220)의 중심으로부터 가상의 카메라(1050)의 중심(1031)으로 향하는 광선 방향(1226)을 설정할 수 있다. 결정부는 광선 방향(1226)에 의하여 빛이 전파되는 경우 해당 빛이 시점(1030)의 영상(1040)에 입사되는 위치(1043)를 계산할 수 있다. 결정부는 위치(1043)를 서브 픽셀(1210)에 대응하는 위치로 결정할 수 있다.
도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들이다. 도 14를 참조하면, 제1 패널용 영상(1400)은 복수의 픽셀들로 구성될 수 있다. 제1 패널용 영상(1400)에 포함된 픽셀들 각각은 해당 픽셀의 색상을 표현하는 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값을 포함할 수 있다. 제1 패널용 영상(1400)은 다 시점 영상들을 구성하는 복수의 시점들 중 어느 하나의 시점에 대응하는 영상일 수 있다.
결정부(도면 미 표시)는 제1 패널용 영상(1400) 내에서 결정된 위치를 포함하는 영역(1410)을 결정할 수 있다. 결정된 위치는 제1 패널용 영상(1400)에 포함된 복수의 픽셀들 중 어느 하나의 픽셀(1411)에 해당할 수 있고, 영역(1410)은 픽셀(1411) 및 주변 픽셀들을 포함하는 3 x 3 크기의 픽셀 그룹일 수 있다.
픽셀(1411)을 포함하도록 결정되는 영역의 크기는 다양하게 설정될 수 있다. 예를 들어, 도 15를 참조하면, 결정부는 픽셀(1411) 및 주변 픽셀들을 포함하는 5 x 5 크기의 픽셀 그룹으로 영역(1510)을 결정할 수 있다. 또는, 픽셀(1411)을 포함하는 영역은 원형 등 다양한 형태로 설정될 수도 있다. 이하, 설명의 편의를 위하여 서브 픽셀에 대응하는 영역은 3 x 3 크기의 픽셀 그룹인 경우를 가정하고 필터링 동작을 설명하나, 실시예들은 다양한 크기 및/또는 다양한 형태의 영역들에도 그대로 적용될 수 있다.
도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들이다. 도 16을 참조하면, 생성부(도면 미 표시)는 서브 픽셀을 위한 값을 생성하기 위하여, 제2 패널의 서브 픽셀 구조에 기초하여 가중치를 결정할 수 있다. 예를 들어, 생성부는 서브 픽셀(1610)의 값을 생성하기 위하여, 서브 픽셀(1610) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(1610)은 R 서브 픽셀이고, 서브 픽셀(1610)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1610)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다.
생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1620)을 결정할 수 있다. 가중치 맵(1620)은 3 x 3 크기의 매트릭스로, 시점 영상 내에서 결정된 영역의 크기와 동일할 수 있다. 도 16에 도시된 가중치 맵(1620)은 일 예시로, 가중치 맵(1620)에 설정된 가중치들은 제2 패널의 서브 픽셀 구조를 반영하는 다양한 방식에 의하여 다르게 결정될 수 있다.
전술한 바와 같이, 결정부(도면 미 표시)는 시점 영상 내에서 결정된 영역으로부터 서브 픽셀(1610)의 색상과 동일한 색상에 해당하는 서브 픽셀 값들을 추출할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1630)을 가중치 맵(1620)에 따라 가중 합산 함으로써, 서브 픽셀(1610)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1610)을 위한 값은 수식(1640)과 같이 계산될 수 있다.
도 17을 참조하면, 서브 픽셀(1710)은 G 서브 픽셀이고, 서브 픽셀(1710)의 상하좌우 및 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1720)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1730)을 가중치 맵(1720)에 따라 가중 합산 함으로써, 서브 픽셀(1710)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1710)을 위한 값은 수식(1740)과 같이 계산될 수 있다. 서브 픽셀 구조에 따라 제2 패널의 모든 픽셀들에 G 서브 픽셀이 포함되어 있으므로, G 서브 픽셀은 실질적으로 필터링 되지 않을 수 있다.
도 18을 참조하면, 서브 픽셀(1810)은 B 서브 픽셀이고, 서브 픽셀(1810)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1810)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1820)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1830)을 가중치 맵(1820)에 따라 가중 합산 함으로써, 서브 픽셀(1810)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1810)을 위한 값은 수식(1840)과 같이 계산될 수 있다.
도 19를 참조하면, 생성부(도면 미 표시)는 RGBW 펜타일 패널을 위하여 W(white) 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 생성부는 RGB 영상에 해당하는 제1 서브 픽셀 값들(1910)로부터 제2 서브 픽셀 값들(1920)의 W 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 임의의 픽셀을 위한 W 서브 픽셀 값은 해당 픽셀의 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값 중 최소 값으로 결정될 수 있다. 제1 서브 픽셀 값들(1910)은 시점 영상 내에서 결정된 영역으로부터 추출된 R 서브 픽셀 값들, G 서브 픽셀 값들, 및 B 서브 픽셀 값들이다. 제2 서브 픽셀 값들(1920)은 RGBW 펜타일 패널의 W 서브 픽셀을 위한 값을 생성하는 데 이용될 수 있다.
도 20을 참조하면, 생성부(도면 미 표시)는 서브 픽셀(2010)의 값을 생성하기 위하여, 서브 픽셀(2010) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(2010)은 R 서브 픽셀이고, 서브 픽셀(2010)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2010)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2020)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2030)을 가중치 맵(2020)에 따라 가중 합산 함으로써, 서브 픽셀(2010)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2010)을 위한 값은 수식(2040)과 같이 계산될 수 있다.
도 21을 참조하면, 서브 픽셀(2110)은 G 서브 픽셀이고, 서브 픽셀(2110)의 상하좌우에는 G 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2110)의 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2120)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2130)을 가중치 맵(2120)에 따라 가중 합산 함으로써, 서브 픽셀(2110)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2110)을 위한 값은 수식(2140)과 같이 계산될 수 있다.
도 22를 참조하면, 서브 픽셀(2210)은 B 서브 픽셀이고, 서브 픽셀(2210)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2210)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2220)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2230)을 가중치 맵(2220)에 따라 가중 합산 함으로써, 서브 픽셀(2210)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2210)을 위한 값은 수식(2240)과 같이 계산될 수 있다.
도 23을 참조하면, 서브 픽셀(2310)은 W 서브 픽셀이고, 서브 픽셀(2310)의 상하좌우에는 W 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2310)의 대각선 방향에는 W 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2320)을 결정할 수 있다. 생성부는 도 19에서 설명한 바와 같이 생성된 서브 픽셀 값들(2330)을 가중치 맵(2320)에 따라 가중 합산 함으로써, 서브 픽셀(2310)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2310)을 위한 값은 수식(2340)과 같이 계산될 수 있다.
도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도이다. 도 24를 참조하면, 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(2410), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(2420), 결정된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(2430), 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(2440), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀을 위한 값을 생성하는 단계(2450)를 포함한다. 도 24에 도시된 각 단계들에는 도 1 내지 도 23을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들이다. 도 25를 참조하면, 제2 패널의 서브 픽셀(2510)로부터 출력된 빛은 광학 레이어의 원소(2520)를 통과하는 광선 방향(2530)으로 전파될 수 있다. 이 때, 광선 방향(2530)으로 전파되는 빛은 어느 하나의 시점에 정확하게 대응되지 않을 수 있다. 예를 들어, 광선 방향(2530)으로 전파되는 빛은 제1 시점(2540)을 위한 가상의 카메라 위치(2541)와 제2 시점(2550)을 위한 가상의 카메라 위치(2752) 사이로 입사될 수 있다. 이 경우, 서브 픽셀(2510)은 제1 시점(2540) 및 제2 시점(2550) 등 복수의 시점들에 대응한다고 표현될 수 있다.
도 26을 참조하면, 서브 픽셀(2510)의 값을 생성하기 위하여, 광선 방향(2530)으로 전파되는 빛에 정확히 대응되는 가상의 카메라(2610)가 설정될 수 있다. 다 시점 영상에는 가상의 카메라(2610)에 의하여 촬영된 영상이 포함되어 있지 않으므로, 인터폴레이션 기법을 통하여 가상의 카메라(2610)에 의하여 촬영된 영상이 생성될 수 있다. 예를 들어, 도 27을 참조하면, 결정부(도면 미 표시)는 복수의 시점들에서 서브 픽셀(2510)에 대응하는 영역들을 결정할 수 있다. 결정부는 원소(2520)로부터 제1 시점(2540)을 위한 가상의 카메라 위치(2541)로 전파되는 광선 방향(2710)에 기초하여, 제1 시점(2540)의 영상(2730) 내 서브 픽셀(2510)에 대응하는 제1 영역(2731)을 결정할 수 있다. 또한, 결정부는 원소(2520)로부터 제2 시점(2550)을 위한 가상의 카메라 위치(2551)로 전파되는 광선 방향(2720)에 기초하여, 제2 시점(2550)의 영상(2740) 내 서브 픽셀(2510)에 대응하는 제2 영역(2741)을 결정할 수 있다
도 28을 참조하면, 추출부(도면 미 표시)는 다 시점 영상으로부터 제1 영역(2731)의 서브 픽셀 값들을 추출하고, 제2 영역(2741)의 서브 픽셀 값들을 추출할 수 있다. 추출부는 제1 영역(2731)과 제2 영역(2741) 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션할 수 있다. 예를 들어, 추출부는 제1 영역(2731)의 중심에 위치하는 서브 픽셀 값(2732)과 제2 영역(2741)의 중심에 위치하는 서브 픽셀 값(2742)을 인터폴레이션함으로써, 제3 영역(2810)의 중심에 위치하는 서브 픽셀 값(2811)을 생성할 수 있다. 제3 영역(2810)은 도 26의 가상의 카메라(2610)에 의하여 촬영된 영상 내에서 서브 픽셀(2510)에 대응하는 영역이다. 생성부(도면 미 표시)는 제3 영역(2810)의 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(2510)을 위한 값을 생성할 수 있다.
이상에서, 두 개의 시점들을 이용하는 인터폴레이션 기법을 설명하였으나, 실시예들은 세 개 이상의 시점들을 이용하는 인터폴레이션 기법으로 확장될 수 있다. 이 경우, 서브 픽셀(2510)의 광선 방향에 기초하여 세 개 이상의 시점들이 결정되고, 각 시점들의 영상들 내에서 서브 픽셀(2510)에 대응하는 영역들이 결정될 수 있다.
도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 29를 참조하면, 라이트 필드 렌더링 장치(2910)는 3차원 모델을 포함하는 데이터(2920)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제2 패널은 일반적인 RGB 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(2910)는 3차원 모델을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 30을 참조하면, 라이트 필드 렌더링 장치(2910)는 수신부(3010), 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)를 포함한다. 수신부(3010)는 3차원 모델을 포함하는 데이터를 수신한다. 수신부(3010)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(3020)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 제2 패널은 펜타일 패널일 수 있다. 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)는 도 1의 처리부(112)에 대응할 수 있다.
제1 생성부(3030)는 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성할 수 있다. 제2 생성부(3040)는 생성된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 제1 생성부(3030)에 의하여 생성되는 서브 픽셀 값들은 일반적인 RGB 패널을 위한 값들이고, 제2 생성부(3040)에 의하여 생성되는 서브 픽셀을 위한 값은 펜타일 패널을 위한 값일 수 있다.
결정부(3020)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 31을 참조하면, 결정부(3020)는 서브 픽셀(3110)을 위한 값을 렌더링하기 위하여, 서브 픽셀(3110)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(3110)로부터 출력된 빛은 광학 레이어 내 원소(3120)의 중심을 지나는 방향으로 전파될 수 있다. 결정부(3020)는 제2 패널과 광학 레이어 사이의 거리, 제2 패널 내 서브 픽셀(3110)의 위치, 및 광학 레이어 내 원소들 중 서브 픽셀(3110)로부터 출력된 빛이 지나는 원소(3120)의 위치에 기초하여, 서브 픽셀(3110)의 광선 방향(3125)을 계산할 수 있다.
결정부(3020)는 광선 방향(3125)에 따라 3차원 모델(3105)을 바라보도록 시점을 결정할 수 있다. 결정부(3020)는 광선 방향(3125)으로 전파되는 빛이 결정된 시점을 위한 가상의 카메라(3130)에 입사되는 위치에 기초하여, 서브 픽셀(3110)에 대응하는 위치를 결정할 수 있다. 결정부(3020)는 결정된 위치를 포함하는 영역(3140)을 결정할 수 있다.
이상에서, 결정부(3120)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(3120)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 디스플레이의 화소 크기, 해상도, 광학 레이어의 파라미터 및 위치 등 디스플레이 관련 정보가 결정되어있는 경우, 각 서브 픽셀에 대응하는 시점을 위한 가상카메라의 위치, 촬영 방향, 화각이 미리 정해질 수 있고, 이에 따라 촬영 영상 내에 해당 서브 픽셀에 대응하는 영역도 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점을 위한 가상 카메라의 위치, 촬영 방향, 화각 및 시점 영상 내의 해당 서브 픽셀에 대응하는 영역들과 관련된 정보를 저장할 수 있다. 이 경우 결정부는 미리 구비된 테이블을 참조함으로써 서브 픽셀에 대응하는 시점을 위한 가상카메라 정보 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 대응하는 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 포함되는 RGB 픽셀 값들을 렌더링할 수 있다. 이 때, 제1 생성부(3030)는 영역(3140)에 포함된 서브 픽셀들 중 서브 픽셀(3110)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 생성할 수 있다. 예를 들어, 서브 픽셀(3110)은 R 서브 픽셀일 수 있고, 영역(3140)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 제1 생성부(3030)는 영역(3140) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 생성할 수 있다.
제2 생성부(3040)는 영역(3140) 내 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀(3110)을 위한 값을 생성할 수 있다. 예를 들어, 제2 생성부(3040)는 서브 픽셀 구조에 기초하여 영역(3140) 내 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 영역(3140) 내 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(3110)을 위한 값을 계산할 수 있다.
도 32를 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 3차원 모델을 포함하는 데이터를 수신하는 단계(3210), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(3220), 그 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(3230), 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계(3240), 및 제2 패널의 서브 픽셀 구조에 기초하여 영역에 대응하는 서브 픽셀 값들을 필터링 함으로써, 제2 패널에 포함된 서브 픽셀을 위한 값을 생성하는 단계(3250)를 포함한다. 도 32에 도시된 각 단계들에는 도 29 내지 도 31을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 33을 참조하면, 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 34를 참조하면, 라이트 필드 렌더링 장치(3400)는 제1 수신부(3410), 제2 수신부(3420), 결정부(3430), 추출부(3440), 및 생성부(3450)를 포함한다. 제1 수신부(3410)는 제1 패널용 입체 영상을 수신할 수 있다. 제1 패널용 입체 영상은 왼쪽 눈을 위한 왼쪽 영상 및 오른쪽 눈을 위한 오른쪽 영상을 포함할 수 있다. 제2 수신부(3420)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3420)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 제1 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(111)에 대응할 수 있다.
결정부(3430)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 35를 참조하면, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3430)는 서브 픽셀이 대응하는 영상 내에서, 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 알 수 있다. 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 서브 픽셀이 대응하는 영상 내 서브 픽셀에 대응하는 위치로 결정하고, 결정된 위치의 주변 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3440)는 서브 픽셀이 대응하는 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3440)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3450)는 서브 픽셀에 대응하는 영역으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3450)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3430), 추출부(3440), 및 생성부(3450)는 도 1의 처리부(112)에 대응할 수 있다.
도 36을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 입체 영상을 수신하는 단계(3610), 사용자의 양 눈의 위치를 수신하는 단계(3620), 양 눈의 위치에 기초하여 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계(3630), 서브 픽셀이 대응하는 영상으로부터 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계(3640), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(3650)를 포함한다. 도 36에 도시된 각 단계들에는 도 33 내지 도 35를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 37을 참조하면, 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 38을 참조하면, 라이트 필드 렌더링 장치(3800)는 수신부(3810), 제2 수신부(3850), 결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)를 포함한다. 수신부(3810)는 제1 패널용 다 시점 영상을 수신할 수 있다. 제1 패널용 다 시점 영상은 복수의 시점들로 구성될 수 있다. 제2 수신부(3850)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3850)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(112)에 대응할 수 있다.
제2 결정부(3860)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)의 광선 방향(3931)을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3911)은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀(3912)의 광선 방향(3932)을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3932)은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3820)는 서브 픽셀이 대응하는 눈의 위치에 기초하여 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)로부터 출력된 빛은 광학 레이어의 원소(3921)를 통과하고, 사용자의 왼쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3921)로부터 사용자의 왼쪽 눈으로 향하는 방향(3941)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3952)을 선택할 수 있다. 또한, 서브 픽셀(3912)로부터 출력된 빛은 광학 레이어의 원소(3922)를 통과하고, 사용자의 오른쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3922)로부터 사용자의 오른쪽 눈으로 향하는 방향(3942)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3953)을 선택할 수 있다.
결정부(3820)는 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3820)는 카메라 파라미터에 기초하여, 선택된 시점의 영상 내 서브 픽셀에 대응하는 위치를 결정하고, 결정된 위치를 포함하는 미리 정해진 크기의 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3830)는 선택된 시점의 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3830)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3840)는 선택된 시점의 영상으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3840)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)는 도 1의 처리부(112)에 대응할 수 있다.
도 40을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(4010), 사용자의 양 눈의 위치를 수신하는 단계(4020), 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계(4030), 서브 픽셀에 대응하는 눈의 위치에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계(4040), 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(4050), 다 시점 영상으로부터 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(4060), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(4070)를 포함한다. 도 40에 도시된 각 단계들에는 도 37 내지 도 39를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예들은 평판 디스플레이(Flat Panel Display, FPD) 기반 라이트 필드 디스플레이 기법을 제공할 수 있다. 실시예들은 일반적인 RGB 패널의 서브 픽셀 구조와 상이한 서브 픽셀 구조를 가지는 펜타일 패널을 기반으로 하는 라이트 필드 디스플레이 기법을 제공할 수 있다.
실시예들은 라이트필드 디스플레이를 구성하는 FPD의 종류를 다양화 하고, 새로운 서브 픽셀 구조를 위한 라이트 필드 렌더링 시 서브 픽셀 구조 변환 연산을 최소화하는 기술을 제공할 수 있다. 이로 인하여, 실시예들은 효율적으로 라이트 필드를 렌더링하는 기술을 제공할 수 있다. 또한, 실시예들은 FPD 기반 라이트 필드 디스플레이 장치에서 사용자의 양 눈의 위치에 맞게 영상을 표현하는 렌더링 알고리즘을 제공할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
도 1 내지 도 7은 일 실시예에 따른 영상 처리 장치를 설명하는 도면들이다. 영상 처리 장치는 라이트 필드 디스플레이 기법을 이용하여 영상을 처리하는 장치로, 예를 들어 라이트 필드 렌더링 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 영상 처리 장치는 라이트 필드 렌더링 장치라고 지칭될 수 있다.
도 1을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(111)와 처리부(112)를 포함한다. 수신부(111)는 제1 패널을 위한 영상 데이터(120)를 수신할 수 있다. 일 실시예에 따르면, 제1 패널을 위한 영상 데이터(120)는 제1 패널용 다 시점 영상을 포함할 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치(130)를 위한 영상을 생성하기 위하여, 제1 패널을 위한 영상 데이터(120)를 처리할 수 있다. 제2 패널 기반 3차원 디스플레이 장치(130)는 라이트 필드 디스플레이 기법을 이용하여 3차원 영상을 재생하는 장치로, 예를 들어 제2 패널 기반 라이트 필드 디스플레이 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 제2 패널 기반 3차원 디스플레이 장치(130)는 제2 패널 기반 라이트 필드 디스플레이 장치라고 지칭될 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널을 위한 영상 데이터(120)를 처리함으로써, 제2 패널 기반 라이트 필드 디스플레이 장치를 위한 영상을 생성할 수 있다. 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성은 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.
보다 구체적으로, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 라이트 필드 렌더링 장치(110)는 라이트 필드를 렌더링하기 위한 각종 모듈들로 구성될 수 있고, 라이트 필드 렌더링 장치(110)를 구성하는 각종 모듈들은 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 모듈은 적어도 하나의 프로세서에 의하여 구동될 수 있다.
제1 패널의 서브 픽셀 구조와 제2 패널의 서브 픽셀 구조는 서로 다를 수 있다. 임의의 패널의 서브 픽셀 구조는 그 패널에 포함된 서브 픽셀들의 색상들, 그 패널에 각 색상의 서브 픽셀들이 배치된 형태, 그 패널에 포함된 각 색상의 서브 픽셀들의 크기, 및 그 패널에 포함된 각 색상의 서브 픽셀들의 수 등을 포함할 수 있다.
예를 들어, 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 펜타일 패널일 수 있다. 일반적인 RGB 패널의 서브 픽셀 구조와 펜타일 패널의 서브 픽셀 구조는 서로 다르다. 보다 구체적으로, 일반적인 RGB 패널은 하나의 픽셀에 서로 크기가 동일한 R(red) 서브 픽셀, G(green) 서브 픽셀, 및 B(blue) 서브 픽셀이 포함되는 서브 픽셀 구조를 가진다. 예를 들어, 일반적인 RGB 패널은 RGB 스트라이프(stripe) 구조로 구현될 수 있다.
반면, 펜타일 패널은 하나의 픽셀에 서로 크기가 동일한 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀이 포함되는 서브 픽셀 구조를 가지지 않는다. 펜타일 패널은 다양한 형태로 구현될 수 있다. 일 예로, 펜타일 패널은 도 2와 같은 서브 픽셀 구조를 가질 수 있다. 도 2와 같은 서브 픽셀 구조는 다이아몬드 펜타일 구조라고 지칭될 수 있다. 도 2를 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. G 서브 픽셀의 크기는 R 서브 픽셀의 크기 및 B 서브 픽셀의 크기보다 작을 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 대각 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 대각 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
다른 예로, 펜타일 패널은 도 3과 같은 서브 픽셀 구조를 가질 수 있다. 도 3을 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. R 서브 픽셀의 크기, G 서브 픽셀의 크기, 및 B 서브 픽셀의 크기는 서로 다를 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 세로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 세로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
또 다른 예로, 펜타일 패널은 도 4와 같은 서브 픽셀 구조를 가질 수 있다. 도 4를 참조하면, 펜타일 패널은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 이외에도 W 서브 픽셀을 더 포함할 수 있다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 W 서브 픽셀을 포함한다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 가로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 B 서브 픽셀과 W 서브 픽셀은 가로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
이상에서, 설명의 편의를 위하여 제2 패널이 펜타일 패널인 경우를 설명하였으나, 제2 패널은 펜타일 패널 이외에도 일반적인 RGB 패널과 상이한 구조의 패널일 수 있다.
라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다. 예를 들어, 도 5를 참조하면, 제2 패널 기반 라이트 필드 디스플레이 장치는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 빛을 그대로 표현할 수 있다. 제2 패널 기반 라이트 필드 디스플레이 장치는 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 반사하는 원리를 이용한다.
제2 패널 기반 라이트 필드 디스플레이 장치는 서브 픽셀들을 포함하는 제2 패널(501) 및 서브 픽셀들로부터 출력되는 빛이 통과하는 광학 레이어(502)를 포함할 수 있다. 여기서, 광학 레이어(502)는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 광학 레이어(502)는 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 이하, 설명의 편의를 위하여 광학 레이어(502)가 렌즈 어레이인 경우를 설명하나, 실시예들은 전술한 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어를 이용할 수 있다.
제2 패널(501)에 포함된 서브 픽셀로부터 출력되는 빛의 방향은 광학 레이어(502)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 빛은 광학 레이어(502)를 통과하면서 특정 방향으로 방사될 수 있다. 이러한 과정을 통해 제2 패널 기반 라이트필드 디스플레이 장치는 입체 영상 또는 다 시점 영상을 표현할 수 있다.
광학 레이어(502)는 복수의 원소들을 포함할 수 있다. 각각의 원소들은 3D 화소라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 예를 들어, 광학 레이어(502)에 포함된 하나의 3D 화소에서 15×4 방향의 광선들(503)이 출력될 수 있다. 제2 패널 기반 라이트필드 디스플레이 장치는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들을 표현할 수 있다.
이 때, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 각 서브 픽셀들로부터 출력되는 광선의 방향이 달라질 수 있다. 이로 인하여, 제1 패널용 다 시점 영상의 서브 픽셀 값들을 제2 패널(501)의 서브 픽셀 값들로 결정하는 경우, 다 시점 영상이 제대로 표현되지 못한다. 예를 들어, 일반적인 RGB 패널의 서브 픽셀 구조에 따라 라이트 필드 렌더링 된 패널 영상을 펜타일 패널의 서브 픽셀 구조에 맞게 단순 변환하는 경우, 펜타일 패널의 서브 픽셀 구조에 따라 서브 픽셀의 광선 방향이 변경되는 점이 무시됨으로써 의도된 영상이 제대로 표현될 수 없다.
라이트 필드 렌더링 장치(110)는 임의의 서브 픽셀 구조를 갖는 제2 패널을 이용하는 라이트 필드 디스플레이 장치를 위한 렌더링 기법을 제공할 수 있다. 예를 들어, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널용 다 시점 영상으로부터 제2 패널의 서브 픽셀을 위한 값을 생성할 수 있다. 라이트 필드 렌더링 장치(110)의 동작과 관련된 보다 상세한 사항들은 후술한다.
이로 인하여, 실시예들은 라이트필드 디스플레이 장치가 다양한 패널로 구현될 수 있도록 하는 기술을 제공할 수 있다. 아래에서 상세히 설명하겠으나, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 맞게 서브 픽셀 구조 변환하는 연산을 최소화하기 위해, 제2 패널 기반 라이트 필드 디스플레이 장치에서 실제 사용되는 서브 픽셀에 대해서만, 서브 픽셀 구조 변환을 수행하는 알고리즘을 제공할 수 있다.
도 6을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(610), 결정부(620), 추출부(630), 및 생성부(640)를 포함한다. 수신부(610)는 제1 패널용 다 시점 영상을 수신할 수 있다. 수신부(610)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(620)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 추출부(630)는 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출할 수 있다. 생성부(640)는 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 결정부(620), 추출부(630), 및 생성부(640)는 도 1의 처리부(112)에 대응할 수 있다.
결정부(620)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 7을 참조하면, 결정부(620)는 서브 픽셀(711)을 위한 값을 렌더링하기 위하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(711)로부터 출력된 빛은 광학 레이어(720) 내 원소(721)의 중심을 지나는 방향으로 전파(propagate)될 수 있다. 결정부(620)는 제2 패널(710)과 광학 레이어(720) 사이의 거리, 제2 패널(710) 내 서브 픽셀(711)의 위치, 및 광학 레이어(720) 내 원소들 중 서브 픽셀(711)로부터 출력된 빛이 지나는 원소(721)의 위치에 기초하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 이하, 서브 픽셀로부터 출력된 빛은 LED와 같이 자체적으로 발광하는 서브 픽셀로부터 출력되는 빛뿐만 아니라 LCD와 같이 백라이트의 빛을 투과시키는 서브 픽셀로부터 출력되는 빛을 모두 포함할 수 있다.
서브 픽셀(711)의 광선 방향에 따라 전파되는 빛은 다 시점 영상의 시점들(730) 중 어느 하나에 대응될 수 있다. 다 시점 영상은 복수의 시점들에 대응하는 시점 영상들로 구성될 수 있다. 결정부(620)는 서브 픽셀(711)의 광선 방향에 따라 전파되는 빛이 도달하는 위치에 대응하는 시점(731)을 선택할 수 있다. 시점 선택 동작과 관련된 보다 상세한 사항들은 도 8 및 도 9를 통하여 후술한다.
결정부(620)는 다 시점 영상을 위한 카메라 파라미터에 기초하여, 선택된 시점(731)의 영상(740) 내 서브 픽셀에 대응하는 위치(741)를 결정할 수 있다. 카메라 파라미터는 다 시점 영상을 촬영한 다 시점 카메라의 파라미터로, 예를 들어 각각의 시점을 위한 카메라의 화각, 각각의 시점을 위한 카메라의 촬영 방향, 각각의 시점을 위한 카메라와 피사체 사이의 거리를 포함할 수 있다. 카메라 파라미터는 다 시점 영상에 포함되며, 결정부(620)는 다 시점 영상으로부터 카메라 파라미터를 획득할 수 있다. 위치 결정 동작과 관련된 보다 상세한 사항들은 도 10 내지 도 13을 통하여 후술한다.
결정부(620)는 선택된 시점(731)의 영상(740) 내 위치(741)를 포함하는 영역(742)을 서브 픽셀(711)에 대응하는 영역으로 결정할 수 있다. 영역(742)은 영상(740) 내에서 위치(741)를 중심으로 하는 미리 정해진 크기의 영역일 수 있다. 영역 결정 동작과 관련된 보다 상세한 사항들은 도 14 및 도 15를 통하여 후술한다.
이상에서, 결정부(620)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(620)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 다 시점 영상을 촬영하는 거리, 다 시점 영상을 촬영하는 화각, 다 시점 영상을 촬영하는 방향, 또는 다 시점 영상을 위한 카메라 파라미터 등 다 시점 영상을 촬영하는 조건이 표준화되는 경우, 임의의 서브 픽셀에 대응하는 시점 및 해당 서브 픽셀에 대응하는 영역은 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀 구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점들 및 영역들과 관련된 정보를 저장할 수 있다. 이 경우, 결정부(620)는 미리 구비된 테이블을 참조함으로써, 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
추출부(630)는 다 시점 영상으로부터, 시점(731) 및 영역(742)대응하는 서브 픽셀 값들을 추출할 수 있다. 예를 들어, 추출부(630)는 다 시점 영상을 구성하는 복수의 시점 영상들 중 시점(731)에 대응하는 시점 영상을 검출할 수 있다. 추출부(630)는 검출된 시점 영상으로부터, 영역(742)에 포함된 서브 픽셀들의 값들을 추출할 수 있다.
이 때, 추출부(630)는 영역(742)에 포함된 서브 픽셀들 중 서브 픽셀(711)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 추출할 수 있다. 예를 들어, 서브 픽셀(711)은 R 서브 픽셀일 수 있고, 영역(742)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 추출부(630)는 영역(742) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 추출할 수 있다.
생성부(640)는 영역(742)에 기초하여 서브 픽셀(711)을 위한 값을 생성할 수 있다. 생성부(640)는 영역(742)으로부터 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(711)을 위한 값을 생성할 수 있다. 예를 들어, 생성부(640)는 제2 패널(710)의 서브 픽셀 구조에 기초하여 가중치들을 결정할 수 있다. 생성부(640)는 가중치들을 이용하여, 영역(742)으로부터 추출된 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(711)을 위한 값을 계산할 수 있다. 생성된 값은 서브 픽셀(711)에 인가될 수 있다. 필터링 동작과 관련된 보다 상세한 사항들은 도 16 내지 도 23을 통하여 후술한다.
도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들이다. 도 8을 참조하면, 서브 픽셀(810)은 다양한 방향들로 빛을 출력할 수 있고 출력된 빛은 광학 레이어(820)를 통과하면서 광선 방향들이 양자화되는 형태로 표현될 수 있다. 예를 들어, 서브 픽셀(810)로부터 출력되는 빛의 방향들은 광학 레이어(820)에 포함된 원소들 각각의 중심을 지나는 방향들로 양자화될 수 있다.
결정부(도면 미 표시)는 양자화된 광선 방향들 중 다 시점 영상을 구성하는 시점들에 대응하는 광선 방향을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다. 예를 들어, 제1 광선 방향(841)은 다 시점 영상을 구성하는 시점들 중 시점(830)에 대응하고, 제2 광선 방향(842)은 다 시점 영상을 구성하는 시점들 어디에도 대응하지 않을 수 있다. 제1 광선 방향(841)은 서브 픽셀(810)로부터 출력된 빛이 원소(821)의 중심을 통과하는 방향이고, 제2 광선 방향(842)은 서브 픽셀(810)로부터 출력된 빛이 원소(822)의 중심을 통과하는 방향이다. 이 경우, 결정부는 제1 광선 방향(841)을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다.
경우에 따라서, 복수의 광선 방향들이 다 시점 영상을 구성하는 시점들에 대응할 수 있다. 이 경우, 결정부는 다 시점 영상의 중심 위치에 가까운 시점에 대응하는 광선 방향을 해당 서브 픽셀의 광선 방향으로 결정할 수 있다. 다 시점 영상의 중심 위치는 다 시점 영상을 구성하는 복수의 시점들이 분포하는 영역의 중심에 해당하는 위치일 수 있다.
도 9를 참조하면, 일 실시예에 따른 제2 패널(910)의 서브 픽셀들 각각의 광선 방향은 광학 레이어(920) 내 어느 하나의 원소의 중심을 통과하는 방향으로 결정될 수 있다. 각 광선 방향은 다 시점 영상을 구성하는 복수의 시점들(930) 중 어느 하나에 대응할 수 있다.
도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들이다. 도 10을 참조하면, 제2 패널의 서브 픽셀(1010)로부터 출력되는 빛은 광학 레이어의 원소(1020)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 결정부(도면 미 표시)는 다 시점 영상을 위한 카메라 파라미터에 기초하여 시점(1030)의 영상(1040) 내에서 서브 픽셀(1010)에 대응하는 위치를 결정할 수 있다.
예를 들어, 결정부는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1050)를 설정할 수 있고, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간 내 어느 위치에 입사되는지 여부를 계산할 수 있다. 여기서, 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간은 시점(1030)의 영상(1040)에 해당하며, 광선 방향(1025)을 따라 전파되는 빛은 영상(1040) 내 위치(1041)에 입사될 수 있다. 결정부는 위치(1041)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 11을 참조하면, 일 실시예에 따른 결정부(도면 미 표시)는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1060)를 도 10의 가상의 카메라(1050)와 다르게 설정할 수 있다. 이 경우, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)의 영상(1040) 내 다른 위치에 입사될 수 있다. 예를 들어, 광선 방향(1025)을 따라 전파되는 빛은 시점(1030)의 영상(1040) 내 위치(1042)에 입사될 수 있다. 결정부는 위치(1042)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 12를 참조하면, 일 실시예에 따른 서브 픽셀(1210)로부터 출력되는 빛은 광학 레이어의 원소(1220)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 여기서, 광선 방향(1225)을 따라 전파되는 빛은 시점(1030)을 위한 가상의 카메라(1050)의 중심(1031)에 정확히 입사되지 않고, 다른 위치(1032)에 입사될 수 있다. 이 경우, 결정부(도면 미 표시)는 원소(1220)와 가상의 카메라(1050)의 중심(1031) 사이의 가상의 광선을 이용하여 서브 픽셀(1210)에 대응하는 위치를 결정할 수 있다.
예를 들어, 도 13을 참조하면, 결정부는 원소(1220)의 중심으로부터 가상의 카메라(1050)의 중심(1031)으로 향하는 광선 방향(1226)을 설정할 수 있다. 결정부는 광선 방향(1226)에 의하여 빛이 전파되는 경우 해당 빛이 시점(1030)의 영상(1040)에 입사되는 위치(1043)를 계산할 수 있다. 결정부는 위치(1043)를 서브 픽셀(1210)에 대응하는 위치로 결정할 수 있다.
도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들이다. 도 14를 참조하면, 제1 패널용 영상(1400)은 복수의 픽셀들로 구성될 수 있다. 제1 패널용 영상(1400)에 포함된 픽셀들 각각은 해당 픽셀의 색상을 표현하는 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값을 포함할 수 있다. 제1 패널용 영상(1400)은 다 시점 영상들을 구성하는 복수의 시점들 중 어느 하나의 시점에 대응하는 영상일 수 있다.
결정부(도면 미 표시)는 제1 패널용 영상(1400) 내에서 결정된 위치를 포함하는 영역(1410)을 결정할 수 있다. 결정된 위치는 제1 패널용 영상(1400)에 포함된 복수의 픽셀들 중 어느 하나의 픽셀(1411)에 해당할 수 있고, 영역(1410)은 픽셀(1411) 및 주변 픽셀들을 포함하는 3 x 3 크기의 픽셀 그룹일 수 있다.
픽셀(1411)을 포함하도록 결정되는 영역의 크기는 다양하게 설정될 수 있다. 예를 들어, 도 15를 참조하면, 결정부는 픽셀(1411) 및 주변 픽셀들을 포함하는 5 x 5 크기의 픽셀 그룹으로 영역(1510)을 결정할 수 있다. 또는, 픽셀(1411)을 포함하는 영역은 원형 등 다양한 형태로 설정될 수도 있다. 이하, 설명의 편의를 위하여 서브 픽셀에 대응하는 영역은 3 x 3 크기의 픽셀 그룹인 경우를 가정하고 필터링 동작을 설명하나, 실시예들은 다양한 크기 및/또는 다양한 형태의 영역들에도 그대로 적용될 수 있다.
도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들이다. 도 16을 참조하면, 생성부(도면 미 표시)는 서브 픽셀을 위한 값을 생성하기 위하여, 제2 패널의 서브 픽셀 구조에 기초하여 가중치를 결정할 수 있다. 예를 들어, 생성부는 서브 픽셀(1610)의 값을 생성하기 위하여, 서브 픽셀(1610) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(1610)은 R 서브 픽셀이고, 서브 픽셀(1610)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1610)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다.
생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1620)을 결정할 수 있다. 가중치 맵(1620)은 3 x 3 크기의 매트릭스로, 시점 영상 내에서 결정된 영역의 크기와 동일할 수 있다. 도 16에 도시된 가중치 맵(1620)은 일 예시로, 가중치 맵(1620)에 설정된 가중치들은 제2 패널의 서브 픽셀 구조를 반영하는 다양한 방식에 의하여 다르게 결정될 수 있다.
전술한 바와 같이, 결정부(도면 미 표시)는 시점 영상 내에서 결정된 영역으로부터 서브 픽셀(1610)의 색상과 동일한 색상에 해당하는 서브 픽셀 값들을 추출할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1630)을 가중치 맵(1620)에 따라 가중 합산 함으로써, 서브 픽셀(1610)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1610)을 위한 값은 수식(1640)과 같이 계산될 수 있다.
도 17을 참조하면, 서브 픽셀(1710)은 G 서브 픽셀이고, 서브 픽셀(1710)의 상하좌우 및 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1720)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1730)을 가중치 맵(1720)에 따라 가중 합산 함으로써, 서브 픽셀(1710)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1710)을 위한 값은 수식(1740)과 같이 계산될 수 있다. 서브 픽셀 구조에 따라 제2 패널의 모든 픽셀들에 G 서브 픽셀이 포함되어 있으므로, G 서브 픽셀은 실질적으로 필터링 되지 않을 수 있다.
도 18을 참조하면, 서브 픽셀(1810)은 B 서브 픽셀이고, 서브 픽셀(1810)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1810)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1820)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1830)을 가중치 맵(1820)에 따라 가중 합산 함으로써, 서브 픽셀(1810)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1810)을 위한 값은 수식(1840)과 같이 계산될 수 있다.
도 19를 참조하면, 생성부(도면 미 표시)는 RGBW 펜타일 패널을 위하여 W(white) 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 생성부는 RGB 영상에 해당하는 제1 서브 픽셀 값들(1910)로부터 제2 서브 픽셀 값들(1920)의 W 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 임의의 픽셀을 위한 W 서브 픽셀 값은 해당 픽셀의 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값 중 최소 값으로 결정될 수 있다. 제1 서브 픽셀 값들(1910)은 시점 영상 내에서 결정된 영역으로부터 추출된 R 서브 픽셀 값들, G 서브 픽셀 값들, 및 B 서브 픽셀 값들이다. 제2 서브 픽셀 값들(1920)은 RGBW 펜타일 패널의 W 서브 픽셀을 위한 값을 생성하는 데 이용될 수 있다.
도 20을 참조하면, 생성부(도면 미 표시)는 서브 픽셀(2010)의 값을 생성하기 위하여, 서브 픽셀(2010) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(2010)은 R 서브 픽셀이고, 서브 픽셀(2010)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2010)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2020)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2030)을 가중치 맵(2020)에 따라 가중 합산 함으로써, 서브 픽셀(2010)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2010)을 위한 값은 수식(2040)과 같이 계산될 수 있다.
도 21을 참조하면, 서브 픽셀(2110)은 G 서브 픽셀이고, 서브 픽셀(2110)의 상하좌우에는 G 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2110)의 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2120)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2130)을 가중치 맵(2120)에 따라 가중 합산 함으로써, 서브 픽셀(2110)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2110)을 위한 값은 수식(2140)과 같이 계산될 수 있다.
도 22를 참조하면, 서브 픽셀(2210)은 B 서브 픽셀이고, 서브 픽셀(2210)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2210)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2220)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2230)을 가중치 맵(2220)에 따라 가중 합산 함으로써, 서브 픽셀(2210)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2210)을 위한 값은 수식(2240)과 같이 계산될 수 있다.
도 23을 참조하면, 서브 픽셀(2310)은 W 서브 픽셀이고, 서브 픽셀(2310)의 상하좌우에는 W 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2310)의 대각선 방향에는 W 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2320)을 결정할 수 있다. 생성부는 도 19에서 설명한 바와 같이 생성된 서브 픽셀 값들(2330)을 가중치 맵(2320)에 따라 가중 합산 함으로써, 서브 픽셀(2310)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2310)을 위한 값은 수식(2340)과 같이 계산될 수 있다.
도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도이다. 도 24를 참조하면, 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(2410), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(2420), 결정된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(2430), 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(2440), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀을 위한 값을 생성하는 단계(2450)를 포함한다. 도 24에 도시된 각 단계들에는 도 1 내지 도 23을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들이다. 도 25를 참조하면, 제2 패널의 서브 픽셀(2510)로부터 출력된 빛은 광학 레이어의 원소(2520)를 통과하는 광선 방향(2530)으로 전파될 수 있다. 이 때, 광선 방향(2530)으로 전파되는 빛은 어느 하나의 시점에 정확하게 대응되지 않을 수 있다. 예를 들어, 광선 방향(2530)으로 전파되는 빛은 제1 시점(2540)을 위한 가상의 카메라 위치(2541)와 제2 시점(2550)을 위한 가상의 카메라 위치(2752) 사이로 입사될 수 있다. 이 경우, 서브 픽셀(2510)은 제1 시점(2540) 및 제2 시점(2550) 등 복수의 시점들에 대응한다고 표현될 수 있다.
도 26을 참조하면, 서브 픽셀(2510)의 값을 생성하기 위하여, 광선 방향(2530)으로 전파되는 빛에 정확히 대응되는 가상의 카메라(2610)가 설정될 수 있다. 다 시점 영상에는 가상의 카메라(2610)에 의하여 촬영된 영상이 포함되어 있지 않으므로, 인터폴레이션 기법을 통하여 가상의 카메라(2610)에 의하여 촬영된 영상이 생성될 수 있다. 예를 들어, 도 27을 참조하면, 결정부(도면 미 표시)는 복수의 시점들에서 서브 픽셀(2510)에 대응하는 영역들을 결정할 수 있다. 결정부는 원소(2520)로부터 제1 시점(2540)을 위한 가상의 카메라 위치(2541)로 전파되는 광선 방향(2710)에 기초하여, 제1 시점(2540)의 영상(2730) 내 서브 픽셀(2510)에 대응하는 제1 영역(2731)을 결정할 수 있다. 또한, 결정부는 원소(2520)로부터 제2 시점(2550)을 위한 가상의 카메라 위치(2551)로 전파되는 광선 방향(2720)에 기초하여, 제2 시점(2550)의 영상(2740) 내 서브 픽셀(2510)에 대응하는 제2 영역(2741)을 결정할 수 있다
도 28을 참조하면, 추출부(도면 미 표시)는 다 시점 영상으로부터 제1 영역(2731)의 서브 픽셀 값들을 추출하고, 제2 영역(2741)의 서브 픽셀 값들을 추출할 수 있다. 추출부는 제1 영역(2731)과 제2 영역(2741) 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션할 수 있다. 예를 들어, 추출부는 제1 영역(2731)의 중심에 위치하는 서브 픽셀 값(2732)과 제2 영역(2741)의 중심에 위치하는 서브 픽셀 값(2742)을 인터폴레이션함으로써, 제3 영역(2810)의 중심에 위치하는 서브 픽셀 값(2811)을 생성할 수 있다. 제3 영역(2810)은 도 26의 가상의 카메라(2610)에 의하여 촬영된 영상 내에서 서브 픽셀(2510)에 대응하는 영역이다. 생성부(도면 미 표시)는 제3 영역(2810)의 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(2510)을 위한 값을 생성할 수 있다.
이상에서, 두 개의 시점들을 이용하는 인터폴레이션 기법을 설명하였으나, 실시예들은 세 개 이상의 시점들을 이용하는 인터폴레이션 기법으로 확장될 수 있다. 이 경우, 서브 픽셀(2510)의 광선 방향에 기초하여 세 개 이상의 시점들이 결정되고, 각 시점들의 영상들 내에서 서브 픽셀(2510)에 대응하는 영역들이 결정될 수 있다.
도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 29를 참조하면, 라이트 필드 렌더링 장치(2910)는 3차원 모델을 포함하는 데이터(2920)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제2 패널은 일반적인 RGB 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(2910)는 3차원 모델을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 30을 참조하면, 라이트 필드 렌더링 장치(2910)는 수신부(3010), 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)를 포함한다. 수신부(3010)는 3차원 모델을 포함하는 데이터를 수신한다. 수신부(3010)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(3020)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 제2 패널은 펜타일 패널일 수 있다. 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)는 도 1의 처리부(112)에 대응할 수 있다.
제1 생성부(3030)는 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성할 수 있다. 제2 생성부(3040)는 생성된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 제1 생성부(3030)에 의하여 생성되는 서브 픽셀 값들은 일반적인 RGB 패널을 위한 값들이고, 제2 생성부(3040)에 의하여 생성되는 서브 픽셀을 위한 값은 펜타일 패널을 위한 값일 수 있다.
결정부(3020)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 31을 참조하면, 결정부(3020)는 서브 픽셀(3110)을 위한 값을 렌더링하기 위하여, 서브 픽셀(3110)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(3110)로부터 출력된 빛은 광학 레이어 내 원소(3120)의 중심을 지나는 방향으로 전파될 수 있다. 결정부(3020)는 제2 패널과 광학 레이어 사이의 거리, 제2 패널 내 서브 픽셀(3110)의 위치, 및 광학 레이어 내 원소들 중 서브 픽셀(3110)로부터 출력된 빛이 지나는 원소(3120)의 위치에 기초하여, 서브 픽셀(3110)의 광선 방향(3125)을 계산할 수 있다.
결정부(3020)는 광선 방향(3125)에 따라 3차원 모델(3105)을 바라보도록 시점을 결정할 수 있다. 결정부(3020)는 광선 방향(3125)으로 전파되는 빛이 결정된 시점을 위한 가상의 카메라(3130)에 입사되는 위치에 기초하여, 서브 픽셀(3110)에 대응하는 위치를 결정할 수 있다. 결정부(3020)는 결정된 위치를 포함하는 영역(3140)을 결정할 수 있다.
이상에서, 결정부(3120)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(3120)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 디스플레이의 화소 크기, 해상도, 광학 레이어의 파라미터 및 위치 등 디스플레이 관련 정보가 결정되어있는 경우, 각 서브 픽셀에 대응하는 시점을 위한 가상카메라의 위치, 촬영 방향, 화각이 미리 정해질 수 있고, 이에 따라 촬영 영상 내에 해당 서브 픽셀에 대응하는 영역도 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점을 위한 가상 카메라의 위치, 촬영 방향, 화각 및 시점 영상 내의 해당 서브 픽셀에 대응하는 영역들과 관련된 정보를 저장할 수 있다. 이 경우 결정부는 미리 구비된 테이블을 참조함으로써 서브 픽셀에 대응하는 시점을 위한 가상카메라 정보 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 대응하는 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 포함되는 RGB 픽셀 값들을 렌더링할 수 있다. 이 때, 제1 생성부(3030)는 영역(3140)에 포함된 서브 픽셀들 중 서브 픽셀(3110)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 생성할 수 있다. 예를 들어, 서브 픽셀(3110)은 R 서브 픽셀일 수 있고, 영역(3140)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 제1 생성부(3030)는 영역(3140) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 생성할 수 있다.
제2 생성부(3040)는 영역(3140) 내 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀(3110)을 위한 값을 생성할 수 있다. 예를 들어, 제2 생성부(3040)는 서브 픽셀 구조에 기초하여 영역(3140) 내 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 영역(3140) 내 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(3110)을 위한 값을 계산할 수 있다.
도 32를 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 3차원 모델을 포함하는 데이터를 수신하는 단계(3210), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(3220), 그 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(3230), 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계(3240), 및 제2 패널의 서브 픽셀 구조에 기초하여 영역에 대응하는 서브 픽셀 값들을 필터링 함으로써, 제2 패널에 포함된 서브 픽셀을 위한 값을 생성하는 단계(3250)를 포함한다. 도 32에 도시된 각 단계들에는 도 29 내지 도 31을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 33을 참조하면, 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 34를 참조하면, 라이트 필드 렌더링 장치(3400)는 제1 수신부(3410), 제2 수신부(3420), 결정부(3430), 추출부(3440), 및 생성부(3450)를 포함한다. 제1 수신부(3410)는 제1 패널용 입체 영상을 수신할 수 있다. 제1 패널용 입체 영상은 왼쪽 눈을 위한 왼쪽 영상 및 오른쪽 눈을 위한 오른쪽 영상을 포함할 수 있다. 제2 수신부(3420)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3420)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 제1 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(111)에 대응할 수 있다.
결정부(3430)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 35를 참조하면, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3430)는 서브 픽셀이 대응하는 영상 내에서, 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 알 수 있다. 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 서브 픽셀이 대응하는 영상 내 서브 픽셀에 대응하는 위치로 결정하고, 결정된 위치의 주변 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3440)는 서브 픽셀이 대응하는 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3440)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3450)는 서브 픽셀에 대응하는 영역으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3450)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3430), 추출부(3440), 및 생성부(3450)는 도 1의 처리부(112)에 대응할 수 있다.
도 36을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 입체 영상을 수신하는 단계(3610), 사용자의 양 눈의 위치를 수신하는 단계(3620), 양 눈의 위치에 기초하여 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계(3630), 서브 픽셀이 대응하는 영상으로부터 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계(3640), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(3650)를 포함한다. 도 36에 도시된 각 단계들에는 도 33 내지 도 35를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 37을 참조하면, 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 38을 참조하면, 라이트 필드 렌더링 장치(3800)는 수신부(3810), 제2 수신부(3850), 결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)를 포함한다. 수신부(3810)는 제1 패널용 다 시점 영상을 수신할 수 있다. 제1 패널용 다 시점 영상은 복수의 시점들로 구성될 수 있다. 제2 수신부(3850)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3850)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(112)에 대응할 수 있다.
제2 결정부(3860)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)의 광선 방향(3931)을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3911)은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀(3912)의 광선 방향(3932)을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3932)은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3820)는 서브 픽셀이 대응하는 눈의 위치에 기초하여 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)로부터 출력된 빛은 광학 레이어의 원소(3921)를 통과하고, 사용자의 왼쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3921)로부터 사용자의 왼쪽 눈으로 향하는 방향(3941)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3952)을 선택할 수 있다. 또한, 서브 픽셀(3912)로부터 출력된 빛은 광학 레이어의 원소(3922)를 통과하고, 사용자의 오른쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3922)로부터 사용자의 오른쪽 눈으로 향하는 방향(3942)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3953)을 선택할 수 있다.
결정부(3820)는 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3820)는 카메라 파라미터에 기초하여, 선택된 시점의 영상 내 서브 픽셀에 대응하는 위치를 결정하고, 결정된 위치를 포함하는 미리 정해진 크기의 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3830)는 선택된 시점의 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3830)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3840)는 선택된 시점의 영상으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3840)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)는 도 1의 처리부(112)에 대응할 수 있다.
도 40을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(4010), 사용자의 양 눈의 위치를 수신하는 단계(4020), 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계(4030), 서브 픽셀에 대응하는 눈의 위치에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계(4040), 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(4050), 다 시점 영상으로부터 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(4060), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(4070)를 포함한다. 도 40에 도시된 각 단계들에는 도 37 내지 도 39를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예들은 평판 디스플레이(Flat Panel Display, FPD) 기반 라이트 필드 디스플레이 기법을 제공할 수 있다. 실시예들은 일반적인 RGB 패널의 서브 픽셀 구조와 상이한 서브 픽셀 구조를 가지는 펜타일 패널을 기반으로 하는 라이트 필드 디스플레이 기법을 제공할 수 있다.
실시예들은 라이트필드 디스플레이를 구성하는 FPD의 종류를 다양화 하고, 새로운 서브 픽셀 구조를 위한 라이트 필드 렌더링 시 서브 픽셀 구조 변환 연산을 최소화하는 기술을 제공할 수 있다. 이로 인하여, 실시예들은 효율적으로 라이트 필드를 렌더링하는 기술을 제공할 수 있다. 또한, 실시예들은 FPD 기반 라이트 필드 디스플레이 장치에서 사용자의 양 눈의 위치에 맞게 영상을 표현하는 렌더링 알고리즘을 제공할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
Claims (25)
- 제1 패널을 위한 영상 데이터를 수신하는 단계;
제2 패널 기반 3차원 디스플레이 장치의 광학적 특성에 기초하여, 상기 제2 패널에 포함된 제1 서브 픽셀에 대응하는 시점을 결정하는 단계;
상기 영상 데이터 내 상기 결정된 시점에 대응하는 영상에서, 상기 제1 서브 픽셀에 대응하는 영역을 결정하는 단계;
상기 영역에 포함된 제1 패널의 서브 픽셀들 중 상기 제1 서브 픽셀에 대응하는 서브 픽셀들의 값들을 추출하는 단계;
상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀들의 값들을 필터링 함으로써, 상기 제1 서브 픽셀을 위한 값을 생성하는 단계; 및
상기 제1 서브 픽셀을 위한 값에 기초하여, 상기 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하는 단계
를 포함하는 영상 처리 방법.
- 제1항에 있어서,
상기 광학적 특성은
상기 제1 서브 픽셀의 광선 방향과 관련된 특성을 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 광학적 특성은
상기 제2 패널과 광학 레이어 사이의 거리;
상기 제2 패널 내 상기 제1 서브 픽셀의 위치; 및
상기 광학 레이어 내 원소들 중 상기 제1 서브 픽셀로부터 출력된 빛이 지나는 원소의 위치
중 적어도 하나에 기초하여 계산되는, 영상 처리 방법.
- 제1항에 있어서,
상기 제2 패널의 서브 픽셀 구조는
상기 제2 패널에 포함된 서브 픽셀들의 색상들;
상기 제2 패널에 각 색상의 서브 픽셀들이 배치된 형태;
상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 크기; 및
상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 수
중 적어도 하나를 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 제1 패널은 RGB 패널이고, 상기 제2 패널은 펜타일 패널인, 영상 처리 방법.
- 제1항에 있어서,
상기 영상 데이터가 제1 패널용 다 시점 영상을 포함하는 경우,
상기 영역을 결정하는 단계는
상기 다 시점 영상 내 상기 결정된 시점에 대응하는 영상에서, 상기 제1 서브 픽셀에 대응하는 영역을 결정하는 단계
를 포함하는 영상 처리 방법.
- 제1항에 있어서,
상기 시점을 결정하는 단계는
미리 구비된 테이블로부터 상기 제1 서브 픽셀에 대응하는 시점을 획득하는 단계를 포함하고,
상기 영역을 결정하는 단계는
상기 미리 구비된 테이블로부터 상기 제1 서브 픽셀에 대응하는 영역을 획득하는 단계
를 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 영상 데이터가 다 시점 영상을 포함하는 경우,
상기 시점을 결정하는 단계는
상기 제1 서브 픽셀의 광선 방향에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및
상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 제1 서브 픽셀에 대응하는 위치를 결정하는 단계
를 포함하는, 영상 처리 방법.
- 제8항에 있어서,
상기 카메라 파라미터는
각각의 시점을 위한 카메라의 화각;
상기 각각의 시점을 위한 카메라의 촬영 방향; 및
상기 각각의 시점을 위한 카메라와 피사체 사이의 거리
중 적어도 하나를 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 추출하는 단계는
상기 영역에 포함된 상기 제1 패널의 서브 픽셀들 중 상기 제1 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계
를 포함하는, 영상 처리 방법.
- 제6항에 있어서,
상기 제1 서브 픽셀이 복수의 시점들에 대응하는 경우,
상기 영역을 결정하는 단계는
상기 복수의 시점들 및 상기 다 시점 영상 내 상기 복수의 시점들에 대응하는 영상들에서, 상기 제1 서브 픽셀에 대응하는 복수의 영역들을 결정하는 단계
를 포함하는, 영상 처리 방법.
- 제11항에 있어서,
상기 추출하는 단계는
상기 다 시점 영상 내 상기 복수의 시점들에 대응하는 영상들로부터, 상기 복수의 영역들 각각에 포함된 제1 패널의 서브 픽셀들 중 상기 제1 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계; 및
상기 복수의 영역들 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션하는 단계
를 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 제1 서브 픽셀을 위한 값을 생성하는 단계는
상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀들의 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및
상기 가중치들을 이용하여, 상기 추출된 서브 픽셀들의 값들을 가중 합산함으로써 상기 제1 서브 픽셀을 위한 값을 계산하는 단계
를 포함하는, 영상 처리 방법.
- 제6항에 있어서,
사용자의 양 눈의 위치를 수신하는 단계; 및
상기 양 눈의 위치에 기초하여, 상기 제2 패널에 포함된 상기 제1 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계
를 더 포함하고,
상기 영역을 결정하는 단계는
상기 제1 서브 픽셀에 대응하는 눈의 위치에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및
상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 제1 서브 픽셀에 대응하는 위치를 결정하는 단계
를 포함하는, 영상 처리 방법.
- 제1항에 있어서,
상기 영상 데이터가 3차원 모델을 포함하는 경우,
상기 영역을 결정하는 단계는
상기 시점에서 상기 3차원 모델을 바라본 영상에서, 상기 제1 서브 픽셀에 대응하는 영역을 결정하는 단계
를 포함하는 영상 처리 방법.
- 삭제
- 제15항에 있어서,
상기 시점을 결정하는 단계는
상기 3차원 모델을 상기 제1 서브 픽셀의 광선 방향에 따라 바라보도록 상기 시점을 결정하는 단계를 포함하고,
상기 영역을 결정하는 단계는
상기 광선 방향으로 전파되는 빛이 상기 결정된 시점을 위한 가상의 카메라에 입사되는 위치에 기초하여, 상기 결정된 시점의 영상 내 상기 제1 서브 픽셀에 대응하는 위치를 결정하는 단계
를 포함하는, 영상 처리 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 영상 데이터가 제1 패널용 입체 영상을 포함하는 경우,
사용자의 양 눈의 위치를 수신하는 단계; 및
를 더 포함하고,
상기 시점을 결정하는 단계는
상기 양 눈의 위치에 기초하여, 제2 패널에 포함된 제1 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계
를 포함하고,
상기 영역을 결정하는 단계는
상기 제1 서브 픽셀이 대응하는 영상에서, 상기 제1 서브 픽셀에 대응하는 영역을 결정하는 단계
를 포함하는 영상 처리 방법.
- 제20항에 있어서,
상기 제1 서브 픽셀의 광선 방향을 따라 전파되는 빛이 상기 사용자의 오른쪽 눈보다 상기 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 제1 서브 픽셀은 상기 왼쪽 영상에 대응하는 것으로 결정되고,
상기 빛이 상기 왼쪽 눈보다 상기 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 제1 서브 픽셀은 상기 오른쪽 영상에 대응하는 것으로 결정되는, 영상 처리 방법.
- 삭제
- 삭제
- 제1항 내지 제15항, 제17항, 제20항 및 제21항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
- 제1 패널을 위한 영상 데이터를 수신하고, 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성에 기초하여, 상기 제2 패널에 포함된 제1 서브 픽셀에 대응하는 시점을 결정하고, 상기 결정된 시점에 대응하는 영상에서, 상기 제1 서브 픽셀에 대응하는 영역을 결정하고, 상기 영역에 포함된 제1 패널에 포함된 서브 픽셀들 중 상기 제1 서브 픽셀에 대응하는 서브 픽셀들의 값들을 추출하고, 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀들의 값들을 필터링 함으로써, 상기 제1 서브 픽셀을 위한 값을 생성하며, 상기 제1 서브 픽셀을 위한 값에 기초하여, 상기 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하는
적어도 하나의 프로세서
를 포함하는 영상 처리 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140107172A KR102240568B1 (ko) | 2014-08-18 | 2014-08-18 | 영상 처리 방법 및 장치 |
| US14/715,937 US9936192B2 (en) | 2014-08-18 | 2015-05-19 | Image processing method and apparatus |
| CN201510400637.4A CN105376545B (zh) | 2014-08-18 | 2015-07-09 | 图像处理方法和设备 |
| EP15176313.3A EP2988497B1 (en) | 2014-08-18 | 2015-07-10 | Image processing method and apparatus |
| JP2015141193A JP6681675B2 (ja) | 2014-08-18 | 2015-07-15 | 映像処理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140107172A KR102240568B1 (ko) | 2014-08-18 | 2014-08-18 | 영상 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160021968A KR20160021968A (ko) | 2016-02-29 |
| KR102240568B1 true KR102240568B1 (ko) | 2021-04-16 |
Family
ID=53793978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140107172A KR102240568B1 (ko) | 2014-08-18 | 2014-08-18 | 영상 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9936192B2 (ko) |
| EP (1) | EP2988497B1 (ko) |
| JP (1) | JP6681675B2 (ko) |
| KR (1) | KR102240568B1 (ko) |
| CN (1) | CN105376545B (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917124B2 (en) | 2020-11-18 | 2024-02-27 | Samsung Electronics Co., Ltd. | Display apparatus and the control method thereof |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160381274A1 (en) * | 2015-06-25 | 2016-12-29 | Novatek Microelectronics Corp. | Image Sensing Module |
| ES2932185T3 (es) * | 2016-02-26 | 2023-01-16 | Univ Southern California | Obtención de imágenes volumétricas optimizadas con iluminación de volumen selectivo y detección de campo de luz |
| EP3264761A1 (en) * | 2016-06-23 | 2018-01-03 | Thomson Licensing | A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera |
| US10565780B2 (en) * | 2016-11-28 | 2020-02-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| DE102017106033A1 (de) * | 2017-03-21 | 2018-09-27 | Osram Opto Semiconductors Gmbh | Anzeigevorrichtung |
| WO2018199252A1 (ja) * | 2017-04-28 | 2018-11-01 | 大日本印刷株式会社 | 表示装置 |
| JP6972642B2 (ja) * | 2017-04-28 | 2021-11-24 | 大日本印刷株式会社 | 表示装置 |
| JP6308323B1 (ja) * | 2017-08-08 | 2018-04-11 | 大日本印刷株式会社 | 表示装置 |
| JP6264493B1 (ja) * | 2017-05-19 | 2018-01-24 | 大日本印刷株式会社 | 表示装置 |
| DE102017117540A1 (de) | 2017-08-02 | 2019-02-07 | Osram Opto Semiconductors Gmbh | Lichtemittierender Halbleiterchip und Anzeigevorrichtung |
| DE102017123402A1 (de) * | 2017-10-09 | 2019-04-11 | Osram Opto Semiconductors Gmbh | Optoelektronisches Modul und Anzeigeelement |
| DE102018107628B4 (de) * | 2018-03-29 | 2022-09-29 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Strahlungsemittierende vorrichtung |
| JP7188981B2 (ja) * | 2018-11-05 | 2022-12-13 | 京セラ株式会社 | ３次元表示装置、３次元表示システム、ヘッドアップディスプレイ、及び移動体 |
| KR102154263B1 (ko) * | 2018-12-28 | 2020-09-09 | 세종대학교산학협력단 | 시분할 라이트 필드 기술을 이용한 3 차원 증강 현실 디바이스의 해상도 및 주사율 향상 방법 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7274383B1 (en) | 2000-07-28 | 2007-09-25 | Clairvoyante, Inc | Arrangement of color pixels for full color imaging devices with simplified addressing |
| US7123277B2 (en) | 2001-05-09 | 2006-10-17 | Clairvoyante, Inc. | Conversion of a sub-pixel format data to another sub-pixel data format |
| US7825921B2 (en) | 2004-04-09 | 2010-11-02 | Samsung Electronics Co., Ltd. | System and method for improving sub-pixel rendering of image data in non-striped display systems |
| JP2007081562A (ja) * | 2005-09-12 | 2007-03-29 | Toshiba Corp | 立体画像表示装置、立体画像表示プログラムおよび立体画像表示方法 |
| GB0716776D0 (en) | 2007-08-29 | 2007-10-10 | Setred As | Rendering improvement for 3D display |
| KR101587606B1 (ko) | 2009-09-07 | 2016-01-25 | 삼성디스플레이 주식회사 | 데이터 처리 장치, 이를 갖는 표시 시스템 및 데이터 처리 방법 |
| JP4478992B1 (ja) | 2009-09-18 | 2010-06-09 | 健治 吉田 | 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法 |
| KR101629479B1 (ko) * | 2009-11-04 | 2016-06-10 | 삼성전자주식회사 | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 |
| JP5306275B2 (ja) * | 2010-03-31 | 2013-10-02 | 株式会社東芝 | 表示装置及び立体画像の表示方法 |
| KR101675961B1 (ko) * | 2010-12-29 | 2016-11-14 | 삼성전자주식회사 | 적응적 부화소 렌더링 장치 및 방법 |
| KR101953686B1 (ko) * | 2011-11-30 | 2019-05-23 | 삼성전자주식회사 | 부화소를 렌더링하는 영상 처리 장치 및 방법 |
| KR20130070303A (ko) | 2011-12-19 | 2013-06-27 | 한국전자통신연구원 | 다시점 무안경 입체영상 렌더링 방법 및 그 장치 |
| JP5752638B2 (ja) * | 2012-04-26 | 2015-07-22 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
| KR101944911B1 (ko) | 2012-10-31 | 2019-02-07 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| US9118890B2 (en) * | 2012-11-09 | 2015-08-25 | Samsung Display Co., Ltd. | 3D display |
| KR20130014459A (ko) | 2012-12-15 | 2013-02-07 | 최수영 | 썸스터드 폴딩 시리얼버스 메모리 |
-
2014
- 2014-08-18 KR KR1020140107172A patent/KR102240568B1/ko active IP Right Grant
-
2015
- 2015-05-19 US US14/715,937 patent/US9936192B2/en active Active
- 2015-07-09 CN CN201510400637.4A patent/CN105376545B/zh active Active
- 2015-07-10 EP EP15176313.3A patent/EP2988497B1/en active Active
- 2015-07-15 JP JP2015141193A patent/JP6681675B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11917124B2 (en) | 2020-11-18 | 2024-02-27 | Samsung Electronics Co., Ltd. | Display apparatus and the control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2988497B1 (en) | 2022-01-12 |
| CN105376545A (zh) | 2016-03-02 |
| EP2988497A1 (en) | 2016-02-24 |
| US20160050409A1 (en) | 2016-02-18 |
| KR20160021968A (ko) | 2016-02-29 |
| US9936192B2 (en) | 2018-04-03 |
| JP2016042689A (ja) | 2016-03-31 |
| CN105376545B (zh) | 2019-04-05 |
| JP6681675B2 (ja) | 2020-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102240568B1 (ko) | 영상 처리 방법 및 장치 | |
| KR102415502B1 (ko) | 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 | |
| JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
| KR101944911B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| KR102370062B1 (ko) | 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 | |
| KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
| JP5366547B2 (ja) | 立体視表示装置 | |
| KR20130061042A (ko) | 부화소를 렌더링하는 영상 처리 장치 및 방법 | |
| EP2787734B1 (en) | Apparatus and method for forming light field image | |
| KR102325296B1 (ko) | 3d 영상 디스플레이 장치 및 방법 | |
| KR20170044953A (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
| CN103716612A (zh) | 基于显示器的朝向执行图像渲染的图像处理设备和方法 | |
| JP6717576B2 (ja) | 映像レンダリング装置及び方法 | |
| JP2015070618A (ja) | ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置 | |
| US20170116777A1 (en) | Image processing method and apparatus | |
| US20170161941A1 (en) | Method and apparatus for processing three-dimensional (3d) image, and graphics processing unit (gpu) | |
| KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
| JP5642561B2 (ja) | 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム | |
| KR101567002B1 (ko) | 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 | |
| US11172190B2 (en) | Stereo weaving for head-tracked autostereoscopic displays | |
| KR101425321B1 (ko) | 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 | |
| US20160163093A1 (en) | Method and apparatus for generating image | |
| KR20100125021A (ko) | 컬러 모아레 없는 방향성 디스플레이 장치 및 방법 | |
| KR20150039060A (ko) | 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |