KR102240568B1

KR102240568B1 - Method and apparatus for processing image

Info

Publication number: KR102240568B1
Application number: KR1020140107172A
Authority: KR
Inventors: 박주용; 남동경; 이석
Original assignee: 삼성전자주식회사
Priority date: 2014-08-18
Filing date: 2014-08-18
Publication date: 2021-04-16
Also published as: CN105376545B; US20160050409A1; EP2988497A1; KR20160021968A; JP2016042689A; CN105376545A; JP6681675B2; US9936192B2; EP2988497B1

Abstract

3차원 디스플레이 장치를 위한 영상 처리 방법 및 장치가 개시된다. 실시예들은 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 제1 패널을 위한 영상 데이터를 처리할 수 있다.Disclosed is an image processing method and apparatus for a 3D display device. Embodiments may process image data for the first panel in order to generate an image for the second panel-based 3D display device.

Description

Image processing method and apparatus {METHOD AND APPARATUS FOR PROCESSING IMAGE}

아래 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로 3차원 디스플레이 장치를 위한 영상 처리 방법 및 장치에 관한 것이다.
The following embodiments relate to an image processing method and apparatus, and more particularly, to an image processing method and apparatus for a 3D display device.

현재 상용화되고 있는 대부분의 3차원 디스플레이 장치는 사용자의 두 눈에 서로 다른 영상을 재생함으로써 깊이 감을 주는 원리를 사용한다. 그러나 이러한 방식은 사용자에게 양안 시차 정보만을 줄 뿐, 초점 조절, 운동 시차 등 단안 깊이 인지 요인을 전달하지 못한다. 이로 인하여, 3차원 영상이 자연스럽지 못하고, 눈의 피로가 야기될 수 있다.
피로감 없는 자연스러운 3차원 영상을 표시하는 기술로서 광선의 공간 각도(spatio-angular) 분포 즉, 라이트 필드(light field)를 재생하는 3차원 디스플레이 기술들이 있다. 여기서, 라이트 필드는 물체로부터 오는 광선의 위치 별 또는 방향 별 분포를 말한다. 이러한 라이트 필드를 임의의 면에서 광학적으로 재생하면 그 뒤에 위치한 사용자는 실제 물체가 있을 때와 같은 광선 분포를 경험하므로 자연스러운 물체의 3차원 영상을 보게 된다.
Most 3D display devices that are currently commercially available use the principle of giving a sense of depth by reproducing different images to the user's two eyes. However, this method only provides binocular parallax information to the user, and cannot convey unilateral depth perception factors such as focus control and motion parallax. Due to this, the 3D image is not natural, and eye fatigue may be caused.
As technologies for displaying a natural 3D image without fatigue, there are 3D display technologies that reproduce a spatial angular distribution of light rays, that is, a light field. Here, the light field refers to the distribution of light rays coming from an object for each location or direction. When such a light field is optically reproduced from an arbitrary plane, the user located behind it experiences the same light distribution as when there is an actual object, so that the user sees a 3D image of a natural object.

삭제delete

일 측에 따른 영상 처리 방법은 제1 패널을 위한 영상 데이터를 수신하는 단계; 및 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 상기 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 상기 영상 데이터를 처리하는 단계를 포함한다. 상기 제1 패널은 RGB 패널이고, 상기 제2 패널은 펜타일 패널일 수 있다.
상기 광학적 특성은 상기 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다. 상기 광학적 특성은 상기 제2 패널과 광학 레이어 사이의 거리; 상기 제2 패널 내 상기 서브 픽셀의 위치; 및 상기 광학 레이어 내 원소들 중 상기 서브 픽셀로부터 출력된 빛이 지나는 원소의 위치 중 적어도 하나에 기초하여 계산될 수 있다.
상기 제2 패널의 서브 픽셀 구조는 상기 제2 패널에 포함된 서브 픽셀들의 색상들; 상기 제2 패널에 각 색상의 서브 픽셀들이 배치된 형태; 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 크기; 및 상기 제2 패널에 포함된 각 색상의 서브 픽셀들의 수 중 적어도 하나를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 다 시점 영상을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 다 시점 영상으로부터, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 상기 서브 픽셀에 대응하는 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 서브 픽셀의 광선 방향에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 카메라 파라미터는 각각의 시점을 위한 카메라의 화각; 상기 각각의 시점을 위한 카메라의 촬영 방향; 및 상기 각각의 시점을 위한 카메라와 피사체 사이의 거리 중 적어도 하나를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 시점의 영상으로부터, 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 서브 픽셀이 복수의 시점들에 대응하는 경우, 상기 결정하는 단계는 상기 복수의 시점들 및 상기 복수의 시점들에서 상기 서브 픽셀에 대응하는 복수의 영역들을 결정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 다 시점 영상 내 상기 결정된 복수의 시점들의 영상들로부터, 상기 결정된 복수의 영역들 각각에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계; 및 상기 복수의 영역들 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계; 및 상기 양 눈의 위치에 기초하여, 상기 제2 패널에 포함된 상기 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계를 더 포함할 수 있다. 상기 서브 픽셀에 대응하는 영역을 결정하는 단계는 상기 서브 픽셀에 대응하는 눈의 위치에 기초하여, 상기 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계; 및 상기 다 시점 영상을 위한 카메라 파라미터에 기초하여, 상기 선택된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 영상 데이터가 3차원 모델을 포함하는 경우, 상기 생성하는 단계는 상기 광학적 특성에 기초하여, 상기 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 상기 시점의 영상 내 상기 서브 픽셀에 대응하는 영역을 결정하는 단계; 상기 3차원 모델에 기초하여, 상기 결정된 시점 및 상기 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 결정하는 단계는 미리 구비된 테이블로부터 상기 서브 픽셀에 대응하는 시점 및 영역을 획득하는 단계를 포함할 수 있다.
상기 결정하는 단계는 상기 3차원 모델을 상기 서브 픽셀의 광선 방향에 따라 바라보도록 상기 시점을 결정하는 단계; 및 상기 광선 방향으로 전파되는 빛이 상기 결정된 시점을 위한 가상의 카메라에 입사되는 위치에 기초하여, 상기 결정된 시점의 영상 내 상기 서브 픽셀에 대응하는 위치를 결정하는 단계를 포함할 수 있다.
상기 서브 픽셀 값들을 생성하는 단계는 상기 결정된 시점 및 상기 결정된 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀을 위한 값을 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 생성된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 생성된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
상기 영상 데이터가 제1 패널용 입체 영상을 포함하는 경우, 상기 영상 처리 방법은 사용자의 양 눈의 위치를 수신하는 단계를 더 포함하고, 상기 생성하는 단계는 상기 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계; 상기 서브 픽셀이 대응하는 영상으로부터, 상기 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계; 및 상기 제2 패널의 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 필터링 함으로써, 상기 서브 픽셀을 위한 값을 생성하는 단계를 포함할 수 있다.
상기 서브 픽셀의 광선 방향을 따라 전파되는 빛이 상기 사용자의 오른쪽 눈보다 상기 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 왼쪽 영상에 대응하는 것으로 결정되고, 상기 빛이 상기 왼쪽 눈보다 상기 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 상기 서브 픽셀은 상기 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
상기 추출하는 단계는 상기 서브 픽셀이 대응하는 영상으로부터, 상기 영역에 포함된 서브 픽셀들 중 상기 서브 픽셀의 색상과 동일한 색상의 서브 픽셀들의 값들을 추출하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 서브 픽셀 구조에 기초하여 상기 추출된 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오는 단계; 및 상기 가중치들을 이용하여, 상기 추출된 서브 픽셀 값들을 가중 합산함으로써 상기 서브 픽셀을 위한 값을 계산하는 단계를 포함할 수 있다.
다른 일 측에 따른 영상 처리 장치는 제1 패널을 위한 영상 데이터를 수신하는 수신부; 및 제2 패널 기반 3차원 디스플레이 장치를 위한 영상을 생성하기 위하여, 상기 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 상기 영상 데이터를 처리하는 처리부를 포함한다.
An image processing method according to one side includes receiving image data for a first panel; And processing the image data based on optical characteristics of the second panel-based 3D display device and a sub-pixel structure of the second panel to generate an image for a second panel-based 3D display device. . The first panel may be an RGB panel, and the second panel may be a pentile panel.
The optical characteristic may include a characteristic related to a ray direction of a sub-pixel included in the second panel. The optical property may include a distance between the second panel and an optical layer; A location of the sub-pixel in the second panel; And a position of an element through which light output from the sub-pixel passes among elements in the optical layer.
The sub-pixel structure of the second panel may include colors of sub-pixels included in the second panel; Sub-pixels of each color are arranged on the second panel; Sizes of sub-pixels of each color included in the second panel; And at least one of the number of subpixels of each color included in the second panel.
When the image data includes a multi-view image for a first panel, the generating may include a viewpoint corresponding to the sub-pixel included in the second panel and the sub-pixel in the image of the viewpoint based on the optical characteristic. Determining a region corresponding to a; Extracting sub-pixel values corresponding to the determined viewpoint and the determined region from the multi-view image; And generating a value for the sub-pixel by filtering the extracted sub-pixel values based on the sub-pixel structure of the second panel.
The determining may include obtaining a viewpoint corresponding to the sub-pixel and an area corresponding to the sub-pixel from a table provided in advance.
The determining may include selecting one of a plurality of viewpoints included in the multi-view image based on a ray direction of the sub-pixel; And determining a position corresponding to the sub-pixel in the image of the selected viewpoint based on the camera parameter for the multi-view image.
The camera parameter may include a camera angle of view for each viewpoint; A photographing direction of the camera for each of the viewpoints; And at least one of a distance between the camera and the subject for each viewpoint.
The extracting may include extracting values of sub-pixels having the same color as the color of the sub-pixel among sub-pixels included in the determined region from the image of the determined viewpoint in the multi-view image.
When the sub-pixel corresponds to a plurality of viewpoints, the determining may include determining the plurality of viewpoints and a plurality of regions corresponding to the sub-pixel at the plurality of viewpoints.
The extracting comprises extracting values of sub-pixels having the same color as the color of the sub-pixel among sub-pixels included in each of the determined plurality of regions from images of the determined plurality of viewpoints in the multi-view image. step; And interpolating values of subpixels corresponding to each other between the plurality of regions.
The generating may include determining weights for the extracted sub-pixel values or reading determined weights based on the sub-pixel structure; And calculating a value for the sub-pixel by weighting and summing the extracted sub-pixel values using the weights.
The image processing method includes receiving positions of both eyes of a user; And determining whether the sub-pixel included in the second panel corresponds to a left eye or a right eye based on the positions of the eyes. The determining of the region corresponding to the sub-pixel may include selecting one of a plurality of viewpoints included in the multi-view image based on a position of an eye corresponding to the sub-pixel; And determining a position corresponding to the sub-pixel in the image of the selected viewpoint based on the camera parameter for the multi-view image.
When the image data includes a 3D model, the generating may include a viewpoint corresponding to a subpixel included in the second panel and a region corresponding to the subpixel in the image at the viewpoint based on the optical characteristic Determining; Generating sub-pixel values corresponding to the determined viewpoint and the determined area based on the 3D model; And generating a value for the sub-pixel by filtering the generated sub-pixel values based on the sub-pixel structure of the second panel.
The determining may include obtaining a viewpoint and a region corresponding to the sub-pixel from a table provided in advance.
The determining may include determining the viewpoint so that the 3D model is viewed according to a ray direction of the sub-pixel; And determining a position corresponding to the sub-pixel in the image of the determined viewpoint based on a position where the light propagating in the ray direction is incident on the virtual camera for the determined viewpoint.
The generating of the sub-pixel values may include generating values of sub-pixels having the same color as the color of the sub-pixel among sub-pixels included in the determined viewpoint and the determined region.
The generating a value for the sub-pixel may include determining weights for the generated sub-pixel values based on the sub-pixel structure or reading the determined weights; And calculating a value for the sub-pixel by weighting and summing the generated sub-pixel values using the weights.
When the image data includes a stereoscopic image for a first panel, the image processing method further includes receiving positions of both eyes of the user, and the generating step is based on the positions of the eyes of the first panel. 2 determining whether a sub-pixel included in the panel corresponds to a left image or a right image; Extracting sub-pixel values included in an area corresponding to the sub-pixel from an image corresponding to the sub-pixel; And generating a value for the sub-pixel by filtering the extracted sub-pixel values based on the sub-pixel structure of the second panel.
When it is determined that light propagating along the light beam direction of the sub-pixel reaches closer to the left eye of the user than to the right eye of the user, the sub-pixel is determined to correspond to the left image, and the light is When it is determined that it reaches the right eye closer than the left eye, the sub-pixel may be determined to correspond to the right image.
The extracting may include extracting values of sub-pixels having the same color as the color of the sub-pixel among sub-pixels included in the region from an image corresponding to the sub-pixel.
The generating may include determining weights for the extracted sub-pixel values or reading determined weights based on the sub-pixel structure; And calculating a value for the sub-pixel by weighting and summing the extracted sub-pixel values using the weights.
The image processing apparatus according to the other side includes: a receiver configured to receive image data for a first panel; And a processing unit that processes the image data based on optical characteristics of the second panel-based 3D display device and a sub-pixel structure of the second panel in order to generate an image for the second panel-based 3D display device. .

삭제delete

도 1 내지 도 7은 일 실시예에 따른 영상 처리 장치를 설명하는 도면들.
도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들.
도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들.
도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들.
도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들.
도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도.
도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들.
도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.
도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들.1 to 7 are diagrams illustrating an image processing apparatus according to an exemplary embodiment.
8 and 9 are diagrams for explaining a viewpoint selection operation according to embodiments.
10 to 13 are diagrams for explaining a positioning operation according to embodiments.
14 and 15 are diagrams for explaining an operation of determining a region according to embodiments.
16 to 23 are diagrams for explaining a filtering operation according to embodiments.
24 is a flowchart illustrating a method of rendering a light field according to an exemplary embodiment.
25 to 28 are diagrams for explaining an interpolation operation according to an embodiment.
29 to 32 are diagrams illustrating a light field rendering apparatus according to another embodiment.
33 to 36 are diagrams illustrating a light field rendering apparatus according to another embodiment.
37 to 40 are diagrams illustrating a light field rendering apparatus according to another embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 라이트 필드 디스플레이 기법을 위한 렌더링에 사용될 수 있다. 라이트 필드 디스플레이 기법은 3차원 영상을 표현하는 무 안경 방식의 기법으로, 예를 들어 3D 텔레비전, 3D 모니터, 3D 디지털 정보 디스플레이(Digital Information Display, DID), 및 3D 모바일 기기 등에 적용될 수 있다.
도 1 내지 도 7은 일 실시예에 따른 영상 처리 장치를 설명하는 도면들이다. 영상 처리 장치는 라이트 필드 디스플레이 기법을 이용하여 영상을 처리하는 장치로, 예를 들어 라이트 필드 렌더링 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 영상 처리 장치는 라이트 필드 렌더링 장치라고 지칭될 수 있다.
도 1을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(111)와 처리부(112)를 포함한다. 수신부(111)는 제1 패널을 위한 영상 데이터(120)를 수신할 수 있다. 일 실시예에 따르면, 제1 패널을 위한 영상 데이터(120)는 제1 패널용 다 시점 영상을 포함할 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치(130)를 위한 영상을 생성하기 위하여, 제1 패널을 위한 영상 데이터(120)를 처리할 수 있다. 제2 패널 기반 3차원 디스플레이 장치(130)는 라이트 필드 디스플레이 기법을 이용하여 3차원 영상을 재생하는 장치로, 예를 들어 제2 패널 기반 라이트 필드 디스플레이 장치를 포함할 수 있다. 이하, 설명의 편의를 위하여, 제2 패널 기반 3차원 디스플레이 장치(130)는 제2 패널 기반 라이트 필드 디스플레이 장치라고 지칭될 수 있다.
처리부(112)는 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성 및 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널을 위한 영상 데이터(120)를 처리함으로써, 제2 패널 기반 라이트 필드 디스플레이 장치를 위한 영상을 생성할 수 있다. 제2 패널 기반 3차원 디스플레이 장치의 광학적 특성은 제2 패널에 포함된 서브 픽셀의 광선 방향과 관련된 특성을 포함할 수 있다.
보다 구체적으로, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 라이트 필드 렌더링 장치(110)는 라이트 필드를 렌더링하기 위한 각종 모듈들로 구성될 수 있고, 라이트 필드 렌더링 장치(110)를 구성하는 각종 모듈들은 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 모듈은 적어도 하나의 프로세서에 의하여 구동될 수 있다.
제1 패널의 서브 픽셀 구조와 제2 패널의 서브 픽셀 구조는 서로 다를 수 있다. 임의의 패널의 서브 픽셀 구조는 그 패널에 포함된 서브 픽셀들의 색상들, 그 패널에 각 색상의 서브 픽셀들이 배치된 형태, 그 패널에 포함된 각 색상의 서브 픽셀들의 크기, 및 그 패널에 포함된 각 색상의 서브 픽셀들의 수 등을 포함할 수 있다.
예를 들어, 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 펜타일 패널일 수 있다. 일반적인 RGB 패널의 서브 픽셀 구조와 펜타일 패널의 서브 픽셀 구조는 서로 다르다. 보다 구체적으로, 일반적인 RGB 패널은 하나의 픽셀에 서로 크기가 동일한 R(red) 서브 픽셀, G(green) 서브 픽셀, 및 B(blue) 서브 픽셀이 포함되는 서브 픽셀 구조를 가진다. 예를 들어, 일반적인 RGB 패널은 RGB 스트라이프(stripe) 구조로 구현될 수 있다.
반면, 펜타일 패널은 하나의 픽셀에 서로 크기가 동일한 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀이 포함되는 서브 픽셀 구조를 가지지 않는다. 펜타일 패널은 다양한 형태로 구현될 수 있다. 일 예로, 펜타일 패널은 도 2와 같은 서브 픽셀 구조를 가질 수 있다. 도 2와 같은 서브 픽셀 구조는 다이아몬드 펜타일 구조라고 지칭될 수 있다. 도 2를 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. G 서브 픽셀의 크기는 R 서브 픽셀의 크기 및 B 서브 픽셀의 크기보다 작을 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 대각 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 대각 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
다른 예로, 펜타일 패널은 도 3과 같은 서브 픽셀 구조를 가질 수 있다. 도 3을 참조하면, 하나의 픽셀은 두 개의 서브 픽셀들을 포함한다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 G 서브 픽셀을 포함한다. R 서브 픽셀의 크기, G 서브 픽셀의 크기, 및 B 서브 픽셀의 크기는 서로 다를 수 있다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 세로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 G 서브 픽셀과 B 서브 픽셀은 세로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
또 다른 예로, 펜타일 패널은 도 4와 같은 서브 픽셀 구조를 가질 수 있다. 도 4를 참조하면, 펜타일 패널은 R 서브 픽셀, G 서브 픽셀, 및 B 서브 픽셀 이외에도 W 서브 픽셀을 더 포함할 수 있다. 각각의 픽셀은 R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀을 모두 포함하지 않는다. 각각의 픽셀은 R 서브 픽셀 및 G 서브 픽셀을 포함하거나, B 서브 픽셀 및 W 서브 픽셀을 포함한다. 하나의 픽셀 내에서 G 서브 픽셀과 R 서브 픽셀은 가로 방향으로 배치될 수 있다. 또한, 하나의 픽셀 내에서 B 서브 픽셀과 W 서브 픽셀은 가로 방향으로 배치될 수 있다. 하나의 픽셀 내 서브 픽셀들의 배치는 다양하게 변형될 수 있다. 또한, R 서브 픽셀, G 서브 픽셀, B 서브 픽셀, 및 W 서브 픽셀 각각의 크기 및 형태는 다양하게 변형될 수 있다.
이상에서, 설명의 편의를 위하여 제2 패널이 펜타일 패널인 경우를 설명하였으나, 제2 패널은 펜타일 패널 이외에도 일반적인 RGB 패널과 상이한 구조의 패널일 수 있다.
라이트 필드 렌더링 장치(110)는 제1 패널용 다 시점 영상을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다. 예를 들어, 도 5를 참조하면, 제2 패널 기반 라이트 필드 디스플레이 장치는 일정한 공간에 존재하는 점들에서 여러 방향으로 출력되는 빛을 그대로 표현할 수 있다. 제2 패널 기반 라이트 필드 디스플레이 장치는 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 반사하는 원리를 이용한다.
제2 패널 기반 라이트 필드 디스플레이 장치는 서브 픽셀들을 포함하는 제2 패널(501) 및 서브 픽셀들로부터 출력되는 빛이 통과하는 광학 레이어(502)를 포함할 수 있다. 여기서, 광학 레이어(502)는 렌티큘러 렌즈(Lenticular Lens), 패럴랙스 배리어(Parallex Barrier), 렌즈 어레이 및 마이크로 렌즈 어레이 등 광학 필터를 포함할 수 있다. 또한, 광학 레이어(502)는 방향성 백 라이트 유닛(directional back light unit)을 포함할 수 있다. 이하, 설명의 편의를 위하여 광학 레이어(502)가 렌즈 어레이인 경우를 설명하나, 실시예들은 전술한 광학 필터에 한정되지 않고, 디스플레이의 전면 또는 후면에 배치될 수 있는 모든 형태의 광학 레이어를 이용할 수 있다.
제2 패널(501)에 포함된 서브 픽셀로부터 출력되는 빛의 방향은 광학 레이어(502)를 통하여 결정될 수 있다. 서브 픽셀들 각각으로부터 출력되는 빛은 광학 레이어(502)를 통과하면서 특정 방향으로 방사될 수 있다. 이러한 과정을 통해 제2 패널 기반 라이트필드 디스플레이 장치는 입체 영상 또는 다 시점 영상을 표현할 수 있다.
광학 레이어(502)는 복수의 원소들을 포함할 수 있다. 각각의 원소들은 3D 화소라고 지칭될 수 있다. 하나의 3D 화소는 여러 방향으로 다른 정보를 포함하는 광선을 출력할 수 있다. 예를 들어, 광학 레이어(502)에 포함된 하나의 3D 화소에서 15×4 방향의 광선들(503)이 출력될 수 있다. 제2 패널 기반 라이트필드 디스플레이 장치는 복수의 3D 화소들을 이용하여 3차원 공간상의 점들을 표현할 수 있다.
이 때, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 서브 픽셀들의 위치 및/또는 크기가 달라지므로, 제2 패널(501)의 서브 픽셀 구조에 따라 제2 패널(501) 내 각 서브 픽셀들로부터 출력되는 광선의 방향이 달라질 수 있다. 이로 인하여, 제1 패널용 다 시점 영상의 서브 픽셀 값들을 제2 패널(501)의 서브 픽셀 값들로 결정하는 경우, 다 시점 영상이 제대로 표현되지 못한다. 예를 들어, 일반적인 RGB 패널의 서브 픽셀 구조에 따라 라이트 필드 렌더링 된 패널 영상을 펜타일 패널의 서브 픽셀 구조에 맞게 단순 변환하는 경우, 펜타일 패널의 서브 픽셀 구조에 따라 서브 픽셀의 광선 방향이 변경되는 점이 무시됨으로써 의도된 영상이 제대로 표현될 수 없다.
라이트 필드 렌더링 장치(110)는 임의의 서브 픽셀 구조를 갖는 제2 패널을 이용하는 라이트 필드 디스플레이 장치를 위한 렌더링 기법을 제공할 수 있다. 예를 들어, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 기초하여 제1 패널용 다 시점 영상으로부터 제2 패널의 서브 픽셀을 위한 값을 생성할 수 있다. 라이트 필드 렌더링 장치(110)의 동작과 관련된 보다 상세한 사항들은 후술한다.
이로 인하여, 실시예들은 라이트필드 디스플레이 장치가 다양한 패널로 구현될 수 있도록 하는 기술을 제공할 수 있다. 아래에서 상세히 설명하겠으나, 라이트 필드 렌더링 장치(110)는 제2 패널의 서브 픽셀 구조에 맞게 서브 픽셀 구조 변환하는 연산을 최소화하기 위해, 제2 패널 기반 라이트 필드 디스플레이 장치에서 실제 사용되는 서브 픽셀에 대해서만, 서브 픽셀 구조 변환을 수행하는 알고리즘을 제공할 수 있다.
도 6을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 장치(110)는 수신부(610), 결정부(620), 추출부(630), 및 생성부(640)를 포함한다. 수신부(610)는 제1 패널용 다 시점 영상을 수신할 수 있다. 수신부(610)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(620)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 추출부(630)는 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출할 수 있다. 생성부(640)는 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 결정부(620), 추출부(630), 및 생성부(640)는 도 1의 처리부(112)에 대응할 수 있다.
결정부(620)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 7을 참조하면, 결정부(620)는 서브 픽셀(711)을 위한 값을 렌더링하기 위하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(711)로부터 출력된 빛은 광학 레이어(720) 내 원소(721)의 중심을 지나는 방향으로 전파(propagate)될 수 있다. 결정부(620)는 제2 패널(710)과 광학 레이어(720) 사이의 거리, 제2 패널(710) 내 서브 픽셀(711)의 위치, 및 광학 레이어(720) 내 원소들 중 서브 픽셀(711)로부터 출력된 빛이 지나는 원소(721)의 위치에 기초하여, 서브 픽셀(711)의 광선 방향을 계산할 수 있다. 이하, 서브 픽셀로부터 출력된 빛은 LED와 같이 자체적으로 발광하는 서브 픽셀로부터 출력되는 빛뿐만 아니라 LCD와 같이 백라이트의 빛을 투과시키는 서브 픽셀로부터 출력되는 빛을 모두 포함할 수 있다.
서브 픽셀(711)의 광선 방향에 따라 전파되는 빛은 다 시점 영상의 시점들(730) 중 어느 하나에 대응될 수 있다. 다 시점 영상은 복수의 시점들에 대응하는 시점 영상들로 구성될 수 있다. 결정부(620)는 서브 픽셀(711)의 광선 방향에 따라 전파되는 빛이 도달하는 위치에 대응하는 시점(731)을 선택할 수 있다. 시점 선택 동작과 관련된 보다 상세한 사항들은 도 8 및 도 9를 통하여 후술한다.
결정부(620)는 다 시점 영상을 위한 카메라 파라미터에 기초하여, 선택된 시점(731)의 영상(740) 내 서브 픽셀에 대응하는 위치(741)를 결정할 수 있다. 카메라 파라미터는 다 시점 영상을 촬영한 다 시점 카메라의 파라미터로, 예를 들어 각각의 시점을 위한 카메라의 화각, 각각의 시점을 위한 카메라의 촬영 방향, 각각의 시점을 위한 카메라와 피사체 사이의 거리를 포함할 수 있다. 카메라 파라미터는 다 시점 영상에 포함되며, 결정부(620)는 다 시점 영상으로부터 카메라 파라미터를 획득할 수 있다. 위치 결정 동작과 관련된 보다 상세한 사항들은 도 10 내지 도 13을 통하여 후술한다.
결정부(620)는 선택된 시점(731)의 영상(740) 내 위치(741)를 포함하는 영역(742)을 서브 픽셀(711)에 대응하는 영역으로 결정할 수 있다. 영역(742)은 영상(740) 내에서 위치(741)를 중심으로 하는 미리 정해진 크기의 영역일 수 있다. 영역 결정 동작과 관련된 보다 상세한 사항들은 도 14 및 도 15를 통하여 후술한다.
이상에서, 결정부(620)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(620)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 다 시점 영상을 촬영하는 거리, 다 시점 영상을 촬영하는 화각, 다 시점 영상을 촬영하는 방향, 또는 다 시점 영상을 위한 카메라 파라미터 등 다 시점 영상을 촬영하는 조건이 표준화되는 경우, 임의의 서브 픽셀에 대응하는 시점 및 해당 서브 픽셀에 대응하는 영역은 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀 구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점들 및 영역들과 관련된 정보를 저장할 수 있다. 이 경우, 결정부(620)는 미리 구비된 테이블을 참조함으로써, 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
추출부(630)는 다 시점 영상으로부터, 시점(731) 및 영역(742)대응하는 서브 픽셀 값들을 추출할 수 있다. 예를 들어, 추출부(630)는 다 시점 영상을 구성하는 복수의 시점 영상들 중 시점(731)에 대응하는 시점 영상을 검출할 수 있다. 추출부(630)는 검출된 시점 영상으로부터, 영역(742)에 포함된 서브 픽셀들의 값들을 추출할 수 있다.
이 때, 추출부(630)는 영역(742)에 포함된 서브 픽셀들 중 서브 픽셀(711)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 추출할 수 있다. 예를 들어, 서브 픽셀(711)은 R 서브 픽셀일 수 있고, 영역(742)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 추출부(630)는 영역(742) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 추출할 수 있다.
생성부(640)는 영역(742)에 기초하여 서브 픽셀(711)을 위한 값을 생성할 수 있다. 생성부(640)는 영역(742)으로부터 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(711)을 위한 값을 생성할 수 있다. 예를 들어, 생성부(640)는 제2 패널(710)의 서브 픽셀 구조에 기초하여 가중치들을 결정할 수 있다. 생성부(640)는 가중치들을 이용하여, 영역(742)으로부터 추출된 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(711)을 위한 값을 계산할 수 있다. 생성된 값은 서브 픽셀(711)에 인가될 수 있다. 필터링 동작과 관련된 보다 상세한 사항들은 도 16 내지 도 23을 통하여 후술한다.

도 8 및 도 9는 실시예들에 따른 시점 선택 동작을 설명하는 도면들이다. 도 8을 참조하면, 서브 픽셀(810)은 다양한 방향들로 빛을 출력할 수 있고 출력된 빛은 광학 레이어(820)를 통과하면서 광선 방향들이 양자화되는 형태로 표현될 수 있다. 예를 들어, 서브 픽셀(810)로부터 출력되는 빛의 방향들은 광학 레이어(820)에 포함된 원소들 각각의 중심을 지나는 방향들로 양자화될 수 있다.
결정부(도면 미 표시)는 양자화된 광선 방향들 중 다 시점 영상을 구성하는 시점들에 대응하는 광선 방향을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다. 예를 들어, 제1 광선 방향(841)은 다 시점 영상을 구성하는 시점들 중 시점(830)에 대응하고, 제2 광선 방향(842)은 다 시점 영상을 구성하는 시점들 어디에도 대응하지 않을 수 있다. 제1 광선 방향(841)은 서브 픽셀(810)로부터 출력된 빛이 원소(821)의 중심을 통과하는 방향이고, 제2 광선 방향(842)은 서브 픽셀(810)로부터 출력된 빛이 원소(822)의 중심을 통과하는 방향이다. 이 경우, 결정부는 제1 광선 방향(841)을 서브 픽셀(810)의 광선 방향으로 결정할 수 있다.
경우에 따라서, 복수의 광선 방향들이 다 시점 영상을 구성하는 시점들에 대응할 수 있다. 이 경우, 결정부는 다 시점 영상의 중심 위치에 가까운 시점에 대응하는 광선 방향을 해당 서브 픽셀의 광선 방향으로 결정할 수 있다. 다 시점 영상의 중심 위치는 다 시점 영상을 구성하는 복수의 시점들이 분포하는 영역의 중심에 해당하는 위치일 수 있다.
도 9를 참조하면, 일 실시예에 따른 제2 패널(910)의 서브 픽셀들 각각의 광선 방향은 광학 레이어(920) 내 어느 하나의 원소의 중심을 통과하는 방향으로 결정될 수 있다. 각 광선 방향은 다 시점 영상을 구성하는 복수의 시점들(930) 중 어느 하나에 대응할 수 있다.

도 10 내지 도 13은 실시예들에 따른 위치 결정 동작을 설명하는 도면들이다. 도 10을 참조하면, 제2 패널의 서브 픽셀(1010)로부터 출력되는 빛은 광학 레이어의 원소(1020)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 결정부(도면 미 표시)는 다 시점 영상을 위한 카메라 파라미터에 기초하여 시점(1030)의 영상(1040) 내에서 서브 픽셀(1010)에 대응하는 위치를 결정할 수 있다.
예를 들어, 결정부는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1050)를 설정할 수 있고, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간 내 어느 위치에 입사되는지 여부를 계산할 수 있다. 여기서, 시점(1030)을 위한 가상의 카메라(1050)의 촬영 공간은 시점(1030)의 영상(1040)에 해당하며, 광선 방향(1025)을 따라 전파되는 빛은 영상(1040) 내 위치(1041)에 입사될 수 있다. 결정부는 위치(1041)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 11을 참조하면, 일 실시예에 따른 결정부(도면 미 표시)는 카메라 파라미터에 기초하여 시점(1030)을 위한 가상의 카메라(1060)를 도 10의 가상의 카메라(1050)와 다르게 설정할 수 있다. 이 경우, 광선 방향(1025)을 따라 전파되는 빛이 시점(1030)의 영상(1040) 내 다른 위치에 입사될 수 있다. 예를 들어, 광선 방향(1025)을 따라 전파되는 빛은 시점(1030)의 영상(1040) 내 위치(1042)에 입사될 수 있다. 결정부는 위치(1042)를 서브 픽셀(1010)에 대응하는 위치로 결정할 수 있다.
도 12를 참조하면, 일 실시예에 따른 서브 픽셀(1210)로부터 출력되는 빛은 광학 레이어의 원소(1220)를 통하여 출력되고, 시점(1030)에 대응할 수 있다. 여기서, 광선 방향(1225)을 따라 전파되는 빛은 시점(1030)을 위한 가상의 카메라(1050)의 중심(1031)에 정확히 입사되지 않고, 다른 위치(1032)에 입사될 수 있다. 이 경우, 결정부(도면 미 표시)는 원소(1220)와 가상의 카메라(1050)의 중심(1031) 사이의 가상의 광선을 이용하여 서브 픽셀(1210)에 대응하는 위치를 결정할 수 있다.
예를 들어, 도 13을 참조하면, 결정부는 원소(1220)의 중심으로부터 가상의 카메라(1050)의 중심(1031)으로 향하는 광선 방향(1226)을 설정할 수 있다. 결정부는 광선 방향(1226)에 의하여 빛이 전파되는 경우 해당 빛이 시점(1030)의 영상(1040)에 입사되는 위치(1043)를 계산할 수 있다. 결정부는 위치(1043)를 서브 픽셀(1210)에 대응하는 위치로 결정할 수 있다.

도 14 및 도 15는 실시예들에 따른 영역 결정 동작을 설명하는 도면들이다. 도 14를 참조하면, 제1 패널용 영상(1400)은 복수의 픽셀들로 구성될 수 있다. 제1 패널용 영상(1400)에 포함된 픽셀들 각각은 해당 픽셀의 색상을 표현하는 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값을 포함할 수 있다. 제1 패널용 영상(1400)은 다 시점 영상들을 구성하는 복수의 시점들 중 어느 하나의 시점에 대응하는 영상일 수 있다.
결정부(도면 미 표시)는 제1 패널용 영상(1400) 내에서 결정된 위치를 포함하는 영역(1410)을 결정할 수 있다. 결정된 위치는 제1 패널용 영상(1400)에 포함된 복수의 픽셀들 중 어느 하나의 픽셀(1411)에 해당할 수 있고, 영역(1410)은 픽셀(1411) 및 주변 픽셀들을 포함하는 3 x 3 크기의 픽셀 그룹일 수 있다.
픽셀(1411)을 포함하도록 결정되는 영역의 크기는 다양하게 설정될 수 있다. 예를 들어, 도 15를 참조하면, 결정부는 픽셀(1411) 및 주변 픽셀들을 포함하는 5 x 5 크기의 픽셀 그룹으로 영역(1510)을 결정할 수 있다. 또는, 픽셀(1411)을 포함하는 영역은 원형 등 다양한 형태로 설정될 수도 있다. 이하, 설명의 편의를 위하여 서브 픽셀에 대응하는 영역은 3 x 3 크기의 픽셀 그룹인 경우를 가정하고 필터링 동작을 설명하나, 실시예들은 다양한 크기 및/또는 다양한 형태의 영역들에도 그대로 적용될 수 있다.

도 16 내지 도 23은 실시예들에 따른 필터링 동작을 설명하는 도면들이다. 도 16을 참조하면, 생성부(도면 미 표시)는 서브 픽셀을 위한 값을 생성하기 위하여, 제2 패널의 서브 픽셀 구조에 기초하여 가중치를 결정할 수 있다. 예를 들어, 생성부는 서브 픽셀(1610)의 값을 생성하기 위하여, 서브 픽셀(1610) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(1610)은 R 서브 픽셀이고, 서브 픽셀(1610)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1610)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다.
생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1620)을 결정할 수 있다. 가중치 맵(1620)은 3 x 3 크기의 매트릭스로, 시점 영상 내에서 결정된 영역의 크기와 동일할 수 있다. 도 16에 도시된 가중치 맵(1620)은 일 예시로, 가중치 맵(1620)에 설정된 가중치들은 제2 패널의 서브 픽셀 구조를 반영하는 다양한 방식에 의하여 다르게 결정될 수 있다.
전술한 바와 같이, 결정부(도면 미 표시)는 시점 영상 내에서 결정된 영역으로부터 서브 픽셀(1610)의 색상과 동일한 색상에 해당하는 서브 픽셀 값들을 추출할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1630)을 가중치 맵(1620)에 따라 가중 합산 함으로써, 서브 픽셀(1610)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1610)을 위한 값은 수식(1640)과 같이 계산될 수 있다.
도 17을 참조하면, 서브 픽셀(1710)은 G 서브 픽셀이고, 서브 픽셀(1710)의 상하좌우 및 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1720)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1730)을 가중치 맵(1720)에 따라 가중 합산 함으로써, 서브 픽셀(1710)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1710)을 위한 값은 수식(1740)과 같이 계산될 수 있다. 서브 픽셀 구조에 따라 제2 패널의 모든 픽셀들에 G 서브 픽셀이 포함되어 있으므로, G 서브 픽셀은 실질적으로 필터링 되지 않을 수 있다.
도 18을 참조하면, 서브 픽셀(1810)은 B 서브 픽셀이고, 서브 픽셀(1810)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(1810)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(1820)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(1830)을 가중치 맵(1820)에 따라 가중 합산 함으로써, 서브 픽셀(1810)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(1810)을 위한 값은 수식(1840)과 같이 계산될 수 있다.
도 19를 참조하면, 생성부(도면 미 표시)는 RGBW 펜타일 패널을 위하여 W(white) 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 생성부는 RGB 영상에 해당하는 제1 서브 픽셀 값들(1910)로부터 제2 서브 픽셀 값들(1920)의 W 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 임의의 픽셀을 위한 W 서브 픽셀 값은 해당 픽셀의 R 서브 픽셀 값, G 서브 픽셀 값, 및 B 서브 픽셀 값 중 최소 값으로 결정될 수 있다. 제1 서브 픽셀 값들(1910)은 시점 영상 내에서 결정된 영역으로부터 추출된 R 서브 픽셀 값들, G 서브 픽셀 값들, 및 B 서브 픽셀 값들이다. 제2 서브 픽셀 값들(1920)은 RGBW 펜타일 패널의 W 서브 픽셀을 위한 값을 생성하는 데 이용될 수 있다.
도 20을 참조하면, 생성부(도면 미 표시)는 서브 픽셀(2010)의 값을 생성하기 위하여, 서브 픽셀(2010) 및 그 주변 서브 픽셀들을 위한 가중치들을 결정할 수 있다. 서브 픽셀(2010)은 R 서브 픽셀이고, 서브 픽셀(2010)의 상하좌우에는 R 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2010)의 대각선 방향에는 R 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2020)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2030)을 가중치 맵(2020)에 따라 가중 합산 함으로써, 서브 픽셀(2010)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2010)을 위한 값은 수식(2040)과 같이 계산될 수 있다.
도 21을 참조하면, 서브 픽셀(2110)은 G 서브 픽셀이고, 서브 픽셀(2110)의 상하좌우에는 G 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2110)의 대각선 방향에는 G 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2120)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2130)을 가중치 맵(2120)에 따라 가중 합산 함으로써, 서브 픽셀(2110)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2110)을 위한 값은 수식(2140)과 같이 계산될 수 있다.
도 22를 참조하면, 서브 픽셀(2210)은 B 서브 픽셀이고, 서브 픽셀(2210)의 상하좌우에는 B 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2210)의 대각선 방향에는 B 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2220)을 결정할 수 있다. 생성부는 시점 영상 내에서 결정된 영역으로부터 추출된 서브 픽셀 값들(2230)을 가중치 맵(2220)에 따라 가중 합산 함으로써, 서브 픽셀(2210)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2210)을 위한 값은 수식(2240)과 같이 계산될 수 있다.
도 23을 참조하면, 서브 픽셀(2310)은 W 서브 픽셀이고, 서브 픽셀(2310)의 상하좌우에는 W 서브 픽셀들이 배치되어 있지 않으며, 서브 픽셀(2310)의 대각선 방향에는 W 서브 픽셀들이 배치되어 있다. 생성부는 이러한 서브 픽셀 구조에 기초하여 가중치 맵(2320)을 결정할 수 있다. 생성부는 도 19에서 설명한 바와 같이 생성된 서브 픽셀 값들(2330)을 가중치 맵(2320)에 따라 가중 합산 함으로써, 서브 픽셀(2310)을 위한 값을 생성할 수 있다. 예를 들어, 서브 픽셀(2310)을 위한 값은 수식(2340)과 같이 계산될 수 있다.

도 24는 일 실시예에 따른 라이트 필드 렌더링 방법을 나타내는 동작 흐름도이다. 도 24를 참조하면, 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(2410), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(2420), 결정된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(2430), 다 시점 영상으로부터, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(2440), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀을 위한 값을 생성하는 단계(2450)를 포함한다. 도 24에 도시된 각 단계들에는 도 1 내지 도 23을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 25 내지 도 28은 일 실시예에 따른 인터폴레이션 동작을 설명하는 도면들이다. 도 25를 참조하면, 제2 패널의 서브 픽셀(2510)로부터 출력된 빛은 광학 레이어의 원소(2520)를 통과하는 광선 방향(2530)으로 전파될 수 있다. 이 때, 광선 방향(2530)으로 전파되는 빛은 어느 하나의 시점에 정확하게 대응되지 않을 수 있다. 예를 들어, 광선 방향(2530)으로 전파되는 빛은 제1 시점(2540)을 위한 가상의 카메라 위치(2541)와 제2 시점(2550)을 위한 가상의 카메라 위치(2752) 사이로 입사될 수 있다. 이 경우, 서브 픽셀(2510)은 제1 시점(2540) 및 제2 시점(2550) 등 복수의 시점들에 대응한다고 표현될 수 있다.
도 26을 참조하면, 서브 픽셀(2510)의 값을 생성하기 위하여, 광선 방향(2530)으로 전파되는 빛에 정확히 대응되는 가상의 카메라(2610)가 설정될 수 있다. 다 시점 영상에는 가상의 카메라(2610)에 의하여 촬영된 영상이 포함되어 있지 않으므로, 인터폴레이션 기법을 통하여 가상의 카메라(2610)에 의하여 촬영된 영상이 생성될 수 있다. 예를 들어, 도 27을 참조하면, 결정부(도면 미 표시)는 복수의 시점들에서 서브 픽셀(2510)에 대응하는 영역들을 결정할 수 있다. 결정부는 원소(2520)로부터 제1 시점(2540)을 위한 가상의 카메라 위치(2541)로 전파되는 광선 방향(2710)에 기초하여, 제1 시점(2540)의 영상(2730) 내 서브 픽셀(2510)에 대응하는 제1 영역(2731)을 결정할 수 있다. 또한, 결정부는 원소(2520)로부터 제2 시점(2550)을 위한 가상의 카메라 위치(2551)로 전파되는 광선 방향(2720)에 기초하여, 제2 시점(2550)의 영상(2740) 내 서브 픽셀(2510)에 대응하는 제2 영역(2741)을 결정할 수 있다
도 28을 참조하면, 추출부(도면 미 표시)는 다 시점 영상으로부터 제1 영역(2731)의 서브 픽셀 값들을 추출하고, 제2 영역(2741)의 서브 픽셀 값들을 추출할 수 있다. 추출부는 제1 영역(2731)과 제2 영역(2741) 사이에서, 서로 대응하는 서브 픽셀들의 값들을 인터폴레이션할 수 있다. 예를 들어, 추출부는 제1 영역(2731)의 중심에 위치하는 서브 픽셀 값(2732)과 제2 영역(2741)의 중심에 위치하는 서브 픽셀 값(2742)을 인터폴레이션함으로써, 제3 영역(2810)의 중심에 위치하는 서브 픽셀 값(2811)을 생성할 수 있다. 제3 영역(2810)은 도 26의 가상의 카메라(2610)에 의하여 촬영된 영상 내에서 서브 픽셀(2510)에 대응하는 영역이다. 생성부(도면 미 표시)는 제3 영역(2810)의 서브 픽셀 값들을 필터링 함으로써, 서브 픽셀(2510)을 위한 값을 생성할 수 있다.
이상에서, 두 개의 시점들을 이용하는 인터폴레이션 기법을 설명하였으나, 실시예들은 세 개 이상의 시점들을 이용하는 인터폴레이션 기법으로 확장될 수 있다. 이 경우, 서브 픽셀(2510)의 광선 방향에 기초하여 세 개 이상의 시점들이 결정되고, 각 시점들의 영상들 내에서 서브 픽셀(2510)에 대응하는 영역들이 결정될 수 있다.

도 29 내지 도 32는 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 29를 참조하면, 라이트 필드 렌더링 장치(2910)는 3차원 모델을 포함하는 데이터(2920)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제2 패널은 일반적인 RGB 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(2910)는 3차원 모델을 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(2930)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 30을 참조하면, 라이트 필드 렌더링 장치(2910)는 수신부(3010), 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)를 포함한다. 수신부(3010)는 3차원 모델을 포함하는 데이터를 수신한다. 수신부(3010)는 도 1의 수신부(111)에 대응할 수 있다. 결정부(3020)는 제2 패널에 포함된 서브 픽셀에 대응하는 시점 및 그 시점의 영상 내에서 서브 픽셀에 대응하는 영역을 결정할 수 있다. 제2 패널은 펜타일 패널일 수 있다. 결정부(3020), 제1 생성부(3030), 및 제2 생성부(3040)는 도 1의 처리부(112)에 대응할 수 있다.
제1 생성부(3030)는 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성할 수 있다. 제2 생성부(3040)는 생성된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 제1 생성부(3030)에 의하여 생성되는 서브 픽셀 값들은 일반적인 RGB 패널을 위한 값들이고, 제2 생성부(3040)에 의하여 생성되는 서브 픽셀을 위한 값은 펜타일 패널을 위한 값일 수 있다.
결정부(3020)는 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정할 수 있다. 도 31을 참조하면, 결정부(3020)는 서브 픽셀(3110)을 위한 값을 렌더링하기 위하여, 서브 픽셀(3110)의 광선 방향을 계산할 수 있다. 예를 들어, 서브 픽셀(3110)로부터 출력된 빛은 광학 레이어 내 원소(3120)의 중심을 지나는 방향으로 전파될 수 있다. 결정부(3020)는 제2 패널과 광학 레이어 사이의 거리, 제2 패널 내 서브 픽셀(3110)의 위치, 및 광학 레이어 내 원소들 중 서브 픽셀(3110)로부터 출력된 빛이 지나는 원소(3120)의 위치에 기초하여, 서브 픽셀(3110)의 광선 방향(3125)을 계산할 수 있다.
결정부(3020)는 광선 방향(3125)에 따라 3차원 모델(3105)을 바라보도록 시점을 결정할 수 있다. 결정부(3020)는 광선 방향(3125)으로 전파되는 빛이 결정된 시점을 위한 가상의 카메라(3130)에 입사되는 위치에 기초하여, 서브 픽셀(3110)에 대응하는 위치를 결정할 수 있다. 결정부(3020)는 결정된 위치를 포함하는 영역(3140)을 결정할 수 있다.
이상에서, 결정부(3120)가 서브 픽셀의 광선 방향에 기초하여 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 결정하는 동작 방식을 설명하였으나, 실시예들은 결정부(3120)가 미리 구비된 테이블로부터 서브 픽셀에 대응하는 시점 및 서브 픽셀에 대응하는 영역을 획득하는 동작 방식으로 변형될 수 있다. 예를 들어, 디스플레이의 화소 크기, 해상도, 광학 레이어의 파라미터 및 위치 등 디스플레이 관련 정보가 결정되어있는 경우, 각 서브 픽셀에 대응하는 시점을 위한 가상카메라의 위치, 촬영 방향, 화각이 미리 정해질 수 있고, 이에 따라 촬영 영상 내에 해당 서브 픽셀에 대응하는 영역도 미리 정해질 수 있다. 미리 구비된 테이블은 제2 패널의 서브 픽셀구조에 따라, 제2 패널에 포함된 서브 픽셀들에 대응하는 시점을 위한 가상 카메라의 위치, 촬영 방향, 화각 및 시점 영상 내의 해당 서브 픽셀에 대응하는 영역들과 관련된 정보를 저장할 수 있다. 이 경우 결정부는 미리 구비된 테이블을 참조함으로써 서브 픽셀에 대응하는 시점을 위한 가상카메라 정보 및 서브 픽셀에 대응하는 영역을 결정할 수 있다.
제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 대응하는 서브 픽셀 값들을 생성할 수 있다. 예를 들어, 제1 생성부(3030)는 3차원 모델(3105)에 기초하여 영역(3140)에 포함되는 RGB 픽셀 값들을 렌더링할 수 있다. 이 때, 제1 생성부(3030)는 영역(3140)에 포함된 서브 픽셀들 중 서브 픽셀(3110)의 색상과 동일한 색상의 서브 픽셀들의 값들을 선택적으로 생성할 수 있다. 예를 들어, 서브 픽셀(3110)은 R 서브 픽셀일 수 있고, 영역(3140)에는 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들이 포함될 수 있다. 이 경우, 제1 생성부(3030)는 영역(3140) 내 R 서브 픽셀들, G 서브 픽셀들, 및 B 서브 픽셀들 중 R 서브 픽셀들의 값들만 선택적으로 생성할 수 있다.
제2 생성부(3040)는 영역(3140) 내 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀(3110)을 위한 값을 생성할 수 있다. 예를 들어, 제2 생성부(3040)는 서브 픽셀 구조에 기초하여 영역(3140) 내 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 영역(3140) 내 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀(3110)을 위한 값을 계산할 수 있다.
도 32를 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 3차원 모델을 포함하는 데이터를 수신하는 단계(3210), 제2 패널에 포함된 서브 픽셀에 대응하는 시점을 결정하는 단계(3220), 그 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(3230), 3차원 모델에 기초하여, 결정된 시점 및 결정된 영역에 대응하는 서브 픽셀 값들을 생성하는 단계(3240), 및 제2 패널의 서브 픽셀 구조에 기초하여 영역에 대응하는 서브 픽셀 값들을 필터링 함으로써, 제2 패널에 포함된 서브 픽셀을 위한 값을 생성하는 단계(3250)를 포함한다. 도 32에 도시된 각 단계들에는 도 29 내지 도 31을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 33 내지 도 36은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 33을 참조하면, 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3310)는 제1 패널용 입체 영상(3320) 및 사용자의 양 눈의 위치(3330)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3340)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 34를 참조하면, 라이트 필드 렌더링 장치(3400)는 제1 수신부(3410), 제2 수신부(3420), 결정부(3430), 추출부(3440), 및 생성부(3450)를 포함한다. 제1 수신부(3410)는 제1 패널용 입체 영상을 수신할 수 있다. 제1 패널용 입체 영상은 왼쪽 눈을 위한 왼쪽 영상 및 오른쪽 눈을 위한 오른쪽 영상을 포함할 수 있다. 제2 수신부(3420)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3420)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 제1 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(111)에 대응할 수 있다.
결정부(3430)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 35를 참조하면, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀의 광선 방향을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 해당 서브 픽셀은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3430)는 서브 픽셀이 대응하는 영상 내에서, 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 알 수 있다. 결정부(3430)는 제2 패널 내 서브 픽셀의 위치를 서브 픽셀이 대응하는 영상 내 서브 픽셀에 대응하는 위치로 결정하고, 결정된 위치의 주변 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3440)는 서브 픽셀이 대응하는 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3440)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3450)는 서브 픽셀에 대응하는 영역으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3450)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3430), 추출부(3440), 및 생성부(3450)는 도 1의 처리부(112)에 대응할 수 있다.
도 36을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 입체 영상을 수신하는 단계(3610), 사용자의 양 눈의 위치를 수신하는 단계(3620), 양 눈의 위치에 기초하여 제2 패널에 포함된 서브 픽셀이 왼쪽 영상 또는 오른쪽 영상에 대응하는지 여부를 결정하는 단계(3630), 서브 픽셀이 대응하는 영상으로부터 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출하는 단계(3640), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(3650)를 포함한다. 도 36에 도시된 각 단계들에는 도 33 내지 도 35를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

도 37 내지 도 40은 또 다른 실시예에 따른 라이트 필드 렌더링 장치를 설명하는 도면들이다. 도 37을 참조하면, 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성할 수 있다. 제1 패널은 일반적인 RGB 패널이고, 제2 패널은 제1 패널과 상이한 패널로, 예를 들어 펜타일 패널일 수 있다. 라이트 필드 렌더링 장치(3710)는 제1 패널용 다 시점 영상(3720) 및 사용자의 양 눈의 위치(3730)를 이용하여 제2 패널 기반 라이트 필드 디스플레이 장치(3740)에 포함된 제2 패널의 서브 픽셀 값들을 생성함으로써, 라이트 필드를 렌더링할 수 있다.
도 38을 참조하면, 라이트 필드 렌더링 장치(3800)는 수신부(3810), 제2 수신부(3850), 결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)를 포함한다. 수신부(3810)는 제1 패널용 다 시점 영상을 수신할 수 있다. 제1 패널용 다 시점 영상은 복수의 시점들로 구성될 수 있다. 제2 수신부(3850)는 사용자의 양 눈의 위치를 수신할 수 있다. 예를 들어, 제2 수신부(3850)는 사용자의 양 눈의 위치를 추적하는 센서로부터 사용자의 양 눈의 위치에 관한 정보를 포함하는 신호를 수신할 수 있다. 수신부(3810) 및 제2 수신부(3850)는 도 1의 수신부(112)에 대응할 수 있다.
제2 결정부(3860)는 사용자의 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)의 광선 방향(3931)을 따라 전파되는 빛이 사용자의 오른쪽 눈보다 사용자의 왼쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3911)은 왼쪽 영상에 대응하는 것으로 결정될 수 있다. 또한, 서브 픽셀(3912)의 광선 방향(3932)을 따라 전파되는 빛이 사용자의 왼쪽 눈보다 사용자의 오른쪽 눈에 더 가깝게 도달한다고 판단되는 경우, 서브 픽셀(3932)은 오른쪽 영상에 대응하는 것으로 결정될 수 있다.
결정부(3820)는 서브 픽셀이 대응하는 눈의 위치에 기초하여 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택할 수 있다. 예를 들어, 도 39를 참조하면, 서브 픽셀(3911)로부터 출력된 빛은 광학 레이어의 원소(3921)를 통과하고, 사용자의 왼쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3921)로부터 사용자의 왼쪽 눈으로 향하는 방향(3941)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3952)을 선택할 수 있다. 또한, 서브 픽셀(3912)로부터 출력된 빛은 광학 레이어의 원소(3922)를 통과하고, 사용자의 오른쪽 눈에 대응할 수 있다. 결정부(3820)는 원소(3922)로부터 사용자의 오른쪽 눈으로 향하는 방향(3942)에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 시점(3953)을 선택할 수 있다.
결정부(3820)는 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정할 수 있다. 예를 들어, 결정부(3820)는 카메라 파라미터에 기초하여, 선택된 시점의 영상 내 서브 픽셀에 대응하는 위치를 결정하고, 결정된 위치를 포함하는 미리 정해진 크기의 영역을 서브 픽셀에 대응하는 영역으로 결정할 수 있다.
추출부(3830)는 선택된 시점의 영상으로부터, 서브 픽셀에 대응하는 영역에 포함된 서브 픽셀 값들을 추출할 수 있다. 이 때, 추출부(3830)는 서브 픽셀의 색상과 동일한 색상의 서브 픽셀 값들을 선택적으로 추출할 수 있다.
생성부(3840)는 선택된 시점의 영상으로부터 추출된 서브 픽셀 값들을 제2 패널의 서브 픽셀 구조에 기초하여 필터링 함으로써, 서브 픽셀을 위한 값을 생성할 수 있다. 예를 들어, 생성부(3840)는 서브 픽셀 구조에 기초하여 서브 픽셀 값들을 위한 가중치들을 결정하거나 결정된 가중치들을 읽어오고, 가중치들을 이용하여 서브 픽셀 값들을 가중 합산함으로써 서브 픽셀을 위한 값을 계산할 수 있다.
결정부(3820), 제2 결정부(3860), 추출부(3830), 및 생성부(3840)는 도 1의 처리부(112)에 대응할 수 있다.
도 40을 참조하면, 일 실시예에 따른 라이트 필드 렌더링 방법은 제1 패널용 다 시점 영상을 수신하는 단계(4010), 사용자의 양 눈의 위치를 수신하는 단계(4020), 양 눈의 위치에 기초하여, 제2 패널에 포함된 서브 픽셀이 왼쪽 눈 또는 오른쪽 눈에 대응하는지 여부를 결정하는 단계(4030), 서브 픽셀에 대응하는 눈의 위치에 기초하여, 다 시점 영상에 포함된 복수의 시점들 중 어느 하나의 시점을 선택하는 단계(4040), 선택된 시점의 영상 내 서브 픽셀에 대응하는 영역을 결정하는 단계(4050), 다 시점 영상으로부터 결정된 영역에 대응하는 서브 픽셀 값들을 추출하는 단계(4060), 및 제2 패널의 서브 픽셀 구조에 기초하여 추출된 서브 픽셀 값들을 필터링 함으로써 서브 픽셀을 위한 값을 생성하는 단계(4070)를 포함한다. 도 40에 도시된 각 단계들에는 도 37 내지 도 39를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

실시예들은 평판 디스플레이(Flat Panel Display, FPD) 기반 라이트 필드 디스플레이 기법을 제공할 수 있다. 실시예들은 일반적인 RGB 패널의 서브 픽셀 구조와 상이한 서브 픽셀 구조를 가지는 펜타일 패널을 기반으로 하는 라이트 필드 디스플레이 기법을 제공할 수 있다.
실시예들은 라이트필드 디스플레이를 구성하는 FPD의 종류를 다양화 하고, 새로운 서브 픽셀 구조를 위한 라이트 필드 렌더링 시 서브 픽셀 구조 변환 연산을 최소화하는 기술을 제공할 수 있다. 이로 인하여, 실시예들은 효율적으로 라이트 필드를 렌더링하는 기술을 제공할 수 있다. 또한, 실시예들은 FPD 기반 라이트 필드 디스플레이 장치에서 사용자의 양 눈의 위치에 맞게 영상을 표현하는 렌더링 알고리즘을 제공할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members. Embodiments to be described below may be used for rendering for a light field display technique. The light field display technique is a glasses-free technique for expressing a 3D image, and can be applied to, for example, a 3D television, a 3D monitor, a 3D digital information display (DID), and a 3D mobile device.
1 to 7 are diagrams illustrating an image processing apparatus according to an exemplary embodiment. The image processing device is a device that processes an image using a light field display technique, and may include, for example, a light field rendering device. Hereinafter, for convenience of description, the image processing device may be referred to as a light field rendering device.
Referring to FIG. 1, a light field rendering apparatus 110 according to an embodiment includes a receiving unit 111 and a processing unit 112. The receiver 111 may receive image data 120 for the first panel. According to an embodiment, the image data 120 for the first panel may include a multi-view image for the first panel.
The processor 112 may process the image data 120 for the first panel to generate an image for the second panel-based 3D display device 130. The second panel-based 3D display device 130 is a device that reproduces a 3D image using a light field display technique, and may include, for example, a second panel-based light field display device. Hereinafter, for convenience of description, the second panel-based 3D display device 130 may be referred to as a second panel-based light field display device.
The processor 112 processes the image data 120 for the first panel based on the optical characteristics of the second panel-based 3D display device and the sub-pixel structure of the second panel, thereby providing a second panel-based light field display device. You can create an image for it. The optical characteristic of the second panel-based 3D display device may include a characteristic related to a ray direction of a subpixel included in the second panel.
More specifically, the light field rendering apparatus 110 according to an embodiment may generate sub-pixel values of the second panel included in the second panel-based light field display apparatus by using the multi-view image for the first panel. . The light field rendering device 110 may be composed of various modules for rendering a light field, and various modules constituting the light field rendering device 110 may be implemented as a hardware module, a software module, or a combination thereof. have. The software module may be driven by at least one processor.
The sub-pixel structure of the first panel and the sub-pixel structure of the second panel may be different from each other. The sub-pixel structure of an arbitrary panel includes the colors of the sub-pixels included in the panel, the form in which sub-pixels of each color are arranged in the panel, the size of the sub-pixels of each color included in the panel, and the panel. It may include the number of sub-pixels of each color.
For example, the first panel may be a general RGB panel, and the second panel may be a pentile panel. The sub-pixel structure of a general RGB panel and the sub-pixel structure of a pentile panel are different from each other. More specifically, a general RGB panel has a sub-pixel structure including R (red) sub-pixels, G (green) sub-pixels, and B (blue) sub-pixels having the same size in one pixel. For example, a general RGB panel may be implemented in an RGB stripe structure.
On the other hand, the pentile panel does not have a sub-pixel structure including R sub-pixels, G sub-pixels, and B sub-pixels having the same size in one pixel. The pentile panel can be implemented in various forms. For example, the pentile panel may have a sub-pixel structure as shown in FIG. 2. The sub-pixel structure shown in FIG. 2 may be referred to as a diamond pentile structure. Referring to FIG. 2, one pixel includes two sub-pixels. Each pixel does not include all of the R sub-pixels, G sub-pixels, and B sub-pixels. Each pixel includes an R sub-pixel and a G sub-pixel, or includes a B sub-pixel and a G sub-pixel. The size of the G subpixel may be smaller than the size of the R subpixel and the size of the B subpixel. In one pixel, the G subpixel and the R subpixel may be disposed in a diagonal direction. In addition, in one pixel, the G subpixel and the B subpixel may be arranged in a diagonal direction. The arrangement of sub-pixels in one pixel may be variously modified. In addition, the size and shape of each of the R sub-pixels, G sub-pixels, and B sub-pixels may be variously modified.
As another example, the pentile panel may have a sub-pixel structure as shown in FIG. 3. Referring to FIG. 3, one pixel includes two sub-pixels. Each pixel does not include all of the R sub-pixels, G sub-pixels, and B sub-pixels. Each pixel includes an R sub-pixel and a G sub-pixel, or includes a B sub-pixel and a G sub-pixel. The size of the R subpixel, the size of the G subpixel, and the size of the B subpixel may be different from each other. In one pixel, the G subpixel and the R subpixel may be disposed in a vertical direction. Also, in one pixel, the G subpixel and the B subpixel may be disposed in a vertical direction. The arrangement of sub-pixels in one pixel may be variously modified. In addition, the size and shape of each of the R sub-pixels, G sub-pixels, and B sub-pixels may be variously modified.
As another example, the pentile panel may have a sub-pixel structure as shown in FIG. 4. Referring to FIG. 4, the pentile panel may further include W subpixels in addition to R subpixels, G subpixels, and B subpixels. Each pixel does not include all of the R sub-pixels, G sub-pixels, B sub-pixels, and W sub-pixels. Each pixel includes an R sub-pixel and a G sub-pixel, or includes a B sub-pixel and a W sub-pixel. In one pixel, the G subpixel and the R subpixel may be disposed in a horizontal direction. Also, in one pixel, the B sub-pixels and the W sub-pixels may be disposed in a horizontal direction. The arrangement of sub-pixels in one pixel may be variously modified. In addition, the size and shape of each of the R sub-pixel, G sub-pixel, B sub-pixel, and W sub-pixel may be variously modified.
In the above, for convenience of description, the case where the second panel is a pentile panel has been described, but the second panel may be a panel having a structure different from that of a general RGB panel in addition to the pentile panel.
The light field rendering apparatus 110 may render the light field by generating subpixel values of the second panel included in the second panel-based light field display apparatus using the multi-view image for the first panel. For example, referring to FIG. 5, the second panel-based light field display device may express light output in various directions from points existing in a certain space as it is. The second panel-based light field display device uses a principle in which an actual object generates or reflects light in several directions from one point.
The second panel-based light field display device may include a second panel 501 including subpixels and an optical layer 502 through which light output from the subpixels passes. Here, the optical layer 502 may include an optical filter such as a lenticular lens, a parallax barrier, a lens array, and a micro lens array. In addition, the optical layer 502 may include a directional back light unit. Hereinafter, for convenience of description, a case in which the optical layer 502 is a lens array will be described, but embodiments are not limited to the above-described optical filter, and all types of optical layers that can be disposed on the front or rear of the display are used. I can.
The direction of light output from the sub-pixel included in the second panel 501 may be determined through the optical layer 502. Light output from each of the sub-pixels may be emitted in a specific direction while passing through the optical layer 502. Through this process, the second panel-based light field display device may display a three-dimensional image or a multi-view image.
The optical layer 502 may include a plurality of elements. Each of the elements may be referred to as a 3D pixel. One 3D pixel can output light rays containing different information in several directions. For example, rays 503 in a 15×4 direction may be output from one 3D pixel included in the optical layer 502. The second panel-based light field display device may represent points in a 3D space using a plurality of 3D pixels.
In this case, since the positions and/or sizes of the sub-pixels in the second panel 501 are different according to the sub-pixel structure of the second panel 501, the second panel ( The direction of light rays output from each of the sub-pixels in 501) may be different. For this reason, when the sub-pixel values of the multi-view image for the first panel are determined as sub-pixel values of the second panel 501, the multi-view image cannot be properly expressed. For example, if a panel image rendered in a light field according to the subpixel structure of a general RGB panel is simply converted to fit the subpixel structure of a pentile panel, the ray direction of the subpixel changes according to the subpixel structure of the pentile panel. The intended image cannot be properly expressed as the point is ignored.
The light field rendering apparatus 110 may provide a rendering technique for a light field display apparatus using a second panel having an arbitrary sub-pixel structure. For example, the light field rendering apparatus 110 may generate values for sub-pixels of the second panel from the multi-view image for the first panel based on the sub-pixel structure of the second panel. More details related to the operation of the light field rendering apparatus 110 will be described later.
For this reason, the embodiments may provide a technology that enables the light field display device to be implemented with various panels. Although described in detail below, in order to minimize the operation of converting the sub-pixel structure to fit the sub-pixel structure of the second panel, the light field rendering apparatus 110 applies only the sub-pixels actually used in the second panel-based light field display device. , An algorithm for performing sub-pixel structure transformation may be provided.
Referring to FIG. 6, the light field rendering apparatus 110 according to an embodiment includes a receiving unit 610, a determining unit 620, an extracting unit 630, and a generating unit 640. The receiver 610 may receive a multi-view image for the first panel. The receiving unit 610 may correspond to the receiving unit 111 of FIG. 1. The determiner 620 may determine a viewpoint corresponding to the sub-pixel included in the second panel and an area corresponding to the sub-pixel within an image of the viewpoint. The extraction unit 630 may extract subpixel values corresponding to the determined viewpoint and the determined region from the multi-view image. The generator 640 may generate a value for a sub-pixel by filtering the extracted sub-pixel values based on the sub-pixel structure of the second panel. The determination unit 620, the extraction unit 630, and the generation unit 640 may correspond to the processing unit 112 of FIG. 1.
The determiner 620 may determine a viewpoint corresponding to the sub-pixel and an area corresponding to the sub-pixel based on the ray direction of the sub-pixel. Referring to FIG. 7, the determiner 620 may calculate a ray direction of the sub-pixel 711 in order to render a value for the sub-pixel 711. For example, light output from the sub-pixel 711 may be propagated in a direction passing through the center of the element 721 in the optical layer 720. The determination unit 620 includes a distance between the second panel 710 and the optical layer 720, a position of the sub-pixel 711 in the second panel 710, and a sub-pixel ( The light beam direction of the sub-pixel 711 may be calculated based on the position of the element 721 through which the light output from 711 passes. Hereinafter, the light output from the sub-pixel may include both light output from a sub-pixel that transmits light of a backlight, such as an LCD, as well as light output from a sub-pixel that emits light by itself, such as an LED.
Light propagating according to the light beam direction of the sub-pixel 711 may correspond to any one of the viewpoints 730 of the multi-view image. The multi-view image may be composed of viewpoint images corresponding to a plurality of viewpoints. The determiner 620 may select a viewpoint 731 corresponding to a position at which the propagating light arrives according to the light beam direction of the sub-pixel 711. More details related to the viewpoint selection operation will be described later with reference to FIGS. 8 and 9.
The determiner 620 may determine a location 741 corresponding to a sub-pixel in the image 740 of the selected view 731 based on the camera parameter for the multi-view image. The camera parameter is a parameter of a multi-view camera that takes a multi-view image, for example, the angle of view of the camera for each viewpoint, the direction of the camera for each viewpoint, and the distance between the camera and the subject for each viewpoint. Can include. The camera parameter is included in the multi-view image, and the determiner 620 may obtain the camera parameter from the multi-view image. More details related to the positioning operation will be described later with reference to FIGS. 10 to 13.
The determiner 620 may determine an area 742 including a location 741 in the image 740 of the selected viewpoint 731 as an area corresponding to the sub-pixel 711. The area 742 may be an area of a predetermined size centered on the location 741 in the image 740. More details related to the region determination operation will be described later with reference to FIGS. 14 and 15.
In the above, the operation method in which the determiner 620 determines a viewpoint corresponding to a subpixel and a region corresponding to the subpixel based on the ray direction of the subpixel has been described. However, in embodiments, the determination unit 620 is provided in advance. It can be transformed into an operation method of acquiring a viewpoint corresponding to a sub-pixel and an area corresponding to a sub-pixel from the generated table. For example, if the conditions for shooting multi-view images are standardized, such as the distance for capturing multi-view images, the angle of view for capturing multi-view images, the direction for capturing multi-view images, or camera parameters for multi-view images, The viewpoint corresponding to the sub-pixel of and the area corresponding to the sub-pixel may be predetermined. The table provided in advance may store information related to viewpoints and regions corresponding to subpixels included in the second panel according to the subpixel structure of the second panel. In this case, the determiner 620 may determine a viewpoint corresponding to the sub-pixel and an area corresponding to the sub-pixel by referring to a table provided in advance.
The extractor 630 may extract subpixel values corresponding to the viewpoint 731 and the region 742 from the multi-view image. For example, the extraction unit 630 may detect a viewpoint image corresponding to the viewpoint 731 from among a plurality of viewpoint images constituting a multi-view image. The extraction unit 630 may extract values of subpixels included in the region 742 from the detected viewpoint image.
In this case, the extraction unit 630 may selectively extract values of subpixels having the same color as the color of the subpixel 711 among the subpixels included in the region 742. For example, the sub-pixel 711 may be an R sub-pixel, and the region 742 may include R sub-pixels, G sub-pixels, and B sub-pixels. In this case, the extraction unit 630 may selectively extract only values of R subpixels among R subpixels, G subpixels, and B subpixels in the region 742.
The generator 640 may generate a value for the sub-pixel 711 based on the region 742. The generator 640 may generate a value for the sub-pixel 711 by filtering the sub-pixel values extracted from the region 742. For example, the generator 640 may determine weights based on the sub-pixel structure of the second panel 710. The generator 640 may calculate a value for the sub-pixel 711 by weighting and adding the sub-pixel values extracted from the region 742 using the weights. The generated value may be applied to the sub-pixel 711. More details related to the filtering operation will be described later with reference to FIGS. 16 to 23.

8 and 9 are diagrams illustrating a viewpoint selection operation according to embodiments. Referring to FIG. 8, the sub-pixel 810 may output light in various directions, and the output light may be expressed in a form in which light rays directions are quantized while passing through the optical layer 820. For example, the directions of light output from the sub-pixel 810 may be quantized into directions passing through the center of each element included in the optical layer 820.
The determiner (not shown) may determine a ray direction corresponding to viewpoints constituting a multi-view image among the quantized ray directions as the ray direction of the sub-pixel 810. For example, the first ray direction 841 may correspond to the viewpoint 830 among viewpoints constituting the multi-view image, and the second ray direction 842 may not correspond to any viewpoints constituting the multi-view image. have. The first ray direction 841 is a direction in which light output from the sub-pixel 810 passes through the center of the element 821, and in the second ray direction 842, the light output from the sub-pixel 810 is an element ( 822). In this case, the determiner may determine the first ray direction 841 as the ray direction of the subpixel 810.
In some cases, a plurality of ray directions may correspond to viewpoints constituting a multi-view image. In this case, the determiner may determine a ray direction corresponding to a viewpoint close to the center position of the multi-view image as the ray direction of the corresponding sub-pixel. The center position of the multi-view image may be a position corresponding to the center of an area where a plurality of viewpoints constituting the multi-view image are distributed.
Referring to FIG. 9, a ray direction of each subpixel of the second panel 910 according to an exemplary embodiment may be determined as a direction passing through the center of any one element in the optical layer 920. Each ray direction may correspond to any one of a plurality of viewpoints 930 constituting a multi-view image.

10 to 13 are diagrams illustrating a positioning operation according to embodiments. Referring to FIG. 10, light output from the sub-pixel 1010 of the second panel is output through an element 1020 of an optical layer, and may correspond to a viewpoint 1030. The determiner (not shown) may determine a position corresponding to the sub-pixel 1010 in the image 1040 of the viewpoint 1030 based on the camera parameter for the multi-view image.
For example, the determination unit may set the virtual camera 1050 for the viewpoint 1030 based on the camera parameter, and the light propagating along the ray direction 1025 is the virtual camera 1050 for the viewpoint 1030. ), it is possible to calculate whether or not it is incident at any position in the shooting space. Here, the shooting space of the virtual camera 1050 for the viewpoint 1030 corresponds to the image 1040 of the viewpoint 1030, and the light propagating along the ray direction 1025 is the position 1041 in the image 1040. ). The determination unit may determine the position 1041 as a position corresponding to the sub-pixel 1010.
Referring to FIG. 11, the determination unit (not shown) according to an embodiment may set a virtual camera 1060 for a viewpoint 1030 differently from the virtual camera 1050 of FIG. 10 based on a camera parameter. have. In this case, light propagating along the ray direction 1025 may be incident on another location within the image 1040 of the viewpoint 1030. For example, light propagating along the ray direction 1025 may be incident on a position 1042 in the image 1040 of the viewpoint 1030. The determination unit may determine the position 1042 as a position corresponding to the sub-pixel 1010.
Referring to FIG. 12, light output from the sub-pixel 1210 according to an embodiment may be output through an element 1220 of an optical layer, and may correspond to a viewpoint 1030. Here, the light propagating along the ray direction 1225 may not be accurately incident on the center 1031 of the virtual camera 1050 for the viewpoint 1030, but may be incident on another location 1032. In this case, the determination unit (not shown) may determine a position corresponding to the sub-pixel 1210 by using a virtual ray between the element 1220 and the center 1031 of the virtual camera 1050.
For example, referring to FIG. 13, the determination unit may set a ray direction 1226 from the center of the element 1220 to the center 1031 of the virtual camera 1050. The determiner may calculate a position 1043 at which the light is incident on the image 1040 of the viewpoint 1030 when light is propagated in the light ray direction 1226. The determiner may determine the location 1043 as a location corresponding to the sub-pixel 1210.

14 and 15 are diagrams illustrating an operation of determining a region according to embodiments. Referring to FIG. 14, an image for a first panel 1400 may be composed of a plurality of pixels. Each of the pixels included in the first panel image 1400 may include an R sub-pixel value, a G sub-pixel value, and a B sub-pixel value representing the color of the corresponding pixel. The first panel image 1400 may be an image corresponding to any one of a plurality of viewpoints constituting multi-view images.
The determiner (not shown) may determine the region 1410 including the determined position in the first panel image 1400. The determined position may correspond to any one pixel 1411 among a plurality of pixels included in the first panel image 1400, and the region 1410 is 3 x 3 including the pixel 1411 and surrounding pixels. It may be a group of pixels of a size.
The size of the area determined to include the pixel 1411 may be set in various ways. For example, referring to FIG. 15, the determiner may determine the region 1510 as a 5 x 5 pixel group including the pixel 1411 and surrounding pixels. Alternatively, the area including the pixel 1411 may be set in various shapes such as a circle. Hereinafter, for convenience of explanation, the filtering operation is described assuming that the region corresponding to the sub-pixel is a pixel group having a size of 3 x 3, but embodiments may be applied to regions of various sizes and/or various shapes as it is. .

16 to 23 are diagrams for describing a filtering operation according to embodiments. Referring to FIG. 16, the generator (not shown) may determine a weight based on the sub-pixel structure of the second panel in order to generate a value for the sub-pixel. For example, in order to generate a value of the sub-pixel 1610, the generator may determine weights for the sub-pixel 1610 and its neighboring sub-pixels. The sub-pixel 1610 is an R sub-pixel, and R sub-pixels are not disposed on the top, bottom, left, and right of the sub-pixel 1610, and R sub-pixels are disposed in a diagonal direction of the sub-pixel 1610.
The generator may determine the weight map 1620 based on the sub-pixel structure. The weight map 1620 is a matrix having a size of 3 x 3 and may be the same as the size of a region determined in the viewpoint image. The weight map 1620 illustrated in FIG. 16 is an example, and weights set in the weight map 1620 may be determined differently by various methods reflecting the sub-pixel structure of the second panel.
As described above, the determiner (not shown) may extract sub-pixel values corresponding to the same color as the color of the sub-pixel 1610 from the determined region in the viewpoint image. The generator may generate a value for the sub-pixel 1610 by weighting and adding the sub-pixel values 1630 extracted from the determined region in the viewpoint image according to the weight map 1620. For example, a value for the sub-pixel 1610 may be calculated as in Equation 1640.
Referring to FIG. 17, the sub-pixel 1710 is a G sub-pixel, and G sub-pixels are disposed in the vertical and horizontal directions of the sub-pixel 1710 and diagonally. The generator may determine the weight map 1720 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 1710 by weighting and adding the sub-pixel values 1730 extracted from the determined region in the viewpoint image according to the weight map 1720. For example, a value for the sub-pixel 1710 may be calculated as in Equation 1740. Since G subpixels are included in all pixels of the second panel according to the subpixel structure, the G subpixel may not be substantially filtered.
Referring to FIG. 18, the sub-pixel 1810 is a B sub-pixel, and B sub-pixels are not disposed on the top, bottom, left, and right of the sub-pixel 1810, and B sub-pixels are disposed in a diagonal direction of the sub-pixel 1810. have. The generator may determine the weight map 1820 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 1810 by weighting and adding the sub-pixel values 1830 extracted from the determined region in the viewpoint image according to the weight map 1820. For example, a value for the sub-pixel 1810 may be calculated as in Equation 1840.
Referring to FIG. 19, a generator (not shown) may generate W (white) subpixel values for an RGBW pentile panel. For example, the generator may generate W subpixel values of the second subpixel values 1920 from the first subpixel values 1910 corresponding to the RGB image. For example, the W sub-pixel value for an arbitrary pixel may be determined as a minimum value among an R sub-pixel value, a G sub-pixel value, and a B sub-pixel value of the corresponding pixel. The first subpixel values 1910 are R subpixel values, G subpixel values, and B subpixel values extracted from a region determined in the viewpoint image. The second sub-pixel values 1920 may be used to generate a value for the W sub-pixel of the RGBW pentile panel.
Referring to FIG. 20, the generator (not shown) may determine weights for the sub-pixel 2010 and surrounding sub-pixels in order to generate a value of the sub-pixel 2010. The subpixel 2010 is an R subpixel, and R subpixels are not disposed above, below, left, and right of the subpixel 2010, and R subpixels are disposed in a diagonal direction of the subpixel 2010. The generator may determine the weight map 2020 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 2010 by weighting and adding the sub-pixel values 2030 extracted from the determined region in the viewpoint image according to the weight map 2020. For example, a value for the sub-pixel 2010 may be calculated as in Equation 2040.
Referring to FIG. 21, a sub-pixel 2110 is a G sub-pixel, and G sub-pixels are not disposed above, below, left, and right of the sub-pixel 2110, and G sub-pixels are disposed in a diagonal direction of the sub-pixel 2110. have. The generator may determine the weight map 2120 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 2110 by weighting and adding the sub-pixel values 2130 extracted from the determined region in the viewpoint image according to the weight map 2120. For example, a value for the sub-pixel 2110 may be calculated as in Equation 2140.
Referring to FIG. 22, a sub-pixel 2210 is a B sub-pixel, and B sub-pixels are not disposed above, below, left, and right of the sub-pixel 2210, and B sub-pixels are disposed in a diagonal direction of the sub-pixel 2210. have. The generator may determine the weight map 2220 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 2210 by weighting and adding the sub-pixel values 2230 extracted from the determined region in the viewpoint image according to the weight map 2220. For example, a value for the sub-pixel 2210 may be calculated as in Equation 2240.
Referring to FIG. 23, a sub-pixel 2310 is a W sub-pixel, and W sub-pixels are not disposed above, below, left, and right of the sub-pixel 2310, and W sub-pixels are disposed in a diagonal direction of the sub-pixel 2310. have. The generator may determine the weight map 2320 based on the sub-pixel structure. The generator may generate a value for the sub-pixel 2310 by weighting and adding the sub-pixel values 2330 generated as described with reference to FIG. 19 according to the weight map 2320. For example, a value for the sub-pixel 2310 may be calculated as in Equation 2340.

24 is a flowchart illustrating a method of rendering a light field according to an exemplary embodiment. Referring to FIG. 24, the light field rendering method includes receiving a multi-view image for a first panel (2410), determining a viewpoint corresponding to a subpixel included in the second panel (2420), and an image of the determined viewpoint. Determining a region corresponding to the sub-pixel within 2430, extracting sub-pixel values corresponding to the determined viewpoint and the determined region from the multi-view image (2440), and based on the sub-pixel structure of the second panel And generating a value for the sub-pixel by filtering the extracted sub-pixel values (2450). Since the matters described with reference to FIGS. 1 to 23 may be applied to each of the steps illustrated in FIG. 24 as they are, a more detailed description will be omitted.

25 to 28 are diagrams illustrating an interpolation operation according to an embodiment. Referring to FIG. 25, light output from the sub-pixel 2510 of the second panel may propagate in a light ray direction 2530 passing through the element 2520 of the optical layer. In this case, the light propagating in the ray direction 2530 may not accurately correspond to any one viewpoint. For example, light propagating in the ray direction 2530 may be incident between the virtual camera position 2451 for the first viewpoint 2540 and the virtual camera position 2252 for the second viewpoint 2550. . In this case, the sub-pixel 2510 may be expressed as corresponding to a plurality of viewpoints such as the first viewpoint 2540 and the second viewpoint 2550.
Referring to FIG. 26, in order to generate a value of the sub-pixel 2510, a virtual camera 2610 accurately corresponding to light propagating in a ray direction 2530 may be set. Since the multi-view image does not include an image captured by the virtual camera 2610, an image captured by the virtual camera 2610 may be generated through an interpolation technique. For example, referring to FIG. 27, the determination unit (not shown) may determine regions corresponding to the sub-pixel 2510 at a plurality of viewpoints. The determination unit is based on the light beam direction 2710 propagating from the element 2520 to the virtual camera position 2451 for the first view 2540, and the subpixel 2510 in the image 2730 of the first view 2540 A first area 2731 corresponding to) may be determined. In addition, the determination unit is based on the direction of light rays 2720 propagating from the element 2520 to the virtual camera position 2551 for the second view 2550, the sub-pixel in the image 2740 of the second view 2550 A second area 2741 corresponding to 2510 may be determined.
Referring to FIG. 28, the extractor (not shown) may extract subpixel values of the first region 271 from a multi-view image and extract subpixel values of the second region 2741. The extraction unit may interpolate values of subpixels corresponding to each other between the first region 2731 and the second region 2741. For example, the extraction unit interpolates a sub-pixel value 2732 located at the center of the first region 271 and a sub-pixel value 2742 located at the center of the second region 271, thereby interpolating the third region 2810 A sub-pixel value 2811 located at the center of) may be generated. The third area 2810 is an area corresponding to the sub-pixel 2510 in the image captured by the virtual camera 2610 of FIG. 26. The generator (not shown) may generate a value for the sub-pixel 2510 by filtering sub-pixel values of the third area 2810.
In the above, an interpolation technique using two views has been described, but embodiments may be extended to an interpolation technique using three or more views. In this case, three or more views may be determined based on the ray direction of the sub-pixel 2510, and regions corresponding to the sub-pixel 2510 may be determined in images of each view.

29 to 32 are diagrams illustrating a light field rendering apparatus according to another exemplary embodiment. Referring to FIG. 29, the light field rendering device 2910 generates sub-pixel values of the second panel included in the second panel-based light field display device 2930 using data 2920 including a 3D model. can do. The second panel is a panel different from a general RGB panel, and may be, for example, a pentile panel. The light field rendering apparatus 2910 may render the light field by generating subpixel values of the second panel included in the second panel-based light field display apparatus 2930 using a 3D model.
Referring to FIG. 30, the light field rendering apparatus 2910 includes a receiving unit 3010, a determining unit 3020, a first generating unit 3030, and a second generating unit 3040. The receiving unit 3010 receives data including a 3D model. The receiving unit 3010 may correspond to the receiving unit 111 of FIG. 1. The determiner 3020 may determine a viewpoint corresponding to the sub-pixel included in the second panel and an area corresponding to the sub-pixel within an image of the viewpoint. The second panel may be a pentile panel. The determination unit 3020, the first generation unit 3030, and the second generation unit 3040 may correspond to the processing unit 112 of FIG. 1.
The first generator 3030 may generate subpixel values corresponding to the determined viewpoint and the determined region based on the 3D model. The second generator 3040 may generate a value for a sub-pixel by filtering the generated sub-pixel values based on the sub-pixel structure of the second panel. Sub-pixel values generated by the first generator 3030 may be values for a general RGB panel, and values for sub-pixels generated by the second generator 3040 may be values for a pentile panel.
The determiner 3020 may determine a viewpoint corresponding to the sub-pixel and an area corresponding to the sub-pixel based on the ray direction of the sub-pixel. Referring to FIG. 31, the determiner 3020 may calculate a ray direction of the subpixel 3110 in order to render a value for the subpixel 3110. For example, light output from the sub-pixel 3110 may propagate in a direction passing through the center of the element 3120 in the optical layer. The determination unit 3020 includes a distance between the second panel and the optical layer, the position of the sub-pixel 3110 in the second panel, and an element 3120 through which light output from the sub-pixel 3110 passes among elements in the optical layer. Based on the position of, the light beam direction 3125 of the sub-pixel 3110 may be calculated.
The determiner 3020 may determine a viewpoint to look at the 3D model 3105 according to the ray direction 3125. The determiner 3020 may determine a position corresponding to the sub-pixel 3110 based on a position incident on the virtual camera 3130 for a time point at which light propagating in the ray direction 3125 is determined. The determiner 3020 may determine the area 3140 including the determined position.
In the above, the operation method in which the determination unit 3120 determines a viewpoint corresponding to a sub-pixel and an area corresponding to the sub-pixel based on the ray direction of the sub-pixel has been described, but in embodiments, the determination unit 3120 is provided in advance. It can be transformed into an operation method of acquiring a viewpoint corresponding to a sub-pixel and an area corresponding to a sub-pixel from the table. For example, when display-related information such as the pixel size, resolution, and optical layer parameter and location of the display is determined, the location of the virtual camera for the viewpoint corresponding to each sub-pixel, the shooting direction, and the angle of view may be determined in advance. Accordingly, an area corresponding to a corresponding sub-pixel in the captured image may be determined in advance. According to the sub-pixel structure of the second panel, the pre-equipped table is the location of the virtual camera for the viewpoint corresponding to the sub-pixels included in the second panel, the shooting direction, the angle of view, and the region corresponding to the sub-pixel in the viewpoint image You can store information related to the field. In this case, the determination unit may determine virtual camera information for a viewpoint corresponding to the sub-pixel and an area corresponding to the sub-pixel by referring to a table provided in advance.
The first generator 3030 may generate subpixel values corresponding to the region 3140 based on the 3D model 3105. For example, the first generator 3030 may render RGB pixel values included in the area 3140 based on the 3D model 3105. In this case, the first generator 3030 may selectively generate values of subpixels having the same color as the color of the subpixel 3110 among the subpixels included in the region 3140. For example, the sub-pixel 3110 may be an R sub-pixel, and the region 3140 may include R sub-pixels, G sub-pixels, and B sub-pixels. In this case, the first generator 3030 may selectively generate values of only R subpixels among R subpixels, G subpixels, and B subpixels in the region 3140.
The second generator 3040 may generate a value for the sub-pixel 3110 by filtering sub-pixel values in the region 3140 based on the sub-pixel structure of the second panel. For example, the second generator 3040 determines weights for sub-pixel values in the region 3140 or reads the determined weights based on the sub-pixel structure, and weights and sums the sub-pixel values in the region 3140. A value for the sub-pixel 3110 may be calculated.
Referring to FIG. 32, in the method of rendering a light field according to an embodiment, receiving data including a 3D model (3210), determining a viewpoint corresponding to a subpixel included in the second panel (3220). , Determining a region corresponding to a subpixel in the image at that viewpoint (3230), generating subpixel values corresponding to the determined viewpoint and the determined region (3240) based on a 3D model, and a second panel And generating (3250) values for sub-pixels included in the second panel by filtering sub-pixel values corresponding to the region based on the sub-pixel structure of. Since the matters described with reference to FIGS. 29 to 31 may be applied to each of the steps shown in FIG. 32 as they are, a more detailed description will be omitted.

33 to 36 are diagrams illustrating a light field rendering apparatus according to still another embodiment. Referring to FIG. 33, the light field rendering device 3310 is included in the second panel-based light field display device 3340 using a stereoscopic image 3320 for a first panel and a position 3330 of both eyes of a user. Sub-pixel values of the second panel may be generated. The first panel is a general RGB panel, and the second panel is a panel different from the first panel, and may be, for example, a pentile panel. The light field rendering device 3310 uses the stereoscopic image 3320 for the first panel and the positions 3330 of both eyes of the user to provide a sub-pixel of the second panel included in the second panel-based light field display device 3340. By generating values, we can render the light field.
Referring to FIG. 34, the light field rendering apparatus 3400 includes a first receiving unit 3410, a second receiving unit 3420, a determining unit 3430, an extracting unit 3440, and a generating unit 3450. The first receiver 3410 may receive a 3D image for a first panel. The stereoscopic image for the first panel may include a left image for the left eye and a right image for the right eye. The second receiver 3420 may receive positions of both eyes of the user. For example, the second receiver 3420 may receive a signal including information about the location of both eyes of the user from a sensor that tracks the location of both eyes of the user. The first receiver 3810 and the second receiver 3850 may correspond to the receiver 111 of FIG. 1.
The determiner 3430 may determine whether the subpixel included in the second panel corresponds to a left image or a right image based on the positions of the user's eyes. For example, referring to FIG. 35, when it is determined that light propagating along the light beam direction of the sub-pixel reaches closer to the user's left eye than to the user's right eye, the corresponding sub-pixel is determined to correspond to the left image. I can. In addition, when it is determined that light propagating along the light beam direction of the sub-pixel reaches closer to the user's right eye than to the user's left eye, the corresponding sub-pixel may be determined to correspond to the right image.
The determiner 3430 may determine an area corresponding to the sub-pixel in the image corresponding to the sub-pixel. For example, the determiner 3430 may know the location of the sub-pixel in the second panel. The determiner 3430 may determine the location of the sub-pixel in the second panel as a location corresponding to the sub-pixel in the image to which the sub-pixel corresponds, and determine a peripheral area of the determined location as a region corresponding to the sub-pixel.
The extractor 3440 may extract subpixel values included in a region corresponding to the subpixel from an image corresponding to the subpixel. In this case, the extraction unit 3440 may selectively extract sub-pixel values having the same color as the color of the sub-pixel.
The generator 3450 may generate values for the sub-pixels by filtering sub-pixel values extracted from the region corresponding to the sub-pixel based on the sub-pixel structure of the second panel. For example, the generation unit 3450 may calculate a value for a sub-pixel by determining weights for sub-pixel values or reading the determined weights based on the sub-pixel structure, and weight-summing the sub-pixel values using the weights. have.
The determination unit 3430, the extraction unit 3440, and the generation unit 3450 may correspond to the processing unit 112 of FIG. 1.
Referring to FIG. 36, a method for rendering a light field according to an embodiment includes receiving a stereoscopic image for a first panel (3610), receiving positions of both eyes of a user (3620), based on positions of both eyes. Determining whether the subpixel included in the second panel corresponds to the left image or the right image (3630), extracting subpixel values included in the region corresponding to the subpixel from the image corresponding to the subpixel (3640), and generating a value for the sub-pixel (3650) by filtering the extracted sub-pixel values based on the sub-pixel structure of the second panel. Since matters described with reference to FIGS. 33 to 35 may be applied to each of the steps shown in FIG. 36 as they are, a more detailed description will be omitted.

37 to 40 are diagrams illustrating a light field rendering apparatus according to another embodiment. Referring to FIG. 37, the light field rendering device 3710 is included in the second panel-based light field display device 3740 using a multi-view image 3720 for a first panel and a position 3730 of both eyes of a user. Sub-pixel values of the second panel may be generated. The first panel is a general RGB panel, and the second panel is a panel different from the first panel, and may be, for example, a pentile panel. The light field rendering device 3710 uses the multi-view image 3720 for the first panel and the positions 3730 of the user's eyes to serve as a sub-panel of the second panel included in the second panel-based light field display device 3740. By generating pixel values, we can render the light field.
Referring to FIG. 38, the light field rendering apparatus 3800 includes a receiving unit 3810, a second receiving unit 3850, a determining unit 3820, a second determining unit 3860, an extracting unit 3830, and a generating unit ( 3840). The receiver 3810 may receive a multi-view image for the first panel. The multi-view image for the first panel may be composed of a plurality of views. The second receiver 3850 may receive positions of both eyes of the user. For example, the second receiver 3850 may receive a signal including information about the location of both eyes of the user from a sensor that tracks the location of both eyes of the user. The receiving unit 3810 and the second receiving unit 3850 may correspond to the receiving unit 112 of FIG. 1.
The second determiner 3860 may determine whether the subpixel included in the second panel corresponds to the left eye or the right eye, based on the positions of both eyes of the user. For example, referring to FIG. 39, when it is determined that light propagating along the light beam direction 3931 of the sub-pixel 3911 reaches closer to the user's left eye than the user's right eye, the sub-pixel 3911 May be determined to correspond to the left image. In addition, when it is determined that light propagating along the ray direction 3932 of the sub-pixel 3912 reaches closer to the user's right eye than the user's left eye, the sub-pixel 3932 is determined to correspond to the right image. I can.
The determiner 3820 may select any one of a plurality of viewpoints included in the multi-view image based on the position of the eye corresponding to the sub-pixel. For example, referring to FIG. 39, light output from the sub-pixel 3911 passes through an element 3921 of an optical layer, and may correspond to a user's left eye. The determiner 3820 may select a viewpoint 3952 from among a plurality of viewpoints included in the multi-view image based on a direction 3939 from the element 3921 toward the left eye of the user. In addition, light output from the sub-pixel 3912 passes through the element 3922 of the optical layer and may correspond to the user's right eye. The determiner 3820 may select a viewpoint 3953 from among a plurality of viewpoints included in the multi-view image based on a direction 3938 toward the user's right eye from the element 3922.
The determiner 3820 may determine a region corresponding to the subpixel in the image at the selected viewpoint. For example, the determination unit 3820 determines a location corresponding to a sub-pixel in the image at the selected viewpoint based on the camera parameter, and determines an area of a predetermined size including the determined location as an area corresponding to the sub-pixel. I can.
The extractor 3830 may extract subpixel values included in a region corresponding to the subpixel from the image at the selected viewpoint. In this case, the extraction unit 3830 may selectively extract sub-pixel values having the same color as the color of the sub-pixel.
The generator 3840 may generate values for the sub-pixels by filtering sub-pixel values extracted from the image of the selected viewpoint based on the sub-pixel structure of the second panel. For example, the generation unit 3840 may calculate a value for a sub-pixel by determining weights for sub-pixel values or reading the determined weights based on the sub-pixel structure, and weight-summing the sub-pixel values using the weights. have.
The determination unit 3820, the second determination unit 3860, the extraction unit 3830, and the generation unit 3840 may correspond to the processing unit 112 of FIG. 1.
Referring to FIG. 40, the method of rendering a light field according to an embodiment includes receiving a multi-view image for a first panel (4010), receiving positions of both eyes of a user (4020), and Based on the step of determining whether the sub-pixel included in the second panel corresponds to the left eye or the right eye (4030), a plurality of views included in the multi-view image based on the position of the eye corresponding to the sub-pixel Selecting one of the viewpoints (4040), determining a region corresponding to a subpixel in the image of the selected viewpoint (4050), extracting subpixel values corresponding to the determined region from the multi-view image ( 4060), and generating a value for the sub-pixel by filtering the extracted sub-pixel values based on the sub-pixel structure of the second panel (4070). Since the matters described with reference to FIGS. 37 to 39 may be applied to each of the steps shown in FIG. 40 as they are, a more detailed description will be omitted.

Embodiments may provide a flat panel display (FPD) based light field display technique. Embodiments may provide a light field display technique based on a pentile panel having a sub-pixel structure different from that of a general RGB panel.
The embodiments may provide a technique for diversifying the types of FPDs constituting a light field display and minimizing a subpixel structure conversion operation when rendering a light field for a new subpixel structure. For this reason, embodiments can provide a technique for efficiently rendering a light field. In addition, embodiments may provide a rendering algorithm for representing an image according to the position of both eyes of a user in an FPD-based light field display device.

The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.
The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
As described above, although the embodiments have been described by the limited drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

삭제delete

Claims

Receiving image data for the first panel;
Determining a viewpoint corresponding to the first sub-pixel included in the second panel based on optical characteristics of the second panel-based 3D display device;
Determining a region corresponding to the first sub-pixel in the image corresponding to the determined viewpoint in the image data;
Extracting values of sub-pixels corresponding to the first sub-pixel among sub-pixels of the first panel included in the area;
Generating a value for the first sub-pixel by filtering values of the extracted sub-pixels based on the sub-pixel structure of the second panel; And
Generating an image for the second panel-based 3D display device based on the value for the first sub-pixel
Image processing method comprising a.

The method of claim 1,
The optical properties are
And a characteristic related to a ray direction of the first sub-pixel.

The method of claim 1,
The optical properties are
The distance between the second panel and the optical layer;
A location of the first sub-pixel in the second panel; And
The position of an element in the optical layer through which the light output from the first sub-pixel passes
The image processing method is calculated based on at least one of.

The method of claim 1,
The sub-pixel structure of the second panel is
Colors of sub-pixels included in the second panel;
Sub-pixels of each color are arranged on the second panel;
Sizes of sub-pixels of each color included in the second panel; And
The number of sub-pixels of each color included in the second panel
An image processing method comprising at least one of.

The method of claim 1,
The first panel is an RGB panel, and the second panel is a pentile panel.

The method of claim 1,
When the image data includes a multi-view image for a first panel,
The step of determining the area
Determining a region corresponding to the first sub-pixel in the image corresponding to the determined viewpoint in the multi-view image
Image processing method comprising a.

The method of claim 1,
The step of determining the time point
Including the step of obtaining a viewpoint corresponding to the first sub-pixel from a table provided in advance,
The step of determining the area
Obtaining a region corresponding to the first sub-pixel from the pre-equipped table
Containing, image processing method.

The method of claim 1,
When the image data includes a multi-view image,
The step of determining the time point
Selecting one of a plurality of viewpoints included in the multi-view image based on the ray direction of the first sub-pixel; And
Determining a position corresponding to the first sub-pixel in the image of the selected viewpoint based on a camera parameter for the multi-view image
Containing, image processing method.

The method of claim 8,
The camera parameter is
The angle of view of the camera for each viewpoint;
A photographing direction of the camera for each of the viewpoints; And
Distance between the camera and the subject for each of the above viewpoints
An image processing method comprising at least one of.

The method of claim 1,
The extracting step
Extracting values of sub-pixels having the same color as the color of the first sub-pixel among sub-pixels of the first panel included in the area
Containing, image processing method.

The method of claim 6,
When the first sub-pixel corresponds to a plurality of viewpoints,
The step of determining the area
Determining a plurality of regions corresponding to the first sub-pixel from the plurality of viewpoints and images corresponding to the plurality of viewpoints in the multi-view image
Containing, image processing method.

The method of claim 11,
The extracting step
Values of sub-pixels having the same color as the color of the first sub-pixel among the sub-pixels of the first panel included in each of the plurality of regions from images corresponding to the plurality of viewpoints in the multi-view image Extracting; And
Interpolating values of subpixels corresponding to each other between the plurality of regions
Containing, image processing method.

The method of claim 1,
Generating a value for the first sub-pixel comprises:
Determining weights for values of the extracted sub-pixels or reading determined weights based on the sub-pixel structure of the second panel; And
Calculating a value for the first sub-pixel by weighting and summing the values of the extracted sub-pixels using the weights
Containing, image processing method.

The method of claim 6,
Receiving positions of both eyes of the user; And
Determining whether the first sub-pixel included in the second panel corresponds to a left eye or a right eye based on the positions of the eyes
Including more,
The step of determining the area
Selecting one of a plurality of viewpoints included in the multi-view image based on the position of the eye corresponding to the first sub-pixel; And
Determining a position corresponding to the first sub-pixel in the image of the selected viewpoint based on a camera parameter for the multi-view image
Containing, image processing method.

The method of claim 1,
When the image data includes a 3D model,
The step of determining the area
Determining a region corresponding to the first sub-pixel in the image viewed from the viewpoint of the 3D model
Image processing method comprising a.

delete

The method of claim 15,
The step of determining the time point
Including the step of determining the viewpoint to look at the 3D model according to the ray direction of the first sub-pixel,
The step of determining the area
Determining a position corresponding to the first sub-pixel in the image of the determined viewpoint based on a position where the light propagating in the ray direction is incident on the virtual camera for the determined viewpoint
Containing, image processing method.

delete

The method of claim 1,
When the image data includes a stereoscopic image for a first panel,
Receiving positions of both eyes of the user; And
Including more,
The step of determining the time point
Determining whether a first sub-pixel included in the second panel corresponds to a left image or a right image based on the positions of the eyes
Including,
The step of determining the area
Determining a region corresponding to the first sub-pixel in the image corresponding to the first sub-pixel
Image processing method comprising a.

The method of claim 20,
When it is determined that the light propagating along the ray direction of the first sub-pixel reaches closer to the left eye of the user than to the right eye of the user, the first sub-pixel is determined to correspond to the left image,
When it is determined that the light reaches the right eye closer than the left eye, the first sub-pixel is determined to correspond to the right image.

delete

A computer-readable recording medium on which a program for executing the method of any one of claims 1 to 15, 17, 20, and 21 is recorded.

Receive image data for the first panel, determine a viewpoint corresponding to the first sub-pixel included in the second panel, based on optical characteristics of the second panel-based 3D display device, and correspond to the determined viewpoint In the image to be displayed, an area corresponding to the first sub-pixel is determined, values of sub-pixels corresponding to the first sub-pixel are extracted among sub-pixels included in the first panel included in the area, and the first 2 A value for the first sub-pixel is generated by filtering the values of the extracted sub-pixels based on the sub-pixel structure of the panel, and based on the value for the first sub-pixel, the second panel based 3 To generate images for dimensional display devices
At least one processor
Image processing device comprising a.