KR20150052442A - 영상 처리 방법 및 장치 - Google Patents
영상 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20150052442A KR20150052442A KR1020130133629A KR20130133629A KR20150052442A KR 20150052442 A KR20150052442 A KR 20150052442A KR 1020130133629 A KR1020130133629 A KR 1020130133629A KR 20130133629 A KR20130133629 A KR 20130133629A KR 20150052442 A KR20150052442 A KR 20150052442A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- depth
- base
- color
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
영상 처리를 위한 방법 및 장치가 제공된다. 영상 처리 방법은 다시점의 컬러 영상들 및 컬러 영상들에 대응하는 깊이 영상들을 사용하여 기저 영상을 생성할 수 있다. 영상 처리 방법은 기저 영상을 사용하여 출력 영상인 라이트 필드 영상을 생성할 수 있다. 기저 영상은 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 라이트 필드 영상들의 폐색 영역들을 포함하는 영상일 수 있다.
Description
아래의 실시예들은 영상 처리를 하기 위한 방법 및 장치에 관한 것으로, 보다 상세히는 라이트 필드 영상을 처리하는 방법 및 장치가 개시된다.
다시점(multi-view) 영상(image)들이 입력되었을 때 라이트 필드(light field) 디스플레이(display)를 생성하기 위해서는, 다시점 영상들에 대한 변환을 통해 라이트 필드의 시점(viewpoint)을 갖는 라이트 필드 영상이 생성되어야 한다.
라이트 필드를 생성함에 있어서, 입력된 다시점 영상들에 의해서는 정보가 제공되지 않는 폐색(occlusion) 영역(region)을 복원해야 할 수 있다.
다시점 영상들로부터 라이트 필드 영상을 생성하기 위해, 영상 기반 렌더링(Image Based Rendering; IBR) 방법이 사용될 수 있다. IBR 방법을 사용하기 위해서서는 다수의 다시점 영상이 사용되거나, 다시점의 영상들 및 상기의 다시점의 영상들에 대응하는 깊이 지도 영상들에 기반하여 생성된 다수의 영상들이 사용된다.
라이트 필드 영상을 생성하기 위해서는 상당량의 메모리가 요구될 수 있다. 또한, 자연스러운 라이트 필드 영상을 생성하기 위해서는 폐색 영역에 대한 적합한 처리가 요구된다. 폐색 영역에 대한 적합한 처리가 되지 않은 경우, 라이트 필드 영상 내에서 왜곡이 발생할 수 있다.
일 측면에 있어서, 다시점의 컬러 영상들 및 상기 컬러 영상들에 대응하는 깊이 영상들에 기반하여 기저 영상을 생성하는 단계, 상기 기저 영상 내의 폐색 영역을 복원하는 단계 및 상기 폐색 영역이 복원된 기저 영상에 기반하여 출력 영상을 생성하는 단계를 포함하고, 상기 기저 영상은 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들의 폐색 영역들을 포함하는 영상인, 영상 처리 방법이 제공된다.
상기 폐색 영역들은 상기 하나 이상의 영상들의 모든 폐색 영역들일 수 있다.
상기 기저 영상은 상기 하나 이상의 영상들의 폐색 영역들의 포함 관계에 기반하여 결정될 수 있다.
상기 기저 영상은 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들 중 상기 기저 영상의 폐색 영역을 포함하는 다른 영상이 존재하지 않는 영상일 수 있다.
상기 복수의 기저 영상들은 상기 하나 이상의 영상들 중 최좌측의 영상 및 최우측의 영상일 수 있다.
상기 기저 영상은 상기 하나 이상의 영상들의 레이들의 방향들에 기반하여 선택될 수 있다.
상기 기저 영상은 상기 하나 이상의 영상들 중 레이의 방향이 가장 많이 틀어진 영상일 수 있다.
상기 기저 영상을 생성하는 단계는, 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 영상들의 폐색 영역들에 기반하여 상기 기저 영상의 위치를 결정하는 단계 및 상기 컬러 영상들 및 상기 깊이 영상들을 사용하여 상기 결정된 위치의 기저 영상을 생성하는 단계를 포함할 수 있다.
상기 기저 영상을 생성하는 단계는, 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 영상들 중 폐색 영역에 대한 정보가 가장 많은 영상의 위치를 상기 기저 영상의 위치로서 결정하는 단계 및 상기 컬러 영상들 및 상기 깊이 영상들을 사용하여 상기 결정된 위치의 기저 영상을 생성하는 단계를 포함할 수 있다.
상기 결정된 위치의 기저 영상을 생성하는 단계는, 상기 컬러 영상들 및 상기 깊이 영상들을 상기 결정된 위치의 시점에서의 영상으로 변환함으로써 복수의 시점이 변환된 영상들을 생성하는 단계 및 상기 복수의 시점이 변환된 영상들을 병합함으로써 상기 결정된 위치의 기저 영상을 생성하는 단계를 포함할 수 있다.
상기 기저 영상의 각 픽셀에 대해서, 상기의 각 픽셀에 대응하는 상기 시점이 변환된 영상들의 픽셀들 중 깊이 값에 기반하여 선택된 픽셀의 데이터가 상기 각 픽셀에 대해 사용될 수 있다.
상기 기저 영상의 각 픽셀에 대해서, 상기의 각 픽셀에 대응하는 상기 시점이 변환된 영상들의 픽셀들 중 깊이 값이 가장 큰 픽셀의 데이터가 상기 각 픽셀에 대해 사용될 수 있다.
상기 기저 영상 내의 폐색 영역을 복원하는 단계는, 상기 기저 영상 내에서 상기 폐색 영역을 검출하는 단계, 상기 기저 영상의 깊이를 나타내는 기저 깊이 영상을 사용하여 상기 기저 영상에 대한 하나 이상의 깊이 레이어들을 생성하는 단계 및 상기 하나 이상의 깊이 레이어들 중 상기 폐색 영역에 인접한 깊이 레이어를 사용하여 상기 폐색 영역을 복원하는 단계를 포함할 수 있다.
상기 패색 영역에 인접한 깊이 레이어는 복수일 수 있다.
상기 인접한 복수의 깊이 레이어들 중 가장 작은 깊이 값을 갖는 깊이 레이어가 상기 폐색 영역의 복원을 위해 사용될 수 있다.
상기 폐색 영역은 상기 폐색 영역이 속하는 상기 깊이 레이어에 대한 텍스쳐 분석에 의해 복원될 수 있다.
상기 기저 영상은 복수일 수 있다.
상기 복수의 기저 영상들은 출력 영상을 생성하기 위해 사용되는 주 기저 영상을 포함할 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 폐색 영역의 크기에 기반하여 선택된 기저 영상일 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 폐색 영역을 가장 많이 포함하는 기저 영상일 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 광원과의 거리에 기반하여 선택된 기저 영상일 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 광원으로부터 가장 가까운 기저 영상일 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 제2 각도 및 제1 각도에 기반하여 선택된 기저 영상일 수 있다.
상기 주 기저 영상은 상기 복수의 기저 영상들 중 제2 각도와 가장 근접한 제1 각도를 갖는 기저 영상일 수 있다.
상기 제1 각도는 기저 영상의 기울어진 각도일 수 있다.
상기 제2 각도는 출력 영상이 출력되는 디스플레이의 법선 벡터 및 레이 간의 각도일 수 있다.
상기 출력 영상을 생성하는 단계는, 상기 주 기저 영상을 결정하는 단계, 상기 결정된 주 기저 영상을 사용하여 출력 영상을 생성하는 단계 및 상기 복수의 기저 영상들 중 상기 주 기저 영상 외의 다른 기저 영상들을 사용하여 상기 출력 영상 내의 폐색 영역을 렌더링하는 단계를 포함할 수 있다.
를 포함하는, 영상 처리 방법.
상기 출력 영상은 라이트 필드 영상일 수 있다.
상기 출력 영상은 상기 주 기저 영상에 뷰 보간을 적용함으로써 생성될 수 있다.
상기 영상 처리 방법은, 상기 출력 영상을 출력하는 단계를 더 포함할 수 있다.
다른 일 측에 있어서, 다시점의 컬러 영상들 및 상기 컬러 영상들에 대응하는 깊이 영상들에 기반하여 기저 영상을 생성하는 기저 영상 생성부, 상기 기저 영상 내의 폐색 영역을 복원하는 폐색 영역 복원부 및 상기 폐색 영역이 복원된 기저 영상에 기반하여 출력 영상을 생성하는 출력 영상 생성부를 포함하고, 상기 기저 영상은 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들의 폐색 영역들을 포함하는 영상인, 영상 처리 장치가 제공된다.
상기 폐색 영역들은 상기 하나 이상의 영상들의 모든 폐색 영역들일 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 3은 일 예에 따른 기저 영상 생성부의 블록도이다.
도 4는 일 예에 따른 기저 영상 생성 방법의 흐름도이다.
도 5은 일 예에 따른 영상 병합부의 블록도이다.
도 6은 일 예에 따른 영상 병합 방법의 흐름도이다.
도 7은 일 예에 따른 원근법의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 8은 일 예에 따른 정투영의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 9는 일 예에 따른 라이트 필드 픽셀의 계산 방법을 설명한다.
도 10a는 일 예에 따른 카메라 좌표로의 변환을 나타낸다.
도 10b는 일 예에 따른 월드 좌표로의 변환을 나타낸다.
도 10c는 일 예에 따른 라이트 필드 좌표로의 변환을 나타낸다.
도 10d는 일 예에 따른 정투영 투사를 사용하는 픽셀 매핑을 설명한다.
도 10e는 일 예에 따른 원근 투사를 사용하는 픽셀 매핑을 설명한다.
도 11a 내지 도 11f는 일 예에 따른 3 개의 입력 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 11a는 일 예에 따른 제1 입력 컬러 영상을 나타낸다.
도 11b는 일 예에 따른 제1 입력 깊이 영상을 나타낸다.
도 11c는 일 예에 따른 제2 입력 컬러 영상을 나타낸다.
도 11d는 일 예에 따른 제2 입력 깊이 영상을 나타낸다.
도 11e는 일 예에 따른 제3 입력 컬러 영상을 나타낸다.
도 11f는 일 예에 따른 제3 입력 깊이 영상을 나타낸다.
도 12a 내지 도 12f는 일 예에 따른 기저 영상의 시점으로 변경된 3 개의 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 12a는 일 예에 따른 제1 시점 변경된 컬러 영상을 나타낸다.
도 12b는 일 예에 따른 제1 시점 변경된 깊이 영상을 나타낸다.
도 12c는 일 예에 따른 제2 시점 변경된 컬러 영상을 나타낸다.
도 12d는 일 예에 따른 제2 시점 변경된 깊이 영상을 나타낸다.
도 12e는 일 예에 따른 제3 시점 변경된 컬러 영상을 나타낸다.
도 12f는 일 예에 따른 제3 시점 변경된 깊이 영상을 나타낸다.
도 13a 내지 도 13f는 일 예에 따른 3 개의 기저 영상들을 나타낸다.
도 13a는 일 예에 따른 제1 기저 컬러 영상을 나타낸다.
도 13b는 일 예에 따른 제1 기저 깊이 영상을 나타낸다.
도 13c는 일 예에 따른 제2 기저 컬러 영상을 나타낸다.
도 13d는 일 예에 따른 제2 기저 깊이 영상을 나타낸다.
도 13e는 일 예에 따른 제3 기저 컬러 영상을 나타낸다.
도 13f는 일 예에 따른 제3 기저 깊이 영상을 나타낸다.
도 14는 일 예에 따른 폐색 영역 복원부의 블록도이다.
도 15는 일 예에 따른 폐색 영역 복원 방법의 흐름도이다.
도 16은 일 예에 따른 기저 컬러 영상을 설명한다.
도 17는 일 예에 따른 기저 깊이 영상을 설명한다.
도 18은 일 예에 따른 출력 영상 생성부의 구조도이다.
도 19는 일 예에 따른 출력 영상 생성 방법의 흐름도이다.
도 20a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 20b는 일 예에 따른 제2 기저 영상을 나타낸다.
도 20c는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 21a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 20b는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 21c는 일 예에 따른 제2 기저 영상을 나타낸다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 3은 일 예에 따른 기저 영상 생성부의 블록도이다.
도 4는 일 예에 따른 기저 영상 생성 방법의 흐름도이다.
도 5은 일 예에 따른 영상 병합부의 블록도이다.
도 6은 일 예에 따른 영상 병합 방법의 흐름도이다.
도 7은 일 예에 따른 원근법의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 8은 일 예에 따른 정투영의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 9는 일 예에 따른 라이트 필드 픽셀의 계산 방법을 설명한다.
도 10a는 일 예에 따른 카메라 좌표로의 변환을 나타낸다.
도 10b는 일 예에 따른 월드 좌표로의 변환을 나타낸다.
도 10c는 일 예에 따른 라이트 필드 좌표로의 변환을 나타낸다.
도 10d는 일 예에 따른 정투영 투사를 사용하는 픽셀 매핑을 설명한다.
도 10e는 일 예에 따른 원근 투사를 사용하는 픽셀 매핑을 설명한다.
도 11a 내지 도 11f는 일 예에 따른 3 개의 입력 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 11a는 일 예에 따른 제1 입력 컬러 영상을 나타낸다.
도 11b는 일 예에 따른 제1 입력 깊이 영상을 나타낸다.
도 11c는 일 예에 따른 제2 입력 컬러 영상을 나타낸다.
도 11d는 일 예에 따른 제2 입력 깊이 영상을 나타낸다.
도 11e는 일 예에 따른 제3 입력 컬러 영상을 나타낸다.
도 11f는 일 예에 따른 제3 입력 깊이 영상을 나타낸다.
도 12a 내지 도 12f는 일 예에 따른 기저 영상의 시점으로 변경된 3 개의 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 12a는 일 예에 따른 제1 시점 변경된 컬러 영상을 나타낸다.
도 12b는 일 예에 따른 제1 시점 변경된 깊이 영상을 나타낸다.
도 12c는 일 예에 따른 제2 시점 변경된 컬러 영상을 나타낸다.
도 12d는 일 예에 따른 제2 시점 변경된 깊이 영상을 나타낸다.
도 12e는 일 예에 따른 제3 시점 변경된 컬러 영상을 나타낸다.
도 12f는 일 예에 따른 제3 시점 변경된 깊이 영상을 나타낸다.
도 13a 내지 도 13f는 일 예에 따른 3 개의 기저 영상들을 나타낸다.
도 13a는 일 예에 따른 제1 기저 컬러 영상을 나타낸다.
도 13b는 일 예에 따른 제1 기저 깊이 영상을 나타낸다.
도 13c는 일 예에 따른 제2 기저 컬러 영상을 나타낸다.
도 13d는 일 예에 따른 제2 기저 깊이 영상을 나타낸다.
도 13e는 일 예에 따른 제3 기저 컬러 영상을 나타낸다.
도 13f는 일 예에 따른 제3 기저 깊이 영상을 나타낸다.
도 14는 일 예에 따른 폐색 영역 복원부의 블록도이다.
도 15는 일 예에 따른 폐색 영역 복원 방법의 흐름도이다.
도 16은 일 예에 따른 기저 컬러 영상을 설명한다.
도 17는 일 예에 따른 기저 깊이 영상을 설명한다.
도 18은 일 예에 따른 출력 영상 생성부의 구조도이다.
도 19는 일 예에 따른 출력 영상 생성 방법의 흐름도이다.
도 20a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 20b는 일 예에 따른 제2 기저 영상을 나타낸다.
도 20c는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 21a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 20b는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
도 21c는 일 예에 따른 제2 기저 영상을 나타낸다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
뷰(view)는 카메라에 의해 촬영된 컬러 영상 및 깊이 카메라에 의해 촬영된 깊이 영상을 포함할 수 있다. 뷰의 시점(viewpoint)은 피사체인 씬(scene)에 대한 촬영의 지점의 위치 및/또는 방향을 의미할 수 있다. 또한, 시점은 촬영의 방향 또는 촬영의 위치를 나타낼 수 있다. 복수의 뷰들의 시점들은 뷰들 간의 상대적인 방향들 및/또는 상대적인 위치들을 나타낼 수 있다.
하기에서, 컬러(color) 영상은 영상 내의 픽셀들의 컬러 값들을 나타내는 영상일 수 있다. 또한, 하기에서 컬러 영상은 컬러 영상의 정보 또는 컬러 영상의 데이터를 나타낼 수 있다.
예컨대, 컬러 영상은 컬러 영상 내의 픽셀들의 컬러 값들을 포함할 수 있다. 컬러 영상의 픽셀의 컬러 값은, 촬영함으로써 생성된 컬러 영상 내에서, 픽셀이 나타내는 씬 내의 객체의 컬러를 나타낼 수 있다.
하기에서, 깊이(depth) 영상은 영상 내의 픽셀들의 깊이 값들을 나타내는 영상일 수 있다. 또한, 하기에서 깊이 영상은 깊이 영상의 정보 또는 깊이 영상의 데이터를 나타낼 수 있다. 용어 "깊이 영상" 및 "깊이 지도 영상"의 의미는 동일할 수 있으며, 서로 간에 교체되어 사용될 수 있다.
예컨대, 깊이 영상은 깊이 영상 내의 픽셀들의 깊이 값들을 포함할 수 있다. 깊이 영상의 픽셀의 깊이 값은, 씬을 촬영함으로써 생성된 깊이 영상 내에서 픽셀이 나타내는 씬 내의 객체, 지점 또는 영역의 깊이를 나타낼 수 있다. 작은 깊이 값은 픽셀이 나타내는 객체, 지점 또는 영역이 촬영의 지점으로부터 멀리 떨어졌다는 것을 나타낼 수 있다. 큰 깊이 값은 픽셀이 나타내는 객체, 지점 또는 영역이 촬영의 지점에 가깝다는 것을 나타낼 수 있다. 반대로, 큰 깊이 값이 픽셀이 나타내는 객체, 지점 또는 영역이 촬영의 지점으로부터 멀리 떨어졌다는 것을 나타낼 수도 있고, 작은 깊이 값이 픽셀이 나타내는 객체, 지점 또는 영역이 촬영의 지점에 가깝다는 것을 나타낼 수도 있다.
카메라 및 깊이 카메라에 의해 한 시점에서의 씬이 촬영되었을 때, 씬 내의 하나의 지점(또는, 영역)에 대응하는 픽셀에 대해서 컬러 값 및 깊이 값이 생성될 수 있다. 생성된 픽셀의 컬러 값은 상기의 하나의 지점의 컬러 값을 나타낼 수 있고, 생성된 픽셀의 깊이 값은 상기의 하나의 지점 및 상기의 촬영의 지점 간의 거리를 나타낼 수 있다. 컬러 영상은 생성된 픽셀들의 컬러 값들을 포함할 수 있고, 깊이 영상은 생성된 픽셀들의 깊이 값들을 포함할 수 있다.
컬러 영상 및 깊이 영상은 서로 대응하는 관계를 가질 수 있다. 컬러 영상 및 깊이 영상이 서로 대응한다는 것은 상기의 컬러 영상 및 상기의 깊이 영상이 동일한 씬을 촬영함으로써 생성된 영상들임을 의미할 수 있다.
컬러 영상의 픽셀 및 깊이 영상의 픽셀은 서로 대응하는 관계를 가질 수 있다. 컬러 영상의 픽셀 및 깊이 영상의 픽셀이 서로 대응한다는 것은 양 픽셀들이 씬 내의 동일한 객체, 지점 또는 영역을 나타냄을 의미할 수 있다. 컬러 영상 및 깊이 영상 내에서 동일한 좌표 값들을 갖는 컬러 영상의 픽셀 및 깊이 영상의 픽셀은 서로 대응할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치의 블록도이다.
영상 처리 장치(100)는 기저 영상 생성부(110), 폐색 영역 복원부(120), 출력 영상 생성부(130) 및 출력부(140)를 포함할 수 있다. 기저 영상 생성부(110), 폐색 영역 복원부(120), 출력 영상 생성부(130) 및 출력부(140)의 기능에 대해서 하기에서 도 2 등을 참조하여 상세히 설명된다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
단계(210)에서, 기저 영상 생성부(110)는 다시점의 컬러 영상들 및 상기의 다시점의 컬러 영상들에 대응하는 깊이 영상들을 수신할 수 있다. 다시점의 컬러 영상들은 서로 상이한 시점들을 갖는 복수의 컬러 영상들일 수 있다. 깊이 영상들은 복수의 컬러 영상들의 각각에 대응하는 깊이 영상들일 수 있다. 말하자면, 하나의 시점에서의 뷰는 상기의 시점에서의 컬러 영상 및 깊이 영상을 포함할 수 있다.
시점들은 하나의 베이스 라인(base line) 상의 서로 상이한 위치들에 각각 대응할 수 있다.
또한, 기저 영상 생성부(110)는 기저(base) 위치를 수신할 수 있다.
다시점의 컬러 영상들 및 깊이 영상들에 대해, 하기에서 도 11a 내지 도 11f를 참조하여 상세히 설명된다.
단계(220)에서, 기저 영상 생성부(110)는 다시점의 컬러 영상들 및 상기의 다시점의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 기저 영상을 생성할 수 있다.
기저 영상은 다시점의 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 라이트 필드 영상들의 폐색 영역들을 포함하는 영상일 수 있다. 또는, 기저 영상은 다시점의 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 라이트 필드 영상들의 모든 폐색 영역들을 포함하는 영상일 수 있다.
기저 영상은 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 잇는 하나 이상의 라이트 필드 영상들 중 기저 영상의 폐색 영역을 포함하는 다른 라이트 필드 영상이 존재하지 않는 영상일 수 있다. 예컨대, 기저 영상은 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 라이트 필드 영상들의 폐색 영역들의 포함 관계에 기반하여 결정될 수 있다.
기저 영상은 다시점의 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 서로 상이한 시점을 갖는 컬러 영상들 및 깊이 영상들 중 폐색 영역의 전부 또는 일부가 복원된 영상일 수 있다. 기저 영상은 기저 컬러 영상 및 상기의 기저 컬러 영상의 깊이 영상에 대응하는 기저 깊이 영상을 포함할 수 있다. 기저 컬러 영상은 기저 영상의 컬러를 나타낼 수 있다. 기저 깊이 영상은 기저 영상의 깊이를 나타낼 수 있다.
단계(230)에서, 폐색 영역 복원부(120)는 생성된 기저 영상 내의 폐색 영역을 복원할 수 있다.
폐색 영역은 컬러 값 또는 깊이 값이 정해지지 않은 영역일 수 있다. 컬러 영상 및 깊이 영상은 2차원의 정보를 포함할 수 있다. 따라서, 컬러 영상 및 깊이 영상의 시점이 변경될 경우, 씬 내의 전경에 의해 폐색되었던(occluded) 전경 또는 배경의 부분이 드러날 수 있다. 그러나, 컬러 영상 및 깊이 영상은 폐색되었던 부분에 대한 정보(예컨대, 폐색되었던 부분의 컬러 값 및 깊이 값)를 포함하지 않을 수 있다. 따라서, 시점의 변경에 의해 생성된 컬러 영상 및 깊이 영상 내에서, 폐색되었던 부분은 폐색 영역으로서 나타날 수 있다.
생성된 기저 영상은 복수일 수 있다.
단계(240)에서, 출력 영상 생성부(130)는 폐색 영역이 복원된 기저 영상에 기반하여 출력 영상을 생성할 수 있다.
출력 영상은 입력된 다시점의 컬러 영상들 및 깊이 영상들의 시점들과는 상이한 시점을 갖는 영상일 수 있다. 출력 영상은 컬러 영상일 수 있다. 또한, 출력 영상은 출력 컬러 영상 및 출력 깊이 영상을 포함할 수 있다.
출력 영상은 라이트 필드 영상일 수 있다. 말하자면, 출력 영상의 시점은 입력된 다시점의 컬러 영상들 및 깊이 영상들의 시점들에 비해 수직 방향 및 수평 방향으로 상이한 시점일 수 있다. 수직 방향 및 수평 방향은 다시점의 컬러 영상들 및 깊이 영상들이 나타내는 씬에 대한 방향들일 수 있다.
출력 영상은 복수일 수 있다. 복수의 출력 영상들의 시점들은 서로 상이할 수 있다.
출력 영상 생성부(130)는 생성된 복수의 기저 영상들에 뷰 보간(view interpolation) 기법을 적용함으로써 출력 영상을 생성할 수 있다.
단계(250)에서, 출력부(140)는 생성된 출력 영상을 출력할 수 있다.
출력부(140)는 프로젝터(projector)일 수 있다. 출력부(140)는 영상 처리 장치(100)의 내부의 구성요소일 수 있으며, 케이블 또는 네트워크를 통해 영상 처리 장치(100)와 연결된 외부의 구성요소일 수 있다.
도 3은 일 예에 따른 기저 영상 생성부의 블록도이다.
기저 영상 생성부(110)는 위치 결정부(310) 및 영상 생성부(320)를 포함할 수 있다.
위치 결정부(310) 및 영상 생성부(320)의 각각에 대해서 하기에서 도 4 등을 참조하여 상세히 설명된다.
도 4는 일 예에 따른 기저 영상 생성 방법의 흐름도이다.
도 1을 참조하여 전술된 단계(110)는 하기의 단계들(410 및 420)을 포함할 수 있다.
단계(410)에서, 위치 결정부(310)는 기저 영상의 위치를 결정할 수 있다. 기저 영상의 위치는 기저 영상의 시점을 나타낼 수 있다. 하기에서, "기저 영상(또는, 영상)의 위치"는 "기저 영상(또는, 영상)의 시점"으로 대체될 수 있다.
위치 결정부(310)는 영상 처리 장치(100)에 의해 생성될 수 있는 영상들의 위치들 중 하나 이상의 위치들을 기저 영상의 위치로서 결정할 수 있다. 예컨대, 위치 결정부(310)는 영상 처리 장치(100)에 의해 생성될 수 있는 영상들 중 기저 영상으로 결정할 수 있고, 결정된 영상의 위치를 기저 영상의 위치로서 결정할 수 있다.
위치 결정부(310)는 입력된 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 영상 처리 장치(100)에 의해 생성될 수 있는 영상들 중 폐색 정보가 가장 많은 영상의 위치를 기저 영상의 위치로서 결정할 수 있다. 예컨대, 위치 결정부(310)는 입력된 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 영상 처리 장치(100)에 의해 생성될 수 있는 영상들의 폐색 영역들에 기반하여 기저 영상의 위치를 결정할 수 있다.
폐색 정보는 폐색 영역에 대한 정보일 수 있다. 폐색 정보가 가장 많은 영상은 가장 넓은 폐색 영역을 포함하는 영상을 의미할 수 있다.
출력부(140)가 원근법의(perspective) 타입의 장치이거나, 출력 영상이 원근법의 방식으로 출력될 경우, 위치 결정부(310)는 위치들 중 양 끝의 사이드의 위치들을 기저 영상의 위치로서 선택할 수 있다. 예컨대, 출력부(140)가 원근법의 타입의 장치이거나, 출력 영상이 원근법의 방식으로 출력될 경우, 복수의 기저 영상들은 다시점의 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들 중 최좌측의 라이트 필드 영상 및 최우측의 라이트 필드 영상일 수 있다.
출력부(140)가 원근법의 타입의 장치들(예컨대, 프로젝터들)인 경우, 장치들의 회전(rotation) 방향들이 상이할 수 있다. 위치 결정부(310)는 기저 영상의 위치를 결정함에 있어서 출력 영상을 출력하는 출력부(140)의 회전을 반영할 수 있다.
출력부(140)가 정투영의(orthographic) 타입의 장치이거나, 출력 영상이 정투영의 방식으로 출력될 경우, 위치 결정부(310)는 위치들 중 레이(ray)의 방향이 가장 많이 틀어진 영상들의 위치들을 기저 영상의 위치로서 선택할 수 있다. 여기서, 레이의 방향이 가장 많이 틀어진 영상들은 2 개일 수 있다. 예컨대, 출력부(140)가 정투영의 타입의 장치이거나, 출력 영상이 정투영의 방식으로 출력될 경우, 기저 영상은 다시점의 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들 중 레이의 방향이 가장 많이 틀어진 영상일 수 있다. 예컨대, 기저 영상은 다시점의 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들의 레이의 방향들에 기반하여 선택될 수 있다.
기저 영상은 동일한 광원을 갖는 원근법의 광들(perspective lights)을 하나의 집합으로서 영상화한 것일 수 있다. 또는, 기저 영상은 광의 방향은 동일하고, 광원은 서로 상이한 정투영의 광들(orthographic lights)을 하나의 집합으로서 영상화한 것일 수 있다.
앞서 설명된 영상 처리 장치(100)에 의해 생성될 수 있는 영상들은 라이트 필드 영상들일 수 있다. 영상 처리 장치(100)에 의해 생성될 수 있는 영상들은 다시점의 컬러 영상들 및 깊이 영상들에 의해 결정될 수 있다. 예컨대, 위치 결정부(310)는 다시점의 컬러 영상들 및 깊이 영상들에 기반하여 생성될 수 있는 영상들의 위치들 중 하나 이상의 위치들을 기저 영상의 위치로서 결정할 수 있다.
단계(420)에서, 영상 생성부(320)는 다시점의 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들을 사용하여 결정된 위치의 기저 영상을 생성할 수 있다. 생성된 기저 영상은 라이트 필드 영상일 수 있다.
결정된 위치 및 생성된 기저 영상은 각각 복수일 수 있다.
단계(420)에서의 기저 영상 생성 방법이 하기에서 도 5 및 도 6 등을 참조하여 상세히 설명된다.
도 5은 일 예에 따른 영상 병합부의 블록도이다.
영상 병합부(320)는 영상 변환부(510) 및 영상 병합부(520)를 포함할 수 있다.
영상 변환부(510) 및 영상 병합부(520)의 각각에 대해서 하기에서 도 6 등을 참조하여 상세히 설명된다.
도 6은 일 예에 따른 영상 병합 방법의 흐름도이다.
도 4을 참조하여 전술된 단계(420)는 하기의 단계들(610 및 620)을 포함할 수 있다.
단계(610)에서, 영상 변환부(510)는 컬러 영상 및 컬러 영상에 대응하는 깊이 영상을 단계(410)에서 결정된 위치의 시점에서의 영상으로 변환함으로써 시점이 변환된 영상을 생성할 수 있다. 시점이 변환된 영상은 결정된 위치의 시점을 갖는 컬러 영상 및 깊이 영상을 포함할 수 있다. 말하자면, 시점이 변환된 영상은 시점이 변환된 컬러 영상 및 시점이 변환된 깊이 영상을 포함할 수 있다. 시점이 변환된 영상은 복수일 수 있다. 복수의 시점이 변환된 영상들은 컬러 및 깊이에 있어서 서로 상이한 정보를 포함할 수 있다.
영상 변환부(510)는 다시점의 컬러 영상들 및 상기의 컬러 영상들에 대응하는 깊이 영상들에 대해, 각 컬러 영상 및 상기의 각 컬러 영상에 대응하는 깊이 영상을 단계(410)에서 결정된 위치의 시점에서의 영상으로 변환함으로써, 결정된 위치의 시점으로 시점이 변환된 복수의 영상들을 생성할 수 있다. 결정된 위치의 시점은 기저 영상의 시점일 수 있다.
입력 영상인 다시점의 컬러 영상들 및 깊이 영상들이 각각 3 개일 경우에, 3 개의 시점이 변환된 컬러 영상들 및 깊이 영상들이 하기에서 도 12a 내지 도 12f를 참조하여 상세히 설명된다.
단계(620)에서, 영상 병합부(520)는 복수의 시점이 변환된 영상들을 병합함으로써 단계(410)에서 결정된 위치의 병합된 기저 영상을 생성할 수 있다. 시점이 변환된 영상들을 병합은 시점이 변환된 영상들의 정보를 통합하는 것일 수 있다.
시점이 변환된 영상들은 서로 상이한 폐색 영역들을 포함할 수 있다. 영상 병합부(520)는 시점이 변환된 영상들을 병합함에 있어서, 시점이 변환된 영상들 내에서 가장 가까운 물체를 선택할 수 있다. 영상 병합부(520)는 기저 영상의 각 픽셀에 대해서, 상기의 각 픽셀에 대응하는 시점이 변환된 영상들의 픽셀들 중 깊이 값이 가장 큰 픽셀의 데이터를 상기의 각 픽셀에 대해 사용할 수 있다. 예컨대, 영상 병합부(520)는 기저 영상의 각 픽셀에 대해서, 상기의 각 픽셀에 대응하는 시점이 변환된 영상들의 픽셀들 중 깊이 값에 기반하여 선택된 픽셀의 데이터를 상기의 각 픽셀에 대해 사용할 수 있다.
예컨대, 영상 병합부(520)는 기저 영상의 제1 픽셀의 컬러 값을 결정함에 있어서, 상기의 픽셀에 대응하는 시점이 변환된 영상들의 제2 픽셀들 중 가장 가까운 픽셀을 결정할 수 있다. 영상 병합부(520)는 제2 픽셀들 중 가장 가까운 픽셀을 결정하기 위해 시점이 변환된 깊이 영상들을 사용할 수 있다. 영상 병합부(520)는 결정된 가장 가까운 픽셀의 컬러 값을 기저 영상(또는, 기저 컬러 영상)의 픽셀의 컬러 값으로 설정할 수 있다. 말하자면, 영상 병합부(520)는 시점이 변환된 컬러 영상들의 동일한 위치의 픽셀들 중 가장 가까운 픽셀의 컬러 값을 기저 영상(또는, 기저 컬러 영상)의 상기의 위치의 픽셀의 컬러 값으로 설정할 수 있다.
예컨대, 영상 병합부(520)는 기저 영상의 제1 픽셀의 깊이 값을 결정함에 있어서, 상기의 픽셀에 대응하는 시점이 변환된 영상들의 제2 픽셀들 중 가장 가까운 픽셀을 결정할 수 있다. 영상 병합부(520)는 제2 픽셀들 중 가장 가까운 픽셀을 결정하기 위해 시점이 변환된 깊이 영상들을 사용할 수 있다. 영상 병합부(520)는 결정된 가장 가까운 픽셀의 깊이 값을 기저 영상(또는, 기저 컬러 영상)의 픽셀의 깊이 값으로 설정할 수 있다. 말하자면, 영상 병합부(520)는 시점이 변환된 깊이 영상들의 동일한 위치의 픽셀들 중 가장 가까운 픽셀의 깊이 값을 기저 영상(또는, 기저 컬러 영상)의 상기의 위치의 픽셀의 깊이 값으로 설정할 수 있다.
말하자면, 영상 병합부(520)는 시점의 변환된 영상들을 병합함에 있어서, 시점이 변환된 영상들 내에서 가장 튀어나온 객체를 선택할 수 있다. 가장 튀어나온 객체는 시청자의 시점에서 가장 가까운 객체를 의미할 수 있다. 또한, 가장 튀어나온 객체는 깊이가 가장 작은(또는, 가장 큰) 객체일 수 있다.
병합에 의해 생성된 서로 상이한 시점을 갖는 3 개의 기저 영상들이 하기에서 도 13a 내지 도 13f를 참조하여 상세히 설명된다.
도 7은 일 예에 따른 원근법의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 7의 우측에, 카메라 영상 공간 내의 다시점의 영상들이 도시되었다. 다시점의 영상들로서, 3 개의 입력 영상들이 각각 점으로부터 출발하는 삼각형으로서 도시되었다. 3 개의 입력 영상들의 시점들은 베이스 라인 상의 서로 상이한 시점들일 수 있다. 입력 영상들의 각각은 컬러 영상 및 깊이 영상을 포함할 수 있다.
도 7의 좌측에, 라이트 필드 영상 공간 내의 복수의 기저 영상들이 도시되었다. 복수의 기저 영상들로서 제1 기저 영상 및 제2 기저 영상이 각각 점으로부터 출발하는 삼각형으로서 도시되었다. 삼각형은 영상의 광원을 나타낼 수 있다.
입력 영상을 나타내는 점 및 기저 영상을 나타내는 점 간의 선은 입력 영상 및 기저 영상 간의 의존 관계를 나타낼 수 있다. 입력 영상을 나타내는 점 및 기저 영상을 나타내는 점 간의 선은 입력 영상이 기저 영상의 생성을 위해 사용됨을 나타낼 수 있다.
입력 영상을 나타내는 점 또는 기저 영상을 나타내는 점으로부터 출발하는 삼각형은 입력 영상 또는 기저 영상이 나타내는 공간을 의미할 수 있다.
복수의 입력 영상들은 원근 투사(perspective projection)에 의해 획득된 영상들일 수 있다. 또한, 복수의 기저 영상들은 원근 투사에 의해 생성될 수 있다.
도 8은 일 예에 따른 정투영의 라이트 필드에 대한 기저 영상 생성 방법을 나타낸다.
도 8의 우측에, 카메라 영상 공간 내의 다시점의 영상들이 도시되었다. 다시점의 영상들로서, 3 개의 입력 영상들이 각각 점으로부터 출발하는 도시되었다. 입력 영상들의 각각은 컬러 영상 및 깊이 영상을 포함할 수 있다.
도 8의 좌측에, 라이트 필드 영상 공간 내의 복수의 기저 영상들이 도시되었다. 복수의 기저 영상들로서 제1 기저 영상 및 제2 기저 영상이 각각 평행 사변의 면으로서 도시되었다. 제1 기저 영상 및 제2 기저 영상의 좌측의 수직 면은 평행한 광원들의 선(line)을 나타낼 수 있다.
복수의 입력 영상들은 원근 투사(perspective projection)에 의해 획득된 영상들일 수 있다. 복수의 기저 영상들은 정투영 투사(orthographic projection)에 의해 생성될 수 있다.
도 9는 일 예에 따른 라이트 필드 픽셀의 계산 방법을 설명한다.
영상 변환부(510)는 카메라 내부 파라미터(intrinsic parameter)를 사용하여 입력 영상의 픽셀 또는 픽셀의 좌표를 카메라 좌표(coordinate)로 변환할 수 있다. 카메라 좌표로의 변환에 대해 하기에서 도 10a를 참조하여 상세히 설명된다.
다음으로, 영상 변환부(510)는 카메라 외부 파라미터(extrinsic parameter)를 사용하여 카메라 좌표를 월드(world) 좌표로 변환할 수 있다. 월드 좌표로의 변환에 대해 하기에서 도 10b를 참조하여 상세히 설명된다.
다음으로, 영상 변환부(510)는 라이트 필드 외부 파라미터를 사용하여 월드 좌표를 라이트 필드 좌표로 변환할 수 있다. 라이트 필드 좌표로의 변환에 대해 하기에서 도 10c를 참조하여 상세히 설명된다.
다음으로, 영상 변환부(510)는 라이트 필드 좌표를 라이트 필드 픽셀로 변환할 수 있다. 영상 변환부(510)는 라이트 필드 영상 내의 픽셀들 중 계산된 라이트 필드 좌표에 대응하는 픽셀을 결정할 수 있다.
영상 변환부(510)는 라이트 필드의 타입에 따라 정투영 투사 또는 원근 투사를 사용하여 계산된 라이트 필드 좌표를 라이트 필드 영상 내의 특정한 좌표로 매핑시킬 수 있다. 또는, 영상 변환부(510)는 라이트 필드의 타입에 따라 정투영 투사 또는 원근 투사를 사용하여 계산된 라이트 필드 좌표를 라이트 필드 영상 내의 픽셀들 중 하나의 픽셀로 매핑시킬 수 있다.
정투영 투사 또는 원근 투사를 사용하는 픽셀로의 매핑에 대해 하기에서 도 10d 및 도 10e를 참조하여 각각 상세히 설명된다.
상기의 매핑에 의해, 라이트 필드 영상 내의 라이트 필드 픽셀이 생성될 수 있다.
도 10a는 일 예에 따른 카메라 좌표로의 변환을 나타낸다.
도 10에서, 입력 영상 내의 (i c , j j , dij)의 위치의 픽셀(1012)은 카메라 좌표계(1010)에서의 (x c , y c , z c )의 좌표(1012)로 변환될 수 있다.
입력 영상 내의 위치 (i c , j j , dij) 중 i c , j j , dij는 픽셀의 수평 위치(또는, 좌표 값), 픽셀의 수직 위치(또는, 좌표 값) 및 픽셀의 깊이를 각각 나타낼 수 있다.
도 10a에서 삼각형은 입력 영상의 영역에 대응할 수 있다.
도 10b는 일 예에 따른 월드 좌표로의 변환을 나타낸다.
도 10b에서, 카메라 좌표계(1010)의 (x c , y c , z c )의 좌표(1012)는 월드 좌표계(1020)에서의 (x, y , z)의 좌표(1021)로 변환될 수 있다.
도 10b에서 삼각형은 입력 영상의 영역에 대응할 수 있다.
도 10c는 일 예에 따른 라이트 필드 좌표로의 변환을 나타낸다.
도 10c에서, 월드 좌표계(1020)의 (x, y , z)의 좌표(1021)는 라이트 필드 좌표계(1030)에서의 (x LF , y LF , z LF )의 좌표(1031)로 변환될 수 있다.
도 10d는 일 예에 따른 정투영 투사를 사용하는 픽셀 매핑을 설명한다.
도 10d에서, 라이트 필드 좌표계(1030)에서의 (x LF , y LF , z LF )의 좌표(1031)는 정투영 투사에 의해 라이트 필드 영상 내의 (i LF , j LF)의 위치의 픽셀(1041)로 매핑된다.
입력 영상 내의 위치 (i LF , j LF) 중 i LF 및 j LF는 픽셀의 수평 위치(또는, 좌표 값) 및 픽셀의 수직 위치(또는, 좌표 값)를 각각 나타낼 수 있다.
도 10d에서 도시된 사각형(1051)은 기저 영상의 영역에 대응할 수 있다.
도 10e는 일 예에 따른 원근 투사를 사용하는 픽셀 매핑을 설명한다.
도 10e서, 라이트 필드 좌표계(1030)에서의 (x LF , y LF , z LF )의 좌표(1031)는 원근 투사에 의해 라이트 필드 영상 내의 (i LF , j LF)의 위치의 픽셀(1051)로 매핑된다.
입력 영상 내의 위치 (i LF , j LF) 중 i LF 및 j LF는 픽셀의 수평 위치(또는, 좌표 값) 및 픽셀의 수직 위치(또는, 좌표 값)를 각각 나타낼 수 있다.
도 10d에서 도시된 삼각형(1052)은 기저 영상의 영역에 대응할 수 있다.
도 11a 내지 도 11f는 일 예에 따른 3 개의 입력 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 11a 내지 도 11f에서, 다시점의 컬러 영상들은 제1 입력 컬러 영상, 제2 입력 컬러 영상 및 제3 입력 컬러 영상을 포함하고, 다시점의 깊이 영상들은 제1 입력 깊이 영상, 제2 입력 깊이 영상 및 제3 입력 깊이 영상을 포함하는 것으로 도시되었다.
제1 입력 컬러 영상 및 제1 입력 깊이 영상은 제1 뷰 또는 제1 입력 영상을 구성할 수 있다. 제2 입력 컬러 영상 및 제2 입력 깊이 영상은 제2 뷰 또는 제2 입력 영상을 구성할 수 있다. 제2 입력 컬러 영상 및 제2 입력 깊이 영상은 제2 뷰 또는 제1 입력 영상을 구성할 수 있다.
도 11a 내지 도 11f에서, 전경의 객체는 원형 또는 구형을 갖는 것으로 도시되었다. 배경은 흑색으로 표시되었다.
도 11a는 일 예에 따른 제1 입력 컬러 영상을 나타낸다.
제1 입력 컬러 영상은 다시점의 컬러 영상들 중 좌측 또는 최좌측의 시점의 컬러 영상일 수 있다.
제1 입력 컬러 영상에서, 원형으로 표시된 전경의 객체들은 우측으로 치우쳐서 표시되었다. 전경의 객체들은 깊이 값이 더 클수록 또는 촬영의 지점으로부터 더 가까울수록 더 우측에 위치한다.
도 11b는 일 예에 따른 제1 입력 깊이 영상을 나타낸다.
제1 입력 깊이 영상은 제1 입력 컬러 영상에 대응하는 깊이 영상일 수 있다. 제1 입력 깊이 영상은 다시점의 깊이 영상들 중 좌측 또는 최좌측의 시점의 깊이 영상일 수 있다.
제1 깊이 영상에서, 옅은 부분은 깊이 값이 큰 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다. 짙은 부분은 깊이 값이 작은 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다.
도 11c는 일 예에 따른 제2 입력 컬러 영상을 나타낸다.
제1 입력 컬러 영상은 다시점의 컬러 영상들 중 중앙의 시점의 컬러 영상일 수 있다.
제1 입력 컬러 영상에서, 원형으로 표시된 전경의 객체들은 컬러 영상의 중심부에 표시되었다. 전경의 객체들 중 깊이 값이 더 작은 객체(또는, 촬영의 지점으로부터 더 먼 객체)는 깊이 값이 더 큰 객체(또는, 촬영의 지점으로부터 더 가까운 객체)에 의해 폐색되었다.
도 11d는 일 예에 따른 제2 입력 깊이 영상을 나타낸다.
제2 입력 깊이 영상은 2 입력 컬러 영상에 대응하는 깊이 영상일 수 있다. 제2 입력 깊이 영상은 다시점의 깊이 영상들 중 중앙의 시점의 깊이 영상일 수 있다.
제2 깊이 영상에서, 옅은 부분은 깊이 값이 큰 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다. 짙은 부분은 깊이 값이 작은 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다.
도 11e는 일 예에 따른 제3 입력 컬러 영상을 나타낸다.
제3 입력 컬러 영상은 다시점의 컬러 영상들 중 우측 또는 최우측의 시점의 컬러 영상일 수 있다.
제3 입력 컬러 영상에서, 원형으로 표시된 전경의 객체들은 좌측으로 치우쳐서 표시되었다. 전경의 객체들은 깊이 값이 더 클수록 또는 촬영의 지점으로부터 더 가까울수록 더 좌측에 위치한다.
도 11f는 일 예에 따른 제3 입력 깊이 영상을 나타낸다.
제3 입력 깊이 영상은 제3 입력 컬러 영상에 대응하는 깊이 영상일 수 있다. 제3 입력 깊이 영상은 다시점의 깊이 영상들 중 우측 또는 최우측의 시점의 깊이 영상일 수 있다.
제3 깊이 영상에서, 옅은 부분은 깊이 값이 큰 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다. 짙은 부분은 깊이 값이 작은 부분 또는 촬영의 지점으로부터 더 가까운 부분을 나타낼 수 있다.
도 12a 내지 도 12f는 일 예에 따른 기저 영상의 시점으로 변경된 3 개의 컬러 영상들 및 3 개의 깊이 영상들을 나타낸다.
도 12a 내지 도 12f에서는 3 개의 시점이 변환된 컬러 영상들 및 3 개의 시점이 변환된 깊이 영상들이 도시되었다. 여기서, 변경된 시점은 위치 결정부(310)에 의해 결정된 위치에 대응하는 시점일 수 있다.
영상 변환부(510)는 시점이 변환된 컬러 영상 및 시점이 변환된 깊이 영상을 생성할 수 있다.
위치 결정부(310)는 하나 이상의 위치들을 생성될 기저 영상의 위치로서 결정할 수 있다. 도 12a 내지 도 12f에서 도시된 3 개의 시점이 변환된 컬러 영상 및 3 개의 시점이 변환된 깊이 영상은 결정된 3 개의 위치들 중 좌측 또는 최좌측의 위치에 대응하는 시점일 수 있다. 말하자면, 도 12a 내지 도 12f에서 도시된 3 개의 시점이 변환된 컬러 영상 및 3 개의 시점이 변환된 깊이 영상의 시점은 제1 기저 영상 시점일 수 있다.
시점이 변환된 컬러 영상들은 입력된 다시점의 컬러 영상들의 개수만큼 생성될 수 있다. 또한, 시점이 변환된 깊이 영상들은 입력된 다시점의 깊이 영상들의 개수만큼 생성될 수 있다.
기저 영상의 시점으로 변경된 도 12a, 도 12c 및 도 12e에서, 도 11a, 도 11c 및 도 11e의 다시점의 컬러 영상인 제1 입력 컬러 영상, 제2 입력 컬러 영상 및 제3 입력 컬러 영상이 각각 기저 영상의 시점으로 변경된 컬러 영상이 도시되었다.
도 12a는 일 예에 따른 제1 시점 변경된 컬러 영상을 나타낸다.
제1 시점 변경된 컬러 영상은 도 11a의 제1 입력 컬러 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제1 입력 컬러 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제1 시점 변경된 컬러 영상 내에서 폐색 영역이 생성되었다. 폐색 영역은 제1 시점 변경된 컬러 영상 내어서 검은 색으로 표현되었다. 또한, 후술될 도 12b 내지 도 12f에서도 폐색 영역은 검은 색으로 표현된다.
도 12b는 일 예에 따른 제1 시점 변경된 깊이 영상을 나타낸다.
제1 시점 변경된 깊이 영상은 도 11b의 제1 입력 깊이 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제1 입력 깊이 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제1 시점 변경된 깊이 영상 내에서 폐색 영역이 생성되었다.
도 12c는 일 예에 따른 제2 시점 변경된 컬러 영상을 나타낸다.
제2 시점 변경된 컬러 영상은 도 11c의 제2 입력 컬러 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제2 입력 컬러 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제2 시점 변경된 컬러 영상 내에서 폐색 영역이 생성되었다.
도 12d는 일 예에 따른 제2 시점 변경된 깊이 영상을 나타낸다.
제2 시점 변경된 깊이 영상은 도 11d의 제2 입력 깊이 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제2 입력 깊이 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제2 시점 변경된 깊이 영상 내에서 폐색 영역이 생성되었다.
도 12e는 일 예에 따른 제3 시점 변경된 컬러 영상을 나타낸다.
제3 시점 변경된 컬러 영상은 도 11e의 제3 입력 컬러 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제3 입력 컬러 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제3 시점 변경된 컬러 영상 내에서 폐색 영역이 생성되었다.
도 12f는 일 예에 따른 제3 시점 변경된 깊이 영상을 나타낸다.
제3 시점 변경된 깊이 영상은 도 11d의 제3 입력 깊이 영상의 시점을 기저 영상의 시점으로 변경함으로써 생성된 영상일 수 있다.
제3 입력 깊이 영상의 전경의 객체들 중 일부의 객체는 다른 전경의 객체에 의해 가려졌으며, 시점의 변경에 의해 제3 시점 변경된 깊이 영상 내에서 폐색 영역이 생성되었다.
도 13a 내지 도 13f는 일 예에 따른 3 개의 기저 영상들을 나타낸다.
전술된 것처럼, 위치 결정부(310)는 하나 이상의 위치들을 생성될 기저 영상의 위치로서 결정할 수 있다. 도 12a 내지 도 12f에서는, 3 개의 위치들이 기저 영상의 위치로서 결정되고, 3 개의 위치들에 대응하는 기저 영상들이 각각 생성되었을 경우를 도시한다.
원근법의 방식의 기저 영상들에 있어서, 결정된 기저 영상의 위치들은 가장 외곽의 광원(light source)들 및 중앙의 광원에 각각 대응할 수 있다. 최좌측의 광원, 중앙의 광원 및 최우측의 광원의 위치들이 기저 영상들의 위치들로서 결정될 수 있다.
3 개의 위치들 중 좌측 위치에 대응하는 제1 기저 영상은 도 12a의 제1 기저 컬러 영상 및 도 12b의 제2 기저 깊이 영상을 포함할 수 있다. 중앙 위치에 대응하는 제2 기저 영상은 도 12c의 제2 기저 컬러 영상 및 도 12d의 제2 기저 깊이 영상을 포함할 수 있다. 우측 위치에 대응하는 제3 기저 영상은 도 12e의 제3 기저 컬러 영상 및 도 12f의 제3 기저 깊이 영상을 포함할 수 있다.
도 13a는 일 예에 따른 제1 기저 컬러 영상을 나타낸다.
제1 기저 컬러 영상은 제1 기저 영상의 컬러를 나타낼 수 있다.
영상 병합부(520)는 도 12a의 제1 시점 변경된 컬러 영상, 도 12c의 제2 시점 변경된 컬러 영상 및 도 12e의 제3 시점 변경된 컬러 영상을 병합함으로써 제1 기저 컬러 영상을 생성할 수 있다.
도 13b는 일 예에 따른 제1 기저 깊이 영상을 나타낸다.
제1 기저 깊이 영상은 제1 기저 영상의 깊이를 나타낼 수 있다.
영상 병합부(520)는 도 12b의 제1 시점 변경된 깊이 영상, 도 12d의 제2 시점 변경된 깊이 영상 및 도 12f의 제3 시점 변경된 깊이 영상을 병합함으로써 제1 기저 깊이 영상을 생성할 수 있다.
도 13c는 일 예에 따른 제2 기저 컬러 영상을 나타낸다.
제2 기저 컬러 영상은 제2 기저 영상의 컬러를 나타낼 수 있다. 제2 기저 컬러 영상은 제2 기저 영상의 시점으로 시점이 변환된 컬러 영상들을 병합함으로써 생성될 수 있다.
도 13d는 일 예에 따른 제2 기저 깊이 영상을 나타낸다.
제2 기저 깊이 영상은 제2 기저 영상의 깊이를 나타낼 수 있다. 제2 기저 깊이 영상은 제2 기저 영상의 시점으로 시점이 변환된 깊이 영상들을 병합함으로써 생성될 수 있다.
도 13e는 일 예에 따른 제3 기저 컬러 영상을 나타낸다.
제3 기저 컬러 영상은 제3 기저 영상의 컬러를 나타낼 수 있다. 제3 기저 컬러 영상은 제3 기저 영상의 시점으로 시점이 변환된 컬러 영상들을 병합함으로써 생성될 수 있다.
도 13f는 일 예에 따른 제3 기저 깊이 영상을 나타낸다.
제3 기저 깊이 영상은 제3 기저 영상의 깊이를 나타낼 수 있다. 제3 기저 깊이 영상은 제3 기저 영상의 시점으로 시점이 변환된 깊이 영상들을 병합함으로써 생성될 수 있다.
도 14는 일 예에 따른 폐색 영역 복원부의 블록도이다.
폐색 영역 복원부(120)는 폐색 영역 검출부(1410), 깊이 레이어 생성부(1420) 및 폐색 영역 추정부(1430)를 포함할 수 있다.
폐색 영역 검출부(1410), 깊이 레이어 생성부(1420) 및 폐색 영역 추정부(1430)의 각각에 대해서, 하기에서 도 15를 참조하여 상세히 설명된다.
도 15는 일 예에 따른 폐색 영역 복원 방법의 흐름도이다.
도 1을 참조하여 전술된 단계(120)는 후술될 단계들(1510, 1520 및 1530)을 포함할 수 있다.
기저 영상은 입력된 다시점의 컬러 영상들 및 깊이 영상들에서는 정보가 제공되지 않은 폐색 영역을 포함할 수 있다.
영상 처리 장치(100)에 의해 생성될 수 있는 라이트 필드 영상들 중, 기저 영상이 가장 많은 폐색 영역을 포함한다. 따라서, 기저 영상의 폐색 영역이 복원되면, 복원된 영역의 정보가 다른 라이트 필드 영상을 생성하기 위해서도 사용될 수 있다.
단계(1510)에서, 폐색 영역 검출부(1410)는 기저 영상 내에서 폐색 영역을 검출할 수 있다.
기저 영상은 복수의 시점이 변환된 영상들에 기반하여 생성될 수 있지만, 기저 영상의 시점에 있어서, 어느 시점이 변환된 영상에 의해서도 정보가 제공되지 않는 영역이 존재할 수 있다. 여기서, 정보란 영역 또는 영역 내의 픽셀의 컬러 값 및/또는 깊이 값을 포함할 수 있다. 폐색 영역은 기저 영상 내의 정보가 결여된 영역일 수 있다.
폐색 영역 검출부(140)는 기저 영상의 픽셀들 중 컬러 값 및/또는 깊이 값이 설정되지 않은 픽셀들을 폐색 영역으로 검출할 수 있다. 기저 영상의 픽셀들의 컬러 값 및/또는 깊이 값은 매핑에 의해 설정될 수 있다. 기저 컬러 영상의 제1 픽셀에 매핑되는 픽셀은, 시점이 변환된 컬러 영상들의 상기의 제1 픽셀과 동일한 좌표 값을 갖는 제2 픽셀들 중에서, 가장 가까운 픽셀일 수 있다. 기저 깊이 영상의 제3 픽셀에 매핑되는 픽셀은, 시점이 변환된 깊이 영상들의 상기의 제3 픽셀과 동일한 좌표 값을 갖는 제4 픽셀들 중에서, 가장 가까운 픽셀일 수 있다.
단계(1520)에서, 깊이 레이어 생성부(1420)는 깊이 레이어를 생성할 수 있다.
깊이 레이어 생성부(1420)는 기저 영상의 기저 깊이 영상을 사용하여 기저 영상에 대한 깊이 레이어를 생성 또는 결정할 수 있다. 깊이 레이어는 하나 이상일 수 있다. 깊이 레이어 생성부(1420)는 동일한 깊이 값 또는 유사한 깊이 값들을 갖는 픽셀들을 깊이 레이어로서 묶을 수 있다. 말하자면, 깊이 레이어는 동일한 깊이 값 또는 유사한 깊이 값들을 갖는 픽셀의 영역을 레이어로서 표현한 것일 수 있다.
깊이 레이어 생성부(1420)는 기저 영상의 픽셀들을 하나 이상의 레이어들로 분류할 수 있다. 상기의 분류에 있어서, 깊이 레이어 생성부(140)는 기저 영상의 픽셀들 중 동일한 깊이 값 또는 유사한 깊이 값들을 갖는 인접하는 픽셀들을 하나의 깊이 레이어로 묶을 수 있다. 말하자면, 하나 이상의 깊이 레이어들은 동일한 깊이 값 또는 유사한 깊이 값들을 갖는 인접하는 픽셀들이 레이어로서 분류된 것일 수 있다.
상기의 설명 중, 유사한 깊이 값들은 소정의 범위 내의 깊이 값들일 수 있다. 소정의 범위의 중심은 깊이 레이어에 대응하는 픽셀들의 깊이 값들의 평균 값 또는 중간 값일 수 있다. 소정의 범위는 하나의 깊이 레이어로 묶기기에 적합한 범위일 수 있으며, 시청자가 동일한 깊이 감을 느낄 수 있게 하는 깊이 값들의 범위일 수 있다.
기저 영상 중 폐색 영역 또는 폐색 영역 내의 픽셀에 대해서는 깊이 값이 결정되지 않을 수 있다. 깊이 레이어 생성부(1420)는 폐색 영역에 대해서, 폐색 영역에 인접한 픽셀들 중 가장 작은 깊이 값을 갖는 픽셀을 선택할 수 있고, 픽셀에 대응하는 깊이 레이어를 폐색 영역의 깊이 레이어로 결정할 수 있다. 여기서, 인접한 픽셀들은 폐색 영역에 수평(parallax)으로 인접한 픽셀들일 수 있다. 또는, 깊이 레이어 생성부(1420)는 폐색 영역에 대해서, 폐색 영역에 인접한 깊이 레이어들 중 가장 작은 깊이 값을 갖는 깊이 레이어를 선택할 수 있고, 폐색 영역을 선택된 깊이 레이어에 포함시킬 수 있다. 여기서, 인접한 깊이 레이어들은 폐색 영역에 수평으로 인접한 깊이 레이어들일 수 있다.
폐색 영역을 포함하는 깊이 레이어의 선택에 대해서 하기에서 도 16 및 도 17을 참조하여 상세히 설명된다.
단계(1530)에서, 폐색 영역 추정부(1430)는 폐색 영역에 대한 추정을 수행함으로써 폐색 영역을 복원할 수 있다. 폐색 영역 추정부(140)는 하나 이상의 깊이 레이어들 중 폐색 영역이 속하는 깊이 레이어 또는 폐색 영역에 인접한 깊이 레이어를 사용함으로써 폐색 영역을 복원할 수 있다.
폐색 영역에 인접한 깊이 레이어는 복수일 수 있다. 폐색 영역 추정부(1430)는 복수의 깊이 레이어들 중 가장 작은 깊이 값을 갖는 깊이 레이어를 상기 폐색 영역의 복원을 위해 사용할 수 있다. 예컨대, 폐색 영역 추정부(1430)는 복수의 깊이 레이어들 중 깊이 값에 기반하여 선택된 깊이 레이어를 상기 폐색 영역의 복원을 위해 사용할 수 있다.
폐색 영역이 속하는 깊이 레이어 또는 폐색 영역에 인접한 깊이 레이어는 컬러 값 및 깊이 값을 갖는 픽셀들에 대응할 수 있다. 또는, 폐색 영역이 속하는 깊이 레이어 또는 폐색 영역에 인접한 깊이 레이어는 컬러 값 및 깊이 값을 갖는 픽셀들을 포함할 수 있다. 폐색 영역 추정부(1430)는 폐색 영역이 속하는 깊이 레이어의 컬러 값 및 깊이 값을 갖는 픽셀들에 대해 텍스쳐 분석(texture synthesis) 기법을 적용함으로써 폐색 영역을 복원할 수 있다. 예컨대, 폐색 영역 추정부(1430)는 폐색 영역이 속하는 깊이 레이어의 컬러 값 및 깊이 값을 갖는 픽셀들에 대해 텍스쳐 분석 기법을 적용함으로써 상기의 픽셀들의 컬러 정보 및 깊이 정보를 폐색 영역으로 확장시킬 수 있다.
깊이 레이어의 컬러 값 및 깊이 값을 갖는 픽셀들은 씬의 객체들을 나타낼 수 있다. 말하자면, 폐색 영역 추정부(1430)는 폐색 영역이 속하는 깊이 레이어에서 나타나는 객체의 정보에 대해 텍스쳐 분석 기법을 적용함으로써, 깊이 레이어를 생성한 폐색 영역의 정보를 복원할 수 있다. 여기서, 정보는 컬러 값 및 깊이 값을 포함할 수 있다.
도 16은 일 예에 따른 기저 컬러 영상을 설명한다.
기저 컬러 영상(1600)은 제1 전경 영역(1610), 제2 전경 영역(1620) 및 폐색 영역(1630)을 포함할 수 있다.
폐색 영역(1630)은 흑색으로 표시되었다.
도 17는 일 예에 따른 기저 깊이 영상을 설명한다.
기저 깊이 영상(1700)은 도 16의 기저 컬러 영상(1600)에 대응하는 깊이 영상일 수 있다.
기저 깊이 영상(1710)은 제1 전경 깊이 영역(1710), 제2 전경 깊이 영역(1720) 및 폐색 영역(1730)을 포함할 수 있다.
제2 전경 깊이 영역(1720)은 제1 전경 깊이 영역(1710)에 비해 돌출되었다. 말하자면, 제2 전경 깊이 영역(1720)의 깊이 값은 제1 전경 깊이 영역(1710)의 깊이 값에 비해 더 클 수 있다.
깊이 레이어 생성부(1420)는 제1 전경 깊이 영역(1710)의 영역을 제1 깊이 레이어로 결정할 수 있고, 제2 전경 깊이 영역(1710)의 영역을 제2 깊이 레이어로 결정할 수 있다.
폐색 영역(1630)에는 제1 전경 깊이 영역(1710) 및 제2 전경 깊이 영역(1720)이 인접하였다. 깊이 레이어 생성부(1420)는 폐색 영역(1730)을 제1 깊이 레이어 및 제2 깊이 레이어 중 더 작은 깊이 값을 갖는 제1 깊이 레이어에 포함시킬 수 있다.
복수의 깊이 레이어들이 폐색 영역에 인접하였을 때, 복수의 깊이 레이어는 배경에 대응하는 깊이 레이어 및 전경에 대응하는 깊이 레이어를 포함할 수 있다. 깊이 레이어 생성부(1420)는 배경에 대응하는 깊이 레이어 및 전경에 대응하는 깊이 레이어 중 배경에 대응하는 깊이 레이어에 폐색 영역을 포함시킬 수 있다. 또한, 깊이 레이어 생성부(1420)는 전경에 대응하는 복수의 깊이 레이어들 중 가장 작은 값을 갖는 깊이 레이어에 폐색 영역을 포함시킬 수 있다.
도 18은 일 예에 따른 출력 영상 생성부의 구조도이다.
출력 영상 생성부(130)는 기저 영상 결정부(1810), 라이트 필드 영상 생성부(1820) 및 렌더링부(1830)를 포함할 수 있다.
기저 영상 결정부(1810), 라이트 필드 영상 생성부(1820) 및 렌더링부(1830)의 각각에 대해서, 하기에서 도 19를 참조하여 상세히 설명된다.
도 19는 일 예에 따른 출력 영상 생성 방법의 흐름도이다.
도 1을 참조하여 전술된 단계(130)는 후술될 단계들(1910, 1920 및 1930)을 포함할 수 있다.
단계(1910)에서, 기저 영상 결정부(1810)는 생성된 복수의 기저 영상들 중 출력 영상을 생성하기 위해 사용될 기저 영상을 결정할 수 있다. 기저 영상 결정부(1810)는 복수의 기저 영상들 중 결정된 기저 영상을 주 기저 영상으로 명명할 수 있다. 복수의 기저 영상들 중 결정된 기저 영상 외 다른 기저 영상들을 보조 기저 영상들로 명명할 수 있다. 말하자면, 복수의 기저 영상들은 출력 영상을 생성하기 위해 사용되는 주 기저 영상을 포함할 수 있다.
기저 영상 결정부(1810)는 생성된 복수의 기저 영상들 중 폐색 영역을 가장 많이 포함하는 기저 영상을 출력 영상을 생성하기 위해 사용될 기저 영상으로 결정할 수 있다. 예컨대, 기저 영상 결정부(1810)는 생성된 복수의 기저 영상들 중 폐색 영역의 크기에 기반하여 출력 영상을 생성하기 위해 사용될 기저 영상을 선택할 수 있다.
또한, 기저 영상 결정부(1810)는 복수의 기저 영상들 중 출력 영상의 시점으로 변환되었을 때 가장 많은 패색 영역을 드러내는 기저 영상을 출력 영상을 생성하기 위해 사용될 기저 영상으로 결정할 수 있다.
기저 영상 결정부(1810)는 출력 영상인 라이트 필드 영상이 원근법의 방식의 영상인 경우 복수의 기저 영상들 중 광원으로부터 가장 가까운 기저 영상을 출력 영상을 생성하기 위해 사용될 기저 영상으로 결정할 수 있다. 예컨대, 기저 영상 결정부(1810)는 출력 영상인 라이트 필드 영상이 원근법의 방식의 영상인 경우 복수의 기저 영상들 중 광원과의 거리에 기반하여 선택된 기저 영상을 출력 영상을 생성하기 위해 사용될 기저 영상으로 결정할 수 있다.
출력 영상인 라이트 필드 영상이 정투영의 방식의 영상인 경우, 기저 영상 결정부(1810)는 제1 각도 및 제2 각도의 차를 계산할 수 있다. 제1 각도는 기저 영상의 기울어진 각도일 수 있다. 제2 각도는 출력 영상이 출력되는 디스플레이의 법선 벡터 및 레이 간의 각도일 수 있다. 기저 영상 결정부(1810)는 생성된 복수의 기저 영상들 중 제1 각도 및 제2 각도의 차를 가장 작게하는 기저 영상을 출력 영상을 생성하기 위해 사용될 기저 영상으로 결정할 수 있다. 예컨대, 결정된 기저 영상은 복수의 기저 영상들 중 제2 각도와 가장 근접한 제1 각도를 갖는 기저 영상일 수 있다. 또는, 결정된 기저 영상은 복수의 기저 영상들 중 제2 각도 및 제1 각도에 기반하여 선택된 기저 영상일 수 있다.
단계(1920)에서, 라이트 필드 영상 생성부(1920)는 단계(1910)에서 결정된 기저 영상을 사용하여 출력 영상인 라이트 필드 영상들을 생성할 수 있다. 라이트 필드 영상의 시점 및 기저 영상의 시점은 서로 상이할 수 있다. 라이트 필드 영상 생성부(1920)는 단계(1910)에서 결정된 기저 영상의 기저 컬러 영상 및 기저 깊이 영상을 사용하여 라이트 필드 영상을 생성할 수 있다.
라이트 필드 영상 생성부(1920)는 결정된 기저 영상에 뷰 보간을 적용함으로써 라이트 필드 영상을 생성할 수 있다.
단계(1930)에서, 렌더링부(1830)는 복수의 기저 영상들 중 결정된 기저 영상 외의 다른 기저 영상들을 사용하여 생성된 출력 영상인 라이트 필드 영상 내의 폐색 영역을 렌더링할 수 있다. 렌더링부(1830)는 1) 보조 기저 영상들의 기저 컬러 영상들의 컬러 값의 정보 및 2) 보조 기저 영상들의 기저 깊이 영상들의 깊이 값의 정보를 사용하여 생성된 라이트 필드 영상 내의 폐색 영역을 렌더링할 수 있다. 말하자면, 라이트 필드 영상 내의 폐색 영역을 렌더링하기 위해, 복수의 기저 영상들 중 라이트 필드 영상을 생성하기 위해 사용된 기저 영상 외의 나머지의 기저 영상들의 정보가 사용될 수 있다. 기저 영상들의 정보는 기저 영상들이 포함하는 기저 컬러 영상들의 컬러 값들의 정보 및 기저 영상들이 포함하는 기저 깊이 영상들의 깊이 값들의 정보를 포함할 수 있다.
전술된 단계(1910)에서 선택된 기저 영상은 폐색 영역을 가장 많이 포함하는 영상일 수 있다. 따라서, 기저 영상들 선택된 기저 영상 외의 나머지의 기저 영상들을 사용하여 생성된 라이트 필드 영상들은 새로운 폐색 영역 또는 추가적인 폐색 영역을 포함하지 않을 수 있다. 따라서, 렌더링부(1830)는 추가적인 폐색 영역 복원 방법을 사용하지 않을 수 있다.
전술된 것처럼, 출력 영상들은 기저 영상에 대한 뷰 보간만으로 생성될 수 있다. 따라서, 출력 영상 생성부(130)는 기저 영상의 픽셀들에 대한 픽셀 쉬프트(shift) 연산을 수행함으로써 출력 영상을 생성할 수 있다. 또한, 출력 영상 생성부(130)는 출력 영상들의 생성에 있어서 통일된 하나의 폐색 영역을 사용할 수 있다. 따라서, 폐색 영역의 복원에 있어서, 출력 영상들 간의 일관성(consistency)이 이루어질 수 있다.
도 20a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 20a의 제1 기저 영상(2010)은 출력 영상이 원근법의 투사에 의해 디스플레이될 때의 기저 영상을 나타낸다. 제1 기저 영상(2010)은 출력부(140) 또는 디스플레이 장치가 원근법의 타입의 장치일 때의 기저 영상을 나타낼 수 있다.
도 20a에서, 제1 기저 영상(2010)은 2 개의 전경의 객체들을 포함할 수 있다. 제1 객체는 영역(2011) 및 영역(2012)으로 표시되었다. 제2 객체는 영역(2013)으로 표시되었다. 제2 객체는 상대적으로 앞으로 튀어나온 객체일 수 있고, 제1 객체는 상대적으로 뒤에 위치한 객체일 수 있다.
도 20b는 일 예에 따른 제2 기저 영상을 나타낸다.
도 20b의 제2 기저 영상(2020)은 출력 영상이 원근법의 투사에 의해 디스플레이될 때의 기저 영상을 나타낸다. 제2 기저 영상(2020)은 출력부(140) 또는 디스플레이 장치가 원근법의 타입의 장치일 때의 기저 영상을 나타낼 수 있다.
제1 기저 영상(2010) 및 제2 기저 영상(2020)은 서로 상이한 시점을 가질 수 있다.
도 20a 및 도 20b에서 도시된 것과 같이, 제1 기저 영상(2010) 및 제2 기저 영상(2020)에서의 폐색 영역들은 서로 상이할 수 있다.
도 20c는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
제1 기저 영상(2010)에 기반하여 생성된 라이트 필드 영상(2030)은, 도시된 것과 같이, 폐색 영역들(2032 및 2033)을 포함할 수 있다.
제1 기저 영상(2020)은 2 개의 전경의 객체들을 포함할 수 있다. 제1 객체는 영역(2011) 및 영역(2012)으로 표시되었다. 제2 객체는 영역(2013)으로 표시되었다.
지점(2031)은 라이트 필드 영상(2030)의 시점 또는 출력 점에 대응할 수 있다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
제2 기저 영상(2020)에 기반하여 생성된 라이트 필드 영상(2040)은, 도시된 것과 같이, 폐색 영역들(2042 및 2043)을 포함할 수 있다.
지점(2041)은 라이트 필드 영상(2040)의 시점 또는 출력 점에 대응할 수 있다.
도 20c 및 도 20d에서 도시된 것과 같이, 서로 상이한 기저 영상들에 기반하여 생성된 라이트 필드 영상들의 폐색 영역들은 서로 상이할 수 있다.
예컨대, 제1 기저 영상(2010)이 주 기저 영상으로 결정된 경우, 제1 기저 영상(2010)에 기반하여 생성된 라이트 필드 영상(2030) 내에는 폐색 영역들(2032 및 2033)이 존재할 수 있다. 상기의 폐색 영역들(2032 및 2033)에 대한 정보는 제2 기저 영상(2020)과 같은 다른 기저 영상들로부터 획득될 수 있다.
도 21a는 일 예에 따른 제1 기저 영상을 나타낸다.
도 21a의 제1 기저 영상(2110)은 출력 영상이 정투영의 투사에 의해 디스플레이될 때의 기저 영상을 나타낸다. 제1 기저 영상(2110)은 출력부(140) 또는 디스플레이 장치가 정투영의 타입의 장치일 때의 기저 영상을 나타낼 수 있다.
도 21a에서, 제1 기저 영상(2110)은 2 개의 전경의 객체들을 포함할 수 있다. 제1 객체는 영역(2111)으로 표시되었다. 제2 객체는 영역(2112)으로 표시되었다. 제2 객체는 상대적으로 앞으로 튀어나온 객체일 수 있고, 제1 객체는 상대적으로 뒤에 위치한 객체일 수 있다.
도 20b는 일 예에 따른 제1 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
제1 기저 영상(2110)에 기반하여 생성된 라이트 필드 영상(2120)은, 도시된 것과 같이, 폐색 영역(2121)을 포함할 수 있다.
도 21c는 일 예에 따른 제2 기저 영상을 나타낸다.
도 21d의 제2 기저 영상(2130)은 출력 영상이 정투영의 투사에 의해 디스플레이될 때의 기저 영상을 나타낸다. 제2 기저 영상(2030)은 출력부(140) 또는 디스플레이 장치가 정투영의 타입의 장치일 때의 기저 영상을 나타낼 수 있다.
제2 기저 영상(2120) 또한 2 개의 전경의 객체들을 포함할 수 있다. 제1 객체는 영역(2131)으로 표시되었다. 제2 객체는 영역(2132)으로 표시되었다.
제1 기저 영상(2110) 및 제2 기저 영상(2130)은 서로 상이한 시점을 가질 수 있다.
도 20d는 일 예에 따른 제2 기저 영상에 기반하여 생성된 라이트 필드 영상을 나타낸다.
제2 기저 영상(2130)에 기반하여 생성된 라이트 필드 영상(2140)은, 도시된 것과 같이, 폐색 영역(2141)을 포함할 수 있다.
지점(2141)은 라이트 필드 영성(2140)의 시점 또는 출력 점에 대응할 수 있다.
도 21b 및 도 21d에서 도시된 것과 같이, 서로 상이한 기저 영상들에 기반하여 생성된 라이트 필드 영상들의 폐색 영역들은 서로 상이할 수 있다.
제1 객체가 앞으로 돌출되어 있고, 제2 객체가 뒤에 위치하였다면, 제1 기저 영상(2110) 및 제2 기저 영상(2130)의 폐색 영역들은 서로 상이할 수 있다. 제1 기저 영상(2110)의 기저 깊이 영상을 사용하여 라이트 필드 영상(2120)과 같은 새로운 라이트 필드 영상이 생성될 수 있다. 또한, 제2 기저 영상(2130)의 기저 깊이 영상을 사용하여 라이트 필드 영상(2140)과 같은 새로운 라이트 필드 영상이 생성될 수 있다.
전술된 실시예에서, 다시점의 입력 영상들로부터 라이트 필드 영상이 생성된다. 적은 개수의 입력 영상들이 사용되기 때문에, 라이트 필드 영상을 생성함에 있어서 메모리가 절약될 수 있다. 또한, 라이트 필드 영상의 생성을 위해 요구되는 폐색 영역에 대해서만 복원이 이루어질 수 있기 때문에, 라이트 필드 영상의 생성의 복잡도가 감소될 수 있다. 또한, 다수의 라이트 필드 영상들의 생성에 있어서 단일한 복원된 폐색 영역이 사용되기 때문에 생성된 다수의 라이트 필드 영상들 간의 일관성이 유지될 수 있다. 또한, 기저 영상에 뷰 보간을 적용하는 방식을 통해 라이트 필드 영상이 생성되기 때문에, 픽셀 쉬프트를 통해 라이트 필드 영상이 생성될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (20)
- 다시점의 컬러 영상들 및 상기 컬러 영상들에 대응하는 깊이 영상들에 기반하여 기저 영상을 생성하는 단계;
상기 기저 영상 내의 폐색 영역을 복원하는 단계; 및
상기 폐색 영역이 복원된 기저 영상에 기반하여 출력 영상을 생성하는 단계
를 포함하고,
상기 기저 영상은 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들의 폐색 영역들을 포함하는 영상인, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상은 상기 하나 이상의 영상들의 폐색 영역들의 포함 관계에 기반하여 결정되는, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상은 복수이고,
상기 복수의 기저 영상들은 상기 하나 이상의 영상들 중 최좌측의 영상 및 최우측의 영상인, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상은 상기 하나 이상의 영상들의 레이들의 방향들에 기반하여 선택되는, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상을 생성하는 단계는,
상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 영상들의 폐색 영역들에 기반하여 상기 기저 영상의 위치를 결정하는 단계; 및
상기 컬러 영상들 및 상기 깊이 영상들을 사용하여 상기 결정된 위치의 기저 영상을 생성하는 단계
를 포함하는, 영상 처리 방법. - 제5항에 있어서,
상기 결정된 위치의 기저 영상을 생성하는 단계는,
상기 컬러 영상들 및 상기 깊이 영상들을 상기 결정된 위치의 시점에서의 영상으로 변환함으로써 복수의 시점이 변환된 영상들을 생성하는 단계; 및
상기 복수의 시점이 변환된 영상들을 병합함으로써 상기 결정된 위치의 기저 영상을 생성하는 단계
를 포함하는, 영상 처리 방법. - 제6항에 있어서,
상기 기저 영상의 각 픽셀에 대해서, 상기의 각 픽셀에 대응하는 상기 시점이 변환된 영상들의 픽셀들 중 깊이 값에 기반하여 선택된 픽셀의 데이터가 상기 각 픽셀에 대해 사용되는, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상 내의 폐색 영역을 복원하는 단계는,
상기 기저 영상 내에서 상기 폐색 영역을 검출하는 단계;
상기 기저 영상의 깊이를 나타내는 기저 깊이 영상을 사용하여 상기 기저 영상에 대한 하나 이상의 깊이 레이어들을 생성하는 단계; 및
상기 하나 이상의 깊이 레이어들 중 상기 폐색 영역에 인접한 깊이 레이어를 사용하여 상기 폐색 영역을 복원하는 단계
를 포함하는 영상 처리 방법. - 제8항에 있어서,
상기 패색 영역에 인접한 깊이 레이어는 복수이고,
상기 인접한 복수의 깊이 레이어들 중 깊이 값에 기반하여 선택된 깊이 레이어가 상기 폐색 영역의 복원을 위해 사용되는, 영상 처리 방법. - 제8항에 있어서,
상기 폐색 영역은 상기 폐색 영역이 속하는 상기 깊이 레이어에 대한 텍스쳐 분석에 의해 복원되는, 영상 처리 방법. - 제1항에 있어서,
상기 기저 영상은 복수이고,
상기 복수의 기저 영상들은 출력 영상을 생성하기 위해 사용되는 주 기저 영상을 포함하는, 영상 처리 방법. - 제11항에 있어서,
상기 주 기저 영상은 상기 복수의 기저 영상들 중 폐색 영역의 크기에 기반하여 선택된 기저 영상인, 영상 처리 방법. - 제11항에 있어서,
상기 주 기저 영상은 상기 복수의 기저 영상들 중 광원과의 거리에 기반하여 선택된 기저 영상인, 영상 처리 방법. - 제11항에 있어서,
상기 주 기저 영상은 상기 복수의 기저 영상들 중 제2 각도 및 제1 각도에 기반하여 선택된 기저 영상이고,
상기 제1 각도는 기저 영상의 기울어진 각도이고,
상기 제2 각도는 출력 영상이 출력되는 디스플레이의 법선 벡터 및 레이 간의 각도인, 영상 처리 방법. - 제11항에 있어서,
상기 출력 영상을 생성하는 단계는,
상기 주 기저 영상을 결정하는 단계;
상기 결정된 주 기저 영상을 사용하여 출력 영상을 생성하는 단계; 및
상기 복수의 기저 영상들 중 상기 주 기저 영상 외의 다른 기저 영상들을 사용하여 상기 출력 영상 내의 폐색 영역을 렌더링하는 단계
를 포함하는, 영상 처리 방법. - 제15항에 있어서,
상기 출력 영상은 라이트 필드 영상인, 영상 처리 방법. - 제16항에 있어서,
상기 출력 영상은 상기 주 기저 영상에 뷰 보간을 적용함으로써 생성되는, 영상 처리 방법. - 제1항에 있어서,
상기 출력 영상을 출력하는 단계
를 더 포함하는, 영상 처리 방법. - 제1항 내지 제18항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
- 다시점의 컬러 영상들 및 상기 컬러 영상들에 대응하는 깊이 영상들에 기반하여 기저 영상을 생성하는 기저 영상 생성부;
상기 기저 영상 내의 폐색 영역을 복원하는 폐색 영역 복원부; 및
상기 폐색 영역이 복원된 기저 영상에 기반하여 출력 영상을 생성하는 출력 영상 생성부
를 포함하고,
상기 기저 영상은 상기 컬러 영상들 및 상기 깊이 영상들에 기반하여 생성될 수 있는 하나 이상의 영상들의 폐색 영역들을 포함하는 영상인, 영상 처리 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130133629A KR102156402B1 (ko) | 2013-11-05 | 2013-11-05 | 영상 처리 방법 및 장치 |
| EP14180968.1A EP2869262B1 (en) | 2013-11-05 | 2014-08-14 | Method and apparatus for processing a light field image |
| US14/520,440 US9646399B2 (en) | 2013-11-05 | 2014-10-22 | Method and apparatus for image processing |
| JP2014224542A JP6463946B2 (ja) | 2013-11-05 | 2014-11-04 | 映像処理方法及び装置 |
| CN201410635581.6A CN104618704B (zh) | 2013-11-05 | 2014-11-05 | 用于图像处理的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130133629A KR102156402B1 (ko) | 2013-11-05 | 2013-11-05 | 영상 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150052442A true KR20150052442A (ko) | 2015-05-14 |
| KR102156402B1 KR102156402B1 (ko) | 2020-09-16 |
Family
ID=51357768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130133629A KR102156402B1 (ko) | 2013-11-05 | 2013-11-05 | 영상 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9646399B2 (ko) |
| EP (1) | EP2869262B1 (ko) |
| JP (1) | JP6463946B2 (ko) |
| KR (1) | KR102156402B1 (ko) |
| CN (1) | CN104618704B (ko) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10356317B2 (en) * | 2014-10-30 | 2019-07-16 | Technion Research & Development Foundation Limited | Wide-scale terrestrial light-field imaging of the sky |
| JP6353414B2 (ja) * | 2015-07-30 | 2018-07-04 | 日本電信電話株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| JP6353415B2 (ja) * | 2015-07-30 | 2018-07-04 | 日本電信電話株式会社 | 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム |
| CA2998670A1 (en) * | 2015-09-17 | 2017-03-23 | Thomson Licensing | Light field data representation |
| EP3144885A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | Light field data representation |
| US10521952B2 (en) | 2016-04-12 | 2019-12-31 | Quidient, Llc | Quotidian scene reconstruction engine |
| EP3261347A1 (en) * | 2016-06-22 | 2017-12-27 | Thomson Licensing | A method and a device for encoding a signal representative of a light-field content |
| EP3273686A1 (en) * | 2016-07-21 | 2018-01-24 | Thomson Licensing | A method for generating layered depth data of a scene |
| EP3493160A4 (en) * | 2016-07-29 | 2019-06-05 | Sony Corporation | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
| WO2018021066A1 (ja) * | 2016-07-29 | 2018-02-01 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN109923854B (zh) * | 2016-11-08 | 2022-01-04 | 索尼公司 | 图像处理装置、图像处理方法以及记录介质 |
| KR102608466B1 (ko) * | 2016-11-22 | 2023-12-01 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| EP4459446A3 (en) | 2018-05-02 | 2025-01-22 | Quidient, LLC | A codec for processing scenes of almost unlimited detail |
| CN115272604A (zh) * | 2021-04-29 | 2022-11-01 | 北京小米移动软件有限公司 | 立体图像获取方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090082782A (ko) * | 2008-01-28 | 2009-07-31 | 삼성전자주식회사 | 시점 변화에 따른 영상 복원 방법 및 장치 |
| KR20110113752A (ko) * | 2009-01-26 | 2011-10-18 | 톰슨 라이센싱 | 비디오 코딩을 위한 프레임 패킹 |
| WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3593466B2 (ja) | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
| US7129943B2 (en) * | 2002-11-15 | 2006-10-31 | Microsoft Corporation | System and method for feature-based light field morphing and texture transfer |
| US7916934B2 (en) * | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
| JP4993355B2 (ja) * | 2007-03-29 | 2012-08-08 | Ｋｄｄｉ株式会社 | 局所領域分割型自由視点映像生成におけるオクルージョン処理方式 |
| CN100576934C (zh) * | 2008-07-03 | 2009-12-30 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
| JP2012507181A (ja) | 2008-10-28 | 2012-03-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像特性のための遮蔽データの発生 |
| JP2011060216A (ja) | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 画像処理装置および画像処理方法 |
| KR101676830B1 (ko) | 2010-08-16 | 2016-11-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| EP2609575B1 (en) * | 2010-08-27 | 2019-02-27 | Samsung Electronics Co., Ltd. | Rendering apparatus and method for generating multi-views |
| KR101683164B1 (ko) * | 2010-09-10 | 2016-12-05 | 삼성전자주식회사 | 폐색 영역 복원 장치 및 방법 |
| KR20120049636A (ko) * | 2010-11-09 | 2012-05-17 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| EP2533212A1 (en) * | 2011-06-10 | 2012-12-12 | Samsung Electronics Co., Ltd. | Reference layer for hole recovery within an output image. |
| JP6095067B2 (ja) * | 2011-11-14 | 2017-03-15 | 国立研究開発法人情報通信研究機構 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
| KR20130073459A (ko) * | 2011-12-23 | 2013-07-03 | 삼성전자주식회사 | 멀티-뷰 생성 방법 및 장치 |
-
2013
- 2013-11-05 KR KR1020130133629A patent/KR102156402B1/ko active IP Right Grant
-
2014
- 2014-08-14 EP EP14180968.1A patent/EP2869262B1/en active Active
- 2014-10-22 US US14/520,440 patent/US9646399B2/en active Active
- 2014-11-04 JP JP2014224542A patent/JP6463946B2/ja active Active
- 2014-11-05 CN CN201410635581.6A patent/CN104618704B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090082782A (ko) * | 2008-01-28 | 2009-07-31 | 삼성전자주식회사 | 시점 변화에 따른 영상 복원 방법 및 장치 |
| KR20110113752A (ko) * | 2009-01-26 | 2011-10-18 | 톰슨 라이센싱 | 비디오 코딩을 위한 프레임 패킹 |
| WO2012114975A1 (ja) * | 2011-02-24 | 2012-08-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150125093A1 (en) | 2015-05-07 |
| US9646399B2 (en) | 2017-05-09 |
| JP2015091136A (ja) | 2015-05-11 |
| KR102156402B1 (ko) | 2020-09-16 |
| EP2869262A1 (en) | 2015-05-06 |
| JP6463946B2 (ja) | 2019-02-06 |
| CN104618704A (zh) | 2015-05-13 |
| CN104618704B (zh) | 2019-03-26 |
| EP2869262B1 (en) | 2019-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102156402B1 (ko) | 영상 처리 방법 및 장치 | |
| KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
| TWI748949B (zh) | 用於使用深度資訊之全視差壓縮光場合成之方法 | |
| JP7181233B2 (ja) | テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理 | |
| US20110205226A1 (en) | Generation of occlusion data for image properties | |
| US11803980B2 (en) | Method for generating layered depth data of a scene | |
| GB2576548A (en) | Method and system for reconstructing colour and depth information of a scene | |
| KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
| KR102581134B1 (ko) | 광 강도 이미지를 생성하기 위한 장치 및 방법 | |
| JP2010510569A (ja) | ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法 | |
| KR20140056748A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| Meerits et al. | Real-time diminished reality for dynamic scenes | |
| KR20120137205A (ko) | 영상 처리를 위한 방법 및 장치 | |
| Oliveira et al. | Selective hole-filling for depth-image based rendering | |
| JP2010244221A (ja) | 画像生成装置、方法及びプログラム | |
| KR101208767B1 (ko) | 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 | |
| KR20180073020A (ko) | 임의시점 영상의 홀 채움 방법 | |
| KR20210069593A (ko) | 플랜옵틱 포인트 클라우드 생성 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20131105 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20181024 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20131105 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20191205 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200610 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200909 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200910 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240819 Start annual number: 5 End annual number: 5 |