KR101669820B1 - 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 - Google Patents
볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 Download PDFInfo
- Publication number
- KR101669820B1 KR101669820B1 KR1020100063985A KR20100063985A KR101669820B1 KR 101669820 B1 KR101669820 B1 KR 101669820B1 KR 1020100063985 A KR1020100063985 A KR 1020100063985A KR 20100063985 A KR20100063985 A KR 20100063985A KR 101669820 B1 KR101669820 B1 KR 101669820B1
- Authority
- KR
- South Korea
- Prior art keywords
- area
- region
- foreground
- occlusion
- volume
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000002457 bidirectional effect Effects 0.000 title description 18
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000006837 decompression Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Abstract
가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 전경 영역 및 배경 영역을 이용하여 전경과 배경의 양방향으로 복원하는 장치 및 방법을 제공한다. 일 측에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 방법은 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상을 입력 받고, 상기 깊이 영상 및 상기 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성하며, 상기 깊이 정보 및 상기 제1 시점에서 상기 제2 시점으로의 방향 정보에 기초하여 상기 가상시점 영상을 전경 영역 및 배경 영역으로 구별하고, 상기 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측하며 상기 예측된 3차원 볼륨에 기초하여 상기 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)한다.
Description
기술분야는 가상시점 영상을 생성하는 과정에서 발생하는 폐색 영역을 복원하는 장치 및 방법에 관한 것이다.
깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이다. 이러한 깊이 영상은 깊이 정보와 카메라 파라미터를 통하여 3차원 복원기술 또는 3차원 워핑(warping) 기술에 많이 이용된다.
기준시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상은 가상시점에서 촬영되는 객체를 통한 깊이 영상 및 컬러 영상과 서로 다르다. 왜냐하면 객체를 촬영하는 카메라가 이동할 때, 즉 객체를 바라보는 시점이 변화할 때, 시점이 변화하기 전에는 보이지 않던 부분이 시점이 변화한 후에는 보이게 되기 때문이다. 이때 기준시점 영상에서는 보이지 않지만 가상시점 영상에서 보이는 영역을 폐색 영역(occlusion)이라고 한다. 따라서 보다 실감나는 3D 영상을 제공하기 위해서는, 폐색 영역을 복원하는 기술이 필요하다.
일 측면에 있어서, 볼륨 예측 기반 폐색 영역 양방향 복원 방법은 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상을 입력 받는 단계, 상기 깊이 영상 및 상기 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성하는 단계, 상기 깊이 정보 및 상기 제1 시점에서 상기 제2 시점으로의 방향 정보에 기초하여 상기 가상시점 영상을 전경 영역 및 배경 영역으로 구별하는 단계, 상기 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측하는 단계 및 상기 예측된 3차원 볼륨에 기초하여 상기 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)하는 단계를 포함한다.
상기 볼륨을 예측하는 단계는 상기 전경 영역을 구성하는 3차원 정보 값에 기초하여 상기 볼륨 예측 방식에 따라 예측된 값을 상기 예측된 3차원 볼륨에 적용하는 볼륨 복원 단계를 더 포함할 수 있다.
상기 볼륨을 예측하는 단계는 상기 전경 영역에 대응하여 상기 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 일정한 깊이 값을 가지도록 상기 볼륨을 예측할 수 있다.
상기 볼륨을 예측하는 단계는 상기 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 상기 전경 영역과 반사된 모양의 깊이 값을 가지도록 상기 볼륨을 예측할 수 있다.
상기 볼륨을 예측하는 단계는 상기 깊이 전경에 대응하여 상기 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 부피 중심 기반(Volumetric Center-base) 방식에 기초하여 상기 볼륨을 예측할 수 있다.
상기 볼륨을 예측하는 단계는 상기 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 기 설정된 모델의 깊이 값에 기초하여 상기 볼륨을 예측할 수 있다.
다른 일 측면에 있어서, 볼륨 예측 기반 폐색 영역 양방향 복원 방법은 상기 예측된 3차원 볼륨에 기초하여 상기 제1 시점에서의 깊이 영상을 상기 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)하는 단계를 더 포함할 수 있다.
상기 폐색 영역을 복원하는 단계는 상기 폐색 영역 중에서 상기 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원하고, 상기 폐색 영역 중에서 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원할 수 있다.
상기 폐색 영역을 복원하는 단계는 상기 폐색 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역을 복원할 수 있다.
상기 폐색 영역을 복원하는 단계는 상기 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 기초하여 상기 폐색 영역을 복원할 수 있다.
상기 폐색 영역을 복원하는 단계는 상기 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역을 복원할 수 있다.
일 측면에 있어서, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상을 입력 받는 입력부, 상기 깊이 영상 및 상기 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성하는 가상시점 영상 생성부, 상기 깊이 정보 및 상기 제1 시점에서 상기 제2 시점으로의 방향 정보에 기초하여 상기 가상시점 영상을 전경 영역 및 배경 영역으로 구별하는 영역 구별부, 상기 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측하는 볼륨 예측부 및 상기 예측된 3차원 볼륨에 기초하여 상기 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)하는 폐색 영역 복원부를 포함한다.
상기 볼륨 예측부는 상기 전경 영역을 구성하는 3차원 정보 값에 기초하여 상기 볼륨 예측 방식에 따라 예측된 값을 상기 예측된 3차원 볼륨에 적용하는 볼륨 복원부를 더 포함할 수 있다.
다른 일 측면에 있어서, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 상기 예측된 3차원 볼륨에 기초하여 상기 제1 시점에서의 깊이 영상을 상기 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)하는 워핑부를 더 포함할 수 있다.
상기 폐색 영역 복원부는 상기 폐색 영역 중에서 상기 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원하고, 상기 폐색 영역 중에서 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원할 수 있다.
상기 폐색 영역 복원부는 상기 폐색 영역 중 전경 영역으로 예측된 영역과 상기 전경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
상기 폐색 영역 복원부는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 폐색 영역 중 배경 영역으로 예측된 영역과 상기 배경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
상기 폐색 영역 복원부는 상기 폐색 영역 중 전경 영역으로 예측된 영역과 상기 전경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
상기 폐색 영역 복원부는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 전경 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
상기 폐색 영역 복원부는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 폐색 영역 중 배경 영역으로 예측된 영역과 상기 배경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
상기 폐색 영역 복원부는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 또한, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
볼륨 예측에 기반하여 가상시점 영상의 전경 영역과 배경 영역을 통해 폐색 영역을 양방향에서 복원함으로써 단방향 복원 방식에서 발생하는 카드보드 효과를 개선할 수 있다.
또한, 폐색 영역을 양방향에서 복원함으로써 자유시점 영상과 같이 보다 넓은 시야각의 영상을 생성하는 경우 객체의 3차원 정보를 영상에 정확하게 투영하여 주관적/객관적 화질을 향상시킨다.
또한, 3차원 볼륨 예측을 이용함으로써 가상 시점에서 보다 역동적인 3차원 영상을 제공할 수 있다.
도 1a는 배경 영역 만으로 폐색 영역을 복원하는 과정을 나타낸 도면이다.
도 1b는 도 1a의 과정을 적용하는 경우 발생하는 효과를 나타낸다.
도 2는 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치의 블록도이다.
도 3은 일 실시예에 따른 전경 영역과 배경 영역을 이용하여 폐색 영역을 복원하는 과정을 나타낸 도면이다.
도 4는 일 실시예에 따른 새로운 시점의 영상에서 전경 영역 및 배경 영역을 나타낸 도면이다.
도 5는 일 실시예에 따른 볼륨 예측 방식의 일 예를 나타낸다.
도 6은 일 실시예에 따라 폐색 영역을 전경과 배경의 양방향으로 복원하는 구체적 예를 나타낸다.
도 7은 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 양방향 복원 방법의 구체적 예를 설명하기 위한 흐름도이다.
도 1b는 도 1a의 과정을 적용하는 경우 발생하는 효과를 나타낸다.
도 2는 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치의 블록도이다.
도 3은 일 실시예에 따른 전경 영역과 배경 영역을 이용하여 폐색 영역을 복원하는 과정을 나타낸 도면이다.
도 4는 일 실시예에 따른 새로운 시점의 영상에서 전경 영역 및 배경 영역을 나타낸 도면이다.
도 5는 일 실시예에 따른 볼륨 예측 방식의 일 예를 나타낸다.
도 6은 일 실시예에 따라 폐색 영역을 전경과 배경의 양방향으로 복원하는 구체적 예를 나타낸다.
도 7은 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따른 양방향 복원 방법의 구체적 예를 설명하기 위한 흐름도이다.
이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1a는 배경 영역 만으로 폐색 영역을 복원하는 과정을 나타낸 도면이다.
깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이고, 컬러 영상은 객체의 컬러에 대한 정보를 픽셀마다 나타내는 영상이다. 원영상의 시점에서 획득한 깊이 영상 및 컬러 영상을 가지고 새로운 시점에서 3차원 영상을 생성하는 경우, 원영상에서는 보이지 않던 영역이 새로운 시점에서는 보일 수 있다. 이러한 영역을 폐색 영역(occlusion)이라고 한다. 원영상은 폐색 영역을 기준으로 전경 영상과 배경 영상으로 구별될 수 있다. 배경 영역만을 이용하여 폐색 영역을 복원하는 방식은 스테레오 영상과 같이 폐색 영역이 크지 않은 경우에는 화질의 저하가 크지 않지만, 다시점(Free-view) 영상과 같이 보다 넓은 시야각을 가지는 영상의 경우에는 객체의 3차원 정보가 왜곡되어 화질이 저하된다.
도 1a를 참조하면, 카메라는 구를 촬영하는 경우에 원영상의 시점에서 반 구와 배경에 대한 깊이 영상 및 컬러 영상을 획득할 수 있다. 여기서 실선으로 표시된 부분은 원영상의 시점에서 획득한 반구와 배경에 대한 깊이 영상 및 컬러 영상이다. 새로운 시점에서는 점선으로 표시된 원영상에서 보이지 않았던 폐색 영역이 생성된다. 이때 새로운 시점에서 배경 영역만을 이용하여 폐색 영역을 복원하면 폐색 영역은 구의 모양과는 상관없이 배경 영역의 정보에 기초하여 복원되므로 왜곡된 구의 모양이 된다. 도 1a에서 구는 원의 모양으로 보이지만 3차원 영상에서 구를 표현한 것이다.
도 1b를 참조하면, 고양이 인형에 대하여 시점을 달리하여 생성된 가상 영상에는 폐색 영역이 생긴다. 폐색 영역을 배경 영역의 3차원 정보만을 가지고 복원하는 경우에는 객체 영상의 3차원 정보가 왜곡되어 객체 영상이 좌우로 얇아지는 효과가 발생한다. 영상에서 객체가 좌우로 얇아지는 효과를 카드보드 효과라고 한다. 이와 같이 배경 영역만을 이용하여 폐색 영역을 복원하는 경우에는 실제 객체를 반영한 3차원 영상을 표현하는데 한계가 있다.
도 2는 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치의 블록도이다.
도 2를 참조하면, 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 입력부(210), 가상시점 영상 생성부(220), 영역 구별부(230), 볼륨 예측부(240) 및 폐색 영역 복원부(250)를 포함한다.
입력부(210)는 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상을 입력 받는다. 제1 시점은 기준 시점으로 카메라를 통하여 깊이 영상 및 컬러 영상을 획득하는 시점이다. 깊이 정보는 촬영의 대상이 되는 객체 및 배경에 대하여 카메라에서의 거리에 따른 값으로 픽셀마다 표현될 수 있다.
가상시점 영상 생성부(220)는 제1 시점에서의 깊이 영상 및 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성한다. 제2 시점은 기준 시점과는 다른 위치의 가상 시점이다. 가상시점 영상 생성부(220)는 제1 시점에서 입력된 깊이 영상의 깊이 정보 및 컬러 영상의 컬러 정보에 기초하여 워핑(warping)을 수행하면 제2 시점에서 가상시점 영상을 생성할 수 있다. 워핑(warping)을 간략히 설명하면, 기준 시점(view point)에서 생성된 영상을 가상 시점영상으로 변환하는 영상처리 기법을 말한다.
영역 구별부(230)는 제1 시점 영상의 깊이 정보 및 제1 시점에서 제2 시점으로의 방향 정보에 기초하여 가상시점 영상을 전경 영역 및 배경 영역으로 구별한다. 제2 시점 영상에는 제1 시점 영상에서 보이지 않던 폐색 영역이 포함될 수 있다. 왜냐하면 제1 시점 영상에 기초하여 가상시점인 제2 시점에서 영상을 생성하기 때문이다. 또한, 폐색 영역은 제2 시점에서 상대적으로 전경에 해당하는 경계선과 상대적으로 배경에 해당하는 경계선으로 구별될 수 있다. 영역 구별부(230)는 제1 시점 영상의 깊이 정보, 즉 3차원 좌표 값과 제1 시점에서 제2 시점으로 이동(shift)하는 방향을 고려하여 상대적으로 폐색 영역보다 작은 깊이 값을 가지는 영역을 전경 영역으로, 상대적으로 폐색 영역보다 큰 깊이 값을 가지는 영역을 배경 영역으로 구별할 수 있다.
볼륨 예측부(240)는 제2 시점 영상에서의 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측한다. 여기서 예측된 3차원 볼륨은 폐색 영역을 전경 영역 및 배경 영역을 이용하여 양방향에서 복원하기 위한 기준이 된다. 보다 구체적으로 예측된 3차원 볼륨은 폐색 영역을 전경 영역으로 예측된 영역과 배경 영역으로 예측된 영역을 구분하는 기준이 된다. 3차원 볼륨을 예측하는 방식에는 단일 배후 방식(uniform rear), 반사 방식(reflection), 부피 중심 기반 방식(volumetric center based), 모델 기반 방식(model based)이 포함될 수 있다. 상기 볼륨 예측 방식에 대해서는 도 5에서 상세하게 설명한다. 다만, 볼륨 예측 방식은 상기 기재된 방식에 한정되지 않고, 본 발명의 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 기술을 포함할 수 있다.
또한, 볼륨 예측부(240)는 제2 시점 영상의 전경 영역을 구성하는 3차원 정보 값에 기초하여 볼륨 예측 방식에 따라 예측된 값을 예측된 3차원 볼륨에 적용하는 볼륨 복원부(도시되지 않음)를 더 포함할 수 있다. 볼륨 복원부는 전경 영역의 깊이 정보, 즉 3차원 좌표 값을 볼륨 예측 방식에 따라 변환하여 예측된 3차원 볼륨에 적용시킬 수 있다. 예를 들면, 볼륨 예측 방식으로 단일 배후 방식을 이용하는 경우 볼륨 복원부는 전경 영역의 3차원 좌표 값에 대하여 일정한 깊이 값을 가지도록 가중치를 적용하여 변환하고 예측된 볼륨에 값을 매칭시킬 수 있다.
폐색 영역 복원부(250)는 볼륨 예측부(240)에서 예측된 3차원 볼륨 및 입력부(210)에서 입력된 제1 시점 영상에서의 컬러 정보에 기초하여 제2 시점의 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)한다. 폐색 영역은 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역과 배경 영역으로 예측된 영역으로 구분될 수 있다. 여기서 전경 영역으로 예측된 영역은 예측된 3차원 볼륨과 영역 구별부(230)에서 구별된 전경 영역 사이의 영역을 의미한다. 또한, 배경 영역으로 예측된 영역은 예측된 3차원 볼륨과 영역 구별부(230)에서 구별된 배경 영역 사이의 영역을 의미한다.
폐색 영역 복원부(250)는 전경 영역으로 예측된 영역을 전경 영역의 깊이 정보 및 컬러 정보에 기초하여 복원 한다. 폐색 영역 복원부(250)는 배경 영역으로 예측된 영역을 배경 영역의 깊이 정보 및 컬러 정보에 기초하여 복원 한다. 폐색 영역 복원 과정은 비교과정과 샘플링 과정을 포함할 수 있으며 구체적으로 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식으로 구분될 수 있다.
포인트(point) 기반 방식은 복원하고자 하는 픽셀의 주변 픽셀과 유사도를 비교하고, 유사도가 인정되는 주변 픽셀을 샘플링하여 폐색 영역을 복원한다. 지역(region) 기반 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하고, 유사도가 인정되는 블록을 샘플링하여 폐색 영역을 복원한다. NLM(Non Local Mean) 방식은 복원하고자 하는 영역을 블록 단위로 나누어 블록 단위로 유사도를 비교하지만, 유사도가 인정되는 경우 픽셀 단위로 샘플링하여 폐색 영역을 복원한다. 여기서 유사도는 기울기(Gradient), 깊이 값 및 컬러의 유사도를 포함할 수 있다. 따라서, 폐색 영역 복원부(250)는 상기 언급된 다양한 방식을 이용하여 폐색 영역을 복원할 수 있다.
일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 전경 영역과의 경계선을 기준으로 포인트 기반 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 지역 기반 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또 다른 일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 지역 기반 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 배경 영역과의 경계선을 기준으로 포인트 기반 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 폐색 영역 중 배경 영역으로 예측된 영역과 상기 배경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또 다른 일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 전경 영역과의 경계선을 기준으로 포인트 기반 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 NLM 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 상기 폐색 영역 중 전경 영역으로 예측된 영역과 상기 전경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀을 샘플링하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또 다른 일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 지역 기반 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 NLM 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 전경 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀을 샘플링하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또 다른 일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 NLM 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 포인트 기반 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀을 샘플링하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 폐색 영역 중 배경 영역으로 예측된 영역과 상기 배경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또 다른 일 실시예를 통해 살펴보면, 폐색 영역 복원부(250)는 폐색 영역 중 전경 영역으로 예측된 영역은 NLM 방식을 이용하고, 폐색 영역 중 배경 영역으로 예측된 영역은 지역 기반 방식을 이용할 수 있다. 즉, 폐색 영역 복원부(250)는 상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀을 샘플링하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고, 상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원할 수 있다.
또한, 다른 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 볼륨 예측부(240)에서 예측된 3차원 볼륨에 기초하여 제1 시점에서의 깊이 영상을 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)하는 워핑부(도시되지 않음)를 더 포함할 수 있다. 워핑부는 예측된 3차원 볼륨을 반영하여 기준시점 영상을 가상시점 영상으로 변환할 수 있다.
도 3은 일 실시예에 따른 전경 영역과 배경 영역을 이용하여 폐색 영역을 복원하는 과정을 나타낸 도면이다.
도 3을 참조하면, 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 전경 영역을 이용하여 원영상에서는 보이지 않았던 영역에서의 3차원 볼륨을 예측한다. 양방향 복원 장치는 예측된 3차원 볼륨, 즉 구 모양의 점선을 기준으로 폐색 영역 중 구 모양의 점선 내부는 전경 영역을 이용하여 복원하고, 폐색 영역 중 구 모양의 점선 외부는 배경 영역을 이용하여 복원한다. 볼륨 예측을 통해 전경 영역과 배경 영역 양방향에서 복원된 가상 영상은 도 1a의 복원 영상과 달리 새로운 시점에서도 구 모양으로 실제 객체의 모양이 반영된다.
도 4는 일 실시예에 따른 새로운 시점의 영상에서 전경 영역 및 배경 영역을 나타낸 도면이다.
전경 영역에 기초하여 볼륨을 예측하기 위해서는 새로운 시점에서 생성된 가상시점 영상을 전경 영역과 배경 영역으로 구별해야 한다. 원영상에서 획득한 객체의 깊이 정보를 새로운 시점에서의 방향 정보와 연관하여 전경 영역과 배경 영역을 구별할 수 있다. 폐색 영역은 3차원 워핑을 통해 새로운 시점에서 생성된 가상시점 영상에서 알 수 있다. 폐색 영역을 기초로 하여 상대적으로 깊이 값이 작은 영역을 전경 영역이라고 하고, 상대적으로 깊이 값이 큰 영역을 배경 영역이라고 할 수 있다. 상기 폐색 영역과 전경 영역의 경계선(410)을 통해 폐색 영역과 전경 영역은 구별된다. 또한 상기 폐색 영역과 배경 영역의 경계선(420)을 통해 폐색 영역과 배경 영역은 구별된다. 전경 영역에 기초하여 예측된 3차원 볼륨은 폐색 영역 중 전경 영역으로 예측된 영역과 배경 영역으로 예측된 영역을 구분하는 기준이 된다. 여기서 전경 영역으로 예측된 영역은 전경 영역을 이용하여 복원되고, 배경 영역으로 예측된 영역은 배경 영역을 이용하여 복원된다.
도 5는 일 실시예에 따른 볼륨 예측 방식의 일 예를 나타낸다. 여기서 실선 영역은 전경 영역을 나타내고, 점선 영역은 예측된 볼륨을 나타낸다.
볼륨 예측 방식은 단일 배후 방식(uniform rear), 반사 방식(reflection), 부피 중심 기반 방식(volumetric center based), 모델 기반 방식(model based)을 포함할 수 있다.
단일 배후 방식(uniform rear)은 전경 영역의 깊이 정보에 관계없이 폐색 영역, 즉 기준 시점에서는 보이지 않는 영역에서 일정한 깊이 값을 가지도록 볼륨을 예측하는 방식이다. 도 5를 참조하면, 3차원 볼륨은 실선으로 표시된 전경 영역에 관계없이 두 개의 객체 모두 일정한 깊이 값을 가지도록 예측된다.
반사 방식(reflection)은 전경 영역과 반사되는 모양의 깊이 값을 가지도록 볼륨을 예측하는 방식이다. 도 5를 참조하면, 객체의 3차원 볼륨은 전경 영역이 반사되어 서로 대칭되는 모양을 가지도록 예측된다.
부피 중심 기반 방식(volumetric center based)은 주어진 전경 영역에 기초하여 3개의 점을 통해 전경 영역에 대응하는 구 또는 타원의 중심을 추정하여 3차원 볼륨을 예측하는 방식이다. 도 5를 참조하면, 전경 영역의 모양이 달라 전경 영역에 따라 사용할 수 있는 3개의 점이 상이하므로 추정될 수 있는 구 또는 타원의 중심도 달라진다. 따라서, 3차원 볼륨도 서로 다르게 예측된다.
모델 기반 방식(model based)은 객체, 즉 모델에 대한 정보를 미리 알고 있어서 기 설정된 모델의 3차원 정보를 이용하여 볼륨을 예측하는 방식이다. 도 5를 참조하면, 3차원 볼륨은 객체의 기본 모양에 대한 정보를 기초로 예측된다.
도 6은 일 실시예에 따라 폐색 영역을 전경과 배경의 양방향으로 복원하는 구체적 예를 나타낸다.
도 6은 폐색 영역을 배경 영역만을 이용하여 단방향 복원하는 경우와 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 방법이 적용된 결과를 구체적으로 나타낸다. 입력 영상은 3차원 워핑을 통해 새로운 시점에서 가상시점 영상으로 변환될 수 있다. 이때 가상시점 영상은 폐색 영역을 포함할 수 있다.
Fast Marching은 포인트 기반 방식의 복원 방식이고, Exampler는 지역 기반 방식의 복원 방식으로 도 6에서 Fast Marching 및 Exampler를 적용한 경우는 단방향 복원으로 배경 영역만을 이용하여 폐색 영역을 복원한 것이다. Fast Marching 및 Exampler를 적용한 경우 모두 배경 영역만을 이용하므로 복원된 객체가 좌우로 얇아지는 카드보드 현상이 나타난다.
3차원 볼륨 예측을 통해 전경 영역과 배경 영역을 이용하여 복원된 객체는 Fast Marching 및 Exampler를 적용한 경우에 비하여 카드보드 현상이 개선되는 것을 알 수 있다.
도 7은 일 실시예에 따른 볼륨 예측 기반 폐색 영역 양방향 복원 방법을 설명하기 위한 흐름도이다.
710단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상을 입력 받는다. 제1 시점은 기준 시점으로 카메라를 통하여 깊이 영상 및 컬러 영상을 획득하는 시점이다.
720단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 깊이 영상 및 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성한다. 제2 시점은 기준 시점과는 다른 위치의 가상 시점이다.
730단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 제1 시점 깊이 영상의 깊이 정보 및 제1 시점에서 제2 시점으로의 방향 정보에 기초하여 제2 시점에서의 가상시점 영상을 전경 영역 및 배경 영역으로 구별한다.
740단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 가상시점 영상의 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측한다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 상기 전경 영역을 구성하는 3차원 정보 값에 기초하여 볼륨 예측 방식에 따라 예측된 값을 상기 예측된 3차원 볼륨에 적용할 수 있다. 볼륨을 예측하는 방식에는 단일 배후 방식(uniform rear), 반사 방식(reflection), 부피 중심 기반 방식(volumetric center based), 모델 기반 방식(model based)이 포함될 수 있다. 즉, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 상기 전경 영역에 대응하여 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 일정한 깊이 값을 가지도록 상기 볼륨을 예측할 수 있다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 상기 전경 영역과 반사된 모양의 깊이 값을 가지도록 상기 볼륨을 예측할 수 있다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 상기 깊이 전경에 대응하여 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 부피 중심 기반(Volumetric Center-base) 방식에 기초하여 볼륨을 예측할 수 있다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 제1 시점에서 입력된 깊이 영상의 보이지 않는 영역에서 기 설정된 모델의 깊이 값에 기초하여 볼륨을 예측할 수 있다.
750단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 예측된 3차원 볼륨에 기초하여 제1 시점에서의 깊이 영상을 상기 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)한다. 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 예측된 3차원 볼륨을 반영하여 기준시점 영상을 가상시점 영상으로 변환하는 것이다.
760단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 예측된 3차원 볼륨에 기초하여 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)한다. 이때 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 상기 폐색 영역 중에서 상기 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원 하고, 상기 폐색 영역 중에서 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원할 수 있다. 폐색 영역 복원 방식은 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식을 포함할 수 있다. 즉, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 폐색 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역을 복원할 수 있다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 기초하여 상기 폐색 영역을 복원할 수 있다. 또한, 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀을 샘플링하여 상기 폐색 영역을 복원할 수 있다.
도 8은 일 실시예에 따른 양방향 복원 방법의 구체적 예를 설명하기 위한 흐름도이다.
810단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 예측된 3차원 볼륨을 기준으로 폐색 영역 중 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원할 수 있다. 폐색 영역 중 전경 영역으로 예측된 영역은 예측된 3차원 볼륨을 기준으로 결정되며, 전경 영역을 이용하여 복원하는 방식은 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식을 포함할 수 있다.
820단계에서 볼륨 예측 기반 폐색 영역 양방향 복원 장치는 예측된 3차원 볼륨을 기준으로 폐색 영역 중 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원할 수 있다. 폐색 영역 중 배경 영역으로 예측된 영역은 예측된 3차원 볼륨을 기준으로 결정되며, 배경 영역을 이용하여 복원하는 방식은 포인트(point) 기반 방식, 지역(region) 기반 방식, NLM(Non Local Mean) 방식을 포함할 수 있다
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (21)
- 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성하는 단계;
상기 깊이 정보 및 상기 제1 시점에서 상기 제2 시점으로의 방향 정보에 기초하여 상기 가상시점 영상을 전경 영역 및 배경 영역으로 구별하는 단계;
상기 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측하는 단계; 및
상기 예측된 3차원 볼륨에 기초하여 상기 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)하는 단계
를 포함하고,
상기 폐색 영역을 복원하는 단계는
상기 폐색 영역 중에서 상기 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원하고, 상기 폐색 영역 중에서 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원하는 것을 특징으로 하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 볼륨을 예측하는 단계는
상기 전경 영역을 구성하는 3차원 정보 값에 기초하여 볼륨 예측 방식에 따라 예측된 값을 상기 예측된 3차원 볼륨에 적용하는 볼륨 복원 단계
를 더 포함하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 볼륨을 예측하는 단계는
상기 전경 영역에 대응하여 상기 제1 시점에 대한 상기 깊이 영상의 보이지 않는 영역에서 일정한 깊이 값을 가지도록 상기 볼륨을 예측하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 볼륨을 예측하는 단계는
상기 제1 시점에 대한 상기 깊이 영상의 보이지 않는 영역에서 상기 전경 영역과 반사된 모양의 깊이 값을 가지도록 상기 볼륨을 예측하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 볼륨을 예측하는 단계는
깊이 전경에 대응하여 상기 제1 시점에 대한 상기 깊이 영상의 보이지 않는 영역에서 부피 중심 기반(Volumetric Center-base) 방식에 기초하여 상기 볼륨을 예측하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 볼륨을 예측하는 단계는
상기 제1 시점에 대한 상기 깊이 영상의 보이지 않는 영역에서 기 설정된 모델의 깊이 값에 기초하여 상기 볼륨을 예측하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 예측된 3차원 볼륨에 기초하여 상기 제1 시점에서의 깊이 영상을 상기 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)하는 단계
를 더 포함하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 삭제
- 제1항에 있어서,
상기 폐색 영역을 복원하는 단계는
상기 폐색 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 폐색 영역을 복원하는 단계는
상기 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 기초하여 상기 폐색 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1항에 있어서,
상기 폐색 영역을 복원하는 단계는
상기 가상시점 영상을 블록단위로 구분하여 상기 블록단위의 영상을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 방법. - 제1 시점에 대한 깊이 정보를 갖는 깊이 영상 및 상기 제1 시점에 대한 컬러 정보를 갖는 컬러 영상에 기초하여 제2 시점에서의 가상시점 영상을 생성하는 가상시점 영상 생성부;
상기 깊이 정보 및 상기 제1 시점에서 상기 제2 시점으로의 방향 정보에 기초하여 상기 가상시점 영상을 전경 영역 및 배경 영역으로 구별하는 영역 구별부;
상기 전경 영역에 대한 3차원(3D) 볼륨(Volume)을 예측하는 볼륨 예측부; 및
상기 예측된 3차원 볼륨에 기초하여 상기 가상시점 영상에 포함된 폐색 영역을 전경과 배경의 양방향으로 복원(Inpainting)하는 폐색 영역 복원부
를 포함하고,
상기 폐색 영역 복원부는
상기 폐색 영역 중에서 상기 예측된 3차원 볼륨을 기준으로 전경 영역으로 예측된 영역은 상기 전경 영역을 이용하여 복원하고, 상기 폐색 영역 중에서 배경 영역으로 예측된 영역은 상기 배경 영역을 이용하여 복원하는 것을 특징으로 하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 볼륨 예측부는
상기 전경 영역을 구성하는 3차원 정보 값에 기초하여 볼륨 예측 방식에 따라 예측된 값을 상기 예측된 3차원 볼륨에 적용하는 볼륨 복원부
를 더 포함하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 예측된 3차원 볼륨에 기초하여 상기 제1 시점에서의 깊이 영상을 상기 제2 시점에서의 가상시점 영상으로 3차원 워핑(warping)하는 워핑부
를 더 포함하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 삭제
- 제12항에 있어서,
상기 폐색 영역 복원부는
상기 폐색 영역 중 전경 영역으로 예측된 영역과 상기 전경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 폐색 영역 복원부는
상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 폐색 영역 중 배경 영역으로 예측된 영역과 상기 배경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 폐색 영역 복원부는
상기 폐색 영역 중 전경 영역으로 예측된 영역과 상기 전경 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 폐색 영역 복원부는
상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 전경 영역에서 유사도가 인정되는 상기 블록단위의 전경 영역에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 폐색 영역 복원부는
상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 폐색 영역 중 배경 영역으로 예측된 영역의 경계선을 기준으로 주변 픽셀의 3차원 정보를 비교하고, 상기 폐색 영역에서 유사도가 인정되는 픽셀에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치. - 제12항에 있어서,
상기 폐색 영역 복원부는
상기 전경 영역을 블록단위로 구분하여 상기 블록단위의 전경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 블록단위의 영상에 포함된 픽셀에 기초하여 상기 폐색 영역 중 전경 영역으로 예측된 영역을 복원하고,
상기 배경 영역을 블록단위로 구분하여 상기 블록단위의 배경 영역을 비교하고, 상기 폐색 영역에서 유사도가 인정되는 상기 블록단위의 배경 영역에 기초하여 상기 폐색 영역 중 배경 영역으로 예측된 영역을 복원하는 볼륨 예측 기반 폐색 영역 양방향 복원 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100063985A KR101669820B1 (ko) | 2010-07-02 | 2010-07-02 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
| US13/064,785 US9378583B2 (en) | 2010-07-02 | 2011-04-14 | Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100063985A KR101669820B1 (ko) | 2010-07-02 | 2010-07-02 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120003232A KR20120003232A (ko) | 2012-01-10 |
| KR101669820B1 true KR101669820B1 (ko) | 2016-10-27 |
Family
ID=45399353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100063985A KR101669820B1 (ko) | 2010-07-02 | 2010-07-02 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9378583B2 (ko) |
| KR (1) | KR101669820B1 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605992B2 (en) * | 2011-04-08 | 2013-12-10 | Microsoft Corporation | Image completion using scene geometry |
| KR102078335B1 (ko) * | 2013-05-03 | 2020-02-17 | 삼성전자주식회사 | 의료 영상 장치 및 그 제어 방법 |
| CN103325095B (zh) * | 2013-06-24 | 2016-02-03 | 西南交通大学 | 一种结合方向因子的样本块稀疏性图像修复方法 |
| US9042649B2 (en) * | 2013-09-24 | 2015-05-26 | Konica Minolta Laboratory U.S.A., Inc. | Color document image segmentation and binarization using automatic inpainting |
| KR101599786B1 (ko) | 2014-01-24 | 2016-03-09 | 에스케이플래닛 주식회사 | 참조 영역 분할을 이용한 인페인팅 장치 및 방법 |
| CN104299220B (zh) * | 2014-07-10 | 2017-05-31 | 上海大学 | 一种对Kinect深度图像中的空洞进行实时填充的方法 |
| WO2017080420A1 (en) * | 2015-11-09 | 2017-05-18 | Versitech Limited | Auxiliary data for artifacts –aware view synthesis |
| US10970896B2 (en) * | 2016-11-02 | 2021-04-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| JP6482580B2 (ja) * | 2017-02-10 | 2019-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10165259B2 (en) * | 2017-02-15 | 2018-12-25 | Adobe Systems Incorporated | Generating novel views of a three-dimensional object based on a single two-dimensional image |
| KR102083293B1 (ko) * | 2017-11-15 | 2020-04-23 | 전자부품연구원 | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 |
| US10621730B2 (en) * | 2018-05-22 | 2020-04-14 | Sony Corporation | Missing feet recovery of a human object from an image sequence based on ground plane detection |
| GB2576548B (en) * | 2018-08-23 | 2021-11-03 | Sony Interactive Entertainment Inc | Method and system for reconstructing colour and depth information of a scene |
| US11042969B2 (en) * | 2019-05-23 | 2021-06-22 | Adobe Inc. | Automatic synthesis of a content-aware sampling region for a content-aware fill |
| CN110378952A (zh) * | 2019-07-10 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 一种图像处理方法及装置 |
| KR102087076B1 (ko) * | 2019-07-12 | 2020-03-10 | 주식회사 지오멕스소프트 | 무인기 항공 측량시 폐색 영역 발생에 대한 예측 시스템 및 이를 이용한 무인기의 최적 항공 경로 결정 방법 |
| US11526967B2 (en) | 2019-11-25 | 2022-12-13 | Samsung Electronics Co., Ltd. | System and method for precise image inpainting to remove unwanted content from digital images |
| JP7387029B2 (ja) * | 2021-08-05 | 2023-11-27 | グーグル エルエルシー | ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100267259B1 (ko) | 1998-02-20 | 2000-10-16 | 박호군 | 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법 |
| JP2000125196A (ja) | 1998-10-20 | 2000-04-28 | Telecommunication Advancement Organization Of Japan | 入力画像処理方法、入力画像処理装置、及び入力画像処理プログラムを記録した記録媒体 |
| JP2006302195A (ja) | 2005-04-25 | 2006-11-02 | Toyota Motor Corp | 画像処理方法及び画像処理装置 |
| KR100793076B1 (ko) | 2005-12-08 | 2008-01-10 | 한국전자통신연구원 | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 |
| KR100745691B1 (ko) | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
| US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
| JP4828506B2 (ja) | 2007-11-05 | 2011-11-30 | 日本電信電話株式会社 | 仮想視点画像生成装置、プログラムおよび記録媒体 |
| US8351685B2 (en) | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
| KR100902353B1 (ko) | 2007-11-16 | 2009-06-12 | 광주과학기술원 | 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법 |
| KR20100008677A (ko) | 2008-07-16 | 2010-01-26 | 광주과학기술원 | 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법 |
| KR101367284B1 (ko) * | 2008-01-28 | 2014-02-26 | 삼성전자주식회사 | 시점 변화에 따른 영상 복원 방법 및 장치 |
| FR2932911A1 (fr) * | 2008-06-24 | 2009-12-25 | France Telecom | Procede et dispositif de remplissage des zones d'occultation d'une carte de profondeur ou de disparites estimee a partir d'au moins deux images. |
| KR101066542B1 (ko) * | 2008-08-11 | 2011-09-21 | 한국전자통신연구원 | 가상시점 영상 생성방법 및 그 장치 |
| JP2010057105A (ja) | 2008-08-29 | 2010-03-11 | Tokyo Institute Of Technology | オブジェクトの３次元追跡方法およびシステム |
-
2010
- 2010-07-02 KR KR1020100063985A patent/KR101669820B1/ko active IP Right Grant
-
2011
- 2011-04-14 US US13/064,785 patent/US9378583B2/en active Active
Non-Patent Citations (2)
| Title |
|---|
| 논문1* |
| 논문2* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120003232A (ko) | 2012-01-10 |
| US20120001902A1 (en) | 2012-01-05 |
| US9378583B2 (en) | 2016-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101669820B1 (ko) | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 | |
| JP4938861B2 (ja) | 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換 | |
| KR101367284B1 (ko) | 시점 변화에 따른 영상 복원 방법 및 장치 | |
| KR102146398B1 (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
| KR100914845B1 (ko) | 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치 | |
| EP2087466B1 (en) | Generation of depth map for an image | |
| CN110999285B (zh) | 基于纹理图与网格的3d图像信息的处理 | |
| US11589023B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5945255B2 (ja) | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム | |
| CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
| JP5015126B2 (ja) | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 | |
| KR20080108430A (ko) | 2ｄ 영상들로부터 3ｄ 안면 재구성 | |
| JPWO2019198501A1 (ja) | 画像処理装置、画像処理方法、プログラム、および画像伝送システム | |
| JP2013185905A (ja) | 情報処理装置及び方法、並びにプログラム | |
| JP6622575B2 (ja) | 制御装置、制御方法、およびプログラム | |
| JP2018032938A (ja) | 画像処理装置、画像処理の方法およびプログラム | |
| KR102665543B1 (ko) | 다시점 영상으로부터의 깊이지도 생성 장치 및 방법 | |
| CN115564708A (zh) | 多通道高质量深度估计系统 | |
| Bokov et al. | Toward efficient background reconstruction for 3D-view synthesis in dynamic scenes | |
| WO2020118565A1 (en) | Keyframe selection for texture mapping wien generating 3d model | |
| JP7322235B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20240233092A1 (en) | Image processing method and image processing device based on neural network | |
| JP3992607B2 (ja) | 距離画像生成装置および方法並びにそのためのプログラムおよび記録媒体 | |
| JP2019121196A (ja) | 映像生成プログラム、映像生成方法及び映像生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190910 Year of fee payment: 4 |