KR102006064B1 - 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 - Google Patents

추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 Download PDF

Info

Publication number
KR102006064B1
KR102006064B1 KR1020170072427A KR20170072427A KR102006064B1 KR 102006064 B1 KR102006064 B1 KR 102006064B1 KR 1020170072427 A KR1020170072427 A KR 1020170072427A KR 20170072427 A KR20170072427 A KR 20170072427A KR 102006064 B1 KR102006064 B1 KR 102006064B1
Authority
KR
South Korea
Prior art keywords
background
depth
image
virtual viewpoint
depth image
Prior art date
Application number
KR1020170072427A
Other languages
English (en)
Other versions
KR20180134563A (ko
Inventor
홍민철
김범수
응웬띠엔닷
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020170072427A priority Critical patent/KR102006064B1/ko
Priority to US15/710,442 priority patent/US10497166B2/en
Publication of KR20180134563A publication Critical patent/KR20180134563A/ko
Application granted granted Critical
Publication of KR102006064B1 publication Critical patent/KR102006064B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치가 개시된다.
입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정 단계; 상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑 단계; 상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거 단계; 고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정 단계; 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움 단계; 및 깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움 단계;를 포함하는 것이 바람직하다.

Description

추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치{HOLE FILLING METHOD USING EXTRAPOLATED SPATIO-TEMPORAL BACKGROUND INFORMATION, RECORDING MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것이다.
3D 동영상 분야의 산업적, 학문적 발전으로 인해 3D 형태의 콘텐츠를 제공하는 다양한 시스템 및 디스플레이 장비에 관한 연구가 활발하게 이루어지고 있다. 더불어, 사용자가 3D 안경과 같은 추가 장비 없이도 가상현실을 체감할 수 있는 시스템 및 디스플레이 장비에 관한 연구 또한 활발하게 이루어지고 있다.
이를 위해, 보다 자유로운 시점을 제공하기 위해 실제 시점 영상들을 사용하여 가상의 시점을 합성해내는 깊이 영상 기반 렌더링 방식으로 가상 시점 영상을 합성하는 방식이 제안되었다. 깊이 영상 기반 렌더링 방식은 3D 워핑(warping)을 사용하게 되며, 이로 인해, 가상 시점 영상에는 홀(hole) 현상이 발생하게 된다. 이때, 작은 크기의 홀은 깊이 값의 추정 오류에 의해 발생하게 되며, 큰 크기의 홀은 실제 지점 영상에서는 노출된 영역이 가상 시점 영상에서는 가려지는 문제에 의해 발생 된다.
이러한 홀들을 채우는 방식으로는 대표적으로 보간 방식과 인페인팅(inpainting) 방식이 제안되어 있다.
그러나 보간 방식은 배경(background) 영역과 전경(foreground) 영역 사이의 경계를 따라 기하학적 왜곡과 열화(blurring) 현상이 발생하며 홀 영역의 크기가 클수록 열화 현상도 증가하게 된다는 문제점이 있다.
한편, 인페인팅 방식은 영상 내에서 알려지지 않은 영역과 이웃한 알려진 영역이 유사한 통계적 속성 또는 기하학적 구조를 공유한다는 특성을 이용하여 홀 채움에 활용된다.
인페이팅 방식은 배경 영역과 전경 영역을 구분할 수 있는 깊이 정보와 결합하여 효과적으로 홀 채움이 가능함이 입증되었으나, 가려짐 영역에서 배경 영역과 전경 영역에 대한 정보가 제한적인 경우에는 홀 채움 성능에 한계가 존재한다.
그러므로 가상 시점에서 만족스러운 합성 영상을 생성하기 위해서는 가려짐 영역에서 전경과 배경 영역 분리의 정확성이 매우 중요하다.
가려짐 영역에서의 전경과 배경 영역 분리를 위해 시간적(temporal) 정보를 이용하여 홀 채움 과정을 수행하는 다양한 연구가 진행되고 있다.
일 예로, 깊이 영상의 배경 스프라이트(sprite)를 이용하여 전역 임계치 결정하고, 전역 임계치를 이용하여 배경과 전경 영역을 분리하는 방식이 제안되었다.
상기 방식은 분리된 전경 및 배경 영역에 대한 홀 채움을 수동적으로 선택하여 인페인팅을 적용하기 때문에 인페인팅 순서에 따라 홀 채움 성능의 편차가 큰 문제점을 갖고 있다.
다른 예로, GOP(Group of Pictures)에서 연속된 프레임(frame)들 간의 전역 움직임을 추정하고, 갱신된 시간적 정보를 이용하여 인페인팅 순서를 결정하는 방식이 제안되었다.
상기 방식은 디스플레이 순서와 홀 채움 순서가 다르기 때문에 프레임 지연이 발생하고, 프레임 내에 존재하는 각 객체의 움직임이 상이한 경우 심각한 기하학적 왜곡이 발생하게 된다.
또한, 최근에는 배경 및 전역 영역 분리의 정확성을 향상시키기 위해 일관성 있는 시간적 배경 정보를 추정하여 홀 채움 과정에 적용하는 방식들이 제안되었다.
일 예로, 깊이 영상 기반 구조적 유사성(Structural Similarity)을 이용하여 연속된 가상 시점 영상들 간의 배경 영역을 추정하고, 배경 정보를 인페인팅 과정에 활용하는 방식이 제안되었다.
다른 예로, 깊이 영상에서 배경 스프라이트를 추정하기 위해 가우시안 혼성 모델이 제안되었다.
상기 방식들은 이전 영상들에 존재하는 배경 영역들을 추정하는데 한계가 있으며, 이로 인해 인페이팅을 이용하여 만족스러운 가상 시점 영상을 생성하기에 한계가 존재하는 문제점이 있다.
따라서, 배경 정보의 정확도를 향상시키기 위해서는 시공간(spatio-temporal) 정보를 동시에 고려할 필요가 있다.
시간적 배경 정보를 추정하기 위해 텍스처(texture), 깊이 영상 또는 프레임들 간의 유사도 등이 이용된다.
코드북(codebook)은 텍스처 및 깊이 정보에 대응되는 코드워드(codeword)를 검출하여 시간적 유사 정보를 추정하기 위해 활용된다.
그러나 상기 코드북들은 배경 정보에 해당되는 코드워드를 선택하기 위해 고정된 임계치를 사용하기 때문에 짧은 기간 동안 이전 영상에 존재하는 배경 화소들을 효과적으로 추정하기에는 한계가 존재하는 문제점이 있다.
일본등록특허공보 제05879528호(공보일 2016.03.08)
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로, 시간적 배경 정보를 추정하고, 공간적 배경 정보를 추정한 후, 시간적 배경 정보와 공간적 배경 정보를 병합하여 홀 채움 과정을 수행할 수 있도록 하는 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치를 제공함에 그 목적이 있다.
본 발명의 다른 목적은 비겹침 패치 기반의 배경 코드북을 이용하여 시간적 배경 정보를 추정할 수 있도록 하는 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 깊이 영상 기반 적응 필터 방식을 통해 3D 워핑 영상에서 고스트를 제거할 수 있도록 하는 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 깊이 항을 포함하는 우선순위 함수를 이용한 인페인팅을 통해 잔여 홀들을 채울 수 있도록 하는 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치를 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법은, 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정 단계; 상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑 단계; 상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거 단계; 고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정 단계; 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움 단계; 및 깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 시간적 배경 정보 추정 단계는, 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성 단계; 상기 생성된 코드북에서 배경 코드북을 분리하는 단계; 및 상기 분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 고스트 제거 단계는, 상기 가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻는 단계; 상기 이진 영상를 이용하여 경계 마스크를 생성하는 단계; 상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻는 단계; 상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하는 단계; 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계; 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및 상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 공간적 배경 정보 추정 단계는, 고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻는 단계; 상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻는 단계; 상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하는 단계; 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계; 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및 상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 1차 홀 채움 단계는, 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하는 단계; 및 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 2차 홀 채움 단계는, 가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정하는 단계; 각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하는 단계; 및 상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 단계;를 포함하여 이루어지는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 장치는, 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정부; 상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑부; 상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거부; 고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정부; 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움부; 및 깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움부;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 시간적 배경 정보 추정부는, 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성부; 상기 생성된 코드북에서 배경 코드북을 분리하는 배경 코드북 분리부; 및 분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 추정부;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 고스트 제거부는, 가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻고, 상기 이진 영상를 이용하여 경계 마스크를 생성한 다음, 상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻으며, 상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 공간적 배경 정보 추정부는, 고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻고, 상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻은 다음, 상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 1차 홀 채움부는, 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 2차 홀 채움부는, 가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정한 후, 각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하고, 상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 것이 바람직하다.
본 발명의 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치는, 시간적 배경 정보를 추정하고, 공간적 배경 정보를 추정한 후, 시간적 배경 정보와 공간적 배경 정보를 병합하여 홀 채움 과정을 수행함으로써, 배경 영역의 홀들을 효과적으로 채울 수 있게 되고, 깊이 영상 기반 적응 필터 방식을 통해 3D 워핑 영상에서 고스트를 제거할 수 있게 되고, 깊이 항을 포함하는 우선순위 함수를 이용한 인페인팅을 통해 잔여 홀들을 효과적으로 채울 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 장치의 구성을 개략적으로 보인 도면이다.
도 2는 도 1의 시간적 배경 정보 추정부의 구성을 개략적으로 보인 도면이다.
도 3은 도 2의 코드북 생성부에서 비겹침 패치 Pi별로 코드북을 생성하기 위해 사용하는 알고리즘이다.
도 4는 도 2의 추정부에서 시간적 배경 정보를 추정하기 위해 사용하는 알고리즘이다.
도 5는 본 발명에 따라 추정된 시간적 배경 정보의 성능 비교를 나타내는 도면이다.
도 6은 도 1의 고스트 제거부에서 고스트 현상을 제거하는 것을 설명하기 위한 도면이다.
도 7은 도 1의 고스트 제거부에서 각 가려짐 영역을 레이블링하기 위해 사용하는 알고리즘이다.
도 8은 도 1의 고스트 제거부에서 각 가려짐 영역을 레이블링한 결과의 일 예이다.
도 9는 본 발명에 따른 고스트 제거 방식의 성능 비교를 나타내는 도면이다.
도 10은 도 1의 공간적 배경 정보 추정부에서 국부적인 배경 깊이 값을 추정하는 것을 설명하기 위한 도면이다.
도 11은 도 1의 2차 홀 채움부에서 2차 홀 채움을 수행하는 것을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법을 설명하기 위한 처리도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치에 대해서 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 장치의 구성을 개략적으로 보인 도면이다.
도 1에 도시하는 바와 같이, 본 발명의 일 실시예에 따른 홀 채움 장치(100)는, 시간적 배경 정보 추정부(110), 3D 워핑부(120, 130), 고스트 제거부(140, 150), 공간적 배경 정보 추정부(160), 1차 홀 채움부(170), 2차 홀 채움부(180)를 포함하여 이루어질 수 있다.
본 발명의 일 실시예에 따른 홀 채움 장치(100)는 각 프레임별로 컬러 영상(Ct) 및 컬러 영상(Ct)에 대응되는 깊이 맵 정보를 포함하는 깊이 영상(Dt)을 입력 영상으로서 입력받을 수 있다.
연속된 프레임 간에는 시간적 상관관계가 존재하므로 현재 가상 시점의 영상 내의 가려짐 영역 일부가 이전 가상 시점 영상들에서 존재할 수 있다. 홀 영역에는 많은 배경 영역이 존재하므로 이전 프레임들로부터 배경 정보를 추정하고, 추정된 배경 정보를 현재 프레임의 배경 영역 채움에 이용할 필요가 있다.
이에 따라, 시간적 배경 정보 추정부(110)는 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치(Non-overlapped patch)별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정한다.
도 2는 도 1의 시간적 배경 정보 추정부(110)의 구성을 개략적으로 보인 도면으로, 시간적 배경 정보 추정부(110)는 코드북 생성부(113), 배경 코드북 분리부(115), 추정부(117)를 포함하여 이루어질 수 있다.
코드북 생성부(113)는 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성한다.
X×Y 크기의 컬러 및 깊이 영상으로 구성된 프레임을 U×U 크기의 비겹침 패치로 나누었을 때, i번째 비겹침 패치 벡터는
Figure 112017055008550-pat00001
로 표현되고, Pi의 j번째 화소의 RGBD 벡터는
Figure 112017055008550-pat00002
로 표현될 수 있다. 그리고 pij의 휘도는
Figure 112017055008550-pat00003
로 정의될 수 있다.
L개의 코드워드로 구성된 패치 Pi의 코드북을
Figure 112017055008550-pat00004
으로 표현할 수 있다. 각 코드워드는 RGBD 성분을 포함한
Figure 112017055008550-pat00005
와 5개의 요소를 포함한
Figure 112017055008550-pat00006
로 이루어질 수 있다. l번째 코드워드에서
Figure 112017055008550-pat00007
의 j번째 원소
Figure 112017055008550-pat00008
는 컬러 성분 및 깊이의 평균값으로 구성된 RGBD 벡터를 의미하며,
Figure 112017055008550-pat00009
에서
Figure 112017055008550-pat00010
은 최소 휘도 벡터,
Figure 112017055008550-pat00011
는 최대 휘도 벡터,
Figure 112017055008550-pat00012
는 최소 깊이 벡터,
Figure 112017055008550-pat00013
는 최대 깊이 벡터,
Figure 112017055008550-pat00014
는 코드워드의 발생 빈도를 의미한다.
Figure 112017055008550-pat00015
의 각 벡터는 다음과 같이 표현될 수 있다.
Figure 112017055008550-pat00016
Figure 112017055008550-pat00017
Figure 112017055008550-pat00018
Figure 112017055008550-pat00019
이상에서 살펴본 바와 같이 정의된 코드북 구성에 따라 코드북 생성부(113)는 도 3의 알고리즘을 이용하여 각각의 비겹침 패치 Pi에 대한 코드북을 생성할 수 있다.
즉, 코드북 생성부(113)는 각각의 비겹침 패치 Pi에 대해, 컬러 왜곡 함수, 휘도 유사도 함수 및 깊이 유사도 함수를 이용하여 비겹침 패치 Pi의 코드북에서 현재 프레임의 비겹침 패치 Pi와 대응되는 코드워드
Figure 112017055008550-pat00020
를 찾는다.
여기서, 컬러 왜곡 함수는 Pi와
Figure 112017055008550-pat00021
를 구성하는 각 컬러 성분들의 유사도를 비교하기 위해 사용되며, 수학식 1과 같이 정의될 수 있다.
Figure 112017055008550-pat00022
Figure 112017055008550-pat00023
수학식 1에서, 1≤j≤U2이며,
Figure 112017055008550-pat00024
는 l2 놈(norm)을,
Figure 112017055008550-pat00025
는
Figure 112017055008550-pat00026
와
Figure 112017055008550-pat00027
의 내적(inner product)을 나타낸다.
그리고 프레임 간의 휘도 변화를 반영하기 위해 Pi와
Figure 112017055008550-pat00028
간의 휘도 유사도 함수를 수학식 2와 같이 정의할 수 있다.
Figure 112017055008550-pat00029
Figure 112017055008550-pat00030
,
Figure 112017055008550-pat00031
수학식 2에서, 0<α<1이며 β>1인 상수 값을 의미한다. 프레임 간의 휘도 변화는 깊이 영상에도 영향을 미치므로 수학식 3과 같이 깊이 유사도 함수를 정의할 수 있다.
Figure 112017055008550-pat00032
Figure 112017055008550-pat00033
,
Figure 112017055008550-pat00034
전술한 각각의 유사도 함수들을 사용하여 Pi의 j번째 화소에 대응되는 코드워드
Figure 112017055008550-pat00035
의 j번째 성분을 찾는 기준은 수학식 4와 같이 정의될 수 있다.
Figure 112017055008550-pat00036
수학식 4에서 ∧는 부울 방식(Boolean)의 AND 연산을 의미하며
Figure 112017055008550-pat00037
은 양의 임계치를 의미한다.
전술한 바와 같이 각각의 비겹침 패치 Pi에 대해, 컬러 왜곡 함수, 휘도 유사도 함수 및 깊이 유사도 함수를 이용하여 비겹침 패치 Pi의 코드북에서 현재 프레임의 비겹침 패치 Pi와 대응되는 코드워드
Figure 112017055008550-pat00038
를 찾은 결과, 대응되는 코드워드가 없는 경우에는, 현재 프레임의 비겹침 패치 Pi의 코드워드를 비겹침 패치 Pi의 코드북에 추가하고, 대응되는 코드워드가 있는 경우에는 대응되는 코드워드의 발생 빈도를 1증가시킨다.
도 3의 알고리즘 Step3에서, ←는 큐(queue)의 끝에 한 개의 코드워드를 추가하기 위해 사용되는 연산자를 의미한다. 그리고
Figure 112017055008550-pat00039
와
Figure 112017055008550-pat00040
는 벡터 a와 b의 원소 단위에서의 최소 및 최대 연산자를 의미한다. 예를 들어, U2크기의 벡터 a와 b의
Figure 112017055008550-pat00041
는 수학식 5와 같이 정의될 수 있다.
Figure 112017055008550-pat00042
이상에서 살펴본 바와 같이, 도 3의 알고리즘을 통해 코드북 생성부(113)가 현재 프레임의 각 패치에 대한 코드북을 생성하면, 배경 코드북 분리부(115)는 배경 영역의 깊이 값이 전경 영역의 깊이 값보다 작은 값을 갖는 특성을 이용하여 각 패치의 코드북을 구성하는 코드워드의 평균 깊이 값에 k-평균 군집(k-means clustering) 방식(k=2)을 적용하여 다음과 같이 배경 코드북을 분리할 수 있다. 패치 Pi의 코드북
Figure 112017055008550-pat00043
의 l번째 코드워드의 평균 깊이 값은 수학식 6과 같이 결정될 수 있다.
Figure 112017055008550-pat00044
군집화 과정을 통해 분리된 두 개의 코드북
Figure 112017055008550-pat00045
과
Figure 112017055008550-pat00046
에 대해 배경 코드북은 수학식 7과 같이 결정될 수 있다.
Figure 112017055008550-pat00047
수학식 4에서 임계치
Figure 112017055008550-pat00048
을 작게 설정할수록
Figure 112017055008550-pat00049
의 코드워드 검색 조건이 엄격하게 되어, 휘도 성분에 미세한 변화가 있는 패치는 전경 패치로 결정될 수 있다. 또한, 이전 프레임들에서 단기간 존재하는 정적 패치들이 배경 코드북에서 존재하지 않는 경우가 발생할 수 있다. 그러므로 완화된 임계치를 적용하여 패치가 배경 영역의 후보가 될 수 있는지 재검색할 필요가 있으며, 이전 프레임의 단기간에 존재하는 정적 전경 영역을 결정할 필요가 있다.
이에 따라, 배경 코드북 분리부(115)를 통해 배경 코드북이 결정되면, 추정부(117)는 도 4의 알고리즘을 이용하여 배경 코드북에서 현재 프레임의 시간적 배경 정보를 추정한다.
즉, 추정부(117)는 각각의 비겹침 패치 Pi에 대해, 배경 코드북 분리부(115)에서 분리된 비겹침 패치 Pi의 배경 코드북 내에서 현재 프레임의 비겹침 패치 Pi와 대응되는 코드워드를 찾는다.
그 결과, 비겹침 패치 Pi의 배경 코드북에 현재 프레임의 비겹침 패치 Pi에 대응되는 코드워드가 있는 경우에는, 비겹침 패치 Pi를 배경 패치로 간주하여 현재 프레임 비겹침 패치 Pi의 컬러 영상 및 깊이 영상을 현재 프레임 비겹침 패치 Pi의 시간적 배경 정보로 결정한다.
그리고 대응되는 코드워드가 없는 경우에는, 비겹침 패치 Pi의 이전 프레임의 시간적 배경 깊이 정보와의 유사도를 계산하여, 유사한 경우 즉,
Figure 112017055008550-pat00050
=1인 경우에는 이전 프레임의 배경 정보에 해당되는 것으로 간주하여 비겹침 패치 Pi의 현재 프레임의 시간적 배경 정보를 이전 프레임의 시간적 배경 정보로 대체하고, 유사하지 않은 경우
Figure 112017055008550-pat00051
≠1인 경우에는 비겹침 패치 Pi를 전경 패치로 간주하여 비겹침 패치 Pi에 대응되는 시간적 배경 정보를 0벡터로 설정한다.
도 5는 본 발명에 따라 추정된 시간적 배경 정보의 성능 비교를 나타내는 도면으로, 기존 코드북 방식은 도 5(a)에 나타난 바와 같이 이전 프레임에서 단기간 동안 존재하는 정적 전경 영역을 코드북에 수용하지 못함으로 인해 배경 정보 추정에 한계가 존재한다. 그러나 본 발명에 따라 추정된 시간적 배경 정보는 도 5(b)의 결과와 같이 배경 영역 및 정적 전경 영역을 배경 코드북에 반영함으로써 효과적으로 시간적 배경 정보를 추정할 수 있음을 알 수 있다. 도 5(b)에서 검은색으로 표현된 부분은 시간적 전경 영역으로 판별된 화소들을 나타낸다. 이러한 결과를 통해 텍스처-깊이에 적응적인 패치 기반 배경 코드북 방식을 이용하여 배경 및 정적 전경 정보를 효과적인 수집 할 수 있음을 확인할 수 있다.
한편, 3D 워핑부(120)는 홀 채움 장치(100)가 입력 영상으로서 입력받은 컬러 영상(Ct) 및 깊이 영상(Dt)을 3D 워핑(warping)하여 가상 시점의 컬러 영상 및 깊이 영상을 획득한다.
3D 워핑부(130)는 시간적 배경 정보 추정부(110)에서 추정된 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득한다.
고스트 제거부(140)는 3D 워핑부(120)로부터 인가받은 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 고스트 제거부(150)는 3D 워핑부(130)로부터 인가받은 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거한다.
구체적으로, 깊이 영상은 컬러 영상보다 상대적으로 저해상도인 관계로 3D 워핑 영상에서 깊이 영상과 컬러 영상의 화소들 간에 불일치가 발생할 수 있으며, 이로 인해 전경 영역의 화소들이 배경 영역에서 나타날 수 있다. 이와 같은 고스트 현상은 시각적으로 불편함을 초래하며, 합성된 가상 시점 영상들의 시간적 일관성을 유지하지 못하는 원인이 된다. 따라서, 본 발명에서는 전경 화소들의 기하학적 구조를 유지하면서 배경 영역에 존재하는 고스트 현상만을 제거할 수 있도록 한다.
우선, 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 과정에 대해 설명한다.
고스트 제거부(140)는 가려짐 영역의 배경 및 전경 경계를 분리하기 위해 가상 시점의 컬러 영상 또는 깊이 영상에 대해 수학식 8과 같이 이진 영상을 정의할 수 있다.
Figure 112017055008550-pat00052
수학식 8에서
Figure 112017055008550-pat00053
은 2차원 영상 획득 시스템에서 화소의 위치를 나타낸다.
도 6의 (a)는 가상 시점의 컬러 영상의 일 예로, 도 6의 (b)는 (a)의 이진 영상을 나타내며, 이진 영상에 2차원 라플라시안(Laplacian) 연산자를 적용하여 도 6의 (c)와 같이 경계 마스크(BM)를 생성할 수 있다.
고스트 제거부(140)는 경계 마스크에 도 7의 알고리즘에 기술된 플러드 필(flood-fill) 방식을 적용하여 각 가려짐 경계 영역을 레이블링(labeling)하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보는 수학식 9와 같이 결정될 수 있다.
Figure 112017055008550-pat00054
경계 화소들의 위치 정보를 가상 시점의 깊이 영상에 적용하여 다음과 같이 전경 및 배경 경계 화소들로 분리하게 된다.
우선, 도 8의 (a)와 같이 레이블링된(노란색으로 표기) 가려짐 경계 영역을 포함한 최소 사각 영역(빨간색으로 표기)을 정의한다. 그리고 도 8의 (b)에 나타낸 바와 같이 i번째 레이블링 영역
Figure 112017055008550-pat00055
를 포함하는 M×N 크기의 사각영역(Ri)을 비겹침 자녀 사각 영역들(Child Rectangle)로 수학식 10과 같이 분리한다.
Figure 112017055008550-pat00056
수학식 10에서 [N/Z]는 N/Z보다 크거나 같은 가장 작은 정수 값을 의미하며, M×Z 크기의 CRij는 Ri의 j번째 자녀 사각 영역을 나타낸다. 각 자녀 사각 영역에 k-평균 군집 방식(k=2)을 적용하여 자녀 사각 영역 내의 깊이 정보를 수학식 11과 같이 두 개의 군집 영역으로 분리할 수 있다.
Figure 112017055008550-pat00057
Figure 112017055008550-pat00058
수학식 11에서 CRij,low와 CRij,hi는 각각 CRij의 낮은 깊이 군집(low-depth cluster)과 높은 깊이 군집(high-depth cluster)을 나타낸다. 전경 영역 및 배경 영역의 분리를 위한 임계치는 도 8의 (c)와 같이 높은 깊이 군집의 최소 깊이 값으로 설정될 수 있다.
이러한 높은 깊이 군집의 최소 깊이 값은 수학식 12와 같이 정의될 수 있으며, 이는 CRij 내의 배경 경계 영역에서 고스트 현상을 제거하기 위한 임계치로 사용될 수 있다.
Figure 112017055008550-pat00059
Figure 112017055008550-pat00060
는
Figure 112017055008550-pat00061
내의 배경 경계 영역에서 고스트 현상을 제거하기 위한 임계치로 사용되며, 고스트 현상을 제거한 가상 시점의 컬러 및 깊이 영상은 수학식 13과 같이 결정될 수 있다.
Figure 112017055008550-pat00062
Figure 112017055008550-pat00063
수학식 13에서
Figure 112017055008550-pat00064
은 2차원 화소의 위치를 나타내며, 컬러 영상과 깊이 영상 간의 일관성을 유지하기 위해 동일한 기준을 적용한다.
도 9는 본 발명에 따른 고스트 제거 방식의 성능 비교를 나타내는 도면으로, 도 9의 (a)는 기존의 팽창(dilation) 방식을 이용한 합성 영상이고, (b)는 본 발명의 고스트 제거 방식을 이용한 합성 영상이며, (c)는 본 발명의 고스트 제거 방식을 이용한 고스트 현상 제거 전후 비교 도면으로, (c)에서 녹색은 제거된 배경 화소이고, 청색은 보존된 전경 화소이다.
기존의 팽창 방식은 가려짐 영역에서 배경 및 전경의 화소들을 동시에 제거하므로 객체 경계면 성분의 손실이 발생할 수 있다. 반면, 본 발명에 따른 고스트 제거 방식은 객체 경계를 유지하면서 배경 영역의 고스트 현상을 효과적으로 제거하였음을 확인할 수 있다.
이상에서 살펴본 봐와 같이 고스트 제거부(140)는 일련의 과정을 통해 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거할 수 있게 된다.
가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거부(150)의 동작은 고스트 제거부(140)과 동일하므로, 이에 대한 자세한 설명은 생략하기로 한다.
한편, 공간적 배경 정보 추정부(160)는 고스트 제거부(140)에서 고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정한다.
구체적으로, 고스트 현상을 제거한 가상 시점 깊이 영상(
Figure 112017055008550-pat00065
)의 각 가려짐 영역으로부터 공간적 배경 영역들을 구분해 내기 위해 수학식 14와 같이 이진 마스크를 정의한다.
Figure 112017055008550-pat00066
이진 마스크 BMG에 도 7의 알고리즘을 적용하여 분할 및 레이블링된 각 가려짐 영역에 대한 위치 정보는 수학식 15와 같이 결정될 수 있다.
Figure 112017055008550-pat00067
도 7의 알고리즘을 통해 도 10의 (a)와 같이 각 가려짐 영역에 대한 레이블링 및 위치 정보를 결정하고, 레이블링된 각 가려짐 영역을 포함한 최소 크기의 사각 영역(빨간색으로 표기)들을 정의한다.
그리고 국부적인 배경 깊이 값을 추정하기 위해 각각의 최소 사각 영역을 자녀 사각 영역으로 세분화한다. i번째로 레이블링된 사각 영역(Ri)의 j번째 자녀 사각 영역인 CRij에 k-평균 군집 방식을 적용하여 해당 자녀 사각 영역 내의 깊이 정보를 도 10의 (b)와 같이 낮은 깊이 군집(CRij,low) 및 높은 깊이 군집(CRij,hi) 영역으로 분리할 수 있다. k-평균 군집 방식에서 자녀 사각 영역 내의 국부 정보를 활용하기 위해 자녀 사각 영역 내의 홀이 아닌 화소들의 깊이 정보를 적용하는 것이 바람직하다.
전술한 바와 같이 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값은 가려짐 영역 내의 배경 영역을 결정하기 위한 제약 조건으로 활용될 수 있으며, 이는 수학식 16과 같이 결정될 수 있다.
Figure 112017055008550-pat00068
Figure 112017055008550-pat00069
수학식 16의 제약 조건들에 의해 추정되는 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값은 수학식 17과 같이 결정될 수 있다.
Figure 112017055008550-pat00070
Figure 112017055008550-pat00071
수학식 17에서
Figure 112017055008550-pat00072
은 2차원 화소의 위치를 나타낸다.
도 10의 (c) 및 (d)는 깊이 정보의 국부 통계 특성을 이용한 공간적 배경 깊이 정보의 하한 및 상한 값을 나타내는 결과 영상이다.
1차 홀 채움부(170)는 고스트 제거부(150)로부터 인가받은 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00073
)과 공간적 배경 정보 추정부(160)에서 인가받은 가상 시점의 공간적 배경 깊이 영상들(
Figure 112017055008550-pat00074
및
Figure 112017055008550-pat00075
) 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행한다.
여기서, 가상 시점의 시공간 배경 깊이 영상은 수학식 18과 같이 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00076
)과 가상 시점의 공간적 배경 깊이 영상들(
Figure 112017055008550-pat00077
및
Figure 112017055008550-pat00078
) 간의 유사도를 비교하여, 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00079
)이 가상 시점의 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00080
)을 이용하여 가상 시점의 시공간 배경 깊이 영상(
Figure 112017055008550-pat00081
)을 갱신하고, 그렇지 않으면 고스트가 제거된 가상 시점의 깊이 영상(
Figure 112017055008550-pat00082
)을 이용하여 가상 시점의 시공간 배경 깊이 영상(
Figure 112017055008550-pat00083
)을 갱신하는 과정을 통해 획득될 수 있다.
Figure 112017055008550-pat00084
수학식 18에서 A=
Figure 112017055008550-pat00085
, B=
Figure 112017055008550-pat00086
로 정의될 수 있다.
그리고 가상 시점의 시공간 배경 컬러 영상은 수학식 19와 같이 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00087
)과 가상 시점의 공간적 배경 깊이 영상들(
Figure 112017055008550-pat00088
및
Figure 112017055008550-pat00089
) 간의 유사도를 비교하여, 가상 시점의 시간적 배경 깊이 영상(
Figure 112017055008550-pat00090
)이 가상 시점의 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않으면 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는 과정을 통해 획득될 수 있다.
Figure 112017055008550-pat00091
마지막으로, 2차 홀 채움부(180)는 깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행한다.
구체적으로, 2차 홀 채움부(180)는 홀 채움 순위를 결정하기 위해 도 11의 (a)에 도시하는 바와 같이 가상 시점 시공간 컬러 영상(
Figure 112017055008550-pat00092
)의 각 가려짐 경계 영역 화소를 중심으로 M×N 크기의 패치(
Figure 112017055008550-pat00093
)를 설정하여 수학식 20과 같이 우선순위를 결정한다.
Figure 112017055008550-pat00094
수학식 20에서
Figure 112017055008550-pat00095
는 가려짐 경계 영역의 컬러 화소를 의미하며, d는 p에 대응되는
Figure 112017055008550-pat00096
값을 의미한다. 수학식 20의 우선순위 함수에서 C(p)는 신뢰도 항, D(p)는 데이터 항, Z(p)는 깊이 항을 의미한다.
전술한 바와 같이, 본 발명의 실시예에서는 신뢰도 항 및 데이터 항뿐만 아니라 깊이 항을 추가하여 우선순위를 결정한다. 신뢰도 항은 수학식 21과 같이 패치 내의 홀이 아닌 영역의 비율로 정의될 수 있다.
Figure 112017055008550-pat00097
수학식 21에서
Figure 112017055008550-pat00098
와
Figure 112017055008550-pat00099
는
Figure 112017055008550-pat00100
와
Figure 112017055008550-pat00101
의 면적을 나타낸다. 수학식 21에 따르면, 신뢰도 항은 가려짐이 있는 패치 내에서 홀이 아닌 영역의 비율이 높을수록 우선순위가 높아지게 된다.
한편, 데이터 항은 수학식 22와 같이 정의될 수 있다.
Figure 112017055008550-pat00102
수학식 22에서 np는
Figure 112017055008550-pat00103
(고립 영역의 경계연)의 법선 단위 벡터를 의미하고,
Figure 112017055008550-pat00104
는
Figure 112017055008550-pat00105
의 중심과 동일한 등광도선(isophote)을 의미한다. 그러므로
Figure 112017055008550-pat00106
와 법선 벡터 np가 같은 방향일 때 D(p)가 가장 큰 값을 갖게 된다. 수학식 22에서 λ는 정규화 인자(normalization factor)를 의미하며, 전형적으로 한 화소가 n 비트로 표현될 때,
Figure 112017055008550-pat00107
로 설정될 수 있다. 정적 영역 내에 존재하는 가려짐 패치는 일정 검색 영역 내에 유사한 패치가 존재할 가능성이 높으므로 홀 채움을 배경 패치로부터 시작하는 것이 효과적이다. 이와 같은 특성을 우선순위 함수에 반영하기 위해 깊이 항을 수학식 23과 같이 정의할 수 있다.
Figure 112017055008550-pat00108
Figure 112017055008550-pat00109
Figure 112017055008550-pat00110
수학식 23에서
Figure 112017055008550-pat00111
는
Figure 112017055008550-pat00112
에 대응되는 깊이 정보 d를 중심으로 하는 패치를 의미한다.
전술한 바와 같이 신뢰도 항, 데이터 항, 깊이 항을 포함하여 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하면, 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페인팅 과정을 수행하여 잔여 홀들에 대한 홀 채움을 수행한다.
예를 들어,
Figure 112017055008550-pat00113
가 가장 높은 우선순위를 갖는 경우, 도 11의 (a)와 같이 p를 중심으로 하는 패치
Figure 112017055008550-pat00114
를 비홀 영역(
Figure 112017055008550-pat00115
)과 홀 영역(
Figure 112017055008550-pat00116
)으로 분리하고, 검색 영역(Sp) 내의 화소 q'를 중심으로 하는 패치
Figure 112017055008550-pat00117
를
Figure 112017055008550-pat00118
및
Figure 112017055008550-pat00119
에 대응되도록
Figure 112017055008550-pat00120
및
Figure 112017055008550-pat00121
를 설정한다. 검색 영역 내에서
Figure 112017055008550-pat00122
와 가장 유사한 영역을 수학식 24와 같이 결정할 수 있다.
Figure 112017055008550-pat00123
수학식 24의 결과에 따라 도 12의 (b)와 같이
Figure 112017055008550-pat00124
의 홀 영역
Figure 112017055008550-pat00125
를
Figure 112017055008550-pat00126
에 대응되는 홀 영역
Figure 112017055008550-pat00127
로 채울 수 있게 된다.
이와 같이, 우선순위 결정과 인페인팅 과정을 이용하여 모든 잔여 홀들의 채움 과정을 순차적으로 수행할 수 있게 된다.
이하에서는 본 발명의 일 실시예에 따른 홀 채움 방법에 대해 설명하기로 한다.
도 12는 본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법을 설명하기 위한 처리도이다.
본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법은 도 1에 도시된 홀 채움 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 홀 채움 장치(100)와 동일한 구성요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법은 우선, 홀 채움 장치(100)가 각 프레임에 대한 컬러 영상 및 그에 대응하는 깊이 맵 정보를 포함하는 깊이 영상을 입력 영상으로서 입력받는다(S10).
이와 같이 홀 채움 장치(100)에 입력된 영상은 시간적 배경 정보 추정부(110)와 3D 워핑부(120)에 각각 인가된다.
시간적 배경 정보 추정부(110)는 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정한다(S20).
상기한 단계 S20에서 시간적 배경 정보 추정부(110)는 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성한 후, 생성된 코드북에서 배경 코드북을 분리하고, 분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정할 수 있다.
여기서, 코드북 생성은 시간적 배경 정보 추정부(110)가 비겹침 패치 Pi별로 대해, 비겹침 패치 Pi의 코드북에서 현재 프레임의 비겹침 패치 Pi에 대응되는 코드워드를 찾아, 대응되는 코드워드가 없는 경우에는, 현재 프레임의 비겹침 패치 Pi의 코드워드를 비겹침 패치 Pi의 코드북에 추가하고, 대응되는 코드워드가 있는 경우에는, 대응되는 코드워드의 발생 빈도를 1증가시키는 과정을 통해 이루어질 수 있다.
그리고 시간적 배경 정보 추정은 시간적 배경 정보 추정부(110)가 각각의 비겹침 패치 Pi에 대해, 비겹침 패치 Pi의 배경 코드북 내에서 현재 프레임의 비겹침 패치 Pi와 대응되는 코드워드를 찾아, 대응되는 코드워드가 있는 경우에는, 현재 프레임 비겹침 패치 Pi의 컬러 영상 및 깊이 영상을 현재 프레임 비겹침 패치 Pi의 시간적 배경 정보로 결정하고, 대응되는 코드워드가 없는 경우에는, 비겹침 패치 Pi의 이전 프레임의 시간적 배경 깊이 정보와의 유사도를 계산하여, 유사한 경우에는 비겹침 패치 Pi의 현재 프레임의 시간적 배경 정보를 이전 프레임의 시간적 배경 정보로 대체하는 과정을 통해 이루어질 수 있다.
한편, 상기한 단계 S20에서 시간적 배경 컬러 영상 및 깊이 영상을 추정한 시간적 배경 정보 추정부(110)는 추정한 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑부(130)로 인가한다.
상기한 단계 S10을 통해 컬러 영상 및 깊이 영상을 입력받은 3D 워핑부(120)는 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 생성하고, 상기한 단계 S20을 통해 시간적 배경 컬러 영상 및 깊이 영상을 입력받은 3D 워핑부(130)는 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 생성한다(S30).
이후, 고스트 제거부(140)는 3D 워핑부(120)에서 인가받은 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 고스트 제거부(150)는 3D 워핑부(130)에서 인가받은 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거한다(S40).
상기한 단계 S40에서 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 과정은 다음과 같다.
우선, 고스트 제거부(140)는 가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻고, 이진 영상를 이용하여 경계 마스크를 생성한 후, 생성된 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻는다.
그리고 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하고, 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거한다.
상기한 단계 S40에서 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 과정은 다음과 같다.
우선, 고스트 제거부(150)는 가상 시점의 시간적 배경 컬러 영상 또는 깊이 영상에서 이진 영상을 얻고, 이진 영상을 이용하여 경계 마스크를 생성한 후, 생성된 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻는다.
그리고 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하고, 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거한다.
상기한 단계 S40에서 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거한 고스트 제거부(140)는 고스트가 제거된 가상 시점의 깊이 영상을 공간적 배경 정보 추정부(160)로 인가하는 한편, 고스트가 제거된 가상 시점의 컬러 영상을 1차 홀 채움부(170)로 인가한다. 그리고 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거한 고스트 제거부(150)는 고스트가 제거된 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 1차 홀 채움부(170)로 인가한다.
상기한 단계 S40을 통해 고스트가 제거된 가상 시점의 깊이 영상을 인가받은 공간적 배경 정보 추정부(160)는 고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정한다(S50).
상기한 단계 S50에서 공간적 배경 정보 추정부(160)는 고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻은 다음, 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻는다. 그리고 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하고, 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정한다.
이와 같이 추정된 공간적 배경 깊이 영상의 하한 및 상한값은 1차 홀 채움부(170)로 인가된다.
상기한 단계 S50을 통해 공간적 배경 정보 추정부(160)로부터 추정된 공간적 배경 깊이 영상의 하한 및 상한값을 인가받은 1차 홀 채움부(170)는 고스트 제거부(150)로부터 인가받은 가상 시점의 시간적 배경 깊이 영상과 공간적 배경 정보 추정부(160)에서 인가받은 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행한다(S60).
상기한 단계 S60에서 1차 홀 채움부(170)는 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신할 수 있다.
그리고 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 가상 시점의 시간적 배경 깊이 영상이 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신할 수 있다.
이후에는, 2차 홀 채움부(180)가 깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 상기한 단계 S60을 통해 합성된 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상에 남아있는 잔여 홀들에 대한 홀 채움을 수행한다(S70).
상기한 단계 S70에서 2차 홀 채움부(180)는 가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정한 후, 각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하고, 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행할 수 있다.
본 발명의 일 실시예에 따른 추정된 시공간 배경 정보를 이용한 홀 채움 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110. 시간적 배경 정보 추정부, 113. 코드북 생성부,
115. 배경 코드북 분리부, 117. 추정부,
120, 130. 3D 워핑부, 140, 150. 고스트 제거부,
160. 공간적 배경 정보 추정부, 170. 1차 홀 채움부,
180. 2차 홀 채움부

Claims (13)

  1. 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정 단계;
    상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑 단계;
    상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거 단계;
    고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정 단계;
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움 단계; 및
    깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움 단계;를 포함하고,
    상기 고스트 제거 단계는,
    상기 가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻는 단계;
    상기 이진 영상를 이용하여 경계 마스크를 생성하는 단계;
    상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻는 단계;
    상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하는 단계;
    상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계;
    각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및
    상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법.
  2. 제1항에 있어서,
    상기 시간적 배경 정보 추정 단계는,
    입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성 단계;
    상기 생성된 코드북에서 배경 코드북을 분리하는 단계; 및
    상기 분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 공간적 배경 정보 추정 단계는,
    고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻는 단계;
    상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻는 단계;
    상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하는 단계;
    상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화하는 단계;
    각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하는 단계; 및
    상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법.
  5. 제1항에 있어서,
    상기 1차 홀 채움 단계는,
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하는 단계; 및
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법.
  6. 제1항에 있어서,
    상기 2차 홀 채움 단계는,
    가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정하는 단계;
    각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하는 단계; 및
    상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 단계;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 방법.
  7. 제1항, 제2항 및 제4항 내지 제6항 중 어느 하나의 항에 따른 홀 채움 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  8. 입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 배경 코드북을 추출하고, 이를 이용하여 시간적 배경 컬러 영상 및 깊이 영상을 추정하는 시간적 배경 정보 추정부;
    상기 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 컬러 영상 및 깊이 영상을 획득하고, 상기 시간적 배경 컬러 영상 및 깊이 영상을 3D 워핑하여 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상을 획득하는 3D 워핑부;
    상기 가상 시점의 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하고, 상기 가상 시점의 시간적 배경 컬러 영상 및 깊이 영상에서 고스트 현상을 제거하는 고스트 제거부;
    고스트가 제거된 가상 시점 깊이 영상의 각 가려짐 영역으로부터 공간적 배경 정보를 추정하는 공간적 배경 정보 추정부;
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 이용하여 가상 시점의 시공간 배경 컬러 영상 및 깊이 영상을 획득하여 1차 홀 채움을 수행하는 1차 홀 채움부; 및
    깊이 항을 포함하는 우선순위 함수 기반 인페인팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는 2차 홀 채움부;를 포함하고,
    상기 고스트 제거부는,
    가상 시점의 컬러 영상 또는 깊이 영상에서 이진 영상을 얻고, 상기 이진 영상를 이용하여 경계 마스크를 생성한 다음, 상기 경계 마스크를 이용하여 각 가려짐 경계 영역을 레이블링하고, 전경 및 배경 영역의 경계 화소들에 대한 위치 정보를 얻으며, 상기 레이블링된 각 가려짐 경계 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 높은 깊이 군집 영역의 최소 깊이 값을 임계치로 이용하여 각 자녀 사각 영역 내의 배경 경계 영역에서 고스트 현상을 제거하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치.
  9. 제8항에 있어서,
    상기 시간적 배경 정보 추정부는,
    입력 영상의 각 프레임별 컬러 영상 및 깊이 영상을 이용하여 비겹침 패치별로 코드북을 생성하는 코드북 생성부;
    상기 생성된 코드북에서 배경 코드북을 분리하는 배경 코드북 분리부; 및
    분리된 배경 코드북을 이용하여 시간적 배경 정보를 추정하는 추정부;를 포함하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치.
  10. 삭제
  11. 제8항에 있어서,
    상기 공간적 배경 정보 추정부는,
    고스트 현상이 제거된 가상 시점의 깊이 영상에서 이진 마스크를 얻고, 상기 이진 마스크를 이용하여 각 가려짐 영역을 레이블링하고, 각 가려짐 영역에 대한 위치 정보를 얻은 다음, 상기 레이블링된 각 가려짐 영역을 포함하는 사각 영역을 정의하고, 상기 사각 영역을 비겹침 자녀 사각 영역들로 세분화한 후, 각 자녀 사각 영역 내의 깊이 정보를 낮은 깊이 군집 영역과 높은 깊이 군집 영역으로 분리하고, 상기 분리된 낮은 깊이 군집의 깊이 정보의 최대 및 최소값을 이용하여 가상 시점에서의 공간적 배경 깊이 영상의 하한 및 상한값을 추정하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치.
  12. 제8항에 있어서,
    상기 1차 홀 채움부는,
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 상기 가상 시점의 시간적 배경 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 깊이 영상을 이용하여 가상 시점의 시공간 배경 깊이 영상을 갱신하고,
    상기 가상 시점의 시간적 배경 깊이 영상과 가상 시점의 공간적 배경 깊이 영상들 간의 유사도를 비교하여, 상기 가상 시점의 시간적 배경 깊이 영상이 상기 공간적 배경 깊이 영상의 하한 및 상한값 내에 있으면, 가상 시점의 시간적 배경 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하고, 그렇지 않은 경우에는 고스트가 제거된 가상 시점의 컬러 영상을 이용하여 가상 시점의 시공간 배경 컬러 영상을 갱신하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치.
  13. 제8항에 있어서,
    상기 2차 홀 채움부는,
    가상 시점 시공간 컬러 영상의 각 가려짐 경계 영역 화소를 중심으로 비겹침 패치를 설정한 후, 각 비겹침 패치에 대해, 신뢰도 항, 데이터 항, 깊이 항으로 이루어지는 우선순위 함수를 이용하여 우선순위를 결정하고, 상기 결정된 우선순위에 따라 가려짐 경계 영역 화소에 대한 인페이팅을 수행하여 잔여 홀들에 대한 홀 채움을 수행하는, 추정된 시공간 배경 정보를 이용한 홀 채움 장치.
KR1020170072427A 2017-06-09 2017-06-09 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 KR102006064B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170072427A KR102006064B1 (ko) 2017-06-09 2017-06-09 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
US15/710,442 US10497166B2 (en) 2017-06-09 2017-09-20 Home filling method using estimated spatio-temporal background information, and recording medium and apparatus for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170072427A KR102006064B1 (ko) 2017-06-09 2017-06-09 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치

Publications (2)

Publication Number Publication Date
KR20180134563A KR20180134563A (ko) 2018-12-19
KR102006064B1 true KR102006064B1 (ko) 2019-07-31

Family

ID=64563604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170072427A KR102006064B1 (ko) 2017-06-09 2017-06-09 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치

Country Status (2)

Country Link
US (1) US10497166B2 (ko)
KR (1) KR102006064B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063197A1 (ko) * 2022-09-20 2024-03-28 한국전자기술연구원 영상 인페인팅 장치 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US11393113B2 (en) * 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
CN110929469A (zh) * 2019-11-19 2020-03-27 南京九芯电子科技有限公司 一种填充过孔阵列的方法
KR102433632B1 (ko) 2020-10-29 2022-08-18 연세대학교 산학협력단 라이다 깊이 이미지 채움 장치 및 방법
US11538140B2 (en) * 2020-11-13 2022-12-27 Adobe Inc. Image inpainting based on multiple image transformations
CN114520866B (zh) * 2020-11-19 2024-06-07 深圳市万普拉斯科技有限公司 图像散景处理方法、电子设备和存储介质
CN112581567B (zh) * 2020-12-25 2024-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112929628B (zh) * 2021-02-08 2023-11-21 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及存储介质
CN115908162B (zh) * 2022-10-28 2023-07-04 中山职业技术学院 一种基于背景纹理识别的虚拟视点生成方法及系统
WO2024096453A1 (ko) * 2022-11-01 2024-05-10 삼성전자 주식회사 비디오 인페인팅을 수행하는 전자 장치 및 그 동작 방법
CN116109828B (zh) * 2023-03-23 2023-08-18 荣耀终端有限公司 图像处理方法和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985952B (zh) 2011-05-12 2016-06-22 松下知识产权经营株式会社 图像生成装置及图像生成方法
KR101855980B1 (ko) 2011-12-14 2018-05-10 연세대학교 산학협력단 홀 채우기 방법 및 장치
WO2017080420A1 (en) * 2015-11-09 2017-05-18 Versitech Limited Auxiliary data for artifacts –aware view synthesis

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Huu Noi Doan, "A Spatial-Temporal Hole Filling Approach with Background Modeling and Texture Synthesis for 3D Video", 숭실대학교 학위논문 2015.*
Martin Köppel, "Consistent spatio-temporal filling of disocclusions in the multiview-video-plus-depth format", IEEE 14th International Workshop on Multimedia Signal Processing, 2012.*
Sunghwan Choi, "Space-Time Hole Filling With Random Walks in View Extrapolation for 3D Video", IEEE TRANSACTIONS ON IMAGE PROCESSING, 2013.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063197A1 (ko) * 2022-09-20 2024-03-28 한국전자기술연구원 영상 인페인팅 장치 및 방법

Also Published As

Publication number Publication date
KR20180134563A (ko) 2018-12-19
US10497166B2 (en) 2019-12-03
US20180357813A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
KR102006064B1 (ko) 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
USRE42790E1 (en) Occlusion/disocclusion detection using K-means clustering near object boundary with comparison of average motion of clusters to object and background motions
US11017586B2 (en) 3D motion effect from a 2D image
US8891009B2 (en) System and method for retargeting video sequences
US7760911B2 (en) Method and system for segment-based optical flow estimation
EP1519589A2 (en) Object tracking in vector images
KR20130073459A (ko) 멀티-뷰 생성 방법 및 장치
KR102380862B1 (ko) 영상 처리 방법 및 장치
Choi et al. Space-time hole filling with random walks in view extrapolation for 3D video
US20230051960A1 (en) Coding scheme for video data using down-sampling/up-sampling and non-linear filter for depth map
EP2979449B1 (en) Enhancing motion pictures with accurate motion information
EP2680226B1 (en) Temporally consistent superpixels
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
EP2061009A1 (en) Iterative motion segmentation
EP3847616A1 (en) Model-free physics-based reconstruction of images acquired in scattering media
KR101781942B1 (ko) 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
Cheng et al. Semantic single-image dehazing
Nguyen et al. New hole-filling method using extrapolated spatio-temporal background information for a synthesized free-view
Ghanbari et al. Contour-based video inpainting
RU2669470C1 (ru) Устройство для удаления логотипов и субтитров с видеопоследовательностей
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
KR101841966B1 (ko) 영상에서 이동 객체 그림자 제거 방법 및 장치
KR101785203B1 (ko) 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템
CN110602476A (zh) 一种基于深度信息辅助的高斯混合模型的空洞填补方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant