KR20130073459A - 멀티-뷰 생성 방법 및 장치 - Google Patents

멀티-뷰 생성 방법 및 장치 Download PDF

Info

Publication number
KR20130073459A
KR20130073459A KR1020110141308A KR20110141308A KR20130073459A KR 20130073459 A KR20130073459 A KR 20130073459A KR 1020110141308 A KR1020110141308 A KR 1020110141308A KR 20110141308 A KR20110141308 A KR 20110141308A KR 20130073459 A KR20130073459 A KR 20130073459A
Authority
KR
South Korea
Prior art keywords
layer
view
background
hole
reference view
Prior art date
Application number
KR1020110141308A
Other languages
English (en)
Inventor
조양호
박두식
이호영
황규영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110141308A priority Critical patent/KR20130073459A/ko
Priority to EP12198926.3A priority patent/EP2608148B1/en
Priority to US13/723,509 priority patent/US20130162787A1/en
Priority to JP2012281676A priority patent/JP5964741B2/ja
Publication of KR20130073459A publication Critical patent/KR20130073459A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 처리 방법 및 장치가 개시된다. 영상 처리 장치는 기준 시점 레이어를 생성하고, 서로 상이한 시점을 갖는 하나 이상의 출력 뷰들 내의 홀들을 복원하기 위해 기준 시점 레이어를 사용한다. 출력 뷰들 내의 홀들은 기준 시점 레이어에 의해 일괄적으로 복원된다. 영상 처리 장치는 기준 시점 레이어를 생성함에 있어서 누적된 배경 레이어를 사용하는 프레임-간 인페인팅 및 홀을 포함하는 초기 기준 시점 레이어를 사용하는 프레임-내 인페인팅을 적응적으로 적용할 수 있다. 누적된 배경 레이어는 이전 프레임에서 생성된 기준 시점 레이어의 배경에 대한 정보를 포함한다.

Description

멀티-뷰 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING MULTI-VIEW}
멀티-뷰를 생성하기 위한 방법 및 장치에 관한 것이다.
시공간적인 일관성을 향상시킬 수 있는 영상 처리 방법 및 장치가 개시된다.
멀티-뷰(multi-view) 영상(image) 장치는 상이한 시점에서의 다수의 동영상들을 출력한다. 모든 멀티-뷰 동영상들에 대한 정보가 실시간으로 영상 장치에 전송 및 저장되기 위해서는, 고 사양의 저장 장치(storage), 고 사양의 전송 선로 및 높은 대역폭(bandwidth)이 요구된다. 즉, 멀티-뷰 구조의 영상들을 생성하고, 생성된 영상을 지상파 방송 또는 유선 네트워크를 통해 각 가정의 텔레비전(television)으로 전송하는 것은 높은 비용을 요구한다.
따라서, 소수(예컨대 1 내지 3개)의 입력 뷰들 만을 전달받은 영상 처리 장치(예컨대, 텔레비전)가 상기의 입력 뷰들을 사용하여 멀티-뷰 영상들을 생성할 필요가 있다.
제한된 개수의 입력 뷰들를 사용하여 멀티-뷰 영상들을 생성할 경우, 입력 뷰에서는 전경(foreground) 객체(object)에 의해 가려진 배경(background)의 패색(occlusion) 영역(region)이, 멀티-뷰 영상 내에서 홀(hole) 영역으로 나타날 수 있다.
멀티-뷰 영상의 홀은 표시(display)되기 이전에 복원되어야 한다.
일 실시예는 기준 시점 레이어를 생성하고, 기준 시점 레이어를 사용하여 출력 뷰 내의 홀을 복원함으로써 서로 상이한 시점을 갖는 출력 뷰들 간의 공간적인 일관성을 향상시키는 장치 및 방법을 제공할 수 있다.
일 실시예는 이전 프레임에서 생성된 기준 시점 레이어의 배경에 대한 정보를 누적하고, 누적된 배경에 대한 정보를 출력 뷰 내의 홀을 복원하기 위해 사용함으로써 인접한 프레임들의 출력 뷰들 간의 시간적인 일관성을 향상시키는 장치 및 방법을 제공할 수 있다.
일 측면에 있어서, 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 기준 시점에 대한 기준 시점 뷰를 생성하는 단계, 적어도 하나의 시점에서 홀로 나타날 수 있는 상기 기준 시점 뷰 내의 영역을 홀로 치환함으로써 상기 현재 프레임의 초기 기준 시점 레이어를 생성하는 단계, 상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원함으로써 상기 현재 프레임의 기준 시점 레이어를 생성하는 단계, 상기 하나 이상의 입력 뷰들을 사용하여 출력 시점에서의 영상을 생성하는 단계 및 상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 출력 시점의 영상 내의 홀을 복원하는 단계를 포함하는, 영상 처리 방법이 제공된다.
상기 기준 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점일 수 있다.
상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는, 누적된 배경 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-간 인페인팅 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-내 인페인팅 중 하나 이상에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 단계 및 상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 누적된 배경 레이어를 갱신하는 단계를 포함할 수 있다.
상기 누적된 배경 레이어는 상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어의 배경을 누적함으로써 생성될 수 있다.
제3항에 있어서,
상기 초기 기준 시점 레이어 내의 홀은 상기 초기 기준 시점 레이어의 배경의 구조체부터 우선적으로 복원하는 최적 패치 탐색 기반 인페인팅에 의해 복원될 수 있다.
상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는, 제1 가중치 및 제2 가중치를 결정하는 단계를 포함할 수 있다.
상기 초기 기준 시점 레이어 내의 홀은 제1 결과에 상기 제1 가중치를 적용한 결과 및 제2 결과에 상기 제2 가중치를 적용한 결과를 합함으로써 복원될 수 있다.
상기 제1 결과는 상기 프레임-간 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과일 수 있다.
상기 제2 결과는 상기 프레임-내 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과일 수 있다.
제1 배경 비율은 제1 탐색 영역 내의 배경의 비율일 수 있고, 제2 배경 비율은 제2 탐색 영역 내의 배경의 비율일 수 있다.
상기 제1 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-간 인페인팅이 사용될 때 상기 누적된 배경 레이어 내의 소스 패치가 탐색되는 영역일 수 있고, 상기 제2 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-내 인페인팅이 사용될 때 상기 기준 시점 뷰 내의 소스 패치가 탐색되는 영역일 수 있다.
상기 제1 배경 비율이 상기 제2 배경 비율보다 큰 경우, 상기 초기 기준 시점 레이어 내의 홀은 상기 프레임-간 인페인팅에 의해 복원될 수 있고, 상기 제1 배경 비율이 상기 제2 배경 비율보다 작은 경우, 상기 초기 기준 시점 레이어 내에 홀은 상기 프레임-내 인페인팅에 의해 복원될 수 있다.
상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는, 상기 현재 프레임의 기준 시점 뷰의 움직임을 추정하는 단계를 더 포함할 수 있다.
상기 기준 시점 뷰의 움직임을 추정하는 단계는, 상기 기준 시점 뷰 내의 블록들 각각의 움직임을 추정하는 단계 및 상기 블록들 중 배경에 대응하는 블록의 추정된 움직임을 상기 블록들 중 전경에 대응하는 블록의 움직임으로서 확산하는 단계를 더 포함할 수 있다.
상기 누적된 배경 레이어를 갱신하는 단계는, 상기 기준 시점 뷰의 추정된 움직임을 반영하여 상기 기준 시점 레이어의 배경을 상기 누적된 배경 레이어에 누적하는 단계를 포함할 수 있다.
상기 누적된 배경 레이어를 갱신하는 단계는, 상기 현재 프레임에서 장면 전환이 발생한 경우 상기 누적된 배경 레이어를 초기화하는 단계를 더 포함할 수 있다.
다른 일 측에 따르면, 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 기준 시점에 대한 기준 시점 뷰를 생성하는 기준 시점 뷰 생성부, 적어도 하나의 시점에서 홀로 나타날 수 있는 상기 기준 시점 뷰 내의 영역을 홀로 치환함으로써 상기 현재 프레임의 초기 기준 시점 레이어를 생성하는 초기 기준 시점 레이어 생성부, 상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원함으로써 상기 현재 프레임의 기준 시점 레이어를 생성하는 기준 시점 레이어 생성부, 상기 하나 이상의 입력 뷰들을 사용하여 출력 시점에서의 영상을 생성하는 출력 뷰 생성부 및 상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 출력 시점의 영상 내의 홀을 복원하는 출력 뷰 홀 복원부를 포함하는, 영상 처리 장치가 제공된다.
기준 시점 레이어를 생성하고, 기준 시점 레이어를 사용하여 출력 뷰 내의 홀을 복원함으로써 서로 상이한 시점을 갖는 출력 뷰들 간의 공간적인 일관성을 향상시키는 장치 및 방법이 제공된다.
이전 프레임에서 생성된 기준 시점 레이어의 배경에 대한 정보를 누적하고, 누적된 배경에 대한 정보를 출력 뷰 내의 홀을 복원하기 위해 사용함으로써 인접한 프레임들의 출력 뷰들 간의 시간적인 일관성을 향상시키는 장치 및 방법이 제공된다.
도 1은 일 예에 따른 시공간적인 일관성을 제공할 수 있는 멀티-뷰 렌더링 방법의 개요를 설명한다.
도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 3은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 4는 일 예에 따른 2 개의 입력 뷰들에 기반하여 기준 시점을 결정하고, 기준 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 5는 일 예에 따른 2n+1 개의 입력 뷰들에 기반하여 기준 시점을 결정하고, 기준 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 6은 일 예에 따른 초기 기준 시점 레이어 생성 방법의 흐름도이다.
도 7은 일 예에 따른 기준 시점 영상 및 기준 시점 시차 정보를 사용하여 기준 시점 레이어 및 기준 시점 레이어의 시차 정보가 생성되는 과정을 설명한다.
도 8은 일 예에 따른 홀 맵의 생성 원리를 설명한다.
도 9는 일 예에 따른 홀 맵 생성 방법을 설명한다.
도 10은 일 예에 따른 홀로 설정되는 픽셀들의 개수를 결정하는 방법을 설명한다.
도 11은 일 예에 따른 홀 맵 생성 방법의 흐름도이다.
도 12는 일 예에 따른 기준 시점 레이어 생성부의 블록도이다.
도 13은 일 예에 따른 기준 시점 레이어 생성 방법의 흐름도이다.
도 14는 일 예에 따른 최적 패치 탐색 기반 인페인팅의 흐름도이다.
도 15는 일 예에 따른 구조체를 판별하고 홀 픽셀에게 우선 순위를 부여하는 방법을 설명한다.
도 16은 일 예에 따른 최적 패치 탐색 기반 인페인팅을 위한 소스 패치 탐색 방법을 설명한다.
도 17은 일 예에 따른 움직임 추정을 통해 누적된 배경 레이어를 생성한 결과를 설명한다.
도 18은 일 예에 따른 움직임 벡터의 확산을 설명한다.
도 19는 일 예에 따른 블록들 간의 움직임 벡터의 확산을 도시한다.
도 20은 일 예에 따른 반복적인(iterative) 움직임 벡터의 확산을 설명한다.
도 21은 일 예에 따른 움직임 벡터의 확산의 흐름도이다.
도 22는 일 예에 따른 프레임-간 인페인팅 및 프레임-내 인페인팅의 결과를 비교한다.
도 23은 일 예에 따른 일 예에 따른 프레임-간 인페인팅 및 프레임-내 인페인팅의 결과를 비교한다.
도 24는 일 예에 따른 누적된 배경 레이어를 갱신하는 방법의 흐름도이다.
도 25는 일 예에 따른 기준 시점 레이어의 배경을 누적된 배경 레이어에 누적하는 과정을 설명한다..
도 26은 일 예에 따른 출력 뷰의 생성 및 출력 뷰의 홀을 복원하는 방법을 설명한다.
이하에서, 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
시차(disparity) 및 깊이(depth)는 상호 반비례 관계를 갖는다. 따라서, 하기의 실시예에서 시차 및 깊이는 서로 대체될 수 있다.
하기에서, t 프레임(frame)은, 특정한 시각 t에서의 프레임 또는 t 번째 프레임을 나타낸다. 따라서, 현재의 프레임이 t 프레임일 때, t-1 프레임은 현재 프레임의 이전의 프레임을 나타낸다.
뷰는 영상 및 시차 정보를 포함할 수 있다. 영상은 하나 이상의 픽셀들을 포함할 수 있다. 시차 정보는 하나 이상의 픽셀들을 포함할 수 있다. 동일한 좌표를 갖는 영상 내의 픽셀 및 시차 정보 내의 픽셀은 서로 대응할 수 있다. 영상 내의 특정한 픽셀은 컬러 값을 가질 수 있다. 시차 정보 내의 특정한 픽셀은 시차 값을 가질 수 있다. 영상 내의 픽셀이 특정한 객체의 특정한 점(point) 또는 특정한 영역(region)의 컬러를 나타낸다면, 상기 영상 내의 픽셀에 대응하는 시차 정보 내의 픽셀은 상기 점 또는 상기 영역의 시차를 나타낼 수 있다.
도 1은 일 예에 따른 시공간적인 일관성을 제공할 수 있는 멀티-뷰 렌더링 방법의 개요를 설명한다.
시각 t에서, 현재 프레임인 t 번째 프레임의 하나 이상의 입력 뷰들이 도시되었다. 하나 이상의 입력 뷰들은 각각 적어도 하나의 객체들을 포함하는 씬(scene)을 특정한 시점에서 촬영한 것일 수 있다. 여기서, 입력 뷰의 시점을 참조(reference) 시점(viewpoint)으로 명명할 수 있다.
하나 이상의 입력 뷰들에 기반하여 하나 이상의 출력 뷰들이 생성될 수 있다. 상기의 출력 뷰들은 입력 뷰들의 내삽(interpolation)에 의해 생성된 내삽된(interpolated) 뷰 및 입력 뷰의 외삽(extrapolation)에 의해 생성된 외삽된(extrapolation) 뷰를 포함할 수 있다. 여기서, 출력 뷰들 각각의 시점을 임의 시점으로 명명할 수 있다. 내삽 또는 외삽에 의해 출력 뷰가 생성되면, 입력 뷰 내에서는 전경(foreground) 객체(object)에 의해 폐색(occlusion)된 배경(background) 영역(region)이 출력 뷰 내에서는 홀(hole)로서 나타날 수 있다.
출력 뷰 내의 홀을 복원(recover)하기 위해서, 기준(standard) 시점 레이어(layer)가 사용될 수 있다. 여기서, 홀 랜더링은 홀을 채우는 동작을 의미할 수 있다. 기준 시점 레이어를 사용하는 홀 랜더링에 의해 홀 복원된 출력 뷰가 생성될 수 있다.
현재 프레임의 기준 시점 레이어는 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 생성될 수 있다. 기준 시점 레이어는 서로 상이한 시점을 갖는 하나 이상의 출력 뷰들 각각 내의 홀들을 일괄적으로 복원하기 위해 사용할 수 있다. 단일한 기준 시점 레이어를 통해 출력 뷰들 각각 내에 홀들이 공간적으로 균일하게 복원될 수 있다. 즉, 이러한 일괄적인 복원에 의해 출력 뷰들 간의 공간적인 일관성이 향상될 수 있다.
하나 이상의 입력 뷰들에 기반하여 기준 시점 레이어를 생성할 때, 기준 시점 레이어의 최대 홀 영역이 설정될 수 있다. 최대 홀 영역을 포함하는 기준 시점 레이어를 초기 기준 시점 레이어로 명명한다. 기준 시점 레이어는 초기 기준 시점 레이어 내의 홀이 복원된 레이어일 수 있다. 여기서, 최대 홀 영역은 하나 이상의 입력 뷰들에 기반하여 생성될 수 있는 모든 출력 뷰들 내의 홀들의 영역들을 합한 것일 수 있다. 상기의 최대 홀 영역은 초기 기준 시점 레이어 자체의 정보에 기반하여 홀을 복원하는 프레임-내(intra-frame) 인페인팅(inpainting)에 의해 복원될 수 있다. 후술될 것처럼, 프레임-내 인페인팅에 따른 최대 홀 영역의 복원은 시간 축으로 확장될 수 있다.
기준 시점 레이어는 프레임 별로 생성될 수 있다. t 프레임의 초기 기준 시점 레이어가 생성될 때에는 이미 t-1 프레임의 (홀 복원된) 기준 시점 레이어가 생성되어 있는 것으로 간주될 수 있다. 현재 프레임의 초기 기준 시점 레이어의 최대 홀 영역은, 현재 프레임의 초기 기준 시점 레이어의 정보뿐만 아니라, 이전 프레임의 기준 시점 레이어의 정보에도 기반하여 복원될 수 있다. 프레임-간(inter-frame) 인페인팅은 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어에 기반하여 현재 프레임의 초기 기준 시점 레이어의 최대 홀 영역을 복원하는 것을 의미할 수 있다. 프레임-간(inter-frame) 인페인팅은 현재 프레임의 적어도 하나의 이전 프레임의 누적된 기준 시점 레이어에 기반하여 현재 프레임의 초기 기준 시점 레이어의 최대 홀 영역을 복원하는 것을 의미할 수 있다.
프레임-간 인페인팅에 의해 이전 프레임에서 출력 뷰 내의 홀을 복원하기 위해 참조된 정보(즉, 이전 프레임의 기준 시점 레이어)가 현재 프레임의 초기 기준 시점 레이어의 홀을 복원하기 위해 연속적으로 참조될 수 있다. 따라서, 인접한 프레임의 초기 기준 시점 레이어들 내의 홀들이 시간 축 상으로 균일하게 복원될 수 있다. 또한, 현재 프레임의 (홀 복원된) 기준 시점 레이어는, 이후 현재 프레임의 다음 프레임(예컨대, t+1 프레임)의 초기 기준 시점 레이어 내의 최대 홀 영역을 복원하기 위해 사용될 수 있다.
전술된 프레임-내 인페인팅 및 프레임-간 인페인팅에 기반하여 생성된 기준 시점 레이어를 사용함으로써, 하나 이상의 홀 복원된 출력 뷰들 간의 시공간적인 일관성이 향상될 수 있다.
도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.
영상 처리 장치(200)는 기준 시점 결정부(210), 기준 시점 뷰 생성부(220), 초기 기준 시점 레이어 생성부(230), 기준 시점 레이어 생성부(240), 출력 뷰 생성부(250), 출력 뷰 홀 복원부(260) 및 출력부(270)를 포함할 수 있다. 상기의 구성 요소들(210 내지 270) 각각의 동작이 하기에서 도 3 내지 도 26을 참조하여 상세히 설명된다.
도 3은 일 실시예에 따른 영상 처리 방법의 흐름도이다.
단계(310)에서, 기준 시점 결정부(210)는 기준 시점 레이어의 기준 시점을 결정할 수 있다.
기준 시점은 후술될 기준 시점 영상, 기준 시점 시차 정보, 홀 맵, 초기 기준 시점 레이어 및 기준 시점 레이어의 시점일 수 있다. 즉, 기준 시점은 홀 맵 및 기준 시점 레이어 등을 생성함에 있어서 기준이 되는 시점일 수 있다.
기준 시점을 결정하는 방법의 일 예가 하기에서 도 4 및 도 5을 참조하여 상세히 설명된다.
단계(320)에서, 기준 시점 뷰 생성부(220)는 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 기준 시점에 대한 기준 시점 뷰를 생성할 수 있다.
기준 시점 뷰는 영상 및 시차 정보를 포함할 수 있다.
단계(330)에서, 초기 기준 시점 레이어 생성부(230)는 예컨대 임의의 시점으로의 와핑에 의해, 적어도 하나의 시점에서 홀로 나타날 수 있는 기준 시점 뷰 내의 영역을 홀로 치환함으로써 현재 프레임의 초기 기준 시점 레이어를 생성할 수 있다.
하나 이상의 입력 뷰들은 각각 영상 및 시차 정보를 포함할 수 있다.
초기 기준 시점 레이어는 영상 및 시차 정보를 포함할 수 있다.
초기 기준 시점 레이어를 생성하는 방법의 일 예가 하기에서 도 6 내지 도 11을 참조하여 상세히 설명된다.
단계(340)에서, 기준 시점 레이어 생성부(240)는 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어 및 현재 프레임의 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원함으로써 현재 프레임의 기준 시점 레이어를 생성할 수 있다.
기준 시점 레이어 내에서 복원된 영역은 출력 뷰 내의 홀을 복원하기 위해 사용될 수 있다.
기준 시점 레이어는 영상 및 시차 정보를 포함할 수 있다.
단계(350)에서, 출력 뷰 생성부(250)는 하나 이상의 입력 뷰들을 사용하여 하나 이상의 출력 뷰들을 생성할 수 있다. 하나 이상의 출력 뷰들은 각각 특정한 출력 시점에서의 뷰일 수 있다. 출력 뷰는 출력 시점에서의 영상을 포함할 수 있다. 출력 뷰 생성부(250)는 하나 이상의 입력 뷰들을 사용하는 내삽 또는 외삽에 의해 하나 이상의 출력 뷰들을 생성할 수 있다. 내삽 또는 외삽에 의해 생성된 하나 이상의 출력 뷰들은 각각 홀을 포함할 수 있다. 여기서, 출력 시점에서의 영상이란, 관측자가 하나 이상의 입력 뷰들에 의해 캡춰된 씬을 상기의 출력 시점에서 바라보았을 때, 상기의 관측자가 보게되는 영상을 의미할 수 있다.
단계(360)에서, 출력 뷰 홀 복원부(260)는 현재 프레임의 기준 시점 레이어를 사용하여 하나 이상의 출력 뷰들의 홀들을 복원할 수 있다.
단계(370)에서, 출력부(270)는 홀 복원된 하나 이상의 출력 뷰들을 출력할 수 있다.
도 4는 일 예에 따른 2 개의 입력 뷰들에 기반하여 기준 시점을 결정하고, 기준 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 4에서, 입력 뷰는 제1 입력 뷰(410) 및 제2 입력 뷰(420)이다. 제1 입력 뷰(410) 및 제2 입력 뷰(420)는 각각 스테레오(stereo)(즉, 2-웨이(way)) 뷰 입력의 좌 입력 뷰 및 우 입력 뷰일 수 있다. 또는, 제1 입력 뷰(410) 및 제2 입력 뷰(420)는 각각 2n 개의 입력 뷰들 중 n 번째 입력 뷰 및 n+1 번째 입력 뷰일 수 있다. 여기서, n은 1 이상의 정수이다. 제1 입력 뷰(410) 및 제2 입력 뷰(420)는 하나 이상의 입력 뷰들 중 중심에 위치한 2 개의 입력 뷰들일 수 있다.
제1 입력 뷰(410)는 영상(412) 및 시차 정보(414)를 포함할 수 있다. 제2 입력 뷰(420)는 영상(422) 및 시차 정보(424)를 포함할 수 있다.
단계(310)에서, 기준 시점 결정부(210)는 제1 입력 뷰(410)의 시점 및 제2 입력 뷰(420)의 시점의 중심(center)을 기준 시점으로 결정할 수 있다. 또는, 기준 시점 결정부(210)는 하나 이상의 전체 입력 뷰들 중 2 개의 선택된 입력 뷰들의 시점들의 중심을 기준 시점으로 결정할 수 있다.
단계(320)에서, 기준 시점 뷰 생성부(220)는 제1 입력 뷰(410) 및 제2 입력 뷰(420)에 기반하여 기준 시점 뷰(430)(즉, 기준 시점 영상(432) 및 기준 시점 시차 정보(434))를 생성할 수 있다. 기준 시점 뷰 생성부(220)는 제1 입력 뷰(410) 및 제2 입력 뷰(420)의 컬러/시차(color/disparity) 내삽을 통해 기준 시점 뷰(430)를 생성할 수 있다. 기준 시점 뷰 생성부(220)는 제1 입력 뷰(410)의 영상(412), 제1 입력 뷰(410)의 시차 정보(414), 제2 입력 뷰(420)의 영상(422) 및 제2 입력 뷰(420)의 시차 정보(424)를 사용하는 와핑을 수행함으로써 기준 시점 뷰(430)를 생성할 수 있다.
도 5는 일 예에 따른 2n+1 개의 입력 뷰들에 기반하여 기준 시점을 결정하고, 기준 시점에 대한 영상 및 시차를 생성하는 방법을 설명한다.
도 5에서, 입력 뷰는 홀수 개의 입력 뷰들(510, 320, 330)이다.
하나 이상의 입력 뷰들은 2n+1 개일 수 있다. 여기서, n은 0 이상의 정수이다.
중심 입력 뷰(520)(즉, 2n+1 개들의 입력 뷰들 중 n 번째 입력 뷰)는 영상(522) 및 시차 정보(524)를 포함할 수 있다.
단계(310)에서, 기준 시점 결정부(210)는 하나 이상의 입력 뷰들 중 가운데에 위치한 입력 뷰의 시점을 기준 시점으로 결정할 수 있다. 기준 시점 결정부(210)는 2n+1 개의 입력 뷰들 중에서, n 번째의 중심 입력 뷰(520)의 시점을 기준 시점으로 결정할 수 있다.
단계(320)에서, 기준 시점이 하나 이상의 입력 뷰들 중 특정한 뷰의 시점과 동일한 경우, 기준 시점 뷰 생성부(220)는 상기의 특정한 뷰를 기준 시점 뷰(540)로 설정(또는, 사용)할 수 있다. 또한, 기준 시점 뷰 생성부(220)는 상기의 특정한 뷰의 영상을 기준 시점 영상(542)으로 설정할 수 있고, 상기의 특정한 뷰의 시차 정보를 기준 시점 시차 정보(544)로 설정할 수 있다. 예컨대, 기준 시점이 중심 입력 뷰(520)의 시점인 경우, 기준 시점 뷰 생성부(220)는 중심 입력 뷰(520)를 기준 시점 뷰(540)로 설정할 수 있다.
단계(320)에서, 하나 이상의 입력 뷰들이 홀수 개(즉, 2n+1 개)인 경우, 기준 시점 뷰 생성부(220)는 중심(즉, n 번째의) 입력 뷰(520)의 영상(522)을 기준 시점 영상(542)으로 설정할 수 있고, 중심 입력 뷰(520)의 시차 정보(524)를 기준 시점 시차 정보(544)로 설정할 수 있다.
도 6은 일 예에 따른 초기 기준 시점 레이어 생성 방법의 흐름도이다.
단계(330)는 하기의 단계들(610 내지 632)을 포함할 수 있다.
단계(610)에서, 초기 기준 시점 레이어 생성부(230)는 기준 시점에 대한 홀 맵을 생성할 수 있다. 홀 맵은 출력 뷰에서 발생할 수 있는 최대 크기의 홀 영역을 의미하는 최대 홀 영역을 나타낼 수 있다. 기준 시점 뷰 내의 픽셀들이 특정한 시점으로의 와핑에 의해 이동할 경우, 홀 맵은 상기의 픽셀들 중 적어도 하나의 시점에서 홀로 나타날 수 있는 영역에 대응하는 픽셀들을 나타낼 수 있다. 즉, 기준 시점 뷰 내의 픽셀들 중 적어도 하나의 시점에서 홀로 나타날 수 있는 픽셀은 홀 맵 내에서 홀 픽셀이 될 수 있다. 즉, 최대 홀 영역은 하나 이상의 입력 뷰들에 기반하여 생성될 수 있는 모든 출력 뷰들 내의 홀들의 영역들을 합한 것일 수 있다. 홀 맵은 임의의 출력 뷰 내에서 발생할 수 있는 홀에 대한 정보를 기준 시점으로 모은 것일 수 있다.
단계(620)에서, 초기 기준 시점 레이어 생성부(230)는 홀 맵 및 기준 시점 뷰(즉, 기준 시점 영상 및 기준 시점 시차 정보)를 사용하여 초기 기준 시점 레이어를 구성할 수 있다.
도 7은 일 예에 따른 기준 시점 영상 및 기준 시점 시차 정보를 사용하여 기준 시점 레이어 및 기준 시점 레이어의 시차 정보가 생성되는 과정을 설명한다.
도 2 내지 도 5를 참조하여 전술된 것과 같이, 하나 이상의 입력 뷰들(710 및 715)에 기반하여 기준 시점 뷰(720)(즉, 기준 시점 영상(730) 및 기준 시점 시차 정보(735))가 생성될 수 있다. 기준 시점 뷰(720)는 기준 시점 영상(730) 및 기준 시점 시차 정보(735)을 포함할 수 있다.
기준 시점 영상(730)은 전경(732) 및 배경(734)을 포함할 수 있다. 일반적으로, 전경(732)은 배경(734)에 비해 더 큰 시차(즉, 더 작은 깊이)를 갖는다.
기준 시점 시차 정보(735)는 전경(732)에 연관된 전경 시차 정보(736) 및 배경(734)에 연관된 배경 시차 정보(738)를 포함할 수 있다.
홀 맵(740)은 홀 부분들(742 및 744) 및 비-홀 부분(746)을 포함할 수 있다. 홀 맵(740)은 홀 부분들(742 및 744)은 0으로 표현하고, 비-홀 부분(746)은 1로 표현하는 이진(binary) 맵일 수 있다. 홀은 픽셀의 시차를 알 수 없다는 것을 의미할 수 있다. 즉, 홀 부분들(742 및 744)은 홀 부분들(742 및 744)에 대응하는 픽셀들의 시차를 알 수 없다는 것을 의미할 수 있다.
단계(610)에서 초기 기준 시점 레이어 생성부(230)가 기준 시점에 대한 홀 맵(740)을 생성하는 구체적인 방법의 일 예가 하기에서 도 8 내지 도 12을 참조하여 상세히 설명된다.
초기 기준 시점 레이어(750)는 영상(760) 및 시차 정보(770)를 포함할 수 있다. 초기 기준 시점 레이어(750)의 영상(760)은 전경(762), 배경(764) 및 홀들(766 및 768)을 포함할 수 있다.
단계(620)에서, 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 및 홀 맵(740)에 기반하여 초기 기준 시점 레이어(750)의 영상(760)을 구성할 수 있다. 예컨대, 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 중 홀 부분들(742 및 744)에 대응하는 부분을 홀들(766 및 768)로 설정할 수 있다. 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 중 비-홀 부분(746)에 대응하는 부분을 전경(762) 또는 배경(764)으로 설정할 수 있다.
단계(620)에서, 초기 기준 시점 레이어 생성부(230)는 기준 시점 시차 정보(735) 및 홀 맵(740)에 기반하여 초기 기준 시점 레이어(750)의 시차 정보(770)를 생성할 수 있다. 예컨대, 시차 정보(770)는 전경(762)에 대응하는 전경 시차 정보(772), 배경(764)에 대응하는 배경 시차 정보(774) 및 홀들(776 및 778)을 포함할 수 있다.
단계(620)에서, 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 및 홀 맵(740) 간의 논리곱(AND) 연산(operation)에 기반하여 초기 기준 시점 레이어(750)의 영상(760)을 생성할 수 있다. 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 중 홀 맵(740)의 '0'(즉, 홀 부분들(742 및 744))에 대응하는 부분을 AND 연산에 의해 홀들(766 및 468)로 설정할 수 있다. 기준 시점 영상(730) 중 홀 맵(740)의 '1'(즉, 비홀 부분(746))에 대응하는 부분은 AND 연산에 의해 영향을 받지 않는다. 따라서, 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 중 홀 맵(740)의 '1'에 대응하는 부분을 전경(762) 또는 배경(764)으로 설정할 수 있다.
즉, 초기 기준 시점 레이어 생성부(230)는 초기 기준 시점 레이어(750)의 영상(760) 중 비-홀 부분(746)에 대응하는 영역들(762 및 764)에 대해서는 기준 시점 영상(730)을 그대로 사용할 수 있고, 영상(760) 중 홀 부분들(742 및 744)에 대응하는 영역들(766 및 768)은 홀로 설정할 수 있다. 또한, 초기 기준 시점 레이어 생성부(230)는 초기 기준 시점 레이어(750)의 시차 정보(770) 중 비-홀 부분(746)에 대응하는 영역들(772 및 774)에 대해서는 기준 시점 시차 정보(735)를 그대로 사용할 수 있고, 시차 정보(770) 중 홀 부분들(742 및 744)에 대응하는 영역들(776 및 778)은 홀로 설정할 수 있다.
단계(340)에서, 기준 시점 레이어 생성부(240)는 초기 기준 시점 레이어(750)의 영상(760)에 대한 홀 복원 과정을 수행함으로써, 홀이 모두 복원된(즉, 채워진) 기준 시점 레이어(780)를 생성할 수 있다. 기준 시점 레이어(780)는 영상(790) 및 시차 정보(795)를 포함할 수 있다. 영상(790) 및 시차 정보(795)는 홀을 갖지 않는다.
임의의 시점의 출력 뷰를 생성할 때 생기는 출력 뷰의 홀은 기준 시점 레이어(780)에서 일괄적으로 복원된 홀 영역을 이용하여 복원될 수 있다.
초기 기준 시점 레이어(750) 내의 홀을 복원하는 구체적인 방법이 하기에서 도 8 내지 도 11을 참조하여 상세히 설명된다.
도 8은 일 예에 따른 홀 맵의 생성 원리를 설명한다.
출력 영상 내의 홀은 기준 시점 영상 내의 인접한 영역들(예컨대, 서로 인접한 좌측 픽셀 및 우측 픽셀)의 시차들 간의 차이(difference)에 의해 발생할 수 있다.
픽셀이 자신의 좌측 픽셀에 비해 더 큰 시차를 갖는 경우(즉, 픽셀의 시차로부터 상기 픽셀의 좌측 픽셀의 시차를 뺀 값인 ΔdL이 0보다 클 경우), 기준 시점에서 좌측 방향으로 와핑된 출력 영상 내에서, 상기 픽셀의 좌측에 홀이 발생할 수 있다.
픽셀의 자신의 우측 픽셀에 비해 더 큰 시차를 갖는 경우(즉, 픽셀의 시차로부터 상기 픽셀의 우측 픽셀의 시차를 뺀 값인 ΔdR이 0보다 클 경우), 기준 시점에서 우측 방향으로 와핑된 출력 영상 내에서, 상기 픽셀의 우측에 홀이 발생할 수 있다.
제1 출력 영상(810)은 기준 시점 뷰(720)(또는, 기준 시점 영상(730))가 좌측 방향으로 와핑됨으로써 생성된다. 제1 출력 영상(810) 내에서는 전경(812)의 좌측에 ΔdL(예컨대, 20 픽셀들)만큼의 홀(816)이 발생한다. 제2 출력 영상(820)은 기준 시점 뷰(720)가 우측 방향으로 와핑됨으로써 생성된다. 제2 출력 영상(820) 내에서는 전경(822)의 우측에 ΔdL(예컨대, 20 픽셀들)만큼의 홀(826)이 발생한다.
따라서, 기준 시점 뷰(720) 내의 인접한 픽셀들 간의 시차 차이를 분석함으로써, 특정한 시점의 출력 영상 내에서 발생하는 홀 영역이 예측될 수 있다. 따라서, 홀 맵(740)은, 기준 시점 뷰(720)를 임의의 시점으로 와핑함에 따라 생성되는 홀들을 기준 시점 영상으로 모은 것으로 간주될 수 있다.
도 9는 일 예에 따른 홀 맵 생성 방법을 설명한다.
초기 기준 시점 레이어 생성부(230)는 하나 이상의 출력 뷰들이 생성될 때 발생할 수 있는 홀 영역을 예측하기 위해 기준 시점 뷰(720) 내의 각 픽셀의 시차의 차분(difference)을 계산할 수 있다. 하기에서, 픽셀은 영역으로 대체될 수 있다.
시차의 차분은 좌측 차분 ΔdL 및 우측 차분 ΔdR을 포함할 수 있다. 좌측 차분은 상기 픽셀의 좌측에 인접한 픽셀(이하, 좌측 픽셀)에 대한 차분이다. 우측 차분은 상기 픽셀의 우측에 인접한 픽셀(이하, 우측 픽셀)에 대한 차분이다.
제1 그래프(920)에서, 기준 시점 시차 정보(735) 내의 특정한 수평선(910)의 시차가 도시되었다.
초기 기준 시점 레이어 생성부(230)는, 그래프(920)에 나타난 것과 같은 시차의 차이를 이용하여, 기준 시점 영상(730) 내의 전경(732)에 의해 가려진 영역을 홀 영역으로 판단할 수 있다.
초기 기준 시점 레이어 생성부(230)는 1) 시차의 좌측 차분, 2) 시차의 우측 차분, 3) 입력 뷰들 간의 입력 베이스라인 및 4) 최외각 출력 뷰들의 시점들 간의 거리에 기반하여 전경에 의해 가려진 영역을 계산할 수 있다. 초기 기준 시점 레이어 생성부(230)는 기준 시점 영상(730) 내의 픽셀들의 시차들 간의 차분(즉, ΔdL 및 ΔdR)에 기반하여 홀 맵(740)을 생성할 수 있다.
전경에 의해 가려진 영역(즉, 홀로 설정되는 픽셀들)을 판단하는 방법의 일 예가 하기에서 설명된다.
제1 픽셀의 제1 시차가 제1 픽셀에 좌측으로 인접한 제2 픽셀의 제2 시차보다 임계 값 이상으로 클 경우(즉, 제1 픽셀의 ΔdL이 임계 값보다 클 경우), 초기 기준 시점 레이어 생성부(230)는 제1 픽셀로부터 우측으로 α-ΔdL 개만큼의 픽셀들을 홀로 설정할 수 있다. 여기서, 홀로 설정되는 픽셀들의 개수는 제1 시차 및 제2 시차 간의 차에 비례할 수 있다. α는 상수이다.
제1 픽셀의 제1 시차가 제1 픽셀에 우측으로 인접한 제3 픽셀의 제3 시차보다 임계 값 이상으로 클 경우(즉, 제1 픽셀의 ΔdR이 임계 값보다 클 경우), 초기 기준 시점 레이어 생성부(230)는 제1 픽셀로부터 좌측으로 α-ΔdR 개만큼의 픽셀들을 홀로 설정할 수 있다. 홀로 설정되는 픽셀들의 개수는 제1 시차 및 제3 시차 간의 차에 비례할 수 있다.
제1 영역(930) 및 제2 영역(940)은 각각 픽셀들의 시차들 간의 차분에 기반하여 생성되는 홀 영역(즉, 전경에 의해 가려지는 것으로 판단된 영역)을 나타낸다.
제2 그래프(950)는 차분(ΔdL 또는 ΔdR) 및 α에 비례하여 제1 영역(930) 및 제2 영역(940)이 설정되는(또는, 계산되는) 방법을 나타낸다.
α를 계산하는 방법의 일 예가 하기에서 도 10을 참조하여 상세히 설명된다.
초기 기준 시점 레이어 생성부(230)는 하나 이상의 픽셀들에 의해 중복되어 홀로 설정된 영역을 하나의 홀 영역으로 저장할 수 있다.
도 10은 일 예에 따른 홀로 설정되는 픽셀들의 개수를 결정하는 방법을 설명한다.
입력 베이스라인은, 하나 이상의 입력 뷰들 중 최좌측 입력 뷰(1010)의 시점 및 최우측 입력 뷰(1020)의 시점 간의 거리이다.
최좌측 출력 뷰(1030)는 하나 이상의 입력 뷰들에 기반하여 생성된 출력 뷰들 중 가장 좌측의 시점을 갖는 출력 뷰이다. 최우측 출력 뷰(1040)는 하나 이상의 입력 뷰들에 기반하여 생성된 출력 뷰들 중 가장 우측의 시점을 갖는 출력 뷰이다.
입력 베이스라인에 비해 최외각 출력 뷰들의 시점들 간의 거리가 더 길수록, 인접한 두 픽셀들 간의 시차의 차이에 의해 더 많은 픽셀들이 홀로서 설정될 수 있다.
하기의 수학식 1은 초기 기준 시점 레이어 생성부(230)가 α를 계산하는 방법의 일 예를 나타낸다.
Figure pat00001
즉, α는 최외각 출력 뷰들의 시점들 간의 거리의 입력 베이스라인에 대한 비율을 나타낼 수 있다.
예컨대, 입력 뷰들의 시점들 간의 최대 거리에 비해, 출력 뷰들의 시점들 간의 최대 거리가 2 배이면, α는 2가 될 수 있다.
도 11은 일 예에 따른 홀 맵 생성 방법의 흐름도이다.
도 6의 단계(610)는 하기의 단계들(1110 및 1130)을 포함할 수 있다.
단계(1110)에서, 초기 기준 시점 레이어 생성부(230)는 하나 이상의 출력 영상들이 생성될 때 발생할 수 있는 홀 영역을 예측하기 위해 기준 시점 뷰(720) 내의 각 픽셀의 시차의 차분(difference)(예컨대, 좌측 차분 ΔdL 및 우측 차분 ΔdR)을 계산 및 저장한다.
단계(1120)에서, 초기 기준 시점 레이어 생성부(230)는 계산된 시차의 차분을 이용하여 전경에 의해 가려진 영역을 홀 영역으로 판단 및 설정한다.
단계(1130)에서, 초기 기준 시점 레이어 생성부(230)는 홀 영역으로 판단된 영역을 사용하여 홀 맵(740)을 구성한다.
앞서 도 1 내지 도 10을 참조하여 설명된 실시예에 따른 기술적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
도 12는 일 예에 따른 기준 시점 레이어 생성부의 블록도이다.
기준 시점 레이어 생성부(240)는 움직임 추정부(1210), 장면 전환 판단부(1220), 가중치 결정부(1230), 홀 복원부(1240) 및 배경 레이어 누적부(1250)를 포함할 수 있다.
상기의 구성 요소들(1210 내지 1250) 각각의 동작이 하기에서 도 13 내지 도 26을 참조하여 상세히 설명된다.
도 13은 일 예에 따른 기준 시점 레이어 생성 방법의 흐름도이다.
우선, 프레임-간 인페인팅 및 프레임-내 인페인팅을 상세히 설명한다.
프레임-간 인페인팅은 누적된 배경 레이어에 기반하여 초기 기준 시점 레이어 내의 홀을 복원하는 것을 의미할 수 있다. 누적된 배경 레이어는 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어의 배경을 누적함으로써 생성될 수 있다. 프레임-내 인페인팅은 초기 기준 시점 레이어(또는, 초기 기준 시점 레이어의 정보)에 기반하여 초기 기준 시점 레이어 내의 홀을 복원하는 것을 의미할 수 있다.
프레임-간 인페인팅 및 프레임-내 인페인팅에 있어서, 초기 기준 시점 레이어 내의 홀은 초기 기준 시점 레이어의 배경의 구조체부터 우선적으로 복원하는 최적 패치 탐색 기반 인페인팅에 의해 복원될 수 있다. 최적 패치 탐색 기반 인페인팅에 대해, 하기에서 도 14 내지 도 16을 참조하여 상세히 설명된다. 최적 패치 탐색 기반 인페인팅 방법을 사용하는 프레임-간 인페인팅을 최적 패치 탐색 기반 프레임-간 인페인팅으로 약술한다. 최적 패치 탐색 기반 인페인팅 방법을 사용하는 프레임-내 인페인팅을 최적 패치 탐색 기반 프레임-내 인페인팅으로 약술한다.
단계(1310)에서, 움직임 추정부(1210)는 현재 프레임의 기준 시점 뷰의 움직임을 추정할 수 있다. 기준 시점 뷰의 추정된 움직임은 후술될 단계(1320)에서 현재 프레임에서 장면이 전환되었는지 여부를 판단하기 위해 사용될 수 있으며, 단계(1360)에서 누적된 배경 레이어를 갱신하기 위해 사용될 수 있다.
현재 프레임의 기준 시점 뷰의 움직임을 추정하기 위한 방법이 하기에서 도 17 내지 도 21을 참조하여 상세히 설명된다.
단계(1320)에서, 장면 전환 판단부(1220)는 현재 프레임의 기준 시점 뷰에서 장면 전환이 발생하였는지 여부를 판단할 수 있다. 장면 전환이 발생한 경우 현재 프레임의 정보(예컨대, 입력 뷰 내의 영상 및 깊이 정보)는 이전 프레임의 정보와는 상당히 상이할 수 있다. 따라서, 장면 전환이 발생한 경우, 누적된 배경 레이어를 사용하여 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-간 인페인팅이 사용될 경우, 홀이 복원된 결과에서 오류가 발생할 수 있다. 장면 전환이 발생한 경우, 기존의 누적된 배경 레이어는 더 이상 사용되지 않는 것이 바람직할 수 있다. 따라서, 장면 전환이 발생한 경우, 단계(1360)에서 배경 레이어 누적부(1260)는 누적된 배경 레이어를 초기화할 수 있다.
장면 전환이 발생한 경우, 단계(1350)이 수행될 수 있으며, 장면 전환이 발생하지 않은 경우, 단계(1330)이 수행될 수 있다.
장면 전환 판단부(1220)는 첫 번째 프레임에 대해서는 장면 전환이 발생한 것으로 판단할 수 있다. 따라서, 첫 번째 프레임의 초기 기준 시점 레이어는 프레임-내 인페인팅이 적용될 수 있다.
장면 전환 판단부(1220)는 현재 프레임(또는, 현재 프레임의 기준 시점 뷰) 및 이전 프레임(또는, 현재 프레임의 기준 시점 뷰) 간의 밝기 변화 등과 같은 양 프레임들(또는, 양 기준 시점 뷰들) 간의 차이에 기반하여, 상기의 차이가 기준치 이상일 경우 장면 전환이 발생한 것으로 판단할 수 있다.
장면 전환 판단부(1220)는 현재 프레임의 기준 시점 뷰 내의 블록들 및 이전 프레임의 기준 시점 뷰 내의 블록들 중 서로 대응하는 블록들 간의 절대 차이 합(Sum of Absolute Difference)에 기반하여 장면 전환 발생 여부를 판단할 수 있다. 현재 프레임의 기준 시점 뷰 내의 블록을 이하 현재 블록으로 명명한다. 이전 프레임의 기준 시점 뷰 내의 블록을 이하 이전 블록으로 명명한다. 상기의 현재 블록은 현재 프레임의 기준 시점 뷰 내의 적어도 하나의 픽셀일 수 있다. 상기의 이전 블록은 이전 프레임의 기준 시점 뷰 내의 적어도 하나의 픽셀일 수 있다.
후술될 것과 같이, 단계(1310)에서, 움직임 추정부(1210)는 현재 블록들 각각에 대해, 현재 블록(또는, 픽셀)의 움직임 벡터(motion vector; MV)를 결정할 수 있다. 상기의 MV에 따라, 현재 블록은 각각 특정한 이전 블록에 대응할 수 있다. 즉, MV에 의해 특정한 이전 블록이 특정한 현재 블록으로 이동한 것으로 추정될 경우, 상기의 특정한 이전 블록 및 상기의 특정한 현재 블록은 상호 대응할 수 있다.
움직임 추정부(1210)는 현재 블록들 각각에 대해, 현재 블록 및 상기의 현재 블록에 대응하는 이전 블록 간의 SAD를 계산할 수 있다. 움직임 추정부(1210)는 전체 현재 블록들 중 계산된 SAD의 크기가 제1 기준치 이상인 현재 블록의 개수 또는 비율이 제2 기준치 이상인 경우, 현재 프레임에서 장면 전환이 발생한 것으로 판단할 수 있다.
단계(1330)에서, 가중치 결정부(1230)는 제1 가중치 및 제2 가중치를 결정할 수 있다.
후술될 단계(1340)에서, 홀 복원부(1240)는 제1 결과 및 제2 결과를 적응적으로 융합함으로써 초기 기준 시점 레이어 내의 홀을 복원할 수 있다. 여기서, 제1 결과는 프레임-간 인페인팅을 적용하여 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과이다. 제2 결과는 프레임-내 인페인팅을 적용하여 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과이다.
제1 가중치는 초기 기준 시점 레이어 내의 홀을 복원함에 있어서 제1 결과가 적용되는 비율을 나타낼 수 있다. 제2 가중치는 초기 기준 시점 레이어 내의 홀을 복원함에 있어서 제2 결과가 적용되는 비율을 나타낼 수 있다.
단계(1340)에서, 홀 복원부(1240)는 프레임-간 인페인팅 및 프레임-내 인페인팅 중 하나 이상에 기반하여 초기 기준 시점 레이어 내의 홀을 최종적으로 복원할 수 있다.
홀 복원부(1240)는 하기의 수학식 2에 기반하여 초기 기준 시점 레이어 내의 홀을 복원할 수 있다.
Figure pat00002
여기서, I fusion 은 초기 기준 시점 레이어 내의 홀이 최종적으로 복원된 결과, 즉 기준 시점 레이어를 나타낼 수 있다. I inter 는 프레임-간 인페인팅을 적용하여 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 제1 결과를 나타낼 수 있다. I intra 는 프레임-내 인페인팅을 적용하여 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 제2 결과를 나타낼 수 있다. 1-β는 제1 가중치를 나타낼 수 있다. β는 제2 가중치를 나타낼 수 있다. 제1 가중치 및 제2 가중치의 합은 1일 수 있다.
즉, 홀 복원부(1240)는 제1 결과에 제1 가중치를 적용한 결과 및 제2 결과에 제2 가중치를 적용한 결과를 합함으로써 초기 기준 시점 레이어 내의 홀을 복원할 수 있다.
제1 가중치 및 제2 가중치는 초기 기준 시점 레이어 내의 블록 별로 결정될 수 있다. 제1 가중치 및 제2 가중치는 초기 기준 시점 레이어 내의 픽셀 별로 결정될 수 있다. 따라서, 초기 기준 시점 레이어 내의 블록(또는, 픽셀) 별로 상이한 복원 방법이 사용될 수 있다. 초기 기준 시점 레이어 내의 제1 홀은 프레임-간 인페인팅에 의해 복원될 수 있는 반면, 초기 기준 시점 레이어 내의 제2 홀은 프레임-내 인페인팅에 의해 복원될 수도 있다.
제1 가중치 및 제2 가중치를 결정하는 구체적인 방법이 하기에서 도 22 및 도 23을 참조하여 상세히 설명된다.
단계(1350)에서, 홀 복원부(1240)는 프레임-내 인페인팅에 기반하여 초기 기준 시점 레이어 내의 홀을 최종적으로 복원할 수 있다
단계(1350)는 현재 프레임에서 장면 전환이 발생한 것으로 판단되었을 때 수행될 수 있다. 장면 전환이 발생하였기 때문에 홀 복원부(1240)는 초기 기준 시점 레이어 내의 홀을 복원하기 위해 이전 프레임의 정보를 사용하지 않을 수 있다.
단계(1340) 및 단계(1350)를 통해, 홀 복원부(1240)는 초기 기준 시점 레이어 내의 홀을 복원함으로써 기준 시점 레이어를 생성할 수 있다.
단계(1360)에서, 배경 레이어 누적부(1250)는 현재 프레임의 기준 시점 레이어를 사용하여 누적된 배경 레이어를 갱신할 수 있다. 상기의 갱신에 의해 누적된 배경 레이어는 현재 프레임의 기준 시점 레이어에 대한 정보를 포함할 수 있고, 이후 다음 프레임의 초기 기준 시점 레이어 내의 홀을 복원하기 위해 사용될 수 있다.
누적된 배경 레이어를 갱신하기 위한 구체적인 방법이 하기에서 도 24 및 도 25를 참조하여 상세히 설명된다.
도 14는 일 예에 따른 최적 패치 탐색 기반 인페인팅의 흐름도이다.
단계(1410)에서, 홀 복원부(1240)는 각 홀 픽셀에 대해 상기 홀 픽셀이 시각적으로 강한 구조체 내에 있는 픽셀인지 여부를 분석하고, 정량화된 분석의 결과를 사용하여 상기 홀 픽셀의 우선 순위를 계산할 수 있다.
홀 복원부(1240)는, 다수의 홀 픽셀들 중 주요한 구조체를 나타내는 홀 픽셀을 우선적으로 복원함으로써 초기 기준 시점 레이어 내의 주요한 구조체를 유지하면서 초기 기준 시점 레이어 내의 홀을 복원할 수 있다.
홀 복원부(1240)가 홀 픽셀의 우선 순위를 계산하는 방법의 일 예가 하기에서 도 15를 참조하여 상세히 설명된다.
단계(1420)에서, 홀 복원부(1240)는 홀 픽셀들의 우선 순위들을 정렬한다.
단계(1430)에서, 홀 복원부(1240)는 타겟 패치를 결정한다. 여기서, 타겟 패치는 가장 높은 우선 순위를 갖는 홀 픽셀을 중심으로 갖는 블록일 수 있다.
단계(1440)에서, 홀 복원부(1240)는 초기 기준 시점 레이어 또는 누적된 배경 레이어 내에서 소스 패치를 탐색한다. 소스 패치는 타겟 패치와 가장 유사한 블록일 수 있다.
홀 복원부(1240)가 프레임-간 인페인팅을 수행하는 경우, 홀 복원부(1240)는 누적된 배경 레이어 내에서 소스 패치를 탐색할 수 있다. 홀 복원부(1240)가 프레임-내 인페인팅을 수행하는 경우, 홀 복원부(1240)는 초기 기준 시점 레이어 내에서 소스 패치를 탐색할 수 있다.
홀 복원부(1240)는 하기의 기준 1 내지 기준 3 중 하나 이상을 사용하여 타겟 패치 및 소스 패치 간의 유사도를 계산할 수 있다.
기준 1 : 타겟 패치의 픽셀 및 상기 타겟 패치의 픽셀에 대응하는 소스 패치의 픽셀 간의 RGB 값의 차.
기준 2 : 타겟 패치의 블록 구조 및 소스 패치의 블록 구조 간의 차. 여기서, 블록 구조는 패치 내의 픽셀들 중 밝기 값이 기준치보다 큰 픽셀들은 1로, 밝기 값이 기준치 이하인 픽셀들은 0으로 설정한 것을 나타낼 수 있다. 홀 복원부(1240)는 타겟 패치의 블록 구조 및 소스 패치의 불록 구조 간의 비트와이즈(bitwise) 차이 값을 계산할 수 있다.
기준 3 : 타겟 패치의 공간 좌표 및 소스 패치의 공간 좌표 간의 차.
단계(1450)에서, 홀 복원부(1240)는 탐색된 소스 패치를 타겟 패치로 복사함으로써 가장 높은 우선 순위를 갖는 홀 픽셀을 복원할 수 있다. 상기의 복사는 소스 패치 내의 픽셀들 각각의 컬러 및 시차 정보를 타겟 패치 내의 대응하는 픽셀의 컬러 및 시차 정보로서 사용하는 것을 의미할 수 있다. 여기서, 픽셀의 컬러는 초기 기준 시점 레이어(또는, 누적된 배경 레이어)의 영상 내에서 참조될 수 있고, 픽셀의 시차 정보는 초기 기준 시점 레이어(또는, 누적된 배경 레이어)의 시차 정보 내에서 참조될 수 있다.
또한, 상기의 복사에 의해 가장 높은 우선 순위를 갖는 홀 픽셀 외에도 타겟 패치 내의 다른 적어도 하나의 홀 픽셀이 복원될 수 있다.
홀 복원부(1240)가 소스 패치를 탐색하는 방법의 일 예가 하기에서 도 16을 참조하여 상세히 설명된다.
단계(1460)에서, 홀 복원부(1240)는 초기 기준 시점 레이어 내에 남은 홀 픽셀이 존재하는지 여부를 검사할 수 있다. 남은 홀 픽셀이 있는 경우, 복원이 계속되어야 한다. 또한, 단계(1450)에서의 복원에 의해 각 홀 픽셀의 우선 순위가 변경될 수 있다. 따라서, 남은 홀 픽셀이 있는 경우, 단계(1410)이 다시 수행될 수 있다. 남은 홀 픽셀이 없는 경우, 기준 시점 레이어가 생성되었기 때문에, 절차가 종료할 수 있다.
홀 경계 픽셀은 초기 기준 시점 레이어 내의 홀 내의 픽셀들 중 홀이 아닌 픽셀과 인접한 픽셀을 의미한다. 즉, 홀 경계 픽셀은 홀 픽셀 중 홀 영역 및 비-홀 영역 간의 경계에 있는 픽셀을 의미할 수 있다.
일반적으로, 홀 경계 픽셀은 다른 홀 픽셀보다 높은 우선 순위를 갖는다. 따라서, 상기의 단계들(1410 내지 1460)에서, 홀 픽셀은 홀 경계 픽셀로 대체될 수 있다. 즉, 각 홀 경계 픽셀의 우선 순위가 계산될 수 있으며, 가장 높은 우선 순위를 갖는 홀 경계 픽셀을 포함하는 타겟 패치가 우선적으로 복원될 수 있다.
도 15는 일 예에 따른 구조체를 판별하고 홀 픽셀에게 우선 순위를 부여하는 방법을 설명한다.
하기에서, 홀을 포함하는 타겟 패치와 동일한 패턴을 갖는 패치들의 개수에 기반하여 구조체를 판별하고, 홀 픽셀에게 우선 순위를 부여하는 방법이 설명된다.
도 15에서, 코너를 나타내는 제1 뷰(1510), 에지를 나타내는 제2 뷰(1520) 및 균일한 영상을 나타내는 제3뷰(1530)가 각각 도시되었다. 또한, 뷰들(1510, 1520 및 11530)의 타겟 패치들(1516, 1526 및 1536)이 도시되었다. 여기서, 뷰들(1510, 1520 및 1530)은 각각 초기 기준 시점 레이어일 수 있다.
코너 영역을 포함하는 제1 뷰(1510)는 상이한 색상 또는 시차를 갖는 2 개의 영역들(1512 및 1514)로 구성되었다. 에지 영역을 포함하는 제2 뷰(1520)는 상이한 색상 또는 시차를 갖는 2 개의 영역들(1522 및 1524)로 구성되었다. 균일한 영역만을 나타내는 제3 뷰(1530)는 단일한 영역(1534)으로 구성되었다.
홀 복원부(1240)는 홀 픽셀과 인접한 영역 내에 상기 홀 픽셀이 나타내는 구조체와 동일한 구조체들을 개수가 적을수록 상기 홀 픽셀에게 높은 우선 순위를 부여할 수 있다. 여기서, 홀 픽셀과 인접한 영역은 홀 픽셀을 중심으로 갖는 특정한 크기의 블록 내의 영역을 의미할 수 있다.
홀 복원부(1240)는 홀 픽셀과 인접한 영역 내에 상기 홀 픽셀을 포함하는 타겟 패치와 동일한 패턴을 갖는 패치들의 개수가 적을수록 상기 홀 픽셀에게 높은 우선 순위를 부여할 수 있다.
각 뷰(1510, 1520 또는 1530)의 하단에는 패치 검색 결과를 나타내는 영상(1540, 1550 또는 1560)이 도시되었다. 각 영상(1540, 1550 또는 1560)에서, 백색 부분은 타겟 패치(1516, 1526 또는 1536)와 동일한 패턴을 갖는 패치의 중심을 나타낸다. 제1 뷰(1510) 내에서(또는, 타겟 패치(1516)와 인접한 영역 내에서), 타겟 패치(1516)와 동일한 패턴을 갖는 패치는 타겟 패치(1516) 자신 뿐이다. 따라서, 제1 영상(1540) 내에서 백색 부분은 단지 하나의 점뿐이다.
제2 뷰(1520) 내에서, 타겟 패치(1526)와 동일한 패턴을 갖는 패치는 제1 영역(1524) 및 제2 영역(1526) 간의 경계를 이루는 사선을 따라(즉, 엣지의 방향을 따라) 존재한다. 따라서, 제2 영상(1550) 내에서 백색 부분은 상기의 사선이다.
제3 뷰(1530) 내의 모든 패치들은 타겟 패치(1526)와 동일한 패턴을 갖는다. 따라서, 제3 영상(1560) 내에서 백색 부분은 제3 영상(1560) 전체이다.
타겟 패치가 임의의(random) 형태를 갖는 임의 텍스쳐(texture)일 경우, 상기의 타겟 패치는 코너 영역을 나타내는 타겟 패치와 유사한 특성을 갖는다. 타겟 패치가 동일한 형태가 반복되는 반복 텍스쳐일 경우, 상기의 타겟 패치는 에지 영역을 나타내는 타겟 패치와 유사한 특성을 갖는다.
따라서, 홀 복원부(1240)는, 1) 코너를 나타내는 홀 픽셀, 2) 임의 텍스쳐를 나타내는 홀 픽셀, 3) 에지를 나타내는 홀 픽셀, 4) 반복 텍스쳐를 나타내는 홀 픽셀, 5) 균일한 영역을 나타내는 홀 픽셀의 순서로, 높은 우선 순위를 부여할 수 있다.
2 개의 패치들의 패턴들이 동일한지 여부는, 2 개의 패치들의 대응하는 픽셀들 간의 적녹청(Red Green Blue, RGB) 값의 차이에 의해 결정될 수 있다. 즉, 홀 복원부(1240)는 타겟 패치 및 비교의 대상인 특정한 패치에 대해, 양 패치들의 대응하는 픽셀들 간의 RGB 값의 차이를 계산할 수 있다. 홀 복원부(1240)는 양 패치들의 모든 대응하는 픽셀들의 RGB 값의 차이들를 합하여, 상기의 합이 기준치 이하일 경우 상기 특정한 패치가 상기 타겟 패치와 동일한 패턴을 갖는 패치인 것으로 결정할 수 있다.
홀 복원부(1240)는 탐색 영역 내에서 홀 픽셀을 포함하는 패치와의 픽셀 별 RGB 값의 차이의 평균(또는, 총 합)이 기준치 이하인 지점(즉, 패치의 위치)들의 개수의 역수를 상기 홀 픽셀의 우선 순위로서 사용할 수 있다. 여기서, 탐색 영역은 동일한 패턴을 갖는 패치들을 탐색하는 영역이다. 예컨대, 제1 뷰(1510)의 홀 픽셀의 우선 순위는 1/1이다. 제3 뷰(1530)의 홀 픽셀의 우선 순위는 1/(탐색 영역 내의 픽셀들의 개수)이다.
전술된 방식을 통해, 홀 복원부(1240)는 초기 기준 시점 레이어 내의 홀의 주변 중 주요한(main) 구조체가 존재하는 지점(즉, 홀 픽셀)에 대해, 우선적으로 홀 복원을 수행할 수 있다.
하기에서, 홀 경계 픽셀의 밝기 값의 변화분의 크기에 기반하여 구조체를 판별하고, 홀 픽셀에게 우선 순위를 부여하는 방법이 설명된다.
홀 복원부(1240)는, 하기의 수학식 3에서 설명된 것처럼, 홀 픽셀의 밝기 값의 수평 방향으로의 변화분(예컨대, 미분(gradient) 값) 및 수직 방향으로의 변화분을 계산하여, 상기 수평 방향으로의 변화분 및 상기 수직 방향으로의 변화분의 기하 평균에 기반하여 상기 홀 픽셀의 우선 순위를 결정할 수 있다.
Figure pat00003
여기서, x 및 y는 홀 픽셀의 좌표를 나타낸다. I(x, y)는 홀 픽셀의 밝기 값을 나타낸다. I x 는 홀 픽셀의 밝기 값의 수평 방향으로의 변화분을 나타낸다. I y 는 홀 픽셀의 밝기 값의 수직 방향으로의 변화분을 나타낸다. G(I)는 홀 픽셀의 밝기 값의 미분 값을 나타낸다.
홀 픽셀의 밝기 값의 변화분의 크기를 사용함으로써, 홀 복원부(1240)는 홀 픽셀의 우선 순위를 결정할 수 있다. 즉, 홀 복원부(1240)는 상기의 변화분의 크기를 0 이상 1 이하의 값으로 정규화할 수 있고, 정규화된 값을 홀 픽셀의 우선 순위의 정량화된 값으로서 사용할 수 있다. 따라서, 홀 복원부(1240)는 상대적으로 밝기 값의 차이가 큰 에지 성분(즉, 에지를 나타내는 홀 픽셀)부터 우선적으로 홀 렌더링이 적용되도록 우선 순위를 설정할 수 있다.
일반적으로 홀 경계 픽셀은 다른 홀 픽셀에 비해 높은 우선 순위를 갖는다. 따라서, 상술된 설명에서 홀 픽셀은 홀 경계 픽셀로 대체될 수 있다.
도 16은 일 예에 따른 최적 패치 탐색 기반 인페인팅을 위한 소스 패치 탐색 방법을 설명한다.
도 16에서, 초기 기준 시점 레이어(1650) 및 초기 기준 시점 레이어(1650)의 시차 정보(1610)가 도시되었다.
하기에서, 홀 복원부(1240)가 프레임-내 인페인팅을 사용하여 초기 기준 시점 레이어(1650) 내의 홀을 복원할 경우 소스 패치는 초기 기준 시점 레이어(1650) 내에서 탐색된다. 홀 복원부(1240)가 프레임-간 인페인팅을 사용하여 초기 기준 시점 레이어(1650) 내의 홀을 복원할 경우 소스 패치는 누적된 배경 레이어 내에서 탐색된다.
타겟 패치(1660)는 전경(1662), 배경(1664) 및 홀(1666)을 가질 수 있다. 즉, 타겟 패치(1660) 내에는 전경(1662), 배경(1664) 및 홀(1666)이 혼재되었다. 타겟 패치(1660)의 시차 정보(1620) 또한 전경(1622), 배경(1624) 및 홀(1626)을 가질 수 있다.
타겟 패치 내에 전경이 없을 경우, 홀 복원부(1240)는 초기 기준 시점 레이어(1650) 또는 누적된 기준 시점 레이어 내에서 가장 유사한 배경을 탐색할 수 있다. 그러나, 도 10에서 도시된 것처럼, 타겟 패치(1660) 내에 전경(1662) 및 배경(1664)이 함께 있는 경우, 타겟 패치(1660) 내에서 전경(1662)이 분리되지 않으면, 홀 복원부(1240)는 전경(1662)과 유사한 패치를 소스 패치로서 선택할 수 있다. 따라서, 홀 복원부(1240)가 전경을 나타내는 정보를 사용하여 초기 기준 시점 레이어(1650) 내의 홀을 복원하는 오류가 발생할 수 있다. 이러한 오류는 초기 기준 시점 레이어(1650) 또는 누적된 기준 시점 레이어 내의 전경이 초기 기준 시점 레이어(1650)의 홀로 확산되는 것을 의미할 수 있다.
홀 복원부(1240)는 타겟 패치(1660) 내의 픽셀들의 시차들을 분석하여 상기의 픽셀들을 전경 픽셀 및 배경 픽셀로 분류할 수 있다.
홀 복원부(1240)는 타겟 패치 내의 픽셀들의 시차들이 단일한 군으로 분류되는 경우, 모든 픽셀들을 배경으로 간주할 수 있다. 홀 복원부(1240)는 타겟 패치 내의 픽셀들의 시차들이 2 개의 군들로 분류될 경우, 낮은 시차를 갖는 군에 해당하는 픽셀들을 배경으로 간주하고, 높은 시차를 갖는 군에 해당하는 픽셀들을 전경으로 간주할 수 있다. 홀 복원부(1240)는 타겟 패치 내의 픽셀들의 시차들이 3 개 이상의 군들로 분류될 경우, 가장 낮은 시차를 갖는 군에 해당하는 픽셀들 만을 배경으로 간주하고, 다른 시차를 갖는 군에 해당하는 픽셀들은 전경으로 간주할 수 있다.
홀 복원부(1240)는 타겟 패치 내의 픽셀들의 시차들에 따라, 타겟 패치 내의 픽셀들 중 배경 픽셀들만을 선택할 수 있고, 초기 기준 시점 레이어(1650) 또는 누적된 기준 시점 레이어 내에서, 선택된 배경 픽셀들과 가장 유사한 픽셀들을 소스 패치로 결정할 수 있다. 즉, 홀 복원부(1240)는 타겟 패치 내의 픽셀들 중 배경 픽셀들만을 사용하여 소스 패치를 결정할 수 있다.
도 10에서, 배경 픽셀들만이 선택된 타겟 패치(1670)가 도시되었다. 배경 픽셀들만이 선택된 타겟 패치(1670)는 배경(1674) 및 홀(1676)만을 갖는다. 타겟 패치(1660)에서 전경(1662)이었던 영역은 배경 픽셀들만이 선택된 타겟 패치(1670)에서는 홀(1676)의 일부가 된다.
입력 뷰에서는 전경에 의해 폐색되었던 배경이 초기 기준 시점 레이어에서는 관측될 수 있다. 이러한 폐색되었던 배경은 초기 기준 시점 레이어에서는 홀로 나타날 수 있다. 따라서, 홀 복원부(1240)는 전경에 대한 정보는 배제하고, 배경에 대한 정보만을 사용하여 상기의 홀을 복원할 수 있다. 홀 복원부(1240)는 배경의 구조를 유지한 채 홀을 복원함으로써 시각적으로 자연스러운 결과를 도출할 수 있다.
도 17은 일 예에 따른 움직임 추정을 통해 누적된 배경 레이어를 생성한 결과를 설명한다.
홀 복원부(1240)는 이전 프레임의 기준 시점 뷰(1710) 및 현재 프레임의 기준 시점 뷰(1720)를 비교함으로써 현재 프레임의 기준 시점 뷰(1720)의 움직임을 추정할 수 있다.
이전 프레임의 기준 시점 뷰(1710)의 시차 정보(1712) 및 영상(1714)이 도시되었고, 현재 프레임의 기준 시점 뷰(1720)의 시차 정보(1722) 및 영상(1724)이 도시되었다. 양 시차 정보(1712 및 1722)에 따르면, 이전 프레임의 기준 시점 뷰(1710) 내에는 전경 및 배경이 있고, 현재 프레임의 기준 시점 뷰(1720) 내에도 전경 및 배경이 있다.
도 17에서, 현재 프레임의 기준 시점 뷰(1720) 내의 배경은 우측 방향으로 패닝(panning)하고 있고, 현재 프레임의 기준 시점 뷰(1720) 내의 전경은 아래 방향으로 움직이고 있다. 일반적인 움직임 추정 방법이 사용될 경우, 연속된 프레임들 사이에서의 블록들 각각의 이동 방향이 예측될 수 있다. 블록은 기준 시점 뷰 내의 적어도 하나의 픽셀일 수 있다.
움직임 추정된 뷰(1730)는 배경(1740) 및 전경(1750)을 포함할 수 있다. 배경(1740)의 추정된 움직임 벡터(1742) 및 전경(1750)의 추정된 움직임 벡터(1752)가 도시되었다. 일반적인 움직임 추정 방법은, 도 17에서 도시된 것과 같이, 블록이 배경(1750)인지 또는 전경(1752)인지와는 무관하게 블록의 이동 방향을 예측할 수 있다.
초기 기준 시점 레이어 내의 홀을 복원하기 위해서는 현재 프레임의 기준 시점 뷰(1720)에서는 전경에 의해 폐색된 배경에 대한 정보가 누적된 배경 레이어(1760) 내에 존재해야 할 필요가 있다. 그러나, 움직임 벡터(1752)는 이전 프레임의 기준 시점 뷰(1710) 내의 전경을 가리킨다. 따라서, 움직임 추정된 뷰(1730) 내의 전경(1750)에 의해 폐색된 배경에 대한 정보가 이전 프레임의 기준 시점 뷰(1710) 중 어느 부분에 있는지가 식별될 수 없다. 따라서, 누적된 배경 레이어(1760) 내에 배경(1762) 외에도 전경(1764)이 존재할 수 있으며, 누적된 배경 레이어(1760)에 연속된 프레임들의 배경들이 정확하게 누적되지 못할 수 있다.
도 18은 일 예에 따른 움직임 벡터의 확산을 설명한다.
움직임 벡터 확산(diffusion)은 전경에 대해서는 움직임 벡터의 추정을 배제하고, 전경에 인접한 배경의 움직임 벡터를 상기의 전경의 움직임 벡터로서 대체하여 사용하는 것을 의미할 수 있다.
도 18에서, 움직임 벡터 확산이 적용된 뷰(1810)가 도시되었다. 움직임 벡터 확산이 적용된 뷰(1810)는 배경(1820) 및 전경(1830)을 포함할 수 있다. 배경(1820)의 추정된 움직임 벡터(1822)가 도시되었고, 전경(1830)의 움직임 벡터 확산에 의해 생성된 움직임 벡터(1832)가 도시되었다. 전경(1830)의 움직임 벡터(1832)는 배경(1820)의 움직임 벡터(1830)가 확산된 것일 수 있다.
움직임 벡터(1832)는 이전 프레임의 기준 시점 뷰(1710) 내의 배경을 가리킨다. 즉, 움직임 벡터(1832)가 가리키는 배경은 움직임 벡터 확산이 적용된 뷰(1810)의 전경(1830)에 의해 폐색된 배경에 대한 정보를 가리킬 수 있다. 따라서, 움직임 추정부(1210)는 움직임 벡터(1832)가 가리키는 이전 프레임의 기준 시점 뷰(1710) 내의 배경을 사용하여 현재 프레임의 기준 시점 뷰(1720)의 전경을 대체할 수 있다. 따라서, 누적된 배경 레이어(1840)는 배경(1842)을 포함하며, 움직임 벡터 확산이 적용된 뷰(1810)의 전경(1830)에 대응하는 부분(1844) 또한 배경일 수 있다. 배경 레이어 누적부(1250)는 전술된 전경에 대한 움직임 벡터의 확산을 통해 다양한 움직임을 갖는 연속된 프레임들의 배경들을 누적된 배경 레이어(1840)에 누적할 수 있다.
도 19는 일 예에 따른 블록들 간의 움직임 벡터의 확산을 도시한다.
제1 컬러 정보(1900)에서, 5 개의 블록들(1910, 1912, 1914, 1916 및 1918) 및 5 개의 블록들(1910, 1912, 1914, 1916 및 1918) 각각의 추정된 움직임 벡터들(1920, 1922, 1924, 1926 및 1928)이 도시되었다. 또한, 제1 시차 정보(1930)에서, 5 개의 블록들(1910, 1912, 1914, 1916 및 1918) 각각의 시차 정보(1940, 1942, 1944, 1946 및 1948)가 도시되었다.
제1 블록(1910) 및 제2 블록(1912)은 배경을 나타내는 배경 블록이고, 제3 블록(1914), 제4 블록(1916) 및 제5 블록(1918)은 전경을 나타내는 전경 블록들이다.
제2 컬러 정보(1950) 및 제2 시차 정보(1970)는 5 개의 블록들(1910, 1912, 1914, 1916 및 1918)에 움직임 벡터 확산이 적용된 결과를 나타낸다.
움직임 추정은 배경 블록에 인접한 전경 블록에 적용될 수 있다. 도 19에서, 배경 블록에 인접한 전경 블록은 제3 블록(1914)이다. 움직임 추정부(1210)는 제1 블록(1910)의 움직임 벡터(1920) 또는 제2 블록(1912)의 움직임 벡터(1922)를 제3 블록(1914)으로 확산함으로써 제3 블록(1914)에게 새로운 움직임 벡터(1964)를 할당해 줄 수 있다. 움직임 벡터의 확산은, 움직임 벡터가 확장된 전경 블록이 전경에 의해 폐색된 배경 블록으로 간주된다는 것을 의미할 수 있다. 따라서, 움직임 벡터가 확장된 전경 블록은 배경 블록을 나타내는 시차 정보를 가질 수 있다. 움직임 추정부(1210)는 제1 블록(1910)의 시차 정보(1940) 또는 제2 블록(1912)의 시차 정보(1942)를 제3 블록(1914)으로 확산함으로써 제3 블록(1914)에게 배경을 나타내는 새로운 시차 정보(1984)를 할당해 줄 수 있다.
도 20은 일 예에 따른 반복적인(iterative) 움직임 벡터의 확산을 설명한다.
움직임 벡터는 배경 및 전경에 인접한 경계 전경 블록(또는, 화소)로부터 전경의 중심에 있는 내부 전경 블록으로 점진적으로 확산될 수 있다.
확산 전 최초 기준 시점 뷰의 영상(2010) 및 확산 전 최초 기준 시점 뷰의 시차 정보(2020)가 도시되었다. 확산 전 최초 기준 시점 뷰의 영상(2010)은 전경(2012) 및 배경(2014)을 포함한다.
확산이 처음으로 수행되면, 제1 확산 후 기준 시점 뷰의 영상(2030) 및 제1 확산 후 기준 시점 뷰의 시차 정보(2040)가 생성된다. 제1 확산 후, 기준 시점 뷰의 영상(2030)에서, 배경 블록에 인접한 전경 블록들의 움직임 벡터가 변경되었다. 즉, 배경 블록의 움직임 벡터가 배경 블록에 인접한 전경 블록으로 확산되었다.
배경 블록의 움직임 벡터가 전경 블록으로 확산되면, 움직임 벡터가 확산된 전경 블록은 폐색된 배경 블록으로 간주될 수 있다. 따라서, 움직임 벡터가 확산된 전경 블록에 대한 시차 정보가 인접한 배경의 시차 정보와 같은 값을 갖도록 변경될 수 있다.
확산이 반복되면, 제2 확산 후 기준 시점 뷰의 영상(2050) 및 제1 확산 후 기준 시점 뷰의 시차 정보(2060)가 생성된다. 제2 확산 후, 기준 시점 뷰의 영상(2030)에서, 제1 확산에 의해 움직임 벡터가 변경된 블록에 인접한 전경 블록들의 움직임 벡터가 변경되었다. 즉, 제1 확산이 적용된 전경 블록의 움직임 벡터가 상기의 제1 확산이 적용된 전경 블록에 인접한 전경 블록으로 확산되었다.
제2 확산 후, 기준 시점 뷰 내에서는 전경 블록이 존재하지 않는다. 따라서, 확산은 더 이상 반복되지 않는다.
도 21은 일 예에 따른 움직임 벡터의 확산의 흐름도이다.
단계(2110)에서, 움직임 추정부(1210)는 뷰 내의 블록들 각각의 움직임을 추정할 수 있다. 여기서, 블록은 적어도 하나의 픽셀일 수 있다. 블록은 사각형의 형태를 갖는 적어도 하나의 픽셀일 수 있다. 여기서, 뷰는 기준 시점 뷰일 수 있다.
상기의 블록은 전경 블록 또는 배경 블록일 수 있다. 즉, 단계(2110)는 뷰 내의 모든 블록들 각각의 움직임을 추정함으로써 블록들 각각의 움직임 벡터의 초기 값을 생성할 수 있다.
하기의 단계들(2110 내지 2150)에서, 움직임 추정부(1210)는 블록들 중 배경에 대응하는 블록의 추정된 움직임을 블록들 중 전경에 대응하는 전경 블록의 움직임으로서 상기의 전경에 대응하는 블록으로 확산시킬 수 있다. 이하, 뷰 내의 블록들 중 전경에 대응하는 블록을 전경 블록으로 명명한다. 뷰 내의 블록들 중 배경에 대응하는 블록을 배경 블록으로 명명한다.
이하, 움직임 벡터의 확산이 적용될 블록을 현재 블록으로 명명한다. 현재 블록은 뷰 내의 블록들 중 전경에 대응하는 하나의 블록일 수 있다. 현재 블록은 전경 블록 중 적어도 하나의 배경 블록과 인접한 블록일 수 있다.
단계(2120)에서, 움직임 추정부(1210)는 현재 블록에 인접한 블록들 각각의 평균 시차를 계산할 수 있다. 여기서, 현재 블록에 인접한 블록들이란, 좌표 상으로 현재 블록의 위에 있는 블록, 현재 블록의 아래에 있는 블록, 현재 블록의 좌측에 있는 블록 및 현재 블록의 우측에 있는 블록을 의미할 수 있다. 평균 시차는 인접한 블록 내의 하나 이상의 픽셀들의 시차 값들의 평균일 수 있다.
단계(2130)에서, 움직임 추정부(1210)는 현재 블록에 대한 최소 시차 블록을 결정할 수 있다. 최소 시차 블록은 현재 블록에 인접한 블록들 중 평균 시차 값이 가장 작은 블록일 수 있다.
단계(2140)에서, 움직임 추정부(1210)는 현재 블록의 평균 시차가 최소 시차 블록의 평균 시차보다 더 큰가를 검사한다. 만약, 현재 블록의 평균 시차가 최소 시차 블록의 평균 시차보다 더 크다면, 단계(2150)가 수행된다. 현재 블록의 평균 시차가 최소 시차 블록의 평균 시차보다 더 크다면 현재 블록은 상대적으로 전경 블록으로 간주될 수 있다. 또한, 최소 시차 블록은 상대적으로 배경 블록으로 간주될 수 있다. 따라서, 최소 시차 블록의 움직임 벡터가 현재 블록으로 확산될 수 있다.
현재 블록의 평균 시차가 최소 시차 블록의 평균 시차 이하이면, 현재 블록은 상대적으로 배경 블록으로 간주될 수 있으며, 현재 블록으로 다른 블록의 움직임 벡터가 확산될 필요가 없다. 따라서, 현재 블록의 평균 시차가 최소 시차 블록의 평균 시차 이하이면 절차가 종료한다.
단계(2150)에서, 움직임 추정부(1210)는 최소 시차 블록의 움직임 벡터를 현재 벡터로 확산할 수 있다. 즉, 움직임 추정부(1210)는 최소 시차 블록의 움직임 벡터가 현재 벡터의 움직임 벡터를 대체하게 할 수 있다.
단계들(2110 내지 2150)에 의해, 하나의 전경에 대응하는 블록으로 움직임 벡터가 확산될 수 있다. 따라서, 움직임 추정부(1210)는 뷰 내에 전경에 대응하는 블록이 존재하지 않을 때까지 반복해서 단계들(2110 내지 2150)을 수행할 수 있다. 단계들(2110 내지 2150)이 반복해서 수행됨으로써, 배경 블록에 인접하지 않았던 전경 블록들로도 배경 블록의 움직임 벡터가 확산될 수 있다.
도 22는 일 예에 따른 프레임-간 인페인팅 및 프레임-내 인페인팅의 결과를 비교한다.
도 22에서, 이전 프레임의 기준 시점 뷰(2210) 및 현재 프레임의 기준 시점 뷰(2240)가 도시되었다. 이전 프레임의 기준 시점 뷰(2210)는 시차 정보(2220) 및 영상(2230)을 포함한다. 현재 프레임의 기준 시점 뷰(2240)는 시차 정보(2250) 및 영상(2260)을 포함한다.
본 예에서, 누적된 배경 레이어는 이전 프레임에 기반하여 생성되는 것으로 간주된다. 즉, 이전 프레임의 기준 시점 뷰(2210)를 누적된 배경 레이어로 간주한다.
이전 프레임의 기준 시점 뷰(2210)의 시차 정보(2220) 및 영상(2230) 내에서, 제1 탐색 영역이 사각형의 박스로 표시되었다. 제1 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-간 인페인팅이 사용될 때 이전 프레임의 기준 시점 뷰(2210)(즉, 누적된 배경 레이어) 내의 소스 패치가 탐색되는 영역일 수 있다.
또한, 현재 프레임의 기준 시점 뷰(2140)의 시차 정보(2250) 및 영상(2260) 내에서, 제2 탐색 영역이 사각형의 박스로 표시되었다. 제2 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-간 인페인팅이 사용될 때 현재 프레임의 기준 시점 뷰(2240) 내의 소스 패치가 탐색되는 영역일 수 있다.
제1 탐색 영역 및 제2 탐색 영역은 각각 복원될 홀(또는, 홀에 대응하는 픽셀)에 인접한 영역일 수 있다.
초기 기준 시점 레이어(2270), 제1 기준 시점 레이어(2280) 및 제2 기준 시점 레이어(2290)가 도시되었다. 제1 기준 시점 레이어(2280)는 최적 패치 탐색 기반 프레임-간 인페인팅을 적용하여 상기의 초기 기준 시점 레이어(2270) 내의 홀을 복원함으로써 생성될 수 있다. 제2 기준 시점 레이어(2290)는 최적 패치 탐색 기반 프레임-내 인페인팅을 적용하여 상기의 초기 기준 시점 레이어(2270) 내의 홀을 복원함으로써 생성될 수 있다.
이전 프레임의 기준 시점 뷰(2210) 및 현재 프레임의 기준 시점 뷰(2240)를 참조하면, 배경은 이동하지 않고, 전경이 좌측으로 이동한다. 즉, 이전 프레임 내에서는 드러나는 배경이 현재 프레임 내에서는 전경에 의해 폐색되어 있다. 따라서, 초기 기준 시점 레이어(2270) 내의 홀은 이전 프레임을 참조하여(즉, 프레임-간 인페인팅을 사용하여) 복원되는 것이 바람직할 수 있다. 따라서, 프레임-간 인페인팅이 적용된 제1 기준 시점 레이어(2280)가 프레임-내 인페인팅이 적용된 제2 기준 시점 레이어(2290)보다 더 정확하게 홀을 복원한 결과를 가지고 있을 수 있다.
프레임-간 인페인팅이 적용된 제1 기준 시점 레이어(2280) 및 프레임-내 인페인팅이 적용된 제2 기준 시점 레이어(2290) 중 어떤 기준 시점 레이어가 더 정확하게 홀을 복원한 결과를 나타내는지를 판단하기 위해, 가중치 결정부(1230)는 제1 탐색 영역 및 제2 탐색 영역을 비교할 수 있다.
제1 배경 비율은 제1 탐색 영역 내의 배경의 비율이다. 제2 배경 비율은 제2 탐색 영역 내의 배경의 비율이다. 일반적으로, 배경을 많이 포함하는 탐색 영역이 사용될 경우, 홀이 더 잘 복원될 수 있다.
가중치 결정부(1230)는 제1 탐색 영역 내에서 발생한 배경의 폐색의 정도 및 제2 탐색 영역 내에서 발생한 배경의 폐색의 정도에 기반하여, 프레임-간 인페인팅에 의해 홀이 복원된 결과 및 프레임-내 인페인팅에 의해 홀이 복원된 결과를 최종적인 기준 시점 레이어를 생성하기 위해 적응적으로 선택할 수 있다. 여기서, 적응적인 선택이란 전술된 수학식 2에서의 가중치 β의 값을 선택하는 것을 의미할 수 있다.
가중치 결정부(1230)는 제1 배경 비율이 제2 배경 비율보다 더 큰 경우 β의 값을 0으로 설정할 수 있다. 따라서, 홀 복원부(1240)는 제1 배경 비율이 제2 배경 비율보다 더 큰 경우 프레임-간 인페인을 사용하여 초기 기준 시점 레이어(2270) 내의 홀을 복원할 수 있다.
가중치 결정부(1230)는 제1 배경 비율이 제2 배경 비율보다 더 작은 경우 β의 값을 1로 설정할 수 있다. 따라서, 홀 복원부(1240)는 제1 배경 비율이 제2 배경 비율보다 더 작은 경우 프레임-내 인페인을 사용하여 초기 기준 시점 레이어(2270) 내의 홀을 복원할 수 있다.
가중치 결정부(1230)는 제1 배경 비율 및 제2 배경 비율이 서로 유사한 경우 β의 값을 0.5로 설정할 수 있다. 따라서, 홀 복원부(1240)는 제1 배경 비율 및 제2 배경 비율이 서로 유사한 경우, 프레임-간 인페인팅을 사용함으로써 홀이 복원된 결과 및 프레임-간 인페인팅을 사용함으로써 홀이 복원된 결과를 혼합하여 기준 시점 레이어를 생성할 수 있다.
도 22에서, 제1 탐색 영역 내에는 전경이 없다. 제2 탐색 영역 내에는 전경이 존재한다. 즉, 제1 배경 비율이 제2 배경 비율보다 더 크다. 따라서, 제1 기준 시점 레이어(2280)가 제2 기준 시점 레이어(2290)에 비해 더 정확한 것으로 간주될 수 있다.
도 23은 일 예에 따른 일 예에 따른 프레임-간 인페인팅 및 프레임-내 인페인팅의 결과를 비교한다.
도 23에서, 이전 프레임의 기준 시점 뷰(2310) 및 현재 프레임의 기준 시점 뷰(2340)가 도시되었다. 이전 프레임의 기준 시점 뷰(2310)는 시차 정보(2320) 및 영상(2330)을 포함한다. 현재 프레임의 기준 시점 뷰(2340)는 시차 정보(2350) 및 영상(2360)을 포함한다.
본 예에서, 누적된 배경 레이어는 이전 프레임에 기반하여 생성되는 것으로 간주한다. 즉, 이전 프레임의 기준 시점 뷰(2310)를 누적된 배경 레이어로 간주한다.
이전 프레임의 기준 시점 뷰(2310)의 시차 정보(2320) 및 영상(2330) 내에서, 제1 탐색 영역이 사각형의 박스로 표시되었다.
또한, 현재 프레임의 기준 시점 뷰(2140)의 시차 정보(2250) 및 영상(2260) 내에서, 제2 탐색 영역이 사각형의 박스로 표시되었다. 이전 프레임의 기준 시점 뷰(2310) 및 현재 프레임의 기준 시점 뷰(2340)를 참조하면, 배경은 좌측으로 이동한다. 따라서, 제2 탐색 영역은 기준 시점 레이어(2370) 내의 탐색 영역에 비해, 배경의 움직임 벡터에 따라서, 우측으로 이동한다. 즉, 이전 프레임의 기준 시점 뷰(232) 내에서의 제2 탐색 영역의 위치는, 기준 시점 레이어(2370) 내의 탐색 영역의 위치에 비해 상대적으로 더 우측에 있다. 여기서, 배경의 움직임 벡터는 움직임 벡터 확산에 의해 추정된 것일 수 있다.
또한, 초기 기준 시점 레이어(2370), 제1 기준 시점 레이어(2380) 및 제2 기준 시점 레이어(2390)가 도시되었다. 제1 기준 시점 레이어(2380)는 최적 패치 탐색 기반 프레임-간 인페인팅을 적용하여 상기의 초기 기준 시점 레이어(2370) 내의 홀을 복원함으로써 생성될 수 있다. 제2 기준 시점 레이어(2390)는 최적 패치 탐색 기반 프레임-내 인페인팅을 적용하여 상기의 초기 기준 시점 레이어(2370) 내의 홀을 복원함으로써 생성될 수 있다.
이전 프레임의 기준 시점 뷰(2310) 및 현재 프레임의 기준 시점 뷰(2340)를 참조하면, 배경은 좌측으로 이동하고, 전경은 우측으로 이동한다. 즉, 이전 프레임 내에서는 폐색되었단 배경이 현재 프레임 내에서 새롭게 나타난다. 따라서, 초기 기준 시점 레이어(2370) 내의 홀은 현재 프레임을 참조하여(즉, 프레임-내 인페인팅을 사용하여) 복원되는 것이 바람직할 수 있다. 따라서, 프레임-내 인페인팅이 적용된 제2 기준 시점 레이어(2390)이 프레임-간 인페인팅이 적용된 제1 기준 시점 레이어(2380)보다 더 정확하게 홀을 복원한 결과를 가지고 있을 수 있다.
도 23에서, 제1 탐색 영역 내에서 배경이 차지하는 비율보다 제2 탐색 영역 내에서 배경이 차지하는 배경의 비욜이 더 크다. 즉, 제2 배경 비율이 제1 배경 비율보다 더 크다. 따라서, 제2 기준 시점 레이어(2390)가 제1 기준 시점 레이어(2380)에 더 정확한 것으로 간주될 수 있다.
도 24는 일 예에 따른 누적된 배경 레이어를 갱신하는 방법의 흐름도이다.
단계(1360)는 단계들(2410 내지 2430)을 포함할 수 있다.
단계(2410)에서, 배경 레이어 누적부(1250)는 현재 프레임(또는, 현재 프레임의 기준 시점 뷰)에서 장면 전환이 발생하였는지 여부를 판단할 수 있다. 누적된 배경 레이어에 기준 시점 레이어의 배경을 바르게 누적하고, 누적된 배경 레이어를 이옹하여 초기 기준 시점 레이어 내의 홀을 바르게 복원하기 위해서는 장면 전환의 검출이 요구된다.
장면 전환이 발생한 경우, 단계(2420)가 실행될 수 있다. 장면 전환이 발생하지 않은 경우, 단계(2430)가 실행될 수 있다. 배경 레이어 누적부(1250)는 장면 전환 판단부(1220)의 판단 결과에 기반하여 장면 전환이 발생하였는지 여부를 판단할 수 있다.
현재 프레임에서 장면 전환이 발생한 경우, 단계(2420)에서, 배경 레이어 누적부(1250)는 누적된 배경 레이어를 초기화할 수 있다. 장면 전환이 발생한 경우, 이전 프레임의 기준 시점 레이어의 배경에 대한 정보는, 현재 프레임의 이후 프레임의 초기 기준 시점 레이어 내의 홀을 복원하기에는 부적합할 수 있다. 따라서, 누적된 배경 레이어는 현재 프레임의 기준 시점 레이어의 배경에 대한 정보만을 포함할 필요가 있다. 따라서, 단계(2430)에 앞서 누적된 배경 레이어가 초기화될 수 있다.
단계(2430)에서, 배경 레이어 누적부(1250)는 현재 프레임의 기준 시점 레이어의 배경을 누적된 배경 레이어와 조합할 수 있다.
현재 프레임의 기준 시점 레이어의 배경은 블록 별(또는, 픽셀 별)로 누적된 배경 레이어와 조합될 수 있다.
우선, 배경 레이어 누적부(1250)는, 기준 시점 레이어 내의 제1 블록에 대해, 상기의 제1 블록의 움직임 벡터를 사용하여 상기의 제1 블록에 대응하는 누적된 배경 레이어 내의 제2 블록을 검색한다.
배경 레이어 누적부(1250)는 제1 블록의 (평균) 시차 및 제2 블록의 (평균) 시차를 비교할 수 있다. 배경 레이어 누적부(1250)는 제1 블록 및 제2 블록 중 낮은 시차를 갖는 블록의 컬러 값들(즉, 블록 내의 픽셀들의 컬러 값들)을 현재 프레임에 대한 누적된 배경 레이어의 제2 블록의 컬러 값들로 사용한다. 즉, 배경 레이어 누적부(1250)는 제1 블록의 (평균) 시차가 제2 블록의 (평균) 시차보다 더 낮을 경우, 제1 블록의 컬러 값들을 제2 블록의 컬러 값들로 복사한다. 따라서, 현재 프레임의 기준 시점 레이어에서 시차가 낮은 배경 영역이 나타난 경우, 배경 레이어 누적부(1250)는 상기의 배경 영역을 누적된 배경 레이어의 일부로서 사용할 수 있다. 현재 프레임의 기준 시점 레이어에서 시차가 낮은 배경 영역이 나타나지 않은 경우, 배경 레이어 누적부(1250)는 현재 프레임을 처리할 때 사용된 누적된 배경 레이어를 이후 프레임을 사용할 때에도 그대로 사용할 수 있다.
도 25는 일 예에 따른 기준 시점 레이어의 배경을 누적된 배경 레이어에 누적하는 과정을 설명한다..
도 25에서, 첫 번째 행의 그림들은 t-N 프레임부터 t-N+3 프레임까지의 기준 시점 레이어들 각각의 시차 정보를 나타낸다. 두 번째 행의 그림들은 t-N 프레임부터 t-N+3 프레임까지의 기준 시점 레이어를 나타낸다. 세 번째 행의 그림들은 t-N-1 프레임 내지 t-N+3 프레임을 처리하면서 생성된 누적된 배경 레이어들을 나타낸다. 네 번째 행의 그림들은 누적 배경 레이어의 시차 정보를 나타낸다.
t-N+1 프레임까지는, 배경은 이동하지 않고, 전경의 객체가 우측으로 이동한다.
t-N 프레임에서, 홀 복원부(1240)는 이전 프레임에서 갱신된 누적된 배경 레이어 및 기준 시점 레이어를 비교할 수 있다. 홀 복원부(1240)는 각 블록(또는, 픽셀) 별로, 기준 시점 레이어 내의 제1 블록 및 상기의 제1 블록에 대응하는 누적된 배경 레이어 내의 제2 블록 중 더 작은 (평균) 시차를 갖는 블록을 새로운 누적된 배경 레이어로 누적할 수 있다. 즉, 제1 블록 및 제2 블록 중 하나가 전경 블록이고, 하나가 배경 블록인 경우 배경 불록이 배경 레이어의 일부로서 누적될 수 있다. 따라서, t-N 프레임에서의 누적된 배경 레이어는, t-N-1 프레임에서의 누적된 배경 레이어에 비해, 배경 블록들을 더 많이 포함할 수 있다.
또한, t-N+1 프레임 내지 t-N+3 프레임에서도, 상술된 것과 같은 비교 및 누적이 적용될 수 있다. 예컨대, t-N+1 프레임에서도, t-N 프레임에서 갱신된 누적된 배경 레이어 및 기준 시점 레이어가 비교될 수 있다.
t-N+2 프레임부터는 배경이 이동한다. 배경 레이어 누적부(1250)는 움직임 확산에 의해 추정된 움직임 벡터를 사용하여, 이전 프레임에서 갱신된 누적된 배경 레이어의 정보를 현재 프레임의 기준 시점 레이어에 추가할 수 있다. 배경의 움직임에 따라 현재 프레임의 기준 시점 레이어의 배경에 대한 정보가 누적적으로 추가될 수 있다. 따라서, 현재 프레임의 기준 시점 레이어에서는 관측되지 않는 영역에 대응하는 배경의 정보 또한 누적된 배경 레이어 내에는 존재할 수 있다. 따라서, 홀 복원부(1240)는 현재 프레임의 시점에서는 관측되지 않는 이전 프레임의 기준 시점 레이어 내의 배경 정보를 현재 프레임의 초기 기준 시점 레이어의 홀을 복원하기 위해 사용할 수 있다.
상술된 것과 같은 누적에 의해, 현재 프레임의 기준 시점 레이어에서는 폐색 때문에 참조될 수 없는 배경에 대한 정보들도 누적된 배경 레이어 내에서는 남아 있을 수 있다. 즉, 배경에 대한 정보가 누적된 배경 레이어 내에서 점진적으로 누적될 수 있다. 예컨대, 도 25에서, t-N+1 프레임에서 갱신된 누적된 배경 레이어 및 t-N+1 프레임 이후의 프레임에서 갱신된 누적된 배경 레이어는 폐색된 영역 없이 모든 배경에 대한 정보를 포함한다.
홀 복원부(1240)는 프레임-간 인페인팅을 통해 누적된 배경 레이어 내에 있는 배경에 대한 누적된 정보를 다음 프레임의 초기 기준 시점 레이어 내의 홀을 복원하기 위해 사용할 수 있다. 배경에 대한 누적된 정보를 사용함으로써, 홀 복원의 성능이 향상될 수 있고, 홀을 복원함에 있어서 시공간적인 균일성이 유지될 수 있다.
도 26은 일 예에 따른 출력 뷰의 생성 및 출력 뷰의 홀을 복원하는 방법을 설명한다.
출력 뷰 생성부(250)는 하나 이상의 입력 뷰들을 사용하여 하나 이상의 출력 뷰들을 생성할 수 있다. 출력 뷰는 출력 영상을 포함할 수 있다. 출력 영상은 출력 뷰의 시점에서의 영상을 의미할 수 있다. 도 26에서, 하나 이상의 출력 뷰로서, 제1 출력 영상(2610) 및 제2 출력 영상(2620)이 도시되었다.
참조 뷰들은 하나 이상의 입력 뷰들 중 특정한 출력 영상을 생성하기 위해 선택된 뷰들을 의미할 수 있다. 예컨대, 내삽에 의해 출력 영상이 생성될 경우, 단계(350)에서, 출력 뷰 생성부(250)는 출력 영상의 시점에 좌/우로 가장 근접한 2 개의 입력 뷰들을 참조 뷰들로서 선택할 수 있다. 외삽에 의해 출력 영상이 생성될 경우, 출력 뷰 생성부(250)는 출력 영상의 시점에 가장 근접한 1 개의 입력 뷰(즉, 최외각 뷰)를 참조 뷰로서 선택될 수 있다.
단계(350)에서, 출력 뷰 생성부(250)는 참조 뷰(들)의 시차 정보를 사용하여 참조 뷰(들)의 영상을 제1 출력 영상(2610)의 시점으로 와핑함으로써 제1 출력 영상(2610)을 생성할 수 있다. 출력 뷰 생성부(250)는 참조 뷰(들)의 시차 정보를 사용하여 참조 뷰(들)의 영상을 제2 출력 영상(2620)의 시점으로 와핑함으로써 제2 출력 영상(2620)을 생성할 수 있다.
하나 이상의 입력 뷰들의 시점 및 출력 영상(2610 또는 2620)의 시점 간의 차이로 인해, 출력 시점의 영상 내에서 홀(2612 또는 2622)이 발생할 수 있다.
단계(360)에서, 출력 뷰 홀 복원부(260)는 각 출력 영상(2610 또는 920)을 위해 출력 시점의 기준 시점 레이어 영상들(2630 및 2640)을 생성할 수 있다. 출력 뷰 홀 복원부(260)는 기준 시점 레이어의 시차 정보를 사용하여 기준 시점 레이어의 영상을 와핑함으로써 출력 시점의 기준 시점 레이어 영상들(2630 및 2640)을 생성할 수 있다. 여기서, 기준 시점 레이어의 와핑은, 기준 시점 레이어 내의 홀 복원에 필요한 정보를 각 출력 시점으로 전파하는 것으로 간주될 수 있다.
단계(360)에서, 출력 뷰 홀 복원부(260)는 제1 출력 영상(2610)의 시점으로 와핑된 제1 기준 시점 레이어 영상(2630)을 사용하여 제1 출력 영상(2610) 내의 홀(2612)을 복원할 수 있다. 출력 뷰 홀 복원부(260)는 제1 기준 시점 레이어 영상(2630) 중 홀(2612)에 대응하는 영역(2632)을 홀(2612)을 복원하기 위해 사용할 수 있다. 또한, 출력 뷰 홀 복원부(260)는 제2 출력 영상(2620)의 시점으로 와핑된 제2 기준 시점 레이어 영상(2630)을 사용하여 제2 출력 영상(2620) 내의 홀(2622)을 복원할 수 있다. 출력 뷰 홀 복원부(260)는 제2 기준 시점 레이어 영상(2640) 중 홀(2622)에 대응하는 영역(2642)을 홀(2622)을 복원하기 위해 사용할 수 있다.
단계(360)에서, 출력 뷰 홀 복원부(260)는 출력 영상(2610 또는 2620) 및 상기 출력 영상(2610 또는 2620)의 시점으로 와핑된 출력 시점의 기준 시점 레이어 영상(2630 또는 2640)을 합성함으로써 홀이 복원된 출력 영상(2650 또는 2660)을 생성할 수 있다.
출력 뷰 홀 복원부(260)는 와핑된 기준 시점 레이어 영상(2630 또는 2640)을 출력 영상(2650 또는 2660)의 시점에서의 배경 정보로 간주할 수 있다. 즉, 출력 뷰 홀 복원부(260)는 와핑을 통해 기준 시점 레이어의 영상을 출력 영상(2650 또는 2660)의 배경으로서 사용할 수 있다.
각 출력 영상의 홀이 서로 상이한 데이터에 의해 복원되거나, 서로 상이한 방식에 의해 복원될 경우, 홀 랜더링에 있어서 시간적 및 공간적인 불균일성 문제가 발생할 수 있다.
출력 영상 내의 홀 복원을 위해 전술된 기준 시점 레이어를 일괄적으로 사용함으로써, 서로 상이한 시점을 갖는, 서로 상이한 프레임의 출력 뷰들의 시공간적 일관성이 향상될 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 영상 처리 장치
210: 기준 시점 결정부
220: 기준 시점 뷰 생성부
230: 초기 기준 시점 레이어 생성부
240: 기준 시점 레이어 생성부
250: 출력 뷰 생성부
260: 출력 뷰 홀 복원부
270: 출력부

Claims (19)

  1. 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 기준 시점에 대한 기준 시점 뷰를 생성하는 단계;
    적어도 하나의 시점에서 홀로 나타날 수 있는 상기 기준 시점 뷰 내의 영역을 홀로 치환함으로써 상기 현재 프레임의 초기 기준 시점 레이어를 생성하는 단계;
    상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원함으로써 상기 현재 프레임의 기준 시점 레이어를 생성하는 단계;
    상기 하나 이상의 입력 뷰들을 사용하여 출력 시점에서의 영상을 생성하는 단계; 및
    상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 출력 시점의 영상 내의 홀을 복원하는 단계
    를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 기준 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점인, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는,
    누적된 배경 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-간 인페인팅 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-내 인페인팅 중 하나 이상에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 단계; 및
    상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 누적된 배경 레이어를 갱신하는 단계
    를 포함하고,
    상기 누적된 배경 레이어는 상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어의 배경을 누적함으로써 생성되는, 영상 처리 방법.
  4. 제3항에 있어서,
    상기 초기 기준 시점 레이어 내의 홀은 상기 초기 기준 시점 레이어의 배경의 구조체부터 우선적으로 복원하는 최적 패치 탐색 기반 인페인팅에 의해 복원되는, 영상 처리 방법.
  5. 제3항에 있어서,
    상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는,
    제1 가중치 및 제2 가중치를 결정하는 단계
    를 포함하고,
    상기 초기 기준 시점 레이어 내의 홀은 제1 결과에 상기 제1 가중치를 적용한 결과 및 제2 결과에 상기 제2 가중치를 적용한 결과를 합함으로써 복원되고,
    상기 제1 결과는 상기 프레임-간 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과이고,
    상기 제2 결과는 상기 프레임-내 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과인, 영상 처리 방법.
  6. 제3항에 있어서,
    제1 배경 비율은 제1 탐색 영역 내의 배경의 비율이고, 제2 배경 비율은 제2 탐색 영역 내의 배경의 비율이고,
    상기 제1 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-간 인페인팅이 사용될 때 상기 누적된 배경 레이어 내의 소스 패치가 탐색되는 영역이고, 상기 제2 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-내 인페인팅이 사용될 때 상기 기준 시점 뷰 내의 소스 패치가 탐색되는 영역이고,
    상기 제1 배경 비율이 상기 제2 배경 비율보다 큰 경우, 상기 초기 기준 시점 레이어 내의 홀은 상기 프레임-간 인페인팅에 의해 복원되고, 상기 제1 배경 비율이 상기 제2 배경 비율보다 작은 경우, 상기 초기 기준 시점 레이어 내에 홀은 상기 프레임-내 인페인팅에 의해 복원되는, 영상 처리 방법.
  7. 제3항에 있어서,
    상기 현재 프레임의 기준 시점 레이어를 생성하는 단계는,
    상기 현재 프레임의 기준 시점 뷰의 움직임을 추정하는 단계
    를 더 포함하고,
    상기 기준 시점 뷰의 움직임을 추정하는 단계는,
    상기 기준 시점 뷰 내의 블록들 각각의 움직임을 추정하는 단계; 및
    상기 블록들 중 배경에 대응하는 블록의 추정된 움직임을 상기 블록들 중 전경에 대응하는 블록의 움직임으로서 확산하는 단계
    를 더 포함하는, 영상 처리 방법.
  8. 제3항에 있어서,
    상기 누적된 배경 레이어를 갱신하는 단계는,
    상기 기준 시점 뷰의 추정된 움직임을 반영하여 상기 기준 시점 레이어의 배경을 상기 누적된 배경 레이어에 누적하는 단계
    를 포함하는, 영상 처리 방법.
  9. 제3항에 있어서,
    상기 누적된 배경 레이어를 갱신하는 단계는,
    상기 현재 프레임에서 장면 전환이 발생한 경우 상기 누적된 배경 레이어를 초기화하는 단계
    를 더 포함하는, 영상 처리 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
  11. 현재 프레임의 하나 이상의 입력 뷰들을 사용하여 기준 시점에 대한 기준 시점 뷰를 생성하는 기준 시점 뷰 생성부;
    적어도 하나의 시점에서 홀로 나타날 수 있는 상기 기준 시점 뷰 내의 영역을 홀로 치환함으로써 상기 현재 프레임의 초기 기준 시점 레이어를 생성하는 초기 기준 시점 레이어 생성부;
    상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원함으로써 상기 현재 프레임의 기준 시점 레이어를 생성하는 기준 시점 레이어 생성부;
    상기 하나 이상의 입력 뷰들을 사용하여 출력 시점에서의 영상을 생성하는 출력 뷰 생성부; 및
    상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 출력 시점의 영상 내의 홀을 복원하는 출력 뷰 홀 복원부
    를 포함하는, 영상 처리 장치.
  12. 제11항에 있어서,
    상기 기준 시점은 상기 하나 이상의 입력 뷰들 중 중심 입력 뷰의 시점인, 영상 처리 장치.
  13. 제11항에 있어서,
    상기 기준 시점 레이어 생성부는, 누적된 배경 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-간 인페인팅 및 상기 초기 기준 시점 레이어에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 프레임-내 인페인팅 중 하나 이상에 기반하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는 홀 복원부; 및
    상기 현재 프레임의 기준 시점 레이어를 사용하여 상기 누적된 배경 레이어를 갱신하는 배경 레이어 누적부
    를 포함하고,
    상기 누적된 배경 레이어는 상기 현재 프레임의 적어도 하나의 이전 프레임의 기준 시점 레이어의 배경을 누적함으로써 생성되는, 영상 처리 장치.
  14. 제13항에 있어서,
    상기 홀 복원부는 상기 초기 기준 시점 레이어의 배경의 구조체부터 우선적으로 복원하는 최적 패치 탐색 기반 인페인팅을 사용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하는, 영상 처리 장치.
  15. 제13항에 있어서,
    상기 초기 기준 시점 레이어 내의 홀을 복원하는 단계는,
    제1 가중치 및 제2 가중치를 결정하는 가중치 결정부
    를 더 포함하고,
    상기 홀 복원부는 제1 결과에 상기 제1 가중치를 적용한 결과 및 제2 결과에 상기 제2 가중치를 적용한 결과를 합함으로써 상기 초기 기준 시점 레이어 내의 홀을 복원하고,
    상기 제1 결과는 상기 프레임-간 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과이고,
    상기 제2 결과는 상기 프레임-내 인페인팅을 적용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하였을 때의 결과인, 영상 처리 장치.
  16. 제13항에 있어서,
    제1 배경 비율은 제1 탐색 영역 내의 배경의 비율이고, 제2 배경 비율은 제2 탐색 영역 내의 배경의 비율이고,
    상기 제1 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-간 인페인팅이 사용될 때 상기 누적된 배경 레이어 내의 소스 패치가 탐색되는 영역이고, 상기 제2 탐색 영역은 최적 패치 탐색에 기반한 상기 프레임-내 인페인팅이 사용될 때 상기 기준 시점 뷰 내의 소스 패치가 탐색되는 영역이고,
    상기 홀 복원부는, 상기 제1 배경 비율이 상기 제2 배경 비율보다 큰 경우 상기 프레임-간 인페인팅을 사용하여 상기 초기 기준 시점 레이어 내의 홀을 복원하고, 상기 제1 배경 비율이 상기 제2 배경 비율보다 작은 경우 상기 프레임-내 인페인팅을 사용하여 상기 초기 기준 시점 레이어 내에 홀을 복원하는, 영상 처리 장치.
  17. 제13항에 있어서,
    상기 기준 시점 레이어 생성부는,
    상기 현재 프레임의 기준 시점 뷰의 움직임을 추정하는 움직임 추정부
    를 더 포함하고,
    상기 움직임 추정부는, 상기 기준 시점 뷰 내의 블록들 각각의 움직임을 추정하고, 상기 블록들 중 배경에 대응하는 블록의 추정된 움직임을 상기 블록들 중 전경에 대응하는 블록의 움직임으로서 확산하는, 영상 처리 장치.
  18. 제13항에 있어서,
    상기 배경 레이어 누적부는, 상기 기준 시점 뷰의 추정된 움직임을 반영하여 상기 기준 시점 레이어의 배경을 상기 누적된 배경 레이어에 누적하는, 영상 처리 장치.
  19. 제13항에 있어서,
    상기 배경 레이어 누적부는, 상기 현재 프레임에서 장면 전환이 발생한 경우 상기 누적된 배경 레이어를 초기화하는, 영상 처리 장치.
KR1020110141308A 2011-12-23 2011-12-23 멀티-뷰 생성 방법 및 장치 KR20130073459A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020110141308A KR20130073459A (ko) 2011-12-23 2011-12-23 멀티-뷰 생성 방법 및 장치
EP12198926.3A EP2608148B1 (en) 2011-12-23 2012-12-21 Method and apparatus for generating multi-view
US13/723,509 US20130162787A1 (en) 2011-12-23 2012-12-21 Method and apparatus for generating multi-view
JP2012281676A JP5964741B2 (ja) 2011-12-23 2012-12-25 多視点生成方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110141308A KR20130073459A (ko) 2011-12-23 2011-12-23 멀티-뷰 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130073459A true KR20130073459A (ko) 2013-07-03

Family

ID=47715786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110141308A KR20130073459A (ko) 2011-12-23 2011-12-23 멀티-뷰 생성 방법 및 장치

Country Status (4)

Country Link
US (1) US20130162787A1 (ko)
EP (1) EP2608148B1 (ko)
JP (1) JP5964741B2 (ko)
KR (1) KR20130073459A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046810A (ko) * 2013-10-22 2015-05-04 삼성전자주식회사 영상 처리 방법 및 장치
KR20150118497A (ko) * 2014-04-14 2015-10-22 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6113411B2 (ja) * 2011-09-13 2017-04-12 シャープ株式会社 画像処理装置
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
WO2015123791A1 (en) * 2014-02-18 2015-08-27 Empire Technology Development Llc Composite image generation to remove obscuring objects
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
KR102380862B1 (ko) 2015-09-01 2022-03-31 삼성전자주식회사 영상 처리 방법 및 장치
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
GB2578354B (en) * 2018-10-12 2021-12-29 Adobe Inc Video inpainting via confidence-weighted motion estimation
US11081139B2 (en) * 2018-10-12 2021-08-03 Adobe Inc. Video inpainting via confidence-weighted motion estimation
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
CN112529830B (zh) * 2019-08-30 2023-11-14 北京四维图新科技股份有限公司 图像标注方法、装置、电子设备和存储介质
US11756210B2 (en) 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
US11823357B2 (en) 2021-03-09 2023-11-21 Adobe Inc. Corrective lighting for video inpainting
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
WO2010073177A1 (en) * 2008-12-24 2010-07-01 Nxp B.V. Image processing
US8395642B2 (en) * 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US9013634B2 (en) * 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
KR101798408B1 (ko) * 2011-01-03 2017-11-20 삼성전자주식회사 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150046810A (ko) * 2013-10-22 2015-05-04 삼성전자주식회사 영상 처리 방법 및 장치
KR20150118497A (ko) * 2014-04-14 2015-10-22 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
JP5964741B2 (ja) 2016-08-03
EP2608148B1 (en) 2019-02-20
JP2013134788A (ja) 2013-07-08
US20130162787A1 (en) 2013-06-27
EP2608148A3 (en) 2014-04-30
EP2608148A2 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
KR20130073459A (ko) 멀티-뷰 생성 방법 및 장치
Battisti et al. Objective image quality assessment of 3D synthesized views
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP6559899B2 (ja) 画像のための奥行きマップの処理
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
US8634675B2 (en) Apparatus and method for generating extrapolated view based on image resizing
KR20160062571A (ko) 영상 처리 방법 및 장치
US20130050574A1 (en) System and Method for Retargeting Video Sequences
US9451233B2 (en) Methods and arrangements for 3D scene representation
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
KR20070066047A (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
KR20090071624A (ko) 이미지 개선
KR102380862B1 (ko) 영상 처리 방법 및 장치
KR20180134563A (ko) 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
KR20120074925A (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
EP2061005A2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US20140241637A1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
WO2014194722A1 (zh) 确定小物体区域的方法、视频帧之间插补帧的方法和装置
Riechert et al. Real-time disparity estimation using line-wise hybrid recursive matching and cross-bilateral median up-sampling
Riechert et al. Fully automatic stereo-to-multiview conversion in autostereoscopic displays
KR20200057612A (ko) 가상시점 영상을 생성하는 방법 및 장치
EP2775723A1 (en) Method, apparatus and computer program for generating a multiview image-plus-depth format

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application