KR101669840B1 - 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 - Google Patents

다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 Download PDF

Info

Publication number
KR101669840B1
KR101669840B1 KR1020100102927A KR20100102927A KR101669840B1 KR 101669840 B1 KR101669840 B1 KR 101669840B1 KR 1020100102927 A KR1020100102927 A KR 1020100102927A KR 20100102927 A KR20100102927 A KR 20100102927A KR 101669840 B1 KR101669840 B1 KR 101669840B1
Authority
KR
South Korea
Prior art keywords
variation
term
graph
energy
frame
Prior art date
Application number
KR1020100102927A
Other languages
English (en)
Other versions
KR20120041464A (ko
Inventor
김지원
박두식
이호영
백아론
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100102927A priority Critical patent/KR101669840B1/ko
Priority to EP11185725.6A priority patent/EP2444936A3/en
Priority to US13/278,891 priority patent/US20120098932A1/en
Publication of KR20120041464A publication Critical patent/KR20120041464A/ko
Application granted granted Critical
Publication of KR101669840B1 publication Critical patent/KR101669840B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 비디오로부터 일관성 있는 깊이를 추정하는 변이 추정 시스템 및 방법이 개시된다. 변이 추정 시스템은 복수의 시점에서 변이를 추정할 때, 인접 프레임간에 시간적 평활을 고려하여 시간적 일관성 있는 변이를 추정할 수 있다.

Description

다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법{DISPARITY ESTIMATION SYSTEM AND METHOD FOR ESTIMATING CONSISTENT DISPARITY FROM MULTI-VIEWPOINT VIDEO}
본 발명의 실시예들은 밝기 신호와 색차 신호간의 크로스토크를 최소화하는 비디오 신호 생성 장치 및 방법에 관한 것이다.
일반적으로 3차원 영상을 보여주기 위해서는 여러 시점의 2차원 영상들이 필요하다. 특히, 다시점 디스플레이나 자유시점 TV를 위해서는 초다시점(super multi-viewpoint) 영상이 필요하나, 많은 시점에서 영상을 획득하는 장비는 매우 가격이 비싸기 때문에 널리 대중에 보급되기에는 긴 시간이 걸릴 것으로 예상된다.
이때, 다시점의 영상 생성을 위해 모든 시점에서의 영상을 획득할 필요는 없다. 예를 들어, 카메라를 이용하여 미리 정해진 숫자의 영상을 획득한 후, 나머지 시점들에 대한 영상은 미리 획득된 영상들의 분석을 통하여 보간법(interpolation) 또는 보외법(extrapolation)의 기법을 사용하여 합성(view synthesis)할 수 있다.
시점 영상 합성을 위해서는 화면 구성(scene structure)의 3차원 정보가 필요하다. 3차원 화면 구성은 일반적으로 참조 시점을 기준으로, 깊이(depth)를 이용하여 표현될 수 있다. 예를 들어, 각각의 시점 영상은 시점에 의한 차이인 변이(disparity)가 발생한다. 즉, 참조 시점과 해당 시점간의 변이를 이용하여 3차원 화면 구성이 표현될 수 있다. 여기서, 변이와 깊이는 동일한 의미로 이용될 수 있다. 영상처리(computer vision)에서는 복수개의 영상이 주어졌을 때, 스테레오 정합(stereo matching)을 이용하여 깊이를 찾을 수 있다.
본 명세서에서는 보다 효과적으로 다시점 영상을 제공하기 위한 시스템 및 방법이 제공된다.
시간적 평활(temporal smoothness) 항(term)을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정하는 변이 추정부를 포함하는 변이 추정 시스템이 제공된다. 이때, 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한한다.
일측에 따르면, 시간적 평활 항은 픽셀들에 대해, 차이의 절대값과 미리 설정된 상수값 중 더 작은 값들의 합에 기초하여 계산될 수 있다.
다른 측면에 따르면, 에너지 함수는 입력된 영상에서 객체의 모션이 발생하지 않는 영역에 대해 시간적 평활 항을 포함할 수 있다.
또 다른 측면에 따르면, 입력된 영상에서 객체의 모션이 발생하지 않는 영역은 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역을 포함할 수 있다.
또 다른 측면에 따르면, 에너지 함수에 포함된 각 항은 주어진 변이 할당에 대해 마르코프 랜덤 필드(Markov Random Field)를 이용하여 계산될 수 있다.
또 다른 측면에 따르면, 에너지를 최적화하는 과정은 변이 할당에 대한 에너지를 그래프-컷을 이용하여 최적화하는 과정을 포함할 수 있다. 이때, 이전 프레임에 대한 그래프의 픽셀들과 현재 프레임에 대한 그래프의 픽셀들 중 서로 동일한 위치의 픽셀들간에 엣지가 연결되는 그래프를 이용하여 그래프-컷이 수행될 수 있다.
또 다른 측면에 따르면, 그래프에서 소스(source)나 싱크(sink)와 연결되는 엣지에 시간적 평활에 대한 제약(constraint)을 부가하여 그래프-컷이 수행될 수 있다.
또 다른 측면에 따르면, 에너지 함수는, 인접한 픽셀들에 대한 변이의 차이를 제한하는 공간적 평활 항 및 시점간 색 차이를 제한하는 데이터 항을 더 포함할 수 있다.
또 다른 측면에 따르면, 변이 추정부는 첫 번째 프레임에 대해서는 데이터 항 및 공간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정할 수 있고, 두 번째 프레임부터는 이전 프레임의 변이를 고정하고, 데이터 항, 공간적 평활 항 및 시간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 현재 프레임의 변이를 추정할 수 있다.
시간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정하는 단계를 포함하는 변이 추정 방법이 제공된다. 이때, 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한한다.
공간적뿐만 아니라 시간적으로도 일관성 있는 변이를 추정함으로써, 화면의 떨림 현상(flickering effect)을 줄일 수 있다.
렌더링 시 이전 프레임만을 이용하여 변이맵을 생성하기 때문에 새로운 프레임이 입력되면 즉시 변이를 계산하여 렌더링할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 시공간적으로 일관성 있는 변이 추정 방법의 개괄적인 모습을 설명하기 위한 도면이다.
도 2는 변이맵의 일부분을 나타낸 일례이다.
도 3은 시간적으로 서로 인접한 프레임의 변이맵 중 일부분을 각각 나타낸 일례이다.
도 4는 본 발명의 일실시예에 있어서, 시간적으로 확장된 그래프의 구성을 나타낸 일례이다.
도 5는 본 발명의 일실시예에 있어서, 변이 추정 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 일실시예에 있어서, 변이 추정 방법을 도시한 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 시공간적으로 일관성 있는 변이 추정 방법의 개괄적인 모습을 설명하기 위한 도면이다. 도 1은 시공간적으로(spatiotemporal) 일관성 있는(consistent) 변이를 추정하기 위한 프로세스(110)를 간략하게 표현하고 있다. 이때, 프로세스(110)는 현재 프레임의 n개의 영상(120), 이전 프레임의 n개의 영상(130) 및 이전 프레임의 n개의 변이맵(disparit map)(140)을 입력으로 받아 현재 프레임의 n개의 변이맵(150)을 출력할 수 있다. 이때, 도 1에서는 각각 왼쪽 시점에 대한 영상 또는 변이맵, 중앙 시점에 대한 영상 또는 변이맵 그리고 오른쪽 시점에 대한 영상 또는 변이맵과 같이 현재 프레임과 이전 프레임 각각에 대해 세 개의 영상과 변이맵을 나타내고 있다. 즉, 도 1에서 n이 3인 경우를 나타내고 있다. 그러나, n이 3인 경우는 하나의 실시예일뿐, 본 발명에 따른 n이 3에 한정되는 것은 아니다.
일관성 있는 변이를 이미지 프로세싱 알고리즘이나 영상 처리 알고리즘을 이용하여 얻기 위해서는, 일관성 있는 변이가 정량적으로 표현될 필요성이 있다. 본 명세서에서는 크게 공간적 일관성과 시간적 일관성의 두 가지 일관성에 대해 설명한다.
공간적 일관성은 인트라(intra)-프레임에서 인접 픽셀이 가능한 한 유사한 변이값을 갖도록 함으로써 얻어질 수 있다. 이를 위해, 공간적 평활(spatial smoothness)을 강제(enforce)할 수 있다.
도 2는 변이맵의 일부분을 나타낸 일례이다. 여기서, 그림(200)은 변이맵의 일부분을 나타내고 있고, 9개의 작은 사각형으로 구성된 큰 사각형(210)은 각각 하나의 픽셀을 개괄적으로 나타내고 있다. 이때, 큰 사각형(210)은 가운데의 작은 사각형을 둘러싸고 있는 8개의 작은 사각형들을 나타내고 있다. 다시 말해, 화살표들은 가운데의 작은 사각형에 대응되는 픽셀과 인접한 픽셀들을 가리킬 수 있다.
여기서, 가운데의 픽셀을 기준으로, 위쪽 픽셀, 왼쪽 픽셀 및 아래쪽 픽셀은 가운데 픽셀과 연속성(continuity)을 갖는 반면, 오른쪽 픽셀은 가운데 픽셀과 불연속성(discontinuity)을 갖는다. 따라서, 공간적 평활을 강제하는 경우에도 이러한 불연속성은 보호되어야 한다.
이때, 영상에서 서로 인접한 픽셀을 보다 명확히 정의하면, 하나의 픽셀에 대해 맨하튼 거리(Manhattan distance)는 1인 픽셀들이 해당 픽셀의 인접한 픽셀로 정의될 수 있다. 이 경우, 각각의 픽셀은 4개의 이웃 픽셀을 가질 수 있다. 여기서,
Figure 112010068083505-pat00001
를 할당된 변이라고 가정할 때, 인접 픽셀이 되도록 같은 변이값을 갖도록 하기 위한 조건인 공간적 평활은 아래 수학식 1과 같이 표현될 수 있다.
Figure 112010068083505-pat00002
여기서,
Figure 112010068083505-pat00003
은 집합
Figure 112010068083505-pat00004
의 부분집합일 수 있다. 이때,
Figure 112010068083505-pat00005
는 동일한 프레임에서의 전체 시점의 모든 픽셀들에 대한 집합을 의미할 수 있다. 또한,
Figure 112010068083505-pat00006
는 더 강화된(robustified)
Figure 112010068083505-pat00007
거리로서 아래 수학식 2와 같이 나타날 수 있다.
Figure 112010068083505-pat00008
거리는 민코우스키 거리(Minkowski distance)인
Figure 112010068083505-pat00009
거리에서
Figure 112010068083505-pat00010
이 1인 경우를 의미하는 것으로 상술한 맨하튼 거리에 대응될 수 있다.
Figure 112010068083505-pat00011
여기서,
Figure 112010068083505-pat00012
는 첫 번째 픽셀의 변이를,
Figure 112010068083505-pat00013
는 두 번째 픽셀의 변이를 각각 의미할 수 있다. 또한,
Figure 112010068083505-pat00014
는 실험값과 같이 미리 설정될 수 있는 상수(constant)를 의미할 수 있고, 이러한
Figure 112010068083505-pat00015
를 이용하여 상술한 불연속성을 보호할 수 있다.
또한, 필요에 따라
Figure 112010068083505-pat00016
로 강화된(robustified)
Figure 112010068083505-pat00017
거리를 이용할 수도 있다. 예를 들어, 강화된
Figure 112010068083505-pat00018
거리는 상술한 수학식 2에서와 같이 거리값과 특정
Figure 112010068083505-pat00019
값 중 더 작은 값을 계산하여 얻어질 수 있다. 이때, 강화된
Figure 112010068083505-pat00020
거리의 계산에 있어서는, 거리값이 매우 큰 경우(기선정된 값 이상인 경우), 계산된 값의 비중을 제한될 수 있다.
도 3은 시간적으로 서로 인접한 프레임의 변이맵 중 일부분을 각각 나타낸 일례이다. 즉, 도 3에서 제1 그림(310)은 (t-1) 시간의 프레임에 대한 변이맵 중 일부분을, 제2 그림(320)은 t 시간의 프레임에 대한 변이맵 중 일부분을 나타내고 있다. 이때, 화살표(330)는 제1 그림(310)과 제2 그림(320)에서 같은 위치에 있는 픽셀을 나타내고 있다.
이때, 본 발명의 실시예들에서는, 인접 프레임을 고려할 때 같은 위치에 위치하는 픽셀은 가능한 한 같은 변이값을 갖도록 시간적 평활(temporal smoothness)을 강제할 수 있다. 즉, 도 3에서 설명한 바와 같이, 시간적 평활은 인트라-프레임이 아닌 인터(inter)-프레임간에 수행될 수 있다. 즉, 시간적 평활은 동일한 시점의 (t-1) 프레임과 t 프레임간의 상호작용(interaction)으로 정의될 수 있다. 예를 들어, 5번째 프레임의 왼쪽 시점과 6번째 프레임의 왼쪽 시점 사이에서 시간적 평활이 정의될 수 있다.
여기서, 시간적 평활은 상술한 도 1과 유사하게 아래 수학식 3과 같이 정의될 수 있다.
Figure 112010068083505-pat00021
여기서,
Figure 112010068083505-pat00022
은 집합
Figure 112010068083505-pat00023
의 부분집합일 수 있다. 이때,
Figure 112010068083505-pat00024
는 n 시점의 (t-1) 프레임에 대한 모든 픽셀의 집합을,
Figure 112010068083505-pat00025
는 n 시점의 t 프레임에 대한 모든 픽셀의 집합을 각각 의미할 수 있다. 또한,
Figure 112010068083505-pat00026
는 상술한 수학식 2와 같이 나타날 수 있다.
이상에서는 변이의 일관성을 정량적으로 설명하였으나, 모든 픽셀에서 모든 항(term)들의 에너지를 동시에 최소화하기 위해 아래 수학식 4와 같이 마르코프 랜덤 필드(Markov Random Field)의 형태로 공식화될 수 있다.
Figure 112010068083505-pat00027
여기서,
Figure 112010068083505-pat00028
를 각각 변이값이라 했을 때,
Figure 112010068083505-pat00029
를 이용하여 두 픽셀간의 상호작용을 표현하는 것이 가능하다. 만약,
Figure 112010068083505-pat00030
와
Figure 112010068083505-pat00031
가 평활 항(smoothness term)에 의해 상호작용이 있다면, 상술한 수학식 3에서 설명한
Figure 112010068083505-pat00032
를
Figure 112010068083505-pat00033
의 값으로 사용할 수 있다.
또한, 이러한 에너지 함수의 전역 최소값(global minima)을 찾기 위해 신뢰 전파(belief propagation)나 그래프 컷(graph cut) 방법이 이용될 수 있다. 이때, 최소화해야 할 에너지 함수는 아래 수학식 5와 같이 정의될 수 있다.
Figure 112010068083505-pat00034
여기서,
Figure 112010068083505-pat00035
는 할당된 변이 즉, 수학식 4에 나타난
Figure 112010068083505-pat00036
를 의미할 수 있다. 또한,
Figure 112010068083505-pat00037
에서는 주어진 변이에 대해 시점간 색 일관성(color consistency)이 계산되어 평활을 고려하지 않은 상태에서 변이가 결정될 수 있다. 또한, 필요에 따라 시간적 평활과 공간적 평활에 가중치가 부여될 수 있다. 예를 들어, 수학식 5에서
Figure 112010068083505-pat00038
및
Figure 112010068083505-pat00039
각각에 상수항을 곱함으로써, 비율이 조정될 수도 있다.
또한, 이상에서는 단순한 형태의 시간적 평활만을 고려하였으나, 실제로는 다양한 형태로 변형될 수 있다. 예를 들어, 영상에서 인접한 프레임간에 영상에 나타나는 객체의 움직임이 없는 영상의 영역에서만 시간적 평활을 고려할 수도 있다. 이를 위해, 상술한 수학식 5는 아래 수학식 6과 같이 표현될 수 있다.
Figure 112010068083505-pat00040
여기서,
Figure 112010068083505-pat00041
는 미리 설정된 문턱치(threshold)를 의미할 수 있고,
Figure 112010068083505-pat00042
는 색을 나타내는 값을 의미할 수 있다. 즉, 인접한 프레임의 동일한 시점에서 색을 나타내는 값의 차이가 특정범위 이하인 경우에만, 시간적 평활이 고려되도록 할 수 있다. 색을 나타내는 값의 차이가 특정범위를 초과하는 경우에는 시간적 평활 항인
Figure 112010068083505-pat00043
가 에너지 함수에 포함되지 않을 수 있다. 또한,
Figure 112010068083505-pat00044
위의 화살표는 색을 나타내는
Figure 112010068083505-pat00045
가 스칼라가 아닌 벡터임을 나타낼 수 있다. 수학식 5 및 수학식 6은 파츠 모델(potts model)이외에도 선형 모델(linear model) 등과 같이 다양하게 응용될 수 있다.
또한, 본 실시예들에서는 전역 최소화(global minimization)를 통해 변이맵을 계산함으로써, 상술한 수학식의 항들을 공동으로 최적화할 수 있다. 이때, 다양한 최소화 기술들이 이용될 수 있다. 다만, 그래프-컷(graph-cut)을 사용하는 경우에는 기존의 그래프-컷을 변형시킬 필요가 있다.
도 4는 본 발명의 일실시예에 있어서, 시간적으로 확장된 그래프의 구성을 나타낸 일례이다. 컷(cut)이란 두 개의 공통 원소를 갖지 않는 서브셋에서 그래프의 버텍스(vertex)들의 파티션(partition)을 의미할 수 있다. 컷의 컷-셋(cut-set)은 상술한 파티션의 서로 다른 서브셋에 존재하는 엔드 포인트의 엣지의 집합을 의미할 수 있다. 엣지가 엣지의 컷-셋에 존재한다면, 엣지는 컷을 가로지른다. 가중되지 않고, 방향성 없는 그래프에서 컷의 크기나 가중치는 컷을 가로지르는 엣지의 수를 의미할 수 있다. 가중된 그래프에서 컷의 크기나 가중치는 컷을 가로지르는 엣지의 가중치의 합으로 정의될 수 있다.
도 4를 참조하면, 왼쪽 그래프(410)는 (t-1) 시간에서의 그래프로서 9개의 픽셀과 하나의 소스(source) 그리고 하나의 싱크(sink)를 나타내고 있다. 또한, 오른쪽 그래프(420)는 t 시간에서의 그래프로서 역시 9개의 픽셀과 하나의 소스 그리고 하나의 싱크를 나타내고 있다. 여기서, 왼쪽 그래프(410)와 오른쪽 그래프(420) 각각은 복수의 픽셀들과 소스(source)간에, 복수의 픽셀들과 싱크(sink)간, 그리고 복수의 픽셀들간에 엣지(edge)가 연결될 수 있다. 여기서, 실선 화살표는 그래프상에서 노드들이 엣지로 연결되어 있음을 의미할 수 있고, 점선은 노드들이 생략되어 있음을 의미할 수 있다.
기존의 그래프-컷에서는 왼쪽 그래프(410) 또는 오른쪽 그래프(420)와 같이 하나의 그래프를 이용하였으나, 시간적 평활을 위해 시간적으로 확장된 그래프는 도 4에서와 같이 왼쪽 그래프(410)와 오른쪽 그래프(420)에서 위치적으로 대응되는 픽셀간에도 엣지가 연결될 수 있고, 이러한 그래프-컷을 이용하여 공동으로 전역 최적화(global optimization)가 수행될 수 있다.
이전 프레임의 변이맵을 고정(fix)하는 경우에는 픽셀간에 엣지를 연결하는 그래프 연결 대신 단독 그래프를 구성하되, 소스(source)나 싱크(sink)와 연결되는 엣지에 평활 제약(smoothness constraint)을 추가할 수 있다. 예를 들어, 에너지는 소스나 싱크에 연결되는 엣지에 가중치로 표현될 수 있다. 여기서, 시간적 상호작용은 왼쪽-왼쪽, 가운데-가운데, 오른쪽-오른쪽의 세 가지이다. 시간적 상호작용은 에너지로 표현되며, 에너지로 표현된 시간적 상호작용은 그래프의 형태로 생성될 수 있다.
이상에서는 주로 프레임-바이-프레임(frame-by-frame) 동작이 설명되었다. 이후에서는 이러한 동작이 전체 비디오 영상에 활용되는가를 3-시점의 경우를 들어 전반적인 방법을 설명한다.
첫 번째 프레임이 입력되면, 본 발명의 실시예들에서는 시각적 평활을 고려하지 않고 공간적 평활만을 고려하여 3-시점 변이 추정을 실행할 수 있다. 이후, 두 번째 프레임부터는 이전 프레임의 변이를 고정하고, 현재 프레임의 변이만을 계산하되, 시간적 평활을 고려함으로써, 떨림 현상이 없는 변이맵을 생성할 수 있다. 또한, 렌더링 시 이전 프레임만을 이용하여 변이맵을 생성하기 때문에 새로운 프레임이 입력되면 즉시 변이를 계산하여 바로 렌더링하는 것이 가능해진다.
도 5는 본 발명의 일실시예에 있어서, 변이 추정 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 변이 추정 시스템(500)은 도 5에 도시된 바와 같이, 영상 획득부(510), 에너지 함수 설정부(520) 및 변이 추정부(530)를 포함할 수 있다.
영상 획득부(510)는 이전 프레임의 N개의 영상, N개의 영상 각각에 대한 변이맵 및 현재 프레임의 N개의 영상을 획득한다. 복수의 시점에 대한 복수의 영상이 각 프레임별로 입력될 수 있다. 이때, 영상 획득부(510)는 현재 프레임에 대한 복수의 영상뿐만 아니라, 이전 프레임에 대한 복수의 영상, 그리고 이전 프레임에 생성된 복수의 변이맵을 더 획득할 수 있다. 이는 변이의 공간적 일관성뿐만 아니라 시간적 일관성까지 고려하기 위한 것으로, 시간적 평활을 통해 시간적으로 일관성 있는 변이맵의 생성하기 위해 이용될 수 있다.
에너지 함수 설정부(520)는 에너지 함수를 설정한다. 에너지 함수는 영상에서 객체의 모션이 존재하는 영역과 객체의 모션이 존재하지 않는 영역으로 분류되어 서로 다르게 설정될 수 있다. 여기서, 객체의 모션이 발생하지 않는 영역은 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역을 포함할 수 있다. 예를 들어, 에너지 함수 설정부(520)는 상술한 수학식 6에서와 같이 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역에 대해서는 에너지 함수에 시각적 평활 항이 포함되도록 설정할 수 있다. 또한, 에너지 함수 설정부(520)는 색 차이가 문턱치 이상인 영역에 대해서는 에너지 함수에 시각적 평활 항이 반영되지 않도록 할 수 있다. 예를 들어, 움직임이 많은 객체의 경계선(boundary) 영역의 경우 시간적 평활에 따라 경계선이 깨질 수 있기 때문에, 에너지 함수 설정부(520)는 객체의 모션이 발생하는 영역에 대해서는 에너지 함수에 시각적 평활 항이 포함되지 않도록 설정할 수 있다.
또한, 에너지 함수는 첫 번째 프레임과 첫 번째 프레임 이후의 프레임들에 대해 서로 다르게 설정될 수 있다. 예를 들어, 에너지 함수 설정부(520)는 첫 번째 프레임에 대해서는 에너지 함수에 시간적 평활 항이 포함되지 않도록 설정하고, 두 번째 프레임부터는 에너지 함수에 시간적 평활 항이 포함되도록 설정할 수 있다. 이러한 설정은 시간적 평활 항이 현재 프레임과 이전 프레임을 모두 이용하여 정의되는 반면, 첫 번째 프레임은 이전 프레임이 존재하지 않기 때문이다.
이와 같이, 에너지 함수 설정부(520)는 상술한 조건에 맞는 에너지 함수를 설정할 수 있다.
변이 추정부(530)는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정한다. 이때, 변이 추정부(530)는 에너지 함수 설정부(520)에서 설정되는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정할 수 있다. 예를 들어, 변이 추정부(530)는 첫 번째 프레임 이후의 프레임들에 대해, 그리고 프레임의 영상에서 객체의 모션이 존재하지 않는 영역에 대해서는 시간적 평활 항을 포함하는 에너지 함수를 이용할 수 있다.
여기서, 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한한다. 이러한 시간적 평활 항은 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대해, 변이의 차이의 절대값과 미리 설정된 상수값 중 더 작은 값들의 합에 기초하여 수학식 4와 같이 계산될 수 있다.
또한, 에너지 항은 일례로, 수학식 5와 같이 인접한 픽셀들에 대한 변이의 차이를 제한하는 공간적 평활 항, 시점간 색 차이를 제한하는 데이터 항 및 시각적 평활 항을 포함할 수 있다. 이때, 에너지 함수에 포함된 각 항은 주어진 변이 할당에 대해 수학식 4와 같이 마르코프 랜덤 필드(Markov Random Field)를 이용하여 계산될 수 있다.
변이 추정부(530)는 변이 할당에 대한 에너지를 최적화하기 위해 그래프-컷을 이용할 수 있다. 이때, 이전 프레임에 대한 그래프의 픽셀들과 현재 프레임에 대한 그래프의 픽셀들 중 서로 동일한 위치의 픽셀들간에 엣지가 연결되는 그래프를 이용하여 상기 그래프-컷이 수행될 수 있다. 또한, 이전 프레임의 변이맵을 고정해야 할 경우에는 서로 인접한 프레임들의 그래프를 연결하지 않고 단독 그래프로서 구성하되, 그래프에서 소스(source)나 싱크(sink)와 연결되는 엣지에 시간적 평활에 대한 제약(constraint)을 부가하여 그래프-컷이 수행될 수 있다.
이에 더해 상술한 바와 같이, 변이 추정부(530)는 첫 번째 프레임에 대해서는 데이터 항 및 공간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정할 수 있다. 또한, 변이 추정부(530)는 두 번째 프레임부터는 이전 프레임의 변이를 고정하고, 데이터 항, 공간적 평활 항 및 시간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 현재 프레임의 변이를 추정할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 변이 추정 방법을 도시한 흐름도이다. 본 실시예에 따른 변이 추정 방법은 도 5를 통해 설명한 변이 추정 시스템(500)에 의해 수행될 수 있다. 도 6에서는 변이 추정 시스템(500)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 변이 추정 방법을 설명한다.
단계(610)에서 변이 추정 시스템(500)은 이전 프레임의 N개의 영상, N개의 영상 각각에 대한 변이맵 및 현재 프레임의 N개의 영상을 획득한다. 복수의 시점에 대한 복수의 영상이 각 프레임별로 입력될 수 있다. 이때, 변이 추정 시스템(500)은 현재 프레임에 대한 복수의 영상뿐만 아니라, 이전 프레임에 대한 복수의 영상, 그리고 이전 프레임에 생성된 복수의 변이맵을 더 획득할 수 있다. 이는 변이의 공간적 일관성뿐만 아니라 시간적 일관성까지 고려하기 위한 것으로, 시간적 평활을 통해 시간적으로 일관성 있는 변이맵의 생성하기 위해 이용될 수 있다.
단계(620)에서 변이 추정 시스템(500)은 에너지 함수를 설정한다. 에너지 함수는 영상에서 객체의 모션이 존재하는 영역과 객체의 모션이 존재하지 않는 영역으로 분류되어 서로 다르게 설정될 수 있다. 여기서, 객체의 모션이 발생하지 않는 영역은 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역을 포함할 수 있다. 예를 들어, 변이 추정 시스템(500)은 상술한 수학식 6에서와 같이 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역에 대해서는 에너지 함수에 시각적 평활 항이 포함되도록 설정할 수 있다. 또한, 변이 추정 시스템(500)은 색 차이가 문턱치 이상인 영역에 대해서는 에너지 함수에 시각적 평활 항이 반영되지 않도록 할 수 있다. 예를 들어, 움직임이 많은 객체의 경계선(boundary) 영역의 경우 시간적 평활에 따라 경계선이 깨질 수 있기 때문에, 변이 추정 시스템(500)은 객체의 모션이 발생하는 영역에 대해서는 에너지 함수에 시각적 평활 항이 포함되지 않도록 설정할 수 있다.
또한, 에너지 함수는 첫 번째 프레임과 첫 번째 프레임 이후의 프레임들에 대해 서로 다르게 설정될 수 있다. 예를 들어, 변이 추정 시스템(500)은 첫 번째 프레임에 대해서는 에너지 함수에 시간적 평활 항이 포함되지 않도록 설정하고, 두 번째 프레임부터는 에너지 함수에 시간적 평활 항이 포함되도록 설정할 수 있다. 이러한 설정은 시간적 평활 항이 현재 프레임과 이전 프레임을 모두 이용하여 정의되는 반면, 첫 번째 프레임은 이전 프레임이 존재하지 않기 때문이다.
이와 같이, 변이 추정 시스템(500)은 상술한 조건에 맞는 에너지 함수를 설정할 수 있다.
단계(630)에서 변이 추정 시스템(500)은 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정한다. 이때, 변이 추정 시스템(500)은 단계(620)에서 설정되는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정할 수 있다. 예를 들어, 변이 추정 시스템(500)은 첫 번째 프레임 이후의 프레임들에 대해, 그리고 프레임의 영상에서 객체의 모션이 존재하지 않는 영역에 대해서는 시간적 평활 항을 포함하는 에너지 함수를 이용할 수 있다.
여기서, 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한한다. 이러한 시간적 평활 항은 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대해, 변이의 차이의 절대값과 미리 설정된 상수값 중 더 작은 값들의 합에 기초하여 수학식 4와 같이 계산될 수 있다.
또한, 에너지 항은 일례로, 수학식 5와 같이 인접한 픽셀들에 대한 변이의 차이를 제한하는 공간적 평활 항, 시점간 색 차이를 제한하는 데이터 항 및 시각적 평활 항을 포함할 수 있다. 이때, 에너지 함수에 포함된 각 항은 주어진 변이 할당에 대해 수학식 4와 같이 마르코프 랜덤 필드를 이용하여 계산될 수 있다.
변이 추정 시스템(500)은 변이 할당에 대한 에너지를 최적화하기 위해 그래프-컷을 이용할 수 있다. 이때, 이전 프레임에 대한 그래프의 픽셀들과 현재 프레임에 대한 그래프의 픽셀들 중 서로 동일한 위치의 픽셀들간에 엣지가 연결되는 그래프를 이용하여 상기 그래프-컷이 수행될 수 있다. 또한, 이전 프레임의 변이맵을 고정해야 할 경우에는 서로 인접한 프레임들의 그래프를 연결하지 않고 단독 그래프로서 구성하되, 그래프에서 소스나 싱크와 연결되는 엣지에 시간적 평활에 대한 제약을 부가하여 그래프-컷이 수행될 수 있다.
이에 더해, 상술한 바와 같이, 변이 추정 시스템(500)은 첫 번째 프레임에 대해서는 데이터 항 및 공간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정할 수 있다. 또한, 변이 추정 시스템(500)은 두 번째 프레임부터는 이전 프레임의 변이를 고정하고, 데이터 항, 공간적 평활 항 및 시간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 현재 프레임의 변이를 추정할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 공간적뿐만 아니라 시간적으로도 일관성 있는 변이를 추정함으로써, 화면의 떨림 현상(flickering effect)을 줄일 수 있고, 렌더링 시 이전 프레임만을 이용하여 변이맵을 생성하기 때문에 새로운 프레임이 입력되면 즉시 변이를 계산하여 렌더링할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
500: 변이 추정 시스템
510: 프레임 획득부
520: 에너지 함수 설정부
530: 변이 추정부

Claims (12)

  1. 시간적 평활(temporal smoothness) 항(term)을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정하는 변이 추정부
    를 포함하고,
    상기 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한하고, 상기 시간적 평활 항은 상기 픽셀들에 대해, 상기 변이의 차이의 절대값과 미리 설정된 상수값 중 더 작은 값들의 합에 기초하여 계산되는, 변이 추정 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 에너지 함수는 상기 입력된 영상에서 객체의 모션이 발생하지 않는 영역에 대해 상기 시간적 평활 항을 포함하는, 변이 추정 시스템.
  4. 제3항에 있어서,
    상기 입력된 영상에서 객체의 모션이 발생하지 않는 영역은 상기 서로 인접한 프레임간의 색 차이가 미리 설정된 문턱치 미만인 영역을 포함하는, 변이 추정 시스템.
  5. 제1항에 있어서,
    상기 에너지 함수에 포함된 각 항은 주어진 변이 할당에 대해 마르코프 랜덤 필드(Markov Random Field)를 이용하여 계산되는, 변이 추정 시스템.
  6. 제1항에 있어서,
    상기 에너지를 최적화하는 과정은 상기 변이 할당에 대한 에너지를 그래프-컷을 이용하여 최적화하는 과정을 포함하는, 변이 추정 시스템.
  7. 제6항에 있어서,
    이전 프레임에 대한 그래프의 픽셀들과 현재 프레임에 대한 그래프의 픽셀들 중 서로 동일한 위치의 픽셀들간에 엣지가 연결되는 그래프를 이용하여 상기 그래프-컷이 수행되는, 변이 추정 시스템.
  8. 제6항에 있어서,
    그래프에서 소스(source)나 싱크(sink)와 연결되는 엣지에 시간적 평활에 대한 제약(constraint)을 부가하여 상기 그래프-컷이 수행되는, 변이 추정 시스템.
  9. 제1항에 있어서,
    상기 에너지 함수는, 인접한 픽셀들에 대한 변이의 차이를 제한하는 공간적 평활 항 및 시점간 색 차이를 제한하는 데이터 항을 더 포함하는, 변이 추정 시스템.
  10. 제9항에 있어서,
    상기 변이 추정부는,
    첫 번째 프레임에 대해서는 상기 데이터 항 및 상기 공간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정하고, 두 번째 프레임부터는 이전 프레임의 변이를 고정하고, 상기 데이터 항, 상기 공간적 평활 항 및 상기 시간적 평활 항을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 현재 프레임의 변이를 추정하는, 변이 추정 시스템.
  11. 시간적 평활(temporal smoothness) 항(term)을 포함하는 에너지 함수를 이용하여 변이 할당에 대한 에너지를 최적화하는 과정을 통해 변이를 추정하는 단계
    를 포함하고,
    상기 시간적 평활 항은 입력된 영상들에 대한 인접 프레임간에 동일한 시점의 동일한 위치에 존재하는 픽셀들에 대한 변이의 차이를 제한하고, 상기 시간적 평활 항은 상기 픽셀들에 대해, 상기 변이의 차이의 절대값과 미리 설정된 상수값 중 더 작은 값들의 합에 기초하여 계산되는, 변이 추정 방법.
  12. 제11항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020100102927A 2010-10-21 2010-10-21 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 KR101669840B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100102927A KR101669840B1 (ko) 2010-10-21 2010-10-21 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
EP11185725.6A EP2444936A3 (en) 2010-10-21 2011-10-19 Disparity estimation system, apparatus, and method for estimating consistent disparity from multi-viewpoint video
US13/278,891 US20120098932A1 (en) 2010-10-21 2011-10-21 Disparity estimation system, apparatus, and method for estimating consisten disparity from multi-viewpoint video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100102927A KR101669840B1 (ko) 2010-10-21 2010-10-21 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20120041464A KR20120041464A (ko) 2012-05-02
KR101669840B1 true KR101669840B1 (ko) 2016-10-28

Family

ID=44910135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100102927A KR101669840B1 (ko) 2010-10-21 2010-10-21 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법

Country Status (3)

Country Link
US (1) US20120098932A1 (ko)
EP (1) EP2444936A3 (ko)
KR (1) KR101669840B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165401B1 (en) 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
JP5836908B2 (ja) * 2012-09-27 2015-12-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
KR102130123B1 (ko) 2013-10-31 2020-07-03 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
JP2015146526A (ja) * 2014-02-03 2015-08-13 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6377970B2 (ja) * 2014-06-12 2018-08-22 トヨタ自動車株式会社 視差画像生成装置及び視差画像生成方法
EP3016076A1 (en) 2014-10-31 2016-05-04 Thomson Licensing Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
US9769453B2 (en) 2015-02-13 2017-09-19 Nokia Technologies Oy Flicker reduction in 3D imaging
KR102415505B1 (ko) * 2015-12-14 2022-07-01 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
CN108604371A (zh) * 2016-02-25 2018-09-28 深圳市大疆创新科技有限公司 成像系统和方法
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN108510536B (zh) * 2017-02-28 2021-09-21 富士通株式会社 多视点图像的深度估计方法和深度估计设备
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
US10803606B2 (en) * 2018-07-19 2020-10-13 National Taiwan University Temporally consistent belief propagation system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031035A1 (en) * 2003-08-07 2005-02-10 Sundar Vedula Semantics-based motion estimation for multi-view video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744923B1 (en) * 1999-08-30 2004-06-01 Cornell Research Foundation, Inc. System and method for fast approximate energy minimization via graph cuts
KR100800660B1 (ko) * 2006-09-21 2008-02-01 삼성전자주식회사 파노라마 영상 촬영 장치 및 방법
BRPI0822142A2 (pt) * 2008-01-29 2015-06-30 Thomson Licensing Método e sistema para converter dados de imagem em 2d para dados de imagem estereoscópica
CA2726208C (en) * 2008-05-28 2018-04-03 Thomson Licensing System and method for depth extraction of images with forward and backward depth prediction
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031035A1 (en) * 2003-08-07 2005-02-10 Sundar Vedula Semantics-based motion estimation for multi-view video coding

Also Published As

Publication number Publication date
EP2444936A3 (en) 2013-08-21
US20120098932A1 (en) 2012-04-26
EP2444936A2 (en) 2012-04-25
KR20120041464A (ko) 2012-05-02

Similar Documents

Publication Publication Date Title
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
US8422766B2 (en) System and method for depth extraction of images with motion compensation
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
EP2608148B1 (en) Method and apparatus for generating multi-view
JP4644669B2 (ja) マルチビュー画像の生成
US9659382B2 (en) System and method for depth extraction of images with forward and backward depth prediction
JP4921591B2 (ja) 奥行きマップの計算
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
US20130182945A1 (en) Image processing method and apparatus for generating disparity value
JPWO2019198501A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像伝送システム
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20200057612A (ko) 가상시점 영상을 생성하는 방법 및 장치
JP7159198B2 (ja) 奥行きマップを処理するための装置及び方法
US20150145861A1 (en) Method and arrangement for model generation
Mieloch et al. Graph-based multiview depth estimation using segmentation
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
WO2016129430A1 (ja) 奥行推定装置、奥行推定方法及び奥行推定プログラム
WO2013080898A2 (en) Method for generating image for virtual view of scene
KR20130068520A (ko) 영상 워핑 처리 방법 및 장치
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant