KR100808395B1 - 방법, 시스템 및 장치 - Google Patents

방법, 시스템 및 장치 Download PDF

Info

Publication number
KR100808395B1
KR100808395B1 KR1020027000734A KR20027000734A KR100808395B1 KR 100808395 B1 KR100808395 B1 KR 100808395B1 KR 1020027000734 A KR1020027000734 A KR 1020027000734A KR 20027000734 A KR20027000734 A KR 20027000734A KR 100808395 B1 KR100808395 B1 KR 100808395B1
Authority
KR
South Korea
Prior art keywords
image
block
pixels
area
matched
Prior art date
Application number
KR1020027000734A
Other languages
English (en)
Other versions
KR20020020941A (ko
Inventor
브라스펜닝랄프아.체.
에른스트파비안에.
반오베르벨트코르네리우스베어.아.엠.
위린스키피오트르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020020941A publication Critical patent/KR20020020941A/ko
Application granted granted Critical
Publication of KR100808395B1 publication Critical patent/KR100808395B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Abstract

블록-기반 움직임 또는 깊이 추정에 있어서, 블록은 후보 값들의 제한된 세트에 걸쳐 매칭 오차들을 최소화하는 결과로서 움직임 또는 깊이 값으로 할당된다. 상기 세트의 각각의 요소에 대한 매칭 오차는 제 1 영상(10)의 블록과 제 2 영상(10)의 영역 사이의 발광성 차들을 계산함으로서 얻어진다. 물체(12)가 다른 물체(15)에 의해 부분적으로 차단되는 일이 발생하여, 그 블록내의 픽셀(14)은 다른 픽셀(16)이 겹쳐지기 때문에 대응하는 영역에 존재하지 않는다. 본 발명에 따른 방법 및 시스템은 픽셀들이 제 2 영상(11)에서 보이지 않는 지를 결정하고, 단지 보이는 픽셀들에 대한 매칭 오차를 계산한다. 비디오 신호(40)에 적합한 장치는 비디오 신호(40)의 향상된 버전을 생성하도록 선택된 후보 값들을 이용한다.
Figure 112002001566699-pct00006
매칭 오차, 후보 값, 움직임 벡터, 픽셀, 비디오 신호

Description

방법, 시스템 및 장치{Method, system and apparatus}
본 발명은 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 후보 값(candidate value)을 선택하는 방법에 관한 것으로서, 상기 방법은,
(a) 상기 제 2 영상으로부터 매칭될 영역을 결정하기 위한 후보 값들의 세트를 만드는 단계,
(b) 상기 세트로부터의 각각의 후보 값에 대해, 상기 후보 값에 기초하여, 상기 제 2 영상으로부터 매칭될 영역을 결정하고, 그 영역과 상기 제 1 영상으로부터의 블록을 매칭하고, 매칭 오차를 계산하는 단계, 및
(c) 상기 계산된 매칭 오차들에 기초하여 상기 세트로부터 상기 최적의 후보 값을 선택하는 단계를 포함한다.
본 발명은 또한, 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 후보 값을 선택하는 시스템에 관한 것으로서, 상기 시스템은,
* 상기 제 2 영상으로부터 매칭될 영역을 결정하기 위해 후보 값들의 세트를 만들도록 배열되는 콜렉터,
* 상기 후보 값에 기초하여 상기 세트로부터의 각각의 후보 값에 대해 상기 제 2 영상으로부터 매칭될 영역을 결정하고, 그 영역과 상기 제 1 영상으로부터의 블록을 매칭하고, 매칭 영역을 계산하도록 배열되는 매쳐(matcher), 및
* 상기 계산된 매칭 오차들에 기초하여 상기 세트로부터 상기 최적의 후보 값을 선택하도록 배열되는 선택기를 포함한다.
본 발명은 또한, 다양한 영상들로 구성된 비디오 신호를 처리하는 장치에 관한 것이다.
서두에서 규정한 형태의 방법은 동일한 출원자들에 의한 국제 특허 출원 공개된 WO 99/40726 호(PHN 17.017)에 공지되어 있다. 영상의 움직임 또는 깊이를 결정하기 위한 블록-기반 기술들(block-based techniques)을 이용하여, 이 영상은 복수의 블록들, 예를 들면, 동일한 크기의 정방형들로 분할된다. 그 뒤, 이 영상은 다른 영상의 개별적인 블록들을 매칭시킴으로써 다른 영상과 비교될 수 있다.
블록을 제 2 영상과 매칭하는 것은 움직임 벡터 또는 그 깊이에 대한 복수의 후보 값들을 선택하여, 각각의 후보 값에 대해 그 블록이 제 2 영상내의 영역에 얼마나 멀리 대응하는지를 결정함에 의해 영향을 받는다. 이 매칭의 편차 정도가 계산될 수 있다. 이 편차는 후보 값에 속하는 매칭 오차로 불린다. 최적의 후보 값은 비교적 적은 매칭 오차를 갖는 후보 값이다. 적절한 후보 값들은, 특히, 제 1 영상으로부터 인접한 블록들의 깊이들 또는 움직임 벡터들인데, 이는, 이들이 현재 블록들과 대략 동일한 특징들을 가지려는 경향이 있기 때문이다. 블록이 픽셀들을 포함하기 때문에, 매칭 오차는 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역 내의 대응하는 팩셀들에 기초하여 결정될 수 있다. 평균 제곱 오차(MSE; mean square error)를 결정하는 바와 같이 수학적 기법들이 이 목적을 위해 적절하다.
물체의 점(dot)이 제 1 영상에는 실제로 보이지만 제 2 영상에는 실제로 보이지 않는 일이 발생할 수 있다. 제 2 물체는, 제 2 영상으로부터 보아진, 제 2 물체가 제 1 물체를 부분적으로 또는 완전히 덮는, 그러한 위치를 가질 수 있다. 이것은 제 1 영상으로부터의 블록이 제 2 영상에서 완전하게 다시 발견될 수 없음을 의미하는데, 이는 그 복수의 픽셀들이 매칭될 영역 내에서 볼 수 없기 때문이다.
공지된 방법의 단점은 매칭 오차가 제 1 영상으로부터의 블록의 모든 픽셀들에 걸쳐서 계산되고, 또한, 매칭될 영역 내에 보여질 수 없는 픽셀들에 걸쳐서 계산된다는 것이다. 이러한 픽셀들은 그 뒤, 다른 점들(dots)에 대응하는 픽셀들과 비교된다. 예를 들면, 밝기가 변하기 때문에, 이들이 많이 다른 경우, 이것은 큰 매칭 오차들을 산출할 것이다. 후보 값은 역시 큰 매칭 오차로 인해 거절되는 반면, 이 후보 값은 그 블록의 가시 영역(visible area)에 대한 최적의 후보 값을 형성하는 일이 발생할 수 있다.
본 발명의 목적은, 최적의 후보 값이 만들어지는, 서두에서 규정한 형태의 방법을 제공하는 것이다.
이 목적은, 블록이 픽셀들에 의해 형성되고, 제 2 영상으로부터 매칭될 영역 내에 볼 수 있는 제 1 영상으로부터의 블록의 픽셀들의 선택이 이루어지며, 매칭 오차의 계산은 상기 선택에 기초하는, 본 발명에 따른 방법으로 달성된다. 매칭 오차의 계산에 대해 보이지않는 픽셀들을 이용하지 않음으로써, 비매칭(mismatching)으로 인해 큰 매칭 오차들이 발생하는 경우가 회피된다.
상기 방법의 실시예에서 상기 선택은 제 1 영상으로부터의 블록의 픽셀들에 대해 제 2 영상으로부터 매칭될 영역 내에 이들의 위치가 어딘지를 결정하고, 제 2 영상으로부터 매칭될 영역 내의 동일한 위치에서 발견되는 제 1 영상으로부터의 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 이루어진다.
상기 방법의 다른 실시예에서, 상기 비교는 깊이에 기초하여 이루어진다. 이 실시예는 비교가 이제 간단하고도 신속하게 실행되는 장점이 있다.
본 발명의 목적은 또한, 최적의 후보 값에 대한 더 양호한 선택이 이루어지는, 서두에 규정한 형태의 시스템을 제공하는 것이다.
이 목적은, 블록이 픽셀들에 의해 형성되고, 매쳐(matcher)가 제 2 영상으로부터 매칭될 영역 내에서 보여지는 제 1 영상으로부터의 블록의 픽셀들의 선택을 만들도록 배열되고, 매쳐가 상기 선택에 기초하여 매칭 오차를 계산하도록 배열되는, 본 발명에 따른 시스템으로 달성된다.
상기 시스템의 실시에에서, 상기 매쳐는 제 1 영상으로부터의 블록의 픽셀들에 대해 이들이 제 2 영상으로부터 매칭될 영역 내에서 어떤 위치를 가지는가를 결정하고, 제 2 영상으로부터 매칭될 영역 내에 동일한 위치를 가지는 제 1 영상으로부터 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 상기 선택을 이루도록 배열된다.
상기 시스템의 다른 실시예에서, 상기 비교는 깊이에 기초하여 이루어진다.
본 발명의 목적은 또한, 비디오 신호의 더 양호한 처리가 제공되는, 서두에 규정한 형태의 장치를 제공하는 것이다.
이 목적은 본 발명에 따른 장치로 달성되며, 상기 장치는,
* 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 후보 값을 선택하기 위한 본 발명에 따른 시스템으로서, 상기 시스템은 상기 다양성으로부터 영상들로부터의 블록들에 대한 최적의 후보 값들을 선택하도록 배열되는, 상기 시스템, 및
* 상기 시스템에 의해 결정된 바와 같이 얻어진 최적의 후보 값들에 기초하여 향상된 비디오 신호를 얻기 위해 비디오 신호를 처리하는 영상 처리기를 포함한다.
상기 영상 처리기는 본 발명에 따른 시스템에 의해 선택된 최적의 후보 값에 기초하여 영상을 향상시킨다. 최적의 후보 값의 더 양호한 선택이 이 시스템으로 이루어지기 때문에, 이것은 다른 장치들보다 더 양호한 향상된 영상을 제공할 것이다.
일 실시예에서, 상기 장치는 향상된 비디오 신호를 디스플레이하는 디스플레이 시스템을 더 포함한다.
본 발명의 이들 및 다른 특징들은 이하 설명될 실시예(들)를 참조하여 명확하게 될 것이다.
도 1은 복수의 물체들의 복수의 영상들을 도시하는 도면.
도 2는 비디오 신호를 처리하는 본 발명에 따른 장치를 도시하는 도면.
제 1 영상의 움직임 및 깊이를 결정하는 블록-기반 기술들에서, 상기 영상은 다수의 블록들로 서브분할된다. 이러한 블록들은 정방형 및 동일한 크기로될 수 있어서, 서브분할은, 대용으로 독단적인 다른 모양들을 이용하는 것이 가능하다 하더라도, 간단하고도 신속한 방식으로 달성될 수 있다. 비 정방형 블록들을 사용하는 것은, 현재의 독단적인 물체들이 한 그룹의 블록들에 의해 덮여질 수 있어서, 그러한 물체의 움직임 또는 깊이가 결정될 수 있는 장점이 있다. 영상을 블록들로 서브분할함에 의해, 제 1 영상으로부터의 블록들과 제 2 영상으로부터의 영역들을 매칭함으로써 그 영상을 제 2 영상과 비교하는 것이 이제 가능하다. 그 블록들이 충분히 작게 선택되면, 각각의 블록들은 유일하게 움직이고 블록의 깊이는 어느곳에서나 동일하다고 가정할 수 있다. 제 1 영상으로부터의 블록에 대응하는 제 2 영상으로부터의 영역을 찾는 것이 가능하다. 이것이 발견되면, 2개의 영상들 간의 이 블록의 이동은 결정될 수 있고 따라서, 이 블록의 움직임이 결정될 수 있다. 2개의 영상들 모두가 정지 물체에 관한 것일 경우, 이것은 이 물체의 깊이를 결정하는데 필수적인 정보를 제공한다.
제 1 영상으로부터의 블록이 제 2 영상으로부터의 영역과 전적으로 매칭하는 경우는 거의 발생하지 않는다. 이 문제점은 깊이 또는 움직임 벡터에 대한 후보 값에 기초하여 결정됨으로써 해결되며, 여기서, 제 1 영상으로부터의 블록은 제 2 영상내에 위치되어야 할 것이다. 계속해서, 이것에 대응하는 제 2 영상으로부터의 영역은 제 1 블록과 매칭되고 그 매칭의 편차 정도가 계산될 수 있다. 이 편차를 후보 값의 매칭 오차가 부른다. 최적의 후보 값은 비교적 작은 매칭 오차, 바람직하게는, 가장 작은 매칭 오차를 갖는 후보 값이다.
블록은 픽셀들로 구성되기 때문에, 매칭 오차는 2개의 블록들내의 대응하는 픽셀들에 기초하여 결정될 수 있다. 평균 제곱 오차(MSE)를 결정하는 것처럼 수학적 기술이 이 목적에 대해 적절하다. 이 기술로, 움직임 벡터(dx,dy)에 대한 매칭 오차는 다음과 같이 계산될 수 있다.
MSE(i,j) =
Figure 112002001566699-pct00001
[U 1 (m,n)-U 0 (m+dx,n+dy)] 2
여기서, M 및 N은 픽셀들의 블록의 치수들이며, Ui(m,n)은 위치(m,n)에서의 영상 I의 픽셀 강도이다. 깊이 d에 대한 매칭 오차를 계산하는 것은 유사한 방식으로 발생한다.
적절한 다른 수학적 기술은 절대 차들의 합(SAD)을 계산한다. 깊이 d에 대한 매칭 오차는 다음과 같이 계산될 수 있다.
SAD(d) =
Figure 112006029321704-pct00002
｜U1(x+△x(d), y + △y(d))-U0(x,y)｜
여기서, (x,y)는 블록 B 내의 픽셀이고, △x(d)는 깊이 d에 대한 후보 값에 기초한 x의 변화량이다.
평균 제곱 오차 및 절대 차들의 합 이외에, 또한, 평균 절대 차 또는 제곱 오차들의 합 같은 다른 수학 기술들이, 깊이 또는 움직임 벡터에 대한 후보 값의 매칭 오차를 계산하는데 이용될 수 있다.
실제적인 이유들에 대해, 특히 비디오 신호 처리동안 분리된 영상을 처리하기 위한 약간의 시간만이 존재하기 때문에, 일반적으로, 후보 값들의 제한된 수의 세트가 만들어지고, 이것은 이어서, 상술한 바와 같이, 제 1 영상으로부터의 블록이 매칭된 이후, 제 2 영상으로부터의 영역을 결정하는데 이용된다. 인접한 다른 블록들의 발견된 움직임 벡터 또는 깊이에 대한 값들이 선택되고, 이 블록에 대한 움직임 벡터 또는 깊이에 대한 바람직하게 계산된 값 도는 랜덤 값에 의해 가능하게 더해지는 것이 통상의 실행이다. 상기 세트의 요소들의 매칭 오차들이 계산된 이후, 최적의 후보 값은 가장 작은 매칭 오차를 갖는 후보 값으로 선택된다.
상기 세트를 만들고, 이 세트의 요소들의 매칭 오차들을 계산하며, 최적의 후보 값을 선택하는 단계들은 3개의 개별적인 단계들로, 또한 조합하여 실행될 수 있다. 각각의 선택된 후보 값에 대해, 매칭 오차는 예를 들면, 이 매칭 오차가 "주행 최소(running minimum)"와 비교된 이후, 직접 계산될 수 있다. 막 계산된 매칭 오차가 이 주행 최소보다 작은 경우, 현재의 후보 값은 일시적인 최적의 후보 값으로서, 그리고 그의 매칭 오차는 새로운 주행 최소로서 선택된다. 상기 세트의 모든 후보 값들이 선택된 이후, 결과적으로 결정된 일시적인 최적의 후보 값이 이제 실제 최적의 후보 값이 된다.
상술한 방법은 최적의 후보 값의 최상의 가능한 선택에 이르도록 수 차례 반복될 수 있다. 영상의 깊이가 결정되는 경우, 초기에는 그 깊이들이 랜덤하게 선택된다. 각각의 반복으로, 인접한 블록들의 값들이 이용되어, 이 값들은 사전의 반복의 값들과는 다를 수 있다. 가장 작은 매칭 오차를 갖는 새로이 발견된 값이 다른 블록들의 매칭 오차를 계산하는데 연속하여 이용된다. 그 값들이 더 이상 변하지 않을 때, 최종 값이 결정되고 반복들이 중단될 수 있다. 각각의 반복으로, 최적의 후보에 대한 현재 값 및 매칭 오차는 각각의 블록에 대해 저장될 수 있다.
도 1은 제 1 영상(10)과 제 2 영상(11)을 도시하며, 이들 모두는 제 1 물체(12) 및 제 2 물체(15)의 표시를 포함한다. 물체들(12,15)의 점들은 제 1 영상(10) 또는 제 2 영상(11)내에 픽셀들로서 보여질 수도 있다. 시감도의 정도는 또한, 제 1 영상(10) 또는 제 2 영상(11)을 보고 있는 시청자에 의해 보여진 물체들의 깊이에 의해 영향을 받는다. 물체(12)의 점(13)은 제 1 영상(10) 및 제 2 여상(11)에서 보일 수 있다. 그러나, 물체(12)의 점(14)은 단지 제 1 영상(10)에서 보일 수 있는데, 이는, 제 2 영상(11)으로부터 보여질 때, 물체(15)의 점(16)은 제 2 영상(11)내의 이 점(14)과 일치하기 때문이다.
이제 제 1 영상(10)으로부터의 블록이 제 2 영상(11)으로부터의 영역과 매칭될 경우, 제 1 영상의 블록내에 위치를 갖는 다고 가정되는, 점(14)은 제 2 영상(11)의 영역 내에 되돌아갈 수 없을 것이다. 블록은 영상에 보일 수 있는 물체들의 점들에 대응하는 픽셀들로 구성된다. 제 1 영상(10)으로부터의 블록과 제 2 영상(11)으로부터의 영역의 매칭은 제 1 영상(10)의 블록내에 또한, 제 2 영상(11)의 블록내에 어떤 대응하는 픽셀들이 있는지를 결정함으로써 영향을 받는다.
도 1에서, 제 1 영상(10)으로부터의 블록의 픽셀(18)이 매칭되고 이 픽셀이 점(14)와 대응하는 경우, 이 픽셀은 제 2 영상(11)으로부터의 영역의 점(14)과 대응하는 픽셀과 매칭하도록 의도된다. 이 픽셀은 픽셀(20)일 것이다. 그러나, 제 2 영상(11)에서, 점(16)은 또한 보일 수 있다. 점(16)에 대응하는 픽셀은 픽셀(20)이다. 점(16)이, 제 2 영상(11)으로부터 보여지는, 점(14)보다 더 작은 거리를 가지기 때문에, 픽셀(20)은 점(16)에 대응하여 점(14)은 안보인다.
제 1 영상(10)으로부터의 블록이 제 2 영상(11)으로부터의 영역과 매칭될 때, 픽셀이 점(14)과 일치하는, 제 1 영상(10)으로부터의 블록의 픽셀(18)은, 픽셀이 점(16)과 일치하는, 제 2 영상(11)으로부터의 영역의 픽셀(20)과 매칭될 것이다. 이들이 매우 다르다면, 예를 들어, 점(14)은 어두운 반면, 점(16)은 밝기 때문에, 그 결과는 큰 매칭 오차가 될 것이다.
본 발명에 따른 방법에 있어서, 제 2 영상(11)으로부터 채딩될 영역 내에 보이는 제 1 영상(10)으로부터의 블록의 필셀들의 선택이 이루어진다. 그 뒤, 매칭 오차가 이 선택에 기초하여 계산된다. 도트(14)에 대응하는 픽셀이 제 2 영상(11)으로부터 매칭될 영역 내에서가 아닌, 제 1 영상(10)으로부터의 블록 내에 보여질 수 있기 때문에, 이 픽셀은 선택되지 않아, 매칭 오차는 계산되고 동시에 이 점(14)은 버려진다.
이를 이루기 위해, 상기 주어진 바와 같은 매칭 오차의 계산은 함수 v(x,y)를 도입함으로써 적합하게 되며, 이 함수는 픽셀(x,y)에 대응하는 점이 제 2 영상으로부터 매칭될 영역 내의 제 1 영상(10)에 보여진다면, 값 1, 또한 그렇지 않으면 값0을 산출한다. 예를 들면, 절대 차들의 합(SAD)을 계산하기 위한 수학적 기술에 의한 매칭 오차의 계산은 다음과 같이 이루어진다.
SAD(d) =
Figure 112006029321704-pct00003
v(x,y)｜U1(x+△x(d), y+△y(d))-U0(x,y)｜
여기서, v(x,y)는 상기 주어진 함수이다. 이 함수를 또한, 시감도 맵(visibility map)이라 칭한다. 다른 수학적 기술들에 대해, 간단한 방식으로 비교할만한 수정이 실현될 수 있다.
블록(B)의 매칭 오차는 그 블록(B)의 모든 점들(x,y)에 걸쳐 계산된다. 각각의 도트(x,y)에 대해, 제 1 영상과 제 2 여상들(10,11)의 차가 계산된다. 이 차를 그 점(x,y)에 대한 시감도 맵의 값을 곱함으로써, 매칭 오차는 시감도 맵이 값 1을 보여주는 점들(x,y)에 걸쳐 단지 계산된다.
시감도 맵을 결정하기 위해, 제 1 영상(10)으로부터의 블록의 픽셀들에 대해 제 2 영상(11)으로부터 매칭될 영역 내에서 이들이 어떤 위치들을 갖는지가 결정된다. 먼저, 3차원 공간에서 각각의 픽셀이 어느 점에 대응하는지가 결정된다. 도 1의 예에서, 점(13)에 대응하는 픽셀(17)에 대해, 점(14)에 대응하는 픽셀(18)에 대해, 그리고 점(16)에 대응하는 픽셀(19)에 대해 결정된다.
예를 들면, 결정된 후보 값에 기초하여, 제 2 영상(11)의 이러한 픽셀들의 위치들이 결정된다. 이 목적을 위해, 예를 들면, 사전에 결정된 깊이 또는 움직임 벡터에 대한 후보 값이 이용될 수 있다. 최적의 후보 값을 선택하는 방법은 먼저 매칭 오차를 계산하기 위한 함수를 변형시키지 않고 적용될 수 있어서, 최적의 후보 값이 결정된다. 점(14) 및 점(16)에 대해, 이들은 제 2 영상(11)으로부터 매칭될 영역 내 동일한 위치, 즉 픽셀(20)을 갖는 것으로 판명된다.
픽셀들(18,19) 또는, 이에 대응하는 점들(14,16)을 비교함으로써, 이러한 픽셀들 또는 점들이 매칭될 영역 내에서 보여질 수 있음이 결정될 수 있다. 이 비교는, 깊이에 기초하여 바람직하게 이루어질 수 있는데, 이는, 일반적으로 가장 가까운 점이 더 멀리 떨어진 점들을 덮기 때문에 보여질 수 있을 것이기 때문이다. 그러나, 멀리 떨어진 픽셀(11)은 이 픽셀들이 보여질 수 있음에도 불구하고, 더 가까이에 있는 픽셀들 보다 훨씬 더 밝게 될 수도 있다. 가까이에 있는 픽셀은 투명하게 될수도 있어서, 더 멀리 떨어진 픽셀들은 가까운 픽셀 대신에 보여질 수 있다. 도 1에서, 점(16)은 제 2 영상(11)으로부터 보여지는 점(14)보다 더 가까이 놓여짐을 볼 수 있고, 그러므로, 점(16)이 선택된다. 이 선택은 그 뒤, 픽셀 19 내지 1 또는 픽셀 18 내지 0에 대한 시감도 맵의 값을 설정함으로써 설립된다.
깊이 또는 움직임 벡터들에 대한 후보 값들은 결정론적인 값들 대신에, 확률 밀도 함수에 대한 어떤 함수를 갖는 확률론적인 변수들로 고려될 수도 있다. 이 경우, 상술한 접근방식은 다소 변경된다. 깊이 또는 움직임의 확률 밀도 함수는, 예를 들면, 매칭 오차를 계산하기 위한 함수를 수정하지 않고, 상술한 방법을 실행함으로써 결정된다. 그 다음, 3차원 공간에서 각각의 픽셀이 어느 점에 가장 대응하는지가 결정된다. 예를 들면, 발견된 후보 값에 기초하여, 3개의 점에 대해, 제 2 영상(11)내에 이들이 어떤 위치를 갖는지가 결정된다. 그 뒤, 각각의 픽셀에 대해, 픽셀이 제 2 영상(11)에 보여질 수 있는 확률이 예를 들면, 기중으로서의 깊이로 계산된다. 이 선택은 이 확률에 기초하여 이에 이루어진다. 보여지고 있는 가장 높은 확률을 갖는 픽셀이 이제 선택된다.
이 선택은 시감도 맵 내에 정해질 수 있다. 첫 번째 확률은 이 픽셀이 가장 높은 확률을 가질 때 픽셀 값은 1, 그렇지 않을때는 0으로 설정하는 것이다. 두 번째 확률은 가기성 맵에 보여지고 있는 픽셀의 확률을 포함하는 것이다.
상기 방법이 몇 차례 실행될 때, 제 1 영상으로부터의 블록의 픽셀들이 어떤 점들에 대응하는지를 결정하기 위한 제 1 반복에 아직은 어떠한 정보도 이용할 수 없다. 그러므로, 이 바복의 시감도 맵의 값은 모든 픽셀들에 대해 1로 설정될 수 있다.
도 2는 비디오 신호(40)를 처리하기 위한 장치를 도시하며, 이 비디오 신호(40)는 다양한 영상들을 포함한다. 상기 장치는 향상된 비디오 신호를 얻기 위해 비디오 신호(40)를 처리하도록 배열된 영상 처리기(41)를 포함한다. 이 향상된 비디오 신호는 그 뒤 디스플레이 스크린(42) 상에 디스플레이된다. 도 2는 비록 영 상 처리기(41)를 포함하는 동일한 장치의 일부로서 디스플레이 스크린(42)을 도시하고 있지만, 디스플레이 스크린(42)이 상기 장치에 독립적으로 배열될 수 있고 네트워크를 통해 장치로부터 향상된 비디오 신호를 수신할 수 있음이 명확하다.
영상 처리기(41)는 비디오 신호(40)의 개별적인 영상들의 움직임 또는 깊이에 대한 정보에 기초하여 비디오 신호(40)를 향상할 수 있다. 예를 들면, 영상 처리기(41)가 비디오 신호(40)를 처리하는 것이 가능하여, 사용자는 깊이 정보 및 블록들의 그룹에 의해 결정된 개별적인 물체들을 개별적으로 회전시키고 그로 인한 다른 각으로부터 정확한 재생을 생성함으로써 다른 각으로부터 영상을 볼 수 있다. 이것은 예를 들면, 입체 재생을 제공할 수 있다. 움직임 정보는 예를 들어 자동 감시 카메라들에 이용될 움직이는 물체들을 검출하고 표시하기 위해 이용될 수 있다. 따라서, 표시된 물체들로 얻어진 비디오 신호는, 이들이 이제 영상 변화들을 훨씬 빠르게 검출할 수 있기 때문에, 이러한 카메라들의 이용자에 대한 향상을 제공한다.
다른 가능한 응용에서, 영상 처리기(41)는 예를 들면, 더 효율적으로 압축된 비디오 신호를 재생함으로써 MPEG 같은 압축된 형태로 얻어진 비디오 신호(40)를 향상시킨다. 물체가 비디오 신호(40)의 다수의 영상들에 발생하는, 블록들의 그룹을 통해 결정된 개별적인 물체는 이제, 단 1회에 한해 물체에 대한 픽셀 정보를 저장하고, 이 물체가 발생하는 다른 영상들에 대한 이 물체의 움직임 벡터 또는 깊이 정보만을 저장함으로써 압축된다. 이 정보가 완벽한 물체의 픽셀 정보보다 더 적은 저장 용량을 요구하기 때문에, 이와 같은 방법은 상당히 압축된 비디오 신호를 제 공할 수 있다.
명확성을 위해, 단지 제 1 블록 깊이가 결정될 때에만 시스템의 요소들의 기능에 대한 설명이 이어지고, 제 1 블록의 움직임이 동일한 방식으로 결정될 수 있음도 명확할 것이다.
상기 장치는 콜렉터(43), 매쳐(46) 및 선택기(47)를 더 포함한다. 콜렉터(43)는 제 2 영상으로부터 매칭될 영역을 결정하기 위한 후보 값들의 세트(45)를 형성하도록 배열된다. 콜렉터(43)에 의해 만들어진 세트(45)는 특히, 제 1 블록에 인접한 블록들의 바람직하게 결정된 깊이들을 포함한다. 인접한 블록들의 깊이들은 일반적으로 거의 상호 다르지 않게 보일 것이다. 그러므로, 제 1 블록에 인접한 블록들의 깊이들은 제 1 블록의 깊이를 결정하기 위한 양호한 시작 지점을 형성하여, 이 깊이에 대한 후보 값들로서 이용된다. 이를 이루기 위해, 이 필이 및 다른 바람직하게 결정된 깊이들이 저장될 수 있는 저장 시스템(44)이 있어서, 콜렉터(43)는 후보 값들의 세트(45)를 만들 때 이들을 이용할 수 있다.
콜렉터(43)는 후보 값들의 세트(45)를 매쳐(46)에 보낸다. 매쳐(46)는 상기 후보 값에 기초하여, 상기 세트로부터의 각각의 후보 값에 대해 제 2 영상으로부터 매칭될 영역을 결정한다. 그 다음, 매쳐(46)는 제 1 영상으로부터의 블록을 이 영역과 매칭시키고, 매쳐(46)는 상술한 바와 같이, 관련된 매칭 영역을 계산한다. 이를 위해, 앞서 상술한 방법들은 평균 제곱 오차, 평균 절대 차, 절대 차들의 합 또는 제곱 오차들의 합처럼 실현될 수 있다.
이 실시예에서의 매쳐(46)는 제 2 영상으로부터 매칭될 영역에서 보여질 수 있는, 제 1 영상으로부터의 블록의 픽셀들의 선택을 만들도록 배열된다. 또한, 상기 장치의 다른 부분들이 이 작업을 위해 배열될 수 있음도 명백하다.
매쳐(46)는 제 1 영상으로부터의 블록의 픽셀들에 대해 이들이 제 2 영상으로부터 매칭될 영역 내에서 어떤 위치들을 갖는지를 결정함으로써 선택이 이루어진다. 이어서, 매쳐(46)는 제 2 영상으로부터 매칭된 영역 내에 동일한 위치를 갖는 픽셀들을, 또는 그에 대응하는 점들을 비교한다. 그래서, 매쳐(46)는 매칭될 영역 내에서 이러한 픽셀들 또는 점들 중 어느 것이 보일 수 있는지를 결정할 수 있다. 이 비교는 바람직하게는 깊이에 기초하여 이루어지는데, 이는, 가장 인접한 점이, 더 멀리 떨어진 점들을 덮음으로 인해, 보여질 수 있기 때문이다. 보여지는 픽셀 내지 1, 또한 보여지지 않는 픽셀 또는 픽셀들 내지 0 에 대한 시감도 맵의 값을 설정함으로써 선택이 이루어진다. 매쳐(46)는 도 1을 참조하여 설명한 바와 같이, 시감도 맵에 기초하여 매칭 오차를 계산한다.
상기 세트(45)로부터의 매칭 오차 값들의 매칭 오차들이 계산된 이후, 선택기(47)는 계산된 매칭 오차들에 기초하여 상기 세트(45)로부터 최적의 후보 값(48)을 선택한다. 최적의 후보 값(48)은 비교적 낮은 매칭 오차를 갖는 후보 값이다. 그 뒤 선택기(47)는 최적의 후보 값(48)을 영상 처리기(41)에 보낸다. 영상들로부터의 다양한 블록들에 대해 이 처리를 반복하는 것은 이 영상에 대한 깊이 정보를 제공한다. 따라서, 제공된 깊이 정보에 기초하여, 영상 처리기(41)는 향상된 비디오 신호를 얻도록 비디오 신호(40)를 처리할 수 있다. 이 향상된 비디오 신호는 그 후, 디스플레이 스크린(42) 상에 디스플레이될 수 있다.

Claims (8)

  1. 제 1 영상(10)으로부터의 블록과 제 2 영상(11)으로부터의 영역을 매칭하는데 이용될 최적의 후보 값(candidate value)을 선택하는 방법으로서,
    (a) 상기 제 2 영상(11)으로부터 매칭될 영역을 결정하기 위한 후보 값들의 세트를 만드는 단계,
    (b) 상기 세트로부터의 각각의 후보 값에 대해, 상기 후보 값에 기초하여, 상기 제 2 영상(11)으로부터 매칭될 영역을 결정하고, 그 영역과 상기 제 1 영상(10)으로부터의 블록을 매칭하고, 매칭 오차를 계산하는 단계, 및
    (c) 상기 계산된 매칭 오차들에 기초하여 상기 세트로부터 상기 최적의 후보 값을 선택하는 단계를 포함하는, 상기 최적의 후보 값 선택 방법에 있어서,
    상기 블록은 픽셀들로 형성되며, 상기 제 1 영상으로부터의 블록의 픽셀들이 선택되며, 상기 블록의 픽셀들은 상기 제 2 영상(11)으로부터의 상기 매칭될 영역에서 볼 수 있고, 매칭 오차의 상기 계산은 상기 선택에 기초하는 것을 특징으로 하는, 최적의 후보 값 선택 방법.
  2. 제 1 항에 있어서,
    상기 선택은, 상기 제 1 영상(10)으로부터의 블록의 상기 픽셀들에 대해 이들의 위치가 상기 제 2 영상(11)으로부터의 상기 매칭될 영역 내에 있다는 것을 결정하고, 상기 제 2 영상(11)으로부터의 상기 매칭될 영역 내의 동일한 위치에서 발견된 상기 제 1 영상(10)으로부터의 상기 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 이루어지는 것을 특징으로 하는, 최적의 후보 값 선택 방법.
  3. 제 2 항에 있어서,
    상기 비교는 깊이에 기초하여 이루어지는 것을 특징으로 하는, 최적의 후보 값 선택 방법.
  4. 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 후보 값을 선택하는 시스템으로서,
    ㆍ상기 제 2 영상으로부터 매칭될 영역을 결정하기 위해 후보 값들(20,21,22,23)의 세트(45)를 만들도록 배열되는 콜렉터(43),
    ㆍ상기 후보 값에 기초하여 상기 세트로부터의 각각의 후보 값에 대해 상기 제 2 영상으로부터 매칭될 영역을 결정하고, 그 영역과 상기 제 1 영상으로부터의 블록을 매칭하고, 매칭 오차를 계산하도록 배열되는 매쳐(matcher; 46), 및
    ㆍ상기 계산된 매칭 오차들(24)에 기초하여 상기 세트(45)로부터 상기 최적의 후보 값을 선택하도록 배열되는 선택기(47)를 포함하는, 상기 최적의 후보 값을 선택하는 시스템에 있어서,
    상기 블록은 픽셀들로 형성되며, 상기 매쳐(46)는 상기 제 1 영상으로부터의 상기 블록의 픽셀들을 선택하도록 배열되며, 상기 블록의 픽셀들은 상기 제 2 영상으로부터의 상기 매칭될 영역에서 볼 수 있고, 상기 매쳐(46)는 상기 선택에 기초하여 매칭 오차를 계산하도록 배열되는 것을 특징으로 하는, 최적의 후보 값 선택 시스템.
  5. 제 4 항에 있어서,
    상기 매쳐(46)는, 상기 제 1 영상으로부터의 상기 블록의 픽셀들에 대해 상기 제 2 영상으로부터의 상기 매칭될 영역에서 이들이 갖는 위치가 어딘지를 결정하고, 상기 제 2 영상으로부터의 상기 매칭될 영역 내의 동일한 위치를 갖는 상기 제 1 영상으로부터의 상기 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 상기 선택을 이루도록 배열되는 것을 특징으로 하는, 최적의 후보 값 선택 시스템.
  6. 제 4 항에 있어서,
    상기 비교는 깊이에 기초하여 이루어지는 것을 특징으로 하는, 최적의 후보 값 선택 시스템.
  7. 다양한 영상들로 구성된 비디오 신호(40)를 처리하는 장치에 있어서,
    ㆍ제 1 영상으로부터의 블록과 제 2 영상(40)으로부터의 영역을 매칭하는데 이용될 최적의 후보 값(48)을 선택하기 위한, 제 4 항 내지 제 6 항 중 어느 한 항에 청구된 시스템(43,46,47)으로서, 상기 영상들로부터의 블록들에 대한 최적의 후보 값들을 상기 다양한 영상들로부터 선택하도록 배열되는, 상기 시스템, 및
    ㆍ상기 시스템(43,46,47)에 의해 결정된 상기 얻어진 최적의 후보 값들에 기초하여 비디오 신호를 얻도록 상기 비디오 신호(40)를 처리하는 영상 처리기(41)를 포함하는, 비디오 신호 처리 장치.
  8. 제 7 항에 있어서,
    상기 장치는 상기 향상된 비디오 신호를 디스플레이하는 디스플레이 시스템(42)을 더 포함하는 것을 특징으로 하는, 비디오 신호 처리 장치.
KR1020027000734A 2000-05-19 2001-04-26 방법, 시스템 및 장치 KR100808395B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00201773.9 2000-05-19
EP00201773 2000-05-19

Publications (2)

Publication Number Publication Date
KR20020020941A KR20020020941A (ko) 2002-03-16
KR100808395B1 true KR100808395B1 (ko) 2008-02-29

Family

ID=8171517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027000734A KR100808395B1 (ko) 2000-05-19 2001-04-26 방법, 시스템 및 장치

Country Status (8)

Country Link
US (1) US6985604B2 (ko)
EP (1) EP1290895B1 (ko)
JP (1) JP4663201B2 (ko)
KR (1) KR100808395B1 (ko)
CN (1) CN1199469C (ko)
AT (1) ATE333194T1 (ko)
DE (1) DE60121443T2 (ko)
WO (1) WO2001091468A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
CN100559399C (zh) * 2004-03-02 2009-11-11 林云成 用于保护在图形界面处输入的字符的方法
WO2009004527A2 (en) 2007-07-03 2009-01-08 Koninklijke Philips Electronics N.V. Computing a depth map
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
EP2765775A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating intermediate view images
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
AU2016101847B4 (en) 2015-10-28 2022-02-17 Bissell Inc. Surface cleaning apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535066A1 (en) * 1990-06-19 1993-04-07 British Broadcasting Corp VIDEO SIGNAL PROCESSING.
JPH089339A (ja) * 1993-06-24 1996-01-12 Sony United Kingdom Ltd 動き補正映像補間方式
EP0948865A1 (en) * 1997-10-29 1999-10-13 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60204086A (ja) * 1984-03-28 1985-10-15 Fuji Electric Co Ltd 物体識別装置
US4876728A (en) * 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
US4825393A (en) * 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
GB2246488B (en) * 1990-07-24 1994-04-20 Sony Corp Motion dependant video signal processing
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
JPH10224798A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 動きベクトル検出方法および検出装置
US5909251A (en) * 1997-04-10 1999-06-01 Cognitech, Inc. Image frame fusion by velocity estimation using region merging
EP0898245B1 (en) * 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JPH11164150A (ja) * 1997-11-27 1999-06-18 Ricoh Co Ltd 画像処理装置
JP2001520781A (ja) * 1998-02-06 2001-10-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き又はデプス推定

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0535066A1 (en) * 1990-06-19 1993-04-07 British Broadcasting Corp VIDEO SIGNAL PROCESSING.
JPH089339A (ja) * 1993-06-24 1996-01-12 Sony United Kingdom Ltd 動き補正映像補間方式
EP0948865A1 (en) * 1997-10-29 1999-10-13 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts

Also Published As

Publication number Publication date
JP2003534742A (ja) 2003-11-18
EP1290895B1 (en) 2006-07-12
CN1381144A (zh) 2002-11-20
EP1290895A1 (en) 2003-03-12
DE60121443T2 (de) 2007-02-15
WO2001091468A1 (en) 2001-11-29
KR20020020941A (ko) 2002-03-16
DE60121443D1 (de) 2006-08-24
CN1199469C (zh) 2005-04-27
ATE333194T1 (de) 2006-08-15
JP4663201B2 (ja) 2011-04-06
US20020009211A1 (en) 2002-01-24
US6985604B2 (en) 2006-01-10

Similar Documents

Publication Publication Date Title
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
US6741725B2 (en) Motion tracking using image-texture templates
US6529613B1 (en) Motion tracking using image-texture templates
WO2007052191A2 (en) Filling in depth results
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
WO2019082797A1 (ja) 再構成方法および再構成装置
US9158994B2 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
EP3311361A1 (en) Method and apparatus for determining a depth map for an image
US20150302595A1 (en) Method and apparatus for generating depth information
WO2019050038A1 (ja) 画像生成方法および画像生成装置
KR100808395B1 (ko) 방법, 시스템 및 장치
JP2013073598A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
US6738497B2 (en) Method, system and apparatus for image block matching
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
US6810134B2 (en) Method, system and apparatus for choosing an optimal candidate value for block matching
CN103716610A (zh) 多视点图像生成装置以及方法
KR101905528B1 (ko) 깊이 정보를 획득하는 방법 및 디스플레이 장치
CN116546180B (zh) 裸眼悬浮3d视频生成方法、装置、设备及存储介质
EP1287665A2 (en) Method, system and apparatus for motion estimation using block matching

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150223

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee