KR20020020941A - 방법, 시스템 및 장치 - Google Patents

방법, 시스템 및 장치 Download PDF

Info

Publication number
KR20020020941A
KR20020020941A KR1020027000734A KR20027000734A KR20020020941A KR 20020020941 A KR20020020941 A KR 20020020941A KR 1020027000734 A KR1020027000734 A KR 1020027000734A KR 20027000734 A KR20027000734 A KR 20027000734A KR 20020020941 A KR20020020941 A KR 20020020941A
Authority
KR
South Korea
Prior art keywords
image
block
pixels
area
matched
Prior art date
Application number
KR1020027000734A
Other languages
English (en)
Other versions
KR100808395B1 (ko
Inventor
브라스펜닝랄프아.체.
에른스트파비안에.
반오베르벨트코르네리우스베어.아.엠.
위린스키피오트르
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020020941A publication Critical patent/KR20020020941A/ko
Application granted granted Critical
Publication of KR100808395B1 publication Critical patent/KR100808395B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

블록 기초의 움직임 도는 깊이 추정에 있어서, 블록은 캔디데이트 값들의 제한된 세트에 걸쳐 매칭 에러들을 최소화하는 결과로서 움직임 또는 깊이 값으로 할당된다. 상기 세트의 각각의 요소에 대한 매칭 에러는 제 1 영상(10)의 블록과 제 2 영상(10)의 영역 사이의 발광성 차들을 계산함으로서 얻어진다. 물체(12)가 다른 물체(15)에 의해 부분적으로 차단되는 일이 발생하여, 그 블록내의 픽셀(14)은 다른 픽셀(16)이 겹쳐지기 때문에 대응하는 영역에 존재하지 않는다. 본 발명에 따른 방법 및 시스템은 픽셀들이 제 2 영상(11)에서 보이지 않는 지를 결정하고, 단지 보이는 픽셀들에 대한 매칭 에러를 계산한다. 비디오 신호(40)에 적합한 장치는 비디오 신호(40)의 향상된 버전을 생성하도록 선택된 캔디데이트 값들을 이용한다.

Description

방법, 시스템 및 장치{Method, System and Apparatus}
서두에서 규정한 형태의 방법은 동일한 출원자들에 의한 국제 특허 출원 공개된 WO 99/40726(PHN 17.017)에 공지되어 있다. 영상의 움직임 또는 깊이를 결정하기 위한 블록 기초 기술들(block-based techniques)을 이용하여, 이 영상은 복수의 블록들, 예를 들면, 동일한 크기의 정방형들로 분할된다. 그 뒤, 이 영상은 다른 영상의 개별적인 블록들을 매칭시킴으로써 또 다른 영상과 비교될 수 있다.
블록을 제 2 영상과 매칭하는 것은 움직임 벡터 또는 그 깊이에 대한 복수의 캔디데이트 값들을 선택하여, 각각의 캔디데이트 값에 대해 그 블록이 제 2 영상내의 영역에 얼마나 멀리 대응하는지를 결정함에 의해 영향을 받는다. 이 매칭의 편차 정도가 계산될 수 있다. 이 편차는 캔디데이트 값에 속하는 매칭 에러로 불린다. 최적의 캔디데이트 값은 비교적 적은 매칭 에러를 갖는 캔디데이트 값이다. 적절한 캔디데이트 값들은, 특히, 제 1 영상으로부터 인접한 블록들의 깊이들 또는 움직임 벡터들인데, 이는, 이들이 현재 블록들과 대략 동일한 특징들을 가지려는 경향이 있기 때문이다. 블록이 픽셀들을 포함하기 때문에, 매칭 에러는 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역내의 대응하는 팩셀들을 기초하여 결정될 수 있다. 평균 스퀘어 에러(MSE;mean square error)를 결정하는 바와 같이 수학적 기법들이 이 목적을 위해 적절하다.
물체의 점(dot)이 제 2 영상에는 실제로 보이지 않고 제 1 영상에 실제로 보이는 일이 발생할 수 있다. 제 2 물체는, 제 2 물체를 부분적으로 또는 제 1 물체를 완전히 덮는, 제 2 영상으로부터 보여진, 그러한 위치를 가질 수 있다. 이것은 제 1 영상으로부터의 블록이 제 2 영상에서 완전하게 다시 발견될 수 없음을 의미하는데, 이는 그로부터의 복수의 픽셀들이 매칭될 영역내에서 보일 수 없기 때문이다.
공지된 방법은 단점은 매칭 에러가 제 1 영상으로부터의 블록의 모든 픽셀들에 걸쳐서 계산되고, 또한, 매칭될 영역내에 보여질 수 없는 픽셀들에 걸쳐서 계산된다는 것이다. 이러한 픽셀들은 그 뒤, 다른 점들(dots)에 대응하는 픽셀들과 비교된다. 예를 들면, 밝기가 변하기 때문에, 이들이 많이 다른 경우, 이것은 큰 매칭 에러들을 산출할 것이다. 캔디데이트 값은 역시 큰 매칭 에러로 인해 거절되는 반면, 이 캔디데이트 값은 그 블록의 가시 영역(visible area)에 대한 최적의 캔디데이트 값을 형성하는 일이 발생할 수 있다.
본 발명은 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용할 최적의 캔디데이트(candidate) 값을 선택하는 방법에 관한 것으로, 상기 방법은,
(a) 제 2 영상으로부터 매칭될 영역을 결정하기 위한 캔디데이트 값들의 세트를 만드는 단계와,
(b) 상기 세트로부터의 각각의 캔디데이트 값에 대해, 상기 캔디데이트 값에 기초하여, 제 2 영상으로부터 매칭될 영역을 결정하고, 제 1 영상으로부터의 블록과 이 영역을 매칭하고, 매칭 에러를 계산하는 단계와,
(c) 상기 계산된 매칭 에러들을 기초하는 세트로부터 최적의 캔디데이트 값을 선택하는 단계를 포함한다.
본 발명은 또한, 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 캔디데이트 값을 선택하기 위한 시스템에 관한 것으로, 상기 시스템은,
* 상기 제 2 영상으로부터 매칭될 영역을 결정하기 위한 캔디데이트 값들의 세트를 만들도록 배열되는 콜렉터와,
* 상기 세트로부터의 각각의 캔디데이트 값에 대하여 상기 캔디데이트 값에기초하여 상기 제 2 영상으로부터 매칭될 영역을 결정하고, 제 1 영상으로부터의 블록과 이 영역을 매칭하고, 매칭 영역을 계산하도록 배열된 매쳐(matcher)와,
* 상기 계산된 매칭 에러들을 기초하여 상기 세트로부터 최적의 캔디데이트 값을 선택하도록 배열된 선택기를 포함한다.
본 발명은 또한, 다양한 영상들을 포함하는 비디오 신호를 처리하기 위한 장치에 관한 것이다.
도 1은 복수의 물체들의 복수의 영상들을 도시하는 도면.
도 2는 비디오 신호를 처리하는 본 발명에 따른 장치를 도시하는 도면.
본 발명의 목적은, 최적의 캔디데이트 값이 만들어지는, 서두에서 규정한 형태의 방법을 제공하는 것이다.
이 목적은, 블록이 픽셀들에 의해 형성되고, 제 2 영상으로부터 매칭될 영역내에 보여질 수 있는 제 1 영상으로부터의 블록의 픽셀들로 선택이 이루어지며, 매칭 에러의 계산은 상기 선택에 기초하는, 본 발명에 따른 방법으로 달성된다. 매칭 에러의 계산에 대해 보이지않는 픽셀들을 이용하지 않음으로써, 큰 매칭 에러들이 비매칭(mismatching)으로인해 발생하는 경우가 회피된다.
상기 방법의 실시예에서, 선택은, 제 1 영상으로부터의 블록의 픽셀들에 대해 제 2 영상으로부터 매칭될 영역내에 이들의 위치가 어딘지를 결정하고, 제 2 영상으로부터 매칭될 영역내의 동일한 위치에서 발견되는 제 1 영상으로부터의 블록의 다른 픽셀들과의 비교를기초하여 픽셀을 선택망으로써, 이루어진다.
상기 방법의 다른 실시예에서, 상기 비교는 깊이를 기초하여 이루어진다. 이 실시예는 비교가 이제 간단하고도 신속하게 실행되는 장점이 있다.
본 발명의 목적은 또한, 최적의 캔디데이트 값에 대한 더 양호한 선택이 이루어지는, 서두에 규정한 형태의 시스템을 제공하는 것이다.
이 목적은, 블록이 픽셀들에 의해 형성되고, 매쳐(matcher)가 제 2 영상으로부터 매칭될 영역내에서 보여지는 제 1 영상으로부터의 블록의 픽셀들의 선택을 만들도록 배열되고, 매쳐가 상기 선택에 기초하여 매칭 에러를 계산하도록 배열되는, 본 발명에 따른 시스템으로 달성된다.
상기 시스템의 실시에에서, 매쳐는 제 1 영상으로부터의 블록의 픽셀들에 대해 이들이 제 2 영상으로부터 매칭될 영역내에서 어떤 위치를 가지는 가를 결정하고, 제 2 영상으로부터 매칭될 영역내에 동일한 위치를 가지는 제 1 영상으로부터 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 상기 선택을 이루도록 배열된다.
상기 시스템의 다른 실시예에서, 상기 비교는 깊이에 기초하여 이루어진다.
본 발명의 목적은 또한, 비디오 신호의 더 양호한 처리가 제공되는, 서두에 규정한 형태의 장치를 제공하는 것이다.
이 목적은 본 발명에 따른 장치로 달성되면, 상기 장치는,
* 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 캔디데이트 값을 선택하기 위한 본 발명에 따른 시스템으로서, 상기 시스템은 상기 다양성으로부터 영상들로부터의 블록들에 대한 최적의 캔디데이트 값들을 선택하도록 배열되는, 상기 시스템과,
* 상기 시스템에 의해 결정된 바와 같이 얻어진 최적의 캔디데이트 값들에 기초하여 향상된 비디오 신호를 얻기 위해 비디오 신호를 처리하는 영상 처리기를 포함한다.
상기 영상 처리기는 본 발명에 따른 시스템에 의해 선택된 최적의 캔디데이트 값을 기초하여 영상을 향상시킨다. 최적의 캔디데이트 값의 더 양호한 선택이 이 시스템으로 이루어지기 때문에, 이것은 다른 장치들보다 더 양호한 향상된 영상을 제공할 것이다.
일 실시예에서, 상기 장치는 향상된 비디오 신호를 디스플레이하는 디스플레이 시스템을 더 포함한다.
본 발명의 이러한 면들 및 다른 면들은 이하 설명될 실시예(들)를 참조하여 명확하게 될 것이다.
제 1 영상의 움직임 및 깊이를 결정하는 블록 기초 기술들에서, 상기 영상은 다수의 블록들로 서브분할된다. 이러한 블록들은 정방형 및 동일한 크기로될 수 있어서, 서브분할은, 대용으로 독단적인 다른 모양들을 이용하는 것이 가능하다 하더라도, 간단하고도 신속한 방식으로 달성될 수 있다. 비 정방형 블록들을 사용하는 것은, 현재의 독단적인 물체들이 한 그룹의 블록들에 의해 덮여질 수 있어서, 그러한 물체의 움직임 또는 깊이가 결정될 수 있는 장점이 있다. 영상을 블록들로 서브분할함에 의해, 제 1 영상으로부터의 블록들과 제 2 영상으로부터의 영역들을 매칭함으로써 그 영상을 제 2 영상과 비교하는 것이 이제 가능하다. 그 블록들이 충분히 작게 선택되면, 각각의 블록들은 유일하게 움직이고 블록의 깊이는 어느곳에서나 동일하다고 가정할 수 있다. 제 1 영상으로부터의 블록에 대응하는 제 2 영상으로부터의 영역을 찾는 것이 가능하다. 이것이 발견되면, 2개의 영상들 간의 이 블록의 이동은 결정될 수 있고 따라서, 이 블록의 움직임이 결정될 수 있다. 2개의 영상들 모두가 정지 물체에 관한 것일 경우, 이것은 이 물체의 깊이를 결정하는데 필수적인 정보를 제공한다.
제 1 영상으로부터의 블록이 제 2 영상으로부터의 영역과 전적으로 매칭하는 경우는 거의 발생하지 않는다. 이 문제점은 깊이 또는 움직임 벡터에 대한 캔디데이트 값을 기초로하여 결정됨으로써 해결되며, 여기서, 제 1 영상으로부터의 블록은 제 2 영상내에 위치되어야 할 것이다. 계속해서, 이것에 대응하는 제 2 영상으로부터의 영역은 제 1 블록과 매칭되고 그 매칭의 편차 정도가 계산될 수 있다. 이 편차를 캔디데이트 값의 매칭 에러가 부른다. 최적의 캔디데이트 값은 비교적 작은 매칭 에러, 바람직하게는, 가장 작은 매칭 에러를 갖는 캔디데이트 값이다.
블록은 픽셀들로 구성되기 때문에, 매칭 에러는 2개의 블록들내의 대응하는 픽셀들을 기초하여 결정될 수 있다. 평균 스퀘어 에러(MSE)를 결정하는 것처럼 수학적 기술이 이 목적에 대해 적절하다. 이 기술로, 움직임 벡터(dx,dy)에 대한 매칭 에러는 다음과 같이 계산될 수 있다.
MSE(i,j) = [U 1 (m,n)-U 0 (m+dx,n+dy)] 2
여기서, M 및 N은 픽셀들의 블록의 치수들이며, Ui(m,n)은 위치(m,n)에서의 영상 I의 픽셀 강도이다. 깊이 d 에 대한 매칭 에러를 계산하는 것은 유사한 방식으로 발생한다.
적절한 다른 수학적 기술은 절대 차들의 합(SAD)을 계산한다. 픽이 d 에 대한 매칭 에러는 다음과 같이 계산될 수 있다.
SAD(d) = ｜U 1 (x+△x(d), y + △y(d))-U 0 (x,y)｜
여기서, (x,y)는 블록 B 내의 픽셀이고, △x(d)는 깊이 d 에 대한 캔디데이트 값에 기초한 x 의 변화량이다.
평균 스퀘어 에러 및 절대 차들의 합 이외에, 또한, 평균 절대 차 또는 스퀘어 에러들의 합 같은 다른 수학 기술들이, 깊이 또는 움직임 벡터에 대한 캔디데이트 값의 매칭 에러를 계산하는데 이용될 수 있다.
실제적인 이유들에 대해, 특히 비디오 신호 처리동안 분리된 영상을 처리하기 위한 약간의 시간만이 존재하기 때문에, 일반적으로, 캔디데이트 값들의 제한된 수의 세트가 만들어지고, 이것은 이어서, 상술한 바와 같이, 제 1 영상으로부터의 블록이 매칭된 이후, 제 2 영상으로부터의 영역을 결정하는데 이용된다. 인접한 다른 블록들의 발견된 움직임 벡터 또는 깊이에 대한 값들이 선택되고, 이 블록에 대한 움직임 벡터 또는 깊이에 대한 바람직하게 계산된 값 도는 랜덤 값에 의해 가능하게 더해지는 것이 통상의 실행이다. 상기 세트의 요소들의 매칭 에러들이 계산된 이후, 최적의 캔디데이트 값은 가장 작은 매칭 에러를 갖는 캔디데이트 값으로 선택된다.
상기 세트를 만들고, 이 세트의 요소들의 매칭 에러들을 계산하며, 최적의 캔디데이트 값을 선택하는 단계들은 3개의 개별적인 단계들로, 또한 조합하여 실행될 수 있다. 각각의 선택된 캔디데이트 값에 대해, 매칭 에러는 예를 들면, 이 매칭 에러가 " 주행 최소(running minimum)와 비교된 이후, 직접 계산될 수 있다. 막 계산된 매칭 에러가 이 주행 최소보다 작은 경우, 현재의 캔디데이트 값은 일시적인 최적의 캔디데이트 값으로서, 그리고 그의 매칭 에러는 새로운 주행 최소로서 선택된다. 상기 세트의 모든 캔디데이트 값들이 선택된 이후, 결과적으로 결정된 일시적인 최적의 캔디데이트 값이 이제 실제 최적의 캔디 데이트 값이 된다.
상술한 방법은 최적의 캔디데이트 값의 최상의 가능한 선택에 이르도록 수 차례 반복될 수 있다. 영상의 깊이가 결정되는 경우, 초기에는 그 깊이들이 랜덤하게 선택된다. 각각의 반복으로, 인접한 블록들의 값들이 이용되어, 이 값들은 사전의 반복의 값들과는 다를 수 있다. 가장 작은 매칭 에러를 갖는 새로이 발견된 값이 다른 블록들의 매칭 에러를 계산하는데 연속하여 이용된다. 그 값들이 더 이상 변하지 않을 때, 최종 값이 결정되고 반복들이 중단될 수 있다. 각각의 반복으로, 최적의 캔디데이트에 대한 현재 값 및 매칭 에러는 각각의 블록에 대해 저장될 수 있다.
도 1은 제 1 영상(10)과 제 2 영상(11)을 도시하며, 이들 모두는 제 1 물체(12) 및 제 2 물체(15)의 표시를 포함한다. 물체들(12,15)의 점들은 제 1 영상(10) 또는 제 2 영상(11)내에 픽셀들로서 보여질 수도 있다. 시감도의 정도는 또한, 제 1 영상(10) 또는 제 2 영상(11)을 보고 있는 시청자에 의해 보여진 물체들의 깊이에 의해 영향을 받는다. 물체(12)의 점(13)은 제 1 영상(10) 및 제 2 여상(11)에서 보일 수 있다. 그러나, 물체(12)의 점(14)은 단지 제 1 영상(10)에서 보일 수 있는데, 이는, 제 2 영상(11)으로부터 보여질 때, 물체(15)의 점(16)은 제 2 영상(11)내의 이 점(14)과 일치하기 때문이다.
이제 제 1 영상(10)으로부터의 블록이 제 2 영상(11)으로부터의 영역과 매칭될 경우, 제 1 영상의 블록내에 위치를 갖는 다고 가정되는, 점(14)은 제 2 영상(11)의 영역내에 되돌아갈 수 없을 것이다. 블록은 영상에 보일 수 있는 물체들의 점들에 대응하는 픽셀들로 구성된다. 제 1 영상(10)으로부터의 블록과 제 2 영상(11)으로부터의 영역의 매칭은 제 1 영상(10)의 블록내에 또한, 제 2 영상(11)의 블록내에 어떤 대응하는 픽셀들이 있는지를 결정함으로써 영향을 받는다.
도 1에서, 제 1 영상(10)으로부터의 블록의 픽셀(18)이 매칭되고 이 픽셀이 점(14)와 대응하는 경우, 이 픽셀은 제 2 영상(11)으로부터의 영역의 점(14)과 대응하는 픽셀과 매칭하도록 의도된다. 이 픽셀은 픽셀(20)일 것이다. 그러나, 제 2 영상(11)에서, 점(16)은 또한 보일 수 있다. 점(16)에 대응하는 픽셀은 픽셀(20)이다. 점(16)이, 제 2 영상(11)으로부터 보여지는, 점(14)보다 더 작은 거리를 가지기 때문에, 픽셀(20)은 점(16)에 대응하여 점(14)은 안보인다.
제 1 영상(10)으로부터의 블록이 제 2 영상(11)으로부터의 영역과 매칭될 때, 픽셀이 점(14)과 일치하는, 제 1 영상(10)으로부터의 블록의 픽셀(18)은, 픽셀이 점(16)과 일치하는, 제 2 영상(11)으로부터의 영역의 픽셀(20)과 매칭될 것이다. 이들이 매우 다르다면, 예를 들어, 점(14)은 어두운 반면, 점(16)은 밝기 때문에, 그 결과는 큰 매칭 에러가 될 것이다.
본 발명에 따른 방법에 있어서, 제 2 영상(11)으로부터 채딩될 영역내에 보이는 제 1 영상(10)으로부터의 블록의 필셀들의 선택이 이루어진다. 그 뒤, 매칭 에러가 이 선택에 기초하여 계산된다. 도트(14)에 대응하는 픽셀이 제 2 영상(11)으로부터 매칭될 영역내에서가 아니, 제 1 영상(10)으로부터의 블록내에 보여질 수있기 때문에, 이 픽셀은 선택되지 않아, 매칭 에러는 계산되고 동시에 이 점(14)은 버려진다.
이를 이루기 위해, 상기 주어진바와 같은 매칭 에러의 계산은 함수 v(x,y)를 도입함으로써 적합하게 되며, 이 함수는 픽셀(x,y)에 대응하는 점이 제 2 영상으로부터 매칭될 영역내의 제 1 영상(10)에 보여진다면, 값 1, 또한 그렇지 않으면 값0을 산출한다. 예를 들면, 절대 차들의 합(SAD)을 계산하기 위한 수학적 기술에 의한 매칭 에러의 계산은 다음과 같이 이루어진다.
SAD(d)= v(x,y)｜U 1 (x+△x(d), y+△y(d))-U 0 (x,y)｜
여기서, v(x,y)는 상기 주어진 함수이다. 이 함수를 또한, 시감도 맵(visibility map)이라 칭한다. 다른 수학적 기술들에 대해, 간단한 방식으로 비교할만한 수정이 실현될 수 있다.
블록(B)의 매칭 에러는 그 블록(B)의 모든 점들(x,y)에 걸쳐 계산된다. 각각의 도트(x,y)에 대해, 제 1 영상과 제 2 여상들(10,11)의 차가 계산된다. 이 차를 그 점(x,y)에 대한 시감도 맵의 값을 곱함으로써, 매칭 에러는 시감도 맵이 값 1을 보여주는 점들(x,y)에 걸쳐 단지 계산된다.
시감도 맵을 결정하기 위해, 제 1 영상(10)으로부터의 블록의 픽셀들에 대해 제 2 영상(11)으로부터 매칭될 영역내에서 이들이 어떤 위치들을 갖는지가 결정된다. 먼저, 3차원 공간에서 각각의 픽셀이 어느 점에 대응하는지가 결정된다. 도 1의 예에서, 점(13)에 대응하는 픽셀(17)에 대해, 점(14)에 대응하는 픽셀(18)에 대해, 그리고 점(16)에 대응하는 픽셀(19)에 대해 결정된다.
예를 들면, 결정된 캔디데이트 값을 기초로 하여, 제 2 영상(11)의 이러한 픽셀들의 위치들이 결정된다. 이 목적을 위해, 예를 들면, 사전에 결정된 깊이 또는 움직임 벡터에 대한 캔디데이트 값이 이용될 수 있다. 최적의 캔디데이트 값을 선택하는 방법은 먼저 매칭 에러를 계산하기 위한 함수를 변형시키지 않고 적용될 수 있어서, 최적의 캔디데이트 값이 결정된다. 점(14) 및 점(16)에 대해, 이들은 제 2 영상(11)으로부터 매칭될 영역내 동일한 위치, 즉 픽셀(20)을 갖는 것으로 판명된다.
픽셀들(18,19) 또는, 이에 대응하는 점들(14,16)을 비교함으로써, 이러한 픽셀들 또는 점들이 매칭될 영역내에서 보여질 수 있음이 결정될 수 있다. 이 비교는, 깊이에 기초하여 바람직하게 이루어질 수 있는데, 이는, 일반적으로 가장 가까운 점이 더 멀리 떨어진 점들을 덮기 때문에 보여질 수 있을 것이기 때문이다. 그러나, 멀리 떨어진 픽셀(11)은 이 픽셀들이 보여질 수 있음에도 불구하고, 더 가까이에 있는 픽셀들 보다 훨씬 더 밝게 될 수도 있다. 가까이에 있는 픽셀은 투명하게 될수도 있어서, 더 멀리 떨어진 픽셀들은 가까운 픽셀 대신에 보여질 수 있다. 도 1에서, 점(16)은 제 2 영상(11)으로부터 보여지는 점(14)보다 더 가까이 놓여짐을 볼 수 있고, 그러므로, 점(16)이 선택된다. 이 선택은 그 뒤, 픽셀 19 내지 1 또는 픽셀 18 내지 0에 대한 시감도 맵의 값을 설정함으로써 설립된다.
깊이 또는 움직임 벡터들에 대한 캔디데이트 값들은 결정론적인 값들 대신에, 확률 밀도 함수에 대한 어떤 함수를 갖는 확률론적인 변수들로 고려될 수도 있다. 이 경우, 상술한 접근방식은 다소 변경된다. 깊이 또는 움직임의 확률 밀도 함수는, 예를 들면, 매칭 에러를 계산하기 위한 함수를 수정하지 않고, 상술한 방법을 실행함으로써 결정된다. 그 다음, 3차원 공간에서 각각의 픽셀이 어느 점에 가장 대응하는지가 결정된다. 예를 들면, 발견된 캔디데이트 값을 기초하여, 3개의 점에 대해, 제 2 영상(11)내에 이들이 어떤 위치를 갖는지가 결정된다. 그 뒤, 각각의 픽셀에 대해, 픽셀이 제 2 영상(11)에 보여질 수 있는 확률이 예를 들면, 기중으로서의 깊이로 계산된다. 이 선택은 이 확률에 기초하여 이에 이루어진다. 보여지고 있는 가장 높은 확률을 갖는 픽셀이 이제 선택된다.
이 선택은 시감도 맵 내에 정해질 수 있다. 첫 번째 확률은 이 픽셀이 가장 높은 확률을 가질 때 픽셀 값은 1, 그렇지 않을때는 0으로 설정하는 것이다. 두 번째 확률은 가기성 맵에 보여지고 있는 픽셀의 확률을 포함하는 것이다.
상기 방법이 몇 차례 실행될 때, 제 1 영상으로부터의 블록의 픽셀들이 어떤 점들에 대응하는지를 결정하기 위한 제 1 반복에 아직은 어떠한 정보도 이용할 수 없다. 그러므로, 이 바복의 시감도 맵의 값은 모든 픽셀들에 대해 1로 설정될 수 있다.
도 2는 비디오 신호(40)를 처리하기 위한 장치를 도시하며, 이 비디오 신호(40)는 다양한 영상들을 포함한다. 상기 장치는 향상된 비디오 신호를 얻기 위해 비디오 신호(40)를 처리하도록 배열된 영상 처리기(41)를 포함한다. 이 향상된 비디오 신호는 그 뒤 디스플레이 스크린(42) 상에 디스플레이된다. 도 2는 비록 영상 처리기(41)를 포함하는 동일한 장치의 일부로서 디스플레이 스크린(42)을 도시하고 있지만, 디스플레이 스크린(42)이 상기 장치에 독립적으로 배열될 수 있고 네트워크를 통해 장치로부터 향상된 비디오 신호를 수신할 수 있음이 명확하다.
영상 처리기(41)는 비디오 신호(40)의 개별적인 영상들의 움직임 또는 깊이에 대한 정보를 기초하여 비디오 신호(40)를 향상할 수 있다. 예를 들면, 영상 처리기(41)가 비디오 신호(40)를 처리하는 것이 가능하여, 사용자는 깊이 정보 및 블록들의 그룹에 의해 결정된 개별적인 물체들을 개별적으로 회전시키고 그로 인한 다른 각으로부터 정확한 재생을 생성함으로써 다른 각으로부터 영상을 볼 수 있다. 이것은 예를 들면, 입체 재생을 제공할 수 있다. 움직임 정보는 예를 들어 자동 감시 카메라들에 이용될 움직이는 물체들을 검출하고 표시하기 위해 이용될 수 있다. 따라서, 표시된 물체들로 얻어진 비디오 신호는, 이들이 이제 영상 변화들을 훨씬 빠르게 검출할 수 있기 때문에, 이러한 카메라들의 이용자에 대한 향상을 제공한다.
다른 가능한 응용에서, 영상 처리기(41)는 예를 들면, 더 효율적으로 압축된 비디오 신호를 재생함으로써 MPEG 같은 압축된 형태로 얻어진 비디오 신호(40)를 향상시킨다. 물체가 비디오 신호(40)의 다수의 영상들에 발생하는, 블록들의 그룹을 통해 결정된 개별적인 물체는 이제, 단 1회에 한해 물체에 대한 픽셀 정보를 저장하고, 이 물체가 발생하는 다른 영상들에 대한 이 물체의 움직임 벡터 또는 깊이 정보만을 저장함으로써 압축된다. 이 정보가 완벽한 물체의 픽셀 정보보다 더 적은 저장 용량을 요구하기 때문에, 이와 같은 방법은 상당히 압축된 비디오 신호를 제공할 수 있다.
명확성을 위해, 단지 제 1 블록 깊이가 결정될 때에만 시스템의 요소들의 기능에 대한 설명이 이어지고, 제 1 블록의 움직임이 동일한 방식으로 결정될 수 있음도 명확할 것이다.
상기 장치는 콜렉터(43), 매쳐(46) 및 선택기(47)를 더 포함한다. 콜렉터(43)는 제 2 영상으로부터 매칭될 영역을 결정하기 위한 캔디데이트 값들의 세트(45)를 형성하도록 배열된다. 콜렉터(43)에 의해 만들어진 세트(45)는 특히, 제 1 블록에 인접한 블록들의 바람직하게 결정된 깊이들을 포함한다. 인접한 블록들의 깊이들은 일반적으로 거의 상호 다르지 않게 보일 것이다. 그러므로, 제 1 블록에 인접한 블록들의 깊이들은 제 1 블록의 깊이를 결정하기 위한 양호한 시작 지점을 형성하여, 이 깊이에 대한 캔디데이트 값들로서 이용된다. 이를 이루기 위해, 이 필이 및 다른 바람직하게 결정된 깊이들이 저장될 수 있는 저장 시스템(44)이 있어서, 콜렉터(43)는 캔디데이트 값들의 세트(45)를 만들 때 이들을 이용할 수 있다.
콜렉터(43)는 캔디데이트 값들의 세트(45)를 매쳐(46)에 보낸다. 매쳐(46)는 상기 캔디데이트 값을 기초로 하여, 상기 세트로부터의 각각의 캔디데이트 값에 대해 제 2 영상으로부터 매칭될 영역을 결정한다. 그 다음, 매쳐(46)는 제 1 영상으로부터의 블록을 이 영역과 매칭시키고, 매쳐(46)는 상술한 바와 같이, 관련된 매칭 영역을 계산한다. 이를 위해, 앞서 상술한 방법들은 평균 스퀘어 에러, 평균 절대 차, 절대 차들의 합 또는 스퀘어 에러들의 합처럼 실현될 수 있다.
이 실시예에서의 매쳐(46)는 제 2 영상으로부터 매칭될 영역에서 보여질 수 있는, 제 1 영상으로부터의 블록의 픽셀들의 선택을 만들도록 배열된다. 또한, 상기 장치의 다른 부분들이 이 작업을 위해 배열될 수 있음도 명백하다.
매쳐(46)는 제 1 영상으로부터의 블록의 픽셀들에 대해 이들이 제 2 영상으로부터 매칭될 영역내에서 어떤 위치들을 갖는지를 결정함으로써 선택이 이루어진다. 이어서, 매쳐(46)는 제 2 영상으로부터 매칭된 영역내에 동일한 위치를 갖는 픽셀들을, 또는 그에 대응하는 점들을 비교한다. 그래서, 매쳐(46)는 매칭될 영역내에서 이러한 픽셀들 또는 점들 중 어느 것이 보일 수 있는지를 결정할 수 있다. 이 비교는 바람직하게는 깊이에 기초하여 이루어지는데, 이는, 가장 인접한 점이, 더 멀리 떨어진 점들을 덮음으로 인해, 보여질 수 있기 때문이다. 보여지는 픽셀 내지 1, 또한 보여지지 않는 픽셀 또는 픽셀들 내지 0 에 대한 시감도 맵의 값을 설정함으로써 선택이 이루어진다. 매쳐(46)는 도 1을 참조하여 설명한 바와 같이, 시감도 맵을 기초하여 매칭 에러를 계산한다.
상기 세트(45)로부터의 매칭 에러 값들의 매칭 에러들이 계산된 이후, 선택기(47)는 계산된 매칭 에러들을 기초하여 상기 세트(45)로부터 최적의 캔디데이트 값(48)을 선택한다. 최적의 캔디데이트 값(48)은 비교적 낮은 매칭 에러를 갖는 캔디데이트 값이다. 그 뒤 선택기(47)는 최적의 캔디데이트 값(48)을 영상 처리기(41)에 보낸다. 영상들로부터의 다양한 블록들에 대해 이 처리를 반복하는 것은 이 영상에 대한 깊이 정보를 제공한다. 따라서, 제공된 깊이 정보를 기초로 하여, 영상 처리기(41)는 향상된 비디오 신호를 얻도록 비디오 신호(40)를 처리할수 있다. 이 향상된 비디오 신호는 그 뒤, 디스플레이 스크린(42) 상에 디스플레이될 수 있다.

Claims (8)

  1. 제 1 영상(10)으로부터의 블록과 제 2 영상(11)으로부터의 영역을 매칭하는데 이용될 최적의 캔디데이트 값을 선택하는 방법으로서, 상기 방법은,
    (a) 상기 제 2 영상(11)으로부터 매칭될 영역을 결정하기 위한 캔디데이트 값들의 세트를 만드는 단계와,
    (b) 상기 세트로부터의 각각의 캔디데이트 값에 대해, 상기 캔디데이트 값을 기초로 하여, 상기 제 2 영상(11)으로부터 매칭될 영역을 결정하고, 상기 제 1 영상(10)으로부터의 블록과 이 영역을 매칭하고, 매칭 에러를 계산하는 단계와,
    (c) 상기 계산된 매칭 에러들을 기초로 하여 상기 세트로부터 상기 최적의 캔디데이트 값을 선택하는 단계를 포함하고
    상기 블록은 픽셀들로 형성되며, 상기 제 2 영상(11)으로부터 매칭될 영역내에서 보여질 수 있는 제 1 영상으로부터의 블록의 픽셀들의 선택이 이루어지며, 매칭 에러의 계산은 상기 선택을 기초로 하는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 방법.
  2. 제 1 항에 있어서,
    상기 선택은, 상기 제 1 영상(10)으로부터의 블록의 픽셀들에 대해, 상기 제 2 영상(11)으로부터 매칭될 영역에서 이들의 위치가 어딘지를 결정하고, 상기 제 2 영상(11)으로부터 매칭될 영역내의 동일한 위치에서 발견된 제 1 영상(10)으로부터의 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 이루어지는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 방법.
  3. 제 2 항에 있어서,
    상기 비교는 깊이를 기초로 하여 이루어지는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 방법.
  4. 제 1 영상으로부터의 블록과 제 2 영상으로부터의 영역을 매칭하는데 이용될 최적의 캔디데이트 값을 선택하는 시스템으로서, 상기 시스템은,
    * 상기 제 2 영상으로부터 매칭될 영역을 결정하기 위해 캔디데이트 값들(20,21,22,23)의 세트(45)를 만들도록 배열된 콜렉터(43)와,
    * 상기 캔디데이트 값을 기초로 하여, 상기 세트로부터의 각각의 캔디데이트 값에 대해, 상기 제 2 영상으로부터 매칭될 영역을 결정하고, 상기 제 1 영상으로부터의 블록과 이 영역을 매칭하고, 매칭 영역을 계산하도록 배열된 매쳐(46)와,
    * 상기 계산된 매칭 에러들(24)을 기초로 하여, 상기 세트로부터 상기 최적의 캔디데이트 값을 선택하도록 배열된 선택기(47)를 포함하고,
    상기 블록은 픽셀들로 형성되며, 상기 매쳐(46)는, 상기 제 2 영상으로부터 매칭될 영역에서 보여질 수 있는 상기 제 1 영상으로부터의 블록의 픽셀들의 선택이 이루어지도록 배열되며, 상기 매쳐(46)는 상기 선택을 기초로 하여 매칭 에러를 계산하도록 배열되는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 시스템.
  5. 제 4 항에 있어서,
    상기 매쳐(46)는, 상기 제 1 영상으로부터의 블록의 픽셀들에 대해, 상기 제 2 영상으로부터 매칭될 영역에서 이들이 갖는 위치가 어딘지를 결정하고, 상기 제 2 영상으로부터 매칭될 영역내의 동일한 위치를 갖는 제 1 영상(10)으로부터의 블록의 다른 픽셀들과의 비교에 기초하여 픽셀을 선택함으로써 상기 선택이 이루어지도록 배열되는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 시스템.
  6. 제 4 항에 있어서,
    상기 비교는 깊이를 기초로 하여 이루어지는 것을 특징으로 하는, 최적의 캔디데이트 값 선택 시스템.
  7. 다양한 영상들로 구성된 비디오 신호(40)를 처리하는 장치에 있어서,
    * 제 1 영상으로부터의 블록과 제 2 영상(40)으로부터의 영역을 매칭하는데 이용될 최적의 캔디데이트 값(48)을 선택하기 위한, 제 4 항 내지 제 6 항에서 청구된 바와 같은 시스템으로서, 상기 시스템은 상기 영상들로부터의 블록들에 대한 최적의 캔디데이트 값들을 상기 다양한 영상들로부터 선택하도록 배열되는, 상기 시스템과,
    * 상기 시스템(43,46,47)에 의해 결정된 바와 같은 얻어진 최적의 캔디데이트 값들을 기초로 하여 향상된 비디오 신호를 얻도록 상기 비디오 신호(40)를 처리하는 영상 처리기(41)를 포함하는 것을 특징으로 하는, 비디오 신호 처리 장치.
  8. 제 7 항에 있어서,
    상기 장치는 상기 향상된 비디오 신호를 디스플레이하는 디스플레이 시스템(42)을 더 포함하는 것을 특징으로 하는, 비디오 신호 처리 장치.
KR1020027000734A 2000-05-19 2001-04-26 방법, 시스템 및 장치 KR100808395B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00201773.9 2000-05-19
EP00201773 2000-05-19

Publications (2)

Publication Number Publication Date
KR20020020941A true KR20020020941A (ko) 2002-03-16
KR100808395B1 KR100808395B1 (ko) 2008-02-29

Family

ID=8171517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027000734A KR100808395B1 (ko) 2000-05-19 2001-04-26 방법, 시스템 및 장치

Country Status (8)

Country Link
US (1) US6985604B2 (ko)
EP (1) EP1290895B1 (ko)
JP (1) JP4663201B2 (ko)
KR (1) KR100808395B1 (ko)
CN (1) CN1199469C (ko)
AT (1) ATE333194T1 (ko)
DE (1) DE60121443T2 (ko)
WO (1) WO2001091468A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
US7673252B2 (en) * 2004-03-02 2010-03-02 Netrust Pte Ltd Method for protecting a character entered at a graphical interface
WO2009004527A2 (en) 2007-07-03 2009-01-08 Koninklijke Philips Electronics N.V. Computing a depth map
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
EP2765775A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating intermediate view images
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
AU2016101847B4 (en) 2015-10-28 2022-02-17 Bissell Inc. Surface cleaning apparatus

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60204086A (ja) * 1984-03-28 1985-10-15 Fuji Electric Co Ltd 物体識別装置
US4876728A (en) * 1985-06-04 1989-10-24 Adept Technology, Inc. Vision system for distinguishing touching parts
US4825393A (en) * 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
GB9013642D0 (en) * 1990-06-19 1990-08-08 British Broadcasting Corp Video signal processing
GB2246488B (en) * 1990-07-24 1994-04-20 Sony Corp Motion dependant video signal processing
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
JPH10224798A (ja) * 1997-02-05 1998-08-21 Toshiba Corp 動きベクトル検出方法および検出装置
US5909251A (en) * 1997-04-10 1999-06-01 Cognitech, Inc. Image frame fusion by velocity estimation using region merging
EP0898245B1 (en) * 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
WO1999022520A2 (en) * 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts
JPH11164150A (ja) * 1997-11-27 1999-06-18 Ricoh Co Ltd 画像処理装置
JP2001520781A (ja) * 1998-02-06 2001-10-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き又はデプス推定

Also Published As

Publication number Publication date
ATE333194T1 (de) 2006-08-15
DE60121443D1 (de) 2006-08-24
JP2003534742A (ja) 2003-11-18
US20020009211A1 (en) 2002-01-24
KR100808395B1 (ko) 2008-02-29
JP4663201B2 (ja) 2011-04-06
DE60121443T2 (de) 2007-02-15
US6985604B2 (en) 2006-01-10
CN1381144A (zh) 2002-11-20
WO2001091468A1 (en) 2001-11-29
EP1290895A1 (en) 2003-03-12
EP1290895B1 (en) 2006-07-12
CN1199469C (zh) 2005-04-27

Similar Documents

Publication Publication Date Title
US5734743A (en) Image processing method and apparatus for block-based corresponding point extraction
US5808695A (en) Method of tracking scene motion for live video insertion systems
WO2007052191A2 (en) Filling in depth results
US20040096119A1 (en) Efficient method for creating a viewpoint from plurality of images
KR20090006068A (ko) 동영상 시퀀스를 수정하는 방법 및 그 장치
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
US9406140B2 (en) Method and apparatus for generating depth information
KR20070061094A (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
EP1815441B1 (en) Rendering images based on image segmentation
WO2016202837A1 (en) Method and apparatus for determining a depth map for an image
US20220148207A1 (en) Processing of depth maps for images
KR100808395B1 (ko) 방법, 시스템 및 장치
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
US6738497B2 (en) Method, system and apparatus for image block matching
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device
US6810134B2 (en) Method, system and apparatus for choosing an optimal candidate value for block matching
CN103716610A (zh) 多视点图像生成装置以及方法
KR101905528B1 (ko) 깊이 정보를 획득하는 방법 및 디스플레이 장치
CN116546180B (zh) 裸眼悬浮3d视频生成方法、装置、设备及存储介质
WO2001091448A2 (en) Method system and apparatus_for motion estimation using block matching
JP2019029789A (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150223

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee