KR20040078690A - 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 - Google Patents

오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 Download PDF

Info

Publication number
KR20040078690A
KR20040078690A KR10-2004-7012045A KR20047012045A KR20040078690A KR 20040078690 A KR20040078690 A KR 20040078690A KR 20047012045 A KR20047012045 A KR 20047012045A KR 20040078690 A KR20040078690 A KR 20040078690A
Authority
KR
South Korea
Prior art keywords
motion vector
input image
motion
image
pixels
Prior art date
Application number
KR10-2004-7012045A
Other languages
English (en)
Inventor
마크 제이. 더블유. 머텐스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040078690A publication Critical patent/KR20040078690A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching

Abstract

입력 이미지(104)의 일군의 화소들의 움직임 벡터를 추정하는 움직임 추정유닛(200, 300)으로서, 상기 입력 이미지(104)에 적용할 수 있는 오클루전 맵(116)을 계산하는 오클루전 검출 유닛(206); 상기 입력 이미지(104) 및 이 입력 이미지(104)의 선행 이미지(102)에 근거하여 상기 일군의 화소들에 대한 제 1 움직임 벡터를 추정하고, 상기 입력 이미지(104) 및 이 입력 이미지(104)의 후속 이미지(106)에 근거하여 상기 일군의 화소들에 대한 제 2 움직임 벡터를 추정하는, 중간 움직임 추정유닛(202), 및 상기 제 1 움직임 벡터 혹은 상기 제 2 움직임 벡터로부터 도출되는 최종 움직임 벡터를, 상기 오클루전 맵(116)에 근거하여 상기 움직임 벡터로서 할당하는, 할당유닛(204)을 포함한다.

Description

오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정{Estimating a motion vector of a group of pixels by taking account of occlusion}
서두에 기술된 종류의 방법의 실시예는 미국 특허 제 6,011,596 호에서 알려져 있다. 이 특허는 배경 물체들 앞을 이동하는 전경 물체의 장면에서 전경 물체는 배경을 가리게 됨을 기재하고 있다. 이동 때문에, 전경 물체는 배경을 가리고 보여지게 하는 것을 계속적으로 행한다. 이러한 장면을 나타내는 이미지는 가려진 영역(covering area), 보여지게 된 영역(uncovering area), 및 전혀 가려지지 않은영역(no-covering area)의 3가지 유형들의 영역을 포함한다. 이것은 이미지의 일부가 후속 이미지에선 가려질 것이고, 이미지의 일부는 후속 이미지에서 보여지게 될 것이고, 나머지 영역은 후속 이미지에 동일 객체를 계속하여 나타낼 것임을 의미한다. 일련의 3개의 이미지들에서 가운데 이미지에서 볼 수 있는 모든 것은 선행 이미지, 혹은 후속 이미지, 혹은 이들 두 이미지 내 있을 것이다.
입력 이미지 내 실질적으로 모든 움직임들을 정의하는데 사용될 수 있는 한 세트의 움직임 벡터들을 생성하기 위해서, 제 1 다수 세트들의 움직임 벡터들은 선행 이미지와 후속 이미지와의 비교들로부터 도출된다. 이어서 이들 세트들을 결합하여, 입력 이미지에 할당하기 위한 한 세트의 벡터들을 생성한다. 일단 한 세트의 움직임 벡터들이 도출되었으면 이들 벡터들은 입력 이미지에 할당되고 이 이미지로부터 이들 벡터들을 투사시켜 원하는 출력 이미지가 생성될 수 있다. 움직임 벡터들은 이미지의 영역들, 즉 다수 그룹들의 화소들에 할당된다.
전술한 특허의 방법은 비교적 복잡하고 비교적 많은 메모리를 요한다. 이 외에도 안정성이 없다. 두 세트 중 어느 움직임 벡터를 선택해야 할 것인가의 결정은 이들 두 세트의 상응하는 매치 에러(match error)들에 근거한다. 그러므로, 선행 이미지에 의해 계산되는 후방 움직임 벡터의 매치 에러는 후속 이미지에 의해 계산되는 전방 움직임 벡터의 매치 에러와 비교되어야 한다. 매치 에러들을 일시 저장할 필요가 있다.
본 발명은 입력 이미지의 일 군의 화소들의 움직임 벡터를 추정하는 방법에 관한 것이다.
본 발명은 또한 입력 이미지의 일 군의 화소들의 움직임 벡터를 추정하는 움직임 추정 유닛에 관한 것이다.
본 발명은 또한,
- 처리될 이미지들을 나타내는 신호를 수신하는 수신 수단과,
- 그러한 움직임 추정 유닛, 및
- 움직임 보상된 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
도 1은 본 발명에 따른 방법의 개념을 개략적으로 도시한 도면.
도 2는 움직임 추정유닛의 실시예를 개략적으로 도시한 도면.
도 3은 리-타이머 유닛과 조합하여 움직임 추정 유닛의 실시예를 개략적으로 도시한 도면.
도 4는 이미지 처리 장치의 실시예를 개략적으로 도시한 도면. 대응하는 참조부호들은 전 도면에서 동일 의미를 갖는다.
본 발명의 목적은 비교적 간단한, 서두에 기술된 종류의 방법을 제공하는 것이다.
본 발명의 목적은, 입력 이미지의 일 군의 화소들의 움직임 벡터를 추정하는 방법에 있어서,
- 상기 입력 이미지의 상기 일군의 화소들이, 다음의 유형들의 영역, 즉 가려진 영역, 보여지게 된 영역 혹은 가려지지 않은 영역 중 어느 것에 대응하는가를 표시하는, 상기 입력 이미지에 적용할 수 있는 오클루전 맵을 계산하는 오클루전 검출 단계와,
- 상기 입력 이미지 및 이 입력 이미지의 선행 이미지에 근거하여 상기 일군의 화소들에 대한 제 1 움직임 벡터를 추정하는, 제 1 중간 움직임 추정단계와,
- 상기 입력 이미지 및 이 입력 이미지의 후속 이미지에 근거하여 상기 일군의 화소들에 대한 제 2 움직임 벡터를 추정하는, 제 2 중간 움직임 추정단계, 및
- 상기 제 1 움직임 벡터 혹은 상기 제 2 움직임 벡터로부터 도출되는 최종 움직임 벡터를, 상기 오클루전 맵에 근거하여 상기 움직임 벡터로서 할당하는, 할당단계를 포함하는, 움직임 벡터 추정방법에 의해 달성된다.
바람직하게 상기 일군의 화소들은 한 블록의 화소들에 대응한다. 본 발명의 중요한 일 면은 오클루전 맵의 사용이다. 결과는 본 발명에 따른 방법을 수행하도록 설계된 움직임 추정유닛이 비교적 간단하다는 것이다. 사실, 표준 움직임 추정유닛은 제 1 및 제 2 중간 움직임 추정단계를 수행하는데 사용될 수 있다. 표준 움직임 추정유닛은 여러 쌍의 이미지들의 화소값들을 비교한 것에 근거하여 움직임 벡터들을 추정하도록 설계되는 움직임 추정유닛을 의미한다. 표준 움직임 추정유닛은 1993년 10월, 비디오 기술에 대한 회로들 및 시스템들에 관한 IEEE 트랜잭션들, 제 3 권, 제 5 번, 페이지 368-379에서 지. 드 하안(G. de Haan) 등의 "True-Motion Estimation with 3-D Recursive Search Block Matching" 논문으로부터 공지된 움직임 추정유닛일 수도 있을 것이다. 표준 움직임 추정유닛, 즉 중간 움직임 벡터 필드들에 의해 계산되는 움직임 벡터 필드들은 가려지게 되는 것 및/또는 보여지게 되는 것에 의해 야기되는 오류 움직임 벡터들을 포함할 수도 있을 것이다. 본 발명에 따른 방법에 의해서 이들 중간 움직임 벡터 필드들은 하나의 최종 움직임 벡터 필들로 결합된다. 혹은, 환원하여, 가려진 혹은 보여지게 된 영역들에 상응하는 오류 움직임 벡터들이 실질적으로 제거된다. 그러므로, 표준 움직임 추정유닛에 의해 결정되는, 움직임 벡터 필드는 일종의 사후-처리에 의해 향상된다. 표준 움직임 추정유닛을 적용하는 잇점은 메모리 요건이 비교적 낮다는 것이다. 통상, 두 이미지들의 화소들만이 메모리에 동시에 유지된다.
오클루전 맵을 적용하는 잇점은 비교적 메모리가 거의 필요하지 않다는 것이다. 종래 기술에 따른 방법에서, 매칭 에러들은 움직임 벡터들의 선택을 제어하는데 사용된다. 매칭 에러들, 예를 들면 절대 차이들의 합을 저장하기 위해서, 비교적 많은 메모리가 필요하다. 매칭 에러들의 사용은 종래 기술에 따른 방법이 덜 안정하기 때문이다.
두 개의 중간 움직임 벡터 필드들이 먼저 계산된 후에 이들이 조합됨을 위에 기술하였다. 이들 움직임 벡터필드들 중 하나에 대해서만, 움직임 벡터를 요하는 이미지의 화소 그룹 전부에 대해 움직임 벡터들이 계산되어야 하는 것에 유의한다.다른 중간 움직임 벡터 필드는 불완전할 수도 있을 것이다. 이것은 가려지게 된 혹은 보여지게 된 영역들에 있는 다수 그룹들의 화소들에 대해서 움직임 벡터들만이 계산됨을 의미한다. 이와 같이 행함으로써, 컴퓨터 자원 사용 감축이 달성된다.
본 발명에 따른 방법의 실시예에서, 최종 움직임 벡터는,
- 일군의 화소들의 영역의 유형이, 가려지게 되는 영역에 상응한다면 제 1 움직임 벡터, 및
- 일군의 화소들의 영역의 유형이, 가려지지 않은 영역에 상응한다면 제 2 움직임 벡터로부터 도출된다.
일군의 화소들의 영역 유형이, 가려지지 않게 된 영역에 상응한다면, 제 1 움직임 벡터 혹은 제 2 움직임 벡터로부터 최종의 움직임 벡터가 도출되든지 간에는 어떠한 차이도 생기지 않는다. 어떠한 선택이든 가능할 것이다. 도출된다는 것은,
- 최종 움직임 벡터가 중간 움직임 벡터, 즉 제 1 움직임 벡터 혹은 제 2 움직임 벡터에 상응한다는 것, 혹은
- 최종 움직임 벡터의 길이가 중간 움직임 벡터의 길이에 상응하나 방향은 반대임을 의미한다.
본 발명에 따른 실시예에서 오클루전 맵은 움직임 벡터 필드에 근거하여 계산된다. 움직임 벡터 필드에 근거하여 오클루전 맵을 계산하는 방법은 WO0011863번호로 공개된 "Problem area location in an image signal" 명칭의 특허출원에 개시되어 있다. 이 특허출원에는, 오클루전 맵이 움직임 벡터 필드의 이웃한 움직임벡터들을 비교함에 의해 결정됨이 기재되어 있다. 이웃하는 움직임 벡터들이 실질적으로 동일하다면, 즉 이웃한 움직임 벡터들 간 절대값 차이가 소정의 임계값 미만이면, 움직임 벡터들이 대응하는 다수 그룹들의 화소들은 가려지지 않게 된 영역 내 위치하는 것으로 간주한다. 그러나, 움직임 벡터들 중 하나가 이웃 움직임 벡터보다 실질적으로 크다면, 다수 그룹의 화소들은 가려지게 된 영역 혹은 보여지게 된 영역에 위치한 것으로 간주된다. 이웃 움직임 벡터들의 방향은 두 유형들의 영역 중 어느 것인지를 결정한다. 이러한 오클루전 검출 방법의 잇점은 이의 안정성이다. 종래 기술, 즉 매칭-에러들에 근거하는 미국 특허 제 6,011,596호에 적용되는 방법보다 낫다.
오클루전 맵이 움직임 벡터 필드에 근거하여 계산되는 본 발명에 따른 방법의 실시예에서, 움직임 벡터 필드는 입력 이미지에 관계된다. 고찰되는 이미지의 움직임 벡터 필드에 근거한 오클루전 맵은 최상의 오클루전 맵인 것이 확실하다.
오클루전 맵이 움직임 벡터 필드에 근거하여 계산되는 본 발명에 따른 방법의 실시예에서, 움직임 벡터 필드는 선행 이미지에 관계된다. 이 방식의 잇점은 본 발명에 따른 움직임 추정의 설계를 단순화시킬 수 있다는 것이다.
이미지 처리 장치의 수정 및 이들의 변형들은 움직임 추정유닛 및 기술된 방법의 수정 및 이들의 변형에 대응한다. 이미지 처리 장치는 추가의 성분들, 예를 들면, 처리된 이미지들을 디스플레이하는 디스플레이 디바이스를 포함할 수도 있다. 움직임 보상된 이미지 처리 유닛은 이미지 처리의 다음의 유형들 중 하나 혹은 그 이상을 지원할 수도 있을 것이다.
- 비디오 압축, 즉 예를 들면 MPEG 표준에 따른 부호화 혹은 복호화.
- 디-인터레이싱: 인터레이싱은 기수 혹은 우수 번째의 이미지 라인들을 번갈아 전송하는 일반적인 비디오 방송 과정이다. 디-인터레이싱은 수직 해상도를 완전히 복구하려는 것으로, 즉 각 이미지에 대해 기수 및 우수 라인들을 동시에 얻어지게 하는 것이다.
- 업-변환: 일련의 원 입력 이미지들로부터 보다 큰 일련의 출력 이미지들이 계산된다. 출력 이미지들은 두 개의 원 입력 이미지들 간에 시간적으로 놓여진다.
- 시간적 잡음 감소. 이것은 공간적 처리를 수반할 수도 있는 것으로 이에 따라 공간-시간적 잡음 감소로 된다.
본 발명에 따른 방법 및 이미지 처리 장치의 움직임 추정유닛의 이들 및 다른 면들은 첨부한 도면들을 참조로 이하 기술되는 구현 및 실시예들에 관하여 명백해질 것이다.
도 1은 본 발명에 따른 방법의 개념을 개략적으로 도시한 것이다. 도 1은 고정된 배경 앞에서 공이 우측에서 좌측으로 이동하는 장면을 나타내는 3개의 연속한 이미지들(102-106)을 도시한 것이다. 이동방향은 화살표(110)로 나타내었다. 이들 3개의 연속한 이미지들(102-106)에 근거하여 두 개의 움직임 벡터 필드들(112, 114)가 추정된다. 움직임 벡터 필드(112)는 이미지(104) 및 이미지(106)에 근거한다. 움직임 벡터(114)는 이미지(104) 및 이미지(102)에 근거한다. 이들은 1993년 10월, 비디오 기술에 대한 회로들 및 시스템들에 관한 IEEE 트랜잭션들, 제 3 권, 제 5 번, 페이지 368-379에서 지. 드 하안(G. de Haan) 등의 "True-Motion Estimation with 3-D Recursive Search Block Matching"의 논문으로부터 공지된 움직임 추정 유닛에 의해 계산된다. 이들 두 움직임 벡터 필드들(122, 114)의 대부분의 움직임 벡터들은 제로이다. 이들은 이동하지 않는 배경에 상응한다. 이들 움직임 벡터를 배경 움직임 벡터들이라 한다. 움직임 벡터 필드들(112, 114) 중 이외 다른 움직임 벡터들은 공(108)의 움직임에 상응한다. 이들 후자의 움직임 벡터들은 각각 영역들(113, 115) 내 위치하여 있다. 이들 움직임 벡터들은 전경 움직임 벡터들이라 한다. 그러나, 할당된 움직임 벡터들 중 일부는 정확하지 않아데, 영역들(113, 115)은 크다(?). 이것은 이미지에서 볼 수 있는 배경 객체들이 다음 이미지에선 볼 수 없게 되는, 가려짐에 의해서, 혹은 이미지에서 볼 수 있는 배경 객체들이 선행 이미지에선 볼 수 없는 것인, 보여지게 됨에 의해서, 야기된다. 이들 경우에 있어서, 적합한 움직임 벡터들을 직접 계산하는 것은 가능하지 않다.
목적은 이미지(104)와 매칭되는 움직임 벡터 필드(124)를 계산하는 것이다. 이것은 전경 움직임 벡터가 공(108)에 대응하는 화소들에 할당되고 배경 움직임 벡터는 이외의 화소들에 할당됨을 의미한다. 전자의 화소들은 영역(126)에 있고 후자의 화소들은 영역(128)에 있다. 도 1은 또한 오클루전 맵(116)을 포함한다. 오클루전 맵(116)은 요소들의 행렬인데, 이들 요소들은 이미지(104)의 각각의 화소들이, 다음의 유형들의 영역, 즉 가려진 영역(118), 보여지게 된 영역(122) 혹은 가려지지 않은 영역(120) 중 어느 것에 대응하는가를 표시한다. 이 오클루전 맵은 WO0011863 번호호 공개된 "PROBLEM area location in an image signal" 명칭의 특허출원에 기재된 방식에 따라 계산될 수도 있을 것이다. 오클루전 맵이 실제 오클루드된 부분들과 정확하게 들어맞을 필요는 없는 것에 유의한다. 그러나, 바람직하게는 오클루전 맵의 가려진 영역들과 보여지게 된 영역들은 실제로 가려지게 된 영역과 보여지게 된 영역과 같이 이보다 크다.
본 발명에 따라 움직임 벡터들을 추정하는 방법은 다음과 같이 작용한다. 움직임 벡터 필드들(112, 114)이 다수 블록의 화소들의 움직임 벡터들을 포함하는 것으로 가정한다. 그러면, 움직임 벡터 필드(124)에 대한 적합한 움직임 벡터들을 판정해야 한다. 움직임 벡터 필드(124)의 다수 블록의 화소들의 각 블록에 대해, 다음의 단계들이 행해진다.
- 이 블록의 화소들에 대해 오클루전 맵(116)에 의해 영역의 유형을 판정한다.
- 다음 테스트에 근거하여 이 블록의 화소들에 적합한 움직임 벡터를 할당한다.
* 영역의 유형이 "가려지게 된 영역"에 해당된다면, 움직임 벡터 필드(114)로부터 움직임 벡터를 선택한다. 움직임 벡터는 고찰중의 한 블록의 화소들에 속하는 움직임 벡터를 의미한다.
* 영역의 유형이 "보여지게 된 영역"에 해당된다면, 움직임 벡터 필드(112)로부터 움직임 벡터를 선택한다. 움직임 벡터는 고찰중의 한 블록의 화소들에 속하는 움직임 벡터를 의미한다.
* 영역의 유형이 "전혀 가려지지 않은 영역"에 해당된다면, 움직임 벡터 필드(112)로부터 움직임 벡터를 선택한다. 움직임 벡터 필드(114)로부터의 움직임 벡터의 선택은 동일한 결과를 주는 것에 유의한다.
도 2는 본 발명에 따른 움직임 추정유닛(200)의 실시예를 개략적으로 도시한 것이다. 움직임 추정유닛(200)은
- 제 1 움직임 벡터 필드(114)는 이미지(104)와 이 이미지(104)의 선행 이미지(102)에 근거해서, 제 2 움직임 벡터 필드(112)는 이미지(104)와 후속 이미지(106)에 근거해서 추정하는 중간 움직임 추정유닛(202), 및
- 일 군의 화소들의 영역의 유형에 근거해서, 제 1 움직임 벡터 혹은 제 2 움직임 벡터로부터 도출된 최종 움직임 벡터를 움직임 벡터로서 할당하는 할당유닛(204), 및
- 움직임 벡터 필드에 근거해서 오클루전 맵(116)을 계산하는 오클루전 검출유닛(206)을 포함한다. 움직임 벡터 필드는 접속(214)에 의한 중간 움직임 추정유닛(202)에 의해서 혹은 접속(212)을 통한 할당유닛(204)에 의해 제공된다.
입력 커넥터(208)에 이미지들이 제공된다. 움직임 추정유닛(200)은 출력 커넥터(210)에 움직임 벡터들을 제공한다. 움직임 추정유닛의 동작은 도 1에 관련하여 기술된 방법에 상응한다.
도 3은 리-타이머 유닛(302)와 조합하여 움직임 추정유닛(300)의 실시예를 개략적으로 도시한 것이다. 할당유닛(204)의 출력은 예를 들면 MPEG 압축을 위해 곧바로 사용될 수 있다. 업-변환의 경우, 이미지들에 대한 움직임 벡터들을 보간해야 한다. 이것은 움직임 추정유닛에 제공되는 원 일련의 이미지들에는 없으나 원 일련의 이미지들에 근거하여 계산되어야 할 이미지들을 의미한다. 움직임 추정유닛(300)은 이들 새로운 이미지들에 대한 움직임 벡터들을 추정하기 위해 설계되는 리-타이머 유닛(302)을 포함한다. 리-타이밍함에 있어 가능할 수 있는 방법은 한 움직임 벡터 필드의 움직임 벡터들을 투사한 후 움직임 벡터들을 스케이일하는 것에 근거한다. 스케일링은 원 이미지들과 새로운 이미지들 간 시간간격 차이들에 따른다.
또 다른 방식은 두 개의 연속한 움직임 벡터 필드들에 근거한다. 이 방식에서 대응하는 움직임 벡터들은 서로간에 감해진다. 이들 입력 움직임 벡터들 간 차이가 소정의 임계값 미만이면 계산될 움직임 벡터는 두 개의 입력 움직임 벡터들의 평균에 근거할 것이다. 임계값이 소정의 임계값 이상이면 두 입력 움직임 벡터들 중 특정의 것을, 무엇보다도, 보간할 이미지의 시간적 위치에 따라, 선택한다. 계산할 움직임 벡터는 이 입력 움직임 벡터에 근거할 것이다. 선택은 오클루전 맵(116)에 의해 제어될 수도 있을 것이다.
도 4는 이미지 처리 장치(400)의 요소들을 개략적으로 도시한 것으로, 이 장치는,
- 어떤 처리가 수행된 후 디스플레이할 이미지들을 나타내는 신호를 수신하는 수신수단(402), 이 신호는 안테나 혹은 케이블을 통해 수신되는 방송 신호일 수 있으나 VCR(비디오 카세트 레코더) 혹은 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있고, 이 신호는 입력 커넥터(410)에 제공되는 것이며,
- 도 2 혹은 도 3에 관련하여 기술된 움직임 추정유닛(404)과,
- 움직임 보상된 이미지 처리유닛(406), 및
- 처리된 이미지들을 디스플레이하는 디스플레이 디바이스(408)를 포함한다. 이 디스플레이 디바이스(408)는 선택적이다.
움직임 보상된 이미지 처리 유닛(406)은 이의 입력으로서 이미지들 및 움직임 벡터들을 필요로 한다.
전술한 실시예들은 본 발명을 제한하는 것이 아니라 예시하는 것이고 이 기술에 숙련된 자들은 첨부한 청구항들 내에서 대안적 실시예들을 설계할 수 있은 것임에 유의한다. 청구항들에서, 괄호 내 어떠한 참조부호든 청구항을 제한하는 것으로서 구성되지 않을 것이다. '포함하는'라는 어휘는 청구항에 열거되지 않은 요소들 혹은 단계들의 존재를 배제하는 것이 아니다. 단수 표현의 요소는 이러한 요소들이 복수개 존재함을 배제하는 것이 아니다. 본 발명은 몇 개의 구별되는 요소들을 포함하는 하드웨어 및 적합히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇 개의 수단들을 나열한 장치 청구항들에서, 이들 수단 중 몇 개는 하나의 동일 품목의 하드웨어에 의해 구현될 수 있다.

Claims (12)

  1. 입력 이미지(104)의 일 군의 화소들의 움직임 벡터를 추정하는 방법에 있어서,
    - 상기 입력 이미지(104)의 상기 일군의 화소들이, 다음의 유형들의 영역, 즉 가려진 영역(118), 보여지게 된 영역(122) 혹은 가려지지 않은 영역(120) 중 어느 것에 대응하는가를 표시하는, 상기 입력 이미지(104)에 적용할 수 있는 오클루전 맵(116)을 계산하는 오클루전 검출 단계와,
    - 상기 입력 이미지(104) 및 이 입력 이미지(104)의 선행 이미지(102)에 근거하여 상기 일군의 화소들에 대한 제 1 움직임 벡터를 추정하는, 제 1 중간 움직임 추정 단계와,
    - 상기 입력 이미지(104) 및 이 입력 이미지(104)의 후속 이미지(106)에 근거하여 상기 일군의 화소들에 대한 제 2 움직임 벡터를 추정하는, 제 2 중간 움직임 추정 단계, 및
    - 상기 제 1 움직임 벡터 혹은 상기 제 2 움직임 벡터로부터 도출되는 최종 움직임 벡터를, 상기 오클루전 맵(116)에 근거하여 상기 움직임 벡터로서 할당하는, 할당 단계를 포함하는, 움직임 벡터 추정 방법.
  2. 제 1 항에 있어서,
    상기 할당 단계에서 상기 최종 움직임 벡터는,
    - 상기 일군의 화소들의 영역 유형이 가려지게 된 영역(118)에 대응하면 상기 제 1 움직임 벡터로부터 도출되고,
    - 상기 일군의 화소들의 영역 유형이 보여지게 된 영역(112)에 대응하면 상기 제 2 움직임 벡터로부터 도출되는 것을 특징으로 하는, 움직임 벡터 추정 방법.
  3. 제 1 항에 있어서,
    상기 오클루전 맵(116)은 움직임 벡터 필드(112, 114)에 근거하여 계산되는 것을 특징으로 하는, 움직임 벡터 추정 방법.
  4. 제 3 항에 있어서,
    상기 움직임 벡터 필드(112, 114)는 상기 입력 이미지(104)에 관계된 것을 특징으로 하는, 움직임 벡터 추정 방법.
  5. 제 3 항에 있어서,
    상기 움직임 벡터 필드는 상기 선행 이미지(102)에 관계된 것을 특징으로 하는, 움직임 벡터 추정 방법.
  6. 제 3 항에 있어서,
    상기 오클루전 맵(116)은 상기 움직임 벡터 필드(112, 114)의 이웃한 움직임 벡터들을 비교하여 계산되는 것을 특징으로 하는, 움직임 벡터 추정 방법.
  7. 입력 이미지(104)의 일군의 화소들의 움직임 벡터를 추정하는 움직임 추정유닛(200, 300)에 있어서,
    - 상기 입력 이미지(104)의 상기 일군의 화소들이, 다음의 유형들의 영역, 즉 가려진 영역(118), 보여지게 된 영역(122) 혹은 가려지지 않은 영역(120) 중 어느 것에 대응하는가를 표시하는, 상기 입력 이미지(104)에 적용할 수 있는 오클루전 맵(116)을 계산하는 오클루전 검출 유닛(206)과,
    - 상기 입력 이미지(104) 및 이 입력 이미지(104)의 선행 이미지(102)에 근거하여 상기 일군의 화소들에 대한 제 1 움직임 벡터를 추정하고, 상기 입력 이미지(104) 및 이 입력 이미지(104)의 후속 이미지(106)에 근거하여 상기 일군의 화소들에 대한 제 2 움직임 벡터를 추정하는, 중간 움직임 추정유닛(202), 및
    - 상기 제 1 움직임 벡터 혹은 상기 제 2 움직임 벡터로부터 도출되는 최종 움직임 벡터를, 상기 오클루전 맵(116)에 근거하여 상기 움직임 벡터로서 할당하는, 할당유닛(204)을 포함하는, 움직임 추정유닛(200, 300).
  8. 이미지 처리 장치(400)에 있어서,
    - 처리할 이미지들(102, 104, 106)을 나타내는 신호를 수신하는 수신수단(402)과,
    - 입력 이미지(104)의 일군의 화소들의 움직임 벡터를 추정하는 움직임 추정유닛(200, 300)으로서,
    * 상기 입력 이미지(104)의 상기 일군의 화소들이, 다음의 유형들의 영역, 즉 가려진 영역(118), 보여지게 된 영역(122) 혹은 가려지지 않은 영역(120) 중 어느 것에 대응하는가를 표시하는, 상기 입력 이미지(104)에 적용할 수 있는 오클루전 맵(116)을 계산하는 오클루전 검출 유닛(206)과,
    * 상기 입력 이미지(104) 및 이 입력 이미지(104)의 선행 이미지(102)에 근거하여 상기 일군의 화소들에 대한 제 1 움직임 벡터를 추정하고, 상기 입력 이미지(104) 및 이 입력 이미지(104)의 후속 이미지(106)에 근거하여 상기 일군의 화소들에 대한 제 2 움직임 벡터를 추정하는 중간 움직임 추정유닛(202), 및
    * 상기 제 1 움직임 벡터 혹은 상기 제 2 움직임 벡터로부터 도출되는 최종 움직임 벡터를, 상기 오클루전 맵(116)에 근거하여 상기 움직임 벡터로서 할당하는 할당유닛(204)을 포함하는, 상기 움직임 추정유닛(200, 300), 및
    - 움직임 보상된 이미지 처리 유닛을 포함하는, 이미지 처리장치(400).
  9. 제 8 항에 있어서,
    비디오 압축을 수행하도록 설계된 것을 특징으로 하는, 이미지 처리장치(400).
  10. 제 8 항에 있어서,
    상기 움직임 보상된 이미지 처리 유닛(406)은 상기 이미지들(102, 104, 106)에 잡음을 감소시키도록 설계된 것을 특징으로 하는, 이미지 처리장치(400).
  11. 제 8 항에 있어서,
    상기 움직임 보상된 이미지 처리유닛(406)은 상기 이미지들(102, 104, 106)을 디-인터레이스하도록 설계된 것을 특징으로 하는, 이미지 처리장치(400).
  12. 제 8 항에 있어서,
    상기 움직임 보상된 이미지 처리 유닛(406)은 업-변환을 수행하도록 설계된 것을 특징으로 하는, 이미지 처리장치(400).
KR10-2004-7012045A 2002-02-05 2003-01-20 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 KR20040078690A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02075492.5 2002-02-05
EP02075492 2002-02-05
PCT/IB2003/000143 WO2003067523A2 (en) 2002-02-05 2003-01-20 Estimating a motion vector of a group of pixels by taking account of occlusion

Publications (1)

Publication Number Publication Date
KR20040078690A true KR20040078690A (ko) 2004-09-10

Family

ID=27675692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7012045A KR20040078690A (ko) 2002-02-05 2003-01-20 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정

Country Status (7)

Country Link
US (1) US20050163355A1 (ko)
EP (1) EP1474781A2 (ko)
JP (1) JP2005517251A (ko)
KR (1) KR20040078690A (ko)
CN (1) CN1628326A (ko)
AU (1) AU2003201114A1 (ko)
WO (1) WO2003067523A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536031B2 (en) * 2003-09-02 2009-05-19 Nxp B.V. Temporal interpolation of a pixel on basis of occlusion detection
CN1853416B (zh) * 2003-09-17 2010-06-16 Nxp股份有限公司 运动矢量场的再定时
EP1958451B1 (en) * 2005-11-30 2014-03-19 Entropic Communications, Inc. Motion vector field correction
JP2008042659A (ja) 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
JP5223486B2 (ja) * 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
US20100013992A1 (en) * 2008-07-18 2010-01-21 Zhi Zhou Method and system for detecting motion at an intermediate position between image fields
FR2938943B1 (fr) * 2008-11-21 2010-11-12 Thales Sa Systeme multiprocesseur.
EP2227012A1 (en) 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
JP5667846B2 (ja) * 2010-11-15 2015-02-12 セコム株式会社 対象物画像判定装置
US8902359B1 (en) * 2011-03-08 2014-12-02 Marvell International Ltd. Processor implemented systems and methods for handling of occlusion for frame rate upconversion
CN102542575B (zh) * 2011-12-06 2014-09-10 晶门科技（深圳）有限公司 基于运动向量投影的静止物体和运动背景区域的检测方法及装置
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69123359T3 (de) * 1990-09-20 2000-06-08 British Broadcasting Corp Videobildverarbeitung
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
GB2297450B (en) * 1995-01-18 1999-03-10 Sony Uk Ltd Video processing method and apparatus
EP1048170A1 (en) * 1998-08-21 2000-11-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
JP2003533800A (ja) * 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Also Published As

Publication number Publication date
WO2003067523A3 (en) 2004-02-26
AU2003201114A8 (en) 2003-09-02
EP1474781A2 (en) 2004-11-10
WO2003067523A2 (en) 2003-08-14
US20050163355A1 (en) 2005-07-28
AU2003201114A1 (en) 2003-09-02
JP2005517251A (ja) 2005-06-09
CN1628326A (zh) 2005-06-15

Similar Documents

Publication Publication Date Title
US8144778B2 (en) Motion compensated frame rate conversion system and method
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US6219436B1 (en) Motion vector estimation and detection of covered/uncovered image parts
US7667773B2 (en) Apparatus and method of motion-compensation adaptive deinterlacing
US7519230B2 (en) Background motion vector detection
US7949205B2 (en) Image processing unit with fall-back
US20100177239A1 (en) Method of and apparatus for frame rate conversion
KR20060083978A (ko) 움직임 벡터 필드 리－타이밍
US7499102B2 (en) Image processing apparatus using judder-map and method thereof
KR20040078690A (ko) 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정
US20050180506A1 (en) Unit for and method of estimating a current motion vector
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
US20050226462A1 (en) Unit for and method of estimating a motion vector
US8374465B2 (en) Method and apparatus for field rate up-conversion
JP4322114B2 (ja) 画像プロセッサ及びそのような画像プロセッサを備える画像表示装置
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
US20060176394A1 (en) De-interlacing of video data

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid