KR100924906B1 - 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 - Google Patents

폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 Download PDF

Info

Publication number
KR100924906B1
KR100924906B1 KR1020047006984A KR20047006984A KR100924906B1 KR 100924906 B1 KR100924906 B1 KR 100924906B1 KR 1020047006984 A KR1020047006984 A KR 1020047006984A KR 20047006984 A KR20047006984 A KR 20047006984A KR 100924906 B1 KR100924906 B1 KR 100924906B1
Authority
KR
South Korea
Prior art keywords
pixel
motion vector
image
value
motion
Prior art date
Application number
KR1020047006984A
Other languages
English (en)
Other versions
KR20040058271A (ko
Inventor
마크 제이. 더블유. 메르텐스
Original Assignee
엔엑스피 비 브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8181202&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100924906(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔엑스피 비 브이 filed Critical 엔엑스피 비 브이
Publication of KR20040058271A publication Critical patent/KR20040058271A/ko
Application granted granted Critical
Publication of KR100924906B1 publication Critical patent/KR100924906B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Cable Accessories (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

이미지(100) 내의 폐쇄 영역들(108, 110)을 검출하기 위한 폐쇄 검출기(200, 201, 203, 205, 207)는 모션 벡터들의 세트로부터 적어도 두 개의 모션 벡터들(118, 120)을 선택하기 위한 모션 벡터 선택기(202)를 포함한다. 이는 또한 이미지(100)의 특정 화소(112)의 특정값과 부가의 이미지(102)의 제2 화소(116)의 제2 값 및 제3 화소(114)의 제3 값 사이의 제1 및 제2 화소값 차이를 계산하기 위한 화소값 비교기(206)를 포함한다. 폐쇄 검출기(200, 201, 203, 205, 207)는 또한 제1 및 제2 화소값 차이들이 각각 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값보다 큰지를 검사함으로써 특정 화소(112)가 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
모션 추정, 폐쇄 검출, 화소, 벡터, 이미지

Description

폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치{OCCLUSION DETECTOR FOR AND METHOD OF DETECTING OCCLUSION AREAS}
본 발명은 모션 벡터들의 세트에 기초하여 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들(occlusion areas)을 검출하기 위한 폐쇄 검출기에 관한 것이다.
본 발명은 또한 모션 벡터들의 세트에 기초하여 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들을 검출하는 방법에 관한 것이다.
본 발명은 또한,
- 모션 벡터들의 세트를 계산하기 위한 모션 벡터 추정기;
- 모션 벡터들의 세트에 기초하여, 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기; 및
- 폐쇄 검출기의 출력에 기초하여 특정 화소에 특정 모션 벡터를 할당하기 위한 모션 벡터 할당 유닛을 포함하는 모션 추정기에 관한 것이다.
본 발명은 또한,
- 디스플레이될 제1 이미지를 나타내는 신호를 수신하기 위한 수신 수단;
- 모션 벡터들의 세트에 기초하여, 일련의 연속 이미지들에 속하는 제1 이미 지 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기를 포함하는 모션 추정기; 및
- 모션 보상된 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
폐쇄 영역들이라는 것은 일련의 연속 이미지들의 이미지 내에 가시화되지만 다음 이미지 또는 이전 이미지 내에서는 가시화되지 않는, 캡처되는 장면의 부분에 대응하는 영역을 의미한다. 이는 배경 객체들보다 카메라에 더 근접하여 위치된 장면 내의 전경 객체들이 배경 객체들의 부분들을 커버할 수 있다는 사실에 의해 발생된다. 예를 들면 전경 객체들의 이동의 경우, 배경 객체들의 일부 부분들은 폐쇄되고, 배경 객체들의 다른 부분들은 드러난다.
폐쇄 영역들은 일시적인 시간 보간들 내에 아티팩트들을 발생시킬 수 있다. 예를 들면, 업-컨버전(up-conversion)의 경우, 폐쇄 영역들은 소위 헤일로들(halos)을 초래할 수 있다. 이 경우 시간 보간들에 의해 업-컨버팅된 출력 이미지들을 계산하기 위해 모션 벡터들이 추정된다. 시간 보간을 위해 바람직하게는 하나의 동일한 객체에 관련하는 다수의 화소들이 연속 이미지들로부터 취출된다. 이는 연속 이미지들 내에 어떠한 관련 화소들도 발견될 수 없기 때문에 폐쇄 영역들의 경우에 간단히 수행될 수 없다. 다른 보간 전략들이 요구된다.
개시 단락에 설명된 종류의 폐쇄 검출기의 실시예는 WO0011863호로부터 알려져 있다. WO0011863호에 설명된 바와 같은 폐쇄 검출기는 이미지에 대해 계산되는 모션 벡터 필드 내에서 검출되는 에지들에 기초하여, 문제 영역들, 즉 이미지 내의 폐쇄 영역들을 식별하도록 설계된다. 그러나, 결과는 매우 조잡하다. 먼저, 조잡도는 전경 객체의 위치가 일반적으로 알려져 있지만, 헤일로 영역의 범위는 알려져 않다는 사실에 기인한다. 둘째로, 모션 벡터 필드 자체가 변위될 수 있다. 이 변위는 심지어는 너무 커서 손실 및 의사 폐쇄 에지들이 발생할 수 있을 수조차 있다.
본 발명의 제1 목적은 실질적으로 화소 정확성이 있는 개시 단락에 설명한 종류의 폐쇄 검출기를 제공하는 것이다.
본 발명의 제2 목적은 실질적인 화소 정확도를 갖는 검출된 폐쇄 영역들을 초래하는 개시 단락에 설명된 종류의 폐쇄 영역들 검출 방법을 제공하는 것이다.
본 발명의 제3 목적은 실질적으로 화소 정확성이 있는 폐쇄 검출기를 갖는 개시 단락에 설명된 종류의 폐쇄 검출기를 포함하는 모션 추정기를 제공하는 것이다.
본 발명의 제4 목적은 실질적으로 화소 정확성이 있는 폐쇄 검출기를 갖는 개시 단락에 설명된 종류의 폐쇄 검출기를 포함하는 모션 추정기를 포함하는 이미지 처리 장치를 제공하는 것이다.
본 발명의 제1 목적은 폐쇄 검출기가,
- 제1 모션 벡터와 제2 모션 벡터 사이의 실질적인 벡터 차이에 기초하여 상 기 모션 벡터들의 세트로부터 제1 모션 벡터 및 제2 모션 벡터를 선택하기 위한 모션 벡터 선택기;
- 제1 모션 벡터에 의해 제공된 제1 화소와 제2 화소 사이의 제1 관계에 의해 제2 이미지의 제1 화소의 제1 값과 제3 이미지의 제2 화소의 제2 값 사이의 제1 화소값 차이를 계산하고, 제2 모션 벡터에 의해 제공된 제3 화소와 제4 화소 사이의 제2 관계에 의해 제2 이미지의 제3 화소의 제3 값과 제3 이미지의 제4 화소의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기; 및
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 제1 모션 벡터와 제2 모션 벡터의 교점에 대응하는 제1 이미지의 특정 화소가 폐쇄 영역들 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛을 포함하는 것에 의해 성취된다.
모션 추정의 분야에서, 매우 빈번히 정합 기준이 연속 이미지들의 대응 화소들의 값들 사이의 차이의 최소화에 기초한다. 대응 화소들 사이의 관계는 모션 벡터에 의해 제공된다. 차이들을 계산하기 위해 이미지의 화소들의 그룹이 부가의 이미지의 화소들의 그룹들과 비교된다. 화소들의 값들의 사이의 차이를 최소화하는 대신에, 본 발명에 따른 폐쇄 검출기는 화소값들 사이의 차이가 사전결정된 문턱값보다 큰지의 여부, 즉 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 결정한다. 폐쇄 영역에 있어서, 영역이 폐쇄되는, 즉 커버되는 이미지의 화소들의 그룹들과 영역이 커버되지 않는 다른 이미지의 화소들의 그룹들을 비교함으로써 정확한 모션 벡터를 직접 계산하는 것이 가능하지 않다. 달리 말하면, 다른 이미지 내에서 가시화되지 않는 경우 이미지 내에서 가시화되는 어떤 것을 정합하는 것이 가능하지 않고, 그 역도 마찬가지이다. 따라서, 폐쇄 영역에 부분적으로 또는 실질적으로 대응하는 화소들의 그룹을 추정하는 모션 벡터가 잘못된 것일 가능성이 높다. 본 발명에 따른 폐쇄 검출기는 특정 화소에 대해서 적어도 두 개의 추정된 관련 모션 벡터들을 검사하도록 설계된다. 검사 수단은 화소값 차이들을 사전결정된 문턱값들과 비교한다. 차이들이 문턱값들보다 크면, 모션 벡터들이 특정 화소에 대해 부정확한 것으로 가정하고 특정 화소들은 폐쇄 영역의 부분으로서 라벨링(labeling)된다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 상호 동일할 수 있다.
본 발명에 따른 폐쇄 검출기에서, 카메라에 의해 획득된 이미지들에 기초하여 시간 보간에 의해 계산되거나 또는 계산될 이미지들 내의 폐쇄 영역들을 검출하는 것이 가능하다. 예를 들면, 제2 이미지가 먼저 획득되고 이어서 제3 이미지가 획득된다. 제1 이미지는 제2 및 제3 이미지의 시간 보간에 의해 계산되어야 한다. 그러나, 본 발명에 따른 폐쇄 검출기에서, 카메라에 의해 획득된 이미지들 내의 폐쇄 영역들을 검출하는 것이 또한 가능하다. 제1 및 제2 이미지가 하나의 동일한 이미지인 경우, 특정 화소는 제1 화소 및 제3 화소에 대응한다. 이하에는 이 경우가 본 발명에 따른 폐쇄 검출기의 작용을 설명하는데 사용될 것이다.
본 발명에 따른 폐쇄 검출기의 작용은 감시 적용의 단순한 예로서 예시될 수 있다. 이미지가 룸(room) 내의 제1 위치에 사람이 있는 룸을 표시하고 다른 이미지는 제2 위치에 동일한 사람이 있는 동일한 룸을 표시하는 것으로 가정한다. 두 개의 이미지들을 캡처한 카메라는 이동하지 않았고 줌이 두 개의 이미지들을 캡처하는 시간 기간에 조절되지 않았다. 이 경우, 단지 두 개의 모션 벡터들만이 적용 가능하다. 즉 모션 벡터들의 세트가 단지 두 개의 모션 벡터들: 룸의 화소들과 관련된 배경 모션 벡터 및 사람의 화소들에 관련된 전경 모션 벡터만을 포함하는 것으로 가정하는 것이 적당하다. 그러나, 폐쇄 영역들 내에 위치된 화소들에 있어서, 이들 모션 벡터들의 어느 것도 정확하지 않다. 화소값 차이들은 비교적 클 수도 있다.
상기의 예에서, 단지 두 개의 모션 벡터들만이 존재하는 것으로 가정한다. 그러나, 예를 들면 노이즈에 의해 모션 벡터들의 세트 내에 다수의 전경 모션 벡터들이 존재한다고 가정한다. 이 경우, 제1 및 제2 모션 벡터는 벡터 차이들, 즉 세트의 모션 벡터들 사이의 길이 및 방향의 차이들에 의해 선택되어야 한다. 이들 차이들은 제1 및 제2 모션 벡터를 선택하기 위해 비교적 큰 것이 바람직하다. 그렇지 않으면, 예를 들면 예에서의 사람과 같은 하나의 객체에 대응하는 두 개의 모션 벡터들이 선택될 수 있다. 제1 모션 벡터는 배경의 전방에 위치된 객체에 대응하고, 제2 모션 벡터는 배경에 대응하는 것이 바람직하며, 그 역도 마찬가지이다.
본 발명에 따른 폐쇄 검출기의 주요 장점은 업-컨버전의 화소 정확성 헤일로 감소를 가능하게 한다는 것이다. 그러나, 제어 이미지 향상을 위해 폐쇄 영역들을 검출하는 것에 또한 관련된다. 예를 들면, 폐쇄들이 검출되는 영역들 내의 이미지 향상의 레벨을 감소시키기 위한 것이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 제1 모션 벡 터가 대응하는 화소들의 특정 그룹에 속하는 특정 화소와 부가의 화소 사이의 거리에 기초하여 제1 모션 벡터를 선택하도록 설계된다. 그룹의 화소들은 화소들의 블록을 형성할 수도 있고 또는 이들은 임의의 형상의 객체에 대응할 수도 있다. 룸과 사람을 갖는 상기 예에서, 모션 벡터들의 세트는 두 개의 요소들을 갖는다, 즉 두 개의 모션 벡터들을 갖는다. 그러나, 모션 벡터들의 세트가 두 개 이상의 모션 벡터들을 가지면, 제1 및 제2 모션 벡터의 선택을 위한 기준을 갖는 것이 중요하다. 특정 화소와 부가의 화소 사이의 공간 거리가 이러한 기준이다. 특정 화소와 부가의 화소 사이의 비교적 작은 공간 거리는, 부가의 화소가 속하는 화소들의 특정 그룹에 대응하는 모션 벡터가 관련성이 있는 것을 의미한다. 바람직하게는, 모션 벡터들은 특정 화소가 속하는 화소들의 그룹의 이웃들인 화소들의 그룹들로부터 선택된다. 또한, 특정 화소가 속하는 화소들의 그룹의 모션 벡터는 선택을 위한 양호한 후보이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 발생 빈도들에 기초하여 제1 모션 벡터를 선택하도록 설계된다. 제1 모션 벡터와 제2 모션 벡터를 선택하기 위한 기준은 발생 빈도이다. 이미지의 화소들의 비교적 다수의 그룹들에서, 모션 벡터들이 특정 값들, 즉 길이 및 방향으로 추정되면, 이러한 모션 벡터는 관련성이 있고 선택되어야 하는 가능성이 비교적 높다. 이미지의 모션 벡터들의 히스토그램 또는 이미지의 부분의 모션 벡터들의 히스토그램을 결정하는 것이 가능하다. 후자의 경우에, 이미지의 부분이 특정 화소의 이웃에 위치되는 것이 바람직하다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 화소값 비교기는 제1 값과 제2 값 사이의 절대값 차이를 계산하도록 설계된다. 또한 예를 들면 제곱 차이(square difference)를 계산하는 것이 가능하다. 절대값 차이의 계산의 장점은 이것이 비교적 계산 친화적이라는 것이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 제1 및 제3 이미지의 화소들의 각각의 그룹들에 대해 추정된 모션 벡터들을 포함하는 모션 벡터들의 세트로부터 제1 모션 벡터를 선택하도록 설계된다. 모션 벡터들의 세트는 제1 이미지의 화소들의 그룹들에 대해 추정된 모션 벡터들을 포함한다. 그러나, 모션 벡터들의 세트는 또한 다른 이미지들, 예를 들면 제3 이미지의 화소들의 그룹들에 대해 추정된 모션 벡터들을 포함할 수도 있다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 폐쇄 검출기는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛을 포함한다. 이 실시예의 장점은 폐쇄들의 검출이 이미지 콘텐트에 조절될 수 있다는 것이다.
폐쇄 검출기의 수정들 및 그의 변형들은 설명된 모션 추정기, 폐쇄 영역들 검출 방법, 및 이미지 처리 장치의 수정들 및 변형들에 대응할 수도 있다. 이미지 처리 장치는 예를 들면 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스와 같은 부가의 부품들을 포함할 수도 있다. 모션 보상된 이미지 처리 유닛은 이하의 형태들의 이미지 처리의 하나 이상을 지원할 수도 있다:
- 디인터레이싱: 인터레이싱은 홀수 또는 짝수의 이미지 라인들을 교번적으 로 전송하기 위한 통상의 비디오 방송 절차이다. 디인터레이싱은 완전 수직 해상도를 복원하도록, 즉 각각의 이미지에 동시적으로 이용 가능한 홀수 및 짝수 라인들을 형성하도록 시도한다;
- 업컨버전: 일련의 원래 출력 이미지들로부터, 더 큰 일련의 출력 이미지들이 계산된다. 출력 이미지들은 두 개의 원래 입력 이미지들 사이에 시간적으로 위치된다;
- 시간적 노이즈 감소. 이는 또한 공간적 처리를 포함하여, 공간-시간적 노이즈 감소를 초래할 수 있다.
고품질의 모션 벡터들 및 폐쇄 검출이 또한 이미지 보상의 분야에서 중요하다. 따라서, 폐쇄 영역들의 검출은 또한 이미지 보상 적용들에 대해 관련성이 있다.
본 발명에 따른 폐쇄 검출기, 모션 추정기, 폐쇄 영역들 검출 방법 및 이미지 디스플레이 장치의 상기 및 다른 양태들은 첨부 도면들을 참조하여 이하에 설명되는 실시예들 및 구현들에 대해 명백해지고 명료해질 것이다.
도 1a는 본 발명에 따른 폐쇄 검출기의 작동을 개략적으로 도시하기 위해 폐쇄 영역들을 갖는 두 개의 이미지들을 도시하는 도면.
도 1b는 도 1a로부터의 지시된 모션 벡터들과 화소들 사이의 1차원 관계를 도시하는 도면.
도 1c는 3개의 이미지들의 경우의 모션 벡터들과 화소들 사이의 1차원 관계를 도시하는 도면.
도 2a는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2b는 화소들 사이의 거리들을 계산하기 위한 수단을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2c는 모션 벡터들의 발생 빈도들을 계산하기 위한 수단을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2d는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2e는 갭 폐쇄 필터를 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 3은 모션 추정기의 실시예를 개략적으로 도시하는 도면.
도 4는 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.
대응 도면 부호들은 모든 도면들에 있어서 동일한 의미를 갖는다.
도 1a는 본 발명에 따른 폐쇄 검출기(200)의 작동을 개략적으로 도시하기 위해 폐쇄 영역들(108, 110)을 갖는 두 개의 이미지들(100, 102)을 도시한다. 이미지(100)는 룸 내의 제1 위치에서 사람(104)이 있는 룸을 도시하고 다른 이미지(102)는 제2 위치에서 동일한 사람(104)이 있는 동일한 룸을 도시한다. 두 개의 이미지들(100, 102)을 캡처한 카메라는 이동하지 않고 줌이 조절되지 않았다. 두 개의 모션 벡터들(118, 120)만이 적용 가능하다, 즉 모션 벡터들의 세트는 단지 두 개의 모션 벡터들, 즉 룸의 화소들에 관련된 배경 모션 벡터(120) 및 사람(104)의 화소들에 관련된 전경 모션 벡터(118)를 포함한다. 배경 모션 벡터(120)를 계산하기 위해, 화소들(112)의 그룹이 사용된다. 도시된 화살표의 길이는, 0에 해당하는 배경 모션 벡터(120)의 길이와 관계를 갖지 않는다는 것을 주목하라. 폐쇄 영역들(108, 110)에 위치된 화소들에 있어서, 이들 벡터들(118, 120)의 어느 것도 정확하지 않다. 이는 이하의 테스트가 수행된 후에 결정된다. 먼저, 화소(11)의 휘도값과 화소(114)의 휘도값 사이의 차이가 사전결정된 제1 문턱값과 비교된다. 화소들(111, 114)의 화소 좌표들은 상호 동일한데, 이는 적용된 모션 벡터가 0에 해당하는 배경 모션 벡터(120)이기 때문이다. 휘도 차이는 사전결정된 제1 문턱값보다 클 가능성이 높다: 화소(111)는 룸에 속하고 화소(114)는 사람(104)에 속한다. 둘째로, 화소(111)의 휘도값과 화소(116)의 휘도값 사이의 차이가 사전결정된 제2 문턱값과 비교된다. 화소들(111, 114)의 화소 좌표들은 상이하다: 적용된 모션 벡터는 사람의 제1 및 제2 위치 사이의 공간 거리에 관련되는 전경 모션 벡터(118)이다. 이 휘도 차이가 사전결정된 제2 문턱값보다 클 가능성이 높다: 화소(111)는 룸에 속하고 화소(116)는 룸의 다른 부분에 속한다. 이들 비교들에 기초하여, 화소(111)가 폐쇄 영역 내에 위치되는 것으로 가정한다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 상호 동일할 수 있다.
도 1b는 도 1a로부터의 지시된 모션 벡터들(118, 120)과 화소들(111, 114, 116) 사이의 1차원 관계를 도시한다. 도 1c는 3개의 이미지들(100, 101, 102), 즉 두 개의 캡처된 이미지들(100, 102) 및 하나의 보간된 이미지(101)의 경우에 모션 벡터들(118, 120)과 화소들(112 내지 116) 사이의 1차원 관계를 도시한다. 도 1b와 도 1c를 비교할 때, 도 1a와 관련하여 설명된 예는 특정 경우: 제1 이미지(101) 및 제2 이미지(100)가 하나이고 동일하며; 화소들(111, 113, 115)이 또한 하나이고 동일한 화소인 것이 명백해진다. 도 2a에는, 또한 이러한 경우에 작용하는 폐쇄 검출기(200)가 설명되어 있다.
도 1c에서, 후속 이미지들로부터의 화소들 사이의 관계들이 개략적으로 도시된다. 이는 업-컨버전의 경우에 대응한다: 보간된 이미지(101)는 적어도 두 개의 원래 이미지들(100, 102)에 기초하여 시간 보간에 의해 계산된다. 본 발명에 따른 폐쇄 검출기(200)는 이러한 보간된 이미지의 화소들에 대해서 이들이 폐쇄 영역 내에 위치되는지를 결정하도록 설계된다. 폐쇄 검출기(200)는,
- 제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 실질적인 벡터 차이에 기초하여 모션 벡터들의 세트로부터 제1 모션 벡터(118) 및 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택기(202);
- 제1 화소(115)로부터 제2 화소(116)로의 제1 모션 벡터(118)에 의해 제1 원래 이미지(100)의 제1 화소(115)의 제1 값과 제2 원래 이미지(102)의 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 제3 화소(113)로부터 제4 화소(114)로의 제2 모션 벡터(120)에 의해 제1 원래 이미지(100)의 제3 화소(113)의 제3 값과 제2 원래 이미지(102)의 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기(206); 및
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 제1 모션 벡터(118)와 제2 모션 벡터(120)의 교점에 대응하는 보간된 이미지(101)의 특정 화소(112)가 폐쇄 영역들 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
화소들(112 내지 116) 사이의 관계들은 제1 모션 벡터(118) 및 제2 모션 벡터(120)에 의해 제공된다. 제1 원래 이미지(100)와 보간된 이미지(101) 사이의 시간 차이(T1), 및 제2 원래 이미지(102)와 보간된 이미지(101) 사이의 시간 차이(T2)가 매우 중요하다. 예를 들면, 제1 모션 벡터(118)는 제1 원래 이미지(100)아 제2 원래 이미지(102)의 화소 사이의 수직 Vy(T1+T2) 및 수평 오프셋 Vx(T1+T2), 즉 시간 T1+T2 동안의 이동을 지시한다. T1=T2라 가정한다. 다음, 제1 원래 이미지(100)와 보간된 이미지(101)의 화소 사이의 수직 Vy(T1) 및 수평 오프셋 Vx(T1)은 용이하게 계산될 수 있다: Vy(T1)=Vy(T1+T2)/2; Vx(T1)=V x(T1+T2)/2. T1 및 T2의 다른 값들에 대해서, 유사한 계산들이 수행될 수 있다. 따라서, 이미지 내의 화소의 좌표들이 제공되면, 다른 이미지 내의 다른 화소의 좌표들이 모션 벡터 및 시간 차이들에 의해 계산될 수 있다. 이는 모션 벡터를 직접 적용하거나 또는 부분 오프셋들을 계산함으로써 수행될 수 있다. 예를 들면,
- 제1 원래 이미지(100)의 화소(115)에 모션 벡터(118)를 적용함으로써, 제2 원래 이미지(102)의 화소(116)가 직접 발견될 수 있고;
- 제2 원래 이미지(102)의 화소(116)에 모션 벡터(118)의 역수를 적용함으로써, 제1 원래 이미지(100)의 화소(115)가 직접 발견될 수 있고;
- 모션 벡터(118) 및 시간 차이들(T1, T2)에 기초하여 부분 오프셋들을 계산함으로써, 제1 원래 이미지(100) 내의 화소(115)가 보간된 이미지(101)의 소정 화소(112)에 대해 계산될 수 있고;
- 모션 벡터(118) 및 시간 차이들(T1, T2)에 기초하여 부분 오프셋들을 계산함으로써, 제2 원래 이미지(102) 내의 화소(116)가 보간된 이미지(101)의 소정 화소(112)에 대해 계산될 수 있다.
모션 벡터는 화소로부터 시작되고 화소에서 또는 화소의 교점에서 종료될 수 있다. 두 개의 모션 벡터들이 화소로부터 시작되어 화소에서 종료되면, 이는 또한 교점으로서 보여진다. 적절한 화소들의 좌표들이 계산되면, 제1 화소값 차이 및 제2 화소값 차이를 계산하기 위해 대응 화소값들이 인출(fetch)될 수 있다. 다음, 이들 차이들은 사전결정된 문턱값들과 비교된다.
도 2a는 폐쇄 검출기(200)의 실시예를 개략적으로 도시하고, 상기 폐쇄 검출기는,
- 제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 실질적인 벡터 차이에 기초하여 모션 벡터들의 세트로부터 제1 모션 벡터(118) 및 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택기(202);
- 제1 모션 벡터(118)에 의해 제공된 특정 화소(111)와 제2 화소(116) 사이의 제1 관계에 의해 이미지(100)의 특정 화소(111)의 특정 값과 다른 이미지(102) 의 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 제2 모션 벡터(120)에 의해 제공된 특정 화소(111)와 제3 화소(114) 사이의 제2 관계에 의해 다른 이미지(102)의 제3 화소(114)의 제3 값과 특정값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기(206);
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 특정 화소(111)가 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
이미지들(예를 들면, 100, 102)은 제1 입력 커넥터(210)에 제공된다. 모션 벡터들(예를 들면, 118, 120)은 모션 추정기(도 3 참조)에 의해 제2 입력 커넥터(208)에 제공된다. 이미지(100)의 각각의 화소에 대해 폐쇄 영역(예를 들면, 108)에 속하는지, 이러한 폐쇄 영역에 속하지 않는지를 지시하는 2진 마스크가 폐쇄 검출기에 의해 출력 커넥터(212)에 제공된다. 폐쇄 검출기(200)의 작동은 도 1a와 관련하여 설명된 바와 같다.
도 2b는 화소들 사이의 거리들을 계산하기 위한 수단(214)을 포함하는 폐쇄 검출기(201)의 실시예를 개략적으로 도시한다. 모션 벡터 선택기(202)는, 제1 모션 벡터(118)가 대응하는 화소들의 특정 그룹(123)에 속하는 특정 화소(111, 112)와 부가의 화소(117) 사이의 거리에 기초하여 제1 모션 벡터(118)를 선택하도록 설계된다. 제2 모션 벡터(12)의 선택은 유사한 기초하에 수행된다. 모션 벡터들의 제공된 세트가 다수의 모션 벡터들을 가지면, 제1 모션 벡터(118) 및 제2 모션 벡 터(120)의 선택을 위한 기준을 갖는 것이 중요하다. 특정 화소(111, 112)와 부가의 화소(117) 사이의 공간 거리가 이러한 기준이다. 특정 화소(111, 112)와 부가의 화소(117) 사이의 비교적 작은 공간 거리는, 화소들의 특정 그룹(123)에 대응하는 모션 벡터(118)가 관련된다는 것을 의미한다. 다수의 모션 추정기들(예를 들면, 300)은 블록 기반이다. 이는 이미지(100)가 예를 들면 8×8 화소들의 다수의 블록들에 분할된다는 것을 의미한다. 이들 블록들의 각각에서, 각각의 모션 벡터들이 추정된다. 블록 기반 모션 추정기가 폐쇄 검출기(201)에 모션 추정기들의 세트를 제공하는 경우, 제1 모션 벡터(118) 및/또는 제2 모션 벡터(120)가, 특정 화소(111, 112)가 속하는 블록의 이웃들인 블록들로부터 선택된다. 특정 화소(111, 112)가 속하는 블록의 모션 벡터가 또한 선택되는 가능성이 매우 높다.
도 2c는 모션 벡터들(예를 들면, 118, 120)의 발생 빈도들을 계산하기 위한 수단(216)을 포함하는 폐쇄 검출기(203)의 실시예를 개략적으로 도시한다. 폐쇄 검출기(203)는 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 발생 빈도들에 기초하여 제1 모션 벡터(118)를 선택하도록 설계된다. 또한 제2 모션 벡터(120)가 유사한 기초하에 선택된다. 발생 빈도들을 계산하기 위한 수단(216)은, 하나의 차원이 제1 방향에서의, 예를 들면 수평으로의 병진에 대응하고 다른 차원은 제1 방향에 교차하는 제2 방향에서의 병진에 대응하는 2차원 모션 벡터 히스토그램을 계산한다. 2차원 모션 벡터 히스토그램 내의 제1 로컬 최대값은 제1 모션 벡터(118)에 대응하고 2차원 모션 벡터 히스토그램 내의 제2 로컬 최대값은 제2 모션 벡터(120)에 대응한다. 화소들 사이의 거리들을 계산하기 위한 수단(214)은 선택적이지만 화소들의 그룹에 대응하는 화소들 사이의 거리가 고려되는 것이 바람직하다. 이는 2차원 모션 벡터 히스토그램이 두 개 이상의 로컬 최대값들을 포함하는 경우에 특히 중요하다. 또한 로컬 최대값에 대응하는 모션 벡터가 선택되지 않고 로컬 최대값에 대응하는 모션 벡터의 값들에 근접한 값들을 갖는 모션 벡터가 선택되는 것도 가능하다.
도 2d는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛(218)을 포함하는 폐쇄 검출기(205)의 실시예를 개략적으로 도시한다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 폐쇄 검출기(218)의 감도의 영향을 갖는다. 제2 입력 커넥터(208)에 제공되는 모션 벡터들이 화소들의 휘도값들에 기초하여 계산되고 휘도값들의 범위가 0 내지 255라고 가정한다. 다음, 사전결정된 제1 문턱값은 또한 0 내지 255의 범위에 있다. 사전결정된 제1 문턱값이 비교적 낮으면, 폐쇄 영역(108, 110) 내에 위치되지 않는 화소들이 폐쇄 영역(108, 110)에 위치되는 것으로서 오류적으로 라벨링되는 가능성이 높다. 한편, 사전결정된 제1 문턱값이 비교적 높으면, 폐쇄 영역 내에 위치되는 화소들이 폐쇄 영역에 위치되는 것으로 오류적으로 라벨링되지 않는 가능성이 높다. 예를 들면 이미지(100)의 노이즈, 또는 콘트라스트의 레벨 또는 주파수 특성들의 레벨을 측정함으로써, 사전결정된 제1 문턱값의 적절한 값이 유도될 수 있다. 유사하게, 사전결정된 제2 문턱값의 적절한 값이 유도될 수 있다. 측정들은 폐쇄 영역들(108, 110)이 검출되어야 하는 이미지(100)에 기초할 수 있다. 또한 다른 이미지들(예를 들면, 102)에 이들 측정들을 수행하는 것도 가능하다. 화소값들의 표준 편차 계산 또는 고속 푸리에 변환이 사전결정된 제1 및 제2 문턱값을 성취하도록 적용될 수 있다. 발생 빈도들을 계산하기 위한 수단(216) 및 화소들 사이의 거리들을 계산하기 위한 수단(214)은 선택적이다.
도 2e는 갭 폐쇄 필터(220)를 포함하는 폐쇄 검출기(207)의 실시예를 개략적으로 도시한다. 결정 유닛(204)의 출력은, 이미지(100)의 각각의 화소에 대해 폐쇄 영역(예를 들면, 108)에 속하는지 또는 이러한 폐쇄 영역에 속하지 않는지를 지시하는 2진 마스크이다. 이 2진 마스크는 갭 폐쇄 필터(220)에 의해 후처리된다. 갭 폐쇄 필터(220)는 이하와 같이 작동한다. 폐쇄 영역들에 속하는 화소들은 1로 수치화되고 폐쇄 영역들에 속하지 않는 화소들은 0으로 수치화된다. 1로 수치화된 화소들은 갭 폐쇄 필터(220)에 의해 보유된다. 갭 폐쇄 필터(220)는, 높이(H) 및 폭(W)의 치수들을 갖는 관련 영역에서 "0으로 수치화된" 화소의 우측 및 좌측에 값 1을 갖는 적어도 P 화소들이 존재하면 "0으로 수치화된" 화소를 "1"로 변경한다.
도 3은 본 발명에 따른 모션 추정기(300)의 실시예를 개략적으로 도시하고, 이 모션 추정기는,
- 이미지(예를 들면, 100)의 화소들의 각각의 그룹들에 대한 모션 벡터들의 세트를 계산하기 위한 모션 벡터 추정기(302);
- 모션 벡터들의 세트에 기초하여 이미지(100) 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기(314); 및
- 폐쇄 검출기(200, 201, 203, 205, 207)의 출력에 기초하여 특정 화소(111, 112)에 특정 모션 벡터를 할당하기 위한 모션 벡터 할당 유닛(304)을 포함한다.
모션 벡터 추정기(302)는, 예를 들면 쥐. 데 하안(G. de Haan) 등에 의한 논문 "3-D 반복적 탐색 블록 정합에 의한 실제 모션 추정", 비디오 기술용 회로들 및 시스템들의 IEEE 트랜잭션들, vol 3, no. 5, 1993년 10월, 페이지 368-379에 개시된 바와 같이 작동한다. 다른 모션 추정기들도 가능하다. 폐쇄 검출기(314)는 도 2a, 도 2b, 도 2c, 도 2d, 도 2e와 각각 관련하여 설명된 바와 같이 작동한다. 모션 벡터 할당 유닛(304)은, 예를 들면 출원 번호 EP0104647호(대리인 문서 번호 PHNL010095EPP)로 출원된 국제 특허 출원 문서 또는 디. 가오(D. Gao), 제이, 줘(J. Zhou) 및 엘. 신(L. Xin)에 의한 논문 "적응성 배경 추정을 위한 신규한 알고리즘", Proceedings ICIP, 2001년, pp. 395-398에 개시된 바와 같은 전경/배경 검출기를 포함한다. 모션 벡터 할당 유닛(304)은 폐쇄 영역(108, 110)의 부분으로서 라벨링되어 있는 화소들에 대해, 이들이 다음 이미지(102)에 커버될 수도 있는 영역(108) 내에 위치되는지 또는 이들이 다음 이미지(102)에 커버되지 않을 수도 있는 영역(110) 내에 위치되는지를 결정한다. 이는 배경 또는 전경에 각각 속하는 상태에 대응한다. 분류의 후자의 형태에 따라, 모션 벡터 할당 유닛(304)은 폐쇄 영역(108, 110)의 부분으로서 라벨링되어 있는 화소들에 모션 벡터를 할당한다. 이는 예를 들면 제1 모션 벡터(118) 또는 제2 모션 벡터(120)일 수 있다. 제1 모션 벡터(118) 및 제2 모션 벡터(120)가 부정확한 것으로 결정되었을지라도 이들은 부가의 처리를 위해 적절할 수 있다는 것을 주목하라. 이들은 실제 물리적 이벤트를 표현하지 않기 때문에 부정확하다: 어떤 일이 다른 어떤 일로 대체된다. 모션 벡터는 하나의 동일한 객체의 이동의 표현이다. 제1 모션 벡터(118) 또는 제2 모션 벡터(120)는, 예를 들면 업-컨버전의 경우 이들 모션 벡터들 중 하나를 적용함으로써 실질적으로 정확한 재조정된 화소가 계산될 수 있기 때문에 적절하다.
도 4는 이미지 처리 장치(400)의 요소들을 개략적으로 도시하고, 이 이미지 처리 장치는,
- 소정 처리가 수행된 후에 디스플레이될 이미지들을 나타내는 신호를 수신하기 위한 수신 수단(401); 신호는 안테나 또는 케이블을 경유하여 수신된 방송 신호일 수도 있지만, VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 신호는 입력 커넥터(407)에 제공된다.
- 도 3과 관련하여 설명된 바와 같은 모션 추정기 유닛(300);
- 모션 보상된 이미지 처리 유닛(403); 및
- 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스(405)를 포함한다. 이 디스플레이 디바이스는 선택적이다.
모션 보상된 이미지 처리 유닛(403)은 그 입력으로서 이미지들 및 모션 벡터들을 필요로 한다.
상술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고 당 기술 분야의 숙련자들은 첨부된 청구범위의 범주로부터 일탈하지 않는 대안적인 실시예들을 설계할 수도 있다는 것을 주목해야 한다. 청구범위에서, 괄호들 사이에 배치된 임의의 도면 부호들은 청구항을 한정하는 것으로서 해석되어서는 안 된다. 용어 '포 함하는'은 청구항에 열거되지 않은 다른 요소들 또는 단계들의 존재를 배제하는 것은 아니다. 요소들에 선행하는 "단수 관사(a, an)"는 복수의 이러한 요소들의 존재를 배제하는 것은 아니다. 본 발명은 다수의 개별 소자들을 포함하는 하드웨어에 의해 및 적합한 프로그램된 컴퓨터에 의해 구현될 수 있다. 다수의 수단들을 열거하는 유닛 청구항들에서, 이들 수단의 다수는 하드웨어의 하나 및 동일 아이템에 의해 실시될 수 있다. 또한 동일한 기능들이 다수의 수단에 걸쳐 분포되는 것도 가능하다. 예를 들면, 두 개의 화소값 비교기가 하나 대신에 사용될 수 있다.

Claims (9)

  1. 모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 제1 이미지(101) 내의 폐쇄 영역들(110)을 검출하기 위한 폐쇄 검출기(200, 201, 203, 205, 207)에 있어서,
    제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,
    상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,
    상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는
    폐쇄 검출기.
  2. 제 1 항에 있어서,
    상기 모션 벡터 선택기(202)는, 상기 제1 모션 벡터(118)가 대응하는 화소들의 특정 그룹(123)에 속하는 또 다른 화소(117)와 상기 특정 화소(112) 사이의 거리에 기초하여 상기 제1 모션 벡터(118)를 선택하도록 설계되는
    폐쇄 검출기.
  3. 제 1 항에 있어서,
    상기 모션 벡터 선택기(202)는, 상기 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 상기 발생 빈도들에 기초하여 상기 제1 모션 벡터(118)를 선택하도록 설계되는
    폐쇄 검출기.
  4. 제 1 항에 있어서,
    상기 화소값 비교기(206)는 상기 제1 값과 상기 제2 값 사이의 절대 차(absolute difference)를 계산하도록 설계되는
    폐쇄 검출기.
  5. 제 1 항에 있어서,
    상기 모션 벡터 선택기(202)는 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118)를 선택하도록 설계되되,
    상기 세트는 상기 제1 이미지 및 상기 제3 이미지의 화소들의 각각의 그룹들에 대해 추정된 모션 벡터들을 포함하는
    폐쇄 검출기.
  6. 제 1 항에 있어서,
    상기 폐쇄 검출기(205)는 상기 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛(218)을 포함하는
    폐쇄 검출기.
  7. 모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 방법에 있어서,
    제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택 단계(202)와,
    상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교 단계(206)와,
    상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 단계(204)를 포함하는
    폐쇄 영역들을 검출하는 방법.
  8. 모션 추정기(300)로서,
    모션 벡터들의 세트를 계산하는 모션 벡터 추정기(302)와,
    상기 모션 벡터들의 세트에 기초하여 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 폐쇄 검출기(200, 201, 203, 205, 207)와,
    상기 폐쇄 검출기(200, 201, 203, 205, 207)의 출력에 기초하여 특정 화소(112)에 특정 모션 벡터를 할당하는 모션 벡터 할당 유닛(304)을 포함하되,
    상기 폐쇄 검출기(200, 201, 203, 205, 207)는,
    제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,
    상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,
    상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는
    모션 추정기.
  9. 이미지 처리 장치(400)로서,
    디스플레이될 제1 이미지(101)를 나타내는 신호를 수신하는 수신 수단(401)과,
    모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 상기 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 폐쇄 검출기(200, 201, 203, 205, 207)를 포함하는 모션 추정기(300)와,
    모션 보상된 이미지 처리 유닛(403)을 포함하되,
    상기 폐쇄 검출기(200, 201, 203, 205, 207)는,
    제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,
    상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,
    상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는
    이미지 처리 장치.
KR1020047006984A 2001-11-07 2002-10-24 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 KR100924906B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01204272.7 2001-11-07
EP01204272 2001-11-07
PCT/IB2002/004448 WO2003041416A1 (en) 2001-11-07 2002-10-24 Occlusion detector for and method of detecting occlusion areas

Publications (2)

Publication Number Publication Date
KR20040058271A KR20040058271A (ko) 2004-07-03
KR100924906B1 true KR100924906B1 (ko) 2009-11-03

Family

ID=8181202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047006984A KR100924906B1 (ko) 2001-11-07 2002-10-24 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치

Country Status (8)

Country Link
US (1) US7995793B2 (ko)
EP (1) EP1444837B1 (ko)
JP (1) JP4213035B2 (ko)
KR (1) KR100924906B1 (ko)
CN (1) CN1266948C (ko)
AT (1) ATE320143T1 (ko)
DE (1) DE60209773T2 (ko)
WO (1) WO2003041416A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003041416A1 (en) 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
WO2003073757A1 (en) * 2002-02-28 2003-09-04 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
EP1590957A1 (en) * 2003-01-23 2005-11-02 Koninklijke Philips Electronics N.V. Background motion vector detection
WO2005022922A1 (en) * 2003-09-02 2005-03-10 Koninklijke Philips Electronics N.V. Temporal interpolation of a pixel on basis of occlusion detection
EP1589763A2 (en) 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US8086036B2 (en) * 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US20080278633A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US8254444B2 (en) * 2007-05-14 2012-08-28 Samsung Electronics Co., Ltd. System and method for phase adaptive occlusion detection based on motion vector field in digital video
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
US9220549B2 (en) 2011-09-27 2015-12-29 Steven Glickel Distal radius volar locking plate with extension for ulnar volar fragment
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US9563960B2 (en) 2014-04-09 2017-02-07 Mediatek Inc Method for detecting foreground
US9917988B2 (en) 2014-04-09 2018-03-13 Mediatek Inc. Method for detecting occlusion areas
CN112929778B (zh) * 2021-02-10 2022-11-22 歌尔科技有限公司 一种无线耳机控制方法、装置、电子设备及无线耳机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612745A (en) * 1995-07-24 1997-03-18 Motorola, Inc. Method and apparatus for detecting occlusion

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944082A (en) 1989-04-27 1990-07-31 Hewlett Packard Co. Method of providing a sheet metal housing with precisely positioned mounting references
JPH06501358A (ja) 1990-09-20 1994-02-10 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5550685A (en) * 1993-10-22 1996-08-27 Syquest Technology, Inc. Applying an adaptive feed-forward algorithm as a frequency selective filter in a closed loop disk drive servo system in order to compensate for periodic perturbations which otherwise appear in the servo system position error signal
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
US5500689A (en) 1994-10-26 1996-03-19 Thomson Consumer Electronics, Inc. System for detecting a video signal image intensity gradient
DE19548452C1 (de) * 1995-12-22 1997-02-20 Siemens Ag Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
DE69811631T2 (de) 1997-10-29 2003-10-30 Koninklijke Philips Electronics N.V., Eindhoven Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
EP1048170A1 (en) 1998-08-21 2000-11-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
WO2001089225A2 (en) 2000-05-18 2001-11-22 Koninklijke Philips Electronics N.V. Image foreground/background velocity detector
JP2003533800A (ja) * 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
CN1266944C (zh) * 2001-09-07 2006-07-26 皇家飞利浦电子股份有限公司 图像处理器和配有这种图像处理器的图像显示设备
WO2003041416A1 (en) 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US20080151106A1 (en) * 2004-02-23 2008-06-26 Koninklijke Philips Electronics, N.V. Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612745A (en) * 1995-07-24 1997-03-18 Motorola, Inc. Method and apparatus for detecting occlusion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ozcelik T et al. "Dectection and encoding of occluded area in very low bit rate video coding", 1996 IEEE Trans. on ASSP, Pages 2068-2071

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9426337B2 (en) 2012-07-19 2016-08-23 Samsung Electronics Co., Ltd. Apparatus, method and video decoder for reconstructing occlusion region

Also Published As

Publication number Publication date
DE60209773T2 (de) 2006-11-30
EP1444837B1 (en) 2006-03-08
ATE320143T1 (de) 2006-03-15
US7995793B2 (en) 2011-08-09
KR20040058271A (ko) 2004-07-03
EP1444837A1 (en) 2004-08-11
DE60209773D1 (de) 2006-05-04
JP2005509230A (ja) 2005-04-07
WO2003041416A1 (en) 2003-05-15
CN1582582A (zh) 2005-02-16
US20040252763A1 (en) 2004-12-16
CN1266948C (zh) 2006-07-26
JP4213035B2 (ja) 2009-01-21

Similar Documents

Publication Publication Date Title
KR100924906B1 (ko) 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US20020186889A1 (en) Problem area location in an image signal
EP1585326A1 (en) Motion vector estimation at image borders for frame rate conversion
JP2005503085A (ja) 動き推定および／または補償
US20050180506A1 (en) Unit for and method of estimating a current motion vector
WO2004039074A1 (en) Image processing unit with fall-back
US7382899B2 (en) System and method for segmenting
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
US20050226462A1 (en) Unit for and method of estimating a motion vector
WO2007063465A2 (en) Motion vector field correction
Gangal et al. An improved motion-compensated restoration method for damaged color motion picture films
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
Nam et al. Fast and efficient MRF-based detection algorithm of missing data in degraded image sequences

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121010

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131010

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141010

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee