KR100924906B1 - 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 - Google Patents
폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 Download PDFInfo
- Publication number
- KR100924906B1 KR100924906B1 KR1020047006984A KR20047006984A KR100924906B1 KR 100924906 B1 KR100924906 B1 KR 100924906B1 KR 1020047006984 A KR1020047006984 A KR 1020047006984A KR 20047006984 A KR20047006984 A KR 20047006984A KR 100924906 B1 KR100924906 B1 KR 100924906B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- motion vector
- image
- value
- motion
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 253
- 238000012545 processing Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 title claims description 11
- 239000013598 vector Substances 0.000 claims abstract description 233
- 238000001514 detection method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Cable Accessories (AREA)
- Microscoopes, Condenser (AREA)
Abstract
이미지(100) 내의 폐쇄 영역들(108, 110)을 검출하기 위한 폐쇄 검출기(200, 201, 203, 205, 207)는 모션 벡터들의 세트로부터 적어도 두 개의 모션 벡터들(118, 120)을 선택하기 위한 모션 벡터 선택기(202)를 포함한다. 이는 또한 이미지(100)의 특정 화소(112)의 특정값과 부가의 이미지(102)의 제2 화소(116)의 제2 값 및 제3 화소(114)의 제3 값 사이의 제1 및 제2 화소값 차이를 계산하기 위한 화소값 비교기(206)를 포함한다. 폐쇄 검출기(200, 201, 203, 205, 207)는 또한 제1 및 제2 화소값 차이들이 각각 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값보다 큰지를 검사함으로써 특정 화소(112)가 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
모션 추정, 폐쇄 검출, 화소, 벡터, 이미지
Description
본 발명은 모션 벡터들의 세트에 기초하여 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들(occlusion areas)을 검출하기 위한 폐쇄 검출기에 관한 것이다.
본 발명은 또한 모션 벡터들의 세트에 기초하여 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들을 검출하는 방법에 관한 것이다.
본 발명은 또한,
- 모션 벡터들의 세트를 계산하기 위한 모션 벡터 추정기;
- 모션 벡터들의 세트에 기초하여, 일련의 연속 이미지들에 속하는 제1 이미지 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기; 및
- 폐쇄 검출기의 출력에 기초하여 특정 화소에 특정 모션 벡터를 할당하기 위한 모션 벡터 할당 유닛을 포함하는 모션 추정기에 관한 것이다.
본 발명은 또한,
- 디스플레이될 제1 이미지를 나타내는 신호를 수신하기 위한 수신 수단;
- 모션 벡터들의 세트에 기초하여, 일련의 연속 이미지들에 속하는 제1 이미 지 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기를 포함하는 모션 추정기; 및
- 모션 보상된 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관한 것이다.
폐쇄 영역들이라는 것은 일련의 연속 이미지들의 이미지 내에 가시화되지만 다음 이미지 또는 이전 이미지 내에서는 가시화되지 않는, 캡처되는 장면의 부분에 대응하는 영역을 의미한다. 이는 배경 객체들보다 카메라에 더 근접하여 위치된 장면 내의 전경 객체들이 배경 객체들의 부분들을 커버할 수 있다는 사실에 의해 발생된다. 예를 들면 전경 객체들의 이동의 경우, 배경 객체들의 일부 부분들은 폐쇄되고, 배경 객체들의 다른 부분들은 드러난다.
폐쇄 영역들은 일시적인 시간 보간들 내에 아티팩트들을 발생시킬 수 있다. 예를 들면, 업-컨버전(up-conversion)의 경우, 폐쇄 영역들은 소위 헤일로들(halos)을 초래할 수 있다. 이 경우 시간 보간들에 의해 업-컨버팅된 출력 이미지들을 계산하기 위해 모션 벡터들이 추정된다. 시간 보간을 위해 바람직하게는 하나의 동일한 객체에 관련하는 다수의 화소들이 연속 이미지들로부터 취출된다. 이는 연속 이미지들 내에 어떠한 관련 화소들도 발견될 수 없기 때문에 폐쇄 영역들의 경우에 간단히 수행될 수 없다. 다른 보간 전략들이 요구된다.
개시 단락에 설명된 종류의 폐쇄 검출기의 실시예는 WO0011863호로부터 알려져 있다. WO0011863호에 설명된 바와 같은 폐쇄 검출기는 이미지에 대해 계산되는 모션 벡터 필드 내에서 검출되는 에지들에 기초하여, 문제 영역들, 즉 이미지 내의 폐쇄 영역들을 식별하도록 설계된다. 그러나, 결과는 매우 조잡하다. 먼저, 조잡도는 전경 객체의 위치가 일반적으로 알려져 있지만, 헤일로 영역의 범위는 알려져 않다는 사실에 기인한다. 둘째로, 모션 벡터 필드 자체가 변위될 수 있다. 이 변위는 심지어는 너무 커서 손실 및 의사 폐쇄 에지들이 발생할 수 있을 수조차 있다.
본 발명의 제1 목적은 실질적으로 화소 정확성이 있는 개시 단락에 설명한 종류의 폐쇄 검출기를 제공하는 것이다.
본 발명의 제2 목적은 실질적인 화소 정확도를 갖는 검출된 폐쇄 영역들을 초래하는 개시 단락에 설명된 종류의 폐쇄 영역들 검출 방법을 제공하는 것이다.
본 발명의 제3 목적은 실질적으로 화소 정확성이 있는 폐쇄 검출기를 갖는 개시 단락에 설명된 종류의 폐쇄 검출기를 포함하는 모션 추정기를 제공하는 것이다.
본 발명의 제4 목적은 실질적으로 화소 정확성이 있는 폐쇄 검출기를 갖는 개시 단락에 설명된 종류의 폐쇄 검출기를 포함하는 모션 추정기를 포함하는 이미지 처리 장치를 제공하는 것이다.
본 발명의 제1 목적은 폐쇄 검출기가,
- 제1 모션 벡터와 제2 모션 벡터 사이의 실질적인 벡터 차이에 기초하여 상 기 모션 벡터들의 세트로부터 제1 모션 벡터 및 제2 모션 벡터를 선택하기 위한 모션 벡터 선택기;
- 제1 모션 벡터에 의해 제공된 제1 화소와 제2 화소 사이의 제1 관계에 의해 제2 이미지의 제1 화소의 제1 값과 제3 이미지의 제2 화소의 제2 값 사이의 제1 화소값 차이를 계산하고, 제2 모션 벡터에 의해 제공된 제3 화소와 제4 화소 사이의 제2 관계에 의해 제2 이미지의 제3 화소의 제3 값과 제3 이미지의 제4 화소의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기; 및
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 제1 모션 벡터와 제2 모션 벡터의 교점에 대응하는 제1 이미지의 특정 화소가 폐쇄 영역들 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛을 포함하는 것에 의해 성취된다.
모션 추정의 분야에서, 매우 빈번히 정합 기준이 연속 이미지들의 대응 화소들의 값들 사이의 차이의 최소화에 기초한다. 대응 화소들 사이의 관계는 모션 벡터에 의해 제공된다. 차이들을 계산하기 위해 이미지의 화소들의 그룹이 부가의 이미지의 화소들의 그룹들과 비교된다. 화소들의 값들의 사이의 차이를 최소화하는 대신에, 본 발명에 따른 폐쇄 검출기는 화소값들 사이의 차이가 사전결정된 문턱값보다 큰지의 여부, 즉 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 결정한다. 폐쇄 영역에 있어서, 영역이 폐쇄되는, 즉 커버되는 이미지의 화소들의 그룹들과 영역이 커버되지 않는 다른 이미지의 화소들의 그룹들을 비교함으로써 정확한 모션 벡터를 직접 계산하는 것이 가능하지 않다. 달리 말하면, 다른 이미지 내에서 가시화되지 않는 경우 이미지 내에서 가시화되는 어떤 것을 정합하는 것이 가능하지 않고, 그 역도 마찬가지이다. 따라서, 폐쇄 영역에 부분적으로 또는 실질적으로 대응하는 화소들의 그룹을 추정하는 모션 벡터가 잘못된 것일 가능성이 높다. 본 발명에 따른 폐쇄 검출기는 특정 화소에 대해서 적어도 두 개의 추정된 관련 모션 벡터들을 검사하도록 설계된다. 검사 수단은 화소값 차이들을 사전결정된 문턱값들과 비교한다. 차이들이 문턱값들보다 크면, 모션 벡터들이 특정 화소에 대해 부정확한 것으로 가정하고 특정 화소들은 폐쇄 영역의 부분으로서 라벨링(labeling)된다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 상호 동일할 수 있다.
본 발명에 따른 폐쇄 검출기에서, 카메라에 의해 획득된 이미지들에 기초하여 시간 보간에 의해 계산되거나 또는 계산될 이미지들 내의 폐쇄 영역들을 검출하는 것이 가능하다. 예를 들면, 제2 이미지가 먼저 획득되고 이어서 제3 이미지가 획득된다. 제1 이미지는 제2 및 제3 이미지의 시간 보간에 의해 계산되어야 한다. 그러나, 본 발명에 따른 폐쇄 검출기에서, 카메라에 의해 획득된 이미지들 내의 폐쇄 영역들을 검출하는 것이 또한 가능하다. 제1 및 제2 이미지가 하나의 동일한 이미지인 경우, 특정 화소는 제1 화소 및 제3 화소에 대응한다. 이하에는 이 경우가 본 발명에 따른 폐쇄 검출기의 작용을 설명하는데 사용될 것이다.
본 발명에 따른 폐쇄 검출기의 작용은 감시 적용의 단순한 예로서 예시될 수 있다. 이미지가 룸(room) 내의 제1 위치에 사람이 있는 룸을 표시하고 다른 이미지는 제2 위치에 동일한 사람이 있는 동일한 룸을 표시하는 것으로 가정한다. 두 개의 이미지들을 캡처한 카메라는 이동하지 않았고 줌이 두 개의 이미지들을 캡처하는 시간 기간에 조절되지 않았다. 이 경우, 단지 두 개의 모션 벡터들만이 적용 가능하다. 즉 모션 벡터들의 세트가 단지 두 개의 모션 벡터들: 룸의 화소들과 관련된 배경 모션 벡터 및 사람의 화소들에 관련된 전경 모션 벡터만을 포함하는 것으로 가정하는 것이 적당하다. 그러나, 폐쇄 영역들 내에 위치된 화소들에 있어서, 이들 모션 벡터들의 어느 것도 정확하지 않다. 화소값 차이들은 비교적 클 수도 있다.
상기의 예에서, 단지 두 개의 모션 벡터들만이 존재하는 것으로 가정한다. 그러나, 예를 들면 노이즈에 의해 모션 벡터들의 세트 내에 다수의 전경 모션 벡터들이 존재한다고 가정한다. 이 경우, 제1 및 제2 모션 벡터는 벡터 차이들, 즉 세트의 모션 벡터들 사이의 길이 및 방향의 차이들에 의해 선택되어야 한다. 이들 차이들은 제1 및 제2 모션 벡터를 선택하기 위해 비교적 큰 것이 바람직하다. 그렇지 않으면, 예를 들면 예에서의 사람과 같은 하나의 객체에 대응하는 두 개의 모션 벡터들이 선택될 수 있다. 제1 모션 벡터는 배경의 전방에 위치된 객체에 대응하고, 제2 모션 벡터는 배경에 대응하는 것이 바람직하며, 그 역도 마찬가지이다.
본 발명에 따른 폐쇄 검출기의 주요 장점은 업-컨버전의 화소 정확성 헤일로 감소를 가능하게 한다는 것이다. 그러나, 제어 이미지 향상을 위해 폐쇄 영역들을 검출하는 것에 또한 관련된다. 예를 들면, 폐쇄들이 검출되는 영역들 내의 이미지 향상의 레벨을 감소시키기 위한 것이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 제1 모션 벡 터가 대응하는 화소들의 특정 그룹에 속하는 특정 화소와 부가의 화소 사이의 거리에 기초하여 제1 모션 벡터를 선택하도록 설계된다. 그룹의 화소들은 화소들의 블록을 형성할 수도 있고 또는 이들은 임의의 형상의 객체에 대응할 수도 있다. 룸과 사람을 갖는 상기 예에서, 모션 벡터들의 세트는 두 개의 요소들을 갖는다, 즉 두 개의 모션 벡터들을 갖는다. 그러나, 모션 벡터들의 세트가 두 개 이상의 모션 벡터들을 가지면, 제1 및 제2 모션 벡터의 선택을 위한 기준을 갖는 것이 중요하다. 특정 화소와 부가의 화소 사이의 공간 거리가 이러한 기준이다. 특정 화소와 부가의 화소 사이의 비교적 작은 공간 거리는, 부가의 화소가 속하는 화소들의 특정 그룹에 대응하는 모션 벡터가 관련성이 있는 것을 의미한다. 바람직하게는, 모션 벡터들은 특정 화소가 속하는 화소들의 그룹의 이웃들인 화소들의 그룹들로부터 선택된다. 또한, 특정 화소가 속하는 화소들의 그룹의 모션 벡터는 선택을 위한 양호한 후보이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 발생 빈도들에 기초하여 제1 모션 벡터를 선택하도록 설계된다. 제1 모션 벡터와 제2 모션 벡터를 선택하기 위한 기준은 발생 빈도이다. 이미지의 화소들의 비교적 다수의 그룹들에서, 모션 벡터들이 특정 값들, 즉 길이 및 방향으로 추정되면, 이러한 모션 벡터는 관련성이 있고 선택되어야 하는 가능성이 비교적 높다. 이미지의 모션 벡터들의 히스토그램 또는 이미지의 부분의 모션 벡터들의 히스토그램을 결정하는 것이 가능하다. 후자의 경우에, 이미지의 부분이 특정 화소의 이웃에 위치되는 것이 바람직하다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 화소값 비교기는 제1 값과 제2 값 사이의 절대값 차이를 계산하도록 설계된다. 또한 예를 들면 제곱 차이(square difference)를 계산하는 것이 가능하다. 절대값 차이의 계산의 장점은 이것이 비교적 계산 친화적이라는 것이다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 모션 벡터 선택기는 제1 및 제3 이미지의 화소들의 각각의 그룹들에 대해 추정된 모션 벡터들을 포함하는 모션 벡터들의 세트로부터 제1 모션 벡터를 선택하도록 설계된다. 모션 벡터들의 세트는 제1 이미지의 화소들의 그룹들에 대해 추정된 모션 벡터들을 포함한다. 그러나, 모션 벡터들의 세트는 또한 다른 이미지들, 예를 들면 제3 이미지의 화소들의 그룹들에 대해 추정된 모션 벡터들을 포함할 수도 있다.
본 발명에 따른 폐쇄 검출기의 실시예에서, 폐쇄 검출기는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛을 포함한다. 이 실시예의 장점은 폐쇄들의 검출이 이미지 콘텐트에 조절될 수 있다는 것이다.
폐쇄 검출기의 수정들 및 그의 변형들은 설명된 모션 추정기, 폐쇄 영역들 검출 방법, 및 이미지 처리 장치의 수정들 및 변형들에 대응할 수도 있다. 이미지 처리 장치는 예를 들면 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스와 같은 부가의 부품들을 포함할 수도 있다. 모션 보상된 이미지 처리 유닛은 이하의 형태들의 이미지 처리의 하나 이상을 지원할 수도 있다:
- 디인터레이싱: 인터레이싱은 홀수 또는 짝수의 이미지 라인들을 교번적으 로 전송하기 위한 통상의 비디오 방송 절차이다. 디인터레이싱은 완전 수직 해상도를 복원하도록, 즉 각각의 이미지에 동시적으로 이용 가능한 홀수 및 짝수 라인들을 형성하도록 시도한다;
- 업컨버전: 일련의 원래 출력 이미지들로부터, 더 큰 일련의 출력 이미지들이 계산된다. 출력 이미지들은 두 개의 원래 입력 이미지들 사이에 시간적으로 위치된다;
- 시간적 노이즈 감소. 이는 또한 공간적 처리를 포함하여, 공간-시간적 노이즈 감소를 초래할 수 있다.
고품질의 모션 벡터들 및 폐쇄 검출이 또한 이미지 보상의 분야에서 중요하다. 따라서, 폐쇄 영역들의 검출은 또한 이미지 보상 적용들에 대해 관련성이 있다.
본 발명에 따른 폐쇄 검출기, 모션 추정기, 폐쇄 영역들 검출 방법 및 이미지 디스플레이 장치의 상기 및 다른 양태들은 첨부 도면들을 참조하여 이하에 설명되는 실시예들 및 구현들에 대해 명백해지고 명료해질 것이다.
도 1a는 본 발명에 따른 폐쇄 검출기의 작동을 개략적으로 도시하기 위해 폐쇄 영역들을 갖는 두 개의 이미지들을 도시하는 도면.
도 1b는 도 1a로부터의 지시된 모션 벡터들과 화소들 사이의 1차원 관계를 도시하는 도면.
도 1c는 3개의 이미지들의 경우의 모션 벡터들과 화소들 사이의 1차원 관계를 도시하는 도면.
도 2a는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2b는 화소들 사이의 거리들을 계산하기 위한 수단을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2c는 모션 벡터들의 발생 빈도들을 계산하기 위한 수단을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2d는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛을 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 2e는 갭 폐쇄 필터를 포함하는 폐쇄 검출기의 실시예를 개략적으로 도시하는 도면.
도 3은 모션 추정기의 실시예를 개략적으로 도시하는 도면.
도 4는 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.
대응 도면 부호들은 모든 도면들에 있어서 동일한 의미를 갖는다.
도 1a는 본 발명에 따른 폐쇄 검출기(200)의 작동을 개략적으로 도시하기 위해 폐쇄 영역들(108, 110)을 갖는 두 개의 이미지들(100, 102)을 도시한다. 이미지(100)는 룸 내의 제1 위치에서 사람(104)이 있는 룸을 도시하고 다른 이미지(102)는 제2 위치에서 동일한 사람(104)이 있는 동일한 룸을 도시한다. 두 개의 이미지들(100, 102)을 캡처한 카메라는 이동하지 않고 줌이 조절되지 않았다. 두 개의 모션 벡터들(118, 120)만이 적용 가능하다, 즉 모션 벡터들의 세트는 단지 두 개의 모션 벡터들, 즉 룸의 화소들에 관련된 배경 모션 벡터(120) 및 사람(104)의 화소들에 관련된 전경 모션 벡터(118)를 포함한다. 배경 모션 벡터(120)를 계산하기 위해, 화소들(112)의 그룹이 사용된다. 도시된 화살표의 길이는, 0에 해당하는 배경 모션 벡터(120)의 길이와 관계를 갖지 않는다는 것을 주목하라. 폐쇄 영역들(108, 110)에 위치된 화소들에 있어서, 이들 벡터들(118, 120)의 어느 것도 정확하지 않다. 이는 이하의 테스트가 수행된 후에 결정된다. 먼저, 화소(11)의 휘도값과 화소(114)의 휘도값 사이의 차이가 사전결정된 제1 문턱값과 비교된다. 화소들(111, 114)의 화소 좌표들은 상호 동일한데, 이는 적용된 모션 벡터가 0에 해당하는 배경 모션 벡터(120)이기 때문이다. 휘도 차이는 사전결정된 제1 문턱값보다 클 가능성이 높다: 화소(111)는 룸에 속하고 화소(114)는 사람(104)에 속한다. 둘째로, 화소(111)의 휘도값과 화소(116)의 휘도값 사이의 차이가 사전결정된 제2 문턱값과 비교된다. 화소들(111, 114)의 화소 좌표들은 상이하다: 적용된 모션 벡터는 사람의 제1 및 제2 위치 사이의 공간 거리에 관련되는 전경 모션 벡터(118)이다. 이 휘도 차이가 사전결정된 제2 문턱값보다 클 가능성이 높다: 화소(111)는 룸에 속하고 화소(116)는 룸의 다른 부분에 속한다. 이들 비교들에 기초하여, 화소(111)가 폐쇄 영역 내에 위치되는 것으로 가정한다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 상호 동일할 수 있다.
도 1b는 도 1a로부터의 지시된 모션 벡터들(118, 120)과 화소들(111, 114, 116) 사이의 1차원 관계를 도시한다. 도 1c는 3개의 이미지들(100, 101, 102), 즉 두 개의 캡처된 이미지들(100, 102) 및 하나의 보간된 이미지(101)의 경우에 모션 벡터들(118, 120)과 화소들(112 내지 116) 사이의 1차원 관계를 도시한다. 도 1b와 도 1c를 비교할 때, 도 1a와 관련하여 설명된 예는 특정 경우: 제1 이미지(101) 및 제2 이미지(100)가 하나이고 동일하며; 화소들(111, 113, 115)이 또한 하나이고 동일한 화소인 것이 명백해진다. 도 2a에는, 또한 이러한 경우에 작용하는 폐쇄 검출기(200)가 설명되어 있다.
도 1c에서, 후속 이미지들로부터의 화소들 사이의 관계들이 개략적으로 도시된다. 이는 업-컨버전의 경우에 대응한다: 보간된 이미지(101)는 적어도 두 개의 원래 이미지들(100, 102)에 기초하여 시간 보간에 의해 계산된다. 본 발명에 따른 폐쇄 검출기(200)는 이러한 보간된 이미지의 화소들에 대해서 이들이 폐쇄 영역 내에 위치되는지를 결정하도록 설계된다. 폐쇄 검출기(200)는,
- 제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 실질적인 벡터 차이에 기초하여 모션 벡터들의 세트로부터 제1 모션 벡터(118) 및 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택기(202);
- 제1 화소(115)로부터 제2 화소(116)로의 제1 모션 벡터(118)에 의해 제1 원래 이미지(100)의 제1 화소(115)의 제1 값과 제2 원래 이미지(102)의 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 제3 화소(113)로부터 제4 화소(114)로의 제2 모션 벡터(120)에 의해 제1 원래 이미지(100)의 제3 화소(113)의 제3 값과 제2 원래 이미지(102)의 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기(206); 및
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 제1 모션 벡터(118)와 제2 모션 벡터(120)의 교점에 대응하는 보간된 이미지(101)의 특정 화소(112)가 폐쇄 영역들 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
화소들(112 내지 116) 사이의 관계들은 제1 모션 벡터(118) 및 제2 모션 벡터(120)에 의해 제공된다. 제1 원래 이미지(100)와 보간된 이미지(101) 사이의 시간 차이(T1), 및 제2 원래 이미지(102)와 보간된 이미지(101) 사이의 시간 차이(T2)가 매우 중요하다. 예를 들면, 제1 모션 벡터(118)는 제1 원래 이미지(100)아 제2 원래 이미지(102)의 화소 사이의 수직 Vy(T1+T2) 및 수평 오프셋 Vx(T1+T2), 즉 시간 T1+T2 동안의 이동을 지시한다. T1=T2라 가정한다. 다음, 제1 원래 이미지(100)와 보간된 이미지(101)의 화소 사이의 수직 Vy(T1) 및 수평 오프셋 Vx(T1)은 용이하게 계산될 수 있다: Vy(T1)=Vy(T1+T2)/2; Vx(T1)=V
x(T1+T2)/2. T1 및 T2의 다른 값들에 대해서, 유사한 계산들이 수행될 수 있다. 따라서, 이미지 내의 화소의 좌표들이 제공되면, 다른 이미지 내의 다른 화소의 좌표들이 모션 벡터 및 시간 차이들에 의해 계산될 수 있다. 이는 모션 벡터를 직접 적용하거나 또는 부분 오프셋들을 계산함으로써 수행될 수 있다. 예를 들면,
- 제1 원래 이미지(100)의 화소(115)에 모션 벡터(118)를 적용함으로써, 제2 원래 이미지(102)의 화소(116)가 직접 발견될 수 있고;
- 제2 원래 이미지(102)의 화소(116)에 모션 벡터(118)의 역수를 적용함으로써, 제1 원래 이미지(100)의 화소(115)가 직접 발견될 수 있고;
- 모션 벡터(118) 및 시간 차이들(T1, T2)에 기초하여 부분 오프셋들을 계산함으로써, 제1 원래 이미지(100) 내의 화소(115)가 보간된 이미지(101)의 소정 화소(112)에 대해 계산될 수 있고;
- 모션 벡터(118) 및 시간 차이들(T1, T2)에 기초하여 부분 오프셋들을 계산함으로써, 제2 원래 이미지(102) 내의 화소(116)가 보간된 이미지(101)의 소정 화소(112)에 대해 계산될 수 있다.
모션 벡터는 화소로부터 시작되고 화소에서 또는 화소의 교점에서 종료될 수 있다. 두 개의 모션 벡터들이 화소로부터 시작되어 화소에서 종료되면, 이는 또한 교점으로서 보여진다. 적절한 화소들의 좌표들이 계산되면, 제1 화소값 차이 및 제2 화소값 차이를 계산하기 위해 대응 화소값들이 인출(fetch)될 수 있다. 다음, 이들 차이들은 사전결정된 문턱값들과 비교된다.
도 2a는 폐쇄 검출기(200)의 실시예를 개략적으로 도시하고, 상기 폐쇄 검출기는,
- 제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 실질적인 벡터 차이에 기초하여 모션 벡터들의 세트로부터 제1 모션 벡터(118) 및 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택기(202);
- 제1 모션 벡터(118)에 의해 제공된 특정 화소(111)와 제2 화소(116) 사이의 제1 관계에 의해 이미지(100)의 특정 화소(111)의 특정 값과 다른 이미지(102) 의 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 제2 모션 벡터(120)에 의해 제공된 특정 화소(111)와 제3 화소(114) 사이의 제2 관계에 의해 다른 이미지(102)의 제3 화소(114)의 제3 값과 특정값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교기(206);
- 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 특정 화소(111)가 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 유닛(204)을 포함한다.
이미지들(예를 들면, 100, 102)은 제1 입력 커넥터(210)에 제공된다. 모션 벡터들(예를 들면, 118, 120)은 모션 추정기(도 3 참조)에 의해 제2 입력 커넥터(208)에 제공된다. 이미지(100)의 각각의 화소에 대해 폐쇄 영역(예를 들면, 108)에 속하는지, 이러한 폐쇄 영역에 속하지 않는지를 지시하는 2진 마스크가 폐쇄 검출기에 의해 출력 커넥터(212)에 제공된다. 폐쇄 검출기(200)의 작동은 도 1a와 관련하여 설명된 바와 같다.
도 2b는 화소들 사이의 거리들을 계산하기 위한 수단(214)을 포함하는 폐쇄 검출기(201)의 실시예를 개략적으로 도시한다. 모션 벡터 선택기(202)는, 제1 모션 벡터(118)가 대응하는 화소들의 특정 그룹(123)에 속하는 특정 화소(111, 112)와 부가의 화소(117) 사이의 거리에 기초하여 제1 모션 벡터(118)를 선택하도록 설계된다. 제2 모션 벡터(12)의 선택은 유사한 기초하에 수행된다. 모션 벡터들의 제공된 세트가 다수의 모션 벡터들을 가지면, 제1 모션 벡터(118) 및 제2 모션 벡 터(120)의 선택을 위한 기준을 갖는 것이 중요하다. 특정 화소(111, 112)와 부가의 화소(117) 사이의 공간 거리가 이러한 기준이다. 특정 화소(111, 112)와 부가의 화소(117) 사이의 비교적 작은 공간 거리는, 화소들의 특정 그룹(123)에 대응하는 모션 벡터(118)가 관련된다는 것을 의미한다. 다수의 모션 추정기들(예를 들면, 300)은 블록 기반이다. 이는 이미지(100)가 예를 들면 8×8 화소들의 다수의 블록들에 분할된다는 것을 의미한다. 이들 블록들의 각각에서, 각각의 모션 벡터들이 추정된다. 블록 기반 모션 추정기가 폐쇄 검출기(201)에 모션 추정기들의 세트를 제공하는 경우, 제1 모션 벡터(118) 및/또는 제2 모션 벡터(120)가, 특정 화소(111, 112)가 속하는 블록의 이웃들인 블록들로부터 선택된다. 특정 화소(111, 112)가 속하는 블록의 모션 벡터가 또한 선택되는 가능성이 매우 높다.
도 2c는 모션 벡터들(예를 들면, 118, 120)의 발생 빈도들을 계산하기 위한 수단(216)을 포함하는 폐쇄 검출기(203)의 실시예를 개략적으로 도시한다. 폐쇄 검출기(203)는 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 발생 빈도들에 기초하여 제1 모션 벡터(118)를 선택하도록 설계된다. 또한 제2 모션 벡터(120)가 유사한 기초하에 선택된다. 발생 빈도들을 계산하기 위한 수단(216)은, 하나의 차원이 제1 방향에서의, 예를 들면 수평으로의 병진에 대응하고 다른 차원은 제1 방향에 교차하는 제2 방향에서의 병진에 대응하는 2차원 모션 벡터 히스토그램을 계산한다. 2차원 모션 벡터 히스토그램 내의 제1 로컬 최대값은 제1 모션 벡터(118)에 대응하고 2차원 모션 벡터 히스토그램 내의 제2 로컬 최대값은 제2 모션 벡터(120)에 대응한다. 화소들 사이의 거리들을 계산하기 위한 수단(214)은 선택적이지만 화소들의 그룹에 대응하는 화소들 사이의 거리가 고려되는 것이 바람직하다. 이는 2차원 모션 벡터 히스토그램이 두 개 이상의 로컬 최대값들을 포함하는 경우에 특히 중요하다. 또한 로컬 최대값에 대응하는 모션 벡터가 선택되지 않고 로컬 최대값에 대응하는 모션 벡터의 값들에 근접한 값들을 갖는 모션 벡터가 선택되는 것도 가능하다.
도 2d는 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛(218)을 포함하는 폐쇄 검출기(205)의 실시예를 개략적으로 도시한다. 사전결정된 제1 문턱값 및 사전결정된 제2 문턱값은 폐쇄 검출기(218)의 감도의 영향을 갖는다. 제2 입력 커넥터(208)에 제공되는 모션 벡터들이 화소들의 휘도값들에 기초하여 계산되고 휘도값들의 범위가 0 내지 255라고 가정한다. 다음, 사전결정된 제1 문턱값은 또한 0 내지 255의 범위에 있다. 사전결정된 제1 문턱값이 비교적 낮으면, 폐쇄 영역(108, 110) 내에 위치되지 않는 화소들이 폐쇄 영역(108, 110)에 위치되는 것으로서 오류적으로 라벨링되는 가능성이 높다. 한편, 사전결정된 제1 문턱값이 비교적 높으면, 폐쇄 영역 내에 위치되는 화소들이 폐쇄 영역에 위치되는 것으로 오류적으로 라벨링되지 않는 가능성이 높다. 예를 들면 이미지(100)의 노이즈, 또는 콘트라스트의 레벨 또는 주파수 특성들의 레벨을 측정함으로써, 사전결정된 제1 문턱값의 적절한 값이 유도될 수 있다. 유사하게, 사전결정된 제2 문턱값의 적절한 값이 유도될 수 있다. 측정들은 폐쇄 영역들(108, 110)이 검출되어야 하는 이미지(100)에 기초할 수 있다. 또한 다른 이미지들(예를 들면, 102)에 이들 측정들을 수행하는 것도 가능하다. 화소값들의 표준 편차 계산 또는 고속 푸리에 변환이 사전결정된 제1 및 제2 문턱값을 성취하도록 적용될 수 있다. 발생 빈도들을 계산하기 위한 수단(216) 및 화소들 사이의 거리들을 계산하기 위한 수단(214)은 선택적이다.
도 2e는 갭 폐쇄 필터(220)를 포함하는 폐쇄 검출기(207)의 실시예를 개략적으로 도시한다. 결정 유닛(204)의 출력은, 이미지(100)의 각각의 화소에 대해 폐쇄 영역(예를 들면, 108)에 속하는지 또는 이러한 폐쇄 영역에 속하지 않는지를 지시하는 2진 마스크이다. 이 2진 마스크는 갭 폐쇄 필터(220)에 의해 후처리된다. 갭 폐쇄 필터(220)는 이하와 같이 작동한다. 폐쇄 영역들에 속하는 화소들은 1로 수치화되고 폐쇄 영역들에 속하지 않는 화소들은 0으로 수치화된다. 1로 수치화된 화소들은 갭 폐쇄 필터(220)에 의해 보유된다. 갭 폐쇄 필터(220)는, 높이(H) 및 폭(W)의 치수들을 갖는 관련 영역에서 "0으로 수치화된" 화소의 우측 및 좌측에 값 1을 갖는 적어도 P 화소들이 존재하면 "0으로 수치화된" 화소를 "1"로 변경한다.
도 3은 본 발명에 따른 모션 추정기(300)의 실시예를 개략적으로 도시하고, 이 모션 추정기는,
- 이미지(예를 들면, 100)의 화소들의 각각의 그룹들에 대한 모션 벡터들의 세트를 계산하기 위한 모션 벡터 추정기(302);
- 모션 벡터들의 세트에 기초하여 이미지(100) 내의 폐쇄 영역들을 검출하기 위한 폐쇄 검출기(314); 및
- 폐쇄 검출기(200, 201, 203, 205, 207)의 출력에 기초하여 특정 화소(111, 112)에 특정 모션 벡터를 할당하기 위한 모션 벡터 할당 유닛(304)을 포함한다.
모션 벡터 추정기(302)는, 예를 들면 쥐. 데 하안(G. de Haan) 등에 의한 논문 "3-D 반복적 탐색 블록 정합에 의한 실제 모션 추정", 비디오 기술용 회로들 및 시스템들의 IEEE 트랜잭션들, vol 3, no. 5, 1993년 10월, 페이지 368-379에 개시된 바와 같이 작동한다. 다른 모션 추정기들도 가능하다. 폐쇄 검출기(314)는 도 2a, 도 2b, 도 2c, 도 2d, 도 2e와 각각 관련하여 설명된 바와 같이 작동한다. 모션 벡터 할당 유닛(304)은, 예를 들면 출원 번호 EP0104647호(대리인 문서 번호 PHNL010095EPP)로 출원된 국제 특허 출원 문서 또는 디. 가오(D. Gao), 제이, 줘(J. Zhou) 및 엘. 신(L. Xin)에 의한 논문 "적응성 배경 추정을 위한 신규한 알고리즘", Proceedings ICIP, 2001년, pp. 395-398에 개시된 바와 같은 전경/배경 검출기를 포함한다. 모션 벡터 할당 유닛(304)은 폐쇄 영역(108, 110)의 부분으로서 라벨링되어 있는 화소들에 대해, 이들이 다음 이미지(102)에 커버될 수도 있는 영역(108) 내에 위치되는지 또는 이들이 다음 이미지(102)에 커버되지 않을 수도 있는 영역(110) 내에 위치되는지를 결정한다. 이는 배경 또는 전경에 각각 속하는 상태에 대응한다. 분류의 후자의 형태에 따라, 모션 벡터 할당 유닛(304)은 폐쇄 영역(108, 110)의 부분으로서 라벨링되어 있는 화소들에 모션 벡터를 할당한다. 이는 예를 들면 제1 모션 벡터(118) 또는 제2 모션 벡터(120)일 수 있다. 제1 모션 벡터(118) 및 제2 모션 벡터(120)가 부정확한 것으로 결정되었을지라도 이들은 부가의 처리를 위해 적절할 수 있다는 것을 주목하라. 이들은 실제 물리적 이벤트를 표현하지 않기 때문에 부정확하다: 어떤 일이 다른 어떤 일로 대체된다. 모션 벡터는 하나의 동일한 객체의 이동의 표현이다. 제1 모션 벡터(118) 또는 제2 모션 벡터(120)는, 예를 들면 업-컨버전의 경우 이들 모션 벡터들 중 하나를 적용함으로써 실질적으로 정확한 재조정된 화소가 계산될 수 있기 때문에 적절하다.
도 4는 이미지 처리 장치(400)의 요소들을 개략적으로 도시하고, 이 이미지 처리 장치는,
- 소정 처리가 수행된 후에 디스플레이될 이미지들을 나타내는 신호를 수신하기 위한 수신 수단(401); 신호는 안테나 또는 케이블을 경유하여 수신된 방송 신호일 수도 있지만, VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 신호는 입력 커넥터(407)에 제공된다.
- 도 3과 관련하여 설명된 바와 같은 모션 추정기 유닛(300);
- 모션 보상된 이미지 처리 유닛(403); 및
- 처리된 이미지들을 디스플레이하기 위한 디스플레이 디바이스(405)를 포함한다. 이 디스플레이 디바이스는 선택적이다.
모션 보상된 이미지 처리 유닛(403)은 그 입력으로서 이미지들 및 모션 벡터들을 필요로 한다.
상술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고 당 기술 분야의 숙련자들은 첨부된 청구범위의 범주로부터 일탈하지 않는 대안적인 실시예들을 설계할 수도 있다는 것을 주목해야 한다. 청구범위에서, 괄호들 사이에 배치된 임의의 도면 부호들은 청구항을 한정하는 것으로서 해석되어서는 안 된다. 용어 '포 함하는'은 청구항에 열거되지 않은 다른 요소들 또는 단계들의 존재를 배제하는 것은 아니다. 요소들에 선행하는 "단수 관사(a, an)"는 복수의 이러한 요소들의 존재를 배제하는 것은 아니다. 본 발명은 다수의 개별 소자들을 포함하는 하드웨어에 의해 및 적합한 프로그램된 컴퓨터에 의해 구현될 수 있다. 다수의 수단들을 열거하는 유닛 청구항들에서, 이들 수단의 다수는 하드웨어의 하나 및 동일 아이템에 의해 실시될 수 있다. 또한 동일한 기능들이 다수의 수단에 걸쳐 분포되는 것도 가능하다. 예를 들면, 두 개의 화소값 비교기가 하나 대신에 사용될 수 있다.
Claims (9)
- 모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 제1 이미지(101) 내의 폐쇄 영역들(110)을 검출하기 위한 폐쇄 검출기(200, 201, 203, 205, 207)에 있어서,제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는폐쇄 검출기.
- 제 1 항에 있어서,상기 모션 벡터 선택기(202)는, 상기 제1 모션 벡터(118)가 대응하는 화소들의 특정 그룹(123)에 속하는 또 다른 화소(117)와 상기 특정 화소(112) 사이의 거리에 기초하여 상기 제1 모션 벡터(118)를 선택하도록 설계되는폐쇄 검출기.
- 제 1 항에 있어서,상기 모션 벡터 선택기(202)는, 상기 모션 벡터들의 세트의 모션 벡터들에 대한 발생 빈도들을 결정하고 상기 발생 빈도들에 기초하여 상기 제1 모션 벡터(118)를 선택하도록 설계되는폐쇄 검출기.
- 제 1 항에 있어서,상기 화소값 비교기(206)는 상기 제1 값과 상기 제2 값 사이의 절대 차(absolute difference)를 계산하도록 설계되는폐쇄 검출기.
- 제 1 항에 있어서,상기 모션 벡터 선택기(202)는 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118)를 선택하도록 설계되되,상기 세트는 상기 제1 이미지 및 상기 제3 이미지의 화소들의 각각의 그룹들에 대해 추정된 모션 벡터들을 포함하는폐쇄 검출기.
- 제 1 항에 있어서,상기 폐쇄 검출기(205)는 상기 사전결정된 제1 문턱값을 결정하기 위한 측정 유닛(218)을 포함하는폐쇄 검출기.
- 모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 방법에 있어서,제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하기 위한 모션 벡터 선택 단계(202)와,상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하기 위한 화소값 비교 단계(206)와,상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하기 위한 결정 단계(204)를 포함하는폐쇄 영역들을 검출하는 방법.
- 모션 추정기(300)로서,모션 벡터들의 세트를 계산하는 모션 벡터 추정기(302)와,상기 모션 벡터들의 세트에 기초하여 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 폐쇄 검출기(200, 201, 203, 205, 207)와,상기 폐쇄 검출기(200, 201, 203, 205, 207)의 출력에 기초하여 특정 화소(112)에 특정 모션 벡터를 할당하는 모션 벡터 할당 유닛(304)을 포함하되,상기 폐쇄 검출기(200, 201, 203, 205, 207)는,제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지(101)의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는모션 추정기.
- 이미지 처리 장치(400)로서,디스플레이될 제1 이미지(101)를 나타내는 신호를 수신하는 수신 수단(401)과,모션 벡터들(118, 120)의 세트에 기초하여, 일련의 연속 이미지들(100, 101, 102)에 속하는 상기 제1 이미지(101) 내의 폐쇄 영역들(108, 110)을 검출하는 폐쇄 검출기(200, 201, 203, 205, 207)를 포함하는 모션 추정기(300)와,모션 보상된 이미지 처리 유닛(403)을 포함하되,상기 폐쇄 검출기(200, 201, 203, 205, 207)는,제1 모션 벡터(118)와 제2 모션 벡터(120) 사이의 벡터 차이에 기초하여 상기 모션 벡터들의 세트로부터 상기 제1 모션 벡터(118) 및 상기 제2 모션 벡터(120)를 선택하는 모션 벡터 선택기(202)와,상기 제1 모션 벡터(118)에 의해 제공된 제1 화소(115)와 제2 화소(116) 사이의 제1 관계를 사용하여 제2 이미지(100)의 상기 제1 화소(115)의 제1 값과 제3 이미지(102)의 상기 제2 화소(116)의 제2 값 사이의 제1 화소값 차이를 계산하고, 상기 제2 모션 벡터(120)에 의해 제공된 제3 화소(113)와 제4 화소(114) 사이의 제2 관계를 사용하여 상기 제2 이미지의 상기 제3 화소(113)의 제3 값과 상기 제3 이미지(102)의 상기 제4 화소(114)의 제4 값 사이의 제2 화소값 차이를 계산하는 화소값 비교기(206)와,상기 제1 화소값 차이가 사전결정된 제1 문턱값보다 크고 상기 제2 화소값 차이가 사전결정된 제2 문턱값보다 큰지를 검사함으로써, 상기 제1 모션 벡터(118)와 상기 제2 모션 벡터(120)의 교점에 대응하는 상기 제1 이미지의 특정 화소(112)가 상기 폐쇄 영역들(108, 110) 중 하나에 속하는지의 여부를 결정하는 결정 유닛(204)을 포함하는이미지 처리 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01204272.7 | 2001-11-07 | ||
| EP01204272 | 2001-11-07 | ||
| PCT/IB2002/004448 WO2003041416A1 (en) | 2001-11-07 | 2002-10-24 | Occlusion detector for and method of detecting occlusion areas |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040058271A KR20040058271A (ko) | 2004-07-03 |
| KR100924906B1 true KR100924906B1 (ko) | 2009-11-03 |
Family
ID=8181202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020047006984A KR100924906B1 (ko) | 2001-11-07 | 2002-10-24 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7995793B2 (ko) |
| EP (1) | EP1444837B1 (ko) |
| JP (1) | JP4213035B2 (ko) |
| KR (1) | KR100924906B1 (ko) |
| CN (1) | CN1266948C (ko) |
| AT (1) | ATE320143T1 (ko) |
| DE (1) | DE60209773T2 (ko) |
| WO (1) | WO2003041416A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9426337B2 (en) | 2012-07-19 | 2016-08-23 | Samsung Electronics Co., Ltd. | Apparatus, method and video decoder for reconstructing occlusion region |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924906B1 (ko) | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| AU2003202777A1 (en) * | 2002-02-28 | 2003-09-09 | Koninklijke Philips Electronics N.V. | Method and apparatus for field rate up-conversion |
| EP1590957A1 (en) * | 2003-01-23 | 2005-11-02 | Koninklijke Philips Electronics N.V. | Background motion vector detection |
| WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| EP1589763A2 (en) | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
| US8086036B2 (en) * | 2007-03-26 | 2011-12-27 | International Business Machines Corporation | Approach for resolving occlusions, splits and merges in video images |
| US20080278633A1 (en) * | 2007-05-09 | 2008-11-13 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
| US8254444B2 (en) * | 2007-05-14 | 2012-08-28 | Samsung Electronics Co., Ltd. | System and method for phase adaptive occlusion detection based on motion vector field in digital video |
| US7990476B2 (en) * | 2007-09-19 | 2011-08-02 | Samsung Electronics Co., Ltd. | System and method for detecting visual occlusion based on motion vector density |
| US8724022B2 (en) * | 2009-11-09 | 2014-05-13 | Intel Corporation | Frame rate conversion using motion estimation and compensation |
| US9220549B2 (en) | 2011-09-27 | 2015-12-29 | Steven Glickel | Distal radius volar locking plate with extension for ulnar volar fragment |
| KR101977802B1 (ko) * | 2012-10-10 | 2019-05-13 | 삼성전자주식회사 | 영상 시스템에서 움직임 추정 장치 및 방법 |
| KR101975206B1 (ko) * | 2012-11-23 | 2019-05-07 | 삼성전자주식회사 | 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치 |
| US9563960B2 (en) | 2014-04-09 | 2017-02-07 | Mediatek Inc | Method for detecting foreground |
| US9917988B2 (en) | 2014-04-09 | 2018-03-13 | Mediatek Inc. | Method for detecting occlusion areas |
| CN112929778B (zh) * | 2021-02-10 | 2022-11-22 | 歌尔科技有限公司 | 一种无线耳机控制方法、装置、电子设备及无线耳机 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5612745A (en) * | 1995-07-24 | 1997-03-18 | Motorola, Inc. | Method and apparatus for detecting occlusion |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4944082A (en) | 1989-04-27 | 1990-07-31 | Hewlett Packard Co. | Method of providing a sheet metal housing with precisely positioned mounting references |
| HUT64661A (en) | 1990-09-20 | 1994-01-28 | British Broadcasting Corp | Method for processing video picture |
| US5353119A (en) * | 1990-11-15 | 1994-10-04 | Sony United Kingdom Limited | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images |
| US5990941A (en) | 1991-05-13 | 1999-11-23 | Interactive Pictures Corporation | Method and apparatus for the interactive display of any portion of a spherical image |
| US5262856A (en) | 1992-06-04 | 1993-11-16 | Massachusetts Institute Of Technology | Video image compositing techniques |
| GB9321372D0 (en) | 1993-10-15 | 1993-12-08 | Avt Communications Ltd | Video signal processing |
| US5550685A (en) * | 1993-10-22 | 1996-08-27 | Syquest Technology, Inc. | Applying an adaptive feed-forward algorithm as a frequency selective filter in a closed loop disk drive servo system in order to compensate for periodic perturbations which otherwise appear in the servo system position error signal |
| US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
| US5442407A (en) | 1994-03-22 | 1995-08-15 | Matsushita Electric Corporation Of America | Video signal noise reduction system using time-varying filter coefficients |
| JP3266416B2 (ja) | 1994-04-18 | 2002-03-18 | ケイディーディーアイ株式会社 | 動き補償フレーム間符号化復号装置 |
| US5500689A (en) | 1994-10-26 | 1996-03-19 | Thomson Consumer Electronics, Inc. | System for detecting a video signal image intensity gradient |
| DE19548452C1 (de) * | 1995-12-22 | 1997-02-20 | Siemens Ag | Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz |
| US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
| DE69811631T2 (de) | 1997-10-29 | 2003-10-30 | Koninklijke Philips Electronics N.V., Eindhoven | Bewegungsvektorschätzung und detektion von bedeckten/unbedeckten bildteilen |
| US6298144B1 (en) * | 1998-05-20 | 2001-10-02 | The United States Of America As Represented By The National Security Agency | Device for and method of detecting motion in an image |
| WO2000011863A1 (en) | 1998-08-21 | 2000-03-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| US6628715B1 (en) * | 1999-01-15 | 2003-09-30 | Digital Video Express, L.P. | Method and apparatus for estimating optical flow |
| US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| WO2001088852A2 (en) * | 2000-05-18 | 2001-11-22 | Koninklijke Philips Electronics N.V. | Motion estimator for reduced halos in motion compensared picture rate up-conversion |
| KR20020021805A (ko) | 2000-05-18 | 2002-03-22 | 요트.게.아. 롤페즈 | 전경/배경 검출기 |
| US6810081B2 (en) * | 2000-12-15 | 2004-10-26 | Koninklijke Philips Electronics N.V. | Method for improving accuracy of block based motion compensation |
| KR100917933B1 (ko) * | 2001-09-07 | 2009-09-21 | 엔엑스피 비 브이 | 이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치 |
| KR100924906B1 (ko) | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| CN1922873A (zh) * | 2004-02-23 | 2007-02-28 | 皇家飞利浦电子股份有限公司 | 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像 |
-
2002
- 2002-10-24 KR KR1020047006984A patent/KR100924906B1/ko not_active IP Right Cessation
- 2002-10-24 AT AT02777651T patent/ATE320143T1/de not_active IP Right Cessation
- 2002-10-24 WO PCT/IB2002/004448 patent/WO2003041416A1/en active IP Right Grant
- 2002-10-24 CN CNB028220307A patent/CN1266948C/zh not_active Expired - Fee Related
- 2002-10-24 DE DE60209773T patent/DE60209773T2/de not_active Expired - Lifetime
- 2002-10-24 JP JP2003543324A patent/JP4213035B2/ja not_active Expired - Fee Related
- 2002-10-24 US US10/494,503 patent/US7995793B2/en not_active Expired - Fee Related
- 2002-10-24 EP EP02777651A patent/EP1444837B1/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5612745A (en) * | 1995-07-24 | 1997-03-18 | Motorola, Inc. | Method and apparatus for detecting occlusion |
Non-Patent Citations (1)
| Title |
|---|
| Ozcelik T et al. "Dectection and encoding of occluded area in very low bit rate video coding", 1996 IEEE Trans. on ASSP, Pages 2068-2071 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9426337B2 (en) | 2012-07-19 | 2016-08-23 | Samsung Electronics Co., Ltd. | Apparatus, method and video decoder for reconstructing occlusion region |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1582582A (zh) | 2005-02-16 |
| JP4213035B2 (ja) | 2009-01-21 |
| US20040252763A1 (en) | 2004-12-16 |
| KR20040058271A (ko) | 2004-07-03 |
| WO2003041416A1 (en) | 2003-05-15 |
| CN1266948C (zh) | 2006-07-26 |
| DE60209773D1 (de) | 2006-05-04 |
| US7995793B2 (en) | 2011-08-09 |
| ATE320143T1 (de) | 2006-03-15 |
| EP1444837A1 (en) | 2004-08-11 |
| EP1444837B1 (en) | 2006-03-08 |
| JP2005509230A (ja) | 2005-04-07 |
| DE60209773T2 (de) | 2006-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100924906B1 (ko) | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 | |
| KR101135454B1 (ko) | 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| US20020186889A1 (en) | Problem area location in an image signal | |
| EP1585326A1 (en) | Motion vector estimation at image borders for frame rate conversion | |
| JP2005503085A (ja) | 動き推定および／または補償 | |
| US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
| EP1557037A1 (en) | Image processing unit with fall-back | |
| US7382899B2 (en) | System and method for segmenting | |
| KR20040050906A (ko) | 모션 추정을 위한 장치 및 방법 | |
| US20050226462A1 (en) | Unit for and method of estimating a motion vector | |
| EP1958451A2 (en) | Motion vector field correction | |
| Gangal et al. | An improved motion-compensated restoration method for damaged color motion picture films | |
| US8102915B2 (en) | Motion vector fields refinement to track small fast moving objects | |
| Nam et al. | Fast and efficient MRF-based detection algorithm of missing data in degraded image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20040507 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20071024 Comment text: Request for Examination of Application |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20081031 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20090424 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20091017 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20091027 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20091027 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20121010 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20121010 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20131010 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20131010 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20141010 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20141010 Start annual number: 6 End annual number: 6 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20160909 |