KR100875743B1 - 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법 - Google Patents
모션 보상된 보간에서 헤일로 효과를 감소시키는 방법 Download PDFInfo
- Publication number
- KR100875743B1 KR100875743B1 KR1020027012148A KR20027012148A KR100875743B1 KR 100875743 B1 KR100875743 B1 KR 100875743B1 KR 1020027012148 A KR1020027012148 A KR 1020027012148A KR 20027012148 A KR20027012148 A KR 20027012148A KR 100875743 B1 KR100875743 B1 KR 100875743B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixels
- group
- interpolated
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Abstract
본 발명은 모션 벡터들이 데이터 신호에서 하나의 영상의 픽셀들의 제1 그룹과 다른 하나의 영상의 픽셀들의 제2 그룹 사이에 발생되고(18), 각 모션 벡터가 상기 하나의 영상의 픽셀들의 그룹에 대응하며, 보간된 결과들이 이 모션 벡터들의 함수로서 얻어지는(16) 연속하는 영상들을 포함하는 데이터 신호의 모션 보상된 보간에 관한 것으로, 각 영상은 픽셀들의 그룹들을 포함한다. 본 발명에 따라, 픽셀들의 특정 그룹에 대응하는 각 모션 벡터의 신뢰도를 추정하고(20), 모션 벡터들의 신뢰도의 함수로서 가중치들을 계산하고(20), 이 가중치들에 기초하여, 보간된 결과들의 가중 평균들을 계산함으로써 보간된 영상에 픽셀들의 그룹들의 보간된 밝기 세기들을 발생시킨다.
모션 벡터, 데이터 신호, 가중치, 헤일로 효과, 밝기 세기
Description
본 발명은 모션 벡터들이 데이터 신호에서 하나의 영상의 픽셀들의 그룹과 다른 하나의 영상의 픽셀들의 제2 그룹 사이에 발생되고, 각 모션 벡터는 상기 하나의 영상의 픽셀들의 그룹에 대응하며, 보간된 결과들이 이 모션 벡터들의 함수로서 얻어지는, 연속하는 영상들을 포함하는 데이터 신호의 모션 보상된 보간에 관한 것으로, 각 영상은 픽셀들의 그룹들을 포함한다. 또한, 본 발명은 데이터 신호를 수신하는 수단을 포함하는 화상 신호 디스플레이 장치 및 이 데이터 신호의 모션 보상된 보간을 위한 디바이스에 관한 것이다.
US-A-5,777,682에는 영상의 픽셀들의 각 그룹을 위해 적어도 두 개의 모션 벡터들이 계산되는 것이 기재되어 있다. 다음에, 각 모션 벡터에 대해, 보간된 결과가 계산된다. 최종적으로, 보간된 영상을 최종적으로 발생하는 상기와 같이 얻어진 보간된 결과들이 평균화된다. 이 방법의 단점은 보간된 영상들에서 헤일로 효과(halo-effect)의 영역이 증가한다는 것이다. 헤일로 효과는 데이터 신호의 모션 보상된 보간 영상들에서(교합(occlusion) 문제를 고려하지 않는) 부정확한 모션 벡터들 및/또는 부정확한 보간 전략에 의해 야기된, 주로 움직이는 물체들의 경계들에서 생기는 손상들(흐릿해지는(blurring) 및/또는 확대되어 보이는(magnifying) 렌즈 효과)에 기인한다.
본 발명의 목적은 데이터 신호의 보간된 영상들에서 헤일로 효과의 영역을 감소시키는 모션 보상된 보간을 제공하는 것이다. 따라서, 본 발명은,
픽셀들의 특정 그룹에 대응하는 각 모션 벡터의 신뢰도를 추정하는 단계,
가중치들을 상기 모션 벡터들의 신뢰도의 함수로서 계산하는 단계, 및
이 가중치들에 기초하여, 보간된 결과들의 가중 평균을 계산함으로써, 보간된 영상에 대한 픽셀들의 그룹의 보간된 밝기 세기(interpolated luminous intensity)를 발생시키는 단계를 더 포함하는 모션 보상된 보간을 제공한다.
유리한 실시예들은 종속 청구항에서 규정된다.
모션 벡터의 신뢰도는 모션 벡터의 정확도의 함수일 수 있다. 모션 벡터의 정확도는 제2 영상에서의 픽셀들의 제2 그룹에 대한, 모션 벡터에 기초하여 예측된 밝기 세기와 제2 영상의 픽셀들의 제2 그룹의 실제 밝기 세기의 차분에 의해 결정되고, 상기 모션 벡터는 제1 영상의 픽셀들의 제1 그룹에 지정된다. 또한, 모션 벡터의 신뢰도는 픽셀들의 제1 그룹의 픽셀들의 인접 그룹들에서의 모션 벡터의 상대적 발생 빈도의 함수일 수 있다. 통상, 픽셀들의 제1 그룹의 제1 영상에 픽셀들의 8개의 인접 그룹들이 있다. 또한, 모션 벡터의 신뢰도는 모션 벡터의 정확도와 그의 상대적 발생 양자 모두의 함수일 수 있다.
각 보간 결과에 대하여, 가중치는 상기 보간 결과를 야기한 모션 벡터의 신뢰도의 함수로서 계산된다. 픽셀들의 각 그룹에는 복수의 모션 벡터들이 지정되기 때문에, 이는 복수의 보간 결과들 및 픽셀들의 그룹당 대응하는 가중치들을 야기한다.
마침내, 픽셀들의 그룹의 보간된 밝기 세기는 보간된 결과들의 신뢰도에 기초하여 상기 보간된 결과들의 가중 평균으로서 계산된다. 이 방법은 일부 중요한 이점들을 야기한다. 이것의 첫 번째 예는, 복수의 모션 벡터들중에서 단 하나의 모션 벡터만이 바른 경우다. 다음에, 이 모션 벡터에 대응하는 보간 결과에는, 이 보간 결과가 픽셀들의 그룹의 보간된 밝기 세기보다 우위를 차지하도록, 비교적 큰 가중치가 지정된다. 결과로서, 픽셀들의 그룹의 보간된 세기의 높은 정확도가 얻어지고, 화상에서의 미세 세부묘사는 헤일로 효과와 같은 위험을 나타내지 않고 보여질 수 있다. 본 발명에 따른 접근법에 대한 이점의 두 번째 예는, 모션 벡터들 어느 것도 정확하지 않은 경우다. 이 경우에서, 복수의 모션 벡터들은 큰 다양성을 보일 것이고, 모션 벡터들중 어떤것에도 무거운 가중치가 지정되지 않게 된다. 픽셀들의 그룹의 보간된 세기가 보간된 결과들의 자연스러운 평균(smooth average)이 되는 효과가 있다. 미세 세부묘사들이 보여지지 않는 경우에, 화상은 흐릿해지지 않게 된다. 그러나, 관찰자를 위해, 흐릿해진 화상은 그릇되게 명멸하는(flickering) 세부묘사보다 더 관심을 끌어당긴다. 그래서, 두 예들 중 어느 하나에서 헤일로 효과가 감소된다.
본 발명의 방법의 실시예에서는, 픽셀들의 그룹의 보간된 밝기 세기는,
에 따라 계산되는 것을 특징으로 하며,
여기서, Ik+△(
)는 보간된 영상 Fk+△의 픽셀들의 그룹의 보간된 밝기 세기이고, 실수값 △은 영상 시퀀스 Fn(n=1,2,...,k,k+1,...N)에서의 보간된 영상 Fk+△의 장소를 규정한다. 통상적으로, △는 간격[0,1]에서의 실수값이다. 또한, (Ⅰ)에서, 영상에서의 픽셀들의 그룹의 위치는 정수 2차원 벡터 
로 규정되고, ∑m=1,...,M{.}은 이의 인수{.}상에서 1부터 M까지의 합계이고, wk m(
)은 m번째 보간 결과 ik+△ m(
)에 대응하는 가중치이다. 상기 m번째 보간 결과 ik+△ m(
)는 예를 들어 다음의 보간 전략,
에 대응하는 가중치일 수 있으며,
여기서, median{.}은 이의 입력 인수들의 중간값을 주는 함수이고, round{.}는 이의 입력 인수의 각 성분에 가장 가까운 정수값을 주는 함수이고, Ik(
)는 영상 Fk의 위치 
에서의 픽셀들의 그룹의 밝기 세기이고, 
k m(
)은 m 번째 모션 벡터가 두 개의 연속하는 영상들 사이에서 정규화되는, 영상 Fk의 위치 
에서의 픽셀들의 그룹에 대응하는 M개의 모션 벡터들의 m번째 2차원 정수 모션 벡터이고, 가중치 wk m(
)는 모션 벡터 
k m(
)의 신뢰도의 함수이다. 본 실시예에서, 보간(Ⅱ)은 매우 정확한 보간 영상 Fk+△을 야기하는 두 개의 연속하는 영상들 Fk 및 Fk+1 사이에서 실행된다. 식(Ⅱ)에서 중간 함수(median-function)의 구현은 그룻된 명멸하는 세부묘사들을 보간하는 위험을 감소시키는 부가의 측정법이다.
본 발명의 부가의 실시예에서, 모션 벡터 
k m(
)의 신뢰도 및 그에 따른 가중치는 밝기 세기들 Ik(
) 및 Ik+1(
+
k m(
)) 사이의 차분의 함수이고, 또한 영상 Fk에서의 위치 
의 부근의 
k m(
)의 상대적 발생 빈도의 함수인 것을 특징으로 한다. 이 방식에서, 모션 벡터의 신뢰도는 두 개의 성분들을 포함한다. 제 1 성분은 모션 벡터의 정확도인데, 적어도 두 개의 연속하는 영상들의 적어도 두 개의 밝기 세기들에 기초하여 확립된다. 제 2 성분은 경도(consistency)인데, 적어도 하나의 영상에서의 모션 벡터의 상대적 발생에 기초하여 확립된다.
본 발명의 방법의 또다른 실시예에서, 본 발명의 방법에 따른 픽셀들의 그룹들의 보간되 밝기 세기들의 발생은, 모션 벡터 필드(motion vector field)에서 에지들이 위치하는 데이터 신호의 영상들의 그 부분들에서만 실행되는 것을 특징으로 한다. 이는 본 발명에 다른 보간이, 헤일로 효과가 꼭 일어날 것 같은 영상의 그 부분들에서만 실행된다는 이점을 야기한다. 이것은 처리 시간을 덜어줄 수 있다.
본 발명에 따른 부가의 실시예에서, 상기 방법은 에지 검출의 단계를 포함하며, 다음의 부등식들(Ⅲ) 및 (Ⅳ), 즉
중 적어도 하나를 만족하면, 영상 Fk(의 모션 벡터 필드)에서 에지가 검출되는 것을 특징으로 하며,
여기서, q는 미리 결정된 정수값이고, ∥.∥는 그 입력 인수의 절대값을 주는 함수이고, [.]p는 이의 벡터 입력 인수의 p번째 성분을 주는 함수이다. 또한, (Ⅲ) 및 (Ⅳ)에서, T는 미리 결정된 고정 실수값 문턱치이고, 
는,
로 주어진 벡터이고, 여기서 K1 및 K2은 정수값들이다. (Ⅲ) 및 (Ⅳ)을 이용한 본 발명의 이 실시예에서, 에지의 규정은 같은 영상에서 같은 종류의 모션 벡터들 사이에 나타나는 불연속들(discontinuities)에 의해 결정된다.
본 발명의 이들 및 다른 양상들은 이후 기술되는 실시예들을 참조로 명백하고 명료해지게 된다.
첨부되는 도면에서, 본 발명을 실행하는 어떤 형식들이 예시되는 목적들을 위해 도시된다.
도 1은 연속하는 영상들을 포함하는 데이터 신호의 개략적인 투시도.
도 2는 데이터 신호의 영상을 도시하는 도면.
도 3은 데이터 신호의 모션 보상된 보간을 위해 본 발명에 따른 디바이스를 포함하는 디스플레이 장치의 개략도.
본 발명에 따른 모션 보상 보간 방법에서, 데이터 신호는 영상들의 시퀀스 Fn(n=1,...,k,k+1,..,N)를 포함한다. 데이터 신호는 각 영상이 화상인 영화일 수 있다. 도 1에서, 이러한 데이터 신호(2)는 영상들 F1, Fk, Fk+1 및 FN을 도시함으로써 개략적으로 도시된다. 또한, 영상 Fk+△이 도시된다. 예를 들면, 이 영상은 영상들 Fk 및 Fk+1을 보간함으로써 얻어질 수 있다. 실수값 △은 영상들의 시퀀스에서 보간된 영상 Fk+△의 상대적 위치를 규정한다.
도 2는 보다 상세하게 영상 Fk을 도시한다. 각 영상은 픽셀들로 이루어진다. 픽셀(4)은 특정 밝기 세기가 주어질 수 있는 영상의 가장 작은 요소이다. 다수의 픽셀들(4)은 픽셀들(6)의 그룹(또한 블록이라고도 칭함)을 구성하고, 픽셀들의 그룹(또는 블록)에서 이 픽셀들의 수는 미리 규정되며, 0보다 더 큰 임의의 정수일 수 있다. 상기 영상에서 픽셀들의 특정 그룹의 위치는 2차원 정수 벡터 
=[x1,x2]T로 표시되며, 픽셀들(6)의 그룹의 
의 성분들 x1 및 x2은 도 2에 도시된다. 픽셀들의 각 그룹은 특정 밝기 세기를 가진다. 영상 Fk의 위치 
에서의 픽셀들의 그룹의 밝기 세기는 Ik(
)이다. 데이터 신호(2)의 보간을 위해, 모션 벡터들 
k m(
)(8)이 확립되어야 한다. 이 모션 벡터들은 연속하는 영상들 사이에 정규화된 2차원 정수 벡터들이다. 모션 벡터 
k m(
)는 영상 Fk의 위치 
에서의 픽셀들의 그룹에 지정되고, 영상 Fk+1에서의 대응하는 밝기 세기의 위치를 예측한다. 복수의 모션 벡터들 
k m(
)이 픽셀들의 각 그룹에 지정될 수 있기 때문에, 모션 벡터들은 m=1,2,...,M으로 매겨진다.
제 1 단계에서, 특정 영상에 대해, 영상의 픽셀들의 각 그룹에 대한 모션 벡터(8)가 계산된다. 다음에, 제 2 단계에서, 또한, 픽셀들의 각 그룹에는 선행 단계에서 픽셀들의 인접 그룹들에 이미 지정된 그 모션 벡터들이 지정될 것이다. 본 예에서, 픽셀들의 그룹 및 픽셀들의 그 인접 그룹들은 모두 같은 영상에 위치해있다. 또한, 본 예에서, 픽셀들의 8개의 가장 밀접한 인접 그룹들만이 사용된다. 본 발명의 다른 실시예들에서, 픽셀들의 인접 그룹들의 상대적 위치 및 수는 본 예와는 다르게 선택될 수 있다.
이 단계에서, 픽셀들의 각 그룹에는 다수의 모션 벡터들이 지정되어 있다. 제 2 단계에서, 각 모션 벡터의 신뢰도가 계산된다. 모션 벡터의 신뢰도는 모션 벡터의 정확도의 함수일 수 있다. 모션 벡터의 정확도는 제2 영상에서의 픽셀들의 제2 그룹에 대해, 모션 벡터에 기초하여 예측된 밝기 세기와 제2 영상의 픽셀들의 제2 그룹의 실제 밝기 세기의 차분에 의해 결정되고, 상기 모션 벡터는 제1 영상의 픽셀들의 제1 그룹에 지정된다. 또한, 모션 벡터의 신뢰도는 픽셀들의 제1 그룹의 픽셀들의 인접 그룹들에서의 모션 벡터의 상대적 발생 빈도의 함수일 수 있다. 통상, 픽셀들의 제1 그룹의 제1 영상에 픽셀들의 8개의 인접 그룹들이 있다. 또한, 모션 벡터의 신뢰도는 모션 벡터의 정확도와 그의 상대적 발생 양자 모두의 함수일 수 있다.
제 4 단계는 영상들 사이의 보간을 포함한다. 이 보간은 원칙적으로 픽셀들의 그룹에 지정되는 각 모션 벡터를 위해 실행된다. 각 모션 벡터는 보간 결과를 야기하는데, 각 보간 결과에는 모션 벡터들의 신뢰도에 기초하여 계산되는 가중치가 제공된다.
최종적으로, 제 5 단계에서, 보간 결과들은 보간 밝기 세기들 Ik+△(
)를 야기하는 가중치들에 따라 평균화된다. 이 모든 보간 밝기 세기들은 공동으로 보간 영상 Fk+△을 규정하다.
상술된 바와 같은 보간 방법은 하기의 수학 공식들로 보다 상세하게 설명된다. 영상 Fk의 픽셀들의 대응하는 그룹의 M개의 모션 벡터들의 각각에 대한, 영상 Fk+△에 있어서의 보간 결과 ik+△ m(
)가 계산된다. 
k m(
)에 대응하는 m 번째 보간 결과 ik+△ m(
)는 예를 들어 다음 식에 의해 주어지고,
여기서, median{.}은 이의 입력 인수들의 중간값을 주는 함수이고, round{.}는 이의 입력 인수의 각 성분에 가장 가까운 정수값을 주는 함수이다. (Ⅵ)에서 중간 함수를 선택하는 근본적 이유는 다음과 같다. 예컨대 물체가 영상들 Fk 및 Fk+1 모두에서 보여야 하는, 밝기 세기들 Ik(round{
-△*
k m(
)}) 및 Ik+1(round{
+(1-△)*
k m(
)}) 모두가 움직이는 물체에 대응하면, (Ⅵ)의 제 1 및 제 3 인수는 양자 모두 같은 값들을 야기하게 된다. 따라서 이 두 값들중 하나인 밝기 세기 ik+△ m(
)는 (Ⅵ)의 원하는 출력일 것이다. 그러나, 움직이는 물체가 영상들 Fk 및 Fk+1 중 적어도 하나에서 보이지 않으면(예컨대, 이것이 영상에서의 화상의 배경에 의해 덮어질 수 있기 때문),제 1 및 제 3 인수는 밝기 세기의 서로 다른 값들을 야기할 수 있다. 이 경우, 2개의 연속하는 영상들의 화상들 사이에 경도가 없으며, 이러한 경우를 처리하기 위한 가장 좋은 방식은 극도의 밝기 세기들을 방지하는 것이다. 이것은 ((Ⅵ)에서 제 1 및 제 2 인수인) Fk 및 Fk+1에서 움직이는 물체에 대한 2개의 밝기 세기들의 중간값 및 위치 
(이는 (Ⅵ)에서 제 2 입력 인수)에서의 픽셀들의 그룹의 영상들 Fk 및 Fk+1에 대한 밝기 세기들의 평균을 선택함으로써 이루어질 수 있다.
이 스테이지에서, 각 모션 벡터 
k m(
) m=1,2,..,M 에 대한, 보간 결과 ik+△ m(
)가 (Ⅵ)에 따라 얻어진다. 또한, m 번째 보간 결과 ik+△ m(
)에 대응하는 가중치 wk m(
)가 모션 벡터의 신뢰도에 기초하여 계산된다. 이로 인해, 영상 Fk+△의 결과로서 생긴 보간된 밝기 세기 ik+△ m(
)는 다음 방식으로 계산될 수 있으며,
여기서, ∑m=1,...,M{.}는 이의 인수{.}상에서 1로부터 M까지의 합계이다.
본 발명의 향상된 실시예에서, 모션 벡터의 신뢰도는 2개의 성분들 즉, 이의 정확도 및 이의 경도의 함수이다. 
k m(
)의 정확도는 밝기 세기들 Ik(
) 및 Ik+1(
+
k m(
)) 사이의 차분의 함수이다. 
k m(
)의 경도는 영상 Fk에서의 위치 
부근의 
k m(
)의 상대적 발생 빈도의 함수이다. 이 접근법으로, 픽셀들의 그룹들에서 측정된, 움직이는 물체의 크기에 관한 모션 벡터의 정확도가 적어도 2개의 연속하는 영상들로부터의 밝기 세기들을 비교함으로써 추정된다. 모션 벡터의 경도는 적어도 하나의 영상의 정보에 기초하여 추정된다.
본 발명에 따른 더 향상된 실시예에서, 본 발명에 다른 보간된 밝기 세기들의 발생은 모션 벡터 필드내의 에지들이 검출되는 데이터 신호의 영상들의 해당 부분들에서만 실행된다. 정상적으로, 모션 벡터 필드에서 평면 영역 즉, 에지들이 없는 영역의 보간은 성가신 보간 오류들을 발생시키지 않게 하고, 따라서 영상들의 이 부분들에서, 종래의 보간 방법이 이용될 수 있다.
본 발명의 더 향상된 실시예에서, 상기 방법은 에지 검출 단계를 포함하며, 부등식들 (Ⅷ) 및 (Ⅸ)중 적어도 하나를 만족하면, 영상 Fk(의 모션 벡터 필드)에서 에지가 검출되며,
여기서, q는 미리 결정된 정수값이고, ∥.∥는 그 입력 인수의 절대값을 주는 함수이다. 또한, [.]p는 그 벡터 입력 인수의 p번째 성분을 주는 함수이고, 본 예에서 p는 1 또는 2일 수 있다. 실수값 T는 미리 결정된 문턱치이고, 
는, 다음 식으로 주어진 2차원 정수 벡터이며,
여기서, K1 및 K2는 정수값들이다. 하나 이상의 모션 벡터가 픽셀들의 그룹(M>1)에 지정되면, (Ⅷ) 및 (Ⅸ)에서 q(1≤q≤M)에 대한 정수값을 선택함으로써 픽셀들의 그 그룹을 위해 특정 모션 벡터가 선택되어야 한다. [1,0]T 방향에서 에지들을 검출하기 위해. 가능한 절차는 0이 아닌 K1 및 0인 K2를 선택하는 것이다. [0,1]T 방향에서의 에지들은 0인 K1 및 0이 아닌 K2를 사용하여 검출될 수 있다.
도 3은 데이터 신호(2)의 모션 보상된 보간을 위한 디바이스(10)의 실시예를 개략적으로 도시한다. 디바이스의 입력(12)은 데이터 신호(2)이고, 출력(14)은 영상 Fk+△에 대해 보간된 밝기 세기들을 제공한다. 입력(12)은 블록(16) 및 블록(18)에 공급된다. 블록(16)에서, (Ⅵ)에 따라 보간 결과들 및 (Ⅶ)에 따라 보간된 밝기 세기들이 계산된다. 블록(18)에서, 픽셀들의 각 그룹에 대한 제1 모션 벡터가 계산된다. 다음에, 블록(18)에서, 픽셀들의 주변 그룹들에서 나오는 제2 모션 벡터의 미리 결정된 수는 픽셀들의 각 그룹에 지정된다. 이는 픽셀들의 그룹당 총 M개의 모션 벡터들을 끌어낸다. 다음에, 각 모션 벡터 
k m(
)는 이의 대응하는 블록(20.m)에 공급되고, 그 블록은 모션 벡터의 신뢰도를 계산한다. 다음에, m=1,..,M인 각 블록(20.m)(m=1,...,M)에 따라, 모션 벡터 
k m(
) 및 이의 추정된 신뢰도는 블록(16)에 공급된다.
또한, 본 발명의 목적은 데이터 신호를 수신하는 수단(12), 보간된 영상을 발생시키는 수단(16)과 상기 데이터 신호를 적어도 하나의 보간된 영상에 인터리빙(interleaving)하는 부가의 수단(22)을 포함하는 보간된 밝기 세기들을 발생시키는 디바이스(10), 및 디스플레이 디바이스(D)를 포함하는 화상 신호 디스플레이 장치를 제공하는 것이다. 이러한 화상 신호 디스플레이 장치는 예컨대 50 Hz 입력 신호 밖의 100 Hz 텔레비젼 신호를 발생시키는데 이용될 수 있다.
본 기술분야의 숙련된 자들에게 본 발명은 이것의 범위에서 벗어나지 않고 명확히 예시되고 기술되는 것과 다르게 실행될 수 있음은 명백하다. 예를 들어, 기술된 보간 방법은 연속하지 않는 영상들에 기초할 수 있다. 또한, 2개 이상의 영상들이 보간 방법에 이용될 수도 있다. 또한, 밝기 세기들(이 경우 실수값△은 1보다 크거나 0보다 작음)을 보간하는 것 대신 외삽(extrapolating)을 위해 본 발명의 방법 및/또는 디바이스를 이용하는 선택이 있다. 상기 언급된 실시예들은 본 발명을 제한하기 보다는 예시하는 것이고, 본 기술분야의 숙련된 자들은 첨부된 청구항의 범위를 벗어나지 않는 다수의 대안적인 실시예들을 구상할 수 있음에 유의해야 한다. 청구범위에서, 괄호안의 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되어서는 안된다. 단어 "포함하는(comprising)"는 청구항에 열거된 것과는 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 구성요소들의 단수 표현은 이러한 요소들의 복수의 존재를 배제하지 않는다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어에 의해, 적당히 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단들을 열거하는 장치 청구항에서, 여러 이 수단들은 하드웨어의 동일한 아이템에 의해 구현될 수 있다. 어떤 조치들이 서로 다른 독립 청구항에 열거된다는 단순한 사실은 이 조치들의 조합이 이점으로 이용될 수 없음을 나타내진 않는다.
Claims (7)
- 연속하는 영상들을 포함하는 데이터 신호의 모션 보상된 보간 방법으로서, 각 영상은 픽셀들의 그룹들을 포함하는, 상기 데이터 신호의 모션 보상된 보간 방법에 있어서,상기 데이터 신호에서 하나의 영상의 픽셀들의 그룹과 다른 하나의 영상의 픽셀들의 제2 그룹 사이에 모션 벡터들을 발생시키는 단계(18)로서, 각 모션 벡터는 상기 하나의 영상의 픽셀들의 그룹에 대응하는, 상기 모션 벡터들을 발생시키는 단계(18),보간된 결과들을 이 모션 벡터들의 함수로서 발생시키는 단계(16),픽셀들의 특정 그룹에 대응하는 각 모션 벡터의 신뢰도(reliability)를 추정하는 단계(20),가중치들을 상기 모션 벡터들의 신뢰도의 함수로서 계산하는 단계(20), 및상기 가중치들에 기초하여, 상기 보간된 결과들의 가중 평균을 계산함으로써, 보간된 영상에 대한 픽셀들의 그룹의 보간된 밝기 세기(interpolated luminous intensity)를 발생시키는 단계(20)를 포함하는, 데이터 신호의 모션 보상된 보간 방법.
- 제 1 항에 있어서,픽셀들의 그룹의 상기 보간된 밝기 세기는,(A)
에 따라 계산되며,Ik+△()는 보간된 영상 Fk+△의 상기 픽셀들의 그룹의 보간된 밝기 세기이고, 상기 영상에서의 상기 픽셀들의 그룹의 위치는 정수 2차원 벡터
에 의해 규정되고, 여기서 실수값 △은 영상 시퀀스 Fn(n=1,2,...,k,k+1,...N)에서의 상기 보간된 영상 Fk+△의 장소를 규정하며,
∑m=1,...,M{.}은 그 인수{.}상에서의 1부터 M까지의 합계이고, 여기서 wk m()은 m번째 보간 결과 ik+△ m(
), 즉
(B)
에 대응하는 가중치이며,median{.}은 이의 입력 인수들의 중간값(median value)을 주는 함수이고, round{.}는 이의 입력 인수의 각 성분에 가장 가까운 정수값을 주는 함수이고, Ik()는 상기 영상 Fk의 위치
에서의 상기 픽셀들의 그룹의 밝기 세기이고,
k m(
)은 위치
에서의 상기 픽셀들의 그룹에 대응하는 M개의 모션 벡터들의, 두 개의 연속하는 영상들 사이에서 정규화된, m번째 2차원 정수 모션 벡터이고, 상기 가중치 wk m(
)은 상기 모션 벡터
k m(
)의 신뢰도의 함수인, 데이터 신호의 모션 보상된 보간 방법.
- 제 2 항에 있어서,상기 모션 벡터k m(
)의 신뢰도는 상기 밝기 세기들 Ik(
) 및 Ik+1(
+
k m(
)) 사이의 차분의 함수이고, 또한 상기 신뢰도는 상기 영상 Fk에서의 위치
에서의 픽셀들의 그룹에 인접한 픽셀들의 그룹들의
k m(
)의 상대적 발생 빈도의 함수인, 데이터 신호의 모션 보상된 보간 방법.
- 제 1 항에 있어서,본 발명에 따른 상기 보간된 밝기 세기들의 발생은, 상기 영상들의 모션 벡터 필드(motion vector field)에서 에지들이 위치하는 상기 데이터 신호의 영상들의 그 부분들에서만 실행되는, 데이터 신호의 모션 보상된 보간 방법.
- 제 4 항에 있어서,부등식들 (C1) 및 (C2), 즉(C1)
(C2)
중 적어도 하나를 만족하면, 영상 Fk의 모션 벡터 필드에서 에지가 검출되는 에지 검출 단계를 포함하며,여기서, 영상 Fk는 영상 시퀀스 Fn(n=1,...,k,k+1,...,N)에서의 영상이며, q(1<=q<=M)는 영상 Fk의 위치()에서의 픽셀들의 그룹의 모션 벡터
k q(
)에 대응하는 미리 결정된 정수값이고, ∥.∥는 이의 입력 인수의 절대값을 주는 함수이고, [.]p는 이의 벡터 입력 인수의 p번째 성분을 주는 함수이고, 여기서 T는 미리 결정된 고정 실수값 문턱치이며,
는,
(D)
로 주어진 벡터이고, 여기서 K1 및 K2은 정수값들인, 데이터 신호의 모션 보상된 보간 방법. - 연속하는 영상들을 포함하는 데이터 신호의 모션 보상된 보간을 위한 디바이스로서, 각 영상은 픽셀들의 그룹들을 포함하는, 상기 데이터 신호의 모션 보상된 보간을 위한 디바이스에 있어서,상기 데이터 신호에서 하나의 영상의 픽셀들의 그룹과 다른 하나의 영상의 픽셀들의 제2 그룹 사이에 모션 벡터들을 발생시키는 수단(18)으로서, 각 모션 벡터는 상기 하나의 영상의 픽셀들의 그룹에 대응하는, 상기 모션 벡터들을 발생시키는 수단(18),보간된 결과들을 이 모션 벡터들의 함수로서 발생시키는 수단(16),픽셀들의 특정 그룹에 대응하는 각 모션 벡터의 신뢰도를 추정하는 수단(20),가중치들을 상기 모션 벡터들의 신뢰도의 함수로서 계산하는 수단(20), 및상기 가중치들에 기초하여, 상기 보간된 결과들의 가중 평균들을 계산함으로써, 픽셀들의 그룹들의 보간된 밝기 세기들을 발생시키는 수단(20)을 포함하는, 데이터 신호의 모션 보상된 보간을 위한 디바이스.
- 화상 신호 디스플레이 장치에 있어서,연속하는 영상들을 포함하는 데이터 신호를 수신하는 수단(12)으로서, 각 영상 신호는 픽셀들의 그룹들을 포함하는, 상기 데이터 신호를 수신하는 수단(12),청구항 6에 청구된 바와 같이, 상기 데이터 신호의 모션 보상된 보간을 위한 디바이스(10),상기 보간된 밝기 세기들에 기초하여 적어도 하나의 보간된 영상을 발생시키는 수단, 및상기 적어도 하나의 보간된 영상을 디스플레이하는 수단(D)을 포함하는, 화상 신호 디스플레이 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01200140 | 2001-01-16 | ||
| EP01200140.0 | 2001-01-16 | ||
| PCT/IB2001/002577 WO2002056589A1 (en) | 2001-01-16 | 2001-12-14 | Reducing halo-like effects in motion-compensated interpolation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020087084A KR20020087084A (ko) | 2002-11-21 |
| KR100875743B1 true KR100875743B1 (ko) | 2008-12-26 |
Family
ID=8179751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020027012148A KR100875743B1 (ko) | 2001-01-16 | 2001-12-14 | 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7039109B2 (ko) |
| EP (1) | EP1356676B1 (ko) |
| JP (1) | JP4053422B2 (ko) |
| KR (1) | KR100875743B1 (ko) |
| AT (1) | ATE359668T1 (ko) |
| DE (1) | DE60127866T2 (ko) |
| ES (1) | ES2283376T3 (ko) |
| WO (1) | WO2002056589A1 (ko) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| KR20040050577A (ko) * | 2002-12-10 | 2004-06-16 | 삼성전자주식회사 | 디인터레이싱 장치 및 방법 |
| WO2005022922A1 (en) | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| WO2005027525A1 (en) * | 2003-09-17 | 2005-03-24 | Koninklijke Philips Electronics N.V. | Motion vector field re-timing |
| JP4890464B2 (ja) * | 2004-12-09 | 2012-03-07 | トムソン ライセンシング | 動き補償されたピクチャを生成する方法及び装置 |
| KR100736041B1 (ko) * | 2005-06-30 | 2007-07-06 | 삼성전자주식회사 | 에러 은닉 방법 및 장치 |
| WO2007074605A1 (ja) * | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
| GB0618323D0 (en) * | 2006-09-18 | 2006-10-25 | Snell & Wilcox Ltd | Method and apparatus for interpolating an image |
| KR100778116B1 (ko) * | 2006-10-02 | 2007-11-21 | 삼성전자주식회사 | 움직임벡터 보정장치 및 보정방법 |
| FR2907301A1 (fr) * | 2006-10-12 | 2008-04-18 | Thomson Licensing Sas | Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede |
| DE102007015002A1 (de) | 2007-03-28 | 2008-10-02 | Micronas Gmbh | Iteratives Verfahren zur Interpolation von Bildinformationswerten |
| US8861603B2 (en) | 2007-08-28 | 2014-10-14 | Samsung Electronics Co., Ltd. | System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video |
| US8565309B2 (en) | 2007-08-28 | 2013-10-22 | Surapong Lertrattanapanich | System and method for motion vector collection for motion compensated interpolation of digital video |
| KR101540138B1 (ko) * | 2007-12-20 | 2015-07-28 | 퀄컴 인코포레이티드 | 적응적 조사영역을 갖는 모션추정 장치 및 방법 |
| KR101536794B1 (ko) * | 2007-12-20 | 2015-07-14 | 퀄컴 인코포레이티드 | 후광현상이 줄어든 영상보간 장치 및 방법 |
| JP4600530B2 (ja) | 2008-06-17 | 2010-12-15 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5200788B2 (ja) | 2008-09-09 | 2013-06-05 | 富士通株式会社 | 映像信号処理装置、映像信号処理方法および映像信号処理プログラム |
| US20100103323A1 (en) * | 2008-10-24 | 2010-04-29 | Ati Technologies Ulc | Method, apparatus and software for determining motion vectors |
| JP4528861B2 (ja) * | 2009-01-19 | 2010-08-25 | シャープ株式会社 | 画像表示装置及び画像表示方法 |
| JP2011039403A (ja) | 2009-08-17 | 2011-02-24 | Toppoly Optoelectronics Corp | ディスプレイ装置及びこれを有する電子機器 |
| KR20110022133A (ko) * | 2009-08-27 | 2011-03-07 | 삼성전자주식회사 | 영상의 움직임 추정방법 및 영상처리장치 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP5652097B2 (ja) * | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
| KR101669819B1 (ko) | 2010-11-11 | 2016-10-27 | 삼성전자주식회사 | 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법 |
| KR20120069303A (ko) * | 2010-12-20 | 2012-06-28 | 삼성전자주식회사 | 3차원 영상 제공 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995154A (en) | 1995-12-22 | 1999-11-30 | Thomson Multimedia S.A. | Process for interpolating progressive frames |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69315626T2 (de) * | 1992-05-15 | 1998-05-28 | Koninkl Philips Electronics Nv | Anordnung zum Interpolieren eines bewegungsausgeglichenen Bildsignals |
| US5412435A (en) * | 1992-07-03 | 1995-05-02 | Kokusai Denshin Denwa Kabushiki Kaisha | Interlaced video signal motion compensation prediction system |
| JPH06113287A (ja) * | 1992-09-30 | 1994-04-22 | Matsushita Electric Ind Co Ltd | 画像符号化装置と画像復号化装置 |
| US5654759A (en) | 1995-02-15 | 1997-08-05 | Hitachi America Ltd. | Methods and apparatus for reducing blockiness in decoded video |
| DE69602818T2 (de) * | 1995-03-14 | 1999-12-16 | Koninkl Philips Electronics Nv | Bewegungskompensierte interpolation |
| US5982441A (en) | 1996-01-12 | 1999-11-09 | Iterated Systems, Inc. | System and method for representing a video sequence |
| JP2001507552A (ja) * | 1997-10-29 | 2001-06-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 隠れた／露出した像部分の動きベクトル予測及び検知 |
| JP4016227B2 (ja) | 1998-01-07 | 2007-12-05 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
-
2001
- 2001-12-14 ES ES01273155T patent/ES2283376T3/es not_active Expired - Lifetime
- 2001-12-14 EP EP01273155A patent/EP1356676B1/en not_active Expired - Lifetime
- 2001-12-14 JP JP2002557120A patent/JP4053422B2/ja not_active Expired - Fee Related
- 2001-12-14 AT AT01273155T patent/ATE359668T1/de not_active IP Right Cessation
- 2001-12-14 KR KR1020027012148A patent/KR100875743B1/ko active IP Right Grant
- 2001-12-14 DE DE60127866T patent/DE60127866T2/de not_active Expired - Lifetime
- 2001-12-14 WO PCT/IB2001/002577 patent/WO2002056589A1/en active IP Right Grant
-
2002
- 2002-01-14 US US10/046,626 patent/US7039109B2/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995154A (en) | 1995-12-22 | 1999-11-30 | Thomson Multimedia S.A. | Process for interpolating progressive frames |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4053422B2 (ja) | 2008-02-27 |
| WO2002056589A1 (en) | 2002-07-18 |
| EP1356676B1 (en) | 2007-04-11 |
| ATE359668T1 (de) | 2007-05-15 |
| DE60127866D1 (de) | 2007-05-24 |
| EP1356676A1 (en) | 2003-10-29 |
| US20020159527A1 (en) | 2002-10-31 |
| JP2004518339A (ja) | 2004-06-17 |
| DE60127866T2 (de) | 2007-12-20 |
| KR20020087084A (ko) | 2002-11-21 |
| US7039109B2 (en) | 2006-05-02 |
| ES2283376T3 (es) | 2007-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100875743B1 (ko) | 모션 보상된 보간에서 헤일로 효과를 감소시키는 방법 | |
| KR100787675B1 (ko) | 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치 | |
| CN101803363B (zh) | 用于视频图像数据中的基于行的运动估计的方法和装置 | |
| US6987866B2 (en) | Multi-modal motion estimation for video sequences | |
| US8072498B2 (en) | Image processing apparatus, image processing method, and computer program | |
| US8325812B2 (en) | Motion estimator and motion estimating method | |
| US6141056A (en) | System for conversion of interlaced video to progressive video using horizontal displacement | |
| US8155198B2 (en) | Interpolated frame generating method and interpolated frame generating apparatus | |
| US20060072664A1 (en) | Display apparatus | |
| US8184703B2 (en) | Interpolated frame generating method and interpolated frame generating apparatus | |
| US20050271144A1 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
| US6175659B1 (en) | Method and apparatus for image scaling using adaptive edge enhancement | |
| KR20090006068A (ko) | 동영상 시퀀스를 수정하는 방법 및 그 장치 | |
| KR20020064440A (ko) | 영상 움직임 보상 장치 및 방법 | |
| US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
| EP2509307A1 (en) | Image processing device and image processing method | |
| KR100979811B1 (ko) | 수평 방향 에지의 패턴을 고려한 순차주사화 장치 및 방법 | |
| US20030081682A1 (en) | Unit for and method of motion estimation and image processing apparatus provided with such estimation unit | |
| KR20050012768A (ko) | 현재 모션 벡터를 추정하는 유닛 및 방법 | |
| US20080031338A1 (en) | Interpolation frame generating method and interpolation frame generating apparatus | |
| US7525599B2 (en) | System and method for blending of spatial interpolation and weaving | |
| JP5197374B2 (ja) | 動き推定 | |
| EP1836678B1 (en) | Image processing | |
| JP2009182865A (ja) | 画像表示装置及び方法、画像処理装置及び画像処理方法 | |
| KR100949137B1 (ko) | 영상 보간 장치와 그 방법 및 그 방법이 기록된 컴퓨터로읽을 수 있는 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| J201 | Request for trial against refusal decision | ||
| N231 | Notification of change of applicant | ||
| AMND | Amendment | ||
| B701 | Decision to grant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130201 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20131209 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20171211 Year of fee payment: 10 |