KR20010053215A - 서브-픽셀 정밀 동작 벡터 추정 및 동작-보상 보간 - Google Patents

서브-픽셀 정밀 동작 벡터 추정 및 동작-보상 보간 Download PDF

Info

Publication number
KR20010053215A
KR20010053215A KR1020007014820A KR20007014820A KR20010053215A KR 20010053215 A KR20010053215 A KR 20010053215A KR 1020007014820 A KR1020007014820 A KR 1020007014820A KR 20007014820 A KR20007014820 A KR 20007014820A KR 20010053215 A KR20010053215 A KR 20010053215A
Authority
KR
South Korea
Prior art keywords
vector
image
sub
component
pixel
Prior art date
Application number
KR1020007014820A
Other languages
English (en)
Other versions
KR100624355B1 (ko
Inventor
데하안게라르드
벨레르스어윈비.
슈텐로베르트제이.
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26153310&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20010053215(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010053215A publication Critical patent/KR20010053215A/ko
Application granted granted Critical
Publication of KR100624355B1 publication Critical patent/KR100624355B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

디지털 비디오로부터 서브-픽셀 정밀 동작 추정은 데이터의 보간을 요구한다. 벡터(D)의 보완적인(complementary) 분수(-D/2, D/2) 위에 이웃하는 이미지를 이동시키는 대칭적인 동작 추정기에서, 두 개의 그러한 보간 필터(들)가 요구된다. 블록-매칭 동작 추정 알고리즘의 경우에, 다양한 후보 벡터의 매치 에러는 서브-픽셀 보간 필터의 품질에 의존한다. 이러한 필터가 벡터의 분수값에 대하여 다르기 때문에, 다른 것들 위에 몇몇 분수 벡터값에 대한 의도하지 않은 선택이 초래될 수 있다. 후보 벡터(D)는 정수 부분과 일반적으로 비정수 부분으로 분리됨으로서, 이것은 상기 벡터가 유효해야 하는 일시적인 위치를 정확하게 맞추도록 후보를 분리시키는 것보다 더 나은 정밀도 및 저렴한 비용을 제공한다.

Description

서브-픽셀 정밀 동작 벡터 추정 및 동작-보상 보간{Sub-pixel accurate motion vector estimation and motion-compensated interpolation}
동작 벡터는 잡음 감소, 및 주사율(scan rate) 변환과 같은 이미지 프로세싱 응용의 범위에 사용된다. 몇몇의 이러한 응용, 특히 주사율 변환 응용은 추정되는 물체의 실제 동작을 요구한다([1],[2]). 예를 들어 코딩 및 순차적인 주사 변환에 섞여진 다른 응용은 각각 코딩 에러를 남기는 낮은 진폭 또는 별칭(alias)을 인식하는 동작 벡터의 높은 정밀도를 요구한다([3],[4]). 마지막으로, 동작 추정기의 비용이 매우 중요한, 예를 들어 동작 추정의 소비자 응용과 같은 응용의 카테고리가 있다([5]). 몇몇의 알고리즘은 실제의 동작 추정을 실현하도록 제안되었다([1],[2],[3],[4],[5],[6],[7], 및 [8]). 예를 들어 [5],[8],[9],[10] 및 [11]과 같은 알고리즘은 또한 낮은 복잡도에서 동작 추정을 실현하도록 제안되었고, [12], 또는 [13]에서 보여지는, 일반적으로 서브-픽셀 정밀도를 인가하는 펠-순환 알고리즘과 구분된다. 또한, 많은 블록-매칭 알고리즘은 고도의 정확한 동작 벡터의 추정을 인가하도록 보고되었다([1],[14], 및 [15])
본 발명은 서브-픽셀 정밀 동작 벡터 추정 및 동작 보상 보간 또는 예측을 위한 방법 및 장치뿐만 아니라 그러한 서브-픽셀 정밀 동작-보상 보간 장치를 포함하는 텔레비전 장치에 관한 것이다.
도 1은 본 발명의 위치 대 시간의 다이어그램.
도 2는 본 발명에 따른 동작 벡터 추정 장치의 실시예를 도시한 도면.
도 3은 본 발명에 따른 동작-보상 보간 장치의 실시예를 도시한 도면.
도 4는 본 발명에 따른 텔레비전 장치의 실시예를 도시한 도면.
비대칭 동작 추정기에서, 이전(또는 다음) 이미지의 이동된 부분을 현재 이미지의 고정된 부분으로 매칭하는 것이 시도된다. 추정기가 블록 매처(block matcher)라면, SAD(Summed Absolute Difference)를 사용하여,
여기서 C는 테스트 하의 후보 벡터이고, X는 블록(B(X))의 위치를 지시하고, F(x, n)는 휘도 신호이며, n은 영상 또는 이미지의 수이다. 결과 동작 벡터는 현재 이미지 내의 블록 속도를 기술한다.
비대칭 동작 추정기에서, 두 개(일반적으로 성공적인)의 이미지로부터의 두 개의 부분은 반대 방향으로 이동되고, 다시 최적의 매칭이 초래된다. 매칭 에러는 다음식(2)의 결과로서 나타난다.
결과 동작 벡터(그들 중 하나를 인버트한 후, 두 이동의 합)는 두 이동된 이미지 사이에 위치된 이미지(이용 불가능한)에 블록 속도를 기술한다. 0과 1 사이에 있는 매개 변수(α)는 일시적인 위치를 결정한다. 동작 추정기의 이러한 형태는 특히 프레임 비율 변환 응용에 관한 것이다.
본 명세서는 서브-픽셀 정밀도의 실제 동작 추정의 문제를 다룬다. 여기서 벡터는 두 개의 입력 영상(또는 이미지) 사이에 놓인 시점에서 유효해야 한다. 이것은 특히 주사율 변환기에 적용된 추정기에 관한 것이다. 서브-픽셀 정밀도는 주어진 픽셀값 사이의 위치에서 픽셀의 보간을 요구한다. 일반적으로 사용된 방법은, 그 낮은 복잡도 때문에, 구현하는데 선호되는 소위 쌍일차(bi-linear)의 보간이다.
특히, 본 발명의 목적은 향상된 동작 벡터 추정 및 동작 보상 보간을 제공하는 것이다. 이 목적을 위해, 본 발명은 청구범위의 독립항에서 정의한 동작 보상 보간 또는 예측 및 동작 벡터 추정을 위한 방법 및 장치를 제공한다. 유리한 실시예는 청구범위의 종속항에서 정의된다.
G. de Haan의 논문 "Motion estimation and compensation; An integrated approach to consumer display field rate conversion", Eindhoven 1992, section 8.1.1에서, 홀수 후보 벡터를 위한 서브-픽셀 보간을 방지하고, 정수 후보 벡터(즉, 단지 정수 벡터 성분을 갖는)로부터 제 1 및 제 2 정수 벡터(즉, 단지 정수 벡터 성분을 갖는)를 얻는 방법이 기술되어 있음을 주목한다. 홀수 후보 벡터, 즉 홀수 수직 성분을 갖는 벡터에 대하여, 분수(0.5)의 곱은 비정수 벡터 성분을 초래한다. 짝수 수직 성분을 갖는 후보 벡터에 대하여, 분수(0.5)만큼 짝수 수직 성분을 곱한 결과 비정수는 없기 때문에, 문제가 없다. 공지된 방법은 분수적인 벡터 성분을 얻는 분수만큼 정수 후보 벡터의 벡터 성분을 곱하는 단계, 제 1 벡터의 정수 벡터 성분을 얻는 분수적인 벡터 성분을 라운딩하는 단계, 또한 단지 정수 벡터 성분을 갖는 정수 제 2 벡터를 얻는 정수 후보로부터 정수 제 1 벡터를 공제하는 단계를 포함한다.
발명의 상세한 설명 및 청구범위에서, 용어 "라운딩"은 상한(largest smaller)(또는 하한(smallest larger)) 정수 값(즉, 제한)에 대한 라운딩 다운(또는 업)과 가장 가까운 정수값에 대한 라운딩 모두를 포함한다. 표현 "이미지"는 필드와 프레임 모두를 포함한다.
본 발명의 상기 및 다른 특징은 아래에 기술된 실시예를 참조하여 명료하고 분명해질 것이다.
이웃하는 이미지들 양쪽에서, 상술된 간단한 쌍일차의(bi-linear) 보간 알고리즘의 똑바른 사용이 단지 하나의 이미지에서 서브 픽셀 보간을 사용함으로써 방지될 수 있는 다른 것들 보다 몇몇의 변위 벡터들에 대해 훨씬 강한 선호도를 소개하고, 벡터 이미지가 유효해야 하는 의도된 임시 위치로부터 무시할 수 있는 작은 이탈을 받아들이는 것을 알 수 있다.
우리가 제안한 알고리즘은 관측으로부터 표준(preferred) 서브 픽셀 속도의 설명된 문제가 특히 대칭적인 동작 추정의 경우에 발생되는 것을 초래하였다. 검사되는 모든 동작 벡터가 픽셀 그리드(grid) 상의 정수 이동(integer shifts)을 리드하는 한, 영상 콘텐츠와 무관한 특정한 동작 벡터에 대한 일체의 선호도가 초래된다. 그러나, 이것은 서브-픽셀 보간이 요구되는 경우에는 다르다. 쌍일차 보간을 갖는 대칭적인 추정기에서, 매칭되는 이동된 이미지들 모두는 보간 필터로부터 동일한 스펙트럼(spectral) 손실을 초래한다. 주어진 아주 작은(fractional) 속도에 대한 보간 필터의 손실이 높아질수록, 매칭 에러, 즉, 상기 속도 결과에 대한 선호도는 더 낮아진다. 비대칭적인 동작 추정기의 경우에, 단지 한 이미지는 서브-픽셀 이동에 기인하여 공간적으로 여과되고, 따라서, 필터의 손실이 높아질수록, 매칭 에러도 더 높아지고, 상기 속도에 대한 선호도는 더 낮아진다. 모든 경우에, 더 비싼 필터는 의도되지 않은 선호도를 감소시키는데 적용될 수 있다.
실험은, 가장 단순하게 구현 가능한 보간 필터(1차 보간)를 사용할 때, 서브-픽셀 동작 추정의 서브-픽셀 정밀도가 대칭적인 환경에서 보다 비대칭 구성에서 더 좋아짐을 보여준다. 몇몇 계산의 노력으로, 점차 속도를 변화시키는 주파수 소인(sweep)을 위하여 모든 보간 필터에 대한 매칭 에러를 계산함으로써, 이것이 요구되어야 함이 증명될 수 있다.
이러한 관측은 대칭적인 동작 추정기의 흥미로운 구현을 리드한다. 상기 구현은 대칭적인 동작 추정기에서 더 높은 정밀도와 비대칭적인 추정기의 더 낮은 비용을 소개하기 때문에 흥미롭다. 본 발명은 상기 벡터의 분수(fraction) 부분에 대해 비대칭이고, 단지 동작 추정기의 정수 부분에 대해서 비대칭인 추정기를 간단하게 제작하도록 존재한다.
여기서 다음 이미지를 가리키는 최초의 후보 벡터 C(X, n) 및 Cn(X, n)과 각각 이전 이미지를 가리키는 Cp(X, n) 및 Cn(X, n) 사이의 관계는, 한편, 식(4)에 의해 주어진다.
여기서 Rnd(A)는 A를 위해 가장 가까운 정수값으로 돌아간다. 결과로서, Cn(X, n)은 부수 부분을 포함하는 반면에, Cp(X, n)은 정수 벡터이다. 분명하게, 비정수 성분을 가질 수 있는 완전한 정수(Cn) 및 나머지(Cp)를 또한 만들 수 있다. 이러한 선택은 청구항의 범위 내에 있다.
엄밀히 말하면, 상기 결과 추정은 조만간(두개의 성공적인 이미지들 사이에서) 요구되는 지점에 고정된 블록의 속도를 더 이상 지시하지 않지만, 약간(최대값에서 절반의 벡터의 서브-픽셀 부분) 이동된 블록 또는 일시적으로 약간 이동된 이미지 내의 대응하는 위치에 할당되어야 한다. 그러나 상기 결과 에러는 근본적으로 매우 작으며, 그러므로 무시할 수 있다.
제안된 알고리즘의 이점은 상기 방법을 적용하는 동작 추정기를 위해 향상된 정밀도뿐만 아니라, 상기 구현이 더 적은 비용 면에서도 인식될 수 있다. 그러므로, 상기 아이디어를 동작 추정기에 적용할 뿐만 아니라, 동작 보상 이미지 보간기에 또한 적용함을 알 수 있다. 일반적으로, 일시적으로 보간된 이미지는 다음식(5)의 결과로서 나타난다.
과 같이 초래된다.
여기서 D는 이미지 n과 n-1 사이에서 계산된 동작 벡터 또는 그 치환이다.
앞 단락으로부터의 제안과 완전히 유사하게, 우리는 이제 다음(6)을 식(7)으로 변경할 수 있다.
을
로 변경할 수 있다.
서브-픽셀 보간이 단지 하나의 이미지(메모리에 대한 억세스를 또한 줄일 수 있는)로부터 픽셀들을 요구하기 때문에, 비용 감소라는 또 다른 이점이 있다. 단지 일시적인 순간의 매우 작은 변경 동안에, 상기 이미지는 보간되고, 초래된다.
동작 보상 보간을 위한 상술된 알고리즘은 동작 벡터 필드를 점차로 변화시키는 하위 최적화를 보여준다. 두 개의 동작 벡터 중 하나를 라운딩(rounding) 하는 단계 때문에, 두 개의 동작 벡터의 조합이 유효하기 위한 일시적인 위치에 불연속성이 생길 것이다. 상기 불연속성은 상위 변환된 이미지에서, 동작 벡터 필드의 점차적인 변화의 경우에, 명확하게 시각화된다. 본래의 제안의 적응된 버전은 이러한 불연속성을 더 작게 만든다. 방정식(6)은 위에 도시된 것처럼, Dp를 위한 공식에서 유지되지만, Dn을 위한 방정식은 다음식(8)로 변경된다.
벡터 Dp와 Dn의 합이 더 이상 D와 같지 않음을 주목한다.
수정된 알고리즘은 본래의 알고리즘과 동일한 이점들, 비용 감소를 갖지만, 동작 벡터 필드가 적용될 때(결과가 영상에 대하여 달라지는 대신에, 이것이 실험적으로 돌연한 변화(judder)에 대해 주체적으로 우수하게 성장되는) 불연속성(동작 돌연 변화)을 보이지 않는다. 이러한 수정된 알고리즘은 단지 동작 보상 상위 변환(up-conversion)의 경우에 적용되고, 동작 추정 알고리즘은 상술된 바와 같이 유지한다.
도 1은 본 발명의 위치(P) 대 시간(T) 다이어그램을 도시한다. 상기 컬럼(n-1)은 이미지(n-1)에서의 라인을 나타내고, 상기 컬럼(n)은 이미지(n)에서의 라인을 나타내며, 컬럼(n-1/2)에서의 점은 보간되는 라인을 나타낸다. 중단된 라인은 일반적인 서브-픽셀 정밀 벡터(D)가 두 개의 존재하는 라인 사이의 동일한 위치에서 각각 포인팅하는 두 개의 절반의 벡터를 초래하는 것을 보여준다. 따라서, 두 개의 비정수 보간을 필요로 한다. 본 발명에 따라서, 이들 절반의 벡터 중 하나는 존재하는 라인에서 벡터 포인팅을 얻기 위해 라운딩 되는(Rnd(D/2)) 반면에, 다른 절반의 벡터는 본래의 서브-픽셀 정밀 벡터(D)로부터 상기 라운딩된 제 1 벡터(Rnd(D/2)를 공제함으로써 얻어진다.
도 2는 본 발명에 따라 동작 벡터 추정 장치의 실시예를 도시한다. 이미지 메모리(FM)는 요구되는 일시적인 지연을 확보한다. 이미지(n)는 그 입력으로서 제공되는 반면에, 이미지(n-1)는 그 출력으로서 제공된다. 도 2의 상기 실시예는, 주어진 영역에서 각각의 픽셀이 도달될 수 있도록, 예를 들면, 라인 메모리에 대한 5 라인 메모리 및 16 픽셀 메모리의 맞추어진(tapped) 지연 라인을 각각 포함하는 두 개의 라인 메모리 섹션(LM1, LM2)의 집합을 더 포함한다.
도 2는 각각, 스위치 매트릭스(SMX)와 위치 보간기(INT)를 통해 상기 라인 메모리 섹션(LM1, LM2)과 통신하는 동작 벡터 추정기(ME)를 더 보여준다. 이러한 방법으로, 동작 벡터 추정기(ME)는 후보 동작 벡터(C)를 라인 메모리 섹션(LM1, LM2)에 공급하고, 라인 메모리 섹션(LM1, LM2)은 대응하는 픽셀 값을 동작 벡터 추정기(ME)에 공급한다. EP-A-0,415,491(PHN13,068)에 공개된 것과 같이, 동작 벡터 추정기(ME)는 동작 벡터 메모리(VM)에 의해 공급되는 이전 이미지를 위해 결정된 벡터들을 또한 양호하게 사용한다. 상기 동작 벡터 추정기는 출력 벡터(D)를 공급한다.
본 발명에 따라, 후보 벡터(C)는 유도 유닛(DU)에 의해 완전한 정수(Cp) 및 나머지 벡터(Cn)로 분리되고, Cp와 Cn사이의 분할은 분수(α)에 의존한다. 상기 목적을 위해, 후보 동작 벡터(C)는 분수(α)에 의해 곱해지고, 그 결과는 스위치 매트릭스(SMX)에 적용되는 벡터(Cp)를 공급하는 라운딩 회로(RND)에 적용된다. 벡터(Cp)는 위치 보간기(INT)에 적용되는 나머지 벡터(Cn)를 얻는 공제 회로(S)에 의해 후보 동작 벡터(C)로부터 공제된다.
도 3은 본 발명에 따른 동작 보상 보간 장치의 실시예를 도시한다. 입력 동작 벡터(D)는, 등식(7)에서의 Dp와 등식(8)에서의 Dn의 등식들에 따라, 유도 유닛(DU)에 의해 완전한 정수 벡터(Dp)와 나머지 벡터(Dn)로 분리된다. 도 3의 유도 유닛(DU)은 따라서, 승산기(M2)가 벡터(Dn)를 얻는 인수(1-α)만큼 입력 동작 벡터(D)를 곱하는 도 2의 유도 유닛(DU)과 다르다. 위치 보간기(INT) 및 스위치 매트릭스(SMX)로부터 검색된 픽셀 값은 출력 이미지(n-1/2)를 얻는 평균 회로(AV)에 의해 평균화된다.
도 4는 본 발명에 따른 텔레비전 장치의 실시예를 도시한다. 안테나(A)는 처리된 비디오 신호를 생성하는 프로세서(PROC)에 비디오 신호를 공급하는 튜너(TUN)에 텔레비전 신호를 공급한다. 처리된 비디오 신호에서 이미지의 수는 도 3에 도시된 형태의 동작 보상 보간기(MCINT)에 의해 제곱된다. 동작 보상 보간기(MCINT)는 도 2에 도시된 형태의 동작 벡터 추정기로부터 동작 벡터(D)를 수신할 수 있다. 유리하게, US-A-5,495,300(Attorneys' docket PHN 14,079)에 공개된 것과 같이, 동작 벡터 추정기 및 동작 보상 보간기는 단일 회로를 형성하도록 조합된다.
본 발명의 기본 특징은 다음과 같이 요약될 수 있다. 디지털 비디오로부터 서브-픽셀 정밀 동작 추정은 데이터의 보간을 요구한다. 벡터의 보완적인(complementary) 분수 위에 이웃하는 이미지를 이동시키는 대칭적인 동작 추정기에서, 두 개의 그러한 보간 필터가 요구된다. 블록-매칭 동작 추정 알고리즘의 경우에, 다양한 후보 벡터의 매치 에러는 서브-픽셀 보간 필터의 품질에 의존한다. 이러한 필터가 벡터의 분수값에 대하여 다르기 때문에, 다른 것들 위에 몇몇 분수 벡터값에 대한 의도하지 않은 선택이 초래될 수 있다. 우리는, 후보 벡터를 정수 부분과 일반적으로 비정수 부분으로 분리시키는 것을 제안한다. 이것은 상기 벡터가 유효해야 하는 일시적인 위치를 정확하게 맞추도록 후보를 분리시키는 것보다 더 나은 정밀도 및 저렴한 비용을 제공한다.
이미지 쌍으로부터, 동작 벡터를 추정하거나 이미지를 보간하기 위한 방법 및 장치에 있어서,
입력 벡터로부터 제 1 및 제 2 벡터를 생성하는 수단,
상기 제 1 벡터 위의 제 1 이미지로부터 픽셀을 이동하는 수단,
상기 제 2 벡터 위의 제 2 이미지로부터 픽셀을 이동하는 수단을 포함하고,
상기 제 1 벡터와 입력 벡터의 성분비가 이들 성분의 값에 의존하는 것을 특징으로 하는 동작 벡터 추정 또는 이미지 보간 방법 및 장치.
양호하게, 제 1 및 제 2 벡터의 차이는 상기 입력 벡터와 동일하다. 유리하게, 상기 제 1 벡터와 입력 벡터의 성분비는 가능한 한 0과 1사이의 고정된 인자에 근접하고, 상기 단지 제 1 벡터는 정수 성분을 갖도록 인가된 반면 상기 제 2 벡터는 하나 이상의 비정수 성분을 가질 수 있다.
이미지 쌍으로부터, 동작 벡터를 추정하거나, 이미지를 보간하기 위한 방법 장치에 있어서,
입력 벡터로부터 제 1 및 제 2 벡터를 생성하는 수단,
상기 제 1 벡터 위의 제 1 이미지로부터 픽셀을 이동시키는 수단,
상기 제 2 벡터 위의 제 2 이미지로부터 픽셀을 이동시키는 수단을 포함하고,
상기 제 1 벡터는 단지 정수 성분을 갖는 반면에, 상기 제 2 벡터는 하나 이상의 비정수 성분을 가질 수 있는 것을 특징으로 하는 동작 벡터 추정 또는 이미지 보간 방법 및 장치.
상술된 실시예가 본 발명의 한계를 설명하는 것이 아니며, 종래 기술의 숙련된 자들은 부가된 청구 범위 내에서 다양한 선택적인 실시예를 설계할 수 있을 것이다. 1999년 4월 26일에 출원된 제 1 우선 출원 EP 99201298.9의 도 3은 보간에 대한 청구항의 범위 내에 포함되는 선택적인 동작 보상 보간기를 도시한다. 상기 청구항에서, 삽입구 사이에 위치하는 임의의 참조 부호는 상기 청구항을 제한하는 것으로 구성되지 않는다. 단어 "포함하는"은 청구항에 수록된 것과 다른 구성 요소 또는 단계의 존재를 배제하지 않는다. 구성 요소 앞에 오는 단어 "하나"는 다수의 그러한 구성 요소들의 존재를 배제하지 않는다. 본 발명은 몇몇의 명확한 구성 요소를 포함하는 하드웨어, 및 적절하게 프로그램된 컴퓨터에 의해서 구현될 수 있다. 몇몇의 수단을 열거하는 장치에 관한 청구항에서, 몇몇의 이러한 수단은 하드웨어 중 하나 및 하드웨어의 동일한 아이템에 의해 실시될 수 있다.
참고문헌
[1] G.A. Thomas, "Television motion measurement for DATV and other applications", BBC Research Report No. BBC1987／11α
[2] R.Thomas and M. Bierling, "Motion Compensating Interpolation Considering Covered and Uncovered Background", Image Communications 1, Elseviers 1989, pp.191-212.
[3] "Time-Recursive Deinterlacing for IDTV and Pyramid coding", F.M. Wang and D.Anastassiou, Image Communication 2, Elseviers 1990, pp.365-374.
[4] "A Motion Adaptive De-Interlacing Method", Kwon, Seo, Kim, and Kim, IEEE Tr. on consumer Electronics, Vol.38,No.3,1992.
[5] G. de Haan and H. Huijgen, "Motion Estimation for TV Picture Enhancemene',Proc. 4th. Workshop on HDTV and beyond, Torino, 1991.
[6] T. Reuter, "A modified blockmatching algorithm with vector reliability checking and adaptive smoothing", 3h Int. Conf. on Image Processing and its Applications, University of Warwick, England, 18-20 July 1989.
[7] J. Konrad, and E. Dubois "A comparison of stochastic and determinisitc solution methods in Bayesian estimation of 2-D motion", Proc. 1 "European Conf. on Computer Vision, Antibes, April 1990.
[8] G. de Haan, P.W.A.C Biezen, H. Huijgen, and O.A. Ojo, "True Motion Estimation with 3-D Recursive Search Block-Mathcing", to be published in IEEE Tr. on Circuits ＆ Systems for Video Technology.
[9] R. Srinivasan and K.R. Rao, "Predictive Coding Based on Efficient Motion Estimation", IEEE Tr. on Communication, No.8, 1985, pp.888-896.
[10] J.R. Jain and A.K.Jain, "Displacement Measurement and Its Application in Interframe Image Coding", IEEE Tr. on Communications, COM-29, no. 12,1981.
[11] T. Koga, K. Iinuma, A. Hirano, Y. Iilima and T. Ishiguro, "Motion-Compensated Interframe Coding for Video Conferencing", IEEE, Proc. of the NTC 81, G5.3.1., New Orleans LA, 1981.
[12] H.G. Musmann, P. Pirsch and J. Grallert, "Advances in picture coding", Proc. of the IEEE, vol. 73, no. 4, April 1985, pp. 523-548.
[13] J. N. Driessen, L. Boroczki and J. Biemond, "Pel-Recursive Motion Field Estimation from Image Sequences", J. on Visual Comm. and Image Representation, 1991.
[14] K. Hildenbrand and J. Mayer, "Method to determine motion vectors for blocks in an image source-sequence"(in German), Patent, no. DE 40 23 449 CI, 23-01-92.
[15] M. Ziegler, "Hierarchical motion estimation using the phase correlation method in 140 Mbit/s HDTV-coding", Proc. 3th Int. Workshop on HDTV and beyond, Torino, 1989.

Claims (11)

  1. 주어진 상호 일시적인 거리(a given mutual temporal distance)를 갖는 제 1의 (n-1)과 제 2의 (n) 이미지 사이에 서브-픽셀 정밀 동작 벡터를 추정하는 방법에 있어서,
    상기 서브-픽셀 정밀 동작 벡터(D)는 상기 제 1 이미지(n-1)로부터 분수적인 거리에서 이미지(n-1/2)의 보간 또는 예측에 사용되도록 의도되고, 상기 분수적인 거리는 상기 주어진 거리의 분수(α)이며,
    상기 방법은,
    비정수값을 가질 수 있는 벡터 성분을 갖는 후보 벡터(C)를 생성하는 단계(ME);
    상기 후보 벡터(C)로부터 제 1(Cp) 및 제 2(Cn) 벡터를 유도하는 단계(DU); 및
    상기 제 1 벡터(Cp) 위에 이동된(SMX, LM1) 상기 제 1 이미지(n-1)의 제 1 위치와 상기 제 2 벡터(Cn) 위에 이동된 (INT, LM2) 제 2 위치를 비교함으로써 상기 후보 벡터(C)를 평가하는 단계를 포함하고,
    상기 유도 단계(DU)는,
    분수적인 벡터 성분을 획득하는 상기 분수(α)로 상기 후보 벡터(C)의 상기 벡터 성분을 곱하는 단계(M); 및
    상기 제 1 벡터(Cp)의 벡터 성분을 얻는 상기 분수 벡터 성분을 라운딩하는 단계로서, 상기 제 1 벡터(Cp)는 단지 정수 벡터 성분을 갖고, 상기 제 2 벡터(Cn)는 비정수값을 가질 수 있는 벡터 성분을 갖는 상기 라운딩 단계를 포함하는 것을 특징으로 하는 서브-픽셀 정밀 동작 벡터 추정 방법
  2. 제 1 항에 있어서,
    상기 유도 단계(DU)는,
    상기 제 2 벡터(Cn)를 얻는 상기 후보 벡터(C)로부터 상기 제 1 벡터(Cp)를 공제하는 단계를 더 포함하는 방법.
  3. 주어진 상호 일시적인 거리를 갖는 제 1의 (n-1) 및 제 2의 (n) 이미지로부터, 비정수값을 가질 수 있는 벡터 성분을 갖는 서브-픽셀 정밀 동작 벡터(D)에 의해 이미지(n-1/2)를 생성하는 방법에 있어서,
    상기 이미지(n-1/2)는 상기 제 1 이미지(n-1)로부터 분수적인 거리에 있고, 상기 분수적인 거리는 상기 주어진 거리의 분수(α)이며,
    상기 방법은,
    상기 서브-픽셀 정밀 동작 벡터(D)로부터 제 1(Dp) 및 제 2(Dn) 벡터를 유도하는 단계(DU); 및
    상기 제 1 벡터(Dp) 위에 이동된(SMX, LM1) 상기 제 1 이미지(n-1)와 상기 제 2 벡터(Dn) 위에 이동된(INT, LM2) 상기 제 2 이미지(n)를 조합함으로써 상기 중간 이미지(n-1/2)를 생성하는 단계(AV)를 포함하고,
    상기 유도 단계(DU)는,
    분수 벡터 성분을 얻는 상기 분수(α)만큼 상기 서브-픽셀 정밀 동작 벡터(D)의 상기 벡터 성분을 곱하는 단계(M); 및
    상기 제 1 벡터(Dp)의 벡터 성분을 얻는 상기 분수 벡터 성분을 라운딩하는 단계(RND)로서, 상기 제 1 벡터(Dp)는 단지 정수 벡터 성분을 갖고, 상기 제 2 벡터(Dn)는 비정수값을 가질 수 있는 벡터 성분을 갖는 상기 라운딩 단계(RND)를 포함하는 것을 특징으로 하는 이미지 생성 방법.
  4. 제 3 항에 있어서,
    상기 유도 단계(DU)는,
    상기 제 2 벡터(Dn)를 얻는 상기 서브-픽셀 정밀 동작 벡터(D)로부터 상기 제 1 벡터(Dp)를 공제하는 단계(S)를 더 포함하는 방법.
  5. 제 3 항에 있어서,
    상기 유도 단계(DU)는,
    상기 제 2 벡터(Dn)를 얻는 상기 분수(α)-1과 같은 인자만큼 서브-픽셀 정밀 동작 벡터(D)를 곱하는 단계(M2)를 더 포함하는 방법.
  6. 주어진 상호 일시적인 거리를 갖는 제 1의 (n-1)과 제 2의 (n) 이미지 사이의 서브-픽셀 정밀 동작 벡터(D)를 추정하기 위한 장치에 있어서,
    상기 서브-픽셀 정밀 동작 벡터(D)는 상기 제 1 이미지(n-1)로부터 분수적인 거리에서 이미지(n-1/2)의 보간 또는 예측에 사용하기 위해 의도되고, 상기 분수적인 거리는 상기 주어진 거리의 분수(α)이며,
    상기 장치는,
    비정수값을 가질 수 있는 벡터 성분을 갖는 후보 벡터(C)를 생성하기 위한 수단(ME);
    상기 후보 벡터(C)로부터 제 1(Cp) 및 제 2(Cn) 벡터를 유도하기 위한 수단(DU); 및
    상기 제 1 벡터(Cp) 위에 이동된(SMX, LM1) 상기 제 1 이미지(n-1)에 제 1 위치를 상기 제 2 벡터(Cn) 위에 이동된(INT, LM2) 상기 제 2 이미지(n)에 제 2 위치와 비교함으로써 상기 후보 벡터(C)를 평가하기 위한 수단(ME)을 포함하고,
    상기 유도 수단(DU)은,
    분수적인 벡터 성분을 얻는 상기 분수(α)만큼 상기 후보 벡터(C)의 상기 벡터 성분을 곱하기 위한 수단(M); 및
    상기 제 1 벡터(Cp)의 벡터 성분을 얻는 상기 분수적인 벡터 성분을 라운딩하기 위한 수단(RND)으로서, 상기 제 1 벡터(Cp)는 단지 정수 벡터 성분을 갖고, 상기 제 2 벡터(Cn)는 비정수값을 가질 수 있는 벡터 성분을 갖는 상기 라운딩 수단을 포함하는 것을 특징으로 하는 서브-픽셀 정밀 동작 벡터(D) 추정 장치.
  7. 제 6 항에 있어서,
    상기 유도 단계(DU)는,
    상기 제 2 벡터(Cp)를 얻는 상기 후보 벡터(C)로부터 상기 제 1 벡터(Cn)를 공제하기 위한 수단(S)을 더 포함하는 장치.
  8. 주어진 상호 일시적인 거리를 갖는 제 1의 (n-1) 및 제 2의 (n) 이미지로부터, 비정수값을 가질 수 있는 벡터 성분을 갖는 서브-픽셀 동작 벡터(D)에 의해 이미지(n-1/2)를 생성하기 위한 장치에 있어서,
    상기 이미지(n-1/2)는 상기 제 1 이미지(n-1)로부터 분수적인 거리에 있고, 상기 분수적인 거리는 상기 주어진 거리의 분수(α)이며,
    상기 장치는,
    상기 서브-픽셀 정밀 동작 벡터(D)로부터 제 1(Dp) 및 제 2(Dn) 벡터를 유도하기 위한 수단(DU); 및
    상기 제 1 벡터(Dp) 위에 이동된(SMX, LM1) 상기 제 1 이미지(n-1)와 상기 제 2 벡터(Dn) 위에 이동된(INT, LM2) 상기 제 2 이미지(n)를 조합함으로써 상기 중간 이미지(n-1/2)를 생성하기 위한 수단(AV)을 포함하고,
    상기 유도 수단(DU)은,
    분수적인 벡터 성분을 얻는 상기 분수(α)만큼 상기 서브-픽셀 정밀 동작 벡터(D)의 상기 벡터 성분을 곱하기 위한 수단(M); 및
    상기 제 1 벡터(Dp)의 벡터 성분을 얻는 상기 분수적인 벡터 성분을 라운딩하기 위한 수단(RND)으로서, 상기 제 1 벡터(Dp)는 단지 정수 벡터 성분을 갖고, 상기 제 2 벡터(Dn)는 비정수값을 가질 수 있는 벡터 성분을 갖는 상기 라운딩 수단(RND)을 포함하는 것을 특징으로 하는 이미지 생성 방법.
  9. 제 8 항에 있어서,
    상기 유도 수단(DU)은,
    상기 제 2 벡터(Dn)를 얻는 상기 서브-픽셀 정밀 동작 벡터(D)로부터 상기 제 1 벡터(Dp)를 공제하기 위한 수단(S)을 더 포함하는 장치.
  10. 제 8 항에 있어서,
    상기 유도 수단(DU)은,
    상기 제 2 벡터(Dn)를 얻는 상기 분수(α)-1과 같은 인자만큼 상기 서브-픽셀 정밀 동작 벡터(D)를 곱하기(M2) 위한 수단(S)을 더 포함하는 장치.
  11. 텔레비전 장치에 있어서,
    텔레비전 신호를 수신하기 위한 수단(TUN, PROC);
    디스플레이 신호를 얻는, 상기 수신 수단(TUN, PROC)과 연결된 제 8 항의 생성 장치; 및
    상기 디스플레이 신호를 디스플레이하기 위한 수단(DD)을 포함하는 텔레비전 장치.
KR1020007014820A 1999-04-26 2000-04-17 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간 KR100624355B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP99201298 1999-04-26
EP99202479 1999-07-28
EP99202479.4 1999-07-28
EP99201298.9 1999-07-28

Publications (2)

Publication Number Publication Date
KR20010053215A true KR20010053215A (ko) 2001-06-25
KR100624355B1 KR100624355B1 (ko) 2006-09-18

Family

ID=26153310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007014820A KR100624355B1 (ko) 1999-04-26 2000-04-17 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간

Country Status (6)

Country Link
US (1) US6639944B1 (ko)
EP (1) EP1090502B1 (ko)
JP (1) JP4398099B2 (ko)
KR (1) KR100624355B1 (ko)
DE (1) DE60024389T2 (ko)
WO (1) WO2000065829A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
JP3935500B2 (ja) * 2005-01-14 2007-06-20 株式会社モルフォ 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
JP4798558B2 (ja) * 2005-08-11 2011-10-19 学校法人東京理科大学 動物体検出装置および動物体検出方法
KR100772390B1 (ko) 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
JP4322904B2 (ja) 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
US8411709B1 (en) 2006-11-27 2013-04-02 Marvell International Ltd. Use of previously buffered state information to decode in an hybrid automatic repeat request (H-ARQ) transmission mode
US8897393B1 (en) 2007-10-16 2014-11-25 Marvell International Ltd. Protected codebook selection at receiver for transmit beamforming
US8542725B1 (en) 2007-11-14 2013-09-24 Marvell International Ltd. Decision feedback equalization for signals having unequally distributed patterns
US8565325B1 (en) 2008-03-18 2013-10-22 Marvell International Ltd. Wireless device communication in the 60GHz band
US20090262249A1 (en) * 2008-04-22 2009-10-22 Himax Media Solutions, Inc. Interpolated frame generating method
US8213512B2 (en) * 2008-05-28 2012-07-03 Cyberlink Corp. Determining an intermediate image
US8498342B1 (en) 2008-07-29 2013-07-30 Marvell International Ltd. Deblocking filtering
US8761261B1 (en) * 2008-07-29 2014-06-24 Marvell International Ltd. Encoding using motion vectors
US8345533B1 (en) 2008-08-18 2013-01-01 Marvell International Ltd. Frame synchronization techniques
US8681893B1 (en) 2008-10-08 2014-03-25 Marvell International Ltd. Generating pulses using a look-up table
US8520771B1 (en) 2009-04-29 2013-08-27 Marvell International Ltd. WCDMA modulation
US8405769B2 (en) * 2009-12-22 2013-03-26 Intel Corporation Methods and systems for short range motion compensation de-interlacing
JP2011182181A (ja) * 2010-03-01 2011-09-15 Nanao Corp ブロック別動きベクトル演算装置またはその方法
US8817771B1 (en) 2010-07-16 2014-08-26 Marvell International Ltd. Method and apparatus for detecting a boundary of a data frame in a communication network
US8736767B2 (en) 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US10499078B1 (en) 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
KR101959888B1 (ko) 2017-12-27 2019-03-19 인천대학교 산학협력단 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
US5072293A (en) 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
DE69323572T2 (de) 1992-06-11 1999-09-16 Koninklijke Philips Electronics N.V., Eindhoven Anordnung zum bewegungsausgeglichenen Interpolieren eines Bildsignals
KR100330797B1 (ko) * 1993-09-08 2002-07-31 톰슨 멀티미디어 에스 에이 블록매칭을이용한모션추정방법및장치
US5659364A (en) * 1993-12-24 1997-08-19 Matsushita Electric Industrial Co., Ltd. Motion vector detection circuit
TW283289B (ko) * 1994-04-11 1996-08-11 Gen Instrument Corp
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
US6020926A (en) * 1994-12-30 2000-02-01 Intel Corporation Motion estimation block matching speedup
GB2301972B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
GB2301971B (en) * 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
US5623313A (en) * 1995-09-22 1997-04-22 Tektronix, Inc. Fractional pixel motion estimation of video signals
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
ES2431802T3 (es) * 1997-06-09 2013-11-28 Hitachi, Ltd. Procedimiento de decodificación de imágenes y decodificador de imágenes
US6141382A (en) * 1998-09-18 2000-10-31 Sarnoff Corporation Using estimated distortion values

Also Published As

Publication number Publication date
WO2000065829A1 (en) 2000-11-02
EP1090502A1 (en) 2001-04-11
JP4398099B2 (ja) 2010-01-13
DE60024389T2 (de) 2006-08-03
KR100624355B1 (ko) 2006-09-18
DE60024389D1 (de) 2006-01-05
EP1090502B1 (en) 2005-11-30
US6639944B1 (en) 2003-10-28
JP2002543687A (ja) 2002-12-17

Similar Documents

Publication Publication Date Title
KR100624355B1 (ko) 서브-픽셀 정밀 움직임 벡터 추정 및 움직임-보상 보간
US4771331A (en) Motion compensating field interpolation method using a hierarchically structured displacement estimator
De Haan Video processing for multimedia systems
De Haan et al. True-motion estimation with 3-D recursive search block matching
Nam et al. A fast hierarchical motion vector estimation algorithm using mean pyramid
EP0800744B1 (en) Video signal scan conversion
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
US6452639B1 (en) Raster scan conversion system for interpolating interlaced signals
Castagno et al. A method for motion adaptive frame rate up-conversion
EP0840982B1 (en) Motion estimation
Jung et al. An effective de-interlacing technique using motion compensated interpolation
US5212548A (en) Apparatus for motion vector estimation with asymmetric update region
Bellers et al. Advanced motion estimation and motion compensated de-interlacing
Sabri Movement compensated interframe prediction for NTSC color TV signals
Yamaguchi et al. Movement-compensated frame-frequency conversion of television signals
Al-Mualla Motion field interpolation for frame rate conversion
Bellers et al. New algorithm for motion estimation on interlaced video
De Haan Large‐video‐display‐format conversion
Lim et al. Adaptive motion estimation algorithm using spatial and temporal correlation
KR100382650B1 (ko) 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
Tourapis et al. Advanced deinterlacing techniques with the use of zonal-based algorithms
EP0943209B1 (en) Motion estimation and motion-compensated interpolation
KR100382651B1 (ko) 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치
Tu et al. A novel framework for frame rate up conversion by predictive variable block-size motion estimated optical flow
de Haan Video format conversion

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130909

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 13