KR20040108046A - 움직임 보상을 위한 화소값 선택 장치 및 방법 - Google Patents

움직임 보상을 위한 화소값 선택 장치 및 방법 Download PDF

Info

Publication number
KR20040108046A
KR20040108046A KR1020030038787A KR20030038787A KR20040108046A KR 20040108046 A KR20040108046 A KR 20040108046A KR 1020030038787 A KR1020030038787 A KR 1020030038787A KR 20030038787 A KR20030038787 A KR 20030038787A KR 20040108046 A KR20040108046 A KR 20040108046A
Authority
KR
South Korea
Prior art keywords
field
compensation
pixel
motion
motion vector
Prior art date
Application number
KR1020030038787A
Other languages
English (en)
Other versions
KR100541953B1 (ko
Inventor
허봉수
이성희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20030038787A priority Critical patent/KR100541953B1/ko
Priority to US10/812,966 priority patent/US7336838B2/en
Priority to JP2004177429A priority patent/JP2005012797A/ja
Publication of KR20040108046A publication Critical patent/KR20040108046A/ko
Application granted granted Critical
Publication of KR100541953B1 publication Critical patent/KR100541953B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

움직임 보상을 위한 화소값 선택 장치 및 방법이 개시된다. 제1 및 제2저장부에는 입력되는 적어도 하나의 후보 움직임 벡터에 대응되는 제1화소값을 포함하는 현재프레임/필드 및 제2화소값을 포함하는 이전프레임/필드가 각각 저장된다. 제1 및 제2화소값 추출부는 후보 움직임 벡터에 대응되는 제1 및 제2화소값을 각각 제1 및 제2저장부로부터 추출한다. 제1 및 제2보상화소 산출부는 추출된 제1 및 제2화소값에 따라 적응적으로 소정의 제1가중치를 부여하여 각각 움직임 보상을 위한 제1 및 제2보상화소값을 산출한다. 따라서, 본 발명은 보간할 현재 블럭 및 주변 블럭들의 움직임 궤적을 고려하여 제1 및 제2보상화소값을 산출한 후, 적응적으로 움직임 보상을 수행함으로써 블럭 아티팩트의 발생을 미연에 방지할 수 있다.

Description

움직임 보상을 위한 화소값 선택 장치 및 방법{Pixel-data selection device for motion compensation, and method of the same}
본 발명은 움직임 보상을 위한 화소값 선택 장치 및 방법에 관한 것으로서, 보다 상세하게는, 프레임 레이트 변환 시 하나의 블럭 당 다수의 움직임 궤적을 적용하여 다수의 화소값을 추출한 후, 추출된 화소값에 가중치를 부여하여 움직임 보상을 수행하는 움직임 보상을 위한 화소값 선택 장치 및 방법에 관한 것이다.
일반적으로 PC나 HDTV에서는 PAL 또는 NTSC와 같은 다양한 방송신호규격을 갖는 프로그램을 교환하기 위해 프레임 레이트 변환(Frame Rate Conversion)을 수행한다. 프레임 레이트 변환은 초당 출력되는 프레임수를 변환시키는 것을 의미한다. 특히 프레임 레이트가 증가되는 경우에는, 새로운 프레임을 보간하는 과정이 필요하다.
한편, 최근에는 방송기술의 발달에 따라 MPEG(Moving Picture Experts Group), H.263과 같은 영상 압축 방식에 의해 영상데이터를 압축한 후, 프레임 레이트 변환을 수행하고 있다. 특히, MPEG과 같은 영상 처리 분야에서, 영상신호는 대부분의 경우 상관관계(autocorrelation)가 크기 때문에 중복성(redundancy)을 가지고 있다. 따라서, 데이터 압축시 중복성을 제거함으로써, 데이터 압축 효과를 향상시킬 수 있다. 이때, 시간적으로 변하는 비디오 프레임을 효율적으로 압축하기 위해서는, 시간축 방향의 중복성 제거가 필요하다.
시간축 방향의 중복성 제거는, 프레임에서 움직임이 없거나, 움직임이 있다 하더라도 비슷한 부분은 바로 전 프레임 등에서 가져와서 채움으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다는 생각에 기초한다.
이를 위해, 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블럭을 찾는 작업이 필요한데, 이를 움직임 추정(Motion Estimation)이라 하며, 블럭이 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(Motion Vector, MV)라고 한다.
한편, 움직임을 추정하는 방법에는 움직임 정도의 정확도, 실시간 처리가능성 및 하드웨어 구현 등을 고려하여 블럭 매칭 알고리즘(Block Maching Algorithm, 이하에서는 "BMA"라 한다)이 일반적으로 이용되고 있다.
도 1은 일반적인 BMA를 이용하여 움직임을 추정하는 방법을 설명하기 위해도시한 도면이다.
도 1을 참조하면, Fn-1은 이전프레임/필드, Fn은 현재프레임/필드, Fi는 이전프레임/필드(Fn-1) 및 현재프레임/필드(Fn)를 이용하여 보간될 프레임을 의미한다.
BMA는 이전프레임/필드(Fn-1)와 현재프레임/필드(Fn)처럼 연속입력되는 두 장의 프레임을 블럭 단위로 비교하되, 비교되는 블럭 내의 화소들이 병진운동(translation)을 한다는 가정하에서 블럭당 하나의 움직임 벡터(MV)를 추정한다. 이 때 움직임 벡터(MV)는 이미 공지된 SAD(Sum of Absolute Difference) 예측오차 값을 이용하여 추정한다. 그리고, 움직임 벡터가 추정되면, 추정된 움직임 벡터(MV)를 이용하여 보간할 현재 블럭(B)에 대해 움직임 보상(Motion Compensation)을 수행한다.
그러나, 종래의 움직임 추정/보상방법에 있어서, 블럭 별로 추정된 각각의 움직임 벡터는 부정확하게 추정되는 경우가 발생한다. 이러한 경우, 부정확한 움직임 벡터를 이용하여 움직임 보상을 수행하게 되면, 보간프레임/필드(Fi)에서는 도 2에 도시된 바와 같은 블럭 아티팩트(Block Artifacts)가 발생한다. 도 2a에서 실선으로 도시된 벡터는 실제 움직임 벡터(true motion vector)이며, 점선으로 도시된 벡터는 추정된 움직임 벡터(estimated motion vector)이다. 블럭 아티팩트는 움직임 보상 시 블럭 별로 움직임 보상을 수행하므로 블럭 간의 경계에서 인접 블럭과의 상관성(correlation)을 고려하지 못 하기 때문에 발생한다. 또한, 종래의 FRC 알고리즘은 블럭 아티팩트를 제거하기 위하여 미디언 필터(Median Filter)와같은 비선형 필터를 적용하기도 하지만 화질열화 측면에서 큰 효과는 없다.
본 발명이 이루고자 하는 기술적 과제는, 블럭당 하나의 움직임 벡터를 추정하여 움직임 보상을 수행하는 경우, 부정확하게 추정된 움직임 벡터에 의해 발생하는 블럭 아티팩트를 미연에 방지 또는 제거할 수 있는 움직임 보상을 위한 화소값 선택 장치 및 방법을 제공하는 데 있다.
도 1은 일반적인 블럭 정합 방식을 이용하여 움직임을 추정하는 방법을 설명하기 위해 도시한 도면,
도 2는 종래의 움직임 보상 방법에 의해 블럭 아티팩트가 발생된 영상의 시뮬레이션 예를 도시한 도면,
도 3은 본 발명의 바람직한 제1실시예에 따른 화소값 선택장치가 마련된 움직임 추정/보상 장치를 개략적으로 도시한 블럭도,
도 4a는 도 3의 움직임 추정부에서 움직임 추정을 위해 설정한 현재 블럭 및 주변 블럭을 도시한 도면,
도 4b는 도 4a의 현재 블럭 및 주변 블럭 각각에 대한 최종 움직임 벡터를 도시한 도면,
도 5는 보간될 프레임/필드의 소정 위치에 대한 움직임 궤적들을 현재 블럭과 주변 블럭들의 최종 움직임 벡터들을 이용하여 개략적으로 도시한 도면,
도 6은 도 3의 움직임 추정/보상 장치에 의해 블럭 아티팩트가 제거된 영상의 시뮬레이션 예를 도시한 도면,
도 7은 본 발명의 바람직한 제2실시예에 따른 화소값 선택장치가 마련된 움직임 추정/보상 장치를 개략적으로 도시한 블럭도, 그리고,
도 8은 도 3에 의해 화소값을 선택하여 움직임을 보상하는 움직임 추정/보상 방법을 개략적으로 설명하기 위한 흐름도이다.
* 도면의 주요 부분에 대한 설명 *
300 : 움직임 추정/보상 장치 310 : 제1지연기
320 : 제2지연기 330 : 움직임 추정부
340 : 화소 선택부 351 : 제1저장부
352 : 제1화소값 추출부 353 : 제1보상화소 산출부
361 : 제2저장부 362 : 제2화소값 추출부
363 : 제2보상화소 산출부 370 : 움직임보상보간부
상기와 같은 기술적 과제를 해결하기 위한, 본 발명에 따른 움직임 보상을 위한 화소값 선택 장치는 입력되는 적어도 하나의 후보 움직임 벡터에 대응되는 제1화소값을 포함하는 현재프레임/필드가 저장되는 제1저장부와, 상기 적어도 하나의 후보 움직임 벡터에 대응되는 제2화소값을 포함하는 이전프레임/필드가 저장되는 제2저장부와, 상기 적어도 하나의 후보 움직임 벡터에 대응되는 상기 제1 및 제2화소값을 각각 상기 제1 및 제2저장부로부터 추출하는 제1 및 제2화소값 추출부 및 추출된 적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 소정의 제1가중치를 부여하여 각각 움직임 보상을 위한 제1 및 제2보상화소값을 산출하는 제1 및 제2보상화소 산출부를 포함하며, 산출된 상기 제1 및 제2보상화소값은 보간될 현재 블럭의 움직임 보상에 이용된다.
보다 상세하게는, 상기 제1 및 제2화소값 추출부는 상기 후보 움직임 벡터가 0인 블럭에 대응되는 제1 및 제2제로화소값을 각각 상기 제1 및 제2저장부로부터 추출하며, 추출된 상기 제1 및 제2제로화소값은 상기 현재 블럭의 상기 움직임 보상에 이용된다.
또한, 상기 제1 및 제2보상화소 산출부는 상기 제1 및 제2화소값과 상기 제1 및 제2화소값에 따라 각각 적응적으로 부여된 상기 제1가중치를 승산한 후 각각 승산된 값을 더하여 상기 제1 및 제2보상화소값을 산출한다.
또한, 상기 제1 및 제2화소값 별로 부여된 상기 제1가중치의 합은 각각 1인 것이 바람직하다.
또한, 상기 후보 움직임 벡터는 상기 현재프레임/필드에 위치하는 상기 현재 블럭의 움직임 벡터 및 상기 현재 블럭에 인접한 적어도 하나의 주변 블럭의 움직임 벡터로 이루어진다.
또한, 적어도 하나의 상기 후보 움직임 벡터는 상기 현재블럭 및 상기 주변블럭들 각각에 대해 블럭 매칭 알고리즘을 적용하여 산출된 다수의 움직임 예측오차값 중 최소값에 대응되는 위치로부터 추정된 벡터이다.
바람직하게는, 적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 부여되는 상기 제1가중치는 상기 현재 블럭 및 상기 주변 블럭들별로 산출된 상기 움직임 예측오차값에 반비례한다.
또한, 상기 움직임 예측오차값은 SAD(Sum of Absolute Difference)방식 및 MAD(Mean Absolute Difference) 중 어느 하나에 의해 산출된다.
또한, 입력되는 프레임/필드를 소정 시간 지연시켜, 상기 소정 시간 지연된 상기 현재프레임/필드를 상기 제1저장부로 제공하는 제1지연기 및 상기 제1지연기로부터 입력된 상기 현재프레임/필드를 소정 시간 지연시켜, 상기 소정 시간 지연된 상기 이전프레임/필드를 상기 제2저장부로 제공하는 제2지연기를 더 포함한다.
상기 제1 및 제2화소값 추출부는 적어도 하나의 상기 후보 움직임 벡터에 의해 움직임 궤적을 추정하여 적어도 하나의 상기 제1 및 제2화소값을 추출한다.
상기 제1 및 제2저장부에는 서로 인접해 있는 동일 성질의 필드가 저장되며, 상기 동일 성질의 필드는 오드 필드 및 이븐 필드 중 어느 하나이다.
또한, 입력되는 상기 프레임/필드가 필드단위로 입력되는 경우, 입력되는 상기 필드를 소정 시간 지연시켜, 소정 시간 지연된 제1필드를 상기 제1저장부로 제공하는 제1지연기와, 상기 제1지연기로부터 입력된 상기 제1필드를 소정 시간 지연시켜, 소정 시간 지연된 제2필드를 출력하는 제2지연기 및 상기 제2지연기로부터 입력된 상기 제2필드를 소정 시간 지연시켜, 소정 시간 지연된 제3필드를 상기 제2저장부로 제공하는 제3지연기를 더 포함하며, 상기 제1 및 제3필드는 상기 동일 성질의 필드이다.
한편, 상기와 같은 기술적 과제를 해결하기 위한, 본 발명에 따른 움직임 보상을 위한 화소값 선택 방법은 입력되는 적어도 하나의 후보 움직임 벡터에 대응되는 적어도 하나의 제1화소값을 포함하는 현재프레임/필드가 저장되는 단계와, 상기 적어도 하나의 후보 움직임 벡터에 대응되는 적어도 하나의 제2화소값을 포함하는 이전프레임/필드가 저장되는 단계와, 상기 적어도 하나의 후보 움직임 벡터에 대응되는 상기 제1 및 제2화소값을 각각 상기 제1 및 제2저장부로부터 추출하는 단계 및 추출된 적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 소정의 제1가중치를 부여하여 각각 움직임 보상을 위한 제1 및 제2보상화소값을 산출하는 단계를 포함하며, 산출된 상기 제1 및 제2보상화소값은 보간될 현재 블럭의 움직임 보상에 이용된다.
보다 상세하게는, 상기 제1 및 제2화소값 추출단계는 상기 후보 움직임 벡터가 0인 블럭에 대응되는 제1 및 제2제로화소값을 각각 상기 제1 및 제2저장부로부터 추출하며, 추출된 상기 제1 및 제2제로화소값은 상기 현재 블럭의 상기 움직임 보상에 이용된다.
상기 제1 및 제2보상화소 산출단계는 상기 제1 및 제2화소값과 상기 제1 및 제2화소값에 따라 각각 적응적으로 부여된 상기 제1가중치를 승산한 후 각각 승산된 값을 더하여 상기 제1 및 제2보상화소값을 산출한다.
바람직하게는, 상기 현재프레임/필드 저장단계 이전에, 입력되는 프레임/필드를 소정 시간 지연시킨 후 소정시간 지연된 상기 현재프레임/필드를 출력하는 단계 및 상기 이전프레임/필드 저장단계 이전에, 상기 현재프레임/필드를 소정 시간 지연시킨 후 소정 시간 지연된 상기 이전프레임/필드를 출력하는 단계를 더 포함한다.
상기 제1 및 제2화소값 추출단계는 적어도 하나의 상기 후보 움직임 벡터에 의해 움직임 궤적을 추정하여 적어도 하나의 상기 제1 및 제2화소값을 추출한다.
이하에서는 첨부된 도면들을 참조하여 본 발명을 보다 상세히 설명한다.
도 3은 본 발명의 바람직한 제1실시예에 따른 화소값 선택장치가 마련된 움직임 추정/보상 장치를 개략적으로 도시한 블럭도이다.
도 3을 참조하면, 본 발명에 따른 화소값 선택장치가 마련된 움직임 추정/보상 장치(300)는 제1지연기(310), 제2지연기(320), 움직임 추정부(330), 화소 선택부(340) 및 움직임보상보간부(370)를 포함한다. 본 발명은 다수의 후보 움직임 벡터를 추정하여 움직임을 보상하는 프레임 레이트 변환 또는 MPEG 기법에 관한 것으로서, 움직임 추정/보상과 관련된 블럭만을 도시하여 설명한다.
제1지연기(310)는 입력되는 프레임/필드를 소정 시간동안 지연시킨 후, 소정 시간 지연된 제1지연프레임/필드를 제2지연기(320) 및 제1저장부(341)로 제공한다. 제2지연기(320)는 제1지연기(310)로부터 입력된 제1지연프레임/필드를 소정 시간 지연시킨 후, 소정 시간 지연된 제2지연프레임/필드를 제2저장부(361)로 제공한다. 이하에서는 제1지연프레임/필드는 현재프레임/필드(Fn), 제2지연프레임/필드는 이전프레임/필드(Fn-1)라 한다.
한편, 본 발명에 따른 화소값 선택장치가 마련된 움직임 추정/보상 장치(300)가 비월주사로 입력되는 영상신호의 프레임 레이트를 변환하는 경우, 제1지연프레임/필드는 현재필드, 제2지연프레임/필드는 이전필드이다. 따라서, 이전필드가 홀수 또는 짝수 필드이면 현재필드는 이전필드에 대응되는 짝수 또는 홀수 필드가 된다.
움직임 추정부(330)는 BMA를 통해 이전프레임/필드(Fn-1) 및 현재프레임/필드(Fn) 간의 움직임 벡터를 추정한다. 이를 위해, 움직임 추정부(330)는 움직임 벡터 추정부(332) 및 움직임 예측오차 산출부(334)를 갖는다.
움직임 벡터 추정부(332)는 현재프레임/필드(Fn)를 소정 크기의 보간할 블럭으로 분할한 후, 분할된 각 보간할 블럭과 이전프레임/필드(Fn-1)를 이루는 복수의 블럭(미도시)을 단방향으로 매칭하여 각 보간할 블럭 별로 다수의 움직임 예측오차값을 산출한다.
자세히 설명하면, 움직임 벡터 추정부(332)는 소정 크기의 블럭으로 분할된 현재프레임/필드(Fn) 내에서, 도 4a에 도시된 소정 크기의 검색범위(S)를 설정한다. 그리고, 움직임 벡터 추정부(332)는 검색범위(S) 내에 있는 보간할 각 블럭과 이전프레임/필드(Fn-1)를 이루는 복수의 블럭(미도시)을 단방향 또는 양방향으로 매칭하여 보간할 각 블럭 별로 다수의 움직임 예측오차값을 산출한다.
움직임 예측오차값은 SAD, MAD(Mean Absolute Difference) 등 다양한 방식에 의해 산출될 수 있으며, 본 발명에서는 SAD 값을 적용한다.
그리고, 보간할 각 블럭 별로 다수의 SAD 값이 산출되면, 움직임 벡터 추정부(332)는 [수학식 1]을 이용하여 보간할 각 블럭의 움직임 벡터를 추정한다.
[수학식 1]을 참조하면,는 SAD 값,v는 최소 SAD 값을 갖는 블럭의 움직임 벡터(이하에서,v는 벡터량을 의미함), S는 검색 범위를 의미한다. 즉, 움직임 벡터 추정부(332)는 보간할 각 블럭 별로 산출된 다수의 SAD 값 중 최소 SAD 값을 갖는 위치로부터 보간할 각 블럭의 움직임 벡터를 추정한다.
여기서, 보간하기 위한 현재 블럭(B0)의 최종 움직임 벡터가 도 4b에 도시된v 0인 경우, 주변 블럭들(B1내지 B8)의 최종 움직임 벡터는 각각v 1내지v 8이다.
한편, 현재프레임/필드(Fn)에서 설정된 검색범위(S)는 곧 보간프레임/필드(Fi)에서 보간될 영역을 의미하며, 검색범위(S) 내에 존재하는 블럭들의 개수는 블럭의 크기 및/또는 검색 범위(S)의 크기에 의해 다르게 설정될 수 있음은 물론이다.
그리고, 움직임 벡터 추정부(332)는 검색범위(S)내에 존재하는 각 블럭(B0내지 B8)의 움직임 벡터들(v 0내지v 8) 뿐만 아니라 보간할 현재 블럭(B0)의 움직임 벡터가 영(zero)인 제로 움직임 벡터(v z)를 움직임 예측오차 산출부(334)로 제공한다. 이는, 후술할 움직임 보상 과정에 있어서, 병진운동이 아닌 복잡한 움직임이 존재하는 경우 BMA에 의해 추정한 움직임 벡터보다는 움직임을 고려하지 않고 보상을 수행하는 것이 보다 정확하게 보상되기 때문이다.
움직임 예측오차 산출부(334)는 움직임 벡터 추정부(332)로부터 제공된 움직임 벡터들(v z,v 0내지v 8)에 대응되는 SAD 값을 [수학식 2]를 이용하여 추출한다.
여기서,는 각 움직임 벡터(v 0내지v 8)들에 대응되는 SAD 값,x는 소정 블럭(B0내지 B8중 어느 하나)에 위치하는 소정 화소의 좌표값으로서 벡터량이며,v i는 각 블럭(B0내지 B8)의 움직임 벡터들(v 0내지v 8), n은 이전프레임/필드(Fn-1)와 현재프레임/필드(Fn)의 시간적 간격, M은 검색 범위(S) 내에 존재하는 각 블럭(B1내지 B8)의 개수이다. 이와 더불어, 움직임 예측오차 산출부(334)는 보간될 현재 블럭(B0)의 제로 움직임 벡터(v z)에 대한 SAD 값도 [수학식 2]를 통해 추출한다.
[수학식 2]를 참조하면, 움직임 예측오차 산출부(334)는 각 주변 블럭(B1내지 B8)의 움직임 벡터(v 1내지v 8)와 제로 움직임 벡터(v z)에 해당되는 SAD 값을 현재 블럭(B0)에 대해 산출된 모든 SAD 값들 중에서 추출한다. 즉, 움직임 벡터 추정부(332)로부터 제공된 움직임 벡터들(v z,v 0내지v 8)은 보간될 현재 블럭(B0)의 후보 움직임 벡터로 적용되는 것이다.
이는 현재 블럭(B0)의 움직임 벡터(v 0)가 부정확하게 추정된 경우, 주변 블럭들(B1내지 B8) 중 추정이 잘 된 블럭(예를 들어, 가장 작은 SAD 값을 갖는 블럭)의 움직임 벡터를 현재 블럭(B0)의 최종 움직임 벡터로 대체하거나, 추정이 잘 된 주변 블럭들(B1내지 B8)에 대응되는 화소에 가중치(Weight)를 부여하여 보다 정확한 움직임 보상을 수행하기 위함이다.
즉, 본 발명은 블럭(B0내지 B8)간의 움직임이 스무스(smooth)하다는 가정하에, 현재 블럭(B0) 뿐만 아니라 주변 블럭들(B1내지 B8)의 움직임 궤적을 고려하여 움직임 보상을 수행한다. 이는 현재 블럭(B0)의 움직임 벡터(v 0)가 부정확하게 추정된 경우 발생하는 블럭 아티팩트의 발생을 미연에 방지하기 위함이다.
한편, 각 후보 움직임 벡터(v z,v 0내지v 8)에 대응되는 각 SAD 값이 추출되면, 움직임 예측오차 산출부(334)는 추출된 각 SAD 값들을 제1 및 제2보상화소 산출부(353, 363)로 제공한다.
또한, 움직임 벡터 추정부(332)로부터 추정된 각 블럭(B0내지 B8)의 움직임 벡터들(v z,v 0내지v 8)에 의해 고려되는 움직임 궤적들 또는 분할된 모든 블럭(미도시)에 대해 추정된 움직임 벡터들(미도시)은 제1 및 제2화소값 추출부(352, 362)로 제공된다.
도 5는 보간될 프레임/필드의 소정 위치에 대한 움직임 궤적들을 현재 블럭과 주변 블럭들의 최종 움직임 벡터들을 이용하여 개략적으로 도시한 도면이다.
도 5를 참조하면, Fn-1은 이전프레임/필드, Fn은 현재프레임/필드, Fi는 보간될 프레임/필드이며, 이전프레임/필드(Fn-1) 및 현재프레임/필드(Fn)는 연속적으로 입력된다. 보간프레임/필드(Fi)의 소정 위치에 대한 임시보상화소값은 [수학식 3]에 의해 산출될 수 있다.
여기서, (n-1/2)은 보간될 프레임/필드(Fi)의 시간적 위치, fi(x, n-1/2)은 보간프레임/필드(Fi)의x위치에서의 임시보상화소값,v i는 현재 블럭(B0)의 최종 움직임 벡터(v0) 및 주변 블럭들(B1내지 B8)의 최종 움직임 벡터(v 1내지v 8)이다.
[수학식 3]을 참조하면, M은 고려되는 움직임 궤적의 개수로서, 다수의 움직임 궤적에 의해 얻어지는x위치에서의 임시보상화소값(fi(x, n-1/2))은 [수학식 2]에 의해 산출된 다수의 최종 움직임 벡터(v 0내지v 8)를 고려하여 산출된다. 이러함으로써 현재 블럭(B0)의 최종 움직임 벡터(v 0)가 부정확하게 추정된 경우 발생하는 블럭 아티팩트의 발생을 미연에 방지할 수 있다.
한편, 상술한 바와 같은 보간할 현재 블럭(B0)의 후보 움직임 벡터들(v 0내지v 8)은 주변 블럭들(B1내지 B8)에 대한 최종 움직임 벡터(v 1내지v 8) 뿐만 아니라, 움직임 분석과정에서 검출된 전역움직임벡터 및 동일 위치의 이전 프레임/필드내에서 검출된 움직임 벡터를 재사용할 수 있다. 또한, 후보 움직임 벡터들의 미디언 필터 혹은 평균 필터를 이용하여 얻어진 변형된 움직임 벡터들을 현재 블럭(B0)의 후보 움직임 벡터로 사용할 수 있음은 물론이다.
다시 도 3을 참조하여 설명하면, 화소 선택부(340)는 외부로부터 입력되는 프레임/필드를 이루는 화소의 화소값, 움직임 추정부(310)로부터 제공되는 다수의 SAD 값 및 후보 움직임 벡터들을 이용하여 적어도 하나의 보상 화소를 선택한다. 이를 위해, 본 발명에 따른 화소 선택부(340)는 제1저장부(351), 제1화소값 추출부(352), 제1보상화소 산출부(353), 제2저장부(361), 제2화소값 추출부(362) 및 제2보상화소 산출부(363)를 포함한다.
제1저장부(351)에는 제1지연기(310)로부터 입력되는 현재프레임/필드(Fn)를 이루는 화소들의 화소값들이 임시 저장된다.
제1화소값 추출부(352)는 움직임 벡터 추정부(332)로부터 입력되는 최종 움직임 벡터들(v 0내지v 8) 각각에 대응하는 제1화소값들(l0내지 l8)을 제1저장부(351)에 저장된 현재프레임/필드(Fn)의 화소값들로부터 추출한다. 여기서, 제1화소값(l0내지 l8)은 [수학식 4]로 표현된다.
[수학식 4]를 참조하면, 제1화소값 추출부(352)로부터 추출되는 화소값은 각각 l0내지 l8의 제1화소값을 갖는다. 또한, 추출되는 제1화소값의 개수는 움직임 추정부(330)에서 추정된 후보 움직임 벡터의 개수에 대응된다.
또한, 제1화소값 추출부(352)는 움직임 벡터 추정부(332)로부터 입력되는 제로 움직임 벡터 (v z)에 대응하는 제1화소값(lz)을 제1저장부(351)로부터 추출하여 움직임 보상보간부(370)로 제공한다. 여기서, 제1화소값 추출부(352)는 '0'을 갖는 후보 움직임 벡터를 제로 움직임 벡터(v z)로 인지하여, 후보 움직임 벡터가 0인 블럭에 대응되는 보상용 화소값(lz)을 추출하기도 한다.
제1보상화소 산출부(353)는 움직임 예측오차 산출부(332)로부티 입력되는 각 블럭(B0내지 B8)들에 해당하는 SAD 값을 이용하여 각 움직임 궤적에서의 정확성을 고려한 후, [수학식 3]에 의해 산출된 각 임시보상화소값에 소정의 가중치를 부여한다. 즉, 제1보상화소 산출부(353)는 [수학식 4] 내지 [수학식 7]을 이용하여 가중치가 부여된 제1보상화소값(l')을 산출한다.
여기서, 가중치 wi는 [수학식 6]을 만족하여야 하며, 각 움직임 궤적에 대한 가중치는 [수학식 7]에 의해 산출된다.
[수학식 5] 내지 [수학식 7]을 참조하면, 제1보상화소 산출부(353)로부터 산출되는 제1보상화소값(l')은 다음과 같다. 이는, 제1저장부(351)에는 현재프레임/필드(Fn)에 대한 화소값들만이 저장되어 있으므로 ri는 '0'의 값을 갖기 때문이다.
또한, 각 움직임 궤적에 대한 가중치 wi는 각 블럭(B0내지 B8)의 최소 SAD 값에 반비례함을 알 수 있다. 즉, 제1보상화소 산출부(353)는 각 블럭(B0내지 B8)의 최소 SAD 값들을 비교하여 최소 SAD 값이 작을수록 보다 정확한 움직임 추정이 수행되었다고 판단하여, 최소 SAD 값에 반비례하는 가중치 wi를 부여한다. 즉, 각 움직임 궤적에서의 정확성은 SAD 값에 의해 결정된다.
한편, 제2저장부(361)에는 제1지연기(310)로부터 입력되는 이전프레임/필드(Fn-1)의 화소값들이 임시 저장된다.
제2화소값 추출부(362)는 움직임 벡터 추정부(332)로부터 입력되는 최종 움직임 벡터들(v 1내지v 8) 각각에 대응하는 제2화소값들(ro내지 r8)을 제2저장부(361)에 저장된 이전프레임/필드(Fn-1)의 화소값들로부터 추출한다. 여기서, 제2화소값(ro내지 r8)은 [수학식 8]에 의해 산출된다.
[수학식 8]을 참조하면, 제2화소값 추출부(362)로부터 추출되는 화소값은 각각 r0내지 r8의 제2화소값을 갖는다. 또한, 제2화소값 추출부(362)는 움직임 벡터 추정부(332)로부터 입력되는 제로 움직임 벡터 (v z)에 대응하는 제2화소값(rz)을 제2저장부(361)로부터 추출한다. 여기서, 제2화소값 추출부(362)는 '0'을 갖는 후보 움직임 벡터를 제로 움직임 벡터(v z)로 인지하여, 후보 움직임 벡터가 0인 블럭에 대응되는 보상용 화소값(rz)을 추출하기도 한다.
제2보상화소 산출부(363)는 움직임 예측오차 산출부(332)로부티 입력되는 각 블럭(B0내지 B8)들의 최소 SAD 값을 이용하여 각 움직임 궤적에서의 정확성을 고려한 후, [수학식 3]에 의해 산출된 각 임시 보간화소값에 소정의 가중치를 부여한다. 즉, 제2보상화소 산출부(363)는 상술한 [수학식 5] 내지 [수학식 8]을 이용하여 가중치가 부여된 제2보상화소값(r')을 산출한다.
[수학식 5] 내지 [수학식 8]을 참조하면, 제2보상화소 산출부(363)로부터 산출되는 제2보상화소값(r')은 다음과 같다. 이는, 제2저장부(361)에는 이전프레임/필드(Fn-1)에 대한 화소값들만이 저장되어 있으므로 li는 '0'의 값을 갖기 때문이다.
즉, 상술한 설명에 의하면, 화소 선택부(340)는 움직임 보상을 위한 제1 및 제2보상화소값(l', r') 및 Temporal Averaging을 위한 제1 및 제2화소값(lz, rz)을산출 또는 추출하여 움직임보상보간부(370)로 제공한다.
움직임보상보간부(370)는 신뢰도 산출부(미도시)에서 입력되는 소프트 스위칭 값(Soft Switching Value)(k)를 이용하여 최종보간화소값(f)을 산출한다. 최종보간화소값(f)는 다음의 [수학식 9]에 의해 산출된다.
[수학식 9]에서, k는 움직임 보상을 위한 제1 및 제2보상화소값(l', r')과 움직임을 고려하지 않은 제1 및 제2화소값(lz, rz)을 적응적으로 적용하기 위한 소프트 스위칭 값으로서, 제1 및 제2보상화소값(l', r')의 신뢰도에 따라 결정된다. 즉, 제1 및 제2보상화소값(l', r')의 신뢰도가 제1 및 제2화소값(lz, rz)의 신뢰도보다 높으면, 제1 및 제2보상화소값(l', r')이 더 많이 적용된 최종보간화소값(f)을 산출하기 위해 k값은 커진다. 반면, 제1 및 제2보상화소값(l', r')의 신뢰도가 제1 및 제2화소값(lz, rz)의 신뢰도보다 낮으면, 제1 및 제2화소값(lz, rz)이 더 많이 적용된 최종보간화소값(f)을 산출하기 위해 k값은 작아진다.
따라서, 블럭간의 움직임이 스무스(smooth)하다는 가정하에 다수의 움직임 궤적을 고려하여 산출된 최종보간화소값(f)을 이용함으로써 도 6과 같이 블럭 아티팩트 현상이 감소된 영상을 제공할 수 있다. 도 6에서 실선은 추정된 움직임 벡터(estimated motion vector)를 나타낸다.
한편, 도 7은 본 발명의 제2실시예에 따른 움직임 추정/보상 장치를 개략적으로 도시한 블럭도이다.
도 7을 참조하면, 본 발명의 제2실시예에 따른 움직임 추정/보상 장치(700)는 제1지연기(710), 제2지연기(715), 제3지연기(720), 움직임 추정부(730), 화소 선택부(740) 및 움직임보상보간부(770)를 포함한다. 본 발명은 움직임을 추정하여 움직임을 보상하는 프레임 보간에 관한 것으로서, 프레임 레이트 변환장치(미도시) 중 움직임 추정/보상과 관련된 블럭만을 도시하여 설명한다.
도 7에 도시된 움직임 추정/보상 장치(700)는 인접한 동일 성질의 필드를 이용하여 움직임 보상을 수행하는 장치로서, 도 7의 움직임 추정부(730), 화소 선택부(740) 및 움직임보상보간부(770)는 도 3의 움직임 추정부(330), 화소 선택부(340) 및 움직임보상보간부(370)와 유사한 동작을 수행하므로 상세한 설명은 생략한다.
다만, 도 3의 움직임 추정/보상 장치(300)는 프레임 단위 또는 필드 단위로 입력되는 영상신호의 프레임 레이트 변환에 적용가능하나, 도 7의 움직임 추정/보상 장치(700)는 필드 단위로 입력되는 영상신호의 프레임 레이트 변환에만 적용가능하다. 즉, 도 3의 움직임 추정/보상 장치(300)는 프레임과 프레임 사이에서 또는 오드 필드와 이븐 필드 사이에서 움직임 보상을 위한 최종보간화소값(f)을 산출하는 반면, 도 7의 움직임 추정/보상 장치(700)는 오드 필드와 오드 필드 사이에서 또는 이븐 필드와 이븐 필드 사이에서 최종보간화소값(f)을 산출한다.
자세히 설명하면, 제1지연기(710)로부터 출력되는 필드가 제1오드 필드인 경우, 제2지연기(715)로부터 출력되는 필드는 제1이븐 필드이며 제3지연기(720)로부터 출력되는 필드는 제2오드 필드이다. 즉, 제1오드 필드는 현재필드, 제2오드 필드는 이전필드가 된다.
그리고, 움직임 추정부(730)의 움직임 벡터 추정부(732)는 동일한 성질을 갖는 제1 및 제2오드 필드 사이에서 움직임 보상을 위한 다수의 움직임 벡터를 추정한다. 움직임 벡터의 추정은 움직임 예측 오차값을 산출하여 추정할 수 있다. 움직임 예측오차 산출부(734)는 산출된 움직임 예측오차 값 중 추정된 움직임 벡터에 대응되는 움직임 예측오차값을 추출한다. 본 발명에서는 움직임 예측오차값으로서 SAD 값을 사용한다.
화소 선택부(740)는 외부로부터 입력되는 제1 및 제2오드 필드의 화소값, 다수의 최종 움직임 벡터 및 다수의 SAD 값을 이용하여 적어도 하나의 보상 화소(lz, rz, l' r')를 산출한다. 이를 위해, 본 발명에 따른 화소 선택부(740)는 제1저장부(751), 제1화소값 추출부(752), 제1보상화소 산출부(753), 제2저장부(761), 제2화소값 추출부(762) 및 제2보상화소 산출부(763)를 포함하며, 이에 대한 설명은 도 3을 참조하여 설명되어 있으므로 생략한다.
움직임 보상보간부(770)는 화소 선택부(730)로부터 제공되는 제1 및 제2보상화소값(l', r') 및 제1 및 제2화소값(lz, rz)을 이용하여, 소프트 스위칭 값(k)에 따라 최종보간화소값(f)를 산출한다.
움직임보상보간부(770)는 신뢰도 산출부(미도시)에서 입력되는 소프트 스위칭 값(Soft Switching Value)(k)를 이용하여 최종보간화소값(f)을 산출한다. 최종보간화소값(f)는 상술한 [수학식 9]에 의해 산출된다.
도 8은 도 3에 의해 화소값을 선택하여 움직임을 보상하는 움직임 추정/보상 방법을 개략적으로 설명하기 위한 흐름도이다.
먼저, 제1지연기(310)는 입력되는 프레임/필드를 소정 시간 지연시켜 현재프레임/필드를 출력하며, 제2지연기(320)는 현재프레임/필드(Fn)를 소정 시간 지연시켜 이전프레임/필드(Fn-1)를 출력한다. 출력된 현재프레임/필드(Fn) 및 이전프레임/필드(Fn-1)는 각각 제1 및 제2저장부(351, 361)에 저장된다(S810).
입력되는 프레임/필드가 비월주사 방식으로 입력되는 경우, 현재프레임/필드(Fn)는 오드 또는 이븐필드이며 이전프레임/필드(Fn-1)는 이븐 또는 오드필드이다.
그리고, 움직임 추정부(330)는 보간할 현재 블럭(B0) 및 주변 블럭들(B1내지 B8) 각각에 대한 최소 SAD 값을 BMA를 이용하여 산출한다. 그리고, 움직임 추정부(330)는 최소 SAD 값을 갖는 각 위치로부터 각각의 최종 움직임 벡터(v 0내지v 8)를 추정하며, 추정된 다수의 최종 움직임 벡터에 대응되는 SAD 값을 추출한다(S820). 이 때 추정된 현재 블럭(B0) 및 주변 블럭들(B1내지 B8) 각각에 대한 최종 움직임 벡터(v 0내지v 8)는 현재 블럭(B0)의 후보 움직임 벡터로 지정된다.
S820단계에서 추정된 최종 움직임 벡터(v 0내지v 8) 중 '0'의 값을 갖는 제로 움직임 벡터(v z)가 존재하는 경우, 화소값 선택부(340)는 제로 움직임 벡터(v z)를 포함하는 다수의 후보 움직임 벡터에 대응되는 제1 및 제2화소값들(lz, li, rz, ri, 여기서, i=0, 1, …, M)을 추출한다(S830).
S830단계가 수행되면, 화소값 선택부(340)는 추출된 제1 및 제2화소값(lz, li, ri, 여기서, i=0, 1, …, M)들에 부여할 소정의 가중치를 [수학식 7]을 이용하여 산출한다(S840). 그리고, 화소값 선택부(340)는 [수학식 5]를 이용하여 가중치가 부여된 제1 및 제2보상화소값(l', r')을 산출한다(S850).
S850단계가 수행되면, 움직임 보상보간부(370)는 산출된 제1 및 제2보상화소값(l', r')에 적응적으로 소프트 스위칭 값(k)를 부여하여 최종보상화소값(f)을 산출한다(S860).
상술한 움직임 추정/보상 장치(300, 700) 및 방법에 의하면, 움직임 보상을 수행하는 데 있어서, 현재 블럭(B0)의 최종 움직임 벡터(v 0) 뿐만 아니라 주변 블럭들(B1내지 B8)의 최종 움직임 벡터들(v 1내지v 8)를 이용하여 보간할 블럭의 움직임을 보상한다. 즉, 현재 블럭(B0) 및 주변 블럭들(B1내지 B8)의 최종 움직임 벡터(v 0내지v 8)를 이용하여 각각의 움직임 궤적에서의 SAD 값을 산출한 후, 산출된SAD 값을 이용하여 가중치를 산출한다. 그리고, 산출된 SAD 값에 반비례하는 가중치를 부여함으로써 현재 블럭(B0)의 최종 움직임 벡터(v 0)가 부정확한 경우 발생하는 도 2와 같은 블럭 아티팩트를 미연에 방지할 수 있다. 즉, 본 발명에 따른 움직임 추정/보상 장치(300)로부터 출력되는 영상은 도 6과 같이 블럭 아티팩트 현상이 제거된다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예애 대하여 본 발명의 범주에서 벗어나지 않는 한도내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
지금까지 설명한 바와 같이, 본 발명에 따른 보상용 화소값 선택이 가능한 움직임 추정/보상 장치 및 방법에 의하면, 현재 블럭의 보간 시 현재 블럭의 움직임 벡터 뿐만 아니라 현재 블럭에 인접한 주변 블럭들의 움직임 벡터도 추정하여 현재 블럭의 보간을 위한 복수의 보상용 화소값을 추출한다. 따라서, 추출된 다수의 보상용 화소값에 의해 다수의 움직임 궤적을 고려함으로써 현재 블럭의 움직임 벡터가 부정확하게 추정되어 발생되는 블럭 아티팩트를 미연에 방지하거나 발생률을 감소시킬 수 있다. 또한, 복수의 움직임 벡터에서 고려할 수 있는 모든 움직임궤적을 부가적인 처리없이 적용하므로 하드웨어 구성의 복잡도를 줄일 수 있다.

Claims (23)

  1. 입력되는 적어도 하나의 후보 움직임 벡터에 대응되는 제1화소값을 포함하는 현재프레임/필드가 저장되는 제1저장부;
    상기 적어도 하나의 후보 움직임 벡터에 대응되는 제2화소값을 포함하는 이전프레임/필드가 저장되는 제2저장부;
    상기 적어도 하나의 후보 움직임 벡터에 대응되는 상기 제1 및 제2화소값을 각각 상기 제1 및 제2저장부로부터 추출하는 제1 및 제2화소값 추출부; 및
    추출된 적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 소정의 제1가중치를 부여하여 각각 움직임 보상을 위한 제1 및 제2보상화소값을 산출하는 제1 및 제2보상화소 산출부;를 포함하며,
    산출된 상기 제1 및 제2보상화소값은 보간될 현재 블럭의 움직임 보상에 이용되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  2. 제 1항에 있어서,
    상기 제1 및 제2화소값 추출부는 상기 후보 움직임 벡터가 0인 블럭에 대응되는 제1 및 제2제로화소값을 각각 상기 제1 및 제2저장부로부터 추출하며, 추출된 상기 제1 및 제2제로화소값은 상기 현재 블럭의 상기 움직임 보상에 이용되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  3. 제 1항에 있어서,
    상기 제1 및 제2보상화소 산출부는 상기 제1 및 제2화소값과 상기 제1 및 제2화소값에 따라 각각 적응적으로 부여된 상기 제1가중치를 승산한 후 각각 승산된 값을 더하여 상기 제1 및 제2보상화소값을 산출하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  4. 제 1항에 있어서,
    상기 제1 및 제2화소값 별로 부여된 상기 제1가중치의 합은 각각 1인 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  5. 제 1항에 있어서,
    상기 후보 움직임 벡터는 상기 현재프레임/필드에 위치하는 상기 현재 블럭의 움직임 벡터 및 상기 현재 블럭에 인접한 적어도 하나의 주변 블럭의 움직임 벡터로 이루어진 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  6. 제 5항에 있어서,
    적어도 하나의 상기 후보 움직임 벡터는 상기 현재블럭 및 상기 주변블럭들 각각에 대해 블럭 매칭 알고리즘을 적용하여 산출된 다수의 움직임 예측오차값 중 최소값에 대응되는 위치로부터 추정된 벡터인 것을 특징으로 하는 움직임 보상을위한 화소값 선택 장치.
  7. 제 6항에 있어서,
    적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 부여되는 상기 제1가중치는 상기 현재 블럭 및 상기 주변 블럭들별로 산출된 상기 움직임 예측오차값에 반비례하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  8. 제 6항에 있어서,
    상기 움직임 예측오차값은 SAD(Sum of Absolute Difference)방식 및 MAD(Mean Absolute Difference) 중 어느 하나에 의해 산출되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  9. 제 1항에 있어서,
    입력되는 프레임/필드를 소정 시간 지연시켜, 상기 소정 시간 지연된 상기 현재프레임/필드를 상기 제1저장부로 제공하는 제1지연기; 및
    상기 제1지연기로부터 입력된 상기 현재프레임/필드를 소정 시간 지연시켜, 상기 소정 시간 지연된 상기 이전프레임/필드를 상기 제2저장부로 제공하는 제2지연기;를 더 포함하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  10. 제 1항에 있어서,
    상기 제1 및 제2화소값 추출부는 적어도 하나의 상기 후보 움직임 벡터에 의해 움직임 궤적을 추정하여 적어도 하나의 상기 제1 및 제2화소값을 추출하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  11. 제 1항에 있어서,
    상기 제1 및 제2저장부에는 서로 인접해 있는 동일 성질의 필드가 저장되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  12. 제 11항에 있어서,
    상기 동일 성질의 필드는 오드 필드 및 이븐 필드 중 어느 하나인 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  13. 제 11항에 있어서,
    입력되는 상기 프레임/필드가 필드단위로 입력되는 경우,
    입력되는 상기 필드를 소정 시간 지연시켜, 소정 시간 지연된 제1필드를 상기 제1저장부로 제공하는 제1지연기;
    상기 제1지연기로부터 입력된 상기 제1필드를 소정 시간 지연시켜, 소정 시간 지연된 제2필드를 출력하는 제2지연기; 및
    상기 제2지연기로부터 입력된 상기 제2필드를 소정 시간 지연시켜, 소정 시간 지연된 제3필드를 상기 제2저장부로 제공하는 제3지연기;를 더 포함하며,
    상기 제1 및 제3필드는 상기 동일 성질의 필드인 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 장치.
  14. 입력되는 적어도 하나의 후보 움직임 벡터에 대응되는 적어도 하나의 제1화소값을 포함하는 현재프레임/필드가 저장되는 단계;
    상기 적어도 하나의 후보 움직임 벡터에 대응되는 적어도 하나의 제2화소값을 포함하는 이전프레임/필드가 저장되는 단계;
    상기 적어도 하나의 후보 움직임 벡터에 대응되는 상기 제1 및 제2화소값을 각각 상기 제1 및 제2저장부로부터 추출하는 단계; 및
    추출된 적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 소정의 제1가중치를 부여하여 각각 움직임 보상을 위한 제1 및 제2보상화소값을 산출하는 단계;를 포함하며,
    산출된 상기 제1 및 제2보상화소값은 보간될 현재 블럭의 움직임 보상에 이용되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  15. 제 14항에 있어서,
    상기 제1 및 제2화소값 추출단계는 상기 후보 움직임 벡터가 0인 블럭에 대응되는 제1 및 제2제로화소값을 각각 상기 제1 및 제2저장부로부터 추출하며, 추출된 상기 제1 및 제2제로화소값은 상기 현재 블럭의 상기 움직임 보상에 이용되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  16. 제 14항에 있어서,
    상기 제1 및 제2보상화소 산출단계는 상기 제1 및 제2화소값과 상기 제1 및 제2화소값에 따라 각각 적응적으로 부여된 상기 제1가중치를 승산한 후 각각 승산된 값을 더하여 상기 제1 및 제2보상화소값을 산출하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  17. 제 14항에 있어서,
    상기 제1 및 제2화소값 별로 부여된 상기 제1가중치의 합은 각각 1인 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  18. 제 14항에 있어서,
    상기 후보 움직임 벡터는 상기 현재프레임/필드에 위치하는 상기 현재 블럭의 움직임 벡터 및 상기 현재 블럭에 인접한 적어도 하나의 주변 블럭의 움직임 벡터로 이루어진 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  19. 제 18항에 있어서,
    적어도 하나의 상기 후보 움직임 벡터는 상기 현재블럭 및 상기 주변블럭들 각각에 대해 블럭 매칭 알고리즘을 적용하여 산출된 다수의 움직임 예측오차값 중 최소값에 대응되는 위치로부터 추정된 벡터인 것을 특징으로 하는 움직임 보상을위한 화소값 선택 방법.
  20. 제 19항에 있어서,
    적어도 하나의 상기 제1 및 제2화소값에 따라 적응적으로 부여되는 상기 제1가중치는 상기 현재 블럭 및 상기 주변 블럭들별로 산출된 상기 움직임 예측 오차값에 반비례하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  21. 제 19항에 있어서,
    상기 움직임 예측오차값은 SAD(Sum of Absolute Difference)방식 및 MAD(Mean Absolute Difference) 중 어느 하나에 의해 산출되는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  22. 제 14항에 있어서,
    상기 현재프레임/필드 저장단계 이전에, 입력되는 프레임/필드를 소정 시간 지연시킨 후 소정시간 지연된 상기 현재프레임/필드를 출력하는 단계; 및
    상기 이전프레임/필드 저장단계 이전에, 상기 현재프레임/필드를 소정 시간 지연시킨 후 소정 시간 지연된 상기 이전프레임/필드를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
  23. 제 14항에 있어서,
    상기 제1 및 제2화소값 추출단계는 적어도 하나의 상기 후보 움직임 벡터에 의해 움직임 궤적을 추정하여 적어도 하나의 상기 제1 및 제2화소값을 추출하는 것을 특징으로 하는 움직임 보상을 위한 화소값 선택 방법.
KR20030038787A 2003-06-16 2003-06-16 움직임 보상을 위한 화소값 선택 장치 및 방법 KR100541953B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20030038787A KR100541953B1 (ko) 2003-06-16 2003-06-16 움직임 보상을 위한 화소값 선택 장치 및 방법
US10/812,966 US7336838B2 (en) 2003-06-16 2004-03-31 Pixel-data selection device to provide motion compensation, and a method thereof
JP2004177429A JP2005012797A (ja) 2003-06-16 2004-06-15 動き補償のための画素値選択装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030038787A KR100541953B1 (ko) 2003-06-16 2003-06-16 움직임 보상을 위한 화소값 선택 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040108046A true KR20040108046A (ko) 2004-12-23
KR100541953B1 KR100541953B1 (ko) 2006-01-10

Family

ID=33509716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030038787A KR100541953B1 (ko) 2003-06-16 2003-06-16 움직임 보상을 위한 화소값 선택 장치 및 방법

Country Status (3)

Country Link
US (1) US7336838B2 (ko)
JP (1) JP2005012797A (ko)
KR (1) KR100541953B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US8311351B2 (en) 2008-10-23 2012-11-13 Samsung Electronics Co., Ltd. Apparatus and method for improving frame rate using motion trajectory

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100412501B1 (ko) * 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
GB0307307D0 (en) * 2003-03-29 2003-05-07 Atelier Vision Ltd Image processing
CN1846435A (zh) * 2003-09-04 2006-10-11 皇家飞利浦电子股份有限公司 视频信号的鲁棒去隔行
US7321700B1 (en) * 2004-04-15 2008-01-22 Apple Inc. Producing smooth motion compensated frames by combining multiple interpolation results
US7551232B2 (en) * 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
KR20070069615A (ko) * 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
US8116576B2 (en) * 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
JP2008042332A (ja) * 2006-08-02 2008-02-21 Toshiba Corp 補間フレーム作成方法及び補間フレーム作成装置
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP4869045B2 (ja) * 2006-11-30 2012-02-01 株式会社東芝 補間フレーム作成方法および補間フレーム作成装置
JP4869049B2 (ja) * 2006-12-08 2012-02-01 株式会社東芝 補間フレーム画像作成方法および補間フレーム画像作成装置
KR20090017296A (ko) * 2007-08-14 2009-02-18 삼성전자주식회사 중간 프레임의 영상을 생성하기 위한 영상처리방법 및 이를적용한 영상처리장치
JP2009077309A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 動き予測装置および動き予測方法
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
WO2009109936A1 (en) * 2008-03-05 2009-09-11 Nxp B.V. Arrangement and approach for video data up-conversion
TWI410123B (zh) * 2008-12-31 2013-09-21 Innolux Corp 影像顯示模組、影像顯示裝置及其動態影像顯示方法
WO2010134358A1 (ja) 2009-05-22 2010-11-25 シャープ株式会社 画像表示装置
TWI399094B (zh) * 2009-06-30 2013-06-11 Silicon Integrated Sys Corp 自適應移動補償內插法與其裝置
US8797414B2 (en) 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
CN103647973B (zh) * 2013-12-10 2017-01-04 华为技术有限公司 一种帧率上采样的方法和装置
JP6313588B2 (ja) * 2013-12-19 2018-04-18 日本放送協会 フレーム補間装置及びプログラム
WO2017135692A1 (ko) * 2016-02-02 2017-08-10 엘지전자(주) 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970000761B1 (ko) * 1992-10-07 1997-01-18 대우전자 주식회사 소형 디지탈 방식 고선명 텔레비젼
KR960010198B1 (ko) * 1993-07-21 1996-07-26 배순훈 동영상 부호화기의 움직임 추정방법 및 장치
KR0159559B1 (ko) * 1994-10-31 1999-01-15 배순훈 디지탈 화상의 적응적인 후처리 방법
JP3513277B2 (ja) 1995-08-29 2004-03-31 シャープ株式会社 映像符号化装置及び映像復号化装置
US5668608A (en) * 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
KR100229803B1 (ko) 1996-11-15 1999-11-15 전주범 움직임 벡터 검출 방법 및 장치
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
JPH10341440A (ja) 1997-06-06 1998-12-22 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法および装置
JP3591700B2 (ja) 1998-09-30 2004-11-24 日本ビクター株式会社 動き補償画像符号化装置・復号化装置及びその方法
US6295089B1 (en) * 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation
KR20010058887A (ko) 1999-12-30 2001-07-06 구자홍 비디오신호의 기울기 정보를 이용한 3차원 회기형 움직임벡터 추정장치
KR100364789B1 (ko) 2000-02-28 2002-12-16 엘지전자 주식회사 움직임 추정 방법 및 장치
KR100396558B1 (ko) 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US8311351B2 (en) 2008-10-23 2012-11-13 Samsung Electronics Co., Ltd. Apparatus and method for improving frame rate using motion trajectory

Also Published As

Publication number Publication date
KR100541953B1 (ko) 2006-01-10
US20040252895A1 (en) 2004-12-16
US7336838B2 (en) 2008-02-26
JP2005012797A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
KR100541953B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
KR100412501B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100396558B1 (ko) 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
US7684486B2 (en) Method for motion compensated interpolation using overlapped block motion estimation and frame-rate converter using the method
KR100605746B1 (ko) 블럭 기반의 움직임 보상 장치 및 방법
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
JP5089610B2 (ja) ブロック基盤の動き推定方法及び装置
JPS62213392A (ja) フイ−ルド補間方法
JP4153480B2 (ja) ノイズ減衰装置及び順次走査変換装置
KR100692600B1 (ko) 움직임 추정 장치 및 방법
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
US20020001347A1 (en) Apparatus and method for converting to progressive scanning format
KR100732683B1 (ko) 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
KR20020067192A (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP3922286B2 (ja) 係数学習装置および方法
JP2005192252A (ja) 積和演算装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee