KR100870278B1 - 보간 프레임 작성 장치 - Google Patents

보간 프레임 작성 장치 Download PDF

Info

Publication number
KR100870278B1
KR100870278B1 KR20070019581A KR20070019581A KR100870278B1 KR 100870278 B1 KR100870278 B1 KR 100870278B1 KR 20070019581 A KR20070019581 A KR 20070019581A KR 20070019581 A KR20070019581 A KR 20070019581A KR 100870278 B1 KR100870278 B1 KR 100870278B1
Authority
KR
South Korea
Prior art keywords
area
interpolation
motion vector
region
mismatched
Prior art date
Application number
KR20070019581A
Other languages
English (en)
Other versions
KR20070098496A (ko
Inventor
가즈야스 오오와키
고오 이토
나오 미시마
야스토요 타케야마
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20070098496A publication Critical patent/KR20070098496A/ko
Application granted granted Critical
Publication of KR100870278B1 publication Critical patent/KR100870278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

영역 검출 유닛은 제1 참조 프레임 내의 제1 참조 블록의 제1 매칭 영역 및 제2 참조 프레임 내의 제2 참조 블록의 제2 매칭 영역을 검출한다. 고정 유닛(settling unit)은 각 보간 블록 내의 비매칭 영역에 할당될 제2(secondary) 동작 벡터를, 상기 비매칭 영역 주위의 주변 보간 프레임에 기반하여 고정한다. 움직임 보상 유닛은 제1 동작 벡터 및 제2 동작 벡터에 기반하여 상기 보간 프레임에 화상을 할당한다.

Description

보간 프레임 작성 장치{APPARATUS FOR CREATING INTERPOLATION FRAME}
도 1은 본 발명의 제1 실시예에 따른 보간 프레임 작성 장치의 기능 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 보간 프레임 작성 장치에 의해 작성된 보간 프레임을 설명하기 위한 개념도이다.
도 3은 본 발명의 제1 실시예에 따른 움직임 추정을 설명하기 위한 개념도이다.
도 4는 본 발명의 제1 실시예에 따른 움직임 추정을 설명하기 위한 개념도이다.
도 5는 도 1에 도시된 보간 프레임 작성 장치에 의해 수행된 보간 프레임 작성 처리를 위한 흐름도이다.
도 6은 본 발명의 제1 실시예에 따른 제1 참조 프레임 및 제2 참조 프레임의 예를 나타낸 것이다.
도 7은 도 5의 움직임 추정에서의 상세한 처리에 대한 흐름도이다.
도 8은 도 6에 도시된 제1 참조 프레임 및 제2 참조 프레임에서 수행되는 움직임 추정을 설명하는 개념도이다.
도 9는 도 8에 도시된 움직임 추정의 결과를 나타낸 것이다.
도 10은 도 5에서의 영역 판정에서의 상세한 처리에 대한 흐름도이다.
도 11은 도 8에 도시된 동작 벡터 MV2가 할당된 제1 참조 블록 및 상기 제1 참조 블록에 대응하는 제2 참조 블록 간의 연관성 계산을 설명하기 위한 개념도이다.
도 12는 도 11에서의 연관성 계산에 의해 얻어진 매칭 영역 및 비매칭 영역을 나타낸 것이다.
도 13은 도 8에 도시된 제1 참조 블록의 좌측의 다른 제1 참조 블록 상에서 수행된 영역 판정의 결과를 설명하기 위한 개념도이다.
도 14는 도 8에 도시된 전체 제1 참조 프레임 상에서 수행된 영역 판정의 결과를 나타낸 것이다.
도 15는 도 5에서의 비매칭 동작 벡터 할당에서의 상세한 처리를 나타낸 흐름도이다.
도 16은 제1 참조 프레임 내의 매칭 영역 및 비매칭 영역을 나타낸 것이다.
도 17은 세(3) 동작 벡터를 포함하는 제1 참조 프레임 및 제2 참조 프레임을 설명하기 위한 개념도이다.
도 18은 도 17에 도시된 제1 참조 프레임으로부터 제2 참조 프레임으로의 동작 벡터를 나타낸 것이다.
도 19는 도 18에 도시된 제1 참조 프레임 내의 제1 참조 블록 내의 영역 판정의 결과를 나타낸 것이다.
도 20은 본 발명의 제1 실시예에 따른 보간 프레임 작성 장치의 하드웨어 구 성의 블록도이다.
도 21은 본 발명의 제2 실시예에 따른 보간 프레임 작성 장치의 기능 블록도이다.
도 22는 본 발명의 제2 실시예에 따른 보간 프레임 작성 장치에 의해 수행된 보간 프레임 작성에 포함된 비매칭 동작 벡터 할당에서의 상세 처리에 관한 흐름도이다.
도 23은 본 발명의 제3 실시예에 따른 동작 벡터 검출기의 기능 블록도이다.
도 24는 본 발명의 제4 실시예에 따른 보간 프레임 작성 장치의 기능 블록도이다.
도 25는 본 발명의 제4 실시예에 따른 보간 프레임 작성 장치 내의 움직임 추정 유닛에 의해 수행된 처리를 설명하기 위한 개념도이다.
도 26은 본 발명의 제4 실시예에 따른 보간 프레임 작성 장치에 의해 수행된 보간 프레임 작성의 처리에 관한 흐름도이다.
도 27은 도 26을 참고로 하여 설명된 움직임 추정에서의 상세 처리에 관한 흐름도이다.
도 28은 도 26을 참고로 하여 설명된 영역 판정에서의 상세 처리에 관한 흐름도이다.
도 29는 도 28의 영역 판정을 구체적으로 설명하기 위한 개념도이다.
도 30은 도 28의 영역 판정을 구체적으로 설명하기 위한 개념도이다.
도 31은 도 26의 비매칭 동작 벡터 할당에서의 상세 처리에 관한 흐름도이 다.
도 32는 도 31의 비매칭 동작 벡터 할당을 구체적으로 설명하기 위한 개념도이다.
도 33은 본 발명의 제5 실시예에 따른 보간 프레임 작성 장치의 기능 블록도이다.
도 34는 본 발명의 제5 실시예에 따른 보간 프레임 작성 장치가 대상으로 하는 참조 프레임들을 설명하기 위한 개념도이다.
도 35는 본 발명의 제5 실시예에 따른 보간 프레임 작성 장치에 의해 수행된 보간 프레임 작성의 비매칭 동작 벡터 할당에서의 상세 처리에 관한 흐름도이다.
도 36은 대상이 움직이는 동화상을 설명하기 위한 개념도이다.
도 37은 도 36에 도시된 동화상에서 수행된 영역 판정의 결과를 설명하기 위한 개념도이다.
도 38은 본 발명의 제6 실시예에 따른 보간 프레임 작성 장치의 기능 블록도이다.
도 39는 본 발명의 제6 실시예에 따른 보간 프레임 작성 장치에 의해 수행된 비매칭 동작 벡터 할당에서의 상세 처리에 관한 흐름도이다.
도 40은 제6 실시예에 따라 비매칭 영역을 이용함에 의한 움직임 추정을 설명하기 위한 개념도이다.
본 발명은 참조 프레임 간의 보간 프레임을 작성하는 기술에 관한 것이다.
일반적으로, 두 타입의 디스플레이 장치가 있는데, 즉, 임펄스 타입의 디스플레이 장치 및 홀드(hold) 타입의 디스플레이 장치가 있다. 상기 임펄스 타입의 디스플레이 장치는 상기 디스플레이 장치의 스크린 상으로 화상을 기록한 후에 인광물질(phosphor)의 특정 지속(persistence) 기간 동안만 빛을 발산한다. 예를 들어, 음극선관(CRT) 디스플레이 및 FED(Field Emission Display)가 상기 임펄스 시스템으로 분류된다. 홀드 타입 디스플레이 장치는, 새로운 화상 프레임이 기록될 때까지 마지막 화상 프레임의 디스플레이를 유지한다. 예를 들어, LCD(Liquid Crystal Display) 및 ELD(Electro-Luminescence Display)가 상기 홀드 타입 디스플레이 장치로 분류된다.
상기 홀드 타입 디스플레이 장치의 단점들 중의 하나는 동화상을 디스플레이하는 동안 발생하는 흐림(blur) 현상이다. 상기 흐림 현상은, 프레임들에 걸쳐 화상들 내에 움직이는 대상이 나타나고, 관찰자의 눈이 상기 움직이는 대상의 움직임을 따라가는 때, 복수의 프레임들의 화상들이 상기 관찰자의 눈에 반사되고 중첩되기 때문에 발생한다.
이전 프레임의 동일 화상이, 상기 디스플레이된 화상의 이전 프레임이 다음 프레임으로 대체될 때까지 계속적으로 디스플레이됨에도, 관찰자의 눈들은 해당 화상의 다음 프레임의 디스플레이를 추정하면서 그들의 시야를 상기 이전 프레임 상 의 상기 움직이는 대상의 동작 방향으로 움직임에 의해 상기 움직이는 대상을 관찰한다. 즉, 관찰자의 눈들의 이어지는 움직임은 연속적이며, 관찰자들의 눈은 동화상의 프레임간 간격(inter-frame spacing)보다 짧은 간격으로 상기 화상의 샘플링을 수행한다. 결과적으로, 관찰자의 눈들은 상기 간격을 보충하기 위해 두 연속적인 프레임 간의 화상을 시각적으로 인식하게 되어, 상기 흐림 현상을 관찰한다.
상기 문제는 디스플레이를 위한 보다 짧은 프레임간 간격을 설정함에 의해 해결될 수 있다. 이는 또한 작은 수의 디스플레이 프레임들을 갖는 동화상 내의 부자연스러운 움직임을 해결할 수 있다. 생각할 수 있는 구체적인 접근들 중의 하나는 연속적인 프레임들 간의 보간을 위해, MPEG2에서 이용된, 움직임 보상을 이용함에 의해 보간 화상을 작성하는 것이다.
상기 움직임 보상은 블록 매칭에 의해 검출된 동작 벡터를 이용한다. 그러나, MPEG2는 블록 단위로 화상을 작성하여, 하나의 블록이 서로 다르게 움직이는 복수의 대상을 포함하는 경우, 연관된 부분 및 연관되지 않은 부분이 상기 블록 내에서 발생하여, 상기 연관되지 않은 부분으로 인하여 블록 왜곡(block distortion)이 발생하게 된다.
일본특허공개공보 JP-A 2004-104656(공개)는 이러한 문제들을 해결하기 위해 프레임들을 보간하는 방법을 개시한다. 하나의 블록이 복수의 영역으로 나뉘고, 동작 벡터가 각 영역에 대해 얻어진다. 이는, 다른 동작을 하는 대상들을 포함하고 있는 하나의 블록 내에서 블록 왜곡을 감소시킬 수 있다. 게다가, 적합한 동작 벡터는, 하나의 블록을 임계를 갖는 영역들로 나누는 데 적합한 동작벡터 검출 방 법 및 영역들로 나뉜 후의 픽셀 블록들에 대해 적합한 동작벡터 검출방법을 이용함에 의해, 각 영역에서 검출될 수 있다.
상기 방법은 블록 왜곡에 의해 야기되는 화상 품질의 저하(degradation)를 감소시킬 수 있다. 그러나, 심지어 상기 방법에 따르더라도, 픽셀이 거의 없는 영역 및 음영(또는, 교합(occlusion)) 영역에서는 올바른 동작 벡터가 얻어질 수 없다.
본 발명의 일면에 따른 장치는 제1 참조 프레임 및 제2 참조 프레임 간의 보간 프레임을 보간한다. 상기 장치는 상기 제1 참조 프레임 및 상기 제2 참조 프레임을 참조함에 의해 상기 보간 프레임 내의 각 보간 블록의 기본(primary) 동작 벡터를 검출하는 동작 벡터 검출 유닛; 상기 제1 참조 프레임 내의 제1 참조 블록 내에서 제1 매칭 영역, 상기 제2 참조 프레임 내의 제2 참조 블록 내에서 제2 매칭 영역, 상기 제1 참조 블록 내에서 제1 비매칭 영역 및 상기 제2 참조 블록 내에서 제2 비매칭 영역을 검출하는 영역 검출 유닛; 상기 각 보간 블록의 기본 동작 벡터를 상기 각 보간 블록 내의 보간 매칭 영역으로 할당하는 할당 유닛; 상기 보간 비매칭 영역 주위의 주변 보간 블록들에 기반하여 각 보간 블록 내의 보간 비매칭 영역으로 할당될 제2(secondary) 동작 벡터를 고정하는 고정 유닛; 및 상기 할당 유닛에 의해 상기 보간 매칭 영역으로 할당된 상기 기본 동작 벡터 및 상기 고정 유닛에 의해 상기 보간 비매칭 영역을 위해 고정된 제2 동작 벡터 중의 적어도 하나의 동작 벡터 모두에 기반하여 상기 보간 프레임으로 화상을 할당하는 움직임 보상 유닛을 포함하되, 상기 제1 매칭 영역 및 제2 매칭 영역 모두 매칭되며 서로 대응되고, 상기 제1 비매칭 영역 및 상기 제2 비매칭 영역 모두 비매칭이며 서로 대응되고, 상기 제1 참조 블록 및 제2 참조 블록 모두 상기 보간 블록과 동일한 형태 및 같은 크기를 가지며, 상기 제1 참조 블록 및 제2 참조 블록의 각각이 상기 보간 블록의 상기 기본 동작 벡터에 기반하여 특정되며, 상기 보간 매칭 영역은 상기 제1 매칭 영역 및 제2 매칭 영역에 대응되며, 상기 보간 비매칭 영역은 상기 제1 비매칭 영역 및 제2 비매칭 영역에 대응되며, 상기 제1 비매칭 영역 및 제2 비매칭 영역은 상기 영역 검출 유닛에 의해 서로 비매칭인 것으로 판정되는 것을 특징으로 한다.
본 발명의 다른 일면에 따른 장치는 제1 참조 프레임 및 제2 참조 프레임 간의 보간 프레임을 보간한다. 상기 장치는, 상기 제1 참조 프레임 및 상기 제2 참조 프레임을 참조함에 의해 제1 참조 블록의 기본 동작 벡터를 검출하는 동작 벡터 검출 유닛; 상기 제1 참조 블록 내의 제1 매칭 영역 및 상기 제2 참조 프레임 내의 제2 참조 블록 내의 제2 매칭 영역, 상기 제1 참조 블록 내의 제1 비매칭 영역 및 상기 제2 참조 블록 내의 제2 비매칭 영역을 검출하는 영역 검출 유닛; 상기 기본 동작 벡터를 상기 제1 매칭 영역에 할당하는 할당 유닛; 상기 제1 비매칭 영역 주위의 주변 제1 참조 블록들에 기반하여 상기 제1 참조 블록 내의 제1 비매칭 영역에 할당될 제2 동작 벡터를 고정하는 고정 유닛; 및 상기 할당 유닛에 의해 상기 매칭 영역으로 할당된 상기 기본 동작 벡터 및 상기 고정 유닛에 의해 상기 제1 비매칭 영역에 대해 고정된 상기 제2 동작 벡터 중의 적어도 하나의 동작 벡터의 모두에 기반하여 상기 보간 프레임으로 화상을 할당하는 움직임 보상 유닛을 포함하되, 상기 제1 참조 블록은 상기 제1 참조 프레임을 나눔에 의해 얻어지며, 상기 제1 매칭 영역 및 제2 매칭 영역이 매칭되고 서로 대응되며, 상기 제1 비매칭 영역 및 상기 제2 비매칭 영역 모두가 비매칭되며 서로 대응되고, 상기 제2 참조 블록은 상기 제1 참조 블록과 동일한 크기 및 동일한 형태를 가지며, 상기 제2 참조 블록 내의 상기 제2 매칭 영역이 상기 제1 참조 블록의 상기 기본 동작 벡터에 기반하여 특정되며, 상기 제1 비매칭 영역은 상기 영역 검출 유닛에 의해 비매칭으로 판정되는 것을 특징으로 한다.
본 발명의 실시예들이 첨부된 도면을 참고로 하여 상세하게 설명될 것이다.
본 발명의 제1 실시예에 따른 보간 프레임 작성 장치(10)는 보간 프레임을 작성한다. 도 2에 도시된 바와 같이, 제1 실시예는 상기 보간 프레임 작성 장치(10)가 입력 화상 내에 포함된 두 연속적인 프레임들, 즉 제1 참조 프레임(200) 및 제2 참조 프레임(300) 사이를 보간하기 위해, 보간 프레임(400)을 작성하는 예로 설명된다.
상기 보간 프레임 작성 장치(10)에 의해 작성된 보간 프레임은 두 다른 프레임들 간의 시간적 중간 지점에 배열될 필요는 없다. 두 다른 프레임들 간을 상기 보간 프레임이 보간하는 한 충분하며, 제1 실시예에 의해 제한되지 않는다. 게다가, 어떠한 수의 보간 프레임들도 두 다른 프레임들 사이에 작성될 수 있고 삽입될 수 있다.
도 1에 도시된 바와 같이, 상기 보간 프레임 작성 장치(10)는 움직임 추정 유닛(100), 영역 판정 유닛(102), 매칭 동작 벡터 할당 유닛(104), 비매칭 동작 벡 터 할당 유닛(106), 움직임 보상 유닛(108) 및 프레임 메모리(110)를 포함한다.
상기 움직임 추정 유닛(100)은 상기 제1 참조 프레임(200)으로부터 상기 제2 참조 프레임(300)으로의 동작을 추정한다. 도 3 및 도 4에 도시된 바와 같이, 상기 제1 참조 프레임(200)은 복수의 매크로 블록들, 즉 제1 참조 블록(210)을 포함하는 제1 참조 블록들로 나뉜다. 제1 실시예에 따른 상기 움직임 추정 유닛(100)은 상기 제1 참조 프레임(200)을 4*4의 16개 매크로 블록으로 나눈다. 각 블록은 5*5의 25개 픽셀을 포함한다. 상기 움직임 추정 유닛(100)은 상기 제2 참조 프레임(300) 내의 제2 참조 블록(310) 및 상기 제1 참조 블록(210) 간의 상관성(correlation)을 판정하며, 상기 상관성에 기반하여 동작 벡터를 계산한다. 여기서, 상기 제2 참조 블록(310)은 상기 제1 참조 블록(210)과 동일한 크기 및 동일한 형태를 갖는다.
상기 영역 판정 유닛(102)은 상기 움직임 추정 유닛(100)에 의해 상기 매크로 블록에 대해 계산된 동작 벡터에 기반하여 상기 제1 참조 블록(210) 내의 각 픽셀과 상기 제2 참조 프레임(300) 내의 대응되는 픽셀 간의 상관성 값을 계산한다. 구체적으로, 상기 영역 판정 유닛(102)은, 상기 제1 참조 블록(210)에 관해 계산된 동작 벡터에 기반하여 상기 제1 참조 블록(210) 내의 특정 픽셀과 상기 제2 참조 프레임(300) 내의 대응되는 픽셀을 특정한다. 다음으로, 상기 영역 판정 유닛(102)은 이들 두 픽셀들 사이의 상관성 값을 계산한다. 상기 계산된 상관성 값에 기반하여, 상기 영역 판정 유닛(102)은 각 매크로 블록을 고(high) 상관성 영역 및 저(low) 상관성 영역으로 나눈다.
상기 매칭 동작 벡터 할당 유닛(104)은 상기 움직임 추정 유닛(100)에 의해 계산된 상기 동작 벡터를 상기 영역 판정 유닛(102)에 의해 판정된 고 상관성 영역으로 할당한다. 상기 비매칭 동작 벡터 할당 유닛(106)은 주변의 매크로 블록에 할당된 동작 벡터를 상기 영역 판정 유닛(102)에 의해 판정된 저 상관성 영역에 할당한다. 상기 움직임 보상 유닛(108)은 상기 매칭 동작 벡터 할당 유닛(104) 및 비매칭 동작 벡터 할당 유닛(106)에 의해 할당된 동작 벡터들을 스케일 면에서 변환하며, 스케일 변환된 벡터들에 기반하여 상기 보간 프레임(400)을 작성한다.
도 5에 도시된 바와 같이, 먼저 보간 프레임 작성에 있어서, 상기 움직임 추정 유닛(100)은 상기 프레임 메모리(110)로부터 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300)을 얻으며, 상기 제1 참조 프레임(200)으로부터 제2 참조 프레임(300)으로의 움직임을 추정하기 위해 움직임 추정을 수행한다(S100). 다음으로, 상기 영역 판정 유닛(102)은 상기 움직임 추정 유닛(100)에 의해 추정된 결과적인 움직임에 기반하여 영역들을 판정한다(S102).
다음으로, 상기 매칭 동작 벡터 할당 유닛(104)이 상기 움직임 추정 유닛(100)에 의해 계산된 상기 동작 벡터를 상기 고 상관성 영역으로 할당한다(S104). 다음으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 주위 매크로 블록에 할당된 동작 벡터를 상기 저 상관성 영역으로 할당한다(S106). 다음으로, 상기 움직임 보상 유닛(108)은 상기 매칭 동작 벡터 할당 유닛(104) 및 상기 비매칭 동작 벡터 할당 유닛(106)에 의해 할당된 동작 벡터들에 기반하여 움직임 보상을 수행한다. 즉, 상기 움직임 보상 유닛(108)은 보간 프레임(400)을 작성한다(S108). 상기 보간 프 레임 작성 장치(10)는 그 때 보간 프레임 작성을 완료한다.
도 6에 도시된 바와 같이, 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300)의 각각은 배경(background)(500) 및 대상(object)(510)을 포함한다. 게다가, 상기 대상(510)은 상기 제2 참조 프레임(300)에서 우측방향으로 이동했다. 도 6에 도시된 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300) 간의 보간 프레임을 작성하는 구체적인 절차는 이하에 설명될 것이다.
도 7에 도시된 바와 같이, 먼저 움직임 추정(S100)에 있어서, 상기 움직임 추정 유닛(100)은 상기 제1 참조 프레임(200)을 움직임 추정을 겪게 될 n개의 참조 블록들로 나눈다(S110). 구체적으로, 상기 움직임 추정 유닛(100)은 도 6에 도시된 상기 제1 참조 프레임(200)을 도 4에 도시된 16개의 제1 참조 블록들로 나눈다.
다음으로, 상기 움직임 추정 유닛(100)은 상기 제1 참조 프레임(200)으로부터 제1 참조 블록 R1(i)을 추출한다(S112). 다음으로, 상기 움직임 추정 유닛(100)은 추출된 제1 참조 블록 R1(i)과 고 상관성의 제2 참조 블록 R2(i)을 추출하고, 동작 벡터 MV(i)를 얻는다(S114). 상기의 처리가 수행되지 않은 제1 참조 블록이 있다면(S116에서의 '아니오'), 상기 움직임 추정 유닛(100)은 "1"을 상기 i값에 더하며(S118), 다음으로 S112로 되돌아간다. 상기 움직임 추정 유닛(100)이 모든 제1 참조 블록들에 대해 S112 및 S114에서의 처리를 수행한 때(S116에서의 '예'), 상기 움직임 추정(S100)은 완료된다.
고 상관성의 제2 참조 블록 R2(i)를 얻기 위해, 상기 제1 참조 블록 내의 픽셀들과 후보(candidate) 제2 참조 블록 내의 대응 픽셀들 간의 절대차(absolute differences)가 이용될 수 있다. 구체적으로, 절대차는 상기 제1 참조 블록 내의 매 하나의 픽셀과 후보 제2 참조 블록 내의 대응 픽셀 간에 계산된다. 다음으로, 각각이 임계치보다 작은 절대차를 갖는 고 상관성 픽셀들(highly-correlated pixels)의 양이 계산된다. 가장 많은 양의 고 상관성 픽셀들을 갖는 제2 참조 블록이 상기 제1 참조 블록에 대해 높은 상관성을 갖는 제2 참조 블록으로 판정된다.
도 6에 도시된 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300)으로부터, 도 8 및 도 9에 도시된 움직임 추정의 결과가 얻어진다. 이 예에서, 동작 벡터 MV1 (MV1=0)이, 모두가 배경(500)의 동일한 부분을 포함하고 있는 대응 참조 블록들의 쌍으로부터 계산된다. 예를 들어, 제1 참조 블록(221) 및 제2 참조 블록(321)은 배경(500)의 동일한 부분을 포함하여, 상기 동작 벡터 MV1이 계산된다. 다르게는, "0"이 아닌 동작 벡터 MV2가, 모두가 대상(510)의 동일한 부분을 포함하는 대응 참조 블록들의 쌍으로부터 계산된다. 예를 들어, 제1 참조 블록(220) 및 제2 참조 블록(320)은 상기 대상(510)의 동일한 부분을 포함하여, 상기 동작 벡터(MV2)는 계산된다.
도 10에 도시된 바와 같이, 먼저 영역 판정(S102)에 있어서, 상기 영역 판정 유닛(102)은 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300) 내의 모든 픽셀들을 비매칭 영역으로 설정한다(S120). 다음으로, 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터 MV1(i)에 기반하여 얻은 제1 참조 블록 R1(i) 및 제2 참조 블록 R2(i)의 쌍에서, 상기 영역 판정 유닛(102)은 해당 픽셀들 간의 상관성(correlation)을 계산한다(S122).
다음으로, 상기 영역 판정 유닛(102)은 계산된 상관성에 기반하여 해당 픽셀들이 서로 매치되는지 판정한다. 픽셀들이 서로 매치되는 경우, 상기 영역 판정 유닛(102)은 상기 픽셀들을 상기 비매칭 영역으로부터 매칭 영역으로 변환한다(S124). 상기 처리를 수행하지 않은 제1 참조 블록 R1(i)이 있다면(S126에서 '아니오'), 상기 영역 판정 유닛(102)은 i값에 "1"을 더하고(S128), S122로 되돌아간다. 상기 영역 판정 유닛(102)이 모든 제1 참조 블록들에 대해 S122 및 S124에서의 처리를 수행한 경우(S126에서의 '예'), 상기 영역 판정(S102)은 완료된다.
도 11의 상부 블록들 내의 값은 휘도를 나타낸다. 상기 제1 참조 블록(220) 및 제2 참조 블록(320) 간의 상관성을 판정하기 위해, 상기 영역 판정 유닛(102)이 휘도에 관하여 상기 제1 참조 블록(220) 및 제2 참조 블록(320) 내의 대응 픽셀들 간에 상관성 계산을 수행한다. 구체적으로, 상기 영역 판정 유닛(102)은 휘도의 절대차를 계산한다. 도 11의 하부 블록들 내의 값은 계산 결과, 즉 절대차를 나타낸다.
상기 제1 참조 블록(220) 및 제2 참조 블록(320)은 주로 대상(510)의 화상을 포함하며, 상기 대상(510)의 일부에 대응되는 픽셀들의 각 휘도 값들은 서로 매칭된다. 결과적으로, 절대차는 영(zero)이다. 그러나, 상기 제1 참조 블록(220) 및 제2 참조 블록(320) 내에 포함된 상기 배경(500)의 부분들에서, 픽셀들의 휘도값들이 매칭되지 않는데, 이는 상기 부분들의 각각이 상기 배경(500)의 다른 부분을 나타내기 때문이어서 절대차가 영이 아니기 때문이다. 도 11에서, 상기 제1 참조 블록(220) 및 제2 참조 블록(320) 각각에서의 좌상부 모서리의 픽셀과 좌하부 모서리 의 픽셀은 배경에 해당하며, 오직 이들 픽셀들만이 24의 절대차를 갖는다.
도 12에 도시된 바와 같이, 도 11에 도시된 상기 제1 참조 블록(220) 및 제2 참조 블록(320) 내의 좌상부 모서리 및 좌하부 모서리에서의 각 픽셀들은 비매칭 영역(222a, 222b, 322a 또는 322b)에 해당한다. 나머지 픽셀들은 모두 매칭 영역(224 또는 324) 내에 있다. 매칭 영역 및 비매칭 영역의 판정은 임계치를 이용한다. 한 쌍의 대응 픽셀들 간의 절대차가 상기 임계치보다 작으면, 즉 해당 픽셀들 간의 상관성이 높으면, 상기 픽셀들은 매칭 영역으로 판정된다. 상기 절대차가 상기 임계치보다 크면, 즉 상관성이 낮으면, 상기 픽셀들은 비매칭 영역으로 판정된다.
도 13에 도시된 바와 같이, 제1 참조 블록(230) 내의 배경(500)의 일부가 상기 제2 참조 프레임(300) 내의 배경의 일부와 매칭되어, 매칭 영역을 형성한다. 다르게는, 상기 제1 참조 블록(230) 내의 대상(510)의 일부가 상기 제2 참조 프레임(300) 내의 배경(500)으로 변하여, 비매칭 영역을 형성한다.
도 14에 도시된 바와 같이, 제1 참조 블록들은 픽셀 단위로(pixel by pixel) 매칭 영역과 비매칭 영역으로 나뉜다. 매칭 동작 벡터 할당(S104)에서, 매칭 영역에는 상기 매칭 영역을 포함하는 제1 참조 블록에 대해 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터가 할당된다. 상기 매칭 영역에서, 해당 픽셀들은 서로 매칭되며, 다시 말해, 동작 벡터가 정확하게 계산된다. 상기 움직임 추정 단계(S100)에서 상기 움직임 추정 유닛(100)에 의해 계산된 상기 동작 벡터는 상기 매칭 영역에 적당하여, 상기 매칭 동작 벡터 할당 유닛(104)은 상기 매칭 영역에 상기 동작 벡터를 할당한다.
도 15에 도시된 바와 같이, 먼저 비매칭 동작 벡터 할당(S106)에 있어서, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 제1 참조 프레임(200)으로부터 비매칭 영역 P1을 추출한다(S140). 다음으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 비매칭 영역에 가까운 제1 참조 블록들의 동작 벡터들 MVk(k=1~S, S는 상기 비매칭 영역에 가까운 상기 제1 참조 블록들의 동작 벡터들 MV의 수)를 추출한다(S142). 여기서, 상기 비매칭 동작 벡터 할당 유닛(106)은 인접한 제1 참조 블록들의 모든 동작 벡터들을 추출한다. 예를 들어, 두(2) 동작 벡터들이 있다면, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 두 동작 벡터들을 추출한다. 상기 인접한 제1 참조 블록들 모두가 동일한 동작 벡터를 갖는다면, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 하나의 동작 벡터를 추출한다.
다음으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 비매칭 영역 내의 각 픽셀 P1p(p는 상기 비매칭 영역 P1 내의 픽셀)에 추출된 동작 벡터 MVk를 인가하고, 상기 제2 참조 프레임(300) 내의 대응 픽셀 P2pk(k는 상기 동작 벡터 MVk의 k에 해당)를 추출한다(S144). 다시 말해, 상기 추출된 동작 벡터들 MVk 만큼 많은 픽셀들 P2pk가 추출될 수 있다.
다음으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 P1p 및 추출된 픽셀 P2pk간의 상관성을 계산한다(S146). 구체적으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 픽셀 P1p 및 픽셀 P2pk 간의 휘도의 절대차를 계산한다. 다음으로, 계산된 상관성에 기반하여, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 동 작 벡터들 MVk로부터 상기 픽셀 P1p에 적합한 동작 벡터를 선택한다(S148). 상기 추출된 동작 벡터들이 복수개이면, 상기 비매칭 동작 벡터 할당 유닛(106)은 각각의 동작 벡터들에 있어서 각각이 계산된 절대차에서 가장 작은 절대차에 해당하는 동작 벡터, 즉 가장 높은 상관성을 갖는 동작 벡터를 선택한다.
상기 비매칭 동작 벡터 할당 유닛(106)이 상기 비매칭 영역들 내의 모든 픽셀들에 대해 상기 절차를 수행하는 때(S150에서의 '예'), 상기 비매칭 동작 벡터 할당(S106)은 완료된다. 상기 절차가 수행되지 않은 픽셀이 있는 경우(S150에서의 '아니오'), 상기 비매칭 동작 벡터 할당 유닛(106)은 "1"을 p값에 더한 후에(S152), S144로 되돌아간다.
도 16에 도시된 바와 같이, 예를 들어, 상기 제1 참조 블록(220) 내에 포함된 좌상부 픽셀 및 좌하부 픽셀의 비매칭 영역들에 대해 추출된 동작 벡터들은 상기 제1 참조 블록(220)에 인접한 8개의 제1 참조 블록들의 각각의 동작 벡터들이다. 이들은 모두 MV1이다. 따라서, 상기 비매칭 영역들(222a, 222b)에는 동작 벡터 MV1이 할당된다.
한편, 상기 제1 참조 블록(230) 내에 포함된 우중심(center right) 픽셀의 비매칭 영역(232)에 대해 추출된 동작 벡터들은 상기 제1 참조 블록(230)에 인접한 8개의 제1 참조 블록들의 각 동작 벡터들이다. 즉, 상기 동작 벡터 MV1 및 동작 벡터 MV2는 추출된다.
이 경우에서, 상기 비매칭 영역(232)의 픽셀이 제1 픽셀이며, 상기 제1 픽셀 및 동작 벡터 MV1이 제2 참조 프레임(300) 내의 제2 픽셀을 정의하고, 상기 제1 픽 셀 및 동작 벡터 MV2가 상기 제2 참조 프레임(300) 내의 제3 픽셀을 정의한다고 가 정하자. 다음으로, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 제1 픽셀 및 제2 픽셀 간의 상관성을 계산한다. 유사하게는, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 제1 픽셀 및 제3 픽셀 간의 상관성을 계산한다. 상기 비매칭 동작 벡터 할당 유닛(106)은 계산된 상관성에서 가장 작은 절대차를 나타내는 동작 벡터, 즉 가장 높은 상관성을 얻는 동작 벡터를 선택한다. 이 예에서, 상기 동작 벡터 MV2로부터 계산된 상관성이 가장 높아서, 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 동작 벡터 MV2를 선택한다.
따라서, 제1 실시예에 따른 상기 보간 프레임 작성 장치(10)는 동작 벡터를 매크로 블록보다 작은 영역에 할당할 수 있다. 더욱이, 상기 보간 프레임 작성 장치(10)는 상기 절차를 통해 계산된 동작 벡터들을 스케일 면에서 변환하며, 보간 프레임 내의 판정된 영역으로 화상을 할당하여, 상기 보간 프레임을 보다 정확하게 작성한다.
각 프레임 내의 연속적인 블록들에는 종종 동일한 동작 벡터가 할당된다. 결과적으로, 제1 실시예에서, 비매칭 영역에 대한 후보 동작 벡터들(candidate motion vectors)이 인접한 블록들의 동작 벡터들로부터 선택된다. 이는 상기 보간 프레임 작성 장치(10)가 각 비매칭 영역에 대해 움직임 추정을 다시 수행하는 것을 생략하도록 해주어서, 보다 효율성있는 처리를 달성한다.
더욱이, 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300)이 셋 또는 그 이상의 동작 벡터들을 포함하는 때, 상기 보간 프레임 작성 장치(10)는 서브영역 (subarea) 당 각 동작 벡터를 계산할 수 있다.
도 17에 도시된 상기 제1 참조 프레임(200)은 배경(500), 제1 대상(511) 및 제2 대상(512)을 예를 들어 포함한다. 상기 배경(500)은 동작 벡터 MV1을 갖는 영역 내에 있다. 상기 제1 대상(511)은 동작 벡터 MV2를 갖는 영역 내에 있다. 상기 제2 대상(512)은 동작 벡터 MV3를 갖는 영역 내에 있다.
예를 들어, 도 18에 도시된 제1 참조 블록(240)에 주목한다. 도 19에 도시된 바와 같이, 제1 참조 블록(240)에서, 상기 제1 대상(511)에 대응되는 픽셀들은 매칭 영역(244)으로 판정되며, 다른 픽셀들은 비매칭 영역(242)으로 판정된다.
상기 비매칭 영역(242)에 대해 수행된 비매칭 동작 벡터 할당에 있어서, 상기 비매칭 동작 벡터 할당 유닛(106)은 도 18에 도시된 제1 참조 블록(240)에 인접한 8개의 제1 참조 블록들의 동작 벡터들을 추출한다. 정확하게는, 상기 동작 벡터들 MV1, MV2 및 MV3이 추출된다. 상기 비매칭 동작 벡터 할당 유닛(106)은 상기 비매칭 영역(242) 내의 각 픽셀 및 각 동작 벡터들 MV1, MV2 및 MV3의 각각으로 판정된 상기 제2 참조 프레임(300) 내의 해당 픽셀 간의 상관성을 계산하고, 가장 높은 상관성을 갖는 동작 벡터를 상기 비매칭 영역(242) 내의 각 픽셀에 대한 동작 벡터로서 선택한다. 이 예에서, 상기 제1 참조 블록(240) 내의 비매칭 영역(242) 내에서, 상기 배경(500)에 대응되는 영역에는 상기 절차의 결과로서 동작 벡터 MV1이 할당된다. 상기 제2 대상(512)에 대응되는 다른 영역에는 상기 절차의 결과로서 동작 벡터 MV3가 할당된다.
따라서, 상기 보간 프레임 작성 장치(10)는 각 픽셀에 동작 벡터를 할당할 수 있어서, 동작 벡터를 정확하게 규정한다. 게다가, 상기 동작 벡터를 이용함에 의해, 상기 보간 프레임 작성 장치(10)는 매우 정확한 보간 프레임을 작성할 수 있다.
도 20에 도시된 바와 같이, 하드웨어 구성으로서, 상기 보간 프레임 작성 장치(10)는 ROM(52), CPU(51), RAM(53), 통신 인터페이스(57) 및 버스(62)를 포함한다. 상기 ROM(52)은 컴퓨터 프로그램, 예를 들어, 컴퓨터로 하여금 보간 프레임 작성을 수행하도록 야기하는 보간 프레임 작성 컴퓨터 프로그램을 자신에게 저장한다. 상기 CPU(51)는 상기 ROM(52)에 존재하는 컴퓨터 프로그램에 따라 상기 보간 프레임 작성 장치(10) 내의 각 유닛을 제어한다. 상기 RAM(53)은 상기 보간 프레임 작성 장치(10)의 제어를 위해 필요한 다양한 데이터를 내부에 저장한다. 상기 통신 인터페이스(57)는 상기 보간 프레임 작성 장치(10)를 네트워크에 연결하여 통신을 수행하도록 한다. 상기 버스(62)는 상기 보간 프레임 작성 장치(10) 내의 각 유닛을 연결한다.
상기 보간 프레임 작성 장치(10) 내의 보간 프레임 작성 컴퓨터 프로그램은 보간 프레임 작성 컴퓨터 프로그램의 파일이 인스톨 가능한 형식 또는 실행가능한 형식으로 기록될 수 있는 CD-ROM, 플로피 디스크 또는 DVD(Digital Versatile Disc)와 같이 컴퓨터로 읽을 수 있는 기록 매체의 형태 내에 제공될 수 있다.
이 경우에서, 상기 보간 프레임 작성 컴퓨터 프로그램은 그러한 컴퓨터로 읽기 가능한 기록 매체로부터 읽혀지고 상기 보간 프레임 작성 장치(10) 상에서 수행되도록 설계되어, 상기 컴퓨터 프로그램은 상기 보간 프레임 작성 장치(10) 내의 주 메모리 저장장치(main memory storage) 상으로 로드되며, 예를 들어, 도 1에 도시된 각 유닛은 상기 주 메모리 저장장치상에 형성된다.
다르게는, 인터넷과 같은 네트워크에 접속된 컴퓨터가 제1 실시예에 따른 보간 프레임 작성 컴퓨터 프로그램을 내부에 저장함에 따라, 상기 컴퓨터 프로그램은 네트워크를 통해 다운로드 함에 의해 제공될 수 있다.
다양한 변경 및 개선이 상기 제1 실시예에 가해질 수 있다.
그러한 변경들 중의 하나로서, 제1 변경은 상기 비매칭 동작 벡터 할당 유닛(106)으로 하여금 상기 제1 실시예에 기술된 바와 같은 비매칭 영역에 인접한 블록들의 동작 벡터들에 한정되지 않고, 비매칭 영역에 대한 어떤 잠재적인 동작 벡터들이라도 추출하는 것이 가능하도록 한다.
예를 들어, 대상 화상의 특성에 따라, 상기 비매칭 영역으로부터 약간 떨어진 위치의 영역 내에 존재하는 동작 벡터가 상기 대상 화상에 적합할 수 있는 가능성이 있다면, 상기 비매칭 동작 벡터 할당 유닛(106)은 인접 블록들의 동작 벡터들 뿐만 아니라 특정 거리 내의 영역의 동작 벡터들을 후보로서 추출할 수 있어서, 상기 비매칭 동작 벡터 할당 유닛(106)이 동작 벡터를 보다 정확하게 선택하는 것을 가능하게 한다.
제1 실시예에서, 상기 매칭 동작 벡터 할당 유닛(104)은 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터를 상기 매칭 영역에 할당하며, 상기 비매칭 동작 벡터 할당 유닛(106)은 인접 참조 블록의 동작 벡터를 상기 비매칭 영역으로 할당한다. 이 대신에, 제2 변경예로서, 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터는 먼저 상기 참조 블록들 모두에 할당될 수 있다. 상기 영역 판정 유닛(102)은 비매칭 영역을 판정하며, 다른 동작 벡터가 할당될 것이 요구되는 때, 이미 할당된 동작 벡터는 다른 적합한 동작 벡터로 대체된다. 이는 어떤 경우에 있어서 보다 효율적인 처리를 달성할 수 있다.
제3 변경예에 의하면, 비매칭 영역의 크기가 미리 정해진 크기보다 작은 때, 해당 영역은 비매칭 영역으로 설정되기보다 주위 매칭 영역(surrounding matching area)으로 포함될 수 있다.
예를 들어, 비매칭 영역 내에 포함된 픽셀들의 수가 하나의 픽셀과 같이 상당히 작은 경우, 해당 픽셀을 위한 동작 벡터를 정확하게 검출하는 것이 힘들다. 따라서, 그러한 작은 영역은 비매칭 영역으로서 처리되는 것보다 주위 매칭 영역과 유사하게 처리될 것이다.
이는 잡음에 의해 실수로 판정된 비매칭 영역과 같이 실수에 의해 판정된 비매칭 영역이 매칭 영역으로 변환되는 것을 허용하여, 동작 벡터 검출의 정확도를 개선한다.
다른 예에서, 매칭 영역들이 비매칭 영역 내에서 분산되어 있는 경우, 동작 벡터 인가불가 영역(inapplicable area)은 동작 벡터 인가가능 영역(applicable area)으로 변경될 수 있다. 구체적으로, 격리된 점들은 상기 동작 벡터 인가불가 영역 및 동작 벡터 인가가능 영역의 두 값들을 이용하거나, 형태 계산(morphology calculation)으로 필터링됨에 의해 제거된다. 넓은 영역이 격리된 점으로서 제거되는 경우, 존재하는 작은 영역은 어떤 경우에 있어서 제거될 수 있음에 주목해야 한다.
제1 실시예에서, 상기 영역 판정 유닛(102)은, 상관성 값과 임계치를 비교함에 의해 영역이 매칭 되는지를 판정한다. 상기 임계치는 특별히 제한되지 않는다. 제4 변경예에 의하면, 예를 들어, 상기 임계치는 상대치(relative value)일 수 있으며, 또한 다른 예에서 절대치일 수 있다.
더욱이, 상기 임계치는 프레임에서 프레임으로 변할 수 있다. 예를 들어, 장면이 어두운 때, 임계치는 더 낮게 설정될 수 있어서, 어두운 장면에서의 다른 동작들을 포함하여 영역의 정확한 판정을 달성한다. 더욱이, 상기 임계치는 모서리에서 보다 높게 설정될 수 있어서, 모서리에서의 정확한 판정을 달성한다.
제5 변경예에서, 상기 영역 판정 유닛(102)은 상기 제1 실시예에서 계산된 휘도의 상관성 대신에 색차(chrominance)의 상관성을 계산할 수 있다.
도 21에 도시된 본 발명의 제2 실시예에 따른 보간 프레임 작성 장치(11)에서, 비매칭 동작 벡터 할당 유닛(107)은 적합한 동작 벡터가 발견되지 않는 영역, 즉 비검출 영역(undetected area)을 규정한다. 움직임 보상 유닛(109)은 인접 블록들의 동작 벡터 대신에, 상기 비검출 영역에 인접한 픽셀들의 평균을 할당한다.
도 22에 도시된 바와 같이, 보간 프레임 작성에 포함된 상기 비매칭 동작 벡터 할당(S106)에서, 적합한 동작 벡터가 게산되고(S148), 다음으로 상기 적합한 동작 벡터에 기반하여 정의된 제2 참조 프레임(300) 내의 픽셀 P2pk 및 제1 참조 프레임(200) 내의 픽셀 P1p 간의 절대차가 임계치와 비교된다. 상기 절대차가 상기 임계치보다 작은 경우, 즉 상관성이 높은 경우, 상기 동작 벡터는 상기 픽셀 P1p에 대한 동작 벡터로서 판정된다(S156). 이와 달리, 상기 절대차가 상기 임계치보다 큰 경우, 즉 상관성이 낮은 경우, 상기 동작 벡터는 이용되지 않으며, 상기 픽셀 P1p는 비검출 영역으로서 판정된다(S158).
상기 제2 실시예에 따른 움직임 보상(S108)에서는, 상기 비검출 영역에 대응되는 보간 프레임 내의 영역에는 상기 움직임 보상 유닛(109)에 의해 상기 제1 참조 블록 내의 비검출 영역에 인접한 픽셀들의 휘도 값의 평균값이 할당된다.
비매칭 영역이 상기 비매칭 영역을 포함하는 프레임 내의 잡음으로부터 떠오른(arising) 영역이나 새로이 등장한 대상에 해당하는 경우, 상기 인접한 제1 참조 블록들의 어떠한 동작 벡터들도 상기 비매칭 영역의 적합한 동작 벡터에 매칭되지 않는다. 따라서, 어떤 경우에 있어서, 상기 비매칭 영역에 적합한 어떤 동작 벡터도 상기 인접한 제1 참조 블록들의 동작 벡터들로부터 선택될 수 없다. 이 경우에 있어서, 인접한 제1 참조 블록의 동작 벡터가 비매칭 영역에 비매칭 영역의 동작벡터로서 할당되는 것은 바람직하지 않다. 따라서, 상기 보간 프레임 작성 장치(11)는 그러한 경우에 있어서 인접한 제1 참조 블록의 동작 벡터를 이용하지 않는다. 이는 동작 벡터의 실수에 의한 검출을 감소시킬 수 있다. 더욱이, 상기 보간 프레임 작성 장치(11)가 실수에 의해 검출된 동작 벡터를 이용하여 적합하지 않은 보간 프레임을 작성하는 것을 방지할 수 있다.
상기 보간 프레임 작성 장치(11)에 의해 수행된 기타 처리 및 기타 구성들은 상기 보간 프레임 작성 장치(10)에 의해 수행된 처리 및 구성과 동일하다.
제2 실시예의 제1 변경예에 따르면, 상기 움직임 보상 유닛(109)은 상기 제1 참조 블록 내의 인접 픽셀들의 중앙값(median)을, 상기 인접 픽셀들의 평균(average) 대신에, 상기 비검출 영역에 할당할 수 있다.
제2 실시예의 제2 변경예에 따르면, 상기 비검출 영역에는 상기 움직임 보상 유닛(109)에 의해 상기 비검출 영역을 포함하는 제1 참조 블록에 대해 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터가 할당될 수 있다.
도 23에 도시된 바와 같이, 본 발명의 제3 실시예에 따른 동작 벡터 검출기(detector)(12)는 상기 움직임 추정 유닛(100), 상기 영역 판정 유닛(102), 상기 매칭 동작 벡터 할당 유닛(104), 상기 비매칭 동작 벡터 할당 유닛(106) 및 상기 프레임 메모리(110)를 포함한다. 각 유닛의 기능은 상기 제1 실시예에 따른 각 해당 유닛의 기능과 동일하다. 제1 실시예에 따른 보간 프레임 작성 장치(10)는 상기 비매칭 동작 벡터 할당 유닛(106) 및 매칭 동작 벡터 할당 유닛(104)에 의해 할당된 동작 벡터들에 기반하여 보간 프레임을 작성한다. 다르게는, 제3 실시예에 따른 동작 벡터 검출기(12)는 상기 동작 벡터 할당까지의 프로세스를 수행한다. 상기 동작 벡터 검출기(12)는 매크로블록보다 작은 영역 당 동작 벡터를 정확하게 계산한다.
본 발명의 제4 실시예에 따른 보간 프레임 작성 장치(13)는 보간 프레임을 매크로 블록들로 나누며, 상기 보간 프레임 내의 매크로블록들에 기반하여 제1 참조 프레임(200) 및 제2 참조 프레임(300) 내의 움직임을 추정한다.
따라서, 상기 보간 프레임 작성 장치(13)는 상기 보간 프레임(400)을 나눠서, 화상의 어느 부분도 상기 보간 프레임(400) 상에서 서로 겹쳐질 수 없게 되며, 상기 보간 프레임(400)은 상기 화상의 어느 부분도 작성되지 않은 영역을 포함하지 않게 되어, 상기 보간 프레임 작성 장치(13)가 정확한 보간 프레임을 작성하는 것을 가능하게 한다.
도 24에 도시된 바와 같이, 상기 보간 프레임 작성 장치(13)는, 보간 프레임 작성 장치(10)와 유사하게, 움직임 추정 유닛(120), 영역 판정 유닛(122), 매칭 동작 벡터 할당 유닛(124), 비매칭 동작 벡터 할당 유닛(126), 움직임 보상 유닛(128) 및 프레임 메모리(110)를 포함한다.
도 25에 도시된 바와 같이, 상기 움직임 추정 유닛(120)은 상기 보간 프레임(400)을 매크로 블록들로 나누며, 보간 블록(410)을 포함하는 복수의 보간 블록들을 얻는다. 다음으로, 상기 움직임 추정 유닛(120)은 상기 보간 블록(410)을 기반으로 하여 상기 제2 참조 프레임(300) 내의 제2 참조 블록(350)과, 제1 참조 프레임(200) 내의 제1 참조 블록(250)의 움직임을 추정한다. 여기서, 상기 제1 참조 블록(250) 및 제2 참조 블록(350) 모두 상기 보간 블록(410)과 동일한 형태 및 크기를 갖는다.
더욱이, 제4 실시예에 따른 상기 영역 판정 유닛(122)은 상기 보간 프레임(400) 내의 각 영역이 매칭 영역 또는 비매칭 영역인지를 판정한다. 다음으로, 상기 매칭 동작 벡터 할당 유닛(124)은 동작 벡터를 상기 보간 프레임(400) 내의 매칭 영역에 할당하며, 상기 비매칭 동작 벡터 할당 유닛(126)은 동작 벡터를 상기 보간 프레임(400) 내의 비매칭 영역으로 할당한다.
도 26에 도시된 바와 같이, 먼저 보간 프레임 작성에 있어서, 상기 움직임 추정 유닛(120)은 보간 블록들을 얻기 위해 보간 프레임을 나눈다(S200). 다음으로, 상기 움직임 추정 유닛(120)은 상기 보간 블록들에 기반하여 움직임 추정을 수행한다(S202). 다음으로, 상기 영역 판정 유닛(122)은 영역 판정을 수행한다(S204).
다음으로, 상기 매칭 동작 벡터 할당 유닛(124)은 상기 움직임 추정 유닛(120)에 의해 계산된 동작 벡터를 매칭 영역으로 할당한다(S206). 상기 비매칭 동작 벡터 할당 유닛(126)은 인접 보간 블록에 할당된 동작 벡터를 비매칭 영역에 할당한다(S208). 다음으로, 상기 움직임 보상 유닛(128)은, 화상을 상기 보간 프레임에 할당하기 위해, 상기 매칭 동작 벡터 할당 유닛(124)에 의해 할당된 동작 벡터 및 비매칭 동작 벡터 할당 유닛(106)에 의해 할당된 동작벡터를 이용함에 의해 움직임 보상을 수행한다(S210). 다음으로, 상기 보간 프레임 작성 장치(13)에 의해 수행된 보간 프레임 작성이 종료된다.
도 27에 도시된 바와 같이, 먼저 움직임 추정에 있어서(S202), 상기 움직임 추정 유닛(120)은 상기 보간 프레임(400) 내에 포함된 보간 블록들로부터 보간 블록 R0(i)를 추출한다(S210). 다음으로, 상기 움직임 추정 유닛(120)은 모두가 가운데의 상기 보간 블록 R0(i)에 기반하여 구체화된 제1 참조 블록 R1(i) 및 제2 참조 블록 R2(i)의 쌍과 가장 높은 상관성을 갖는 쌍을 추출하며, 추출된 쌍으로부터 동작 벡터 MV(i)를 얻는다(S212).
상기 움직임 추정 유닛(100)은 보간 블록들 전체에 대한 상기 처리를 수행하며(S214에서의 '예'), 다음으로 움직임 추정을 완료한다(S202). 만약 아직 처리되 지 않은 보간 블록이 있다면(S214에서의 '아니오'), 상기 움직임 추정 유닛(100)은 i 값에 "1"을 더하고(S216), 다음으로 S210으로 되돌아간다.
도 28에 도시된 바와 같이, 먼저 영역 판정에 있어서(S204), 상기 영역 판정 유닛(122)은 제1 참조 프레임 및 제2 참조 프레임 내의 모든 픽셀들을 비매칭 영역으로서 설정한다(S220). 다음, 상기 영역 판정 유닛(122)은 제1 참조 블록 R1(i) 내의 모든 각 픽셀 및 제2 참조 블록 R2(i) 내의 대응 픽셀들 간의 상관성을 계산하며, 제1 참조 블록 R1(i) 및 제2 참조 블록 R2(i) 모두 특정 보간 블록 R0(i)와 연관된다(S222). 다음으로, 상기 영역 판정 유닛(122)은 계산된 상관성에 기반하여 양 픽셀들이 서로 매칭되는 지를 판정하며, 상기 영역 판정 유닛(122)이 상기 픽셀들이 매칭되는 것으로 판정한 경우, 상기 픽셀들은 비매칭 영역으로부터 매칭 영역으로 변환된다(S224).
상기 처리가 수행되지 않은 보간 블록이 있는 경우(S226에서의 '아니오'), 상기 영역 판정 유닛(122)은 i 값에 "1"을 더하며(S228), S222로 되돌아 간다. 상기 영역 판정 유닛(122)이 모든 보간 블록들에 대해 S222 및 S224에서의 모든 처리들을 수행한 경우(S226에서의 '예'), 상기 영역 판정은 종료된다(S204).
도 29에 도시된 바와 같이, 상기 영역 판정이 보간 블록(420) 및 모두가 상기 보간 블록(420)에 대응되는 제1 참조 블록(260) 및 제2 참조 블록(360) 상에서 수행되는 때, 상기 대상(510)에 대응되는 영역은 매칭 영역이 된다. 그러나, 상기 제1 참조 블록(260) 내에 포함된 배경(500)의 부분들 및 제2 참조 블록(360) 내에 포함된 배경(500)의 부분들은 상기 배경(500) 내의 다른 부분들에 대응되어서, 그 부분들은 비매칭 영역들이 된다. 따라서, 도 30에 도시된 바와 같이, 상기 보간 블록(420) 내에서도, 상기 대상(510)에 대응되는 영역은 매칭 영역(424)이 되며, 상기 배경(500)에 대응되는 영역은 비매칭영역(422a, 422b)이 된다.
도 31에 도시된 바와 같이, 먼저 비매칭 동작 벡터 할당에 있어서(S208), 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 보간 프레임(400)으로부터 비매칭 영역 HP0를 추출한다(S240). 다음으로, 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 비매칭 영역 HP0에 인접한 보간 블록의 동작 벡터 MVk를 추출한다(k=1~S, S는 상기 비매칭 영역 HP0 주위에 존재하는 동작 벡터MV의 수)(S242). 여기서, 인접 보간 블록들의 모든 동작 벡터들은 추출된다. 예를 들어, 두 동작 벡터들이 있는 경우, 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 두 동작 벡터들을 추출한다. 인접한 보간 블록들 모두가 동일한 동작 벡터를 갖는 경우, 비매칭 동작 벡터 할당 유닛(126)은 상기 하나의 동작 벡터를 추출한다.
다음으로, 상기 비매칭 동작 벡터 할당 유닛(126)은 추출된 동작 벡터 MVk를 상기 비매칭 영역 HP0 내의 각 픽셀 HP0p로 인가하며(p는 비매칭 영역 HP0 내의 픽셀이다), 다음으로 상기 제2 참조 프레임(300) 내의 픽셀 H2k 및 제1 참조 프레임(200) 내의 픽셀 H1k를 추출한다(k는 상기 동작 벡터 MVk의 k에 대응된다)(S244). 즉, 픽셀 H1k 및 픽셀 H2k의 추출된 쌍의 수는 추출된 동작 벡터들의 수와 같다.
다음으로, 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 픽셀 H1k 및 픽셀 H2k 간의 상관성을 계산한다(S246). 구체적으로, 상기 픽셀 H1k 및 픽셀 H2k 간의 휘도의 절대차가 계산된다. 다음으로, 상기 비매칭 동작 벡터 할당 유닛(126)은 계산된 상관성에 기반하여 상기 동작 벡터들 MVk로부터 상기 픽셀 HP0p에 적합한 동작 벡터를 선택한다(S248). 상기 추출된 동작 벡터들이 복수이면, 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 동작 벡터들의 각각에 기반하여 계산된 절대차 중에서 가장 작은 절대차에 해당하는 동작 벡터, 즉 상기 계산된 상관성 중 가장 높은 상관성을 갖는 동작 벡터를 선택한다.
상기 비매칭 동작 벡터 할당 유닛(126)이 비매칭 영역 내의 모든 픽셀들에 대해 상기 처리를 수행한 경우(S250에서의 '예'), 상기 비매칭 동작 벡터 할당(S208)이 종료된다. 상기 처리가 수행되지 않은 픽셀이 있는 경우(S250에서의 '아니오'), 상기 비매칭 동작 벡터 할당 유닛(126)은 p값에 "1"을 더하며(S252), 다음으로 S244로 되돌아 간다.
도 32에 도시된 각 보간 블록에서, 상기 움직임 추정 유닛(100)에 의해 계산된 동작 벡터가 지시된다. 상기 영역 판정의 결과들 또한 제시된다. 예를 들어, 인접한 보간 블록들에 대한 동작 벡터 MV1이 상기 보간 블록(420) 내의 좌상부 픽셀 및 좌하부 픽셀의 비매칭 영역(422a, 422b)에 대해 추출된다.
이 경우에 있어서, 8개의 인접 블록들의 각 동작 벡터들 모두는 MV1이다. 따라서, 상기 비매칭 동작 벡터 할당 유닛(126)은 동작 벡터 MV1이 상기 보간 블록(420) 내의 비매칭 영역(422a, 422b)에 대한 동작 벡터라고 판정한다. 한편, 상기 동작 벡터들 MV1 및 MV2는 보간 블록(430) 내의 가운데 우측 픽셀의 비매칭 영역(432)에 대해 추출된다. 이 경우에 있어서, 상기 비매칭 동작 벡터 할당 유닛(126)은 상기 동작 벡터들의 각각에 대한 상관성을 판정하며, 높은 상관성을 얻는 동작 벡터를 선택한다. 이 예에서, 상기 동작 벡터 MV2가 선택된다.
상기 보간 프레임 작성 장치(13)에 의해 수행되는 다른 처리 및 다른 구성은 상기 보간 프레임 작성 장치(10)에서의 처리 및 구성과 동일하다.
도 33에 도시된 바와 같이, 본 발명의 제5 실시예에 따른 보간 프레임 작성 장치(14)는 보간 프레임 작성 장치(13)와 거의 유사한 기능적 구성을 갖는다. 상기 보간 프레임 작성 장치(14)는 상기 보간 프레임(400)에 기반하여 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300) 내의 움직임을 추정한다. 게다가, 상기 보간 프레임 작성 장치(14)는 상기 제1 참조 프레임(200) 및 제2 참조 프레임(300) 뿐만 아니라 다른 프레임들을 이용함에 의해 비매칭 영역으로 할당될 동작 벡터를 판정한다.
일반적으로는, 때때로 동화상은 두 프레임들로부터 동작 벡터들이 추출될 수 없는 소위 암영역(dark area)을 포함한다. 상기 보간 프레임 작성 장치(14)는 복수의 프레임들을 이용함에 의해 그러한 암영역에 적합한 화상을 할당할 수 있다.
도 34에 도시된 바와 같이, 상기 보간 프레임 작성 장치(14)는 상기 제1 참조 프레임(200), 제2 참조 프레임(300) 및 그 사이의 보간 프레임(400)에 더하여 제3 참조 프레임(600) 및 제4 참조 프레임(700)을 이용한다. 상기 제3 참조 프레임(600)은 상기 제1 참조 프레임(200) 보다 시점상으로 앞선 프레임이며, 상기 제4 참조 프레임(700)은 상기 제2 참조 프레임(300) 보다 시점상으로 뒤진 프레임이다.
도 35에 도시된 바와 같이, 비매칭 동작 벡터 할당에 있어서(S208), 비매칭 동작 벡터 할당 유닛(130)은 비매칭 영역 HP0에 인접한 보간 블록들의 각 동작 벡 터들을 추출하며(S242), 추출된 동작 벡터들 MVk의 각각에 기반하여 제1 내지 제4 참조 프레임들(200, 300, 600, 700)에 대응되는 픽셀들 HP1k, HP2k, HP3k 및 HP4k을 추출한다(S260).
다음으로, 상기 비매칭 동작 벡터 할당 유닛(130)은 상기 제1 참조 프레임(200) 내의 픽셀 HP1k 및 제2 참조 프레임(300) 내의 픽셀 HP2k 간의 상관성을 계산한다(S262). 다음으로, 상기 비매칭 동작 벡터 할당 유닛(130)은 제1 참조 프레임(200) 내의 픽셀 HP1k 및 제3 참조 프레임(600) 내의 픽셀 HP3k 사이의 상관성을 계산한다(S264). 다음으로, 상기 비매칭 동작 벡터 할당 유닛(130)은 제2 참조 프레임(300) 내의 픽셀 HP2k 및 제4 참조 프레임(700) 내의 픽셀 HP4k 간의 상관성을 계산한다(S266).
계산된 상관성에 기반하여, 상기 비매칭 동작 벡터 할당 유닛(130)은, 상기 계산된 상관성 중 가장 높은 상관성을 갖는 픽셀들의 조합에 대응되는 동작 벡터를, 픽셀 HP0p에 할당될 동작 벡터로서 선택한다(S268). 상기 비매칭 동작 벡터 할당 유닛(130)이 비매칭 영역 HP0 내의 모든 픽셀에 대해 상기 처리를 수행한 때(S270에서의 '예'), 상기 비매칭 동작 벡터 할당이 종료된다(S208).
도 36에 도시된 상기 보간 프레임(400)은 도 37에 도시된 바와 같이 매칭 영역(402) 및 비매칭 영역(404)으로 나뉜다. 픽셀 HP01에 대한 동작 벡터 계산에 있어서, 픽셀 HP32 및 HP12 간의 계산된 상관성이 가장 높다. 따라서, 상기 픽셀들 HP32 및 HP12에 대응되는 동작 벡터가 픽셀 HP01에 대해 선택된다.
상기 보간 프레임 작성 장치(14)에 의해 수행된 다른 처리 및 다른 구성은 상기 보간 프레임 작성 장치(13)에서의 처리 및 구성과 동일하다.
도 38에 도시된 바와 같이, 본 발명의 제6 실시예에 따른 보간 프레임 작성 장치(15)의 기능적 구성은 상기 보간 프레임 작성 장치(13, 14)의 구성과 유사하다. 도 39에 도시된 바와 같이, 비매칭 동작 벡터 할당(S208)에 있어서, 상기 보간 프레임 작성 장치(15) 내에, 비매칭 동작 벡터 할당 유닛(132)은 각 프레임 내의 픽셀들 간의 계산된 상관성에 기반하여 동작 벡터를 선택하고(S268), 이후 선택된 동작 벡터에 의해 구체화된 두 픽셀 간의 절대차를 임계치와 비교한다. 상기 절대차가 상기 임계치보다 작은 경우, 즉 상관성이 높은 경우(S280에서의 '예'), 상기 비매칭 동작 벡터 할당 유닛(132)은 상기 동작 벡터를 픽셀 HP0p를 위한 동작 벡터로 판정한다(S282). 반대로, 상기 절대차가 상기 임계치보다 큰 경우, 즉 상관성이 낮은 경우(S280에서의 '아니오'), 상기 동작 벡터는 이용되지 않으며, 상기 픽셀 HP0p는 비검출 영역으로 판정된다(S284).
상기 비검출 영역에 대응되는 보간 프레임 내의 영역에 대해, 동작 벡터는 상기 움직임 보상에서의 비매칭 영역을 이용함에 의한 움직임 추정을 통해 판정된다(S210). 도 40에서 도시된 바와 같이, 예를 들어, 상기 움직임 추정은, 상기 보간 프레임(400) 내의 비매칭 영역 내의 픽셀 HP02, 상기 제1 참조 프레임(200) 내의 비매칭 영역, 및 제3 참조 프레임(600)을 이용함에 의해 수행된다. 더욱이, 상기 움직임 추정은, 픽셀 HP02, 제2 참조 프레임(300) 내의 비매칭 영역, 및 제4 참조 프레임(700)을 이용함에 의해 수행된다. 상기 움직임 추정의 결과에 기반하여, 동작 벡터가 판정된다.
따라서, 상기 제1 참조 프레임 및 제2 참조 프레임 내의 상관성이 낮은 영역만 움직임 추정을 위해 이용되는 제한 때문에, 처리가 예정된 영역들이 제한될 수 있어서, 처리의 효율을 개선한다. 더욱이, 이는 움직임 추정의 정확도를 개선할 수 있다.
상기 보간 프레임 작성 장치(15)에 의해 수행된 다른 처리 및 다른 구성은 상기 보간 프레임 작성 장치(13, 14)의 처리 및 구성과 동일하다.
제6 실시예의 변경에 따르면, 제4 실시예 내의 비매칭 동작 벡터 할당(S208)은 제6 실시예 내의 비매칭 동작 벡터 할당과 조합될 수 있다. 구체적으로, 동작 벡터는, 제4 실시예에서 설명된 바와 같은 비매칭 동작 벡터 할당(S208)과 유사하게, 상기 제1 참조 프레임 및 제2 참조 프레임을 이용함에 의해 선택될 수 있다. 상기 동작 벡터와 관련된 상관성이 낮은 경우, 다른 동작 벡터는 제6 실시예에서 설명된 바와 같은 비매칭 동작 벡터 할당(S208)과 유사하게 제3 참조 프레임 및 제4 참조 프레임에 기반하여 추가로 선택된다. 이는 벡터 검출의 정확도를 개선할 수 있으며, 더욱이, 정확한 보간 프레임을 작성할 수 있다.
다른 장점들 및 변경들이 해당 분야의 통상의 지식을 가진 자들에 의해 쉽게 가능할 것이다. 따라서, 넓은 측면에서의 본 발명은 본 명세서에 기술된 예시적 실시예 및 구체적 상세사항들에 제한되지 않는다. 따라서, 다양한 변경들이 첨부된 청구항들 및 그들의 동등물에 의해 정의된 통상의 발명 개념의 범위 및 사상으로부터 벗어남이 없이 수행될 수 있다.

Claims (14)

  1. 제1 참조 프레임 및 제2 참조 프레임 사이의 보간 프레임을 보간하는 보간 프레임 작성 장치로서, 상기 장치가,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임을 참조함에 의해 상기 보간 프레임 내의 각 보간 블록의 기본(primary) 동작 벡터를 검출하는 동작 벡터 검출 유닛;
    상기 제1 참조 프레임 내의 제1 참조 블록 내에서 제1 매칭 영역, 상기 제2 참조 프레임 내의 제2 참조 블록 내에서 제2 매칭 영역, 상기 제1 참조 블록 내에서 제1 비매칭 영역 및 상기 제2 참조 블록 내에서 제2 비매칭 영역을 검출하는 영역 검출 유닛;
    상기 각 보간 블록의 기본 동작 벡터를 상기 각 보간 블록 내의 보간 매칭 영역으로 할당하는 할당 유닛;
    보간 비매칭 영역 주위의 주변 보간 블록들에 기반하여 각 보간 블록 내의 상기 보간 비매칭 영역으로 할당될 제2(secondary) 동작 벡터를 고정하는 고정 유닛; 및
    상기 할당 유닛에 의해 상기 보간 매칭 영역으로 할당된 상기 기본 동작 벡터 및 상기 고정 유닛에 의해 상기 보간 비매칭 영역에 대해 고정된 제2 동작 벡터 중의 적어도 하나의 동작 벡터 모두에 기반하여 상기 보간 프레임으로 화상을 할당하는 움직임 보상 유닛을 포함하되,
    상기 제1 매칭 영역 및 제2 매칭 영역 모두 매칭이며 서로 대응되고, 상기 제1 비매칭 영역 및 상기 제2 비매칭 영역 모두 비매칭이며 서로 대응되고, 상기 제1 참조 블록 및 제2 참조 블록 모두 상기 보간 블록과 동일한 형태 및 같은 크기를 가지며, 상기 제1 참조 블록 및 제2 참조 블록의 각각이 상기 보간 블록의 상기 기본 동작 벡터에 기반하여 특정되며,
    상기 보간 매칭 영역은 상기 제1 매칭 영역 및 제2 매칭 영역에 대응되며,
    상기 보간 비매칭 영역은 상기 제1 비매칭 영역 및 제2 비매칭 영역에 대응되며, 상기 제1 비매칭 영역 및 제2 비매칭 영역은 상기 영역 검출 유닛에 의해 서로 비매칭인 것으로 판정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  2. 제1항에 있어서,
    상기 고정 유닛은 상기 보간 비매칭 영역 주위의 주변 보간 블록들의 적어도 하나의 기본 동작 벡터로부터 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  3. 제2항에 있어서,
    상기 보간 비매칭 영역 주위에 주변 보간 블록들의 복수의 기본 동작 벡터들이 있는 때, 상기 고정 유닛은 상기 제1 참조 블록 내의 영역 및 상기 제2 참조 블록 내의 영역 간의 상관성에 기반하여 상기 복수의 기본 동작 벡터들로부터 제2 동작 벡터를 고정하되, 각 영역은 상기 복수의 기본 동작 벡터들의 각각 및 상기 보 간 비매칭 영역에 기반하여 특정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  4. 제3항에 있어서,
    상기 보간 비매칭 영역 주위에 주변 보간 블록들의 복수의 기본 동작 벡터들이 있는 때, 상기 고정 유닛은 상기 제1 참조 블록 내의 영역, 제2 참조 블록 내의 영역 및 제3 참조 프레임의 제3 참조 블록 내의 영역 간의 상관성에 기반하여 복수의 기본 동작 벡터들로부터 상기 제2 동작 벡터를 고정하되, 각 영역은 상기 복수의 기본 동작 벡터들의 각각 및 상기 보간 비매칭 영역에 기반하여 특정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  5. 제4항에 있어서,
    상기 보간 비매칭 영역 주위에 상기 주변 보간 블록들의 복수의 기본 동작 벡터들이 있는 때, 상기 고정 유닛은 상기 제1 비매칭 영역 내의 영역, 상기 제2 비매칭 영역 내의 영역 및 상기 제3 참조 블록 내의 영역 간의 상관성에 기반하여 상기 복수의 기본 동작 벡터들로부터 상기 제2 동작 벡터를 고정하되, 각 영역은 상기 복수의 기본 동작 벡터들 각각 및 보간 비매칭 영역에 기반하여 특정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  6. 제1항에 있어서,
    상기 제1 비매칭 영역 및 제2 비매칭 영역 간의 상관성이 임계치보다 높은 경우, 상기 고정 유닛은 상기 보간 비매칭 영역 주위의 상기 주변 보간 블록들에 기반하여 상기 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  7. 제6항에 있어서,
    상기 보간 비매칭 영역 주위에 상기 주변 보간 블록들의 복수의 기본 동작 벡터들이 있는 때 및 상기 제1 비매칭 영역 및 제2 비매칭 영역이 임계치보다 낮은 상관성을 갖는 때, 상기 고정 유닛은 상기 제1 참조 블록 내의 영역, 상기 제2 참조 블록 내의 영역, 및 제3 참조 프레임의 제3 참조 블록 내의 영역 간의 상관성에 기반하여 상기 복수의 기본 동작 벡터들로부터 상기 제2 동작 벡터를 고정하며, 각 영역은 상기 복수의 기본 동작 벡터들의 각각 및 상기 보간 비매칭 영역에 기반하여 특정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  8. 제1항에 있어서,
    상기 보간 비매칭 영역 내에 포함된 픽셀들의 수가 임계치보다 작은 경우, 상기 보간 비매칭 영역은 보간 매칭 영역으로 변환되고, 변환된 보간 매칭 영역에는 상기 보간 블록의 기본 동작 벡터가 할당되는 것을 특징으로 하는 보간 프레임 작성 장치.
  9. 제1 참조 프레임 및 제2 참조 프레임 사이에 보간 프레임을 보간하는 보간 프레임 작성 장치로서, 상기 장치가,
    상기 제1 참조 프레임 및 상기 제2 참조 프레임을 참조함에 의해 제1 참조 블록의 기본 동작 벡터를 검출하는 동작 벡터 검출 유닛;
    상기 제1 참조 블록 내의 제1 매칭 영역 및 상기 제2 참조 프레임 내의 제2 참조 블록 내의 제2 매칭 영역, 상기 제1 참조 블록 내의 제1 비매칭 영역 및 상기 제2 참조 블록 내의 제2 비매칭 영역을 검출하는 영역 검출 유닛;
    상기 기본 동작 벡터를 상기 제1 매칭 영역에 할당하는 할당 유닛;
    상기 제1 비매칭 영역 주위의 주변 제1 참조 블록들에 기반하여 상기 제1 참조 블록 내의 제1 비매칭 영역에 할당될 제2 동작 벡터를 고정하는 고정 유닛; 및
    상기 할당 유닛에 의해 상기 제1 매칭 영역으로 할당된 상기 기본 동작 벡터 및 상기 고정 유닛에 의해 상기 제1 비매칭 영역에 대해 고정된 상기 제2 동작 벡터 중의 적어도 하나의 동작 벡터의 모두에 기반하여 상기 보간 프레임으로 화상을 할당하는 움직임 보상 유닛을 포함하되,
    상기 제1 참조 블록은 상기 제1 참조 프레임을 나눔에 의해 얻어지며,
    상기 제1 매칭 영역 및 제2 매칭 영역이 매칭이고 서로 대응되며, 상기 제1 비매칭 영역 및 상기 제2 비매칭 영역 모두가 비매칭이며 서로 대응되고, 상기 제2 참조 블록은 상기 제1 참조 블록과 동일한 크기 및 동일한 형태를 가지며, 상기 제2 참조 블록 내의 상기 제2 매칭 영역이 상기 제1 참조 블록의 상기 기본 동작 벡터에 기반하여 특정되며,
    상기 제1 비매칭 영역은 상기 영역 검출 유닛에 의해 비매칭으로 판정되는 것을 특징으로 하는 보간 프레임 작성 장치.
  10. 제9항에 있어서,
    상기 고정 유닛은 상기 제1 비매칭 영역 주위의 상기 주변 제1 참조 블록들의 적어도 하나의 기본 동작 벡터로부터 상기 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  11. 제10항에 있어서,
    상기 제1 비매칭 영역 주위에 상기 주변 제1 참조 블록들의 복수의 기본 동작 벡터들이 있는 경우, 상기 고정 유닛은 상기 복수의 기본 동작 벡터들의 각각 및 상기 제1 비매칭 영역에 기반하여 특정된 상기 제2 참조 블록 내의 영역 및 상기 제1 비매칭 영역 간의 상관성에 기반하여 상기 복수의 기본 동작 벡터들로부터 상기 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  12. 제11항에 있어서,
    상기 고정 유닛은 상기 상관성이 가장 높은 값을 제공하기 위해 상기 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  13. 제9항에 있어서,
    상기 영역 검출 유닛에 의해 비매칭으로 판정된 상기 제2 참조 블록 내의 제2 비매칭 영역 및 상기 제1 비매칭 영역 간의 상관성이 임계치보다 높은 경우, 상기 고정 유닛은 상기 제1 비매칭 영역 주위의 상기 주변 제1 참조 블록들에 기반하여 상기 제2 동작 벡터를 고정하는 것을 특징으로 하는 보간 프레임 작성 장치.
  14. 제9항에 있어서,
    상기 제1 참조 블록 내의 제1 비매칭 영역 내에 포함된 픽셀들의 수가 임계치보다 작은 경우, 상기 제1 비매칭 영역은 매칭 영역으로 변환되고, 변환된 매칭 영역에는 상기 제1 참조 블록의 기본 동작 벡터가 할당되는 것을 특징으로 하는 보간 프레임 작성 장치.
KR20070019581A 2006-03-30 2007-02-27 보간 프레임 작성 장치 KR100870278B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006095941A JP4417918B2 (ja) 2006-03-30 2006-03-30 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JPJP-P-2006-00095941 2006-03-30

Publications (2)

Publication Number Publication Date
KR20070098496A KR20070098496A (ko) 2007-10-05
KR100870278B1 true KR100870278B1 (ko) 2008-11-25

Family

ID=38190603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070019581A KR100870278B1 (ko) 2006-03-30 2007-02-27 보간 프레임 작성 장치

Country Status (5)

Country Link
US (1) US7936950B2 (ko)
EP (1) EP1841234A3 (ko)
JP (1) JP4417918B2 (ko)
KR (1) KR100870278B1 (ko)
CN (1) CN101047779A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138922B1 (ko) 2010-07-07 2012-05-14 중앙대학교 산학협력단 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763917B1 (ko) * 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
JP4322904B2 (ja) * 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
US20100020879A1 (en) * 2006-12-21 2010-01-28 Thomson Licensing Method for decoding a block of a video image
JP5106203B2 (ja) * 2008-03-27 2012-12-26 株式会社東芝 補間画像生成装置、方法およびプログラム
US9001271B2 (en) * 2008-06-20 2015-04-07 Mediatek Inc. Method and related apparatus for generating interpolated frame according to spatial relationship result and temporal matching difference
CN101626508A (zh) * 2008-07-11 2010-01-13 宝利微电子系统控股公司 一种判断帧率提升中闭塞区域的方法
CN101753795B (zh) * 2008-12-16 2012-05-16 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置
TWI423666B (zh) * 2008-12-31 2014-01-11 Altek Corp Image elimination method for image sequence
KR101573400B1 (ko) * 2009-02-18 2015-12-02 삼성디스플레이 주식회사 액정 표시 장치 및 그 구동 방법
US8289444B2 (en) * 2009-05-06 2012-10-16 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
CA2714932A1 (en) * 2009-09-23 2011-03-23 Her Majesty The Queen In The Right Of Canada As Represented By The Minister Of Industry Image interpolation for motion/disparity compensation
TWI408621B (zh) * 2009-11-17 2013-09-11 Mstar Semiconductor Inc 影像插補處理裝置及其方法
JP5669523B2 (ja) * 2010-07-06 2015-02-12 三菱電機株式会社 フレーム補間装置及び方法、並びにプログラム及び記録媒体
JP5791241B2 (ja) * 2010-07-16 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、およびプログラム
EP2421266A1 (en) * 2010-08-19 2012-02-22 Thomson Licensing Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
CN102413270B (zh) * 2011-11-21 2014-02-19 晶门科技（深圳）有限公司 校正边界区域运动向量的方法和装置
TW201322777A (zh) * 2011-11-25 2013-06-01 Novatek Microelectronics Corp 偵測背景移動向量的方法
CN112770015B (zh) * 2020-12-29 2022-09-13 紫光展锐(重庆)科技有限公司 一种数据处理方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149421A (ja) * 1994-11-22 1996-06-07 Oki Electric Ind Co Ltd 動きベクトルを用いた動き内挿方法および動き内挿回路
JPH09168154A (ja) * 1995-12-15 1997-06-24 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像符号化方法及び装置
KR20050057707A (ko) * 2003-12-10 2005-06-16 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400076A (en) * 1991-11-30 1995-03-21 Sony Corporation Compressed motion picture signal expander with error concealment
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP3840129B2 (ja) 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
JP4198550B2 (ja) 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP4220284B2 (ja) 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP4080951B2 (ja) 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
US7336707B2 (en) * 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1578137A2 (en) * 2004-03-17 2005-09-21 Matsushita Electric Industrial Co., Ltd. Moving picture coding apparatus with multistep interpolation process
JP4198624B2 (ja) 2004-03-29 2008-12-17 株式会社東芝 補間画像生成装置、方法およびプログラム
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149421A (ja) * 1994-11-22 1996-06-07 Oki Electric Ind Co Ltd 動きベクトルを用いた動き内挿方法および動き内挿回路
JPH09168154A (ja) * 1995-12-15 1997-06-24 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像符号化方法及び装置
KR20050057707A (ko) * 2003-12-10 2005-06-16 삼성전자주식회사 적응적 움직임 보상 보간 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138922B1 (ko) 2010-07-07 2012-05-14 중앙대학교 산학협력단 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법

Also Published As

Publication number Publication date
CN101047779A (zh) 2007-10-03
US7936950B2 (en) 2011-05-03
US20070230830A1 (en) 2007-10-04
JP2007274221A (ja) 2007-10-18
EP1841234A3 (en) 2011-03-16
KR20070098496A (ko) 2007-10-05
EP1841234A2 (en) 2007-10-03
JP4417918B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
KR100870278B1 (ko) 보간 프레임 작성 장치
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
JP3640257B2 (ja) 動画像の画素を分類して画素の動きベクトルの予測フィールドを決定する方法
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
CN106254885B (zh) 数据处理系统、执行运动估计的方法
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
US8189104B2 (en) Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
WO2012066866A1 (ja) 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法
KR101050135B1 (ko) 광류 정보를 이용한 중간 영상 생성 방법
KR100969420B1 (ko) 프레임 레이트 변환 방법
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
JP2006521740A (ja) 動きベクトル決定方法
JP4890464B2 (ja) 動き補償されたピクチャを生成する方法及び装置
JP2008242839A (ja) 画像処理装置及びその方法
KR20110034242A (ko) 객체의 가려지는 영역에 대해서 움직임 벡터를 할당하는 방법
JP5824937B2 (ja) 動きベクトル導出装置および方法
JP2014007658A (ja) 動きベクトル導出装置、方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee