KR20100062301A - 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 - Google Patents

블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 Download PDF

Info

Publication number
KR20100062301A
KR20100062301A KR1020080120868A KR20080120868A KR20100062301A KR 20100062301 A KR20100062301 A KR 20100062301A KR 1020080120868 A KR1020080120868 A KR 1020080120868A KR 20080120868 A KR20080120868 A KR 20080120868A KR 20100062301 A KR20100062301 A KR 20100062301A
Authority
KR
South Korea
Prior art keywords
block
motion
motion estimation
blocks
combined
Prior art date
Application number
KR1020080120868A
Other languages
English (en)
Other versions
KR101548269B1 (ko
Inventor
조양호
이호영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080120868A priority Critical patent/KR101548269B1/ko
Priority to US12/591,798 priority patent/US8599922B2/en
Publication of KR20100062301A publication Critical patent/KR20100062301A/ko
Application granted granted Critical
Publication of KR101548269B1 publication Critical patent/KR101548269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

블록 결합 및 분할을 이용한 움직임 추정 장치 및 방법이 제공된다. 움직임 추정 장치는 움직임 추정 오류가 기준치 이상인 블록의 경우 인접 블록과 결합하여 결합된 블록을 통해 움직임 추정을 수행하여 프레임률을 향상시켜 보간된 영상에서 아티팩트 현상을 감소시킬 수 있다.
Figure P1020080120868
계층, 블록, 분할, 결합, 움직임, 추정, 프레임률, 향상

Description

블록 분할 및 결합을 통한 움직임 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING MOTION BY BLOCK SEGMENTATION AND COMBINATION}
본 발명의 일실시예들은 계층적 블록 분할 및 결합을 통한 움직임 추정을 기반으로 하여 프레임률을 향상시키는 기술에 관한 것이다.
일반적으로 비디오 시퀀스에서의 이미지 블록들 사이의 움직임 추정 기술은 디지털 신호 처리에서 FRC(Frame Rate up Conversion), IPC(Interaced to Progressive Conversion) 등과 같은 영상 처리에 있어서 필수적으로 수행되고 있다.
이러한 움직임 추정 기술은 블록 매칭 알고리즘(block matching algorithm)을 이용하여 연속 입력되는 두 장의 프레임인 이전 프레임과 현재 프레임을 블록 단위로 비교하여 블록당 하나의 움직임 벡터를 추정하는 것이다. 이때 움직임 벡터는 움직임 예측 오차값을 이용하여 추정되며, 움직임 보상 과정에서 추정된 움직임 벡터를 이용하여 움직임 보상을 수행한다.
종래 움직임 추정 방법은 고정된 형태의 블록 단위로 움직임 추정이 적용되므로 해당 블록에서 이전과 다른 움직임이 발생되는 경계 지점이거나 폐쇄 영역 등 으로 인하여 정확한 움직임 벡터를 추정할 수 없는 경우가 대부분이므로 움직임 추정 오류가 크게 발생하게 된다.
본 발명의 일실시예에 따른 움직임 추정 장치는 입력 영상에 대한 움직임 추정 오류가 기준치보다 큰 블록들을 결합하는 블록 결합부 및 상기 결합된 블록에 대해 움직임을 추정하는 블록 결합 움직임 추정부를 포함한다.
본 발명의 일실시예에 따른 움직임 추정 방법은 입력 영상에 대한 움직임 추정 오류가 기준치보다 큰 블록들을 결합하는 단계 및 상기 결합된 블록에 대해 움직임을 추정하는 단계를 포함한다.
본 발명의 일실시예에 따르면, 움직임 추정의 오류가 크게 발생하는 블록의 경우 인접 블록과 결합하여 움직임 추정을 수행함으로써 블록간 움직임 추정의 변이가 크게 발생하는 것이 감소됨에 따라 프레임률 향상을 위해 보간된 영상에서 블로킹 아티팩트(blocking artifact)가 감소될 수 있다.
또한 본 발명의 일실시예에 따르면, 블록의 크기를 계층적으로 분할한 뒤 재결합하여 움직임을 추정함으로써 경계 지점에서 정확한 움직인 벡터값을 확보할 수 있기 때문에 영상의 경계를 포함하는 블록이 동일 방향으로 움직임 벡터가 할당되는 문제점을 해결하여 보간된 영상에서 보다 정확한 경계가 표현될 수 있다.
이하, 본 발명의 일실시예에 따른 움직임 추정 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 움직임 추정 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 움직임 추정 장치(100)는 초기 움직임 추정부(110), 블록 결합부(120), 블록 결합 움직임 추정부(130) 및 블록 분할부(140)를 포함한다.
초기 움직임 추정부(110)는 입력 영상에 대해 블록별 초기 움직임 벡터를 추정한다. 상기 초기 움직임 벡터는 다양한 움직임 추정 기법으로 추정될 수 있으며, 사용된 움직임 추정 기법의 정확도에 따라 가변 블록 형태로 움직임 벡터를 갱신하는 블록의 개수도 가변된다.
본 발명의 일실시예에 따른 움직임 추정 장치(100)는 상기 추정된 초기 움직임 벡터의 정확도가 높을수록 움직임 벡터의 갱신 과정의 연산량이 감소하며 정확도도 증가한다.
하지만, 초기 움직임 추정부(110)에 의한 움직임 추정 오류가 크게 발생하는 것은 해당 블록에서 이전과 다른 움직임이 발생되는 경계 지점이거나, 폐색 영역 등으로 인하여 정확한 움직임 벡터를 추정할 수 없는 경우가 대부분이다. 이러한 블록에서 초기 움직임 추정과 동일한 크기의 블록 단위로 움직임 벡터를 보정하는 과정은 부분적인 최적화 과정만 적용되게 되는 문제점이 발생한다. 즉, 폐색 영역과 같이 프레임간에 대응점이 없는 블록에서는 블록간 추정된 움직임 벡터의 분산이 상당히 크게 발생된다. 이러한 경우 보간된 프레임에서는 경계가 불규칙하게 재생되는 블로킹 아티팩트(blocking artifact)와 같은 화질의 열화가 발생된다.
그러므로, 본 발명의 일실시예에 따른 움직임 추정 장치(100)는 블록 결합부(120)를 통해 상기 움직임 추정 오류가 큰 블록들을 결합하고, 블록 결합 움직임 추정부(130)를 통해 상기 결합된 블록에 대하여 최적화된 움직임 벡터를 추정함으로써 전반적으로 최적화된 움직임 벡터를 추정한다.
블록 결합부(120)는 초기 움직임 추정부(110)에서 발생된 움직임 추정의 오류가 기준치 이상인 경우, 블록 결합 과정을 수행한다. 즉, 블록 결합부(120)는 상기 움직임 추정 오류가 상기 기준치보다 큰 블록을 기준으로 인접한 인접 블록들 중 움직임 추정 오류가 상기 기준치보다 큰 볼록이 있는지 여부를 판단하고, 상기 움직임 추정 오류가 상기 기준치보다 큰 블록들을 결합한다.
이와 같이, 본 발명의 일실시예에 따른 움직임 추정 장치(100)는 문제점이 발생되는 블록들을 결합하고, 초기 설정된 블록의 크기보다 큰 단위로 움직임 추정을 수행함으로써 블록간 움직임 벡터의 상관성이 증가하도록 한다.
또한 본 발명의 일실시예에 따른 움직임 추정 장치(100)는 결합된 블록에서 추정된 움직임 벡터가 동일하게 각 블록에 할당되므로 블록간 움직임 벡터의 변이가 감소하여 보간된 영상에서 화질 열화는 인지 되지 않게 되는 장점이 있다.
도 2는 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 2를 참조하면, 입력 영상(200)에서 움직임 추정의 오류가 기준치보다 큰 블록들은 사선으로 표시되며, C0는 현재 움직임 추정이 처리되고 있는 현재 처리 블 록(210)을 의미한다. 현재 처리 블록(C0, 210)과 인접한 인접 블록들이 포함된 인접 영역(220)을 점선으로 표시되어 있다. 인접 영역(220)내에 있는 인접 블록들 중에 움직임 추정 오류가 기준치 이상인 블록이 있다면, 이들 블록들은 도 3에 도시된 것과 같이 결합된다.
이와 같이, 블록 결합부(120)는 상기 움직임 추정 오류가 상기 기준치보다 큰 블록인 현재 처리 블록(210)을 기준으로 인접한 인접 블록들 중 움직임 추정 오류가 상기 기준치보다 큰 볼록이 있는지 여부를 판단하고, 상기 움직임 추정 오류가 상기 기준치보다 큰 블록들을 결합한다.
도 3은 인접 블록을 고려하여 블록 재결합 결과의 일례를 나타내는 도면이다.
도 3을 참조하면, 인접 블록을 고려하여 블록 재결합 결과(300)는 결합된 블록(block grouping)(310)이 굵은 실선으로 연결되어 표시되어 있다. 결합된 블록(310)은 도 2에 도시된 것과 같은 현재 처리 블록(210)에 대해 인접 영역(220)에 포함된 인접 블록들 중에서 움직임 추정 오류가 기준치 이상인 인접 블록들과 현재 처리 블록(210)이 결합된 것이다.
도 4는 C0를 기준으로 결합된 블록에서 인접 블록의 움직임 벡터를 이용하는 일례를 나타내는 도면이다.
도 4를 참조하면, 블록 결합 움직임 추정부(130)는 결합된 블록(310)과 인접한 인접 블록(Neighborhood blocks, N0~N011)을 포함하는 영상 데이터(400)에서 결 합된 블록(310)에 대해 상기 인접 블록(N0~N011)의 움직임 벡터를 후보로 하여 움직임을 추정한다. 여기서 Ni(i = 0~11)는 인접 블록을 나타내고, 인접 블록들 중에서도 예를 들어, N3, N10, N11과 같이 움직임 추정 오류가 기준치보다 큰 블록의 움직임 벡터는 후보 벡터로 사용하지 않는다. 블록 결합 움직임 추정부(130)는 상기 인접 블록의 움직임 벡터를 기준으로 x축 및 y축 방향으로 일정 범위 내의 탐색 영역에 대해 움직임 추정을 수행한다. 일례로 블록 결합 움직임 추정부(130)는 상기 인접 블록들 중 상기 움직임 추정 오류가 기준치보다 큰 블록(N3, N10, N11)을 제외한 나머지 인접 블록(N0~N2, N4~N9)의 움직임 벡터를 기준으로 일정 범위 내의 탐색 영역에 대해 움직임을 추정할 수 있다. 최종적으로 결합된 블록의 움직임 벡터는 인접 블록의 움직임 벡터 가운데 선택되므로 불규칙적임 움직임 벡터가 추정되는 것을 방지하여 블록간 움직임 벡터의 상관성이 증가하게 된다.
도 5는 재결합된 블록의 움직임을 추정한 후 처리된 블록 및 블록 재결합 결과의 일례를 나타내는 도면이다.
도 5를 참조하면, 도 2의 C 0 블록(210)을 기준으로 블록 결합한 후 움직임 추정을 수행하였을 경우, 사선으로 표시된 P 0 과 P 1 블록은 움직임 벡터를 갱신 후, 움직임 추정 오류가 기준값 이하로 된 블록이다.
이와 반대로 도 2의 C 0 블록의 오른쪽 블록인 도 5의 C 1 블록의 경우, C 0 를 기준으로 한 블록 결합 움직임 추정을 통해서도, 움직임 추정 오류가 기준치 이하 로 감소하지 못한 경우이다.
따라서 이 경우에는 다시 C 1 블록을 기준으로 인접한 블록을 결합한 뒤, 도 6에 도시된 것과 같이 블록 결합 움직임 추정부(130)는 상기 인접한 블록의 움직임 벡터를 기준으로 움직임 추정을 수행한다.
도 6은 C1를 기준으로 결합된 블록에서 인접 블록의 움직임 벡터를 이용하는 일례를 나타내는 도면이다.
도 6을 참조하면, 블록 결합부(120)는 C1를 기준으로 8개의 인접한 블록을 결합하고, 블록 결합 움직임 추정부(130)는 상기 결합된 블록에 상기 인접한 블록의 움직임 벡터를 후보로 하여 움직임 추정을 수행한다.
도 7은 블록 분할 과정의 일례를 나타내는 도면이다.
도 7을 참조하면, 블록 분할부(140)는 상기 움직임을 추정한 블록의 크기를 각각 가로 및 세로 방향으로 분할한다. 기본 영상 데이터(700)는 N×M 크기의 블록(701)들로 구성되며, 제1 영상 데이터(710)는 N/2×M/2 크기의 분할 블록(711)들로 구성되며, 제2 영상 데이터(720)는 N/4×M/4 크기의 분할 블록(721)들로 구성된다. 일례로 블록 분할부(140)는 N×M 크기의 기본 블록(701)을 4등분하여 N/2×M/2 크기의 분할 블록(711)으로 분할할 수 있고, N/2×M/2 크기의 분할 블록(711)을 다시 4등분하여 N/4×M/4 크기의 분할 블록(721)으로 분할할 수 있다. 이와 같이, 블록 분할부(140)는 알고리즘의 복잡도를 고려하여 최소 분할 단위를 결정할 수 있으며, 도 1에 나타난 것과 같이 화소 단위의 움직임 벡터까지 반복 적용하여 블록을 분할할 수 있다.
도 8은 분할된 블록에 움직임 벡터 할당 및 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 8을 참조하면, 블록 분할부(140)는 블록이 분할되기 이전 영상 데이터(800)의 각 블록에 대해 추정된 움직임 벡터를 분할된 영상 데이터(810)의 각 분할된 블록에 할당한다.
도 9는 재분할된 블록에서 움직임 벡터 할당 및 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 9를 참조하면, 영상 데이터(900)에서 경계 지점에 대한 움직임 추정 오류가 기준치보다 큰 블록들이 포함된 일부 영상 데이터(910)를 나타낸다. 즉, 일부 영상 데이터(910)는 영상 데이터(900)에 포함된 경계 지점에서 발생할 수 있는 움직임 추정 오류가 기준치보다 큰 블록들을 가지는 부분이다.
블록 결합부(120)는 상기 경계 지점에서 움직임 추정 오류가 기준치보다 큰 블록이 포함된 일부 영상 데이터(910)에서 상기 움직임 추정 오류가 기준치보다 큰 블록과 인접한 인접 블록의 움직임 추정 오류가 기준치보다 크면, 상기 인접한 블록들을 재결합할 수 있다.
블록 결합 움직임 추정부(130)는 상기 재결합된 블록들과 인접한 인접 블록들 중에서 움직임 추정 오류가 기준치보다 큰 인접 블록을 제외하고, 상기 움직임 추정 오류가 기준치보다 작은 인접 블록의 움직임 벡터를 이용하여 상기 재결합된 블록들에 대해 움직임 추정을 수행하여 화소별 움직임 벡터(MV: Moving Vector)까 지 추정할 수 있다.
도 10은 본 발명의 일실시예에 따른 움직임 추정 방법의 동작 흐름을 나타내는 도면이다.
도 1 및 도 10을 참조하면, 단계(S1010)에서 움직임 추정 장치(100)는 입력 영상에 대해 각 블록별로 초기 움직임 벡터를 추정한다. 즉, 단계(S1010)에서 움직임 추정 장치(100)는 초기 움직임 추정부(110)를 통해 일반적인 움직임 추정 방법을 이용하여 상기 입력 영상에 대해 각 블록별로 초기 움직임 벡터를 추정한다.
본 발명의 일실시예에 따른 움직임 추정 방법은 상기 추정된 초기 움직임 벡터의 정확도가 높을수록 움직임 벡터의 갱신 과정의 연산량이 감소하며 정확도가 증가할 수 있다.
하지만, 단계(S1010)에서 움직임 추정 장치(100)는 초기 움직임 추정부(110)를 통해 움직임 추정을 수행한 결과 해당 블록에서 이전과 다른 움직임이 발생되는 경계 지점이거나 폐쇄 영역 등으로 인하여 정확한 움직임 벡터를 추정할 수 없는 경우가 대부분이므로 이러한 블록에서 움직임 벡터를 추정한 결과 오류가 발생할 수 있다.
그러므로, 본 발명의 일실시예에 따른 움직임 추정 방법은 단계(S1020)에서 움직임 추정 오류가 큰 블록들을 결합하고, 단계(S1030)에서 결합된 블록에 대하여 인접 블록들 중에서 움직임 추정 오류가 기준치보다 큰 블록을 제외한 나머지 블록들을 이용하여 최적화된 움직임 벡터를 추정할 수 있다.
단계(S1020)에서 움직임 추정 장치(100)는 움직임 추정 오류가 기준치보다 큰 블록이 있는지 여부를 판단하고, 판단에 따라 블록들을 결합한다. 즉, 단계(S1020)에서 움직임 추정 장치(100)는 블록 결합부(120)를 통해 상기 추정된 초기 움직임 벡터에 대한 움직임 추정 오류가 기준치보다 큰 블록이 있는지 여부를 판단하고, 상기 움직임 추정 오류가 기준치보다 큰 블록들을 결합한다. 일례로 단계(S1020)에서 움직임 추정 장치(100)는 현재 처리 블록(210)에 대한 움직임 추정 오류가 기준치보다 큰 블록이 있는 것으로 판단되면, 현재 처리 블록(210)과 인접한 인접 블록들이 포함된 영역(220)에서 움직임 추정 오류가 기준치보다 큰 인접 블록들과 현재 처리 블록(210)을 결합하여 도 3에 도시된 것과 같이 결합된 블록(310)을 생성할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 움직임 추정 방법은 초기 움직임 벡터에 대한 추정 오류가 기준치보다 큰 블록들을 결합함에 따라 초기 설정된 블록의 크기보다 큰 단위로 움직임 추정을 수행하여 블록간 움직임 벡터의 상관성이 증가할 수 있다.
단계(S1030)에서 움직임 추정 장치(100)는 상기 결합된 블록들에 대하 움직임을 추정한다. 즉, 단계(S1030)에서 움직임 추정 장치(100)는 블록 결합 움직임 추정부(130)를 통해 상기 결합된 블록과 인접한 인접 블록의 움직임 벡터를 이용하여 상기 결합된 블록에 대한 움직임을 추정한다.
일례로 단계(S1030)에서 움직임 추정 장치(100)는 블록 결합 움직임 추정부(130)를 통해 상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추 정 오류를 상기 기준치와 비교한 결과에 따라 선택된 인접 블록을 이용하여 상기 결합된 블록들에 대해 움직임을 추정할 수 있다. 즉, 단계(S1030)에서 움직임 추정 장치(100)는 블록 결합 움직임 추정부(130)를 통해 상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 기준치보다 높은 인접 블록을 제외한 나머지 인접 블록을 선택하고, 상기 선택된 인접 블록의 움직임 벡터를 후보로 하여 상기 결합된 블록들에 대해 움직임을 추정할 수 있다.
단계(S1030)에서 움직임 추정 장치(100)는 블록 결합 움직임 추정부(130)를 통해 상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 상기 기준치보다 작은 인접 블록의 움직임 벡터를 기준으로 일정 범위 내의 탐색 영역에 대해 상기 결합된 블록들의 움직임을 추정할 수 있다.
단계(S1040)에서 움직임 추정 장치(100)는 각각 가로 및 세로 방향으로 상기 움직임이 추정된 블록을 분할한다. 즉, 단계(S1040)에서 움직임 추정 장치(100)는 블록 분할부(140)를 통해 움직임 추정이 적용된 블록의 크기를 각각 가로(x축) 및 세로(y축) 방향으로 동일하게 분할한다.
일례로 단계(S1040)에서 움직임 추정 장치(100)는 영상의 해상도 및 하드웨어의 복잡도를 고려하여 블록 분할 횟수를 지정하여 화소 단위의 움직임 추정까지 가능하도록 상기 블록을 분할할 수 있다.
또한 단계(S1040)에서 움직임 추정 장치(100)는 블록 분할부(140)를 통해 상기 블록이 분할되기 이전에 상기 블록에 대해 추정된 움직임 벡터를 상기 분할된 블록에 할당한다.
이와 같이, 본 발명의 일실시예에 따른 움직임 추정 방법은 결합된 블록에서 추정된 움직임 벡터가 동일하게 각 블록에 할당하므로 블록간 움직임 벡터의 변이가 감소하여 보간된 영상에서 화질 열화가 인지되지 않는 장점이 있다.
또한 본 발명의 일실시예에 따른 움직임 추정 방법은 영상의 경계에서 블록이 중첩되어 있을 경우 움직임 추정 오류를 감소시키기 위해 단계(S1020) 및 단계(S1030)에 의한 상기 분할된 블록에 대해 다시 블록 결합을 통한 움직임 추정을 수행할 수 있다.
따라서, 본 발명의 일실시예에 따른 움직임 추정 방법은 블록의 크기를 계층적으로 분할한 뒤 재결합하여 움직임을 추정함으로써 경계 지점에서 정확한 움직인 벡터값을 확보할 수 있기 때문에 영상의 경계를 포함하는 블록이 동일 방향으로 움직임 벡터가 할당되는 문제점을 해결하여 보간된 영상에서 보다 정확하게 경계를 표현할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 움직임 추정 장치의 구성을 나타내는 도면이다.
도 2는 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 3은 인접 블록을 고려하여 블록 재결합 결과의 일례를 나타내는 도면이다.
도 4는 C0를 기준으로 재결합된 블록에서 인접 블록의 움직임 벡터를 이용하는 일례를 나타내는 도면이다.
도 5는 재결합된 블록의 움직임 추정 후 처리된 블록 및 블록 재결합 결과의 일례를 나타내는 도면이다.
도 6은 C1를 기준으로 재결합된 블록에서 인접 블록의 움직임 벡터를 이용하는 일례를 나타내는 도면이다.
도 7은 블록 분할 과정의 일례를 나타내는 도면이다.
도 8은 분할된 블록에 움직임 벡터 할당 및 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 9는 재분할된 블록에서 움직임 벡터 할당 및 움직임 추정의 오류가 크게 발생한 블록의 일례를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 움직임 추정 방법의 동작 흐름을 나타내 는 도면이다.

Claims (14)

  1. 입력 영상에 대한 움직임 추정 오류가 기준치보다 큰 블록들을 결합하는 블록 결합부; 및
    상기 결합된 블록들에 대해 움직임을 추정하는 블록 결합 움직임 추정부
    를 포함하는 움직임 추정 장치.
  2. 제1항에 있어서,
    상기 블록 결합 움직임 추정부는,
    상기 결합된 블록들과 인접한 인접 블록들의 움직임 벡터를 이용하여 상기 결합된 블록들에 대한 움직임을 추정하는 움직임 추정 장치.
  3. 제1항에 있어서,
    상기 블록 결합부는,
    상기 움직임 추정 오류가 상기 기준치보다 큰 블록을 기준으로 인접한 인접 블록들 중 움직임 추정 오류가 상기 기준치보다 큰 볼록이 있는지 여부를 판단하고, 상기 움직임 추정 오류가 상기 기준치보다 큰 블록들을 결합하는 움직임 추정 장치.
  4. 제3항에 있어서,
    상기 블록 결합 움직임 추정부는,
    상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 기준치를 비교한 결과에 따라 인접 블록을 선택하고, 상기 선택된 인접 블록을 이용하여 상기 결합된 블록들에 대해 움직임을 추정하는 움직임 추정 장치.
  5. 제4항에 있어서,
    상기 블록 결합 움직임 추정부는,
    상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 기준치보다 높은 인접 블록을 제외한 나머지 인접 블록을 선택하고, 상기 선택된 인접 블록의 움직임 벡터를 후보로 하여 상기 결합된 블록들에 대해 움직임을 추정하는 움직임 추정 장치.
  6. 제1항에 있어서,
    상기 움직임을 추정한 블록의 크기를 각각 가로 및 세로 방향으로 분할하는 블록 분할부를 더 포함하는 움직임 추정 장치.
  7. 제6항에 있어서,
    상기 블록 분할부는,
    상기 블록이 분할되기 이전에 상기 블록에 대해 추정된 움직임 벡터를 상기 분할된 블록에 할당하는 움직임 추정 장치.
  8. 입력 영상에 대한 움직임 추정 오류가 기준치보다 큰 블록들을 결합하는 단계; 및
    상기 결합된 블록들에 대해 움직임을 추정하는 단계
    를 포함하는 움직임 추정 방법.
  9. 제8항에 있어서,
    상기 결합된 블록들에 대해 움직임을 추정하는 단계는,
    상기 움직임 추정 오류가 상기 기준치보다 크지 않은 인접 블록의 움직임 벡터를 이용하여 상기 결합된 블록들에 대한 움직임을 추정하는 움직임 추정 방법.
  10. 제8항에 있어서,
    상기 블록들을 결합하는 단계는,
    상기 움직임 추정 오류가 상기 기준치보다 큰 블록을 기준으로 인접한 블록 중 움직임 추정 오류가 상기 기준치보다 큰 볼록이 있는지 여부를 판단하고, 상기 오류가 상기 기준치보다 큰 블록들을 결합하는 움직임 추정 방법.
  11. 제10항에 있어서,
    상기 결합된 블록들에 대해 움직임을 추정하는 단계는,
    상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 기준치를 비교한 결과에 따라 인접 블록을 선택하고, 상기 선택된 인접 블록을 이용하여 상기 결합된 블록들에 대해 움직임을 추정하는 움직임 추정 방법.
  12. 제11항에 있어서,
    상기 결합된 블록들에 대해 움직임을 추정하는 단계는,
    상기 결합된 블록들과 인접한 인접 블록들 중에서 상기 움직임 추정 오류가 기준치보다 높은 인접 블록을 제외한 나머지 인접 블록을 선택하고, 상기 선택된 인접 블록의 움직임 벡터를 후보로 하여 상기 결합된 블록들에 대해 움직임을 추정하는 움직임 추정 방법.
  13. 제8항에 있어서,
    각각 가로 및 세로 방향으로 상기 움직임이 추정된 블록을 분할하는 단계를 더 포함하는 움직임 추정 방법.
  14. 제13항에 있어서,
    상기 블록을 분할하는 단계는,
    상기 블록이 분할되기 이전에 상기 블록에 대해 추정된 움직임 벡터를 상기 분할된 블록에 할당하는 움직임 추정 방법.
KR1020080120868A 2008-12-02 2008-12-02 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 KR101548269B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080120868A KR101548269B1 (ko) 2008-12-02 2008-12-02 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법
US12/591,798 US8599922B2 (en) 2008-12-02 2009-12-01 Apparatus and method of estimating motion using block division and coupling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080120868A KR101548269B1 (ko) 2008-12-02 2008-12-02 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100062301A true KR20100062301A (ko) 2010-06-10
KR101548269B1 KR101548269B1 (ko) 2015-08-31

Family

ID=42240085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080120868A KR101548269B1 (ko) 2008-12-02 2008-12-02 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법

Country Status (2)

Country Link
US (1) US8599922B2 (ko)
KR (1) KR101548269B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805649B2 (en) 2017-01-04 2020-10-13 Samsung Electronics Co., Ltd. System and method for blending multiple frames into a single frame

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508744A (en) * 1993-03-12 1996-04-16 Thomson Consumer Electronics, Inc. Video signal compression with removal of non-correlated motion vectors
US6240214B1 (en) * 1998-02-27 2001-05-29 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a binary shape signal
US6081209A (en) * 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
AU2003208559A1 (en) * 2002-04-11 2003-10-20 Koninklijke Philips Electronics N.V. Motion estimation unit and method of estimating a motion vector
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
JP3715283B2 (ja) * 2003-02-04 2005-11-09 株式会社半導体理工学研究センター 動画像の画像圧縮符号化方法及び装置
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
JP4155118B2 (ja) * 2003-06-13 2008-09-24 カシオ計算機株式会社 静止画合成装置、及び動画像からの静止画合成方法
KR100608048B1 (ko) 2003-07-18 2006-08-02 삼성전자주식회사 움직임 벡터 오류 정정 방법 및 그 장치와 이를 구현하기위한 프로그램이 기록된 기록 매체
KR100573696B1 (ko) 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
KR100708111B1 (ko) 2003-08-25 2007-04-16 삼성전자주식회사 디스플레이 기기의 색농도 조절 장치 및 방법
KR100970726B1 (ko) 2003-10-04 2010-07-16 삼성전자주식회사 계층적 움직임 추정 방법
KR20050045746A (ko) 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
KR100994768B1 (ko) 2003-12-08 2010-11-16 삼성전자주식회사 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체
KR100994773B1 (ko) 2004-03-29 2010-11-16 삼성전자주식회사 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치
KR100587562B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 비디오 프레임에 대한 움직임 추정 방법 및 비디오 인코더
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models

Also Published As

Publication number Publication date
US20100149423A1 (en) 2010-06-17
US8599922B2 (en) 2013-12-03
KR101548269B1 (ko) 2015-08-31

Similar Documents

Publication Publication Date Title
US11539976B2 (en) Motion estimation using collocated blocks
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
JP3883200B2 (ja) ブロック間の相関性を考慮した動き推定装置および方法
KR100870115B1 (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US8149915B1 (en) Refinement of motion vectors in hierarchical motion estimation
KR100870278B1 (ko) 보간 프레임 작성 장치
JP2005287048A (ja) 画像境界における動きベクトル検出の改良
JP2011508516A (ja) ハローを低減する画像補間
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
EP1980113A1 (en) Method and apparatus for block-based motion estimation
EP2297966A1 (en) Encoding system using motion estimation and encoding method using motion estimation
KR20040105866A (ko) 움직임 추정 유닛 및 움직임 벡터 추정 방법
JP2008544676A (ja) 動き推定方法
KR100969420B1 (ko) 프레임 레이트 변환 방법
US8305500B2 (en) Method of block-based motion estimation
US8509552B1 (en) Digital image processing error concealment method
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
KR20100062301A (ko) 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법
KR101359351B1 (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
JP5824937B2 (ja) 動きベクトル導出装置および方法
KR20130111498A (ko) 연산 스킵 기법에 의한 고속 스테레오 영상 정합 방법
Blume et al. Segmentation in the loop: an iterative object-based algorithm for motion estimation
JP3352687B2 (ja) イメージシーケンスのモーションを推定するため及び階層符号化するための方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 5