KR100238891B1

KR100238891B1 - 개선된 움직임 추정 장치 및 그 추정 방법

Info

Publication number: KR100238891B1
Application number: KR1019970049179A
Authority: KR
Inventors: 곽창민
Original assignee: 전주범; 대우전자주식회사
Priority date: 1997-09-26
Filing date: 1997-09-26
Publication date: 2000-01-15
Also published as: KR19990026865A

Abstract

본 발명은 하이브리드 부호화 기법을 갖는 영상 부호화에 있어서, 대각 방향의 움직임을 고려한 서브 샘플링 기법을 이용하여 현재 프레임과 재구성된 이전 프레임간의 블록 단위 움직임 추정을 고정밀하게 수행할 수 있도록 한 개선된 움직임 추정 기법에 관한 것으로, 이를 위하여 본 발명은, 현재 프레임에서 움직임을 추정하고자하는 N×N 현재 블록을 기설정된 다수의 M×M 현재 서브 블록으로 분할하고, 분할된 각 M×M 현재 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하며, 각각 결정된 대표 화소값들을 이용하여 M×M 현재 샘플링 블록을 생성하는 과정; N×N 현재 블록에 대응하는 이전 프레임의 P×P 탐색영역내 다수의 각 N×N 후보 블록을 각각 발생하고, 발생된 각 N×N 후보 블록을 기설정된 다수의 M×M 후보 서브 블록으로 각각 분할하는 과정; 분할된 각 M×M 후보 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 후보 샘플링 블록을 순차적으로 각각 생성하는 과정; 재구성된 M×M 현재 샘플링 블록과 재구성된 다수의 각 M×M 후보 샘플링 블록들간의 블록 매칭을 수행하여, 다수의 M×M 의 후보 샘플링 블록들중 하나를 N×N 현재 블록에 대응하는 최적 정합 블록으로 결정하는 과정; 및 N×N 현재 블록과 결정된 최적 정합 블록간의 변위값을 산출하여 움직임 벡터로써 추출하는 제 7 과정을 통해 움직임 추정을 수행하도록 함으로써, 대각 방향에서의 움직임 추정을 고정밀하게 수행하여 부호화의 효율 개선은 물론 재생 영상에서의 화질 개선을 도모할 수 있는 것이다.

Description

개선된 움직임 추정 장치 및 그 추정 방법

본 발명은 하이브리드 부호화 기법을 채용하여 동영상신호를 압축 부호화하는 시스템에서 영상의 움직임을 추정하는 기법에 관한 것으로, 더욱 상세하게는 현재 프레임내 블록과 재구성된 이전 프레임의 탐색영역내 후보 블록간의 블록 매칭 알고리즘을 이용하여 움직임을 추정하는 데 적합한 움직임 추정 장치 및 방법에 관한 것이다.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 "프레임"으로 구성된 영상신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이터를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은, 예를 들어 Staffan Ericsson 의 "Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding", IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 "A motion Compensated Interframe Coding Scheme for Television Pictures",IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와같이, 소정크기(예를들면, 8×8, 16×16 크기 등)의 블록단위로 현재 프레임의 블록을 재구성된 이전 프레임의 소정크기의 탐색영역(예를들면, 16×16, 32×32 영역 등)내 다수의 후보 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터(프레임간에 블록이 이동한 정도)를 추정하는 블록 단위 움직임 추정 기법(즉, 블록 매칭 알고리즘)과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로 부터 추정하여 보상하는 화소단위 움직임 추정 기법(즉, 화소 순환 알고리즘) 등을 통해 그 움직임을 추정할 수 있다.

상기와 같이 물체의 변위를 추정하는 움직임 추정 방법중, 화소 단위 움직임 추정 방법을 이용하면 변위는 각각의 화소 전부에 대해 구해진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 다량의 움직임 벡터들이 발생하는 데 실질적으로 모든 움직임 벡터를 수신기로 전송하다는 것은 불가능하다.

또한, 블록 단위 움직임 추정에서는, 현재 프레임의 소정 크기의 블럭을 이전 프레임의 소정 범위의 탐색영역내에서 한 화소씩 이동하면서 대응 블럭들과 비교하여 그 오차값이 최소인 최적 정합 블럭을 결정하며, 이것으로 부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 여기에서, 현재 프레임과 이전 프레임간의 대응하는 두 블럭간의 유사성 판단은, 이 기술분야에 잘 알려진 바와같은, 평균 절대차와 평균 제곱차 등이 주로 사용된다. 여기에서 본 발명은 블록 단위 움직임 추정 기법의 개선에 관련된다.

한편, 블록 매칭 알고리즘을 이용하여 블록간의 움직임을 추정하는 데 있어서, 현재 프레임에서 움직임을 추정하고자 하는 현재 블록이 8×8 의 블록이고 재구성된 이전 프레임의 탐색영역이 16×16 의 크기를 갖는다고 가정할 때, 8×8 의 현재 블록과 탐색영역내 다수의 8×8 후보 블록간의 블록 매칭을 통해 최적 정합 블록을 검출하는 것이 아니라, 움직임 추정에 소요되는 과다한 계산량과 하드웨어 구현상의 어려움을 해소하기 위하여, 일예로서 도 5에 도시된 바와같이, 8×8 의 현재 블록과 8×8 의 각 후보 블록(도 5a)을 각각 서브 샘플링(즉, 표본화)하여 얻은 4×4 의 샘플링 블록(도 5b)으로 재구성하고, 이 재구성된 4×4 의 현재 샘플링 블록과 4×4 의 후보 샘플링 블록들간의 블록 매칭을 통해 움직임을 추정하는 기법을 사용하고 있다.

즉, 상기한 종래 서브 샘플링 방법에서는 8×8 의 현재 블록 및 각 후보 블록들을 각각 다수의 2×2 서브 블록으로 분할하고, 이 분할된 각 서브 블록내의 4화소값중 하나를 그 대표값으로 선정(즉, 추림)하여 4×4의 샘플링 블록으로 재구성하는 데, 이때 각 서브 블록내에서 대표 화소값을 규칙적으로 선정, 예를들면 각 서브 블록의 우상측 화소값, 우하측 화소값, 좌상측 화소값, 좌하측 화소값 등을 그 대표값으로 선정하도록 하고 있다. 도 5는 일예로서 좌상측 화소값(a)이 샘플링 블록 구성을 위한 대표 화소값으로 선정된 예를 도시한 것으로, 이러한 대표 화소값들을 이용하여 도 5b에 도시된 바와같은 4×4 의 샘플링 블록으로 재구성된다.

한편, 영상의 움직임은 반드시 종,횡 방향으로 일정하게 발생하지만은 않으며, 360 도 방향의 어느 방향으로든지 발생할 수 있다. 즉, 영상내에서의 움직임은 일정하게 종,횡 방향으로 발생하기 보다는 오히려 미세한 정도나마 적어도 어느 정도의 각도를 갖는 대각 방향으로 많이 발생하게 된다.

그러나, 상술한 바와같이 규칙적인 추림을 통해 샘플링 블록을 재구성하는 서브 샘플링 기법을 이용하는 종래 방법은 종,횡 방향의 움직임 추정에는 원활하게 대처할 수 있으나, 많은 발생을 갖는 대각 방향으로의 움직임 추정에는 적합하지 못하다는 문제를 갖는다.

따라서, 종래 방법은 대각 방향으로의 고정밀한 움직임 추정의 결여로 인해 부호화 효율의 저하는 물론 재생 영상에서의 화질열화가 수반되는 문제점을 내포하고 있다.

본 발명은 상기한 종래기술의 문제점을 해결하기 위한 것으로, 하이브리드 부호화 기법을 갖는 영상 부호화에 있어서, 대각 방향의 움직임을 고려한 서브 샘플링 기법을 이용하여 현재 프레임과 재구성된 이전 프레임간의 블록 단위 움직임 추정을 고정밀하게 수행할 수 있는 개선된 움직임 추정 장치 및 그 추정 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 입력되는 현재 프레임의 N×N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 블록 단위의 움직임을 추정하는 장치에 있어서, 상기 현재 프레임의 부호화하고자 하는 N×N 현재 블록을 기설정된 다수의 M×M 현재 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 1 블록 절단 수단; 상기 분할된 각 M×M 현재 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 현재 샘플링 블록을 생성하는 제 1 재구성 수단; 상기 N×N 현재 블록에 대응하는 상기 이전 프레임의 P×P 탐색영역내 다수의 각 N×N 후보 블록을 각각 발생하며, 상기 P 및 N 이 양의 정수인 후보 블록 생성 수단; 상기 발생된 N×N 후보 블록을 기설정된 다수의 M×M 후보 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 2 블록 절단 수단; 상기 분할된 각 M×M 후보 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 후보 샘플링 블록을 각각 생성하는 제 2 재구성 수단; 상기 재구성된 M×M 현재 샘플링 블록과 상기 재구성된 다수의 각 M×M 후보 샘플링 블록들간의 블록 매칭을 수행하여, 상기 다수의 M×M 의 후보 샘플링 블록들중 하나를 상기 N×N 현재 블록에 대응하는 최적 정합 블록으로 결정하는 정합 블록 결정수단; 및 상기 N×N 현재 블록과 상기 결정된 최적 정합 블록간의 변위값을 산출하여 움직임 벡터로써 추출하는 움직임 벡터 추출수단으로 이루어진 개선된 움직임 추정 장치를 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 입력되는 현재 프레임의 N×N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 블록 단위의 움직임을 추정하는 방법에 있어서, 상기 현재 프레임에서 움직임을 추정하고자하는 N×N 현재 블록을 기설정된 다수의 M×M 현재 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 1 과정; 상기 분할된 각 M×M 현재 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 현재 샘플링 블록을 생성하여 저장하는 제 2 과정; 상기 N×N 현재 블록에 대응하는 상기 이전 프레임의 P×P 탐색영역내 다수의 각 N×N 후보 블록을 각각 발생하며, 상기 P 및 N 이 양의 정수인 제 3 과정; 상기 발생된 각 N×N 후보 블록을 기설정된 다수의 M×M 후보 서브 블록으로 각각 분할하며, 상기 N 및 M 이 양의 정수인 제 4 과정; 상기 분할된 각 M×M 후보 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 후보 샘플링 블록을 순차적으로 각각 생성하는 제 5 과정; 상기 재구성된 M×M 현재 샘플링 블록과 상기 재구성된 다수의 각 M×M 후보 샘플링 블록들간의 블록 매칭을 수행하여, 상기 다수의 M×M 의 후보 샘플링 블록들중 하나를 상기 N×N 현재 블록에 대응하는 최적 정합 블록으로 결정하는 제 6 과정; 및 상기 N×N 현재 블록과 상기 결정된 최적 정합 블록간의 변위값을 산출하여 움직임 벡터로써 추출하는 제 7 과정으로 이루어진 개선된 움직임 추정 방법을 제공한다.

도 1은 본 발명에 따른 움직임 추정장치를 적용하는 데 적합한 전형적인 하이브리드 동영상 부호화 시스템의 블록구성도,

도 2는 본 발명의 바람직한 실시예에 따른 개선된 움직임 추정 장치의 블록구성도,

도 3은 도 2에 도시된 정합 블록 결정기의 세부적인 블록구성도,

도 4는 본 발명의 실시예에 따라 8×8 블록 단위의 움직임 추정에서 서브 샘플링을 통해 샘플링 블록을 생성하는 과정을 설명하기 위해 일예로서 도시한 도면,

도 5는 종래 방법에 따라 8×8 블록 단위의 움직임 추정에서 2×2 블록 단위의 대표값을 규칙적으로 선정하는 과정을 설명하기 위해 일예로서 도시한 도면.

＜도면의 주요부분에 대한 부호의 설명＞

202,210 : 블록 절단기 204,212 : 대표값 선택기

206,214 : 재구성 블록 208 : 후보 블록 발생기

216 : 정합 블록 결정기 218 : 움직임 벡터 추출기

302 : 자승오차 산출 블록 304 : 비교 및 제어 블록

306 : 메모리 블록

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명에 따른 움직임 추정장치를 적용하는 데 적합한 전형적인 하이브리드 동영상 부호화 시스템의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 전형적인 부호화 시스템은 제 1 프레임 메모리(102), 감산기(104), 영상 부호화 블록(106), 엔트로피 부호화 블록(108), 영상 복원 블록(110), 가산기(112), 제 2 프레임 메모리(114), 움직임 추정 블록(ME)(116) 및 움직임 보상 블록(MC)(118)을 포함한다.

도 1을 참조하면, 입력되는 현재 프레임 신호는 입력측의 제 1 프레임 메모리(102)에 저장되는 데, 이러한 제 1 프레임 메모리(102)에 저장되는 현재 프레임 신호는 라인 L11 을 통해 감산기(104), 움직임 추정 블록(116) 및 움직임 보상 블록(118)으로 각각 제공된다.

먼저, 감산기(104)에서는 라인 L11을 통해 제 1 프레임 메모리(102)로부터 제공되는 현재 프레임 신호로 부터 라인 L16을 통해 후술되는 움직임 보상 블록(118)으로부터 제공되는 예측 프레임 신호를 감산하며, 그 결과 데이타, 즉 차분화소값을 나타내는 에러신호는 영상 부호화 블럭(106)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 DCT 변환계수들로 부호화된다. 이때, 도 1에서의 도시는 생략되었으나, 영상 부호화 블럭(106)에서의 에러신호에 대한 양자화는 출력측 전송 버퍼로 부터 제공되는 데이타 충만상태 정보에 따라 결정되는 양자화 파라메터(QP)에 의거하여 그 스텝 사이즈가 조절된다.

다음에, 라인 L12 상의 양자화된 DCT 변환계수들은 엔트로피 부호화 블럭(108)과 영상 복원 블럭(110)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블럭(108)에 제공된 양자화된 DCT 변환계수들은 라인 L15를 통해 후술되는 움직임 추정 블록(116)으로부터 제공되는 움직임 벡터 세트들과 함께, 예를들면 가변길이 부호화 기법 등을 통해 부호화된 다음 원격지 수신측으로의 전송을 위해 도시 생략된 전송기로 전달된다.

한편, 영상 부호화 블럭(106)으로 부터 영상 복원 블럭(110)에 제공되는 라인 L12 상의 양자화된 DCT 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 복원된 프레임 신호로 변환된 다음, 다음단의 가산기(112)에 제공되며, 가산기(112)에서는 영상 복원 블럭(110)으로 부터의 복원된 프레임 신호(즉, 에러신호)와 라인 L16 을 통해 후술되는 움직임 보상 블럭(118)으로 부터 제공되는 예측 프레임 신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제 2 프레임 메모리(114)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신되는 재구성된 이전 프레임 신호는 움직임 추정, 보상을 위해 라인 L13을 통해 하기에 기술되는 움직임 추정 블록(116) 및 움직임 보상 블록(118)으로 각각 제공된다.

다른한편, 움직임 추정 블록(116)에서는 라인 L16 상의 현재 프레임 신호와 상기한 제 2 프레임 메모리(114)로 부터 제공되는 라인 L13 상의 재구성된 이전 프레임 신호에 기초하여 블럭 매칭 알고리즘을 이용해 재구성된 이전 프레임의 기설정 P×P 탐색범위(예를들면, 16×16 또는 32×32 탐색범위)에서 소정의 N×N 블럭(예를들면, 8×8 또는 16×16 블록) 단위로 움직임을 추정하여 각 N×N 의 현재 블록들에 대한 움직임 벡터(MV)를 추출하며, 여기에서 추출된 움직임 벡터들은 라인 L14 및 L15를 통해 후술하는 움직임 보상 블록(118) 및 엔트로피 부호화 블록(108)으로 각각 제공된다.

즉, 본 발명에 관련되는 움직임 추정 블록(116)에서는, 움직임 추정에 소요되는 과다한 계산량과 하드웨어 구현상의 어려움을 해소하기 위하여, N×N 의 현재 블록과 다수의 N×N 각 후보 블록을 각각 서브 샘플링(즉, 표본화)하여 얻은 M×M의 샘플링 블록으로 재구성하고, 이 재구성된 M×M의 현재 샘플링 블록과 M×M의 후보 샘플링 블록들간의 블록 매칭을 통해 움직임을 추정하는 데, 이때 본 발명에서는 분할된 각 서브 블록에서의 규칙적인 추림을 통해 샘플링 블록을 재구성하는 전술한 종래기술과는 달리, 일예로서 도 4에 도시된 바와같이, 4×4 로 분할된 서브 블록(SB1 - SB4) 각각에 대해 서로 교차하는 대각 방향으로 각각 4개씩의 대표 화소값을 선택한다.

이러한 움직임 추정 블록(116)에서 본 발명에 따라 고정밀하게 움직임을 추정하는 구체적인 동작과정에 대해서는 그 세부적인 블록구성을 보여주는 도 2를 참조하여 후에 상세하게 기술될 것이다.

다음에, 움직임 보상 블록(118)에서는 라인 L13을 통해 제 2 프레임 메모리(114)에서 제공되는 재구성된 이전 프레임 신호 및 L14를 통해 움직임 추정 블록(116)에서 제공되는 움직임 벡터들에 의거하여 예측 프레임 신호를 생성하며, 여기에서 생성된 예측 프레임 신호는 라인 L16을 통해 전술한 감산기(104) 및 가산기(112)로 각각 제공된다.

다음에, 상술한 바와같은 구성을 갖는 부호화 시스템에 적용할 수 있는 본 발명에 따른 움직임 추정 장치에 대하여 설명한다.

먼저, 본 발명의 핵심 기술요지는, 움직임 추정에 소요되는 과다한 계산량과 하드웨어 구현상의 어려움을 해소하기 위하여, N×N 의 현재 블록과 다수의 N×N 각 후보 블록을 각각 서브 샘플링(즉, 표본화)하여 얻은 M×M의 샘플링 블록으로 재구성하고, 이 재구성된 M×M의 현재 샘플링 블록과 M×M의 후보 샘플링 블록들간의 블록 매칭을 통해 움직임을 추정할 때, 일예로서 도 4에 도시된 바와같이, 4×4로 분할된 서브 블록(SB1 - SB4) 각각에 대해 서로 교차하는 대각 방향으로 각각 4개씩의 대표 화소값을 선택하도록 한다는 것으로, 이러한 기술수단을 통해 대각 방향으로의 움직임에 민감한 움직임 추정, 즉 대각 방향에서의 움직임을 고정밀하게 추정할 수 있다.

도 2는 본 발명의 바람직한 실시예에 따른 개선된 움직임 추정 장치의 블록구성도를 나타낸다.

동도면에 도시된 바와같이, 본 발명의 움직임 추정 장치는, 제 1 블록 절단기(202), 제 1 대표값 선택기(204), 제 1 재구성 블록(206), 후보 블록 발생기(208), 제 2 블록 절단기(210), 제 2 대표값 선택기(212), 제 2 재구성 블록(214), 정합 블록 결정기(216) 및 움직임 벡터(MV) 추출기(218)를 포함한다.

도 2를 참조하면, 제 1 블록 절단기(202)에서는 라인 L11을 통해 도 1의 제 1 프레임 메모리(102)로부터 제공되는 현재 프레임내 각 N×N 현재 블록을 다수의 서브 블록으로 분할, 즉 입력되는 현재 블록이, 일예로서 도 4a에 도시된 바와같이, 8×8 블록일 때, 이들 입력 현재 블록을, 도 4b에 도시된 바와같이 4개의 4×4 서브 블록(SB1 - SB4)으로 분할한다.

다음에, 제 1 대표값 결정기(204)에서는 상기한 제 1 블록 절단기(202)로부터 순차적으로 제공되는 각 서브 블록(SB1 - SB4) 각각에 대해 각 4개씩의 대표 화소값을 선택, 즉 일예로서 도 4b에 도시된 바와같이, 서브 블록 SB1에서는 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 선택하고, 서브 블록 SB2에서는 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 선택하며, 서브 블록 SB3에서는 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 선택하고, 서브 블록 SB4에서는 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 선택하며, 여기에서 선택된 각 서브 블록의 대표 화소값들은 다음단의 제 1 재구성 블록(206)으로 제공된다.

따라서, 제 1 재구성 블록(206)에서는 분할된 각 4×4 서브 블록에서 선택된 대표 화소값들을 재구성하여, 일예로서 도 4c에 도시된 바와같은, 4×4 의 현재 샘플링 블록을 생성하며, 이 생성된 현재 샘플링 블록들은 라인 L21을 통해 후술하는 정합 블록 결정기(216)로 제공된다.

한편, 후보 블록 발생기(208)에서는 라인 L13을 통해 도 1의 제 2 프레임 메모리(102)로부터 제공되는 재구성된 이전 프레임의 P×P 탐색영역(예를들면, 16×16, 32×32 등)내에 존재하는 각 N×N 후보 블록, 즉 N×N 현재 블록에 대응하는 다수의 N×N 후보 블록을 생성하여 제 2 블록 절단기(210) 및 후술하는 움직임 벡터 추출기(218)로 각각 제공한다.

또한, 제 2 블록 절단기(210)에서는 후보 블록 발생기(208)로부터 제공되는 N×N 후보 블록을 다수의 서브 블록으로 분할, 즉 후보 블록이, 일예로서 도 4a에 도시된 바와같이, 8×8 블록일 때, 이들 후보 블록을, 도 4b에 도시된 바와같이 4개의 4×4 서브 블록(SB1 - SB4)으로 분할한다.

다음에, 제 2 대표값 결정기(212)에서는 상기한 제 2 블록 절단기(210)로부터 순차적으로 제공되는 각 서브 블록(SB1 - SB4) 각각에 대해 각 4개씩의 대표 화소값을 선택, 즉 상술한 제 1 대표값 선택기(204)에서와 동일한 방법으로 각 서브 블록의 대표 화소값들을 각각 선택하며, 여기에서 선택된 각 서브 블록의 대표 화소값들은 다음단의 제 2 재구성 블록(214)으로 제공된다.

따라서, 제 2 재구성 블록(214)에서는 분할된 각 4×4 서브 블록에서 선택된 대표 화소값들을 재구성하여, 일예로서 도 4c에 도시된 바와같은, 4×4 의 후보 샘플링 블록을 생성하며, 이 생성된 후보 샘플링 블록들은 라인 L23을 통해 후술하는 정합 블록 결정기(216)로 제공된다.

다른한편, 정합 블록 결정기(216)에서는 라인 L21을 통해 입력되는 움직임을 추정하고자 하는 N×N 현재 블록(예를들면, 8×8 블록)에 대응하는 M×M 현재 샘플링 블록(예를들면, 4×4 샘플링 블록)과 라인 L23을 통해 제 2 재구성 블록(214)으로부터 제공되는 다수의 N×N 후보 블록(예를들면, 8×8 블록)에 대응하는 다수의 M×M 후보 샘플링 블록(예를들면, 4×4 샘플링 블록)간의 블록 매칭을 수행함으로써, 다수의 M×M 후보 샘플링 블록들중 그 오차값이 가장 작은 최적 정합 블록을 결정, 즉 현재 블록에 대응하는 현재 샘플링 블록에 대한 하나의 최적 정합 블록을 결정한다. 이러한 정합 블록 결정기(216)에서의 구체적인 동작과정에 대해서 첨부된 도 3을 참조하여 상세하게 설명한다.

도 3은 도 2에 도시된 정합 블록 결정기의 세부적인 블록구성도로써, 자승오차 산출 블록(302), 비교 및 제어 블록(304), 메모리 블록(306)을 포함한다.

도 3을 참조하면, 자승오차 산출 블록(302)에서는 라인 L21 상의 M×M 현재 샘플링 블록과 라인 L23 상의 M×M 후보 샘플링 블록간의 자승오차값을 산출, 즉 블록의 대응하는 각 화소값(현재 샘플링 블록의 화소 및 그에 대응하는 후보 샘플링 블록의 화소)간의 자승오차를 산출하고, 이 산출된 각 자승오차를 합산한 총자승오차값을 산출하여 라인 L31을 통해 다음단의 비교 및 제어 블록(304)으로 제공한다.

다음에, 비교 및 제어 블록(304)에서는 라인 L31을 통해 제공되는 현재 샘플링 블록과 각 후보 샘플링 블록간의 총자승오차값을 라인 33을 통해 메모리 블록(306)에 순차 저장하며, 하나의 현재 샘플링 블록에 대한 모든 후보 샘플링 블록간의 총자산오차값이 모두 산출될 때, 메모리 블록(306)에 순차 저장된 각 총자승오차값들을 비교하여 그 총자승오차값이 가장 작은 후보 샘플링 블록을 현재 블록의 현재 샘플링 블록에 대한 하나의 최적 정합 블록으로 결정하며, 이러한 정합 블록 결정신호는 라인 L25를 통해 도 2의 움직임 벡터 추출기(218)로 제공된다.

따라서, 도 2의 움직임 벡터(MV) 추출 블록(222)에서는, 라인 L25를 통해 도 3의 비교 및 제어 블록(304)으로부터 제공되는 정합 블록 결정신호에 의거하여, 라인 L11 상의 N×N 현재 블록과 전술한 후보 블록 발생기(208)로부터 제공되는 후보 블록, 즉 결정된 최적 정합 블록간의 움직임 변위값을 N×N 현재 블록의 움직임 벡터로써 추출하며, 여기에서 추출된 움직임 벡터들은 예측 프레임을 생성하는 움직임 보상을 위해 도 1의 움직임 보상 블록(118)으로 제공됨과 동시에 수신측으로의 전송을 위해 도 1의 엔트로피 부호화 블록(108)으로 제공된다.

이상 설명한 바와같이 본 발명에 따르면, 예를들면 현재 프레임내 16×16 현재 블록 및 이전 프레임의 탐색영역내 각 후보 블록들을 각각 다수의 4×4 서브 블록으로 분할하고, 이 분할된 각 서브 블록에 각각에 대해 대각 방향으로의 움직임에 적응적으로 할 수 있도록 대각 방향으로의 4화소씩을 그 대표 화소값으로 결정하며, 이와같이 결정된 대표 화소값으로 각각 구성한 현재 샘플링 블록과 후보 샘플링 블록간의 움직임 추정을 통해 움직임 벡터를 추출하도록 함으로써, 대각 방향에서의 움직임 추정을 고정밀하게 수행하여 부호화의 효율 개선은 물론 재생 영상에서의 화질 개선효과를 얻을 수 있다.

Claims

입력되는 현재 프레임의 N×N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 블록 단위의 움직임을 추정하는 장치에 있어서,

상기 현재 프레임의 부호화하고자 하는 N×N 현재 블록을 기설정된 다수의 M×M 현재 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 1 블록 절단 수단;

상기 분할된 각 M×M 현재 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 현재 샘플링 블록을 생성하는 제 1 재구성 수단;

상기 N×N 현재 블록에 대응하는 상기 이전 프레임의 P×P 탐색영역내 다수의 각 N×N 후보 블록을 각각 발생하며, 상기 P 및 N 이 양의 정수인 후보 블록 생성 수단;

상기 발생된 N×N 후보 블록을 기설정된 다수의 M×M 후보 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 2 블록 절단 수단;

상기 분할된 각 M×M 후보 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 후보 샘플링 블록을 각각 생성하는 제 2 재구성 수단;

상기 재구성된 M×M 현재 샘플링 블록과 상기 재구성된 다수의 각 M×M 후보 샘플링 블록들간의 블록 매칭을 수행하여, 상기 다수의 M×M 의 후보 샘플링 블록들중 하나를 상기 N×N 현재 블록에 대응하는 최적 정합 블록으로 결정하는 정합 블록 결정수단; 및

상기 N×N 현재 블록과 상기 결정된 최적 정합 블록간의 변위값을 산출하여 움직임 벡터로써 추출하는 움직임 벡터 추출수단으로 이루어진 개선된 움직임 추정 장치.
제 1 항에 있어서, 상기 N×N 현재 블록 및 N×N 후보 블록은 8×8 블록이고, 상기 M×M 현재 서브 블록 및 M×M 후보 서브 블록은 4×4 블록인 것을 특징으로 하는 개선된 움직임 추정 장치.
제 2 항에 있어서, 상기 다수의 M×M 현재 서브 블록 및 후보 서브 블록 각각은, 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 1 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 2 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 3 서브 블록 및 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 4 서브 블록을 포함하는 것을 특징으로 하는 개선된 움직임 추정 장치.
제 3 항에 있어서, 상기 각 서브 블록은, 4개의 대각 방향 화소값을 그 대표 화소값으로 각각 결정하는 것을 특징으로 하는 개선된 움직임 추정 장치.
제 1 항에 있어서, 상기 N×N 현재 블록 및 N×N 후보 블록은 16×16 블록이고, 상기 M×M 현재 서브 블록 및 M×M 후보 서브 블록은 8×8 블록인 것을 특징으로 하는 개선된 움직임 추정 장치.
제 5 항에 있어서, 상기 다수의 M×M 현재 서브 블록 및 후보 서브 블록 각각은, 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 1 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 2 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 3 서브 블록 및 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 4 서브 블록을 포함하는 것을 특징으로 하는 개선된 움직임 추정 장치.
제 6 항에 있어서, 상기 각 서브 블록은, 8개의 대각 방향 화소값을 그 대표 화소값으로 각각 결정하는 것을 특징으로 하는 개선된 움직임 추정 장치.
제 1 항에 있어서, 상기 정합 블록 결정 수단은:

상기 재구성된 M×M 현재 샘플링 블록과 재구성된 M×M 후보 샘플링 블록내 대응하는 각 화소간의 자승오차값을 산출하고, 이 산출된 각 자승오차를 합산한 총자승오차값을 산출하는 수단;

상기 산출된 총자승오차값들을 순차적으로 저장하는 메모리 수단; 및

상기 현재 샘플링 블록에 대응하는 상기 다수의 후보 샘플링 블록간의 총자산오차값이 모두 산출될 때, 상기 메모리 수단에 순차 저장된 상기 각 총자승오차값들을 비교하여 그 총자승오차값이가장 작은 후보 샘플링 블록을 상기 최적 정합 블록으로 결정하는 수단으로 구성된 것을 특징으로 하는 개선된 움직임 추정 장치.
입력되는 현재 프레임의 N×N 현재 블록과 재구성된 이전 프레임의 P×P 탐색영역내 다수의 N×N 후보 블록간의 블록 매칭을 수행하여 블록 단위의 움직임을 추정하는 방법에 있어서,

상기 현재 프레임에서 움직임을 추정하고자하는 N×N 현재 블록을 기설정된 다수의 M×M 현재 서브 블록으로 분할하며, 상기 N 및 M 이 양의 정수인 제 1 과정;

상기 분할된 각 M×M 현재 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 현재 샘플링 블록을 생성하여 저장하는 제 2 과정;

상기 N×N 현재 블록에 대응하는 상기 이전 프레임의 P×P 탐색영역내 다수의 각 N×N 후보 블록을 각각 발생하며, 상기 P 및 N 이 양의 정수인 제 3 과정;

상기 발생된 각 N×N 후보 블록을 기설정된 다수의 M×M 후보 서브 블록으로 각각 분할하며, 상기 N 및 M 이 양의 정수인 제 4 과정;

상기 분할된 각 M×M 후보 서브 블록들에 대해 각각 기설정된 대각 방향에 위치하는 화소값들을 그 대표 화소값으로 각각 결정하고, 이 각각 결정된 대표 화소값들을 이용하여 M×M 후보 샘플링 블록을 순차적으로 각각 생성하는 제 5 과정;

상기 재구성된 M×M 현재 샘플링 블록과 상기 재구성된 다수의 각 M×M 후보 샘플링 블록들간의 블록 매칭을 수행하여, 상기 다수의 M×M 의 후보 샘플링 블록들중 하나를 상기 N×N 현재 블록에 대응하는 최적 정합 블록으로 결정하는 제 6 과정; 및

상기 N×N 현재 블록과 상기 결정된 최적 정합 블록간의 변위값을 산출하여 움직임 벡터로써 추출하는 제 7 과정으로 이루어진 개선된 움직임 추정 방법.
제 9 항에 있어서, 상기 N×N 현재 블록 및 N×N 후보 블록은 8×8 블록이고, 상기 M×M 현재 서브 블록 및 M×M 후보 서브 블록은 4×4 블록인 것을 특징으로 하는 개선된 움직임 추정 방법.
제 10 항에 있어서, 상기 다수의 M×M 현재 서브 블록 및 후보 서브 블록 각각은, 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 1 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 2 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 3 서브 블록 및 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 4 서브 블록을 포함하는 것을 특징으로 하는 개선된 움직임 추정 방법.
제 11 항에 있어서, 상기 각 서브 블록은, 4개의 대각 방향 화소값을 그 대표 화소값으로 각각 결정하는 것을 특징으로 하는 개선된 움직임 추정 방법.
제 9 항에 있어서, 상기 N×N 현재 블록 및 N×N 후보 블록은 16×16 블록이고, 상기 M×M 현재 서브 블록 및 M×M 후보 서브 블록은 8×8 블록인 것을 특징으로 하는 개선된 움직임 추정 방법.
제 13 항에 있어서, 상기 다수의 M×M 현재 서브 블록 및 후보 서브 블록 각각은, 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 1 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 2 서브 블록, 우상측에서 좌하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 3 서브 블록 및 좌상측에서 우하측 대각 방향의 화소값들을 대표 화소값으로 결정하는 제 4 서브 블록을 포함하는 것을 특징으로 하는 개선된 움직임 추정 방법.
제 14 항에 있어서, 상기 각 서브 블록은, 8개의 대각 방향 화소값을 그 대표 화소값으로 각각 결정하는 것을 특징으로 하는 개선된 움직임 추정 방법.
제 9 항에 있어서, 상기 제 6 과정은:

상기 재구성된 M×M 현재 샘플링 블록과 재구성된 M×M 후보 샘플링 블록내 대응하는 각 화소간의 자승오차값을 산출하고, 이 산출된 각 자승오차를 합산한 총자승오차값을 각각 산출하는 제 61 과정;

상기 산출된 총자승오차값들을 메모리에 순차적으로 저장하는 제 62 과정;

상기 현재 샘플링 블록에 대응하는 상기 다수의 후보 샘플링 블록간의 총자산오차값이 모두 산출될 때, 상기 메모리 수단에 순차 저장된 상기 각 총자승오차값들을 비교하는 제 63 과정; 및

상기 비교결과, 그 총자승오차값이 가장 작은 후보 샘플링 블록을 상기 N×N 현재 블록에 대한 상기 최적 정합 블록으로 결정하는 수단으로 구성된 것을 특징으로 하는 개선된 움직임 추정 방법.