KR100558583B1

KR100558583B1 - 화상부호화장치및방법

Info

Publication number: KR100558583B1
Application number: KR1019980009410A
Authority: KR
Inventors: 에이지 오구라
Original assignee: 소니 가부시끼 가이샤
Priority date: 1997-03-19
Filing date: 1998-03-19
Publication date: 2006-07-21
Also published as: KR19980080443A; JPH10262258A; DE69828541T2; EP0866619A3; DE69828541D1; EP0866619A2; US6249612B1; EP0866619B1

Abstract

본 발명은 화상 부호화 장치 및 방법에 관한 것으로서, 기준 프레임의 화상 데이터를 기억하는 기준 프레임 메모리와, 검색 프레임의 화상 데이터를 기억하는 검색 프레임 메모리와, 기준 프레임과 상기 검색 프레임으로부터 화상 데이터를 판독 출력하고, 연산하여 이동 벡터를 검출하는 이동 검출수단과, 기준 프레임으로부터 M 필드 또는 M 프레임(단, M은 1이상의 정수) 떨어진 검색 프레임의 검색 범위로 상기 이동 검출 수단이 검출한 이동 벡터로부터 이동 벡터 분포를 작성하여, 상기 이동 벡터 분포를 기초로 하여, N 필드 또는 N 프레임(단, N은 M보다 큰 정수) 떨어진 화상간의 검색 장소를 결정하는 검출 수단을 구비하며, 이동 검출 수단은 검출 수단이 결정한 검색 장소에서 이동 검출을 행하는 것을 특징으로 한다. 이것에 의해 화상을 부호화했을 때에, 검색 블럭의 전송율를 증대시키지 않고 검색 범위를 확대한다.

Description

화상 부호화 장치 및 방법

본 발명은 예를 들면, MPEG(Moving Picture Experts Group) 방식에 준거한 화상 부호화 장치, 특히 이동 벡터의 검출 기술에 관한 것이다.

여기서, MPEG 방식이란 ISO/IEC JTC1/SC29(International Organizaion for Standardization /International Electrotechnical Commission, Joint Technical Committee 1/Sub Committee 29)의 동화상 부호화의 검토 조직의 약칭이다.

MPEG 방식은 DCT(Discrete Cosine Transform)와 동작 보상 예측과 가변길이 부호화를 조합하여 화상 데이터의 압축을 행하는 부호화 방식이다.

도 12에 MPEG 방식에 준거한 화상 부호화 장치의 구성을 도시한다. 이 도면에 있어서, 입력 단자(T1)에 화상 데이터가 공급된다. 이 화상 데이터는 이동 벡터 검출 회로(21)와 감산 회로(22)에 입력된다. 이동 벡터 검출 회로(21)는 입력된 화상 데이터를 이용하여 현 프레임과 참조 프레임(예를 들면, 앞 프레임)의 이동 벡터를 구하여, 동작 보상 회로(23)로 주어진다.

참조 프레임의 화상 데이터는 프레임 메모리(24)내에도 저장되어 있다. 이 화상 데이터는 동작 보상 회로(23)로 공급된다. 동작 보상 회로(23)에서는 이동 벡터검출 회로(21)로부터 이송된 이동 벡터를 사용하여, 프레임 메모리(24)로부터 이송된 화상 데이터의 이동 보상을 행한다. 동작 보상 회로(23)의 출력은 감산 회로(22)와 가산 회로(25)로 이송된다.

감산 회로(22)에서는 입력 단자(T1)로부터 공급되는 현 프레임의 화상 데이터와, 동작 보상 회로(23)로부터 공급되는 동작 보상된 참조 프레임의 화상 데이터를 감산하여 예측 오차 데이터를 구하여, DCT 회로(26)로 공급한다. DCT 회로(26)는 이 예측 오차 데이터를 DCT 처리하여 양자화기(27)로 보낸다. 양자화기(27)는 DCT 회로(26)의 출력을 양자화하여, 가변길이 부호화 회로(도시하지 않음)로 보낸다.

양자화기(27)의 출력은 역양자화기(29)에도 공급된다. 그리고, 여기서 역양자화 처리를 받아들이고, 그 출력은 역 DCT 회로(30)에 있어서 역 DCT 처리를 받아서, 원래의 예측 오차 데이터로 복귀되고, 가산 회로(25)로 주어진다.

가산 회로(25)에서는 이 예측 오차 데이터를 동작 보상 회로(23)의 출력 데이터에 가산하여 현 프레임의 화상 데이터를 구한다. 요청된 화상 데이터는 다음 참조 프레임의 화상 데이터로서 프레임 메모리(24)에 저장된다.

이러한 화상 부호화 장치에 있어서의 이동 벡터 검출방법에서는 블럭 매칭법이 공지되어 있다. 블럭 매칭법은 화면을 작은 직사각형 영역(블럭)으로 분할하여, 블럭마다 이동을 검출한다. 블럭 사이즈로서는 가로 8화소 × 세로 8화소(이하 8×8로 기술한다), 16× 16 등이 있다. 다음에 도 13을 참조하면서 블럭 매칭법에 관해서 설명한다.

도 13에 있어서, 기준 프레임(41)내에 M× N의 기준 블럭(RB)을 설정한다. 또한, 검색 프레임(42)내에 기준 블럭(RB)과 같은 사이즈의 검색 블럭(SB)을 설정한다. 검색 블럭(SB)은 검색 프레임(42)내의 기준 블럭(RB)과 같은 위치에 존재하는 SB0를 중심으로 ±m× ±n의 소정의 검색 범위(43)내를 순회하여 이동된다. 그리고, 기준 블럭(RB)과 검색 블럭(SB)의 일치도를 계산하여, 가장 일치도가 높은 검색 블럭을 매칭 블럭으로 하여, 이 매칭 블럭으로부터 이동 벡터를 구한다.

즉, 기준 블럭(RB)과 같은 위치에 존재하는 검색 블럭(SB0)으로부터 (u, v) 이동된 위치에 존재하는 검색 블럭(SBk)의 일치도가 가장 높은 경우에는 그 기준 블럭(RB)의 이동 벡터를 (u, v)로 한다. 이 때, 기준 블럭(RB)과 검색 블럭(SB)의 같은 위치의 화소마다 절대치 차분의 총합이나 화소마다의 차분의 2승의 총합 둥이 최소가 되는 검색 블럭을 가장 일치도가 높은 검색 블럭으로 한다.

MPEG 방식에 있어서는 동화상의 1 시퀀스를 복수의 프레임(픽쳐)으로 이루어진 GOP(Group of Picture)로 분할하여 부호화를 행한다. GOP는 프레임내 부호화 화상(I 픽쳐)과, 이미 부호화된 시간적으로 앞방향에 있는 프레임으로부터 예측하는 프레임간 부호화 화상(P 픽쳐)과, 이미 부호화되었을 때, 시간적으로 전방향 및 후방향의 2 프레임으로부터 예측하는 프레임간 부호화 화상(B 픽쳐)으로 구성된다.

예를 들면, 도 14에 있어서는 처음에 I 픽쳐인 I0에 프레임내 부호화를 행하고, 다음에 P 픽쳐인 P3을 기준 프레임으로 하여, I0를 검색 프레임으로서 이동 검출을 행한다. 다음에 B 픽쳐인 B1을 기준 프레임으로 하여, I0와 P3을 검색 프레임으로서 양방향의 이동 검출을 행한다. 다음에 B 픽쳐인 B2를 기준 프레임으로 하여, I0와 P3을 검색 프레임으로서 양방향의 이동 검출을 행한다.

도 15에 도시된 바와 같이, 일반적으로 이동 검출에 필요한 검색 범위는 기준 프레임과 검색 프레임의 프레임 간격에 비례하여 증대하는 것이 바람직하다. 여기서는 기준 프레임내에 블럭 사이즈가 16×16의 기준 블럭이 있는 경우에 관해서 설명한다. 예를 들면, 1 프레임 떨어진 경우에 검색 범위가 수평 방향, 수직 방향 모두 ± 16으로 하면, 2 프레임 떨어진 경우에는 ± 32, 3 프레임 떨어진 경우에는 ± 48의 검색 범위로 하는 것이 바람직하다.

그러나, 이와 같이 프레임 간격에 비례하여 검색 범위를 확대한 경우에는 이동 검출에 필요한 하드량도 각각 1프레임 떨어진 경우의 4배, 9배로 증가하게 된다. 즉, P3을 기준 프레임으로 하고, I0를 검색 프레임으로 한 이동 검출과 같은 3 프레임간 떨어진 이동 검출을 행하기 위해서는 대단히 큰 하드량이 필요하게 된다.

그래서, 하드량을 증가시키지 않고 검색 범위를 확대하는 방법으로서 망원경 서치가 공지되어 있다. 이것은, 서치하는 범위는 항상 ± 16으로 하면서도, 기준 블럭마다 검색 범위의 중심에 오프세트를 갖게 함으로써 큰 검색 범위를 커버하는 것이다. 다음에 도 16을 참조하면서 망원경 서치에 관해서 설명한다.

도 16에 도시된 바와 같이, 예를 들면, 기준 프레임에 대하여 3 프레임 떨어진 검색 프레임(3)에 있어서 서치를 행하는 경우에는 처음에 1 프레임 떨어진 검색 프레임(1)에 있어서 ± 16의 검색 범위로, 기준 블럭에 있어서의 이동 벡터(MV1)를 구한다. 다음에 2 프레임 떨어진 검색 프레임(2)에 있어서, MV1을 검색 범위의 중심으로서 ± 16의 검색 범위로 서치를 행하는 이동 벡터(MV2)를 구한다. 이 때, 기준 프레임내의 기준 블럭으로부터 본 검색 범위는 ± 32로 된다. 최후에 3프레임 떨어진 검색 프레임(3)에 있어서, MV2를 검색 범위의 중심으로서 ± 16의 검색 범위로 서치를 행하는 이동 벡터(MV3)를 구한다. 이렇게 하여 마지막에 3 프레임 떨어진 이동 벡터가 검색 범위 ± 48에 대하여 구해진다. 이 경우에 파이프라인 처리를 행하면, 필요한 하드량은 ± 16의 검색 범위를 커버하는 하드량의 3배만으로 된다.

도 17에 서치 데이터의 전송량의 비교를 검색 범위가 고정인 경우와 망원경 서치인 경우에 관해서 도시한다.

검색 범위를 고정한 경우에는 도 17의 (1)에 도시된 바와 같이, 수평 방향에 인접한 기준 블럭 예를 들면, RB0와 RB1에서는 32× 48은 검색 범위가 겹치기 때문에, 검색 범위가 겹치지 않는 16× 48의 데이터만을 새롭게 전송하면 된다.

이것에 대하여, 망원경 서치의 경우에는 도 17의 (2)에 도시된 바와 같이, 각 기준 블럭마다 검색 범위가 다르기 때문에, 매회, ± 16의 검색 범위분(48×48)을 256 (=16× 16) 클럭으로 전송할 필요가 있다.

따라서, ± 16의 검색 범위로 망원경 서치를 행하기 위해서는 (48× 48)/(16×48)=3배의 서치 데이터의 전송율을 필요로 하게 된다. 이 값은 검색 범위가 증대하면 더욱 커지고, 예를 들면, ± 32인 경우에는 망원경 서치에서 필요로 하는 전송율은 (80× 80)/(80× 16)=5배가 되고, 데이터의 전송이 대단히 곤란하게 된다. 화소 데이터 8비트, 화소 클럭을 13.5MHz로 하면, 이 경우에는 (80× 80/256)×13.5MHz× 1바이트=337.5Mbyte/sec 정도의 전송율이 필요하게 된다. 이 큰 전송율은 하드를 실현하는 데에 있어서 큰 장해가 된다.

또한, 이 예에서는 일반적인 기본 검색 범위(± 16)의 3배의 ± 48밖에 커버할 수 없다. 그러나, 실제로는 스포츠 프로그램과 같이 대단히 이동이 심한 것이 존재하고, 이 정도(± 48)의 검색 범위로는 커버할 수 없고 화질 열화의 원인이 되는 경우가 있다.

이와 같이, 종래의 망원경 서치를 행하기 위해서는 검색 블럭을 전송하기 위해서 대단히 큰 데이터 전송율이 필요하다고 하는 결점을 가지고 있었다. 또한, 음직임이 대단히 큰 경우에는 기본 검색 범위를 더욱 확대할 필요가 있고, 그 경우에는 더욱 큰 데이터 전송률이 필요하게 된다고 하는 문제가 생긴다.

본 발명은 이러한 문제점을 감안하여 이루어진 것으로서, 검색 블럭의 전송율을 증대시키지 않고 검색 범위를 확대할 수 있는 화상 부호화 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명에 관계된 화상 부호화 장치는 기준 프레임의 화상 데이터를 기억하는 기준 프레임 메모리와, 검색 프레임의 화상 데이터를 기억하는 검색 프레임 메모리와, 기준 프레임과 검색 프레임으로부터 화상 데이터를 판독 출력하여, 연산하여 이동 벡터를 검출하는 이동 검출 수단과, M 필드 또는 M 프레임간(단, M은 1이상의 정수) 떨어진 화상간에서 이동 검출수단이 검출한 이동 벡터로부터 이동 벡터 분포를 작성하여, 그 이동 벡터 분포를 기초로 하여, N 필드 또는 N 프레임간(단, N은 M보다 크다 정수) 떨어진 화상간의 서치 장소를 결정하는 판단 수단을 구비하며, 상기 이동 검출 수단은 상기 판단 수단이 결정한 서치 장소에서 이동 검출을 행하는 것을 특징으로 하는 것이다.

또한 본 발명에 따른 화상 부호화 방법은 기준 프레임의 화상 데이터를 기준 프레임 메모리에 기억시키는 단계와, 검색 프레임의 화상 데이터를 검색 프레임 메모리에 기억시키는 단계와, 기준 프레임 메모리로부터 판독 출력한 기준 프레임과 M 필드 또는 M 프레임간(단, M은 1이상의 정수) 떨어진 검색 프레임의 검색 범위의 화상 데이터를 검색 프레임 메모리로부터 판독 출력하고, 연산하여 이동 벡터를 검출하고, 이동 벡터 분포를 작성하는 단계와, 그 이동 벡터 분포를 기초로 하여, N 필드 또는 N 프레임간(단, N은 M보다 큰 정수) 떨어진 화상간의 서치 장소를 결정하는 판단 단계와, 그 판단 단계가 결정한 서치 장소에서 이동 검출을 행하는 이동 검출 단계로 이루어진 것을 특징으로 하는 것이다.

본 발명에 따른 화상 부호화 장치에 의하면, 이동 검출 수단은 M 필드 또는 M 프레임간(단, M은 1이상의 정수) 떨어진 화상간으로 이동 벡터를 검출한다. 판단 수단은 그 이동 벡터를 사용하여 화면 전체 또는 그 일부의 영역마다 이동 벡터의 분포를 작성하여, 그것을 사용하여 N 필드 또는 N 프레임간(단, N은 M보다 큰 정수) 떨어진 화상간의 서치 장소를 결정한다. 그리고, 이동 검출 수단은 이 결정된 서치 장소의 블럭을 사용하여 이동 검출을 행한다.

또한, 본 발명에 따른 화상 부호화 장치에 의하면, 이동 벡터 검출시의 검색 범위의 중심에 오프세트를 부여할 수가 있다.

이하 본 발명의 실시예에 관해서 도면을 참조하면서 상세히 설명한다.

도 1은 본 발명을 적용한 이동 벡터 검출 회로의 제 1 형태를 도시한 블럭도이다. 상기 이동 벡터 검출 회로는 기준 프레임 메모리(1)와, 검색 프레임 메모리(2)와, 이동 검출 회로(3)와, 이동 벡터 분포 검출 회로(4)로 구성되어 있다.

기준 프레임 메모리(1)는 기준 프레임의 화상을 저장한다. 검색 프레임 메모리(2)는 검색 프레임의 화상을 저장하여, 이동 벡터 분포 검출 회로(4)로부터 이송된 검색 블럭 판독 출력 제어 신호(c)에 따라서, 검색 블럭의 검색 범위를 설정한다.

이동 검출 회로(3)는 기준 프레임 메모리(1)로부터 전송된 기준 블럭의 화상 데이터(a)와 검색 프레임 메모리(2)로부터 전송된 검색 블럭의 화상 데이터(b)로부터 그 기준 블럭의 이동 벡터(d)를 구한다. 상기 이동 벡터(d)는 예를 들면, 종래예에서 기재된 바와 같이 블럭 매칭법에 의해 구한다. 이동 검출 회로(3)는 구한 이동 벡터(d)를 그 때의 잔차(e)와 같이 출력한다.

이동 벡터 분포 검출 회로(4)는 이동 검출 회로(3)로부터 이송된 이동 벡터(d)와 잔차(e)를 기초로 검색 블럭 판독 출력 제어 신호(c)를 생성하여, 검색 프레임 메모리(2)로 공급한다. 상세하게는 1프레임/또는 1필드 떨어진 화상 사이의 이동 벡터 분포에 의해, 2프레임/또는 2필드 이상 떨어진 화상간의 이동 검출을 행할 때의 검색 범위의 중심에 대응하는 기준 벡터를 결정한다. 그리고, 검색 범위의 중심에 대응하는 기준 벡터에 따라서 검색 블럭 판독 출력 제어 신호(c)를 출력하여, 이 검색 블럭 판독 출력 제어 신호(c)에 의해 검색 프레임 메모리(2)로부터 검색 블럭을 판독 출력하는 제어를 행한다.

도 2는 본 발명을 적용한 이동 벡터 검출 회로의 제 2 형태를 도시한 블록도이다. 여기서, 도 1과 대응하는 부분에는 동일한 번호가 부가되어 있다.

상기 이동 벡터 검출 회로는 제 1 이동 검출 회로(3-A)와 제 2 이동 검출 회로(3-B)를 구비하고 있다. 또한, 제 1 이동 검출 회로(3-A)가 출력하는 이동 벡터(d1)와 잔차(e1), 또는 제 2 이동 검출 회로(3-B)가 출력하는 이동 벡터(d2)와 잔차(e2)로부터, 화면내의 이동 벡터의 분포를 검출하여, 검색 블럭 판독 출력 제어 신호(c)를 생성하는 이동 벡터 분포 검출 회로(4')를 구비하고 있다. 또한, 제 1 이동 검출 회로(3-A)가 출력하는 이동 벡터(d1)와 잔차(e1) 및 제 2 이동 검출 회로(3-B)가 출력하는 이동 벡터(d2)와 잔차(e2)로부터, 최종 이동 벡터(f)를 구하는 비교 회로(5)를 구비하고 있다.

제 1 이동 검출 회로(3-A)와 제 2 이동 검출 회로(3-B)는 서로 다른 검색 범위에 있어서 이동 검출을 행할 수 있다. 각각의 이동 검출 회로의 검색 범위는 수평 방향, 수직 방향 모두 ± 16으로 한다.

검색 범위를 고정으로 하는 경우에는 일반적으로 수평 방향으로 크게 움직이는 화상이 많기 때문에, 수평 방향의 검색 범위가 수직 방향의 검색 범위보다도 커지도록 도 3의 (1)과 같이 설정한다. 이 도면에 있어서, Y축의 좌측에 3-A으로 지시한 범위는 제 1 이동 검출 회로(3-A)의 검색 범위이고, Y축의 오른쪽에 3-B로 지시한 범위는 제 2 이동 검출 회로(3-B)의 검색 범위이다. 이 경우, 제 1 이동 검출 회로(3-A)와 제 2 이동 검출 회로(3-B)의 합산의 검색 범위는 수평 방향 ± 32, 수직 방향 ± 16이 되어, 검색 범위의 중심에 대응하는 기준 벡터는, (X, Y)=(0, 0)로 된다.

한편, 본 발명에서는 제 1 이동 검출 회로(3-A)의 검색 범위를 고정하여, 제 2 이동 검출 회로(3-B)의 검색 범위를 변화시킬 수 있다. 이것에 의해, 검색 범위를 확대하는 것이 가능하게 된다(상세한 것은 후술).

다음에, 도 4를 참조하면서 도 2에 도시된 이동 벡터 검출 회로에서의 이동 검출 처리를 설명한다. 여기서는 1 필드 떨어진 화상간의 이동 검출을 행한 벡터 분포를 사용하여, 3프레임 떨어진 검색 프레임의 검색 범위를 결정하는 경우에 대해 설명한다.

우선, 1 필드 떨어진 B1의 탑필드(이하 탑 필드를 Top라 한다)로부터 I0의 보텀 필드(이하 보텀 필드를 Bottom이라 한다)에의 이동 검출을, 제 1 이동 검출 회로(3-A) 또는 제 2 이동 검출 회로(3-B) 중의 어느 한쪽을 사용하여 행하고, 그 잔차 및 이동 벡터의 결과를 이동 벡터 분포 검출 회로(4')에 보존한다. 이 때의 검색 범위는 수평 방향 ± 16, 수직 방향 ± 16이고, 검색 범위의 중심에 대응하는 기준 벡터는 (X, Y)=(0, 0)이다. 이 처리를 도 4의 단게 S1에 나타낸다.

단계 S1에서는 "1필드간의 이동 검출에 대한 벡터 분포를 전 필드로 작성"을 행한다. 구체예로서는 도 3의 (2)에 도시된 바와 같이 ± 16(32× 32)의 이동 벡터의 검색 범위를 4× 4의 크기의 블럭으로 분할하여, 그 검색 범위내의 이동 벡터의 수를 카운트한다. 이 때, 어떤 임계치보다도 잔차가 큰 이동 벡터는 신뢰성이 낮기 때문에 카운트하지 않는다.

단계 S2에서는 화상이 정지 화상에 가까운지의 여부를 판정한다. 구체적으로는 검색 범위의 중심부의 수평 방향 ± 4, 수직 방향 ± 4의 영역(영역 1)에 존재하는 이동 벡터의 수가 어떤 임계치 Th1이상인 경우에 정지 모드(normal mode)로 판정하여, 단계 S3에서 정지 모드로 설정한다. 여기서, Count(지정 영역)라는 함수는 지정 영역에 포함되는 벡터수의 합계가 되돌려진 함수이다. 영역(1)은 도 5의 (1)의 그물망이 쳐져 있는 부분을 나타내고 있고, 이동이 작은 영역에 상당한다. 즉, 이동이 작은 벡터가 대다수의 경우에는 정지 모드로 판정한다.

단계 S2에 있어서 정지 모드가 아니라고 판정된 경우에는 단게 S4에서 가장 이동 벡터가 집중되어 있는 곳의 중심 MVC(mvx_c, mvy_c)를 구한다. 그리고, 이 중심 주변의 벡터의 총수를 카운트하여, 그 값이 임계치 Th2이상인 경우에는 이동 모드, (shift mode)로 판정하고, 단계 S5에서 이동 모드로 설정한다.

여기서, 중심 MVC의 구하는 방법으로서는 예를 들면, 4× 4의 사이즈의 소 블럭마다 벡터수를 검색 범위의 전체에 걸쳐 카운트하고, 다음에 수평 방향으로 2개, 수직 방향으로 2개의 소 블럭으로 이루어진 윈도우내에 들어가는 벡터수를 검색 범위의 전체에 걸쳐 발견함으로써, 가장 벡터가 집중되어 있는 윈도우를 찾아내어, 그 윈도우내의 4개의 소 블럭의 벡터수에 따라서 중심을 구한다. 도 5의 (2)에서는 중심 MVC는 (16, 0)으로 되어 있다. 그리고, 이 중심 주변의 영역(2)내의 이동 벡터의 수를 카운트하여, 그 값이 임계치 Th2보다도 큰지의 여부를 판정한다. 또, 도 5의 (2)에서는 영역(2)은 수평 방향의 8 내지 l6, 수직 방향의 -4 내지 +4로 되어 있지만, 중심 위치에 의해서 영역(2)이 변화하는 것은 말할 것도 없다.

단계 S4에서 영역(2)내의 이동 벡터의 총수가 임계치 Th2보다 작은 경우에는 단계 S6에서 정지 모드로 설정한다.

예를 들면, 스포츠 프로그램 등에서 고속으로 이동하는 선수, 볼 등을 카메라로 고속팬에 의해 쫓아가는 장면에서는 큰 면적을 차지하는 배경 부분이 고속으로 같은 방향으로 이동하기 위해서, 도 5의 (2)와 같은 벡터 집중이 일어난다. 한편, 카메라가 쫓고 있는 선수나 볼 등은 정지 상태에 가깝기 때문에, 남는 벡터는 정지부분(영역 1)에 분포하게 된다.

다음 단계 S7에서는 단계 S3 또는 S5 또는 S6에 있어서 설정된 모드에 따라서, 제 1 이동 검출 회로(3-A)와 제 2 이동 검출 회로(3-B)의 검색 범위의 중심 벡터(SMV1, SMV2)를 결정한다.

도 6의 (1)은 정지 모드의 검색 범위를 도시한다. 이 검색 범위는 도 3의 (1)에 도시된 검색 범위 고정의 경우와 동일하다. 그리고, 검색 범위의 중심 벡터는 각각 SMV1=(mvx1, mvy1)=(-16, 0), SMV2=(mvx2, mvy2)=(16, 0)이다.

이것에 대하여, 이동 모드의 경우에는 도 6의 (2)에 도시된 바와 같이 검색 범위를 설정한다. 이 경우의 검색 범위의 중심 벡터는 각각 SMVl=(mvx1, mvy1)=(0, 0), SMV2=(mvx2, mvy2)=(96, 0)이다. 다음에, 이동 모드의 경우의 검색 범위의 중심 벡터를 이 값에 설정하는 이유에 관해서 설명한다.

도 7에 도시된 바와 같이, 3 프레임간 떨어진 이동 벡터의 검출 MV3은 필드 벡터에서는 P3의 Top에서 I0의 Top까지, P3의 Top에서 I0의 Bottom까지, P3의 Bottom에서 I0의 Top까지, P3의 Bottom에서 I0의 Bottom까지의 4종류이고 필드 거리에서는 각각 6필드, 5필드, 7필드, 6필드이다. 또한, MV3의 프레임 벡터의 거리는 6필드이다. 이들을 고려하면, P3으로부터 I0의 거리는 평균하여 6필드로 고려되기 때문에, 1필드간의 이동의 중심 MVC(mvx_c, mvy_c)를 6배한 SMV2=(6mvx_c, 6mvy_c)와 정지 영역의 SMV1=(0, 0)의 2개소를 중심으로 하여 서치를 행한다. 이것보다, 배경이 고속으로 움직이는 영역과 선수, 볼 등의 정지에 가까운 영역의 양쪽의 이동이 검색 범위내에서 커버된다.

여기서는 이동이 수평 방향 팬의 경우를 나타내었지만, 이동이 수직의 틸트의 경우나, 이동이 경사인 경우도 마찬가지로 처리를 행하는 것이 가능하다. 따라서 이 방식에 의해, 본 실시예에서는 최대 검색 범위가, 수평 방향, 수직 방향 모두, ± 16× (6+1)=± 112까지 확대된다. 이동 검출 회로를 2개 사용하고 있기 때문에, 1블럭당의 서치(검색) 데이터의 전송량은 48× 16× 2로 되어, 망원경 서치와 비교하면, 서치 데이터 전송차가 적음에도 불구하고, 검색 범위는 넓다.

도 8은 도 2에 도시된 이동 벡터 검출 회로에서의 이동 검출 처리의 다른 예를 도시한 것이다. 이 처리에서는 1필드 간의 이동 검출을 행할 때에, 검색 범위의 중심의 오프세트치 MV_offset(mvx, mvy)를 최초는 (0, 0)에 설정하고, 그 후는 기준 벡터의 분포에 따라서 변화시킨다.

도 8에 도시된 바와 같이, 최초에 검색 범위의 중심치 MV_offset를 (0, 0)로 한다. 그리고, 단계 S11 내지 단계 S18은 도 4에 도시된 단계 S1 내지 단계 S8과 같다. 그리고, 단계 S19에서는 과거의 SMV1(mvx1, mvy1), SMV2(mvx2, mvy2)에 따라서, 1 필드간의 이동 검출에 있어서의 검색 범위의 중심의 오프세트치 MV_ offset(mvx, mvy)를 결정한다.

예를 들면, 단계 S14에서 카운트한 이동 벡터가 도 5의 (2)와 같은 분포를 이루고 있는 경우에는 오른쪽 방향으로 큰 이동이 있다고 추정하고, 검색 범위의 중심을 도 9의 (1)에 도시된 바와 같이 (8, 0)로 한다. 이 결과, 검색 범위는 수평 방향이 18내지 +2, 수직 방향은 -16 내지 +16이 되며, 수평 방향의 오른쪽에 검색 범위가 넓어지게 된다.

이와 같이 검색 범위를 수평 방향의 오른쪽으로 확대함으로써, 카메라의 팬이 오른쪽 방향으로 가속하고 있는 경우 등에는 도 9의 (1)에 도시된 바와 같은 벡터 분포를 얻을 수 있다. 이 벡터 분포는 검색 범위의 중심이 (0, 0)에서는 검출할 수 없었던 분포이다.

이와 같이 검색 범위의 중심을 수평 방향의 오른쪽으로 확대하여 3 프레임간의 이동 검출을 행하는 경우에는 제 2 이동 검출 회로(3-B)의 서치의 중심 SMV2 (m vx2, mvy2)를 (24× 6, 0)로 한다. 이것을 도 9의 (2)에 도시한다. 이와 같이 하면, 최대 검색 범위가 수평 방향, 수직 방향 모두 ± (24× 6+16)=+160까지로 확대된다. 이 처리는 화상 전체의 이동이 가속하고 있는 경우에 특히 유효하다.

또, 이 실시예에서는 1 필드간의 벡터 분포 MV1에 의해 3프레임간의 이동 벡터(MV3)를 구하는 실시예를 예시하였지만, 본 발명은 M(필드/프레임)간의 이동 벡터 분포로부터 N(필드/프레임)간 {N>M≥ 1｝의 이동 벡터를 구하는 것이 가능하다.

또한, 이 실시예에서는 미래의 Top(B1)으로부터 현재의 Bottom(I0)에의 이동 벡터(MV1)의 분포를 이용한 예를 설명하였지만, 도 7의 과거의 Bottom(B1)으로부터 현재 Top(I0)에의 이동 벡터(MV2)의 분포를(1 필드간)을 사용하여도 된다. 또한, MV1, MV2 양쪽의 분포에 의해 판단하여도 된다.

또한, 이 실시예에서는 2개의 이동 검출 회로를 갖는 예를 예시하였지만 이동 검출 회로는 2개에 한정되지 않고, 도 1에 도시된 바와 같이 1개라도 무방하다. 또한, 3개 이상이라도 된다.

또한, 이 실시예에서는 이동 벡터의 분포를 필드 또는 프레임의 화면 전체에 걸쳐 검출하고 있지만, 이 화면내를 복수의 영역으로 분할하여, 그 영역(예를 들면, 1개의 영역을 화면의 1/2, 1/4, 복수의 매크로 블럭 등으로 한다)마다 이동 벡터 분포를 구하여, 각각 개별적으로 검색 범위를 설정하여도 된다. 도 10은 본 발명을 망원경 서치에 적용한 경우의 이동 벡터 검출 회로의 구성을 도시한다. 상기 이동 벡터 검출 회로는 기준 프레임 메모리(111)와, 제 1 내지 제 3 검색 프레임 메모리(1211 내지 1213)와, 제 1 내지 제 3 이동 검출 회로(13-1 내지 13-3)와, 제 1 내지 제 3 이동 벡터 분포 판정 회로(1411 내지 1413)와, 벡터 가산 회로(15)로 구성되어 있다.

기준 프레임 메모리(11)는 기준 프레임의 화상을 저장한다. 제 1 내지 제 3 검색 프레임 메모리(12-1 내지 12-3)는 검색 프레임(1 내지 3)의 화상을 저장하여, 제 1 내지 제 3 이동 벡터 분포 판정 회로(14-1 내지 14-3)로부터 이송된 제 1 내지 제 3 검색 블럭 판독 출력 제어 신호(c1 내지 c3)에 따라서, 검색 블럭의 검색 범위가 설정된다.

제 1 내지 제 3 이동 검출 회로(13-1 내지 13-3)는 기준 프레임 메모리(11)로부터 전송된 기준 블럭의 화상 데이터(a)와 제 1 내지 제 3 검색 프레임 메모리(12-1내지 12-3)로부터 전송된 검색 블럭의 화상 데이터(b1 내지 b3)로부터 기준 블럭의 이동 벡터(이 내지 d3)를 구한다. 이 이동 벡터(이 내지 d3)는 블럭 매칭법에 의해 구한다. 제 1 내지 제 3의 이동 검출 회로(13-1 내지 13-3)는 구한 이동 벡터(이 내지 d3)를 그 때의 잔차(e1 내지 e3)와 같이 출력한다.

제 1 이동 벡터 분포 판정 회로(14-1)는 앞기준 블럭 등의 제 1 내지 제 3 이동 벡터 g(MV1 내지 MV3)를 기초로 이 때의 검색 범위의 중심을 결정하여, 제 1 검색프레임 메모리(12-1)에 대하여 제 1 검색 블럭 판독 출력 제어 신호(c1)를 보낸다.

제 2 이동 벡터 분포 판정 회로(14-2)는 제 1 이동 검출 회로(13-1)로부터 이송된 이동 벡터(d1)와 잔차(e1)를 기초로 이 때의 검색 범위의 중심을 결정하여, 제 2 검색 블럭 판독 출력 제어 신호(c2)를 생성하여, 제 2 검색 프레임 메모리(12-2)로 보낸다.

마찬가지로, 제 3 이동 벡터 분포 판정 회로(14-3)는 제 2 이동 검출 회로(13-2)로부터 이송된 이동 벡터(d2)와 잔차(e2)를 기초로 이 때의 검색 범위의 중심을 결정하여, 제 3 검색 블럭 판독 출력 제어 신호(c3)를 생성하여, 제 3 검색 프레임 메모리(12-3)로 보낸다.

벡터 가산 회로(15)는 제 1 내지 제 3 이동 검출 회로(13-1 내지 13-3)의 출력을 가산하여 최종적인 이동 벡터(f)를 구한다.

도 11은 도 10의 이동 벡터 검출 회로의 검색 범위의 예를 예시한다. 종래의 망원경 서치에서는 도 16에 도시된 바와 같이, 항상 제 1 단계, 즉 검색 프레임(1)의 서치 시에는 검색 범위의 중심을 (0, 0)로서 수평 방향 및 수직 방향에 ± 16의 서치를 행하여, 그 단계에서 선택된 벡터를 중심으로 하여 다음 단계의 서치를 행하고 있었다. 한편, 본 발명에서는 현 단계에 있어서의 앞의 매크로 블럭의 이동이 큰 경우에는 현 단계의 현 매크로 블럭의 검색 범위의 중심을 그 이동에 따라서 변화시킨다. 또한, 앞 단계의 이동이 큰 경우에는 현 단계의 검색 범위의 중심을 그 이동에 따라서 변화시킨다. 이것에 의해, 회로규모 및 서치 데이터의 전송량을 증가시키지 않고, 검색 범위를 확대하는 것이 가능해진다.

예를 들면, 검색 범위의 중심을(0, 0)을 ± 8 변화시키면, 최대의 검색 범위는± (16+8)× 3=± 72로 된다. 도 11에 도시된 바와 같이, 수평 방향 오른쪽으로 큰 이동 (1 프레임간에서 24화소의 이동)이 있는 경우에는 종래는 (0, 0)에 설정되어 있던 제 1 단계(검색 프레임(1))에 있어서의 검색 범위의 중심을, 수평 방향 오른쪽으로 8이동하여 (8, 0)에 설정한다.

제 1 단계에서 이동 벡터로서 MV1(24, 0)이 선택되고, 제 2 단계(검색 프레임(2))에서는 (24, 0)을 수평 방향 오른쪽으로 8이동한 (32, 0)을 검색 범위의 중심에 설정한다. 제 2 단계에서 이동 벡터로서 MV2(48, 0)가 선택되고, 제 3 단계(검색 프레임(3))에서는 (48, 0)을 수평 방향 오른쪽으로 8이동한 (56, 0)을 검색 범위의 중심에 설정한다. 그리고, 최종적으로 이동 벡터(MV3) (72, 0)이 구해진다.

즉, 도 16에 도시된 종래의 망원경 서치에서는 ± 48의 검색 범위밖에 커버할 수 없었던 것에 반해, 도 11에서는 ± 72까지 커버할 수 있기 때문에, 검색 범위가 50% 확대된다.

이상 상세하게 설명된 바와 같이, 본 발명에 의하면, 검색 블럭의 전송율을 증가시키지 않고, 이동 벡터 검색 범위의 확대를 행할 수 있다. 또한, 대단히 큰 화면의 이동에 대하여도, 서치를 행하는 것이 가능해진다. 특히 전체의 이동이 큰 팬, 틸트의 경우나, 이동이 가속되고 있는 경우에 있어서도 검색 범위가 커버되기 때문에, 종래와 비교하여, 부호화된 화상의 화질이 향상된다.

또한, 본 발명의 취지를 이탈하지 않는 범위에 있어서는 다양한 변형이나 응용예를 생각할 수 있다. 따라서, 본 발명의 요지는 실시예에 한정되지 않는다.

도 1은 본 발명을 적용한 이동 벡터 검출 회로의 제 1 형태를 도시한 블록도.

도 2는 본 발명을 적용한 이동 벡터 검출 회로의 제 2 형태를 도시한 블록도.

도 3은 도 2에 있어서의 2개의 이동 검출 회로의 검색 범위 고정시의 검색 범위와, 이동 벡터 검출시의 검색 범위를 도시한 도.

도 4는 도 2에 도시된 이동 벡터 검출 회로에 있어서의 이동 검출 처리를 도시한 플로우챠트.

도 5는 도 2에 도시된 이동 벡터 검출 회로에 있어서의 정지 모드시 및 이동 모드시의 이동 벡터 분포의 예를 도시한 도.

도 6은 도 2에 도시된 이동 벡터 검출 회로에 있어서의 정지 모드시 및 이동 모드시의 검색 범위의 예를 도시한 도.

도 7은 3프레임간 떨어진 이동 벡터의 검출을 도시한 도.

도 8은 도 2에 도시된 이동 벡터 검출 회로에 있어서의 이동 검출 처리의 다른 예를 도시한 플로우챠트.

도 9는 도 8에 도시된 처리에 있어서의 이동 벡터 분포 및 검색 범위의 예를 도시한 도.

도 10은 본 발명을 망원경 서치에 적용한 경우의 이동 벡터 검출 회로의 구성을 도시한 블럭도.

도 1l은 본 발명을 망원경 서치에 적용한 경우의 검색 범위의 예를 도시한 도.

도 12는 MPEG 방식에 의한 화상 부호화 장치의 구성을 도시한 블럭도.

도 13은 블럭 매칭법에 관해 설명하기 위한 도.

도 14는 MPEG에 있어서의 이동 검출의 예를 도시한 도.

도 15는 프레임 간격과 바람직한 검색 범위의 관계를 도시한 도.

도 16은 종래의 망원경 서치를 도시한 도.

도 17은 통상의 서치와 망원경 서치의 데이터 전송량을 비교한 도.

* 도면의 주요 부분에 대한 부호의 설명 *

1, 11… 기준 프레임 메모리

2, 12-1 내지 12-3… 검색 프레임 메모리

3, 3-A, 3-B, 13-1 내지 13-3… 이동 검출 회로

4, 4… 이동 벡터 분포 검출 회로

14-1 내지 14-3… 이동 벡터 분포 판정 회로.

Claims

화상 부호화 장치에 있어서,

기준 프레임을 복수의 영역으로 분할함으로써 형성되는 다수의 기준 블록들을 포함하는 상기 기준 프레임의 화상 데이터를 저장하는 기준 프레임 메모리(1)와,

검색 프레임을 복수의 영역으로 분할함으로써 형성되는 다수의 검색 블록들을 포함하는 상기 검색 프레임의 화상 데이터를 저장하는 검색 프레임 메모리(2)와,

상기 기준 프레임과 상기 검색 프레임을 이용하여 각 기준 블록에 대한 이동 벡터를 계산하는 이동 검출 수단 (3A, 3B) 으로서, 상기 검색 프레임은 상기 기준 프레임으로부터 M 필드 또는 M 프레임 떨어져 있으며, 상기 M은 1 이상의 정수인 상기 이동 검출 수단 (3A, 3B)과,

적어도 2개의 기준 벡터를 생성하는 검출 수단 (4')으로서, 상기 각 기준 벡터는 상기 기준 프레임으로부터 N 필드 또는 N 프레임 떨어진 검색 범위의 중심에 상응하며, N은 M보다 큰 정수이고, 상기 각 기준 벡터들은 상기 검색 프레임의 검색 범위에서 상기 이동 검출 수단에 의해 계산된 상기 이동 벡터들의 분포 및 M과 N에 비례하는 상수에 기초하여 계산되는 상기 검출 수단(4')을 포함하고,

상기 이동 벡터 검출 수단은 상기 기준 벡터들에 응답하여, 상기 기준 벡터들에 의해 지시되는 위치들에 위치하는, 상기 기준 프레임으로부터 N필드 또는 N프레임 떨어진 상기 프레임이나 필드에서의 상기 검색 범위를 사용하여 이동 벡터들을 계산하는, 화상 부호화 장치.
제 1 항에 있어서, 상기 검출 수단은 상기 이동 벡터 분포로부터, 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지 하고 있는지 여부를 결정하는, 화상 부호화 장치.
제 2 항에 있어서, 상기 검출 수단은 상기 이동 벡터의 분포가 상기 검색 범위의 중심 부분의 이동 벡터의 수가 임계값 이상임을 나타내는지를 결정함으로써, 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있는지 여부를 결정하는 화상 부호화 장치.
제 3 항에 있어서, 상기 검출 수단이 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있지 않다고 결정하면, 상기 검출 수단은 상기 이동 벡터 분포로부터 상기 이동 벡터들이 가장 강하게 집중되어 있는 중심 위치를 결정하는, 화상 부호화 장치.
제 4 항에 있어서, 상기 검출 수단이 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있지 않다고 결정하면, 상기 검출 수단은 상기 중심 주위의 이동 벡터의 총 수를 카운트하고, 상기 총수가 임계값보다 크면 상기 검색 수단은 상기 검색 프레임의 상기 화상 데이터는 상기 기준 프레임의 상기 화상 데이터에 대하여 동적이라고 결정하는, 화상 부호화 장치.
제 1 항에 있어서, 상기 이동 검출 수단은 복수의 이동 검출 회로를 구비하며, 각 회로는 상기 검색 범위 중의 하나에서 이동 검출을 행하는, 화상 부호화 장치.
제 1 항에 있어서, 상기 이동 검출 수단은 블록 매칭 방법으로 상기 이동 벡터들을 계산하는, 화상 부호화 장치.
화상 부호화 방법에 있어서,

a) 기준 프레임을 복수의 영역으로 분할함으로써 형성되는 다수의 기준 블록들을 포함하는 상기 기준 프레임의 화상 데이터를 저장하는 단계와,

b) 검색 프레임을 복수의 영역으로 분할함으로써 형성되는 다수의 검색 블록들을 포함하는 상기 검색 프레임의 화상 데이터를 저장하는 단계와,

c) 상기 기준 프레임과 상기 검색 프레임을 사용하여 이동 벡터를 계산하는 단계로서, 상기 검색 프레임은 상기 기준 프레임으로부터 M 필드 또는 M 프레임 떨어져 있으면, M은 1 이상의 정수인, 상기 이동 벡터 계산 단계와,

d) 적어도 두 개의 기준 벡터들을 생성하는 단계로서, 상기 각 기준 벡터는 상기 기준 프레임으로부터 N 필드 또는 N 프레임 떨어진 필드나 프레임에서의 검색 범위의 중심에 상응하며, N은 M보다 큰 정수이고, 상기 각 기준 벡터들은 단계 c)에서 상기 검색 프레임의 검색 범위 내에서 계산된 상기 이동 벡터 분포 및 M과 N에 비례하는 상수에 기초하여 계산되는, 상기 기준 벡터 생성 단계 및

e) 상기 기준 벡터들에 의해 지시되는 위치들에 위치하는, 상기 기준 프레임으로부터 N필드 또는 N프레임 떨어진 상기 프레임이나 필드에서의 상기 검색 범위를 사용하여 이동 벡터들을 계산하는 단계를 포함하는, 화상 부호화 방법.
제 8 항에 있어서, 상기 단계 d)는

상기 이동 벡터 분포로부터, 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있는지 여부를 결정하는 단계를 더 포함하는, 화상 부호화 방법.
제 9 항에 있어서, 상기 d) 단계는

상기 이동 벡터 분포가 상기 검색 범위의 중심 부분의 이동 벡터의 수가 임계값 이상인지를 결정함으로써, 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있는지 여부를 결정하는 단계를 더 포함하는, 화상 부호화 방법.
제 10 항에 있어서, 상기 d) 단계에서 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있지 않다고 결정되면, 상기 d) 단계는

상기 이동 벡터 분포로부터, 상기 이동 벡터들이 가장 강하게 집중되어 있는 중심 위치를 결정하는 단계를 더 포함하는, 화상 부호화 방법.
제 11 항에 있어서, 상기 d) 단계에서 상기 검색 프레임의 상기 화상 데이터가 상기 기준 프레임의 상기 화상 데이터에 대하여 정지하고 있지 않다고 결정되면, 상기 d) 단계는

상기 중심 주위의 이동 벡터의 총 수를 카운팅하여, 상기 총 수가 임계값보다 크면 상기 검색 프레임의 상기 화상 데이터는 상기 기준 프레임의 상기 화상 데이터에 대하여 동적이라고 결정하는, 화상 부호화 방법.
제 8 항에 있어서, 상기 c)와 e) 단계는 복수의 이동 검출 회로를 사용하여 수행되며, 각 회로는 상기 검색 범위 중의 하나에서 이동 검출을 수행하는, 화상 부호화 방법.
제 8 항에 있어서, 상기 c)와 e) 단계에서 계산된 상기 이동 벡터들은 블록 매칭 방법에 의해 계산되는, 화상 부호화 방법.