KR100319248B1 - 화상예측복호화방법 - Google Patents

Abstract

종래에는 화상 사이즈 가변의 화상을 부호화할 때, 참조 화상의 사이즈가 "0"인 경우, 프레임내 부호화를 함으로써 부호화량이 증가하여, 압축율이 저하되었다.

본 발명에 따르면, 화상 사이즈 가변 화상을, 소정의 방법으로 압축 부호화한 화상 데이터를 입력하여, 복호화의 대상으로 되는 화상보다 이전에 재생된 적어도 하나의 참조 화상으로부터 예측 화상을 생성하고, 복호화의 대상으로 되는 화상을 예측 복호화하는 복호화 방법에 있어서, 사이즈가 "0"이 아닌, 최근에 재생된 적어도 하나의 참조 화상을 이용하여 예측 화상을 생성한다.

Description

화상 예측 복호화 방법{IMAGE PREDICTIVE DECODING METHOD, IMAGE PREDICTIVE DECODING APPARATUS, IMAGE PREDICTIVE CODING METHOD, IMAGE PREDICTIVE CODING APPARATUS, AND DATA STORAGE MEDIA}

본 발명은 화상의 예측 복호화, 부호화 처리에 관한 것으로, 특히 화상 사이즈가 가변(可變)인 경우에 있어서의 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 장치 및 데이터 기억 매체에 관한 것이다.

디지탈 화상을 효율적으로 축적 또는 전송하기 위해서는, 압축 부호화할 필요가 있다. 디지탈 화상을 압축 부호화하기 위한 방법으로서, JPEG이나 MPEG으로 대표되는 이산 코사인 변환(DCT) 이외에, 서브밴드나 웨이블릿(wablet), 프렉탈(fractal) 등의 파형 부호화 방법이 있다. 또한, 화상간의 용장 신호를 제거하기 위해서는, 움직임 보상을 이용한 화상간 예측을 행하여 차분 신호를 파형 부호화한다.

여기서는, 움직임 보상 DCT에 근거한 MPEG 방식에 대하여 설명한다. 우선, 부호화하고자 하는 1 프레임의 입력 화상을, 복수의 16×16 화소 크기의 매크로 블럭으로 분할하여 처리한다. 1개의 매크로 블럭을 다시 8×8 화소 크기의 4개의 블럭으로 분할하여, 8×8 화소 크기의 블럭에 대한 DCT를 실시한 후 양자화한다. 이것을 프레임내 부호화라고 칭한다.

한편, 블럭 매칭을 비롯한 움직임 검출 방법에서, 양자화하고자 하는 대상 매크로 블럭을 포함하는 해당 프레임에 대하여 시간적으로 인접하는 별도의 프레임중, 대상 매크로 블럭에 대한 오차가 가장 작은 예측 매크로 블럭을 검출하고, 해당 검출된 움직임에 근거해 과거 화상으로부터의 움직임 보상을 행하여 최적의 예측 블럭을 취득한다. 오차가 가장 작은 예측 매크로 블럭으로의 움직임을 나타내는 신호가 움직임 벡터이다. 예측 매크로 블럭을 생성하기 위해 참조하는 화상을, 이후 참조 화상이라고 부른다. 다음에 대상으로 되는 블럭과 대응하는 예측 블럭과의 차분을 구하여 해당 차분에 대해 DCT를 실시하고, 해당 DCT 변환 계수를 양자화하여, 해당 양자화 출력을 움직임 정보와 함께 전송 또는 축적한다. 이것을 프레임간 부호화라고 부른다.

또한, 이 프레임간 부호화에는, 표시 순서상 앞에 있는 화상으로부터만 예측하는 모드와, 앞에 있는 화상과 뒤에 있는 화상의 양쪽으로부터 예측하는 모드가 있다. 전자를 전방 예측, 후자를 쌍방향 예측이라고 부른다.

수신측에서는, 양자화된 변환 계수를 본래의 차분 신호로 복원한 후, 해당 차분 신호를 바탕으로 움직임 벡터에 근거하여 예측 블럭을 취득하고, 해당 예측 블럭과 차분 신호를 가산하여 화상을 재생한다. 또, 이 종래 기술에서는, 참조 화상(예측 화상을 생성하기 위해 참조하는 화상)과, 대상 화상의 사이즈가 동일한 것을 전제로 하고 있다.

최근, 압축 효율을 향상시킴과 동시에 화상을 구성하는 물체 단위의 재생이 가능하도록, 화상을 구성하는 물체를 임의 형상의 화상으로 하여 각각 압축 부호화하여 전송하도록 하고 있다. 이러한 임의 형상의 화상의 부호화, 복호화에서는, 화상의 사이즈가 변화하는 일이 종종 있다. 그 일례로서는, 공(ball)이 점점 작아진다든가, 없어져 버리는 예를 고려할 수 있다. 또한, 경우에 따라서는 화상(물체)의 사이즈가 "0"으로 되는 일도 있다.

통상의 경우, 참조 화상은 대상 화상의 직전에 있는 재생 화상이다. 참조 화상의 사이즈가 "0"인 경우, 참조 화상에는 아무것도 정의되지 않기 때문에, 즉 예측 부호화에 이용하는 유의(有意)의 화상 데이터가 없기 때문에, 예측 부호화할 수가 없게 된다. 이 경우에도, 종래의 기술을 적용하고자 하면, 프레임내 부호화를 실행하는 것 밖에는 방법이 없다. 그런데, 프레임내 부호화를 실행하면, 일반적으로 부호량이 증가하여, 압축율이 저하되어 버린다. 동화상의 순서(sequence)중, 화상이 빈번히 없어지거나(이 경우, 화상 사이즈는 "0"으로 됨), 나타나기도 하는 경우는, 부호화 효율이 대단히 불량하게 된다. 예를 들면, 스포트라이트(spotlight)가 플래싱(flashing)하는 화상에서는, 기입이 화상 단위로 없어지거나 나타나거나 하면, 모든 라이트(light)의 화상을 프레임내 부호화하게 된다.

본 발명은 상기한 바와 같은 문제점을 감안하여 이루어진 것으로서, 그 목적은 사이즈가 가변인 화상에 대하여, 참조 화상의 사이즈가 "0"으로 된 경우, 혹은 참조 화상이 완전히 투과하는 경우에도, 효율적으로 예측 부호화를 할 수 있는 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 장치 및 데이터 기억 매체를 제공하는 것이다.

도 1은 본 발명의 실시예 1에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 2는 본 발명에 의한 화상 예측 복호화에 있어서의 화상 예측의 구조를 나타내는 모식도,

도 3은 본 발명의 실시예 1에 있어서의 화상 예측 복호화 장치를 나타내는 블럭도,

도 4는 본 발명의 실시예 1에 있어서의 화상 예측 복호화 장치에 이용하는 프레임 메모리를 나타내는 블럭도,

도 5는 본 발명의 실시예 3에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 6은 본 발명의 실시예 4에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 7은 본 발명의 실시예 1에 있어서의 화상 데이터를 도시한 도면,

도 8은 본 발명의 실시예 2에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 9는 본 발명의 실시예 2에 있어서의 화상 데이터를 도시한 도면,

도 10은 본 발명의 실시예 5에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 11은 본 발명의 실시예 6에 있어서의 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법을 나타내는 흐름도,

도 12는 본 발명의 실시예 7에 의한 화상 예측 부호화 장치를 나타내는 블럭도,

도 13은 본 발명의 실시예 8에 의한 화상 예측 부호화 장치를 나타내는 블럭도,

도 14의 (a), (b), (c)는 본 발명의 각 실시예에 있어서의 부호화 데이터를 저장한, 혹은 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법, 또는 화상 예측 부호화 장치에 의한 화상 처리를 컴퓨터에 의해 실현하기 위한 프로그램을 저장하기 위한 데이터 기록 매체를 설명하기 위한 도면.

도면의 주요 부분에 대한 부호의 설명

301, 1001, 1002 : 입력 단자 302 : 데이터 해석기

303, 1130, 1230 : 복호화기 304, 1131 : 역양자화기

305, 1132 : 역이산 코사인 변환기(IDCT)

306, 1170, 1270 : 가산기 307 : 출력 단자

309, 1140, 1240 : 프레임 메모리부

310, 1150, 1250 : 예측 화상 생성기

320 : 제어기 406 : 프레임 메모리 뱅크

401∼403 : 프레임 메모리 404, 405 : 스위치

407, 408 : 라인

1000, 1000a : 화상 예측 부호화 장치

1003 : 출력 단자 1010 : 가변 길이 부호화기

1020, 1280 : 형상 검출기 1100, 1100a : 텍스쳐 부호화부

1200, 1200a : 형상 부호화부 1110, 1210 : 블럭화기

1120, 1220 : 부호화기

1121 : 이산 코사인 변환기(DCT)

1122 : 양자화기 1160, 1260 : 감산기

1170, 1270 : 가산기 1190, 1290 : 전환 스위치

#1(201)∼#10(210) : 화상 #1(211)∼#9(220) : 화상

Cs : 컴퓨터 시스템 D : 플로피 디스크 본체

F : 플래그 FC : 플로피 디스크 케이스

FD : 플로피 디스크 FDD : 플로피 디스크 드라이브

Hm, Vm : 수직, 수평 데이터 사이즈

본 발명의 제 1 특징에 따른 화상 예측 복호화 방법은, 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하여, 복호화의 대상으로 되는 화상보다 이전에 재생된 적어도 하나의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하고, 상기 복호화의 대상으로 되는 화상을 예측 복호화하는 화상 예측 복호화 방법에 있어서, 상기 참조 화상으로서, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 적어도 하나의 재생 화상을 이용하여 상기 예측 화상을 생성하는 것이다.

제 2 특징에 따른 화상 예측 복호화 방법은, 제 1 특징에 따른 화상 예측 복호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 3특징에 따른 화상 예측 복호화 방법은, 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하여, 복호화의 대상으로 되는 화상보다 이전에 재생된 소정의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하고, 상기 복호화의 대상으로 되는 화상을 예측 복호화하는 화상 예측 복호화 방법에 있어서, 상기 예측 화상을 생성할 때 참조 화상으로서 이용하는 소정의 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하지 않을 경우, 소정값을 그 화상 데이터로 한 화상을 예측 화상으로 하는 것이다.

제 4 특징에 따른 화상 예측 복호화 방법은, 제 3 특징에 따른 화상 예측 복호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 5 특징에 따른 화상 예측 복호화 방법은, 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하여, 참조 화상을 이용해 예측 화상을 생성하고, 상기 복호화의 대상으로 되는 화상을 예측 복호화하는 화상 예측 복호화 방법에 있어서, 상기 참조 화상으로서, 최근에 재생된 2개의 재생 화상 중, 적어도 참조되어야 할 유의의 화상 데이터가 존재하는 것을 이용하여 상기 예측 화상을 생성하는 것이다.

제 6 특징에 따른 화상 예측 복호화 방법은, 제 5 특징에 따른 화상 예측 복호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전의 소정의 2개 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 7 특징에 따른 화상 예측 복호화 장치는, 입력 수단과, 데이터 해석기와, 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하고, 상기 데이터 해석기에 의해, 상기 화상 데이터를 분석하여 화상 사이즈와 화상 변환 계수를 출력하며, 상기 복호화기에 의해, 상기 화상 변환 계수를 소정의 방법으로 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 복호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 조사하여, 유의의 화상 데이터가 존재하는 최근에 재생된 적어도 하나의 재생 화상을 참조 화상으로서 이용하여 상기 예측 화상을 생성하는 것으로 한 것이다.

제 8 특징에 따른 화상 예측 복호화 장치는, 제 7 특징에 따른 화상 예측 복호화 장치에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 9 특징에 따른 화상 예측 복호화 장치는, 입력 수단과, 데이터 해석기와, 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 입력 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하고, 상기 데이터 해석기에 의해, 상기 화상 데이터를 분석하여 화상 사이즈와 화상 변환 계수를 출력하며, 상기 복호화기에 의해, 상기 화상 변환 계수를 소정의 방법으로 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된, 상기 입력 화상에 대응하는 소정의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 복호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 소정의 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 조사하여, 해당 소정의 재생 화상에 유의의 화상 데이터가 존재하지 않을 경우, 소정값을 그 화상 데이터로 한 화상을 상기 예측 화상으로 하는 것으로 한 것이다.

제 10 특징에 따른 화상 예측 복호화 장치는, 제 9 특징에 따른 화상 예측 복호화 장치에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 11 특징에 따른 화상 예측 복호화 장치는, 입력 수단과, 데이터 해석기와, 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 입력하고, 상기 데이터 해석기에 의해, 상기 화상 데이터를 분석하여 화상 사이즈와 화상 변환 계수를 출력하며, 상기 복호화기에 의해, 상기 화상 변환 계수를 소정의 방법으로 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 복호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 참조 화상으로서, 최근에 재생된 2개의 재생 화상 중, 적어도 참조되어야 할 유의의 화상 데이터가 존재하는 것을 이용하여 상기 예측 화상을 생성하는 것으로 한 것이다.

제 12 특징에 따른 화상 예측 복호화 장치는, 제 11 특징에 따른 화상 예측 복호화 장치에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 복호화 처리의 대상으로 되는 대상 프레임의 직전의 소정의 2개 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 13 특징에 따른 화상 예측 부호화 방법은, 화상 사이즈가 가변인 화상을 입력하여, 부호화의 대상으로 되는 화상보다 이전에 재생된 적어도 하나의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하고, 상기 예측 화상으로부터 상기 대상 화상을 감산하여, 그 차분을 소정의 방법으로 압축 부호화하는 화상 예측 부호화 방법에 있어서, 상기 예측 화상을 생성할 때에는, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 적어도 하나의 재생 화상을 참조 화상으로서 이용하여 상기 예측 화상을 생성하는 것이다.

제 14 특징에 따른 화상 예측 부호화 방법은, 제 13 특징에 따른 화상 예측 부호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 부호화 처리의 대상으로 되는 대상 프레임의 직전의 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 15 특징에 따른 화상 예측 부호화 방법은, 화상 사이즈가 가변인 화상을 입력하여, 부호화의 대상으로 되는 화상보다 이전에 재생된 소정의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하고, 상기 예측 화상으로부터 상기 대상 화상을 감산하여, 그 차분을 소정의 방법으로 압축 부호화하는 화상 예측 부호화 방법에 있어서, 상기 예측 화상을 생성할 때 참조 화상으로서 이용하는 소정의 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하지 않을 경우, 소정값을 그 화상 데이터로 한 화상을 상기 예측 화상으로 하는 것이다.

제 16 특징에 따른 화상 예측 부호화 방법은, 제 15 특징에 따른 화상 예측 부호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 부호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 17 특징에 따른 화상 예측 부호화 방법은, 화상 사이즈가 가변인 화상을 입력하여, 참조 화상을 이용하여 예측 화상을 생성하고, 상기 예측 화상으로부터 상기 부호화의 대상으로 되는 대상 화상을 감산하여, 그 차분을 소정의 방법으로 압축 부호화하는 화상 예측 부호화 방법에 있어서, 상기 참조 화상으로서, 최근에 재생된 2개의 재생 화상 중, 적어도 참조되어야 할 유의의 화상 데이터가 존재하는 것을 이용하여 상기 예측 화상을 생성하는 것이다.

제 18 특징에 따른 화상 예측 부호화 방법은, 제 17 특징에 따른 화상 예측 부호화 방법에 있어서, 상기 압축 부호화한 각 프레임마다의 화상 데이터는, 부호화 처리의 대상으로 되는 대상 프레임의 직전의 소정의 2개 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 19 특징에 따른 화상 예측 부호화 장치는, 입력 수단과, 감산기와, 압축 부호화기와, 가변 길이 부호화기와, 신장 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상 데이터를 부호화 처리 단위마다 구분하여 입력하고, 상기 감산기에 의해, 부호화 처리의 대상으로 되는 대상 화상과 이 대상 화상에 대응하는 예측 화상과의 차분 화상을 구하며, 상기 압축 부호화기에 의해, 상기 차분 화상을 소정의 압축 부호화 처리에 의해 압축 데이터로 변환하고, 상기 가변 길이 부호화기에 의해, 상기 압축 데이터를 가변 길이 부호화하여 부호화 데이터를 출력하며, 상기 신장 복호화기에 의해, 상기 압축 데이터를 소정의 신장 복호화 처리에 의해 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 부호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 조사하여, 유의의 화상 데이터가 존재하는 최근에 재생된 적어도 하나의 재생 화상을 참조 화상으로서 이용하여 상기 예측 화상을 생성하는 것으로 한 것이다.

제 20 특징에 따른 화상 예측 부호화 장치는, 제 19 특징에 따른 화상 예측 부호화 장치에 있어서, 각 프레임마다의 부호화 데이터는, 부호화 처리의 대상으로 되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 21 특징에 따른 화상 예측 부호화 장치는, 입력 수단과, 감산기와, 압축 부호화기와, 가변 길이 부호화기와, 신장 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상 데이터를 부호화 처리 단위마다 구분하여 입력하고, 상기 감산기에 의해, 부호화 처리의 대상으로 되는 대상 화상과 이 대상 화상에 대응하는 예측 화상과의 차분 화상을 구하며, 상기 압축 부호화기에 의해, 상기 차분 화상을 소정의 압축 부호화 처리에 의해 압축 데이터로 변환하고, 상기 가변 길이 부호화기에 의해, 상기 압축 데이터를 가변 길이 부호화하여 부호화 데이터를 출력하며, 상기 신장 복호화기에 의해, 상기 압축 데이터를 소정의 신장 복호화 처리에 의해 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된, 상기 입력 화상에 대응하는 소정의 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 부호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 소정의 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 조사하여, 유의의 화상 데이터가 존재하지 않을 경우, 소정값을 그 화상 데이터로 한 화상을 상기 예측 화상으로 하는 것으로 한 것이다.

제 22 특징에 따른 화상 예측 부호화 장치는, 제 21 특징에 따른 화상 예측 부호화 장치에 있어서, 각 프레임마다의 부호화 데이터는, 부호화 처리의 대상으로되는 대상 프레임의 직전 프레임에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 23 특징에 따른 화상 예측 부호화 장치는, 입력 수단과, 감산기와, 압축 부호화기와, 가변 길이 부호화기와, 신장 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상 데이터를 부호화 처리 단위마다 구분하여 입력하고, 상기 감산기에 의해, 부호화 처리의 대상으로 되는 대상 화상과 이 대상 화상에 대응하는 예측 화상과의 차분 화상을 구하며, 상기 압축 부호화기에 의해, 상기 차분 화상을 소정의 압축 부호화 처리에 의해 압축 데이터로 변환하고, 상기 가변 길이 부호화기에 의해, 상기 압축 데이터를 가변 길이 부호화하여 부호화 데이터를 출력하며, 상기 신장 복호화기에 의해, 상기 압축 데이터를 소정의 신장 복호화 처리에 의해 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 복호화 장치에 있어서, 상기 예측 화상 생성기는, 상기 참조 화상으로서, 최근에 재생된 2개의 재생 화상 중, 적어도 참조되어야 할 유의의 화상 데이터가 존재하는 것을 이용하여 상기 예측 화상을 생성하는 것으로 한 것이다.

제 24 특징에 따른 화상 예측 부호화 장치는, 제 23 특징에 따른 화상 예측 부호화 장치에 있어서, 각 프레임마다의 부호화 데이터는, 부호화 처리의 대상으로되는 화상 데이터를 포함하는 대상 프레임의 직전의 소정의 2개 프레임에, 유의의 화상 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 한 것이다.

제 25 특징에 따른 화상 예측 부호화 장치는, 입력 수단과, 감산기와, 압축 부호화기와, 가변 길이 부호화기와, 신장 복호화기와, 예측 화상 생성기와, 가산기와, 프레임 메모리를 포함하며, 상기 입력 수단에, 화상 사이즈가 가변인 화상 데이터를 부호화 처리의 단위마다 구분하여 입력하고, 상기 감산기에 의해, 부호화 처리의 대상으로 되는 대상 화상과 이 대상 화상에 대응하는 예측 화상과의 차분 화상을 구하며, 상기 압축 부호화기에 의해, 상기 차분 화상을 소정의 압축 부호화 처리에 의해 압축 데이터로 변환하고, 상기 가변 길이 부호화기에 의해, 상기 압축 데이터를 가변 길이 부호화하여 부호화 데이터를 출력하며, 상기 신장 복호화기에 의해, 상기 압축 데이터를 소정의 신장 복호화 처리에 의해 신장 차분 화상으로 복원하고, 상기 예측 화상 생성기에 의해, 상기 프레임 메모리에 저장된 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하며, 상기 가산기에 의해, 상기 신장 차분 화상과 상기 예측 화상을 가산하여, 재생 화상을 생성하여 출력함과 동시에, 해당 재생 화상을 상기 프레임 메모리에 저장하는 화상 예측 부호화 장치에 있어서, 상기 화상 사이즈가 가변인 화상 데이터에 포함되는, 물체의 형상을 나타내는 형상 데이터에 근거하여, 상기 재생 화상에, 참조되어야 할 유의의 화상 데이터가 존재하는지 여부를 검출하는 형상 검출기를 포함하며, 상기 예측 화상 생성기를, 형상 검출기의 출력에 근거하여, 상기 재생 화상이 유의의 화상 데이터를 갖지 않은 경우에는, 유의의 화상 데이터가 존재하는 최근에 재생된 적어도 하나의 재생화상을 참조 화상으로서 이용하여 상기 예측 화상을 생성하는 구성으로 한 것이다.

제 26 특징에 따른 데이터 기억 매체는, 컴퓨터에 화상의 예측 복호화 처리를 실행하게 하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램은, 제 7, 9, 11 중 어느 한 특징에 따른 화상 예측 복호화 장치에 의한 화상의 예측 복호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.

제 27 특징에 따른 데이터 기억 매체는, 컴퓨터에 화상의 예측 부호화 처리를 실행하게 하기 위한 프로그램을 저장한 데이터 기록 매체에 있어서, 상기 프로그램은, 제 19, 21, 23, 25 중 어느 한 특징에 따른 화상 예측 부호화 장치에 의한 화상의 예측 부호화 처리를 컴퓨터가 실행하도록 구성되어 있는 것이다.

제 28 특징에 따른 데이터 기억 매체는, 화상을 압축 부호화하여 얻어지는 부호화 데이터를 저장한 데이터 기록 매체에 있어서, 상기 부호화 데이터는, 제 19, 21, 23, 25 중 어느 한 특징에 따른 화상 예측 부호화 장치에 있어서의 화상 예측 부호화 처리에 의해 얻어진 부호화 데이터로 한 것이다.

발명의 실시예

이하, 본 발명의 실시예에 대하여, 도 1 내지 도 7을 이용하여 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 의한 화상 예측 복호화 방법에 있어서의, 예측 화상 생성 방법의 흐름도를 나타낸다. 도 1을 설명하기 전에, 도 2를 이용하여 본발명에 의한 화상 예측 복호화에 있어서의 화상 예측 방법에 대하여 설명한다. 본 실시예 1의 화상 예측 복호화 방법에서 이용하는 입력 화상의 화상 사이즈는 가변(可變)이며, 경우에 따라서는 사이즈가 "0"으로 되는 경우도 있다.

도 2의 (a)는, 표시순으로 나열한 동화상의 각 화상(201∼210)을 나타낸다. 화상(201)이 최초의 화면이고, 그 다음이 화상(202), ……으로, 순서대로 표시된다. 이 순서를 ＃1∼＃10으로 나타내고 있다. 화상 #1(201)은 최초의 화상으로서, 프레임내 부호화를 행한다. 본 실시예 1에서는, 화상(1 프레임)을 복수의 8×8 화소 크기의 블럭으로 분할하고, 각 8×8 화소 크기의 블럭의 DCT를 실시하여, 양자화한다. 양자화한 계수를 가변 길이 부호화한다. 복호화하는 경우에는, 해당 가변 길이 부호화에 의해 얻어진 부호화 데이터를 가변 길이 복호화하고, 해당 복호화에 의해 얻어진 양자화 계수를 역양자화하고 나서 역DCT 변환함으로써, 화상을 재생한다. 다음에, 화상 #2(202)을, 이미 재생된 화상 #1(201)을 참조하여 프레임간 예측 부호화한다.

본 실시예 1에서는, 블럭 매칭의 움직임 검출 방법에 의해, 화상 #1(201) 중에서 대상 블럭에 대해 오차가 가장 작은 예측 블럭을 검출한다. 검출된, 대상 블럭으로부터 예측 블럭으로의 움직임에 근거하여, 재생된 화상 #1(201)로부터 대상 블럭의 움직임 보상에 의해 최적의 예측 블럭을 취득한다. 다음에, 대상으로 되는 블럭과, 대응하는 예측 블럭의 차분을 구하여, 해당 차분에 대해 DCT를 실시하고, 해당 DCT 변환 계수를 양자화하여, 해당 양자화 출력을 움직임 정보와 함께 전송 또는 축적한다. 여기서, 재생된 화상 #1(201)은 화상 #2(202)의 참조 화상으로 된다. 이것을 전방(前方) 예측이라고 칭한다. 복호화할 때에는, 역양자화 및 역DCT 한 차분에 예측 블럭을 가산하여 화상을 재생한다.

마찬가지로, 화상 #3(203)과 화상 #4(204)는, 화살표가 나타내는 참조 화상으로부터 예측 부호화를 한다. 또한, 화상 #6(206), 화상 #8(208), 화상 #10(210)과 같이, 2장 전(前)의 화상으로부터 예측할 수 있다. 또한, 화상 #5(205), 화상 #7(207), 화상 #9(209)과 같이, 전방 예측 이외에, 해당 화상보다 뒤에 표시되는 화상도 참조할 수 있다. 이와 같이 해당 화상보다 뒤에 표시되는 화상을 참조하여 예측하는 것을 후방(後方) 예측이라고 칭한다. 전방 예측과 후방 예측을 함께 하는 경우에는, 이를 쌍방향 예측이라고 칭한다. 쌍방향 예측에서는, 전방 예측 모드와, 후방 예측 모드와, 전방 후방 예측을 평균화하는 보간(補間) 모드가 있다.

도 2의 (b)는, 도 2의 (a)에서 예측한 화상의 전송 순서, 즉 복호화 순서를 나타낸다. 화상 #1(211)이 최초로 복호화되어 재생된다. 그것을 참조하여, 화상 #2(212)를 복호화한다. 화상 #5(216)와 같은 쌍방향 예측 화상에 대해서는, 예측에 이용하는 참조 화상을 먼저 복호화하여 재생할 필요가 있다. 그 때문에, 화상 #6(215)은 화상 #5(216)보다 앞에 있다. 마찬가지로, 화상 #8(217)은 화상 #7(218)보다 먼저, 화상 #10(219)은 화상 #9(220)보다 먼저 전송되고, 복호화되어 재생된다.

화상 사이즈가 가변인 화상을 전송하는 경우에는, 각 화상에 대하여 사이즈를 전송해야만 한다. 본 실시예 1에서는, 화상의 사이즈를 화상의 부호화 데이터 선두에 기술하고, 수평, 수직 사이즈 Hm, Vm을 각각 20비트로 나타낸다. 도 7은본 실시예 1에 있어서의 화상의 부호화 데이터를 나타내며, 여기서 이 부호화 데이터(VD)내에는, 상기 화상 사이즈의 데이터를 나타내는 수평, 수직 사이즈 Hm, Vm 이외에, 움직임 벡터, 양자화폭 및 DCT 계수 등이 포함된다.

다음에, 도 1의 흐름도를 이용하여 본 발명의 실시예 1에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법에 대하여 설명한다.

예측 화상을 생성할 때에는, 우선 단계(102)에서, 직전 참조 화상의 사이즈를 입력하고, 단계(103)에서 참조 화상의 사이즈가 "0"인지 여부를 조사한다.

여기서, 참조 화상은 도 2의 (a)에 도시하는 복호화 순서에 있어서, 항상 복호화의 대상(부호화하는 경우, 부호화의 대상)으로 되는 화상의 앞에 있다. 해당 참조 화상은, 본 실시예 1에 의한 화상 예측 복호화 방법에 있어서는, 직전에 재생되는 화상이다. 예를 들면, 도 2의 (b)의 화상 #4(214)의 참조 화상은 그 직전의 화상 #3(213)이 된다. 단, 쌍방향 예측으로 재생하는 화상은, 예측에 이용되지 않기 때문에, 참조 화상으로서는 사용하지 않는다. 따라서, 예를 들어 화상 #8(217)의 참조 화상은 화상 #6(215)이 된다.

상기 도 1에 있어서의, 단계(103)의 판정에 있어서, 참조 화상의 사이즈가 "0"이 아니면, 단계(104)로 진행하고, 해당 단계(104)에서 해당 직전의 참조 화상을 이용하여 예측 화상을 생성한다. 한편, 상기 단계(103)의 판정에 있어서, 참조 화상의 사이즈가 "0"이면, 단계(105)로 진행하고, 해당 단계(105)에서 화상 사이즈가 "0"이 아닌 최근에 재생된 화상을 참조 화상으로서 이용하여, 예측 화상을 생성한다. 여기서의, 화상 사이즈가 "0"이 아닌 최근에 재생된 화상을 찾아 내는 방법에 대해서는, 도 2의 (b)를 이용하여 이하에 설명한다.

화상 #4(214)의 예측 화상을 생성하는 경우에 있어서, 화상 #4(214) 이전의 화상 #3(213)의 사이즈가 "0"인 것으로 하고, 화상 #2(212)의 사이즈가 "0"이 아닌 것으로 한다. 이 경우, 화상 #2(212)을 참조하여 화상 #4(214)의 예측 화상을 생성한다. 마찬가지로, 화상 #6(215)의 예측 화상을 생성하는 경우에 있어서, 화상 #3(213)과 화상 #4(214)의 사이즈가 "0"이라고 하면, 화상 #2(212)을 참조하여 예측 화상을 생성한다. 여기서, 예측 화상의 생성 방법으로서 본 실시예 1에서는, MPEG1과 마찬가지로 블럭 단위의 움직임 보상 방법을 이용한다.

도 3은 본 발명의 실시예 1에 의한 화상 예측 복호화 장치의 블럭도를 나타낸다. 본 실시예 1의 화상 예측 복호화 장치(300)는 화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터를 수신하여, 해당 화상 데이터에 대한 예측 복호화 처리를 실시하는 구성으로 되어 있다.

즉, 이 화상 예측 복호화 장치(300)는, 상기 압축 부호화한 화상 데이터를 해석하여, 양자화폭이나 DCT 계수를 라인(312)에, 움직임 벡터를 라인(318)에, 화상 사이즈를 라인(321)에 출력하는 데이터 해석기(302)와, 해당 데이터 해석기(302)로부터의 압축된 블럭의 데이터(압축 블럭)를 신장 처리에 의해 신장 블럭으로 변환하는 복호화기(303)와, 신장 블럭과 예측 블럭을 가산하여 재생 블럭을 생성하는 가산기(306)를 구비하고 있다.

또한, 상기 화상 예측 복호화 장치(300)는, 상기 재생 블럭을 저장하는 프레임 메모리부(309)와, 상기 움직임 벡터에 근거하여 프레임 메모리로의 액세스를 위한 어드레스를 발생하여, 프레임 메모리내의 화상으로부터 해당 어드레스에 대응한 블럭을 상기 예측 블럭으로서 구하는 예측 화상 생성기(310)를 구비하고 있다. 여기서는, 이 예측 화상 생성기(310)는 데이터 해석기(302)로부터의 화상 사이즈에 근거하여, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 1개의 재생 화상을 참조 화상으로서 결정하는 동작도 실행하도록 되어 있다. 또, 이 참조 화상의 결정은, 도 3에 점선으로 도시하는 바와 같이, 데이터 해석기(302)로부터의 화상 사이즈에 근거하여 프레임 메모리부(309)를 제어하는 제어기(320)를 마련하고, 해당 제어기(320)에 의해, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 1개의 재생 화상이 참조 화상으로서 선택되도록 프레임 메모리부(309)를 제어하는 구성으로 하여도 좋다.

또한 여기서는, 상기 복호화기(303)는 상기 데이터 해석기(302)로부터의 압축 블럭에 역양자화 처리를 실시하는 역양자화기(304)와, 라인(313)으로부터의 해당 역양자화기(304)의 출력에 대하여, 주파수 영역 신호를 공간 영역 신호로 변환하는 처리를 실시하는 역이산 코사인 변환기(IDCT)(305)로 구성되어 있다.

또한, 도면 중 참조부호 (301) 및 참조부호 (307)은, 각각 본 화상 예측 복호화 장치(300)의 입력 단자 및 출력 단자이다.

이상과 같이 구성된 본 실시예 1에 의한 화상 예측 복호화 장치에 대하여, 이하 그 동작을 설명한다.

화상 사이즈가 가변인 화상을 소정의 방법으로 압축 부호화한 화상 데이터(부호화 데이터)를 입력 단자(301)에 입력한다. 본 실시예 1에서는, MPEG1과 동일한 움직임 보상 DCT 방법으로 압축 부호화를 하고 있으며, 상기 부호화 데이터에는, 상술한 바와 같이 움직임 벡터, 양자화폭, DCT계수 및 화상 사이즈의 데이터가 포함된다.

다음에, 데이터 해석기(302)에 의해, 상기 압축 부호화한 화상 데이터를 해석하고, 압축된 블럭의 데이터로서 양자화폭이나, DCT 계수를, 라인(312)을 경유하여 복호화기(303)로 출력한다. 또한, 상기 데이터 해석기(302)로 해석한 움직임 벡터를 라인(318)을 경유하여 예측 화상 생성기(310)로 전송하고, 마찬가지로 상기 데이터 해석기(302)로 해석한 화상 사이즈를 라인(321)을 경유하여 제어기(320)로 출력한다.

복호화기(303)에서는, 역양자화기(304)와 역이산 코사인 변환기(역DCT 변환기)(305)에 의해, 상기 압축된 블럭의 데이터, 즉 압축 블럭을 신장하여 신장 블럭으로 복원한다. 본 실시예 1에서는, 역양자화기(304)에서 상기 압축 블럭을 역양자화하고, 역이산 코사인 변환(IDCT)(305)에서 주파수 영역 신호를 공간 영역 신호로 변환하여 신장 블럭(314)을 얻는다. 예측 화상 생성기(310)에서는, 라인(318)을 경유하여 전송된 움직임 벡터를 바탕으로, 프레임 메모리부(309)를 액세스하기 위한 어드레스(321)를 생성하여 이것을 프레임 메모리부(309)에 입력하고, 프레임 메모리부(309)에 저장된 화상 중에서 예측 블럭(317)을 생성하여 출력시킨다. 해당 예측 블럭(317), 즉 (319)와, 상기 신장한 블럭(314)을, 가산기(306)에 입력하여 가산함으로써, 재생 블럭(315)을 생성한다. 그리고, 해당 재생 블럭(315)을 출력 단자(307)로부터 출력시킴과 동시에, 라인(316)을 거쳐 프레임 메모리부(309)에저장한다. 또, 여기서 프레임내 부호화를 하는 경우, 예측 블럭의 샘플값은 모두 "0"으로 되는 것이다.

상기 예측 화상 생성기(310)의 동작은, 도 1의 흐름도를 이용하여 설명한 것과 동일하다. 즉, 우선 참조 화상의 사이즈가 예측 화상 생성기(310)에 입력되고, 해당 예측 화상 생성기(310)에 있어서 참조 화상이 결정된다. 또, 이 참조 화상의 결정은, 제어기(320)를 거쳐 라인(322)을 경유한, 참조 화상의 사이즈가 "0"인지 여부의 정보에 의해, 프레임 메모리부(309)를 제어함으로써 실행하는 것도 가능하다.

도 4는 본 발명의 실시예 1에 의한 화상 예측 복호화 장치에 있어서의 프레임 메모리부의 일례인, 프레임 메모리 뱅크(406)의 블럭도를 나타낸다. 프레임 메모리 뱅크(406)내에는, 3개의 프레임 메모리(401∼403)가 마련되어 있다. 재생된 화상은 이들 프레임 메모리(401∼403) 중 어느 하나에 저장된다. 또한, 예측 화상을 생성할 경우, 이들 프레임 메모리(401∼403)를 액세스한다.

본 실시예 1에서는, 전환 스위치(404, 405)를 구비하고 있다. 스위치(405)는 라인(408)(도 3의 라인(316)에 상당)을 거쳐 입력되는, 재생된 화상을 어느쪽 프레임 메모리에 저장하는가를 정하기 위한 것으로, 제어기(320)에 의해 제어되어, 즉 제어 신호(322)에 따라서 프레임 메모리(401∼403)를 순서대로 전환한다. 즉, 첫번째의 재생 화상이 프레임 메모리(401)에 저장된 후에는, 두번째의 재생 화상을 프레임 메모리(402)에 저장한다. 이하 마찬가지인데, 세번째의 재생 화상이 프레임 메모리(403)에 저장된 후에는 프레임 메모리(401)로 전환한다. 스위치(404)는라인(407)(도 3의 라인(317)에 상당)을 거쳐 예측 화상 생성기(310)에 접속된다. 이 스위치(404)도 제어기(320)에 의해, 즉 제어 신호(322)에 따라서 소정의 순서로 전환된다. 단, 그 전환 순서는 참조 화상의 사이즈에 따라 변경된다. 예를 들어, 소정의 순서에 따르면, 프레임 메모리(402)에 접속하여, 예측 화상을 생성할 것이지만, 프레임 메모리(402)의 화상 사이즈가 "0"인 경우, 제어기(320)는 1개 이전의 프레임 메모리(401)(이것은 그 화상 사이즈가 "0"이 아닌 것으로 함)에 접속하도록 스위치(404)를 제어한다. 이렇게 하여, 화상 사이즈가 "0"이 아닌 참조 화상으로부터 예측 화상을 생성하도록 할 수 있다. 또, 스위치(404)는 동시에 복수의 프레임 메모리에 접속하여도 무방하다. 또한, 1장의 화상을 재생할 때마다 프레임 메모리를 리세트하는 장치에서는, 재생되는 화상의 사이즈가 "0"일 때에는 프레임 메모리를 리세트하지 않도록 제어기(320)가 관리함으로써, 사이즈가 "0"이 아닌, 최근에 재생된 화상을, 프레임 메모리에 그대로 남길 수 있다. 즉, 프레임 메모리를 갱신하지 않도록 할 수 있다.

또, 상기 실시예 1에 있어서는, 블럭 움직임 보상 이산 코사인 변환 방식을 이용한 경우에 대하여 설명하였는데, 본 발명은 그 이외의 예측 방법(전역 움직임 보상, 임의 격자 형상 블럭 움직임 보상 등을 이용한 예측 방법)에 있어서도 적용이 가능하다. 또한, 참조 화상으로서 이용되는 재생 화상이 1장인 경우에 대하여 설명하였는데, 여러장의 참조 화상으로부터 예측 화상을 생성하는 경우에도, 마찬가지로 적용할 수 있다.

이상과 같은, 본 실시예 1에 따르면, 입력된 직전의 참조 화상의 사이즈를검출하여, 해당 직전의 참조 화상의 사이즈가 "0"이 아닐 때에는, 해당 직전의 참조 화상을 이용하여 예측 화상을 생성하고, 해당 직전의 참조 화상의 사이즈가 "0"일 때에는, 사이즈가 "0"이 아닌 최근에 재생된 화상을 이용하여 예측 화상을 생성하도록 하였기 때문에, 압축 효율의 향상을 위해, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을, 화상의 예측 복호화, 예측 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 잔차(殘差) 신호(차분 신호)를 억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있다고 하는 효과를 얻을 수 있다.

(실시예 2)

또, 상기 실시예 1에서는, 참조 화상의 사이즈가 "0"인지 여부를 검출한 다음, 이 검출한 정보를 이용하여 참조 화상을 결정하도록 한 경우에 대하여 설명하였는데, 화상 사이즈가 "0"인 것이 별도의 지표(예를 들면, 1비트의 플래그 F 등)로 표시되는 경우에는 그 지표를 이용하여 제어를 하도록 하는 것도 가능하며, 본 실시예 2는 이와 같은 방법으로 한 것이다.

즉, 본 실시예 2에 있어서, 대상 화상의 부호화 데이터는, 도 9에 도시하는 바와 같이 화상 사이즈가 "0"인 것, 즉 대응하는 참조 화상이 완전히 투과하여 부호화 데이터가 존재하지 않는 것을 나타내는 1비트의 플래그 F를, 화상 데이터의 전방, 즉 화상 사이즈의 데이터를 나타내는 수평, 수직 사이즈 Hm, Vm보다 앞쪽에 마련한 것으로(여기서, 화상 사이즈가 "0"이면, 플래그 F는 "0"으로 함), 이러한경우 예측 화상의 생성 방법을, 도 8에 도시하는 바와 같이 이 플래그 F를 이용하여 그 제어를 하도록 한 것이다.

다음에, 도 8의 흐름도를 이용하여 본 발명의 실시예 2에 의한 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법에 대하여 설명한다.

예측 화상을 생성할 때에는, 우선 단계(802)에서 직전의 참조 화상을 입력하고, 단계(803)에서 해당 참조 화상의 플래그 F가 "1"인지 여부를 조사한다. 단계(803)의 판정에 있어서, 해당 참조 화상의 플래그 F가 "1"이면, 이것은 화상 사이즈가 "0"이 아니라, 바꿔 말하면 참조 화상이 완전히 투과하는 것이 아니라, 부호화 데이터가 존재하는 것이기 때문에, 단계(804)에서 해당 직전의 참조 화상을 이용하여 예측 화상을 생성한다.

도 8에 있어서의, 단계(803)의 판정에 있어서, 해당 참조 화상의 플래그 F가 "1"이 아니면, 단계(805)로 진행하고, 해당 단계(805)에서 플래그 F가 "0"이 아닌 최근에 재생된 화상을 참조 화상으로서 이용하여 예측 화상을 생성한다.

이러한 본 실시예 2에 따르면, 상기 실시예 1에 있어서와 마찬가지로, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있음과 동시에, 대상 화상의 부호화 데이터가, 그 선두에, 직전의 재생 화상에, 참조되어야 할 유의의 부호화 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 하고, 이 플래그를 검출하여 참조 화상을 결정하도록하였기 때문에, 참조 화상을 결정하는 연산을 간편하고 용이하게 실행할 수 있는 효과를 얻을 수 있다.

(실시예 3)

도 5는 본 발명의 실시예 3에 의한 화상 예측 복호화 장치에 있어서의 예측 화상 생성 방법의 흐름도를 나타낸다. 본 실시예 1에 있어서의 예측 화상 생성 방법은, 도 1에 나타내는 실시예 1에 있어서와 거의 동일하며, 상이한 처리는 도 1의 단계(105) 대신에, 도 5의 단계(505)인 점이다. 단계(505)에서는, 참조 화상이 "0"일 때, 혹은 참조 화상이 완전히 투과할 때, (혹은 화상의 플래그 F가 "0"일 때), 예측 화상으로서 소정의 값을 대입하여 이루어지는 것, 즉 소정의 값을 갖는 예측 화상을 생성한다.

본 실시예 3에서는, 이것을 회색, 즉 휘도 신호와 색차 신호의 값이 모두 128인 것으로 한다. 그 결과, 본 실시예 3에서는, 부호화시 부호화의 대상으로 되는 블럭으로부터, 회색의 블럭을 감산하고, 복호화시에는 복호화의 대상으로 되는 블럭에 회색 블럭을 가산한다. 또, 상기 소정의 값은 가변값으로 하고, 이것을 부호화부에서 복호화부로 전송하여, 이를 이용하여 예측 화상을 생성하도록 하여도 좋다.

이러한 본 실시예 3에 따르면, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있음과 동시에, 참조 화상의 사이즈가 "0"인 것을 검출하였을 때, 즉 참조 화상이 완전히 투과할 때, 예측 화상으로서 소정의 값을 갖는 예측 화상을 생성하도록 하였기 때문에, 상기 실시예 1에 있어서와 마찬가지의 효과를 얻을 수 있고, 또한 예측 화상을 용이하게 생성할 수 있는 효과를 얻을 수 있다.

(실시예 4)

도 10은 본 발명의 실시예 4에 의한 화상 예측 복호화 장치에 있어서의 예측 화상 생성 방법의 흐름도를 나타낸다. 본 실시예 4에 있어서의 예측 화상 생성 방법은, 도 8에 나타내는 실시예 2에 있어서와 거의 동일하며, 상이한 처리는 도 8의 단계(805) 대신에 도 10의 단계(1005)인 점이다. 단계(1005)에서는, 참조 화상의 화상의 플래그 F가 "0"일 때, 예측 화상으로서 소정의 값을 대입하여 이루어지는 것, 즉 소정의 값을 갖는 예측 화상을 생성한다.

이러한 본 실시예 4에 따르면, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있음과 동시에, 대상 화상의 부호화 데이터가, 그 선두에, 직전의 재생 화상에 참조되어야 할 유의의 부호화 데이터가 존재하는지 여부를 나타내는 플래그를 갖는 것으로 하고, 이 플래그가 "0"인 것을 검출했을 때, 예측 화상으로서 소정의 값을 갖는 예측 화상을 생성하도록 하였기 때문에, 상기 실시예 2에 있어서와 마찬가지의 효과를 얻을 수 있으며, 또한 예측 화상을 용이하게 생성할 수 있는 효과를 얻을 수 있다.

(실시예 5)

도 6은 본 발명의 실시예 5에 의한 쌍방향 예측을 이용한, 화상 예측 복호화 방법에 있어서의 예측 화상 생성 방법의 흐름도를 나타낸다. 이하, 본 실시예 5의 특징인 쌍방향 예측의 경우에 대하여, 참조 화상 사이즈가 "0"인 경우, 즉 참조 화상이 완전히 투과하는 경우의 처리에 대하여 설명한다.

즉, 도 6에 도시하는 바와 같이, 우선 단계(602)에 있어서, 전방, 후방의 참조 화상(양방향의 참조 화상)의 사이즈를 입력한다. 도 2a의 화상 #5(205)는 쌍방향 예측 화상이고, 전방 참조 화상은 화상 #4(204)이며, 후방 참조 화상은 화상 #6(206)이다.

그리고, 단계(603)와 단계(604)에 의해서, 전방 및 후방의 참조 화상 사이즈가 모두 "0"인 경우, 단계(605)에 있어서 소정의 값을 대입하여 이루어지는 화상, 즉 소정의 값을 갖는 화상을 예측 화상으로 한다.

단계(603)와 단계(604)에 의해서, 전방 참조 화상의 사이즈가 "0"이고, 후방 참조 화상의 사이즈가 "0"이 아닌 경우, 단계(606)에 있어서 후방 참조 화상만을 이용하여 예측 화상을 생성한다.

다음에, 단계(603)와 단계(607)에 의해서, 전방 참조 화상의 사이즈가 "0"이 아니라, 후방 참조 화상의 사이즈가 "0"인 경우, 단계(608)에 있어서 전방 참조 화상만을 이용하여 예측 화상을 생성한다.

단계(603)와 단계(607)에 의해서, 전방 후방 참조 화상의 사이즈가 모두 "0"이 아닌 경우, 단계(609)에 있어서 양방향의 참조 화상을 이용하여 예측 화상을 생성한다.

그리고, 단계(610)에서, 생성한 예측 화상을 출력하여, 부호화부에서는 해당 예측 화상을 대상 화상으로부터 감산하고, 복호화부에서는 해당 예측 화상을 대상 화상의 차분에 가산한다. 이렇게 하여, 잔차 신호(차분 신호)를 억압할 수 있다.

이러한 본 실시예 5에 의하면, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우에 있어서, 양방향 참조 화상을 이용하여 예측 화상을 생성하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있음과 동시에, 예측 화상으로서 소정의 값을 갖는 예측 화상을 생성하도록 하였기 때문에, 예측 화상을 용이하게 생성할 수 있는 효과를 얻을 수 있다.

(실시예 6)

도 11은 본 발명의 실시예 6에 의한 양방향 예측을 이용한, 화상 예측 복호화 방법에 있어서의, 예측 화상 생성 방법의 흐름도를 나타낸다. 이하, 본 실시예 6은 상기 실시예 2, 4의, 상기 실시예 1, 3에 대한 관계와 동일하다. 즉, 본 실시예 6은, 도 6에 나타내는 실시예 5에 있어서의, 도 6의 단계(603, 604, 607)에 있어서의「사이즈가 "0"인가?」를, 「∼의 플래그 F가 "0"인가?」로 변경하여, 각각 도 11의 단계(1103, 1104, 1107)로 한 것이다.

따라서, 이러한 본 실시예 6에 따르면, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우에 있어서, 양방향 참조 화상을 이용하여 예측 화상을 생성하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 복호화, 예측 부호화를 실행할 수 있음과 동시에, 전방, 후방의 양참조 화상의 플래그 F가 0인 것을 검출했을 때, 소정의 값을 갖는 예측 화상을 생성하도록 하였기 때문에, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상의 검출을 용이하게 실행할 수 있고, 또한 예측 화상을 용이하게 생성할 수 있는 효과를 얻을 수 있다.

이하, 본 발명의 실시예 7, 8로서 화상 예측 부호화 장치에 대하여 더 설명한다.

(실시예 7)

도 12는 본 발명의 실시예 7에 의한 화상 예측 부호화 장치의 블럭도를 나타낸다. 이 화상 예측 부호화 장치(1000)는, 휘도 신호 및 색차 신호로 이루어지는 텍스쳐(texture) 신호에 대한 예측 부호화를 행하는 텍스쳐 부호화부(1100)와, 형상 신호에 대한 예측 부호화를 실행하는 형상 부호화부(1200)를 구비하고 있다.

상기 텍스쳐 부호화부(1100)는, 1프레임의 텍스쳐 신호를, 부호화 처리의 단위인 16×16 화소 크기의 매크로 블럭마다 분할하여 출력하는 블럭화기(1110)와, 부호화 처리의 대상으로 되는 대상 블럭과 이에 대응하는 예측 블럭과의 차분을 구하는 감산기(1160)와, 해당 차분을 압축 부호화하는 압축 부호화기(1120)와, 해당 압축 부호화기(1120)의 출력을 신장 복호하는 국소 복호화기(1130)를 갖고 있다. 여기서, 상기 압축 부호화기(1120)는 상기 차분에 대하여 DCT를 실시하는 이산 코사인 변환기(1121)와, DCT 변환 계수를 양자화하는 양자화기(1122)로 구성되어 있다. 또한 상기 국소 복호화기(1130)는 상기 양자화기(1122)의 출력을 역양자화하는 역양자화기(1131)와, 해당 역양자화기(1131)의 출력에 대하여 주파수 영역 신호를 공간 영역 신호로 변환하는 역DCT를 실시하는 역이산 코사인 변환기(1132)로 구성되어 있다.

또한, 상기 텍스쳐 부호화부(1100)는, 상기 역이산 코사인 변환기(1132)의 출력인 신장 블럭과 상기 예측 블럭을 가산하여 재생 블럭을 생성하는 가산기(1170)와, 해당 재생 블럭을 저장하는 프레임 메모리부(FM1)(1140)와, 소정의 움직임 검출법에 의해 검출된 움직임 정보에 근거하여 해당 프레임 메모리부(1140)에 저장된 화상으로부터 움직임 보상에 의해 대상 블럭에 대응하는 예측 블럭을 취득하는 예측 화상 생성기(1150)를 갖고 있다.

이 예측 화상 생성기(1150)는, 블럭화기(1110)의 출력으로부터 얻어지는 화상 사이즈에 근거하여, 프레임 메모리 블럭(1140)에 저장되어 있는 재생 화상으로부터, 예측 블럭(예측 화상)을 생성할 때 참조하는 참조 화상을 설정하는 동작도 실행하도록 되어 있다.

한편, 상기 형상 부호화부(1200)는, 1프레임의 형상 신호를 부호화 처리 단위인 16×16 화소 크기의 매크로 블럭마다 분할하여 출력하는 블럭화기(1210)와, 부호화 처리의 대상으로 되는 대상 블럭과 이에 대응하는 예측 블럭과의 차분을 구하는 감산기(1260)와, 해당 차분을 소정의 부호화 방법에 의해 부호화하는 형상 부호화기(1220)와, 해당 형상 부호화기(1220)의 출력을 상기 소정의 부호화 방법에 대응하는 복호화 방법에 의해 복호하는 형상 복호화기(1230)를 갖고 있다. 여기서, 상기 형상 부호화기(1120)는, 4분기 트리(quartered tree)나 체인(chain) 부호화 방법 등에 의해 상기 감산기(1260)의 출력을 부호화하는 구성으로 되어 있다.

또한, 상기 형상 부호화부(1200)는, 상기 형상 복호화기(1230)의 출력인 복호 블럭과 상기 예측 블럭을 가산하여 재생 블럭을 생성하는 가산기(1270)와, 해당 가산기(1270)로부터 출력되는 복호 블럭을 저장하는 프레임 메모리부(FM2)(1240)와, 소정의 움직임 검출법에 의해 검출된 움직임 정보에 근거하여, 해당 프레임 메모리부(1240)에 저장된 형상 정보로부터 움직임 보상에 의해 대상 블럭에 대응하는 예측 블럭을 취득하는 예측 화상 생성기(1250)를 갖고 있다. 여기서, 해당 예측 화상 생성기(1250)는, 상기 블럭화기(1210)의 출력으로부터 얻어지는 화상 사이즈에 근거하여, 프레임 메모리 블럭(1240)에 저장되어 있는 재생 화상으로부터, 예측 블럭(예측 화상)을 생성할 때 참조하는 참조 화상을 결정하는 동작도 실행하도록 되어 있다.

또, 상기 각 부호화부(1100) 및 부호화부(1200)에서의 참조 화상의 결정은, 도 12에 점선으로 도시하는 바와 같이 상기 재생 블럭에 근거하여 형상 검출을 하는 형상 검출기(1280)를 마련하고, 이 형상 검출기(1280)로부터 출력되는 형상 검출 출력에 의해 상기 각 프레임 메모리부(FM1, FM2)(1140, 1240)를 제어함으로써 실행하도록 하여도 무방하다. 이 경우에 있어서의 형상 검출 출력에 의한 프레임 메모리부의 제어는, 상기 실시예 1에 있어서의 제어기(320)에 의한 프레임 메모리부(309)의 제어와 완전히 동일하게 실행된다. 또한, 이 경우, 상기 형상 검출 출력은 가변 길이 부호화기(1010)에 공급되어, 텍스쳐 신호 및 형상 신호의 부호화 데이터와 함께 전송되는 것으로 된다.

또한, 상기 화상 예측 부호화 장치(1000)는, 상기 텍스쳐 부호화부(1100)의 출력인 부호화 텍스쳐 신호, 상기 형상 부호화부(1200)의 출력인 부호화 형상 신호 및 형상 검출 출력을 가변 길이 부호화한 후, 다중화하여 출력하는 가변 길이 부호화기(1010)를 갖고 있다.

또, 도면 중, 참조부호 (1001)은 텍스쳐 신호의 입력 단자, 참조부호 (1002)는 형상 신호의 입력 단자, 참조부호 (1003)은 부호화 데이터의 출력 단자이다.

다음에 동작에 대하여 설명한다.

이 화상 예측 복호화 장치(1000)에 텍스쳐 신호(휘도·색차 신호) 및 형상 신호가 입력되면, 상기 텍스쳐 신호 및 형상 신호는 각각, 각기 대응하는 부호화부(1100, 1200)에 있어서의 블럭기(1110, 1210)에 의해 부호화 처리의 단위로 되는 매크로 블럭으로 분할되고, 각 매크로 블럭마다 예측 부호화 처리가 행해진다.

텍스쳐 신호 부호화부(1100)에서는, 대상 블럭과 예측 블럭과의 차분이 감산기(1160)에 의해 구해지고, DCT기(1121)에 의해 이 차분이 DCT 계수로 변환되며, 또한 이 DCT 계수가 양자화기(1122)에 의해 양자화 계수로 변환된다. 그리고 이 양자화 계수는 가변 길이 부호화기(1010)로 출력된다.

상기 양자화 계수는 역양자화기(1131)에 의해 DCT 계수로 역변환되고, 또한 이 DCT 계수는 IDCT기(1130)에서의 주파수 영역의 데이터를 공간 영역의 데이터로 변환하는 처리에 의해, 상기 대상 블럭에 대응하는 신장 블럭으로 변환된다. 또한 이 신장 블럭과 상기 예측 블럭이 가산기(1170)에 의해 가산되어 재생 블럭이 생성된다. 그리고 이 재생 블럭 은 프레임 메모리부(1140)에 저장된다. 이 때, 상기 예측 화상 생성기(1150)에서는, 소정의 움직임 검출법에 의해 검출된 움직임 정보에 근거하여, 해당 프레임 메모리부(1140)에 저장된 화상으로부터 움직임 보상에 의해 대상 블럭에 대응하는 예측 블럭이 생성되는 처리가 행해지고 있다. 또한, 이 예측 화상 생성기(1150)에서는, 블럭화기(1110)의 출력으로부터 얻어지는 화상 사이즈에 근거하여, 프레임 메모리 블럭(1140)에 저장되어 있는 재생 화상으로부터, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 1개의 재생 화상을 참조 화상으로서 결정한다. 또, 이 참조 화상의 결정은, 형상 검출기(1280)가 마련되어 있는 경우에는, 그 출력인 형상 검출 출력, 즉 통상 참조되어야 할 재생 화상의 사이즈가 "0"인지 여부의 정보에 의해, 프레임 메모리부(1140)를 제어함으로써 실행하는 것도 가능하다.

또한, 상기 텍스쳐 부호화부(1100)의 처리와 병행하여, 형상 부호화부(1200)에서는, 형상 신호에 대한 예측 부호화 처리가 상기 텍스쳐 신호의 예측 부호화 처리와 거의 마찬가지로 실행된다. 즉, 대상 블럭과 예측 블럭의 차분이 감산기(1260)에 의해 구해지고, 형상 부호화기(1220)에 의해 이 차분이 4분기 트리나 체인 부호화 방법 등의 방법으로 부호화되어 상기 가변 길이 부호화기(1010)로 출력된다. 또한 상기 형상 부호화기(1220)로부터의 형상 부호화 신호는 형상 복호화기(1230)에 의해 복원되고, 복원 블럭과 예측 블럭이 가산기(1270)에 의해 가산되어 재생 블럭이 생성된다.

이 가산기(1270)로부터 출력되는 재생 블럭은 프레임 메모리부(1240)에 저장되고, 상기 예측 화상 생성기(1250)에서는, 소정의 움직임 검출법에 의해 검출된 움직임 정보에 근거하여, 해당 프레임 메모리부(1240)에 저장된 형상 정보로부터 움직임 보상에 의해 대상 블럭에 대응하는 예측 블럭이 생성된다. 또한, 이 예측 화상 생성기(1250)에서는, 블럭화기(1210)의 출력으로부터 얻어지는 화상 사이즈에 근거하여, 프레임 메모리 블럭(1240)에 저장되어 있는 재생 화상으로부터, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 1개의 재생 화상을 참조 화상으로서 결정한다.

또, 이 참조 화상의 결정은, 형상 검출기(1280)가 마련되어 있는 경우에는, 그 출력인 형상 검출 출력, 즉 통상 참조되어야 할 재생 화상의 사이즈가 "0"인지 여부의 정보에 의해, 프레임 메모리부(1240)를 제어함으로써 실행하는 것도 가능하다. 또한, 이 경우, 상기 재생 블럭은 형상 검출기(1280)에 입력되고, 여기서 형상 검출이 행해진다. 예컨대, 형상 신호가 2치(値) 신호인 경우에는, 형상 데이터로서의 백색 데이터 및 흑색 데이터 중 흑색 데이터밖에 없는 경우에는, 재생 형상은 아무것도 없는 것으로 된다. 이 때, 이 블럭의 형상 신호에 대응하는 텍스쳐 신호도 존재하지 않는 것으로 된다. 이 경우에는, 상술한 바와 같이, 형상 검출기(1280)로부터는, 부호화 데이터 없슴을 나타내는 플래그 혹은 화상 사이즈 "0"인 데이터가 형상 검출 출력으로서 상기 각 프레임 메모리부(1140, 1240) 및 상기 가변 길이 부호화기(1010)로 출력된다. 각 프레임 메모리부(1140, 1240)에서는, 상기 형상 검출 출력에 의해 상기 실시예 1에 있어서의 제어기(320)에 의한 프레임 메모리(309)의 제어와 마찬가지의 제어가 행해진다.

이와 같이 본 실시예 7에서는, 각 부호화부(1100, 1200)에 의해, 블럭화기(1110, 1210)의 출력으로부터 얻어지는 화상 사이즈에 근거하여, 프레임 메모리 블럭(1140, 1210)에 저장되어 있는 재생 화상으로부터, 참조되어야 할 유의의 화상 데이터가 존재하는 최근에 재생된 1개의 재생 화상을 참조 화상으로서 결정하기 때문에, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 적정한 예측 부호화를 실행할 수 있다고 하는 효과를 얻을 수 있다. 또한, 이 실시예 7의 화상 예측 부호화 장치에 의해 예측 부호화된 부호화 데이터는 실시예 2의 화상 예측 복호화 장치에 의해 정확하게 복호화할 수 있다.

또한, 형상 검출기(1280)를 갖는 경우에는, 형상 부호화부(1200)에 의해, 입력된 대상 블럭에 대응하는 참조 화상이 존재하는지 여부의 판정을, 형상 신호의 재생 블럭의 형상을 검출함으로써 실행하고, 재생 블럭의 형상이 없는 경우, 텍스쳐 부호화부 및 형상 부호화부에서는 대상 블럭에 대응하는 재생 블럭 대신에 최근에 재생된 형상을 갖는 재생 블럭을 이용하여 예측 블럭을 생성하기 때문에, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 부호화를 할 수 있다고 하는 효과를 얻을 수 있다. 이 경우에는, 실시예 7의 화상 예측 부호화 장치에 의해 예측 부호화된 부호화 데이터는 실시예 2의 화상 예측 복호화 장치에 의해 정확하게 복호화할 수 있다. 즉, 해당 화상 예측 복호화 장치에서는, 데이터 해석기(302)가 상기 형상 검출 출력에 근거하여 프레임 메모리 블럭(309)을 제어하는 것으로 되고, 이에 따라 물체 단위로 예측 부호화된 부호화 데이터를 복호할 때, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 복호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 적정한 예측 복호화를 실행할 수 있다.

또, 상기 실시예 7에서는, 예측 화상 생성기(1150, 1250)에 의한 참조 화상으로서의 재생 화상의 선택, 혹은 형상 검출 출력에 의한 프레임 메모리부(1140 및 1240)의 제어는, 상기 실시예 1에 있어서의 예측 화상 생성기(1150, 1250)에 의한 참조 화상으로서의 재생 화상의 선택, 혹은 제어기(320)에 의한 프레임 메모리부(309)의 제어와 동일하게 실행되는 경우에 대하여 나타내었는데, 이것에 한정되는 것은 아니다.

예를 들어, 대상 프레임의 직전 프레임에 참조되어야 할 화상 데이터가 존재하지 않는 경우에는, 실시예 3과 같이 예측 화상으로서, 소정의 값을 갖는 예측 화상을 생성하는 것이어도 무방하며, 이 경우에는 화상 예측 부호화 장치에 대응하는 화상 예측 복호화 장치로서, 상기 실시예 3의 화상 예측 복호화 처리를 실행는 장치를 이용할 수 있다.

또한, 상기 실시예 7에 있어서의 예측 처리는, 실시예 5와 같이 쌍방향 예측 처리이어도 무방하며, 이 경우에는 화상 예측 부호화 장치에 대응하는 화상 예측 복호화 장치로서, 상기 실시예 5의 화상 예측 복호화 처리를 실행는 장치를 이용할 수 있다.

(실시예 8)

도 13은 본 발명의 실시예 8에 의한 화상 예측 부호화 장치의 블럭도를 나타낸다. 이 화상 예측 복호화 장치(1000a)는, 휘도 신호 및 색차 신호로 이루어지는 텍스쳐 신호에 대한 예측 부호화를 실행하는 텍스쳐 부호화부(1100a)와, 형상 신호에 대한 예측 부호화를 실행하는 형상 부호화부(1200a)를 갖고 있다.

여기서, 상기 텍스쳐 부호화부(1100a)는, 상기 실시예 7의 텍스쳐 부호화부(1100)의 구성에 부가하여, 블럭화기(1110)의 전단(前段)에, 텍스쳐 신호를 제어 신호에 의해 블럭화기(1110)와 접지 사이에서 전환하여 그 한쪽에 공급하는 전환 스위치(1190)를 갖는 구성으로 되어 있다.

또한, 상기 형상 부호화부(1200a)는, 상기 실시예 7의 형상 부호화부(1200)에 있어서의 형상 검출기(1280)는 갖고 있지 않고, 블럭화기(1210)의 전단에, 형상신호를 제어 신호에 의해 블럭화기(1210)와 접지 사이에서 전환하여 그 한쪽에 공급하는 전환 스위치(1290)를 갖고 있다는 점에서, 상기 실시예 7의 것과 다르다.

또한, 상기 화상 예측 복호화 장치(1000a)는, 형상 신호를 수신하여, 그 형상 검출 출력을 상기 제어 신호로서 각 전환 스위치(1190, 1290)에 출력하는 형상 검출기(1020)를 갖고 있다. 여기서, 상기 각 전환 스위치는, 형상 검출기(1020)에서의 형상 검출 결과, 입력되는 형상 신호가 형상을 갖지 않는 것일 때에는, 그 형상 검출 출력에 의해, 입력되는 텍스쳐 신호 및 형상 신호가 접지측에 입력되는 한편, 입력되는 형상 신호가 형상을 갖는 것일 때에는, 텍스쳐 신호 및 형상 신호가 각 블럭화기(1110, 1210)에 입력되도록 이들의 신호의 전환을 행하도록 되어 있다. 또, 상기 형상 검출 출력은, 가변 길이 부호화기(1010)에 의해, 각 부호화부(1100a, 1200a)로부터의 부호화 데이터와 함께 가변 길이 부호화 처리가 실시되도록 되어 있다.

다음에 이 실시예 8의 화상 예측 복호화 장치의 동작에 대하여 간단히 설명한다. 이러한 구성의 실시예 8의 화상 예측 복호화 장치(1000a)에서는, 상기 형상 검출기(1020)에 의한 전환 스위치의 제어 이외에는 상기 실시예 7과 마찬가지의 예측 복호화 동작이 행해진다.

즉, 이 화상 예측 복호화 장치(1000a)에서는, 텍스쳐 신호 및 형상 신호가 입력되면, 형상 검출기(1020)에 의해, 입력되는 형상 신호가 형상을 갖는 것인지 여부의 검출이 행해진다. 이 검출 결과, 형상 신호가 형상을 갖지 않는 것일 때에는, 상기 형상 검출기(1020)의 출력에 의해 전환 스위치(1190, 1290)가 제어되어,입력되는 텍스쳐 신호 및 형상 신호가 접지측으로 공급된다. 즉, 이 때에는, 형상 신호 및 텍스쳐 신호에 대한 예측 부호화 처리는 실행되지 않고, 형상 검출 출력이 가변 길이 부호화기(1010)에 공급된다.

한편, 상기 검출 결과, 입력되는 형상 신호가 형상을 갖는 것일 때에는, 상기 형상 검출기(1020)의 출력에 의해 전환 스위치(1190, 1290)가 제어되고, 텍스쳐 신호 및 형상 신호가 각 블럭화기(1110, 1210)에 입력되어, 각각 예측 부호화 처리가 실시된다. 그리고, 각 부호화부(1100a, 1200a)의 출력과 함께 상기 형상 검출 출력이 가변 길이 부호화기(1010)에 출력된다.

이와 같이 본 실시예 8에서는, 입력된 형상 신호가 형상을 갖는 것인지 여부를 판정하는 형상 검출기(1020)를 구비하여, 형상 신호가 형상을 갖는 것일 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 실행하고, 형상 신호가 형상을 갖는 것이 아닐 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 실행하지 않도록 하였기 때문에, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 잔차 신호(차분 신호)를 억압할 수 있는 적정한 예측 부호화를 할 수 있다.

또한, 상기 형상 검출기에서의 검출 출력을 부호화하여 전송하도록 하였기 때문에, 화상 예측 복호화 장치에서는, 이 검출 출력을 동기 신호로서 이용하여, 즉 화상 사이즈가 작아져 화상이 없어진 동안에는 이 화상에 대응하는 부호화 데이터의 재생을 정지하도록 하여, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과같은 화상에 대한 예측 복호화 처리를 적절히 실행할 수 있다.

또한, 상기 각 실시예에서 나타낸 화상 예측 복호화 방법 혹은 장치 및 화상 예측 부호화 방법 혹은 장치의 구성을 실현하기 위한 프로그램을, 플로피 디스크 등의 데이터 기록 매체에 기록하도록 함으로써, 상기 각 실시예에서 나타낸 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.

도 14는 상기 각 실시예에 있어서의 예측 복호화 처리 혹은 예측 부호화 처리를, 이들 신호 처리에 대응한 프로그램을 저장한 플로피 디스크를 이용하여 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.

도 14의 (a)는 플로피 디스크 FD의 정면에서 본 외관, 단면 구조, 및 기록 매체인 플로피 디스크 본체를 나타내며, 도 14의 (b)는 플로피 디스크 본체 D의 물리 포맷의 예를 나타내고 있다. 플로피 디스크 본체 D는 케이스 FC 내에 내장되고, 해당 디스크 본체 D의 표면에는 동심원상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되며, 각 트랙은 각도 방향을 따라 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 본체 D에서는, 상기 플로피 디스크 본체 D 상에 할당된 영역에 상기 프로그램으로서의 데이터가 기록되어 있다.

또한, 도 14의 (c)는 플로피 디스크 FD에 대한 상기 프로그램의 기록 재생을 하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 거쳐 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD 내의프로그램에 의해, 상기 화상 전송 방법 혹은 화상 복호화 장치를 컴퓨터 시스템 Cs 내에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여, 컴퓨터 시스템 Cs로 전송한다.

또, 상기 설명에서는, 데이터 기록 매체로서, 상기 각 실시예에 있어서의 예측 복호화 처리 혹은 예측 부호화 처리를 행하기 위한 프로그램을 저장한 것을 예로 들었는데, 데이터 기록 매체로서는 상기 각 실시예에 있어서의 화상의 부호화 데이터를 저장한 것도 예로 들 수 있다.

또한, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용한 컴퓨터 시스템에 의한 화상 처리를 설명하였는데, 이 화상 처리는, 광디스크를 이용하여도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 상기 화상 처리를 실시할 수 있다.

이상과 같이 본 발명에 관한 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법 및 화상 예측 부호화 장치에 의하면, 참조 화상의 사이즈가 "0"일 때, 혹은 참조 화상이 완전히 투과할 때, 혹은 참조 화상의 사이즈가 "0"인 것을 나타내는 화상 데이터중의 플래그를 검출했을 때, 화상 사이즈가 "0"이 아닌 다른 재생 화상을 이용하여 예측 복호화를 실행하도록 하였기 때문에, 압축 효율의 향상을 위해, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 복호화, 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어 적정한 복호화, 부호화를 할 수 있고, 이에 따라 부호량을 억압하여 효율적으로 압축 부호화를 할 수 있다고 하는 현저한 효과를 얻을 수 있다.

본 발명에 관한 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법 및 화상 예측 부호화 장치에 따르면, 참조 화상의 사이즈가 "0"인지 여부, 즉 참조 화상이 완전히 투과하는지 여부를, 부호화 데이터가 존재하는지 여부를 나타내는 화상 데이터중의 플래그를 검출함으로써 검출하도록 하였기 때문에, 상기한 효과에 부가하여, 참조 화상을 결정하는 연산을 간편하고 용이하게 실행할 수 있는 효과를 얻을 수 있다.

본 발명에 관한 화상 예측 복호화 방법, 화상 예측 복호화 장치, 화상 예측 부호화 방법 및 화상 예측 부호화 장치에 따르면, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우에 있어서, 양방향 참조 화상을 이용하여 예측 화상을 생성하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 적정한 복호화, 부호화를 실행할 수 있음과 동시에, 예측 화상으로서 소정의 값을 갖는 예측 화상을 생성하도록 하였기 때문에, 예측 화상을 용이하게 생성할 수 있는 효과를 얻을 수 있다.

본 발명에 관한 화상 예측 부호화 장치에 따르면, 입력된 형상 신호가 형상을 갖는 것인지 여부를 판정하는 형상 검출기를 구비하여, 형상 신호가 형상을 갖는 것인 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 행하고, 형상신호가 형상을 갖는 것이 아닌 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 행하지 않도록 하였기 때문에, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 부호화에 있어서 참조 화상으로서 이용하는 일이 없게 되어, 적정한 예측 부호화를 할 수 있다.

본 발명에 관한 데이터 기억 매체에 따르면, 컴퓨터에, 참조 화상의 사이즈가 "0"일 때, 혹은 참조 화상이 완전히 투과할 때, 혹은 참조 화상의 사이즈가 "0"인 것을 나타내는 화상 데이터중의 플래그를 검출했을 때, 화상 사이즈가 "0"이 아닌 다른 재생 화상을 이용하여 예측 복호화를 실행하는 예측 복호화 처리 혹은 예측 부호화 처리를 실행하게 하는 프로그램을 저장하였기 때문에, 상기한 바와 같은 부호량을 억압하여 효율적으로 압축 부호화를 할 수 있는 예측 복호화 처리 혹은 예측 부호화 처리를 소프트웨어에 의해 실현할 수 있다.

본 발명에 관한 데이터 기억 매체에 따르면, 컴퓨터에, 참조 화상의 사이즈가 "0"인지 여부, 즉 참조 화상이 완전히 투과하는지 여부를, 부호화 데이터가 존재하는지 여부를 나타내는 화상 데이터중의 플래그를 검출함으로써 검출하는 예측 복호화 처리 혹은 예측 부호화 처리를 실행하게 하는 프로그램을 저장하였기 때문에, 부호량을 억압하여 효율적으로 압축 부호화를 할 수 있다고 하는 효과에 부가하여, 참조 화상을 결정하는 연산을 간편하고 용이하게 실행할 수 있는 예측 복호화 처리 혹은 예측 부호화 처리를 소프트웨어에 의해 실현할 수 있다.

본 발명에 관한 데이터 기억 매체에 따르면, 화상을 구성하는 물체를 물체단위로 각각 압축 부호화하여 전송하는 경우에 있어서, 양방향 참조 화상을 이용하여 예측 화상을 생성하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 참조 화상으로서 이용하는 일이 없게 되어, 적정한 복호화, 부호화를 할 수 있음과 동시에, 예측 화상으로서 소정의 값을 갖는 예측 화상을 생성하는 예측 복호화 처리 혹은 예측 부호화 처리를 컴퓨터에 실행시키는 프로그램을 저장하였기 때문에, 예측 화상을 용이하게 생성할 수 있는 예측 복호화 처리 혹은 예측 부호화 처리를 소프트웨어에 의해 실현할 수 있다.

본 발명에 관한 데이터 기억 매체에 따르면, 입력된 형상 신호가 형상을 갖는 것인지 여부를 판정하여, 형상 신호가 형상을 갖는 것인 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 실행하고, 형상 신호가 형상을 갖는 것이 아닌 경우에는, 텍스쳐 신호 및 형상 신호에 대한 예측 부호화를 실행하지 않는 예측 부호화 처리를 컴퓨터에 실행시키는 프로그램을 저장하였기 때문에, 화상을 구성하는 물체를 물체 단위로 각각 압축 부호화하여 전송하는 경우, 화상 사이즈가 변화하여 화상이 없어져 버리는 것과 같은 화상을 화상의 예측 부호화에 있어서 참조 화상으로서 이용하는 것이 없어져, 적정한 예측 부호화를 할 수 있는 화상 예측 부호화 장치를 소프트웨어에 의해 실현할 수 있다.

Claims (3)

1. 화상을 부호화하여 얻어진 화상 데이터를 복호화하기 위한 화상 예측 복호화 방법에 있어서,

   사전 복호화된 부호화 데이터(coded data corresponding to a previously decoded coded data)가 화상 부호화 데이터(coded image content data)를 포함하는 지의 여부를 판정하는 단계와,

   상기 사전 복호화된 부호화 데이터가 화상 부호화 데이터를 포함하는 경우에는 상기 사전 복호화된 부호화 데이터에 대응하는 재생 화상을 참조 화상으로서 이용하여 예측 화상을 생성하고, 상기 사전 복호화된 부호화 데이터가 화상 부호화 데이터를 포함하지 않는 경우에는 그 대응 부호화 데이터가 소정 화상 부호화 데이터를 포함하는, 사전 복호화된 부호화 데이터 이전에 복호화되어 있는 그 보다도 전에 복호화된 재생 화상(earlier recently reproduced image)을 참조 화상으로 이용하여 예측 화상을 생성하는 단계와,

   상기 생성된 예측 화상을 이용해서 예측 복호화함으로써 상기 화상 데이터를 복호화하는 단계

   를 포함하되,

   상기 판정은, 상기 사전에 복호화된 부호화 데이터 내에 포함되는 플래그(flag)에 근거해서 수행되며, 상기 플래그는 상기 사전 복호화된 부호화 데이터가 화상 부호화 데이터를 포함하는지의 여부를 나타내는 화상 예측 복호화 방법.
2. 제 1 항에 있어서,

   상기 사전 복호화된 부호화 데이터에 대응하는 재생 화상은 상기 화상 데이터 이전에 표시될 화상이고, 상기 그 보다도 전에 복호화된 재생 화상은 상기 사전 복호화된 부호화 데이터에 대응하는 재생 화상 이전에 표시될 화상인 화상 예측 복호화 방법.
3. 제 1 항에 있어서,

   상기 화상은 그 크기가 가변인 임의 형상 객체를 포함하는 화상 예측 복호화 방법.