KR100394938B1 - 화상 전송 방법, 화상 데이터 배열 및 화상 데이터 배열방법 - Google Patents

Abstract

본 발명에 관한 화상 전송 방법에서는, 도 1에 도시하는 바와 같이, 1개의 동화상에 대응하는 디지털 화상 데이터에 압축 부호화 처리를 실시하여 얻어지는 압축 화상 데이터 Dv를 전송하고, 그 때, 이 압축 화상 데이터 Dv가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그 Hfd를, 그 헤더 Hv의 선두에 위치하는 동기 신호 Hsd의 다음에 전송한다.

이러한 화상 전송 방법에 의해 전송된 압축 화상 데이터를 재생하는 재생측에서는, 1개의 동화상에 대응하는 압축 화상 데이터 Dv에 부여되어 있는 헤더 Hv의 해석 처리시에, 상기 압축 화상 데이터 Dv에 대한 랜덤한 독립 재생 처리의 적성을 식별 플래그 Hfd의 해석에 의해 단시간으로 검지할 수 있다.

Description

화상 전송 방법, 화상 데이터 배열 및 화상 데이터 배열 방법{IMAGE TRANSMISSION METHOD, IMAGE DATA ARRANGEMENT, AND IMAGE DATA ARRANGING METHOD}

본 발명은 화상 처리 방법에 관한 것으로, 특히 복수의 프레임으로 이루어지는 화상에 대응하는 부호화된 디지털 화상 데이터의 복호화 처리를 실행하는 방법에 관한 것이다.

디지털 화상 정보, 즉 디지털 신호에 의해 구성된 화상 데이터를 효율적으로 축적 또는 전송하기 위해서는, 디지털 화상 정보를 압축 부호화할 필요가 있으며, 현 상태로서는 디지털 화상 정보를 압축 부호화하기 위한 방법으로서, JPEG(Joint Photographic Coding Experts Group)이나 MPEG(Moving Picture Experts Group)에 준거한 화상 처리 기술로 대표되는 이산 코사인 변환(DCT:Discrete Cosine transform) 이외에, 서브밴드, 웨이블릿, 프랙탈 등의 파형 부호화 방법이 있다.

또한, 인접하는 프레임 등의 표시 화면간에 있어서의 용장의 화상 정보를 제거하는 방법으로서는, 움직임 보상을 이용한 화면간 예측을 실행하여, 즉 현 화면의 화소의 화소값을, 이것과 이전 화면의 화소의 화소값과의 차분을 이용하여 나타내고, 이 차분 신호를 부호화하는 방법이 있다.

이하, 종래의 화상 처리 방법으로서, 움직임 보상을 수반하는 DCT 처리가 실행되는 MPEG 방식의 화상 부호화 방법 및 화상 복호화 방법에 대하여 간단히 설명한다.

이 화상 부호화 방법에서는, 우선, 입력된 화상 신호를, 1 화면(1 프레임)을 구성하는 복수의 블럭(매크로 블럭)의 각각에 대응하도록 복수의 화상 신호로 분할하여, 각 매크로 블럭에 대응하는 화상 신호의 부호화 처리를 상기 매크로 블럭마다 실행한다. 여기서 하나의 매크로 블럭은, 상기 1 화면에 있어서의, 16×16 화소로 이루어지는 화상 표시 영역으로 되어 있다. 또, 입력되는 화상 신호가 임의의 오브젝트 화상에 대응하는 것일 경우에는, 해당 화상 신호를 1 프레임중의 해당 오브젝트 화상에 대응한 표시 영역(오브젝트 영역)을 구성하는 복수의 블럭(매크로 블럭)의 각각에 대응하도록 분할한다.

그리고, 각 매크로 블럭에 대응하는 화상 신호를, 다시 8×8 화소로 이루어지는 화상 표시 영역에 상당하는 서브 블럭에 대응시켜 분할하고, 해당 서브 블럭마다 대응하는 화상 신호에 DCT 처리를 실시하여, 각 서브 블럭에 대응하는 DCT 계수를 생성한다. 그 후, 각 서브 블럭에 대응하는 DCT 계수를 양자화하여 각 서브 블럭에 대응하는 양자화 계수를 생성한다. 이렇게 하여 서브 블럭에 대응하는 화상 신호를 DCT 처리 및 양자화 처리에 의해 부호화하는 방법은, 프레임내 부호화 방법이라고 불리고 있다.

또한 수신측에서는, 상기 각 서브 블럭에 대응하는 양자화 계수에 대하여 역 양자화 처리 및 역 DCT 처리를 순차적으로 실시하여, 각 매크로 블럭에 대응하는 화상 신호를 재생한다. 또, 상기 프레임내 부호화 방법에 의해 화상 신호의 부호화 처리가 실시된 프레임(소위, I 픽쳐)에 대응하는 부호화 데이터는, 독립 재생 가능하고, 그 복호화 처리를 다른 프레임에 대응하는 화상 데이터를 참조하지 않고서 실행할 수 있는 것이다.

이에 반하여, 프레임간 부호화 방법이라고 불리는 화상 신호의 부호화 방법이 있다. 이 부호화 방법에서는, 우선, 블럭 매칭을 비롯한, 화면(프레임)상에서의 화상의 움직임을 검출하는 방법에 의해, 부호화의 대상으로 되어 있는 피처리 프레임에 시간적으로 인접하는, 부호화 처리가 완료된 프레임에 대응하는 화상 신호로부터, 부호화의 대상으로 되어 있는 대상 매크로 블럭과의 사이에서의 화소값의 오차가 가장 작은 16×16 화소로 이루어지는 영역을 예측 매크로 블럭으로서 검출한다.

계속해서, 대상 매크로 블럭의 화상 신호로부터 예측 매크로 블럭의 화상 신호를 감산하여, 상기 대상 매크로 블럭에 대응하는 차분 신호를 생성하고, 해당 차분 신호를 상기 8×8 화소로 이루어지는 서브 블럭에 대응하도록 분할한다. 그 후, 해당 서브 블럭마다, 대응하는 차분 신호에 DCT 처리를 실시하여 DCT 계수를 생성하고, 다시 해당 DCT 계수에 양자화 처리를 실시하여 양자화 계수를 생성한다.

또, 이러한 프레임간 부호화 방법에 있어서의 처리는, 입력되는 화상 신호가 오브젝트 화상에 대응하는 것인 경우에도 상기와 마찬가지로 실행된다.

또한, 수신측에서는, 상기 각 서브 블럭의 양자화 계수(양자화된 DCT 계수)에 역 양자화 처리 및 역 DCT 처리를 순차적으로 실시하여, 각 매크로 블럭에 대응하는 차분 신호를 복원하고, 그 후, 이미 복호화 처리가 실시된 복호화 처리 완료 프레임의 화상 신호로부터 움직임 보상에 의해, 복호화 처리의 대상으로 되는, 피처리 프레임에 있어서의 대상 매크로 블럭에 대응하는 화상 신호의 예측 신호를 생성하고, 해당 예측 신호와 상기 복원된 차분 신호를 가산하여, 대상 매크로 블럭의 화상 신호를 재생한다. 또, 상기 프레임간 부호화 방법에 의해 화상 신호의 부호화 처리가 실시된 프레임(소위, P 픽쳐나 B 픽쳐)의 부호화 데이터는, 독립적으로, 즉 다른 프레임의 화상 신호를 참조하는 일 없이 재생할 수 있는 것이 아니다.

다음에, 복수의 프레임(픽쳐)으로 구성되는 동화상에 대응하는 압축 화상 데이터(비트 스트림)의 구조에 대하여 간단히 설명한다.

도 10의 (a)는 1개의 동화상에 대응하는 화상 데이터(동화상 데이터)를 모식적으로 나타내고 있다. 상기 1개의 동화상은, 복수의 프레임(픽쳐)로 이루어지며, 상기 동화상 데이터 D는 상기 각 프레임에 대응하는 프레임 데이터 P(1)∼P(n)(n은 자연수)을 포함하고 있다.

또한, 도 10의 (b)는 상기 동화상 데이터 D를 구성하는 각 프레임 데이터 P(1)∼P(n)에 상기 프레임내 부호화 처리를 실시하여 얻어지는 화면내 압축 화상 데이터 Da의 구조를 나타내고 있다.

이 화면내 압축 화상 데이터 Da는, 각 프레임에 대응하는 프레임 부호화 데이터 Pa(1)∼Pa(n)과, 각 프레임에 공통되는 데이터로 이루어지는 헤더 Ha를 포함하고 있다. 여기서 각 프레임은, 프레임내 부호화 처리가 실시된 I 픽쳐로 되어 있다. 또, MPEG4에서 상기 헤더 Ha는 VOL(Video Object Layer)이라고 불리고 있다.

또한, 도 10의 (c)는 상기 동화상 데이터 D를 구성하는 각 프레임 데이터 P(1)∼P(n) 중 소정의 것에 상기 프레임내 부호화 처리를, 그 밖의 것에 대하여 프레임간 부호화 처리를 실시하여, 얻어지는 화면간 압축 화상 데이터 Db의 구조를 나타내고 있다.

또, 상기 프레임간 부호화 처리는 2 종류가 있다. 그 하나는 부호화 처리의 대상으로 되어 있는 피처리 프레임의 부호화 처리를, 그 이전 프레임을 참조하여 실행하는 순방향 예측 부호화 처리이다. 또 다른 하나는, 부호화 처리의 대상으로 되어 있는 피처리 프레임의 부호화 처리를, 그 전후 프레임을 참조하여 실행하는 쌍방향 예측 부호화 처리이다.

상기 화면간 압축 화상 데이터 Db는, 각 프레임에 대응하는 프레임 부호화 데이터 Pb(1)∼Pb(n)과, 각 프레임에 공통되는 데이터로 이루어지는 헤더 Hb를 포함하고 있다. 여기서는, 상기 동화상의 최초의 프레임만 프레임내 부호화 처리가 실시된 I 픽쳐로 되어 있고, 그 밖의 프레임은 상기 프레임간 부호화 처리로서 순방향 예측 부호화 처리가 실시된 P 픽쳐 혹은 쌍방향 예측 부호화 처리가 실시된 B 픽쳐로 되어 있다.

그런데, 상기 화면내 압축 화상 데이터 Da는, 동화상을 구성하는 모든 프레임에 대하여, 다른 프레임을 참조하지 않는 프레임내 부호화 처리를 실시하여 얻어진 것이기 때문에, 부호화 효율은 그다지 높지 않지만, 각 프레임에 대한 랜덤한 재생(복호화) 처리에 적합한 것으로 되어 있다. 즉, 상기 화면내 압축 화상 데이터 Da에서는, 어느 화면(프레임)으로부터든 즉시 복호화 처리를 개시하여 화상을 재생할 수 있다고 하는 장점이 있다. 특히, 압축 화상 데이터의 편집성(압축 화상 데이터를 편집할 때의 처리의 용이함)은, 다른 프레임의 데이터에 의존하지 않는 부호화 처리에 의해 얻어지는 화면내 압축 화상 데이터가, 다른 프레임의 데이터에 의존하는 부호화 처리에 의해 얻어지는 화면간 압축 화상 데이터에 비해서 우수하다.

한편, 상기 화면간 압축 화상 데이터 Db는, 동화상을 구성하는 거의 모든 프레임에 대하여, 다른 프레임을 참조하는 프레임간 부호화 처리를 실시하여 얻어진 것이기 때문에, 부호화 효율은 높은 반면, 각 프레임에 대한 랜덤한 재생(복호화) 처리에 적합하지 않다. 즉, 상기 화면간 압축 화상 데이터 Db에서는, P 픽쳐 혹은 B 픽쳐로서의 프레임으로부터 복호화 처리를 개시하는 경우, 복호화 처리가 개시되는 프레임 이전의 독립적 복호화가 가능한 프레임까지 소급하여 복호화 처리를 실시할 필요가 있다. 이것은 해당 복호화 처리가 개시되는 프레임이 다른 프레임을 참조하여 부호화 처리가 실시된 것이기 때문이다.

예를 들어, 화면내 압축 화상 데이터 Da에서는, 1시간에 상당하는 동화상의 최후방 30초 동안에 상당하는 프레임 부호화 데이터 Pae(1)∼Pae(m)(m은 자연수)의 재생은, 그 선두의 프레임 부호화 데이터 Pae(1)로부터 즉시 실행할 수 있다(도 10의 (b) 참조).

이에 반하여, 상기 화면간 압축 화상 데이터 Db에서는, 1시간에 상당하는 동화상의 최후방의 30초간에 상당하는 프레임 부호화 데이터 Pbe(1)∼Pbe(m)(m은 자연수)의 재생은, 그 선두의 프레임 부호화 데이터 Pbe(1)로부터 즉시 실행할 수가 없다(도 10의 (c) 참조). 즉, 이 데이터 Pbe(1)의 재생은, 이전의 독립 재생 가능한 데이터(여기서는 동화상을 구성하는 최초의 프레임에 상당하는 프레임 부호화 데이터 Pb(1))로부터 프레임 부호화 데이터 Pbe(1)의 직전의 프레임 부호화 데이터까지의 복호화 처리가 완료될 때까지 실행할 수 없다. 이것은, 선두의 프레임 부호화 데이터 Pbe(1)이 다른 프레임을 참조하여 부호화된 것이기 때문이다.

또한, 상기 화면내 압축 화상 데이터 Da에 대해서는, S(자연수)개의 프레임을 스킵(skip)하는 빨리 감기 재생 처리를 행할 수 있다(도 11(a) 참조). 이것은 빨리 감기 재생 처리에 있어서의 복호화의 대상으로 되는 프레임 부호화 데이터 Pa(1), Pas(1)∼Pas(f)(f는 자연수)는 화면내 부호화 처리가 실시된 I 픽쳐에 대응하는 것으로, 모두, 다른 프레임의 데이터를 참조하지 않고 독립적으로 재생할 수 있기 때문이다. 또, 빨리 감기 재생 처리와는 반대의 빨리 되감기 재생 처리에 대해서도, 화면내 압축 화상 데이터 Da에 대해서는 상기 빨리 감기 재생 처리와 마찬가지로 실행할 수 있다.

한편, 상기 화면간 압축 화상 데이터 Db에 대해서는, S(자연수)개의 프레임을 스킵하는 빨리 감기 재생 처리는 실질적으로는 실행할 수 없다(도 11의 (b) 참조). 이것은, 빨리 감기 재생 처리에 있어서의 복호화의 대상으로 되는 프레임 부호화 데이터 Pbs(1)∼Pbs(f)는 화면간 부호화 처리가 실시된 P 픽쳐 혹은 B 픽쳐에대응하는 것이기 때문이다. 즉, 상기 프레임 부호화 데이터 Pbs(1), Pbs(2), Pbs(3), …, Pbs(f)의 복호화 처리는 해당 각 데이터 이전의 모든 프레임 부호화 데이터의 복호화 처리에 소요되는 대기 시간 tb1, tb2, tb3, …, tbf가 경과한 후가 아니면 실행할 수 없다. 바꿔 말하면, 빨리 감기 재생 처리에 있어서의 복호화의 대상으로 되는 프레임 부호화 데이터 Pbs(1)∼Pbs(f)의 재생 시각은 통상의 재생 처리에 있어서의 시각과 동일하게 된다.

이 결과, 상기 화면간 압축 화상 데이터 Db에 대하여 빨리 감기 재생 처리를 행하더라도, 상기 동화상에 대한 빨리 감기 재생 화상은 프레임 부호화 데이터 Pbs(1)∼Pbs(f)에 대한 재생 정지 화상이 일정 시간마다 순차적으로 표시되게 된다.

또한, 빨리 감기 재생 처리와는 반대의 빨리 되감기 재생 처리에 대해서는, 화면간 압축 화상 데이터 Db에 대해서는 실행할 수가 없다. 이것은, 화면간 압축 화상 데이터 Db에서는 모든 프레임 부호화 데이터에 대한 복호화 처리가 완료된 후가 아니면, 최후의 프레임에 대한 프레임 부호화 데이터를 재생할 수가 없기 때문이다.

또, 상기 압축 화상 데이터 Da, Db의 헤더 Ha, Hb에는, 해당 압축 화상 데이터가 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그(독립 재생 적성 플래그)를 포함하고 있다.

그래서, 압축 화상 데이터에 있어서의 부호화 효율과 빨리 감기 재생 처리 등에 대한 적성 사이에 있어서의 트래이드 오프(trade off)라고 하는 과제를 해결하기 위해서 다음과 같은 대응이 취해지고 있다.

그 제 1 대응책은, 도 12에 도시하는 바와 같이 화상 데이터의 기억 매체 M에는, 1개의 동화상에 대응하는 압축 화상 데이터로서, 빨리 감기 재생 처리에 적합한 화면내 압축 화상 데이터 Da와, 부호화 효율이 높은, 즉 고화질의 재생 화상을 얻을 수 있는 화면간 압축 화상 데이터 Db의 양쪽을 저장해 둔다고 하는 것이다. 또, 도 12 중, D1∼Dk는 각각 헤더 H1∼Hk를 갖는 다른 동화상에 대응하는 압축 화상 데이터이다. 여기서, 상기 화면내 압축 화상 데이터 Da의 헤더 Ha에는, 해당 데이터 Da가 독립 재생에 대한 적성이 큰 것을 나타내는 독립 재생 적성 플래그가 포함되어 있다. 또한, 화면간 압축 화상 데이터 Db의 헤더 Hb에는 해당 데이터 Db가 독립 재생에 대한 적성이 작은 것을 나타내는 독립 재생 적성 플래그가 포함되어 있다.

이 경우, 빨리 감기 재생 처리의 경우에는, 상기 각 압축 화상 데이터 Da 및 Db의 헤더 Ha, Hb에 있어서의 독립 재생 적성 플래그에 근거하여, 상기 데이터 기억 매체 M으로부터는 1개의 동화상에 대응하는 압축 화상 데이터로서 화면내 압축 부호화 데이터 Da가 판독된다. 한편, 통상 재생 처리의 경우에는 상기 데이터 기억 매체 M으로부터 상기 화면간 압축 화상 데이터 Db가 판독된다.

또한, 제 2 대응책은, 화면간 압축 화상 데이터 Db중에, I 픽쳐에 대응하는 프레임 부호화 데이터를, 통상의 간격에 비해 짧은 간격으로 복수개 삽입한다고 하는 것이다. 통상적으로는, 압축 화상 데이터에서, 0.5초 동안에 재생되는 프레임 중 2장의 프레임이 I 픽쳐에 대응하는 것으로 되도록, I 픽쳐에 대응하는 프레임부호화 데이터가 삽입되어 있다. 이 화면간 압축 화상 데이터 Db에는, 해당 데이터 Db가 독립 재생에 대한 적성이 크다는 것을 나타내는 독립 재생 적성 플래그가 포함되어 있다. 이 경우, 빨리 감기 재생 처리는 프레임 부호화 데이터가 I 픽쳐에 대응하는 것을 나타내는, 각 프레임마다 부여되어 있는 픽쳐 타입 플래그(도시하지 않음)에 근거하여, I 픽쳐에 대응하는 프레임 부호화 데이터만을 복호화함으로써 실현할 수 있다.

또한, 제 3 대응책은, P 픽쳐에 대응하는 프레임 부호화 데이터이더라도 독립 재생 가능한 것이 있기 때문에, 이러한 프레임 부호화 데이터에는, 독립 재생에 적합한 것을 나타내는 독립 재생 적성 플래그를 부여한다고 하는 것이다. 즉, 화면간 압축 화상 데이터 Db를 구성하는 P 픽쳐에 대응하는 프레임 부호화 데이터에는, 픽쳐 타입 플래그에 의해 P 픽쳐에 대응하는 것이라고 표시되어 있는 것이더라도, I 픽쳐에 대응하는 프레임 부호화 데이터와 마찬가지로, 다른 프레임의 화상 데이터를 참조하지 않고 부호화된 것이 있다. 이러한 특정한 P 픽쳐에 대응하는 프레임 부호화 데이터는 독립적으로 재생이 가능하다. 따라서, 이러한 특정 P 픽쳐에 대응하는 프레임 부호화 데이터에, 독립 재생에 적합하다는 것을 나타내는 독립 재생 적성 플래그를 부여함으로써, 빨리 감기 재생 처리는, 픽쳐 타입 플래그 및 독립 재생 적성 플래그(도시하지 않음)에 근거하여, I 픽쳐 및 특정 P 픽쳐에 대응하는 프레임 부호화 데이터만을 복호화함으로써 실현할 수 있다.

도 11의 (c)는, 특정 P 픽쳐에 대응하는 프레임 부호화 데이터에 독립 재생 적성 플래그를 부여한 구조의 화면간 압축 화상 데이터를 나타내고 있다.

이 화면간 압축 화상 데이터 Dc는, 상기 독립 재생 적성 플래그를 포함하는 헤더 Hc1, Hc2, …, Hcf를 특정 P 픽쳐(도면에서 P'으로 표시)에 대응하는 프레임 부호화 데이터 Pcs(1)∼Pcs(f)의 직전에 삽입한 데이터 구조로 되어 있다. 또, Hc는 상기 화면간 압축 화상 데이터 Dc의 헤더, Pc(1)∼Pc(n)은 각 프레임에 대응하는 프레임 부호화 데이터이다.

다음에, 상기 각 압축 화상 데이터 Da, Db에 있어서의 헤더의 구성에 대하여 도 13을 이용하여 설명한다. 또, 도 13에서는, 설명을 간단히 하기 위해서, 압축 화상 데이터 D를, 화면내 압축 부호화 데이터 Da와 화면내 압축 부호화 데이터 Db를 구별하지 않고서 나타내고 있다.

상기 압축 부호화 데이터 D에서는, 상술한 바와 같이, 그 선두 부분의, 각 프레임에 공통된 데이터를 포함하는 헤더 H와 이것에 계속되는 프레임 부호화 데이터 P로 구성되어 있다.

그리고, 상기 헤더 H에는, 1개의 동화상의 압축 화상 데이터에 대응하는 동기 신호 Hsd와, 각 프레임에 공통인 데이터 Hcd와, 상기 독립 재생 적성 플래그 Hfd와, 이들 데이터를 정렬하기 위한 정렬 데이터 Had가 포함되어 있다.

이와 같이 1개의 동화상에 대응하는 압축 화상 데이터는, 해당 동화상을 구성하는 모든 프레임에 대응하는 프레임 부호화 데이터가 독립 재생 가능한지 여부를 나타내기 위한 정보(독립 재생 적성 플래그)를 갖고 있다. 예를 들어, 1개의 동화상을 구성하는 모든 프레임에 대응하는 프레임 부호화 데이터가 독립 재생 가능한 경우에는, 상기 압축 화상 데이터에 대한 독립 재생 적성 플래그는, 압축 화상 데이터에 대하여 독립 재생의 적성이 큰 것을 나타내는 값으로 되어 있다. 한편, 1개의 동화상에 포함되는 독립 재생 가능한 프레임 부호화 데이터가 적은 경우에는, 상기 압축 화상 데이터에 대한 독립 재생 적성 플래그는, 압축 화상 데이터에 대하여 독립 재생의 적성이 큰 것을 나타내는 값으로 되어 있다.

그리고, 이 독립 재생 적성 플래그는, 압축 화상 데이터의 선두에 위치하는 공통 데이터를 포함하는 헤더내에 기술되어 있다.

이하, 상기 압축 화상 데이터에 있어서의 공통 데이터를 포함하는 헤더내의 구체적인 데이터 배열을, 표 1 내지 표 3을 이용하여 설명한다. 또, 이들 표 1∼표 3에 기재되어 있는 데이터는 상기 헤더내에 전송 순서대로 연속하여 배열되어 있다.

상기 헤더내의 선두에는, 동화상의 개시를 나타내는 동기 신호(902)가 배치되어 있고, 이 동기 신호(902)는 일의적인 32 비트의 고정 길이 부호에 의해 표현되어 있다. 또한, 이 동기 신호(902)에 계속해서, 각 프레임에 공통되는 여러가지 공통 데이터(903∼913)가 배치되어 있다. 이들 공통 데이터(903∼913)에는, 고정 길이 부호에 의해 표현되는 데이터(903∼909, 911∼913) 이외에 가변 길이 부호에 의해 표현되는 데이터(910)가 포함되어 있다.

또한 이들 공통 데이터(903∼913)에 계속해서, 독립 재생 적성 플래그(914) 및 정렬 데이터(915)가 순차적으로 배치되어 있다.

이 독립 재생 적성 플래그(914)는, 상술한 바와 같이, 압축 화상 데이터에 있어서의 각 프레임에 대응하는 프레임 부호화 데이터가 랜덤하게 독립적으로 재생가능한지 여부를 나타내는 것이다. 그 값이 「1」인 독립 재생 적성 플래그는, 상기 동화상을 구성하는 프레임의 프레임 부호화 데이터가 모두 독립적으로 재생 가능한 것을 나타낸다. 한편, 그 값이 「0」인 독립 재생 가능 플래그는, 상기 동화상에 대응하는 압축 화상 데이터에 독립 재생이 불가능한 프레임 부호화 데이터가 많이 포함되어 있는 것을 나타낸다. 또한, 상기 정렬 데이터(915)는, 상기 동기 신호(902)로부터 상기 독립 재생 적성 플래그(914)까지의 데이터를 정렬하기 위한 것이다.

그리고, 상기 정렬 데이터(915)의 뒤에는, 실제의 동화상의 각 프레임에 대응하는 화상 데이터를 부호화하여 얻어지는 프레임 부호화 데이터에 관한 데이터(916) 및 데이터(917)가 배치되어 있다. 단, 이들 데이터(916, 917)에 대해서는, 실제로는 MPEG1, 2, 4 등에 있어서의 DCT 계수나 양자화 단계 등의 구체적 데이터가 포함되지만, 여기서는 이들의 구체적 데이터를 나타내지 않고서 1개의 데이터 그룹으로 나타내고 있다.

또, 이러한 공통 데이터를 포함하는 헤더는, 1개의 동화상에 대응하는 압축 화상 데이터의 선두 부분에 반드시 둘 필요가 있다. 단, 독립 재생 불가능한 프레임 부호화 데이터를 포함하는 화면간 압축 화상 데이터이더라도, 독립 재생 가능한 프레임 부호화 데이터(예를 들면 I 픽쳐에 대응하는 프레임 부호화 데이터)가 일정 주기로 반복해서 배열되어 있는 것에 있어서는, 상기 독립 재생 적성 플래그 대신에 독립 재생 가능 플래그를 포함하는 공통 데이터를 주기적으로 삽입하는 것은 유효하다. 이 독립 재생 가능 플래그는, 대응하는 프레임 부호화 데이터가 다른 프레임의 데이터를 참조하지 않고서 독립적으로 재생 가능한지 여부를 나타내는 것이다.

즉, 이와 같이 독립 재생 가능 플래그를 포함하는 공통 데이터가 주기적으로 삽입된 화면간 압축 화상 데이터에 대해서는, I 픽쳐에 대응하는 독립 재생 가능한 프레임 부호화 데이터를 선택적으로 복호화하여 빨리 감기 재생 처리를 실행할 수 있다.

그런데, 압축 화상 데이터에 대한 빨리 감기 재생 처리나 빨리 되감기 재생 처리시에는, 압축 화상 데이터로부터 프레임 부호화 데이터를 랜덤하게 선택하여 복호화 처리를 실행하기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터가 빨리 감기 재생 처리 등에 적합한지 여부(독립 재생의 적성), 혹은 압축 화상 데이터에 있어서의 프레임 부호화 데이터가 독립적으로 재생 가능한 것인지 여부(독립 재생의 여부)를 재빨리 판정할 필요가 있다.

그러나, 종래의 압축 화상 데이터 혹은 프레임 부호화 데이터에 부여되는 헤더로부터는, 이들 데이터의 독립 재생의 적성이나 독립 재생의 여부를 재빨리 검지할 수가 없다고 하는 문제가 있었다.

즉, 상기 압축 화상 데이터의 독립 재생의 적성 등은, 상기 공통 데이터를 포함하는 헤더에 있어서의 독립 재생 적성 플래그 등(표 1∼표 3에 나타내는 데이터(914))를 추출하여 해석하면 판정할 수 있다.

그런데, 상술한 바와 같이, 상기 헤더에 있어서의 독립 재생 적성 플래그(914)의 값이 「1」인지 아닌지를 조사하기 위해서는, 해당 헤더에 있어서의 이 플래그(914) 앞에 위치하는 공통 데이터(903∼913)를 모두 추출하여 해당 공통 데이터를 해석하면서 그 분석을 행하지 않으면, 헤더에 대한 데이터 해석 처리가 상기 독립 재생 적성 플래그(914)에 대한 해석 처리에는 도달하지 않는다. 예를 들어, 공통 데이터(903a)의 값이 「1」인지 여부를 조사한 후가 아니면, 공통 데이터(903b, 903c)가 존재하는지 여부를 알 수 없다.

이와 같이 상술한 종래의 압축 화상 데이터에 부여되어 있는 헤더에서는, 해당 압축 화상 데이터의 독립 재생의 적성을 나타내는 독립 재생 적성 플래그 앞에, 동화상의 개시를 나타내는 동기 신호(902)나 프레임 부호화 데이터에 대한 공통 데이터(903∼913) 등의 다수 데이터가 배치되어 있다. 또한, 이들 공통 데이터 중에는, 스위치적인 기능을 하는 데이터, 즉 그 데이터의 값에 따라 다음의 데이터 처리가 상이한 것으로 되는 데이터도 많이 있다.

이 때문에, 상기 헤더에 있어서의 데이터의 해석 처리를 개시하고 나서, 상기 독립 재생 적성 플래그의 해석 처리가 실행될 때까지 상당한 시간이 소요되게 된다고 하는 문제가 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위해서 이루어진 것으로, 1개의 동화상에 대응하는 압축 화상 데이터 혹은 프레임 부호화 데이터에 부여되는 헤더로부터는, 이들 데이터의 독립 재생의 적성이나 독립 재생의 여부를 재빨리 검지할 수 있는 데이터 구조를 갖는 압축 화상 데이터를 생성하는 부호화 처리 및 이것에 대응하는 복호화 처리를 실행하는 화상 처리 방법을 얻는 것을 목적으로 한다.

본 발명은, 상기 부호화 처리 및 복호화 처리를 실행하는 화상 처리 장치 및 이들 처리를 컴퓨터에 의해 실행시키기 위한 화상 처리 프로그램을 저장한 데이터 기억 매체를 얻는 것을 목적으로 한다.

도 1은 본 발명의 실시예 1에 의한 화상 신호 데이터 구조를 도시한 도면으로서, 도 1의 (a)는 시퀀스 헤더, 도 1의 (b)는 임의의 프레임의 독립 재생에 적합한 데이터 구조의 압축 화상 데이터, 도 1의 (c)는 압축 효율이 높은 데이터 구조의 압축 화상 데이터를 나타내는 도면,

도 2는 상기 실시예 1에 의한 화상 처리 방법에 의한 화상 부호화 처리를 설명하기 위한 플로우차트,

도 3은 상기 실시예 1의 화상 부호화 처리를 실행하는 화상 처리 장치의 구성을 나타내는 블록도,

도 4는 본 발명의 실시예 1의 압축 화상 데이터와는 데이터 구조가 상이한 압축 화상 데이터의 구조를 도시한 도면,

도 5는 본 발명의 실시예 1의 변형예에 의한 압축 화상 데이터의 구조를 도시한 도면으로서, 도 5의 (a)는 임의의 프레임의 독립 재생에 적합한 데이터 구조의 압축 화상 데이터, 도 5의 (b)는 압축 효율이 높고 임의의 프레임의 독립 재생에도 적합한 데이터 구조의 압축 화상 데이터를 나타내는 도면,

도 6은 상기 실시예 1의 변형예에 의한 화상 처리 방법에 의한 화상 부호화 처리를 설명하기 위한 플로우차트,

도 7은 본 발명의 실시예 2에 의한 화상 처리 방법에 의한 화상 복호화 처리를 설명하기 위한 플로우차트,

도 8은 상기 실시예 2의 화상 복호화 처리를 행하는 화상 처리 장치의 구성을 나타내는 블록도,

도 9는 상기 각 실시예의 부호화 및 복호화 처리를 컴퓨터 시스템에 의해 실행하기 위한 프로그램을 저장한 데이터 기억 매체(도 9의 (a), 도 9의 (b)) 및 상기 컴퓨터 시스템(도 9의 (c))을 설명하기 위한 도면,

도 10은 종래의 화상 부호화 신호(압축 데이터)의 데이터 구조를 설명하기 위한 도면으로서, 도 10의 (a)는 1개의 동화상에 대응하는 압축 화상 데이터, 도 10의 (b)는 임의의 프레임의 독립 재생에 적합한 압축 화상 데이터, 도 10의 (c)는 압축 효율이 높은 압축 화상 데이터를 나타내는 도면,

도 11은 종래의 화상 부호화 신호의 데이터 구조에 있어서의 문제점을 설명하기 위한 도면으로서, 도 11의 (a)는 임의의 프레임의 독립 재생에 적합한 압축 화상 데이터, 도 11의 (b)는 압축 효율이 높은 압축 화상 데이터, 도 11의 (c)는 압축 효율이 높고 임의의 프레임의 독립 재생에도 적합한 압축 화상 데이터를 나타내는 도면,

도 12는 여러가지 동화상에 대응하는 압축 화상 데이터를 저장하고 있는 데이터 기억 매체를 설명하기 위한 개념도,

도 13은 종래의 압축 화상 데이터에 있어서의 시퀀스 헤더의 구성을 도시한 도면.

도면의 주요 부분에 대한 부호의 설명

100a : 화상 부호화 장치 100b : 화상 복호화 장치

본 발명(제 1 특징)에 관한 화상 전송 방법은, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 얻어지는 압축 화상 데이터를 전송하는 방법에 있어서, 상기 압축 화상 데이터를 구성하는, 상기 각 화면에 공통된 공통 데이터를 포함하는 헤더를 전송하는 처리와, 그 후, 상기 압축 화상 데이터를 구성하는, 상기 각 화면에 대응하는 압축 화면 데이터를 순차적으로 전송하는 처리를 포함하며, 상기 헤더의 전송 처리에서는, 해당 헤더에 포함되는, 상기 압축 화상 데이터가 임의의 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것인지 여부를 나타내는 식별 플래그를, 상기 헤더의 선두 위치로부터 해당 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 전송하는 것이다.

이러한 구성의 화상 전송 방법에 따르면, 1개의 동화상에 대응하는 압축 화상 데이터를, 그 헤더에, 이 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그를 포함해서 전송하고, 이 때, 상기 헤더에는, 상기 식별 플래그 앞에는 고정 길이 부호 데이터만이 개재되도록 하였기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

본 발명(제 2 특징)은, 제 1 특징에 따른 화상 전송 방법에 있어서, 상기 헤더를, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호와, 상기 공통 데이터로서의 고정 길이 부호 데이터 및 가변 길이 부호 데이터와 상기 식별 플래그로 구성하고, 상기 헤더의 전송 처리로서는, 상기 식별 플래그를 상기 동기 신호의 다음이면서 가변 길이 부호 데이터의 앞에 전송하는 것이다.

이러한 구성의 화상 전송 방법에 따르면, 상기 식별 플래그를, 동기 신호의 다음이면서 가변 길이 부호 데이터의 앞에 전송하도록 하였기 때문에, 복호화측에서는 상기 식별 플래그의 해석 처리를 동기 신호의 해석 처리 후 즉시 실행할 수 있다.

본 발명(제 3 특징)에 관한 화상 처리 방법은, 복수의 화면으로 이루어지는화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 압축 화상 데이터를 생성하는 방법에 있어서, 상기 각 화면에 공통하는 공통 데이터를 포함하는 헤더를 생성하는 헤더 생성 처리와, 상기 각 화면에 대응하는 화면 데이터를 압축 부호화하여 압축 화면 데이터를 생성하는 압축 부호화 처리를 포함하며, 상기 헤더 생성 처리에서는, 상기 압축 화상 데이터를, 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한지 여부를 나타내는 식별 플래그를, 상기 헤더의 선두 위치로부터 해당 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 생성하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 1개의 동화상에 대응하는 디지털 화상 데이터에 압축 부호화 처리를 실시하여 압축 화상 데이터를 생성하고, 그 때, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그를 포함하는 헤더를 상기 압축 화상 데이터에 부여하며, 해당 헤더를 그 선두 위치로부터 해당 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 전송하기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어서, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

본 발명(제 4 특징)은, 제 3 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 생성 처리 후에 각 화면에 대응하는 압축 부호화 처리를 실행하며, 상기 헤더 생성 처리에서는, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호를 생성하고, 계속해서 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그를 생성하여, 그 후 상기 공통 데이터를 생성하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 헤더에서는, 동기 신호, 식별 플래그, 공통 데이터의 순으로 데이터를 배열하였기 때문에, 복호화측에서는 상기 식별 플래그의 해석 처리를 동기 신호의 해석 처리 후 즉시 실행할 수 있다.

본 발명(제 5 특징)은, 제 3 특징에 따른 화상 처리 방법에 있어서, 상기 헤더의 생성 처리 후에 각 화면에 대응하는 압축 부호화 처리를 실행하며, 상기 헤더의 생성 처리에서는, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호를 생성하고, 다음에 상기 공통 데이터로서 고정 길이 부호 데이터를 생성하며, 계속해서, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그를 생성하여, 그 후 상기 공통 데이터로서 가변 길이 부호 데이터를 생성하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 헤더에서는, 동기 신호, 고정 길이 부호의 공통 데이터, 식별 플래그, 가변 길이 부호 데이터의 순으로 데이터를 배열하였기 때문에, 식별 플래그의 해석 처리를, 필요에 따라 상기 공통 데이터의 해석 처리를 건너뛰고, 동기 신호의 해석 처리 직후에 실행할 수 있다.

본 발명(제 6 특징)은, 제 3 특징에 따른 화상 처리 방법에 있어서, 상기 압축 부호화 처리로서, 피처리 화면에 대응하는 화면 데이터를, 다른 화면에 대응하는 화면 데이터를 참조하는 일 없이 압축 부호화하여 제 1 압축 화면 데이터를 생성하는 제 1 압축 부호화 처리와, 피처리 화면에 대응하는 화면 데이터를, 다른 화면에 대응하는 화면 데이터를 참조하여 압축 부호화해서 제 2 압축 화면 데이터를 생성하는 제 2 압축 부호화 처리를 포함하며, 상기 압축 화면 데이터로서 제 1 압축 화면 데이터만을 포함하는 압축 화상 데이터에 있어서의 상기 식별 플래그를, 해당 압축 화상 데이터가 상기 랜덤 재생 처리에 적합한 것을 나타내는 것으로 하고, 상기 압축 화면 데이터로서 제 1 압축 화면 데이터와 함께 제 2 압축 화면 데이터를 포함하는 압축 화상 데이터에 있어서의 상기 식별 플래그를, 해당 압축 화상 데이터가 상기 랜덤 재생 처리에 적합하지 않은 것을 나타내는 것으로 하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 다른 화면을 참조하지 않는 제 1 압축 부호화 처리에 의해 얻어지는 압축 화상 데이터에서는, 상기 식별 플래그를 해당 압축 화상 데이터가 랜덤 재생 처리에 적합한 것을 나타내는 것으로 하고, 다른 화면을 참조하는 제 2 압축 부호화 처리와 상기 제 1 압축 부호화 처리의 양쪽에 의해 얻어지는 압축 화상 데이터로서는, 상기 식별 플래그를 해당 압축 화상 데이터가 랜덤 재생 처리에 적합하지 않은 것을 나타내는 것으로 하였기 때문에, 복호화측에서는, 랜덤 재생 처리에 적합한 압축 화상 데이터와, 부호화 효율은 높지만 랜덤 재생 처리에는 적합하지 않은 압축 화상 데이터를 재빨리 구별할 수 있다.

본 발명(제 7 특징)은, 제 3 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 생성 처리 및 압축 부호화 처리에 부가하여, 상기 각 화면에 공통되는 공통 데이터와 특정 화면에 대응하는 개별 데이터를 포함하는 보조 헤더를 생성하는 보조 헤더 생성 처리를 포함하고, 상기 헤더 생성 처리 후에 각 화면에 대응하는 압축부호화 처리를 실행할 때, 상기 특정한 화면에 대응하는 압축 화면 데이터의 앞에 보조 헤더가 부가되도록 상기 보조 헤더 생성 처리를 실행하고, 상기 보조 헤더 생성 처리에서는, 상기 특정 화면에 대응하는 압축 화면 데이터가, 다른 화면에 대응하는 화면 데이터를 참조하지 않고서 독립적으로 재생할 수 있는 것인지 여부를 나타내는 독립 재생 가능 플래그를, 상기 헤더의 선두 위치로부터 해당 독립 재생 가능 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 생성하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 압축 화상 데이터를 구성하는 특정 화면에 대응하는 압축 화면 데이터에 보조 헤더를 부가하고, 해당 보조 헤더에는, 특정 화면의 압축 화면 데이터가 독립적으로 재생 가능한지 여부를 나타내는 독립 재생 가능 플래그를 포함하며, 해당 보조 헤더를, 그 선두 위치로부터 해당 독립 재생 가능 플래그까지의 사이에는 고정 부호 길이 데이터만이 개재되도록 전송하기 때문에, 각 프레임마다 단독으로, 압축 화면 데이터가 독립 재생 가능한지 여부를 판정할 수 있다.

본 발명(제 8 특징)에 관한 화상 처리 방법은, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 얻어지는 압축 화상 데이터를 복호화하여, 상기 화상에 대응하는 재생 화상 데이터를 생성하는 방법에 있어서, 상기 압축 화상 데이터를 구성하는, 상기 각 화면에 공통하는 공통 데이터를 포함하는 헤더를 해석하는 헤더 해석 처리와, 상기 압축 화상 데이터를 구성하는, 상기 각 화면에 대응하는 화면 데이터를 압축 부호화하여 얻어지는 압축 화면 데이터를, 복호화하여 재생하는 재생 처리를 포함하고, 상기 헤더 해석 처리에서는, 상기 헤더의 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에 계속해서, 상기 헤더에 포함되는, 상기 압축 화상 데이터가, 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것인지 여부를 나타내는 식별 플래그를 해석하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 1개의 동화상에 대응하는 압축 화상 데이터를 복호화할 때, 그 헤더의 해석 처리에서는, 헤더 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에 계속해서, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그의 해석을 행하도록 하였기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

본 발명(제 9 특징)은, 제 8 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 해석 처리 후에 각 화면에 대응하는 재생 처리를 실행하며, 상기 헤더 해석 처리에서는, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호를 해석하고, 계속해서 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그를 해석하여, 그 후 상기 공통 데이터를 해석하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 헤더의 해석 처리에서는, 동기 신호, 식별 플래그, 공통 데이터의 순으로 데이터를 해석하기 때문에, 복호화시에는 상기 식별 플래그의 해석 처리를 동기 신호의 해석 처리 후 즉시 실행할 수 있다.

본 발명(제 10 특징)은, 제 8 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 해석 처리 후에 각 화면에 대응하는 재생 처리를 실행하며, 상기 헤더 해석 처리에서는, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호를 해석하고, 다음에 상기 공통 데이터로서 고정 길이 부호 데이터를 해석하며, 계속해서, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그를 해석하여, 그 후 상기 공통 데이터로서 가변 길이 부호 데이터를 해석하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 헤더의 해석 처리에서는, 동기 신호, 공통 데이터로서의 고정 길이 부호 데이터, 식별 플래그, 공통 데이터로서의 가변 길이 부호 데이터의 순으로 데이터 해석을 행하기 때문에, 식별 플래그의 해석 처리를, 필요에 따라서, 상기 공통 데이터의 해석 처리를 건너뛰어 동기 신호의 해석 처리 직후에 실행할 수 있다.

본 발명(제 11 특징)은, 제 8 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 해석 처리 및 재생 처리를, 상기 압축 화면 데이터로서, 피처리 화면에 대응하는 화면 데이터를 다른 화면에 대응하는 화면 데이터를 참조하지 않고서 압축 부호화하여 얻어지는 제 1 압축 화면 데이터만을 포함하는 제 1 압축 화상 데이터에 대하여 실행함과 동시에, 상기 압축 화면 데이터로서, 상기 제 1 압축 화면 데이터에 부가하여, 피처리 화면에 대응하는 화면 데이터를 다른 화면에 대응하는 화면 데이터를 참조하여 압축 부호화하여 얻어지는 제 2 압축 화면 데이터를 포함하는제 2 압축 화상 데이터에 대하여 실행하고, 상기 압축 화상 데이터에 대한 랜덤 재생 처리를, 상기 식별 플래그에 근거하여 상기 제 1 압축 화상 데이터에 대해서만 실행하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 다른 화면을 참조하지 않는 제 1 압축 부호화 처리에 의해 얻어지는 압축 화상 데이터에 대하여 재생 처리를 실행함과 동시에, 다른 화면을 참조하는 제 2 압축 부호화 처리와 상기 제 1 압축 부호화 처리의 양쪽에 의해 얻어지는 압축 화상 데이터에 대하여 재생 처리를 실행하며, 랜덤 재생 처리는, 상기 제 1 압축 화상 데이터에 대해서만 실행하기 때문에, 복호화측에서는 랜덤 재생 처리를 양호하게 실행할 수 있다.

본 발명(제 12 특징)은, 제 8 특징에 따른 화상 처리 방법에 있어서, 상기 헤더 해석 처리 및 재생 처리에 부가하여, 특정 화면에 대응하는 압축 화면 데이터에 부가되어 있는, 각 화면에 공통하는 공통 데이터 및 해당 특정 화면에 대응하는 개별 데이터를 포함하는 보조 헤더를 해석하는 보조 헤더 해석 처리를 포함하며, 상기 헤더 해석 처리 후에 각 화면에 대응하는 재생 처리를 실행할 때, 특정 화면에 대해서는 보조 헤더의 해석 처리를 실행하고, 상기 보조 헤더 해석 처리에서는, 상기 보조 헤더의 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에 계속해서, 상기 보조 헤더에 포함되는, 상기 특정 화면에 대응하는 압축 화면 데이터가, 다른 화면의 화상 데이터를 참조하지 않고 독립적으로 재생 가능한 것인지 여부를 나타내는 독립 재생 가능 플래그의 해석을 행하는 것이다.

이러한 구성의 화상 처리 방법에 따르면, 상기 압축 화상 데이터를 구성하는특정 화면에 대응하는 압축 화면 데이터에 부가되어 있는 보조 헤더의 해석 처리를 실행하고, 해당 보조 헤더의 해석 처리에서는, 보조 헤더의 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에 계속해서, 해당 헤더에 포함되는 독립 재생 가능 플래그의 해석을 실행하기 때문에, 각 프레임마다 단독으로, 압축 화면 데이터가 독립 재생 가능한지 여부를 판정할 수 있다.

본 발명(제 13 특징)에 관한 화상 처리 장치는, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 압축 화상 데이터를 생성하는 장치에 있어서, 피처리 화면에 대응하는 대상 화면 데이터에 근거하여 그 예측 화면 데이터를 생성하는 예측 데이터 생성기와, 상기 대상 화면 데이터와 예측 화면 데이터의 차분값으로서의 차분 화면 데이터 혹은 해당 대상 화면 데이터를 제어 신호에 근거하여 출력하는 연산 처리 수단과, 상기 연산 처리 수단의 출력 데이터를 압축하여 압축 데이터를 생성하는 데이터 압축기와, 해당 데이터 압축기로부터의 압축 데이터에 대하여 가변 길이 부호화 처리를 실시하여, 각 화면에 대응하는 압축 화면 데이터를 출력하는 가변 길이 부호화기와, 상기 디지털 화상 데이터에 근거하여, 각 화면에 공통하는 공통 데이터를 포함하는 헤더를 생성함과 동시에, 상기 압축 화상 데이터를, 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것으로 하는지의 여부를 나타내는 식별 플래그에 근거하여, 상기 연산 처리 수단을 제어하는 제어 수단을 구비하고, 상기 가변 길이 부호화기를, 상기 식별 플래그를 포함하는 헤더를, 그 선두 위치로부터 상기 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 출력하는 구성으로 한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 1개의 동화상에 대응하는 디지털 화상 데이터에 압축 부호화 처리를 실시하여 압축 화상 데이터를 생성하고, 그 때, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그를 포함하는 헤더를 상기 압축 화상 데이터에 부여하고, 해당 헤더를 그 선두 위치로부터 해당 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 전송하기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

본 발명(제 14 특징)은, 제 13 특징에 따른 화상 처리 장치에 있어서, 상기 가변 길이 부호화기를, 상기 각 화면에 대응하는 압축 화면 데이터를 출력하기 전에 상기 헤더를 출력하고, 이 때, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그, 및 상기 공통 데이터를 이 순서로 출력하도록 구성한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 상기 헤더에서는, 동기 신호, 식별 플래그, 공통 데이터의 순으로 데이터를 배열하였기 때문에, 복호화측에서는 상기 식별 플래그의 해석 처리를 동기 신호의 해석 처리 후 즉시 실행할 수 있다.

본 발명(제 15 특징)은, 제 13 특징에 따른 화상 처리 장치에 있어서, 상기 가변 길이 부호화기를, 상기 각 화면에 대응하는 압축 화면 데이터를 출력하기 전에 상기 헤더를 출력하고, 상기 헤더의 출력시에는 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호, 상기 공통 데이터로서의 고정 길이 부호 데이터, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그, 및 상기 공통 데이터로서의 가변 길이 부호 데이터를 이 순서로 출력하도록 구성한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 상기 헤더에서는, 동기 신호, 고정 길이 부호의 공통 데이터, 식별 플래그, 가변 길이 부호 데이터의 순으로 데이터를 배열하였기 때문에, 식별 플래그의 해석 처리를, 필요에 따라서 상기 공통 데이터의 해석 처리를 건너뛰고 동기 신호의 해석 처리의 직후에 실행할 수 있다.

본 발명(제 16 특징)은, 제 13 특징에 따른 화상 처리 장치에 있어서, 상기 제어 수단을, 상기 식별 플래그가, 상기 압축 화상 데이터를, 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것이라고 나타내고 있을 때, 상기 연산 처리 수단으로부터 상기 대상 화면 데이터가 출력되고, 상기 데이터 압축기에서는 피처리 화면에 대응하는 화면 데이터가 다른 화면에 대응하는 화면 데이터를 참조하는 일 없이 압축되어, 상기 가변 길이 부호화기로부터 제 1 압축 화면 데이터가 출력되는 제 1 압축 부호화 처리가, 상기 화상을 구성하는 모든 화면에 대하여 실행되도록 상기 연산 처리 수단을 제어하고, 상기 식별 플래그가, 상기 압축 화상 데이터를 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것으로 하는 것을 나타내고 있지 않을 때, 상기 연산 처리 수단으로부터 상기 차분 화면 데이터가 출력되고, 상기 데이터 압축기에서는 피처리 화면에 대응하는 화면 데이터가 다른 화면에 대응하는 화면데이터를 참조하여 압축되어, 상기 가변 길이 부호화기로부터 제 2 압축 화면 데이터가 출력되는 제 2 압축 부호화 처리가, 상기 화상을 구성하는 소정의 화면에 대하여 실행되며, 또한 상기 제 1 압축 부호화 처리가, 상기 화상을 구성하는, 상기 소정의 화면 이외의 화면에 대하여 실행되도록 상기 연산 처리 수단을 제어하는 구성으로 한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 다른 화면을 참조하지 않는 제 1 압축 부호화 처리에 의해 얻어지는 압축 화상 데이터에서는, 상기 식별 플래그를 해당 압축 화상 데이터가 랜덤 재생 처리에 적합하다는 것을 나타내는 것으로 하고, 다른 화면을 참조하는 제 2 압축 부호화 처리와 상기 제 1 압축 부호화 처리의 양쪽에 의해 얻어지는 압축 화상 데이터에서는, 상기 식별 플래그를 해당 압축 화상 데이터가 랜덤 재생 처리에 적합하지 않다는 것을 나타내는 것으로 하였기 때문에, 복호화측에서는 랜덤 재생 처리에 적합한 압축 화상 데이터와, 부호화 효율은 높지만 랜덤 재생 처리에는 적합하지 않은 압축 화상 데이터를 재빨리 구별할 수 있다.

본 발명(제 17 특징)에 관한 화상 처리 장치는, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 얻어지는 압축 화상 데이터를 복호화하여, 상기 화상에 대응하는 재생 화상 데이터를 생성하는 장치에 있어서, 상기 압축 화상 데이터에 포함되는 헤더를 해석하여 헤더 정보를 생성함과 동시에, 상기 압축 화상 데이터에 포함되는 각 화면에 대응하는 데이터를 해석하여 압축 화면 데이터를 출력하는 해석기와, 상기 각 화면에 대응하는 압축 화면 데이터를 신장시켜 신장 화면 데이터를 생성하는 데이터 신장기와, 제어 신호에 근거하여 상기 신장 화면 데이터와 그 예측 화면 데이터와의 가산 화면 데이터 혹은 상기 신장 화면 데이터를 재생 화면 데이터로서 출력하는 연산 처리 수단과, 피처리 화면에 대응하는 예측 화면 데이터를 해당 피처리 화면에 대응하는 대상 신장 화면 데이터로부터 생성하는 예측 데이터 생성기와, 상기 압축 화상 데이터가 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한지 여부를 나타내는, 상기 헤더 정보의 1개인 식별 플래그에 근거하여, 상기 연산 처리 수단을 제어하는 제어 수단을 구비하며, 상기 해석기를, 헤더의 해석 처리에서는, 필요에 따라 헤더 선두 위치로부터 상기 식별 플래그까지 계속되는 고정 길이 부호로 이루어지는 공통 데이터를 건너뛰고 상기 식별 플래그의 해석을 행하도록 구성한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 1개의 동화상에 대응하는 압축 화상 데이터를 복호화할 때, 그 헤더의 해석 처리에서는, 헤더 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에, 필요에 따라 건너뛰고, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그의 해석을 행하도록 하였기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

본 발명(제 18 특징)은, 제 17 특징에 따른 화상 처리 장치에 있어서, 상기해석기를, 상기 헤더에 대한 데이터 해석을, 상기 해석기로의 데이터 입력 순서에 따라서, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그, 및 상기 공통 데이터의 순으로 실행하도록 구성한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 상기 헤더의 해석 처리에서는, 동기 신호, 식별 플래그, 공통 데이터의 순서로 데이터 해석을 행하기 때문에, 복호화시에는, 상기 식별 플래그의 해석 처리를 동기 신호의 해석 처리 후 즉시 실행할 수 있다.

본 발명(제 19 특징)은, 제 17 특징에 따른 화상 처리 장치에 있어서, 상기 해석기를, 상기 헤더에 대한 데이터 해석을, 상기 해석기로의 데이터 입력 순서에 따라서, 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호, 상기 공통 데이터로서의 고정 길이 부호 데이터, 상기 압축 화상 데이터의 랜덤 재생 처리에 대한 적성을 나타내는 식별 플래그, 및 상기 공통 데이터로서의 가변 길이 부호 데이터의 순으로 실행하도록 구성한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 상기 헤더의 해석 처리에서는, 동기 신호, 공통 데이터로서의 고정 길이 부호 데이터, 식별 플래그, 공통 데이터로서의 가변 길이 부호 데이터의 순서로 데이터 해석을 행하기 때문에, 식별 플래그의 해석 처리를 필요에 따라서 상기 공통 데이터로서의 고정 길이 부호 데이터의 해석 처리를 건너뛰고 동기 신호의 해석 처리의 직후에 실행할 수 있다.

본 발명(제 20 특징)은, 제 17 특징에 따른 화상 처리 장치에 있어서, 상기제어 수단을, 상기 식별 플래그가, 상기 압축 화상 데이터가 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합하다는 것을 나타내고 있을 때, 피처리 화면에 대응하는 신장 화면 데이터가 그대로 상기 연산 처리 수단으로부터 피처리 화면의 재생 화면 데이터로서 출력되는, 다른 화면을 참조하지 않는 제 1 신장 복호화 처리가, 상기 화상을 구성하는 모든 화면에 대하여 실행되도록, 상기 연산 처리 수단을 제어하고, 상기 식별 플래그가, 상기 압축 화상 데이터가 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것이라는 것을 나타내고 있지 않을 때, 피처리 화면에 대응하는 신장 화면 데이터와 다른 화면에 대응하는 재생 화면 데이터와의 가산값이 상기 연산 처리 수단으로부터 피처리 화면의 재생 화면 데이터로서 출력되는, 다른 화면을 참조하는 제 2 신장 복호화 처리가, 상기 화상을 구성하는 소정의 화면에 대하여 실행되고, 또한 상기 제 1 신장 복호화 처리가, 상기 화상을 구성하는 소정의 화면 이외의 화면에 대하여 실행되도록, 상기 연산 처리 수단을 제어하는 구성으로 한 것이다.

이러한 구성의 화상 처리 장치에 따르면, 다른 화면을 참조하지 않는 제 1 압축 부호화 처리에 의해 얻어지는 압축 화상 데이터에 대하여 재생 처리를 실행함과 동시에, 다른 화면을 참조하는 제 2 압축 부호화 처리와 상기 제 1 압축 부호화 처리의 양쪽에 의해 얻어지는 압축 화상 데이터에 대하여 재생 처리를 실행하고, 랜덤 재생 처리는, 상기 제 1 압축 화상 데이터에 대해서만 실행함으로써, 복호화측에서는 랜덤 재생 처리를 양호하게 실행할 수 있다.

본 발명(제 21 특징)에 관한 데이터 기억 매체는, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하기 위한 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램으로서, 컴퓨터에, 제 3 특징에 따른 화상 처리 방법에 의한 상기 디지털 화상 데이터의 압축 부호화 처리를 실행시키시 위한 부호화 프로그램을 저장한 것이다.

이러한 구성의 데이터 기억 매체에 따르면, 상기 부호화 프로그램을 컴퓨터에 로드함으로써, 1개의 동화상에 대응하는 디지털 화상 데이터에 압축 부호화 처리를 실시하여 압축 화상 데이터를 생성하며, 그 때, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그를 포함하는 헤더를 상기 압축 화상 데이터에 부여하고, 해당 헤더를 그 선두 위치로부터 해당 식별 플래그까지의 사이에는 고정 길이 부호 데이터만이 개재되도록 전송하는 부호화 처리가, 컴퓨터에 의해 실행되게 되므로, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있는 화상 부호화 처리를, 소프트웨어에 의해 실현할 수 있다.

본 발명(제 22 특징)에 관한 데이터 기억 매체는, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 얻어지는 압축 화상 데이터를 신장 복호화하기 위한 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램으로서, 컴퓨터에, 제 8 특징에 따른 화상 처리 방법에 의한, 상기 압축 화상 데이터의 복호화 처리를 실행시키기 위한 복호화 프로그램을 저장한 것이다.

이러한 구성의 데이터 기억 매체에 따르면, 상기 복호화 프로그램을 컴퓨터에 로딩함으로써, 1개의 동화상에 대응하는 압축 화상 데이터를 복호화할 때, 그 헤더의 해석 처리에서는, 헤더 선두 위치로부터 계속되는 고정 길이 부호 데이터의 해석에 계속해서, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지의 여부를 나타내는 식별 플래그의 해석을 행하는 복호화 처리가, 컴퓨터에 의해 실행되게 되기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있는 복호화 처리를 소프트웨어에 의해 실현할 수 있다.

이하, 본 발명의 실시예에 대하여 설명한다.

(실시예 1)

본 발명의 실시예 1에 의한 화상 전송 방법은, 복수의 화면(프레임)으로 이루어지는 동화상에 대응하는 디지털 화상 데이터(이하, 단순히 "동화상 데이터"라고도 칭함)를 압축 부호화하여 얻어지는 압축 화상 데이터를 전송하는 방법이다.

또, 본 실시예에서는, 상기 디지털 화상 데이터는, 휘도 신호와 색차 신호를 포함하는 디지털 화상 신호에 의해 나타내는 데이터인 것으로 한다. 또한, 이 디지털 화상 신호는, 종래의 장방형 형상의 화상 공간(표시 화면)에 있어서의 화상에대응하는 화상 신호이더라도 좋고, 상기 표시 화면에 있어서의, 물체(임의 형상의 화상)를 포함하는 오브젝트 영역(VOP:Video Object Plane)에 대응하는 화상 신호이더라도 좋다.

도 1은 본 실시예 1의 화상 전송 방법을 설명하기 위한 도면으로서, 도 1의 (a)는 특히 압축 화상 데이터의 헤더 부분의 데이터 구조를 나타내고 있다.

상기 압축 화상 데이터 Dv는, 각 프레임에 대응하는 프레임 부호화 데이터 Dp와, 해당 프레임 부호화 데이터 Dp의 앞에 부가된, 해당 데이터 Dp의 속성을 나타내는 헤더 Hv를 포함하고 있다.

여기서, 상기 프레임 부호화 데이터 Dp는, 동화상의 각 프레임에 대응하는 화상 데이터를 압축 부호화하여 얻어지는 것이다. 또한 상기 헤더 Hv는, 상기 압축 화상 데이터 Dv의 개시를 나타내는 동기 신호 Hsd와, 상기 압축 화상 데이터 Dv가 랜덤 재생 처리에 적합한지 여부를 나타내는 식별 플래그(RA 플래그) Hfd와, 각 프레임에 공통되는 공통 데이터 Hcd와, 상기 동기 신호 Hsd, 식별 플래그 Hfd, 공통 데이터 Hcd를 정렬하기 위한 정렬 데이터 Had를 포함하고 있다. 또, 상기 랜덤 재생 처리는 임의의 프레임에 대응하는 프레임 부호화 데이터를 랜덤하게 선택하여 재생하는 처리이다.

또한, 상기 디지털 화상 데이터에 대응하는 압축 부호화 처리에는, 종래 기술에서도 설명한 바와 같이 2 종류의 처리, 즉 프레임내 부호화 처리와 프레임간 부호화 처리가 있다.

도 1의 (b)에 도시하는 바와 같이, 동화상 데이터 D의 모든 프레임에 대응하는 프레임 데이터 P(1)∼P(n)(도 10의 (a) 참조)에 대하여 프레임내 부호화 처리를 실시하여 얻어지는 제 1 압축 화상 데이터 Dva는, 상기 랜덤 재생 처리에 적합한 데이터이다. 따라서, 이 제 1 압축 화상 데이터 Dva에 있어서의 헤더 Hva에서는, 상기 식별 플래그 Hfd의 값은, 이 압축 화상 데이터 Dva가 랜덤 재생 처리에 적합하다는 것을 나타내는 값 「1」로 되어 있다.

또한, 도 1의 (c)에 도시하는 바와 같이, 예를 들어 동화상 데이터 D의 선두 프레임에 대응하는 프레임 데이터 P(1)에 대하여 프레임내 부호화 처리를 실시하고, 그 이후의 프레임에 대응하는 프레임 데이터 P(2)∼P(n)에 대하여 프레임간 부호화 처리를 실시하여 얻어지는 제 2 압축 화상 데이터 Dvb는, 상기 랜덤 재생 처리에 적합하지 않은 데이터이다. 따라서, 이 제 2 압축 화상 데이터 Dvb에 있어서의 헤더 Hvb에서는, 상기 식별 플래그 Hfd0의 값은 이 압축 화상 데이터 Dvb가 랜덤 재생 처리에 적합하지 않다는 것을 나타내는 값 「0」으로 되어 있다.

그리고, 본 실시예 1의 화상 전송 방법에서는, 상기 압축 화상 데이터를 구성하는, 상기 각 화면에 공통된 공통 데이터를 포함하는 헤더가 전송되고, 계속해서, 상기 압축 화상 데이터를 구성하는, 상기 각 프레임에 대응하는 압축 화면 데이터가 순차적으로 전송된다. 상기 헤더 Hv의 전송 처리에서는, 우선 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호 Hsd가 전송되고, 계속해서 상기 압축 화상 데이터가 랜덤 재생 처리에 적합한 것인지 여부를 나타내는 식별 플래그 Hfd가 전송된다. 그 후, 상기 공통 데이터 Hcd와 정렬 데이터 Had가 순차적으로 전송된다.

다음에, 본 발명의 실시예 1에 의한 화상 처리 방법에 대하여 설명한다.

이 화상 처리 방법은, 상기 디지털 화상 데이터 D(도 10의 (a) 참조)에 압축 부호화 처리를 실시하여, 상기 압축 화상 데이터 Dv로서, 제 1 압축 화상 데이터 Dva 및 제 2 압축 화상 데이터 Dvb의 한쪽을 생성하는 부호화 방법이다.

도 2는 본 실시예 1에 의한 화상 처리 방법을 설명하기 위한 도면으로서, 해당 화상 처리 방법에 의한 부호화 처리의 흐름을 나타내고 있다.

우선, 부호화 처리가 개시되면(단계 101), 복수개의 입력 화상(프레임)으로 이루어지는 디지털 동화상에 대응하는 압축 화상 데이터 Dv의 개시를 나타내는 시퀀스 동기 신호 Hsd가 생성된다(단계 102). 여기서는, 해당 동기 신호 Hsd에는 일례로서 32비트가 일의적인 부호를 이용하고 있다.

계속해서, 상기 디지털 동화상에 포함되는 모든 프레임에 대하여, 부호화의 대상으로 되는 피처리 프레임 이외의 프레임을 참조하지 않고서 압축 부호화해야 하는지 여부를 나타내는 식별 플래그 Hfd의 부호가 생성된다(단계 103). 이 단계 103에서는, 디지털 동화상에 있어서의 모든 프레임에 대하여 다른 프레임을 참조하지 않는 압축 부호화 처리를 실시할 때에는, 이 식별 플래그 Hfd의 값이 「1」로 되고, 그렇지 않을 때에는 「0」으로 된다.

그 후, 재생측에서 압축 화상 데이터 Dv를 재생할 때에 필요로 되는 각 프레임에 공통되는 공통 데이터 및 정렬 데이터 등의 부호가 생성된다(단계 104). 그리고, 상기 동화상을 구성하는 각 프레임의 데이터(프레임 데이터)를 순차적으로 압축 부호화하는 처리가 실행된다.

즉, 제 1 프레임에 대응하는 프레임 데이터 P(1)이 입력되면(단계 105), 상기 식별 플래그 Hfd의 값에 따라서, 입력된 프레임 데이터의 압축 부호화 처리가 실행되어 프레임 부호화 데이터 Dp가 생성된다(단계 106).

이 단계(106)에 있어서의 구체적인 부호화 처리에 대하여 간단히 설명한다.

상기 식별 플래그 Hfd의 값이 「1」인 경우에는, 동화상 데이터 D를 구성하는 모든 프레임 데이터 P(1)∼P(n)에 대하여 프레임내 부호화 처리가 실시된다.

구체적으로는 본 실시예에서는, 각 프레임의 화상 데이터는 1 화면(1 프레임)을 구성하는 복수의 매크로 블럭(16×16 화소로 이루어지는 화상 공간)에 대응하도록 분할된다. 또한, 각 매크로 블럭에 대응하는 화상 데이터는, 8×8 화소로 이루어지는 화상 공간에 상당하는 서브 블럭에 대응하도록 분할된다. 그리고, 해당 서브 블럭마다 대응하는 화상 데이터는 DCT 처리가 실시되어 각 서브 블럭에 대응하는 DCT 계수로 변환된다. 그 후, 각 서브 블럭에 대응하는 DCT 계수가 양자화되어 각 서브 블럭에 대응하는 양자화 계수가 생성된다. 마지막으로, 양자화 계수가 가변 길이 부호로 변환된다.

이러한 처리가 1개의 프레임을 구성하는 모든 매크로 블럭에 대하여 실행되어 프레임 부호화 데이터가 출력된다.

한편, 식별 플래그 Hfd가 「0」일 때에는, 동화상 데이터 D를 구성하는 소정의 프레임 데이터 P(1)에 대하여 프레임내 부호화 처리가 실시되고, 소정의 프레임 데이터 P(1) 이외의 프레임 데이터 P(2)∼P(n)에 대해서는 프레임간 부호화 처리가 실시된다.

이하, 간단히 프레임간 부호화 처리에 대하여 설명한다.

우선, 블럭 매칭을 비롯한, 화면(프레임)상에서의 화상의 움직임을 검출하는 방법에 의해 예측 매크로 블럭이 검출된다. 즉, 부호화의 대상으로 되어 있는 피처리 프레임에 시간적으로 인접하는 부호화 처리 완료 프레임에 대응하는 화상 데이터로부터, 부호화의 대상으로 되어 있는 대상 매크로 블럭과의 사이에서의 화소값의 오차가 가장 작은 16×16 화소로 이루어지는 영역이 상기 예측 매크로 블럭으로서 검출된다.

계속해서, 대상 매크로 블럭의 화상 데이터로부터 상기 예측 매크로 블럭의 화상 데이터가 감산되어, 상기 대상 매크로 블럭에 대응하는 차분 데이터가 생성된다. 또한, 이 차분 데이터가, 상기 8×8 화소로 이루어지는 서브 블럭에 대응하도록 분할된다. 그 후, 해당 서브 블럭마다, 대응하는 차분 데이터에 DCT 처리가 실시되어 DCT 계수가 생성된다. 또한, 해당 DCT 계수에 양자화 처리가 실시되어 양자화 계수가 생성된다. 마지막으로, 양자화 계수가 가변 길이 부호로 변환된다.

이러한 처리가 1개의 프레임을 구성하는 모든 매크로 블럭에 대하여 실행되어 프레임 부호화 데이터가 출력된다.

그리고, 상기 단계 106에 있어서의 부호화 처리 후, 입력된 프레임 데이터가 디지털 동화상을 구성하는 최후 프레임에 대응하는 것인지 여부가 판정된다(단계 107). 이 판정의 결과, 입력 프레임 데이터가 최후 프레임에 대응하는 것이 아니면, 상기 단계 106에서의 부호화 처리가 재차 실행되고, 입력 프레임 데이터가 최후 프레임에 대응하는 것이면, 상기 동화상 데이터에 대한 부호화 처리가종료된다(단계 108).

이상과 같은 부호화 처리에 의해, 도 1의 (b)에 나타내는 랜덤 재생 처리에 적합한 압축 화상 데이터 Dva 혹은 도 1의 (c)에 나타내는 랜덤 재생 처리에 적합하지 않는 압축 화상 데이터 Dvb가 생성된다.

이러한 압축 화상 데이터는, 통신 회선을 거쳐 복호화 장치측에 전송되거나, 기록 매체에 보존함으로써 복호화 장치측으로 공급하게 된다.

이러한 처리에 의해 얻어지는 압축 화상 데이터의 구조, 특히 헤더에 있어서의 데이터 배열의 일례를 표 4, 표 5, 표 6에 나타낸다. 또, 이들 표에서는, 도 1의 (a)에 나타내는 압축 화상 데이터 Dv의 구조가 도시되어 있다. 즉, 이들 표에서는, 도 1의 (b)에 나타내는 랜덤 재생 처리에 적합한 압축 화상 데이터 Dva와, 도 1의 (c)에 나타내는 랜덤 재생 처리에 적합하지 않는 압축 화상 데이터 Dvb를 구별하지 않고 있다.

또, 이들 표 4∼표 6에 기재되어 있는 데이터는, 상기 헤더내에 전송 순서대로 연속하여 배열되어 있다.

상기 헤더내의 선두에는, 동화상의 개시를 나타내는 동기 신호(802)가 배치되어 있고, 이 동기 신호(802)는 일의적인 32 비트의 고정 길이 부호에 의해 표현되어 있다. 또한, 이 동기 신호(802)에 계속해서, 1 비트의 식별 플래그 Hfd에 상당하는 데이터(814)가 배치되어 있다. 이 식별 플래그 Hfd에 상당하는 데이터(814)에 계속해서, 각 프레임에 공통되는 여러가지 공통 데이터(803∼813)가 배치되어 있다. 이들 공통 데이터(803∼813)에는 고정 길이 부호에 의해 나타내는 데이터(803∼809, 811∼813) 이외에, 가변 길이 부호에 의해 표현되는 데이터(810)가 포함되어 있다. 또한, 상기 공통 데이터에 계속되는 정렬 데이터(815)는 상기 동기 신호(802), 식별 플래그 부호(814), 및 공통 데이터(803∼813)까지의 데이터를 정렬하기 위한 것이다.

그리고, 상기 정렬 데이터(815)의 다음에는, 실제의 동화상의 각 프레임에 대응하는 화상 데이터를, 상기 프레임내 부호화 방법 혹은 프레임간 부호화 방법에 의해 부호화하여 얻어지는 프레임 부호화 데이터에 관한 데이터(816) 및 데이터(817)가 배치되어 있다. 단, 이들 데이터(816, 817)에 대해서는, 실제로는 MPEG1, 2, 4 등에 있어서의 DCT 계수나 양자화 단계 등의 구체적 데이터가 포함되지만, 여기서는 이들의 구체적 데이터는 나타내지 않고 1개의 데이터 그룹으로 나타내고 있다.

또, 상기 식별 플래그 Hfd에 상당하는 데이터(814)는 시퀀스 동기 신호(데이터(802))의 바로 다음에 두고 있지만, 해당 시퀀스 동기 신호를 나타내는 데이터로부터 소정의 N 비트 후, 예를 들면 데이터(803)의 다음에 두어도 무방하다. 바람직하게는, 판정 조건을 수반하는 데이터(고정 길이 부호 데이터)나 가변 길이 부호 데이터의 앞에 두는 편이 좋다. 어느 쪽의 경우에 있어서도, 공통 데이터의 선두에 가까운 곳에 두는 것이 효과적이다.

다음에 상기 실시예 1의 화상 처리 방법에 의한 압축 부호화 처리를 실행하는 화상 처리 장치(화상 부호화 장치)에 대하여 설명한다.

도 3은, 본 실시예 1에 의한 화상 부호화 장치를 설명하기 위한 블록도이다.

이 화상 부호화 장치(100a)는, 복수의 프레임으로 이루어지는 동화상에 대응하는 디지털 화상 데이터(동화상 데이터)를 압축 부호화하여 압축 화상 데이터를 생성하는 장치이다.

이 화상 부호화 장치(100a)는, 피처리 프레임에 대응하는 대상 프레임 데이터에 근거하여 그 예측 프레임 데이터(420)를 생성하는 예측 데이터 생성기(406)와, 상기 대상 프레임 데이터(416)와 예측 프레임 데이터(420)의 차분값으로서의 차분 프레임 데이터를 출력하는 가산기(402)를 갖고 있다.

또한 상기 화상 부호화 장치(100a)는, 상기 가산기의 출력 데이터(421)를 압축하여 압축 데이터(423)를 생성하는 데이터 압축기(403)와, 해당 데이터 압축기로부터의 압축 데이터(423)에 대하여 가변 길이 부호화 처리를 실시하는 가변 길이 부호화기(414)를 갖고 있다. 여기서 상기 데이터 압축기(403)는, 상기 가산기(402)의 출력(421)에 DCT 처리를 실시하는 이산 코사인 변환기(DCT기)(404)와, 해당 DCT기(404)의 출력(422)을 양자화하여 상기 압축 데이터로서 출력하는 양자화기(405)로 구성되어 있다.

또, 이 화상 부호화 장치(100a)에서는, 제 1 입력 단자(401)에 입력되는 동화상 데이터(416)는, 제 1 스위치(434a)를 거쳐 상기 예측 데이터 생성기(406)에 공급되고, 상기 예측 프레임 데이터(420)는 제 2 스위치(434b)를 거쳐 상기 가산기(402)에 공급되도록 되어 있다. 또한, 상기 데이터 압축기(403)로부터 출력되는 압축 데이터(423)는 제 3 스위치(434c)를 거쳐 상기 예측 데이터 생성기(406)에 공급되고, 상기 예측 데이터 생성기(406)에서 생성된 움직임 정보(움직임 벡터)(418)는 제 4 스위치(434d)를 거쳐 상기 가변 길이 부호화기(414)에 출력되도록 되어 있다.

또한, 상기 화상 부호화 장치(100a)는, 상기 디지털 화상 데이터에 근거하여, 각 화면에 공통하는 공통 데이터를 포함하는 헤더 정보(436)를 생성하여 상기 가변 길이 부호화기(414)에 출력함과 동시에, 외부로부터의 제어 신호(435)에 근거하여, 상기 스위치(434a∼434d)를 제어 신호(437a∼437d)에 의해 개폐를 제어하는 제어기(433)를 갖고 있다. 여기서, 상기 외부로부터의 제어 신호(435)는, 상기 압축 화상 데이터를, 임의의 화면에 대응하는 압축 화면 데이터를 선택하여 재생하는 랜덤 재생 처리에 적합한 것으로 하는지 여부를 나타내는 식별 플래그 Hfd을 포함하는 것이다.

그리고, 상기 가변 길이 부호화기(414)는, 상기 헤더 정보(436), 움직임 정보(418) 및 압축 데이터(423)에 가변 길이 부호화 처리를 실시하여, 상기 동화상에 대응하는 압축 화상 데이터 Dv로서의 비트 스트림(431)을 출력 단자(415)에 출력하는 구성으로 되어 있다. 또한, 상기 가변 길이 부호화기(414)는, 상기 헤더 정보(436)에 근거하여 헤더 Hv를 출력할 때, 식별 플래그 Hfd에 대응하는 부호가, 헤더의 선두 위치로부터 상기 식별 플래그 부호까지의 사이에는 고정 길이 부호 데이터의 부호만이 개재되도록 출력하는 구성으로 되어 있다.

이하, 상기 예측 데이터 생성기(406)의 구체적인 구성에 대하여 간단히 설명한다.

상기 예측 데이터 생성기(406)는, 상기 데이터 압축기(403)로부터의 압축 데이터(423)를 제 3 스위치(434c)를 거쳐 수신하고, 해당 압축 데이터(423)에 신장처리를 실시하여 신장 데이터(426)를 출력하는 데이터 신장기(407)와, 해당 신장 데이터(426)를 상기 예측 프레임 데이터(420)와 가산하여 재생 데이터(427)를 출력하는 제 2 가산기(409)를 갖고 있다. 여기서, 상기 데이터 신장기(407)는, 상기 압축 데이터(423)를 역 양자화하는 역 양자화기(407a)와, 해당 역 양자화기(407a)의 출력(425)에 대하여, 주파수 영역의 데이터를 공간 영역의 데이터로 변환하는 역 DCT 처리를 실시하여 상기 신장 데이터(426)를 출력하는 IDCT기(407b)로 구성되어 있다.

또한, 상기 예측 데이터 생성기(406)는, 상기 제 2 가산기(409)의 출력(재생 데이터)(427)을, 다음 처리 프레임에 대응하는 참조 화상 데이터로서 저장하는 프레임 메모리(410)를 갖고 있다. 이 프레임 메모리(410)는 외부로부터의 판독 어드레스 신호(428)에 근거하여 저장 데이터를 출력하는 구성으로 되어 있다.

또한, 이 예측 데이터 생성기(406)는, 입력되는 디지털 화상 데이터(416)에 근거해서, 현 처리 프레임의 대상 블럭에 대응하는 움직임 벡터 MV를 구하여 출력하는 움직임 검출기(411)와, 해당 움직임 검출기(411)로부터의 움직임 벡터 MV(418)에 근거하여 상기 프레임 메모리(410)에 대한 판독 어드레스 신호(428)를 발생하는 어드레스 생성기(412)와, 상기 프레임 메모리(410)에 있어서의, 해당 판독 어드레스 신호(428)에 의해 지정된 영역의 데이터를 취득하여 상기 예측 프레임 데이터(420)로서 출력하는 예측 신호 취득기(413)를 갖고 있다.

다음에 동작에 대하여 설명한다.

제 1 입력 단자(401)에는 디지털 화상 데이터가 입력되는 한편, 제 2 입력단자(432)에는 상기 식별 플래그 Hfd의 정보(플래그 정보)(435)가 입력된다. 그렇게 하면, 플래그 정보(435)에 근거하여 제어기(433)에서는, 제어 신호(437a∼437d)가 생성되고, 상기 각 스위치(434a∼434d)가 개폐 제어된다. 여기서 상기 제어 신호(437a∼437d)는 동일한 제어 신호이다.

상기 식별 플래그 Hfd가, 압축 화상 데이터 Dv를 랜덤 재생 처리에 적합한 것이라고 나타내고 있는 경우(즉, 상기 식별 플래그 Hfd의 값이 「1」인 경우), 스위치(434a∼434d)는 제어기(433)로부터의 제어 신호(437a∼437d)에 의해 개방된다. 이에 따라 입력되는 디지털 화상 데이터에 대해서는, 모든 프레임에 대응하는 프레임 데이터에 대하여 프레임내 부호화 처리가 실시되게 된다.

즉, 디지털 화상 데이터는, 가산기(402)를 그대로 통과하여 데이터 압축기(403)에 입력되고, 해당 데이터 압축기(403)에 의해 MPEG에 대응한 데이터 압축 처리(DCT 처리와 양자화 처리)가 실시된다. 해당 데이터 압축기(403)로부터의 압축 데이터(양자화 계수)(423)는 가변 길이 부호화기(414)에 의해 가변 길이 부호로 변환된다. 이렇게 하여 각 프레임에 대응하는 프레임 부호화 데이터 Pa(1)∼Pa(n)이 생성된다. 또한 이 때, 상기 가변 길이 부호화기(414)에서는, 시퀀스 동기 신호(동기 신호 Hsd), 식별 플래그 Hfd1(값=1), 그 밖의 공통 데이터 Hcd 및 정렬 데이터 Had 등이 부호로 변환되어 헤더 Hva가 형성된다. 이 때 해당 헤더 Hva는, 상기 동기 신호 Hsd, 식별 플래그 Hfd1, 공통 데이터 Hcd, 및 정렬 데이터 Had가 이 순서로 전송되도록 형성된다.

그리고, 헤더 Hva가 부가된 프레임 부호화 데이터 Pa(1)∼Pa(n)이 압축 화상데이터 Dva로서 상기 가변 길이 부호화기(414)로부터 출력된다.

한편, 상기 식별 플래그 Hfd가, 압축 화상 데이터 Dv를 랜덤 재생 처리에 적합하지 않다는 것을 나타내고 있는 경우(즉, 상기 식별 플래그 Hfd의 값이 「0」일 경우), 스위치(434a∼434d)는 제어기(433)로부터의 제어 신호(437a∼437d)에 의해 개폐 제어된다. 이에 따라, 예를 들어, 입력되는 디지털 화상 데이터에 대해서는, 최초의 프레임에 대응하는 프레임 데이터 P(1)에 대해서는 프레임내 부호화 처리가 실시되고, 그 이후의 프레임에 대응하는 프레임 데이터 P(2)∼P(n)에 대해서는 프레임간 부호화 처리가 실시되게 된다.

또, 프레임내 부호화 처리는 상술한 것과 동일하기 때문에, 이하에서는 프레임간 부호화 처리에 대하여 설명한다.

상기 스위치(434a∼434d)가 제어기(433)로부터의 제어 신호(437a∼437d)에 의해 폐쇄되면, 입력되는 디지털 화상 데이터에 대해서는 프레임간 부호화 처리가 실시되게 된다.

즉, 예측 데이터 생성기(406)에서는, 이미 부호화 처리가 실시된 프레임의 데이터에 근거하여, 피처리 프레임에 대응하는 예측 데이터(420)가 생성된다. 그렇게 하면, 제 1 가산기(402)에서 피처리 프레임에 대응하는 프레임 데이터(416)로부터 상기 예측 프레임 데이터(420)가 감산되어 차분 프레임 데이터(421)가 생성된다. 이 차분 프레임 데이터(421)는 상기 데이터 압축기(403)에 의해, DCT기(404)에 의해 주파수 영역의 데이터(422)로 변환되고, 다시 양자화기(405)에 의해 양자화 계수로 변환된 후, 압축 데이터(423)로서 가변 길이 부호화기(414)에 출력된다.

가변 길이 부호화기(414)에서는, 이 압축 데이터(양자화 계수)(423)가 가변 길이 부호로 변환되어 프레임 부호화 데이터 Pb(2)∼Pb(n)이 생성된다.

또한, 상기 압축 데이터(423)는, 제 3 스위치(434c)를 거쳐 예측 데이터 생성기(406)로 입력된다. 그렇게 하면, 이 압축 데이터(양자화 계수)(423)는, 데이터 신장기(407)에 의해, 역 양자화기(407a)에 의해 주파수 영역의 데이터(425)로 역 변환되고, 다시 이 데이터(425)는 역 IDCT기(407b)에 의해 공간 영역의 데이터(426)로 변환된 후, 복원 데이터로서 출력된다.

그리고, 제 2 가산기(409)에 의해, 이 복원 데이터(426)는 상기 예측 데이터(420)와 가산되어 재생 데이터(427)로서 출력된다. 이 재생 데이터(427)는, 다음 프레임의 데이터를 부호화하기 위한 참조 데이터로서 프레임 메모리(410)에 저장된다.

이 때, 상기 움직임 검출기(411)에서는, 입력되는 디지털 화상 데이터(416)에 근거하여, 블럭 매칭 등의 방법에 의해 프레임간에 있어서의 화상의 움직임 정보가 검출되어 움직임 벡터(418)로서 상기 어드레스 생성기(412)에 출력된다. 이 어드레스 생성기(412)에서는, 상기 움직임 벡터(418)에 근거하여 프레임 메모리(410)에 있어서의 메모리 영역을 지정하는 어드레스 신호(428)가 생성된다. 그렇게 하면, 예측 신호 취득기(413)에 의해, 이 어드레스 신호(428)에 근거하여 지정된 프레임 메모리(410)의 메모리 영역의 데이터가 예측 데이터(420)로서 취득되어 상기 각 가산기에 출력된다.

또한, 상기 움직임 벡터(418)는 상기 제 4 스위치(434d)를 거쳐 상기 가변길이 부호화기(414)로 출력되고, 해당 가변 길이 부호화기(414)에 의해 가변 길이 부호로 변환된다.

이렇게 하여 각 프레임에 대응하는 프레임 부호화 데이터 Pb(1)∼Pb(n)이 생성된다. 또한 이 때, 상기 가변 길이 부호화기(414)에서는, 시퀀스 동기 신호(동기 신호 Hsd), 식별 플래그 Hfd2(값=0), 그 밖의 공통 데이터 Hcd 및 정렬 데이터 Had 등이 부호로 변환되어 헤더 Hvb가 형성된다. 또, 해당 헤더 Hvb는 상기 동기 신호 Hsd, 식별 플래그 Hfd2, 공통 데이터 Hcd, 및 정렬 데이터 Had가 이 순서로 전송되도록 형성된다.

그리고, 헤더 Hvb가 부가된 프레임 부호화 데이터 Pb(1)∼Pb(n)이 압축 화상 데이터 Dvb로서 상기 가변 길이 부호화기(414)로부터 출력된다.

이와 같이 본 실시예 1에서는, 1개의 동화상에 대응하는 디지털 화상 데이터에 압축 부호화 처리를 실시하여 압축 화상 데이터를 생성하고, 그 때, 이 압축 화상 데이터가 임의의 화면에 대한 랜덤한 독립 재생에 적합한 것인지 여부를 나타내는 식별 플래그를, 헤더의 선두에 위치하는 동기 신호 Hsd의 다음에 배치하였기 때문에, 1개의 동화상에 대응하는 압축 화상 데이터에 부여되어 있는 헤더의 해석 처리시에는 상기 식별 플래그의 해석을 재빨리 실행할 수 있어, 해당 압축 화상 데이터에 대한 랜덤한 독립 재생의 적성을 단시간에 검지할 수 있다.

또, 상기 실시예 1에서는, 압축 화상 데이터 Dv에 있어서의 헤더 Hv의 데이터 구조로서, 압축 화상 데이터에 대한 랜덤 재생 처리의 적성을 나타내는 식별 플래그를, 헤더내의 동기 신호 Hsd의 다음에 배치한 것을 나타내었지만, 상기 헤더의데이터 구조는 이것에 한정되는 것은 아니다.

예를 들면, 상기 헤더의 데이터 구조는, 도 4에 나타내는 헤더 Hvm과 같이, 동기 신호 Hsd의 뒤에 고정 길이 부호로 이루어지는 제 1 공통 데이터 Hcd1을 배치하고, 그 다음에 상기 식별 플래그 Hfd를 배치하며, 그 후에 가변 길이 부호로 이루어지는 제 2 공통 데이터 Hcd2 및 정렬 데이터 Had를 순차적으로 배치한 구조로 하여도 무방하다.

(실시예 1의 변형예)

도 5 및 도 6은, 상기 실시예 1의 변형예에 의한 화상 전송 방법 및 화상 처리 방법을 설명하기 위한 도면이다.

도 5는 상기 실시예 1의 변형예에 의한 화상 전송 방법을 설명하기 위한 도면이다.

도 5의 (a)는, 랜덤 재생 처리에 적합한 제 1 압축 화상 데이터 Dvc를 나타내고, 도 5의 (b)는 랜덤 재생 처리에 적합하지 않은 제 2 압축 화상 데이터 Dvd를 나타내고 있다.

상기 제 1 압축 화상 데이터 Dvc는, 동화상 데이터 D의 모든 프레임에 대응하는 프레임 데이터 P(1)∼P(n)(도 10의 (a) 참조)에 대하여 프레임내 부호화 처리를 실시하여 얻어지는 것이다. 그리고, 이 압축 화상 데이터 Dvc에서는, 각 프레임에 대응하는 프레임 부호화 데이터 Pa(1)∼Pa(n)의 앞에 프레임 헤더(VOL) Hvc(1)∼Hvc(n)이 부여되어 있다. 또한, 각 프레임 헤더 Hvc(1)∼Hvc(n)에는, 대응하는 프레임 부호화 데이터 Pa(1)∼Pa(n)이 랜덤 재생 처리가 가능한 것인지 여부를 나타내는 독립 재생 가능 플래그 Hfd1이 포함되어 있다.

여기서는, 각 프레임에 대응하는 프레임 부호화 데이터 Pa(1)∼Pa(n)은, 프레임내 부호화 처리에 의해 얻어진 것이기 때문에, 상기 각 헤더 Hvc(1)∼Hvc(n)의 독립 재생 가능 플래그 Hfd1의 값은, 각 프레임 부호화 데이터가 랜덤 재생 처리가 가능한 것을 나타내는 값 「1」로 되어 있다.

또, 상기 각 프레임 헤더 Hvc(1)∼Hvc(n)에서는, 동기 신호 Hsd, 독립 재생 가능 플래그 Hfd1, 공통 데이터 Hcd, 및 정렬 데이터 Had가, 도 1에 나타내는 실시예 1의 압축 화상 데이터 Dv에 있어서의 헤더 Hv와 마찬가지로, 이 순서대로 배열되어 있다. 또한 여기서는, 도시되어 있지 않지만, 상기 압축 화상 데이터 Dvc에는, 실시예 1과 마찬가지로, 이 압축 화상 데이터 Dvc가 랜덤 재생 처리에 적합한 것이라는 것을 나타내는 식별 플래그 Hfd를 포함하는, 압축 화상 데이터 Dvc 전체에 대응하는 헤더가 부여되어 있다.

한편, 상기 제 2 압축 화상 데이터 Dvd는, 동화상 데이터 D의 소정의 프레임에 대응하는 프레임 데이터에 대하여 프레임내 부호화 처리를 실시하고, 그 밖의 프레임에 대하여 프레임간 부호화 처리를 실시하여 얻어지는 것이다.

이 압축 화상 데이터 Dvd에 있어서도, 상기 압축 화상 데이터 Dvc와 마찬가지로, 각 프레임에 대응하는 프레임 부호화 데이터 Pd(1), …, Pd(r), …, Pd(n)의 앞에 프레임 헤더(VOL) Hvd(1), …, Hvd(r), …, Hvd(n)이 부여되어 있다. 또한, 각 프레임 헤더 Hvd(1), …, Hvd(r), …, Hvd(n)에는, 대응하는 프레임 부호화 데이터 Pd(1), …, Pd(r), …, Pd(n)이 랜덤 재생 처리가 가능한 것인지 여부를 나타내는 독립 재생 가능 플래그 Hfd1 혹은 Hfd0이 포함되어 있다.

여기서는, 프레임 부호화 데이터 Pd(1), Pd(r)은, 프레임내 부호화 처리에 의해 얻어진 것이기 때문에, 상기 프레임 헤더 Hvd(1), Hvd(r)의 독립 재생 가능 플래그 Hfd1의 값은, 해당 프레임 부호화 데이터 Pd(1), Pd(r)이 랜덤 재생 처리가 가능한 것을 나타내는 값 「1」로 되어 있다. 한편, 상기 이외의 프레임 부호화 데이터 Pd(2), Pd(3), Pd(4), …, Pd(n-1), Pd(n)은, 프레임간 부호화 처리에 의해 얻어진 것이기 때문에, 상기 프레임 헤더 Hvd(2), Hvd(3), Hvd(4), …, Hvd(n-1), Hvd(n)의 독립 재생 가능 플래그 Hfd0의 값은, 이들 프레임 부호화 데이터 Pd(2), Pd(3), Pd(4), …, Pd(n-1), Pd(n)이 랜덤 재생 처리가 가능하지 않다는 것을 나타내는 값 「0」으로 되어 있다.

또, 각 프레임에 대응하는 헤더 Hvd(1), …, Hvd(r), …, Hvd(n)에서는, 동기 신호 Hsd, 독립 재생 가능 플래그 Hfd1 혹은 Hfd0, 공통 데이터 Hcd, 및 정렬 데이터 Had가, 도 1에 나타내는 실시예 1의 압축 화상 데이터 Dv에 있어서의 헤더 Hv와 마찬가지로, 이 순서대로 배열되어 있다. 또한 여기서는, 도시되어 있지 않지만, 상기 압축 화상 데이터 Dvd에는, 실시예 1과 마찬가지로, 이 압축 화상 데이터 Dvd가 랜덤 재생 처리에 적합한 것이 아니라는 것을 나타내는 식별 플래그 Hfd를 포함하는, 압축 화상 데이터 Dvd 전체에 대응하는 헤더가 부여되어 있다.

그리고, 본 실시예 1의 변형예의 화상 전송 방법에서는, 상기 압축 화상 데이터 전체에 대응하는 헤더를 전송하고, 계속해서 상기 압축 화상 데이터를 구성하는, 상기 각 프레임에 대응하는 압축 화면 데이터(프레임 부호화 데이터)가, 각 프레임에 대응하는 프레임 헤더와 함께 순차적으로 전송된다. 이 때 압축 화상 데이터 전체에 대응하는 헤더, 혹은 각 프레임 헤더 Hvc 혹은 Hvd의 전송 처리에서는, 우선 상기 압축 화상 데이터의 선두 위치를 나타내는 동기 신호 Hsd가 전송되고, 계속해서 식별 플래그 Hfd 혹은 독립 재생 가능 플래그 Hfd1, Hfd0이 전송된다. 그 후, 상기 공통 데이터 Hcd와 정렬 데이터 Had가 순차적으로 전송된다.

다음에, 본 발명의 실시예 1의 변형예에 의한 화상 처리 방법에 대하여 설명한다.

도 6은, 상기 실시예 1의 변형예에 의한 화상 처리 방법을 설명하기 위한 도면으로, 이 화상 처리 방법은 도 2에 나타내는 실시예 1의 화상 처리 방법을 확장시킨 것이다.

즉, 이 변형예의 화상 처리 방법은, 도 2에 나타내는 실시예 1의 화상 처리 방법에 포함되는 단계 105∼단계 107의 처리를, 도 6에 나타내는 단계 205, 단계 209, 단계 210, 단계 207의 처리로 변경한 것이다. 따라서, 이 변형예의 화상 처리 방법에 포함되는 다른 단계 201∼204, 208의 처리는, 실시예 1의 화상 처리 방법에 포함되는 단계 101∼104, 108의 처리와 완전히 동일하다.

이하, 상세히 기술한다.

우선, 부호화 처리가 개시되면(단계 201), 복수개의 입력 화상(프레임)으로 이루어지는 디지털 동화상에 대응하는 압축 화상 데이터 Dv의 개시를 나타내는 시퀀스 동기 신호 Hsd가 생성된다(단계 202). 여기서는, 해당 동기 신호 Hsd에는 일례로서 32 비트의 일의적인 부호를 이용하고 있다.

계속해서, 상기 디지털 동화상에 포함되는 모든 프레임에 대하여, 부호화의 대상으로 되는 피처리 프레임 이외의 프레임을 참조하지 않고서 압축 부호화해야 하는지 여부를 나타내는 식별 플래그 Hfd의 부호가 생성된다(단계 203). 이 단계 203에서는, 디지털 동화상에 있어서의 모든 프레임에 대하여 다른 프레임을 참조하지 않는 압축 부호화 처리를 실시할 때에는, 이 식별 플래그 Hfd의 값이 「1」로 되고, 그렇지 않을 때에는 「0」으로 된다.

그 후에, 재생측에서 압축 화상 데이터 Dv를 재생할 때에 필요로 되는 각 프레임에 공통되는 공통 데이터 및 정렬 데이터 등의 부호가 생성된다(단계 204).

그리고, 상기 동화상을 구성하는 각 프레임의 데이터(프레임 데이터)를 순차적으로 압축 부호화하는 처리가 단계 205, 209, 210, 207에서 실행된다.

구체적으로는, 각 프레임 데이터가 입력되면(단계 205), 우선 각 프레임에 대응하는 프레임 동기 신호가 생성된다(단계 209). 이 프레임 동기 신호는, 단계 202의 시퀀스 동기 신호와는 다른, 각 프레임의 개시를 나타내는 일의적인 부호이다. 이어서 피처리 대상으로 되는 프레임에 대응하는 프레임 부호화 데이터가 독립 재생 가능한 것인지 여부를 나타내는 독립 재생 가능 플래그가 생성된다(단계 210). 그리고, 상기 식별 플래그 Hfd 및 독립 재생 가능 플래그의 값에 따라서, 입력된 프레임 데이터의 압축 부호화 처리가 실행되어 프레임 부호화 데이터가 생성된다(단계 206).

또, 이 단계 206에 있어서의 구체적인 부호화 처리는, 상기 실시예 1의 화상처리 방법에 있어서의 단계 106의 처리와 완전히 동일하다.

즉, 상기 식별 플래그 Hfd의 값이 「1」일 때에는, 동화상 데이터 D를 구성하는 모든 프레임 데이터 P(1)∼P(n)에 대하여 프레임내 부호화 처리가 실시된다. 한편, 식별 플래그 Hfd가 「0」일 때에는, 독립 재생 가능 플래그에 따라서, 동화상 데이터 D를 구성하는 소정의 프레임 데이터에 대하여 프레임내 부호화 처리가 실시되고, 소정의 프레임 데이터 이외의 프레임 데이터에 대해서는 프레임간 부호화 처리가 실시된다.

그리고, 상기 단계(206)에 있어서의 부호화 처리 이후, 입력된 프레임 데이터가 디지털 동화상을 구성하는 최후의 프레임에 대응하는 것인지 여부가 판정된다(단계 207). 이 판정 결과, 입력 프레임 데이터가 최후 프레임에 대응하는 것이 아니면, 상기 단계 209에서의 프레임 동기 신호의 생성, 단계 210에서의 독립 재생 가능 플래그의 생성, 및 단계 206에서의 부호화 처리가 재차 실행된다. 또한 입력 프레임 데이터가 최후 프레임에 대응하는 것이면, 상기 동화상 데이터에 대한 부호화 처리가 종료된다(단계 208).

이상과 같은 부호화 처리에 의해, 도 5의 (a)에 나타내는 랜덤 재생 처리에 적합한 압축 화상 데이터 Dvc 혹은 도 5의 (b)에 나타내는 랜덤 재생 처리에는 적합하지 않지만 부호화 효율이 높은 압축 화상 데이터 Dvd가 생성된다.

이러한 압축 화상 데이터는, 통신 회선을 거쳐 복호화 장치측으로 전송되거나, 기록 매체에 보존함으로써 복호화 장치측으로 공급하거나 하게 된다.

이러한 실시예 1의 변형예에서는, 실시예 1의 화상 처리 방법에 의한 부호화처리에 부가하여, 상기 압축 화상 데이터를 구성하는 각 프레임에 대응하는 프레임 부호화 데이터(압축 화면 데이터)에 프레임 헤더(보조 헤더)를 부가하고, 해당 프레임 헤더에는, 각 프레임의의 프레임 부호화 데이터가 독립적으로 재생 가능한지 여부를 나타내는 독립 재생 가능 플래그를 포함시키고, 해당 프레임 헤더의 선두 위치로부터 해당 독립 재생 가능 플래그까지의 사이에는 고정 부호 길이 데이터만이 개재되도록 하였기 때문에, 압축 화상 데이터 전체에 대응하는 헤더에 있어서의 식별 플래그의 해석을 재빨리 실행할 수 있을 뿐만 아니라, 각 프레임에 대응하는 프레임 부호화 데이터에 부여되어 있는 프레임 헤더의 해석 처리시에는, 상기 독립 재생 가능 플래그의 해석을 빨리 실행할 수 있다. 이 변형예에서는, 특히 압축 화상 데이터의 빨리 감기 재생 처리를 행하는 경우에는, 프레임 헤더에 있어서의 독립 재생 가능 플래그에 근거하여, 각 프레임에 대응하는 프레임 부호화 데이터가 독립 재생 가능한지 여부를 재빨리 검출하여, 빨리 감기 재생 처리를 양호하게 실행할 수 있다.

(실시예 2)

다음에, 본 발명의 실시예 2에 의한 화상 처리 방법에 대하여 설명한다.

이 화상 처리 방법은, 복수의 화면으로 이루어지는 화상에 대응하는 디지털 화상 데이터를 압축 부호화해서 얻어지는 압축 화상 데이터를 복호화하여, 상기 화상에 대응하는 재생 화상 데이터를 생성하는 방법이다. 여기서 복호화 처리의 대상으로 되는 압축 화상 데이터는, 도 1의 (a)에 도시하는 데이터 구조를 갖는 압축화상 데이터 Dv로 한다. 또, 구체적으로는 해당 압축 화상 데이터 Dv는, 도 1의 (b)에 도시하는 랜덤 재생 처리에 적합한 압축 화상 데이터 Dva 및 도 1의 (c)에 도시하는 랜덤 재생 처리에 적합하지 않지만 부호화 효율이 높은 압축 화상 데이터 Dvb 중의 한쪽이다.

도 7은 본 실시예 2에 의한 화상 처리 방법을 설명하기 위한 도면으로, 해당 화상 처리 방법에 의한 복호화 처리의 흐름을 나타내고 있다.

우선, 실시예 1의 화상 처리 방법에 의해 부호화된 압축 화상 데이터 Dv(표 4∼표 6에 상세한 데이터 구조를 도시한 것)가 입력(단계 301)되면, 부호화 처리시에 압축 화상 데이터 Dv에 부여된 헤더에 있어서의 시퀀스 동기 신호가 검출된다(단계 302). 또, 이 시퀀스 동기 신호는 표 4에 있어서의 데이터(802)에 상당한다.

계속해서, 외부 조작에 의한 제어 신호에 근거하여, 화상의 빨리 감기 재생, 빨리 되감기 재생, 혹은 화상 편집을 위한 랜덤 액세스 재생 처리를 행할지 여부가 판정된다(단계 303). 여기서는 상기 제어 신호는 외부의 입력(빨리 감기 버튼의 가압 조작 등)에 의해서 인가된다.

상기 단계(303)에서의 판정의 결과, 랜덤 액세스 재생 처리를 행하지 않은 경우에는, 상기 헤더에 있어서의 공통 데이터(표 4∼표 6에 있어서의 데이터(803∼815)의 해독이 행해지고, 각 프레임에 대응하는 프레임 부호화 데이터에 대한 복호화 처리의 준비가 행해진다(단계 307).

그 후, 각 프레임 부호화 데이터가 소정의 복호화 방법에 의해 재생된다(단계 310).

본 실시예에서는, I 프레임의의 프레임 부호화 데이터에 대해서는, 각 서브 블럭에 대응하는 양자화 계수에 대하여 역 양자화 처리 및 역 DCT 처리를 순차적으로 실시하고, 각 매크로 블럭에 대응하는 화상 데이터를 재생하는 처리가, 상기 프레임을 구성하는 모든 매크로 블럭마다 실행된다.

또한, P 프레임 혹은 B 프레임에 대응하는 프레임 부호화 데이터에 대해서는, 다른 프레임의 재생 데이터를 참조하는 프레임간 복호화 처리가 행해진다.

즉, 이 프레임간 복호화 처리에서는, 각 서브 블럭의 양자화 계수(양자화된 DCT 계수)에 역 양자화 처리 및 역 DCT 처리가 순차적으로 실시되고, 각 매크로 블럭에 대응하는 차분 데이터가 복원된다. 그 후, 이미 복호화 처리가 실시된 복호화 처리 완료 프레임의 화상 데이터로부터 움직임 보상에 의해, 복호화 처리의 대상으로 되는, 피처리 프레임에 있어서의 대상 매크로 블럭에 대응하는 화상 데이터의 예측 데이터가 생성된다. 이 예측 데이터와 상기 복원된 차분 데이터가 가산되어, 대상 매크로 블럭의 화상 데이터가 재생된다.

그 후, 복호화 처리의 대상으로 되는 프레임 부호화 데이터가 상기 압축 화상 데이터 Dv에 있어서의 최후의 프레임에 대응하는 것인지 여부가 판정된다(단계 311). 이 판정의 결과, 프레임 부호화 데이터가 최후의 프레임에 대응하는 것이 아니면, 상기 단계(310)에서의 복호화 처리가 재차 실행되고, 프레임 부호화 데이터가 최후의 프레임에 대응하는 것이면, 상기 압축 화상 데이터 Dv에 대한 복호화 처리가 종료된다(단계 312).

한편, 상기 단계(303)에서의 판정 결과, 랜덤 액세스 재생 처리를 실행하는경우에는, 우선, 복호화의 대상으로 되는 압축 화상 데이터가 랜덤 재생 처리에 적합한 것인지 여부가 판정된다. 즉, 상기 부호화 처리의 설명에서 서술한 식별 플래그 Hfd가 추출된다(단계 304). 본 실시예 2에서는, 데이터(802)(시퀀스 동기 신호)의 직후에 상기 식별 플래그 Hfd의 데이터(814)가 존재하고 있다. 따라서, 시퀀스 동기 신호의 해독후에는, 식별 플래그 Hfd를 즉시 추출할 수 있다.

다음에 상기 식별 플래그 Hfd의 값이 조사되고, 상기 입력된 압축 화상 데이터 Dv가 랜덤 액세스 재생 처리(독립 재생 처리)에 적합한지 여부가 판정된다(단계 305).

상기 식별 플래그 Hfd의 값이「1」인 경우에는, 해당 식별 플래그 Hfd는, 상기 압축 화상 데이터 Dv가 독립 재생 처리에 적합함을 나타내고 있고, 그 값이「0」인 경우에는, 해당 식별 플래그 Hfd는, 상기 압축 화상 데이터 Dv가 독립 재생 처리에 적합하지 않음을 나타내고 있다.

상기 단계(305)에서의 판정 결과, 상기 식별 플래그 Hfd의 값이「1」이었던 경우에는, 해당 식별 플래그 Hfd의 이후에 계속되는, 각 프레임의 화상 처리에 관한 공통 데이터가 해석된다(단계 308). 그 후에 각 프레임에 대응하는 부호화 데이터가 복호화에 의해 재생된다(단계 310). 또, 이 경우의 단계(310)에 의한 복호화 처리는, 랜덤 액세스하지 않은 경우의 복호화 처리와는, 프레임간 복호화 처리가 행해지지 않은 점만 상이하다.

그 후, 복호화 처리의 대상으로 되는 프레임 부호화 데이터가 상기 압축 화상 데이터 Dv에 있어서의 최후의 프레임에 대응하는 것인지 여부가 판정된다(단계311). 이 판정의 결과, 프레임 부호화 데이터가 최후의 프레임에 대응하는 것이 아니면, 상기 단계(310)에서의 복호화 처리가 재차 실행되고, 프레임 부호화 데이터가 최후의 프레임에 대응하는 것이면, 상기 압축 화상 데이터 Dv에 대한 복호화 처리가 종료된다(단계 312).

한편, 상기 단계(305)에서의 판정 결과, 식별 플래그 Hfd의 값이「0」이었던 경우, 즉 압축 화상 데이터 Dv가 독립 재생 처리에 적합한 것이 아닌 경우에는, 독립 재생 처리를 실행하지 않는다는 내용의 메세지가 출력되고(단계 306), 입력된 압축 화상 데이터 Dv에 대응하는 복호화 처리가 종료된다(단계 312).

이와 같이 본 실시예 2의 화상 복호화 처리에서는, 입력되는 압축 화상 데이터 Dv의 헤더가, 식별 플래그 Hfd가 시퀀스 동기 신호의 직후에 놓여져 있는 구조로 되어 있기 때문에, 동화상에 대응하는 압축 화상 데이터 Dv가 독립 재생 처리에 적합한 것인지, 즉 해당 동화상을 구성하는 각 프레임에 대응하는 프레임 부호화 데이터가 전부 독립 재생 가능한 것인지 여부를 바로 판정할 수 있다.

또, 상기 실시예 2에서는, 단계(302)의 시퀀스 동기 신호의 검출 처리는, 단계(303)의 랜덤 액세스 판정 처리전에 실행하고 있지만, 단계(302)의 시퀀스 동기 신호의 검출 처리는, 단계(303)의 랜덤 액세스 판정 처리후에 실행하여도 무방하다.

또한, 상기 실시예 2에서는, 복호화 대상으로 되는 압축 화상 데이터 Dv로서, 그 헤더에는 식별 플래그 Hfd가 시퀀스 동기 신호의 직후에 배치되어 있는 것을 나타내었지만, 압축 화상 데이터 Dv의 헤더내에서 식별 플래그 Hfd는 N 비트의고정 부호 길이 데이터의 이후에 배치되어 있더라도 무방하다. 이 경우에는, 랜덤 액세스 처리시에는, 단계(304)에서, 그 N 비트의 데이터를 건너뛰어 식별 플래그 Hfd가 추출되고, 단계(308)에서는, 상기 건너뛴 N 비트의 데이터를 포함해서 해독된다.

또한, 상기 식별 플래그 Hfd를, 판정 조건을 동반하는 데이터(고정 길이 부호화 데이터) 또는 가변 길이 부호화된 데이터의 앞에 배치한 경우에는, 조건 판정을 할 필요가 없이 바로 독립 재생 가능 플래그를 추출할 수 있기 때문에 랜덤 액세스에 적합하다. 특히, 식별 플래그 Hfd를 가변 길이 부호의 앞에 배치한 경우, 식별 플래그 Hfd 전의 데이터 해석 처리에서는, 입력된 헤더의 데이터와 테이블에 준비된 데이터와 비교할 필요가 없기 때문에, 식별 플래그 Hfd를 빨리 추출할 수 있다.

또한, 입력되는 압축 화상 데이터 Dv는, 해당 압축 화상 데이터 전체에 대응하는 헤더로서, 상기 식별 플래그가 동기 신호 Hsd의 직후에 배치된 헤더를 갖는 것에 한하지 않고, 도 5에 도시하는 바와 같이, 압축 화상 데이터를 구성하는 각 프레임 부호화 데이터에, 독립 재생 가능 플래그를 포함하는 프레임 헤더가 부가되어 있는 것이어도 무방하다. 이 경우에는, 각 프레임마다 독립 재생 가능 플래그가 존재하기 때문에, 각 프레임에 대응하는 프레임 부호화 데이터를 보는 것만으로, 이 프레임이 독립 재생 가능한 것인지 여부를 알 수 있다. 이 경우에도, 프레임 헤더내에서는, 프레임 동기 신호의 직후에 독립 재생 가능 플래그가 배치되어 있기 때문에, 이 프레임이 독립 재생 가능한지 여부를 즉시 판정할 수 있다.

다음에 상기 실시예 2의 화상 처리 방법에 의한 압축 복호화 처리를 실행하는 화상 처리 장치(화상 복호화 장치)에 대하여 설명한다.

도 8은 본 실시예 2에 의한 화상 복호화 장치를 설명하기 위한 블럭도이다.

이 화상 복호화 장치(100b)는, 복수의 프레임으로 이루어지는 동화상에 대응하는 디지털 화상 데이터를 압축 부호화하여 얻어지는 압축 화상 데이터(511)를 수신하여, 해당 압축 화상 데이터를 복호화하고, 상기 화상에 대응하는 재생 화상 데이터를 생성하는 장치이다. 여기서 상기 압축 화상 데이터는 상기 실시예 1의 화상 부호화 장치(100a)에 의해 생성된 것으로 한다.

즉, 상기 화상 복호화 장치(100b)는, 상기 압축 화상 데이터에 포함되는 헤더 및 그 밖의 데이터를 해석하여 제어 정보(523)나 움직임 정보(524)를 생성함과 동시에, 상기 압축 화상 데이터(511)에 포함되는 각 프레임에 대응하는 데이터를 해석하여 압축 프레임 데이터(512)를 출력하는 해석기(502)와, 상기 각 프레임에 대응하는 압축 프레임 데이터를 신장하여 신장 프레임 데이터(514)를 생성하는 데이터 신장기(503)를 갖고 있다.

본 실시예 2에서는, 상기 해석기(502)는, 헤더의 해석 처리에서는 필요에 따라 헤더 선두 위치로부터 상기 식별 플래그까지 계속되는 고정 길이 부호로 이루어지는 공통 데이터를 건너뛰고, 상기 식별 플래그의 해석을 행하도록 구성되어 있다. 또한, 해당 데이터 신장기(503)는, 상기 압축 화상 데이터에 대하여 역 양자화 처리를 실시하여 주파수 영역의 데이터(513)를 생성하는 역 양자화기(503a)와, 해당 역 양자화기(503a)의 출력에 대하여, 주파수 영역의 데이터를 공간 영역의 데이터로 변환하는 역 이산 코사인 변환 처리(IDCT 처리)를 실시하여 상기 신장 프레임 데이터(514)를 출력하는 역 IDCT기(503b)로 구성되어 있다.

또한, 상기 화상 복호화 장치(100b)는, 상기 데이터 신장기(503)로부터 출력된 신장 프레임 데이터에 근거하여, 그 예측 프레임 데이터(520)를 생성하는 예측 데이터 생성기(506)와, 상기 데이터 신장기(503)로부터의 피처리 프레임에 대응하는 신장 프레임 데이터와, 이것에 대응하는 예측 프레임 데이터(520)를 가산하여 재생 프레임 데이터(515)를 출력 단자(510)에 출력하는 가산기(505)를 갖고 있다.

또, 이 화상 복호화 장치(100b)에서는, 상기 해석기(502)에서의 해석에 의해 얻어진 움직임 정보(움직임 벡터)(524)는 제 1 스위치(522a)를 거쳐서 상기 예측 데이터 생성기(506)에 공급되고, 상기 예측 프레임 데이터(520)는 제 2 스위치(522b)를 거쳐서 상기 가산기(505)에 공급되도록 되어 있다. 또한, 상기 가산기(505)로부터 출력되는 재생 프레임 데이터(515)는, 제 3 스위치(522c)를 거쳐서 상기 예측 데이터 생성기(506)에 공급되게 되어 있다.

또한 상기 화상 복호화 장치(100b)는, 상기 해석기(502)에서의 헤더의 해석에 의해 얻어진 제어 정보(523)에 근거하여, 상기 각 스위치(522a∼522c)를 제어 신호(525a∼525c)에 의해 제어하는 제어기(521)를 갖고 있다.

이하, 상기 예측 데이터 생성기(506)의 구성에 대하여 간단히 설명한다.

이 예측 데이터 생성기(506)은, 상기 가산기(505)의 출력(재생 데이터)(515)를, 다음 처리 프레임에 대응하는 참조 화상 데이터로서 저장하는 프레임 메모리(507)를 갖고 있다. 이 프레임 메모리(507)은, 판독 어드레스 신호(518)에근거하여 저장 데이터를 출력하는 구성으로 되어 있다.

또한, 이 예측 데이터 생성기(506)은, 상기 해석기(502)로부터의 움직임 벡터(517)에 근거하여 상기 프레임 메모리(507)에 대한 판독 어드레스 신호(518)를 발생하는 어드레스 생성기(508)와, 상기 프레임 메모리(507)에 있어서의, 해당 판독 어드레스 신호(518)에 의해 지정된 영역의 데이터를 취득하여 상기 예측 프레임 데이터(520)로서 출력하는 예측 신호 취득기(509)를 갖고 있다.

다음에 동작에 대하여 설명한다.

실시예 1의 화상 부호화 장치(100a)에 의해 압축 부호화된, 표 4∼표 6에 나타낸 포맷의 압축 화상 데이터가 입력 단자(501)에 입력되면, 우선, 해석기(502)에 의해, 압축 화상 데이터에 있어서의 헤더의 해석이 행해져, 시퀀스 동기 신호 등이 검출된다. 또한, 외부의 입력(빨리 감기 버튼의 가압 조작 등)에 의해서, 화상의 빨리 감기 재생, 빨리 되감기 재생, 혹은 화상 편집을 위한 랜덤 액세스를 실행할지 여부에 대한 외부 제어 신호(도시하지 않음)가 상기 해석기(502)에 입력된다.

상기 랜덤 액세스를 행하지 않은 경우에는, 해석기(502)에 의해 공통 데이터(표 4∼표 6에 있어서의 데이터(803∼815))의 해독이 행해지고, 각 프레임에 대응하는 프레임 부호화 데이터의 복호화 처리를 위한 준비가 행해진다. 이 경우, 스위치(522a∼522c)는, 제어기(521)로부터의 제어 신호에 의해 프레임의 부호화 타입(I 픽쳐, P 픽쳐, B 픽쳐)에 따라 개폐 제어된다.

또한, 상기 해석기(502)에서는, 압축 화상 데이터에 있어서의 각 프레임에 대응하는 프레임 부호화 데이터에 근거하여 움직임 벡터(524)가 추출되고, 또한 각프레임에 대응하는 양자화 폭이나 양자화 계수가 압축 데이터(512)로서 상기 데이터 신장기(503)에 출력된다.

여기서, 상기 프레임 부호화 데이터가 프레임내 부호화 처리에 의해 얻어진 것인 경우에는, 상기 압축 데이터(양자화 계수)(512)는, 상기 데이터 신장기(503)에 의해, 양자화기(503a)에 의한 역 양자화 처리가 실시되어 주파수 영역의 데이터(513)로 변환되고, 또한 역 DCT 처리(503b)에 의한 역 DCT 처리가 실시되어 공간 영역의 데이터(신장 데이터)(514)로 변환된다. 이 역 양자화 처리 및 역 DCT 처리는, 각 프레임을 구성하는 매크로 블럭에 있어서의 서브 블럭마다 실행된다. 그리고, 각 매크로 블럭에 대응하는 신장 데이터가 가산기(505)를 거쳐서 재생 데이터(515)로서 출력 단자(510)로부터 출력된다.

또한, 프레임 부호화 데이터가 프레임간 부호화 처리에 의해 얻어진 것인 경우에는, 상기 데이터 신장기(503)에서는, 각 서브 블럭에 대응하는 양자화 계수(압축 데이터)에 역 양자화 처리 및 역 DCT 처리가 순차적으로 실시되고, 각 매크로 블럭에 대응하는 차분 데이터가 상기 신장 데이터로서 복원된다. 그리고 대상 매크로 블럭에 대응하는 차분 데이터는, 대응하는 예측 데이터와 가산기(505)에 의해 가산되어, 재생 데이터로서 출력된다.

이 때, 예측 데이터 생성기(506)에서는, 프레임 메모리(507)에 저장되어 있는 복호화 처리 완료 프레임의 재생 데이터가, 부호화 장치의 예측 처리와 마찬가지로, 어드레스 생성기(508)와 예측 신호 취득기(509)에 의한 움직임 보상에 의해, 피처리 프레임에 있어서의 대상 매크로 블럭에 대응하는 예측 데이터로서 판독된다.

즉, 상기 예측 데이터 생성기(506)의 어드레스 생성기(508)에서는, 상기 해석기(502)로부터의 움직임 벡터에 근거하여 프레임 메모리(507)의 어드레스 신호(518)가 생성된다. 그렇게 하면, 예측 신호 취득기(509)에 의해, 프레임 메모리에 있어서의, 어드레스 신호에 의해 지정된 영역의 데이터가 상기 예측 데이터(520)로서 취득된다.

그리고, 상기 데이터 신장기(503)로부터의 차분 데이터와 상기 예측 데이터가 상기 가산기(505)에 의해 가산되어, 대상 매크로 블럭의 재생 데이터로서 출력된다.

한편, 랜덤 액세스를 하는 경우에는, 복호화의 대상으로 되는 압축 화상 데이터가 독립 재생에 적합한지 여부가, 해당 압축 화상 데이터에 있어서의 헤더의 식별 플래그의 해석에 의해 판정된다.

즉, 상기 해석기(502)에서는, 상기 식별 플래그(523)가 추출되어 제어기(521)에 출력된다.

본 실시예에서는, 상기 압축 화상 데이터의 헤더에서는, 시퀀스 동기 신호에 대응하는 데이터(802)의 직후에, 식별 플래그 Hfd에 대응하는 데이터(814)가 배치되어 있기 때문에, 헤더의 해석 처리에서는, 식별 플래그 Hfd를 단시간으로 추출할 수 있다.

상기 식별 플래그가 제어기(521)에 출력되면, 해당 제어기(521)에서는, 상기 식별 플래그 Hfd의 분석이 행해져, 압축 화상 데이터가 랜덤 재생 처리에 적합한지여부의 판정이 행해진다.

이 판정의 결과, 상기 압축 화상 데이터가 독립 재생에 적합한 경우(상기 식별 플래그 Hfd의 값이「1」인 경우), 해석기(502)에 의해 공통 데이터의 해석(가변 길이 복호화)가 행해진 후, 소정의 프레임에 대응하는 프레임 부호화 데이터의 재생 처리가 상기 데이터 신장기(503)에 의해 실행된다. 이 경우의 복호화 처리로서는, 랜덤 액세스하지 않은 경우의 복호화 처리와 같이 프레임간 복호화가 실행되는 일이 없기 때문에, 스위치(522a∼522c)는, 제어기(521)로부터의 제어 신호에 의해 개방 상태로 유지된다.

상기 식별 플래그 Hfd의 판정 결과, 해당 식별 플래그 Hfd의 값이「0」이었던 경우, 즉 압축 화상 데이터가 독립 재생에 적합한 것이 아닌 경우에는, 제어기(521)로부터는 독립 복호화를 실행하지 않는다는 내용의 정보가, 상기 복호화 장치의 소요 부분에 공급된다.

이와 같이 본 실시예 2의 화상 복호화 장치에서는, 압축 화상 데이터 Dv의 헤더에 있어서의 시퀀스 동기 신호의 해석 처리에 계속해서, 식별 플래그 Hfd의 해석 처리가 행해지기 때문에, 동화상에 대응하는 압축 화상 데이터 Dv가 독립 재생 처리에 적합한 것인지, 즉 해당 동화상을 구성하는 각 프레임에 대응하는 프레임 부호화 데이터가 전부 독립 재생 가능한 것인지 여부를 바로 판정할 수 있다.

또한, 상기 각 실시예 및 그 변형예에 나타낸 화상 처리 방법에 의한 화상 처리를 소프트웨어에 의해 실행하기 위한 화상 처리 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상기 각 실시예에 나타낸 화상 처리를, 독립한 컴퓨터 시스템에 있어서 간단히 실현하는 것이 가능해진다.

도 9는 상기 각 실시예 및 그 변형예에 있어서의 화상 처리를, 상기 화상 처리 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.

도 9의 (a)는 플로피 디스크의 정면으로부터 본 외관, 단면 구조, 및 플로피 디스크 본체를 도시하고, 도 9의 (b)는 해당 플로피 디스크 본체의 물리 포맷의 예를 도시하고 있다.

상기 플로피 디스크 FD는, 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC내에 수용한 구조로 되어 있고, 해당 플로피 디스크 본체 D의 표면에는, 동심원 형상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되고, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에서는, 상기 플로피 디스크 본체 D는, 그 위에 할당된 영역(섹터) Se에, 상기 프로그램으로서의 데이터가 기록된 것으로 되어 있다.

또한, 도 9의 (c)는 플로피 디스크 FD에 대한 상기 프로그램의 기록, 및 플로피 디스크 FD에 저장한 프로그램을 이용한 소프트웨어에 의한 화상 처리를 실행하기 위한 구성을 도시하고 있다.

상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를, 플로피 디스크 드라이브 FDD를 거쳐서 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD에 기록된 프로그램에 의해, 상기 화상 부호화 장치 혹은 화상 복호화 장치를 컴퓨터 시스템 Cs 중에 구축하는경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD에서 판독하여, 컴퓨터 시스템 Cs에 로딩한다.

또, 상기 설명에서는, 데이터 기억 매체로서 플로피 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용하더라도 상기 플로피 디스크의 경우와 마찬가지로 소프트웨어에 의한 부호화 처리 혹은 복호화 처리를 실행할 수 있다. 또한, 데이터 기억 매체는 상기 광디스크나 플로피 디스크에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 어떠한 것이라도 무방하며, 이들 데이터 기록 매체를 이용하는 경우에도, 상기 플로피 디스크 등을 이용하는 경우와 마찬가지로 소프트웨어에 의한 화상 처리를 실시할 수 있다.

또한, 플로피 디스크 등의 데이터 기억 매체에 저장된 화상 부호화 신호를, 본 실시예 1 혹은 그 변형예의 화상 신호 데이터 구조로 함으로써, 상기 플로피 디스크로부터의 화상 부호화 신호를 복호화하여 화상 표시할 때에는, 상기 실시예 2의 복호화 처리와 마찬가지 효과가 얻어진다.

이상과 같이 본 발명에 관한 화상 전송 방법, 화상 처리 방법, 화상 처리 장치, 및 데이터 기록 매체는, 동화상의 임의의 프레임에 대한 압축 데이터를 랜덤하게 선택하여 재생하는 랜덤 액세스 재생 처리를, 대기 시간이 생기는 일이 없도록 요구되는 시간내에 실행할 수 있어, 화상 신호의 전송이나 기억을 실행하는 시스템에 있어서의 화상 부호화 처리나 화상 복호화 처리에서는 매우 유용하고, 특히,MPEG4 등의 규격에 준거한 압축된 동화상 데이터의 빨리 감기 재생, 빨리 되감기 재생, 편집 등의 임의의 프레임에 대한 랜덤한 화상 처리에 적합하다.

Claims (9)

1. 청구항 1(은)는 설정등록료 납부시 포기되었습니다.

   복수의 프레임을 포함하는 화상에 대응하는 압축 화상 데이터를 전송하는 화상 전송 방법에 있어서,

   상기 복수의 프레임들에 공통인 데이터를 포함하는 헤더, 상기 압축 화상 데이터의 모든 프레임들이 랜덤 재생될 수 있는지의 여부를 나타내는 식별 플래그 및 고정 길이 데이터―상기 고정 길이 데이터만이 상기 헤더의 선두와 상기 식별 플래그 사이에 배치됨―를 전송하는 단계와,

   상기 압축 화상 데이터에 포함된 각 압축 프레임 데이터를 순차적으로 전송하는 단계

   를 포함하는 화상 전송 방법.
2. 청구항 2(은)는 설정등록료 납부시 포기되었습니다.

   제 1 항에 있어서,

   상기 고정 길이 데이터는 동기화 패턴을 나타내며,

   상기 복수의 프레임들에 공통인 데이터는 상기 고정 길이 부호 데이터 및 가변 길이 부호 데이터를 포함하는 화상 전송 방법.
3. 복수의 프레임을 포함하는 화상에 대응하되 각 프레임의 압축 프레임 데이터를 포함하는 압축 화상 데이터를 배열하는 화상 데이터 배열 방법에 있어서,

   상기 압축 화상 데이터의 선두에 배치될 동기화 패턴을 배열하는 단계와,

   상기 동기화 패턴의 직후에 배치될 식별 플래그―상기 식별 플래그는 상기 압축 화상 데이터의 모든 프레임이 랜덤 재생될 수 있는지의 여부를 나타냄―를 배열하는 단계와,

   상기 식별 플래그 다음에 배치될 상기 압축 프레임 데이터를 배열하는 단계

   를 포함하는 화상 데이터 배열 방법.
4. 제 3 항에 있어서,

   상기 동기화 패턴은 고정 길이 데이터인 화상 데이터 배열 방법.
5. 복수의 프레임을 포함하는 화상에 대응하되, 상기 복수의 프레임의 압축 프레임 데이터를 포함하는 압축 화상 데이터용 화상 데이터 배열에 있어서,

   상기 압축 화상 데이터의 선두에 배치되는 동기화 패턴과,

   상기 동기화 패턴의 직후에 배치되는 식별 플래그―상기 식별 플래그는 상기 압축 화상 데이터의 모든 프레임이 랜덤 재생될 수 있는지의 여부를 나타냄―와,

   상기 식별 플래그 다음에 배치되는 복수의 프레임 각각의 상기 압축 프레임 데이터

   를 포함하는 화상 데이터 배열.
6. 제 5 항에 있어서,

   상기 동기화 패턴은 고정 길이 데이터인 화상 데이터 배열.
7. 청구항 7(은)는 설정등록료 납부시 포기되었습니다.

   복수의 프레임을 포함하는 화상에 대응하는 압축 화상 데이터를 전송하는 화상 전송 방법에 있어서,

   복수의 프레임들에 공통인 데이터를 포함하는 헤더, 상기 모든 복수의 프레임의 랜덤 재생 가능성을 나타내는 식별 플래그 및 고정 길이 데이터―상기 고정 길이 데이터만이 상기 헤더의 선두와 상기 식별 플래그 사이에 배치됨―를 전송하는 단계와,

   상기 압축 화상 데이터에 포함되는 각 압축 프레임 데이터를 순차적으로 전송하는 단계

   를 포함하는 화상 전송 방법.
8. 복수의 프레임을 포함하는 화상에 대응하되, 상기 복수의 프레임 각각의 압축 프레임 데이터를 포함하는 압축 화상 데이터를 배열하는 화상 데이터 배열 방법에 있어서,

   상기 압축 화상 데이터의 선두에 배치될 동기화 패턴을 배열하는 단계와,

   상기 동기화 패턴의 직후에 배치될 식별 플래그―상기 식별 플래그는 모든 프레임의 랜덤 재생 가능성을 나타냄―를 배열하는 단계와,

   상기 식별 플래그 다음에 배치될 상기 압축 프레임 데이터를 배열하는 단계

   를 포함하는 화상 데이터 배열 방법.
9. 복수의 프레임을 포함하는 화상에 대응하되, 상기 복수의 프레임의 압축 프레임 데이터를 포함하는 압축 화상 데이터용 화상 데이터 배열에 있어서,

   상기 압축 화상 데이터의 선두에 배치되는 동기화 패턴과,

   상기 동기화 패턴의 직후에 배치되는 식별 플래그―상기 식별 플래그는 모든 프레임의 랜덤 재생 가능성을 나타냄―와,

   상기 식별 플래그 다음에 배치되는 상기 복수의 프레임 각각의 상기 압축 프레임 데이터

   를 포함하는 화상 데이터 배열.