JPH08181995A - 動画像符号化装置および動画像復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像内容に応じた、高速かつ効率のよい高速
再生、検索を行う動画像符号化装置および復号化装置を
提供する。 【構成】 代表画面と、代表画面を参照して動き補償す
る際の動きパラメータと、参照関係とで構成された符号
化信号である符号化入力信号１０１から、代表画面抽出
手段１０２により代表画面を抽出して符号化代表画面信
号１０３を出力し、代表画面復号化手段１０４により復
号化され、復号化代表画面信号１０５として遅延メモリ
手段１０６に出力される。代表画面参照関係抽出手段１
１２において、参照関係付加情報１１３を抽出して、こ
れに基づいて、代表画面の出力順序を決定し、出力制御
信号１１５を遅延メモリ手段１０６に出力する。遅延メ
モリ手段１０６は、復号化代表画面信号１０５を出力制
御信号１１５に基づいて復号化出力信号１０７として出
力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、蓄積・伝送のために画
像信号を符号化および復号化する際に、効率の良い高速
シーン検索、高速再生を実現する動画像符号化装置およ
び復号化装置に関するものである。

【０００２】

【従来の技術】近年、動画像の符号化に関しては、国際
標準規格である、ＭＰＥＧ（Moving Picture Expert Gr
oup）に代表されるように、画面内符号化を行った後、
画面内復号化画面をもとにして動きベクトルを検出し、
この動きベクトルに基づいて動き補償予測を行い、動き
補償画面と被符号化画面との差分を符号化する画面間符
号化とを組み合わせた、画面内／画面間選択型の符号化
方法が用いられている。この画面内／画面間選択型の符
号化方法においては、動画像のもつ内容に関わらず、誤
り伝播防止や、符号化画像の途中からの再生を可能にす
るために、一定周期で画面内符号化される。このため、
動画像を高速再生する際には、画面内符号化された画面
のみを抽出して復号化し、再生画面を得る。図１０に画
面内符号化画面を抽出して復号化する高速再生装置のブ
ロック図を示す。図中で、1は符号化入力信号、2は画面
内符号化画面抽出手段、3は画面内符号化信号、4は画面
内符号化画面復号化手段、5は復号化出力信号である。

【０００３】以上のように構成された高速再生装置の動
作を以下に説明する。画面内符号化画面抽出手段2にお
いて、画面内／画面間選択型の符号化がされた符号化入
力信号1から画面内符号化された画面のみを抽出し、画
面内符号化信号3を出力する。画面内符号化画面復号化
手段4では、画面内符号化信号3を復号化し、復号化出力
信号5を出力する。このように、画面内符号化画面のみ
を抽出して復号化することにより、高速再生を行う。

【０００４】一方、本願出願人は、動画像の符号化の新
手法として、代表画面構造とグローバル動き補償とを用
いた階層符号化を提案している。ただし、本発明で使用
する階層符号化とは、動画像を背景、前景、文字などの
階層に分離し、あるいは１つの階層として、各々の画像
を別々に用意し、各階層について符号化を行う手法であ
る。

【０００５】図１１の（ａ）に階層構造の説明図を示
す。最終的な出力画像は、前景階層と背景階層とを合成
して生成される。各階層では、代表画面（テンプレー
ト）構造とグローバル動き補償とを用いて符号化を行
う。グローバル動き補償とは、画面全体の動きを平行移
動、回転、拡大・縮小などのグローバル動きパラメータ
を用いて表現し、動き補償を行い、予測符号化画面を生
成する方法である。このとき、予測差分信号は符号化し
てもよいし、予測差分信号符号化を省略しても構わな
い。

【０００６】図１１の（ｂ）に代表画面構造の説明図を
示す。各階層を時系列に沿って追跡し、各シーンでの代
表となる画面を代表画面として選択する。代表画面の選
択方法の例を以下に挙げる。 （１）動き補償の際に動き補償後の差分信号が最小とな
る画面を選択する。 （２）検索の際に検索しやすい画面を人為的に選択す
る。 （３）場面の最初の画面を選択する。

【０００７】また、シーンは、画像におけるシーンチェ
ンジとシーンチェンジとの間であってもよいし、シーン
チェンジとシーンチェンジとの間の中で、さらに被写体
の動きのまとまりなどで区切った小さいシーンであって
もよい。画像の内容的にまとまった場面と考えてよい。

【０００８】各々のシーンでは、そのシーンの代表画面
を参照画面として、グローバル動き補償を行い予測符号
化画面を生成する。参照する代表画面は、そのシーンの
代表画面でも、そのシーン以前に選択された代表画面を
再び選んでも構わない。すなわち、同一代表画面が複数
シーンで参照される可能性がある。

【０００９】

【発明が解決しようとする課題】しかしながら、前記の
代表画面構造とグローバル動き補償とを用いた階層符号
化によって生成された符号化画面を高速再生するための
復号化手段は考案されておらず、従来の画面内／画面間
選択型符号化に対応した復号化装置では、符号化構造の
異なる前記の階層符号化された画面を再生することは考
慮されていない。このため、以下のような課題を抱えて
いる。 （１）従来の画面内／画面間選択型符号化の場合、動き
ベクトルの数が多いので、動きの復号化が困難であり，
画面間符号化画面も用いて高速再生を行うのは不可能で
ある。 （２）画面の一部が更新されただけでも、前画面を更新
する必要があるため、高速再生のために必要な処理量が
多くなる。 （３）一定間隔の再生であるので、画像の内容の変化に
応じた高速再生、高速シーン検索を行うのは不可能であ
る。

【００１０】本発明は、かかる点に鑑み、代表画面構造
とグローバル動き補償を用いた階層符号化における代表
画面構造と階層構造とを利用して、高速かつ効率よく高
速再生する動画像符号化装置および動画像復号化装置を
提供することを目的とするものである。

【００１１】

【課題を解決するための手段】第１の発明の動画像符号
化装置は、被符号化画面である入力信号から、各シーン
の代表画面である代表画面信号と、動き補償により予測
符号化する非代表画面信号とを選択して出力する代表画
面選択手段と、前記代表画面信号を符号化して代表画面
符号化信号として出力し、一方で、代表画面を非代表画
面の動き補償予測符号化の参照画面として用いる際の参
照関係のもとになる第１の付加制御信号を出力する代表
画面符号化手段と、前記第１の付加制御信号と第２の付
加制御信号とに基づいて参照関係付加情報を生成し、出
力する参照関係付加手段と、前記代表画面符号化信号を
復号化し、代表画面復号化信号を出力する復号化手段
と、前記代表画面復号化信号を記憶し、各非代表画面信
号に対応する代表画面復号化信号である代表画面復号化
参照信号を選択して出力し、また代表画面の参照関係付
加のもとになる前記第２の付加制御信号を前記参照関係
付加手段に出力する参照信号選択手段と、前記非代表画
面信号と前記代表画面復号化参照信号とから、動き補償
で用いる画面間の動きパラメータを検出して出力する動
きパラメータ検出手段と、前記動きパラメータと、前記
代表画面符号化信号と、前記参照画面付加情報とをまと
めて符号化出力信号として出力する符号化信号生成手段
とから構成される。

【００１２】第２の発明の動画像復号化装置は、画像の
各シーンを代表する代表画面と、代表画面を参照して動
き補償予測符号化された画面とからなる符号化信号を復
号化する際に、入力信号である符号化信号から符号化代
表画面信号を抽出して出力する代表画面抽出手段と、前
記符号化代表画面信号を復号化して復号化代表画面信号
を出力する代表画面復号化手段と、前記符号化入力信号
から代表画面の参照関係を抽出し、参照関係付加情報を
出力する代表画面参照関係抽出手段と、前記参照関係付
加情報に基づき、復号化信号の出力制御を決定し出力制
御信号を出力する復号化信号出力制御手段と、前記復号
化代表画面信号を記憶し、前記出力制御信号に基づいて
復号化出力信号を出力する遅延メモリ手段とから構成さ
れる。

【００１３】第３の発明の動画像復号化装置は、画像の
各シーンを代表する代表画面と、代表画面を参照して動
き補償予測符号化された画面とからなる符号化信号を復
号化する際に、入力信号である符号化信号から代表画面
の重要度を抽出して代表画面抽出制御信号を出力する重
要度判定手段と、前記符号化信号から、前記代表画面抽
出制御信号に基づき所定値以上の重要度である場合には
符号化代表画面信号を抽出して出力する代表画面抽出手
段と、前記符号化代表画面信号を復号化して復号化代表
画面信号を出力する代表画面復号化手段と、前記復号化
代表画面信号を記憶し、復号化信号として出力する遅延
メモリ手段とから構成される。

【００１４】第４の発明の動画像復号化装置は、画像の
各シーンを代表する代表画面と、代表画面を参照し動き
パラメータを用いて動き補償予測符号化された画面とか
らなる符号化信号を復号化する際に、入力信号である符
号化信号から符号化代表画面信号を抽出して出力する代
表画面抽出手段と、前記符号化代表画面信号を復号化し
て復号化代表画面信号を出力する代表画面復号化手段
と、前記復号化代表画面信号を記憶し、復号化信号とし
て出力する遅延メモリ手段と、前記入力信号である符号
化信号から動きパラメータを抽出して出力する動きパラ
メータ抽出手段と、前記動きパラメータに基づいて、前
記遅延メモリ手段の出力である前記復号化代表画面信号
を動き補償して、動き補償復号化信号を出力する動き補
償手段と、前記復号化信号と前記動き補償復号化信号と
から所定の条件に基づいて選択して出力する復号化信号
選択手段とから構成される。

【００１５】第５の発明の動画像復号化装置は、画像の
各シーンを代表する代表画面と、代表画面を参照して動
き補償予測符号化された画面とからなる符号化信号を復
号化する際に、入力信号である符号化信号から予測符号
化画面数を計数し、所定の条件で出力する時間間隔を決
定し、代表画面の時間間隔制御信号を出力する予測符号
化画面計数手段と、前記入力信号である符号化信号から
符号化代表画面信号を抽出して出力する代表画面抽出手
段と、前記符号化代表画面信号を復号化して復号化代表
画面信号を出力する代表画面復号化手段と、前記復号化
代表画面信号を記憶し、前記時間間隔制御信号に基づい
て復号化信号として出力する遅延メモリ手段とから構成
される。

【００１６】第６の発明の動画像符号化装置は、画像を
背景や前景などの階層に分離して符号化する際に、階層
１入力信号および階層２入力信号に対して所定の条件で
重要度を決定し、階層１重要度付加情報および階層２重
要度付加情報を出力する階層重要度決定手段と、前記階
層１入力信号を符号化して階層１符号化信号を出力する
階層１符号化手段と、前記階層１符号化信号と前記階層
１重要度付加情報とから階層１符号化出力信号を生成し
て出力する階層１符号化信号生成手段と、前記階層２入
力信号を符号化して階層２符号化信号を出力する階層２
符号化手段と、前記階層２符号化信号と前記階層２重要
度付加情報とから階層２符号化出力信号を生成して出力
する階層２符号化信号生成手段とから構成される。

【００１７】第７の発明の動画像復号化装置は、画像が
背景や前景などの階層に分離して符号化された符号化信
号の復号化の際に、入力信号である階層１符号化信号か
ら階層１の重要度を抽出し、入力信号である階層２符号
化信号から階層２の重要度を抽出して、重要度が所定値
以上の場合には階層の復号化を行うよう制御するため
に、第１の復号化制御信号と第２の復号化制御信号とを
出力する階層重要度判定手段と、前記階層１符号化信号
を、前記第１の復号化制御信号に基づき所定の条件で復
号化して、階層１復号化信号として出力する階層１復号
化手段と、前記階層２符号化信号を、前記第２の復号化
制御信号に基づき所定の条件で復号化して、階層２復号
化信号として出力する階層２復号化手段と、前記階層１
復号化信号と前記階層２復号化信号とを合成し、復号化
出力信号として出力する階層合成手段とから構成され
る。

【００１８】第８の発明の動画像復号化装置は、画像を
背景や前景などの階層に分離して符号化された符号化信
号の復号化の際に、入力信号である階層１符号化信号を
復号化して階層１復号化信号を出力し、かつ第１の復号
化状態信号を出力する階層１復号化手段と、前記階層１
復号化信号を記憶し、所定数判定手段により出力された
第１の出力制御信号に基づいて階層１復号化出力信号を
出力する第１の遅延メモリ手段と、入力信号である階層
２符号化信号を復号化して階層２復号化信号を出力し、
かつ第２の復号化状態信号を出力する階層２復号化手段
と、前記階層２復号化信号を記憶し、前記所定数判定手
段により出力された第２の出力制御信号に基づいて階層
２復号化出力信号を出力する第２の遅延メモリ手段と、
入力信号である階層３符号化信号を復号化して階層３復
号化信号を出力し、かつ第３の復号化状態信号を出力す
る階層３復号化手段と、前記階層３復号化信号を記憶
し、前記所定数判定手段により出力された第３の出力制
御信号に基づいて階層３復号化出力信号を出力する第３
の遅延メモリ手段と、前記第１、第２、第３の復号化状
態信号に基づいて、所定数以上の階層が新たに復号化さ
れた場合には前記第１、第２、第３の遅延メモリ手段に
各々前記第１、第２、第３の出力制御信号を出力する所
定数判定手段と、前記階層１復号化出力信号と前記階層
２復号化出力信号と前記階層３復号化出力信号とを合成
し、復号化出力信号として出力する階層合成手段とから
構成される。

【００１９】第９の発明の動画像復号化装置は、画像を
背景や前景などの階層に分離して符号化された符号化信
号を復号化する際に、入力信号である階層１符号化信号
を復号化して、階層１復号化信号を出力する階層１復号
化手段と、入力信号である階層２符号化信号を、前記階
層１復号化手段で用いた復号化とは異なる復号化方法で
復号化して、階層２復号化信号を出力する階層２復号化
手段と、前記階層１復号化信号と前記階層２復号化信号
とから、所定の条件に基づいてどちらか一方を選択し、
復号化出力信号として出力する階層選択手段とから構成
される。

【００２０】

【作用】第１の発明の動画像符号化装置においては、画
像の各シーンを代表する代表画面と、代表画面を参照す
る予測符号化画面とからなる符号化信号を符号化する際
に、同一の代表画面が複数のシーンで複数回参照される
場合があるので、参照関係を付加情報として符号化する
ことにより、同一代表画面を重複して符号化するような
無駄がない、効率の良い符号化を実現できる。また、参
照関係だけでなく、代表画面の時系列における内容的な
重要度を付加情報として符号化することにより、高速検
索や高速再生に伴う復号化時に、重要度の付加情報を参
照するだけで、重要度の高い代表画面のみを復号化する
ことが可能となる。

【００２１】第２の発明の動画像復号化装置において
は、画像の各シーンを代表する代表画面と、代表画面を
参照する予測符号化画面とからなる符号化信号を復号化
する際に、符号化入力信号から、代表画面抽出手段によ
り、符号化代表画面信号のみを抽出し、代表画面復号化
手段により復号化される。復号化を代表画面信号のみに
絞ることにより、高速再生を実現する。また、代表画面
信号は、画像の大きな変化に対応して選択されているた
め、画像のシーンチェンジに対応しており、代表画面を
追跡するだけで、画像内容を反映した、能率の良い高速
再生、高速シーン検索が可能となる。

【００２２】第３の発明の動画像復号化装置において
は、画像の各シーンを代表する代表画面と、代表画面を
参照する予測符号化画面とからなる符号化信号を復号化
する際に、画像の時系列の中で、内容的に重要度の高い
代表画面から順番に重要度を設け、代表画面抽出手段に
おいて、重要度を考慮して代表画面を抽出し、重要度の
高い代表画面のみを復号化する。重要度を考慮すること
により、内容的に重要でない代表画面の復号化を省略で
き、より一層の能率の良いかつ高速な再生、検索が可能
となる。

【００２３】第４の発明の動画像復号化装置において
は、画像の各シーンを代表する代表画面と、代表画面を
参照する予測符号化画面とからなる符号化信号を復号化
する際に、第２、第３の発明にある代表画面のみの復号
化でなく、代表画面信号を参照する予測符号化信号の一
部も用いて復号化を行うことにより、高速再生を行う。
予測符号化信号の復号化には、参照する代表画面信号と
グローバル動きパラメータが復号化されればよい。予測
符号化信号の一部を復号化して高速再生することによ
り、画像内容に即した動きの比較的滑らかな高速再生が
可能となる。

【００２４】第５の発明の動画像復号化装置において
は、画像の各シーンを代表する代表画面と、代表画面を
参照する予測符号化画面とからなる符号化信号を復号化
する際に、隣り合う代表画面信号の時間間隔、即ち代表
画面信号間に存在する予測符号化画面数を数えて、予測
符号化画面数に比例した時間間隔で、代表画面間隔を短
縮して、復号化し出力することにより、画像本来の時間
方向の滑らかさを保持したままの高速再生が可能とな
る。

【００２５】第６の発明の動画像符号化装置において
は、画像を背景や前景などの階層毎に符号化する際に、
各々の階層に内容的な重要度を付加情報として符号化す
ることにより、高速再生や高速シーン検索のための復号
化の際に、重要度を参照して、重要度の高い階層につい
ては内容的に詳細な復号化を、重要度の低い階層につい
ては、復号化を簡略化あるいは省略することができる。

【００２６】第７の発明の動画像復号化装置において
は、画像を背景や前景などの階層毎に符号化されている
場合、高速再生や高速シーン検索のための復号化の際
に、入力信号である階層毎の符号化信号の各階層の重要
度の付加情報を参照し、重要度を判定して、内容的に重
要度の高い階層については詳細な復号化を、重要度の低
い階層については、復号化を簡略化あるいは省略するこ
とにより、無駄を省き、効率の良い高速シーン検索、高
速再生が可能な復号化を実現できる。

【００２７】第８の発明の動画像復号化装置において
は、画像が階層構造で表現されかつ画像の各シーンを代
表する代表画面と、代表画面を参照する予測符号化画面
とからなる符号化信号を復号化する際に、所定数判定手
段により、所定数以上の階層において、新たに代表画面
信号の復号化がなされた場合、全ての階層において代表
画面出力の更新を行う。これにより、階層間で時系列に
おける代表画面の符号化位置が異なる場合でも、出力位
置を合わせることができる。また、復号化階層数が所定
数に満たない場合には、代表画面の出力更新は行われな
いため、処理の簡易化を図ることができる。

【００２８】第９の発明の動画像復号化装置において
は、画像が階層構造で表現されている場合、階層１と階
層２とで復号化の方法を変更し、階層を合成するのでは
なく、出力階層を切り替えて出力することにより、階層
の画像内容に応じて、高速再生および高速シーン検索の
機能を選択した、効率の良い高速再生、シーン検索が可
能となり、切り替えられた階層のみで復号化を行えばよ
いので、選択されていない階層の復号化を省略した無駄
のない復号化が可能となる。

【００２９】

【実施例】図１に第１の発明の一実施例（第１実施例）
における動画像符号化装置のブロック図を示す。

【００３０】図中で、11は入力信号、12は代表画面選択
手段、13は代表画面信号、14は非代表画面信号、15は代
表画面符号化手段、16は代表画面符号化信号、17は符号
化信号生成手段、18は符号化出力信号、21は復号化手
段、22は代表画面復号化信号、23は参照信号選択手段、
24は代表画面復号化参照信号、25は動きパラメータ検出
手段、26は動きパラメータ、30、31は付加制御信号、32
は参照関係付加手段、33は参照関係付加情報である。

【００３１】以上のように構成された、本実施例の動画
像符号化装置の動作を以下に説明する。

【００３２】代表画面選択手段12では、被符号化画面で
ある入力信号11から各シーンの代表画面である代表画面
信号13と、動き補償により予測画面として符号化する非
代表画面信号14とを選択して出力する。代表画面の選択
方法の例として以下のようなものが考えられる。 （１）動き補償の際に動き補償後の差分信号が最小とな
る画面を選択する。 （２）検索の際に検索しやすい画面を人為的に選択す
る。 （３）場面の最初の画面を選択する。

【００３３】また、シーンは、画像におけるシーンチェ
ンジとシーンチェンジとの間であってもよいし、シーン
チェンジとシーンチェンジとの間の中で、さらに被写体
の動きのまとまりなどで区切った小さいシーンであって
もよい。画像の内容的にまとまった場面と考えてよい。

【００３４】代表画面符号化手段15では、代表画面信号
13を符号化して代表画面符号化信号16として出力し、一
方で、代表画面を予測符号化の参照画面として用いるた
めの参照関係を決定し、付加制御信号31を参照関係付加
手段32に出力する。代表画面の符号化については、例え
ば、ＭＰＥＧなどで用いられているような離散コサイン
変換（ＤＣＴ）などの直交変換を行った後、変換係数の
エントロピー符号化を行うような符号化方法を用いれば
よいが、この方法に限定されるものではない。

【００３５】参照関係付加手段32では、付加制御信号31
と、参照信号選択手段23から出力された付加制御信号30
とに基づいて、参照関係付加情報33を生成して符号化信
号生成手段17に出力する。

【００３６】本発明では、画像の各シーンを代表する代
表画面と、代表画面を参照する予測符号化画面とからな
る符号化信号を符号化を行うので、同一の代表画面が複
数のシーンで複数回参照される場合がありえる。図１１
（ｂ）の場合で説明すると、場面１と場面３では同一の
代表画面Ａが参照されているので、３つの場面につい
て、代表画面はＡ、Ｂの２つあれば十分なので、２つの
代表画面を符号化し、参照関係“ＡＢＡ”を付加情報と
すればよい。このように、参照関係を付加情報として符
号化することにより、同一代表画面を重複して符号化す
る無駄を省くことができる。さらに、参照関係だけでな
く、代表画面の時系列における内容的な重要度を付加情
報として符号化することにより、高速検索や高速再生に
伴う復号化時に、重要度の付加情報を参照するだけで、
重要度の高い代表画面のみを復号化することが可能とな
る。重要度付加条件の一例として、代表画面間で被写体
の動きや変形の度合いが大きい場合には、重要度を高く
し、動きや変形が小さい場合には、重要を低くするとい
うような条件が考えられる。

【００３７】復号化手段21では、代表画面符号化信号16
を復号化し、代表画面復号化信号22を参照信号選択手段
23に出力する。参照信号選択手段23では、代表画面復号
化信号22を記憶し、各非代表画面信号に対応する代表画
面復号化信号を選択し、代表画面復号化参照信号24とし
て動きパラメータ検出手段25に出力する。また、参照画
面選択手段23は、参照画面としてどのシーンの代表画面
を用いたかを、参照関係付加手段32へ付加制御信号30と
して出力する。このため、参照信号選択手段23では、過
去のいくつかの代表画面を記憶しておけば、動きパラメ
ータ検出の際に最適な代表画面を選択でき、また前述し
た、同一代表画面を複数回参照することが可能となる。

【００３８】動きパラメータ検出手段25では、非代表画
面信号14と代表画面復号化参照信号24とを比較し、画面
間で動きを計算して動き補償符号化のための動きパラメ
ータ26を検出し出力する。このとき、画面全体の動きを
平行移動、拡大・縮小、回転などのグローバル動きパラ
メータで記述すれば符号化効率は向上する。このとき、
動き補償の際の予測差分信号は符号化してもよいし、予
測差分信号符号化を省略しても構わない。符号化信号生
成手段17では、動きパラメータ26と、代表画面符号化信
号16と、参照画面付加情報33とをまとめて符号化出力信
号18として出力する。

【００３９】以上のように本実施例によれば、代表画面
の参照関係を付加情報として符号化することにより、同
一代表画面を重複して符号化するような無駄がない、効
率の良い符号化を実現できる。また、参照関係だけでな
く、代表画面の時系列における内容的な重要度を付加情
報として符号化することにより、高速検索や高速再生に
伴う復号化時に、重要度の付加情報を参照するだけで、
重要度の高い代表画面のみを復号化することが可能とな
る。

【００４０】図２に第２の発明の一実施例（第２実施
例）における動画像復号化装置のブロック図を示す。

【００４１】図中で、101は符号化入力信号、102は代表
画面抽出手段、103は符号化代表画面信号、104は代表画
面復号化手段、105は復号化代表画面信号、106は遅延メ
モリ手段、107は復号化出力信号、112は代表画面参照関
係抽出手段、113は参照関係付加情報、114は復号化信号
出力制御手段、115は出力制御信号である。

【００４２】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００４３】符号化入力信号101は、第１の発明の実施
例の符号化装置により符号化された信号であり、画像の
各シーンを代表する代表画面と、代表画面を参照する動
き補償予測符号化のための動きパラメータと、代表画面
の参照関係の付加情報とから構成されている。この符号
化入力信号101から、代表画面抽出手段102において代表
画面を抽出して、符号化代表画面信号103が出力され
る。各シーンの時間間隔は一定ではないので、代表画面
間の時間間隔は一定ではない。符号化代表画面信号103
は代表画面復号化手段104により復号化され、復号化代
表画面信号105として遅延メモリ手段106に出力される。

【００４４】また、一方では、代表画面参照関係抽出手
段112において、参照関係付加情報113を抽出して、復号
化信号出力制御手段114に出力する。復号化信号出力制
御手段114においては、参照関係付加情報113に基づい
て、代表画面の出力順序および出力条件を決定し、出力
制御信号115を遅延メモリ手段106に出力する。遅延メモ
リ手段106では、過去の複数の復号化代表画面を記憶し
ておくことにより、参照関係において、同一代表画面を
再び出力する必要がある場合でも、復号化を伴わず、参
照関係付加情報に基づいて、記憶された画面を読み出す
だけですぐに再生することが可能である。

【００４５】遅延メモリ手段106は、復号化代表画面信
号105を出力制御信号115に基づいて復号化出力信号107
として出力する。出力の条件とは、例えば、復号化代表
画面信号105が入力されれば、参照関係に基づいて、そ
のまま出力する場合や、目的の再生速度に応じて、同一
の復号化代表画面信号105を複数回連続して出力する場
合などが考えられる。なお、符号化入力信号101として
は、代表画面構造に基づく符号化がなされたものであれ
ば、単一階層の符号化入力信号であっても、階層構造に
基づく、階層毎の符号化入力信号であっても構わない。

【００４６】図１２に本実施例の動作の一例についての
説明図を示す。同図は、12画面が通常の復号化、再生の
場合である。本実施例の装置を用いれば、代表画面のみ
を抽出して復号化するので、同図中の下のように３画面
の復号化再生のみでよい。このため、4倍の速度で再生
することになる。

【００４７】以上のように、本実施例によれば、復号化
を代表画面信号のみに絞ることにより、高速再生を実現
する。また、代表画面信号は、画像のシーン変化を考慮
して選択されているため、画像のシーンチェンジに対応
しており、代表画面を追跡するだけで、画像内容を反映
した、能率の良い高速再生、高速シーン検索が可能とな
る。

【００４８】図３に第３の発明の一実施例（第３実施
例）における動画像復号化装置のブロック図を示す。

【００４９】図中で、101は符号化入力信号、122は重要
度判定手段、123は代表画面抽出制御信号、102は代表画
面抽出手段、103は符号化代表画面信号、104は代表画面
復号化手段、105は復号化代表画面信号、106は遅延メモ
リ手段、107は復号化出力信号である。本実施例は、上
述した第２実施例の変形であって、代表画面参照関係抽
出手段112と複号化信号出力制御手段114を削除して、重
要度判定手段122を追加した構成になっている。

【００５０】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００５１】符号化入力信号101は、代表画面構造を用
いた符号化信号である。符号化入力信号101から符号化
代表画面の重要度を抽出し、所定値と比較して、重要度
がその所定値より高い場合には、代表画面抽出制御信号
123を代表画面抽出手段102に出力し、制御信号123に基
づいて代表画面を抽出するように制御を行う。以降の動
作は、第２の発明の実施例（第２実施例）と同様なので
説明は省略する。

【００５２】以上のように本実施例によれば、画像の時
系列の中で、内容的に重要度の高い代表画面から順番に
重要度を設け、代表画面抽出手段において、重要度を考
慮して代表画面を抽出し、内容的に重要度の高い代表画
面のみを復号化する。重要度の決定条件の例としては、
動きの大きく変わる場合はシーンの大きな変化と見なし
て重要度を高くするとか、内容的にシーンが大きな変化
が生じ背景や被写体が変わる場合は重要度を高くするな
どが考えられる。このように重要度を考慮することによ
り、より一層の能率の良いかつ高速な再生、検索を実現
できる。なお、符号化入力信号101としては、代表画面
構造に基づく符号化がなされたものであれば、単一階層
の符号化入力信号であっても、階層構造に基づく、階層
毎の符号化入力信号であっても構わない。

【００５３】図１３に本実施例の動作の一例についての
説明図を示す。同図は、12画面が通常の復号化、再生の
場合である。本実施例の装置を用いれば、代表画面の中
で重要度の高いもののみを抽出して復号化するので、同
図中の下のように２画面の復号化再生でよい。このた
め、６倍の速度で再生することになる。

【００５４】図４に第４の発明の一実施例（第４実施
例）における動画像復号化装置のブロック図を示す。

【００５５】図中で、101は符号化入力信号、102は代表
画面抽出手段、103は符号化代表画面信号、104は代表画
面復号化手段、105は復号化代表画面信号、106は遅延メ
モリ手段、107は復号化信号、132は動きパラメータ抽出
手段、133は動きパラメータ、134は動き補償手段、135
は動き補償復号化信号、136は復号化信号選択手段、137
は復号化出力信号である。本実施例は、上述した第２の
発明の実施例の変形であって、代表画面参照関係抽出手
段112と複号化信号出力制御手段114を削除して、動きパ
ラメータ抽出手段132と動き補償手段134と復号化信号選
択手段136とを追加した構成になっている。

【００５６】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００５７】符号化入力信号101は、代表画面構造を用
いた符号化信号である。動きパラメータ抽出手段132で
は、動き補償予測符号化画面の復号化に必要な動きパラ
メータ133を符号化入力信号101から抽出して、動き補償
手段134に出力する。動き補償手段134では、動きパラメ
ータ133に基づいて、遅延メモリ手段106からの出力であ
る復号化信号107を参照して動き補償を行い、動き補償
復号化信号135を復号化信号選択手段136に出力する。代
表画面の復号化の部分の動作は、第２の発明の実施例
（第２実施例）と同様なので説明は省略する。

【００５８】遅延メモリ手段106からの出力である復号
化信号107と動き補償復号化信号135とから所定の条件に
基づいて復号化信号選択手段136で選択し、復号化出力
信号137として出力する。所定の条件とは、例えば、動
き補償復号化信号135の入力がある場合には動き補償復
号化信号135を、それ以外の場合は代表画面の復号化信
号107を選択するような条件が考えられる。なお、符号
化入力信号101としては、代表画面構造に基づく符号化
がなされたものであれば、単一階層の符号化入力信号で
あっても、階層構造に基づく、階層毎の符号化入力信号
であっても構わない。

【００５９】以上のように本実施例によれば、代表画面
抽出手段だけでなく、代表画面信号を参照する予測符号
化信号の一部も用いて復号化し、高速再生を行う。第
２、第３の発明においては、検索および再生の高速性を
重視して、復号化は代表画面のみに絞られているが、代
表画面間の時間間隔は一定ではないので、そのまま連続
して再生しても動きが不自然で時間方向の滑らかさが損
なわれてしまう。そこで、本実施例では、代表画面間に
予測符号化画面の一部を復号化して挿入することによ
り、動きをある程度滑らかに連続性を再現した高速再生
を実現している。予測符号化信号を復号化するには、参
照する代表画面信号と動きパラメータが復号化できれば
よい。すなわち、動きパラメータを追加するだけで、第
２、第３の発明とは異なる、内容を確認しながらの高速
再生機能を実現できる。予測符号化信号の一部を復号化
して高速再生することにより、画像内容に即した動きの
比較的滑らかな高速再生を実現できる。このため、用途
としては内容を確認しながら、なおかつ通常より短時間
で再生するような高速再生が考えられる。なお、動きパ
ラメータについては、画面全体の平行移動、回転、拡大
・縮小を表現できるようなグローバル動きパラメータを
用いれば、一層効率の良い高速再生が実現できる。

【００６０】図５に第５の発明の一実施例（第５実施
例）における動画像復号化装置のブロック図を示す。

【００６１】図中で、101は符号化入力信号、142は予測
符号化画面計数手段、143は時間間隔制御信号、102は代
表画面抽出手段、103は符号化代表画面信号、104は代表
画面復号化手段、105は復号化代表画面信号、106は遅延
メモリ手段、107は復号化出力信号である。本実施例
は、第２の発明の実施例の変形であって、代表画面参照
関係抽出手段112と複号化信号出力制御手段114を削除し
て、予測符号化画面計数手段142を追加した構成になっ
ている。

【００６２】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００６３】符号化入力信号101は、代表画面構造を用
いた符号化信号である。第２、第３の発明においては、
検索および再生の高速性を重視して、復号化は代表画面
のみに絞られているが、代表画面間の時間間隔は一定で
はないので、そのまま連続して再生しても動きが不自然
で時間方向の滑らかさが損なわれてしまう。そこで、本
実施例では、各シーンの時間、すなわち、代表画面間の
時間間隔を考慮することにより、時間方向の滑らかさを
保存した高速再生を実現している。

【００６４】予測符号化画面計数手段142では、代表画
面を参照して動き補償符号化された予測符号化画面を符
号化入力信号101から抽出して計数し、時間間隔制御信
号143を遅延メモリ手段106に出力し、復号化代表画面信
号105の出力時間間隔の制御を行う。時間間隔制御とし
ては、隣り合う代表画面信号の時間間隔、即ち代表画面
信号間に存在する予測符号化画面数を数えて、予測符号
化画面数に比例した時間間隔で、代表画面間隔を短縮し
て、復号化し出力する方法が考えられる。代表画面信号
の復号化の部分の動作は、第２の発明の実施例と同様な
ので説明は省略する。

【００６５】図１４に本実施例の動作の一例についての
説明図を示す。同図は、１２画面が通常の復号化、再生
の場合である。本実施例の装置を用いれば、各シーンの
代表画面を各シーンの時間、すなわち予測画面の数に合
わせて、例えば同図のように場面１は６画面で構成され
ているので代表画面を３回出力し、場面２は２画面で構
成されているので代表画面を１回出力し、場面３では４
画面で構成されているので代表画面を２回出力する。こ
のため、２倍の速度で、第２および第３の発明のよう
に、時間方向の滑らかさの不整合性をなくし、比較的内
容把握の容易な高速再生をすることができる。

【００６６】以上のように、本実施例によれば、隣り合
う代表画面信号の時間間隔、即ち代表画面信号間に存在
する予測符号化画面数を数えて、予測符号化画面数に比
例した時間間隔で、代表画面間隔を短縮して、復号化し
出力することにより、画像本来の時間方向の滑らかさを
保持したまま高速再生を実現できる。

【００６７】図６に第６の発明の一実施例（第６実施
例）における動画像符号化装置のブロック図を示す。

【００６８】図中で、1011は階層１入力信号、1012は階
層１符号化手段、1013は階層１符号化信号、1014は階層
１符号化信号生成手段、1015は階層１符号化出力信号、
1021は階層２入力信号、1022は階層２符号化手段、1023
は階層２符号化信号、1024は階層２符号化信号生成手
段、1025は階層２符号化出力信号、1002は階層重要度決
定手段、1003は階層１重要度付加情報、1004は階層２重
要度付加情報である。

【００６９】以上のように構成された、本実施例の動画
像符号化装置の動作を以下に説明する。なお、本実施例
は、階層が２つの場合を想定して説明しているが、階層
数は２に限定されるものではない。

【００７０】階層重要度決定手段1002において、階層１
入力信号1011および階層２入力信号1021、各々の階層の
内容に関する重要度を決定し、階層１符号化信号生成手
段1014には階層１重要度付加情報1003、階層２符号化信
号生成手段1024には階層２重要度付加情報1004を各々出
力する。内容に関する階層の重要度を決定する条件の例
として以下のようなものが考えられる。 （１）登場人物などを重要視したい場合には、前景階層
の特に人物の階層の重要度を高くし、景色を重要視した
い場合には、背景階層の重要度を高くするといった階層
の前後関係を指標として重要度を決定する。 （２）階層毎の被写体領域の占める面積を計算し、面積
の大きい場合に重要度を高くし、面積が小さい場合は重
要度を低くするといった階層の領域面積を指標として重
要度を決定する。 （３）階層毎に被写体の動きあるいは変形の度合いを計
算し、動きや変形の大きい場合には重要度を高し、動き
や変形が小さい場合には重要度を低くするといった階層
の領域の動きや変形を指標として重要度を決定する。

【００７１】階層１入力信号1011は階層１符号化手段10
12で、階層２入力信号1021は階層２符号化手段1022で符
号化され、各々、階層１符号化信号1013、階層２符号化
信号1023を出力する。符号化については、例えば、ＭＰ
ＥＧなどで用いられているような離散コサイン変換（Ｄ
ＣＴ）などの直交変換を行った後、変換係数のエントロ
ピー符号化を行うような符号化方法を用いればよいが、
この方法に限定されるものではない。

【００７２】階層１符号化信号生成手段1014において
は、階層１符号化信号1013と階層１重要度付加情報1003
とから階層１符号化出力信号1015を生成して出力し、階
層２符号化信号生成手段1024においては、階層２符号化
信号1023と階層２重要度付加情報1004とから階層２符号
化出力信号1025を生成して出力する。

【００７３】以上のように、本実施例によれば、画像を
背景や前景などの階層毎に符号化する際に、各々の階層
に内容的な重要度を付加情報として符号化することによ
り、復号化の際に、重要度を参照して、重要度の高い階
層については内容的に詳細な復号化を、重要度の低い階
層については、復号化を簡略化あるいは省略することが
でき、無駄を省いた効率の良い高速再生や高速シーン検
索を実現できる。

【００７４】図７に第７の発明の一実施例（第７実施
例）における動画像復号化装置のブロック図を示す。

【００７５】図中で、201は階層重要度判定手段、211は
階層１符号化入力信号、212は階層１復号化手段、213は
階層１復号化信号、214は階層１復号化制御信号、221は
階層２符号化入力信号、222は階層２復号化手段、223は
階層２復号化信号、224は階層２復号化制御信号、202は
階層合成手段、203は復号化出力信号である。

【００７６】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００７７】入力信号は、第６の発明の動画像符号化装
置で符号化された信号であり、階層毎に重要度が付加さ
れて符号化されている。本実施例は、階層が２つの場合
を想定して説明しているが、階層数は２に限定されるも
のではない。

【００７８】階層重要度判定手段201では、階層１符号
化入力信号211と階層２符号化入力信号221との間で重要
度を比較し、所定の条件に基づいて、階層１復号化手段
212および階層２復号化手段222に、各々階層１復号化制
御信号214および階層２復号化制御信号224を出力し、階
層１と階層２とで復号化の制御方法を変える。階層１復
号化手段212は、階層１符号化入力信号211を階層１復号
化制御信号214に基づいて復号化し、階層１復号化信号2
13を階層合成手段202に出力する。階層２復号化手段222
は、階層２符号化入力信号221を階層２復号化制御信号2
24に基づいて復号化し、階層１復号化信号223を階層合
成手段202に出力する。復号化方法としては、例えば、
第２から第５の発明の実施例に準じた手段が考えられ
る。中でも第４の発明の実施例（第４実施例）にある復
号化を用いた場合、重要度が高い階層では、動き補償復
号化を用いる頻度を多くして滑らかな動きを再現し、画
像の内容を把握しやすい復号化を行い、重要度が低い階
層は代表画面の更新のみに限定し高速性を重視すること
により、処理の簡略化を図るといった復号化の制御が考
えられる。階層合成手段202では、階層１復号化信号213
と階層２復号化信号223とを合成し、復号化出力信号203
として出力する。

【００７９】以上のように、本実施例によれば、入力信
号である階層毎の符号化信号の階層間の重要度を比較し
て、重要度の高い階層については詳細な復号化行い、重
要度の低い階層については復号化を簡略化あるいは省略
することにより、画像の内容の重要性を損なわず、無駄
を省き、能率の良い高速再生、高速シーン検索を実現で
きる。

【００８０】図８に第８の発明の一実施例（第８実施
例）における動画像復号化装置のブロック図を示す。

【００８１】図中で、311は階層１符号化信号、312は階
層１復号化手段、313は復号化状態信号、301は所定数判
定手段、314は階層１復号化信号、315は出力制御信号、
316は階層１遅延メモリ手段、317は階層１復号化出力信
号、321は階層２符号化信号、322は階層２復号化手段、
323は復号化状態信号、324は階層２復号化信号、325は
出力制御信号、326は階層２遅延メモリ手段、327は階層
２復号化出力信号、331は階層３符号化信号、332は階層
３復号化手段、333は復号化状態信号、334は階層３復号
化信号、335は出力制御信号、336は階層３遅延メモリ手
段、337は階層３復号化出力信号、308は階層合成手段、
309は復号化出力信号である。

【００８２】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。

【００８３】入力信号は階層構造を用いた符号化がなさ
れた信号であり、階層毎に符号化されている。符号化に
ついては、例えば、ＭＰＥＧなどで用いられているよう
な離散コサイン変換（ＤＣＴ）などの直交変換を行った
後、変換係数のエントロピー符号化を行うような符号化
方法を用いればよいが、この方法に限定されるものでは
ない。さらに、時間方向では、代表画面構造を持った符
号化信号である。本実施例は、階層が３つの場合を想定
して説明しているが、階層数は３に限定されるものでは
ない。

【００８４】階層１復号化手段312は、階層１入力信号3
11を復号化して階層１遅延メモリ手段316に階層１復号
化信号314を出力し、新たに復号化を行った場合には、
復号化状態信号313を所定数比較手段301に出力する。階
層１遅延メモリ手段316では、所定数比較手段301からの
出力制御信号315に基づいて階層１復号化出力信号317を
階層合成手段308に出力する。階層２復号化手段322は、
階層２入力信号321を復号化して階層２遅延メモリ手段3
26に階層２復号化信号324を出力し、新たに復号化を行
った場合には、復号化状態信号323を所定数比較手段301
に出力する。階層２遅延メモリ手段326では、所定数比
較手段301からの出力制御信号325に基づいて階層２復号
化出力信号327を階層合成手段308に出力する。階層３復
号化手段332は、階層３入力信号331を復号化して階層３
遅延メモリ手段336に階層３復号化信号334を出力し、新
たに復号化を行った場合には、復号化状態信号333を所
定数比較手段301に出力する。階層３遅延メモリ手段336
では、所定数比較手段301からの出力制御信号335に基づ
いて階層３復号化出力信号を階層合成手段308に出力す
る。

【００８５】代表画面構造を持った符号化信号では、代
表画面の時間方向の符号化位置は階層によって異なるた
め、高速再生や高速シーン検索を行う際には、符号化に
伴う画面の出力更新位置を階層毎に考慮する必要があ
る。また、高速再生や高速シーン検索を行うのであれ
ば、すべての階層ですべての更新を行う必要はなく、内
容が把握できる範囲で簡略化、省略してもよい。そこ
で、所定数以上の階層で復号化が行われた場合のみ、出
力の更新を行うことにより、無駄を省いた高速再生や高
速シーン検索ができる。

【００８６】階層所定数比較手段301では、各階層にお
ける復号化状態信号313、323、333を検出して、所定数
以上の階層が新しく復号化された場合に各々の遅延メモ
リ手段316、326、336に出力制御信号315、325、335を出
力する。階層１復号化手段312、階層２復号化手段322、
階層３復号化手段332における復号化方法としては、例
えば、第２から第５の発明の実施例に準じた方法が考え
られるが、それに限定するものではない。

【００８７】図１５に階層間の出力更新の説明図を示
す。同図の上にある下向き矢印が高速検索の出力更新位
置、下にある上向き矢印が超高速検索による出力更新位
置の一例である。図１５の場合の更新条件は、「階層が
２回復号化された場合に全ての階層を更新して出力す
る。同時刻に複数の階層が更新された場合でも１回の更
新と数える。」というものである。同図からも明らかな
ように、高速検索の更新であれば１１回であるが、超高
速検索の図中の例では５回であり、処理の簡略化が可能
となる。また、出力回数が減るので、より高速な再生、
シーン検索が実現できる。

【００８８】以上のように、本実施例によれば、所定数
判定手段により、所定数以上の階層において、新たに代
表画面信号の復号化がなされた場合、全ての階層におい
て代表画面出力の更新を行う。これにより、階層間で時
系列における代表画面の符号化位置が異なる場合でも、
出力位置を合わせることができる。また、復号化階層数
が所定数に満たない場合には、代表画面の出力更新は行
われないため、処理の簡易化し、無駄を省いた高速再
生、高速シーン検索が実現できる。

【００８９】図９に第９の発明の一実施例（第９実施
例）における動画像復号化装置のブロック図を示す。

【００９０】図中で、211は階層１符号化入力信号、212
は階層１復号化手段、213は階層１復号化信号、221は階
層２符号化入力信号、222は階層２復号化手段、223は階
層２復号化信号、231は階層選択手段、232は復号化出力
信号である。

【００９１】以上のように構成された、本実施例の動画
像復号化装置の動作を以下に説明する。なお、本実施例
は、階層が２つの場合を想定して説明しているが、階層
数は２に限定されるものではない。

【００９２】入力信号は階層構造を用いた符号化がなさ
れた信号であり、階層毎に符号化されている。階層１復
号化手段212は、階層１符号化入力信号211を復号化して
階層１復号化信号として階層選択手段231に出力する。
階層２復号化手段222は、階層２符号化入力信号221を復
号化して階層２復号化信号として階層選択手段231に出
力する。階層選択手段231は、階層１復号化信号と階層
２復号化信号とから所定の条件に基づいて選択し、復号
化出力信号232として出力する。ただし、階層１復号化
手段212と階層２復号化手段222とは、異なる方法を用い
た復号化手段であり、具体的な方法としては、第２から
第５の発明の実施例に準じた手段が考えられる。例え
ば、階層１では、第２の発明の実施例（第２実施例）
の、代表画面のみを復号化する復号化方法を用い、階層
２では、第４の発明の実施例（第４実施例）の、代表画
面と動きパラメータの一部を用いた復号化方法を用いた
場合については、階層１では、高速に再生して大まかな
画像位置までシーン検索を行い、階層２では内容を確認
しながら高速再生を行い、階層を切り替えて再生を行う
ことにより、高速再生および高速シーン検索の目的に応
じた効率の良い復号化を実現できる。

【００９３】以上のように、本実施例によれば、高速再
生、高速シーン検索の目的に応じた復号化方法を階層毎
に選択することで、階層の画像内容に応じて機能を選択
した、効率の良い高速再生、高速シーン検索機能を実現
できる。

【００９４】

【発明の効果】以上のように、本発明によれば、符号化
信号におけるグローバル動き補償を用いた代表画面構造
と階層構造とを利用することにより、画像内容を反映し
た高速かつ効率の良い高速再生を実現でき、実用効果が
大きい。

【００９５】第１の発明の動画像符号化装置は、参照関
係を付加情報として符号化することにより、同一代表画
面を重複して符号化するような無駄がない、効率の良い
符号化を実現できる。

【００９６】第２の発明の動画像復号化装置は、復号化
を代表画面信号のみに絞ることにより、高速再生を実現
する。また、代表画面信号は、画像の大きな変化に対応
して選択されているため、画像のシーンチェンジに対応
しており、代表画面を追跡するだけで、画像内容を反映
した、能率の良い高速再生、高速シーン検索が可能とな
る。

【００９７】第３の発明の動画像復号化装置は、画像の
時系列の中で、内容的に重要度の高い代表画面から順番
に重要度を設け、代表画面抽出手段において、重要度を
考慮して代表画面を抽出し、内容的に重要度の高い代表
画面のみを復号化することにより、より一層の能率の良
いかつ高速な再生、検索を実現できる。

【００９８】第４の発明の動画像復号化装置は、代表画
面抽出手段だけでなく、代表画面信号を参照する予測符
号化信号の一部も用いて復号化することにより、画像内
容に即した動きの比較的滑らかな高速再生を実現でき
る。

【００９９】第５の発明の動画像復号化装置は、隣り合
う代表画面信号の時間間隔、即ち代表画面信号間に存在
する予測符号化画面数を数えて、予測符号化画面数に比
例した時間間隔で、代表画面間隔を短縮して、復号化し
出力することにより、画像本来の時間方向の滑らかさを
保持したまま高速再生を実現できる。

【０１００】第６の発明の動画像符号化装置は、画像を
背景や前景などの階層毎に符号化する際に、各々の階層
に内容的な重要度を付加情報として符号化することによ
り、復号化の際に、重要度を参照して、重要度の高い階
層については内容的に詳細な復号化を、重要度の低い階
層については、復号化を簡略化あるいは省略することが
でき、無駄を省いた効率の良い高速再生や高速シーン検
索を実現できる。

【０１０１】第７の発明の動画像復号化装置は、入力信
号である階層毎の符号化信号の階層間の重要度を比較し
て、重要度の高い階層については詳細な復号化行い、重
要度の低い階層については復号化を簡略化あるいは省略
することにより、画像の内容の重要性を損なわず、無駄
を省き、能率の良い高速再生、高速シーン検索を実現で
きる。

【０１０２】第８の発明の動画像復号化装置は、所定数
判定手段により、所定数以上の階層において、新たに代
表画面信号の復号化がなされた場合、全ての階層におい
て代表画面出力の更新を行う。これにより、階層間で時
系列における代表画面の符号化位置が異なる場合でも、
出力位置を合わせることができる。また、復号化階層数
が所定数に満たない場合には、代表画面の出力更新は行
われないため、処理の簡易化し、無駄を省いた高速再
生、高速シーン検索が実現できる。

【０１０３】第９の発明の動画像復号化装置は、高速再
生、高速シーン検索の目的に応じた復号化方法を階層毎
に選択することで、階層の画像内容に応じて機能を選択
した、効率の良い高速再生、高速シーン検索機能を実現
できる。

【図面の簡単な説明】

【図１】第１の発明の実施例における動画像符号化装置
のブロック図

【図２】第２の発明の実施例における動画像復号化装置
のブロック図

【図３】第３の発明の実施例における動画像復号化装置
のブロック図

【図４】第４の発明の実施例における動画像復号化装置
のブロック図

【図５】第５の発明の実施例における動画像復号化装置
のブロック図

【図６】第６の発明の実施例における動画像符号化装置
のブロック図

【図７】第７の発明の実施例における動画像復号化装置
のブロック図

【図８】第８の発明の実施例における動画像復号化装置
のブロック図

【図９】第９の発明の実施例における動画像復号化装置
のブロック図

【図１０】従来の画面内／画面間選択型符号化信号に対
する動画像高速再生装置のブロック図

【図１１】（ａ）は代表画面およびグローバル動き補償
を用いた階層符号化における階層構造についての説明図 （ｂ）は代表画面およびグローバル動き補償を用いた階
層符号化における代表画面構造についての説明図

【図１２】第２の発明の実施例の動作に関する説明図

【図１３】第３の発明の実施例の動作に関する説明図

【図１４】第５の発明の実施例の動作に関する説明図

【図１５】第８の発明の実施例の出力更新に関する説明
図

【符号の説明】

12 代表画面選択手段 15 代表画面符号化手段 17 符号化信号生成手段 21 復号化手段 23 参照信号選択手段 25 動きパラメータ検出手段 32 参照関係付加手段 102 代表画面抽出手段 104 代表画面復号化手段 106 遅延メモリ手段 112 代表画面参照関係抽出手段 114 復号化信号出力制御手段 122 重要度判定手段 132 動きパラメータ抽出手段 134 動き補償手段 136 復号化選択手段 142 予測符号化画面計数手段 201 階層重要度判定手段 202 階層合成手段 212 階層１復号化手段 222 階層２復号化手段 231 階層選択手段 301 所定数判定手段 308 階層合成手段 312 階層１復号化手段 322 階層２復号化手段 332 階層３復号化手段 316 階層１遅延メモリ手段 326 階層２遅延メモリ手段 336 階層３遅延メモリ手段 1002 階層重要度決定手段 1012 階層１符号化手段 1014 階層１符号化信号生成手段 1022 階層２符号化手段 1024 階層２符号化信号生成手段

Claims (12)

【特許請求の範囲】
1. 【請求項１】被符号化画面である入力信号から、各シー
   ンの代表画面である代表画面信号と、動き補償により予
   測符号化する非代表画面信号とを選択して出力する代表
   画面選択手段と、 前記代表画面信号を符号化して代表画面符号化信号とし
   て出力し、一方で、代表画面を非代表画面の動き補償予
   測符号化の参照画面として用いる際の参照関係のもとに
   なる第１の付加制御信号を出力する代表画面符号化手段
   と、 前記第１の付加制御信号と第２の付加制御信号とに基づ
   いて参照関係付加情報を生成し、出力する参照関係付加
   手段と、 前記代表画面符号化信号を復号化し、代表画面復号化信
   号を出力する復号化手段と、 前記代表画面復号化信号を記憶し、各非代表画面信号に
   対応する代表画面復号化信号である代表画面復号化参照
   信号を選択して出力し、また代表画面の参照関係付加の
   もとになる前記第２の付加制御信号を前記参照関係付加
   手段に出力する参照信号選択手段と、 前記非代表画面信号と前記代表画面復号化参照信号とか
   ら、動き補償で用いる画面間の動きパラメータを検出し
   て出力する動きパラメータ検出手段と、 前記動きパラメータと、前記代表画面符号化信号と、前
   記参照画面付加情報とをまとめて符号化出力信号として
   出力する符号化信号生成手段とから構成される動画像符
   号化装置。
2. 【請求項２】前記参照関係付加手段は、参照関係だけで
   なく、所定の条件に基づいて代表画面の重要度を決定
   し、この重要度情報も付加して参照関係付加情報として
   出力する請求項１記載の動画像符号化装置。
3. 【請求項３】請求項１記載の動画像符号化装置によって
   符号化された信号であって、画像の各シーンを代表する
   代表画面と、代表画面を参照して動き補償予測符号化さ
   れた画面とからなる符号化信号を復号化する際に、 入力信号である符号化信号から符号化代表画面信号を抽
   出して出力する代表画面抽出手段と、 前記符号化代表画面信号を復号化して復号化代表画面信
   号を出力する代表画面復号化手段と、 前記符号化入力信号から代表画面の参照関係を抽出し、
   参照関係付加情報を出力する代表画面参照関係抽出手段
   と、 前記参照関係付加情報に基づき、復号化信号の出力制御
   を決定し出力制御信号を出力する復号化信号出力制御手
   段と、 前記復号化代表画面信号を記憶し、前記出力制御信号に
   基づいて復号化出力信号を出力する遅延メモリ手段とか
   ら構成される動画像復号化装置。
4. 【請求項４】請求項２記載の動画像符号化装置によって
   符号化された信号であって、画像の各シーンを代表する
   代表画面と、代表画面を参照して動き補償予測符号化さ
   れた画面とからなる符号化信号を復号化する際に、 入力信号である符号化信号から代表画面の重要度を抽出
   して代表画面抽出制御信号を出力する重要度判定手段
   と、 前記符号化信号から、前記代表画面抽出制御信号に基づ
   き所定値以上の重要度である場合には符号化代表画面信
   号を抽出して出力する代表画面抽出手段と、 前記符号化代表画面信号を復号化して復号化代表画面信
   号を出力する代表画面復号化手段と、 前記復号化代表画面信号を記憶し、復号化信号として出
   力する遅延メモリ手段とから構成される動画像復号化装
   置。
5. 【請求項５】画像の各シーンを代表する代表画面と、代
   表画面を参照し動きパラメータを用いて動き補償予測符
   号化された画面とからなる符号化信号を復号化する際
   に、 入力信号である符号化信号から符号化代表画面信号を抽
   出して出力する代表画面抽出手段と、 前記符号化代表画面信号を復号化して復号化代表画面信
   号を出力する代表画面復号化手段と、 前記復号化代表画面信号を記憶し、復号化信号として出
   力する遅延メモリ手段と、 前記入力信号である符号化信号から動きパラメータを抽
   出して出力する動きパラメータ抽出手段と、 前記動きパラメータに基づいて、前記遅延メモリ手段の
   出力である前記復号化代表画面信号を動き補償して、動
   き補償復号化信号を出力する動き補償手段と、 前記復号化信号と前記動き補償復号化信号とから所定の
   条件に基づいて選択して出力する復号化信号選択手段と
   から構成される動画像復号化装置。
6. 【請求項６】画像の各シーンを代表する代表画面と、代
   表画面を参照して動き補償予測符号化された画面とから
   なる符号化信号を復号化する際に、 入力信号である符号化信号から予測符号化画面数を計数
   し、所定の条件で出力する時間間隔を決定し、代表画面
   の時間間隔制御信号を出力する予測符号化画面計数手段
   と、 前記入力信号である符号化信号から符号化代表画面信号
   を抽出して出力する代表画面抽出手段と、 前記符号化代表画面信号を復号化して復号化代表画面信
   号を出力する代表画面復号化手段と、 前記復号化代表画面信号を記憶し、前記時間間隔制御信
   号に基づいて復号化信号として出力する遅延メモリ手段
   とから構成される動画像復号化装置。
7. 【請求項７】画像を背景や前景などの階層に分離して符
   号化する際に、階層１入力信号および階層２入力信号に
   対して所定の条件で重要度を決定し、階層１重要度付加
   情報および階層２重要度付加情報を出力する階層重要度
   決定手段と、 前記階層１入力信号を符号化して階層１符号化信号を出
   力する階層１符号化手段と、 前記階層１符号化信号と前記階層１重要度付加情報とか
   ら階層１符号化出力信号を生成して出力する階層１符号
   化信号生成手段と、 前記階層２入力信号を符号化して階層２符号化信号を出
   力する階層２符号化手段と、 前記階層２符号化信号と前記階層２重要度付加情報とか
   ら階層２符号化出力信号を生成して出力する階層２符号
   化信号生成手段とから構成される動画像符号化装置。
8. 【請求項８】請求項７記載の動画像符号化装置によって
   符号化された信号であって、画像が背景や前景などの階
   層に分離して符号化された符号化信号の復号化の際に、 入力信号である階層１符号化信号から階層１の重要度を
   抽出し、入力信号である階層２符号化信号から階層２の
   重要度を抽出して、重要度が所定値以上の場合には階層
   の復号化を行うよう制御するために、第１の復号化制御
   信号と第２の復号化制御信号とを出力する階層重要度判
   定手段と、 前記階層１符号化信号を、前記第１の復号化制御信号に
   基づき所定の条件で復号化して、階層１復号化信号とし
   て出力する階層１復号化手段と、 前記階層２符号化信号を、前記第２の復号化制御信号に
   基づき所定の条件で復号化して、階層２復号化信号とし
   て出力する階層２復号化手段と、 前記階層１復号化信号と前記階層２復号化信号とを合成
   し、復号化出力信号として出力する階層合成手段とから
   構成される動画像復号化装置。
9. 【請求項９】前記階層重要度判定手段は、階層１の重要
   度と階層２の重要度とを比較して重要度が高い階層のみ
   に復号化制御信号を出力する請求項８記載の動画像復号
   化装置。
10. 【請求項１０】画像を背景や前景などの階層に分離して
    符号化された符号化信号の復号化の際に、 入力信号である階層１符号化信号を復号化して階層１復
    号化信号を出力し、かつ第１の復号化状態信号を出力す
    る階層１復号化手段と、 前記階層１復号化信号を記憶し、所定数判定手段により
    出力された第１の出力制御信号に基づいて階層１復号化
    出力信号を出力する第１の遅延メモリ手段と、 入力信号である階層２符号化信号を復号化して階層２復
    号化信号を出力し、かつ第２の復号化状態信号を出力す
    る階層２復号化手段と、 前記階層２復号化信号を記憶し、前記所定数判定手段に
    より出力された第２の出力制御信号に基づいて階層２復
    号化出力信号を出力する第２の遅延メモリ手段と、 入力信号である階層３符号化信号を復号化して階層３復
    号化信号を出力し、かつ第３の復号化状態信号を出力す
    る階層３復号化手段と、 前記階層３復号化信号を記憶し、前記所定数判定手段に
    より出力された第３の出力制御信号に基づいて階層３復
    号化出力信号を出力する第３の遅延メモリ手段と、 前記第１、第２、第３の復号化状態信号に基づいて、所
    定数以上の階層が新たに復号化された場合には前記第
    １、第２、第３の遅延メモリ手段に各々前記第１、第
    ２、第３の出力制御信号を出力する所定数判定手段と、 前記階層１復号化出力信号と前記階層２復号化出力信号
    と前記階層３復号化出力信号とを合成し、復号化出力信
    号として出力する階層合成手段とから構成される動画像
    復号化装置。
11. 【請求項１１】画像を背景や前景などの階層に分離して
    符号化された符号化信号を復号化する際に、 入力信号である階層１符号化信号を復号化して、階層１
    復号化信号を出力する階層１復号化手段と、 入力信号である階層２符号化信号を、前記階層１復号化
    手段で用いた復号化とは異なる復号化方法で復号化し
    て、階層２復号化信号を出力する階層２復号化手段と、 前記階層１復号化信号と前記階層２復号化信号とから、
    所定の条件に基づいてどちらか一方を選択し、復号化出
    力信号として出力する階層選択手段とから構成される動
    画像復号化装置。
12. 【請求項１２】前記階層１復号化手段として請求項３乃
    至請求項６記載の動画像復号化装置の代表画面復号化手
    段を用い、前記階層２復号化手段として、請求項３乃至
    請求項６記載の動画像復号化装置の代表画面復号化手段
    のうちから前記階層１復号化手段として用いた代表画面
    復号化手段とは異なる代表画面復号化手段を用いること
    を特徴とする請求項１１記載の動画像復号化装置。