JP3032088B2 - 動画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化装置に係
り、特にＴＶ会議、ＴＶ電話など回線を通して動画像の
伝送を行うシステムや、光ディスク、ビデオテープなど
の蓄積用メディアに動画像を蓄積するシステムに使用さ
れる動画像符号化装置に関する。

【０００２】

【従来の技術】将来の広帯域ネットワークのサービス開
始に向けて現在、通信の分野では現行ＴＶ方式と同程度
かそれ以上の画質の動画像を数Ｍｂｐｓ〜数１０Ｍｂｐ
ｓ程度のビットレートで伝送するための動画像符号化技
術に関する標準化作業が進められている（Ｈ．２６
Ｘ）。同様に、蓄積系や放送系の分野においてもＨ．２
６Ｘと同程度の画質、ビットレートによる符号化方式の
標準化作業が進められている（蓄積系はＭＰＥＧ２、放
送系はＣＭＴＴ／２）。そして、これらの標準化作業に
おいては、できるだけ方式の共通化を図った方が普及に
有利との判断から、相互に情報交換をしつつ作業が進め
られている。

【０００３】一方、通信系、蓄積系には既に画質、ビッ
トレート共にもっと低いところをターゲットとした動画
像符号化の標準方式であるＨ．２６１およびＭＰＥＧ１
があり、具体的にハードウェアも供給され始めている。
従って、より高画質化した新しい標準方式はこれら既存
の標準方式との相互接続性（コンパチビリティ）を持つ
ことが課題の一つとして挙げられている。コンパチビリ
ティには、既存方式のエンコーダが作成したビット列を
新方式のデコーダが復号できるようにするフォワード・
コンパチビリティと、新方式のエンコーダが作成したビ
ット列の一部を既存方式のデコーダが復号できるように
するバックワード・コンパチビリティの２つがある。新
方式のデコーダが未定義であるのに対して、既存方式の
デコーダは既に定義済であることを考えると、バックワ
ード・コンパチビリティの方が方式にとっては厳しい要
求条件となる。

【０００４】バックワード・コンパチビリティをとる方
式は、種々考えられる。それらのうちコンパチビリティ
をオプションとして定義できる方法として、既存方式で
の局部復号信号を新方式で使用する予測信号の候補とし
て含め、新方式による符号化ビット列の一部が既存方式
によるビット列となるように符号化ビット列を形成する
方式（階層符号化を用いたエンベデッド符号化という）
が提案されている。

【０００５】図１５は、この方式に基づく動画像符号化
装置の概略構成を示すブロック図であり、入力画像信号
は新方式（例えばＨ．２６ＸまたはＭＰＥＧ２）に基づ
く符号化部１に入力されると共に、ダウンサンプリング
回路２を経て既存方式（例えばＨ．２６１またはＭＰＥ
Ｇ１）に基づく符号化部３に入力される。符号化部１か
らの符号化出力は高レイヤビット列として出力されると
共に、ローカルデコーダ４により局部復号される。符号
化部３からの符号化出力は低レイヤビット列として出力
されると共に、ローカルデコーダ５により局部復号され
る。

【０００６】ローカルデコーダ４からの局部復号信号は
符号化部１に予測信号としてフィードバックされ、ロー
カルデコーダ５からの局部復号信号は符号化部３に予測
信号としてフィードバックされると共に、アップサンプ
リング回路６を経て符号化部１にも予測信号として供給
される。符号化部１においては、ローカルデコーダ４か
らの局部復号信号と、アップサンプリング回路６からの
予測信号のいずれかを選択的に使用して予測符号化を行
う。

【０００７】文献１：「マルチメディア符号化の国際標
準」（丸善発行）の６章には、既存方式の一つであるＭ
ＰＥＧ１が記述され、その中で６．３符号化アルゴリズ
ムの項では図６．２を使って、Ｉピクチャ（イントラ予
測画像）、Ｐピクチャ（前方予測画像）、Ｂピクチャ
（前方および後方の両方向予測画像）からなる画像間予
測構造が説明されている。新方式においても、既存方式
と類似の画像間予測構造がとられることが期待されてい
る。但し、ＭＰＥＧ１などの既存方式は画像信号がノン
インタレース構造であるため、“画像＝ピクチャ”は
“フレーム”であるのに対し、新方式ではこれがインタ
レース構造をもった“フィールド”となる可能性があ
り、予測構造がやや複雑となる。

【０００８】ところで、上述した階層符号化を用いたエ
ンベデッド符号化では、既存方式での局部復号信号を用
いた予測をオプションとして追加し、この予測が新方式
の局部復号信号からの予測よりも良い時だけ選ばれる。
すなわち、図１５においてローカルデコーダ４からの局
部復号信号と、ローカルデコーダ５からアップサンプリ
ング回路６を経て入力される局部復号信号のうち良好な
方が選択的に符号化部１で予測信号として使用される。
このため、後者の既存方式での局部復号信号からの予測
を含めることによる符号化効率の劣化がないとされてい
る。しかし従来では、符号化部１で使用する予測信号選
択のためのモード判定において、予測誤差電力のみを考
慮し、予測誤差電力が小さい方の予測信号を選択してい
るため、既存方式の局部復号信号を用いた予測を十分に
活用していない。すなわち予測誤差信号の符号化に際し
ての発生情報量は少なくなるが、符号化出力全体として
の発生情報量は必ずしも減少せず、これが符号化効率の
向上を妨げている。

【０００９】また、予測構造により分類される各ピクチ
ャのうち、Ｉピクチャでは既存方式からの予測がよく効
いて選ばれるのに対し、Ｐピクチャ、Ｂピクチャでは既
存方式の符号化結果に対する局部復号信号からの予測が
あまり効かず、選ばれる割合が非常に低くなるという問
題もある。この原因の１つとして、既存方式で符号化さ
れる画像の作成法に左右される要因があることが分かっ
ている。

【００１０】更に、従来の階層符号化を用いたエンベデ
ッド符号化では、低解像度画像を片フィールド落としに
より作成した場合に、低解像度画像を作成するのに使わ
れなかった方のフィールドが低解像度予測信号によりう
まく予測されないため、全体の予測効率を下げていた。

【００１１】

【発明が解決しようとする課題】上述したように、従来
の階層符号化を用いたエンベデッド符号化では、新方式
の符号化に際して、予測信号選択のためのモード判定に
おいて予測誤差電力のみを考慮しているため、既存方式
での局部復号信号を用いた予測を十分に活用できず、こ
れが符号化効率向上の妨げとなっていた。

【００１２】また、従来の階層符号化を用いたエンベデ
ッド符号化では、予測構造により分類される各ピクチャ
のうち、Ｉピクチャでは既存方式からの予測がよく効い
て選ばれるのに対し、Ｐピクチャ、Ｂピクチャでは既存
方式の局部復号信号からの予測があまり効かず、選ばれ
る割合が非常に低くなるという問題もあった。

【００１３】更に、従来の階層符号化を用いたエンベデ
ッド符号化では、低解像度画像を片フィールド落としに
より作成した場合に、低解像度画像を作成するのに使わ
れなかった方のフィールドが低解像度予測信号によりう
まく予測されないため、全体の予測効率を下げるという
問題もあった。

【００１４】本発明は、このような従来の問題点を解決
し、低解像度局部復号信号を用いた予測能力を高解像度
画像信号の予測符号化に有効に利用して符号化効率を向
上できる動画像符号化装置を提供することを目的とす
る。

【００１５】上記課題を解決するため、本発明にかかる
第一の発明は、異なる時間にサンプリングされた第１、
第２の画像の組み合わせにより構成された高解像度画像
をその高解像度画像単位で予測符号化する第１の符号化
手段と、この第１の符号化手段で符号化された高解像度
画像信号を復号する第１の復号手段と、前記高解像度画
像をダウンサンプルして低解像度画像を生成する手段
と、この低解像度画像を予測符号化する第２の符号化手
段と、第２の符号化手段で符号化された低解像度画像信
号を復号する第２の復号手段と、第１の復号手段により
復号された高解像度画像信号から生成される第１の信号
と第２の復号手段により復号された低解像度画像信号を
アップサンプルした信号から生成される第２の信号とを
選択または加算して前記高解像度画像の予測信号を生成
する予測信号生成手段と、第１の符号化手段で符号化さ
れた結果を出力する第１の出力手段と、第２の符号化手
段で符号化された結果を出力する第２の出力手段を具備
することを特徴とする動画像符号化装置を提供する。

【００１６】また本発明にかかる第二の発明において
は、インターレース走査して入力される高解像度画像を
フレーム画像として予測符号化する第１の符号化手段
と、第１の符号化手段で符号化された高解像度画像信号
を復号する第１の復号手段と、前記高解像度画像をダウ
ンサンプルして低解像度画像を生成する手段と、この低
解像度画像を符号化する第２の符号化手段と、第２の符
号化手段で符号化された低解像度画像を復号する第２の
復号手段と、第１の復号手段により復号された高解像度
画像信号から生成される第１の参照信号と、第２の復号
手段により復号された低解像度画像信号をアップサンプ
ルした信号から生成される第２の参照信号とから予測誤
差電力の小さい信号を選択して前記第１の符号化手段の
符号化に用いる予測信号を生成する予測信号生成手段
と、第１の符号化手段で符号化された結果を出力する第
１の出力手段と、第２の符号化手段で符号化された結果
を出力する第２の出力手段を具備することを特徴とする
動画像符号化装置を提供する。

【００１７】また本発明にかかる第一または第二の発明
において、前記高解像度画像をダウンサンプルして低解
像度画像を生成する手段は、高解像度画像を構成する第
１または第２の画像あるいはインターレース走査して入
力される高解像度画像の偶数ラインまたは奇数ラインの
画像をダウンサンプルして低解像度画像を生成する手段
を含むことを特徴とする。

【００１８】また本発明にかかる第一または第二の発明
において、前記予測信号生成手段は、生成すべき予測信
号の偶数ライン、奇数ライン毎に、第１の復号手段によ
り復号された高解像度画像信号と第２の復号手段により
復号された低解像度画像信号をアップサンプルした信号
から生成される第２の信号とを選択または加算して前記
高解像度画像の予測信号を生成する手段を含むことを特
徴とする。

【００１９】また本発明にかかる第一または第二の発明
において、前記予測信号生成手段は、生成すべき予測信
号の偶数ライン、奇数ライン毎に、第２の復号手段によ
り復号された低解像度画像信号をアップサンプルした信
号から生成される第２の信号を選択的に用いて高解像度
画像の予測信号を生成することを特徴とする。

【００２０】

【作用】本発明においては、フィールド毎に低解像度画
像信号による予測を使うか否かを切り替えることによ
り、従来片フィールドの予測について低解像度画像から
の予測が悪いために両フィールドで低解像度画像からの
予測が選ばれなくなっていたような場合でも、低解像度
画像からの予測が良い方のフィールドについてはこれが
選ばれるようになり、全体の符号化効率を上げることが
できる。

【００２１】また高解像度画像信号の予測信号を選択す
る際の判定において、予測誤差電力のみでなく動きベク
トル情報などの付加情報の情報量をも考慮に入れること
により、既存方式により低解像度局部復号信号を用いた
予測信号がより有効に選ばれる。また新方式での局部復
号信号の動き補償のみでは十分マッチングできなかった
ために残った高解像度予測残差信号を既存方式による低
解像度局部復号信号を用いてさらに動き補償予測符号化
することにより、既存方式による低解像度局部復号信号
が有効に使われるようになる。また本発明ではＩピクチ
ャのみでなく、Ｐピクチャ及びＢピクチャにおいても既
存方式での低解像度局部復号信号を予測信号として使う
ことがより有効となり、全体の符号化効率が向上する。

【００２２】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００２３】図１は、本発明に係る動画像符号化装置の
第１の実施例を示すブロック図である。なお、この実施
例では新方式で符号化される画像がインタレース画像、
既存方式で符号化される画像は該インタレース画像より
片フィールドを落として作成されるノンインタレース画
像である場合について説明する。

【００２４】図１において、端子１０には入力画像信号
１１とし高解像度画像信号が入力される。この入力画像
信号１１は減算器１２に入力され、高解像度予測信号１
３との差がとられて高解像度予測誤差信号１４が生成さ
れる。第１の選択スイッチ１５は予測モード判定回路３
７により制御され、入力画像信号１１、高解像度予測誤
差信号１４および低解像度予測信号１６のいずれか一つ
を選択する。

【００２５】選択スイッチ１５で選択された信号は、Ｄ
ＣＴ（離散コサイン変換）回路１７によってＤＣＴ符号
化される。ＤＣＴ回路１７により得られたＤＣＴ係数デ
ータは、量子化回路１８により量子化される。量子化回
路１８で量子化された信号は二分岐され、一方は可変長
符号化回路１９により可変長符号化され、更にバッファ
２０を経て所定のビットレートで出力端子２１から伝送
系または蓄積系へ送出される。減算器１２、ＤＣＴ回路
１７、量子化回路１８および可変長符号化回路１９によ
り、第１の符号化手段が構成される。

【００２６】量子化回路１８で量子化され二分岐された
信号の他方は、逆量子化回路２２および逆ＤＣＴ回路２
３により量子化回路１８およびＤＣＴ回路１７での処理
と逆の処理を順次受けた後、加算器２４で第２の選択ス
イッチ２５によって選択された信号と加算されることに
より、高解像度局部復号信号２６が生成される。逆量子
化回路２２、逆ＤＣＴ回路２３および加算器２４によ
り、第１の局部復号手段が構成される。

【００２７】選択スイッチ２５は予測モード判定回路３
７により選択スイッチ１５と連動して制御され、選択ス
イッチ１５が入力画像信号１１を選択するときは
“０”、高解像度予測誤差信号１４を選択する時は高解
像度予測信号１３、低解像度予測信号１６を選択する時
は低解像度予測信号１６をそれぞれ選択する。

【００２８】加算器２４から出力される高解像度局部復
号信号２６は、複数フレーム分の記憶容量を持つフレー
ムメモリ２７に書き込まれる。フレームメモリ２７の出
力は予測器２８に入力され、高解像度予測信号１３の作
成に使用される。予測器２８は、高解像度画像信号であ
る入力画像信号１１とフレームメモリ２７からの高解像
度局部復号信号との間で動きベクトル検出を行い、この
動きベクトルを用いて動き補償フレーム間（フィールド
間）予測を行うことにより、高解像度予測信号１３を発
生すると共に、動きベクトル情報３８を出力する。な
お、こうして得られる予測信号には前記文献（１）に記
載されているように前方向予測、後方向予測および両方
向予測の３通りが含まれ、これらのうち最適なものが選
ばれる。

【００２９】一方、入力画像信号１１は高解像度画像信
号から低解像度画像信号への変換手段であるダウンサン
プリング回路２９にも入力され、ここでダウンサンプリ
ングされることにより、例えばＣＩＦまたはＳＩＦのよ
うなフォーマットの低解像度画像信号に変換される。ダ
ウンサンプリング回路２９での処理の一例として、図２
（ａ）に片フィールド落としによるダウンサンプリング
の様子を示す。小さい矩形で示した低解像度画像信号
は、横長の大きい矩形で示した高解像度画像信号の偶数
（Ｅｖｅｎ）フィールドを捨て、奇数（Ｏｄｄ）フィー
ルドを折り返し除去のための帯域制限フィルタを通した
後、サブサンプリングすることにより作られる。

【００３０】ダウンサンプリング回路２９によって得ら
れたＣＩＦまたはＳＩＦフォーマットの低解像度画像信
号は、第２の符号化手段である既存方式（例えばＨ．２
６１またはＭＰＥＧ１）に基づく符号化部３０で符号化
され、バッファ３１を経て所定のビットレートで出力端
子３２から伝送系または蓄積系へ送出される。符号化部
３０からの符号化出力は、第２の局部復号手段である既
存方式（Ｈ２６１またはＭＰＥＧ１）に基づくローカル
デコーダ３３によって局部復号される。ローカルデコー
ダ３３から出力される低解像度局部復号信号３４は、符
号化部３０における予測符号化で使用する予測信号の作
成のために入力されると共に、アップサンプリング回路
３５でアップサンプリングされ、第２の予測器３６での
低解像度予測信号１６の作成にも使用される。

【００３１】予測器３６は、高解像度画像信号である入
力画像信号１１と低解像度画像信号であるアップサンプ
リング回路３５からの低解像度局部復号信号との間で動
きベクトル検出を行い、この動きベクトルを用いて低解
像度局部復号信号に対して動き補償を施すことにより、
低解像度予測信号１６を発生すると共に、動きベクトル
情報３９を出力する。

【００３２】図２（ｂ）を参照して、予測器３６におい
て低解像度局部復号信号に動き補償を施すことによる効
果を説明する。図２（ａ）のようにダウンサンプリング
して作成された低解像度画像信号を符号化部３０および
ローカルデコーダ３３を通して低解像度局部復号信号３
４を生成し、これをアップサンプリング回路３５により
図２（ｂ）のようにアップサンプリングすると、Ｏｄｄ
フィールドの予測に使用する時には、本来のＯｄｄフィ
ールドに対して位置的に一致するため良好な予測を可能
とするが、Ｅｖｅｎフィールドの予測に使用する時に
は、互いの時間的なずれのために、動きのある領域につ
いては良好に予測できない。しかし、図４に示すように
低解像度局部復号信号をフィールド周期内の動きに相当
するシフト量だけシフトすれば、Ｏｄｄフィールドに対
して位置的に一致するため、このシフトした低解像度局
部復号信号を用いて予測を正しく行うことができるよう
になる。従って、この場合における予測器３６の動き補
償は、基本的にはＥＶｅｎフィールドの予測時のみに行
えばよい。しかし、動き補償を行えばＯｄｄフィールド
での予測誤差も減るから、Ｏｄｄ、Ｅｖｅｎ両フィール
ドに対して動き補償を行ってもよい。

【００３３】予測モード判定回路３７は、入力画像信号
１１の符号化に際しての予測モードを判定する回路であ
り、その判定結果によって選択スイッチ１５、２５を制
御する。また、予測モード判定回路３７はどの予測モー
ドを選択したかを示す予測モード信号４０を出力する。
予測モード信号４０は可変長符号化回路１９に入力さ
れ、量子化回路１８からの量子化された信号および予測
器２８、３６から出力された動きベクトル情報３８、３
９と共に可変長符号化される。

【００３４】図３に、予測モード判定回路３７において
予測器２８からの高解像度予測信号１３と予測器３６か
らの低解像度予測信号１６のいずれを選択するかを判定
する関数を示す。高解像度予測信号１３を用いる場合、
動きベクトル情報３８として１つまたは２つの動きベク
トルの情報を伝送しなければならないが、低解像度予測
信号１６を用いる場合は、動きベクトル情報３９として
は０または１つの動きベクトルの情報を伝送するだけで
済む。

【００３５】動きベクトル情報３８、３９は前述したよ
うに可変長符号化回路１９で可変長符号化されて伝送さ
れる。これらの動きベクトル情報３８、３９の伝送に使
用するビット数（可変長符号の符号量）を推定して、そ
れらの差をＭＶbit diffとする。ここで、低解像度画像
信号の予測誤差信号をこのビット数で再び量子化するこ
とを考える。

【００３６】予測器２８からの高解像度予測信号１３を
用いた場合の予測誤差信号１４の予測誤差電力をＭＳＥ
_pred1 とし、予測器３８からの低解像度予測信号１６を
用いた場合の予測誤差信号１４の予測誤差電力をＭＳＥ
_pred2 として、ＭＳＥ_pred1と、ＭＳＥ_pred2 ×２
^{-2MVbit diff}の大小関係を判定する。この判定の結果、

【００３７】

【数１】 ＭＳＥ_pred1 ＜ＭＳＥ_pred2 ×２^{-2MVbit diff} (1) の時は選択スイッチ１５、２５で高解像度予測信号１３
を選択し、

【００３８】

【数２】 ＭＳＥ_pred1 ＞ＭＳＥ_pred2 ×２^{-2MVbit diff} (2) の時は選択スイッチ１５、２５で低解像度予測信号１６
を選択すれば、伝送する情報量を抑えつつ、入力画像信
号１１の最適な予測符号化が可能となる。これは低解像
度予測信号１６に対する動きベクトル情報を伝送する必
要のない場合、例えばフィールド重ねされたフレームか
ら低解像度予測信号１６を作成して符号化するような場
合、特に有効である。

【００３９】図３における判定関数αとしては、例えば
α＝２^{-2MVbit diff}、すなわち傾きがＭＶbit diffによ
り変わる関数を使用すればよい。この関数は高解像度画
像の予測信号どうしの比較においても、同様に使用でき
る。

【００４０】図４は、上述した原理に基づく図１におけ
る予測モード判定回路３７の具体的な構成例を示すブロ
ック図である。入力画像信号（高解像度画像信号）１１
および予測器２８からの高解像度予測信号１３は高解像
度予測モード判定回路４１に入力され、ここで高解像度
予測信号１３の一つが選択される。この選択された高解
像度予測信号と入力画像信号１１との差が減算器４４で
とられて、高解像度予測誤差信号が生成される。一方、
予測器３６からの低解像度予測信号１６は減算器４５に
入力され、ここで入力画像信号１１との差がとられて低
解像度予測誤差信号が生成される。また、予測器２８、
３６からの動きベクトル情報３６、３９が動きベクトル
情報量推定回路４２、４３に入力され、動きベクトル情
報量、すなわち動きベクトル情報３８、３９に対応する
可変長符号化回路１９からの発生情報量が推定される。
減算器４６では推定された動きベクトル情報量の差、す
なわち前記ＭＶbit diffが求められる。

【００４１】演算判定回路４７では、高解像度予測誤差
信号および低解像度予測誤差信号の予測誤差電力ＭＳＥ
_pred1 、ＭＳＥ_pred2 を求めると共に、二つの動きベク
トル情報量の差ＭＶbit diffから、図３に示した判定関
数を用いて式(1)(2)に示した判定を行い、その判定結果
に応じて図１の選択スイッチ１５、２５を制御すると共
に、予測モード判定信号４０を出力する。

【００４２】このように図１の実施例によれば、高解像
度予測誤差信号および低解像度予測誤差信号のそれぞれ
について予測誤差電力のみでなく、動きベクトル情報な
どの付加情報の情報をも考慮した判定条件に従って、高
解像度予測信号および低解像度予測信号から、高解像度
画像信号である入力画像信号の予測符号化に使用する予
測信号を選択するため、符号化効率がより向上するとい
う利点がある。

【００４３】上記実施例については、次のように種々変
形して実施することができる。

【００４４】（１）図２（ａ）では片フィールド落とし
による低解像度画像信号を時間的に先行したＯｄｄフィ
ールドより作成したが、Ｅｖｅｎフィールドより作成し
てもよい。これによりＯｄｄフィールドの予測に関して
は、低解像度局部復号信号からの予測が後方向予測とな
ることで、さらなる予測効率の向上が期待できる。

【００４５】（２）Ｅｖｅｎフィールドの予測のための
低解像度予測信号は、動き補償予測でなく、図５に示す
ように時空間的な補間によって得ることも可能である。
すなわち、Ｅｖｅｎフィールドの低解像度予測信号の各
画素を、低解像度局部復号信号の時間軸方向ｔに隣接し
たＯｄｄフィールドの画素であって、かつ空間軸方向
（垂直方向）Ｖでも隣接した画素の信号によって補間す
る。この場合、低解像度画像信号に対応する動きベクト
ル情報を伝送する必要がなくなるので、符号化効率が向
上する。

【００４６】（３）低解像度局部復号信号を用いた予測
は、Ｅｖｅｎフィールドに対しては禁止し、Ｏｄｄフィ
ールドのみに対して行うようにしてもよい。

【００４７】（４）Ｅｖｅｎフィールドを動き補償する
場合でも、動きベクトルを過去の動きベクトルや、低解
像度画像符号化時の動きベクトルより推定して使うこと
も可能で、この場合も動きベクトル情報の伝送は不要と
なる。

【００４８】（５）予測器２８に対して、高解像度局部
復号信号と低解像度局部復号信号の両方を使って予測信
号を生成する機能を追加することも可能である。この場
合、図６に示すように高解像度信号（高解像度局部復号
信号）と、低解像度信号（低解像度局部復号信号）をそ
れぞれの通過帯域が互いに相補的な関係になるような高
域通過フィルタ１と低域通過フィルタ２を通した後、加
算することにより予測信号が形成される。こうして得ら
れた予測信号は、量子化雑音が低減される。

【００４９】（６）予測器２８における入力画像信号１
１（高解像度画像信号）と高解像度局部復号信号間の動
きベクトル検出に際して、符号化部３０で得られた低解
像度画像信号どうしの動きベクトルを高解像度画像に相
当するものに拡大したもののまわりに探索範囲を限定す
ることにより、演算量を削減することができる。

【００５０】次に、図７を参照して本発明に係る動画像
符号化装置の第２の実施例を説明する。この実施例で
は、予測モード選択のために４つの選択スイッチ５１、
５４、５５、５６が設けられ、これらは予測モード判定
回路３７によって制御される。なお、予測モード判定回
路３７は図４に示した構成でもよいし、従来と同様の構
成でもよい。選択スイッチ５１は、入力画像信号１１と
減算器１４から出力される高解像度予測誤差信号１４の
いずれかを選択する。選択スイッチ５４は、選択スイッ
チ５１で選択された信号５２と減算器５３から出力され
る低解像度予測誤差信号（信号５２と低解像度予測信号
１６との差信号）のいずれかを選択する。この選択スイ
ッチ５４で選択された信号がＤＣＴ回路１７に入力され
る。

【００５１】選択スイッチ５５は予測モード判定回路３
７により選択スイッチ５１と連動して制御され、選択ス
イッチ５１が入力画像信号１１を選択する時は“０”、
高解像度予測誤差信号１４を選択する時は高解像度予測
信号１３をそれぞれ選択する。選択スイッチ５６は同様
に、予測モード判定回路３７により選択スイッチ５４と
連動して制御され、選択スイッチ５４が選択スイッチ５
１からの信号を選択する時は“０”、低解像度予測誤差
信号を選択する時は低解像度予測信号１６をそれぞれ選
択する。

【００５２】選択スイッチ５５で選択された信号は加算
器２４ａにおいて逆ＤＣＴ回路２３からの信号と加算さ
れ、選択スイッチ５６で選択された信号は加算器２４ｂ
において加算器２４ａからの出力と加算されることによ
り、局部復号信号２６が生成される。

【００５３】予測器２８は、図１の実施例と同様に、高
解像度画像信号である入力画像信号１１とフレームメモ
リ２７からの高解像度局部復号信号との間で動きベクト
ル検出を行い、この動きベクトルを用いて動き補償フレ
ーム間（フィールド間）予測を行うことにより、高解像
度予測信号１３を発生すると共に、動きベクトル情報３
８を出力する。こうして得られる予測信号には、前方向
予測、後方向予測および両方向予測の３通りが含まれ、
これらのうち最適なものが選ばれる。

【００５４】予測器２８で得られた動きベクトル情報３
８は、可変長符号化回路１９に送られると共に、予測器
３６にも送られる。予測器３６は、ローカルデコーダ３
３からの低解像度局部復号信号を複数フレーム分記憶す
るフレームメモリ５７をアクセスし、予測器２８で選択
された予測信号作成方法と同じ方法を用いて、予測器２
８から送られてきた動きベクトル情報により、フレーム
メモリ５７からアップサンプリング回路３５を経て入力
された信号に動き補償を施し、動き補償された低解像度
予測誤差信号１６を出力する。

【００５５】図８は、本実施例における高解像度画像信
号の予測符号化の様子を示す図である。予測器２８から
は、ｔ＝ｔ₁ における高解像度画像信号（高解像度局部
復号信号）に対して動き補償を行って得られた高解像度
予測信号１６から出力され、また減算器１２からは該高
解像度予測信号１６とｔ＝ｔ₀ における高解像度画像信
号１１との差である高解像度予測誤差信号１４が出力さ
れている。一方、予測器３６からは、ｔ＝ｔ₁ における
低解像度画像信号（低解像度局部復号信号）に対して動
き補償を行って得られた低解像度予測信号と、ｔ＝ｔ₀
における低解像度局部復号信号との差である低解像度予
測誤差信号が低解像度予測信号１６として出力される。
そして、この低解像度予測信号１６が高解像度予測誤差
信号１４に対するフレーム間（またはフィールド間）予
測符号化のための予測信号として減算器５３に供給され
る。

【００５６】このように図７の実施例では、高解像度予
測誤差信号１４が低解像度予測誤差信号を予測信号とし
てさらに予測符号化されるモードを有するため、既存方
式での局部復号信号を高解像度画像信号の予測符号化に
おいてより有効に利用することができ、符号化効率が向
上するという利点がある。

【００５７】次に上述した、 （３）低解像度局部復号信号を用いた予測を、Ｅｖｅｎ
フィールドに対しては禁止し、Ｏｄｄフィールドのみに
対して行う。

【００５８】について、本発明の第３の実施例として具
体的に説明する。

【００５９】本実施例は新方式で符号化される画像がイ
ンタレース画像、既存方式で符号化される画像が該イン
タレース画像より片フィールド落として作成されるノン
インタレース画像であり、新方式での符号化はインタレ
ース画像をフレーム重ねして符号化されるものとして説
明する。

【００６０】図９は本実施例のブロック図であり、図１
と同一の構成部分には同一符号を付している。

【００６１】図１０は各種サイズの符号化される画像の
関係を示す図、図１１は本実施例における低解像度予測
の切り替えの候補を示す図である。

【００６２】まず入力のフィールド画像はフィールドマ
ージ回路１００でフィールドマージされてフレーム画像
として扱われる。図１０にその様子を示した。その後符
号化のためにブロック化回路１０１でブロック化され
る。フレーム画像にされた後、ブロック化されたデータ
は図１１（ａ）（ｂ）の左端に示されたように１ライン
ずつＯｄｄ ｆｉｅｌｄのデータ、Ｅｖｅｎ ｆｌｅｌ
ｄのデータが交互に現れるようになっている。（簡単の
ため４×４ブロックの場合を示した。○はＯｄｄｆｉｅ
ｌｄのデータ、△はＥｖｅｎ ｆｉｅｌｄのデータを示
す。）ブロック化された入力データは予測器＋予測モー
ド判定器１０４にて、予測の候補として考えられる高解
像度画像からの種々のフレーム間予測（フレームメモリ
２７内の画像を参照）フレーム内予測、低解像度画像か
らの予測（既存方式ローカルデコーダ３３のフレームメ
モリ内の画像をアップサンプル回路３５でアップサンプ
ルしたものを参照）のための信号が作成され入力信号と
の誤差がとられ、ある評価基準のもとに誤差を最小にす
る予測モードが選択される。高解像度画像からの予測に
ついては本発明の主旨ではないので詳しい説明は省略す
るが、例えば現在ＭＰＥＧ２で検討されているような方
式である。さて本発明では図１１（ａ）に示すようなＯ
ｄｄライン、Ｅｖｅｎライン共に低解像度画像から予測
画像を作成するものの他に、図１１（ｂ）に示すような
Ｏｄｄラインは低解像度画像から、Ｅｖｅｎラインは高
解像度画像から予測画像を作成またはその逆が切り替え
られるようになっている。（図で●は低解像度予測信号
を示す。）これらの信号を作成するために予測器１０４
ではまず入力信号をＯｄｄラインとＥｖｅｎラインに分
離し、各々に対する高解像度予測信号として可能なもの
すべての中から最適なものを求める。（図の二重三角）
次に既存方式のローカルデコーダ３３内のフレームメモ
リの現符号化ブロックに相当する位置の画素をとり出し
てアップサンプル回路３５でアップサンプルし最後にこ
れらを１ラインごとに交互にマージして予測信号とす
る。また低解像度画像のみよりの予測信号は既存方式の
フレームメモリ内の画像をアップサンプルすることによ
り作成する。

【００６３】更に、入力画像の○と△の画素に対し別々
に低解像度画像をアップサンプルした画像の中でシフト
しながらマッチングし、最適のシフト量を探す。これら
に対し各々交互に１ラインずつマージした信号及び高解
像度画像の予測信号と１ラインずつマージした信号が同
様に作られる。

【００６４】いずれの場合にしても、低解像度予測信号
の候補は３つ作られる（（１）Ｏｄｄ：低解像度 ｅｖ
ｅｎ：高解像度（２）Ｏｄｄ：高解像度 ｅｖｅｎ：低
解像度（３）Ｏｄｄ、ｅｖｅｎ共に低解像度）。予測モ
ード判定器１０４ではこれら３つ及び高解像度予測信号
の候補の中から予測誤差を最適にするものを選択し予測
信号として与えると共に予測モードを可変長符号化回路
１９に送る。予測モードは予測単位（例えばＭＰＥＧで
はマクロブロック）ごとにタイプ情報として可変長符号
化され多重化される。本実施例では上記予測信号の候補
にはすべて別のタイプ情報が割りあてられる。

【００６５】あるいは低解像度画像からの予測を含むか
どうかを１ビットのフラグとしてたてることにしてもよ
い。

【００６６】図１２は図９の予測器＋予測モード判定器
１０４の構成例を示すブロック図である。図１１の説明
と対応させて動作を説明すると、まず入力ブロックが○
と△のラインに分離され（偶奇ライン分離回路１３０）
各フィールドに対しては高解像度画像より最適の予測信
号二重三角が求められ（高解像度予測選択回路１３１）
これに対応する動きベクトルが予測モード判定器１３５
に送られる。次に各フィールドに対する低解像度画像よ
りの最適の予測信号●が選ばれ（低解像度予測選択回路
１３２）必要な場合はこれに対応する動きベクトルが予
測モード判定器１３５に送られる。

【００６７】これらの組合せにより３通りのマージが行
われ（偶奇ラインマージ回路１３３）図１１の（ａ）及
び（ｂ）に相当する予測信号が作られ予測モード判定器
１３５に送られる。高解像度予測回路１３４ではこれ以
外の高解像度予測信号（例えば現在ＭＰＥＧ２で検討中
の予測に相当するもの）が作成され、対応する動きベク
トルと共に予測モード判定器１３５に送られる。予測モ
ード判定器１３５では送られたすべての予測信号の中か
ら予測誤差最小のものを選択し、差分回路１２に伝送す
る。また送られたすべての動きベクトルからそれに対応
する動きベクトルを選択して可変長符号化回路１９に伝
送する。

【００６８】ここで、低解像度画像に対して検出された
最適のシフト量は動きベクトル情報として高解像度画像
の動きベクトル情報とは別に可変長符号化回路で可変長
符号化され多重化されて伝送してもよい。本実施例で
は、フィールドスキップにより落とされた方のフィール
ドのみを低解像度信号により予測するモードは選ばれる
割合が低いので、このモードは選択枝の中から除外する
ことも可能であると考えられる。またシフトはフィール
ドスキップにより落とされたフィールドの予測のみに限
ることも可能である。

【００６９】更に本発明の他の実施例について説明す
る。

【００７０】図１３はこの実施例における予測器＋予測
モード判定器の構成を示す図であり、図１２と同一部分
には同一符号を付してある。

【００７１】まず図１２の実施例と同様に高解像度予測
回路１３４で高解像度予測信号の候補が作成される。こ
こには前方後方の動きベクトル検出が含まれる。また入
力は偶奇ライン分離回路１３０で偶奇ラインが分離さ
れ、高解像度予測選択回路１３１で各フィールドごとに
高解像度画像で予測した場合の最適の高解像度画像が選
択される。本実施例では低解像度予測選択回路１３２で
行われる。フィールドスキップにより落とされたフィー
ルドの予測のための低解像度予測信号の作成のしかたが
上記実施例と異なる。上記実施例では動きベクトル検出
を行い動き補償を用いて作っていたが、本実施例では高
解像度予測の候補に対して得られた動きベクトルを１フ
ィールド間隔に換算した動きベクトルを用いて作る。こ
の様子を図１４に示す。ｅｖｅｎ ｆｉｅｌｄの予測に
対して高解像度予測の候補として与えられた動きベクト
ル例えば図のＶ₁ のベクトル（図の点線で示す）を利用
して低解像度予測のための動きベクトルＶ₁ ′のベクト
ル（図の太線で示す）を求める。例えば図のように予測
されるｅｖｅｎ ｆｉｅｌｄと予測して使うフィールド
がｎフィールド間隔離れている場合、

【００７２】

【数３】 により得られる。

【００７３】本実施例の場合、この動きベクトルを直接
低解像度予測に用いるため、低解像度予測のための動き
ベクトルを送る必要はない。

【００７４】ここで、この動きベクトルのまわりの決め
られたサーチ範囲を探索して低解像度予測のための最適
な動きベクトルを求め直す。この例の場合、この最適な
動きベクトルが例えばＶ₁ ″のベクトルだったとする
と、このベクトルと基準となったベクトルＶ₁ ′のベク
トルとの差

【００７５】

【数４】 を差分ベクトルとして送る。

【００７６】低解像度側で作成された予測信号の候補は
高解像度側での予測信号の候補と平均化回路１４０で平
均され偶奇ラインマージ回路１３３でマージされて低解
像度予測信号の候補となる。これらの候補と高解像度予
測信号の候補の中で最も予測誤差を小さくするものが予
測モード判定器１３５にて選ばれる。

【００７７】本実施例では低解像度画像の動きベクトル
は高解像度画像の動きベクトルより作られるので、この
両者は対応していなければいけない。すなわち例えば図
１４でＶ₁ のベクトルが使われるものが選ばれる時はＶ
₁ ′のベクトルが、Ｖ₂ のベクトルが使われるものが選
ばれる時はＶ₂ ′のベクトルが低解像度側で使われる。
高解像度側での予測は前方向、逆方向、両方向の３通り
があるので、両方向の場合には例えば被予測フィールド
に近いフィールド側の動きベクトルを使うものとすれば
よい。

【００７８】

【発明の効果】以上説明したように、本発明によれば階
層符号化を用いたエンベデッド符号化方式による動画像
符号化装置において、低解像度局部復号信号を用いた予
測能力を高解像度画像信号の予測符号化に有効に利用し
て、符号化効率を向上することができる。

【図面の簡単な説明】

【図１】 本発明に係る動画像符号化装置の第１の実施
例を示すブロック図

【図２】 片フィールド落としによる低解像度画像信号
の作成法と低解像度局部復号信号に動き補償を施すこと
の有効性を示す図

【図３】 図１における予測モード判定回路において低
解像度予測信号と高解像度画像予測信号を選択する際の
判定関数を示す図

【図４】 図１におけるモード判定回路の構成例を示す
ブロック図

【図５】 片フィールド落としにより低解像度画像信号
を作成した場合に落とされた片フィールドを予測する信
号を作成するための別の方法を示す図

【図６】 低解像度画像信号と高解像度画像信号の両方
を予測に使う方法を説明するための図

【図７】 本発明に係る動画像符号化装置の第２の実施
例を示すブロック図

【図８】 図７の実施例における高解像度画像信号に対
する予測符号化動作を説明するための図

【図９】 本発明に係る動画像符号化装置の第３の実施
例を示すブロック図

【図１０】 図９の実施例における各種サイズの符号化
される画像の関係を示す図

【図１１】 図９の実施例における低解像度予測の切り
替えの候補を示す図

【図１２】 図９の実施例における予測器＋予測モード
判定器の構成を示す図

【図１３】 図９の実施例における予測器＋予測モード
判定器の他の構成を示す図

【図１４】 図９の実施例における低解像度のシフト量
の計算の様子を示す図

【図１５】 従来の階層符号化を用いたエンベデッド符
号化方式を示すブロック図

【符号の説明】

１１…高解像度画像信号 １２…減算器 １３…高解像度予測信号 １４…高解像度予測誤差信号 １５，２５，５１，５４〜５６…選択スイッチ １６…低解像度予測信号 １７…ＤＣＴ回路 １８…量子化回路 １９…可変長符号化回路２０，３１…バッファ ２２…逆量子化回路 ２３…逆ＤＣＴ回路 ２４…加算器 ２６…高解像度局部復号信号 ２７，５７…フレームメモリ ２８，３６…予測器 ２９…ダウンサンプリング回路 ３０…既存方式の符号化部 ３３…ローカルデコーダ ３４…低解像度局部復号信号 ３５…アップサンプリング回路 ３７…予測モード判定回路 ３８，３９…動きベクトル情報 ４０…予測モード判定信号 ４１…高解像度予測モード判定回路 ４２，４３…動きベクトル情報量推定回路 ４７…演算比較回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 尾高 敏則 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝 総合研究所内 (72)発明者 奥 忠宏 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝 総合研究所内 (56)参考文献 特開 平１−291585（ＪＰ，Ａ) 特開 平２−159892（ＪＰ，Ａ) 特開 平３−220887（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/32

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】異なる時間にサンプリングされた第１、第
   ２の画像の組み合わせにより構成された高解像度画像を
   その高解像度画像単位で予測符号化する第１の符号化手
   段と、この第１の符号化手段で符号化された高解像度画
   像信号を復号する第１の復号手段と、前記高解像度画像
   をダウンサンプルして低解像度画像を生成する手段と、
   この低解像度画像を予測符号化する第２の符号化手段
   と、第２の符号化手段で符号化された低解像度画像信号
   を復号する第２の復号手段と、第１の復号手段により復
   号された高解像度画像信号から生成される第１の信号と
   第２の復号手段により復号された低解像度画像信号をア
   ップサンプルした信号から生成される第２の信号とを選
   択または加算して前記高解像度画像の予測信号を生成す
   る予測信号生成手段と、第１の符号化手段で符号化され
   た結果を出力する第１の出力手段と、第２の符号化手段
   で符号化された結果を出力する第２の出力手段を具備す
   ることを特徴とする動画像符号化装置。
2. 【請求項２】インターレース走査して入力される高解像
   度画像をフレーム画像として予測符号化する第１の符号
   化手段と、第１の符号化手段で符号化された高解像度画
   像信号を復号する第１の復号手段と、前記高解像度画像
   をダウンサンプルして低解像度画像を生成する手段と、
   この低解像度画像を符号化する第２の符号化手段と、第
   ２の符号化手段で符号化された低解像度画像を復号する
   第２の復号手段と、第１の復号手段により復号された高
   解像度画像信号から生成される第１の参照信号と第２の
   復号手段により復号された低解像度画像信号をアップサ
   ンプルした信号から生成される第２の参照信号のうち予
   測誤差電力の小さい信号を選択して前記第１の符号化手
   段の符号化に用いる予測信号を生成する予測信号生成手
   段と、第１の符号化手段で符号化された結果を出力する
   第１の出力手段と、第２の符号化手段で符号化された結
   果を出力する第２の出力手段を具備することを特徴とす
   る動画像符号化装置。
3. 【請求項３】前記高解像度画像をダウンサンプルして低
   解像度画像を生成する手段は、高解像度画像を構成する
   第１または第２の画像あるいはインターレース走査して
   入力される高解像度画像の偶数ラインまたは奇数ライン
   の画像をダウンサンプルして低解像度画像を生成する手
   段を含むことを特徴とする請求項１または２記載の動画
   像符号化装置。
4. 【請求項４】前記予測信号生成手段は、生成すべき予測
   信号の偶数ライン、奇数ライン毎に、第１の復号手段に
   より復号された高解像度画像信号から生成される第１の
   信号と第２の復号手段により復号された低解像度画像信
   号をアップサンプルした信号から生成される第２の信号
   とを選択または加算して前記高解像度画像の予測信号を
   生成する手段を含むことを特徴とする請求項１または２
   記載の動画像符号化装置。
5. 【請求項５】前記予測信号生成手段は、生成すべき予測
   信号の偶数ライン、奇数ライン毎に、第２の復号手段に
   より復号された低解像度画像信号をアップサンプルした
   信号から生成される第２の信号を選択的に用いて高解像
   度画像の予測信号を生成することを特徴とする請求項１
   または２記載の動画像符号化装置。
6. 【請求項６】前記第２の符号化手段は、既存の符号化方
   式を用いることを特徴とする請求項１または２記載の動
   画像符号化装置。
7. 【請求項７】前記予測信号生成手段は、生成すべき予測
   信号の偶数ライン、奇数ライン毎に、第１の復号手段に
   より復号された高解像度画像信号から生成される第１の
   信号、第２の復号手段により復号された低解像度画像信
   号をアップサンプルした信号から生成される第２の信号
   又は前記第１及び第２の信号を加算して得られる信号の
   いずれかを前記高解像度画像の予測信号として出力する
   ことを特徴とする請求項１または２記載の動画像符号化
   装置。
8. 【請求項８】前記予測信号生成手段は、生成すべき予測
   信号の偶数ライン、奇数ライン毎に、第１の復号手段に
   より復号された高解像度画像信号から生成される第１の
   信号 、第２の復号手段により復号された低解像度画像信
   号をアップサンプルした信号から生成される第２の信号
   又は前記第１及び第２の信号を重みづけ加算して得られ
   る信号のいずれかを前記高解像度画像の予測信号として
   出力することを特徴とする請求項１または２記載の動画
   像符号化装置。
9. 【請求項９】前記予測信号生成手段は、生成すべき予測
   信号の偶数ライン、奇数ライン毎に、第１の復号手段に
   より復号された高解像度画像信号から生成される第１の
   信号、第２の復号手段により復号された低解像度画像信
   号をアップサンプルした信号から生成される第２の信号
   又は前記第１及び第２の信号を平均化して得られる信号
   のいずれかを前記高解像度画像の予測信号として出力す
   ることを特徴とする請求項１または２記載の動画像符号
   化装置。