JPH08336148A

JPH08336148A - 動き補償映像処理方法及び装置

Info

Publication number: JPH08336148A
Application number: JP8140251A
Authority: JP
Inventors: James H Wilkinson; ヘドリーウィルキンソンジェームス
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1995-06-06
Filing date: 1996-06-03
Publication date: 1996-12-17
Also published as: US5745181A; GB2301973B; GB9511460D0; GB2301973A

Abstract

(57)【要約】【課題】動き補償映像処理に伴う遅延時間を短縮でき
るようにし、また動き補償映像処理をより安価で簡明な
構成の装置で実行できるようにする。【解決手段】複数の映像フレームから成るフレーム・
グループを「Ｉ」フレームと「Ｂ」フレームのグループ
に符号化し、「Ｉ」フレームの並べ替えを行う。この並
べ替えは、例えば、各「Ｉ」フレームを次のフレーム・
グループへ編入するような並べ替えであり、この並べ替
えによって、復号の際のタイミング遅延を、並べ替えし
ないフレーム・グループを復号するときのタイミング遅
延と比べて短縮できるようにする。各フレーム・グルー
プの内部において「Ｂ」フレームの並べ替えを行うよう
にしてもよい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き補償映像処理
方法及び装置に関する。

【０００２】

【従来の技術】動き補償予測符号化を用いた画像処理に
よって、符号化に必要なデータを圧縮するという方法が
知られている。この種のディジタル圧縮の標準方式の１
つに、国際標準化機構（ＩＯＳ）の映画技術者作業部会
（ＭＰＥＧ）が定めたＭＰＥＧ１という方式がある。そ
して更に発展させた標準方式として、ＭＰＥＧ２という
方式がある。かかる標準方式には、(i) 映像信号のうち
の過去のフレームに基づいて現在フレームを予測する前
方予測、それに、(ii)過去のフレームに基づいて現在フ
レームを予測すると共に未来のフレームに基づいて現在
フレームを予測する双方向予測、が利用されている。

【０００３】ＭＰＥＧ標準符号化方式においては慣用的
に、「Ｉ」フレーム、「Ｂ」フレーム、及び「Ｐ」フレ
ームという用語でフレームを区別している。「Ｉ」フレ
ームは、単独のフレームとして符号化した画像から成
り、「Ｐ」フレームは、予測したフレーム差の出力から
成り、また「Ｂ」フレームは、現在フレームと、その前
後２つのフレームを平均したフレームとの間の差から成
るフレームである（この「Ｂ」は、双方向（Bi-directi
onal）の頭文字である）。この慣用的な用語法は、現在
では広く受け入れられており、例えば、ISO/IEC 11172-
2:1993(E) "Information Technology - Coding of Movi
ng Pictures and Associated Audio for Digital Stora
ge Media at up to about 1.6 Mbit/s"(情報技術−約1.
5 Mbit/sまでのディジタル記録媒体のための映画及びそ
れに付随する音声信号の符号化）等の文献に記載されて
いる。

【０００４】初期の形のＭＰＥＧ１は、前方予測だけを
利用したものであり、そこで用いられているフレームの
シーケンス（列）は、下に示すように、先頭の「Ｉ」フ
レームの後に複数の「Ｐ」フレームが続くシーケンスで
ある。ＩＰＰＰ... ＰＩ

【０００５】後期の形のＭＰＥＧ１、それにＭＰＥＧ２
では、上述の３種類のフレームの全てを利用しており、
それらフレームから成るシーケンスは一般的に、下に示
すように、１２フレーム・シーケンス（１２個のフレー
ムから成るシーケンス）である（５０Hzの用途の場
合）。ＩＢＢＰＢＢＰＢＢＰＢＢＩ

【０００６】以上のいずれの方式においても、動きベク
トルを適用することにより、予測誤差をできるだけ小さ
くし、符号化効率を向上させることができる。

【０００７】

【発明が解決しようとする課題】これらのＭＰＥＧ標準
方式は、性能的には申し分ないものであるが、より安価
で簡明な構成の装置でそれを実行できるようにすること
が求められている。

【０００８】

【課題を解決するための手段】本発明によれば、動き補
償映像処理方法において、複数の映像フレームから成る
フレーム・グループを「Ｉ」フレームと「Ｂ」フレーム
のグループに符号化し、異なったフレーム・グループ間
に亙って「Ｉ」フレームを並べ替えることにより、復号
の際のタイミング遅延を、並べ替えしないフレーム・グ
ループを復号するときのタイミング遅延と比べて短縮で
きるようにし、更にその並べ替えの際に各フレーム・グ
ループの「Ｉ」フレームをその次のフレーム・グループ
の「Ｉ」フレームの位置へ移動させることを特徴とする
方法が提供される。

【０００９】本発明の好適実施例では、「Ｉ」フレーム
を予め所定量遅延させることによって、復号器のメモリ
の必要容量を低減させている。また「Ｉ」フレーム以外
の複数のフレームを、フレーム・グループを再構成する
際のそれらフレームの間の従属関係に応じた順序で伝送
できるようにしている。複数の映像フレームから成るフ
レーム・グループ（これは、画像グループ（group of p
ictures:ＧＯＰ）とも呼ばれている）の形態は、各フレ
ーム・グループが２ⁿ個のフレームから成る対数時間デ
シメーション構造を持つようにすることが好ましい。好
適例の方法は特に、放送信号に使用するのに適してお
り、なぜならば、放送の用途では、送信機（これは符号
器を備えている）の設置台数が比較的少なく、受信機
（これは復号器を備えている）の設置台数が比較的多い
からである。

【００１０】

【発明の実施の形態】これより添付図面を参照しつつ、
本発明の実施の形態について説明して行く。なお、添付
図面において、同一ないし対応する部分には、同一ない
し対応する符号ないし名称を付してある。先ず、その一
例を図１に示す、「Ｂ」フレームを用いたオクターブ構
造（８フレーム構造）について説明する。或る「Ｉ」フ
レームとその次の「Ｉ」フレームとの間のフレームの個
数は２の累乗、即ち、２個、４個、８個、１６個等々に
なるようにする。２フレーム・シーケンス（基本単位が
２個のフレームから成るシーケンス）は、その簡単な例
であり、これは次のようになる。Ｉ₀Ｂ₁Ｉ₂Ｂ₃Ｉ₄Ｂ₅Ｉ₆Ｂ₇Ｉ₈ ...

【００１１】このシーケンスの中の各「Ｂ」フレーム
は、その前後の「Ｉ」フレームに基づいた予測を利用し
て生成したフレームであり、その再生の際に、動きベク
トル補償を施すこともあれば、施さないこともある。こ
れだけでもそれなりに効率的な符号化法であるが、
「Ｉ」フレームの個数が全フレーム個数の２分の１を占
めるということが符号化効率の制約となっている。

【００１２】そこで、次の段階として、このシーケンス
中の１つ置きの「Ｉ」フレーム（即ちＩ₂及びＩ₆）
を、そのフレームに対応した、予測を利用して生成した
「Ｂ」フレームに置換すると、次のシーケンスが得られ
る。Ｉ₀Ｂ₁Ｂ₂Ｂ₃Ｉ₄Ｂ₅Ｂ₆Ｂ₇Ｉ₈ ... ここでフレームＢ₂は、Ｉ₂−（Ｉ₀＋Ｉ₄）／２とい
う差から成り、また、フレームＢ₆は、Ｉ₆−（Ｉ₄＋
Ｉ₈）／２という差から成る。

【００１３】これらの置換によって、２段階の４フレー
ム・シーケンスが得られる。効率は非常に良好になった
が、更に、フレームＩ₄をフレームＩ₀及びＩ₈に基づ
いた予測を利用して「Ｂ」フレームに符号化することに
より、一層の利点が得られ、これは次のように表され
る。Ｂ₄＝Ｉ₄−（Ｉ₀＋Ｉ₈）／２その結果、次のシーケンスが得られる。Ｉ₀Ｂ₁Ｂ₂Ｂ₃Ｂ₄Ｂ₅Ｂ₆Ｂ₇Ｉ₈ ...

【００１４】以上のプロセスを、どこまでも反復して続
けて行くことができ、そのプロセスの各段階において、
１つの「Ｉ」フレームとその次の「Ｉ」フレームとの間
の時間間隔が２倍になって行く。ただし、符号化効率は
漸近線で表される限界値へ急速に近付き、このデシメー
ションのプロセスを３段階に亙って繰り返すと、即ち３
レベルのデシメーションが完了した時点で、その限界値
の非常に近くにまで達するため、一般的には、このデシ
メーションのプロセスを４段階以上に亙って行う必要は
ない。

【００１５】また、符号化に伴う遅延時間は、より高い
レベルのデシメーションを行うほど長くなり、この遅延
時間が余り長くなると動作上の問題が発生することがあ
るというのも事実である。更にメモリの必要容量も、よ
り高いレベルのデシメーションを行うほど増大するた
め、この時間デシメーションのレベルは、必要画質が得
られる範囲内で、できる限り低いレベルとすることが望
まれる。殆どの実験結果からは、最大級の圧縮比が必要
とされる場合でも、３段階の（即ち３レベルの）時間デ
シメーションを行えば充分であることが判明している。

【００１６】図１は、３レベルで８フレームの対数デシ
メーションのプロセスを模式的に示した図である。この
図では「Ｂ」フレームの生成を単純な演算プロセスの形
で表してあるが、各段階において新たな「Ｂ」フレーム
を生成する際には、そのフレームを挟んでいる両側の２
つの「Ｉ」フレームに基づいて生成し、更にその際に動
きベクトル補償を施して、その「Ｂ」フレームにおける
誤差をできるだけ小さくするようにしている。

【００１７】フレームＢ₁、Ｂ₃、Ｂ₅、及びＢ₇の各
々を生成する際に使用する動きベクトルは、それら各フ
レームの両側に隣接した２つのフレームに基づいた動き
ベクトルである。また、フレームＢ₂及びＢ₆の各々を
生成する際に使用する動きベクトルは、それら各フレー
ムの両側のフレーム２個分離れた２つのフレームに基づ
いて生成した動きベクトルである。そして、フレームＢ
₄を生成する際に使用する動きベクトルは、このフレー
ムの両側のフレーム４個分離れた２つのフレーム（即ち
フレームＩ₀とＩ₈）に基づいて生成した動きベクトル
である。従って、この対数デシメーションのプロセスに
おいては、段階が上がるごとに、必然的に動きベクトル
のレンジが２の累乗で延長されて行く。

【００１８】図２は、復号プロセスを示した図である。
同図には８フレーム・シーケンスを具体例として示して
あり、復号器は、それらフレームの再構成を行う際に、
特定の順序に従って行わねばならず、その理由は次の通
りである。第１番フレーム（即ちフレームＩ₁）を例に
取ると、このフレームＩ₁を再構成するためには、フレ
ームＩ₀及びＩ₂が既に得られている必要がある。とこ
ろが、フレームＩ₂の再構成にはフレームＩ₀及びＩ₄
が必要である。更に、フレームＩ₄の再構成にはフレー
ムＩ₀及びＩ₈が必要である。従って、復号器がそれら
８個のフレームを再構成する際には、次に示す特定の順
序で再構成を行わねばならない。フレームＩ₀及びＩ₈に基づいて行う再構成：Ｉ₄＝Ｂ₄＋（Ｉ₀＋Ｉ₈）／２フレームＩ₀,Ｉ₄及びＩ₈に基づいて行う再構成：Ｉ₂＝Ｂ₂＋（Ｉ₀＋Ｉ₄）／２Ｉ₆＝Ｂ₆＋（Ｉ₄＋Ｉ₈）／２フレームＩ₀,Ｉ₂,Ｉ₄,Ｉ₆及びＩ₈に基づいて行う再構
成：Ｉ₁＝Ｂ₁＋（Ｉ₀＋Ｉ₂）／２Ｉ₃＝Ｂ₃＋（Ｉ₂＋Ｉ₄）／２Ｉ₅＝Ｂ₅＋（Ｉ₄＋Ｉ₆）／２Ｉ₇＝Ｂ₇＋（Ｉ₆＋Ｉ₈）／２

【００１９】復号器が複数のフレームを再構成する際に
は、特定の順序に従わねばならないのに対し、一般的に
符号化器が符号化を行う順序は任意である。ただし、次
に説明するように、符号化の際の誤差伝播をできるだけ
少なくしたいという目的がある場合には然るべき順序に
する必要がある。

【００２０】現在広く採用されているＤＰＣＭ符号化法
においては、符号化器内にループを形成してその中に復
号器を組込むことによって、再帰誤差の発生を防止して
いる。差フレームとして「Ｐ」フレームと「Ｂ」フレー
ムのいずれを用いた符号化器でも同一の問題が発生する
ため、ＭＰＥＧは、図３に示したループを用いることで
その問題の解決を図っている。図３は、基本的な、閉ル
ープ形の時間符号化プロセスを示したものである。

【００２１】図３について説明すると、先ず「Ｉ」フレ
ームであるフレームＦ₀及びＦ₂を処理すると、結果的
に、夫々フレームＦ₀＋ε₀及びＦ₂＋ε₂が図３の回
路によって再生されることになる。再生されたそれらフ
レームは、量子化プロセスによって導入された誤差を含
んでいる。それら２つのフレームの平均をフレームＦ ₁
から減じると、差フレームであるフレームＢ₁が生成さ
れる。フレームＢ₁はこのようにして符号化されるた
め、それ自体の誤差を生じており、この誤差が原信号に
付加されている。

【００２２】そして、復号側においても同じくフレーム
Ｆ₀＋ε₀及びＦ₂＋ε₂が再構成されるため、フレームＦ
₁を再構成する際には、それらの誤差伝播が打ち消され
て、Ｆ₁＋ε₁しか残らない。従って符号化器の構成は複
雑化するものの、各フレームで発生する誤差をそのフレ
ームだけに局限化することができる。ただし、ここで注
意せねばならないのは、再構成されたフレームＦ₀＋ε
₀及びＦ₂＋ε₂に基づいて予測が行われるためにノイ
ズが導入されてしまい、そのノイズによって予測のマッ
チングが不完全になり、そのために、「Ｂ」フレームの
予測が悪化するおそれがあるということである。

【００２３】そこで、ＭＰＥＧ１のように「Ｉ」フレー
ムと「Ｐ」フレームを用いる方式において、もし上述の
フィードバックを使用しなかったならば、いかなる問題
が発生するかを考察することにする。この場合、「Ｉ」
フレームの符号化は通常の通りに行われるが、「Ｐ」フ
レームは再構成誤差なしに原画像から生成される。

【００２４】従って、送信側で符号化されるフレームは
次のようになる。出発フレーム符号化されたフレーム復号されたフレームＩ₀ Ｉ₀ Ｉ₀＋ε₀ Ｉ₁ Ｐ₁＝Ｉ₁−Ｉ₀ Ｐ₁＋ε₁ Ｉ₂ Ｐ₂＝Ｉ₂−Ｉ₁ Ｐ₂＋ε₂ Ｉ₃ Ｐ₃＝Ｉ₃−Ｉ₂ Ｐ₃＋ε₃ Ｉ₄ Ｐ₄＝Ｉ₄−Ｉ₃ Ｐ₄＋ε₄ ... 以下同様

【００２５】これに対して受信側で再構成されるフレー
ムは次のようになる。入力復号されたフレーム(a) 復号されたフレーム(b) Ｉ₀＋ε₀ Ｉ₀＋ε₀ Ｉ₀+ε₀ Ｐ₁＋ε₁ Ｉ₁′＝Ｐ₁+ε₁+Ｉ₀+ε₀ Ｉ₁+ε₁+ε₀ Ｐ₂＋ε₂ Ｉ₂′＝Ｐ₂+ε₂+Ｐ₁+ε₁+Ｉ₀+ε₀ Ｉ₂+ε₂+ε₁+ε₀ Ｐ₃＋ε₃ Ｉ₃′＝Ｐ₃+ε₃+Ｐ₂+ε₂+Ｐ₁+ε₁+Ｉ₀+ε₀ Ｉ₃+ε₃+ε₂+ε₁+ε₀ Ｐ₄＋ε₄ Ｉ₄′＝Ｐ₄+ε₄+Ｐ₃+ε₃+Ｐ₂+ε₂+Ｐ₁+ε₁+Ｉ₀+ε₀ Ｉ₄+ε₄+ε₃+ε₂+ε₁+ε₀ ‥‥‥以下同様

【００２６】復号器の再帰性とは、画像の再構成の際
に、その画像に対応した出発フレームである「Ｉ」フレ
ームと、それ以後のその画像に至るまでの全ての先行フ
レームとに基づいてその画像が再構成されるという性質
である。これは、各「Ｐ」フレームが発生する誤差につ
いてもいえることであり、そのため、復号器において誤
差累積が発生する。この理由から、符号化器のループの
中に復号器を配設することによって、そのような再帰的
累積の発生を防止することが必要とされているのであ
る。

【００２７】ところが、先に説明した対数「Ｂ」フレー
ム符号化方式では、再帰性の性質が以上のものと著しく
異なっている。即ち、フィードバック・ループを使用せ
ずに符号化動作を実行するならば、３レベルの（８フレ
ームの）時間デシメーションを行う場合に、符号化器は
以下に示すフレーム・シーケンスを発生することにな
る。出発フレーム符号化されたフレーム復号されたフレームＩ₀ Ｉ₀ Ｉ₀＋ε₀ Ｉ₈ Ｉ₈ Ｉ₈＋ε₈ Ｉ₄ Ｂ₄＝Ｉ₄−（Ｉ₀＋Ｉ₈)/2 Ｂ₄＋ε₄ Ｉ₂ Ｂ₂＝Ｉ₂− (Ｉ₀＋Ｉ₄)/2 Ｂ₂＋ε₂ Ｉ₆ Ｂ₆＝Ｉ₆− (Ｉ₄＋Ｉ₈)/2 Ｂ₆＋ε₆ Ｉ₁ Ｂ₁＝Ｉ₁− (Ｉ₀＋Ｉ₂)/2 Ｂ₁＋ε₁ Ｉ₃ Ｂ₃＝Ｉ₃− (Ｉ₂＋Ｉ₄)/2 Ｂ₃＋ε₃ Ｉ₅ Ｂ₅＝Ｉ₅− (Ｉ₄＋Ｉ₆)/2 Ｂ₅＋ε₅ Ｉ₇ Ｂ₇＝Ｉ₇− (Ｉ₆＋Ｉ₈)/2 Ｂ₇＋ε₇

【００２８】既述の如く、符号化器において「Ｂ」フレ
ームを生成する順序は重要ではない。なぜならば、フレ
ームの生成動作は各フレームごとに独立しているからで
ある。しかしながら、復号器において「Ｉ」フレームを
再構成する際には、以下に示す順序で再構成を行わねば
ならない。復号されたフレーム復号されたフレーム（展開された誤差項を含む）Ｉ₀′ ＝Ｉ₀＋ε₀ Ｉ₈′ ＝Ｉ₈＋ε₈ Ｉ₄′＝Ｂ₄+ε₄+（Ｉ₀′＋Ｉ₈′）/2＝Ｉ₄+ε₄+ε₀/2+ε₈/22 Ｉ₂′＝Ｂ₂+ε₂+（Ｉ₀′＋Ｉ₄′）/2 ＝Ｉ₂+ε₂+ε₀/2+（ε₄+ε₀/2+ε₈/2)/2 ＝Ｉ₂+ε₂+3*ε₀/4+ε₄/2+ε₈/4 Ｉ₆′＝Ｂ₆+ε₆+（Ｉ₄′＋Ｉ₈′）/2 ＝Ｉ₆+ε₆+（ε₄＋ε₀/2+ε₈/2)/2＋ε₈/2 ＝Ｉ₆+ε₆+ε₀/4+ε₄/2+3*ε₈/4 Ｉ₁′＝Ｂ₁+ε₁+（Ｉ₀′＋Ｉ₂′）/2 ＝Ｉ₁+ε₁+ε₀/2+（ε₂+3*ε₀/4+ε₄/2+ε₈/4 ）/2 ＝Ｉ₁+ε₁+7*ε₀/8+ε₂/2+ε₄/4+ε₈/8 Ｉ₃′＝Ｂ₃+ε₃+（Ｉ₂′＋Ｉ₄′）/2 ＝Ｉ₃+ε₃+（ε₂+3*ε₀/4+ε₄/2+ε₈/4)/2+(ε₄+ε₀/2+ε₈/2)/2 ＝Ｉ₃+ε₃+5*ε₀/8+ε₂/2+3*ε₄/4+3*ε₈/8 Ｉ₅′＝Ｂ₅+ε₅+（Ｉ₄′＋Ｉ₆′)/2 ＝Ｉ₅+ε₅+（ε₄+ε₀/2+ε₈/2)/2+(ε₆+ε₀/4+ε₄/2+3*ε₈/4)/2 ＝Ｉ₅+ε₅+3*ε₀/8+3*ε₄/4+ε₆/2+5*ε₈/8 Ｉ₇′＝Ｂ₇+ε₇+（Ｉ₆′＋Ｉ₈′)/2 ＝Ｉ₇+ε₇+（ε₆+ε₀/4+ε₄/2+3*ε₈/4)/2+ε₈/2 ＝Ｉ₇+ε₇+ε₀/8+ε₄/4+ε₆/2+7*ε₈/8

【００２９】この場合、夫々の誤差成分は殆ど全てノイ
ズから成るものであり、互いに相関性を持たない。従っ
て、各フレームのノイズ電力は、そのフレームに含まれ
ている誤差の二乗の和として与えられ、次のようにな
る。フレームノイズ電力０：Ｅ₀ ²=(ε₀)² ８：Ｅ₈ ²=(ε₈)² ４：Ｅ₄ ²=(ε₄)²＋（ε₀/2)²＋（ε₈/2)² ２：Ｅ₂ ²=(ε₂)²＋（3*ε₀/4)²＋（ε₄/2)²＋（ε₈/4)² ６：Ｅ₆ ²=(ε₆)²＋（ε₀/4)²＋（ε₄/2)²＋（3*ε₈/4)² １：Ｅ₁ ²=(ε₁)² +(7*ε₀/8)²+（ε₂/2)²+（ε₄/4)²+（ε₈/8)² ３：Ｅ₃ ²=(ε₃)²+(5*ε₀/8)²+（ε₂/2)²+ (3*ε₄/4)²+ (3*ε₈/8)² ５：Ｅ₅ ²=(ε₅)²+(3*ε₀/8)²+（3*ε₄/4)²+（ε₆/2)²+（5*ε₈/8)² ７：Ｅ₇ ²=(ε₇)²+（ε₀/8)²+（ε₄/4)²+（ε₆/2)²+ (7*ε₈/8)²

【００３０】ここで興味深いことは、「Ｐ」フレームを
用いた予測符号化方式とは異なり、本方式では、或る条
件を満たすようにすれば、ノイズ成分の和をフレーム番
号と無関係に一定にし得ることである。その条件とは、
量子化動作を制御することによってノイズ成分ε₄,ε₂,
ε₆,ε₁,ε₃,ε₅,ε₇を以下に示すように調節すること
である。即ち、Ｅ₄＝Ｅ₀＝Ｅ₈＝εと置くことによっ
て、 ε₄=√（ε²- (ε/2)²-(ε/2)²)=0.7071＊ε (=√0.5*ε) が得られる。また、Ｅ₄＝εであることから、Ｅ₂＝Ｅ
₆＝εと置くことによって、 ε₂=√（ε²-(3＊ε/4)²-((0.7071*ε)/2)²-(ε/4)²)=0.5*ε ε₆=√（ε²-（ε/4)²-((0.7071*ε)/2)²-(3*ε/4)²)=0.5*ε が得られる。更に、Ｅ₁＝Ｅ₃＝Ｅ₅＝Ｅ₇＝εと置く
ことによって、 ε₁=√（ε²-(7＊ε/8)²-((0.5＊ε)/2)²-(0.7071*ε/4)²-(ε/8)) =0.3536＊ε (=√0.125*ε） ε₃=√（ε²-(5＊ε/8)²-((0.5＊ε)/2)²-(0.7071*3*ε/4)²-(3*ε/8)) =0.3536＊ε ε₅=√（ε²-(3＊ε/8)²-(0.7071*3*ε/4)²-((0.5＊ε)/2)²-(5＊ε/8)) =0.3536＊ε ε₇=√（ε²-( ε/8)²-(0.7071＊ε/4)²-((0.5＊ε)/2)²-(7＊ε/8)) =0.3536＊ε が得られる。

【００３１】以上のようにした場合には、時間デシメー
ションの夫々の段階とノイズ成分との間に或る明確な関
係が存在することになり、それは、段階が１つ上がるご
とにノイズが√(0.5) 倍に低下するようにすれば、各フ
レームのノイズ成分を一定にし得るというものである。
しかしながら、時間周波数の高い領域ほど量子化ノイズ
を低下させねばならないという条件が、符号化効率を低
下させることは明らかであり、また、その量子化ノイズ
を、閉ループ符号化器における再帰誤差の増加と同程度
のものにせねばならない。

【００３２】このノイズ重み付け方式を実際に試してみ
たところ、幾つかのシステムでは、そのノイズ値が、閉
ループ形のシステムのノイズ値に非常に近いものとなっ
た。また、その再構成誤差を測定したところ、システム
のノイズ性能において１デシベル以下（＜１ｄＢ）の差
があることが分かった。開ループ符号化動作のノイズと
比べて閉ループ動作のノイズの方が大きくなることもあ
ったが、逆に小さくなることもあった。ただし、再構成
誤差を単純にＳ／Ｎ値によって評価すると結論を誤りか
ねないことに、何度も気付いた。即ち、閉ループ符号化
法と開ループ符号化法の夫々について行った視覚試験の
結果から、開ループ符号化プロセスによって導入される
誤差は、閉ループ形のシステムが発生する誤差と比べ
て、目障りになる程度がはるかに軽微であることが明ら
かとなった。そのようになる原因は、ノイズ成分の性質
にあるものと思われた。既に説明したように、閉ループ
符号化器では、夫々のノイズが、互いに高度に独立して
おり、しかも１フレーム以上に亙って持続することがな
い。これに対して、開ループ符号化器が発生する誤差に
は様々な成分が含まれており、それら成分のうちには１
フレームしか持続しないものもあるが、幾つものフレー
ムに亙って徐々に増大（フェードイン）したり、徐々に
減衰（フェードアウト）したりする成分もある。人の目
の時間応答特性は、ゆっくり変化する誤差よりもちらつ
き形の画像歪みの方が目に付きやすいような特性である
ように思われる。事例証拠によって、次のような作用が
あることが明らかとなった。即ち、誤差のうちには、画
像が静止フレームのモードにあるときには目立たず、フ
レーム・シーケンスが通常速度で再生されたときにはじ
めて目立ってくる誤差がある。言い替えれば、通常速度
で再生されなければ目立たない「静止」誤差が、通常速
度で再生されることによって目立つようになるのであ
る。

【００３３】開ループ形符号化法におけるノイズ成分の
特性を下の表１に示した。

【表１】

【００３４】図４に示したのは、ノイズ成分の模式図で
ある。表１及び図４から分かるように、「Ｉ」フレーム
の誤差であるε₀及びε₈による成分は、最もゆっくり
とフェードする誤差成分であり、それらは１５個のフレ
ームに亙って持続し、誤差全体のうちの大部分を占めて
いる。誤差ε₄は、それら誤差の２倍の速さでフェード
し、フェードインした後にフェードアウトしており、７
個のフレームに亙って持続している。誤差ε₂及びε₆
は、各々３個のフレームに亙って持続しているだけであ
り、更に誤差ε₁、ε₃、ε₅及びε₇は、夫々に対応
した１個のフレームだけで発生しているに過ぎない。な
お、持続時間の短い誤差ほど、大きさも小さくなってい
る。

【００３５】この結果は、実際に目で見たときには、は
るかに良好なものであり、それゆえこの「Ｂ」フレーム
を用いたデシメーションは、あらゆる用途に勧められる
ものである。図示した誤差分布は、３レベルで８フレー
ムの時間デシメーションの場合を示したものであるが、
任意のレベルの時間デシメーションにおいても、同じ前
提条件を適用することによって図示したものと同等の模
式図が得られる。ここでいう任意のレベルの時間デシメ
ーションとは、具体的には、１レベルで２フレームのも
の、２レベルで４フレームのもの、３レベルで８フレー
ムのもの（これを図示した）、４レベルで１６フレーム
のもの、そして以下同様にして様々なものがある。

【００３６】図５は、フレーム単位で行われる符号化器
のタイミングを示したタイミング図である。図５から分
かるように、開ループ符号化法を用いることによって、
システムのアーキテクチャ（構造）を格段に簡明化する
ことができると共に、符号化と復号とのいずれについて
も、必要とされる遅延時間要素の個数を減少させること
ができる。このタイミング図は、動きベクトル推定及び
補償のための、ベクトルによるオフセットの必要条件を
無視して作成したものであるが、タイミングがフレーム
単位に基づいているため、そのようなオフセットによっ
て問題が生じることはない。図５から分かるように、こ
の符号化器の通常の遅延時間は５フレームである。

【００３７】図６は、一般的な復号方式を用いた復号器
のタイミング図である。この復号器の通常の遅延時間は
１０フレーム分であり、そのためこの復号器は１０フレ
ーム分のメモリを使用しているが、これは大容量といわ
れる容量である。これに対して、図７に示したように、
符号化器内において「Ｉ」フレームに８フレーム分の遅
延時間を付加すると共に「Ｂ」フレームの順序を並べ替
えることにより、メモリ容量を４フレーム分にまで低減
することができる。符号化器内でフィードバック・ルー
プを使用していないため、「Ｂ」フレームの生成の順序
は、任意の順序とすることができる。一方、復号器で
は、原フレームを正しく再構成するためには、復号動作
を特定の順序で行う必要がある。即ち、フレームＩ₄を
復号した後にフレームＩ₂及びＩ₆を復号し、更に、そ
れらフレームＩ₂及びＩ₆を復号した後にフレーム
Ｉ₁、Ｉ₃、Ｉ₅及びＩ₇を復号するようにせねばなら
ない。ただし、これは簡単な必要条件であるため、容易
に満たすことができる。

【００３８】符号化器における遅延時間及び復号器にお
ける遅延時間のいずれも、更に短縮することはできる
が、しかし、構成が簡明であるという本来の利点が損な
われるため、それについてはここでは説明しない。

【００３９】「Ｂ」フレームを用いた予測符号化法は、
多くの場合、予測誤差が小さいので、「Ｐ」フレームを
用いた予測符号化法よりも優れており、一般的には約３
ｄＢほど小さくなる。

【００４０】フレームの並べ替えは、時間的な重要性
（文字どおりのものと象徴的なものとの両方がある）に
従って、次のような順序に並べ替えることができる。Ｉ₀Ｂ₄Ｂ₂Ｂ₆Ｂ₁Ｂ₃Ｂ₅Ｂ₇（Ｉ₈）このシーケンスのうち、後の方の４個の「Ｂ」フレーム
が削除されてしまったときには、それらフレームを推定
することによってこのシーケンスを再生し、また、フレ
ームＢ₄及びＢ₂が削除されてしまったときにも、同様
に推定によってこのシーケンスを再生すればよい。従っ
て、この方法によれば、高次の「Ｂ」フレームが失われ
ていても、それなりの品質の画像シーケンスが再生され
る。当然のことながら、全ての「Ｂ」フレームが削除さ
れてしまった場合には、再生される画像シーケンスは非
常に混乱したものとならざるを得ないが、適正な動きベ
クトルを適用すれば、そのような場合であっても、思い
がけないほど良好な結果が得られる。

【００４１】この方法を実際に試したところ、上は２０
Mbpsから下は６４Mbpsまでのデータ・レート範囲内で良
好に利用することができた。ＭＰＥＧ構造との直接的な
比較はまだ行っていないが、この開ループ符号化法によ
って発生する誤差は、実際に目で見たときに、ＭＰＥＧ
構造の誤差より良好であると思われた。

【００４２】

【発明の効果】以上説明した映像シーケンスの時間符号
化方法は、広範な様々な用途において、また広範なデー
タ・レート範囲において、極めて良好な結果をもたらす
ものであることが確認されている。この「Ｂ」フレーム
を利用した符号化方法を「開ループ」符号化法に適用し
た場合には、生成される再構成誤差の値は同程度であっ
ても、その誤差の目立ち方が大幅に軽減され、結果的に
より好ましい画質が得られる。このこと自体がすでに著
しい改善である上に、格段に簡明な符号化プロセスによ
ってそれが達成されることによって、その改善が更にす
ばらしいものとなっている。一般的な符号化器では、一
旦符号化した信号をその符号化器内で再構成することに
より、受信側で再構成されることになる信号と同じ信号
を符号化器内で発生させる必要があるのに対して、開ル
ープ符号化器ではそれを必要としない。符号化器内のハ
ードウェア（動きベクトル推定及び補償のためのものを
除く）の節約量は、多くの場合、３０％〜５０％の範囲
に達する。

【００４３】この対数デシメーションのプロセスによっ
て符号化された映像シーケンスを復号するのにかかる時
間は、ＭＰＥＧ１等の、「Ｐ」フレームによる前方予測
のみを利用したシステムと比べれば長くならざるを得な
い。しかしながら、送信するフレームを並べ替えること
により、復号器の構成を大幅に簡単化し得ることが判明
している。このことは、ポイント・ツー・ポイント形式
の伝送システムではさほど重要でないかも知れないが、
ポイント・ツー・マルチポイント形式のシステムでは、
符号化器の複雑度よりも復号器の複雑度の方が問題が大
きいため、重要なものとなる。

【００４４】なお、以上のように「Ｂ」フレームを利用
するシステムを、それとは異なった、例えばＭＰＥＧ２
のように「Ｐ」フレームと「Ｂ」フレームの両方を用い
た予測符号化方式を採用するシステムの一部とすること
も可能である。従って、ここに説明した「Ｂ」フレーム
の利用する方法のうちの幾つかは、別のシステムの一部
としても効果的に利用し得るものである。

【図面の簡単な説明】

【図１】対数時間デシメーション構造の模式図である。

【図２】図１に例示したフレーム・グループの復号に使
用することのできる対数時間インタポーレイション構造
を示した図である。

【図３】基本的な閉ループ形の時間符号化プロセスを示
した図である。

【図４】開ループ形の符号化システムにおけるノイズ成
分を示した模式図である。

【図５】フレーム単位で行われる符号化器のタイミング
を示した符号化タイミング図である。

【図６】公知の形式の復号器における復号タイミング図
である。

【図７】タイミング遅延を短縮した復号器における復号
タイミング図である。

【符号の説明】

Ｂ₁〜Ｂ₇「Ｂ」フレーム、Ｉ₀〜Ｉ₈「Ｉ」フレー
ム、Ｆ₀〜Ｆ₈フレーム、ε₀〜ε₈誤差成分

Claims

【特許請求の範囲】

【請求項１】動き補償映像処理方法において、複数の
映像フレームから成るフレーム・グループを「Ｉ」フレ
ームと「Ｂ」フレームのグループに符号化し、異なった
フレーム・グループ間に亙って「Ｉ」フレームを並べ替
えることにより、復号の際のタイミング遅延を、並べ替
えしないフレーム・グループを復号するときのタイミン
グ遅延と比べて短縮できるようにし、更にその並べ替え
の際に各フレーム・グループの「Ｉ」フレームをその次
のフレーム・グループの「Ｉ」フレームの位置へ移動さ
せることを特徴とする方法。
【請求項２】各フレーム・グループの内部において
「Ｂ」フレームの並べ替えを行うことを特徴とする請求
項１記載の方法。
【請求項３】各フレーム・グループがｎ個のフレーム
から成り、各「Ｉ」フレームをｎフレームだけ遅延させ
ることを特徴とする請求項１または２記載の方法。
【請求項４】各フレーム・グループに含まれる複数の
フレームを、復号する際、それらフレームどうしの従属
関係における最適の順序に並べ替えることを特徴とする
請求項１、２または３記載の方法。
【請求項５】請求項１から４までのいずれか１項に記
載の方法に従って動作する動き補償映像処理装置。