JPH04357788A - 動画像符号化装置及び動画像再生装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】 ［発明の目的］

【０００２】

【産業上の利用分野】本発明は、階層符号化方式におい
て、符号の冗長化を防止でき、かつ高品質の画像を再生
できる動画像符号化・再生装置に関する。

【０００３】

【従来の技術】次世代の低帯域通信網としてＡＴＭ（Ａ
ｓｙｎｃｒｏｎｏｕｓＴｒａｎｓｆｆｅｒ　Ｍｏｄｅ）
　を利用したＢ−ＩＳＤＮが有望視されている。また、
ＡＴＭを用いるテレビ会議などの動画像を伝送する方式
として、セル廃棄に耐性のある階層符号化方式が検討さ
れている。階層符号化方式の一例としては、ＰＣＳＪ９
０（ピクチャー・コーディング・シンポジウム・ジャパ
ン’９０）に発表された「ＡＴＭ用動画像符号化方式に
関する一検討」（９−３）の例がある。

【０００４】上記「ＡＴＭ用動画像符号化方式に関する
検討」に記載の動画像符号化の再生装置の送信器の構造
を図７に示す。図８は、階層符号化方式に利用されるデ
ータ構造（ＣＩＦフォーマット）の説明図である。

【０００５】まず、データ構造について示すと、図８に
おいて、一画面に相当するフレーム１は１２のグループ
２に分割され、各グループ２は３３のマクロブロック（
ＭＢ）３に分割される。各マクロブロック３は８×８の
輝度ブロック４の４個の集合から成る。各マクロブロッ
ク３に対しては８×８のＵ成分色差ブロック５とＶ成分
色差ブロック６とが対応され、各色差ブロック５，６は
それぞれ２倍（１６×１６）化されてマクロブロック３
に重ね合わされる。

【０００６】次に、送信器の構造を示すと、図７におい
て、送信器７の入力端子８は、フレーム内符号化情報（
以下、イントラ（ｉｎｔｒａ）　情報と称す）を入力す
るイントラ端子９と、減算器１０と、動き補償回路（Ｍ
ｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎ　）１１とに分岐
されて接続されている。減算器１０は、前記イントラ情
報に対応するフレーム間符号化情報であるインター（ｉ
ｎｔｅｒ）　情報を入力するインター端子１２と接続さ
れている。イントラ端子９とインター端子１２は、切換
えスイッチＳＷ１を介して変換回路（ＤＣＴ）１３と接
続されるようになっている。変換回路１３は、量子化回
路（　Ｑｕａｎｔ．）１４と接続され、この量子化回路
１４は、第１ＶＬＣ回路１５と、第２ＶＬＣ回路１６と
接続される誤差量子化回路１７と接続されている。量子
化回路１４はステップサイズ設定端子１８と接続される
。誤差量子化回路１７は、ステップサイズ設定端子１９
と接続される。各ＶＬＣ回路１５，１６はそれぞれの出
力端子２０，２１と接続される。

【０００７】さらに、前記量子化回路１４は、逆量子化
回路（Ｄｅｑｕａｎｔ．）２２、逆変換回路２３、加算
器２４の直列回路と接続される。加算器２４の出力端は
、前述の動き補償回路１１とも接続されるフレームメモ
リ２５と接続される。フレームメモリ２５の出力端は前
記減算器１０の入力端と接続されている。また、フレー
ムメモリ２５の出力端はインター端子２６と接続されて
いる。このインター端子２６と空端子２７は前記切換え
スイッチＳＷ１と連動操作される切換えスイッチＳＷ２
を介して前記加算器２４の入力端と接続されるようにな
っている。

【０００８】送信器７の作用を示すと、まずイントラ情
報ではスイッチＳＷ１，ＳＷ２は端子９，２７とそれぞ
れ接続され、入力端子８から入力されたデータは変換回
路を介してブロック単位で量子化回路１４に入力され、
ステップサイズＱで量子化され、第１ＶＬＣ回路１５を
介して可変長符号化され出力端子２０から通信網へ出力
される。以上が階層符号化の第１段階である。量子化回
路１４で発生された誤差は誤差量子化回路１７において
ステップサイズＱｅ（Ｑｅ＜Ｑ）で量子化され、第２Ｖ
ＬＣ回路１６を介して端子２１から出力される。以上が
階層符号化の第２段階で、この符号化方式は２段階から
成る階層符号化方式である。

【０００９】一方、インター情報では、ステッチＳＷ１
，ＳＷ２は端子１２，２６と接続される。入力画像はマ
クロブロック３に分けられて減算器１０で前フレームと
の差分をとり、変換回路１３において離散コサイン変換
され、量子化回路１４においてステップサイズＱで量子
化される。この情報は逆量子化回路２２と逆変換回路２
３を経て加算器２４で前フレームの参照分を加算されて
フレームメモリ２５に蓄えられ、前記減算器１０の入力
端に入力される。よって、減算器１０は画像の変化分の
みを出力することができる。動き補償回路１１は動きベ
クトルゼロのとき、出力をゼロとさせることができる。 通信網では、第２段階の符号化情報セルを第１段階のも
のに優先して廃棄することにより、フレーム間予測及び
動き補償時のエラー伝搬を極力おさえることができる。

【００１０】同様の効果をもつ方式として、他に変換回
路１３による変換後の変換係数を低域部と高域部に分け
、低域部を第１段階，高域部を第２段階として伝送する
方式などがある（参考：真鍮他，「Ｈ２６１を基本とし
た可変ルート階層符号化方式の検討」ピクチャー・コー
ティング・シンポジウム・ジャパン’９０）（９−６）
。これらの符号化方式は、いずれも第１段階までの情報
即ち低域変換係数を用いたぼやけた画像を参照フレーム
としてフレーム間予測又は動き補償を行うものであった
。

【００１１】

【発明が解決しようとする課題】セル廃棄対策のない通
常の方式では、伝送したい情報の全てをつかった参照フ
レームを用いてフレーム間予測や動き補償をおこなうの
で、一度高域まで送られた部分は、特に変化がない限り
、再び情報を伝送する必要がない。よって背景部分など
は一度に伝送されると以後殆ど更新の必要がない。しか
し上記に説明したように、セル廃棄対策のため一部の段
階まのでの情報を用いた低域のみの画像を参照フレーム
として用いる従来方式では、低域交換係数を用いたぼや
けた画像を参照フレームとしてフレーム間予測または動
き補償を行うものであったため、フレーム間差分をとる
毎に高域成分があらわれると、毎フレームについてこの
高域情報を伝送し直さなければならない。つまり符合量
を増加させている。また、動きベクトルがゼロの場合に
はその画像を全て伝送しないような方式であったため、
動きベクルが送信画像とぼやけた像との間で算出されて
いるような場合、本来の動きゼロの状態が確実に捉えら
れておらず、送るべき画像を送らない状態が生じ、伝送
品質を低下させているという問題があった。

【００１２】そこで、本発明は、動画像の背景部分など
、実質的に動きの無い画像を含む動画像に対し、例え高
域の多い画像でも不要に符合量を多くすることが無く、
かつ実質的に動きの無い状態を適切に検出することによ
り例え動きベクトルがゼロであっても必要情報は送るこ
ととして高品質の画像を再生することができる動画像符
号化の再生装置を提供することを目的とする。

【００１３】 ［発明の構成］

【００１４】

【課題を解決するための手段】上記課題を解決するため
の本発明は、特許請求の範囲に記載の通りの動画像符号
化の再生装置を構成した。

【００１５】

【作用】本発明の動画像符号化・再生装置では、送信ブ
ロックを前フレームの低域成分及び他の成分の合成値と
比較しフレーム間予測または動き補償をする手段を備え
るので、背景部分に輝度の高い部分があっても両画像を
同質的に取扱うことができ、同一内容の画像によっては
その送信を省略することができ、符合量を低減させるこ
とができる。

【００１６】また、動きベクトルがゼロであることを検
出する手段と、前フレームの低域成分及び他の成分の合
成値と送信ブロック間の輝度誤差等の誤差を検出する手
段と、前記動きベクトルがゼロで、かつ前記誤差情報ま
たはこれを変形して得られる誤差情報が予め設定した閾
値以下であるとき前記送信ブロックを送信しないことに
する無意情報の判別制御手段とを備えるので、単に動き
ベクトルがゼロであったらこれを送信しないのと比べ、
実質的に動きゼロである場合のみ送信を省略することが
でき、実質的に動ききの無い画像についてのみ前フレー
ムの画像を用いることができ、セル廃棄対策のため生じ
た符号の冗長性をなくし、対策のない場合とほぼ同等の
画質が得られる。。

【００１７】

【実施例】以下、添付図面を参照して本発明の実施例を
説明する。図１は本発明の一実施例に係る動画像符号化
の再生装置の送信部分のブロック図、図２はその受信器
部分のブロック図を示す。図１において、図７で示した
送信器７の各部材と同一機能を果す部材には同一符号を
用いて示す。また、データ構造は図８のものを用いるも
のとする。

【００１８】本例の送信器２８は、図７に示す送信器７
に対し、変換回路１３の出力端に減算器２９が接続され
、その出力端に誤差量子化回路３０が接続され、その出
力端は前記第２ＶＬＣ回路１６に接続されている。また
、この誤差量子化回路３０の出力端には、逆量子化回路
３１と加算器３２と逆変換回路３３と加算器３４と第２
フレームメモリ３５と減算器３６の直列回路が接続され
ている。前記加算器３２の一入力端には前記逆量子化回
路２２の出力端と接続されている。逆量子化回路２２の
出力は前記減算器２９の一入力端にも出力される。前記
スイッチＳＷ２から入力される信号は前記加算器３４に
入力されるようになっている。

【００１９】さらに、前記フレームメモリ２５を第１フ
レームメモリとして、その後段には帯域フィルタ３７が
介在されている。そして、前記減算器３６、動き補償回
路１１、量子化回路１４の各出力端は、実質的に動きの
無いブロック（無意ブロック）を検出して、これを送信
しないよう量子化回路１４、誤差量子化回路３０を制御
する無意ブロック判別制御回路（Ｓｉｇｎｉｆｉｃａｎ
ｔ　　ＭＢ）ＳＭＢと接続されている。各ＶＬＣ回路の
後段にはバッファ３８，３９が設けられている。

【００２０】以上の送信器２８の構成において、イント
ラ情報では、スイッチＳＷ１，ＳＷ２は端子９，２７と
それぞれ接続されている。送信ブロックは離散コサイン
変化を行う変換回路１３及び量子化回路１４を介して第
１ＶＬＣ回路１５に入力され、可変長符号化される。

【００２１】インター情報に対してはスイッチＳＷ１，
ＳＷ２は端子１２，２６とそれぞれ接続され、減算器１
０を介して差分信号が出力され可変長符号化される。た
だし現マクロブロックが無意ブロックの場合は、変換係
数はゼロクリアされる。無意ブロックの判別方式につい
ては図３以下で詳述する。量子化回路１４で量子化され
たマクロブロック３は、第１ＶＬＣ回路１５において可
変長符号化され伝送される。また逆量子化と逆変換が回
路２２，２３において行われ、加算器２４を介して第１
フレームメモリ２５に蓄えられる。

【００２２】第２段階の符号化方式を説明する。第２段
階では、減算器２９において、変換回路１３で変換され
た計数値と、量子化回路１４で量子化され逆量子化回路
２２で逆量子化された量子化値との差分がとられ、誤差
量子化回路３０において任意の方法で再び量子化される
。ただし送信ブロックが無意ブロックの場合、差分はゼ
ロクリアされる。さらに第２ＶＬＣ回路１６において可
変長符号化され伝送される。また逆量子化回路３１、逆
変換回路３３において第１段階の情報をも合わせた情報
が逆量子化及び逆変換され、加算器３４を介して第２フ
レームメモリ３５に蓄えられる。ただし送信ブロックが
無意の場合は書き替えを行わない。

【００２３】一方、図２に示すように受信器３０は、前
記出力端子２０，２１から出力され、ＡＴＭ網を介して
入力されだデータをそれぞれ入力するデータ入力端子４
０，４１を有し、各端子に、復合回路４２，４３と、逆
量子化回路４４，４５の直列回路がそれぞれ接続されて
いる。逆量子化回路４４の出力端は逆変換回路４６と接
続され、他方の逆量子化回路４５は加算器４７を介して
他の逆変換回路４８と接続されている。この加算器４７
には逆量子化回路４４の出力情報が入力され、逆量子化
回路４５の出力と加算されて逆変換回路４８に入力され
る。

【００２４】前記逆変換回路４６の出力端は加算器４９
と接続されている。この加算器４９の出力端は第３フレ
ームメモリ５０とフィルタ回路５１の直列回路と接続さ
れている。このフィルタ回路５１の出力端子５２は、切
換えスイッチＳＷ３を介して前記加算器４９の一入力端
と接続されている。スイッチＳＷ３はイントラ情報では
端子５３側にインター情報に対しては前記端子５２側に
切換えられるものである。

【００２５】前記スイッチＳＷ３と切換え接続される端
子５３は、前記逆変換回路４８の出力端と接続される加
算器５４の一入力端と接続される。加算器５４の出力端
にはスイッチ操作回路５５と切換え端子５６が接続され
、このスイッチ操作回路５５で切換え操作されるスイッ
チＳＷ４を介してディスプレイ５７と接続される。前記
スイッチＳＷ４は、前記端子５６または他の端子５８側
と接続されるようになっており、この端子５８と前記ス
イッチＳＷ４との間には、スイッチＳＷ４が端子５８と
接続されたとき、前記ディスプレイ５７に対し前フレー
ムの出力信号をそのまま出力するための第４フレームメ
モリ５９が接続されている。

【００２６】以上の構成の受信器３９において、スイッ
チＳＷ３はイントラ情報に対しては端子５３と接続され
、インター情報に対して端子５２と接続されている。 また、スイッチＳＷ４は、前述の無意情報に対しては端
子５８と接続されるが、有意ブロック情報に対しては端
子５６と接続されている。

【００２７】従って、イントラ情報に関しては、加算器
５４で全段階の情報が加算されてディスプレイ表示され
る。また、インター情報では、第１段階の符号化情報は
逆量子化回路４４、逆変換回路４６を経たのち第３フレ
ームメモリ５０に蓄えられる。第２段階の符号化情報は
復号回路４３、逆量子化回路４５を経たのち第１段階の
情報と合わせて逆変換回路４８において逆変換され、参
照画像であるフレームメモリ５０の内容を加算し、第４
フレームメモリ５９に蓄えられる。ただし、符号化情報
即ちフレーム間差分情報や動きベクトル情報がないマク
ロブロックの場合には、第４フレームメモリ５９を書き
替えない。また画面の該当部分も更新しない。

【００２８】誤差について補足すると、本発明方式では
、誤差は送信ブロックから前フレームの該当ブロック（
低域のみ）を差し引いたフレーム間予測誤差と、送信ブ
ロックから前フレームの該当ブロックと動きベクトルの
合成値を引いた動き補償後の誤差と、送信ブロックから
前フレームのきれいな該当ブロック（低域成分と他の成
分の合成値）を引いた有意／無意判定のための誤差の３
種類に分けられる。

【００２９】ここに、通常の方式では、動きベクトルと
動き補償後の誤差を送る。または動き補償後の誤差がゼ
ロのとき動きベクトルのみ送る。または動きベクトルが
ゼロのときフレーム間予測誤差を送る。または動きベク
トルのフレーム間予測誤差もゼロのとき何も送らない。

【００３０】これに対し、発明方式の場合は、動きベク
トルがゼロのときフレーム間予測を送る場合について、
有意／無意判定のための誤差を特に計算して有意／無意
判定を行う。無意ならば強制的に何も送らないこととし
てしまうことで、高域の送り直しを防ぎ、本当に動いて
いるものの他、動きはないが何かの変化が起きている有
意ブロックのみを残している。

【００３１】図３は無意ブロックの判別制御手段ＳＭＢ
における無意ブロック判別方式の一例を示すロフーチャ
ートである。ステップ３０１では、イントラ情報または
インター情報が判別される。ステップ３０２では、動き
ベクトルがゼロであるか否かが判別される。ステップ３
０３では、送信ブロックと第２フレームメモリ３５との
差分の２乗平均値σ２　を閾値Ｔｈｒ　と比較する。イ
ンター情報で、動きベクトルがゼロで、かつσ２　＜Ｔ
ｈｒ　のとき、当該送信ブロックは無意情報（無意ブロ
ック）であると判別する。その他の送信ブロックはステ
ップ３０５で全て有意情報（有意ブロック）であるとす
る。無意ブロックは、実質的に動きの無いブロックであ
ることを意味する。

【００３２】一般に、動きベクトルは、ぼやけた画像と
送信画像との間で算出されるので、実質的に動きの有る
ブロックを動きが無いと判別してしまう。これに対し、
本例では、ステップ３０３を追加しσ２　＜Ｔｈｒ　の
とき、無意ブロックであると判別するので、より確実に
実際動作を検出し、受信器３９において高品質の画像を
再生できる。

【００３３】即ち、受信器３９のスイッチ操作回路５５
は、有意または無意ブロックに応じてスイッチＳＷ４を
操作し、有意ブロックについては加算器５４の出力をそ
のままディスプレイ５７に表示し、かつ第４フレームメ
モリに蓄積する。そして、無意ブロックでは、スイッチ
ＳＷ４を端子５８に接続し、第４フレームメモリ５９の
記憶内容を充当する。

【００３４】図４は他の無意ブロック判別方式を示す。 ステップ４０１，４０２はステップ３０１，３０２と同
様である。ステップ４０３は、送信ブロックと第２フレ
ームメモリ３５との差分を離散コサイン変換し、所定の
ステップサイズで量子化すると非ゼロになる係数が存在
するか否かを判別するものである。有ればステップ４０
５へ移行してこれは有意ブロックであるとする。動きベ
クトルがゼロで、かつ非ゼロ係数が無しの場合、これは
無意ブロックであるとする。これにより、より確実に動
きの無い画像を検出し、高品質の画像を再生できる。

【００３５】図５は、ａを変換回路１３において離散コ
サイン変換を行う情報の２乗平均値、または量子化回路
１４において量子化を行った後の情報の２乗平均値とし
、ｂを送信ブロックと第２フレーム３５との差分の２乗
平均値（σ２　）とし、ａ≧ｂで無意ブロックを判別す
るものである。

【００３６】図６は、さらに他の無意ブロック判別方式
を示すフローチャートである。本例では、ステップ６０
３で量子化回路１４で量子化後、全ての係数の量子化値
がゼロとなる場合を判別し、これがゼロの場合に当該ブ
ロックを無意ブロックであるとするものである。

【００３７】図４〜図６の判別方式を採用する場合には
、図２に示す無意ブロック判別制御回路ＳＭＢの信号入
力線を適宜接続変更すれば良い。また、図３〜図６のス
テップ３０４，４０４，５０４，６０４に示す判別方式
は、適宜組み合わせて使用することができる。

【００３８】以上により、本例の動画像符号化・再生装
置によれば、第１，第２の量子化回路１４，３０を介し
て低域及び高域の画像を階層符号化方式にて符号化し送
信するのでセル廃棄対策に対し対応でき、かつインター
情報において動きベクトルがゼロである場合には、ステ
ップ３０４、４０４、５０４，６０４に示した判別を追
加することにより実質的に動きの無い画像についてのみ
前フレームの画像を用いることができ、セル廃棄対策の
ため生じた符号の冗長性をなくし、対策のない場合とほ
ぼ同等の画質が得られる。

【００３９】本発明は、上記実施例に限定さるものでは
なく、本発明の要旨を逸脱しない範囲で適宜変形して実
施し得る。

【００４０】

【発明の効果】以上の通り、本発明は特許請求の範囲に
記載の通りの動画像符号化・再生装置であり、動きベク
トルがゼロであることを検出する手段と、前フレームの
低域成分及び他の成分の合成値と送信ブロック間の輝度
誤差を検出する手段と、前記動きベクトルがゼロで、か
つ前記誤差情報またはこれを変形して得られる誤差情報
が予め設定した閾値以下であるとき前記送信ブロックを
送信しないことにする無意情報判別制御手段とを備えた
ので、単にフレーム間予測誤差があれば全て伝送する場
合と比べ実質的に動きゼロである場合のみ送信を省略す
ることができ、高品質の画像を再生できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像符号化・再生装
置の送信部分の構成を示すブロック図。

【図２】上記動画像符号化、再生装置の受信器部分の構
成を示すブロック図。

【図３】上記送信器の無意ブロック判別制御回路の無意
ブロック判別方式を示すフローチャート。

【図４】他の無意ブロック判別方式を示すフローチャー
ト。

【図５】その他の無意ブロック判別方式を示すフロート
チャート。

【図６】さらに他の無意ブロック判別方式を示すフロー
チャート。

【図７】従来の動画像符号化の再生装置の一例を示すブ
ロック図。

【図８】ＣＩＦフォーマットによるデータ構造を示す説
明図。

【符号の説明】

３　　マルチブロック １１　　動き補償回路 １３　　変換回路 １４　　量子化回路 ２２，３１　　逆量子化回路 ２５　　第１フレームメモリ ２３，３３　　逆変換回路 ３０　　誤差量子化回路 ３５　　第２フレームメモリ ５０　　第３フレームメモリ ５５　　スイッチ操作回路 ５９　　第４フレームメモリ ＳＭＢ　　無意ブロック判別制御回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】　　動画像のフレームを所定の数の画像ブ
   ロックに分けた後、各ブロックを低周波成分と他の成分
   とに分けて階層符号化を行ない、かつフレーム間予測ま
   たは動き補償を用いて符号化を行なう動画像符号化装置
   において、送信対象としての前記画像ブロックを、前フ
   レームの階層化された符号の低周波成分にあたる階層の
   みから復号した画像と比較しフレーム間予測または動き
   補償を行なう手段と、前記送信ブロックを、前フレーム
   の階層化された符号を用いて復号した画像の当該ブロッ
   クと比較し誤差を計算する手段と、前記動き補償の結果
   動きベクトルがゼロであり、かつ前記誤差ないしそれを
   変形して得られる誤差情報が予め設定された閾値以下で
   あるときには、当該送信ブロックを無意情報と判断して
   送信しないと判定する判別制御手段と、を備えたことを
   特徴とする動画像符号化装置。
2. 【請求項２】　　請求項１において、前記誤差情報は、
   前記誤差の２乗平均値で定義されることを特徴とする動
   画像符号化装置。
3. 【請求項３】　　請求項１において、前記誤差情報は、
   前記輝度誤差を変換し量子化した値で定義されることを
   特徴とする動画像符号化装置。
4. 【請求項４】　　請求項１において、前記閾値は、送信
   器における変換回路またはその後段の量子化回路を通っ
   た後の値の２乗平均値で定義されることを特徴とする動
   画像符号化装置。
5. 【請求項５】　　請求項１において、前記フレーム間予
   測誤差がゼロ及び動きベクトルがゼロの場合は、前記誤
   差の値によらず該ブロックを無意と判断することを特徴
   とする動画像符号化装置。
6. 【請求項６】　　動画像のフレームを所定の数のブロッ
   クに分けた後、各ブロックを低周波成分と他の成分とに
   分けて階層符号化を行ない、かつフレーム間予測または
   動き補償を用いて符号化された符号を再生する動画像再
   生装置において、受信対象としての受信ブロックが、フ
   レーム内符号化情報、フレーム間予測誤差情報、動きベ
   クトル情報のいずれも持たない時には、当該受信ブロッ
   クを無意情報と判断する無意情報判別手段と、前記受信
   ブロックが無意でないとき、受信した前フレームの階層
   化された符号の低周波成分にあたる階層のみから復号し
   た画像を予測値として復号を行なう手段と、前記受信ブ
   ロックが無意情報であるとき、受信した前フレームの階
   層化された符号を用いて復号した画像に該当するブロッ
   クを復号値とする手段と、を備えたことを特徴とする動
   画像再生装置。