JP3646849B2

JP3646849B2 - Stereo moving image encoding device

Info

Publication number: JP3646849B2
Application number: JP16434798A
Authority: JP
Inventors: 整内藤; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1998-05-28
Filing date: 1998-05-28
Publication date: 2005-05-11
Anticipated expiration: 2018-05-28
Also published as: JPH11341520A

Description

【０００１】
【発明の属する技術分野】
この発明はステレオ動画像用符号化装置に関し、特に、一方のチャンネルに動き補償を施して動きベクトルおよび予測誤差を伝送し、他方のチャンネルに動き補償と視差補償を施し、動きベクトル、視差ベクトルおよび予測誤差を伝送するステレオ動画像用符号化装置に関する。
【０００２】
【従来の技術】
従来のステレオ動画像の符号化装置の一例を、図９のブロック図を参照して説明する。ステレオ動画像符号化装置は左右のチャンネルの動画像を符号化する二つの符号化装置から構成されている。
【０００３】
左チャンネル（または、基本チャンネル）の符号化装置は、原画を記憶する原画フレームメモリ１１と、予測誤差信号を生成する減算器１２と、該減算器１２から出力された予測誤差信号を直交変換、例えばＤＣＴ変換する直交変換部１３と、直交変換されたデータを量子化する量子化部１４と、該量子化されたデータを可変長符号化する可変長符号化部１５を備えている。また、さらに、前記量子化部１４で量子化されたデータを逆量子化する逆量子化部１６と、逆直交変換部１７と、加算器１８と、再生画を一時的に記憶する再生画フレームメモリ１９と、前記原画フレームメモリ１１からの原画と前記再生画とで動き補償を行う動き補償部２０と、予測画フレームメモリ２１とを具備している。
【０００４】
一方、右チャンネル（または、拡張チャンネル）の符号化装置は、予測モード選択部４１および視差補償部４３を除いて、前記左チャンネルの符号化装置の構成と同様の構成３１〜４０および４２を具備している。なお、前記再生画フレームメモリ１９からの再生画は視差補償部４３に入力されるように構成されている。上記の構成において、左チャンネルは、通常の（動き補償＋ＤＣＴ）に基づく符号化が行われる。一方、右チャンネルでは、（動き補償または視差補償＋ＤＣＴ）に基づく符号化が行われる。すなわち、前記予測モード選択部４１は動き補償部４０と視差補償部４３の両方のうちの予測誤差の小さい方を選択し、予測画フレームメモリ４２に接続する。この動作以外は、左チャンネルと同様の動作が行われる。
【０００５】
さて、前記した従来のステレオ動画像の符号化装置においては、基本チャンネルと拡張チャンネルの符号化効率の差を考慮に入れて符号化ビット数の配分を決定することにより、左右間の画質が均等に保てるように制御していた。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記した従来技術においては、符号化ビット数の配分は一律であったり、過去の符号化結果からこれに後続する符号化単位（複数フレーム）に対する符号化ビット数の配分を決定したりするため、ピクチャのシーンの特徴の変動に応じて制御誤差が生じ、左右間の画質のバランスが保てなくなるという問題があった。
【０００７】
本発明の目的は、前記した従来技術の問題点を除去し、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することのできるステレオ動画像用符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、前記基本チャンネルの量子化ステップサイズが前記拡張チャンネルの量子化ステップサイズより小さくなるようにする手段を具備し、前記基本チャンネルの量子化ステップサイズを拡張チャンネルのそれに比べて小さく保つようにし、かつ前記基本チャンネルの量子化ステップサイズが予め定められた値より大きくなる場合に、前記拡張チャンネルの量子化ステップサイズが前記基本チャンネルの量子化ステップサイズより大きくするのを禁止する手段をさらに具備した点に第１の特徴がある。
【００１０】
前記第１の特徴によれば、基本チャンネルの符号化ビット数を拡張チャンネルの符号化ビット数より、常に多く割り当てることができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態のステレオ動画像用符号化装置の要部の構成を示すブロック図であり、本発明と直接関係のない構成は図示を省略されている。なお、図１中の図９と同符号は同一または同等物を示す。
【００１２】
図において、マクロブロック情報保存テーブル２２は動き補償部２０から得たマクロブロック情報（例えば、符号化モード等）を保存する。送信待ちバッファ２３は可変長符号化器１５で可変長符号化されたデータを一時的に蓄積し、該データを送出する回線とのマッチングをとる。発生ビット数算出部２４は１ピクチャ（１フレーム）毎に、ピクチャ符号化開始時から発生したビット数を算出する。仮想バッファ占有量算出部２５は後で詳述するように、仮想バッファの占有量を算出する。割当てビット配分設定部２６はピクチャ単位で基本チャンネル（左）と拡張チャンネル（右）とに割り当てるビット数を設定する。本実施形態では、拡張チャンネルの再生画像は拡張チャンネルのみからしか参照されないのに対して、基本チャンネルの再生画像は双方のチャンネルから参照されるため、基本チャンネルに割り当てるビット数を拡張チャンネルに割り当てるビット数よりもやや多めに、例えば１０％程度多めに設定する。
【００１３】
次に、マクロブロック情報保存テーブル４４は、動き補償部４０および視差補償部４３から予測モード選択部４１の動作と同期して得たマクロブロック情報（例えば、符号化モード等）を保存する。送信待ちバッファ４５、発生ビット数算出部４６および仮想バッファ占有量算出部４７の動作は前記送信待ちバッファ２３、発生ビット数算出部２４および仮想バッファ占有量算出部２５の動作と同じであるので説明を省略する。多重化器２７は、基本チャンネルと拡張チャンネルの符号化データを多重化して回線２８に送出する。
【００１４】
上記した構成を有する本実施形態のステレオ動画像用符号化装置の動作を、以下に説明する。基本（左）チャンネルの原画像がピクチャ単位で基本チャンネルの減算器１２に入力すると、該減算器１２は原画像と予測画フレームメモリ２１から入力される予測画信号との差を取り、予測誤差信号を生成する。生成された予測誤差信号は直交変換部１３で直交変換され、量子化器１４に入力する。該量子化器１４は図２のフローチャートで説明する処理により、量子化ステップサイズを決定され、前記直交変換されたデータを該量子化ステップサイズで除算することにより、量子化レベルを算出する。該量子化器１４から出力された量子化レベルは可変長符号化器１５で可変長符号化され、送信待ちバッファ２３に一時的に蓄積される。
【００１５】
一方、拡張（右）チャンネルの原画像がピクチャ単位で拡張チャンネルの減算器３２に入力すると、該減算器３２は原画像と予測画フレームメモリ４２から入力される予測画信号との差を取り、予測誤差信号を生成する。なお、該予測画フレームメモリ４２には、動き補償部４０と視差補償部４３の両方のうちの予測誤差の小さい方が前記予測モード選択部４１によって選択されて接続される。また、該選択と同期して、マクロブロック情報保存テーブル４４にマクロブロック情報が格納される。上記のようにして生成された予測誤差信号は、直交変換部３３で直交変換されるが、以降の動作は前記した基本チャンネルの動作と同様であるので、説明を省略する。
【００１６】
次に、前記量子化器１４および３４の量子化ステップサイズを決定する動作を図２のフローチャートを参照して説明する。なお、該量子化ステップサイズを決定する動作は量子化器１４および３４の両方において同じであるので、量子化器１４における動作を説明し、量子化器３４における動作の説明は省略する。
【００１７】
発生ビット数算出部２４は、ステップＳ１にて、前記送信待ちバッファ２３が可変長符号化器１５によって符号化された前記ピクチャのデータを取得し始めたか否かの判断をする。この判断が肯定になると、該発生ビット数算出部２４は、送信待ちバッファ２３のデータ占有量ｄ0 を送信待ちバッファ２３から取得する。次いで、該発生ビット数算出部２４は、ステップＳ３にて、ピクチャ符号化開始時からの発生ビット数ｓを算出する。前記ピクチャ符号化開始時のデータ占有量ｄ0 と、ピクチャ符号化開始時からの発生ビット数ｓは、仮想バッファ占有量算出部２５に送られる。
【００１８】
ステップＳ４では、前記仮想バッファ占有量算出部２５は、下記の(1) 式にて、仮想バッファ占有量ｄを算出する。
ｄ＝ｄ0 ＋ｓ−ｊ・（Ｔ1 ／Ｎ_MB）…(1)
ここに、Ｎ_MBはピクチャ内のマクロブロック数、ｊ（＝０，１，…，Ｎ_MB−１）は当該マクロブロックの位置、Ｔ1 は当該ピクチャのターゲット（目標）ビットレートである。なお、拡張チャンネルの当該ピクチャのターゲットビットレートはＴ2 となっており、本実施形態では、Ｔ1 ≧Ｔ2 とされている。
【００１９】
次に、ステップＳ５に進むと、量子化器１４は当該マクロブロックの符号化モード、アクティビティ、および前記仮想バッファ占有量ｄを取得して、量子化ステップサイズの算出を行う。該量子化ステップサイズの算出方法について、以下に説明する。
【００２０】
まず、マクロブロック毎に、量子化パラメータ（mquant) を、次の(2) 式により算出する。
mquant＝Ｑ_j×Ｎ_actj …(2)
ここに、Ｑ_j＝３２×ｄ／ｒ
ｒ＝２×（ビットレート）／（ピクチャレート）
Ｎ_actj＝（２×act _j＋avg-act ）／（act _j＋２×avg-act ）
なお、act _jは当該マクロブロックのアクティビティ、avg-act は直前ピクチャのact _jの平均である。前記ビットレートは１チャンネル分に相当し、左右トータルのビットレートをＴ1 、Ｔ2 の比率に応じて配分した値である。また、前記ピクチャレートは１秒間に符号化されるピクチャ数で、一般的には、ピクチャレート＝３０である。
【００２１】
上記の式(2) にて量子化パラメータ（mquant) が求まると、次に、直交変換の係数位置に応じた重みを該量子化パラメータ（mquant) に掛けて、量子化ステップサイズとする。
【００２２】
再び図２に戻って、ステップＳ６に進むと、前記直交変換の係数を前記量子化ステップサイズで除算して量子化レベルを算出する。ステップＳ７では、量子化処理が終了したか否かの判断を行い、該判断が否定の時には、ステップＳ３に戻って、前記した処理を続行する。
【００２３】
上記した量子化処理が、基本チャンネルおよび拡張チャンネルで実行されると、前記割当てビット配分設定部２６におけるピクチャのターゲットビットレートの割当ては、（基本チャンネルのピクチャのターゲットビットレートＴ1 ）≧（拡張チャンネルのピクチャのターゲットビットレートＴ2 ）となっているから、前記の各式から明らかなように、ピクチャ毎に、常に基本チャンネルの量子化ステップサイズが拡張チャンネルの量子化ステップサイズより所定量だけ小さくなる。したがって、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００２４】
次に、本発明の第２実施形態を図３を参照して説明する。図３の図１と同符号は、同一または同等物を示す。この実施形態の特徴は、基本チャンネルおよび拡張チャンネル共通の仮想バッファ占有量ｄを算出し、該仮想バッファ占有量ｄの割り当てを、基本チャンネルに対する割り当てより拡張チャンネルに対する割り当てを大きくした点に特徴がある。
【００２５】
図３において、５１は１ピクチャ（１フレーム）毎に、ピクチャ符号化開始時から発生したビット数を算出する発生ビット数算出部、５２は仮想バッファ占有量算出部、５３は基本チャンネルおよび拡張チャンネルの２ピクチャに対する割当てビット数Ｔを設定する割当てビット数設定部である。また、５４は前記仮想バッファ占有量ｄに１／２を掛け算する１／２掛算器、５５は該仮想バッファ占有量ｄにＷR （ただし、ＷR ≧１／２）を掛け算するＷR 掛算器である。なお、本実施形態では１／２掛算器５４を用いたが、１／２掛算器に限定されるものではなく、１／ｎ（ｎは正の実数）掛算器であっても良い。
【００２６】
次に、本実施形態の動作を説明する。前記第１実施形態と同様に、基本チャンネルの入力画像（ピクチャ）は直交変換部１３でその予測誤差信号が直交変換され、量子化器１４で量子化され、可変長符号化器１５で可変長符号化される。同様に、拡張チャンネルの入力画像は直交変換部３３でその予測誤差信号が直交変換され、量子化器３４で量子化され、可変長符号化器３５で可変長符号化される。そして、該可変長符号化されたデータは、基本チャンネルおよび拡張チャンネル共通の送信待ちバッファ２３に一時的に記憶され、所定のビットレートで回線２８に送出される。
【００２７】
また、発生ビット数算出部５１は、送信待ちバッファ２３のデータ占有量ｄ0 を送信待ちバッファ２３から取得すると共に、当該ピクチャの符号化開始時からの発生ビット数ｓを算出し、該データ占有量ｄ0 と発生ビット数ｓを仮想バッファ占有量算出部５２に供給する。仮想バッファ占有量算出部５２は該データ占有量ｄ0 と発生ビット数ｓ、および割当てビット数設定部５３から供給された割当てビット数Ｔとを入力され、前記(1) 式により仮想バッファ占有量ｄを算出する。なお、この第２実施形態では、(1) 式のＴ1 に代えて、Ｔを用いる。
【００２８】
次いで、前記仮想バッファ占有量ｄは１／２掛算器５４とＷR 掛算器５５に入力し、その演算結果であるｄ1 とｄ2 はそれぞれ基本チャンネルの量子化器１４と拡張チャンネルの量子化器３４に送られる。該基本チャンネルの量子化器１４および拡張チャンネルの量子化器３４は、それぞれ、前記(2) 式により量子化パラメータ（mquant) を求め、第１実施形態で説明したのと同様の方法により、ピクチャの直交変換データに対して量子化レベルを算出する。
【００２９】
図４は、前記量子化器１４および３４の量子化ステップサイズを決定する動作を示すフローチャートである。なお、図２と同ステップは、同一または同等のステップを示す。
【００３０】
ステップＳ１では、当該ピクチャの直交変換データが送信待ちバッファ２３にて取得されたか否かの判断がなされ、この判断が肯定になると、ステップＳ２に進んで、発生ビット数算出部５１は該送信待ちバッファ２３のデータ占有量ｄ0 を取得する。次に、ステップＳ１１では、発生ビット数算出部５１は基本および拡張チャンネルの当該ピクチャの符号化開始時からの発生ビット数ｓを算出する。次に、ステップＳ４では、仮想バッファ占有量算出部５２は、前記(1) 式により、仮想バッファ占有量ｄを算出する。ステップＳ１２では、基本チャンネルか否かの判断がなされ、この判断が肯定の時には、ステップＳ１３に進んで、１／２掛算器５４により基本チャンネルに割当てる仮想バッファ占有量ｄ1 が求められる。一方、前記判断が否定の時には、ステップＳ１４に進んで、ＷR 掛算器５５により拡張チャンネルに割当てる仮想バッファ占有量ｄ2 が求められる。
【００３１】
次に、ステップＳ５では、基本チャンネルの量子化器１４は、前記仮想バッファ占有量ｄ1 、前記マクロブロック情報保存テーブル２２からの符号化モードおよびアクティビティから、第１実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。ステップＳ６では、直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。一方、ステップＳ５´では、拡張チャンネルの量子化器３４は、前記仮想バッファ占有量ｄ2 、前記マクロブロック情報保存テーブル４４からの符号化モードおよびアクティビティから、第１実施形態と同様に量子化パラメータならびに量子化ステップサイズを決定する。そして、ステップＳ６´では、ステップＳ６と同様に直交変換の係数を前記量子化ステップサイズで除算して、量子化レベルを算出する。
【００３２】
ステップＳ７では、量子化処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ１１に戻って、前記した動作が繰り返される。一方、該判断が肯定になると、量子化の動作は終了する。
【００３３】
以上のように、該第２実施形態によれば、基本チャンネルの直交変換係数の量子化を拡張チャンネルのそれに比べて細かく行うことができるので、第１実施形態と同様に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００３４】
次に、本発明の第３実施形態を、図５および図６を参照して説明する。図５は本実施形態の概略の構成を示すものであり、５６は占有量配分設定部を示し、他の符号は図３の同符号と同一または同等物を示す。また、図６は本実施形態の量子化ステップサイズを決定する動作を示すフローチャートであり、図４と同ステップは、同一または同等のステップを示す。
【００３５】
この実施形態は、前記占有量配分設定部５６において、図６のステップＳ１５〜Ｓ１７の処理をさせるようにした点に特徴がある。本実施形態では、仮想バッファ占有量閾値ｄthを設定する。該仮想バッファ占有量閾値ｄthは拡張チャンネルの画質の許容限界に対応する値であり、ステップＳ１５の判断が肯定になると、ステップＳ１６に進み、否定になるとステップＳ１７に進むようにする。
【００３６】
すなわち、ステップＳ１５では、仮想バッファ占有量ｄが前記閾値ｄthより大きくなったか否かの判断をする。そして、この判断が肯定になった時には、拡張チャンネルの画質が許容できる限界にきているので、拡張チャンネルの画質を基本チャンネルの画質と差を付けないように、あるいは該差が僅差となるように、拡張チャンネルの仮想バッファ占有量ｄ2 ＝１／２ｄとする。一方、ステップＳ１５の判断が否定の時には、拡張チャンネルの画質は許容できるので、基本チャンネルの画質とある程度の差を付けるべく、拡張チャンネルの仮想バッファ占有量ｄ2 ＝ＷR ×ｄ（ただし、ＷR ≧１／２）とする。
【００３７】
なお、前記の第１〜３実施形態では、量子化器１４、３４の外部で、それぞれに割当てる仮想バッファ占有量ｄ（ｄ1,ｄ2 ）を演算して求めるようにしたが、本発明はこれに限定されず、前記量子化器１４、３４の内部で演算して求めるようにしても良い。
【００３８】
次に、本発明の第４実施形態を、図７および図８を参照して説明する。図７において、６１、６３はそれぞれ基本チャンネルおよび拡張チャンネルの入力原画像に適用される空間領域フィルタ、具体的にはローパスフィルタである。また、６２、６４はフィルタ処理後の画像が格納される入力画フレームメモリである。なお、他の符号は、図１および図２の同一符号と同一または同等物を示す。
【００３９】
この実施形態の特徴は、前記拡張チャンネルのローパスフィルタ６３のフィルタ特性（遮断周波数）を基本チャンネルのローパスフィルタ６１のそれより強くし、拡張チャンネルの入力原画像からより多くの高域周波数成分を除去するようにした点にある。
【００４０】
図８は、本実施形態の要部の動作を示すフローチャートである。このフローチャートは、基本チャンネルの動作を示すが、拡張チャンネルの動作も同様である。ステップＳ２１では、基本チャンネルの入力原画像が取得され始めたか否かの判断がなされる。この判断が肯定になると、ステップＳ２２に進み、該入力原画像はローパスフィルタ６１に入力され、フィルタ処理を受ける。該フィルタ処理により、入力原画像から高域周波数成分が除去される。ステップＳ２３に進むと、該フィルタ処理後の画像が入力画フレームメモリ６２に格納される。拡張チャンネルにおいても前記と同様の動作が行われ、フィルタ処理後の画像が入力画フレームメモリ６４に格納される。
【００４１】
その後、割当てビット数設定部５３から供給された割当てビット数Ｔを用いて、第２実施形態で説明したのと同様に仮想バッファ占有量ｄを算出し、ｄを左右チャンネルに均等に配分した上で、基本および拡張チャンネルの量子化処理が行われる。
【００４２】
この実施形態によれば、基本チャンネルの符号化器に入力する原画像は、拡張チャンネルの符号化器に入力する原画像に比べて、高域周波数成分を多く含むので、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、常に高く保つことができるようになり、ピクチャのシーンの特徴に変動が生じても、左右間の画質のバランスを常に均等に保て、従来技術よりも高い符号化効率を実現することができるようになる。
【００４３】
なお、基本チャンネルのローパスフィルタ６１を除去して、入力画フレームメモリ６２に格納される画像の高域周波数成分が拡張チャンネルの入力画フレームメモリ６４に格納される画像に比べて多くなるようにしても良い。また、前記空間領域フィルタ６１、６３に代えて、時間領域フィルタを用いるようにしても良い。
【００４４】
【発明の効果】
以上の説明から明らかなように、本発明によれば、常に、基本チャンネルの再生画質を拡張チャンネルの再生画質に比べて、高く保つことができるようになるので、ピクチャのシーンの特徴に変動が生じても、左の画質を右よりも常に高く保て、従来技術よりも高い符号化効率を実現することができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の要部の構成を示すブロック図である。
【図２】本実施形態の量子化処理の動作を示すフローチャートである。
【図３】本発明の第２実施形態の要部の構成を示すブロック図である。
【図４】本実施形態の量子化処理の動作を示すフローチャートである。
【図５】本発明の第３実施形態の要部の構成を示すブロック図である。
【図６】本実施形態の量子化処理の動作を示すフローチャートである。
【図７】本発明の第４実施形態の要部の構成を示すブロック図である。
【図８】本実施形態の要部の動作を示すフローチャートである。
【図９】従来のステレオ動画像用符号化装置の概略の構成を示すブロック図である。
【符号の説明】
１１…原画フレームメモリ、１２、３２…減算器、１３、３３…直交変換部、１４、３４…量子化器、１５、３５…可変長符号化器、２０、４０…動き補償部、２１、４２…予測画フレームメモリ、２２、４４…マクロブロック情報保存テーブル、２３、４５…送信待ちバッファ、２４、４６、５１…発生ビット数算出部、２５、４７、５２…仮想バッファ占有量算出部、２６…割当てビット配分設定部、２７…多重化器、２８…回線、４１…予測モード選択部、４３…視差補償部、５３…割当てビット数設定部、５４…１／２掛算器、５５…ＷR 掛算器、５６…占有量配分設定部、６１、６３…ＬＰＦ、６２、６４…入力画フレームメモリ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coding apparatus for stereo moving images, and in particular, performs motion compensation on one channel to transmit a motion vector and a prediction error, performs motion compensation and disparity compensation on the other channel, and provides a motion vector, a disparity vector, and The present invention relates to an encoding apparatus for stereo video that transmits a prediction error.
[0002]
[Prior art]
An example of a conventional stereo video encoding apparatus will be described with reference to the block diagram of FIG. The stereo moving image encoding device is composed of two encoding devices that encode the moving images of the left and right channels.
[0003]
The left channel (or basic channel) encoding device includes an original picture frame memory 11 that stores an original picture, a subtracter 12 that generates a prediction error signal, and an orthogonal transform of the prediction error signal output from the subtractor 12, For example, an orthogonal transformation unit 13 that performs DCT transformation, a quantization unit 14 that quantizes the orthogonally transformed data, and a variable length coding unit 15 that performs variable length coding on the quantized data are provided. In addition, an inverse quantization unit 16 that inversely quantizes the data quantized by the quantization unit 14, an inverse orthogonal transform unit 17, an adder 18, and a reproduction image frame that temporarily stores the reproduction image. A memory 19, a motion compensation unit 20 that performs motion compensation between the original image from the original image frame memory 11 and the reproduced image, and a predicted image frame memory 21 are provided.
[0004]
On the other hand, the right channel (or extended channel) encoding apparatus includes configurations 31 to 40 and 42 similar to the configuration of the left channel encoding apparatus, except for the prediction mode selection unit 41 and the parallax compensation unit 43. doing. The replay image from the replay image frame memory 19 is configured to be input to the parallax compensation unit 43. In the above configuration, encoding based on normal (motion compensation + DCT) is performed on the left channel. On the other hand, in the right channel, encoding based on (motion compensation or parallax compensation + DCT) is performed. That is, the prediction mode selection unit 41 selects one of the motion compensation unit 40 and the parallax compensation unit 43 with the smaller prediction error and connects it to the prediction image frame memory 42. Except for this operation, the same operation as the left channel is performed.
[0005]
In the above-described conventional stereo video encoding apparatus, the distribution of the number of encoding bits is determined in consideration of the difference in encoding efficiency between the basic channel and the extension channel, so that the image quality between the left and right is equalized. It was controlled so that it could be kept.
[0006]
[Problems to be solved by the invention]
However, in the above-described prior art, the distribution of the number of encoded bits is uniform, or the distribution of the number of encoded bits for the subsequent encoding unit (multiple frames) is determined from past encoding results. Therefore, there is a problem that a control error occurs in accordance with a change in the feature of the picture scene, and the balance between the left and right image quality cannot be maintained.
[0007]
The object of the present invention is to eliminate the above-mentioned problems of the prior art, and to maintain the image quality on the left always higher than that on the right, even if the scene characteristics of the picture fluctuate, and to achieve higher coding efficiency than the prior art. An object of the present invention is to provide an encoding apparatus for stereo video that can be realized.
[0008]
[Means for Solving the Problems]
To achieve the above object, the present invention, one of the channels by applying the motion compensation coding as fundamental channel, stereo images in combination motion compensation encoding and disparity compensated coding the other channel as an extension channel And a means for making the quantization step size of the basic channel smaller than the quantization step size of the extension channel, and making the quantization step size of the basic channel smaller than that of the extension channel. And means for prohibiting the expansion channel quantization step size from becoming larger than the basic channel quantization step size when the basic channel quantization step size is larger than a predetermined value. there is a first aspect further point provided with the.
[0010]
According to the first feature, since the number of encoded bits of the basic channel can always be assigned more than the number of encoded bits of the extended channel, even if the scene characteristics of the picture fluctuate, Therefore, it is possible to achieve higher encoding efficiency than that of the prior art.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of a main part of a stereo moving image encoding device according to an embodiment of the present invention, and a configuration not directly related to the present invention is not shown. In FIG. 1, the same reference numerals as those in FIG. 9 denote the same or equivalent components.
[0012]
In the figure, a macroblock information storage table 22 stores macroblock information (for example, an encoding mode) obtained from the motion compensation unit 20. The transmission waiting buffer 23 temporarily accumulates the data encoded by the variable length encoder 15 and matches the line that transmits the data. The generated bit number calculation unit 24 calculates the number of bits generated from the start of picture encoding for each picture (one frame). The virtual buffer occupation amount calculation unit 25 calculates the occupation amount of the virtual buffer, as will be described in detail later. The allocation bit allocation setting unit 26 sets the number of bits allocated to the basic channel (left) and the extension channel (right) in units of pictures. In the present embodiment, the playback image of the extension channel is referenced only from the extension channel, whereas the playback image of the basic channel is referenced from both channels, so the number of bits assigned to the base channel is assigned to the extension channel. Set slightly larger than the number, for example, approximately 10%.
[0013]
Next, the macroblock information storage table 44 stores macroblock information (for example, an encoding mode) obtained from the motion compensation unit 40 and the parallax compensation unit 43 in synchronization with the operation of the prediction mode selection unit 41. The operations of the transmission waiting buffer 45, the generated bit number calculating unit 46, and the virtual buffer occupation amount calculating unit 47 are the same as the operations of the transmission waiting buffer 23, the generated bit number calculating unit 24, and the virtual buffer occupation amount calculating unit 25. Is omitted. The multiplexer 27 multiplexes the encoded data of the basic channel and the extension channel and sends them to the line 28.
[0014]
The operation of the stereo video coding apparatus of the present embodiment having the above-described configuration will be described below. When the original image of the basic (left) channel is input to the subtracter 12 of the basic channel in units of pictures, the subtracter 12 takes the difference between the original image and the predicted image signal input from the predicted image frame memory 21 to obtain a prediction error. Generate a signal. The generated prediction error signal is orthogonally transformed by the orthogonal transformation unit 13 and input to the quantizer 14. The quantizer 14 determines the quantization step size by the process described in the flowchart of FIG. 2, and calculates the quantization level by dividing the orthogonally transformed data by the quantization step size. The quantization level output from the quantizer 14 is variable-length encoded by the variable-length encoder 15 and temporarily stored in the transmission waiting buffer 23.
[0015]
On the other hand, when the original image of the extended (right) channel is input to the extended channel subtractor 32 in units of pictures, the subtracter 32 takes the difference between the original image and the predicted image signal input from the predicted image frame memory 42, A prediction error signal is generated. Note that the prediction mode selection unit 41 selects and connects one of the motion compensation unit 40 and the parallax compensation unit 43 with the smaller prediction error to the prediction image frame memory 42. In synchronism with the selection, the macroblock information is stored in the macroblock information storage table 44. The prediction error signal generated as described above is orthogonally transformed by the orthogonal transformation unit 33, but the subsequent operation is the same as the operation of the basic channel described above, and thus the description thereof is omitted.
[0016]
Next, the operation for determining the quantization step size of the quantizers 14 and 34 will be described with reference to the flowchart of FIG. Since the operation for determining the quantization step size is the same in both the quantizers 14 and 34, the operation in the quantizer 14 will be described, and the description of the operation in the quantizer 34 will be omitted.
[0017]
The generated bit number calculation unit 24 determines whether or not the transmission waiting buffer 23 has started to acquire the picture data encoded by the variable length encoder 15 in step S1. If this determination is affirmative, the generated bit number calculation unit 24 acquires the data occupation amount d0 of the transmission waiting buffer 23 from the transmission waiting buffer 23. Next, in step S3, the generated bit number calculation unit 24 calculates the generated bit number s from the start of picture encoding. The data occupancy d0 at the start of picture encoding and the number of generated bits s from the start of picture encoding are sent to the virtual buffer occupancy calculator 25.
[0018]
In step S4, the virtual buffer occupancy calculation unit 25 calculates the virtual buffer occupancy d using the following equation (1).
d = d0 + s-j. (T1 / _NMB ) (1)
Here, N _MB is the number of macroblocks in the picture, j (= 0, 1,..., N _MB −1) is the position of the macroblock, and T1 is the target bit rate of the picture. Note that the target bit rate of the picture of the extension channel is T2, and in this embodiment, T1 ≧ T2.
[0019]
Next, in step S5, the quantizer 14 obtains the encoding mode, activity, and virtual buffer occupation amount d of the macroblock, and calculates the quantization step size. A method for calculating the quantization step size will be described below.
[0020]
First, the quantization parameter (mquant) is calculated for each macroblock by the following equation (2).
mquant = Q _j × N _actj … (2)
Where Q _j = 32 × d / r
r = 2 × (bit rate) / (picture rate)
N _actj = (2 x act _j + avg-act) / (act _j +2 x avg-act)
Act _j is the activity of the macroblock, and avg-act is the average of act _j of the previous picture. The bit rate corresponds to one channel, and is a value obtained by distributing the left and right total bit rates according to the ratio of T1 and T2. The picture rate is the number of pictures encoded per second, and generally picture rate = 30.
[0021]
When the quantization parameter (mquant) is obtained by the above equation (2), the quantization parameter (mquant) is multiplied by a weight corresponding to the coefficient position of the orthogonal transformation to obtain the quantization step size.
[0022]
Returning to FIG. 2 again, when the process proceeds to step S6, the quantization level is calculated by dividing the coefficient of the orthogonal transform by the quantization step size. In step S7, it is determined whether or not the quantization process is completed. If the determination is negative, the process returns to step S3 to continue the above-described process.
[0023]
When the above-described quantization processing is executed in the basic channel and the extended channel, the allocation of the target bit rate of the picture in the allocation bit allocation setting unit 26 is (target bit rate T1 of the basic channel picture) ≧ (extended channel) Therefore, as is clear from the above equations, the quantization step size of the basic channel is always smaller than the quantization step size of the extension channel by a predetermined amount, as is apparent from the above equations. . Therefore, even if the scene characteristics of the picture change, the left image quality can always be kept higher than that of the right, and higher encoding efficiency than that of the prior art can be realized.
[0024]
Next, a second embodiment of the present invention will be described with reference to FIG. The same reference numerals as those in FIG. 1 in FIG. 3 denote the same or equivalent parts. The feature of this embodiment is that the virtual buffer occupation amount d common to the basic channel and the expansion channel is calculated, and the allocation of the virtual buffer occupation amount d is larger for the expansion channel than for the basic channel. .
[0025]
In FIG. 3, 51 is a generated bit number calculation unit for calculating the number of bits generated from the start of picture encoding for each picture (one frame), 52 is a virtual buffer occupation amount calculation unit, and 53 is a basic channel and an extension channel. This is an assigned bit number setting unit for setting the assigned bit number T for two pictures. Reference numeral 54 denotes a ½ multiplier that multiplies the virtual buffer occupation amount d by ½, and 55 denotes a WR multiplier that multiplies the virtual buffer occupation amount d by WR (where WR ≧ ½). . In this embodiment, the 1/2 multiplier 54 is used. However, the present invention is not limited to the 1/2 multiplier, and may be a 1 / n (n is a positive real number) multiplier.
[0026]
Next, the operation of this embodiment will be described. Similar to the first embodiment, the input image (picture) of the basic channel is orthogonally transformed by the orthogonal transformation unit 13 and quantized by the quantizer 14 and variable length by the variable length encoder 15. Encoded. Similarly, the input image of the extension channel is subjected to orthogonal transform of the prediction error signal by the orthogonal transform unit 33, quantized by the quantizer 34, and variable length coded by the variable length coder 35. The variable length encoded data is temporarily stored in the transmission waiting buffer 23 common to the basic channel and the extension channel, and is transmitted to the line 28 at a predetermined bit rate.
[0027]
The generated bit number calculation unit 51 obtains the data occupation amount d0 of the transmission waiting buffer 23 from the transmission waiting buffer 23, calculates the generated bit number s from the start of encoding of the picture, and determines the data occupation amount. d0 and the number of generated bits s are supplied to the virtual buffer occupation amount calculation unit 52. The virtual buffer occupancy calculation unit 52 receives the data occupancy d0, the number of generated bits s, and the allocation bit number T supplied from the allocation bit number setting unit 53, and the virtual buffer occupancy d according to the equation (1). Is calculated. In the second embodiment, T is used in place of T1 in the equation (1).
[0028]
The virtual buffer occupancy d is input to a 1/2 multiplier 54 and a WR multiplier 55, and the calculation results d1 and d2 are input to the basic channel quantizer 14 and the extended channel quantizer 34, respectively. Sent. Each of the basic channel quantizer 14 and the extended channel quantizer 34 obtains a quantization parameter (mquant) from the equation (2), and uses the same method as described in the first embodiment to generate a picture. The quantization level is calculated for the orthogonal transformation data.
[0029]
FIG. 4 is a flowchart showing an operation of determining the quantization step size of the quantizers 14 and 34. In addition, the same step as FIG. 2 shows the same or equivalent step.
[0030]
In step S1, it is determined whether or not the orthogonal transformation data of the picture has been acquired in the transmission waiting buffer 23. If this determination is affirmative, the process proceeds to step S2 and the generated bit number calculation unit 51 waits for the transmission waiting. The data occupation amount d0 of the buffer 23 is acquired. Next, in step S11, the generated bit number calculation unit 51 calculates the generated bit number s from the start of encoding of the picture of the basic and extended channels. Next, in step S4, the virtual buffer occupancy calculation unit 52 calculates the virtual buffer occupancy d using the equation (1). In step S12, it is determined whether or not the channel is a basic channel. If the determination is affirmative, the process proceeds to step S13, and the ½ multiplier 54 determines the virtual buffer occupation amount d1 to be allocated to the basic channel. On the other hand, when the determination is negative, the process proceeds to step S14, where the WR multiplier 55 determines the virtual buffer occupation amount d2 to be allocated to the extension channel.
[0031]
Next, in step S5, the basic channel quantizer 14 determines the quantization parameter and the activity from the virtual buffer occupancy d1, the encoding mode and activity from the macroblock information storage table 22, as in the first embodiment. Determine the quantization step size. In step S6, the coefficient of orthogonal transform is divided by the quantization step size to calculate the quantization level. On the other hand, in step S5 ′, the expansion channel quantizer 34 determines the quantization parameter and the activity from the virtual buffer occupancy d2 and the encoding mode and activity from the macroblock information storage table 44 as in the first embodiment. Determine the quantization step size. In step S6 ′, as in step S6, the orthogonal transform coefficient is divided by the quantization step size to calculate the quantization level.
[0032]
In step S7, it is determined whether or not the quantization process has been completed. If this determination is negative, the process returns to step S11 and the above-described operation is repeated. On the other hand, if the determination is affirmative, the quantization operation ends.
[0033]
As described above, according to the second embodiment, since the quantization of the orthogonal transform coefficient of the basic channel can be performed more finely than that of the extended channel, the reproduction image quality of the basic channel is the same as in the first embodiment. Can be maintained at a higher level than the playback quality of the extended channel, and even if the scene characteristics of the picture fluctuate, the image quality on the left can always be kept higher than that on the right. Efficiency can be realized.
[0034]
Next, a third embodiment of the present invention will be described with reference to FIGS. FIG. 5 shows a schematic configuration of the present embodiment, 56 denotes an occupation amount distribution setting unit, and other reference numerals are the same as or equivalent to the same reference numerals in FIG. FIG. 6 is a flowchart showing the operation of determining the quantization step size according to this embodiment, and the same steps as those in FIG. 4 indicate the same or equivalent steps.
[0035]
This embodiment is characterized in that the occupation amount distribution setting unit 56 performs the processing of steps S15 to S17 in FIG. In the present embodiment, a virtual buffer occupancy threshold dth is set. The virtual buffer occupancy threshold dth is a value corresponding to the allowable limit of the image quality of the extension channel. If the determination in step S15 is affirmative, the process proceeds to step S16. If the determination is negative, the process proceeds to step S17.
[0036]
That is, in step S15, it is determined whether or not the virtual buffer occupation amount d is larger than the threshold value dth. When this determination is affirmative, the image quality of the extended channel is at an acceptable limit, so that the image quality of the extended channel is not different from the image quality of the basic channel, or the difference is so small. Further, the virtual channel occupation amount d2 of the extension channel is set to 1 / 2d. On the other hand, when the determination in step S15 is negative, the image quality of the extended channel is acceptable, so that the virtual buffer occupation amount d2 = WR × d (where WR ≧ 1) of the extended channel in order to give a certain difference from the image quality of the basic channel. / 2).
[0037]
In the first to third embodiments, the virtual buffer occupancy d (d1, d2) to be assigned to each is calculated outside the quantizers 14 and 34, but the present invention is not limited to this. The present invention is not limited, and the calculation may be performed inside the quantizers 14 and 34.
[0038]
Next, a fourth embodiment of the present invention will be described with reference to FIGS. In FIG. 7, reference numerals 61 and 63 denote spatial domain filters, specifically low pass filters, applied to the input original images of the basic channel and the extended channel, respectively. Reference numerals 62 and 64 denote input image frame memories in which the image after the filter processing is stored. In addition, another code | symbol shows the same or equivalent thing as the same code | symbol of FIG. 1 and FIG.
[0039]
The feature of this embodiment is that the filter characteristic (cutoff frequency) of the low-pass filter 63 of the extended channel is made stronger than that of the low-pass filter 61 of the basic channel, and more high-frequency components are removed from the input original image of the extended channel. It is in the point that I tried to
[0040]
FIG. 8 is a flowchart showing the operation of the main part of this embodiment. This flowchart shows the operation of the basic channel, but the operation of the extension channel is the same. In step S21, it is determined whether or not the input original image of the basic channel has started to be acquired. If this determination is affirmative, the process proceeds to step S22, and the input original image is input to the low-pass filter 61 and subjected to filter processing. The high frequency component is removed from the input original image by the filtering process. In step S 23, the filtered image is stored in the input image frame memory 62. The same operation as described above is performed in the extension channel, and the image after the filter processing is stored in the input image frame memory 64.
[0041]
Thereafter, using the allocated bit number T supplied from the allocated bit number setting unit 53, the virtual buffer occupation amount d is calculated in the same manner as described in the second embodiment, and d is equally distributed to the left and right channels. Thus, the quantization processing for the basic and extended channels is performed.
[0042]
According to this embodiment, since the original image input to the basic channel encoder includes more high frequency components than the original image input to the extended channel encoder, the reproduction quality of the basic channel is improved. Compared to the playback quality of the extended channel, it can always be kept high, and even if fluctuations occur in the scene characteristics of the picture, the image quality balance between the left and right can always be kept even, which is higher than the conventional technology. Efficiency can be realized.
[0043]
It should be noted that the low-pass filter 61 for the basic channel is removed so that the high frequency components of the image stored in the input image frame memory 62 are larger than the image stored in the input image frame memory 64 of the extended channel. Also good. Further, a time domain filter may be used in place of the spatial domain filters 61 and 63.
[0044]
【The invention's effect】
As is clear from the above description, according to the present invention, since the playback image quality of the basic channel can always be kept higher than the playback image quality of the extended channel, there is a variation in the characteristics of the scene of the picture. Even if it occurs, the image quality on the left can always be kept higher than that on the right, and higher encoding efficiency than that of the prior art can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a main part of an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 3 is a block diagram showing a configuration of a main part of a second embodiment of the present invention.
FIG. 4 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 5 is a block diagram showing a configuration of a main part of a third embodiment of the present invention.
FIG. 6 is a flowchart illustrating an operation of a quantization process according to the present embodiment.
FIG. 7 is a block diagram showing a configuration of a main part of a fourth embodiment of the present invention.
FIG. 8 is a flowchart showing an operation of a main part of the present embodiment.
FIG. 9 is a block diagram showing a schematic configuration of a conventional stereo video encoding device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Original image frame memory, 12, 32 ... Subtractor, 13, 33 ... Orthogonal transform unit, 14, 34 ... Quantizer, 15, 35 ... Variable length encoder, 20, 40 ... Motion compensation unit, 21, 42 ... Predictive picture frame memory, 22, 44 ... Macroblock information storage table, 23, 45 ... Transmission waiting buffer, 24, 46, 51 ... Generated bit number calculation unit, 25, 47, 52 ... Virtual buffer occupation amount calculation unit, 26 ... allocation bit allocation setting unit, 27 ... multiplexer, 28 ... line, 41 ... prediction mode selection unit, 43 ... parallax compensation unit, 53 ... allocation bit number setting unit, 54 ... 1/2 multiplier, 55 ... WR multiplication 56, occupation amount distribution setting unit, 61, 63 LPF, 62, 64, input image frame memory.

Claims

In a stereoscopic video coding apparatus that applies motion compensation coding using one channel as a basic channel and uses motion compensation coding and parallax compensation coding together with the other channel as an extension channel,
Means for making the quantization step size of the basic channel smaller than the quantization step size of the extension channel,
When the quantization step size of the basic channel is kept smaller than that of the extension channel and the quantization step size of the basic channel is larger than a predetermined value, the quantization step size of the extension channel is The apparatus for encoding a stereo moving image, further comprising means for prohibiting the basic channel from being larger than a quantization step size.

The stereo moving image encoding device according to claim 1,
A stereo moving picture coding apparatus characterized in that an occupation amount of a basic channel of a buffer for temporarily storing data after quantization is made smaller than that of the extension channel.