JP3651706B2

JP3651706B2 - 動画像符号化装置

Info

Publication number: JP3651706B2
Application number: JP28091195A
Authority: JP
Inventors: 健中條; 健志駄竹
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-10-27
Filing date: 1995-10-27
Publication date: 2005-05-25
Anticipated expiration: 2015-10-27
Also published as: JPH09130787A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を少ない情報量に圧縮符号化する動画像符号化装置に係り、特に画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能な動画像符号化装置に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルＴＶ放送システムのような画像を伝送したり蓄積するシステムにおいて、伝送または蓄積のために画像を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化およびピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。
【０００３】
また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２が規定されている。これらはいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成３年６月）等に詳細が述べられている。
【０００４】
このような画像圧縮符号技術を用いた動画像符号化装置では、６４kbps以下といった低ビットレートで動画像を符号化する場合、入力動画像信号のフレームレートで符号化することは難しい。そこで、入力動画像信号を数フレーム毎に符号化するようにして、符号化フレームレートを落として、符号化することが一般的である。そして、１フレームの符号化が終了した時点で１フレームの符号化データが全て出力バッファに一時保持され、あらかじめ設定された符号化データの送信速度（符号化ビットレート）に従って通信路あるいは他のシステムに出力されるようになっている。
【０００５】
符号化フレームレートをどの程度に設定するかは、符号化品質に大きく影響があるため、非常に重要である。しかし、符号化のフレームレートを固定にした場合、入力動画像信号のフレームレートが３０Ｈｚだとすると、符号化のフレームレートは、何フレーム毎に符号化するかで、３０、１５、１０、７．５、６、５、４．２９、３Ｈｚといった離散的な値に決まってしまう。そのため、例えば、１０Ｈｚで符号化すると動きがよいが画質が悪く、７．５Ｈｚで符号化すると画質はよいが動きが悪いといった場合が生じたりする。また、動きの激しいシーンが現れて、急激に画質が落ちてしまうなどといった問題もおきる。
【０００６】
そこで、画質の変動に応じて、符号化フレームレートを変更する符号化制御が考えられている。例えば、ＰＳＴＮ（ＰｕｂｌｉｃＳｗｉｔｃｈｅｄＴｅｌｅｐｈｏｎＮｅｔｗａｏｒｋ公衆電話網）用の動画像符号化の標準方式であるＨ．２６３の標準化作業で用いられたシミュレーションモデルＴＭＮ５（ＩＴＵ−ＴＴＳＳＬＢＣ−９５ＳＧ１５ＷＰ１５／１ＶＩＤＥＯＣＯＤＥＣＴＥＳＴＭＯＤＥＬ、ＴＭＮ５、ｊａｎ．１９９５）では、符号化途中に符号化フレームレートが変わる可変フレームレート符号量制御のアルゴリズムが採用されている（ＴＭＮのアルゴリズム）。ＴＭＮのアルゴリズムは、１つ前のフレームの量子化パラメータＱＰの平均が小さくなるにつれ、次のフレームの目標の符号化フレームレートを上げ、フレームの目標の符号化データ量（目標符号量）を小さくするように、逆に１つ前のフレームの量子化パラメータＱＰの平均が大きくなると、次のフレームの目標の符号化フレームレートが下がり、フレームの目標符号量が大きくなるように制御をおこなっている。
【０００７】
【発明が解決しようとする課題】
このような圧縮符号化方式を通信や放送用の動画符号化に適用する場合、リアルタイムの通信を可能とするために低遅延であることが望まれる。
しかし、ＴＭＮアルゴリズムのように、画質の変動に応じて符号化フレームを変更させて、発生する符号化データ量を制御する従来の動画符号化装置は、出力バッファでの遅延を考慮していないために、符号化データの出力時に大きな遅延が発生する場合があるという問題があった。
【０００８】
そこで、本発明は、画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能な動画像符号化装置を提供することを目的とする。
【０００９】
【発明を解決するための手段】
本発明の動画像符号化装置は、入力画像信号を符号化する符号化手段と、この符号化手段から出力される符号化データを一時保持し、あらかじめ定められた送信レートで出力する出力手段と、この出力手段に保持されている符号化データを前記送信レートで出力する際の遅延時間が予め定められた許容遅延時間内になるように前記送信レートとあらかじめ定められた符号化フレームレートにて決定される符号量を調節することによりフレーム毎の目標符号量を設定し、この目標符号量を基に、前記符号化手段で発生される符号量を制御する制御手段とを具備することにより、画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能となる。
【００１０】
また、本発明の動画像符号化装置は、入力画像信号またはこの入力画像信号に対する予測残差信号を直交変換して得られた直交変換係数を量子化して符号化する符号化手段と、この符号化手段から出力される符号化データを一時保持し、あらかじめ定められた送信レートで出力する出力手段と、この出力手段に保持されている符号化データを前記送信レートで出力する際の遅延時間が、あらかじめ定められた許容遅延時間内になるように、前記送信レートとあらかじめ定められた符号化フレームレートにて決定される符号量を調節することにより、フレーム毎の目標符号量を設定し、この目標符号量を基に、前記符号化手段で量子化する際の量子化パラメータを制御する第１の制御手段と、前記出力手段に保持されている符号化データの符号量が、前記送信レートと前記許容遅延時間と前記符号化フレームレートによって決定される値になるまで前記符号化手段に入力される入力画像信号をフレーム単位にスキップするよう制御する第２の制御手段とを具備することにより、画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能となる。
【００１１】
また、前記第１の制御手段は、前記目標符号量と前記入力画像信号の画像複雑度を基に、前記符号化手段の量子化パラメータを制御することにより、より画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能となる。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る動画像符号化装置の構成を概略的に示したものである。
【００１３】
図１において、符号化部１１７に入力された入力動画像信号は、まず、入力動画像信号スイッチ１０１に入力され、ここで、符号化制御回路１１６からの制御に基づいて、符号化するフレームの入力動画像信号が選択されて、ブロック化回路１０２でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器１０３に入力され、ここで、後述するように生成される予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路１０２からの入力動画像信号のいずれか一方を、モード選択スイッチ１０４によって選択し、ＤＣＴ（離散コサイン変換）回路１０５により離散コサイン変換される。ＤＣＴ回路１０５で得られＤＣＴ係数データは、量子化回路１０６で量子化される。量子化回路１０６で量子化された信号は２分岐され、一方は可変長符号化回路１１３で可変長符号化される。一方、量子化回路１０６で量子化され２分岐された信号の他方は、逆量子化回路１０７及びＩＤＣＴ（逆離散コサイン変換）回路１０８により量子化回路１０６およびＤＣＴ回路１０５の処理と逆の処理を順次受けた後、加算器１０９でスイッチ１１２を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ１１０に蓄えられ、動き補償回路１１１に入力され、予測画像信号が生成される。
【００１４】
符号化制御回路１１６では、符号化部１１７の符号化情報と可変長符号化回路１１３からの符号化データ量（符号量）と出力バッファ１１５のバッファ量をもとに符号化部１１７を制御し、必要な情報を可変長符号化回路１１３におくる。可変長符号化回路１１３で符号化されたデータは、多重化回路１１４で多重化され、出力バッファ１１５で一定の出力レート（符号化ビットレート）で平滑化され、符号化データとして送られる。
【００１５】
符号化制御回路１１６には、出力バッファ１１５から出力される符号化データの符号化ビットレート（ｒａｔｅ（ｂｉｔｓ／ｓｅｃ））を通知する信号と符号化フレームレート（ｆ＿ｒａｔｅ（（Ｈｚ））を通知する信号と、出力バッファ１１５から出力される符号化データの許容される遅延時間すなわち、許容遅延時間（ｌｉｍｉｔ＿ｄｅｌａｙ（ｍｓｅｃ））を通知する信号が入力され、これらの信号によりあらかじめ設定される情報を基に、出力バッファ１１５から出力される符号化データの遅延時間を許容遅延時間（ｌｉｍｉｔ＿ｄｅｌａｙ（ｍｓｅｃ））以内になるよう符号化部１１７で発生される符号量を制御するようになっている。
【００１６】
次に、図２を参照して本発明の原理について説明する。なお、ここでは、１フレームの符号化が終了した時点で、１フレームの符号化データが全て出力バッファ１１５に入力され、符号化ビットレートｒａｔｅ（ｂｉｔｓ／ｓｅｃ）にしたがって、出力バッファから出力されるものとする。
【００１７】
平均遅延時間ａｖｅ＿ｄｅｌａｙ（ｍｓｅｃ）は、出力バッファ１１５のバッファ量Ｂに依存する。フレーム番号（ｆ＿ｎｏ）ｎのフレームでの遅延時間ｄｅｌａｙ＿ｔｉｍｅ（ｍｓｅｃ）は、フレーム番号ｎのフレームの符号化終了時のピークのバッファ量の値Ｂ［ｎ］を符号化ビットレートｒａｔｅで割って１０００を乗じた値となる。平均遅延時間ａｖｅ＿ｄｅｌａｙは、このようにして求めた遅延時間のそれまでの平均である。
【００１８】
本実施形態では、基本的には符号化するフレーム毎に目標符号量ｔａｒｇｅｔを算出して、それを基に、量子化パラメータ、符号化フレームレート、すなわち、スキップするフレーム数を変化させることで、遅延時間を一定に保つように制御するものである。
【００１９】
フレーム毎の目標符号量ｔａｒｇｅｔの初期値は、符号化ビットレートｒａｔｅを設定された符号化フレームレートｆ＿ｒａｔｅで割った値とする。ここで、設定するフレームレートｆ＿ｒａｔｅは、入力動画像信号のフレームレートＦＲを自然数で割った値である必要はない。従って、設定する符号化フレームレートｆ＿ｒａｔｅは、固定符号化フレームレートの時のように離散的な値でなく、自由度が上がる。例えば、ｆ＿ｒａｔｅは、７．２５（Ｈｚ）といったような値が設定できる。ただし、遅延時間の設定を守るために、その時点までの平均遅延時間ａｖｅ＿ｄｅｌａｙが設定値ｌｉｍｉｔ＿ｄｅｌａｙをこえてしまった場合には、こえた分だけフレーム毎の目標符号量ｔａｒｇｅｔを減らすようにする。
【００２０】
次にどのフレームを符号化するかの判断方法は、次のように行う。すなわち、バッファ量Ｂが、あらかじめ設定された符号化ビットレート、許容遅延時間に相当するバッファ量ｒａｔｅ＊ｌｉｍｉｔ＿ｄｅｌａｙ／１０００（ｂｉｔｓ）からデフォルトの目標符号量ｒａｔｅ／ｆｒａｍｅ（ｂｉｔｓ）を引いた量以下になるまで、符号化データを送出する。この時、次に何フレーム先のフレームを符号化するかを示す値をｆ＿ｃｎｔで表すとする。このように制御をおこなえば、次のフレームでの発生符号量が目標符号量以内に抑えられれば、遅延時間ｄｅｌａｙ＿ｔｉｍｅは設定値ｌｉｍｉｔ＿ｄｅｌａｙよりも大きくなることはない。
【００２１】
実際の発生符号量が目標符号量ｔａｒｇｅｔを大幅にこえた場合は、ｆ＿ｃｎｔが大きくなり、より多く入力フレームがスキップされて符号化フレームレートが下がり、逆に発生符号量が目標符号量を大幅に下回った場合は、ｆ＿ｃｎｔが小さくなり、通常よりスキップせずに符号化フレームレートが上がるようになる。
【００２２】
以上のように、フレーム毎の目標符号量ｔａｒｇｅｔを設定して発生符号量を制限するとともに、その結果、発生された符号量を基に、次に符号化するフレームを決定することにより、画質に応じた符号化フレームレートを実現し、出力バッファ１１５から出力される符号化データの平均遅延時間が、設定した許容遅延時間以内に抑えることができる。
【００２３】
図３は、図１の動画像符号化装置における１フレーム毎の符号化処理を行う際の符号化制御回路１１６の１フレーム毎の制御処理動作を説明するためのフローチャートである。
【００２４】
まず、１フレーム毎の符号化の前に、フレーム毎の目標符号量ｔａｒｇｅｔを設定をし（ステップＳ１０１）、そのｔａｒｇｅｔを基に、量子化回路１０６における量子化を行う際のフレーム毎の基準量子化パラメータｂ＿ＱＰを設定する（ステップＳ１０２）。
【００２５】
次に、各マクロブロック毎の符号化処理の前に、量子化パラメータＱＰの計算をおこない（ステップＳ１０３）、その値に基づいて、量子化回路１０６を制御して符号化処理をおこなう（ステップＳ１０４）。この量子化パラメータＱＰは、フレーム内符号化における量子化パラメータである。
【００２６】
１フレームの符号化処理が終了後、後述する処理により、符号化をスキップするフレーム数ｆ＿ｃｎｔを求め、次に符号化するフレームを決定する（ステップＳ１０５）。そして、このフレーム数ｆ＿ｃｎｔ分のフレームをスキップする
（間引く）ように、入力動画像信号スイッチ１０１を制御する。
【００２７】
次に、図４に示すフローチャートを参照して、図３のステップＳ１０１におけるフレーム毎の目標符号量ｔａｒｇｅｔの設定処理動作について詳細に説明する。
【００２８】
フレーム毎の目標符号量ｔａｒｇｅｔは、１フレーム目（フレーム番号ｆ＿ｎｏ＝１）は、初期値として、あらかじめ設定されたした符号化ビットレートｒａｔｅに設定される（ステップＳ２０１〜ステップＳ２０２）。２フレーム目以降（フレーム番号ｆ＿ｎｏ＝２以上）は、まず、設定された符号化ビットレートｒａｔｅを、設定された符号化フレームレートｆ＿ｒａｔｅで割った値でセットする（ステップＳ２０３）。ただし、前回まで符号化してきたフレームの符号化データについての平均遅延時間ａｖｅ＿ｄｅｌａｙが設定した遅延時間ｌｉｍｉｔ＿ｄｅｌａｙをこえている場合は（ステップＳ２０４）、こえた分に相当する符号量をｔａｒｇｅｔから減じておく（ステップＳ２０５）。
【００２９】
また、このセットされたｔａｒｇｅｔの値が、設定値ｒａｔｅを入力動画像信号のフレームレートＦＲで割った値よりも小さくなるような場合には（ステップＳ２０６）、制御が破綻する恐れがあるため、遅延量より符号量を優先してｔａｒｇｅｔにｒａｔｅ／ＦＲをセットする（ステップＳ２０７）。
【００３０】
次に、図３のステップＳ１０２におけるフレーム毎の基準量子化パラメータｂ＿ＱＰについて説明する。基準量子化パラメータｂ＿ＱＰは（１）式によって求めることができる。
【００３１】
【数１】

【００３２】
但し、ｂ＿ＱＰは、１〜３１に制限される。
なお、ｐｒｅ＿ＱＰは、１フレーム前の平均量子化パラメータ、ｐｒｅ＿ｆｒａｍｅ＿ｂｉｔｓは、１フレーム前の符号量、αは、第１の量子化パラメータの反応パラメータを表している。
【００３３】
基準量子化パラメータｂ＿ＱＰ求めるには、上記の他に次のようなものがある。
すなわち、１画面分の動き保証予測誤差信号（図１の信号１１８）の標準偏差ｓｇｍをあらかじめ計算し、この標準偏差ｓｇｍと目標符号量ｔａｒｇｅｔから決定する。この標準偏差は、小領域（例えば、８×８のブロック単位）毎に平均値を引いてから計算する。ｂ＿ＱＰは、（２）式より求めることができる。
【００３４】
【数２】

【００３５】
ここで、ａ、ｂは、定数であり、ａ＝０．２５、ｂ＝１．５程度にすればよい。
次に、図３のステップＳ１０３における量子化パラメータＱＰについて説明する。量子化パラメータＱＰは、（３）式によって求めることができる。なお、量子化パラメータＱＰは、マクロブロック毎の計算可能であるが、本実施形態では、ＱＰは、マクロブロックライン毎に計算する。
【００３６】
【数３】

【００３７】
但し、ＱＰは、１〜３１に制限される。
なお、（３）式において、ｍｂは、現在のマクロブロックの数（１〜ＭＢ）、ＭＢは、１フレーム当たりのマクロブロック数、βは、第２の量子化パラメータの反応パラメータ、配列ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各マクロブロックの発生符号量を表している。
【００３８】
次に、図５に示すフローチャートを参照して、図３のステップＳ１０５における符号化フレームの決定処理動作について説明する。
ここで、ｆ＿ｃｎｔは、次に何フレーム先を符号化するか、すなわち、符号化をスキップフレーム数を示している。
【００３９】
まず、そのフレームで発生した符号量が可変長符号化回路１１３から通知されると、そのときの出力バッファ１１５のバッファ量Ｂに足し込む（ステップＳ３０１）。
【００４０】
次に何フレーム先を符号化するかを示す値ｆ＿ｃｎｔの決定方法は、次の通りである。まず、ｆ＿ｃｎｔの値を「０」にセットし初期化する（ステップＳ３０２）。そして、設定した符号化ビットレートｒａｔｅを入力動画像信号のフレームレートＦＲで割った値、つまり、入力動画像信号のフレームレートＦＲでの送信レートに相当する符号量を、バッファ量Ｂから引いてゆき（ステップＳ３０３）、バッファ量Ｂが設定した許容遅延時間（ｌｉｍｉｔ＿ｄｅｌａｙ）に相当する符号量（ｒａｔｅ×ｌｉｍｉｔ＿ｄｅｌａｙ／１０００）から、デフォルトのフレーム毎の符号量（ｒａｔｅ／ｆ＿ｒａｔｅ）を引いた値以下になるまで（ステップＳ３０５）、ｆ＿ｃｎｔを増加させてゆく（ステップＳ３０４）。これにより、符号化をスキップフレーム数がｆ＿ｃｎｔが求まる。
【００４１】
次に、図６に示すフローチャートを参照して、符号化処理を行う際の符号化制御回路１１６の１フレーム毎の他の制御処理動作について説明する。
この符号化制御の方法は、符号化する前に、スイッチ１０９で選択された予測残差信号１１８のアクティビティを計算して、各マクロブロック毎の目標符号量を設定して、より画質に応じた符号化制御をおこなうことに特徴がある。なお、予測残差信号１１８のアクティビティとは、マクロブロック毎の符号化する画像の複雑度を表す画像の状態情報で、例えば、このアクティビティの値が大きいほど符号量が多くなる必要があることを示している。
【００４２】
まず、１フレーム毎の符号化の前に、フレーム毎の目標符号量Ｔａｒｇｅｔを設定し（ステップＳ４０１）、さらに、各マクロブロック毎の目標符号量ｔａｒｇｅｔ＿ｍｂを設定する（ステップＳ４０２）。そして、フレーム毎の基準量子化パラメータｂ＿ＱＰを設定する（ステップＳ４０３）。
【００４３】
次に、各マクロブロック毎の符号化処理の前に、量子化パラメータＱＰの計算をおこない（ステップＳ４０４）、その値に基づいて、符号化処理（ステップＳ４０５）をおこなう。
【００４４】
１フレームの符号化処理が終了後、符号化をスキップするフレーム数ｆ＿ｃｎｔを求め、次に符号化するフレームを決定する（ステップＳ４０６）。
図６のステップＳ４０１におけるフレーム毎の目標符号量ｔａｒｇｅｔの設定処理動作は、図４と同様である。
【００４５】
図６のステップＳ４０２のマクロブロック毎の目標符号量ｔａｒｇｅｔ＿ｍｂの設定は、マクロブロックのモード別に、（４）式〜（９）式から求められる。まず、フレーム内符号化マクロブロック（以下、イントラマクロブロックと呼ぶ）のアクティビティを（４）式、（５）式に従って計算する。
【００４６】
ここで、各マクロブロックは、図７で示すようなＨ．２６１、ＭＰＥＧ１、Ｈ２６３等で一般的に用いられているフォーマットで、８×８画素のブロックが４つある輝度信号（Ｙ）と８×８画素の２つのブロックの色差信号（Ｃｂ、Ｃｒ）の６のブロックからなっている。
【００４７】
また、ｏｒｉｇｉｎａｌ＿ｐｉｃｔｕｒｅは、各マクロブロックの入力動画像信号を示しており、ｄｃは、（５）式で計算される入力動画像信号のマクロブロックの平均値とする。
【００４８】
【数４】

【００４９】
【数５】

その結果、イントラマクロブロック毎の目標符号量ｔａｒｇｅｔ＿ｍｂは、（６）式で求められる。
【００５０】
【数６】

【００５１】
なお、ｉｎｔｒａは、フレーム中のイントラマクロブロック数、ｉｎｔｅｒは、フレーム中のインターマクロブロック数、ｎｏｔ＿ｃｏｄｅｄは、フレーム中の非符号化マクロブロック数を表している．
フレーム間符号化マクロブロック（以下、インターマクロブロックと呼ぶ）では、（７）式に従ってアクティビティを計算し、（８）式で各マクロブロックの目標符号量ｔａｒｇｅｔ＿ｍｂを求める。
なお、ｐｒｅｄ＿ｐｉｃｔｕｒｅは、動き補償回路１１１で生成された各マクロブロックの予測画像信号である。
【００５２】
【数７】

【００５３】
【数８】

なお、アクティビティ比ｃｏｍｐは、（９）式に従って、１フレーム前に符号化されたデータから計算されたものである。
【００５４】
【数９】

【００５５】
ここで、ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各マクロブロックの発生符号量、ＱＰは、各マクロブロックでの量子化パラメータの値を表している。
図６のステップＳ４０３におけるフレーム毎の基準量子化パラメータｂ＿ＱＰは、フレームのアクティビティを考慮して、（１０）式、（１１）式によって求められる。
【００５６】
【数１０】

【００５７】
【数１１】

【００５８】
但し、ｂ＿ＱＰは、１．．．３１に制限される。
なお、ｆｒａｍｅ＿ａｃｔは、現在のフレームのアクティビティ、ｐｒｅ＿ＱＰは、１フレーム前の平均量子化パラメータ、ｐｒｅ＿ｆｒａｍｅ＿ｂｉｔｓは、１フレーム前の符号量、ｐｒｅ＿ｆｒａｍｅ＿ａｃｔは、１フレーム前のフレームのアクティビティ、αは、第１の量子化パラメータの反応パラメータを表している。
【００５９】
図６のステップＳ４０９における量子化パラメータＱＰは、（１２）式によって求められる。なお、量子化パラメータＱＰは、マクロブロック毎に計算可能であるが、本実施形態では、ＱＰは、マクロブロックライン毎に計算する。
【００６０】
【数１２】

【００６１】
但し、ＱＰは、１．．．３１に制限される。
なお、ｍｂは、現在のマクロブロックの数（１〜ＭＢ）、ＭＢは、１フレーム当たりのマクロブロック数、βは、第２の量子化パラメータの反応パラメータ、配列ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各マクロブロックの発生符号量を表している。
【００６２】
図６のステップＳ４０６の符号化フレームの決定処理動作は、図５と同様で、ｆ＿ｃｎｔを決定するものである。
本実施形態では、フレームを単位とする符号化で説明をおこなったが、フィールド単位での符号化でも実施できることは言うまでもない。
【００６３】
図８は、本発明の動画像符号化装置を無線通信システムに応用した第２の実施形態を示すものである。
図８において、無線通信システムは、画像伝送系２０と画像再生系２１とを含み、ネットワーク４０の設けられた基地局４１を介して画像の送受信が行われる。
【００６４】
画像伝送系２０は、画像信号入力部２１と誤り耐性処理部２３を備える情報現符号化部２２と、電送路符号化部２４と、無線部２５とを備えており、情報源符号化部２２において、離散コサイン変換（ＤＣＴ）や量子化等が行われ、また、伝送路符号化部２４においては、符号化データの誤り検出や訂正等が行われる。
【００６５】
情報源符号化部２２の主要部には、本発明に係る動画像符号化装置が適用されている。
また、画像再生系３０は、無線部３１、伝送路複合化部３２、誤り耐性処理部３４を含む情報源複合化部３３と、画像信号出力部３５を備えている。
【００６６】
図９は、第２の実施形態にかかる無線通信システムの一例を示したもので、図９に示すように、通信ネットワーク４０の基地局４１、４２、４３を介してラップトップタイプのパソコン５１やデスクトップタイプのパソコン５２等の端末５０」により動画像の電送および受信が行われる。
【００６７】
例えば、パソコン５１に備え付けられている画像信号入力部としてのカメラ５１ａにより入力された画像信号は、パソコン５１に組み込まれた情報源符号化部２２によって符号化される。情報源符号化部２２から出力される符号化データは、他の音声やデータの情報と多重化された後、パソコン５１に組み込まれた無線部２５、アンテナ５１ｂを介して無線で送信される。この送信された電波信号はネットワーク４０に設けられた基地局４１〜４３を介してパソコン５２のアンテナ５２ａ、パソコン５２に組み込まれた無線部３１を介して受信される。無線部３１で受信された信号は、画像信号の符号化データおよび音声データに分解される。これらのうち、画像信号の符号化データは、パソコン５２に組み込まれた情報源復号化部３３によって復号され、パソコン５２のディスプレイに表示される。
【００６８】
一方、パソコン５２に備え付けられた画像信号入力部２１としてのカメラ５２ｂにより入力された画像信号は、パソコン５２に組み込まれた情報源符号化部２２を用いて上記と同様に符号化される。符号化データは、他の音声やデータの情報と多重化され、パソコン５２に組み込まれた無線部２５、アンテナ５２ａにより無線で送信される。この送信された電波信号はネットワーク４０に設けられた基地局４１〜４３を介してパソコン５１のアンテナ５１ａ、パソコン５１に組み込まれた無線部３１を介して受信される。無線部３１によって受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはパソコン５１に組み込まれた情報源復号部３３によって復号され、パソコン５１のディスプレイに表示される。
【００６９】
以上、説明したように、上記実施形態によれば、符号化制御回路１１６において、出力バッファ１１５に保持されている符号化データをあらかじめ定められた符号化ビットレート（ｒａｔｅ）で出力する際の遅延時間が、あらかじめ定められた許容遅延時間（ｌｉｍｉｔ＿ｄｅｌａｙ）内になるように、符号化ビットレート（ｒａｔｅ）と符号化フレームレート（ｆ＿ｒａｔｅ）にて決定される符号化量（ｒａｔｅ／ｆ＿ｒａｔｅ）を調節することにより、フレーム毎の目標符号量ｔａｒｇｅｔを設定して、それを基に、符号化部１１７の量子化回路１０６およびスイッチ１０１を制御する（具体的には、量子化ステップパラメータと、符号化せずにスキップするフレーム数ｆ＿ｃｎｔを算出する）ことにより、画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能となる。
【００７０】
また、予測残差信号１１８を基に入力動画像信号の画像複雑度を表すアクティビティをマクロブロック毎に算出して、それをも考慮にいれ、量子化パラメータを算出することにより、より画質に応じた符号化制御を行うことができる。
【００７１】
【発明の効果】
以上、説明したように本発明によれば、画質に応じた符号化フレームレートでかつ符号化データの出力時の遅延量を抑えることが可能な動画像符号化装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動画像符号化装置の構成を概略的に示すブロック図。
【図２】符号化制御回路の処理動作の原理を説明するための図。
【図３】符号化制御回路の１フレームについての処理動作説明するためのフローチャート。
【図４】フレーム毎の目標符号量の設定処理動作を説明するためのフローチャート。
【図５】符号化フレームレートを決定するための処理動作を説明するためのフローチャート。
【図６】符号化制御回路の１フレームについての他の処理動作を説明するためのフローチャート。
【図７】マクロブロックのフォーマットを説明するための図
【図８】本発明を適用した無線通信システムの構成を概略的に示した図。
【図９】本発明を適用した無線通信システムの一例を示した図。
【符号の説明】
１０１…入力動画像信号スイッチ、１０２…ブロック化回路、１０３…減算器、１０４…モード選択スイッチ、１０５…ＤＣＴ回路、１０６…量子化回路、１０７…逆量子化回路、１０８…ＩＤＣＴ回路、１０９…加算器、１１０…フレームメモリ、１１１…動き補償回路、１１２…スイッチ、１１３…可変長符号化回路、１１４…多重化回路、１１５…出力バッファ、１１６…符号化制御回路、１１７…符号化部。

Claims

入力画像信号を符号化する符号化手段と、
前記符号化手段で符号化されたフレームの符号化データを一時保持し、予め定められた送信レートで出力する出力手段と、
前記送信レートに予め定められた許容遅延時間を乗じて、前記出力手段が前記符号化手段で符号化されたフレームの符号化データを前記送信レートで前記遅延許容時間内に出力することのできる許容符号量を算出する手段と、
前回までに前記符号化手段で符号化された各フレームの符号化データを前記送信レートで出力する際の当該各フレームの遅延時間の平均値が前記許容遅延時間以内のときには、前記送信レートを設定された符号化フレームレートで除算した結果得られる初期値を前記符号化手段で今回符号化するフレームの目標符号量に設定し、前記平均値が前記許容遅延時間を超えるときには、前記送信レートに前記平均値と前記許容遅延時間との差分の時間を乗じて得られる符号量を前記初期値から差し引いた値を、前記目標符号量に設定する設定手段と、
前記符号化手段で今回符号化されたフレームの符号化データを前記出力手段から出力して、当該出力手段で保持する符号量が前記許容符号量から前記初期値を減じた量以下になるまで、前記符号化手段に入力される前記入力動画像信号をフレーム単位にスキップするよう制御する手段と、
を具備したことを特徴とする動画像符号化装置。
前記設定手段は、
前記符号化手段で今回符号化するフレームが（ａ）１フレーム目の場合、前記送信レートの値を前記目標符号量に設定し、（ｂ）２フレーム目以降の場合、前記平均値が前記許容遅延時間以内のときには、前記初期値を前記目標符号量に設定し、（ｃ）２フレーム目以降の場合、前記平均値が前記許容遅延時間以内のときには、前記送信レートに前記平均値と前記許容遅延時間との差分の時間を乗じて得られる符号量を前記初期値から差し引いた値を、前記目標符号量に設定することを特徴とする請求項１記載の動画像符号化装置。
前記設定手段は、前記初期値が、前記送信レートを前記入力動画像信号のフレームレートで割った値よりも小さくなる場合には、前記目標符号量に、前記送信レートを前記入力動画像信号のフレームレートで割った値を設定することを特徴とする請求項２記載の動画像符号化装置。
前記目標符号量が前記符号化手段で前回符号化したフレームの符号量より大きいとき、前記符号化手段で今回符号化するフレームの量子化パラメータを前回符号化したフレームの量子化パラメータより小さくなるように設定し、前記目標符号量が前記符号化手段で前回符号化したフレームの符号量より小さいとき、前記符号化手段で今回符号化するフレームの量子化パラメータを前回符号化したフレームの量子化パラメータより大きくなるように設定し、前記目標符号量と前記符号化手段で前回符号化したフレームの符号量とが等しいとき、前記符号化手段で今回符号化するフレームの量子化パラメータを前回符号化したフレームの量子化パラメータと等しくなるように設定する量子化パラメータ設定手段をさらに具備したことを特徴とする請求項１記載の動画像符号化装置。
前記量子化パラメータ設定手段は、
前記符号化手段で今回符号化するフレームの第１の複雑度が前回符号化したフレームの第２の複雑度より大きいときは、前記第１の複雑度と前記第２の複雑度が等しいときよりも、前記符号化手段で今回符号化するフレームの量子化パラメータを、前回符号化したフレームの量子化パラメータより大きくなるように設定し、前記第１の複雑度が前記第２の複雑度よりも小さいときには、前記第１の複雑度と前記第２の複雑度が等しいときよりも、前記符号化手段で今回符号化するフレームの量子化パラメータを、前回符号化したフレームの量子化パラメータより小さくなるように設定する請求項４記載の動画像符号化装置。