JP4579379B2 - 制御装置及び制御方法 - Google Patents
制御装置及び制御方法 Download PDFInfo
- Publication number
- JP4579379B2 JP4579379B2 JP2000197201A JP2000197201A JP4579379B2 JP 4579379 B2 JP4579379 B2 JP 4579379B2 JP 2000197201 A JP2000197201 A JP 2000197201A JP 2000197201 A JP2000197201 A JP 2000197201A JP 4579379 B2 JP4579379 B2 JP 4579379B2
- Authority
- JP
- Japan
- Prior art keywords
- bit
- bits
- encoded
- bit reservoir
- reservoir
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Time-Division Multiplex Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像や音声信号をフレーム単位で符号化し固定ビットレートで伝送する際に、フレーム単位の符号化ビット数を制御する制御装置及び制御方法に関する。
【０００２】
【従来の技術】
ディジタル信号処理による映像や音声信号の符号化装置は、数多くの方法が考案、実用化されており、その代表として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格が挙げられる。ＭＰＥＧ規格では、低いビットレートで高い品質を実現するために、オリジナルの映像や音声の持つ情報の一部を削減して符号化する不可逆な符号化方式を採用している。特に、オリジナルに対して非常に低いビットレートで伝送する必要がある場合には、オリジナルの持つ情報の多くの部分を削減しなければならず、情報のどの部分を削減すべきかの判断が非常に難しくなる。
【０００３】
このため、ＭＰＥＧ規格では、人間の知覚の特性を基に、敏感に知覚される部分の情報を残し、逆にあまり知覚されない部分の情報を削減し、できるだけ品質を落とさずにビットレートを大きく低減することを可能にしている。このように、人間の知覚特性を用いることは、全体としてのビットレートの低減には非常に効果が大きいが、反面、部分的、例えば符号化処理フレーム単位で見た場合、敏感に知覚される部分を多く含むフレームでは削減できる情報が少なく（符号化に必要なビット数が多い）、あまり知覚されない部分を多く含むフレームでは削減出来る情報が多い（符号化に必要なビット数が少ない）という、フレーム単位での必要ビット数の不均一が生じることになる。
【０００４】
その一方で、符号化されたビットを伝送する装置では、装置の複雑さを低減できる等の理由により、伝送路を流れる単位時間あたりのビット信号、つまりビットレートが一定であることを求められることが多い。このような符号化装置と伝送装置間の特性のギャップを埋めるため、符号化装置と伝送装置の間にバッファを設け、符号化装置から出力される符号化ビット信号を一度バッファに蓄えた後、バッファから固定のビットレートで符号化ビット信号を取り出して伝送する方法が用いられている。
【０００５】
その一例を、ＭＰＥＧ規格に含まれる音声符号化方式の一つであるＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ ＩＳ−１３８１８−７ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）で用いられる方法に沿って図６を参照して具体的に説明する。
【０００６】
ＭＰＥＧ−２ ＡＡＣでは、符号化手段１０１と伝送手段（図示しない）との間にビットリザーバ１０６と呼ばれるバッファが設けられている。バッファのサイズは、符号化される音声信号のチャネル数によって定められており、一般的なモノラル信号の場合６１４４ビット、ステレオ信号の場合６１４４×２＝１２２８８ビットである。
【０００７】
確保されているバッファ領域のうち、固定ビットレートと見なしたときに符号化処理フレームあたりに配分されるビット数にあたる部分は、伝送時に使用するバッファ領域（フレームバッファ１０５）となるため、実際に符号化ビットを蓄えておくビットリザーバ１０６のサイズは、確保されているバッファからフレームあたりのビット数にあたる部分を減じたものとなる。
【０００８】
例えば、サンプリング周波数４４１００Ｈｚのステレオ信号を、１２８ｋｂｐｓで符号化する場合、ＡＡＣは１０２４サンプルを1フレームとして処理するため、１フレームあたりに割り当てられるビット数ＦＲＡＭＥ＿ＢＩＴＳは、
となる。
【０００９】
また、ビットリザーバのサイズＢＲ＿ＳＩＺＥは、
となる。
【００１０】
なお、（１）式において、小数点以下の端数ビットが生じるが、これについては、端数ビットを加算し、整数値を越えた時点でＦＲＡＭＥ＿ＢＩＴＳを整数値分増加させる等の手法により補正する。
【００１１】
フレーム単位の符号化処理で使用されるビット数とフレーム間に伝送されるビット数が常に等しいならば、あるフレームの符号化ビットがフレームバッファ１０５の領域に書き込まれた後、その次のフレームの符号化処理が終了するまでにフレームバッファ１０５内の全ての符号化ビットの伝送が完了する。
【００１２】
従って、次のフレームの符号化処理が終了した時点では、フレームバッファ１０５は空となっており、符号化ビットは再度バッファ領域に書き込むことができる。しかしながら、フレーム単位の符号化ビット数が異なる場合には、フレームバッファ１０５のサイズに対して、出力される符号化ビットの数が過不足を生じる。
【００１３】
ビットリザーバ１０６は、このようなフレーム単位での符号化ビットの過不足を吸収し、常にフレームあたりフレームバッファサイズの符号化ビットを伝送する、つまり、固定ビットレートで伝送する。原理的には、あるフレームにおける符号化ビット数がフレームバッファサイズよりも多い場合には、フレームバッファサイズを越える部分の符号化ビットをビットリザーバ１０６の領域に書き込み、逆に、符号化ビット数がフレームバッファサイズよりも少ない場合には、ビットリザーバ１０６に蓄えられている符号化ビットを取り出して、フレームバッファ１０５が一杯になるまで追加するという動作を行うことにより、フレーム単位で伝送される符号化ビット数がフレームバッファサイズで一定となるように制御することが可能である。
【００１４】
【発明が解決しようとする課題】
しかしながら、従来の方法は、ビットリザーバに蓄えられるビット信号の上限値が、ビットリザーバサイズによってのみ制限されているため、特に低ビットレートにおいて符号化に対する最適なビット配分をすることができず、符号化される信号の品質の劣化を生ずることがある。
【００１５】
ビットリザーバのサイズは、送受信装置の互換性のため、あらかじめ規格等によって定められた固定の値を用いるため、特に、高い伝送ビットレートで使用することを目的とした伝送装置を低い伝送ビットレートで使用すると、伝送ビットレートに対するビットリザーバの相対的なサイズが大きくなることがある。このため、ビットリザーバにビット信号を蓄える時間が必然的に長くなり、本来の伝送ビットレートより少ないビットレートで符号化が行われる時間が増加するなどの現象が生じ、符号化される信号の品質の劣化につながることがある。
【００１６】
このような実情に鑑みて本発明はなされたものであり、低ビットレートにおいて符号化に最適なビット配分を行うことにより、符号化された信号の品質を向上させて信号品質を向上させることができる制御装置及び制御方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、本発明の制御装置は、定められた時間長のフレーム単位に入力信号の符号化処理をする符号化手段と、符号化されたビット信号を蓄えるバッファ手段と、フレーム単位に入力信号を符号化するために必要なビット数を算出する算出手段と、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段と、を具備するように構成するものである。
【００１８】
このように構成することにより、符号化されたビット信号を一時蓄え、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行うことにより、符号化された信号の品質を向上させることができるようにすることができる。
【００１９】
本発明の制御装置は、バッファ手段に、符号化手段の出力である符号化ビット信号をフレーム単位に蓄えるフレームバッファと、フレームバッファと協同して余剰または不足ビット信号の授受をするビットリザーバとを有するように構成するものである。
【００２０】
このように構成することにより、符号化手段の出力である符号化ビット信号をフレーム単位にバッファに蓄えて、フレームバッファと協同して余剰または不足ビット信号の授受をビットリザーバで行い、特に低ビットレートにおいて符号化に最適なビット配分して、符号化された信号の品質を向上させることができる。
【００２１】
本発明の制御装置は、制御手段に、伝送ビットレートとビットリザーバと算出手段からの出力に基づいてビットリザーバレベルを設定するビットリザーバレベル設定手段を設け、設定した前記ビットリザーバのビットレベルとビットリザーバの出力及び算出手段からの出力に基づいて使用可能ビット数を符号化手段に送出するように構成するものである。
【００２２】
このように構成することにより、ビットリザーバレベルを適応的に設定し、設定したビットリザーバのビットレベルとビットリザーバの出力及び算出出力に基づいて使用可能ビット数を符号化手段に送出することにより、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００２３】
本発明の制御装置は、送信側に定められた時間長のフレーム単位に入力信号の符号化処理を行う符号化手段と、符号化されたビット信号を蓄える送信側バッファ手段と、前記フレーム単位に入力信号を符号化するために必要なビット数を算出する算出手段と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段とを具備し、、受信側に送信側バッファ手段から送られた符号化ビット信号を蓄える受信側バッファ手段と、受信側バッファ手段に蓄えられた符号化ビット信号を復号化して出力する復号化手段と、を具備するように構成するものである。
【００２４】
このように構成することにより、送信側において符号化されたビット信号をバッファに蓄え、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行い、受信側においては、受信した符号化ビット信号をバッファに一時蓄えてからその符号化ビット信号を復号化して出力する。
このようにして、送信側において、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることにより、従来の受信側の装置に変更を加えることなく復号化された信号の品質も向上させることができる。
【００２５】
本発明の制御装置は、符号化手段が、映像または音声信号に対して人間の知覚限界に基づく不可逆の符号化処理を行い、算出手段は、人間の知覚限界を基準に符号化に必要なビット信号を算出するように構成したものである。
【００２６】
このように構成することにより、映像または音声信号に対して人間の知覚限界に基づく不可逆の符号化処理を行い、さらに人間の知覚限界を基準に符号化に必要なビット信号を算出するようにして、符号化処理による品質の劣化を少なくすると共に、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることができる。
【００２７】
本発明の制御装置は、制御手段に、任意に指定する固定のビットレートで画像または音声信号を符号化して伝送できるように制御するように構成するものである。
【００２８】
このように構成することにより、任意に指定する固定のビットレートで画像または音声信号を符号化して伝送できるように制御し、また、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００２９】
本発明の制御装置は、バッファに蓄えられているビット信号が規定値以上の場合に、基準となる必要ビット数に対して一定の割合で加算したビット数を加算ビット数とし、規定値以下の場合に一定の割合で減算したビット数を減算ビット数として、加算ビット数及び減算ビット数を基に符号化処理をするように構成するものである。
【００３０】
このように構成することにより、バッファに蓄えられているビット信号が規定値以上の場合に、基準となる必要ビット数に対して一定の割合で加算したビット数を加算ビット数とし、規定値以下の場合に一定の割合で減算したビット数を減算ビット数として、加算ビット数及び減算ビット数を基に符号化処理を行うことにより、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００３１】
本発明の制御方法は、送信側に定められた時間長のフレーム単位に入力信号の符号化処理を行う工程と、符号化されたビット信号を送信側において蓄える工程と、フレーム単位に入力信号を符号化するために必要なビット数を算出する工程と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する工程とを具備し、受信側において、送信側から送られた符号化ビット信号を蓄える工程と、受信側において蓄えられた符号化ビット信号を復号化して出力する工程と、を具備するようにしたものである。
【００３２】
このようにすることにより、送信側において、定められた時間長のフレーム単位に入力信号の符号化処理を行い符号化されたビット信号を蓄えて、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行い、受信側において、送信側から送られた符号化ビット信号をおいて蓄え、受信側において蓄えられた符号化ビット信号を復号化して出力するようにする。このようにして送信側において、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることにより、従来の受信側の装置に変更を加えることなく復号化された信号の品質も向上させることができる。
【００３３】
【発明の実施の形態】
本発明の主眼は、固定ビットレートで映像や音声を伝送する際に、フレーム単位の符号化ビット信号を制御することにより長時間に渡って信号品質を良好にすることにある。
【００３４】
（実施の形態１）
図１は、本発明の実施の形態１による制御装置の構成を示すブロック図である。
【００３５】
符号化ビットレート制御装置１００は、送信側１０９に定められた時間長のフレーム単位に入力信号の符号化処理をする符号化手段１０１と、符号化されたビット信号を蓄えるバッファ手段１０２と、フレーム単位に入力信号を符号化するのに必要なビット数を算出する算出手段（必要ビット数算出手段）１０３と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段１０４と、を具備するように構成したものである。
【００３６】
受信側１１０には、送信側からの出力符号化ビットｈを受け取りバッファするフレームバッファ１１１、フレームバッファ１１１と余剰ビットｎと不足ビットｏの授受をするビットリザーバ１１２及びフレームバッファ１１１のバッファ出力を復号化して出力する復号化手段１１３と、を具備するようになっている。
【００３７】
バッファ手段１０２は、符号化手段１０１の出力である符号化ビット信号をフレーム単位に蓄えるフレームバッファ１０５と、フレームバッファ１０５と協同して余剰または不足ビット信号ｆ，ｇの授受をするビットリザーバ１０６と、を有するように構成したものである。
【００３８】
制御手段１０４は、伝送ビットレートｂとビットリザーバ１０６と算出手段１０３からの出力に基づいてビットリザーバ１０６のビットレベルを設定するビットリザーバレベル設定手段１０８と、設定したビットリザーバ１０６のビットリザーバレベルａとビットリザーバ１０６の出力（リザーブビット数）ｃ及び算出手段１０３からの出力（必要ビット数）ｄに基づいて使用可能ビット数ｅに対応する信号を符号化手段１０１に送出するビットリザーバ制御手段１０７と、を具備するように構成したものである。
【００３９】
まず、ビットリザーバ制御手段１０７の動作について詳しく説明する。ビットリザーバ制御手段１０７の動作は、伝送路の受信側の状態を考慮して制御されなければならない。まず、固定ビットレートで伝送を行い、かつ、受信側１１０でリアルタイムに復号処理が可能であるためには、受信側１１０にも送信側１０９と同じサイズのフレームバッファ１１１と、送信側１０９と同じサイズ以上のビットリザーバ１１２が設けられていることが必要である。受信側１１０では、フレームバッファ１１１及びビットリザーバ１１２から、符号化処理フレーム単位で符号化ビットが取り出されて復号化手段１１３において復号化処理が行われる。
【００４０】
受信側１１０では、フレーム単位の符号化ビット数とフレームバッファ及びビットリザーバとの関係が、送信側１０９とちょうど逆の関係になっており、処理フレーム単位で使用されるビット数がフレームバッファ１１１より少ない場合には、フレームバッファ１１１に受信した符号化ビットのうち、使用されない分の符号化ビットはビットリザーバ１１２に蓄えられる。
【００４１】
処理フレーム単位に使用されるビット数がフレームバッファ１１１より多い場合には、不足分の符号化ビットをビットリザーバ１１２から取り出して使用する。ここで、ビットリザーバ１１２に対して要求される符号化ビットの数が、ビットリザーバ１１２に蓄えられている符号化ビットの数よりも大きいと、ビットリザーバ１１２は不足分の符号化ビットを補えないことになり、結果として、その処理フレームを復号化手段１１３で復号化処理することができないことになる。
【００４２】
このような現象が起こらないようにするためには、送信側１０９で受信側１１０のビットリザーバ１１２の状態を監視し、その状態に基づいて符号化で使用するビットの数を制御しなければならない。実際には、送信側１０９のビットリザーバ１０６を監視すれば、受信側１１０のビットリザーバ１１２の状態を知ることが出来るので、符号化で使用するビット数の制御は送信側１０９だけの処理で実現することができる。
【００４３】
送信側１０９のある処理フレームにおいては、使用された符号化ビットの数がフレームバッファ１０５のサイズよりも小さく、送信側１０９のビットリザーバ１０６から出力符号化ビットｈが補充された場合、受信側１１０では、送信側１０９のビットリザーバ１０６から補充された分の出力符号化ビットｈが、そのまま受信側１１０のビットリザーバ１１２に蓄えられることになる。
【００４４】
逆に、送信側１０９では、使用されたビットの数がフレームバッファ１０５のサイズよりも大きく、送信側１０９のビットリザーバ１０６に余剰ビットｆが蓄えられた場合、受信側１１０では、フレームバッファ１１１のサイズに対して不足する分の符号化ビットを受信側１１０のビットリザーバ１１２から取り出すが、その符号化ビットの数は、送信側１０９のビットリザーバ１０６に蓄えられた余剰ビットｆの数に等しい。
【００４５】
また、上記の動作条件から、このようなビットリザーバ１０６を利用した伝送では、ある処理フレームにおいてフレームバッファ１０５のサイズを越えるような符号化ビット数を使用する場合には、それ以前の処理フレームにおいてフレームバッファサイズよりも小さいビット数を使用して符号化を行い、受信側１１０のビットリザーバ１１２に符号化ビットを蓄えておかなければならないことが分かる。
【００４６】
さらにこの場合、送信側１０９では、ビットリザーバ１０６に蓄えられている符号化ビットを取り出すことになるため、送信側１０９のビットリザーバ１０６には、それ以前の処理フレームの符号化ビットが蓄えられていなければならない。この条件を満たすためには、送信側１０９の符号化処理を受信側１１０の復号化処理に対して先行させ、符号化ビットの伝送に遅延を持たせる必要があることも分かる。
【００４７】
そこで、あらかじめ、符号化ビットの数がビットリザーバ１０６のサイズを超えない範囲において数フレーム分の符号化処理を行ない、その符号化ビットを送信側１０９のビットリザーバ１０６に蓄えた後、符号化ビットの伝送を開始するとすれば、受信側１１０のビットリザーバ１１２に蓄えられている符号化ビットの数は、符号化ビットの伝送開始時点から送信側１０９のビットリザーバ１０６より取り出された符号化ビット（リザーブビットと呼ぶ）の数に等しくなる。
【００４８】
伝送開始以降は、送信側１０９のリザーブビット信号ｃが、０からビットリザーバ１０６のサイズの範囲内に収まるようにすれば、受信側１１０のビットリザーバ１１２に蓄えられる符号化ビットの数も０からビットリザーバ１１２のサイズに収まることになり、受信側１１０の復号化手段１１３で復号化処理に必要な符号化ビットが不足する問題を起こすことなく、リアルタイムの伝送が行えることになる。
【００４９】
以上のことから、ビットリザーバ制御手段１０７の動作は、算出手段１０３が行う必要ビット数ｄが伝送路の伝送ビットレートｂを越えている場合には、リザーブビット１０６が正の値を採る範囲でリザーブビット数ｃを減少させて、フレームの符号化処理で使用する符号化ビットの数を増加させ、逆に、必要ビット数の要求が伝送路のビットレートよりも少ない場合には、フレームの符号化処理で使用する符号化ビット数を減少させて、リザーブビット数ｃを増加させることになる。
【００５０】
なお、リザーブビット数ｃは、ビットリザーバ１０６のサイズを越えることができないので、ビットリザーバサイズを超える分のリザーブビットは、使用したものと見なして受信側１１０に伝送される。これをフィルビットと呼ぶが、フィルビットには符号化の情報は含まれないので受信側１１０で破棄される。
【００５１】
一般的に、伝送路の伝送ビットレートｂが低い場合、符号化に必要なビット数の要求は伝送路のビットレートを上回ることが多く、リザーブビット数ｃが０の状態が続くことになるため、ビットリザーバ１０６が有効に働かない。また、実際に配分できる符号化ビットの数が必要ビット数に比べて少ないほど符号化された音声信号の品質は劣化する。
【００５２】
従って、必要ビット数の要求が伝送ビットレートｂを上回る度合が小さい場合には、符号化で使用するビット数を伝送ビットレートｂに対して少なくして、リザーブビット数ｃを増加させておく。また伝送ビットレートｂを上回る度合が大きくなった時には、リザーブビット数ｃを減少させて符号化で使用するビット数を増加させるような制御を行って、必要ビット数が大きくなったときの品質の劣化を少なくすることもできる。
【００５３】
リザーブビット数ｃを増加させて行き、ビットリザーバサイズと等しくなった場合は、それ以上のビットを蓄えることはできないので、伝送ビットレートｂに相当するビットをすべて符号化に割り当てる。このような制御を行うことによって、符号化に必要なビット数と実際に符号化に使用するビット数の差を小さくし、必要ビット数に対する符号化ビット数の不足が大きくなることによる品質の劣化を防ぐことができる。
【００５４】
続いて、本発明の実施の形態１における符号化ビットレート制御装置の動作を図１を参照しながら説明する。符号化手段１０１は、入力音声信号を分析し、符号化に必要なビット数を算出する基礎となる評価尺度ｉを算出する。
【００５５】
必要ビット数算出手段１０３は、評価尺度ｉをもとに符号化に必要なビット数を算出し、ビットリザーバ制御手段１０７に対して必要ビット数ｄを知らせる。
同時に、ビットリザーバ制御手段１０７は、ビットリザーバ１０６に蓄えられている符号化ビットの状態を表すリザーブビット数ｃとビットリザーバレベル設定手段１０８においてリザーブビット数ｃ、伝送ビットレートｂ及び必要ビット数ｄに基づいて得たビットリザーバレベルａを受け取る。
【００５６】
ビットリザーバ制御手段１０７は、受け取った必要ビット数とリザーブビット数から、現在のフレームにおいて使用可能なビット数を算出し、符号化手段１０１に知らせる。符号化手段１０１は与えられた使用可能ビット数ｅを使用して符号化処理を行い、出力符号化ビットｈをフレームバッファ１０５から出力する。
【００５７】
出力符号化ビットｈの数がフレームバッファ１０５のサイズよりも多い場合には、フレームバッファ１０５のサイズを超える部分の符号化ビット（余剰ビット）ｆをビットリザーバ１０６に蓄え、逆に少ない場合は、ビットリザーバ１０６からフレームバッファ１０５を満たす分のビット（不足ビット）ｇを取り出してフレームバッファ１０５を一杯にする。最終的に、フレームバッファ１０５に蓄えられたフレームバッファサイズの出力符号化ビットｈが出力される。
【００５８】
続いて、ビットリザーバレベル設定手段１０８の動作とビットリザーバレベルａの役割について説明する。ビットリザーバレベル設定手段１０８は、設定された伝送ビットレートｂにおいて適切と考えられるリザーブビット数ｃの目標値を算出する。算出の方法としては、例えば、設定する伝送ビットレートｂにおいて、すべてのビットをビットリザーバ１０６に蓄えた時に、ある所定の時間内に蓄えられるビット数をもってリザーブビット数ｃの目標値とする方法を用いることができる。
【００５９】
続いて、算出されたリザーブビット数ｃの目標値を、要求された必要ビット数ｄと実際にビットリザーバ１０６に蓄えられているビット数とにより補正し、この補正された値をビットリザーバレベルａとする。ただし、ビットリザーバレベルａの最大値は、元のビットリザーバサイズより大きくすることはできない。
【００６０】
ビットリザーバレベルａの補正を行う理由は、例えば、要求ビット数が少ない場合、符号化手段１０１で使用されるビット数も減少し、不足ビットｇが生じるが、この時リザーブビット数ｃがビットリザーバレベルａに近い状態にある場合、ここで発生した不足ビットｇ分を加えたリザーブビット数ｃがビットリザーバレベルａを超える可能性が高くなる。
【００６１】
ビットリザーバレベルａは、仮想的なビットリザーバサイズとして機能するので、ビットリザーバレベルａを超えた部分のビットについては、符号化情報を持たないビットとみなされて伝送されることになり、伝送の効率を下げることになる。これを防ぐためには、リザーブビット信号ｃがビットリザーバレベルａに近く、かつ、要求される必要ビット数が少ない時にはビットリザーバレベルａを引き上げて、よりリザーブビット数を増加させるように調整し、また、ビットリザーバレベルａを引き上げ後に、再び要求される必要ビット数が増加しリザーブビット数が減少したときには、ビットリザーバレベルａを引き下げる様に調整すれば良い。
【００６２】
以上で説明したように適応的に設定されたビットリザーバレベルａを、仮想的にビットリザーバサイズとみなしてビットリザーバ１０６の制御を行うことにより、使用する伝送ビットレートｂに関わらず、フレーム単位で符号化処理に配分するビット数の最適化を行い、符号化され伝送される情報の品質を向上させることができる。
【００６３】
（実施の形態２）
図２は、本発明の実施の形態２による符号化ビットレート制御装置の構成を示すブロック図である。本発明の実施の形態１によるビットレート装置と相違するのは、符号化手段１０１から出力される評価尺度ｉを、人間の知覚を前提とする評価尺度ｍに変換する知覚誤差評価モデル２０１を備えている点である。その他の構成は実施の形態１の構成と同じであるので、同一の構成については同一の符号を付し、ここでは詳しい説明を省略する。
【００６４】
一般に、信号の非可逆圧縮符号化では、符号化される対象の信号に対してどのようなビット配分を行うかによって、符号化された信号の品質に差異が生じる。
信号の品質を表す代表的な指標としては原信号に対する符号化における誤差の割合を示すＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）があり、知覚誤差評価モデル２０１において、評価尺度としてこのＳＮＲを用いて入力信号を所定のＳＮＲ値を保つように符号化するために必要なビット数を算出することができる。
【００６５】
また逆に、使用できるビット数が定められているときに、符号化された信号のＳＮＲが最大になるような符号化処理を行うことも可能である。しかしながら、ＳＮＲに代表される物理的な距離に基づく誤差の評価尺度は、実際の人間が知覚する誤差の尺度と異なっているため、あるビットレートにおいてＳＮＲに基づいて符号化された信号の品質が、人間の主観的な評価としても高品質であることは保証されない。
【００６６】
特に、非常に高い圧縮率の符号化においては、物理的な距離に基づく誤差の評価尺度と実際の人間が知覚する誤差の尺度のずれが大きくなるため、より人間が知覚する誤差の尺度に近い評価尺度を用いることが必要である。知覚誤差評価モデル２０１には、一例として高圧縮率のオーディオ符号化、例えば、ＭＰＥＧ−２ ＡＡＣで用いられる心理聴覚モデルがある。心理聴覚モデルでは、周波数帯域による聴覚特性の違いや、大きな音に対して時間的・周波数的に近傍の小さな音は聞き取れないというマスキングと呼ばれる効果を考慮して、人間が知覚できない部分の情報を削減した上で評価尺度を算出する。
【００６７】
知覚誤差評価モデル２０１は、このように人間の知覚誤差に基づいた評価尺度を基準として、ビット配分と符号化処理を行うことによって、主観的な評価としての品質を向上させることができる。ただし、このような人間の知覚誤差に基づいた評価尺度ｍを基準として符号化処理を行うと、符号化処理フレーム単位で見て、敏感に知覚される部分を多く含むフレームでは削減できる情報が少なく（符号化に必要なビット数が多い）、あまり知覚されない部分を多く含むフレームでは削減出来る情報が多い（符号化に必要なビット数が少ない）ことになり、物理的な距離に基づく誤差の評価尺度を用いる場合と比較して、符号化に必要なビット数の変動が大きくなる。
【００６８】
このような必要ビット数の変動が激しい符号化手段１０１では、特に低ビットレートにおいて、従来の符号化ビットレート制御装置と組み合わせて使用すると、必要ビット数が伝送ビットレートｂに対して大きいフレームで使用されたビットを補ってビットリザーバ１０６を満たすために、伝送ビットレートｂ以下のビット数しか配分できないフレームの比率が大きくなる。しかしながら、本実施の形態２の符号化ビットレート制御装置との組み合わせによれば、ビットリザーバレベルａを適応可能に設定し、仮想的にビットリザーバサイズとみなしてビットリザーバ１０６の制御を行うことにより、使用する伝送ビットレートに関わらず、フレーム単位で符号化処理に配分するビット数の最適化を行うことができるので、符号化され伝送される情報の品質をさらに向上させることができる。
【００６９】
（実施の形態３）
図３は本発明の実施の形態３による符号化ビットレート制御装置の構成を示すブロック図である。本発明の実施の形態２によるビットレート装置と相違するのは、ビットリザーバ制御手段１０７に換えて、動作の異なる第２のビットリザーバ制御手段３０１を設けた点である。これ以外の構成については、実施の形態２の構成と異ならないので、同一の構成については同一の符号を付し、詳しい説明を省略する。
【００７０】
ビットリザーバ制御手段１０７は、適応的に設定されるビットリザーバレベルを仮想的にビットリザーバサイズとみなして、リザーブビット数を０からビットリザーバレベルａの間で制御する。これに対して、第２のビットリザーバ制御手段３０１は、要求ビット数が、伝送ビットレートｂよりも低い場合には、ビットリザーバサイズ、要求ビット数が伝送ビットレートｂよりも高い場合にはビットリザーバレベルａを最適なリザーブビット数とみなして、０からビットリザーバサイズの間でリザーブビット数を制御する。
【００７１】
以下、図３及び図４を用いてビットリザーバ制御手段１０７と第２のビットリザーバ制御手段３０１の動作の違い詳しくを説明する。図４は、実施の形態３による符号化ビットレート制御装置におけるビットリザーバに蓄えられるリザーブビットの変化の様子を示すものである。縦軸はリザーブビット数、横軸は経過時間、縦軸上の点線４０１はリザーブビットの絶対的な最大値であるビットリザーバサイズ、実施の形態３のビットリザーバレベル設定手段１０８によって設定されるビットリザーバレベル４０２を表す。
【００７２】
ビットリザーバ制御手段１０７によるビットリザーバ１０６の状態は破線の折れ線４０３、第２のビットリザーバ制御手段３０１によるビットリザーバ１０６の状態は実線の折れ線４０４で示される。なお、この図においては説明の簡略化のため、区間内においてビットリザーバレベルは一定であるとする。区間Ｔａは要求ビット数が伝送ビットレートｂよりも低い区間である。
【００７３】
ビットリザーバ制御手段１０７による制御では、リザーブビット数はビットリザーバレベル４０２を超えることができないので、リザーブビット数がビットリザーバレベル４０２で飽和する。これに対して、第２のビットリザーバ制御手段３０１による制御では、リザーブビット数の目標値はビットリザーバサイズ４０１なので、リザーブビットはビットリザーバサイズ４０１まで蓄えられる。区間Ｔｂは、要求ビット数が伝送ビットレートを上回る度合いが比較的大きい区間である。この区間では、リザーブビットを減少させて、符号化に使用するビットを補う必要がある。
【００７４】
この時、第２のビットリザーバ制御手段３０１による制御では、ビットリザーバ制御手段１０７による制御と比較して、より多くのリザーブビットが蓄えられているため、より多くのビットを補うことができる。または、ビットリザーバ制御手段１０７による制御と同程度のビット数を補うのであれば、より長い区間に渡ってビットを補うことが可能である。区間Ｔｃは、要求ビット数が伝送ビットレートに対して非常に大きい区間である。この区間では、どちらの制御手段を用いた場合でもリザーブビットは大きく減少するが、より多くのリザーブビットを蓄えることのできる第２のビットリザーバ制御手段３０１による制御の方が有利である。
【００７５】
区間Ｔｄは要求ビット数が伝送ビットレートｂを上回る度合いが比較的小さい区間である。この区間では、使用されたリザーブビット信号ｃを補うために、配分するビット数を伝送ビットレートｂよりも少なくする必要がある。この場合、要求ビット数が伝送ビットレートｂを超えているので、どちらのビットリザーバ制御手段においても、目標とする適切なリザーブビット数はビットリザーバレベル４０２となる。従って、ビットリザーバ制御手段３０１による制御の方が先にビットリザーバレベル４０２に漸近するので、配分するビット数の減少分を早く少なくすることができる。
【００７６】
なお、要求ビット数が伝送ビットレートｂを下回ることが全く無ければ、ビットリザーバ制御手段１０７と第２のビットリザーバ制御手段３０１の動作は同じになるが、例えば、入力信号が音声の場合を例にとると、無音区間等の符号化すべき情報量が非常に少ない区間がほぼ必ず存在する。第２のビットリザーバ制御手段３０１による制御では、この区間で蓄えられるビットをより効率的に配分できるので、よって、符号化伝送される情報の品質をさらに向上させることができる。
【００７７】
（実施の形態４）
図５は本発明の実施の形態４による符号化伝送装置の構成を示すブロック図であり、送信装置の符号化手段が、本発明の実施の形態１乃至３によるいずれかの符号化ビットレート制御装置と組み合わせて使用されることが可能であり、あらかじめ定められた固定の伝送ビットレートで符号化ビットが伝送されるように構成することができるようになっている。
【００７８】
図５において、ビットリザーバ制御手段５０３は、本発明の実施の形態１乃至実施の形態３において、評価尺度ｉとリザーブビットの数と伝送ビットレート１０２を入力として使用可能ビットを算出する部分に相当するようになっている。
【００７９】
例えば、実施の形態３を例に取ると、知覚誤差評価モデル２０１、必要ビット数算出手段１０２、ビットリザーバレベル設定手段１０８と第２のビットリザーバ制御手段３０１が含まれるようになっている。
【００８０】
送信装置５０１から出力される伝送符号化ビット５０４によって伝送される符号化された信号は、実施の形態４における符号化ビットレート制御装置にしたがって最適なビット配分によって符号化された信号であり、従来の送信装置によって符号化・伝送される信号よりも高品質である。また、受信装置５０２から見た場合、受信装置５０２においてビットリザーバ５０７を用いて、リアルタイムに復号処理が実行できるための条件は、前記のように送信側１０９のビットリザーバ１０６がオーバーフローもしくはアンダーフローを起こさないことである。なお、図中参照符号５０５はフレームバッファであり、参照符号５０６は復号化手段である。
【００８１】
実施の形態１乃至３の符号化ビットレート制御装置は、いずれもこの条件を満足するので、受信装置５０２において、従来の送信装置による伝送符号化ビットと、本実施の形態の受信装置５０１による伝送符号化ビット５０４の取り扱いは同じで良い。すなわち、実施の形態４の符号化ビットレート制御手段を組込んだ送信装置を用いれば、これまでの受信装置に何らの変更を加えることなく、同じビットレートでより高品質な信号の伝送が可能となる。
【００８２】
【発明の効果】
以上において説明したように、本発明によれば、符号化処理に対するビット配分を最適化する事が可能であり、よって、符号化伝送される信号の品質を向上させることができる制御装置及び制御方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における制御装置の構成を示すブロック図
【図２】本発明の実施の形態２における制御装置の構成を示すブロック図
【図３】本発明の実施の形態３における制御装置の構成を示すブロック図
【図４】図３における制御装置におけるビットリザーバの状態を表す図
【図５】本発明の実施の形態４における符号化伝送装置の構成を示すブロック図
【図６】従来の符号化伝送装置の構成を示すブロック図
【符号の説明】
１００ 符号化ビットレート制御装置
１０１ 符号化手段
１０２ バッファ手段
１０３ 算出手段（必要ビット数算出手段）
１０４ 制御手段
１０５ フレームバッファ
１０６ ビットリザーバ
１０７ ビットリザーバ制御手段
１０８ ビットリザーバレベル設定手段
１０９ 送信側
１１０ 受信側
１１１ フレームバッファ
１１２ ビットリザーバ
１１３ 復号化手段
２０１ 知覚誤差評価モデル
３０１ 第２のビットリザーバ制御手段
５０１ 送信装置
５０２ 受信装置
５０５ フレームバッファ
５０６ 復号化手段
５０７ ビットリザーバ
【発明の属する技術分野】
本発明は、映像や音声信号をフレーム単位で符号化し固定ビットレートで伝送する際に、フレーム単位の符号化ビット数を制御する制御装置及び制御方法に関する。
【０００２】
【従来の技術】
ディジタル信号処理による映像や音声信号の符号化装置は、数多くの方法が考案、実用化されており、その代表として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格が挙げられる。ＭＰＥＧ規格では、低いビットレートで高い品質を実現するために、オリジナルの映像や音声の持つ情報の一部を削減して符号化する不可逆な符号化方式を採用している。特に、オリジナルに対して非常に低いビットレートで伝送する必要がある場合には、オリジナルの持つ情報の多くの部分を削減しなければならず、情報のどの部分を削減すべきかの判断が非常に難しくなる。
【０００３】
このため、ＭＰＥＧ規格では、人間の知覚の特性を基に、敏感に知覚される部分の情報を残し、逆にあまり知覚されない部分の情報を削減し、できるだけ品質を落とさずにビットレートを大きく低減することを可能にしている。このように、人間の知覚特性を用いることは、全体としてのビットレートの低減には非常に効果が大きいが、反面、部分的、例えば符号化処理フレーム単位で見た場合、敏感に知覚される部分を多く含むフレームでは削減できる情報が少なく（符号化に必要なビット数が多い）、あまり知覚されない部分を多く含むフレームでは削減出来る情報が多い（符号化に必要なビット数が少ない）という、フレーム単位での必要ビット数の不均一が生じることになる。
【０００４】
その一方で、符号化されたビットを伝送する装置では、装置の複雑さを低減できる等の理由により、伝送路を流れる単位時間あたりのビット信号、つまりビットレートが一定であることを求められることが多い。このような符号化装置と伝送装置間の特性のギャップを埋めるため、符号化装置と伝送装置の間にバッファを設け、符号化装置から出力される符号化ビット信号を一度バッファに蓄えた後、バッファから固定のビットレートで符号化ビット信号を取り出して伝送する方法が用いられている。
【０００５】
その一例を、ＭＰＥＧ規格に含まれる音声符号化方式の一つであるＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ ＩＳ−１３８１８−７ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）で用いられる方法に沿って図６を参照して具体的に説明する。
【０００６】
ＭＰＥＧ−２ ＡＡＣでは、符号化手段１０１と伝送手段（図示しない）との間にビットリザーバ１０６と呼ばれるバッファが設けられている。バッファのサイズは、符号化される音声信号のチャネル数によって定められており、一般的なモノラル信号の場合６１４４ビット、ステレオ信号の場合６１４４×２＝１２２８８ビットである。
【０００７】
確保されているバッファ領域のうち、固定ビットレートと見なしたときに符号化処理フレームあたりに配分されるビット数にあたる部分は、伝送時に使用するバッファ領域（フレームバッファ１０５）となるため、実際に符号化ビットを蓄えておくビットリザーバ１０６のサイズは、確保されているバッファからフレームあたりのビット数にあたる部分を減じたものとなる。
【０００８】
例えば、サンプリング周波数４４１００Ｈｚのステレオ信号を、１２８ｋｂｐｓで符号化する場合、ＡＡＣは１０２４サンプルを1フレームとして処理するため、１フレームあたりに割り当てられるビット数ＦＲＡＭＥ＿ＢＩＴＳは、
【０００９】
また、ビットリザーバのサイズＢＲ＿ＳＩＺＥは、
【００１０】
なお、（１）式において、小数点以下の端数ビットが生じるが、これについては、端数ビットを加算し、整数値を越えた時点でＦＲＡＭＥ＿ＢＩＴＳを整数値分増加させる等の手法により補正する。
【００１１】
フレーム単位の符号化処理で使用されるビット数とフレーム間に伝送されるビット数が常に等しいならば、あるフレームの符号化ビットがフレームバッファ１０５の領域に書き込まれた後、その次のフレームの符号化処理が終了するまでにフレームバッファ１０５内の全ての符号化ビットの伝送が完了する。
【００１２】
従って、次のフレームの符号化処理が終了した時点では、フレームバッファ１０５は空となっており、符号化ビットは再度バッファ領域に書き込むことができる。しかしながら、フレーム単位の符号化ビット数が異なる場合には、フレームバッファ１０５のサイズに対して、出力される符号化ビットの数が過不足を生じる。
【００１３】
ビットリザーバ１０６は、このようなフレーム単位での符号化ビットの過不足を吸収し、常にフレームあたりフレームバッファサイズの符号化ビットを伝送する、つまり、固定ビットレートで伝送する。原理的には、あるフレームにおける符号化ビット数がフレームバッファサイズよりも多い場合には、フレームバッファサイズを越える部分の符号化ビットをビットリザーバ１０６の領域に書き込み、逆に、符号化ビット数がフレームバッファサイズよりも少ない場合には、ビットリザーバ１０６に蓄えられている符号化ビットを取り出して、フレームバッファ１０５が一杯になるまで追加するという動作を行うことにより、フレーム単位で伝送される符号化ビット数がフレームバッファサイズで一定となるように制御することが可能である。
【００１４】
【発明が解決しようとする課題】
しかしながら、従来の方法は、ビットリザーバに蓄えられるビット信号の上限値が、ビットリザーバサイズによってのみ制限されているため、特に低ビットレートにおいて符号化に対する最適なビット配分をすることができず、符号化される信号の品質の劣化を生ずることがある。
【００１５】
ビットリザーバのサイズは、送受信装置の互換性のため、あらかじめ規格等によって定められた固定の値を用いるため、特に、高い伝送ビットレートで使用することを目的とした伝送装置を低い伝送ビットレートで使用すると、伝送ビットレートに対するビットリザーバの相対的なサイズが大きくなることがある。このため、ビットリザーバにビット信号を蓄える時間が必然的に長くなり、本来の伝送ビットレートより少ないビットレートで符号化が行われる時間が増加するなどの現象が生じ、符号化される信号の品質の劣化につながることがある。
【００１６】
このような実情に鑑みて本発明はなされたものであり、低ビットレートにおいて符号化に最適なビット配分を行うことにより、符号化された信号の品質を向上させて信号品質を向上させることができる制御装置及び制御方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、本発明の制御装置は、定められた時間長のフレーム単位に入力信号の符号化処理をする符号化手段と、符号化されたビット信号を蓄えるバッファ手段と、フレーム単位に入力信号を符号化するために必要なビット数を算出する算出手段と、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段と、を具備するように構成するものである。
【００１８】
このように構成することにより、符号化されたビット信号を一時蓄え、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行うことにより、符号化された信号の品質を向上させることができるようにすることができる。
【００１９】
本発明の制御装置は、バッファ手段に、符号化手段の出力である符号化ビット信号をフレーム単位に蓄えるフレームバッファと、フレームバッファと協同して余剰または不足ビット信号の授受をするビットリザーバとを有するように構成するものである。
【００２０】
このように構成することにより、符号化手段の出力である符号化ビット信号をフレーム単位にバッファに蓄えて、フレームバッファと協同して余剰または不足ビット信号の授受をビットリザーバで行い、特に低ビットレートにおいて符号化に最適なビット配分して、符号化された信号の品質を向上させることができる。
【００２１】
本発明の制御装置は、制御手段に、伝送ビットレートとビットリザーバと算出手段からの出力に基づいてビットリザーバレベルを設定するビットリザーバレベル設定手段を設け、設定した前記ビットリザーバのビットレベルとビットリザーバの出力及び算出手段からの出力に基づいて使用可能ビット数を符号化手段に送出するように構成するものである。
【００２２】
このように構成することにより、ビットリザーバレベルを適応的に設定し、設定したビットリザーバのビットレベルとビットリザーバの出力及び算出出力に基づいて使用可能ビット数を符号化手段に送出することにより、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００２３】
本発明の制御装置は、送信側に定められた時間長のフレーム単位に入力信号の符号化処理を行う符号化手段と、符号化されたビット信号を蓄える送信側バッファ手段と、前記フレーム単位に入力信号を符号化するために必要なビット数を算出する算出手段と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段とを具備し、、受信側に送信側バッファ手段から送られた符号化ビット信号を蓄える受信側バッファ手段と、受信側バッファ手段に蓄えられた符号化ビット信号を復号化して出力する復号化手段と、を具備するように構成するものである。
【００２４】
このように構成することにより、送信側において符号化されたビット信号をバッファに蓄え、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行い、受信側においては、受信した符号化ビット信号をバッファに一時蓄えてからその符号化ビット信号を復号化して出力する。
このようにして、送信側において、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることにより、従来の受信側の装置に変更を加えることなく復号化された信号の品質も向上させることができる。
【００２５】
本発明の制御装置は、符号化手段が、映像または音声信号に対して人間の知覚限界に基づく不可逆の符号化処理を行い、算出手段は、人間の知覚限界を基準に符号化に必要なビット信号を算出するように構成したものである。
【００２６】
このように構成することにより、映像または音声信号に対して人間の知覚限界に基づく不可逆の符号化処理を行い、さらに人間の知覚限界を基準に符号化に必要なビット信号を算出するようにして、符号化処理による品質の劣化を少なくすると共に、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることができる。
【００２７】
本発明の制御装置は、制御手段に、任意に指定する固定のビットレートで画像または音声信号を符号化して伝送できるように制御するように構成するものである。
【００２８】
このように構成することにより、任意に指定する固定のビットレートで画像または音声信号を符号化して伝送できるように制御し、また、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００２９】
本発明の制御装置は、バッファに蓄えられているビット信号が規定値以上の場合に、基準となる必要ビット数に対して一定の割合で加算したビット数を加算ビット数とし、規定値以下の場合に一定の割合で減算したビット数を減算ビット数として、加算ビット数及び減算ビット数を基に符号化処理をするように構成するものである。
【００３０】
このように構成することにより、バッファに蓄えられているビット信号が規定値以上の場合に、基準となる必要ビット数に対して一定の割合で加算したビット数を加算ビット数とし、規定値以下の場合に一定の割合で減算したビット数を減算ビット数として、加算ビット数及び減算ビット数を基に符号化処理を行うことにより、特に低ビットレートにおいて符号化に最適なビット配分をして、符号化された信号の品質を向上させることができる。
【００３１】
本発明の制御方法は、送信側に定められた時間長のフレーム単位に入力信号の符号化処理を行う工程と、符号化されたビット信号を送信側において蓄える工程と、フレーム単位に入力信号を符号化するために必要なビット数を算出する工程と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する工程とを具備し、受信側において、送信側から送られた符号化ビット信号を蓄える工程と、受信側において蓄えられた符号化ビット信号を復号化して出力する工程と、を具備するようにしたものである。
【００３２】
このようにすることにより、送信側において、定められた時間長のフレーム単位に入力信号の符号化処理を行い符号化されたビット信号を蓄えて、フレーム単位に入力信号を符号化するために必要なビット数を算出し、算出された必要ビット数とバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御して、特に低ビットレートにおいて符号化に最適なビット配分を行い、受信側において、送信側から送られた符号化ビット信号をおいて蓄え、受信側において蓄えられた符号化ビット信号を復号化して出力するようにする。このようにして送信側において、特に低ビットレートにおいて符号化に最適なビット配分をし、符号化された信号の品質を向上させることにより、従来の受信側の装置に変更を加えることなく復号化された信号の品質も向上させることができる。
【００３３】
【発明の実施の形態】
本発明の主眼は、固定ビットレートで映像や音声を伝送する際に、フレーム単位の符号化ビット信号を制御することにより長時間に渡って信号品質を良好にすることにある。
【００３４】
（実施の形態１）
図１は、本発明の実施の形態１による制御装置の構成を示すブロック図である。
【００３５】
符号化ビットレート制御装置１００は、送信側１０９に定められた時間長のフレーム単位に入力信号の符号化処理をする符号化手段１０１と、符号化されたビット信号を蓄えるバッファ手段１０２と、フレーム単位に入力信号を符号化するのに必要なビット数を算出する算出手段（必要ビット数算出手段）１０３と、算出された必要ビット数とバッファに蓄えられたビット信号の量を示すバッファレベルを基準として符号化手段が使用するビット数を調整することにより、バッファレベルを既定値の範囲内に収まるように制御すると共に、前記バッファレベルの既定値の範囲を伝送ビットレートと前記必要ビット数を基準にして適応的に制御する制御手段１０４と、を具備するように構成したものである。
【００３６】
受信側１１０には、送信側からの出力符号化ビットｈを受け取りバッファするフレームバッファ１１１、フレームバッファ１１１と余剰ビットｎと不足ビットｏの授受をするビットリザーバ１１２及びフレームバッファ１１１のバッファ出力を復号化して出力する復号化手段１１３と、を具備するようになっている。
【００３７】
バッファ手段１０２は、符号化手段１０１の出力である符号化ビット信号をフレーム単位に蓄えるフレームバッファ１０５と、フレームバッファ１０５と協同して余剰または不足ビット信号ｆ，ｇの授受をするビットリザーバ１０６と、を有するように構成したものである。
【００３８】
制御手段１０４は、伝送ビットレートｂとビットリザーバ１０６と算出手段１０３からの出力に基づいてビットリザーバ１０６のビットレベルを設定するビットリザーバレベル設定手段１０８と、設定したビットリザーバ１０６のビットリザーバレベルａとビットリザーバ１０６の出力（リザーブビット数）ｃ及び算出手段１０３からの出力（必要ビット数）ｄに基づいて使用可能ビット数ｅに対応する信号を符号化手段１０１に送出するビットリザーバ制御手段１０７と、を具備するように構成したものである。
【００３９】
まず、ビットリザーバ制御手段１０７の動作について詳しく説明する。ビットリザーバ制御手段１０７の動作は、伝送路の受信側の状態を考慮して制御されなければならない。まず、固定ビットレートで伝送を行い、かつ、受信側１１０でリアルタイムに復号処理が可能であるためには、受信側１１０にも送信側１０９と同じサイズのフレームバッファ１１１と、送信側１０９と同じサイズ以上のビットリザーバ１１２が設けられていることが必要である。受信側１１０では、フレームバッファ１１１及びビットリザーバ１１２から、符号化処理フレーム単位で符号化ビットが取り出されて復号化手段１１３において復号化処理が行われる。
【００４０】
受信側１１０では、フレーム単位の符号化ビット数とフレームバッファ及びビットリザーバとの関係が、送信側１０９とちょうど逆の関係になっており、処理フレーム単位で使用されるビット数がフレームバッファ１１１より少ない場合には、フレームバッファ１１１に受信した符号化ビットのうち、使用されない分の符号化ビットはビットリザーバ１１２に蓄えられる。
【００４１】
処理フレーム単位に使用されるビット数がフレームバッファ１１１より多い場合には、不足分の符号化ビットをビットリザーバ１１２から取り出して使用する。ここで、ビットリザーバ１１２に対して要求される符号化ビットの数が、ビットリザーバ１１２に蓄えられている符号化ビットの数よりも大きいと、ビットリザーバ１１２は不足分の符号化ビットを補えないことになり、結果として、その処理フレームを復号化手段１１３で復号化処理することができないことになる。
【００４２】
このような現象が起こらないようにするためには、送信側１０９で受信側１１０のビットリザーバ１１２の状態を監視し、その状態に基づいて符号化で使用するビットの数を制御しなければならない。実際には、送信側１０９のビットリザーバ１０６を監視すれば、受信側１１０のビットリザーバ１１２の状態を知ることが出来るので、符号化で使用するビット数の制御は送信側１０９だけの処理で実現することができる。
【００４３】
送信側１０９のある処理フレームにおいては、使用された符号化ビットの数がフレームバッファ１０５のサイズよりも小さく、送信側１０９のビットリザーバ１０６から出力符号化ビットｈが補充された場合、受信側１１０では、送信側１０９のビットリザーバ１０６から補充された分の出力符号化ビットｈが、そのまま受信側１１０のビットリザーバ１１２に蓄えられることになる。
【００４４】
逆に、送信側１０９では、使用されたビットの数がフレームバッファ１０５のサイズよりも大きく、送信側１０９のビットリザーバ１０６に余剰ビットｆが蓄えられた場合、受信側１１０では、フレームバッファ１１１のサイズに対して不足する分の符号化ビットを受信側１１０のビットリザーバ１１２から取り出すが、その符号化ビットの数は、送信側１０９のビットリザーバ１０６に蓄えられた余剰ビットｆの数に等しい。
【００４５】
また、上記の動作条件から、このようなビットリザーバ１０６を利用した伝送では、ある処理フレームにおいてフレームバッファ１０５のサイズを越えるような符号化ビット数を使用する場合には、それ以前の処理フレームにおいてフレームバッファサイズよりも小さいビット数を使用して符号化を行い、受信側１１０のビットリザーバ１１２に符号化ビットを蓄えておかなければならないことが分かる。
【００４６】
さらにこの場合、送信側１０９では、ビットリザーバ１０６に蓄えられている符号化ビットを取り出すことになるため、送信側１０９のビットリザーバ１０６には、それ以前の処理フレームの符号化ビットが蓄えられていなければならない。この条件を満たすためには、送信側１０９の符号化処理を受信側１１０の復号化処理に対して先行させ、符号化ビットの伝送に遅延を持たせる必要があることも分かる。
【００４７】
そこで、あらかじめ、符号化ビットの数がビットリザーバ１０６のサイズを超えない範囲において数フレーム分の符号化処理を行ない、その符号化ビットを送信側１０９のビットリザーバ１０６に蓄えた後、符号化ビットの伝送を開始するとすれば、受信側１１０のビットリザーバ１１２に蓄えられている符号化ビットの数は、符号化ビットの伝送開始時点から送信側１０９のビットリザーバ１０６より取り出された符号化ビット（リザーブビットと呼ぶ）の数に等しくなる。
【００４８】
伝送開始以降は、送信側１０９のリザーブビット信号ｃが、０からビットリザーバ１０６のサイズの範囲内に収まるようにすれば、受信側１１０のビットリザーバ１１２に蓄えられる符号化ビットの数も０からビットリザーバ１１２のサイズに収まることになり、受信側１１０の復号化手段１１３で復号化処理に必要な符号化ビットが不足する問題を起こすことなく、リアルタイムの伝送が行えることになる。
【００４９】
以上のことから、ビットリザーバ制御手段１０７の動作は、算出手段１０３が行う必要ビット数ｄが伝送路の伝送ビットレートｂを越えている場合には、リザーブビット１０６が正の値を採る範囲でリザーブビット数ｃを減少させて、フレームの符号化処理で使用する符号化ビットの数を増加させ、逆に、必要ビット数の要求が伝送路のビットレートよりも少ない場合には、フレームの符号化処理で使用する符号化ビット数を減少させて、リザーブビット数ｃを増加させることになる。
【００５０】
なお、リザーブビット数ｃは、ビットリザーバ１０６のサイズを越えることができないので、ビットリザーバサイズを超える分のリザーブビットは、使用したものと見なして受信側１１０に伝送される。これをフィルビットと呼ぶが、フィルビットには符号化の情報は含まれないので受信側１１０で破棄される。
【００５１】
一般的に、伝送路の伝送ビットレートｂが低い場合、符号化に必要なビット数の要求は伝送路のビットレートを上回ることが多く、リザーブビット数ｃが０の状態が続くことになるため、ビットリザーバ１０６が有効に働かない。また、実際に配分できる符号化ビットの数が必要ビット数に比べて少ないほど符号化された音声信号の品質は劣化する。
【００５２】
従って、必要ビット数の要求が伝送ビットレートｂを上回る度合が小さい場合には、符号化で使用するビット数を伝送ビットレートｂに対して少なくして、リザーブビット数ｃを増加させておく。また伝送ビットレートｂを上回る度合が大きくなった時には、リザーブビット数ｃを減少させて符号化で使用するビット数を増加させるような制御を行って、必要ビット数が大きくなったときの品質の劣化を少なくすることもできる。
【００５３】
リザーブビット数ｃを増加させて行き、ビットリザーバサイズと等しくなった場合は、それ以上のビットを蓄えることはできないので、伝送ビットレートｂに相当するビットをすべて符号化に割り当てる。このような制御を行うことによって、符号化に必要なビット数と実際に符号化に使用するビット数の差を小さくし、必要ビット数に対する符号化ビット数の不足が大きくなることによる品質の劣化を防ぐことができる。
【００５４】
続いて、本発明の実施の形態１における符号化ビットレート制御装置の動作を図１を参照しながら説明する。符号化手段１０１は、入力音声信号を分析し、符号化に必要なビット数を算出する基礎となる評価尺度ｉを算出する。
【００５５】
必要ビット数算出手段１０３は、評価尺度ｉをもとに符号化に必要なビット数を算出し、ビットリザーバ制御手段１０７に対して必要ビット数ｄを知らせる。
同時に、ビットリザーバ制御手段１０７は、ビットリザーバ１０６に蓄えられている符号化ビットの状態を表すリザーブビット数ｃとビットリザーバレベル設定手段１０８においてリザーブビット数ｃ、伝送ビットレートｂ及び必要ビット数ｄに基づいて得たビットリザーバレベルａを受け取る。
【００５６】
ビットリザーバ制御手段１０７は、受け取った必要ビット数とリザーブビット数から、現在のフレームにおいて使用可能なビット数を算出し、符号化手段１０１に知らせる。符号化手段１０１は与えられた使用可能ビット数ｅを使用して符号化処理を行い、出力符号化ビットｈをフレームバッファ１０５から出力する。
【００５７】
出力符号化ビットｈの数がフレームバッファ１０５のサイズよりも多い場合には、フレームバッファ１０５のサイズを超える部分の符号化ビット（余剰ビット）ｆをビットリザーバ１０６に蓄え、逆に少ない場合は、ビットリザーバ１０６からフレームバッファ１０５を満たす分のビット（不足ビット）ｇを取り出してフレームバッファ１０５を一杯にする。最終的に、フレームバッファ１０５に蓄えられたフレームバッファサイズの出力符号化ビットｈが出力される。
【００５８】
続いて、ビットリザーバレベル設定手段１０８の動作とビットリザーバレベルａの役割について説明する。ビットリザーバレベル設定手段１０８は、設定された伝送ビットレートｂにおいて適切と考えられるリザーブビット数ｃの目標値を算出する。算出の方法としては、例えば、設定する伝送ビットレートｂにおいて、すべてのビットをビットリザーバ１０６に蓄えた時に、ある所定の時間内に蓄えられるビット数をもってリザーブビット数ｃの目標値とする方法を用いることができる。
【００５９】
続いて、算出されたリザーブビット数ｃの目標値を、要求された必要ビット数ｄと実際にビットリザーバ１０６に蓄えられているビット数とにより補正し、この補正された値をビットリザーバレベルａとする。ただし、ビットリザーバレベルａの最大値は、元のビットリザーバサイズより大きくすることはできない。
【００６０】
ビットリザーバレベルａの補正を行う理由は、例えば、要求ビット数が少ない場合、符号化手段１０１で使用されるビット数も減少し、不足ビットｇが生じるが、この時リザーブビット数ｃがビットリザーバレベルａに近い状態にある場合、ここで発生した不足ビットｇ分を加えたリザーブビット数ｃがビットリザーバレベルａを超える可能性が高くなる。
【００６１】
ビットリザーバレベルａは、仮想的なビットリザーバサイズとして機能するので、ビットリザーバレベルａを超えた部分のビットについては、符号化情報を持たないビットとみなされて伝送されることになり、伝送の効率を下げることになる。これを防ぐためには、リザーブビット信号ｃがビットリザーバレベルａに近く、かつ、要求される必要ビット数が少ない時にはビットリザーバレベルａを引き上げて、よりリザーブビット数を増加させるように調整し、また、ビットリザーバレベルａを引き上げ後に、再び要求される必要ビット数が増加しリザーブビット数が減少したときには、ビットリザーバレベルａを引き下げる様に調整すれば良い。
【００６２】
以上で説明したように適応的に設定されたビットリザーバレベルａを、仮想的にビットリザーバサイズとみなしてビットリザーバ１０６の制御を行うことにより、使用する伝送ビットレートｂに関わらず、フレーム単位で符号化処理に配分するビット数の最適化を行い、符号化され伝送される情報の品質を向上させることができる。
【００６３】
（実施の形態２）
図２は、本発明の実施の形態２による符号化ビットレート制御装置の構成を示すブロック図である。本発明の実施の形態１によるビットレート装置と相違するのは、符号化手段１０１から出力される評価尺度ｉを、人間の知覚を前提とする評価尺度ｍに変換する知覚誤差評価モデル２０１を備えている点である。その他の構成は実施の形態１の構成と同じであるので、同一の構成については同一の符号を付し、ここでは詳しい説明を省略する。
【００６４】
一般に、信号の非可逆圧縮符号化では、符号化される対象の信号に対してどのようなビット配分を行うかによって、符号化された信号の品質に差異が生じる。
信号の品質を表す代表的な指標としては原信号に対する符号化における誤差の割合を示すＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）があり、知覚誤差評価モデル２０１において、評価尺度としてこのＳＮＲを用いて入力信号を所定のＳＮＲ値を保つように符号化するために必要なビット数を算出することができる。
【００６５】
また逆に、使用できるビット数が定められているときに、符号化された信号のＳＮＲが最大になるような符号化処理を行うことも可能である。しかしながら、ＳＮＲに代表される物理的な距離に基づく誤差の評価尺度は、実際の人間が知覚する誤差の尺度と異なっているため、あるビットレートにおいてＳＮＲに基づいて符号化された信号の品質が、人間の主観的な評価としても高品質であることは保証されない。
【００６６】
特に、非常に高い圧縮率の符号化においては、物理的な距離に基づく誤差の評価尺度と実際の人間が知覚する誤差の尺度のずれが大きくなるため、より人間が知覚する誤差の尺度に近い評価尺度を用いることが必要である。知覚誤差評価モデル２０１には、一例として高圧縮率のオーディオ符号化、例えば、ＭＰＥＧ−２ ＡＡＣで用いられる心理聴覚モデルがある。心理聴覚モデルでは、周波数帯域による聴覚特性の違いや、大きな音に対して時間的・周波数的に近傍の小さな音は聞き取れないというマスキングと呼ばれる効果を考慮して、人間が知覚できない部分の情報を削減した上で評価尺度を算出する。
【００６７】
知覚誤差評価モデル２０１は、このように人間の知覚誤差に基づいた評価尺度を基準として、ビット配分と符号化処理を行うことによって、主観的な評価としての品質を向上させることができる。ただし、このような人間の知覚誤差に基づいた評価尺度ｍを基準として符号化処理を行うと、符号化処理フレーム単位で見て、敏感に知覚される部分を多く含むフレームでは削減できる情報が少なく（符号化に必要なビット数が多い）、あまり知覚されない部分を多く含むフレームでは削減出来る情報が多い（符号化に必要なビット数が少ない）ことになり、物理的な距離に基づく誤差の評価尺度を用いる場合と比較して、符号化に必要なビット数の変動が大きくなる。
【００６８】
このような必要ビット数の変動が激しい符号化手段１０１では、特に低ビットレートにおいて、従来の符号化ビットレート制御装置と組み合わせて使用すると、必要ビット数が伝送ビットレートｂに対して大きいフレームで使用されたビットを補ってビットリザーバ１０６を満たすために、伝送ビットレートｂ以下のビット数しか配分できないフレームの比率が大きくなる。しかしながら、本実施の形態２の符号化ビットレート制御装置との組み合わせによれば、ビットリザーバレベルａを適応可能に設定し、仮想的にビットリザーバサイズとみなしてビットリザーバ１０６の制御を行うことにより、使用する伝送ビットレートに関わらず、フレーム単位で符号化処理に配分するビット数の最適化を行うことができるので、符号化され伝送される情報の品質をさらに向上させることができる。
【００６９】
（実施の形態３）
図３は本発明の実施の形態３による符号化ビットレート制御装置の構成を示すブロック図である。本発明の実施の形態２によるビットレート装置と相違するのは、ビットリザーバ制御手段１０７に換えて、動作の異なる第２のビットリザーバ制御手段３０１を設けた点である。これ以外の構成については、実施の形態２の構成と異ならないので、同一の構成については同一の符号を付し、詳しい説明を省略する。
【００７０】
ビットリザーバ制御手段１０７は、適応的に設定されるビットリザーバレベルを仮想的にビットリザーバサイズとみなして、リザーブビット数を０からビットリザーバレベルａの間で制御する。これに対して、第２のビットリザーバ制御手段３０１は、要求ビット数が、伝送ビットレートｂよりも低い場合には、ビットリザーバサイズ、要求ビット数が伝送ビットレートｂよりも高い場合にはビットリザーバレベルａを最適なリザーブビット数とみなして、０からビットリザーバサイズの間でリザーブビット数を制御する。
【００７１】
以下、図３及び図４を用いてビットリザーバ制御手段１０７と第２のビットリザーバ制御手段３０１の動作の違い詳しくを説明する。図４は、実施の形態３による符号化ビットレート制御装置におけるビットリザーバに蓄えられるリザーブビットの変化の様子を示すものである。縦軸はリザーブビット数、横軸は経過時間、縦軸上の点線４０１はリザーブビットの絶対的な最大値であるビットリザーバサイズ、実施の形態３のビットリザーバレベル設定手段１０８によって設定されるビットリザーバレベル４０２を表す。
【００７２】
ビットリザーバ制御手段１０７によるビットリザーバ１０６の状態は破線の折れ線４０３、第２のビットリザーバ制御手段３０１によるビットリザーバ１０６の状態は実線の折れ線４０４で示される。なお、この図においては説明の簡略化のため、区間内においてビットリザーバレベルは一定であるとする。区間Ｔａは要求ビット数が伝送ビットレートｂよりも低い区間である。
【００７３】
ビットリザーバ制御手段１０７による制御では、リザーブビット数はビットリザーバレベル４０２を超えることができないので、リザーブビット数がビットリザーバレベル４０２で飽和する。これに対して、第２のビットリザーバ制御手段３０１による制御では、リザーブビット数の目標値はビットリザーバサイズ４０１なので、リザーブビットはビットリザーバサイズ４０１まで蓄えられる。区間Ｔｂは、要求ビット数が伝送ビットレートを上回る度合いが比較的大きい区間である。この区間では、リザーブビットを減少させて、符号化に使用するビットを補う必要がある。
【００７４】
この時、第２のビットリザーバ制御手段３０１による制御では、ビットリザーバ制御手段１０７による制御と比較して、より多くのリザーブビットが蓄えられているため、より多くのビットを補うことができる。または、ビットリザーバ制御手段１０７による制御と同程度のビット数を補うのであれば、より長い区間に渡ってビットを補うことが可能である。区間Ｔｃは、要求ビット数が伝送ビットレートに対して非常に大きい区間である。この区間では、どちらの制御手段を用いた場合でもリザーブビットは大きく減少するが、より多くのリザーブビットを蓄えることのできる第２のビットリザーバ制御手段３０１による制御の方が有利である。
【００７５】
区間Ｔｄは要求ビット数が伝送ビットレートｂを上回る度合いが比較的小さい区間である。この区間では、使用されたリザーブビット信号ｃを補うために、配分するビット数を伝送ビットレートｂよりも少なくする必要がある。この場合、要求ビット数が伝送ビットレートｂを超えているので、どちらのビットリザーバ制御手段においても、目標とする適切なリザーブビット数はビットリザーバレベル４０２となる。従って、ビットリザーバ制御手段３０１による制御の方が先にビットリザーバレベル４０２に漸近するので、配分するビット数の減少分を早く少なくすることができる。
【００７６】
なお、要求ビット数が伝送ビットレートｂを下回ることが全く無ければ、ビットリザーバ制御手段１０７と第２のビットリザーバ制御手段３０１の動作は同じになるが、例えば、入力信号が音声の場合を例にとると、無音区間等の符号化すべき情報量が非常に少ない区間がほぼ必ず存在する。第２のビットリザーバ制御手段３０１による制御では、この区間で蓄えられるビットをより効率的に配分できるので、よって、符号化伝送される情報の品質をさらに向上させることができる。
【００７７】
（実施の形態４）
図５は本発明の実施の形態４による符号化伝送装置の構成を示すブロック図であり、送信装置の符号化手段が、本発明の実施の形態１乃至３によるいずれかの符号化ビットレート制御装置と組み合わせて使用されることが可能であり、あらかじめ定められた固定の伝送ビットレートで符号化ビットが伝送されるように構成することができるようになっている。
【００７８】
図５において、ビットリザーバ制御手段５０３は、本発明の実施の形態１乃至実施の形態３において、評価尺度ｉとリザーブビットの数と伝送ビットレート１０２を入力として使用可能ビットを算出する部分に相当するようになっている。
【００７９】
例えば、実施の形態３を例に取ると、知覚誤差評価モデル２０１、必要ビット数算出手段１０２、ビットリザーバレベル設定手段１０８と第２のビットリザーバ制御手段３０１が含まれるようになっている。
【００８０】
送信装置５０１から出力される伝送符号化ビット５０４によって伝送される符号化された信号は、実施の形態４における符号化ビットレート制御装置にしたがって最適なビット配分によって符号化された信号であり、従来の送信装置によって符号化・伝送される信号よりも高品質である。また、受信装置５０２から見た場合、受信装置５０２においてビットリザーバ５０７を用いて、リアルタイムに復号処理が実行できるための条件は、前記のように送信側１０９のビットリザーバ１０６がオーバーフローもしくはアンダーフローを起こさないことである。なお、図中参照符号５０５はフレームバッファであり、参照符号５０６は復号化手段である。
【００８１】
実施の形態１乃至３の符号化ビットレート制御装置は、いずれもこの条件を満足するので、受信装置５０２において、従来の送信装置による伝送符号化ビットと、本実施の形態の受信装置５０１による伝送符号化ビット５０４の取り扱いは同じで良い。すなわち、実施の形態４の符号化ビットレート制御手段を組込んだ送信装置を用いれば、これまでの受信装置に何らの変更を加えることなく、同じビットレートでより高品質な信号の伝送が可能となる。
【００８２】
【発明の効果】
以上において説明したように、本発明によれば、符号化処理に対するビット配分を最適化する事が可能であり、よって、符号化伝送される信号の品質を向上させることができる制御装置及び制御方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における制御装置の構成を示すブロック図
【図２】本発明の実施の形態２における制御装置の構成を示すブロック図
【図３】本発明の実施の形態３における制御装置の構成を示すブロック図
【図４】図３における制御装置におけるビットリザーバの状態を表す図
【図５】本発明の実施の形態４における符号化伝送装置の構成を示すブロック図
【図６】従来の符号化伝送装置の構成を示すブロック図
【符号の説明】
１００ 符号化ビットレート制御装置
１０１ 符号化手段
１０２ バッファ手段
１０３ 算出手段（必要ビット数算出手段）
１０４ 制御手段
１０５ フレームバッファ
１０６ ビットリザーバ
１０７ ビットリザーバ制御手段
１０８ ビットリザーバレベル設定手段
１０９ 送信側
１１０ 受信側
１１１ フレームバッファ
１１２ ビットリザーバ
１１３ 復号化手段
２０１ 知覚誤差評価モデル
３０１ 第２のビットリザーバ制御手段
５０１ 送信装置
５０２ 受信装置
５０５ フレームバッファ
５０６ 復号化手段
５０７ ビットリザーバ
Claims (5)
- 定められた時間長のフレーム単位に入力信号の符号化処理をして符号化ビットを生成する符号化手段と、
伝送ビットレートに対応するバッファサイズを持ち、前記符号化ビットを蓄積するフレームバッファと、
前記フレームバッファとの間で前記バッファサイズに対して余剰または不足の符号化ビットの授受をするビットリザーバと、
前記フレーム単位に入力信号を符号化するために必要なビット数である必要ビット数を算出する算出手段と、
前記ビットリザーバに蓄えるべき符号化ビットのビット数について前記伝送ビットレートに応じた目標値を算出し、前記目標値を前記ビットリザーバに蓄えられている符号化ビットのビット数と前記必要ビット数とに基づいて補正し、補正後の目標値を示すビットリザーバレベルを設定するビットリザーバレベル設定手段と、
前記必要ビット数と前記ビットリザーバに蓄えられた符号化ビットのビット数とを基準として前記符号化手段が使用するビット数を調整することにより、前記ビットリザーバに蓄えられる符号化ビットのビット数が前記ビットリザーバレベルによって示される前記補正後の目標値に近づくように制御するビットリザーバ制御手段と、
前記フレームバッファに蓄積されたビット信号を前記バッファサイズ単位で伝送する伝送手段と、
を具備することを特徴とする制御装置。 - 前記ビットリザーバレベル設定手段は、前記ビットリザーバに蓄えられている符号化ビットのビット数が多く前記必要ビット数が少ない場合、前記ビットリザーバに蓄えられている符号化ビットのビット数が少なく前記必要ビット数が多い場合よりも前記補正後の目標値が高くなるよう、前記目標値を補正する、
ことを特徴とする請求項１記載の制御装置。 - 前記ビットリザーバ制御手段は、
前記必要ビット数が前記伝送ビットレートより低い場合は、前記ビットリザーバのサイズを前記ビットリザーバに蓄えられる符号化ビット数の上限とし、
前記必要ビット数が前記伝送ビットレートよりも高い場合は、前記ビットリザーバレベルを前記ビットリザーバに蓄えられる符号化ビット数の上限とする、
請求項１記載の制御装置。 - 前記符号化手段は、映像または音声信号に対して人間の知覚限界を基準とする不可逆の符号化処理を行い、前記算出手段は、人間の知覚限界を基準に符号化に必要なビット数を算出することを特徴とする請求項１に記載の制御装置。
- 定められた時間長のフレーム単位に入力信号の符号化処理をして符号化ビットを生成する符号化手段と、
伝送ビットレートに対応するバッファサイズを持ち、前記符号化ビットを蓄積するフレームバッファと、
前記フレームバッファとの間で前記バッファサイズに対して余剰または不足の符号化ビットの授受をするビットリザーバと、
前記フレームバッファに蓄積されたビット信号を前記バッファサイズ単位で伝送する伝送手段と、
を具備する制御装置における制御方法であって、
前記フレーム単位に入力信号を符号化するために必要なビット数である必要ビット数を算出するステップと、
前記ビットリザーバに蓄えるべき符号化ビットのビット数について前記伝送ビットレートに応じた目標値を算出し、前記目標値を前記ビットリザーバに蓄えられている符号化ビットのビット数と前記必要ビット数とに基づいて補正し、補正後の目標値を示すビットリザーバレベルを設定するステップと、
前記必要ビット数と前記ビットリザーバに蓄えられた符号化ビットのビット数とを基準として前記符号化手段が使用するビット数を調整することにより、前記ビットリザーバに蓄えられる符号化ビットのビット数が前記ビットリザーバレベルによって示される前記補正後の目標値に近づくように制御するステップと、
を具備することを特徴とする制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197201A JP4579379B2 (ja) | 2000-06-29 | 2000-06-29 | 制御装置及び制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197201A JP4579379B2 (ja) | 2000-06-29 | 2000-06-29 | 制御装置及び制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002014696A JP2002014696A (ja) | 2002-01-18 |
| JP2002014696A5 JP2002014696A5 (ja) | 2007-04-19 |
| JP4579379B2 true JP4579379B2 (ja) | 2010-11-10 |
Family
ID=18695561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000197201A Expired - Fee Related JP4579379B2 (ja) | 2000-06-29 | 2000-06-29 | 制御装置及び制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4579379B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4563881B2 (ja) * | 2005-06-27 | 2010-10-13 | 日本放送協会 | オーディオ符号化装置及びプログラム |
| JP5119933B2 (ja) * | 2008-01-11 | 2013-01-16 | 株式会社デンソー | 音声出力装置 |
| US9548061B2 (en) | 2011-11-30 | 2017-01-17 | Dolby International Ab | Audio encoder with parallel architecture |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11262008A (ja) * | 1997-12-08 | 1999-09-24 | Sony Corp | 符号化装置及び方法 |
| JP2000156857A (ja) * | 1998-11-19 | 2000-06-06 | Matsushita Electric Ind Co Ltd | バリアブル・ビットレートによる動画像の符号化方法と装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08102940A (ja) * | 1994-09-29 | 1996-04-16 | Sanyo Electric Co Ltd | 動画像処理装置及び方法 |
| JP3815854B2 (ja) * | 1997-06-20 | 2006-08-30 | 富士通株式会社 | ディジタルｐｌｌ回路およびｍｐｅｇデコーダ |
| US6460097B1 (en) * | 1998-06-09 | 2002-10-01 | Matsushita Electric Industrial Co., Ltd. | Data stream output apparatus |
| JP2000152228A (ja) * | 1998-11-11 | 2000-05-30 | Sony Corp | 高能率符号化装置 |
-
2000
- 2000-06-29 JP JP2000197201A patent/JP4579379B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11262008A (ja) * | 1997-12-08 | 1999-09-24 | Sony Corp | 符号化装置及び方法 |
| JP2000156857A (ja) * | 1998-11-19 | 2000-06-06 | Matsushita Electric Ind Co Ltd | バリアブル・ビットレートによる動画像の符号化方法と装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002014696A (ja) | 2002-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6704281B1 (en) | Bit-rate control in a multimedia device | |
| US5677969A (en) | Method, rate controller, and system for preventing overflow and underflow of a decoder buffer in a video compression system | |
| US8548048B2 (en) | Video source rate control for video telephony | |
| US9060189B2 (en) | Multiplexed video streaming | |
| EP3322185B1 (en) | Video code rate control method and video encoding apparatus | |
| US20110299589A1 (en) | Rate control in video communication via virtual transmission buffer | |
| JP5446258B2 (ja) | オーディオ符号化装置 | |
| WO1990010993A1 (en) | Video/audio multiplex transmission system | |
| JPH04288776A (ja) | ビデオ符号器の量子化ステップ幅を動的に定める装置および方法 | |
| JPH07202820A (ja) | ビットレート制御システム | |
| US20060184358A1 (en) | Distortion-based method and apparatus for buffer control in a communication system | |
| KR20050084400A (ko) | 디지털 다중매체 정보의 적응적 인코딩 | |
| US8483272B2 (en) | System and method for frame level bit rate control without pre-analysis | |
| US10205943B2 (en) | Bitrate distribution | |
| JP5064305B2 (ja) | ビットレート変換装置及び変換方法 | |
| CN102724502B (zh) | 一种视频编码中码率的控制方法及装置 | |
| US20130073297A1 (en) | Methods and devices for providing an encoded digital signal | |
| JP4579379B2 (ja) | 制御装置及び制御方法 | |
| JPH05260458A (ja) | ビデオシグナルのイメージコーディングのための方法及び装置 | |
| KR101166650B1 (ko) | 배경 잡음 정보를 디코딩하기 위한 방법 및 수단 | |
| JPH0669811A (ja) | 符号化回路及び復号化回路 | |
| JP2000183751A (ja) | 可変レート符号化・復号装置 | |
| JP2001308919A (ja) | 通信装置 | |
| JP2003116133A (ja) | 動画像圧縮符号化伝送品質制御方式および方法 | |
| JPH10210475A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100826 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |