JP3769788B2 - 画像信号伝送装置および方法 - Google Patents
画像信号伝送装置および方法 Download PDFInfo
- Publication number
- JP3769788B2 JP3769788B2 JP27686395A JP27686395A JP3769788B2 JP 3769788 B2 JP3769788 B2 JP 3769788B2 JP 27686395 A JP27686395 A JP 27686395A JP 27686395 A JP27686395 A JP 27686395A JP 3769788 B2 JP3769788 B2 JP 3769788B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- significant
- blocks
- amount
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削減することができる画像信号伝送装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮において、なんらかの前処理によって求められた予測残差を所定のビット数で量子化することで情報量を削減するのが一般的な方法である。このように予測残差を量子化することにより発生するデータ量（以下、符号化データ量と称する）を削減する有効な手法の１つとして、供給されたサンプル値とその予測値との差分をとることによって、求められた予測誤差を所定のビット数で量子化しているが、予測残差すべてを量子化するので、かなりの符号化データ量になる。
【０００３】
この符号化データ量を抑える１つの方法として、予測残差をブロック分割して、そのブロック毎に伝送することが有意か否かを判定する有意判定を行い、その有意判定において、無意と判定されたブロックについては伝送しないというものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、この場合、ブロックサイズが小さいと有意となるブロックの出現確率は減るが、総ブロック数が増えるため、フラグなどのオーバーヘッドが増えて、結果的に符号化データ量が増えてしまうということがあるという問題があった。また、ブロックサイズが小さいと画像の内容によっては、有意ブロックの数が大幅に変わり、情報量を一定にするための制御が難しくなるという問題があった。
【０００５】
従って、この発明の目的は、階層構造とすることによって符号化データ量を削減するとともに、フィードバック／フィードフォワードバッファリングを行うことによって、符号化データ量を目標値以下に制御することができる画像信号伝送装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、第１のしきい値と予測残差の最大値の絶対値とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、有意判定手段によって有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、量子化手段の出力が入力され、量子化手段の出力を一定レートで出力するバッファ手段と、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定手段とを有し、第１のブロックと、当該第１のブロックの中から有意判定手段で有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化手段から出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置である。
請求項９に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、第１および第２のブロックから発生情報量を予測し伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、有意判定手段によって有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、量子化手段の出力が入力され、量子化手段の出力を一定レートで出力するバッファ手段と、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定手段とを有し、第１のブロックと、当該第１のブロックの中から有意判定手段で有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化手段から出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置である。
【０００７】
さらに、請求項１０に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、第１のしきい値と予測残差の最大値の絶対値とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、有意判定ステップによって有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、量子化ステップの出力がバッファ手段に入力され、量子化ステップの出力をバッファ手段から一定レートで出力するバッファステップと、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定ステップとを有し、第１のブロックと、当該第１のブロックの中から有意判定ステップで有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化ステップから出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法である。
請求項１３に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、有意判定ステップによって有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、量子化ステップの出力がバッファ手段に入力され、量子化ステップの出力をバッファ手段から一定レートで出力するバッファステップと、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定ステップとを有し、第１のブロックと、当該第１のブロックの中から有意判定ステップで有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化ステップから出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法である。
【０００８】
予測残差を階層的に有意判定することで伝送する符号化データ量を削減することができ、さらにフィードバック／フィードフォワードバッファリングを行うことで符号化データ量を効率的に目標値以下に制御することができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。画像信号伝送装置の一実施例のブロック図を図１に示す。１で示す入力端子から現フレームの画像データが入力され、その画像データは、動き検出回路２および減算器３へ供給される。また、有意判定によって、有意ブロックに含まれる予測残差が量子化回路４において、量子化され、その量子化値が逆量子化回路５へ供給される。逆量子化回路５では、量子化値としきい値から元の予測残差が復元された後、その予測残差は、加算器６に供給される。
【００１０】
加算器６において、復号された予測残差と、予測回路８からの予測画像データとが加算され、すなわちローカル復号された出力は、フレームメモリ７へ供給される。このフレームメモリ７には、ローカル復号によって動き補償がされた前フレームの予測結果が記憶されている。その前フレームの画像データは、フレームメモリ７から動き検出回路２および予測回路８へ供給される。動き検出回路２では、入力画像データとフレームメモリ７から供給される画像データとを用いて、例えばＮフレームと（Ｎ＋２）フレームの２フレーム間でのブロックマッチングによって、ブロック単位に動きベクトルの検出が行われる。
【００１１】
検出された動きベクトルは、動き検出回路２からバッファ兼フレーミング回路１７および予測回路８へ供給される。そして、減算器３では、予測回路８からの予測画像データが入力画像データから減算され、予測残差が生成される。生成された予測残差は、階層化のためのブロック化回路１０に供給される。このブロック化回路１０では、供給された予測残差を１６ライン×１６画素の第１のブロック（以下、１６×１６ブロックと称する）、８ライン×８画素の第２のブロック（以下、８×８ブロックと称する）および４ライン×４画素の第３のブロック（以下、４×４ブロックと称する）のブロックに分割される。
【００１２】
分割された１６×１６ブロックは、ブロック化回路１０からＤＲテーブル１１へ供給され、８×８ブロックは、ＤＲテーブル１２へ供給され、同様に４×４ブロックは、ＤＲテーブル１３へ供給される。このＤＲテーブル１１、１２および１３では、各ブロックと対応する階層毎に１フレーム当りの予測残差の絶対値の最大値（最大残差）の度数分布表が作成される。最大残差は、各階層の１ブロック毎に求められる。
【００１３】
また、各ＤＲテーブル１１、１２および１３では、符号化データ量の計算のために、１フレーム分の遅延が生じる。そして、各ＤＲテーブル１１、１２および１３から計算された度数分布表が情報量予測計算回路１４へ供給される。情報量予測計算回路１４には、符号化データ量の目標ビットレートが予め設定されており、しきい値ＲＯＭ１５からしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が供給される。
【００１４】
この発明の一実施例では、基本的にはフィードフォワードバッファリングがなされる。すなわち、情報量予測計算回路１４によって、ある１フレームの符号化データ量が予測され、これが目標値以下となるようなしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が決定される。この決定されたしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３によって、その１フレームの画像データに対して、有意ブロックの判定および量子化の処理がなされる。
【００１５】
このバッファリングによって、そのフレームの符号化データ量が目標値以下となされるが、バッファ兼フレーミング回路１７の次のフレームにおいて利用されるバッファ残量は、前のフレームのバッファリング処理の結果に応じて変動する。例えば、前フレームの絵柄が平坦なレベルの場合では、そのフレームの符号化データ量が少ないので、次のフレームで利用されるバッファ残量が多くなり、次のフレームに対して、より多くのビットを与えることが可能となる。
【００１６】
そこで、目標レート再設定回路１８では、伝送路に応じたビットレートとバッファ残量とを加味して、改めて目標ビットレートが設定される。設定された目標ビットレートは、目標レート再設定回路１８から情報量予測計算回路１４へ供給される。情報量予測計算回路１４では、予め設定されていた目標ビットレートが目標レート再設定回路１８から供給された目標ビットレートに再設定される。
【００１７】
また、しきい値ＲＯＭ１５の内容は、後述するように有意判定用の第１のしきい値Ｔｈおよび量子化ビット割当用の第２のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が一括して増減するように、測定、シュミレーション、経験等に基づいて定められており、且つバッファ兼フレーミング回路１７がオーバーフローまたはアンダーフローしないような値が選択される。
【００１８】
そして、有意判定回路９において、しきい値Ｔｈと最大残差とを比較してその大小で有意ブロックを判定することに着目すると、情報量予測計算回路１４では、しきい値ＲＯＭ１５から供給されたしきい値Ｔｈより大きい最大残差を有するブロックが有意ブロックと判定される。
【００１９】
すなわち、情報量予測計算回路１４では、後述するように各ＤＲテーブル１１、１２および１３から供給された度数分布表を使用し、しきい値テーブルに設定されたしきい値に応じて符号化データ量を予測し、バッファ残量から再設定された目標ビットレート以下になるようなしきい値番号と階層分岐の態様を決定する。このしきい値番号と階層分岐の態様から実際に有意ブロックの判定を行い、有意ブロックと判定されたブロックについて、適応量子化が行われる。また、決定された階層分岐の態様を指示する階層番号は、情報量予測計算回路１４から有意判定回路９へ供給される。そのときのしきい値番号および階層番号は、バッファ兼フレーミング回路１７へ供給される。
【００２０】
上述したように、しきい値ＲＯＭ１５では、目標ビットレート以下になるしきい値番号が決定されるまで、しきい値番号を１つづつ大きくし、そのしきい値番号に対応するしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が情報量予測計算回路１４へ出力される。
【００２１】
そして、有意判定回路９には、情報量予測計算回路１４から階層分岐の態様を指示する階層番号としきい値ＲＯＭ１５から有意判定用のしきい値Ｔｈ、さらにブロック化回路１０から分割された１６×１６ブロック、８×８ブロックおよび４×４ブロックが供給される。この有意判定回路９では、しきい値Ｔｈに基づいて、階層番号に基づいた階層分岐の態様でもってブロックの有意判定が行われ、有意／無意を識別するための有意フラグと有意ブロックのデータが出力される。
【００２２】
有意判定回路９からの有意フラグは、バッファ兼フレーミング回路１７へ供給され、有意ブロックのデータは、上述したように量子化回路４へ供給される。量子化回路４では、供給された有意ブロックのデータに対してしきい値ＲＯＭ１５から供給される量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて可変長（半固定長）の量子化が行われる。
【００２３】
この量子化回路４は、図３に示す量子化特性を有する適応量子化回路である。この図３は、符号を含めた３ビット固定長の量子化の場合の例を示す。まず、有意ブロックの判定の際に、注目ブロック内で最大残差（ダイナミックレンジ）が求められており、この最大残差を４で割った値を量子化ステップ幅として決定し、各画素の予測残差をこの量子化ステップ幅で割って整数化し、これを量子化コードとする。一般に、例えば３ビット固定長のＡＤＲＣ（ダイナミックレンジ適応符号化）を用いた予測残差をｘi とし、量子化ビット数をｎとし、最大残差をｍａｘとし、量子化コードをｑi とすると、
【００２４】
ｑi ＝〔ｘi ／（ｍａｘ／２n-1 ）〕
で表される。ただし、〔 〕は、整数化を意味する。
【００２５】
そして、後述する量子化ビット割当の制御に基づいて、決定された量子化ビット割当にしたがって、有意ブロックの予測残差の量子化が行われ、最大残差と量子化コード並びに有意フラグがしきい値番号および階層番号と共に、フォーマット化されて、伝送される。
【００２６】
この図３では、マイナス側に最大残差が求めるため、量子化コードは、プラス側から（３、２、１、０、−１、−２、−３、−４）となる場合の一例を示したが、プラス側に最大残差が求められる場合、この例の３ビット固定長の量子化コードは、プラス側から（４、３、２、１、０、−１、−２、−３）となる。このような量子化は、予測残差の０が０として復号され、また、最大残差の存在する極性の側に量子化の範囲が偏り、量子化誤差を少なくできるものである。
【００２７】
量子化回路４からの量子化値は、逆量子化回路５および可変長符号化回路１６へ供給される。逆量子化回路５では、量子化回路４へ供給した同じ量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、量子化値の逆量子化が行われる、すなわち量子化値の復号が行われ、もとの予測残差が復元され、上述したように加算器６へ供給される。可変長符号化回路１６では、供給された有意ブロックの量子化値に対して、例えばハフマン符号化のようなエントロピー符号化を用いてさらにデータ量が削減され、有意フラグと共にバッファ兼フレーミング回路１７へ供給される。
【００２８】
バッファ兼フレーミング回路１７には、有意フラグ、可変長符号化された量子化値、動きベクトルおよび情報量予測計算回路１４からしきい値番号および階層分岐の態様を示す階層番号が供給される。バッファ兼フレーミング回路１７に入力される量子化値は、画像の内容によってデータ量が変化するが、バッファ兼フレーミング回路１７の出力は、伝送路の容量にあわせて一定のビットレートで出力される。
【００２９】
ここで、ブロックの階層構造の一例を図２に示す。予測残差について、例えば１６×１６ブロックの大きさの第１のブロックに分割し（第１階層：Ｌ１）、まず、注目ブロック内の最大残差を検出し、この最大値を予め決められたしきい値と比較する。その結果、最大値がしきい値よりも小さい場合は、無意ブロックと判断し、有意フラグは `０' として、予測残差の伝送は行わない。
【００３０】
`１' （有意）：（最大残差）＞しきい値Ｔｈ
`０' （無意）：（最大残差）≦しきい値Ｔｈ
【００３１】
一方、最大残差がしきい値よりも大きい場合は、有意ブロックであると判断し、有意フラグを立てる（ `１' にする）と共に、さらに下位の階層の有意判定に制御が移る。第１階層で有意と判定されたブロックは、さらに８×８ブロックの大きさの第２のブロックに細分化し（第２階層：Ｌ２）、同様な有意判定を行い、第２階層で有意と判定されたブロックは、さらに４×４ブロックの大きさの第３のブロックに分割され（第３階層：Ｌ３）、有意判定が行われる。
【００３２】
ここで、ブロックの階層分岐の態様について、上述ではＬ１−Ｌ２−Ｌ３の順番に階層分岐が行われるよう説明したが、Ｌ１−Ｌ２の順番に階層分岐を行う場合、Ｌ１−Ｌ３の順番に階層分岐を行う場合またはＬ２−Ｌ３の順番に階層分岐を行う場合もある。情報量予測計算回路１４では、ある有意判定のしきい値Ｔｈが与えられた場合に、符号化データ量が最も少なくなるような階層分岐の態様を決定する。
【００３３】
次に、ＤＲテーブル１１、１２および１３において計算される最大残差の度数分布表を図４を用いて説明する。図４Ａは、１６×１６ブロックで構成される階層Ｌ１の１フレーム期間の最大残差の度数分布表を示し、ブロックの最大残差がしきい値Ｔｈより大きいか否かにより有意判定が行われる。この図４Ａにおいて、しきい値Ｔｈより小さい側の面積ｓ０は無意ブロックを示し、しきい値Ｔｈ以上の面積ｓ１は有意ブロックと判定されたブロックの数を示すことになる。
【００３４】
図４Ｂは、８×８ブロックで構成される階層Ｌ２の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ａに示すブロック数の４倍のブロック数が計数される。また、階層Ｌ１において、有意と判定されたブロックであっても、階層Ｌ２では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｂでは、有意と判定されたブロック数が面積ｓ２で表されている。
【００３５】
同様に、図４Ｃは、４×４ブロックで構成される階層Ｌ３の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ｂに示すブロック数の４倍のブロック数が計数される。また、有意と判定された面積ｓ２のブロックであっても、階層Ｌ３では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｃでは、有意と判定されたブロック数が面積ｓ３で表されている。
【００３６】
上述したように、これらの度数分布表がＤＲテーブル１１、１２および１３から情報量予測計算回路１４へ供給され、情報量予測計算回路１４では、さまざまな階層分岐の態様毎に有意ブロック数および有意フラグビット数が以下に示すように、求められる。
【００３７】
Ｌ１の場合
（有意ブロック数）L1＝ｓ１
（有意フラグビット数）L1＝ｓ０＋ｓ１
【００３８】
Ｌ１−Ｌ２−Ｌ３の場合
（有意ブロック数）L1-L2-L3＝ｓ３
（有意フラグビット数）L1-L2-L3＝ｓ０＋ｓ１＋ｓ１×４＋ｓ２×４
【００３９】
Ｌ１−Ｌ３の場合
（有意ブロック数）L1-L3 ＝ｓ３
（有意フラグビット数）L1-L3 ＝ｓ０＋ｓ１＋ｓ１×１６
【００４０】
Ｌ２−Ｌ３の場合
（有意ブロック数）L2-L3 ＝ｓ３
（有意フラグビット数）L2-L3 ＝（ｓ０＋ｓ１）×４＋ｓ２×４
【００４１】
Ｌ１−Ｌ２の場合
（有意ブロック数）L1-L2 ＝ｓ３
（有意フラグビット数）L1-L2 ＝ｓ０＋ｓ１＋ｓ１×４
【００４２】
また、量子化回路４は、量子化ビット割当用のしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、可変長符号化を行う。図５を用いて、その可変長量子化の一例を説明する。一例として、適応量子化器の割当ビット数を符号の１ビットを含めて２〜５ビットとし、有意判定用のしきい値Ｔｈによって、有意ブロックと判定されたブロックの最大残差と量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３とで比較することで量子化ビット割り当てが以下のように決定される。
【００４３】
Ｔｈ ＜（最大残差）≦Ｔｈ１：１ビット量子化
Ｔｈ１＜（最大残差）≦Ｔｈ２：２ビット量子化
Ｔｈ２＜（最大残差）≦Ｔｈ３：３ビット量子化
Ｔｈ３＜（最大残差） ：４ビット量子化
【００４４】
このときの量子化による符号化データの符号化データ量は、ＡＤＲＣを用いたときのバッファリングの原理と同様にして求めることができる。各階層分岐に応じた量子化ビット数（量子化コードの合計ビット数を意味する）は、各階層分岐の態様における最下位層における度数分布の面積に応じて以下のように決定される。例えば、階層Ｌ１のみの処理を行う場合には、この階層Ｌ１が最下位層となり、また、階層Ｌ１−Ｌ２−Ｌ３の処理を行う場合には、階層Ｌ３が最下位層となる。図５の例では、第３階層の度数分布表であって、各面積について第３階層のものであることを示す `３' の添字を付加する。他の階層Ｌ１、Ｌ２についてもそれぞれ `１' および `２' の添字を付加する。
【００４５】
Ｌ１の場合
（量子化ビット数）L1＝（Ｓ1 １×２＋Ｓ1 ２×３＋Ｓ1 ３×４＋Ｓ1 ４×５）×（１６×１６）＋（Ｓ1 １＋Ｓ1 ２＋Ｓ1 ３＋Ｓ1 ４）×８
【００４６】
Ｌ１−Ｌ２−Ｌ３の場合
（量子化ビット数）L1-L2-L3＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４７】
Ｌ１−Ｌ３の場合
（量子化ビット数）L1-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋
Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４８】
Ｌ２−Ｌ３の場合
（量子化ビット数）L2-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４９】
Ｌ１−Ｌ２の場合
（量子化ビット数）L1-L2 ＝（Ｓ2 １×２＋Ｓ2 ２×３＋Ｓ2 ３×４＋Ｓ2 ４×５）×（８×８）＋（Ｓ2 １＋Ｓ2 ２＋Ｓ2 ３＋Ｓ2 ４）×８
【００５０】
以上のようにして、あるしきい値Ｔｈが決定すると、各階層分岐の態様毎に求められた有意フラグビット数と上式のように求められた量子化ビット数を加算することで符号化データの符号化データ量を算出することができる。すなわち、各階層分岐の態様毎に次式によって、符号化データ量が計算される。
（符号化データ量）* ＝（有意フラグビット数）* ＋（量子化ビット数）*
ただし、＊は、階層分岐の態様を表し、階層番号はこれを、例えば３ビットで表記するものである。
【００５１】
このように、求められた符号化データ量が最小となるものが最も効率的な階層分岐の態様である。また、その最小の符号化データ量が再設定された目標ビットレートと比較され、目標ビットレートを越える場合には、しきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が変更され、符号化データ量が目標ビットレート以下となるまで同様の処理が繰り返される。
【００５２】
次に、しきい値ＲＯＭ１５に用いられるＲＯＭテーブルの一例を図６に示す。このＲＯＭテーブルには、有意判定用のしきい値と、量子化ビット割当用のしきい値が設定されており、しきい値番号が小さいと、符号化データ量は大きく、しきい値番号が大きくなるにつれて符号化データ量が小さくなるように測定、シュミレーション、経験等に基づいて設定されている。ある、伝送路に応じた目標ビットレートが設定されると、後述する図７に示す処理手順に従って、しきい値番号の小さい方から、上述したように、符号化データ量の予測計算が行われ、さらにその中で最小の符号化データ量となる階層分岐の態様が選択される。
【００５３】
その後、しきい値番号を順に大きい方に検索し、同様な計算を行って目標ビットレートより符号化データ量が下回ったところで、しきい値番号が決定される。この決定されたしきい値番号に格納されているしきい値の組合せによって、実際に有意ブロックの判定（階層分岐を含む）と適応量子化が行われることになる。最終的に、伝送される符号化データは、上述の有意フラグと量子化コード以外に、しきい値番号および階層分岐の態様を示す識別番号がバッファ兼フレーミング回路１７から伝送される。
【００５４】
ここで、上述のしきい値番号を決定するための手順の一例を図７に示す。このフローチャートは、ステップ２１から始まり、このステップ２１では、バッファ残量に応じて伝送される符号化データ量の目標ビットレートが設定される。そして、ステップ２２では、しきい値番号の初期設定が行われ、しきい値番号に０が設定され、ステップ２３へ制御が移る。ステップ２３では、そのしきい値番号が１５より大きいか否かが判断され、１５よりしきい値番号が小さい場合、ステップ２４へ制御が移り、１５よりしきい値番号が大きい場合、ステップ２８へ制御が移る。
【００５５】
ステップ２４では、しきい値番号によるしきい値に基づいて、上述したような各階層分岐の態様による符号化データ量の計算が行われ、ステップ２５では、各階層分岐の態様の中から最小値となる符号化データ量が算出され、ステップ２６において、その符号化データ量がステップ２１で再設定された目標ビットレートより、小さいか否かが判断される。目標ビットレートより符号化データ量が大きい場合、ステップ２７へ制御が移り、目標ビットレートより符号化データ量が小さい場合、ステップ２８へ制御が移る。
【００５６】
そして、ステップ２７では、しきい値番号を＋１インクリメントし、ステップ２３へ制御が移る。このようにして、しきい値番号（アドレス）が０から１５まで１つづつ移り、そのつど有意判定用のしきい値および量子化ビット割当用のしきい値が変更され、各階層分岐の態様による符号化データ量（有意フラグビット数と量子化ビット数）が計算される。これを繰り返すことで計算された符号化データ量が目標ビットレートより小さくなるしきい値番号が選択されると、上述したようにステップ２７からステップ２８へ制御が移る。そして、ステップ２８では、選択されたしきい値番号に決定されると共に、そのときの符号化データ量を生じさせた階層分岐の態様を指示する階層番号が決定される。そして、このフローチャートは終了する。また、このフローチャートは、１フレーム毎にしきい値番号および階層番号の決定が行われる。
【００５７】
ここで、この画像信号伝送装置の復号側の一実施例を図８のブロック図に示す。上述のバッファ兼フレーミング回路１７から伝送される符号化データが入力端子３１を介してフレーム分解回路３２へ供給され、フレーム分解回路３２では、しきい値番号、符号化データ、動きベクトル、有意フラグ、階層番号に分解され、出力される。しきい値番号は、しきい値ＲＯＭ３３へ供給され、上述の図６に示すＲＯＭテーブルから対応する量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が選択され、選択されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３は、しきい値ＲＯＭ３３から逆量子化回路３５へ供給される。
【００５８】
符号化データは、可変長符号化のデコーダ回路３４へ供給され、可変長符号化の復号が行われた後、逆量子化回路３５では、供給されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、予測残差に復号される。復号された予測残差は、０データ補間回路３６において、有意フラグおよび階層分岐の識別番号に応じて０データを出力するか、供給された予測残差を出力するかが選択される。選択された出力は、加算器３７において、フレームメモリ３８からの出力と加算される。
【００５９】
アドレス制御回路３９には、フレーム分解回路３２から動きベクトル、有意フラグおよび階層分岐の識別番号が供給され、それらに基づいてフレームメモリ３８を制御している。フレームメモリ３８には、前フレームの復号画像が記憶され、アドレス制御回路３９からの制御信号に応じて、加算器３７へ復号画像を出力し、その加算結果（すなわち、復号画像）が再びフレームメモリ３８に記憶される。また、フレームメモリ３８から出力され、記憶される復号画像が出力端子４０を介して、出力される。
【００６０】
なお、有意フラグについては、ブロックの階層分岐の態様にしたがって、ツリー構造で圧縮を施すことなくまとめておくか、あるいは階層毎にフラグに対してフレーム単位でランレングス・ハフマン符号化を行って、さらに情報量を削減しても良い。ただし、この場合フレームメモリが必要となる。
【００６１】
この実施例では、並列に第１、第２および第３の度数分布表を生成しているが、第１の度数分布表を生成した後、第２の度数分布表を生成し、さらにその後第３の度数分布表を生成することで、階層分岐の態様を適宜選択することも可能である。
【００６２】
また、この実施例では、ブロックのアクティビティーとして予測残差の最大値の絶対値を使用しているが、予測残差の自乗和または予測残差の積和をアクティビティーとして使用することも可能である。
【００６３】
なお、上述の一実施例と異なり、量子化回路が固定長の量子化を行い、有意判定のしきい値を可変することによって、符号化データ量を制御するようにしても良い。
【００６４】
【発明の効果】
この発明に依れば、予測残差ブロックにおける有意判定を階層的に行い、且つしきい値に応じて階層の階層分岐を変化させることで、圧縮効率を高めることが可能となると共に、フィードバック／フィードフォワードバッファリングを行うことで、より効率的に情報量を目標値以下に制御するとが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号伝送装置の一実施例を示すブロック図である。
【図２】この発明に係る階層的ブロックの一例を示す略線図である。
【図３】この発明に係る線形量子化の一例の説明に用いる図である。
【図４】この発明に係る各階層の度数分布表の一例を示す分布図である。
【図５】この発明に係る非線形量子化の一例の説明に用いる図である。
【図６】この発明に係るしきい値番号の一例を示したＲＯＭテーブルである。
【図７】この発明に係るしきい値番号の検索の一例を処理を示したフローチャートである。
【図８】この発明の画像信号伝送装置の復号側の一実施例を示すブロック図である。
【符号の説明】
２ 動き検出回路
３ 減算器
４ 量子化回路
５ 逆量子化回路
６ 加算器
７ フレームメモリ
８ 予測回路
９ 有意判定回路
１０ ブロック化回路
１１、１２、１３ ＤＲテーブル
１４ 情報量予測計算回路
１５ しきい値ＲＯＭ
１６ 可変長符号化回路
１７ バッファ兼フレーミング回路
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削減することができる画像信号伝送装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮において、なんらかの前処理によって求められた予測残差を所定のビット数で量子化することで情報量を削減するのが一般的な方法である。このように予測残差を量子化することにより発生するデータ量（以下、符号化データ量と称する）を削減する有効な手法の１つとして、供給されたサンプル値とその予測値との差分をとることによって、求められた予測誤差を所定のビット数で量子化しているが、予測残差すべてを量子化するので、かなりの符号化データ量になる。
【０００３】
この符号化データ量を抑える１つの方法として、予測残差をブロック分割して、そのブロック毎に伝送することが有意か否かを判定する有意判定を行い、その有意判定において、無意と判定されたブロックについては伝送しないというものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、この場合、ブロックサイズが小さいと有意となるブロックの出現確率は減るが、総ブロック数が増えるため、フラグなどのオーバーヘッドが増えて、結果的に符号化データ量が増えてしまうということがあるという問題があった。また、ブロックサイズが小さいと画像の内容によっては、有意ブロックの数が大幅に変わり、情報量を一定にするための制御が難しくなるという問題があった。
【０００５】
従って、この発明の目的は、階層構造とすることによって符号化データ量を削減するとともに、フィードバック／フィードフォワードバッファリングを行うことによって、符号化データ量を目標値以下に制御することができる画像信号伝送装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、第１のしきい値と予測残差の最大値の絶対値とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、有意判定手段によって有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、量子化手段の出力が入力され、量子化手段の出力を一定レートで出力するバッファ手段と、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定手段とを有し、第１のブロックと、当該第１のブロックの中から有意判定手段で有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化手段から出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置である。
請求項９に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、第１および第２のブロックから発生情報量を予測し伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、有意判定手段によって有意と判定されたブロックに含まれる予測残差を量子化する量子化手段と、量子化手段の出力が入力され、量子化手段の出力を一定レートで出力するバッファ手段と、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定手段とを有し、第１のブロックと、当該第１のブロックの中から有意判定手段で有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化手段から出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置である。
【０００７】
さらに、請求項１０に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、第１のしきい値と予測残差の最大値の絶対値とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、有意判定ステップによって有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、量子化ステップの出力がバッファ手段に入力され、量子化ステップの出力をバッファ手段から一定レートで出力するバッファステップと、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定ステップとを有し、第１のブロックと、当該第１のブロックの中から有意判定ステップで有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化ステップから出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法である。
請求項１３に記載の発明は、入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、予測残差を第１のブロックへ分割し、第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、有意判定ステップによって有意と判定されたブロックに含まれる予測残差を量子化する量子化ステップと、量子化ステップの出力がバッファ手段に入力され、量子化ステップの出力をバッファ手段から一定レートで出力するバッファステップと、バッファ手段のバッファ残量に基づいて目標値を再設定する目標値設定ステップとを有し、第１のブロックと、当該第１のブロックの中から有意判定ステップで有意と判定された第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた有意フラグのビット数と、量子化ステップから出力される量子化ビット数とから発生情報量を算出し、目標値と比較し、算出された発生情報量が目標値を超える場合には、第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法である。
【０００８】
予測残差を階層的に有意判定することで伝送する符号化データ量を削減することができ、さらにフィードバック／フィードフォワードバッファリングを行うことで符号化データ量を効率的に目標値以下に制御することができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。画像信号伝送装置の一実施例のブロック図を図１に示す。１で示す入力端子から現フレームの画像データが入力され、その画像データは、動き検出回路２および減算器３へ供給される。また、有意判定によって、有意ブロックに含まれる予測残差が量子化回路４において、量子化され、その量子化値が逆量子化回路５へ供給される。逆量子化回路５では、量子化値としきい値から元の予測残差が復元された後、その予測残差は、加算器６に供給される。
【００１０】
加算器６において、復号された予測残差と、予測回路８からの予測画像データとが加算され、すなわちローカル復号された出力は、フレームメモリ７へ供給される。このフレームメモリ７には、ローカル復号によって動き補償がされた前フレームの予測結果が記憶されている。その前フレームの画像データは、フレームメモリ７から動き検出回路２および予測回路８へ供給される。動き検出回路２では、入力画像データとフレームメモリ７から供給される画像データとを用いて、例えばＮフレームと（Ｎ＋２）フレームの２フレーム間でのブロックマッチングによって、ブロック単位に動きベクトルの検出が行われる。
【００１１】
検出された動きベクトルは、動き検出回路２からバッファ兼フレーミング回路１７および予測回路８へ供給される。そして、減算器３では、予測回路８からの予測画像データが入力画像データから減算され、予測残差が生成される。生成された予測残差は、階層化のためのブロック化回路１０に供給される。このブロック化回路１０では、供給された予測残差を１６ライン×１６画素の第１のブロック（以下、１６×１６ブロックと称する）、８ライン×８画素の第２のブロック（以下、８×８ブロックと称する）および４ライン×４画素の第３のブロック（以下、４×４ブロックと称する）のブロックに分割される。
【００１２】
分割された１６×１６ブロックは、ブロック化回路１０からＤＲテーブル１１へ供給され、８×８ブロックは、ＤＲテーブル１２へ供給され、同様に４×４ブロックは、ＤＲテーブル１３へ供給される。このＤＲテーブル１１、１２および１３では、各ブロックと対応する階層毎に１フレーム当りの予測残差の絶対値の最大値（最大残差）の度数分布表が作成される。最大残差は、各階層の１ブロック毎に求められる。
【００１３】
また、各ＤＲテーブル１１、１２および１３では、符号化データ量の計算のために、１フレーム分の遅延が生じる。そして、各ＤＲテーブル１１、１２および１３から計算された度数分布表が情報量予測計算回路１４へ供給される。情報量予測計算回路１４には、符号化データ量の目標ビットレートが予め設定されており、しきい値ＲＯＭ１５からしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が供給される。
【００１４】
この発明の一実施例では、基本的にはフィードフォワードバッファリングがなされる。すなわち、情報量予測計算回路１４によって、ある１フレームの符号化データ量が予測され、これが目標値以下となるようなしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３が決定される。この決定されたしきい値Ｔｈ、Ｔｈ１、Ｔｈ２およびＴｈ３によって、その１フレームの画像データに対して、有意ブロックの判定および量子化の処理がなされる。
【００１５】
このバッファリングによって、そのフレームの符号化データ量が目標値以下となされるが、バッファ兼フレーミング回路１７の次のフレームにおいて利用されるバッファ残量は、前のフレームのバッファリング処理の結果に応じて変動する。例えば、前フレームの絵柄が平坦なレベルの場合では、そのフレームの符号化データ量が少ないので、次のフレームで利用されるバッファ残量が多くなり、次のフレームに対して、より多くのビットを与えることが可能となる。
【００１６】
そこで、目標レート再設定回路１８では、伝送路に応じたビットレートとバッファ残量とを加味して、改めて目標ビットレートが設定される。設定された目標ビットレートは、目標レート再設定回路１８から情報量予測計算回路１４へ供給される。情報量予測計算回路１４では、予め設定されていた目標ビットレートが目標レート再設定回路１８から供給された目標ビットレートに再設定される。
【００１７】
また、しきい値ＲＯＭ１５の内容は、後述するように有意判定用の第１のしきい値Ｔｈおよび量子化ビット割当用の第２のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が一括して増減するように、測定、シュミレーション、経験等に基づいて定められており、且つバッファ兼フレーミング回路１７がオーバーフローまたはアンダーフローしないような値が選択される。
【００１８】
そして、有意判定回路９において、しきい値Ｔｈと最大残差とを比較してその大小で有意ブロックを判定することに着目すると、情報量予測計算回路１４では、しきい値ＲＯＭ１５から供給されたしきい値Ｔｈより大きい最大残差を有するブロックが有意ブロックと判定される。
【００１９】
すなわち、情報量予測計算回路１４では、後述するように各ＤＲテーブル１１、１２および１３から供給された度数分布表を使用し、しきい値テーブルに設定されたしきい値に応じて符号化データ量を予測し、バッファ残量から再設定された目標ビットレート以下になるようなしきい値番号と階層分岐の態様を決定する。このしきい値番号と階層分岐の態様から実際に有意ブロックの判定を行い、有意ブロックと判定されたブロックについて、適応量子化が行われる。また、決定された階層分岐の態様を指示する階層番号は、情報量予測計算回路１４から有意判定回路９へ供給される。そのときのしきい値番号および階層番号は、バッファ兼フレーミング回路１７へ供給される。
【００２０】
上述したように、しきい値ＲＯＭ１５では、目標ビットレート以下になるしきい値番号が決定されるまで、しきい値番号を１つづつ大きくし、そのしきい値番号に対応するしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が情報量予測計算回路１４へ出力される。
【００２１】
そして、有意判定回路９には、情報量予測計算回路１４から階層分岐の態様を指示する階層番号としきい値ＲＯＭ１５から有意判定用のしきい値Ｔｈ、さらにブロック化回路１０から分割された１６×１６ブロック、８×８ブロックおよび４×４ブロックが供給される。この有意判定回路９では、しきい値Ｔｈに基づいて、階層番号に基づいた階層分岐の態様でもってブロックの有意判定が行われ、有意／無意を識別するための有意フラグと有意ブロックのデータが出力される。
【００２２】
有意判定回路９からの有意フラグは、バッファ兼フレーミング回路１７へ供給され、有意ブロックのデータは、上述したように量子化回路４へ供給される。量子化回路４では、供給された有意ブロックのデータに対してしきい値ＲＯＭ１５から供給される量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて可変長（半固定長）の量子化が行われる。
【００２３】
この量子化回路４は、図３に示す量子化特性を有する適応量子化回路である。この図３は、符号を含めた３ビット固定長の量子化の場合の例を示す。まず、有意ブロックの判定の際に、注目ブロック内で最大残差（ダイナミックレンジ）が求められており、この最大残差を４で割った値を量子化ステップ幅として決定し、各画素の予測残差をこの量子化ステップ幅で割って整数化し、これを量子化コードとする。一般に、例えば３ビット固定長のＡＤＲＣ（ダイナミックレンジ適応符号化）を用いた予測残差をｘi とし、量子化ビット数をｎとし、最大残差をｍａｘとし、量子化コードをｑi とすると、
【００２４】
ｑi ＝〔ｘi ／（ｍａｘ／２n-1 ）〕
で表される。ただし、〔 〕は、整数化を意味する。
【００２５】
そして、後述する量子化ビット割当の制御に基づいて、決定された量子化ビット割当にしたがって、有意ブロックの予測残差の量子化が行われ、最大残差と量子化コード並びに有意フラグがしきい値番号および階層番号と共に、フォーマット化されて、伝送される。
【００２６】
この図３では、マイナス側に最大残差が求めるため、量子化コードは、プラス側から（３、２、１、０、−１、−２、−３、−４）となる場合の一例を示したが、プラス側に最大残差が求められる場合、この例の３ビット固定長の量子化コードは、プラス側から（４、３、２、１、０、−１、−２、−３）となる。このような量子化は、予測残差の０が０として復号され、また、最大残差の存在する極性の側に量子化の範囲が偏り、量子化誤差を少なくできるものである。
【００２７】
量子化回路４からの量子化値は、逆量子化回路５および可変長符号化回路１６へ供給される。逆量子化回路５では、量子化回路４へ供給した同じ量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、量子化値の逆量子化が行われる、すなわち量子化値の復号が行われ、もとの予測残差が復元され、上述したように加算器６へ供給される。可変長符号化回路１６では、供給された有意ブロックの量子化値に対して、例えばハフマン符号化のようなエントロピー符号化を用いてさらにデータ量が削減され、有意フラグと共にバッファ兼フレーミング回路１７へ供給される。
【００２８】
バッファ兼フレーミング回路１７には、有意フラグ、可変長符号化された量子化値、動きベクトルおよび情報量予測計算回路１４からしきい値番号および階層分岐の態様を示す階層番号が供給される。バッファ兼フレーミング回路１７に入力される量子化値は、画像の内容によってデータ量が変化するが、バッファ兼フレーミング回路１７の出力は、伝送路の容量にあわせて一定のビットレートで出力される。
【００２９】
ここで、ブロックの階層構造の一例を図２に示す。予測残差について、例えば１６×１６ブロックの大きさの第１のブロックに分割し（第１階層：Ｌ１）、まず、注目ブロック内の最大残差を検出し、この最大値を予め決められたしきい値と比較する。その結果、最大値がしきい値よりも小さい場合は、無意ブロックと判断し、有意フラグは `０' として、予測残差の伝送は行わない。
【００３０】
`１' （有意）：（最大残差）＞しきい値Ｔｈ
`０' （無意）：（最大残差）≦しきい値Ｔｈ
【００３１】
一方、最大残差がしきい値よりも大きい場合は、有意ブロックであると判断し、有意フラグを立てる（ `１' にする）と共に、さらに下位の階層の有意判定に制御が移る。第１階層で有意と判定されたブロックは、さらに８×８ブロックの大きさの第２のブロックに細分化し（第２階層：Ｌ２）、同様な有意判定を行い、第２階層で有意と判定されたブロックは、さらに４×４ブロックの大きさの第３のブロックに分割され（第３階層：Ｌ３）、有意判定が行われる。
【００３２】
ここで、ブロックの階層分岐の態様について、上述ではＬ１−Ｌ２−Ｌ３の順番に階層分岐が行われるよう説明したが、Ｌ１−Ｌ２の順番に階層分岐を行う場合、Ｌ１−Ｌ３の順番に階層分岐を行う場合またはＬ２−Ｌ３の順番に階層分岐を行う場合もある。情報量予測計算回路１４では、ある有意判定のしきい値Ｔｈが与えられた場合に、符号化データ量が最も少なくなるような階層分岐の態様を決定する。
【００３３】
次に、ＤＲテーブル１１、１２および１３において計算される最大残差の度数分布表を図４を用いて説明する。図４Ａは、１６×１６ブロックで構成される階層Ｌ１の１フレーム期間の最大残差の度数分布表を示し、ブロックの最大残差がしきい値Ｔｈより大きいか否かにより有意判定が行われる。この図４Ａにおいて、しきい値Ｔｈより小さい側の面積ｓ０は無意ブロックを示し、しきい値Ｔｈ以上の面積ｓ１は有意ブロックと判定されたブロックの数を示すことになる。
【００３４】
図４Ｂは、８×８ブロックで構成される階層Ｌ２の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ａに示すブロック数の４倍のブロック数が計数される。また、階層Ｌ１において、有意と判定されたブロックであっても、階層Ｌ２では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｂでは、有意と判定されたブロック数が面積ｓ２で表されている。
【００３５】
同様に、図４Ｃは、４×４ブロックで構成される階層Ｌ３の１フレーム期間の最大残差の度数分布表を示している。この度数分布は、図４Ｂに示すブロック数の４倍のブロック数が計数される。また、有意と判定された面積ｓ２のブロックであっても、階層Ｌ３では、有意と判定されるブロックと、無意と判定されるブロックがあり、図４Ｃでは、有意と判定されたブロック数が面積ｓ３で表されている。
【００３６】
上述したように、これらの度数分布表がＤＲテーブル１１、１２および１３から情報量予測計算回路１４へ供給され、情報量予測計算回路１４では、さまざまな階層分岐の態様毎に有意ブロック数および有意フラグビット数が以下に示すように、求められる。
【００３７】
Ｌ１の場合
（有意ブロック数）L1＝ｓ１
（有意フラグビット数）L1＝ｓ０＋ｓ１
【００３８】
Ｌ１−Ｌ２−Ｌ３の場合
（有意ブロック数）L1-L2-L3＝ｓ３
（有意フラグビット数）L1-L2-L3＝ｓ０＋ｓ１＋ｓ１×４＋ｓ２×４
【００３９】
Ｌ１−Ｌ３の場合
（有意ブロック数）L1-L3 ＝ｓ３
（有意フラグビット数）L1-L3 ＝ｓ０＋ｓ１＋ｓ１×１６
【００４０】
Ｌ２−Ｌ３の場合
（有意ブロック数）L2-L3 ＝ｓ３
（有意フラグビット数）L2-L3 ＝（ｓ０＋ｓ１）×４＋ｓ２×４
【００４１】
Ｌ１−Ｌ２の場合
（有意ブロック数）L1-L2 ＝ｓ３
（有意フラグビット数）L1-L2 ＝ｓ０＋ｓ１＋ｓ１×４
【００４２】
また、量子化回路４は、量子化ビット割当用のしきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、可変長符号化を行う。図５を用いて、その可変長量子化の一例を説明する。一例として、適応量子化器の割当ビット数を符号の１ビットを含めて２〜５ビットとし、有意判定用のしきい値Ｔｈによって、有意ブロックと判定されたブロックの最大残差と量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３とで比較することで量子化ビット割り当てが以下のように決定される。
【００４３】
Ｔｈ ＜（最大残差）≦Ｔｈ１：１ビット量子化
Ｔｈ１＜（最大残差）≦Ｔｈ２：２ビット量子化
Ｔｈ２＜（最大残差）≦Ｔｈ３：３ビット量子化
Ｔｈ３＜（最大残差） ：４ビット量子化
【００４４】
このときの量子化による符号化データの符号化データ量は、ＡＤＲＣを用いたときのバッファリングの原理と同様にして求めることができる。各階層分岐に応じた量子化ビット数（量子化コードの合計ビット数を意味する）は、各階層分岐の態様における最下位層における度数分布の面積に応じて以下のように決定される。例えば、階層Ｌ１のみの処理を行う場合には、この階層Ｌ１が最下位層となり、また、階層Ｌ１−Ｌ２−Ｌ３の処理を行う場合には、階層Ｌ３が最下位層となる。図５の例では、第３階層の度数分布表であって、各面積について第３階層のものであることを示す `３' の添字を付加する。他の階層Ｌ１、Ｌ２についてもそれぞれ `１' および `２' の添字を付加する。
【００４５】
Ｌ１の場合
（量子化ビット数）L1＝（Ｓ1 １×２＋Ｓ1 ２×３＋Ｓ1 ３×４＋Ｓ1 ４×５）×（１６×１６）＋（Ｓ1 １＋Ｓ1 ２＋Ｓ1 ３＋Ｓ1 ４）×８
【００４６】
Ｌ１−Ｌ２−Ｌ３の場合
（量子化ビット数）L1-L2-L3＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４７】
Ｌ１−Ｌ３の場合
（量子化ビット数）L1-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋
Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４８】
Ｌ２−Ｌ３の場合
（量子化ビット数）L2-L3 ＝（Ｓ3 １×２＋Ｓ3 ２×３＋Ｓ3 ３×４＋Ｓ3 ４×５）×（４×４）＋（Ｓ3 １＋Ｓ3 ２＋Ｓ3 ３＋Ｓ3 ４）×８
【００４９】
Ｌ１−Ｌ２の場合
（量子化ビット数）L1-L2 ＝（Ｓ2 １×２＋Ｓ2 ２×３＋Ｓ2 ３×４＋Ｓ2 ４×５）×（８×８）＋（Ｓ2 １＋Ｓ2 ２＋Ｓ2 ３＋Ｓ2 ４）×８
【００５０】
以上のようにして、あるしきい値Ｔｈが決定すると、各階層分岐の態様毎に求められた有意フラグビット数と上式のように求められた量子化ビット数を加算することで符号化データの符号化データ量を算出することができる。すなわち、各階層分岐の態様毎に次式によって、符号化データ量が計算される。
（符号化データ量）* ＝（有意フラグビット数）* ＋（量子化ビット数）*
ただし、＊は、階層分岐の態様を表し、階層番号はこれを、例えば３ビットで表記するものである。
【００５１】
このように、求められた符号化データ量が最小となるものが最も効率的な階層分岐の態様である。また、その最小の符号化データ量が再設定された目標ビットレートと比較され、目標ビットレートを越える場合には、しきい値Ｔｈ、Ｔｈ１、Ｔｈ２、Ｔｈ３が変更され、符号化データ量が目標ビットレート以下となるまで同様の処理が繰り返される。
【００５２】
次に、しきい値ＲＯＭ１５に用いられるＲＯＭテーブルの一例を図６に示す。このＲＯＭテーブルには、有意判定用のしきい値と、量子化ビット割当用のしきい値が設定されており、しきい値番号が小さいと、符号化データ量は大きく、しきい値番号が大きくなるにつれて符号化データ量が小さくなるように測定、シュミレーション、経験等に基づいて設定されている。ある、伝送路に応じた目標ビットレートが設定されると、後述する図７に示す処理手順に従って、しきい値番号の小さい方から、上述したように、符号化データ量の予測計算が行われ、さらにその中で最小の符号化データ量となる階層分岐の態様が選択される。
【００５３】
その後、しきい値番号を順に大きい方に検索し、同様な計算を行って目標ビットレートより符号化データ量が下回ったところで、しきい値番号が決定される。この決定されたしきい値番号に格納されているしきい値の組合せによって、実際に有意ブロックの判定（階層分岐を含む）と適応量子化が行われることになる。最終的に、伝送される符号化データは、上述の有意フラグと量子化コード以外に、しきい値番号および階層分岐の態様を示す識別番号がバッファ兼フレーミング回路１７から伝送される。
【００５４】
ここで、上述のしきい値番号を決定するための手順の一例を図７に示す。このフローチャートは、ステップ２１から始まり、このステップ２１では、バッファ残量に応じて伝送される符号化データ量の目標ビットレートが設定される。そして、ステップ２２では、しきい値番号の初期設定が行われ、しきい値番号に０が設定され、ステップ２３へ制御が移る。ステップ２３では、そのしきい値番号が１５より大きいか否かが判断され、１５よりしきい値番号が小さい場合、ステップ２４へ制御が移り、１５よりしきい値番号が大きい場合、ステップ２８へ制御が移る。
【００５５】
ステップ２４では、しきい値番号によるしきい値に基づいて、上述したような各階層分岐の態様による符号化データ量の計算が行われ、ステップ２５では、各階層分岐の態様の中から最小値となる符号化データ量が算出され、ステップ２６において、その符号化データ量がステップ２１で再設定された目標ビットレートより、小さいか否かが判断される。目標ビットレートより符号化データ量が大きい場合、ステップ２７へ制御が移り、目標ビットレートより符号化データ量が小さい場合、ステップ２８へ制御が移る。
【００５６】
そして、ステップ２７では、しきい値番号を＋１インクリメントし、ステップ２３へ制御が移る。このようにして、しきい値番号（アドレス）が０から１５まで１つづつ移り、そのつど有意判定用のしきい値および量子化ビット割当用のしきい値が変更され、各階層分岐の態様による符号化データ量（有意フラグビット数と量子化ビット数）が計算される。これを繰り返すことで計算された符号化データ量が目標ビットレートより小さくなるしきい値番号が選択されると、上述したようにステップ２７からステップ２８へ制御が移る。そして、ステップ２８では、選択されたしきい値番号に決定されると共に、そのときの符号化データ量を生じさせた階層分岐の態様を指示する階層番号が決定される。そして、このフローチャートは終了する。また、このフローチャートは、１フレーム毎にしきい値番号および階層番号の決定が行われる。
【００５７】
ここで、この画像信号伝送装置の復号側の一実施例を図８のブロック図に示す。上述のバッファ兼フレーミング回路１７から伝送される符号化データが入力端子３１を介してフレーム分解回路３２へ供給され、フレーム分解回路３２では、しきい値番号、符号化データ、動きベクトル、有意フラグ、階層番号に分解され、出力される。しきい値番号は、しきい値ＲＯＭ３３へ供給され、上述の図６に示すＲＯＭテーブルから対応する量子化ビット割当用のしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３が選択され、選択されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３は、しきい値ＲＯＭ３３から逆量子化回路３５へ供給される。
【００５８】
符号化データは、可変長符号化のデコーダ回路３４へ供給され、可変長符号化の復号が行われた後、逆量子化回路３５では、供給されたしきい値Ｔｈ１、Ｔｈ２、Ｔｈ３に基づいて、予測残差に復号される。復号された予測残差は、０データ補間回路３６において、有意フラグおよび階層分岐の識別番号に応じて０データを出力するか、供給された予測残差を出力するかが選択される。選択された出力は、加算器３７において、フレームメモリ３８からの出力と加算される。
【００５９】
アドレス制御回路３９には、フレーム分解回路３２から動きベクトル、有意フラグおよび階層分岐の識別番号が供給され、それらに基づいてフレームメモリ３８を制御している。フレームメモリ３８には、前フレームの復号画像が記憶され、アドレス制御回路３９からの制御信号に応じて、加算器３７へ復号画像を出力し、その加算結果（すなわち、復号画像）が再びフレームメモリ３８に記憶される。また、フレームメモリ３８から出力され、記憶される復号画像が出力端子４０を介して、出力される。
【００６０】
なお、有意フラグについては、ブロックの階層分岐の態様にしたがって、ツリー構造で圧縮を施すことなくまとめておくか、あるいは階層毎にフラグに対してフレーム単位でランレングス・ハフマン符号化を行って、さらに情報量を削減しても良い。ただし、この場合フレームメモリが必要となる。
【００６１】
この実施例では、並列に第１、第２および第３の度数分布表を生成しているが、第１の度数分布表を生成した後、第２の度数分布表を生成し、さらにその後第３の度数分布表を生成することで、階層分岐の態様を適宜選択することも可能である。
【００６２】
また、この実施例では、ブロックのアクティビティーとして予測残差の最大値の絶対値を使用しているが、予測残差の自乗和または予測残差の積和をアクティビティーとして使用することも可能である。
【００６３】
なお、上述の一実施例と異なり、量子化回路が固定長の量子化を行い、有意判定のしきい値を可変することによって、符号化データ量を制御するようにしても良い。
【００６４】
【発明の効果】
この発明に依れば、予測残差ブロックにおける有意判定を階層的に行い、且つしきい値に応じて階層の階層分岐を変化させることで、圧縮効率を高めることが可能となると共に、フィードバック／フィードフォワードバッファリングを行うことで、より効率的に情報量を目標値以下に制御するとが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号伝送装置の一実施例を示すブロック図である。
【図２】この発明に係る階層的ブロックの一例を示す略線図である。
【図３】この発明に係る線形量子化の一例の説明に用いる図である。
【図４】この発明に係る各階層の度数分布表の一例を示す分布図である。
【図５】この発明に係る非線形量子化の一例の説明に用いる図である。
【図６】この発明に係るしきい値番号の一例を示したＲＯＭテーブルである。
【図７】この発明に係るしきい値番号の検索の一例を処理を示したフローチャートである。
【図８】この発明の画像信号伝送装置の復号側の一実施例を示すブロック図である。
【符号の説明】
２ 動き検出回路
３ 減算器
４ 量子化回路
５ 逆量子化回路
６ 加算器
７ フレームメモリ
８ 予測回路
９ 有意判定回路
１０ ブロック化回路
１１、１２、１３ ＤＲテーブル
１４ 情報量予測計算回路
１５ しきい値ＲＯＭ
１６ 可変長符号化回路
１７ バッファ兼フレーミング回路
Claims (13)
- 入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、
上記予測残差を第１のブロックへ分割し、上記第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、
上記第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、
上記第１のしきい値と予測残差の最大値の絶対値とを比較し、上記第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、
上記有意判定手段によって有意と判定されたブロックに含まれる上記予測残差を量子化する量子化手段と、
上記量子化手段の出力が入力され、上記量子化手段の出力を一定レートで出力するバッファ手段と、
上記バッファ手段のバッファ残量に基づいて上記目標値を再設定する目標値設定手段とを有し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定手段で有意と判定された上記第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化手段から出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置。 - 請求項１に記載の画像信号伝送装置において、
上記ブロック化手段は、更に上記第２のブロックをより小さい第３のブロックへ分割し、
上記予測手段は、更に上記第３のブロックからの発生情報量を予測し、
上記有意判定手段は、上記第１、第２、および第３のブロック毎に有意か否かを判定し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定手段で有意と判定された上記第１のブロックを分割した第２のブロックと、当該第２のブロックの中から上記有意判定手段で有意と判定された上記第２のブロックを分割した第３のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化手段から出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置。 - 請求項２に記載の画像信号伝送装置において、
上記算出された発生情報量が最小となるようにし、
上記最小となる発生情報量と、上記目標値とを比較し、上記最小となる発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置。 - 請求項１に記載の画像信号伝送装置において、
上記量子化手段は、可変長符号を行うようにしたことを特徴とする画像信号伝送装置。 - 請求項１に記載の画像信号伝送装置において、
さらに、上記第１および第２のブロックと対応する階層毎に予測残差の最大値の絶対値の度数分布表をそれぞれ作成する度数分布表作成手段を有し、
上記予測手段では、上記作成された度数分布表に基づいて上記発生情報量を予測し、上記伝送される情報量を上記目標値以下となるように、上記第１のしきい値を決定するようにしたことを特徴とする画像信号伝送装置。 - 請求項１に記載の画像信号伝送装置において、
さらに、上記第１および第２のブロックと対応する階層毎に予測残差の最大値の絶対値の度数分布表をそれぞれ作成する度数分布表作成手段を有し、
上記第１および第２のブロックの階層分岐の態様で、上記度数分布表の上記第１のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、計算された有意ブロックの数から発生情報量をそれぞれ予測することを特徴とする画像信号伝送装置。 - 請求項１に記載の画像信号伝送装置において、
さらに、上記第１および第２のブロックと対応する階層毎に予測残差の最大値の絶対値の度数分布表をそれぞれ作成する度数分布表作成手段を有し、
上記第１および第２のブロックの階層分岐の態様で、上記度数分布表の上記第１のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、
上記階層分岐の態様で計算された有意ブロックの数と、上記量子化手段において、第２のしきい値で決定される割り当て量子化ビット数とから発生情報量をそれぞれ予測することを特徴とする画像信号伝送装置。 - 請求項２に記載の画像信号伝送装置において、
さらに、上記第１、第２及び第３のブロックと対応する階層毎に予測残差の最大値の絶対値の度数分布表をそれぞれ作成する度数分布表作成手段を有し、
上記第１、第２及び第３のブロックの階層分岐の態様で、上記度数分布表の上記第１のしきい値よりも大きい部分の面積から、有意ブロックの数を計算し、
上記階層分岐の態様毎に計算された有意ブロックの数と、上記量子化手段において、第２のしきい値で決定される割り当て量子化ビット数とから発生情報量をそれぞれ予測し、
予測された上記発生情報量の最小値を上記再設定された目標値と比較し、予測された上記発生情報量の最小値が上記再設定された目標値以下となるように上記度数分布表から上記第１および第２のしきい値を決定するように構成されたことを特徴とする画像信号伝送装置。 - 入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送装置において、
上記予測残差を第１のブロックへ分割し、上記第１のブロックをより小さい第２のブロックへ分割するブロック化手段と、
上記第１および第２のブロックから発生情報量を予測し伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測手段と、
上記第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、上記第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定手段と、
上記有意判定手段によって有意と判定されたブロックに含まれる上記予測残差を量子化する量子化手段と、
上記量子化手段の出力が入力され、上記量子化手段の出力を一定レートで出力するバッファ手段と、
上記バッファ手段のバッファ残量に基づいて上記目標値を再設定する目標値設定手段とを有し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定手段で有意と判定された上記第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化手段から出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送装置。 - 入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、
上記予測残差を第１のブロックへ分割し、上記第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、
上記第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、
上記第１のしきい値と予測残差の最大値の絶対値とを比較し、上記第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、
上記有意判定ステップによって有意と判定されたブロックに含まれる上記予測残差を量子化する量子化ステップと、
上記量子化ステップの出力がバッファ手段に入力され、上記量子化ステップの出力を上記バッファ手段から一定レートで出力するバッファステップと、
上記バッファ手段のバッファ残量に基づいて上記目標値を再設定する目標値設定ステップとを有し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定ステップで有意と判定された上記第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化ステップから出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法。 - 請求項９に記載の画像信号伝送方法において、
上記ブロック化ステップは、更に上記第２のブロックをより小さい第３のブロックへ分割し、
上記予測ステップは、更に上記第３のブロックからの発生情報量を予測し、
上記有意判定ステップは、上記第１、第２、および第３のブロック毎に有意か否かを判定し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定ステップで有意と判定された上記第１のブロックを分割した第２のブロックと、当該第２のブロックの中から上記有意判定ステップで有意と判定された上記第２のブロックを分割した第３のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化ステップから出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法。 - 請求項１０に記載の画像信号伝送方法において、
上記算出された発生情報量が最小となるようにし、
上記最小となる発生情報量と、上記目標値とを比較し、上記最小となる発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法。 - 入力される画素値とその予測値との予測残差に対して符号化を行う画像信号伝送方法において、
上記予測残差を第１のブロックへ分割し、上記第１のブロックをより小さい第２のブロックへ分割するブロック化ステップと、
上記第１および第２のブロックから発生情報量を予測し、伝送される情報量を予め設定されている目標値以下となるように、第１のしきい値を決定する予測ステップと、
上記第１のしきい値と予測残差の自乗和または予測残差の積和とを比較し、上記第１および第２のブロック毎に有意か否かを判定し、当該判定結果を少なくとも１ビットからなる有意フラグとして出力し、当該判定結果に基づいて有意であると判定されたブロックを有意ブロックとして出力する有意判定ステップと、
上記有意判定ステップによって有意と判定されたブロックに含まれる上記予測残差を量子化する量子化ステップと、
上記量子化ステップの出力がバッファ手段に入力され、上記量子化ステップの出力を上記バッファ手段から一定レートで出力するバッファステップと、
上記バッファ手段のバッファ残量に基づいて上記目標値を再設定する目標値設定ステップとを有し、
上記第１のブロックと、当該第１のブロックの中から上記有意判定ステップで有意と判定された上記第１のブロックを分割した第２のブロックとからなる階層分岐の態様に基づいた上記有意フラグのビット数と、上記量子化ステップから出力される量子化ビット数とから発生情報量を算出し、
上記目標値と比較し、上記算出された発生情報量が上記目標値を超える場合には、上記第１のしきい値を変更するようにしたことを特徴とする画像信号伝送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27686395A JP3769788B2 (ja) | 1995-09-29 | 1995-09-29 | 画像信号伝送装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27686395A JP3769788B2 (ja) | 1995-09-29 | 1995-09-29 | 画像信号伝送装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0998433A JPH0998433A (ja) | 1997-04-08 |
| JP3769788B2 true JP3769788B2 (ja) | 2006-04-26 |
Family
ID=17575470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27686395A Expired - Lifetime JP3769788B2 (ja) | 1995-09-29 | 1995-09-29 | 画像信号伝送装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3769788B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931732A (zh) * | 2020-09-24 | 2020-11-13 | 苏州科达科技股份有限公司 | 压缩视频的显著性目标检测方法、系统、设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100566421C (zh) * | 2003-06-19 | 2009-12-02 | 松下电器产业株式会社 | 发送装置、图像处理系统及图像处理方法 |
| KR101994870B1 (ko) | 2014-01-03 | 2019-07-01 | 지이 비디오 컴프레션, 엘엘씨 | 웨지렛 기반 코딩 개념 |
-
1995
- 1995-09-29 JP JP27686395A patent/JP3769788B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931732A (zh) * | 2020-09-24 | 2020-11-13 | 苏州科达科技股份有限公司 | 压缩视频的显著性目标检测方法、系统、设备及存储介质 |
| CN111931732B (zh) * | 2020-09-24 | 2022-07-15 | 苏州科达科技股份有限公司 | 压缩视频的显著性目标检测方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0998433A (ja) | 1997-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR970011859B1 (ko) | 퍼지제어를 이용한 부호화 방법 및 그 장치 | |
| KR0184905B1 (ko) | 부호량제어장치 및 이것을 사용한 부호화장치 | |
| US5654706A (en) | System for variable length decoding digital transmission data which has been compressed by selecting a scanning pattern | |
| EP0422404B1 (en) | Transform coding using coefficient prediction techniques | |
| KR100238066B1 (ko) | 양자화활동도를 이용한 비트 발생량 제어방법 및 그 영상 부호화장치 | |
| JP2000125297A (ja) | 連続画像の符号化方法及び復号化方法 | |
| JPH09307904A (ja) | 映像信号符号化システム用量子化器 | |
| US5007102A (en) | Data compression using block list transform | |
| US20120281749A1 (en) | Encoder, decoder, and data configuration | |
| US5202770A (en) | Picture coding apparatus including a coding controller for selecting coding between blocks and frames of image data | |
| US5508745A (en) | Apparatus for controlling a quantization level to be modified by a motion vector | |
| JP2004166128A (ja) | 画像情報の符号化方法、符号化装置及び符号化プログラム | |
| JP3769788B2 (ja) | 画像信号伝送装置および方法 | |
| GB2308768A (en) | Video encoding based on inter block redundancy | |
| JP3675002B2 (ja) | 画像信号伝送装置および方法 | |
| JP2655063B2 (ja) | 音声符号化装置 | |
| KR100220582B1 (ko) | 적응적 부호화기능을 갖는 영상 부호화기 | |
| JP3069144B2 (ja) | 動画像符号化装置 | |
| EP0238254B1 (en) | Data compression using block list transform | |
| JPH10336652A (ja) | 符号化方法およびこれを使用した符号化装置 | |
| JP3674110B2 (ja) | 画像信号伝送装置および方法 | |
| JPH0541860A (ja) | 画像圧縮符号化装置 | |
| JP2009206567A (ja) | 画像処理装置 | |
| JP3709584B2 (ja) | 画像信号処理装置および方法 | |
| JPH05284369A (ja) | 画像データ符号化・復元方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050609 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060130 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140217 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |