JP3709584B2 - 画像信号処理装置および方法 - Google Patents
画像信号処理装置および方法 Download PDFInfo
- Publication number
- JP3709584B2 JP3709584B2 JP22748895A JP22748895A JP3709584B2 JP 3709584 B2 JP3709584 B2 JP 3709584B2 JP 22748895 A JP22748895 A JP 22748895A JP 22748895 A JP22748895 A JP 22748895A JP 3709584 B2 JP3709584 B2 JP 3709584B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- significant
- sub
- value
- residual signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削除することができる画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮では、量子化により発生するデータ量（以下、発生データ量と称する）を削除する有効な手法の１つとして、供給されたサンプル値とそのサンプル値から予測された予測値との差分によって、求められた予測残差を所定のビット数で量子化するものがあるが、予測残差すべてを量子化するので、かなりの発生データ量になる。
【０００３】
また、画像中には、部分的に残差の多い部分と少ない部分とが発生し、その全てを量子化する必要はなく、ブロックに分割し、それぞれの部分が量子化すべきか否か、すなわち量子化することが有意か否かを判定する有意判定によって、さらに発生データ量を削除することが出来る。有意判定によって、ある程度のしきい値以上となるような部分は、有意ブロックとして量子化を行い、しきい値以下となるような部分は、予測残差０と見なしてしまうことで、残差の大きな部分のみを部分的に量子化する。
【０００４】
【発明が解決しようとする課題】
このとき、ブロックサイズの大きさが小さい場合、有意ブロックの出現確率は減少するが、総ブロック数が増えるため、各ブロック当りに必ず係るフラグなどオーバーヘッドが増えてしまうため、結果的には、有意判定なしのときより発生データ量が増えてしまう。また、ブロックサイズの大きさが大きい場合、総ブロック数は、減少するのでオーバーヘッドの影響は小さいが、有意ブロックの出現確率が増えてしまうため、有意判定なしのときよりほんのわずかに発生データ量は減少するだけとなる。
【０００５】
従って、この発明の目的は、これらを鑑みて発生データ量をより削除することが可能な画像信号処理装置および方法を提案することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理装置において、ブロック毎に入力されるサンプル値からサンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成手段と、ブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをブロック毎に判定する有意ブロック判定手段と、有意ブロック判定手段の判定結果に基づきフラグを出力する第１のフラグ出力手段と、有意と判定されたブロックについて、階層的にブロックのブロックサイズより小さいサイズであるサブブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをサブブロック毎に判定する有意サブブロック判定手段と、有意サブブロック判定手段の判定結果に基づきフラグを出力する第２のフラグ出力手段と、有意ブロック判定手段および有意サブブロック判定手段において、有意と判定されたブロックと、ブロックおよびサブブロックとの何れか１つに含まれる残差信号に関する量子化値を選択するために用いられる所定の値と、しきい値とを比較し、当該比較結果に基づいて量子化値を選択し、出力する出力手段とからなり、しきい値は、出力手段から出力される量子化値に基づいて決定されることを特徴とする画像信号処理装置である。
【０００７】
さらに、請求項９に記載の発明は、ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理方法において、ブロック毎に入力されるサンプル値からサンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成工程と、ブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをブロック毎に判定する有意ブロック判定工程と、有意ブロック判定工程の判定結果に基づきフラグを出力する第１のフラグ出力工程と、有意と判定されたブロックについて、階層的にブロックのブロックサイズより小さいサイズであるサブブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをサブブロック毎に判定する有意サブブロック判定工程と、有意サブブロック判定工程の判定結果に基づきフラグを出力する第２のフラグ出力工程と、有意ブロック判定工程および有意サブブロック判定工程において、有意と判定されたブロックと、ブロックおよびサブブロックとの何れか１つに含まれる残差信号に関する量子化値を選択するために用いられる所定の値と、しきい値とを比較し、当該比較結果に基づいて量子化値を選択し、出力する出力工程とからなり、しきい値は、出力工程から出力される量子化値に基づいて決定されることを特徴とする画像信号処理方法である。
【００１０】
このように、３階層または２階層の量子化値とすることで、発生データ量をより削除することが可能となり、１フレーム毎の発生データ量を一定とすることも可能となる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の画像信号処理装置の一実施例のブロック図を示す。１で示す入力端子にディジタル化された画像がブロック毎に入力され、そのディジタル画像は、減算器２および動き検出回路１４へ供給される。減算器２では、入力されたディジタル画像から予測回路１３から供給された予測値が減算され、残差信号が生成される。生成された残差信号は、階層化有意判定回路３およびメモリ４へ供給される。
【００１２】
ここで、階層化有意判定回路３の一例のブロック図を図２に示す。入力端子２１を介して残差信号が階層化有意判定回路３へ供給される。その残差信号は、第１階層条件判定回路２２、第２階層条件判定回路２３および第３階層条件判定回路２４へ供給される。また、入力端子２８を介して情報量制御回路７からのフィードバック信号がしきい値決定回路２５へ供給され、そのフィードバック信号に応じてしきい値決定回路２５では、しきい値THが決定される。
【００１３】
このしきい値決定回路２５では、一例として３、５、８、１０、２０の５種類のしきい値が情報量制御回路７からのフィードバック信号に応じて選択され、選択されたしきい値は、しきい値THとして、しきい値決定回路２５から第１階層条件判定回路２２、第２階層条件判定回路２３および第３階層条件判定回路２４へ供給される。
【００１４】
第１階層条件判定回路２２では、１６ライン×１６画素のブロック（以下、１６×１６）ブロックと称する）の中から最大となる残差信号（以下、最大残差信号と称する）を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、量子化を施す有意性のあるブロック（以下、有意ブロックと称する）と判断し、flag１＝１として論理部２６へ供給される。また、最大残差信号がしきい値TH以下の場合、量子化を施す有意性のないブロックと判断し、flag１＝０として論理部２６へ供給される。
【００１５】
そして、第２階層条件判定回路２３では、（８×８）ブロックの中から最大残差信号を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、そのブロックは、有意ブロックであると判定され、flag２＝１として論理部２６へ供給される。最大残差信号がしきい値TH以下の場合、そのブロックは、有意ブロックでないと判定され、flag２＝０として論理部２６へ供給される。
【００１６】
また同様に、第３階層条件判定回路２４では、（４×４）ブロックの中から最大残差信号を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、そのブロックは、有意ブロックであると判定され、flag３＝１として論理部２７へ供給される。最大残差信号がしきい値TH以下の場合、そのブロックは、有意ブロックでないと判定され、flag３＝０として論理部２７へ供給される。
【００１７】
第２階層条件判定回路２３および第３階層条件判定回路２４で用いているブロックは、第１階層条件判定回路２２で用いる（１６×１６）ブロックに含まれるブロックを用いているため、flag１＝０となる場合、flag２およびflag３も必ず０となる。同様に、第３階層条件判定回路２４で用いているブロックは、第２階層条件判定回路２３で用いる（８×８）ブロックに含まれるブロックを用いているため、flag２＝０となる場合、flag３も必ず０となる。すなわち、論理部２６では、flag１＝１となる場合のみflag２を伝送し、さらに論理部２６では、flag１＝１且つflag２＝１となる場合のみflag３を伝送し、その判定結果は出力端子２９から伝送される。
【００１８】
上述したように、このしきい値決定回路２５では、一例として３、５、８、１０、２０の５種類の中からフィードバック信号に応じてしきい値が選択され、選択されたしきい値が、一例として８以上の場合、伝送されるデータが３階層のデータとして処理され、８未満の場合、伝送されるデータが２階層のデータとして処理される。この伝送されたデータが２階層のデータか３階層のデータかを示す制御用フラグが論理部２７から出力端子３０を介して伝送される。このしきい値決定回路２５では、フィードバック信号に応じて１フレーム毎にしきい値THを変更することができる。
【００１９】
しきい値THが供給されたそれぞれの条件判定回路では、しきい値THが８以上の場合、第１、第２および第３の階層条件判定回路で判定されたフラグが論理部２６および２７を介して伝送されるが、しきい値THが８未満の場合、第１および第３の階層条件判定回路で判定されたフラグが論理部２６および２７を介して伝送される。
【００２０】
このように階層化有意判定回路３からは、制御用フラグがメモリ４へ供給されるとともに、フラグが情報量制御回路７および論理部１１へ供給される。メモリ４では、（１６×１６）ブロックの残差信号が記憶され、制御用フラグに基づいて後段の量子化回路５で量子化がなされる残差信号が量子化回路５へ供給される。量子化回路５では、有意ブロックであると判定された（４×４）ブロックの残差信号が量子化され、その量子化値は、可変長符号化回路６および逆量子化回路８へ供給される。可変長符号化回路６では、供給された量子化値をブロック毎にランレングス符号化、例えばＭＭＲ（Modefied MR ）が行われ、その可変長量子化値は、情報量制御回路７へ供給される。
【００２１】
逆量子化回路８では、供給された量子化値に対して、量子化回路５で行われた量子化の逆変換、すなわち復号が行われ、復号された残差信号は、メモリ９へ供給され、記憶される。論理部１１では、階層化有意判定回路３から供給されたフラグを判定し、有意ブロックであると判定された場合、判定結果が１として選択回路１０へ供給され、有意ブロックでないと判定された場合、判定結果が０として選択回路１０へ供給される。
【００２２】
選択回路１０では、論理部１１から供給された判定結果が１、すなわち有意ブロックであると判定された場合、メモリ９に記憶された（４×４）ブロックの残差信号が加算器１２へ供給され、供給された判定結果が０、すなわち有意ブロックでないと判定された場合、０の値が加算器１２へ供給される。すなわち、選択回路１０では、論理部１１の判定結果に基づいて、残差信号を後段に伝送するか、０の値を後段に伝送するかが選択される。
【００２３】
加算器１２では、予測回路１３からの予測値と選択回路１０からの値が加算され、その加算結果であるローカル復号画像は、予測回路１３および動き検出回路１４へ供給される。動き検出回路１４では、入力端子１からのブロック化されたディジタル画像と加算器１２からのローカル復号画像から、例えばブロックマッチング法などの手法により９ビットからなる動きベクトルＭＶが検出され、検出された動きベクトルＭＶは、予測回路１３および情報量制御回路７へ供給される。予測回路１３では、加算器１２からのローカル復号画像と動きベクトルＭＶに応じて画像の動き補償が行われ、その予測値は、減算器２へ供給される。
【００２４】
情報量制御回路７では、可変長符号化回路６からの可変長量子化値と、階層化有意判定回路３からのフラグと、動き検出回路１４からの動きベクトルＭＶとが供給され、１フレーム毎にフレーム化がなされる。
【００２５】
ここで、この発明の１実施例の符号化処理、特にフラグ（flag）の一例の説明を図３を用いて行う。この図３は、１ブロックの処理を示す。図３Ａに示すように第１階層（（１６×１６）ブロック）のflag１が有意ブロックであることを示す `１' であるため、第２階層（（８×８）ブロック）が有意ブロックか否かが第２階層条件判定回路２３によって判定される。そのflag１＝１となるブロックの第２階層では、flag２1 ＝０、flag２2 ＝１、flag２3 ＝１、flag２4 ＝０であるから、flag２2 、flag２3 で示すサブブロックが有意ブロックである。
【００２６】
よって、flag２2 、flag２3 で示すブロックの第３階層（（４×４）ブロック）が有意ブロックか否かが判定される。まず、flag２2 の第３階層では、flag３21、flag３22、flag３23、flag３24で示すサブブロックが有意ブロックか否かが第３階層条件判定回路２４によって判定される。同様にflag２3 の第３階層では、flag３31、flag３32、flag３33、flag３34で示すサブブロックが有意ブロックか否かが第３階層条件判定回路２４によって判定される。
【００２７】
これらのフラグ（flag）および可変長符号化の出力データ（量子化値）が図３Ｂに示すようにフレーム化される。まず、領域４１には、ブロックの動きベクトルＭＶ（９ビット）が配置され、領域４２には、１ビットからなる第１階層のflag１が配置される。領域４３には、各１ビットからなる第２階層のflag２1 、flag２2 、flag２3 、flag２4 が配置される。
【００２８】
領域４４は、第２階層のflag２が `１' となったサブブロックの第３階層のflag３が配置される。この領域４４は、第２階層において `１' となるflag２がｎ個の場合、４×ｎビットの幅を有する。また、領域４５は、第３階層のflag３が `１' となったブロックに含まれる残差信号の量子化値が配置され、第３階層において `１' となるflag３がｍ個の場合、第３階層は（４×４）ブロックからなるため４×４×ｍビットの幅を有する。このとき、量子化値は、１ビット量子化が行われたものとする。
【００２９】
この一例では、上述したように説明を容易とするため１ブロック毎のフレーム化を用いたが、１フレーム毎のフレーム化を用いることも可能である。
【００３０】
ここで、符号化されたデータを復号する復号側の一例のブロック図を図４に示す。５１で示す入力端子から符号化されたデータが供給され、そのデータは、デフレーミング化回路５２へ供給される。デフレーミング化回路５２では、供給されたデータが動きベクトルＭＶ、フラグおよび量子化値へ分解される。すなわち、デフレーミング化回路５２では、供給された１フレーム毎に逆フレーム化がなされた後、動きベクトルＭＶ、フラグおよび量子化値へ分解される。分解されたフラグは、論理部５３へ供給され、残差信号は、逆可変長符号化回路５５へ供給され、動きベクトルＭＶは、予測回路５４へ供給される。
【００３１】
論理部５３では、供給された１ブロック毎のフラグに基づいて制御用フラグが生成され、生成された制御用フラグは、選択回路５８へ供給される。この論理部５３では、上述したように３階層または２階層さらには、flag１、flag２およびflag３の状態が判断され、制御用フラグが生成される。逆可変長符号化回路５５では、上述した可変長符号化の復号が行われ、量子化値が生成される。同様に、逆量子化回路５６では、生成された量子化値の復号が行われ、残差信号が生成され、メモリ５７へ供給され、残差信号は記憶される。
【００３２】
選択回路５８では、論理部５３からの制御用フラグに基づいて、メモリ５７から供給される残差信号と０とが選択され、加算器５９へ供給される。加算器５９では、残差信号または０と予測回路５４からの予測値とが加算され、加算値は、画素値として予測回路５４へ供給されるとともに、出力端子６０から伝送される。予測回路５４では、画素値と動きベクトルＭＶとから予測値が生成され、生成された予測値は、加算器５９へ供給される。
【００３３】
ここで、有意判定をソフトウェアで実施するための一実施例を図５のフローチャートに示す。まず、１フレーム毎のサンプル値と予測値との残差信号が供給されステップ７１では、供給された１フレーム毎の残差信号が（１６×１６）ブロックにブロック分割が行われ、１フレームの総ブロック数ＢＬＫが求められる。ステップ７２では、第１階層のカウント値Ｌ１に０が設定され、ステップ７３では、（１６×１６）ブロックのブロック毎、すなわち第１階層の最大となる誤差が検出される。
【００３４】
ステップ７３において検出された最大誤差は、ステップ７４において、しきい値THより大きいか否かが判断され、最大誤差がしきい値THより大きい場合、ステップ７７へ制御が移り、小さい場合ステップ７５へ制御が移る。ステップ７５では、そのブロックの第１階層のflag１に０が設定されステップ７６において、第１階層のカウント値Ｌ１をインクリメント（ `＋１' ）し、ステップ７３へ制御が移る。また、ステップ７７では、そのブロックの第１階層のflag１に１が設定され、ステップ７８へ制御が移る。
【００３５】
すなわち、ステップ７４では、そのブロックの有意判定が行われ、そのブロックの第１階層のflag１に０が設定される場合、そのブロックは、有意ブロックでないと判断され、flag１に１が設定される場合、そのブロックは、有意ブロックであると判断される。そして、有意ブロックであると判断されたブロックを縮小し、縮小したブロックの中からさらに有意ブロックを検出し、その有意ブロックのデータが伝送される。
【００３６】
ステップ７８では、ステップ７４において使用したしきい値THが８より小さいか否かが判断され、しきい値THが８より小さい場合、ステップ８６へ制御が移り、大きい場合、ステップ７９へ制御が移る。このステップ７８は、このブロックの構成を３階層とするか２階層とするかの分岐処理である。しきい値THが小さければ、伝送されるデータ数が増えるため２階層とし、しきい値THが大きければ、伝送されるデータ数が少なくてすむため３階層とすることから、この分岐処理は、しきい値THによって判断される。
【００３７】
ステップ７９では、サブブロック数ＳＢ１に４が設定され、また第２階層のカウント値Ｌ２に０が設定される。ステップ８０では、第２階層のカウント値Ｌ２とサブブロック数ＳＢ１が等しいか否かが判断され、等しくないと判断された場合、すなわち、まだ第２階層の有意判定が終了していないと判断され、ステップ８１へ制御が移り、カウント値Ｌ２とサブブロック数ＳＢ１が等しいと判断された場合、ステップ８６へ制御が移る。ステップ８１では、（８×８）ブロックのブロック毎、すなわち第２階層の最大となる誤差が検出される。
【００３８】
検出された最大誤差は、ステップ８２において、しきい値THと比較され、最大誤差がしきい値THより大きいと判断された場合、ステップ８３へ制御が移り、そのステップ８３において、第２階層のflag２に `１' が設定され、最大誤差がしきい値THより小さいと判断された場合、ステップ８４へ制御が移り、そのステップ８４において、第２階層のflag２に `０' が設定される。このflag２に設定される `１' または `０' は、上述したflag１に設定される `１' または `０' と同様に、そのブロックが有意ブロックか否かを示している。そして、ステップ８５において、第２階層のカウント値Ｌ２をインクリメント（ `＋１' ）し、ステップ８０へ制御が移り、そのステップ８０において、第２階層の有意判定が終了したと判断されると、ステップ８６へ制御が移る。
【００３９】
ステップ８６では、サブブロック数ＳＢ２に１６が設定され、また第３階層のカウント値Ｌ３に `０' が設定される。ステップ８６では、第３階層のカウント値Ｌ３とサブブロック数ＳＢ２が等しいか否かが判断され、等しくないと判断された場合、すなわち、まだ第３階層の有意判定が終了していないと判断され、ステップ８８へ制御が移り、カウント値Ｌ２とサブブロック数ＳＢ１が等しいと判断された場合、ステップ９３へ制御が移る。ステップ８８では、（４×４）ブロックのブロック毎、すなわち第３階層の最大となる誤差が検出される。
【００４０】
検出された最大誤差は、ステップ８９において、しきい値THと比較され、最大誤差がしきい値THより大きいと判断された場合、ステップ９０へ制御が移り、そのステップ９０において、第３階層のflag３に `１' が設定され、最大誤差がしきい値THより小さいと判断された場合、ステップ９１へ制御が移り、そのステップ９１において、第３階層のflag３に `０' が設定される。このflag３に設定される `１' または `０' は、上述したflag１またはflag２に設定される `１' または `０' と同様に、そのブロックが有意ブロックか否かを示している。そして、ステップ９２において、第３階層のカウント値Ｌ３をインクリメント（ `＋１' ）し、ステップ８７へ制御が移り、そのステップ８７において、第３階層の有意判定が終了したと判断されると、ステップ９３へ制御が移る。
【００４１】
ステップ９３では、第１階層のカウント値と１フレームの総ブロック数ＢＬＫとが等しいか否かが判断され、等しくないと判断された場合、ステップ７６へ制御が移り、等しいと判断された場合、すなわち１フレーム分の有意判定が終了したと判断された場合、ステップ９４へ制御が移る。ステップ９４では、１フレーム分のデータのフレーム化がなされ、そのデータは、伝送されるとともに、ステップ９５へ制御が移る。ステップ９５では、フレーム化がなされたデータに基づいて、次のフレームのしきい値THが上述したように３、５、８、１０、２０の中から決定され、ステップ７３へ制御が移る。
【００４２】
また、この実施例では、図示していないが、ステップ９４のフレーム化の前段に量子化を施すステップと、可変長符号化を施すステップとを設けることも何ら問題はない。
【００４３】
具体的には、上述したように第１階層の有意判定を行い、その結果が `０' となる場合、第２および第３階層の有意判定を行わず、そのブロックのフレーム化を行う。そして、第１階層の有意判定が `１' となり、そのブロックの伝送されるデータ構成として３階層が選択された場合、第２階層の有意判定を行った後、第３階層の有意判定を行い、フレーム化されたデータは、伝送される。
【００４４】
ここで、一例として、動いている鳥カゴ、人形などのチルト画像を入力ソースとした時の損益率を検証してみた。この損益率とは、（１６×１６）ブロックの画素に対して１ビットの圧縮を行った時の総情報量を `１' とし、上記有意判定法で画素１ビットの圧縮を行ったときの情報量の割合であり、上述の例では、次式のようになる。
【００４５】
ブロックサイズ（１６×１６）の画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、画素当りのビット数（１ビット）から
（９＋１６×１６）×総ブロック数 （１）
となる。
【００４６】
これに対して、（１６×１６）ブロックから（４×４）ブロックへの２階層化による有意判定とその画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、各ブロックおよびサブブロックに対する有意判定フラグ（１ビット）、画素当りのビット数（１ビット）、ブロックに対するサブブロック数（１６ブロック）、最下層ブロックサイズ（４×４＝１６）から
（９＋１＋１６×α0 ＋１６×４×４×α1 ）×総ブロック数 （２）
となる。
【００４７】
ここで、α0 は、有意ブロックの出現確率であり、α1 は、有意サブブロックの出現確率であり、それぞれ次のように表される。
【００４８】
よって、損益率は、
となる。
【００４９】
次に、（１６×１６）ブロックから（８×８）ブロックさらに（４×４）ブロックへの３階層化による有意判定とその画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、各ブロックおよびサブブロックに対する有意判定フラグ（１ビット）、画素当りのビット数（１ビット）、各階層でのブロックに対するサブブロック数（４ブロック）、最下層ブロックサイズ（４×４＝１６）から
（９＋１＋４×α0 ＋１６×α1 ＋１６×４×４×α2 ）×総ブロック数（６）
となる。
【００５０】
ここで、α0 は、有意ブロックの出現確率であり、α1 は、第２階層の有意サブブロックの出現確率であり、α2 は、第３階層の有意サブブロックの出現確率であり、それぞれ次のように表される。
【００５１】
よって、損益率は、
となる。
【００５２】
このように、式（５）および式（１０）によって、求められたこの実施例の損益率を図６に示す。この図を見て分かるように２階層および３階層を比較するとしきい値＝９の前後で損益率の逆転が起こっていると予想できる。この予想から適応的有意判定によって効率の良い圧縮が行えることがわかる。この図は、しきい値が小さいほど、動き量が小さく、しきい値が大きいほど、動き量が大きい。
【００５３】
ここで、この実施例では、有意判定を行うのにブロック内の最大残差信号を用いたが、ブロック内の全ての残差信号を累積し、累積した残差信号としきい値を比較することで有意判定を行っても良い。
【００５４】
【発明の効果】
この発明に依れば、発生データ量に応じてしきい値を変化させ、それに連動して適応的に階層間の分岐を変えることで、常に効率のよい有意判定を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る階層化有意判定回路の一例を示すブロック図である。
【図３】この発明に係るデータ配列の説明に用いる略線図である。
【図４】この発明の画像信号処理装置の復号側の一実施例を示すブロック図である。
【図５】この発明に係る階層化有意判定の一例を示すフローチャートである。
【図６】この発明に係るしきい値と階層の説明に用いる略線図である。
【符号の説明】
３ 階層化有意判定回路
４、９ メモリ
５ 量子化回路
６ 可変長符号化回路
７ 情報量制御回路
８ 逆量子化回路
１０ 選択回路
１１ 論理部
１３ 予測回路
１４ 動き検出回路
【発明の属する技術分野】
この発明は、ブロック化された画像信号を圧縮する場合、データ伝送量をより削除することができる画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
従来、画像圧縮では、量子化により発生するデータ量（以下、発生データ量と称する）を削除する有効な手法の１つとして、供給されたサンプル値とそのサンプル値から予測された予測値との差分によって、求められた予測残差を所定のビット数で量子化するものがあるが、予測残差すべてを量子化するので、かなりの発生データ量になる。
【０００３】
また、画像中には、部分的に残差の多い部分と少ない部分とが発生し、その全てを量子化する必要はなく、ブロックに分割し、それぞれの部分が量子化すべきか否か、すなわち量子化することが有意か否かを判定する有意判定によって、さらに発生データ量を削除することが出来る。有意判定によって、ある程度のしきい値以上となるような部分は、有意ブロックとして量子化を行い、しきい値以下となるような部分は、予測残差０と見なしてしまうことで、残差の大きな部分のみを部分的に量子化する。
【０００４】
【発明が解決しようとする課題】
このとき、ブロックサイズの大きさが小さい場合、有意ブロックの出現確率は減少するが、総ブロック数が増えるため、各ブロック当りに必ず係るフラグなどオーバーヘッドが増えてしまうため、結果的には、有意判定なしのときより発生データ量が増えてしまう。また、ブロックサイズの大きさが大きい場合、総ブロック数は、減少するのでオーバーヘッドの影響は小さいが、有意ブロックの出現確率が増えてしまうため、有意判定なしのときよりほんのわずかに発生データ量は減少するだけとなる。
【０００５】
従って、この発明の目的は、これらを鑑みて発生データ量をより削除することが可能な画像信号処理装置および方法を提案することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理装置において、ブロック毎に入力されるサンプル値からサンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成手段と、ブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをブロック毎に判定する有意ブロック判定手段と、有意ブロック判定手段の判定結果に基づきフラグを出力する第１のフラグ出力手段と、有意と判定されたブロックについて、階層的にブロックのブロックサイズより小さいサイズであるサブブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをサブブロック毎に判定する有意サブブロック判定手段と、有意サブブロック判定手段の判定結果に基づきフラグを出力する第２のフラグ出力手段と、有意ブロック判定手段および有意サブブロック判定手段において、有意と判定されたブロックと、ブロックおよびサブブロックとの何れか１つに含まれる残差信号に関する量子化値を選択するために用いられる所定の値と、しきい値とを比較し、当該比較結果に基づいて量子化値を選択し、出力する出力手段とからなり、しきい値は、出力手段から出力される量子化値に基づいて決定されることを特徴とする画像信号処理装置である。
【０００７】
さらに、請求項９に記載の発明は、ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理方法において、ブロック毎に入力されるサンプル値からサンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成工程と、ブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをブロック毎に判定する有意ブロック判定工程と、有意ブロック判定工程の判定結果に基づきフラグを出力する第１のフラグ出力工程と、有意と判定されたブロックについて、階層的にブロックのブロックサイズより小さいサイズであるサブブロックに含まれる残差信号としきい値とを比較することによって、有意か否かをサブブロック毎に判定する有意サブブロック判定工程と、有意サブブロック判定工程の判定結果に基づきフラグを出力する第２のフラグ出力工程と、有意ブロック判定工程および有意サブブロック判定工程において、有意と判定されたブロックと、ブロックおよびサブブロックとの何れか１つに含まれる残差信号に関する量子化値を選択するために用いられる所定の値と、しきい値とを比較し、当該比較結果に基づいて量子化値を選択し、出力する出力工程とからなり、しきい値は、出力工程から出力される量子化値に基づいて決定されることを特徴とする画像信号処理方法である。
【００１０】
このように、３階層または２階層の量子化値とすることで、発生データ量をより削除することが可能となり、１フレーム毎の発生データ量を一定とすることも可能となる。
【００１１】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の画像信号処理装置の一実施例のブロック図を示す。１で示す入力端子にディジタル化された画像がブロック毎に入力され、そのディジタル画像は、減算器２および動き検出回路１４へ供給される。減算器２では、入力されたディジタル画像から予測回路１３から供給された予測値が減算され、残差信号が生成される。生成された残差信号は、階層化有意判定回路３およびメモリ４へ供給される。
【００１２】
ここで、階層化有意判定回路３の一例のブロック図を図２に示す。入力端子２１を介して残差信号が階層化有意判定回路３へ供給される。その残差信号は、第１階層条件判定回路２２、第２階層条件判定回路２３および第３階層条件判定回路２４へ供給される。また、入力端子２８を介して情報量制御回路７からのフィードバック信号がしきい値決定回路２５へ供給され、そのフィードバック信号に応じてしきい値決定回路２５では、しきい値THが決定される。
【００１３】
このしきい値決定回路２５では、一例として３、５、８、１０、２０の５種類のしきい値が情報量制御回路７からのフィードバック信号に応じて選択され、選択されたしきい値は、しきい値THとして、しきい値決定回路２５から第１階層条件判定回路２２、第２階層条件判定回路２３および第３階層条件判定回路２４へ供給される。
【００１４】
第１階層条件判定回路２２では、１６ライン×１６画素のブロック（以下、１６×１６）ブロックと称する）の中から最大となる残差信号（以下、最大残差信号と称する）を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、量子化を施す有意性のあるブロック（以下、有意ブロックと称する）と判断し、flag１＝１として論理部２６へ供給される。また、最大残差信号がしきい値TH以下の場合、量子化を施す有意性のないブロックと判断し、flag１＝０として論理部２６へ供給される。
【００１５】
そして、第２階層条件判定回路２３では、（８×８）ブロックの中から最大残差信号を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、そのブロックは、有意ブロックであると判定され、flag２＝１として論理部２６へ供給される。最大残差信号がしきい値TH以下の場合、そのブロックは、有意ブロックでないと判定され、flag２＝０として論理部２６へ供給される。
【００１６】
また同様に、第３階層条件判定回路２４では、（４×４）ブロックの中から最大残差信号を検出し、その最大残差信号の絶対値としきい値THとを比較して、最大残差信号がしきい値THより大きい場合、そのブロックは、有意ブロックであると判定され、flag３＝１として論理部２７へ供給される。最大残差信号がしきい値TH以下の場合、そのブロックは、有意ブロックでないと判定され、flag３＝０として論理部２７へ供給される。
【００１７】
第２階層条件判定回路２３および第３階層条件判定回路２４で用いているブロックは、第１階層条件判定回路２２で用いる（１６×１６）ブロックに含まれるブロックを用いているため、flag１＝０となる場合、flag２およびflag３も必ず０となる。同様に、第３階層条件判定回路２４で用いているブロックは、第２階層条件判定回路２３で用いる（８×８）ブロックに含まれるブロックを用いているため、flag２＝０となる場合、flag３も必ず０となる。すなわち、論理部２６では、flag１＝１となる場合のみflag２を伝送し、さらに論理部２６では、flag１＝１且つflag２＝１となる場合のみflag３を伝送し、その判定結果は出力端子２９から伝送される。
【００１８】
上述したように、このしきい値決定回路２５では、一例として３、５、８、１０、２０の５種類の中からフィードバック信号に応じてしきい値が選択され、選択されたしきい値が、一例として８以上の場合、伝送されるデータが３階層のデータとして処理され、８未満の場合、伝送されるデータが２階層のデータとして処理される。この伝送されたデータが２階層のデータか３階層のデータかを示す制御用フラグが論理部２７から出力端子３０を介して伝送される。このしきい値決定回路２５では、フィードバック信号に応じて１フレーム毎にしきい値THを変更することができる。
【００１９】
しきい値THが供給されたそれぞれの条件判定回路では、しきい値THが８以上の場合、第１、第２および第３の階層条件判定回路で判定されたフラグが論理部２６および２７を介して伝送されるが、しきい値THが８未満の場合、第１および第３の階層条件判定回路で判定されたフラグが論理部２６および２７を介して伝送される。
【００２０】
このように階層化有意判定回路３からは、制御用フラグがメモリ４へ供給されるとともに、フラグが情報量制御回路７および論理部１１へ供給される。メモリ４では、（１６×１６）ブロックの残差信号が記憶され、制御用フラグに基づいて後段の量子化回路５で量子化がなされる残差信号が量子化回路５へ供給される。量子化回路５では、有意ブロックであると判定された（４×４）ブロックの残差信号が量子化され、その量子化値は、可変長符号化回路６および逆量子化回路８へ供給される。可変長符号化回路６では、供給された量子化値をブロック毎にランレングス符号化、例えばＭＭＲ（Modefied MR ）が行われ、その可変長量子化値は、情報量制御回路７へ供給される。
【００２１】
逆量子化回路８では、供給された量子化値に対して、量子化回路５で行われた量子化の逆変換、すなわち復号が行われ、復号された残差信号は、メモリ９へ供給され、記憶される。論理部１１では、階層化有意判定回路３から供給されたフラグを判定し、有意ブロックであると判定された場合、判定結果が１として選択回路１０へ供給され、有意ブロックでないと判定された場合、判定結果が０として選択回路１０へ供給される。
【００２２】
選択回路１０では、論理部１１から供給された判定結果が１、すなわち有意ブロックであると判定された場合、メモリ９に記憶された（４×４）ブロックの残差信号が加算器１２へ供給され、供給された判定結果が０、すなわち有意ブロックでないと判定された場合、０の値が加算器１２へ供給される。すなわち、選択回路１０では、論理部１１の判定結果に基づいて、残差信号を後段に伝送するか、０の値を後段に伝送するかが選択される。
【００２３】
加算器１２では、予測回路１３からの予測値と選択回路１０からの値が加算され、その加算結果であるローカル復号画像は、予測回路１３および動き検出回路１４へ供給される。動き検出回路１４では、入力端子１からのブロック化されたディジタル画像と加算器１２からのローカル復号画像から、例えばブロックマッチング法などの手法により９ビットからなる動きベクトルＭＶが検出され、検出された動きベクトルＭＶは、予測回路１３および情報量制御回路７へ供給される。予測回路１３では、加算器１２からのローカル復号画像と動きベクトルＭＶに応じて画像の動き補償が行われ、その予測値は、減算器２へ供給される。
【００２４】
情報量制御回路７では、可変長符号化回路６からの可変長量子化値と、階層化有意判定回路３からのフラグと、動き検出回路１４からの動きベクトルＭＶとが供給され、１フレーム毎にフレーム化がなされる。
【００２５】
ここで、この発明の１実施例の符号化処理、特にフラグ（flag）の一例の説明を図３を用いて行う。この図３は、１ブロックの処理を示す。図３Ａに示すように第１階層（（１６×１６）ブロック）のflag１が有意ブロックであることを示す `１' であるため、第２階層（（８×８）ブロック）が有意ブロックか否かが第２階層条件判定回路２３によって判定される。そのflag１＝１となるブロックの第２階層では、flag２1 ＝０、flag２2 ＝１、flag２3 ＝１、flag２4 ＝０であるから、flag２2 、flag２3 で示すサブブロックが有意ブロックである。
【００２６】
よって、flag２2 、flag２3 で示すブロックの第３階層（（４×４）ブロック）が有意ブロックか否かが判定される。まず、flag２2 の第３階層では、flag３21、flag３22、flag３23、flag３24で示すサブブロックが有意ブロックか否かが第３階層条件判定回路２４によって判定される。同様にflag２3 の第３階層では、flag３31、flag３32、flag３33、flag３34で示すサブブロックが有意ブロックか否かが第３階層条件判定回路２４によって判定される。
【００２７】
これらのフラグ（flag）および可変長符号化の出力データ（量子化値）が図３Ｂに示すようにフレーム化される。まず、領域４１には、ブロックの動きベクトルＭＶ（９ビット）が配置され、領域４２には、１ビットからなる第１階層のflag１が配置される。領域４３には、各１ビットからなる第２階層のflag２1 、flag２2 、flag２3 、flag２4 が配置される。
【００２８】
領域４４は、第２階層のflag２が `１' となったサブブロックの第３階層のflag３が配置される。この領域４４は、第２階層において `１' となるflag２がｎ個の場合、４×ｎビットの幅を有する。また、領域４５は、第３階層のflag３が `１' となったブロックに含まれる残差信号の量子化値が配置され、第３階層において `１' となるflag３がｍ個の場合、第３階層は（４×４）ブロックからなるため４×４×ｍビットの幅を有する。このとき、量子化値は、１ビット量子化が行われたものとする。
【００２９】
この一例では、上述したように説明を容易とするため１ブロック毎のフレーム化を用いたが、１フレーム毎のフレーム化を用いることも可能である。
【００３０】
ここで、符号化されたデータを復号する復号側の一例のブロック図を図４に示す。５１で示す入力端子から符号化されたデータが供給され、そのデータは、デフレーミング化回路５２へ供給される。デフレーミング化回路５２では、供給されたデータが動きベクトルＭＶ、フラグおよび量子化値へ分解される。すなわち、デフレーミング化回路５２では、供給された１フレーム毎に逆フレーム化がなされた後、動きベクトルＭＶ、フラグおよび量子化値へ分解される。分解されたフラグは、論理部５３へ供給され、残差信号は、逆可変長符号化回路５５へ供給され、動きベクトルＭＶは、予測回路５４へ供給される。
【００３１】
論理部５３では、供給された１ブロック毎のフラグに基づいて制御用フラグが生成され、生成された制御用フラグは、選択回路５８へ供給される。この論理部５３では、上述したように３階層または２階層さらには、flag１、flag２およびflag３の状態が判断され、制御用フラグが生成される。逆可変長符号化回路５５では、上述した可変長符号化の復号が行われ、量子化値が生成される。同様に、逆量子化回路５６では、生成された量子化値の復号が行われ、残差信号が生成され、メモリ５７へ供給され、残差信号は記憶される。
【００３２】
選択回路５８では、論理部５３からの制御用フラグに基づいて、メモリ５７から供給される残差信号と０とが選択され、加算器５９へ供給される。加算器５９では、残差信号または０と予測回路５４からの予測値とが加算され、加算値は、画素値として予測回路５４へ供給されるとともに、出力端子６０から伝送される。予測回路５４では、画素値と動きベクトルＭＶとから予測値が生成され、生成された予測値は、加算器５９へ供給される。
【００３３】
ここで、有意判定をソフトウェアで実施するための一実施例を図５のフローチャートに示す。まず、１フレーム毎のサンプル値と予測値との残差信号が供給されステップ７１では、供給された１フレーム毎の残差信号が（１６×１６）ブロックにブロック分割が行われ、１フレームの総ブロック数ＢＬＫが求められる。ステップ７２では、第１階層のカウント値Ｌ１に０が設定され、ステップ７３では、（１６×１６）ブロックのブロック毎、すなわち第１階層の最大となる誤差が検出される。
【００３４】
ステップ７３において検出された最大誤差は、ステップ７４において、しきい値THより大きいか否かが判断され、最大誤差がしきい値THより大きい場合、ステップ７７へ制御が移り、小さい場合ステップ７５へ制御が移る。ステップ７５では、そのブロックの第１階層のflag１に０が設定されステップ７６において、第１階層のカウント値Ｌ１をインクリメント（ `＋１' ）し、ステップ７３へ制御が移る。また、ステップ７７では、そのブロックの第１階層のflag１に１が設定され、ステップ７８へ制御が移る。
【００３５】
すなわち、ステップ７４では、そのブロックの有意判定が行われ、そのブロックの第１階層のflag１に０が設定される場合、そのブロックは、有意ブロックでないと判断され、flag１に１が設定される場合、そのブロックは、有意ブロックであると判断される。そして、有意ブロックであると判断されたブロックを縮小し、縮小したブロックの中からさらに有意ブロックを検出し、その有意ブロックのデータが伝送される。
【００３６】
ステップ７８では、ステップ７４において使用したしきい値THが８より小さいか否かが判断され、しきい値THが８より小さい場合、ステップ８６へ制御が移り、大きい場合、ステップ７９へ制御が移る。このステップ７８は、このブロックの構成を３階層とするか２階層とするかの分岐処理である。しきい値THが小さければ、伝送されるデータ数が増えるため２階層とし、しきい値THが大きければ、伝送されるデータ数が少なくてすむため３階層とすることから、この分岐処理は、しきい値THによって判断される。
【００３７】
ステップ７９では、サブブロック数ＳＢ１に４が設定され、また第２階層のカウント値Ｌ２に０が設定される。ステップ８０では、第２階層のカウント値Ｌ２とサブブロック数ＳＢ１が等しいか否かが判断され、等しくないと判断された場合、すなわち、まだ第２階層の有意判定が終了していないと判断され、ステップ８１へ制御が移り、カウント値Ｌ２とサブブロック数ＳＢ１が等しいと判断された場合、ステップ８６へ制御が移る。ステップ８１では、（８×８）ブロックのブロック毎、すなわち第２階層の最大となる誤差が検出される。
【００３８】
検出された最大誤差は、ステップ８２において、しきい値THと比較され、最大誤差がしきい値THより大きいと判断された場合、ステップ８３へ制御が移り、そのステップ８３において、第２階層のflag２に `１' が設定され、最大誤差がしきい値THより小さいと判断された場合、ステップ８４へ制御が移り、そのステップ８４において、第２階層のflag２に `０' が設定される。このflag２に設定される `１' または `０' は、上述したflag１に設定される `１' または `０' と同様に、そのブロックが有意ブロックか否かを示している。そして、ステップ８５において、第２階層のカウント値Ｌ２をインクリメント（ `＋１' ）し、ステップ８０へ制御が移り、そのステップ８０において、第２階層の有意判定が終了したと判断されると、ステップ８６へ制御が移る。
【００３９】
ステップ８６では、サブブロック数ＳＢ２に１６が設定され、また第３階層のカウント値Ｌ３に `０' が設定される。ステップ８６では、第３階層のカウント値Ｌ３とサブブロック数ＳＢ２が等しいか否かが判断され、等しくないと判断された場合、すなわち、まだ第３階層の有意判定が終了していないと判断され、ステップ８８へ制御が移り、カウント値Ｌ２とサブブロック数ＳＢ１が等しいと判断された場合、ステップ９３へ制御が移る。ステップ８８では、（４×４）ブロックのブロック毎、すなわち第３階層の最大となる誤差が検出される。
【００４０】
検出された最大誤差は、ステップ８９において、しきい値THと比較され、最大誤差がしきい値THより大きいと判断された場合、ステップ９０へ制御が移り、そのステップ９０において、第３階層のflag３に `１' が設定され、最大誤差がしきい値THより小さいと判断された場合、ステップ９１へ制御が移り、そのステップ９１において、第３階層のflag３に `０' が設定される。このflag３に設定される `１' または `０' は、上述したflag１またはflag２に設定される `１' または `０' と同様に、そのブロックが有意ブロックか否かを示している。そして、ステップ９２において、第３階層のカウント値Ｌ３をインクリメント（ `＋１' ）し、ステップ８７へ制御が移り、そのステップ８７において、第３階層の有意判定が終了したと判断されると、ステップ９３へ制御が移る。
【００４１】
ステップ９３では、第１階層のカウント値と１フレームの総ブロック数ＢＬＫとが等しいか否かが判断され、等しくないと判断された場合、ステップ７６へ制御が移り、等しいと判断された場合、すなわち１フレーム分の有意判定が終了したと判断された場合、ステップ９４へ制御が移る。ステップ９４では、１フレーム分のデータのフレーム化がなされ、そのデータは、伝送されるとともに、ステップ９５へ制御が移る。ステップ９５では、フレーム化がなされたデータに基づいて、次のフレームのしきい値THが上述したように３、５、８、１０、２０の中から決定され、ステップ７３へ制御が移る。
【００４２】
また、この実施例では、図示していないが、ステップ９４のフレーム化の前段に量子化を施すステップと、可変長符号化を施すステップとを設けることも何ら問題はない。
【００４３】
具体的には、上述したように第１階層の有意判定を行い、その結果が `０' となる場合、第２および第３階層の有意判定を行わず、そのブロックのフレーム化を行う。そして、第１階層の有意判定が `１' となり、そのブロックの伝送されるデータ構成として３階層が選択された場合、第２階層の有意判定を行った後、第３階層の有意判定を行い、フレーム化されたデータは、伝送される。
【００４４】
ここで、一例として、動いている鳥カゴ、人形などのチルト画像を入力ソースとした時の損益率を検証してみた。この損益率とは、（１６×１６）ブロックの画素に対して１ビットの圧縮を行った時の総情報量を `１' とし、上記有意判定法で画素１ビットの圧縮を行ったときの情報量の割合であり、上述の例では、次式のようになる。
【００４５】
ブロックサイズ（１６×１６）の画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、画素当りのビット数（１ビット）から
（９＋１６×１６）×総ブロック数 （１）
となる。
【００４６】
これに対して、（１６×１６）ブロックから（４×４）ブロックへの２階層化による有意判定とその画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、各ブロックおよびサブブロックに対する有意判定フラグ（１ビット）、画素当りのビット数（１ビット）、ブロックに対するサブブロック数（１６ブロック）、最下層ブロックサイズ（４×４＝１６）から
（９＋１＋１６×α0 ＋１６×４×４×α1 ）×総ブロック数 （２）
となる。
【００４７】
ここで、α0 は、有意ブロックの出現確率であり、α1 は、有意サブブロックの出現確率であり、それぞれ次のように表される。
よって、損益率は、
【００４９】
次に、（１６×１６）ブロックから（８×８）ブロックさらに（４×４）ブロックへの３階層化による有意判定とその画素に対して１ビット圧縮を行うときの総情報量は、各ブロックに対する動きベクトル（９ビット）、各ブロックおよびサブブロックに対する有意判定フラグ（１ビット）、画素当りのビット数（１ビット）、各階層でのブロックに対するサブブロック数（４ブロック）、最下層ブロックサイズ（４×４＝１６）から
（９＋１＋４×α0 ＋１６×α1 ＋１６×４×４×α2 ）×総ブロック数（６）
となる。
【００５０】
ここで、α0 は、有意ブロックの出現確率であり、α1 は、第２階層の有意サブブロックの出現確率であり、α2 は、第３階層の有意サブブロックの出現確率であり、それぞれ次のように表される。
よって、損益率は、
【００５２】
このように、式（５）および式（１０）によって、求められたこの実施例の損益率を図６に示す。この図を見て分かるように２階層および３階層を比較するとしきい値＝９の前後で損益率の逆転が起こっていると予想できる。この予想から適応的有意判定によって効率の良い圧縮が行えることがわかる。この図は、しきい値が小さいほど、動き量が小さく、しきい値が大きいほど、動き量が大きい。
【００５３】
ここで、この実施例では、有意判定を行うのにブロック内の最大残差信号を用いたが、ブロック内の全ての残差信号を累積し、累積した残差信号としきい値を比較することで有意判定を行っても良い。
【００５４】
【発明の効果】
この発明に依れば、発生データ量に応じてしきい値を変化させ、それに連動して適応的に階層間の分岐を変えることで、常に効率のよい有意判定を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る階層化有意判定回路の一例を示すブロック図である。
【図３】この発明に係るデータ配列の説明に用いる略線図である。
【図４】この発明の画像信号処理装置の復号側の一実施例を示すブロック図である。
【図５】この発明に係る階層化有意判定の一例を示すフローチャートである。
【図６】この発明に係るしきい値と階層の説明に用いる略線図である。
【符号の説明】
３ 階層化有意判定回路
４、９ メモリ
５ 量子化回路
６ 可変長符号化回路
７ 情報量制御回路
８ 逆量子化回路
１０ 選択回路
１１ 論理部
１３ 予測回路
１４ 動き検出回路
Claims (9)
- ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理装置において、
ブロック毎に入力されるサンプル値から上記サンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成手段と、
上記ブロックに含まれる上記残差信号としきい値とを比較することによって、有意か否かを上記ブロック毎に判定する有意ブロック判定手段と、
上記有意ブロック判定手段の判定結果に基づきフラグを出力する第１のフラグ出力手段と、
有意と判定された上記ブロックについて、階層的に上記ブロックのブロックサイズより小さいサイズであるサブブロックに含まれる上記残差信号としきい値とを比較することによって、有意か否かを上記サブブロック毎に判定する有意サブブロック判定手段と、
上記有意サブブロック判定手段の判定結果に基づきフラグを出力する第２のフラグ出力手段と、
上記有意ブロック判定手段および上記有意サブブロック判定手段において、有意と判定された上記ブロックと、上記ブロックおよび上記サブブロックとの何れか１つに含まれる上記残差信号に関する量子化値を選択するために用いられる所定の値と、上記しきい値とを比較し、当該比較結果に基づいて上記量子化値を選択し、出力する出力手段とからなり、
上記しきい値は、上記出力手段から出力される上記量子化値に基づいて決定される
ことを特徴とする画像信号処理装置。 - さらに、上記有意ブロック判定手段および上記有意サブブロック判定手段から供給される判定結果と、上記出力される上記量子化値とをフレーム化するときに、伝送される上記残差信号の情報量を略々一定とする情報量制御手段を備え、
上記しきい値は、上記量子化された上記残差信号の情報量に応じて決定されることを特徴とする請求項１に記載の画像信号処理装置。 - 上記サブブロックのブロックサイズは、上記しきい値に応じて、上記ブロックサイズの１／（４n）（ｎは自然数）が選択される
ことを特徴とする請求項１に記載の画像信号処理装置。 - 有意と判定された上記サブブロックについて、階層的に上記サブブロックのブロックサイズより小さいサイズである第２のサブブロックに含まれる上記残差信号としきい値とを比較することによって、有意か否かを上記第２のサブブロック毎に判定する第２の有意サブブロック判定手段と、
上記第２の有意サブブロック判定手段の判定結果に基づきフラグを出力する第３のフラグ出力手段とを有し、
上記出力手段では、上記有意ブロック判定手段、上記有意サブブロック判定手段および上記第２の有意サブブロック判定手段において、有意と判定された上記ブロックと、上記ブロックおよび上記サブブロックと、上記ブロック、上記サブブロック、および上記第２のサブブロックとの何れか１つに含まれる上記残差信号に関する量子化値を選択するために用いられる所定の値と、上記しきい値とを比較し、当該比較結果に基づいて上記量子化値を選択し、出力する
ことを特徴とする請求項１に記載の画像信号処理装置。 - 上記有意の判定は、上記しきい値に対して、上記残差信号のうちの最大残差信号が大きい場合に有意ブロック又は有意サブブロックであると判定することを特徴とする請求項１に記載の画像処理装置。
- 上記予測値は、復号された画像と、上記復号された画像から得られる動きベクトルとに基づいて画像の動き補償がなされることによって得られることを特徴とする請求項１に記載の画像信号処理装置。
- 上記出力された量子化値を復号する画像信号処理装置において、
上記量子化値に対して逆量子化し、残差信号を復号する復号手段と、
復号された上記残差信号または０がフラグにより選択される選択手段と、
選択された信号と予測値を加算する手段と
からなることを特徴とする請求項１に記載の画像信号処理装置。 - 上記ブロック、上記サブブロックおよび上記第２のサブブロックを上記しきい値に応じて変化させ、上記選択出力される上記残差信号に関する量子化値の量を略々一定とするように制御することを特徴とする請求項５に記載の画像信号処理装置。
- ブロック毎に入力されるサンプル値とその予測値との残差信号に対して量子化を行う画像信号処理方法において、
ブロック毎に入力されるサンプル値から上記サンプル値から予測される予測値を減算し、残差信号を生成する残差信号生成工程と、
上記ブロックに含まれる上記残差信号としきい値とを比較することによって、有意か否かを上記ブロック毎に判定する有意ブロック判定工程と、
上記有意ブロック判定工程の判定結果に基づきフラグを出力する第１のフラグ出力工程と、
有意と判定された上記ブロックについて、階層的に上記ブロックのブロックサイズより小さいサイズであるサブブロックに含まれる上記残差信号としきい値とを比較することによって、有意か否かを上記サブブロック毎に判定する有意サブブロック判定工程と、
上記有意サブブロック判定工程の判定結果に基づきフラグを出力する第２のフラグ出力工程と、
上記有意ブロック判定工程および上記有意サブブロック判定工程において、有意と判定された上記ブロックと、上記ブロックおよび上記サブブロックとの何れか１つに含まれる上記残差信号に関する量子化値を選択するために用いられる所定の値と、上記しきい値とを比較し、当該比較結果に基づいて上記量子化値を選択し、出力する出力工程とからなり、
上記しきい値は、上記出力工程から出力される上記量子化値に基づいて決定される
ことを特徴とする画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22748895A JP3709584B2 (ja) | 1995-08-11 | 1995-08-11 | 画像信号処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22748895A JP3709584B2 (ja) | 1995-08-11 | 1995-08-11 | 画像信号処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0955942A JPH0955942A (ja) | 1997-02-25 |
| JP3709584B2 true JP3709584B2 (ja) | 2005-10-26 |
Family
ID=16861678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22748895A Expired - Lifetime JP3709584B2 (ja) | 1995-08-11 | 1995-08-11 | 画像信号処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709584B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014156707A1 (ja) * | 2013-03-29 | 2014-10-02 | ソニー株式会社 | 画像符号化装置および方法、並びに、画像復号装置および方法 |
-
1995
- 1995-08-11 JP JP22748895A patent/JP3709584B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0955942A (ja) | 1997-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5025482A (en) | Image transformation coding device with adaptive quantization characteristic selection | |
| KR970011859B1 (ko) | 퍼지제어를 이용한 부호화 방법 및 그 장치 | |
| US9967589B2 (en) | Method and apparatus for updating predictions when coding motion information | |
| EP0534504B1 (en) | Picture signal encoding and decoding apparatus | |
| KR20010033797A (ko) | 스케일 가능한 계층적 움직임 추정을 실행하는 장치 및방법 | |
| JP2000341694A (ja) | データ復号化方法及びその装置 | |
| JP4806172B2 (ja) | ディジタルのソース画像を圧縮する装置および方法 | |
| US5508745A (en) | Apparatus for controlling a quantization level to be modified by a motion vector | |
| EP1932247A2 (en) | Adaptive area of influence filter | |
| Lee | Edge-adaptive prediction for lossless image coding | |
| JP3709584B2 (ja) | 画像信号処理装置および方法 | |
| JP3978810B2 (ja) | 符号化方法およびこれを使用した符号化装置 | |
| US6266447B1 (en) | Coding apparatus | |
| JP3769788B2 (ja) | 画像信号伝送装置および方法 | |
| Jiang et al. | Lossless compression for medical imaging systems using linear/nonlinear prediction and arithmetic coding | |
| JPH0541860A (ja) | 画像圧縮符号化装置 | |
| JP3675002B2 (ja) | 画像信号伝送装置および方法 | |
| Ho et al. | A pyramidal image coder with contour-based interpolative vector quantization | |
| JP3674110B2 (ja) | 画像信号伝送装置および方法 | |
| US6347115B1 (en) | Method and system for predictive coding of images treated with the Roberts Method | |
| JPH11215504A (ja) | 動画像符号化装置 | |
| KR100569388B1 (ko) | 동영상 양자화 장치 및 방법 | |
| JP3356338B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH0548907A (ja) | 符号化装置 | |
| JPH05219496A (ja) | 画像符号化装置及び動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080819 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090819 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100819 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110819 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120819 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130819 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |