JPH06284295A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像符号化信号に付帯情報を重畳する。 【構成】 ゼロパック回路１８は入力される量子化され
た係数ブロックをジグザグスキャンにより零の継続する
数であるランとそのランを止めている零でない係数とを
組にする。ここで、このランの偶奇を付帯情報のビット
に合わせて変更することでデータに付帯情報を重畳す
る。ランの偶奇と付帯情報のビットが合致しない場合に
は、ランを止めている例でない係数の前に１のデータを
挿入することでランの数を変更し、ランの偶奇を制御す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の符号中に付帯情
報を重畳させることのできる画像符号化装置に関する。

【０００２】

【従来の技術】従来より、静止画像符号化方式の国際標
準方式として勧告される予定のＪＰＥＧ方式が知られて
いる。この方式では、まず画像を８行８列のブロックに
区分し、各ブロックに離散コサイン変換（ＤＣＴ）を施
し、得られた係数ブロックを線形量子化する。そして、
直流成分は差分符号化した後、ハフマン符号化を行い、
交流成分はジグザグスキャンしながら零のランレングス
符号化を行った後、２次元ハフマン符号化する。ここ
で、ハフマン符号化および２次元ハフマン符号化は共
に、エントロピー符号化の一つである。

【０００３】ＪＰＥＧ方式により圧縮された画像は、取
扱いが容易であり汎用性がある反面、装置メーカーが独
自の処理を施したり、情報にアクセスできる人物に関す
る機密情報や、暗号情報などの付帯情報を追加すること
ができないという問題がある。

【０００４】そこで、このような符号化方式の線形量子
化の際に付帯情報を重畳させる方法が提案されている
（特開平３−３９７８９号公報）。この方法では、量子
化の際のビット数の偶奇を付帯情報のビット列で制御す
る。すなわち、量子化データの偶奇を付帯情報のビット
列の０、１に対応させて、画像を符号化することによ
り、付帯情報を画像情報中に埋め込んでいる。そして、
復号化器側では画像の復号と同時に付帯情報を取り出
す。

【０００５】

【発明が解決しようとする課題】しかし、上記従来例に
おいては、量子化データのビット数を無理やり付帯情報
に合わせるため、埋め込みが行われた部分の画像におい
てノイズが目立ちやすいという問題点があった。すなわ
ち、付帯情報のビットが埋め込まれた係数、特に、本来
偶数（奇数）でなければならないデータを奇数（偶数）
に変更した係数においては、最下位ビットの情報が失わ
れるため、これによって量子化誤差が２倍になってしま
い、付帯情報が埋め込まれたためのノイズが目立ち易い
という問題がある。

【０００６】これを避けるためには、量子化ステップサ
イズを小さくして、１ビットの量子化誤差を小さくすれ
ばよい。しかし、こうした場合には、画像全体の符号量
が増えるため圧縮効率が低下するという問題があった。
すなわち、付帯情報のノイズを視覚的に小さなものにす
るために量子化ステップサイズを小さくすると、画像全
体においてその係数の符号量が増大してしまうが、増大
した冗長な符号量が全て付帯情報のために使われるわけ
ではなく、むしろ無駄に増大する符号量の方が多くなっ
てしまうのである。

【０００７】このように、上述の従来例においては、埋
め込まれる情報が、視覚的に重要なビットに取って代わ
る可能性が高く、復号時に情報を埋め込んだためのノイ
ズが残り易く、これを避けようとすると画像全体におい
て冗長な符号が無駄に増大してしまうという問題があっ
た。

【０００８】本発明は、国際標準方式のメリットである
汎用性を生かしながら、かつ独自の付帯情報を画像中に
埋め込むことのできる画像符号化装置を提案し、かつ情
報埋め込みによるノイズを視覚的に目立たなくしなが
ら、符号量の増加は最小限に止めるという課題を解決す
ることを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、画像情報および画像情報に付帯する付帯
情報を符号化する画像符号化装置において、入力されて
くる画像データをブロックごとに離散コサイン変換し、
係数ブロックを得る離散コサイン変換回路と、得られた
係数ブロックを量子化する量子化回路と、量子化された
係数ブロックをジグザグスキャンにより零の継続する数
であるランとそのランを止めている零でない係数とを組
にするゼロパック回路と、前記ランと係数の組をエント
ロピー符号化するエントロピー符号化回路と、を含み、
前記ゼロパック回路は、零の代わりに零でない係数を随
時挿入し、前記付帯情報のビット列に応じて零のランの
偶奇を決定することを特徴とする。

【００１０】

【作用】上記構成によれば、画像データのブロックにＤ
ＣＴを施し、量子化した後、ゼロパック回路はジグザグ
スキャンを行い、零が何個連続したかを表すランと、そ
のランを止めている零でない係数とを抽出して組にす
る。エントロピー符号化回路は、例えば２次元ハフマン
符号化が用いられ、各組に対して２次元ハフマン符号化
を行う。

【００１１】このとき、ゼロパック回路は、埋め込む付
帯情報のビット系列に応じて、ランの長さを調節する。
すなわち、付帯情報のビット０にランの偶数を割り当
て、付帯情報のビット１にランの奇数を割り当てる。そ
して、符号化処理中にランの偶奇と付帯情報のビットが
一致しないときに限って、０であった係数を１に変化さ
せてランの偶奇の制御を行い、ランの偶奇を付帯情報の
ビット系列に合わせる。このような符号化によって得ら
れる情報はＪＰＥＧ方式に準拠しており、通常のＪＰＥ
Ｇ準拠の復号化器で復号できるのはもちろんであるが、
付帯情報の抽出機能を備えた復号化器においては、付帯
情報の抽出が可能となる。

【００１２】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は、本発明の好適な実施例を示す図である。
画像データは８行８列のブロックごとに離散コサイン変
換回路１０に入力され、離散コサイン変換が施される。
この回路１０は２段（縦方向および横方向）の１次元離
散コサイン変換回路１０ａ、１０ｂからなり、各回路１
０ａ、１０ｂはそれぞれ８個の乗算器と８個のアキュム
レータからなっている。離散コサイン変換のための係数
はＲＯＭ（図示せず）に記憶され、必要に応じて読み出
されて乗算器に供給される。２回の１次元離散コサイン
変換を経ることにより、入力データブロックは縦方向と
横方向に離散コサイン変換が施された周波数領域上の係
数ブロックになる。なお、入力されてくる画像データは
符号なしの８ビットデータであり、ＤＣＴ後の係数は１
６ビット浮動小数データである。

【００１３】量子化回路１２は、予め設定された量子化
ステップサイズの逆数をテーブルに持ち、これと係数と
を乗算する回路であり、１１ビットの整数に量子化す
る。

【００１４】次に、ＤＣ係数は、ブロック内の処理によ
っては、データ量を減少することはできない。このた
め、ブロック間の相関が高いことを利用して符号化す
る。すなわち、ＤＣ係数は、差分符号化回路１４に入力
され、隣接するブロックのＤＣ成分との差分が求めら
れ、符号化される。そして、差分符号化後のデータは、
ハフマン符号化回路１６において、１次元ハフマン符号
化処理される。

【００１５】一方、量子化回路１２からの出力データの
交流成分は、ゼロパック回路１８に入力される。ここ
で、このゼロパック回路１８には、付帯情報入力回路２
０が接続され、ここから付帯情報が入力される。そし
て、ゼロパック回路１８は、付帯情報のビット系列によ
り、零のランを制御しながら、零のランをカウントし、
ランレングス符号化を行う。

【００１６】このようにして得られたゼロパック回路１
８の出力信号は、２次元ハフマン符号化回路２２に入力
され、ここでエントロピー符号化の１つである２次元ハ
フマン符号化される。すなわち、この２次元ハフマン符
号化回路２２は、零のランと零でない係数を組にしてハ
フマン符号を求める。そして、この２次元ハフマン符号
化回路２２とハフマン符号化回路１６の出力は多重化回
路２４に入力され、所定の多重化処理がなされ、伝送ラ
インに出力される。

【００１７】ここで、ゼロパック回路１８は、図２のよ
うにブロックをジグザグスキャンし、各係数が零かどう
かを判定し、零ならばランをカウントし、零の数と係数
の組からなるデータを生成する。図２の例において、付
帯情報がない場合には、 （０，４３），（０，９），（０，１４），（０，−４
９），（０，−２９），（０，３７），（１，２３），
（２，２５），（１，１６）， … というデータが作成される。

【００１８】そして、本実施例においては、この作成さ
れるゼロパックデータの零の数（ランの長さ）の偶奇に
付帯情報を担わせる。そこで、まず本実施例における付
帯情報埋め込みの規則について説明する。

【００１９】規則１ 符号化の開始後、付帯情報の埋め込みが成功した直後の
画像データ（すなわち、ランとランを止めているデータ
の組には、付帯情報を埋め込まない。この埋め込みを交
互に行う規則は、ブロックの符号化の終了と次のブロッ
クの符号化に際してリセットすることなく継続して適用
し、一画面分の符号について一貫して適用する。このた
めに、フラグｆを利用し、このフラグｆの初期化は、処
理の開始時に一回だけ行う。

【００２０】規則２ 規則１において、埋め込み可能な場合であっても、ゼロ
ラン長が０である場合には、これには付帯情報を担わせ
ないことにする。

【００２１】規則３ ブロックの最後まで零が続いた場合に出力されるＥＯＢ
（エンド・オブ・ブロック）符号は、付帯情報には関係
しないものにする。

【００２２】このような３つの規則に従って、ゼロパッ
ク回路１８が出力データに付帯情報を重畳する。そこ
で、このゼロパック回路１８の構成および動作について
図３〜５に基づいて説明する。図３は、ゼロパック回路
１８の構成図であり、メモリ３０に量子化回路１２から
の係数データの交流成分が記憶される。シグザグスキャ
ンアドレス生成回路３２は、図２の順で係数データを順
次メモリ３０から読み出すためのアドレスを発生する。
メモリ３０から読み出されたデータは、テストレジスタ
３４に記憶される。このテストレジスタ３４は、記憶さ
れたデータが０であるか否かの判定機能を有している。

【００２３】カウンタ３６は、データ０の継続する数
（ラン長）を数えるためのものであり、ＡＬＵ３８は算
術演算を行う。そして、カウンタ３６はＡＬＵ３８の演
算結果によりカウンタ３６の値を更新できるようになっ
ている。

【００２４】ＡＬＵ３８の演算結果出力と、カウンタ３
６の値は、マルチプレクサ４０に入力され、いずれかの
データが出力される。そして、テストレジスタ３４とマ
ルチプレクサ４０の出力は（ラン、データ）組出力部４
２に供給され、所定の出力データが形成され、２次元ハ
フマン符号化回路２２に供給される。

【００２５】また、付帯情報メモリ４４には、画像情報
に付帯すべき付帯情報が記憶されている。この付帯情報
は、所定のビット列で表される。そして、この付帯情報
は、１ビットずつ付帯情報ビットレジスタ４６に記憶さ
れる。付帯情報ビットレジスタ４６の値と、カウンタ３
６の値は整合性テスト用論理回路４８に供給される。整
合性テスト用論理回路４８は、カウンタの値と付帯情報
のビットを比較し、付帯情報の埋め込みによって、ラン
長の変更が必要か否かを判定する。また、フラグ記憶部
５０は、フラグｆの値を記憶する。

【００２６】コントロール用論理回路５２は、カウンタ
５２の値をクリアしたり、フラグ記憶部５０の内容に応
じて各種処理をコントロールしたり、整合性テスト用論
理回路４８の出力に応じてマルチプレクサ４０を制御し
たり、（ラン、データ）組出力部４２の出力を制御した
りし、ゼロパック回路１８の動作全体を制御する。

【００２７】次に、このゼロパック回路１８の動作につ
いて、図４および図５のフローチャートに基づいて説明
する。

【００２８】まず、コントロール用論理回路５２は、ブ
ロックの符号化の開始に当たり、カウンタ３６をリセッ
トすると共に、ジグザグアドレス生成回路３２における
アクセスアドレスを初期化する（Ｓ１）。次に、ジグザ
グスキャンアドレス生成回路３２におけるアクセスアド
レスを生成すると共に、メモリ３０から該当するデータ
を取り出す（Ｓ２）。そして、取り出したテストレジス
タ３４に記憶する。

【００２９】次に、テストレジスタ３４は、記憶されて
いるデータが０か否かを判定する（Ｓ３）。ゼロであれ
ば、ジグザグスキャンが終了したかをどうか判定する
（Ｓ４）。この判定は、例えばジグザグスキャンアドレ
ス生成回路３２が、その発生アドレスから判定すれば良
い。そして、Ｓ４判定の結果が終了であれば、ゼロでな
い係数が発生しないうちにブロックの最後に達したこと
を意味しており、この場合にはコントロール用論理回路
５２が（ラン、データ）出力部４２に信号を送り、ここ
から特別な符号であるＥＯＢ（エンド・オブ・ブロッ
ク）を出力して（Ｓ５）、処理を終了する。

【００３０】一方、Ｓ４でスキャンが終了していない場
合には、ＡＬＵ３８がカウンタ３６を１だけインクリメ
ントし（Ｓ６）、Ｓ２のアドレス生成およびデータ取り
出しに戻る。

【００３１】また、Ｓ３のテストレジスタ３４の判定に
おいて、データが０でなかった場合には、ＡＬＵ３８が
カウンタ３６の値が１５以下かどうかを判定する（Ｓ
７）。そして、１５を越えていた場合には、コンロール
用論理回路５２が（ラン、データ）組出力部４２を制御
して、ここからＺＲＬ（ゼロランレングス）符号を出力
させると共に、ＡＬＵ３８がカウンタ３６から１６を差
し引く（Ｓ８）。なお、ＺＲＬは、データ０が１６個継
続していることを示すデータである。そして、この動作
をカウンタ３６の値が１５以下になるまで繰り返す。こ
れによって、カウンタ３６は０〜１５のいずれかの値を
持つことになる。

【００３２】Ｓ７において、カウンタ３６の値が１５以
下であれば、コントロール用論理回路５２がフラグ記憶
部５０の記憶値からフラグｆが０か否かを判定する（Ｓ
９）。フラグｆが１であれば、前回の符号は付帯情報と
して有効であるから、ここで符号化する符号には、付帯
情報を埋め込むことはできない。そこで、フラグｆを０
にリセットし（Ｓ１０）、（ラン、データ）組出力部４
２からカウンタ３６の値と、テストレジスタ３４の値か
らなる（ラン、データ）を出力する。一方、フラグｆが
０であれば、今回の符号には付帯情報を埋め込むことが
できる。このため、カウンタ３６が０か否かを判定する
（Ｓ１１）。

【００３３】カウンタ３６が０であれば、付帯情報は埋
め込まない規則になっているため、この場合には、その
ままの符号化処理を行う。一方、カウンタ３６の値が１
以上であれば、付帯情報が埋め込める。このため、整合
性テスト用論理回路４８が付帯情報ビットレジスタ４６
の記憶内容から付帯情報の１ビットを参照する（Ｓ１
２）。

【００３４】そして、整合性テスト用論理回路４８は、
カウンタ３６の値（ランの数）が偶数であり、かつ参照
した付帯情報の１ビットが偶数であるか否かを判定する
（Ｓ１３）。また、Ｓ１１で条件が成立しない場合に
は、ランが奇数であり、かつ参照した付帯情報の１ビッ
トが奇数であるか否かを判定する（Ｓ１４）。Ｓ１３お
よびＳ１４においてＮＯであれば、ランの偶奇と付帯情
報の０、１が一致しており、付帯情報を埋め込んだため
のデータの変更は必要ない。このため、フラグｆを１に
セットし（Ｓ１５）、次データに対する付帯情報の埋め
込みを禁止した後、そのときのカウンタの値およびデー
タに応じた符号化、すなわちマルチプレクサ４０からカ
ウンタ３６の値をそのまま（ラン、データ）組出力部４
２に供給し、（カウンタの値、データ）の組を出力する
（Ｓ１６）。

【００３５】一方、Ｓ１３またはＳ１４において条件が
成立している場合には、付帯情報を埋め込むためにデー
タの変更が必要である。そこで、１つ前のデータを１
（最小のデータ）に変更し、ランの値を付帯情報に合致
させると共に、今回のデータはカウンタの値０との組で
符号化する。すなわち、ＡＬＵ３８においてカウンタ３
６の値から１を減算し、これをマルチプレクサ４０を介
し、（ラン、データ）組出力部４２に供給し、（ラン、
データ）組出力部４２は、 （カウンタの値−１，１）および（０，データ） というデータを出力する（Ｓ１７）。このような処理
は、符号化するデータの直前に、１のデータが追加され
る処理に同等である。

【００３６】なお、上述のＳ１０の後、またはＳ１１に
おいてＹＥＳであった場合に行う符号化処理は、Ｓ１６
の処理と同じであるため、これらの場合にもＳ１６の処
理に移る。

【００３７】このようにして、符号化および付帯情報の
埋め込みが終了した場合には、カウンタ３６の値を０に
リセットし（Ｓ１８）、ジグザグスキャンが終了したか
否かを判定する（Ｓ１９）。そして、終了していなかっ
た場合には、Ｓ２に戻り、上述の処理を繰り返し、終了
していた場合には処理を終了する。

【００３８】以上のようにして、ゼロパック回路１８に
おいて、ゼロのラン長の偶奇に付帯情報を重畳すること
ができる。

【００３９】一方、画像復号化器においては、符号化器
と逆の手順により、次の様に画像を復元し同時に付帯情
報を取り出すことができる。すなわち、２次元ハフマン
復号化を行うと、零のランとそれを止めている零でない
係数とが組になって得られる。そして、この零のランの
数が偶数であれば、付帯情報のビット系列として０を割
り当て、奇数であれば１を割り当てる。このようにして
付帯情報が抽出される。ランの数が付帯情報を担ってい
るか否かは、上述の符号化時の規約により分かるため、
有効な付帯情報の復元が行える。

【００４０】一方、量子化後の係数ブロックが再生さ
れ、これに逆量子化と、ＩＤＣＴを施すことにより画像
データのブロックが再生される。

【００４１】このように、本実施例によれば、出力され
る符号は、それ自体はＪＰＥＧ方式にそったものであ
る。このため、通常の復号化器において通常の符号とし
て取扱い復号化を行うことができる。一方、本実施例の
復号化器であれば、付帯情報を取り出すことができる。
そこで、この付帯情報を利用して、種々のデータを伝送
することができ、画像伝送において様々な機能を実現す
ることができる。

【００４２】また、付帯情報の埋め込みは、必要がある
場合に本来０である係数が１に変更することにより行わ
れる。この変更は、振幅の小さな周波数における階調変
化である。一般に視覚特性における振幅の大きな階調変
化があると、それとは異なった周波数の振幅の小さな階
調変化は分かりにくくなるため、本実施例により生じる
歪みは視覚的には影響が小さい。なお、従来例において
述べた、量子化誤差を制御して付帯情報を埋め込む方法
では、一律に付帯情報を埋め込むため、視覚的に大きな
影響を持つ振幅の大きなデータに対しても変更がなさ
れ、視覚的歪みが大きくなる。

【００４３】また、量子化ステップサイズを特別に小さ
くする必要がないため、付帯情報を埋め込む際に増加す
る符号量も最小限の増加に止めることができる。

【００４４】

【発明の効果】以上説明したように、本発明に係る画像
符号化装置によれば、画像符号化の国際標準であるＪＰ
ＥＧ方式にそった符号を扱いながら、画像の符号中に付
帯情報を埋め込むことができる。このため、この付帯情
報を利用して、種々のデータを伝送できるため、画像伝
送において様々な機能を実現することができる。また、
ゼロパック回路において、ゼロのラン長を変更するため
のデータを追加するだけなので、付帯情報を画像符号中
に埋め込むことによるノイズは振幅の小さなものにだけ
影響し視覚的影響が少ない。さらに、量子化ステップサ
イズを特別に小さくする必要がないため、符号化量の増
加も最小限にできる。

【図面の簡単な説明】

【図１】実施例の構成を示すブロック図である。

【図２】ジグザグスキャンと零のランとの関係を示す説
明図である。

【図３】ゼロパック回路１８の構成を示すブロック図で
ある。

【図４】ゼロパックの動作を説明するフローチャートで
ある。

【図５】ゼロパックの動作を説明するフローチャートで
ある。

【符号の説明】

１０ 離散コサイン変換回路 １２ 量子化回路 １８ ゼロパック回路 ２０ 付帯情報入力部 ２２ ２次元ハフマン符号化回路 ２４ 多重化回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像情報と画像に付帯する付帯情報を組
   み合わせて符号化する画像符号化装置において、 入力されてくる画像データをブロックごとに離散コサイ
   ン変換し、係数データを得る離散コサイン変換回路と、 得られた係数ブロックを量子化する量子化回路と、 量子化された係数ブロックをジグザグスキャンにより零
   の継続する数であるランとそのランを止めている零でな
   い係数とを組にして符号化するゼロパック回路と、 前記ランと係数の組をエントロピー符号化するエントロ
   ピー符号化回路と、 を含み、 前記ゼロパック回路は、前記付帯情報のビット列に応じ
   て零のランの偶奇を決定し、零の代わりに零でない係数
   を随時挿入することを特徴とする画像符号化装置。