JP4179177B2

JP4179177B2 - 画像処理装置および画像処理方法

Info

Publication number: JP4179177B2
Application number: JP2004025583A
Authority: JP
Inventors: 富士夫井原
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-02-02
Filing date: 2004-02-02
Publication date: 2008-11-12
Anticipated expiration: 2024-02-02
Also published as: JP2005218033A

Description

本発明は、多階調で表現された画像内に情報を埋め込む装置とその方法、及び、画像内に埋め込まれた情報を検出する装置とその方法に関するものである。

近年、付加的な情報を、視覚的には容易に識別できない態様で画像データ（処理対象の画像データ）に合成するといった、いわゆる電子すかし技術が研究され、実用化されている。こうした電子すかしを合成した画像データは、後に読み取って復号され、文書の認証など、所定の処理に供されている。

しかしながら、紙媒体に形成した画像データには、プリントおよびスキャンによるＤ／Ａ，Ａ／Ｄ変換、色変換、スクリーンによる２値化処理、プリンタおよびスキャナの解像度の違いによって生じる解像度変換、スキャン時のスキュー（傾き）に加えてノイズや、プリンタおよびスキャナの機械的動作に伴う画素位置のずれ（面内むら）、入力機器としてデジタルカメラを用いる場合の収差など、種々の画質劣化要因があり、合成された情報を安定して読み取ることができない。

そこで、情報を「０」又は「１」の二進数で符号化する場合に、「０」，「１」の各符号について、図１０に示すような２種類のパターン画像の各々を対応づけておき、符号化して得た符号列について、それに含まれる各符号に対応するパターン画像を順次選択して所定順序に配列し、付加画像を得て、これを合成すると、上記紙媒体などにおける画質劣化に対する耐性を獲得できる。

すなわち、図１０に示したパターン画像は、図１１に示すように、符号「１」を意味する基本パターン（Ａ）と、符号「０」を意味する基本パターン（Ｂ）とを定義しておき、これらの各要素の値（画素値）に図１１（Ｃ）に示す（１）式または（２）式のような式（これらの式においてＣは埋め込み強度、αは減衰率であり、利用者等によって予め指定されているとする）によって定義される値を乗じて得たものである。なお、（１）、（２）式でＸ，Ｙは、パターン画像の中心を（Ｘ，Ｙ）＝（０，０）としたときの各画素の座標（Ｘ，Ｙ）の値である。

この乗算の結果、図１１（Ａ），（Ｂ）のそれぞれに基づいて、図１０に示した各パターン画像が生成される。なお、図１０では、図示の都合上、濃度の違いをハッチングの違いによって示している。これらのパターン画像は、
（１）双方のパターン画像の対応する画素同士を加算した結果は、いずれも同じ所定値（例えば「０」）になる、
（２）各々のパターン画像中の全画素を加算した結果は、いずれも同じ所定値（例えば「０」）になる、
（３）各々のパターン画像は、画像の中心部を通り、その方向が異なる、画素値の２つの不連続線（エッジと呼ぶ）を有する。図１０の例では、縦横に直交してエッジが形成されている、
（４）各々のパターン画像の持つ画素値の絶対値は中心でもっとも大きく、中心から離れるほど小さくなる、
という特徴を有している。このように面積を持ったパターンによって符号を表現することで各画質劣化要因に対する耐性を獲得する一方、合成後に画像の濃度が大きく変化することが防止され（（１），（２）の特徴による）、パターン画像の検出が容易で復号処理が簡便となり（（２），（３）の特徴による）、かつパターン間でのエッジの発生が防止されて（（４）の特徴による）、その存在が視覚的に目立たないようになる。

このパターン画像を合成した画像を、復号する際は、パターン画像内のエッジによって仕切られた各象限に相当する合成後の画素値の和（第１から第４象限についてＲ１からＲ４）を算出し、例えば、Ｒ１＞Ｒ２かつＲ１＞Ｒ４かつＲ３＞Ｒ２かつＲ３＞Ｒ４の場合に符号「１」であると判定する。すなわち、各象限ごとの画素値群の和の比較によって復号を行うことができる。

ところが、このようなパターン画像を用いたときには、合成の対象となる画像データの内容によっては、合成の結果の画像から、各パターン画像の読み取りが困難になる場合がある。すなわち、合成先の画像データに高周波成分を含む部分があり、例えば画素値が図１２に示すように、合成されるパターン画像のエッジ部分を境界として、第１象限（右上側のブロック）から第４象限（右下側のブロック）へ（角度方向に）順に、平均的にその輝度が「低」、「高」、「高」、「高」となっている場合、ここに符号「１」に対応するパターン画像を合成した結果は、Ｒ１からＲ４の値がいずれも「高」となって、Ｒ１からＲ４の値の間に有意な差ができず、「１」であるとの判定が事実上困難になる。

従って、上記のような埋め込み手法および復号手法を用いた場合は、画像の平坦部に埋め込んだ信号は検出が容易で、そうでない部分、つまりエッジ部分や複雑な絵柄部分などでは埋め込んだ信号の検出が難しくなる。

このような場合に、埋め込み対象画像の特徴を考慮しない符号化方式を用いると、安定した復号ができなかったり、あるいは逆に本来非常に多くの付加情報が埋め込み可能である画像にもかかわらず、控えめな情報量しか埋め込めなかったりする。

このような問題を部分的に解決する例として、例えば下記特許文献１に記載されている技術では、埋め込まれる情報側の性質に応じて誤り訂正符号の能力を決定することで、最大限の情報を埋め込み可能にする技術を開示している。

また、下記特許文献２に記載されている技術では、印刷に用いる紙の種類（たとえば、普通紙、光沢紙など）の違いにより用いる誤り訂正符号を変更することにより使用する紙に対して最大限の埋め込み情報量を得るという技術を開示している。
特開２００２−３７４４０２号公報特開２００２−２１８２０７号公報

しかし、上記従来の技術においては、合成を受ける側の画像データ（処理対象となった画像データ）の性質や画像データのサイズ、付加情報量、許容読み取りエラー率についての配慮がないため、画像劣化の抑制及び正確な復号の点で十分な効果を得られていないという問題があった。なお、許容読み取りエラー率とは画像内に埋め込んだ付加情報の復号に失敗する確率のことである。ハンディスキャナーなどで小さな画像を入力する場合には許容読み取りエラー率が多少大きめでも再入力が簡単なので問題がないことが多い。一方、フラットベッド型のスキャナなどで大きな画像を入力する場合には、再入力に時間がかかるため、許容される読み取りエラー率は低めに設定されることが多い。

本発明は、上述した事情に鑑みてなされたものであり、紙上に画像を印刷した場合でも、画質劣化を最小限に抑えた上で最大限の付加情報を画像内に多重化でき、かつ安定な付加情報の復元が可能となる画像処理装置および画像処理方法を提供することを、その目的の一つとする。

上記目的を達成するために、本発明は、処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理装置であって、前記画像データを入力する画像入力手段と、前記付加情報を入力する付加情報入力手段と、所望の許容エラー率を入力する許容エラー率入力手段と、前記入力された画像データから所定特徴量を演算する特徴量演算手段と、前記入力画像の画像サイズから埋め込み可能な情報量を求め、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報に適用する符号化方法を決定する符号化方法決定手段と、を備え、前記符号化方法決定手段により決定された符号化方法を用いて符号化された前記付加情報を前記入力画像に多重化することを特徴とする。

ここで、前記符号化した付加情報には、前記符号化方法決定手段が決定した符号化方法を特定する情報が含まれてもよい。

また、本発明は、処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理装置であって、前記画像データを入力する画像入力手段と、前記付加情報を入力する付加情報入力手段と、所望の許容エラー率を入力する許容エラー率入力手段と、前記入力された画像データから所定特徴量を演算する特徴量演算手段と、前記入力画像の画像サイズから埋め込み可能な付加情報量を求め、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報に適用する符号化方法を決定する符号化方法決定手段と、を備え、前記符号化方法決定手段により決定された符号化方法を用いて符号化された前記付加情報を前記入力画像に多重化することを特徴とする。

また、上記画像処理装置において、前記所定特徴量は、画像データの画素値の分散に基づく量または画像データを等分割して求めた所定の画素値の差分に基づく量であることを特徴とする。

また、前記付加画像データは、前記付加情報を符号化して得た符号列に含まれる各符号について、それぞれ対応するパターン画像を選択して、所定の順序に配列して得た画像データであってよい。ここで、前記複数種類のパターン画像の各々は、当該パターン画像内の画素値の総和が、略所定の値になるよう設定され、かつ互いに異なる符号に対応付けられた種類のパターン画像同士について、対応する画素値を加算したときに、略前記所定の値になるよう設定された画像であって、各パターン画像は、その略中央を通る複数の仮想的な境界線の両側に相当する画素値が互いに、不連続となるよう設定されていることを特徴とする。

また、本発明は、処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理方法であって、前記処理対象となった画像データのサイズを得る工程と、前記画像データの所定特徴量を演算する工程と、所望の許容エラー率を入力する工程と、前記付加情報を入力する工程と、前記入力画像の画像サイズから埋め込み可能な付加情報量を求める工程と、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報の符号化方法を決定し、当該決定した符号化方法で前記付加情報を符号化する工程と、を含み、前記符号化した付加情報に基づいて付加画像データを生成し、前記画像データに合成することを特徴とする。

また、本発明は、コンピュータを用いて、処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理プログラムであって、前記コンピュータに、前記処理対象となった画像データのサイズを得る手順と、前記画像データの所定特徴量を演算する手順と、所望の許容エラー率を入力する手順と、前記付加情報を入力する手順と、前記入力画像の画像サイズから埋め込み可能な付加情報量を求める手順と、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報の符号化方法を決定し、当該決定した符号化方法で前記付加情報を符号化する手順と、前記符号化した付加情報に基づいて、前記画像データに合成される付加画像データを生成する手順と、を実行させることを特徴とする。

以下、本発明を実施するための最良の形態（以下、実施形態という）を、図面に従って説明する。

本実施形態に係る画像処理装置は、図１に示すように、制御部１１と記憶部１２と操作部１３と表示部１４と入出力部１５とを含んで構成されている。制御部１１は、記憶部１２に格納された画像処理プログラムに従って動作しており、処理対象となった画像データに対して埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する処理を行う。この処理の具体的内容については、後に詳しく述べる。

記憶部１２は、制御部１１によって実行されるプログラムを保持する、コンピュータ可読な記録媒体を含む。また、この記憶部１２は、制御部１１による画像処理の過程で生じる種々のデータを格納するワークメモリとしても動作する。

操作部１３は、キーボードやマウス等であり、利用者の操作を受けて、その操作内容を制御部１１に出力する。表示部１４は、制御部１１から入力される指示に従って、利用者に対して情報を提示する。

入出力部１５は、外部から入力されるデータを制御部１１に出力する。また、この入出力部１５は、制御部１１から入力される指示に従ってデータをプリンタ等の外部の装置に出力する。

ここで、制御部１１の処理の具体的な内容について述べる。制御部１１は、処理対象となった画像データを記憶部１２に格納し、以下に説明するプログラムに従って、この画像データに付加画像データを合成する。

制御部１１によって実行されるプログラムは、機能的には図２に示すように、画像データ解析部２１と、符号化方法決定部２２と、付加情報符号化部２３と、付加画像生成部２４と、合成部２５とを含んで構成されている。

画像データ解析部２１は、埋め込みの対象（処理対象）となる画像を合成されるパターン画像と同じサイズのセルに分割し、画像内に配置できるセルの数（高さ方向および幅方向）を出力する。また、そのセル毎に画像を解析して算出した特徴量がある閾値を超えているか否かを判断し、閾値を越えたセルの数を画像内に配置できるセルの数（高さ方向×幅方向）で割った値を所定特徴量として出力する。なお、このパターン画像のサイズは、利用者から指定されてもよい。具体的に、パターン画像のサイズが（Ｗ，Ｈ）ピクセルと設定されている場合は、画像データのサイズ（Ｘ，Ｙ）に基づいて、ＩＮＴ（Ｘ／Ｗ）及びＩＮＴ（Ｙ／Ｈ）をセルの高さ方向の数および幅方向の数として出力する。なお、前記所定特徴量は付加情報の埋め込み難易度、あるいは復号の難しさを表す尺度であり、その算出については後に詳しく述べる。

符号化方法決定部２２は、画像データ解析部２１から入力される所定特徴量、セルの高さ方向の数および幅方向の数、設定された許容エラー率及び付加情報の情報量等に基づき、付加情報に適用する符号化方法を決定する。具体的には、この符号化方法決定部２２は、まず埋め込みの対象となる画像内に埋め込み可能な情報量であるキャパシティＣＡを

により求める。ここで所定ヘッダ量とは、復号時に必要となる情報を記憶しておくために必要なビット数である。

次に、符号化方法決定部２２は、上記画像データ解析部２１の出力である所定特徴量を埋め込み信号の検出誤り率（誤り確率）ρに相当するとして、予め作成してある図４の表より、ρ以上で最もρに近い検出誤り率に対応する複数の符号化方式を表の上から下に向かって以下の関係が成立しなくなるまで繰り返し、最後に上記関係を満たした符号化方式を選択する。

なお、ここでは符号化方式としてＢＣＨ符号（パラメータｎは符号長、パラメータｋは情報ビット数、パラメータｔは訂正可能なビット数）を例に上げたが符号化方式はリードソロモン符号などの他の方式でもかまわない。また、Ｐｃは誤り確率がρでその誤りがランダムに起こると仮定した場合の符号ＢＣＨ(n, k, t)の正復号確率で、次の式で求められる。

また、図４の表中の同じ検出誤り率ρに対応する複数の符号は正復号確率Ｐｃの高い順に上から記入されている。

なお、この時埋め込み可能な情報量は、

となるが、この値が与えられた付加情報よりも大きかった場合は、先程の図４の表において選択された符号よりも上の位置に存在する符号で

の関係を満たすもっとも上位に位置する符号が選択される。この符号は与えられた付加情報をすべて埋め込むことが可能な符号の中で、エラー確率が最低となる符号となる。

符号化方法決定部２２は、図４に示すような表を用いてこの符号に対応付けられた符号識別子Ｐを出力してもいいし、図４に示すような表を用いずにある範囲のｎとｋの組み合わせで上記計算式により、与えられた付加情報をすべて埋め込むことが可能な符号の中で、エラー確率が最低となる符号を算出し、そのパラメータｎとｋを出力してもよい。

なお、

の場合は、許容エラー率の範囲内で与えられた付加情報の全てを埋め込むことができないことをユーザに知らせるか、強制的に付加情報を打ち切り、埋め込み可能な情報量分を付加情報の先頭部分から埋め込むようにしてもよい。

付加情報符号化部２３は、符号化方法決定部２２により決定された符号化方法に基づいて付加情報を符号化する。また、この付加情報符号化部２３はどのような符号化方法を用いたかを表す識別情報、および埋め込んだ付加情報の符号化前の情報量などの属性情報をヘッダ部として生成する。この属性情報は、予め定められた符号化方法で符号化される。なお、生成される符号列の論理的なフォーマットの例は、図５に示すようなものとなる。すなわち、この論理的フォーマットでは、先頭部分から、付加情報のビット数Ｂと符号化方法を特定する情報（符号識別子Ｐ）とを予め定められた符号化方法で符号化した結果である符号列Ｃ０および付加情報の符号化結果である符号列Ｃ１が含まれている。なお、図４のような表を用いずに計算で最適なＢＣＨ符号を求めた場合には、符号識別子Ｐの代わりに、ＢＣＨ符号のパラメータｎとｋを用いればよい。ｎとｋがわかれば、広く知られた事実によりｔは一意に求められる。

付加画像生成部２４は、属性情報や付加情報を符号化して得られた符号列の入力を付加情報符号化部２３から受けて、これらに対応する付加画像データを生成する。具体的に、この付加画像生成部２４は、図３に示したように、各符号に対応する複数のパターン画像を作成するパターン画像作成部３１と、当該符号列を構成する各符号に対応するパターン画像を選択しつつ出力するパターン選択部３２と、選択されたパターン画像を配列するパターン配列部３３とを含んでいる。

パターン画像作成部３１は、各符号に対応する、複数のパターン画像のデータを作成して出力する。このパターン画像作成部３１が出力するパターン画像は、図１０に示したように、符号「０」と「１」とのそれぞれに対応するパターン画像でよい。

パターン選択部３２は、付加情報の符号化結果である符号列を参照しながら、パターン画像作成部３１が出力する複数のパターン画像のうち、符号列に含まれる各符号に対応するパターン画像を順次（符号列の順に）選択して出力する。

パターン配列部３３は、パターン選択部３２が出力したパターン画像を、ＩＮＴ（Ｘ／Ｗ）×ＩＮＴ（Ｙ／Ｈ）個のマトリクス状にパターン画像を配列する。ここで配列の順序は、ラスタスキャンと同じ順（左から右へ走査して得たラインを、上から下へ走査する順）である。

合成部２５は、付加画像生成部２４が生成した付加画像を、処理対象となった画像データ上の対応するマクロブロック領域に相当する範囲に合成する。すなわち、合成部２５は、記憶部１２に格納されている処理対象の画像データの対応する画素値に、付加画像の画素値を加算して出力する。ここで加算値が画素値の最大値（例えば２５５）を超えたときには、その値を最大値に設定し、加算値が画素値の最小値（例えば０）を下回ったときには、その値を最小値に設定する。

次に、こうして付加画像を合成した後の画像データは制御部１１の処理により、入出力部１５を介してプリンタに出力され、プリンタが、当該画像データの入力を受けて、画像データによって表される画像を、用紙等の媒体上に形成することとなる。

［復号の処理］
次に、こうして媒体上に形成された画像から付加情報を復号する方法について説明する。なお、付加情報を復号する装置も、図１に示した画像処理装置を用いて実現できる。すなわち、図示しないスキャナで、媒体上に形成された画像を読み取って画像データを得、この画像データを制御部１１において処理して復号を行えばよい。以下、図１に示した画像処理装置を用いて復号の処理を行う場合を例として説明する。

この復号の処理を行うための制御部１１のプログラムは、機能的に図６に示すように、画像データ保持部４１と、傾き補正部４２と、セルサイズ推定部４３と、セル位置検出部４４と、付加情報識別部４５と、付加情報復号部４６とを含む。

図示しないスキャナにて読み取られた画像データは、画像データ保持部４１によって記憶部１２内に保持される。なお、ここでスキャナ等から入力される画像データに圧縮が行われているときには、当該圧縮された画像データを、元の画像データ（ビットマップのデータ）に伸長ないし復元する。傾き補正部４２は、広く知られた方法によって、画像データ保持部４１が保持している画像データの傾きを補正する。

セルサイズ推定部４３は、傾き補正後の画像データから付加画像の単位であるセルのサイズを推定する。具体的に、付加画像が図１０に示したようなエッジを含むものである場合、このエッジを検出することにより、エッジ間隔に基づいてセルサイズを推定する。すなわち、画素値が急激に変化する高周波成分のみを抽出したエッジ抽出画像を生成し、このエッジ抽出画像に関する自己相関関数のピーク位置からセルサイズを推定する。この処理により、印刷から読み取りまでの過程で画像データのサイズが変化し、セルのサイズが変化しても、復号処理を遂行できるようになっている。

セル位置検出部４４は、推定されたセルサイズに基づき、画像データから付加画像を表す各パターンの位置（すなわちセルの位置）を検出する。このセル位置の検出は、例えば、図１０、図１１に示した各符号を表すパターン画像のうち、いずれか一方のパターン画像における極性情報（図１１（Ａ）又は（Ｂ）を参照）に対応して、例えば「−１」を黒、「１」を白とした２値パターンを生成し、これをマスクとしてセルサイズに従ってマトリクス状に配列したマスク画像データを生成する。そしてマスク画像データと、画像データ保持部４１で保持している画像データとの間で相関演算を行い、当該相関演算の結果が極大又は極小となる点を抽出し、それらを画像データの水平、垂直方向に投影する。すると、図１０に示したようにパターン画像中央部に２つのエッジの交点がある場合、略中央部に相関演算結果の極大、極小が現れるので、当該極大極小位置の投影位置を中心として、推定して得たセルサイズの±１／２だけ水平又は垂直方向に移動した位置がセル間の境界位置として画定できることとなる。

なお、ここでいずれか一方のパターン画像に対応するマスク画像を生成しているだけなのは、図１１のパターン画像は、その極性が互いに逆となっているからである。

付加情報識別部４５は、後述する付加情報復号部４６によって制御され、セルサイズ推定部４３とセル位置検出部４４とによって、その位置及び大きさが推定されたセルに埋め込まれている付加画像を識別する。具体的に、この付加画像の識別は次のように、パターンに含まれるエッジに沿った線で分割された、４つの領域の画素値の総和の大小関係に基づいて行う。

図１０のパターン画像は、その中心部を通過し、水平・垂直の各方向に直交するエッジによって４つの領域に分割されているので、これに対応して付加情報識別部４５は、セルサイズ推定部４３及びセル位置検出部４４によって画定された各セルに含まれるセル画像のそれぞれを、図７（Ａ）に示すような領域Ｒ１からＲ４に分割し、各領域Ｒ１からＲ４内のそれぞれの画素値の合計（ＳＰ１からＳＰ４）を算出する。なお、セルの幅や高さが奇数である場合は、図７（Ｂ）に示すように、セルの中心を通り、高さ方向（幅が奇数の場合）並びに幅方向（高さが奇数の場合）に延びる画素を除いて、上述の領域Ｒ１からＲ４に分割すればよい。

そして、このＳＰ１からＳＰ４の大小関係からそのセルに合成されているパターン画像が表す符号が「１」であるか「０」であるか（又は判別不能となっているか）を判定する。具体的には、
（１）((SP1>SP2) && (SP1>SP4) && (SP3>SP2) && (SP3>SP4))であれば、符号は「１」である。なお、「&&」は、AND条件、すなわち前後の条件を「且つ」で結んだ条件を意味する。
（２）（１）でなく、((SP2>SP1) && (SP3>SP2) && (SP4>SP1) &&(SP4>SP3))であれば、符号は「０」である。
といったように、複数の条件を適合することによってセル内に合成されているパターン画像が表す符号の判定が行われる。

図８は、付加情報識別部４５におけるパターン画像の識別処理の一例を表す説明図である。この図８では、比較的値の小さい側にハッチングを施している。パターン画像の合成前のセル内の画素がどこも略同じ値（いわば画像が平坦）など、一定の値の範囲にあるのであれば、符号「１」を表すパターン画像を合成した場合には、Ｒ１とＲ３との部分での画素値が大きくなり、Ｒ２とＲ４との部分での画素値が小さくなるので、印刷やスキャンを経た後でも((SP1>SP2) && (SP1>SP4) &&(SP3>SP2) && (SP3>SP4))の条件が成立している蓋然性が高く、上記の条件による判断が可能となっているのである。

なお、処理対象画像データに高周波成分が含まれ、これがいずれかのセル内にある場合、このセルでは、付加画像の合成後の画素値が、上記条件を満足しているとは限らないことになる。そこで、例えば図９に示すように、セル上部の画素値が比較的小さい値であり、セル下部の画素値が比較的大きい値であったような場合に対応して、上記条件（１）でも（２）でもなく、((SP1>SP4) && (SP3>SP2) && (SP3>SP4))が成り立っている場合、そのセル内のパターン画像は符号「１」を表すものであると判定してもよい。同様に、セル上部の画素値が比較的大きい値であり、セル下部の画素値が比較的小さい値であったような場合や、セルの左右で画素値の高低が変化する場合等に対応して、それぞれ条件を定めてもよい。

付加情報識別部４５は、こうして各セルを順次ラスタスキャンの順に識別し、対応する符号を順次出力していく。

付加情報復号部４６は、付加情報識別部４５が順次出力する符号の列に基づいて付加情報を復号して出力する。具体的に、この付加情報復号部４６は、まず付加情報識別部４５が出力する符号列から、属性情報を符号化した部分について、予め定められた符号化方法に対応する復号方法で復号を行い、そこに含まれる付加情報のビット数Ｂと符号化方法を特定する情報（符号識別子Ｐ）とを取得する。

その後、この付加情報復号部４６は、符号識別子Ｐから、当該符号識別子によって特定される符号化方法に対応する復号方法で、残りの領域に含まれるセルから識別された符号列を復号することになる。

［所定特徴量の演算］
次に、符号化の際の制御部１１の処理における画像データ解析部２１の所定特徴量の演算の例について説明する。この所定特徴量は、上記復号の方法に関連づけて定義されるものである。例えば、復号において、上述のように、セル内のＲ１からＲ４の各領域に含まれる画素値の総和を利用して各パターン画像が表す符号を識別している場合、上述のように、処理対象画像データのセルに相当する部分に予めエッジがある場合に識別が困難になり、識別不能な状態が発生し得る。

従ってこの場合、埋め込み対象となる画像内にどれだけエッジ（高周波成分）が含まれているか、画像サイズはいくつか、付加情報量はいくつか、許容されるエラー率はどの程度か、などによって復号時の誤り訂正能力を調整することが好ましい。つまり、上述のような復号を行う場合には、画像内の平坦度、すなわちエッジの少なさを所定特徴量として演算する。具体的には、画像をセルサイズに分割し、各セル内での画素値の分散（これが大きいほど、平坦でない）を求め、全セルに対して分散値が所定の値を超えるセルの割合を所定特徴量とする。また、分散は大きくとも、セルを上述の領域Ｒ１からＲ４に分割したとき、画素値の差分｜SP1+SP3-(SP2+SP4)｜（｜・｜は絶対値を表す）が所定しきい値より小さい場合には識別は容易である。そこで、全セルに対して、｜SP1+SP3-(SP2+SP4)｜の値が所定の値を超えるセルの割合を所定特徴量としてもよい。即ち、この値は識別が容易でないセルの割合を示している。

なお、ここまでで説明したパターン画像とは異なるパターン画像を用いたり、復号方法が異なる場合は、所定特徴量をそれに合わせて設定することも好ましい。

［動作］
本実施の形態の画像処理装置は、上述のように構成されており、従って、合成を受ける側の画像データについて、その画像データの性質、付加情報量、許容されるエラー率に基づいて符号化方法（誤り訂正・検出能力）を調整して、符号化を行い、その符号化されたデータに基づく画像（付加画像データ）を、画像に合成する動作を行う。これにより、合成した画像の復号を容易にすることができるようになる。

［その他の変形例］
なお、図４に示したテーブルは、一つでなくてもよい。例えば複数のテーブルから、印刷される用紙の種類、プリンタの種類（レーザービーム、インクジェット等）の違いなどに基づいて符号化方法の決定に用いるテーブルを選択してもよい。これにより、他の条件を加味でき、より適切な付加画像データを生成できるようになる。

また、図４のテーブルを用いる際に、画像から得られた所定特徴量に、画像以外からの誤り発生要因を考慮した補正係数を乗じて、その値によりテーブルを参照してもよい。

さらに、付加画像の生成に用いるパターン画像も図１０に示したものだけに限られず、例えば少なくとも２方向にエッジを有するパターンであれば、いかなるものであってもよい。

さらに、画像を複数の領域に分割し、分割された領域毎に所定特徴量を算出し、分割された領域毎に符号を決定し、決定された複数の符号化情報をヘッダ部分に埋め込むようにしてもよい。

本発明の実施の画像処理装置の一例を表す構成ブロック図である。本発明の実施の画像処理装置における符号化処理の一例を表す機能ブロック図である。符号化方法の設定例を表す説明図である。符号化の処理におけるデータ処理例を表す説明図である。生成されるデータの構造例を表す説明図である。本発明の実施の画像処理装置における復号処理の例を表す機能ブロック図である。セルの分割例を表す説明図である。画素の高低の例を表す説明図である。画素の高低の例を表す説明図である。付加画像データの生成に用いるパターンの例を表す説明図である。パターンの生成例を表す説明図である。セル内での画素の高低の例を表す説明図である。

符号の説明

１１制御部、１２記憶部、１３操作部、１４表示部、１５入出力部、２１画像データ解析部、２２符号化方法決定部、２３付加情報符号化部、２４付加画像生成部、２５合成部、３１パターン画像作成部、３２パターン選択部、３３パターン配列部、４１画像データ保持部、４２傾き補正部、４３セルサイズ推定部、４４セル位置検出部、４５付加情報識別部、４６付加情報復号部。

Claims

処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理装置であって、
前記画像データを入力する画像入力手段と、
前記付加情報を入力する付加情報入力手段と、
所望の許容エラー率を入力する許容エラー率入力手段と、
前記入力された画像データから所定特徴量を演算する特徴量演算手段と、
前記入力画像の画像サイズから埋め込み可能な情報量を求め、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報に適用する符号化方法を決定する符号化方法決定手段と、
を備え、
前記符号化方法決定手段により決定された符号化方法を用いて符号化された前記付加情報を前記入力画像に多重化することを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、前記符号化した付加情報には、前記符号化方法決定手段が決定した符号化方法を特定する情報が含まれることを特徴とする画像処理装置。
処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理装置であって、
前記画像データを入力する画像入力手段と、
前記付加情報を入力する付加情報入力手段と、
所望の許容エラー率を入力する許容エラー率入力手段と、
前記入力された画像データから所定特徴量を演算する特徴量演算手段と、
前記入力画像の画像サイズから埋め込み可能な付加情報量を求め、前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報に適用する符号化方法を決定する符号化方法決定手段と、
を備え、
前記符号化方法決定手段により決定された符号化方法を用いて符号化された前記付加情報を前記入力画像に多重化することを特徴とする画像処理装置。
請求項３に記載の画像処理装置であって、前記符号化した付加情報には、前記符号化方法決定手段が決定した符号化方法を特定する情報が含まれることを特徴とする画像処理装置。
請求項１から請求項４のいずれか一項に記載の画像処理装置において、前記所定特徴量は、画像データの画素値の分散に基づく量または画像データを等分割して求めた所定の画素値の差分に基づく量であることを特徴とする画像処理装置。
請求項１から請求項５のいずれか一項に記載の画像処理装置において、前記付加画像データは、前記付加情報を符号化して得た符号列に含まれる各符号について、それぞれ対応するパターン画像を選択して、所定の順序に配列して得た画像データであることを特徴とする画像処理装置。
請求項６に記載の画像処理装置において、前記複数種類のパターン画像の各々は、当該パターン画像内の画素値の総和が、略所定の値になるよう設定され、かつ互いに異なる符号に対応付けられた種類のパターン画像同士について、対応する画素値を加算したときに、略前記所定の値になるよう設定された画像であって、各パターン画像は、その略中央を通る複数の仮想的な境界線の両側に相当する画素値が互いに、不連続となるよう設定されていることを特徴とする画像処理装置。
処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理方法であって、
前記処理対象となった画像データのサイズを得る工程と、
前記画像データの所定特徴量を演算する工程と、
所望の許容エラー率を入力する工程と、
前記付加情報を入力する工程と、
前記入力画像の画像サイズから埋め込み可能な付加情報量を求める工程と、
前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報の符号化方法を決定し、当該決定した符号化方法で前記付加情報を符号化する工程と、
を含み、
前記符号化した付加情報に基づいて付加画像データを生成し、前記画像データに合成することを特徴とする画像処理方法。
コンピュータを用いて、処理対象となった画像データに対して、埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する画像処理プログラムであって、前記コンピュータに、
前記処理対象となった画像データのサイズを得る手順と、
前記画像データの所定特徴量を演算する手順と、
所望の許容エラー率を入力する手順と、
前記付加情報を入力する手順と、
前記入力画像の画像サイズから埋め込み可能な付加情報量を求める手順と、
前記所定特徴量を埋め込みの対象となった付加情報の検出誤り率に相当するとして、予め定めた、前記埋め込み可能な付加情報量、入力された付加情報量、前記検出誤り率及び前記所望の許容エラー率と前記付加情報に適用する符号化方法との関係から前記付加情報の符号化方法を決定し、当該決定した符号化方法で前記付加情報を符号化する手順と、
前記符号化した付加情報に基づいて、前記画像データに合成される付加画像データを生成する手順と、
を実行させることを特徴とする画像処理プログラム。