JP4635814B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像内に付加情報を多重化するための画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

画像データに付加情報を多重化する所謂電子透かし技術は、電子媒体や非電子媒体を対象として広く利用されている。

近年、プリンタやスキャナ、デジタルカメラなどの高性能化に伴い、紙などの非電子媒体を対象とする電子透かし技術のニーズが高まっている。

非電子媒体を対象とする電子透かし技術においては、紙などの非電子媒体に多重化した画像をプリントし、それをスキャナ等により読み取って画像データとして取得し、付加情報を読み取ることになる。

従来、非電子媒体を用いた電子透かし技術においては、画像を複数領域に区分し、各区分領域毎に種類の異なる埋め込み技術を用いてセキュリティを向上させる技術が提案されている（例えば、特許文献１参照。）。

また、ドキュメントデータや画像など、埋め込みデータの特徴に応じて埋め込み技術を異ならせる技術も提案されている（例えば、特許文献２参照。）。
特開２００３−２９８８３０公報 特開２００４−７４６３公報

しかしながら、上記従来の技術によれば、用いられている埋め込み技術さえ分かれば、容易に復号できるので、秘匿性に欠ける、という問題点があった。

また、複数の埋め込み技術を用いるために、余分なコストがかかったり、紙面に余分なスペースが必要になったりする場合がある。

本発明は上記問題点を解決するためになされたものであり、複数の埋め込み技術を用いることなく、秘匿性の向上を図ることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することが目的である。

上記課題を解決するために、請求項１記載の発明は、画像を示す画像データに基づいて、当該画像に付加された付加情報を復号する画像処理装置であって、前記画像データに基づいて前記付加情報を示す付加画像データを検出する検出手段と、前記画像データに基づいて前記画像の特徴を解析する解析手段と、前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号する付加情報復号手段と、を備えている。

請求項１記載の発明によれば、画像に付加された付加情報を、画像の特徴に応じて復号するようにしているので、秘匿性の向上を図ることができる。

なお、解析手段において解析する画像の特徴は、付加情報を復号する正当な権利を有していれば、当該付加情報の埋め込み時に変換方法の決定に用いられた画像の特徴を適宜設定可能であり、正確に復号することができる。

本発明は、請求項２記載の発明のように、前記復号方法として、前記解析結果に応じて、付加情報の暗号化処理、埋め込みフォーマット、スクランブル方式及び誤り訂正符号の何れか又は複数の組み合わせを予め設定することができる。

また、本発明は、請求項３記載の発明のように、前記解析手段は、前記画像の特徴として、周波数、重心位置及び画像を構成する色に基づいて、コンテンツ特徴、周波数的特徴、重心特徴及び階調値特徴の何れか又は複数を解析するようにしてもよい。

一方、上記課題を解決するために、請求項４の発明は、画像を示す画像データに基づいて、当該画像に付加された付加情報を復号する画像処理方法であって、前記画像データに基づいて前記付加情報を示す付加画像データを検出手段によって検出し、前記画像データに基づいて前記画像の特徴を解析手段によって解析し、前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号することを特徴としている。

請求項４記載の発明によれば、請求項１記載の発明と同様に作用するので、請求項１に記載の発明と同様に、秘匿性の向上を図ることができる。

一方、上記課題を解決するために、請求項５の発明は、画像を示す画像データに基づいて、当該画像に付加された付加情報を復号するための画像処理をコンピュータに実行させるための画像処理プログラムであって、前記画像データに基づいて前記付加情報を示す付加画像データを検出手段によって検出する工程と、前記画像データに基づいて前記画像の特徴を解析手段によって解析する工程と、前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号する工程と、を実行させる。

請求項５記載の発明は、コンピュータに対して請求項１に記載の発明と同様に作用させるものであるので、請求項１に記載の発明と同様に、秘匿性の向上を図ることができる。

以上説明した如く本発明は、画像に付加された付加情報を、画像の特徴に応じて復号するようにしたので、秘匿性の向上を図ることができる、という優れた効果を有する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。まず、図１は、本実施の形態に係る情報処理システム１０の構成を示す概略図であり、以下、情報処理システム１０の概略構成について説明する。

同図に示されるように、情報処理システム１０は、画像処理装置１２及びプリンタ１４を含んで構成されており、画像処理装置１２はプリンタ１４と接続されている。画像処理装置１２は、画像データに対する付加情報の多重化を行い、付加情報が多重化された画像データをプリンタ１４に送信する。また、プリンタ１４は、受信した画像データに基づいて用紙１６の記録面に画像を形成する。

一方、本情報処理システム１０は、スキャナ１８及び解析装置２０を含んで構成されており、スキャナ１８は解析装置２０と接続されている。スキャナ１８は、上記用紙１６の記録面に形成された画像をイメージとして読み取って画像データに変換し、解析装置２０に送信する。また、解析装置２０は、受信した画像データに基づいて、多重化された付加情報の解析を行う。

［画像処理装置］
図２は、本実施の形態に係る画像処理装置１２の電気的な構成を示すブロック図であり、以下、同図を参照して本実施の形態に係る画像処理装置１２について説明する。

同図に示されるように、画像処理装置１２は、装置全体の動作を制御する制御部３０と、記憶部３２と、操作部３４と、表示部３６と、入力制御部３７と、出力制御部３８と、を含んで構成されている。

記憶部３２は、コンピュータ可読な記録媒体を含んで構成されており、制御部３０によって実行される埋め込み処理プログラムを保持している。また、この記憶部３２は、制御部３０による埋め込み処理の過程で生じる種々のデータを格納するワークメモリとしても動作する。

操作部３４は、キーボードやマウス等により構成されており、ユーザの操作に基づく操作内容を制御部３０に出力する。表示部３６は、制御部３０から入力される指示に従って、ユーザに対して情報を提示する。入力制御部３７は、外部から入力されたデータを制御部３０に出力する。また、出力制御部３８は、制御部３０から入力される指示に従ってデータをプリンタ１４等の外部の装置に出力する。

制御部３０は、記憶部３２に格納された埋め込み処理プログラムを実行して、処理対象となった画像データに対して埋め込みの対象となった付加情報に基づく付加画像データを合成し、合成画像データを生成する処理を行う。

図３は、本実施の形態に係る制御部３０により実行される埋め込み処理に関する機能ブロック図であり、以下、本実施の形態に係る埋め込み処理について説明する。

制御部３０によって実行される埋め込み処理プログラムは、画像特徴量解析部４０と、付加情報符号化部４２と、付加画像生成部４４と、合成部４６とを含んで構成されており、画像特徴量解析部４０は付加情報符号化部４２に、付加情報符号化部４２は付加画像生成部４４に、付加画像生成部４４は合成部４６に、それぞれ接続されている。

画像特徴量解析部４０は、上述した入力制御部２７から入力された付加情報の埋め込み対象となる画像データに基づいて、画像特徴量を解析する。当該画像特徴量解析部４０により解析する画像特徴量としては、画像データにより示される画像のコンテンツ特徴（自然画像、ロゴなどのCG画像、文字画像等）、高周波成分を多く含む画像か否かの周波数的特徴、重心位置がどのあたりなのかの重心特徴や、画像の色に関する特徴など様々な画像特徴を示す画像特徴量を適用可能であり、これらを単独あるいは組み合わせて適用することができる。

本実施の形態では、画像の特徴として、画像の色に関する特徴を適用し、画像データの解析によりＲ，Ｇ，Ｂ各色の階調値（例えば、０〜２５５の２５６階調）の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態を示す情報を画像特徴量として導出する場合について説明する。

図４は、画像特徴量（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅ）の分布状態の特定に関する説明図である。同図に示されるように、Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅのうち一番大きな平均値を変数MaxAveとし、この値と０の間を３等分し、それぞれ０以上MaxAve* １／３未満の領域（これを以降領域０と呼ぶ）、MaxAve* １／３以上MaxAve * ２／３未満の領域（これを以降領域１と呼ぶ）、MaxAve ２／３以上MaxAve以下の領域（これを以降領域２と呼ぶ）としている。

すなわち、Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅは、それぞれ領域０、領域１、領域２のいずれかに対応し、そのうち少なくとも１色は必ず領域２に属するので、Ｒ，Ｇ，Ｂ各色毎の平均値がどの領域にあるのか（平均値の分布状態）の対応の組合せは３×３×３−２×２×２＝１９通りある。

図５は、１９通りの平均値の分布状態とそれに対応する一意な特徴量識別子Ｃを示す特徴量識別子決定テーブルが示されている。当該特徴量識別子決定テーブルは、記憶部３２等に保持されている。

すなわち、画像特徴量解析部４０では、画像解析により得られたＲａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態に応じて１９通りの組合せのうちの１つを表す特徴量識別子Ｃを選択し、選択した特徴量識別子Ｃを示す情報を付加情報符号化部４２に送る。

なお、本実施の形態では領域を３等分したが、もっと大きな数に分割してもよい。また、他の画像特徴量と組み合わせる場合は、それらの全組み合わせに対応する一意な特徴量識別子Ｃをテーブルに保持すればよい。

付加情報符号化部４２には、上述した入力制御部２７を介して画像データに埋め込む付加情報も入力されるようになっており、画像特徴量解析部４０から入力された特徴量識別子Ｃに応じて予め設定された付加情報の符号化方式や埋め込みのフォーマット等の変換方法に従って付加情報を符号化する。

図６には、特徴量識別子Ｃに応じた変換方法の決定に用いられる変換方法決定テーブルが模式的に示されている。同図に示されるように、各特徴量識別子Ｃには、RC2（Ron's Code 2）、RC4、DES（Data Encryption Standard）、MISTY等、付加情報を暗号化するための暗号化アルゴリズム及び誤り訂正符号のパラメータの組み合わせがそれぞれ変換方法として対応付けされている。

なお、同図では、変換方法として暗号化アルゴリズム及び誤り訂正符合のパラメータの組み合わせを適用して構成したテーブルについて示したが、変換方法としては、他に、上記暗号化アルゴリズムの鍵の種類、ＢＣＨ符号やＲＳ符号等、誤り訂正符号化アルゴリズムの種類、スクランブル化処理の種類等を適用することができ、これらを組み合わせて適用してもよい。但し、符号形式変換部４２で選択された変換方法に、スクランブル処理や埋め込み順序等、所謂埋め込みフォーマットを変更する設定をした場合には、付加画像生成部４４に、埋め込みフォーマットを示す情報を入力する必要がある。

付加情報符号化部４２では、入力制御部２７を介して入力された付加情報から、例えば付加情報の全ビットの総和に相当するチェックサムやＣＲＣ（Cyclic Redundancy Check：巡回冗長符号）などのような誤り検出情報を導出し、付加情報の末尾に追加・結合する。これは、付加情報の復号時に正しい付加情報に復号されていることをチェックするためである。

また、付加情報符号化部４２では、上記変換方法決定テーブルを用いて決定した特徴量識別子Ｃに応じた変換方法により、誤り検出情報を追加・結合済みの付加情報の符号化を実行する。

例えば、ＢＣＨ誤り訂正符号化を実行する場合には、上記誤り検出情報が結合された付加情報を先頭ビットから所定のビット数単位に区切ってブロック化し、最後のブロックが所定のビット数に満たない場合はたとえば"0"を複数個付加して所定のビット数になるように調整する。このようにして得られた所定ビット数単位の各ブロックに適宜パリティを付加して先頭ブロックから順次符号化し、符号化後の付加情報をブロック単位で付加画像生成部４４に入力する。

付加画像生成部４４は、付加情報符号化部４４により入力された符号化された付加情報に対応する付加画像データを生成する。なお、付加画像の埋め込み（多重化）を行うに際しては、画像特徴量解析部４０により解析される画像特徴量の多重化前後の変化ができるだけ小さくなるような多重化方式を選択することが重要である。

すなわち、本実施の形態では、色的特徴を画像特徴量として適用しているので、多重化前後で画像の平均値に影響を与えない多重化方式が好適である（例えば、特開２００４−１４０７６４号報に開示されるパターン画像を多重化する方式等）。

図３に示されるように、付加画像生成部４４は、符号化された付加情報の各符号に対応する複数のパターン画像を作成するパターン画像作成部５０と、前記複数のパターン画像の１つを選択するパターン選択部５２と、予め設定されたフォーマット及び符号化された付加情報に応じて前記パターン選択部５２を制御して、パターンを配列するパターン配列部５４とを含んでいる。

ここで、図７には、本実施の形態に係るパターン画像作成部５０で作成されるパターン画像Ｐの一例が示されている。同図（Ａ）は符号「１」を、同図（Ｂ）は符号「０」を、それぞれ示すパターン画像Ｐである。なお、同図では、図示の都合上、濃度の違いをハッチングの違いによって示している。

なお、同図に示す１つの矩形枠は１画素を示しており、８×８画素で１つの符号のパターン画像Ｐを構成している。

この基本パターンは、情報埋め込み後における画像の画質及び復号処理への影響を考慮して、以下の（ア）〜（エ）に示す特徴を満たすように作成されている。
（ア）双方のパターン画像Ｐの対応する画素同士を加算した結果は、いずれも同じ所定値（例えば「０」）になる。
（イ）各々のパターン画像Ｐ中の全画素を加算した結果は、いずれも同じ所定値（例えば「０」）になる。
（ウ）各々のパターン画像Ｐは、画像の中心部を通り、その方向が異なる、２つの画素値の不連続線（エッジと呼ぶ）を有する。図６に示す例では、縦横に直交してエッジが形成されている。
（エ）各々のパターン画像Ｐの持つ画素値の絶対値は中心でもっとも大きく、中心から離れるほど小さくなる。

同図に示されるような面積を持ったパターンによって符号を表現することで印刷においてなされる様々な画質劣化要因に対する耐性を獲得する一方、合成後に画像の濃度が大きく変化することが防止され（（ア）、（イ）の特徴による）、パターン画像Ｐの検出が容易で復号処理が簡便となり（（イ）、（ウ）の特徴による）、かつパターン間でのエッジの発生が防止されて（（エ）の特徴による）、その存在が視覚的に目立たないという特徴がある。

図８（Ａ）及び（Ｂ）には、図７（Ａ）及び（Ｂ）に示すパターン画像Ｐを得るために定義された基本パターンが示されている。なお、同図に示す矩形枠は、それぞれ図７の矩形枠に対応している。

また、基本パターンを構成する各画素の要素の値（画素値）に図８（Ｃ）に示す（１）式または（２）式のような式によって定義される値を乗じて得たものである。なお、（１）式及び（２）式において、Ｃは埋め込み強度、αは減衰率であり、ここでは、ユーザ等によって予め指定されているとする。また、（１）式及び（２）式において、Ｘ，Ｙは、パターン画像の中心を（Ｘ，Ｙ）＝（０，０）としたときの各画素の座標（Ｘ，Ｙ）の値である。

この図８（Ｃ）を用いた乗算の結果、図８（Ａ），（Ｂ）のそれぞれに基づいて、図７（Ａ）及び（Ｂ）に示した各パターン画像Ｐが生成される。

一方、パターン配列部５４では、符号化された付加情報及び予め設定された埋め込みフォーマットに基づいて「０」又は「１」のパターン画像Ｐの選択指示をパターン選択部５２に入力する。また、パターン選択部５２では、パターン配列部５４の指示により、パターン画像作成部５０の出力するパターン画像Ｐのうちの１つを選択する。

このようにして選択されたパターン画像Ｐは、パターン配列部５４により、予め定められた所定のフォーマットで２次元平面上に配列され、付加画像が作成される。

ここで、図９には、ＢＣＨ誤り訂正符号化された付加情報を示す付加画像の構成が一例として示されている。同図に示す例では、付加画像は、付加情報符号化部４２によるＢＣＨ誤り訂正符号化において分割された所定のビット数単位のブロックの各ビットデータを表すパターン画像Ｐが予め設定された埋め込みフォーマットに従い配列されたブロックＢが所定のフォーマット、例えば、ブロックスキャン順などで２次元平面上に配列されている。

図３に示されるように、付加画像生成部４４においてパターン配列部５４を中心として作成された付加画像は、合成部４６に入力される。合成部４６は、付加画像生成部４４が生成した付加画像を、処理対象となった画像データに合成する。

なお、この合成において、画像データに対する付加画像の埋め込み位置は、適宜設定しうる。例えば、付加画像の左上と入力画像データの左上とを一致させて合成するようにしてもよいし、画像データの中央部に合成してもよいし、画像データに基づいて画像劣化がもっとも少なくなるような位置を選択して合成するようにしてもよい。

また、合成部４６は、記憶部３２に格納されている処理対象の画像データの対応する画素値に、付加画像の画素値を加算して出力するが、ここで、加算値が画素値の最大値（例えば２５５）を超える場合には、その値を最大値に設定し、加算値が画素値の最小値（例えば０）を下回る場合には、その値を最小値に設定する。

図２に示されるように、こうして付加画像を合成した後の画像データは制御部３０により、出力制御部３８を介してプリンタ１４に出力され、プリンタ１４が、当該画像データの入力を受けて、画像データによって表される画像を、用紙１６等の非電子媒体上に形成することとなる。

一方、付加情報を復号する際には、用紙１６の記録面上に形成された画像をスキャナ１８によって読み取り、画像データとして解析装置２０に入力して復号する。

[解析装置]
図１０は、本実施の形態に係る解析装置２０の電気的な構成を示すブロック図である。同図に示されるように、解析装置２０の電気的な構成は、画像処理装置１２（図２参照）と同様であるので、同一部分には同一の符号を付して説明を省略し、各種情報の流れ及び制御部３０における処理内容についてのみ説明する。

同図に示されるように、解析装置２０の入力制御部３７は、スキャナ１８と接続されており、スキャナ１８により取得された画像データが入力制御部３７を介して解析装置２０に入力される。

また、記憶部３２には、付加情報が合成された画像データから付加情報を復号するための復号処理プログラムが格納されており、制御部３０では、当該復号処理プログラムを実行して、入力された画像データから付加情報を抽出する。

図１１は、解析装置２０における制御部３０により実行される復号処理に関する機能ブロック図であり、以下、本実施の形態に係る埋め込み処理について説明する。

同図に示されるように、画像データ保持部６０と、傾き補正部６２と、セルサイズ推定部６４と、セル位置検出部６６と、付加情報識別部６８と、付加情報復号部７０とを含んで構成されている。

図示しないスキャナ１８にて読み取られた画像データは、画像データ保持部６０によって記憶部１２内に保持される。なお、ここでスキャナ１８等から入力される画像データに圧縮が行われているときには、当該画像データ保持部６０により、圧縮された画像データを元の画像データ（ビットマップのデータ）に伸長ないし復元して保持する。

傾き補正部６２では、一般に広く知られた方法（例えば、投影法）によって、画像データ保持部６０が保持している画像データの傾きを補正する。

また、セルサイズ推定部６４は、傾き補正後の画像データから付加画像の基本単位であるパターン画像Ｐのサイズ（以下、「セルサイズ」という）を推定する。具体的に付加画像が図６に示されるような、エッジを含むものである場合、このエッジを検出することにより、エッジ間隔に基づいてセルサイズを推定する。すなわち、画素値が急激に変化する高周波成分のみを抽出したエッジ抽出画像を生成し、このエッジ抽出画像に関する自己相関関数のピーク位置からセルサイズを推定する。この処理により、印刷から読み取りまでの過程で画像データのサイズが変化し、セルサイズが変化しても、復号処理を遂行できるようになっている。

セル位置検出部６６は、推定されたセルサイズに基づき、画像データから付加画像を表す各パターン画像Ｐの位置を検出する。このパターン画像Ｐの位置の検出は、例えば、図６（Ａ）及び（Ｂ）に示した各符号を表すパターン画像Ｐのうち、いずれか一方のパターン画像Ｐにおける極性情報（図７（Ａ）又は（Ｂ）を参照）に対応して、例えば「−１」を黒、「１」を白とした２値パターンを生成し、これをマスクとしてセルサイズに従ってマトリクス状に配列したマスク画像データを生成する。そしてマスク画像データと、画像データ保持部６０で保持している画像データとの間で相関演算を行い、当該相関演算の結果が極大又は極小となる点を抽出し、それらを画像データの水平、垂直方向に投影する。図７（Ａ）及び（Ｂ）に示したようにパターン画像中央部に２つのエッジの交点がある場合、略中央部に相関演算結果の極大、極小が現れるので、当該極大極小位置の投影位置を中心として、推定して得たセルサイズの±１／２だけ水平又は垂直方向に移動した位置をパターン画像Ｐ間の境界位置として画定できる。なお、ここでいずれか一方のパターン画像Ｐに対応するマスク画像を生成しているだけなのは、図６に示す２つのパターン画像は、その極性が互いに逆となっているからである。

付加情報識別部６８は、セルサイズ推定部６４とセル位置検出部６６とによってパターン画像Ｐの位置及び大きさが推定されると、各パターン画像Ｐにより示される情報を識別する。

図１２（Ａ）に示されるように、各パターン画像Ｐの画像領域は、その中心部を通過し、水平・垂直の各方向に直交するエッジによって分割される４つの領域を、それぞれ領域Ｒ１〜Ｒ４として、各領域に含まれる画素値の総和の大小関係に基づいて各パターンが示す符号の識別を行う。

このとき、１つのパターンの幅方向及び高さ方向の画素数が奇数の場合は、図１２（Ｂ）に示されるように、セルの中心を通り、高さ方向（幅が奇数の場合）並びに幅方向（高さが奇数の場合）に延びる画素を除いて、上述の領域Ｒ１〜Ｒ４に分割する。なお、１つのパターンの幅方向及び高さ方向の画素数が奇数となる原因の１つとして、画像に拡大縮小等の処理が施されていることがあげられる。

このようにして分割された各領域Ｒ１、Ｒ２、Ｒ３、Ｒ４のそれぞれに含まれる画素値の和（以下では、それぞれ「ＳＰ１」、「ＳＰ２」、「ＳＰ３」、「ＳＰ４」と称す。）を算出する。

そして、このＳＰ１〜ＳＰ４の大小関係からそのセルに合成されているパターン画像が表す符号が「１」であるか「０」であるか（又は判別不能となっているか）を判定する。具体的には、
（ｉ）((SP1>SP2) && (SP1>SP4) && (SP3>SP2) && (SP3>SP4))であれば、符号は「１」である。なお、「&&」は、AND条件、すなわち前後の条件を「且つ」で結んだ条件を意味する。
（ｉｉ）（ｉ）でなく、((SP2>SP1) && (SP3>SP2) && (SP4>SP1) &&(SP4>SP3))であれば、符号は「０」である。
といったように、複数の条件を適合することによってセル内に合成されているパターン画像が表す符号の判定が行われる。

図１３は、付加情報識別部４５におけるパターン画像の識別処理の一例を表す説明図である。この図１３では、比較的値の小さい側にハッチングを施している。パターン画像の合成前のセル内の画素がどこも略同じ値（いわば画像が平坦）など、一定の値の範囲にあるのであれば、符号「１」を表すパターン画像を合成した場合には、Ｒ１とＲ３との部分での画素値が大きくなり、Ｒ２とＲ４との部分での画素値が小さくなるので、印刷やスキャンを経た後でも上記（ｉ）の((SP1>SP2) && (SP1>SP4) && (SP3>SP2) && (SP3>SP4))の条件が成立している蓋然性が高く、当該条件による判断が可能である。

ここで、処理対象画像データに高周波成分が含まれ、これがいずれかのセル内にある場合、このセルでは、付加画像の合成後の画素値が、上記条件を満足しているとは限らないことになる。例えば、図１４に示すように、セル上部の領域Ｒ２及びＲ１の画素値が、セル下部の領域Ｒ３及びＲ４の画素値と比較して小さい値となっている場合もある。このような場合に対応すべく、上記条件（ｉ）でも（ｉｉ）でもなく、((SP1>SP4) && (SP3>SP2) && (SP3>SP4))が成り立っている場合、そのセル内のパターン画像は符号「１」を表すものであると判定してもよい。同様に、セル上部の画素値がセル下部の画素値と比較して大きい値となっている場合や、セルの左右で画素値の高低が変化する場合等に対応すべく、それぞれ条件を定めてもよい。

付加情報識別部６８は、こうして各セルを順次ラスタスキャンの順に識別し、対応する符号を順次付加情報復号部７０に出力していく。

ここで、本実施の形態では、付加情報の変換方法が予め複数設定されており、付加情報を埋め込む画像データの画像特徴量に基づいて上記複数の変換方法の中から実際に適用する変換方法を選択するようになっている。

このため、解析装置２０においても、画像特徴量を特定する必要があり、画像特徴量解析部７２が設けられている。当該画像特徴量解析部７２は、画像特徴量を付加情報復号部７０に出力するようになっている。

画像特徴量解析部７２では、画像処理装置１２の画像特徴量解析部４０と同様の手法により画像データ保持部６０に保持された画像データを解析し、画像特徴量解析部４０よりも詳細なＲ，Ｇ，Ｂ各色毎の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態を画像特徴量として特定する。

図１５は、解析装置２０の画像特徴量解析部７２における画像特徴量（Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅ）の分布状態の特定に関する説明図である。同図に示されるように、Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅのうち一番大きな平均値を変数MaxAveとし、この値と０の間を９等分し、それぞれ、MaxAve*８／９以上MaxAve以下の領域（これを以降領域ａと呼ぶ）、MaxAve*７／９以上MaxAve*８／９未満の領域（これを以降領域ｂと呼ぶ）、MaxAve*６／９以上MaxAve*７／９未満の領域（これを以降領域ｃと呼ぶ）、MaxAve*５／９以上MaxAve*６／９未満の領域（これを以降領域ｄと呼ぶ）、MaxAve*４／９以上MaxAve*５／９未満の領域（これを以降領域ｅと呼ぶ）、MaxAve*３／９以上MaxAve*４／９未満の領域（これを以降領域ｆと呼ぶ）、MaxAve*２／９以上MaxAve*３／９未満の領域（これを以降領域ｇと呼ぶ）、MaxAve*１／９以上MaxAve*２／９未満の領域（これを以降領域ｈと呼ぶ）、０以上MaxAve*１／９未満の領域（これを以降領域ｉと呼ぶ）としている。

このようにして、Ｒ，Ｇ，Ｂ各色毎の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅが領域ａ〜ｉのどの領域にあるのか（平均値の分布状態）を出力する。

ここで、解析装置２０に入力される画像データは、一般に、元の画像データに付加情報が埋め込まれ、プリンタ１４等によりプリントされたものをさらにスキャナ１８により読み込んで得られたものなので、付加情報を埋め込む前の画像データと同一ではない。

したがって、付加情報の埋め込み時よりも詳細に平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態を特定すると共に、単純に領域ａ〜ｃを領域２、領域ｄ〜ｆを領域１、領域ｇ〜ｉを領域０とするのではなく、同図に斜線塗りつぶしで示す、領域ｃ及びｄについては、画像領域２及び領域１の両方の可能性があるものとし、領域ｆ及びｇについては、画像領域１又は領域０の両方の可能性があるものとして、付加情報を埋め込む前の画像データを解析して得られた平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態の複数の候補を特定できるようにしている。

図１６は、平均値の分布状態とそれに対応する１つ以上の特徴量識別子Ｃを示す特徴量識別子候補選択テーブルが一例として示されている。なお、当該特徴量識別子候補選択テーブルは、記憶部３２等に保持されている。

同図に示されるように、特徴量識別子候補選択テーブルでは、画像解析により得られたＲａｖｅ，Ｇａｖｅ，Ｂａｖｅの分布状態に応じて、付加情報を埋め込む際に用いられた可能性がある特徴量識別子Ｃが１つ以上関連付けされている。

画像特徴量解析部７２では、特徴量識別子候補選択テーブルにより選択した１つ以上の特徴量識別子Ｃを示す情報を付加情報復号部７０に出力する。

付加情報復号部７０は、各特徴量識別子候補を用いて、変換方法決定テーブル（図６参照）を参照することにより付加情報の符号化方式等の変換方法を選択し、選択した変換方法に従って、付加情報識別部６８から入力された付加情報を示すデータを復号する。

このようにして復号された付加情報は、適宜出力制御部３８を介して、不図示のディスプレイや外部装置等に出力されて利用される。

以下、本実施の形態の作用を説明する。

図１７は、画像処理装置１２の制御部３０により実行される埋め込み処理プログラムの処理の流れを示すフローチャートであり、以下、同図を参照して本実施の形態に係る埋め込み処理について説明する。

まず、ステップ１００では、埋め込み処理の対象となる付加情報及び画像データを取得し、次のステップ１０２では、画像データの特徴を抽出する。

ここで、図１８は、ステップ１０２で実行される特徴抽出処理の流れを示すフローチャートであり、以下、同図を参照して本実施の形態に係る特徴抽出処理について説明する。

まず、ステップ１２０では、Ｒ，Ｇ，Ｂ各色の階調値の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを導出し、次のステップ１２２では、導出した平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅのうち、最も大きい平均値をＭａｘＡｖｅに代入し、その後にステップ１２４に移行して、０〜ＭａｘＡｖｅの範囲の階調値を３等分して、小さい階調値が含まれる領域から順にそれぞれ領域０、領域１、領域２としている。

次のステップ１２６では、各平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅが領域０〜２のどれに分布しているかを特定し、その後にステップ１２８に移行して、特徴量識別子決定テーブル（図５参照）に基づき、分布状態に応じた特徴量識別子を出力し、その後に特徴抽出処理を終了し、埋め込み処理のステップ１０４（図１７参照）に移行する。

例えば、Ｒａｖｅ＝１１５、Ｇａｖｅ＝１８０、Ｂａｖｅ＝６５であった場合、ＭａｘＡｖｅ＝１８０として、０〜１８０の階調値を３等分するので、階調値０〜５９の範囲が領域０、階調値６０〜１１９の範囲が領域１、階調値１２０〜１８０の範囲が領域２となる。したがって、Ｇａｖｅは領域２、Ｒａｖｅ及びＢａｖｅは領域１に分布することになり、特徴量識別子ＣはＣ６となる。

図１７のステップ１０４では、変換方法決定テーブル（図６参照）を用いて入力された特徴量識別子Ｃに応じた付加情報の変換方法を決定し、その後にステップ１０６に移行して、決定した変換方法に従い付加情報を変換（符号化）する。

例えば、特徴量識別子ＣがＣ６であった場合には、図６の変換方法決定テーブルに基づいて、変換方法はＢＣＨ（２５５，１５５，１３）による誤り訂正符号化であると決定される。

ここで、図１９は、ステップ１０６で実行される付加情報変換処理の流れを示すフローチャートであり、以下、同図を参照して本実施の形態に係る付加情報変換処理について説明する。

まず、ステップ１３０では、付加情報に基づいて、チェックサムやパリティ等の誤り検出用情報を導出し、次のステップ１３２では、導出した誤り検出用情報を付加情報の末尾に結合し、その後にステップ１３４に移行する。

ステップ１３４では、特徴量識別子Ｃにより決定された変換方法に基づく付加情報の変換を実行し、その後に本付加情報変換処理を終了して、埋め込み処理のステップ１１０（図１７参照）に移行する。

例えば、特徴量識別子ＣがＣ６であり、ＢＣＨ（２５５，１５５，１３）による誤り訂正符号化を施す場合には、ステップ１３４では、付加情報を示すビットデータを１５５ビット単位のブロックに分割し、各ブロックのビットデータに誤り検出符号（パリティ）を付加して、先頭のブロックから順次符号化する。

図１７のステップ１１０では、符号化された付加情報に応じたパターン画像Ｐを順次選択し、ステップ１１２に移行して、予め設定された埋め込みフォーマットに応じて、選択されたパターン画像Ｐを配置することにより付加画像データを生成する。

次のステップ１１４では、生成された付加画像データを画像データに合成して埋め込み、その後に本埋め込み処理を終了する。

このようにして付加画像データが埋め込み合成された合成画像データは、プリンタ１４により用紙１６に印刷される。

一方、用紙１６に印刷された画像データがスキャナ１８によりイメージとして読み取られ、解析装置２０に画像データとして入力されると、解析装置２０では復号処理が実行される。

図２０は、このとき解析装置２０の制御部３０により実行される復号処理プログラムの処理の流れを示すフローチャートであり、以下、本実施の形態に係る復号処理について説明する。

まず、ステップ２００では、入力された画像データの特徴を抽出する。

図２１は、解析装置２０における画像データの特徴抽出処理の流れを示すフローチャートである。以下、同図を参照して本実施の形態に係る復号時の特徴抽出処理について説明する。

まず、ステップ２３０では、Ｒ，Ｇ，Ｂ各色の階調値の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを導出する。

ここで、色的情報、特に階調値などは、埋め込みを行ったコンピュータ上での階調値と、印刷後の階調値とでは、必ずしも線形な関係にあらず、埋め込み時に領域１に存在すると判定された色であっても、それが領域０にもかなり近い位置にあった場合には、復号時の領域として領域３には属せずに領域２に属することもある。

そこで、次のステップ２３２では、導出した平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅのうち、最も大きい平均値をＭａｘＡｖｅに代入し、その後にステップ２３４に移行して、０〜ＭａｘＡｖｅの範囲の階調値を９等分して、大きい階調値が含まれる領域から順にそれぞれ領域ａ、領域ｂ、領域ｃ、・・・、領域ｉとする。

次のステップ２３６では、各平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅが領域ａ〜ｉのどれに分布しているかを特定し、その後にステップ２３８に移行して、特徴量識別子候補選択テーブル（図１６参照）に基づき、分布状態に応じた１以上の特徴量識別子候補を出力し、その後に特徴抽出処理を終了し、復号処理のステップ２０２（図２０参照）に移行する。

例えば、Ｒａｖｅが領域ｃ、Ｇａｖｅが領域ａ、Ｂａｖｅが領域ｇにそれぞれ分布している場合、領域ｃは埋め込み時には領域２及び領域１の何れかであり、領域ｇは埋め込み時には領域１及び領域０の何れかであると考えられ、何れか１つの領域であったと特定することができないので、特徴量識別子候補は、Ｃ２，Ｃ６，Ｃ８，Ｃ９の４つである。

図２０のステップ２０２では、入力された画像データにおけるエッジを検出し、次のステップ２０４では、検出されたエッジの間隔に基づいてセルサイズを推定する。

次のステップ２０６では、パターン画像に応じて作成したマスク画像データを用いて相関演算を行い、相関演算の結果に基づいてセル位置を特定し、その後にステップ２０８に移行する。

ステップ２０８では、特定したセル位置に従い、ラスタスキャンの順でパターン画像を順次識別した後、ステップ２１０に移行する。

ステップ２１０では、変数ｎに１をセットし、その後にステップ２１２に移行して、昇順に並べたときの順番がｎ番目の特徴量識別子候補を用いて変換方法を選択する。なお、特徴量識別子候補が複数ある場合、予め優先順位を設定しておき、優先順位がｎ番目の特徴量識別子候補を用いるようにしてもよい。

その後、ステップ２１４に移行して、選択された変換方法により付加情報を復号した後、ステップ２１６に移行して、復号が正常に終了したか否かを判定する。

すなわち、選択された変換方法により復号した付加情報の末尾のチェックサムやＣＲＣなどの誤り検出用情報をチェックすることにより、得られた付加情報が正しいものかをチェックする。

付加情報が正しいものでないと判断された場合は、ステップ２１６で否定判定となり、ステップ２１８に移行して、ｎをインクリメントした後に再びステップ２１２に戻り、再度変換方法を選択し、その変換方法で付加情報を復号する。そして、付加情報の末尾のチェックサムやＣＲＣなどの誤り検出用情報をチェックして、正しい付加情報が得られるまで変換方法の再適用を行う。

ステップ２１６で肯定判定となった場合は、付加情報が正しいものであると判断して、ステップ２２０に移行して、復号により得られた付加情報を保持し、その後に本復号処理を終了する。

以上詳細に説明したように、本実施の形態によれば、画像に付加する付加情報を変換して付加画像を生成して前記画像に埋め込むに際し、画像データに基づいて前記画像の特徴を解析し、解析結果に応じて予め設定された変換方法を用いて付加情報を変換して付加画像データを生成するので、秘匿性の向上を図ることができる。

すなわち、埋め込まれた情報を不正に復号しようとした場合に、埋め込み方式が分かっていても、変換方式の決定に用いた（解析手段により解析した）画像の特徴が何であるかについても把握しなければならないので、不正な復号が困難となり、この結果、秘匿性が向上する。

なお、本実施の形態では、画像処理装置１２と解析装置２０とを、別体として設ける形態について説明したが、本発明はこれに限定されるものではなく、これらを一体として構成して、画像処理装置１２において付加情報の合成処理及び復号処理を実行することもできる。

本実施の形態に係る画像処理装置１２及び解析装置２０の構成（図２及び図１０参照）は一例であり、本発明の趣旨を逸脱しない範囲で適宜変更可能なことはいうまでもない。

また、本実施の形態に係る処理の流れ（図３、図１１、図１７乃至図２１参照）も一例であり、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

実施の形態に係る情報処理システムの構成を示す概略図である。 実施の形態に係る画像処理装置の電気的な構成を示すブロック図である。 実施の形態に係る埋め込み処理に関する機能ブロック図である。 埋め込み時の特徴量の導出に関する説明図である。 特徴量識別子決定テーブルの一例を示す模式図である。 変換方法決定テーブルの一例を示す模式図である。 実施の形態に係るパターン画像の一例を示す模式図である。 図６に示すパターン画像を得るために定義された基本パターン及び演算式の説明図である。 一例として、ＢＣＨ誤り訂正符号化が施されて生成された付加画像の構成を示す模式図である。 実施の形態に係る解析装置の電気的な構成を示すブロック図である。 実施の形態に係る復号処理に関する機能ブロック図である。 各パターンの画像領域を４つの領域に分割した状態を示しており、（Ａ）は、高さ方向並びに幅方向の画素数が偶数の場合の図、（Ｂ）は、高さ方向並びに幅方向の画素数が奇数の場合の図、である。 パターン画像における画素値の分布状態の一例を表す説明図である。 パターン画像における画素値の分布状態の一例を表す説明図である。 復号時の特徴量の導出に関する説明図である。 特徴量識別子候補選択テーブルの一例を示す模式図である。 実施の形態に係る埋め込み処理プログラムの処理の流れを示すフローチャートである。 埋め込み処理において実行される特徴抽出処理の流れを示すフローチャートである。 埋め込み処理において実行される付加情報変換処理の流れを示すフローチャートである。 実施の形態に係る復号処理プログラムの処理の流れを示すフローチャートである。 復号処理において実行される特徴抽出処理の流れを示すフローチャートである。

符号の説明

１０ 情報処理システム
１２ 画像処理装置
１４ プリンタ
１６ 用紙
１８ スキャナ
２０ 解析装置
３０ 制御部
３２ 記憶部
４０ 画像特徴量解析部（解析手段）
４２ 付加情報符号化部（付加画像データ生成手段）
４４ 付加画像生成部（付加画像データ生成手段）
４６ 合成部
５４ パターン配列部
６８ 付加情報識別部（検出手段）
７２ 画像特徴量解析部（解析手段）

Claims (5)

1. 画像を示す画像データに基づいて、当該画像に付加された付加情報を復号する画像処理装置であって、
   前記画像データに基づいて前記付加情報を示す付加画像データを検出する検出手段と、
   前記画像データに基づいて前記画像の特徴を解析する解析手段と、
   前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号する付加情報復号手段と、
   を備えた画像処理装置。
2. 前記復号方法として、前記解析結果に応じて、付加情報の暗号化処理、埋め込みフォーマット、スクランブル方式及び誤り訂正符号の何れか又は複数の組み合わせを予め設定することを特徴とする請求項１記載の画像処理装置。
3. 前記解析手段は、前記画像の特徴として、周波数、重心位置及び画像を構成する色に基づいて、コンテンツ特徴、周波数的特徴、重心特徴及び階調値特徴の何れか又は複数を解析することを特徴とする請求項１又は請求項２記載の画像処理装置。
4. 画像を示す画像データに基づいて、当該画像に付加された付加情報を復号する画像処理方法であって、
   前記画像データに基づいて前記付加情報を示す付加画像データを検出手段によって検出し、
   前記画像データに基づいて前記画像の特徴を解析手段によって解析し、
   前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号する
   ことを特徴とする画像処理方法。
5. 画像を示す画像データに基づいて、当該画像に付加された付加情報を復号するための画像処理をコンピュータに実行させるための画像処理プログラムであって、
   前記画像データに基づいて前記付加情報を示す付加画像データを検出手段によって検出する工程と、
   前記画像データに基づいて前記画像の特徴を解析手段によって解析する工程と、
   前記検出手段により検出された付加画像データを、前記解析手段による解析結果に応じて予め設定された復号方法を用いて復号する工程と、
   を実行させる画像処理プログラム。

Images