JP4311698B2 - 画像処理装置及び画像処理方法並びに記録媒体 - Google Patents
画像処理装置及び画像処理方法並びに記録媒体 Download PDFInfo
- Publication number
- JP4311698B2 JP4311698B2 JP2000131629A JP2000131629A JP4311698B2 JP 4311698 B2 JP4311698 B2 JP 4311698B2 JP 2000131629 A JP2000131629 A JP 2000131629A JP 2000131629 A JP2000131629 A JP 2000131629A JP 4311698 B2 JP4311698 B2 JP 4311698B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- image data
- image
- embedding
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、原画像データに電子透かしを埋め込んだ画像データを生成し、及び或はその画像データから電子透かし部分を抽出する画像処理装置及び画像処理方法に関するものである。
【0002】
【従来の技術】
近年、コンピュータとそのネットワークの急速な発達及び普及により、文字データ、画像データ、音声データなど、多種の情報がディジタル化されている。ディジタル情報は、経年変化などによる劣化がなく、いつまでも完全な状態で保存できる一方、容易に複製が可能であり、著作権の保護が大きな問題となっている。そのため著作権保護のためのセキュリティ技術は急速に重要性を増している。
【0003】
著作権を保護する技術の一つに”電子透かし”がある。電子透かしとは、ディジタルの画像データや音声データ、文字データなどに人に知覚出来ない形で著作権保有者の名前や購入者のIDなどを埋めこみ、違法コピーによる無断の使用を追跡する技術である。
【0004】
電子透かしには種々の攻撃が施される可能性がある。例えば、JPEGなどの非可逆圧縮、拡大・縮小或いは回転などの幾何変換、プリントアウト/スキャニング、ノイズ付加などがあげられる。
【0005】
ここで、特に幾何変換に対して耐性を持たせるために、レジストレーションという処理が用いられることがある。レジストレーションは、電子透かしを埋め込む際に、付加情報とは別に、特定の信号(レジストレーション信号)を画像に付加し、電子透かしを抽出する際には、付加情報を抽出する前に、前記レジストレーション信号を用いて付加情報の抽出を助長する処理である。
【0006】
レジストレーションを用いた方式としては、USP5636292に提案されている方式が挙げられる。これは、予め埋め込んである幾何パターンを用いて、画像に施された幾何変換を自動的に算出する方式である。この方式は幾何パターンが対称軸を持つことから、幾何変換が複数の解を持ち一意に特定することが出来ない。
【0007】
この問題点を解決した方式が特開平11−355547に提案されている。この方式は、USP5636292と同じく幾何パターンを用いてレジストレーションを行なう方式であるが、幾何パターンは対称軸を持たない2次元波から構成されており、幾何変換が複数解を持つことはない。
【0008】
【発明が解決しようとする課題】
しかしながら、従来のこれらの方式は、全ての画像に対して等しくレジストレーション信号が埋め込まれていた。一方で、画像信号は種々の周波数特性を有することがあり、種々の周波数特性を有するあらゆる画像信号に対して好ましいレジストレーション手段を提供してはいなかった。
【0009】
従って、本発明が解決しようとする課題は、電子透かしを埋め込んだ画像が幾何変換を施された場合にも、前記幾何変換を自動的に特定し、これを補正することによって、付加情報の抽出を可能とするレジストレーション信号を埋め込む際に、画像の周波数特性に応じて前記レジストレーション信号を適応的に選択して埋め込む方法を提供することである。
【0010】
【課題を解決するための手段】
上記課題を解決するため本発明にかかる一発明の実施の形態例は例えば以下の構成を備える。
【0011】
即ち、画像データに施された幾何変換を特定可能なレジストレーション信号を埋め込む画像処理方法において、前記画像データを周波数変換する周波数変換ステップと、前記周波数変換ステップで得られた各周波数に対する成分値を低周波成分から高周波成分に向かって累積加算することにより得られる累積ヒストグラムを導出し、該導出した累積ヒストグラムにおいて累積加算値が所定値を超える位置の周波数を算出する算出ステップと、前記算出ステップで算出された周波数が、埋め込むレジストレーション信号を選択するために予め設定された所定の周波数より低い場合に、第1の周波数にインパルス性を有する第1のレジストレーション信号を選択し、前記算出ステップで算出された周波数が前記所定の周波数より低くない場合に、前記第1の周波数より高い第2の周波数にインパルス性を有する第2のレジストレーション信号を選択する、レジストレーション信号選択ステップと、前記周波数変換された画像データに対して、前記レジストレーション信号選択ステップによって選択されたレジストレーション信号を加算する加算ステップと、を有する。
【0012】
また、画像データに施された幾何変換を特定可能なレジストレーション信号を埋め込む画像処理装置であって、前記画像データを周波数変換する周波数変換手段と、前記周波数変換手段で得られた各周波数に対する成分値を低周波成分から高周波成分に向かって累積加算することにより得られる累積ヒストグラムを導出し、該導出した累積ヒストグラムにおいて累積加算値が所定値を超える位置の周波数を算出する算出手段と、前記算出手段で算出された周波数が、埋め込むレジストレーション信号を選択するために予め設定された所定の周波数より低い場合に、第1の周波数にインパルス性を有する第1のレジストレーション信号を選択し、前記算出手段で算出された周波数が前記所定の周波数より低くない場合に、前記第1の周波数より高い第2の周波数にインパルス性を有する第2のレジストレーション信号を選択する、レジストレーション信号選択手段と、前記周波数変換された画像データに対して、前記レジストレーション信号選択手段によって選択されたレジストレーション信号を加算する加算手段と、を有する。
【0019】
【発明の実施の形態】
以下、図面を参照して本発明にかかる一発明の実施の形態例を詳細に説明する。
[第1の発明の実施の形態例]
【0020】
[電子透かし埋め込み装置]
まず、本実施の形態例における電子透かし埋め込み装置の概要について図1を参照して説明する。図1は本発明にかかる一発明の実施の形態例における電子透かし埋め込み装置の全体構成を示すブロック図である。
【0021】
図1に示す様に、本実施の形態例の電子透かし埋め込み装置は、色成分抽出手段0101、レジストレーション信号埋め込み手段0102、パターン配列決定手段0110、埋め込み位置決定手段0103、付加情報埋め込み手段0104、色成分合成手段0105、JPEG圧縮符号化手段0106、メモリ0107、JPEG伸長復号化手段0108、プリンタ0109から構成される。
【0022】
電子透かし埋め込み装置には、画像データIが入力される。入力される画像データIは、1画素当たり所定の複数ビットが割り当てられた多値画像データである。なお、本実施の形態例では、入力される画像データIがグレイスケール画像データであっても、カラー画像データであっても対応可能である。
【0023】
グレイスケール画像データは、1画素当たり1種類の要素から構成されているものであり、カラー画像データは、1画素当たり3種類の要素から構成されているものとする。この3種類の要素とは本実施の形態例では赤色成分(R)、緑色成分(G)、青色成分(B)である。しかしながら、別の色成分の組み合わせにも本発明は適用可能である。
【0024】
電子透かし埋め込み装置に入力された画像データIは、まず色成分抽出手段0101に入力される。入力された画像データIがカラー画像データである場合には、色成分抽出手段0101においてこのカラー画像データから青色成分だけを分離し、後段のレジストレーション信号埋め込み手段0102に出力する。
【0025】
一方その他の色成分は後段の色成分合成手段0105に出力する。即ちここでは、電子透かし情報が埋め込まれるべき色成分のみが分離されて電子透かしの処理系に送出される。
【0026】
本実施の形態例においては、青色成分に対して電子透かし情報の埋め込みが行われる。これは赤色成分、青色成分、緑色成分の中で、人間の視覚にとっては青色成分が最も鈍感であることによる。よって青色成分に電子透かし情報を埋め込むことは、他の色成分に対して電子透かし情報を埋め込むことに比べて、電子透かし情報による画質劣化が人間の目に知覚しにくくなる効果がある。
【0027】
また、入力された画像データIがグレイスケール画像データである場合には、色成分抽出手段0101はグレイスケール画像データを一旦疑似的なカラー画像データに変換する。
【0028】
ここでいう疑似的なカラー画像データとは、1画素当たり3種類の要素から構成されるカラー画像データであるが、本実施の形態例では、3種類の要素(R,G,B)の値が全て等しい画像データになる。
【0029】
グレイスケール画像データは上記疑似的なカラー画像データに変換され、このカラー画像データの中の青色成分(B)が抽出され、レジストレーション信号埋め込み手段0102へ出力される。
【0030】
一方その他の色成分は後段の色成分合成手段0105に出力する。この様にして、上述したカラー画像データの場合と同様に、全ての色成分ではなく青色成分のみに対して電子透かし情報が埋め込まれることとなる。
【0031】
なお、以後の説明では、画像データIがカラー画像データである場合とグレイスケール画像データである場合とは、できるだけ区別しない様に説明する。即ち、カラー画像データと擬似的なカラー画像データとは区別しない様に説明する。
【0032】
次に、レジストレーション信号埋め込み手段0102について説明する。ここで、レジストレーション信号とは、電子透かし情報の抽出の前処理として幾何的な補正を実行する為に必要とされる信号である。
【0033】
レジストレーション信号埋め込み手段0102には、色成分抽出手段0101で得られた青色成分の画像データが入力される。レジストレーション信号埋め込み手段0102では、画像データに対して一種の電子透かしの技術を用いてレジストレーション信号が埋め込まれる。即ち、レジストレーション信号を埋め込まれた画像データにおいて、人間の視覚はレジストレーション信号を知覚することができない。このレジストレーション信号の埋め込み方法等、詳細は後述する。レジストレーション信号埋め込み手段0102はレジストレーション信号が埋め込まれた画像データを出力する。
【0034】
パターン配列決定手段0110では、電子透かし情報を埋め込んだ画像データをプリンタ0109で印刷し、濃度階調が面積階調に変化する場合であっても、電子透かし情報(付加情報)の抽出(検出)が十分行なえるように、入力される画像データが表す画像の解像度とプリンタからの出力解像度に基づいて、電子透かし情報(付加情報)を埋め込むパターン配列を決定する。パターン配列の決定方法等については後述する。
【0035】
なお、画像の解像度とは、所定のサイズでこの画像を印刷しようとした場合の、この画像(ビットマップ画像)の1インチ当たりの画素数として定義する。よって、或る画像を所定のサイズで印刷しようとした場合、画素数の多い画像ほど画像の解像度が高いことになる。画像の解像度を表す単位として、ピクセル/インチ(pixel/inch)を使用する。
【0036】
またプリンタの出力解像度とは、プリンタが印刷媒体上の1インチ当たりに印刷するドットの数を示す。1インチ当たりに印刷するドット数が多いプリンタほど、出力解像度が高いプリンタである。
【0037】
パターン配列決定手段0110は、入力された画像データと共に、複数の中から選択したパターン配列を埋め込み位置決定手段0103に出力する。埋め込み位置決定手段0103は、レジストレーション信号が埋め込まれた画像データにおける付加情報Infの埋め込み位置を決定する。埋め込み位置決定手段0103は、また入力された画像データ、パターン配列と共に、画像中に付加情報Infを埋め込む位置を表す制御データを付加情報埋め込み手段0104に出力する。
【0038】
付加情報埋め込み手段0104は、上記画像データとパターン配列と制御データに加えて、付加情報Inf(複数のビット情報)を入力する。この付加情報Infは、青色成分の画像データにおける上記決定された埋め込み位置に、電子透かし技術を用いて埋め込まれる。この電子透かしの技術を用いた付加情報Infの埋め込みについても後述する。付加情報埋め込み手段0104からは付加情報Infが埋め込まれた画像データが出力され、色成分合成手段0105に入力される。
【0039】
色成分合成手段0105は、前段(付加情報埋め込み手段0104)までに処理された青色成分と、色成分抽出手段0101から直接入力される赤色成分及び緑色成分とを用いて、通常のカラー画像データの形態に合成する。
【0040】
色成分合成手段0105で得られたカラー画像データは、続いてJPEG圧縮符号化手段0106に出力される。JPEG圧縮符号化手段0106は、入力された赤色成分、青色成分、緑色成分で構成されるカラー画像データを輝度、色差成分で構成されるカラー画像データに変換し、JPEG圧縮符号化を行なう。
【0041】
JPEG圧縮符号化手段0106で圧縮されたJPEG圧縮データは,一旦メモリ0107に格納される。そして外部機器への送信、或いは印刷される際のタイミングに合わせてこのメモリから読み出され、後段のJPEG伸長復号化手段0108に出力される。
JPEG伸長復号化手段0108は、上記JPEG圧縮データを伸長してカラー画像データとして出力される。
【0042】
JPEG伸長復号化手段0108から出力されたカラー画像データwIは、プリンタ0109に入力される。プリンタ0109は、入力されたカラー画像データをCMYKの色成分に変換し、更にハーフトーン処理等を施した後、紙等の印刷媒体上に印刷物pwIとして出力する。
【0043】
なお、この印刷物pwIは、本装置ユーザー以外の手に渡り、回転等の幾何学的編集、或いはコピー機による複写等の攻撃が行われる可能性が有る。
上記印刷物に変形が加えられた可能性を有する印刷物をpwI’とする。この印刷物pwI’は、後述する図2に示すスキャナ2001を用いて、再度ディジタル化されることになる。
【0044】
以上に説明した各手段を備える本実施の形態例の電子透かし埋め込み装置の全体制御を図31に示すフローチャートを参照して以下説明する。図31は本実施の形態例の電子透かし埋め込み装置の全体制御を説明するためのフローチャートである。
【0045】
まずステップ3102において、画像データIが色成分抽出手段0101に入力される。これは写真や印刷物をスキャナなどで読み取り、画像データを生成する工程も含む。更に色成分抽出手段0101は入力された画像データIから青色成分を分離し、後段のレジストレーション信号入力に使用する。
【0046】
次に、ステップ3103においてレジストレーション信号を発生し、このレジストレーション信号がステップ3104で埋め込まれる。このステップ3104におけるレジストレーション信号埋め込み処理は、図1に示すレジストレーション信号埋め込み手段0102の内部で実行される処理に相当し、詳細な説明は後述する。
【0047】
ステップ3111ではパターン配列決定手段0110にてパターン配列を決定する。プリンタ0109の出力解像度及び画像の解像度に応じて、付加情報Infの埋め込みに使用するべきパターン配列を決定する。
【0048】
更に、ステップ3105においてマスクが作成され、ステップ3105で作成されたマスクは、ステップ3106でマスク参照手段に入力され、埋め込みビット情報と埋め込み位置の関係を規定する。ステップ3107ではステップ3111で決定したパターン配列を入力し、このパターン配列も参照しながらマスクを拡大マスクに拡張する。このマスク・パターン配列対応手段についても詳細な説明は後述する。
【0049】
ステップ3103,3104においてレジストレーション信号が埋め込まれた画像データに対して、ステップ3108において付加情報Infが埋め込まれる。この付加情報埋め込み処理はマクロブロック単位で付加情報Infを画像全体に繰り返し埋め込む。この処理は後述する図10で詳細に述べる。ここで、マクロブロックとは、最小埋め込み単位のことを示し、このマクロブロックに相当する画像領域に1つの完結した付加情報Infの全情報が埋め込まれる。
【0050】
ステップ3109では、付加情報Infが埋め込まれた画像データをJPEG圧縮符号化してメモリ0107に格納し、更にJPEG伸長復号化を行った後にプリンタ0109から印刷物pwIとして出力する。
【0051】
[電子透かし抽出装置]
次に、本実施の形態例における電子透かし抽出装置の概要について図2を参照して説明する。図2は本実施の形態例における電子透かし抽出装置の全体構成を示すブロック図である。
【0052】
図2に示す様に、本実施の形態例の電子透かし抽出装置は、スキャナ0201、色成分抽出手段0202、レジストレーション手段0203、及び付加情報抽出手段0204から構成される。
まず、電子透かし抽出装置の原稿台に印刷物pwIをセットし、スキャナ0201がこの印刷物pwI’をスキャンニングすることによりディジタル化された画像データwI’を生成する。上述したように、印刷物pwI’は図1における印刷物pwIとは異なっている可能性を有する。
【0053】
画像データwI'は画像データwIに対して種々の幾何的な歪みを生じる攻撃を受けている。攻撃には、スケーリング、回転、印刷&スキャニング等を含むが、本実施の形態の場合には少なくとも1度の印刷&スキャンニングを伴う攻撃が成されていることになる。
従って、画像データwI'とwIとは内容が同一であることが理想的ではあるが、実際にはこの2つの画像データは内容が著しく異なっていることが多い。
【0054】
そこで色成分抽出手段0202は、画像データwI'を入力し、青色成分を抽出した後、この青色成分の画像データを後段のレジストレーション手段0203へ出力する。画像データwI'のうち、青色成分以外の赤色成分、及び緑色成分は必要無いのでここで廃棄される。
【0055】
レジストレーション手段0203には、色成分抽出手段0202で得られた青色成分の画像データwI1'が入力される。そしてこの青色成分の画像データwI1'を用いて、幾何学的な歪みが補正された画像データwI2'を生成する。
【0056】
上述した様に、画像データwI'は画像データwIとは異なるスケールである可能性を有するのに対し、画像データwI2'は画像データwIと必ず同一のスケールになる。この理由、及び画像データwI2'を画像データwIと同じスケールにする処理の詳細は後述する。
【0057】
付加情報抽出手段0204は、付加情報埋め込み手段0103での埋め込み方式に合わせた所定の処理を施こすことによって、画像データwI2'に埋め込まれている付加情報Infを抽出することが可能であり、抽出された付加情報Infを出力する。
以上説明した各構成を備える本実施の形態例の電子透かし抽出装置の全体制御を図32に示すフローチャートを参照して以下説明する。図32は本実施の形態例の電子透かし抽出装置の全体制御を説明するためのフローチャートである。
【0058】
まずステップ3202において、画像データwI'を入力する。この画像データwI'は、印刷物pwIであると予想される画像データをスキャナでスキャンすることにより得られる。一般的には、画像データwI'は画像データwIとは著しく異なっている。また、この画像データwI'の青色成分のみが抽出され、次のステップに使用される。
【0059】
次のステップ3203では、入力された青色成分の画像データwI1'のスケールが補正される。このスケール合わせ処理は、図2のレジストレーション手段0203の内部で実行される処理であり、詳細な説明は後述する。
【0060】
次のステップ3211では、ステップ3203から出力されるスケーリング率を用いて、付加情報Infの埋め込みに用いたパターン配列を判定する。続いてステップ3204において入力された青色成分の画像データwI1'のオフセットが補正される。
【0061】
次に第1のパターン配列を用いた抽出処理がステップ3206において、第2のパターン配列を用いた抽出処理がステップ3205において、スケールとオフセットが既に補正された画像データwI2'から、夫々埋め込まれている付加情報Infが抽出される。
【0062】
統計検定ステップ3207では、上記抽出された付加情報Infの確からしさが算出、判定される。この統計検定ステップ3207で正しい付加情報Infではないと判定されればステップ3202に戻り、付加情報Infが埋め込まれていると考えられる画像を入力再度し直す。
【0063】
一方、統計検定ステップ3207で充分正確な付加情報Infであると判定された場合にはステップ3208の比較処理に進み、付加情報Infの抽出を行なう。また、ステップ3210において同時に上記確からしさを示す情報を後述する信頼性指標Dとして表示する。
【0064】
以上の、パターン配列判定処理、オフセット合わせ処理、第1のパターン配列を用いた抽出処理、及び第2のパターン配列を用いた抽出処理、及び統計検定処理、及び比較処理は、図2の付加情報抽出手段0203の内部で実行される処理であり、詳細な説明は後述する。
【0065】
[各部の詳細説明]
次に、以上の概略を説明した本実施の形態例に特有の各部の詳細な説明をする。まず、電子透かし抽出側におけるレジストレーション手段0203、ステップ3203が実行するレジストレーションという処理について説明する。
【0066】
レジストレーション処理とは、電子透かし情報の抽出の際に、電子透かし抽出装置に入力された画像データwI'から付加情報Infが抽出できる様にする前処理である。一般に、「レジストレーション処理」という用語は、スケール合わせ処理だけではなく、位置合わせ処理なども含む意味を持つ。
【0067】
しかし、本実施の形態例では、位置合わせ処理は、付加情報Infの一部として埋め込まれた位置情報を利用するため、付加情報抽出手段0204に含めて説明を行なう。
【0068】
以下では、まず印刷系の処理が施された画像データがどの様な変化を受けるかを考える。そして、その様な変化に対するレジストレーション処理を考察し、印刷系に対するレジストレーション処理を考える。
【0069】
画像データwIがYMCKインクジェットプリンタによって印刷され、この印刷物をスキャナでスキャンニングする本実施の形態例について考察する。
【0070】
この時、プリンタによる出力解像度と、スキャナによる入力解像度が異なる場合には、元のカラー画像データwIとスキャンニングで得られた画像データwI'のスケールは異なってしまう。よって、得られた画像データwI'からはそのまま正確に電子透かし情報を抽出できる可能性は少ない。従って、これらのスケールの違いを補正できる手段を備えておくことが必要である。
【0071】
本実施の形態例では、入力解像度と出力解像度の両方が既知である為、これらの比からスケールの比を算出できる。例えば、出力解像度が600dpiであり入力解像度が300dpiである場合には、印刷前の画像とスキャンニング後の画像のスケールの比は2倍である。よって、算出されたスケールの比にしたがって、適当なスケーリングアルゴリズムを用いて画像データwI'に対してスケーリングを施す。これにより画像データwIと画像データwI'が表す画像サイズを同じスケールにできる。
【0072】
しかし、全ての場合に出力と入力の解像度が既知であるとは限らない。双方の解像度が既知でない場合には、上述の方法は使用できない。この場合には、スケールの違いを補正する手段に加えて、更にスケールの比を知る手段が必要である。
【0073】
また、画像データwIに印刷系の処理が施された画像は、スキャナのスキャンニングにより入力された後には図3に示す様な画像となる。図3においては0301全体が画像データwI'が表す画像である。この画像データ0301は、画像データwIにより表される本来の画像0302と白色の余白部分0303から構成される。この様な余白は、ユーザーがマウスなどによって切り取った場合には不正確になってしまう。このスキャニングによる位置ズレに対する位置合わせ処理は、付加情報抽出処理0204におけるオフセット合わせ処理にて行なう。
【0074】
以上挙げた点が、印刷系を介して得られた画像データwI'を表す画像には、必ず生じていると考えられ、画像データwIに印刷系の処理が施される場合であれば、これらを解決する必要がある。
【0075】
以上、電子透かしを抽出する前に印刷系の処理を少なくとも1度介してから画像データを得る場合について説明したが、この様な状況は人為的な編集によっても起こり得る。
以下、入出力解像度の比が不明である場合を想定し、上記スケールの違いが生ずる問題点を解決する為に備えられた、本実施の形態例におけるレジストレーション信号埋め込み手段及びレジストレーション手段について説明する。
【0076】
[レジストレーション信号埋め込み処理]
まず、レジストレーション信号埋め込み手段0102(ステップ3104)について詳細を説明する。
【0077】
レジストレーション信号埋め込み手段0102は、付加情報埋め込み手段0104よりも前に位置するものである。この手段0102は、図2のレジストレーション手段における画像データwI'のレジストレーションに参照されるレジストレーション信号を、元の画像データに予め埋め込むものである。このレジストレーション信号は、電子透かし情報として人間の目に見えにくく画像データ(本実施の形態例ではカラー画像データの青色成分)に埋め込まれる。
【0078】
図4にレジストレーション信号埋め込み手段0102の内部構成を示す。レジストレーション信号埋め込み手段0102は、図4のブロック分割手段0401、フーリエ変換手段0402、加算手段0403、逆フーリエ変換手段0404、ブロック合成手段0405から構成される。以下、各手段の詳細について解説する。
【0079】
ブロック分割手段0401は、入力された画像データを互いに重ならない複数のブロックに分割する。このブロックのサイズは本実施の形態例においては2のべき乗に定める。実際はこれ以外のサイズでも適応可能であるが、ブロックのサイズが2のべき乗である場合は、ブロック分割手段0401の後に結合されるフーリエ変換手段0402において高速の処理を行なうことが可能である。
【0080】
ブロック分割手段0401により分割されたブロックは、二つの集合I1 とI2に分けられ、このうちI1は後段のフーリエ変換手段0402に入力され、I2は後段のブロック合成手段0405に入力される。
【0081】
本実施の形態例では、I1としては、ブロック分割手段0401により得られた各ブロックのうち、画像データIの中で最も中心付近に位置する一つのブロックが選択され、残りのブロックは全てI2として選択される。
【0082】
これは、本実施の形態が少なくとも一つのブロックを用いることで実現可能であり、ブロックの数が少ない方が処理時間を短縮できることによる。しかしながら本実施の形態例は以上の例に限定されるものではなく、I1として二つ以上のブロックを選択する場合も範疇に含まれることは勿論である。
【0083】
また、どの様なサイズでブロックに分割され、どのブロックがレジストレーション信号の埋め込み対象に選択されるかという情報は、電子透かし埋め込み装置と、電子透かし抽出装置で共有する必要がある。
【0084】
ブロック分割手段0401の分割で得られた画像データの一部I1は、フーリエ変換手段0402に入力される。
フーリエ変換手段0402は、入力された画像データI1に対してフーリエ変換を施す。入力された画像データI1の元のデータ形態を空間領域と呼ぶのに対して、フーリエ変換された後のデータ形態を周波数領域と呼ぶ。フーリエ変換は、入力された全てのブロックに対して施される。
【0085】
なお本実施の形態例では、入力されるブロックのサイズが2のべき乗であるので、処理の高速化の為に高速フーリエ変換を用いる。
高速フーリエ変換とは、フーリエ変換がn×n回の演算量を必要とするのに対して、(n/2)log2(n)の演算量で実行可能な変換アルゴリズムである。ただしここでnは正の整数である。高速フーリエ変換とフーリエ変換は、演算結果を得る為の速度が違うだけであり、両者からは等しい結果が得られる。よって本実施の形態例では、高速フーリエ変換とフーリエ変換を区別して説明しない。
【0086】
なお、フーリエ変換により得られた周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけが加算手段0403に入力される。一方で、位相スペクトルは逆フーリエ変換装置0404に入力される。
【0087】
次に、加算手段0403について説明する。加算手段0403には、上記振幅スペクトルと共に、レジストレーション信号と呼ばれる信号rが別に入力される。レジストレーション信号の例としては、図5に示す様なインパルス信号が挙げられる。
【0088】
図5では、フーリエ変換されて得られた2次元空間周波数成分のうちの振幅スペクトルが示されている。中心が低周波成分、周囲が高周波数成分である。0501は本来の画像成分が持っている信号成分の振幅スペクトルであり、写真等の自然画像に相当する信号では低域に多くの大きな信号が集中する。一方で高域にはほとんど信号が存在しない。
【0089】
なお、本実施の形態例では自然画像に一連の処理を施すことを想定して説明するが、本発明はこれに限らず、文書画像、CG画像等も同様に処理しても良い。ただし、本実施の形態は中間濃度が比較的多い自然画像を処理する場合に特に有効である。
【0090】
図5は、自然画像の本来持つ信号0501に対して周波数領域の信号の水平垂直ナイキスト周波数成分にインパルス信号0502、0503、0504、0505を加えた本実施の形態の一例である。この例の様に、レジストレーション信号はインパルス性の信号であることが望ましい。これは後述する電子透かし抽出装置において、レジストレーション信号だけを抽出しやすいからである。
【0091】
図5に示す例では入力信号のナイキスト周波数成分に対してインパルス信号を加えているが、本発明はこれに限定されることはない。即ち、電子透かし情報が埋め込まれた画像が攻撃を受けた場合にもレジストレーション信号が除去されないものであれば良い。上述した様に、JPEG圧縮などの非可逆圧縮方式はローパスフィルタ的な効果がある。よって、ここでの情報圧縮の対象となる高周波成分へインパルス信号を埋めこんでも、圧縮・伸長処理により除去されてしまう可能性がある。
【0092】
一方で、低周波成分へのインパルスの埋め込みは、高周波成分への埋め込みと比べて、人間の視覚特性からノイズとして知覚されやすいという欠点がある。よって、本実施の形態例では人間の視覚に認識しにくい第1の周波数以上であり、かつ非可逆圧縮・伸長処理により容易に除去されない第2の周波数以下である中間レベルの周波数へインパルス信号を埋め込むものとする。
【0093】
また、このレジストレーション信号は、加算手段0403に入力された各ブロック(本実施の形態例では1ブロック)に対して加えられる。加算手段0403は、周波数領域の画像データの振幅スペクトルにレジストレーション信号が加えられた信号を逆フーリエ変換手段0404に出力する。
【0094】
逆フーリエ変換手段0404は、入力された周波数領域の画像データに対して逆フーリエ変換を施す。この逆フーリエ変換は、入力された全てのブロックに対して施される。上述のフーリエ変換手段0402の場合と同様に、入力されたブロックのサイズが2のべき乗であるので処理の高速化の為に高速フーリエ変換を用いる。逆フーリエ変換手段0404へ入力された周波数領域の信号は、逆フーリエ変換されることにより空間領域の信号に変換され出力される。
【0095】
逆フーリエ変換手段0404から出力された空間領域の画像データは、ブロック結合手段0405に入力される。ブロック結合手段0405は、ブロック分割手段0405で行われた分割と逆の処理を行なう。ブロック結合手段0405の処理の結果、画像データ(青色成分)が再構成されて出力される。
【0096】
以上、図1に示したレジストレーション信号埋め込み手段0102の詳細を説明した。
図4に示す例では、レジストレーション信号をフーリ変換領域において埋め込む方式を説明した。しかし本実施の形態例は以上の例に限定されるものではなく、一方で、レジストレーション信号を空間領域において埋め込む方式も考えられる。このレジストレーション信号を空間領域において埋め込む方式を図29を用いて説明する。
【0097】
図29に示すように、レジストレーション信号を空間領域において埋め込む方式を実現するために、ブロック分割手段2901、加算手段2902、ブロック合成手段2903、逆フーリエ変換手段2904から構成される。
【0098】
ブロック分割手段2901及びブロック合成手段2903は、図4におけるブロック分割手段0401及びブロック合成手段0405と同様の動作をする。レジストレーション信号埋め込み手段0102に入力される画像データはまずブロック分割手段2901に入力され、分割される。ここで得られたブロックは加算手段2902に入力される。一方で、レジストレーション信号rは逆フーリエ変換手段2904に入力され、逆フーリエ変換処理により信号r'に変換される。
【0099】
ここで、レジストレーション信号rは、図5に示したものと同様に周波数領域上の信号である。加算手段2902には、ブロック分割手段2901からのブロックと逆フーリエ変換手段2904からの信号r'が入力され、夫々加算される。加算手段2902から出力された信号はブロック合成手段2903に入力され、画像データ(青色成分)が再構成されて出力される。
【0100】
以上に説明した図29に示す構成は、図4の構成と同様の処理を空間領域で行なうものである。図19の構成は、図4の構成に比べて、フーリエ変換手段を必要としないので高速な処理を行なうことが可能である。
【0101】
更に、図29の中で、信号r'は入力画像データIに対して独立な信号である。よって信号r'の算出、即ち逆フーリエ変換手段2904の処理は入力画像データIが入力される毎に実行される必要はなく、予めr'を生成しておくことが可能である。この場合には、図29の構成から逆フーリエ変換手段2904を除去することもでき、更に高速にレジストレーション信号を埋め込むことができる。このレジストレーション信号を参照するレジストレーション処理については後述する。
【0102】
次に、図4、及び図29に示す構成と比較して、更にレジストレーション信号の検出をしやすくした方法について、図50を用いて説明する。
【0103】
図50に示す手段構成は、ブロック分割手段5001、フーリエ変換手段5002、周波数特性判定手段5003、切り替え手段5004、加算手段5005、逆フーリエ変換手段5006、ブロック合成手段5007から構成される。以下、各手段の詳細について解説する。
【0104】
ブロック分割手段5001、及びブロック合成手段5007は、図4におけるブロック分割手段0401及びブロック合成手段0405と同様の動作をする。レジストレーション信号埋め込み手段0102に入力される画像データはまずブロック分割手段5001に入力され、分割される。
【0105】
ブロック分割手段5001で分割されたブロックのうち、少なくとも一つ以上のブロックの集合I1がフーリエ変換手段5002に入力され、I1以外のブロックの集合I2は何も処理されず、ブロック合成手段5007に入力される。フーリエ変換手段5002に入力されたブロックの集合I1はフーリエ変換が施され、そのうち振幅スペクトルは、周波数特性判定手段5003及び加算手段5005に入力される。
【0106】
一方で、位相スペクトルは、逆フーリエ変換手段5006に入力される。周波数特性判定手段5003では、ブロックの集合I1のブロック毎に周波数特性が判定され、その結果が切り替え手段5004に入力される。周波数特性判定手段5003の詳細については後述する。
【0107】
切り替え手段5004では、前段の周波数特性判定手段5003からの判定結果に応じて、適応的に第1のレジストレーション信号r1及び第2のレジストレーション信号r2のうちいずれかが選択され、加算手段5005に入力される。第1のレジストレーション信号r1、及び第2のレジストレーション信号r2についての詳細な説明は後述する。
【0108】
加算手段5005には、ブロックの集合I1の振幅スペクトルと、第1のレジストレーション信号r1及び第2のレジストレーション信号r2のいずれかが入力され、夫々加算される。加算された信号は、逆フーリエ変換手段5006に入力される。
【0109】
逆フーリエ変換手段5006には、レジストレーション信号が加算された振幅スペクトルに加えて位相スペクトルが入力され、両方のスペクトルを用いて逆フーリエ変換が施され、その結果がブロック合成手段5007に入力される。ブロック合成手段では、更にブロックの集合I2が入力され、画像データ(青色成分)が再構成されて出力される。
【0110】
次に、周波数特性判定手段5003について詳細に説明する。周波数特性判定手段5003では入力された振幅スペクトルの周波数特性を判定し、その結果を切り替え手段5004に出力する。ここで、具体的な例を図51に示して説明する。
【0111】
図51において、5101は比較的低周波成分に多くの信号を有する画像信号の振幅スペクトルの例である。5103に振幅スペクトルを示す。一般的に自然画像などは5101に示すような周波数特性を有することが多い。
【0112】
一方で、5102は5101に比べて比較的高周波成分まで振幅スペクトルを有する画像信号の振幅スペクトルの例である。5104に振幅スペクトルを示す。一般的にCGや有価証券などに用いられる線画などは5102に示すような周波数特性を有することが多い。
【0113】
周波数特性判定手段5004では、5101のような高周波成分が比較的少ない第1の画像信号と、5102のような高周波成分が比較的多い第2の画像信号を分類し、分類した結果を出力する。
【0114】
前記第1の画像信号と前記第2の画像信号を分類する方法としては、種々の方法が挙げられるが、その例として振幅スペクトルの低周波成分からの累積ヒストグラムを用いる方法がある。
【0115】
例えば、5101のような第1の画像信号の振幅スペクトルにおいて、最低周波成分から最高周波成分までの累積ヒストグラムは5105に示すようになる。同様に、5102のような第2の画像信号の振幅スペクトルにおいて、累積ヒストグラムは5106に示すようになる。ここで、累積ヒストグラムにおいて所定の値を有する第1の周波数を夫々算出する。
【0116】
図51には前記所定の値を60%とした例を示す。この場合、5105においては前記第1の周波数はf1、5106においては前記第1の周波数はf2となる。更に、前記算出された第1の周波数と、予め決められた所定の第2の周波数fthを比較する。
【0117】
第1の周波数が第2の周波数よりも小さいときは、入力された画像信号は「比較的高周波成分が少ない画像信号」であると判定する。一方で第1の周波数が第2の周波数よりも大きいときは、入力された画像信号は「比較的高周波成分が多い画像信号」であると判定する。
【0118】
図51に示す例では、5101は「比較的高周波成分が少ない画像信号」であると判定され、5102は「比較的高周波成分が多い画像信号」であると判定される。
【0119】
次に、切り替え手段5004について詳細に説明する。切り替え手段5004では、前段の周波数特性判定手段5003から入力された画像信号の周波数特性に応じて、適応的に第1のレジストレーション信号r1及び第2のレジストレーション信号r2のいずれかが選択されて出力される。
【0120】
本実施の形態例においては、周波数特性判定手段5003から「比較的高周波成分が少ない画像信号」と入力された場合には第1のレジストレーション信号r1が選択され、一方で周波数特性判定手段5003から「比較的高周波成分が多い画像信号」と入力された場合には第2のレジストレーション信号r2が選択される。
【0121】
ここで、第1のレジストレーション信号r1及び第2のレジストレーション信号r2について詳細な説明をする。レジストレーション信号は、一般的に低周波成分にスペクトルを有したほうが望ましい。これは、レジストレーション信号を埋め込んだ画像データが種々の攻撃が施された場合でも電子透かしを抽出可能とするためである。
【0122】
前記攻撃には、JPEGなどの非可逆圧縮やプリントアウト/スキャニングなどが挙げられるが、一般的には画像信号の高周波成分を除去する場合が多い。よって、高域に埋め込んだレジストレーション信号は前記攻撃によって除去されてしまう可能性があることから、レジストレーション信号は低域に埋め込むことが望ましい。
【0123】
一方で、むやみに低域に埋め込むと、本来の画像信号との分類ができず、後述するレジストレーション処理でレジストレーション信号だけを抽出することが困難となる。特に、本来の画像信号が比較的高周波成分を多く有する画像信号である場合には、レジストレーション信号は高域に埋め込むことが望ましい。よって、本実施の形態例では、本来の画像信号の周波数特性に応じて適応的にレジストレーション信号を埋め込む周波数成分を決定する。
【0124】
図52に示す例を用いて具体的に説明する。図52の5201に第1のレジストレーション信号r1の一例を、5202に第2のレジストレーション信号r2の一例を示す。5201は周波数fr1にだけインパルス性のスペクトルを有する信号であり、5202は周波数fr2にだけインパルス性のスペクトルを有する信号である。
ここで、fr1<fr2である。即ち、第1のレジストレーション信号と第2のレジストレーション信号は共にインパルス性のスペクトルを有し、かつ第1のレジストレーション信号r1は第2のレジストレーション信号r2よりも、低周波成分にインパルスを有する信号である。
【0125】
5203に示すような「比較的高周波成分が少ない」画像信号に対して低周波成分にインパルスを有するレジストレーション信号を用い、5204に示すような「比較的高周波成分が多い」画像信号に対して高周波成分にインパルスを有するようなレジストレーション信号を用いることによって、後述するレジストレーション処理においてインパルスをより抽出しやすくすることが可能である。
【0126】
なお、本実施の形態例では2種類のレジストレーション信号(第1のレジストレーション信号及び第2のレジストレーション信号)を用いたが、本発明はこれに限定されることなく3種類以上のレジストレーション信号を用いることも可能である。
【0127】
この場合には、画像信号の周波数特性に応じて、更に適応的にレジストレーション信号の埋め込みを行なうことが可能となり、即ち、2種類の電子透かしを用いた場合に比べて、更にレジストレーション信号の抽出をしやすくすることが可能である。
【0128】
≪パッチワーク法≫
本実施の形態例では付加情報Infの埋め込みの為にパッチワーク法と呼ばれる原理を用いている。そこで、まず本実施の形態例で用いるパッチワーク法の原理を説明する。パッチワーク法では画像に対して統計的偏りを生じさせることによって付加情報Infの埋め込みを実現している。
【0129】
これを図30を用いて説明する。図30においては、3001、3002は各々画素の部分集合、3003は画像全体である。画像全体3003から二つの部分集合A3001とB3002を選択する。
【0130】
この二つの部分集合の選択方法は、互いに重ならならなければ本実施の形態例におけるパッチワーク法による付加情報Infの埋め込みが実行可能である。ただし、この二つの部分集合の大きさや選択方法は、このパッチワーク法によって埋め込まれた付加情報Infの耐性、即ち画像データwIが攻撃を受けた際に付加情報Infを失わない為の強度に大きく影響を及ぼす。これについては後述する。
【0131】
今、部分集合A,Bはそれぞれ、A={a1,a2,...,aN}、B={b1,b2,...,bN}で表されるN個の要素からなる集合であるとする。部分集合Aと部分集合Bの各要素ai ,biは画素値または画素値の集合である。本実施の形態例ではカラー画像データ中の青色成分の一部に相当する。
【0132】
ここで、次の指標dを定義する。
d = 1/N Σ (ai bi)
これは、二つの集合の画素値の差の期待値を示している。
一般的な自然画像に対して、適当な部分集合Aと部分集合Bを選択し、指標dを定義すると、
d ≒ 0
となる性質がある。以降ではdを信頼度距離と呼ぶ。
【0133】
一方で、付加情報Infを構成する各ビットの埋め込み操作として、
a'i = ai + c
b'i = bi c
という操作を行なう。これは部分集合Aの要素全てに対して値cを加え、部分集合Bの要素全てに対してcを減ずるという操作である。
【0134】
ここで、先程の場合と同様に、付加情報Infが埋め込まれた画像から部分集合Aと部分集合Bを選択し、指標dを計算する。
すると、
d = 1/N Σ (a'i - b'i)
= 1/N Σ {(ai + c) - (bi - c)}
= 1/N Σ (ai - bi) + 2c
= 2c
となり0にはならない。
【0135】
即ち、ある画像が与えられた時に、画像に対して信頼度距離dを算出することによって、d≒0ならば付加情報Infは埋め込まれておらず、一方でdが0から一定量以上離れた値であるなら付加情報Infが埋め込まれていると判断できる。
以上がパッチワーク法の基本的な考え方である。
【0136】
このパッチワーク法の原理を応用し、本実施の形態例では複数のビットの情報を埋め込む。本方法においては、部分集合Aと部分集合Bの選択の方法についてもパターン配列によって定義している。
上述の方法においては、原画像の所定の要素に対してパターン配列の要素を加えたり減じたりすることによって、付加情報Infの埋め込みを実現している。
【0137】
簡単なパターン配列の例を図9に示す。図9は、1ビットを埋め込む為に8×8画素を参照する場合の、元の画像からの画素値の変更量を示すパターン配列である。図9の様に、パターン配列は正の値を持つ配列要素、負の値を持つ配列要素、及び0の値を持つ配列要素から構成される。
【0138】
図9のパターンにおいて、+cの配列要素で示される位置は対応位置の画素値をcだけ上昇させる位置を示し、上述した部分集合Aに相当する位置である。一方−cの配列要素で示される位置は対応位置の画素値をc減少させる位置を示し、上述した部分集合Bに相当する位置である。また0で示される位置は上述した部分集合A,B以外の位置であることを示す。
【0139】
本実施の形態例では、画像の全体的な濃度を変化させない為にも正の値を持つ配列要素の個数と負の値を持つ配列要素の個数を等しくしている。即ち、1つのパターン配列において全ての配列要素の和が0になっている。なお、後述する付加情報Infの抽出操作の時にはこの条件が必須である。
【0140】
以上の様なパターン配列を用いて付加情報Infを構成する各ビット情報の埋め込み操作を行なう。
【0141】
本実施の形態例では、図9のパターンを元の画像データにおける互いに異なる領域に複数回配置して画素値を上昇/減少させることにより、複数のビット情報、即ち付加情報Infを埋め込む。言い換えれば、1つの画像の互いに異なる領域に、部分集合Aと集合Bの組み合わせだけでなく、部分集合A’と集合B’、部分集合A”と集合B”、…という複数の組み合わせを想定することで、複数のビットからなる付加情報Infを埋め込む。
【0142】
なお、本実施の形態例では元の画像データが大きい場合には、繰り返し付加情報Infを埋め込むことになる。これはパッチワーク法が統計的性質を利用しているものであることから、統計的性質が現れるのに充分な数を必要とすることによる。
【0143】
また、本実施の形態例では複数ビットを埋め込む際にパターン配列を用いて画素値を変更する領域が重ならない様にする為、予め互いのビット同志でパターン配列を使用する相対位置を決定する。即ち、付加情報Infを構成する1ビット目の情報を埋め込む為のパターン配列の位置と、2ビット目の情報を埋め込む為のパターン配列の位置の関係は適切に定められる。
【0144】
例えば付加情報Infが16ビットで構成されていれば、1〜16ビット目の夫々の8×8画素のパターン配列の位置関係は、32×32画素よりも大きいサイズの領域上で画質劣化が少なくなる様に相対的に与えられる。
【0145】
更に、上記付加情報Inf(これを構成する各ビット情報)は、画像データが大きい場合には、できるだけ多くの回数繰り返して埋め込む。これは、付加情報Infの各ビットを正しく抽出可能とすることが目的である。特に本実施の形態例では、同一の付加情報Infが繰り返し埋め込まれていることを利用した統計的な計測を行なうので、上記繰り返しは重要である。
【0146】
以上説明した様な埋め込み位置の選択は、図1における埋め込み位置決定手段0103において実行される。
次に、上記の部分集合Aと部分集合Bの決め方について述べる。
【0147】
[ パターン配列決定手段]
パッチワーク法では、部分集合Aと部分集合Bの決め方が、付加情報Infの攻撃耐性と、付加情報Infを埋め込んだ画像の画質に大きく関係する。
本実施の形態例においては、図1において付加情報Infが埋め込まれ、JPEG圧縮及び伸長が施される画像データwIは、プリンタにより印刷出力され、図2のスキャナ0201により入力され、画像データwIとなる。画像データwIとwIを得る処理の間において印刷、スキャンニングを含むさまざまな攻撃が加えられている。
【0148】
以下、本実施の形態例におけるパッチワーク法によって埋め込まれた付加情報Infが印刷による攻撃に耐性を有する為にはどうしたらよいか考えてみる。
【0149】
パッチワーク法において、パターン配列の形状と、要素の値の大きさが付加情報Infの埋め込み強度と画像データwIの画質とのトレードオフを決定するパラメータになっている。よって、上述した攻撃を施された後に付加情報Infを抽出できるかどうかは、このパラメータを操作することによって最適化することが可能である。これについて、もう少し詳しく説明をする。
【0150】
本実施の形態例においては、パッチワーク法における部分集合Aの要素aiと部分集合Bの要素biの基本的な位置関係を図9に一例が示されるマトリクスによって固定する。なお、要素ai、要素biは1つの画素値に限らず、複数の画素値の集合であってもよい。
【0151】
このパターン配列を複数個、画像中に重なり合わない様に割り当て、この画像における割り当てられた各画素を、パターン配列の要素の値に基づいて変更する。
画像がパターン配列の正の値(+c)に変更される画素の部分集合をA、パターン配列の負の値(−c)に変更される画素の部分集合をBとすると、パッチワーク法の原理が適用されていることがわかる。
【0152】
なお、以降の説明では、パターン配列の正の値(+c)を持つ画素の集まり(部分集合の要素aiの位置と対応)を正のパッチ、負の値(−c)を持つ画素の集まり(部分集合の要素biの位置と対応)を負のパッチと呼ぶ。
【0153】
以降、正のパッチと負のパッチを区別せず用いる場合があるが、その場合のパッチは、正のパッチ及び負のパッチ、若しくはいずれか一方を指すこととする。
【0154】
図9に一例が示されるパターン配列の各パッチの大きさが大きくなると、パッチワーク法における信頼度距離dの値が大きくなるため、付加情報Infの耐性は強くなり、かつ付加情報Infを埋め込んだ後の画像は元の画像から画質が大きく劣化する。
【0155】
一方、パターン配列の各要素の値の大きさが小さくなると、付加情報Infの耐性は弱くなり、かつ付加情報Infを埋め込んだ後の画像は元の画像から画質がそれ程劣化しない。
この様に、図9に示されるパターン配列の大きさと、このパターンを構成するパッチの要素(±c)の値の大きさを最適化することは、画像データwIの耐性や画質にとって非常に重要なことである。
【0156】
まずパッチの大きさについて考える。パッチの大きさを大きくすると、パッチワーク法によって埋め込まれた付加情報Infは耐性が強くなり、一方でパッチの大きさを小さくすると、パッチワーク法によって埋め込まれた付加情報Infは耐性が弱くなる。これは、非可逆圧縮、及び印刷系が処理全体としてローパスフィルタ的な効果があることによるものである。
【0157】
パッチの大きさが大きくなると、付加情報Infを埋め込む為に偏重された信号は低周波数成分の信号として埋め込まれ、一方でパッチの大きさが小さくなると付加情報Infを埋め込むために偏重された信号は高周波成分の信号として埋め込まれることとなる。
【0158】
高周波成分の信号として埋め込まれた付加情報Infは印刷系の処理を施されることによって、ローパスフィルタ的な処理を施され、消去されてしまう可能性がある。一方で、低周波成分の信号として埋め込まれた付加情報Infは印刷系の処理を施されても、消去されずに抽出可能である可能性が大きい。
【0159】
以上から、付加情報Infが攻撃に対する耐性を有する為には、パッチの大きさは大きな方が望ましい。しかしながら、パッチの大きさを大きくすることは、原画像に低周波成分の信号を加えることに等しく、これは画像データwIでの画質劣化を大きくすることに繋がる。なぜなら、人間の視覚特性は図13の1301に示すようなVTFの特性を持つからである。図13の1301からわかる様に、人間の視覚特性は低周波成分のノイズに対しては比較的敏感であるが、高周波成分のノイズに対しては比較的鈍感である。よって、パッチの大きさはパッチワーク法によって埋め込まれた付加情報Infの強度と画像データwIでの画質を決定する為に最適化することが望ましい。
【0160】
次にパッチの値(±c)について考える。
パッチを構成する各要素(±c)の値を“深さ“と呼ぶこととする。パッチの深さを大きくすると、パッチワーク法によって埋め込まれた付加情報Infは耐性が強くなり、一方でパッチの深さを小さくすると、パッチワーク法によって埋め込まれた付加情報Infは耐性が弱くなる。
【0161】
パッチの深さは付加情報Infを抽出する場合に用いる信頼度距離dに密接に関係している。信頼度距離dは付加情報Infを抽出するための演算値であり、これについては、抽出処理の部分で詳しく説明するが、一般的に、パッチの深さを大きくすると、信頼度距離dは大きくなり、付加情報Infを抽出しやすい。一方で、パッチの深さを小さくすると、信頼度距離dは小さくなり、抽出しにくい。
【0162】
以上から、パッチの深さも、付加情報Infの強度と、付加情報Infが埋め込まれた画像の画質を決定する重要なパラメータであり、最適化して使用することが望ましい。パッチの大きさと深さを最適化したものを常に使用することによって、非可逆圧縮、或いは印刷等の攻撃に対する耐性を有し、かつ画質劣化が少なくなる様な付加情報Infの埋め込みが実現可能である。
【0163】
次に、本実施の形態例で使用する具体的なパッチの深さ及び大きさを説明する。以下の説明を簡略化するために、印刷系における処理を簡略化する。印刷系の処理の例としてハーフトーン処理による階調変換について考える。
【0164】
ハーフトーン処理とは、上述した様に階調を表現する方法の変更である。ハーフトーン処理の前後で人間の視覚は同じ様に階調を知覚する。しかしながら、スキャナ等の入力手段は、人間の様な曖昧な知覚を持たず、上記前後で必ずしも同じ様に階調を"知覚"しない。
【0165】
即ち、スキャナ単独では、面積階調によって表現されている階調が本当に元の濃度階調で表現されていた階調情報を持っているかどうか認識しない。
それでは次にどのようなハーフトーン処理を行なえば面積階調によって、濃度階調で表現されていた階調を表現できるかを考えてみる。まずハーフトーン処理による濃度階調と面積階調の階調表現の関係について考える。
【0166】
図43に4×4のディザマトリクスとそのマトリクスで表現できる階調の関係の例を示す。図43においては、マトリクスが面積階調で表現された階調であり、マトリクスが表現している階調を下の数字に示している。
【0167】
4×4のマトリクスには16個の画素が存在する。この16個の画素のオン/オフにより4×4+1=17階調が表現可能である。一般的には、ハーフトーン処理されたm×nのドットは、(m×n+1)階調の表現が可能である。
【0168】
これを、図44の例を用いて説明する。図44においては画素4403は0〜16のダイナミックレンジを持つ濃度階調で表現されており、値が8であると仮定する。この画素と同じ値を持つ画素を縦横に4個並べ、4×4の大きさを持つブロック4402を生成する。
【0169】
生成したブロックに対して、4×4の大きさを持つ適当なディザマトリクスを用いてハーフトーン処理を行い、2値データ4403を生成する。この2値化されたデータがプリンタに送信され、出力される。その後、スキャナなどの画像入力器手段によってプリンタの出力解像度と同じ解像度で再び入力される。この時、プリンタのドットの出力解像度と、スキャナが画素を読みこむ入力解像度が1:1の関係にあると仮定すれば、プリンタによって出力されスキャナによって入力された画素は2値データ4403と等しくなる。
【0170】
こうして生成された画像データが2値データ4404である。2値データ4404に対して適当な補間処理を用いた方法により2値データは1/(4×4)の大きさにスケーリングされ、多値データ4405が生成される。この多値データは値が8になる。なお、スキャナが2値データ4403を2値データ4404と判定できるほど十分高解像度でない場合は、光学的に2値データ4403は多値データ4405に変換される。
【0171】
以上、図44を用いて濃度階調で表現された階調情報が面積階調に変換され、その後再び濃度階調で表現されるときに、正しく階調情報が伝搬される様子を説明した。一般的には、1画素をm×n画素で表現するような面積階調を用いてハーフトーン処理し、このm×n画素の2値データを1画素にするような補間処理を行なうことによって、階調情報は伝搬される。
【0172】
本実施の形態例では、印刷及びスキャニングを含む攻撃にも耐性を持たせるため、付加情報Infの埋め込みで用いられるパッチの大きさと深さを、上述した面積階調と濃度階調の関係を考慮し設計する。なお、本実施の形態例では、さまざまな大きさの画像をある決められたサイズにプリンタで出力する場合について考える。
【0173】
図45は画像の解像度が異なる2枚の画像4501及び4504を、それぞれ同じ大きさの寸法4503、4506にプリンタで出力する場合について示している。図45(a)は画像の解像度が低い場合、(b)は画像の解像度が高い場合の一連の処理である。
【0174】
初めに、画像4501及び画像4504は、1画素が1ドットに対応するように拡大処理が施される。このとき拡大方法は、ニアレストネイバ法などの補間が用いられる。なお、ニアレストネイバ法は、同じ画素値を近隣画素にコピーすることにより拡大を行なう手法である。(画像が非常に高解像度の場合には縮小(間引き)も考えられる。)その結果、画像4501は画像4502に、画像4504は画像4505にそれぞれ拡大される。その後、ハーフトーン処理により4503及び4506の様な印刷物(印刷用画像データ)としてドットで表現される。
【0175】
プリンタの実際の処理では、CMYK変換処理、カラーマッチングなどが行われるが、説明を簡単にするために、ここでは省略する。
図45から、画像の解像度が低いほど、1画素が多くのドットで表現でき、画像の解像度が高いほど、1画素が少ないドットで表現しなければならないことがわかる。
【0176】
次に、濃度階調から面積階調に変換した場合にもパッチによる埋め込みの影響が伝わることを示す。なお、ここでは説明を分かりやすくする為、画像の解像度による影響を除いて考える。
【0177】
図46の4601、4605は、ある画像に付加情報Infを埋め込む場合の正のパッチで操作をする画像領域(部分集合A)で、かつハーフトーン処理前の状態である。図46の4603、4607は、ある画像に付加情報Infを埋め込む場合の負のパッチで操作をする画像領域(部分集合B)で、かつハーフトーン処理前の状態である。
【0178】
図46の4601、4603はパッチによる付加情報Infの埋め込みが行われていない場合であり、4605、4607は付加情報Infの埋め込みが行われている場合である。
またこの時、4601、4603、4605、4607は、全てハーフトーン処理が施される直前の1画素1ドットに対応しているとする。
【0179】
ハーフトーン処理により、図46の4601、4603、4605、4607に示される画像は、4602、4604、4606、4608の様に面積階調としてドットで表現される。
【0180】
付加情報Infの埋め込みを行っていない場合では、4602におけるインクドットと4604におけるインクドットの数の差は、一般的にはほとんど変わらないと言える。画像が大きく、パッチ単位でインクドットの差の平均値を求めた場合には、ほぼゼロになる。
【0181】
一方、付加情報Infの埋め込みを行った場合では、4606におけるインクドットと、
4608におけるインクドットの数の差は、現れてくると考えられる。
付加情報Infが面積階調により表現された場合にも、パッチの設計により、インクドットの増減を制御することが可能である。パッチワーク法は、印刷及びスキャニングの攻撃に対しても耐性を持つことが可能であるといえる。
【0182】
また、図46から、パッチを埋め込む面積を増加させれば、インクドットの数が増加すること、パッチの深さを深くすれば、インクドットの数が増加することが直感的に想像できる。
【0183】
パッチとインクドットの増加の関係を図47を用いて説明する。図47はパッチの大きさ、深さによるインクドットの変化を示す図面である。図47において、横軸は、1画素が1ドットまで拡大された部分集合A、又は部分集合Bをハーフトーン処理するディザマトリクスの係数値を示し、縦軸はそのディザマトリクスの係数値の出現頻度を示している。それと同時に、説明を分かりやすくする為、横軸に1画素が1ドットまで拡大された部分集合A、又は部分集合Bのハーフトーン処理される画素値の平均が示されている。
【0184】
図47に示す様に、一般的にはディザマトリクスの係数値は大きな部分集合A、又は部分集合Bに対応する場合には、ほとんど偏った値を持たず出現頻度はほぼ等しいと考えて良い。
【0185】
付加情報Infの埋め込みにより、埋め込み前の画素値の平均4703は、埋め込み後の画素値の平均4704にまで変化したとすると、ディザマトリクスの2値化処理により、斜線部分4702だけインクドットの数が増加することがわかる。
【0186】
すなわち、パッチの深さとインクドットの増加数は比例の関係にあることがわかる。
また、パッチのサイズを大きくした場合には、ディザマトリクスの係数値の出現頻度が更に増加することから、斜線部分の面積4702が出現頻度方向に増加し、パッチの深さとインクドットの増加数も比例の関係にあることがわかる。
【0187】
以上の性質を考慮すると、画像全体では
(1)埋め込み深さは印刷物上のドットの数と比例する。
(2)パッチのサイズは印刷物上のドットの数と比例する。
すなわちパッチの埋め込みにより変化する、画像全体の正のパッチを埋め込む領域と画像全体での負のパッチを埋め込む領域での、画像全体でのドット数の差をΔβとすると
Δβ = 2 × α × PA × C + γ …(式47−1)
で表現される。
αは比例係数で、γはマージンで、Cは埋め込み深さ、PAは正又は負のパッチの画像全体の1画素1ドットに対応した面積である。ここで、α、Δβ、γは実験により定められる数である。
【0188】
なお、この(式47−1)の原理はディザマトリクスによるハーフトーン処理だけでなく、誤差拡散法においても上記(1)と(2)は成立することから適用可能である。
【0189】
(式47−1)では、画像の解像度と、プリンタの出力解像度及びスキャナの入力解像度について考慮していない。以下、画像の解像度と、プリンタの出力解像度及びスキャナの入力解像度が変化した場合について考える。
【0190】
本実施の形態例では、スキャナの入力解像度は、できるだけ多くの情報を保持するために、フラットベッドスキャナにおける十分な解像度である600ppiに固定する。
次に、プリンタの出力解像度と画像の解像度について考える。
【0191】
図45の説明で既に述べたが、画像を印刷する場合には1画素の濃度階調を表現するドット数は、画像の解像度によって決まる。以下に一例を示す。
例えば、図45において画像4501は1000×800画素を持つ画像であるとする。この画像を主走査方向、副走査方向ともに1200dpiの出力解像度を持つプリンタで、長辺が5inchに収まる様に出力する場合、ハーフトーン処理の手前で1画素を1ドットになる様に拡大処理が行われ、長辺の出力ドット数は1200dpi×5=6000dotとなる。
【0192】
その為、画像4501は6000×4800画素をもつ画像4502にまで拡大される。ハーフトーン処理が施された画像4503から4501の階調を再現する場合には、1画素は6×6ドットにより表現される。
【0193】
一方、画像4504は3000×2400画素を持つ画像であるとする。この画像を同じく1200dpiの解像度を持つプリンタで、長辺が5inchに収まるように出力する場合、1画素が1ドットになる様に、同様に、6000×4800画素を持つ画像4505にまで拡大され、その後、ハーフトーン処理が施された画像4506になる。画像4504の1画素は、2×2ドットにより表現される。
【0194】
インクドットの濃度は決まっていると考えられるので、1画素が5×5ドットで表現される場合には、1画素で表現できる濃度階調のダイナミックレンジは大きい。一方、2×2ドットで表現される場合には、1画素で表現できる濃度階調のダイナミックレンジは小さい。
【0195】
付加情報抽出処理において詳しく述べるが、パッチワーク法では検出時に各パターン配列単位において、
(正のパッチを埋め込んだ領域の画素値の和)
−(負のパッチを埋め込んだ領域の画素値の和)
を計算し、画像全体で各パターン配列単位の平均値を求める。この平均値を信頼度距離dと呼ぶが、この信頼度距離dが大きいほど、確かな付加情報の抽出が可能である。
【0196】
図48は、パターン配列単位における正及び負のパッチ領域の差を図的に示している。図48(a)は画像解像度が低い場合で4801は正のパッチ領域、4802は負のパッチ領域、図48(b)は画像解像度が高い場合で4803は正のパッチ領域、4804は負のパッチ領域を示している。
【0197】
なお、インクドットは1ドットにつき、決まった濃度になるので、4801及び4802は1画素が多くのインクドットから成り立っているため、信頼度距離dは大きな値にまでダイナミックレンジを持つ。一方、4803及び4804では、1画素が少ないインクドットにより表現されるため、信頼度距離dは大きな値にまでダイナミックレンジを持たない。
【0198】
一般的に1画素が少ないドットで構成される場合(画像の解像度が高い場合)には、1画素の持つ階調のダイナミックレンジが小さいため、大きな信頼度距離dは得られず、付加情報Infの抽出ができない場合が考えられる。
【0199】
従って、画像の解像度が高い場合には、パッチの面積を大きくするか、又は埋め込み深さ(±c)を大きくする必要がある。一般的には、高解像度出力時には位置ズレも大きな問題となるため、パッチの面積を大きくするのが好ましい。
【0200】
パターン配列あたりの付加情報の検出に必要なドット数をΔβpとすると、正又は負のパッチの画素数をP、パッチの埋め込み深さCと1画素を表現するドットの数m×nの関係は、(式47−1)より、
Δβp = 2 × α× P ×(m×n)×(C/255)+ γ …(式47−2)
で表される。
【0201】
ここで、(m×n)×(C/255)は埋め込み深さCを最大255階調まで変化させても、1画素につきドットは最大でm×nしか増加しないことを示している。また、αは比例係数、γはマージンである。
【0202】
なお、1画素を再現するドット数m×nは、
m×n=(主走査方向のプリンタの出力解像度/ 画像の解像度)×(副走査方向のプリンタの出力解像度/画像の解像度)
で求められれ、m×nは画像の解像度が高いほど小さくなる。
【0203】
従って、Δβp、α、γを実験により求めると、付加情報Infの検出に必要なパターン配列あたりの埋め込み深さ、パッチの大きさ(パターン配列の大きさ)及び埋め込み深さをプリンタの出力解像度及び画像の解像度から求めることができる。
以上の考察を踏まえ、画像の解像度に応じて埋め込み深さ(±c)及びパッチの大きさを変更する方法を提案する。
【0204】
以下、具体的にその装置について示す。
図1のパターン配列決定手段0110にプリンタの出力解像度及び画像の解像度を入力し、付加情報Infの抽出に適したパターン配列が出力される。
一例として、プリンタの出力解像度が1200dpiであり、画像を長辺が約6inchの大きさに印刷出力する場合について考える。画像には300ppi〜600ppiの範囲(長辺1800画素〜3600画素)の画像があるとする。
【0205】
付加情報Infの埋め込みに用いるパターン配列を画像の解像度に応じて、画像の解像度が500ppi未満の場合には、図49におけるパターン配列4901を用い、画像の解像度が500ppi以上の場合には図49のパターン配列4903を用いるとする。また、埋め込み深さは、(式47−2)を用いて、適切に決められるとする。
【0206】
パターン配列決定手段0110でこのようにパターン配列が適当に決められ、後段の埋め込み位置決定手段0103では、パターン配列決定手段0110から入力されたパターン配列の大きさに基づいて、埋め込み位置が決定される。更に、付加情報埋め込み手段0104では、埋め込み位置決定手段0103から入力されるパターン配列の埋め込み位置に従い、画像に対して、付加情報Infの埋め込みを行なう。
【0207】
一方、埋め込みに用いたパターン配列がわからないと付加情報Infの抽出を行なうことはできない。そのため、後述するパターン配列判定手段2001を用いて、レジストレーション手段0203の出力するスケーリング率から、画像の解像度を判断する。
【0208】
プリンタの出力解像度が固定である場合は、スケーリング率から画像の解像度がわかれば、パターン配列判定手段2001により、埋め込みに用いたパターン配列を判定することができる。
【0209】
従って、画像の解像度により、パッチやパターン配列を可変にした場合にも、レジストレーション信号から得られる情報を利用することで付加情報Infの抽出が可能である。
【0210】
[ 埋め込み位置決定処理]
図11は本実施の形態例の埋め込み位置決定手段0103の詳細構成を示すブロック図である。図11に示すマスク作成手段1101は、付加情報Infを構成する各ビット情報の埋め込み位置を規定する為のマスクの作成を行なう。マスクとは、各ビット情報に対応するパターン配列(図9参照)の相対的な配置方法を規定する位置情報を備えたマトリクスである。
【0211】
図17の1701にマスクの一例を示す。マスクの内部には夫々係数値が割り当てられており、各々の係数値はマスク内で等しい出現頻度を有している。このマスクを用いる場合であれば、最大16ビットからなる付加情報Infを埋め込むことが可能である。
【0212】
次にマスク参照手段1102は、マスク作成手段1101で作成したマスクを読みこみ、マスク内の各係数値と、各ビット情報が何ビット目かの情報を対応付けて、各ビット情報を埋め込む為のパターン配列の配置方法を決定する。
【0213】
更にマスク・パターン配列対応手段1103は、マスク内の各係数値の位置に前段の0110から入力される各パターン配列の配列要素(例えば8×8サイズ)を展開する。即ち、図17の1701に示されるマスクの各係数値(1マス)を、同図1703の様に8×8倍にして各パターン配列の埋め込み位置として参照可能とする。
【0214】
後述の付加情報埋め込み手段0104は、図17の埋め込み先頭座標1702を参照して、パターンサイズを用いて各ビット情報を埋め込むことになる。
【0215】
なお、本実施の形態例ではマスク作成手段1101に、画像データ(青色成分)を入力する毎に上記マスクを作成する。よって、大きいサイズの画像データを入力する場合には、複数回繰り返して同一の付加情報Infを埋め込むことになる。
【0216】
上記の方法では画像から付加情報Infを抽出する場合に、上記マスクの構成(係数値の配列)が鍵の役割を果たす。即ち、鍵の所有者だけが情報の抽出を行なえるという効果がある。
なお本実施の形態例においては、リアルタイムにマスクを作成せずに、予め作成しておいたマスクをマスク作成手段1101の内部記憶手段などに記憶させておき、必要時に呼び出す場合も範疇に含む。この場合には高速に後段の処理に移行することができる。
【0217】
[埋め込み位置決定手段で実行される各処理の詳細説明]
次に、埋め込み位置決定手段0103の中で実行される各処理の詳細を説明する。
[マスク作成手段]
はじめに、マスク作成手段1101について説明する。
【0218】
パッチワーク法を用いた付加情報Infの埋め込みにおいて、攻撃耐性を強める為に画素値に大きな操作を加えて情報を埋め込んだ場合(例えばパターン配列のcの値を大きく設定した場合)には、元の画像データが表す画像において画素値の急激な変化の有るいわゆるエッジ部分では画質の劣化は比較的目立ちにくいが、画素値の変化の少ない平坦部では画素値を操作した部分がノイズとして目立ってしまう。
【0219】
図13に人間の目で知覚する空間周波数特性を示す。横軸は空間周波数(Radial Frequency)を示し、縦軸は視覚の応答値である。画素値を操作し、情報を埋めこんだ場合、人間の目が敏感に知覚できる低周波数領域では画質劣化が目立つことが図13からわかる。
【0220】
その為本実施の形態例では、多値画像の2値化処理に通常使用されているブルーノイズマスクやコーンマスクの特性を考慮し、各ビットに対応するパターンの配置を行なう。
【0221】
次にブルーノイズマスク、コーンマスクの特性について簡単な説明を行なう。まず初めにブルーノイズマスクの特性について説明する。ブルーノイズマスクはどの様な閾値で2値化してもブルーノイズパターンとなる特性を有する。このブルーノイズパターンとは空間周波数が高周波領域に偏った周波数特性を示すパターンである。
【0222】
図37に、あるブルーノイズマスクの一部を示す。また図14の1401には、閾値10で2値化したブルーノイズマスクの空間周波数特性の概略図を示す。
【0223】
1401の横軸はRadial Frequencyであり、ブルーノイズマスクをフーリエ変換したときの原点(直流成分)からの距離を示している。縦軸はPower spectrumであり、横軸Radial Frequencyの示す距離にある振幅成分の2乗和をとり平均化した値である。なお、同図は画像の2次元周波数特性を1次元グラフ化し視覚的に分かりやすくしたものである。
【0224】
図13と比較してみると、ブルーノイズマスクは高周波成分に偏りがある為、人間の目に知覚されにくいことがわかる。従って、インクジェットプリンタ等では、ドットを用いた面積階調で多値画像の階調を表現する際に、ブルーノイズマスクを用いることで、空間周波数成分を高周波に偏らせ、人の目に目立つことなく面積階調を表現できることが知られている。
【0225】
次にブルーノイズマスクの生成過程の一例を以下に示す。
1. ホワイトノイズを生成する。
2. 階調gの2値画像Pgl(初期値はホワイトノイズマスク)にローパスフィルタリングを行い、多値画像Pglを生成する。
3. 階調 g (初期値:127)の画像とローパスフィルタリング画像Pgl(多値)を比較し、 誤差の大きい順に、2値画像Pgの白黒の画素を反転させ、2値画像Pgl+1を得る。
4. 誤差が最小になるまで、2,3の操作を繰り返し、2値画像Pgl(初期値はホワイトノイズマスク)を少しづつ階調 g(初期値:127) の2値画像Pg(ブルーノイズマスク)に変えていく。
5. Pg画像に階調g+1(g-1)の2値の黒(白)の点をランダムな位置に与える。
上記2,3の操作を繰り返し、Pg+1(Pg-1)を得る。
【0226】
以上の操作を繰り返すことにより、全ての階調でのブルーノイズマスクを作成し、ディザマトリクスを生成する。
例えば32×32のブルーノイズマスクでは1階調ごとに4点増加(減少)する。ただし、このとき256階調持たせる為に前の階調gで決まった黒(白)のビットは反転できない為、低又は高階調では制限条件が厳しくなり、一様性に乏しいランダムパターンしか得られないという欠点がある。
【0227】
図12にブルーノイズマスクを構成する各係数の出現頻度分布(ヒストグラム)1201を示す。図12では0〜255の全ての値(係数)がマスク内に同数存在している。
【0228】
上記ブルーノイズマスクが多値画像の2値化に用いられる技術は良く知られており、例えば、「J.Opt.Soc.Am A/Vol.9, No.11/November 1992 Digital halftoning technique using a blue-noise mask Tehophano Mitsa, Kevin J.Parker」等に詳しく開示されている。
【0229】
次にコーンマスクの特性について説明する。コーンマスクは、このマスクに含まれる各係数を2値化した場合に、ここで得られた2値情報を表す空間周波数領域上で、図14の1402に示される様に、周期的又は擬似周期的なピークが発生することを1つの特徴とする。ただし、低周波領域ではピークが立たない様に設計されている。
【0230】
図38に、あるコーンマスクの係数配列の一部を示す。コーンマスクをどの閾値で2値化した場合にも、ドット間で適度な距離が保たれる為、低周波領域でのピークは立たない。
図14の1402に、コーンマスクの閾値10で2値化した場合の空間周波数特性の概略図を示す。1401のブルーノイズマスクの空間周波数特性と同じく、1402の特性でも低周波成分が少ないことがわかる。
【0231】
コーンマスクの場合は、閾値が低い場合であっても高い場合であっても、ブルーノイズマスクが持つ低域周波数より高い周波数からピークが発生する為、ブルーノイズマスクに比べて埋め込み位置に密集した部分が少なくなる。その為、付加情報Infを埋め込んだ際に生じる埋め込みノイズは、ブルーノイズに比べて更に目立たなくなる利点がある。
【0232】
またコーンマスクを構成する係数の使用頻度も、ブルーノイズマスクの時と同じく、図12の1201で示す出現頻度分布(ヒストグラム)になる。
従って、このマスクの係数に対応付けて、付加情報Infを構成する各ビット情報に対応するパターンを、画像データに埋め込む様にするならば、この画像データ中には各ビット情報に対応するパターンを同数配置することができ、結果的に付加情報Infをバランス良く埋め込むことができる。
【0233】
本実施の形態例では以上の利点から埋め込み参照マスクにコーンマスクを用いることとする。
【0234】
[マスク参照手段]
マスク作成手段1101で作成されたマスク(コーンマスク)は、マスク参照手段1102に入力される。マスク参照手段1102では、画像に埋め込むNビットの情報の埋め込み位置とマスクの番号(画素値)を対応付けて、埋め込み位置を決定する。
【0235】
本実施の形態例におけるマスク参照手段1102で行なう埋め込み位置決定方法を以下に説明する。本実施の形態例では上述したコーンマスクを用いるが、ここでは説明を分かりやすくする為、図15の1501に示す4×4マスクを用いて説明する。
【0236】
図15のマスクは、4×4個の係数を有し、0〜15までの係数値を1つずつ配置しているマスクである。この4×4マスクを用い付加情報Infの埋め込み位置の参照を行なう。この説明で用いるマスクの場合には最大16ビットで構成される付加情報Infを埋め込むことができるが、以下8ビットの付加情報Infを埋め込む場合を説明する。
【0237】
まず付加情報Infの構成を、図36を用いて説明する。同図の様に付加情報Infは、スタートビットInf1と利用情報Inf2から構成される。このスタートビットInf1は、理想位置から実際の付加情報Infが埋め込まれている位置がずれていることを認識し、これに合わせて電子透かし(付加情報Inf)の抽出開始位置を補正する為に、電子透かし抽出装置側に含まれるオフセット合わせ手段2003で用いられる。詳細については後述する。
【0238】
また、利用情報Inf2は、本来の付加情報、即ち実際に画像データIの付加的情報として利用される情報である。この情報には、例えば画像データwIの不正利用の際に原因を追跡することを目的とするならば、図1に示す装置のID或いはユーザーのID等が含まれる。また、画像データwIの印刷物をコピー禁止にするのであれば、コピーが禁止であることを示す制御情報が含まれる。
【0239】
本実施の形態例では、スタートビットは5ビットとし、「11111」というビット列を用いる。しかし、本発明はこれに限らず、付加情報Infのうち5ビット以外のビット数をスタートビットとして用いることも可能であり、同様に「11111」というビット列以外を用いることも可能である。ただし、スタートビットのビット数とビット系列は電子透かし埋め込み装置と電子透かし抽出装置で共有しておく必要がある。
【0240】
上述した様な4×4個の係数からなるコーンマスクを用いて、スタートビット5ビット、利用情報3ビットの合計8ビットの付加情報Infを埋め込む簡単な例について説明をする。
【0241】
しかしながら、本発明はこれに限定されるものではない。例えば32×32のコーンマスクを用いて、スタートビット5bit、利用情報64bitからなる合計69bitの付加情報Infを埋め込み場合等にも適用可能である。
【0242】
付加情報Infはスタートビットが5ビット「11111」で利用情報が3ビット「010」とする。夫々1番目が1、2番目が1、3番目が1、4番目が1、5番目が1、6番目が0、7番目が1、8番目が0のビット情報を持つ。
【0243】
これら各ビットに相当するパターン(図9参照)の夫々をコーンマスクの係数の1つずつに対応する位置に割り当て、この位置関係に従って元の画像データの各画素値を±c変更する。これにより、1つのコーンマスクに相当するサイズの元の画像データに対して、1つの付加情報Infが埋め込まれることとなる。
【0244】
本実施の形態例では、付加情報Infを埋めこむ為に最低限必要なビット数に基づいて、ある閾値を決定し、上記コーンマスクにおける、この閾値以下の係数が配置されている位置に、対応する各ビット情報を埋めこむ。これにより付加情報Infのビット数に関わらず1つのコーンマスクには1つの付加情報Infが埋め込まれる。
【0245】
なお、本発明は上記方法に限らず、ある閾値以上の係数が配置されている位置に、対応する各ビット情報が埋め込まれる様にし、これを前提に閾値を決定する様にしても良い。
次に本実施の形態例では、埋め込みに用いる閾値以下の係数の個数が、マスク全体の係数の個数において占める割合を、埋め込み充填率と呼ぶことにする。
【0246】
8ビットの付加情報Infを整数回正しく埋め込むには、図15のマスク1501内においてどの係数を埋め込み参照位置に用いるかを決定する為の閾値は、8或いは16である必要が有る。この閾値は、耐性及び画質への影響を考慮して最適なものが決定される。
【0247】
ここで、マスクの閾値を8とした場合には、埋め込み充填率は50%となる。即ち、上記マスクと照らし合わされる元の画像データのうち50%が、図9のパターン配列を用いた処理の対象になる。
【0248】
各ビット情報とマスク内の係数の対応関係の一例を対応表1に示す。
【対応表1】
【0249】
ここで、S1〜S5まではオフセット合わせ処理装置で用いる位置合わせの為のビット情報(スタートビット)である。1〜3は3ビットの利用情報である。対応表1の対応に従うと、図16の1601で表現された係数(0〜7)の位置に相当する入力画像データの画素の位置に各ビット情報がパターン(図9参照)を用いて埋め込まれる。埋め込むビット情報の順序とマスク内の係数値の対応関係は鍵情報の一部であり、この対応関係を知ることなしに各ビット情報の抽出を行なうことはできない。本実施の形態例では説明を簡単にする為、対応表1の様に0から閾値までの係数値に順にS1〜S5と利用情報の3ビットを対応させることとする。
【0250】
次に、実際に32×32のサイズのコーンマスクを用いて埋めこむ場合の充填率についても少し述べておく。なお、処理の手順はマスク1501を用いた場合と同じである。
【0251】
まず最初に、埋め込み時の画質の劣化等を考慮し、付加情報Infの埋め込みを整数回正しく行なう為に必要な閾値を決定する。更に、付加情報Infを構成する各ビットが等しい繰り返し数で埋め込まれる様にする為、閾値以下の係数の数を付加情報Infを構成するビット数Nで割り、1つのマスクサイズで各ビットを何回埋め込めるかを決定する。
【0252】
例えば、0〜255までの係数値に相当する元の画像データに、上述した一例のスタートビット5ビットと利用情報64ビットからなる、69ビットの付加情報Infを埋めこむ場合には、例えば閾値を137に設定する。
この場合、マスク内の有効な係数値の数は138個となる。1つの付加情報Infを表すのに必要なビット数は69個であるから、1つのマスクサイズにおいては各ビット情報は138/69=2回ずつ埋め込むことができる。
【0253】
なお、コーンマスクを用いて埋め込み位置を決定する時に、ある閾値以下の係数値を持つ全ての点に対して埋め込みを行なう理由は、空間周波数の低周波成分にピークが立たないというコーンマスクの特性を生かす為である。
上述した様に埋め込み位置を決定した結果、埋め込み充填率50%、 埋め込み情報量69ビットとなる場合には、付加情報Infを構成する各ビット情報とコーンマスクを構成する各係数値との関係は対応表2の様になる。
【0254】
【対応表2】
ここでS1〜S5はスタートビットであり、オフセット合わせ処理装置で用いる位置合わせの為のビット情報である。1〜64は利用情報である。
【0255】
ただし本発明はこの対応関係に限らず、0から閾値(又は閾値から255)までの係数の位置の全てに、図9のパターンを使用して各ビット情報を順に埋め込むならば、各ビット情報と各係数値との対応関係は別のものであっても良い。
【0256】
32×32のコーンマスクの場合には、1つのマスク内に同じ係数を持つ位置が夫々4個存在する。
全ての係数に上記対応表2に基づいて、元の画像データに各ビット情報を埋め込む場合、32×32,64×64等の大きいサイズのコーンマスクならば、付加情報Infを構成する各ビット情報はほぼ等しい回数埋め込まれる。また、元の画像データにおいて同一のビット情報が拡散して埋め込まれる。
【0257】
パッチワーク法では、従来ランダム的に埋め込み位置を選んでいたが、本実施の形態例では、上記コーンマスクを参照することにより同様の効果を得る事ができ、更に画質劣化も少ない。
以上の結果、マスク参照手段1102では、各ビット情報に対応する埋め込み位置の座標(x,y)を得る。
【0258】
配列S[bit][num]=(x,y) でその情報を表現すると、bitは対応表1の場合、スタートビットS1〜S5と利用情報1〜3ビットを表す。またnumはコーンマスク内で繰り返し表れる各係数に付けられる順序である。(x,y)にはマスク内での相対座標が収められる。
以上の操作をマスク参照手段1102で行なう。
【0259】
[マスク・パターン配列対応手段]
マスク参照手段1102で得られた各ビット情報のコーンマスク内での埋め込み位置は、マスク・パターン配列対応手段1103に入力される。
【0260】
マスク参照手段1102で決定した埋め込み位置は夫々のビット情報のパターンの位置(8×8画素分)であるので、パッチワーク法では更に図9に示される加算領域(+c)と減算領域(−c)とそれ以外(0)とを割り当てる必要がある。この為、マスク参照手段1102で参照したコーンマスクの全ての位置に図9に相当する8×8サイズのパターン配列を展開する操作をマスク・パターン配列対応手段1103で行なう。
【0261】
具体的にはマスク参照手段1102で得られた配列S[bit][num]=(x,y)の座標に対して、x座標にはパターン配列の横方向のサイズを掛け、y座標にはパターン配列の縦方向のサイズを掛ける操作を行なう。その結果、図17のマスク内の座標1701は、マスク内の1画素が1パターン配列に拡大された先頭座標1702となる。
【0262】
この先頭座標から図19に示されるパターン配列を用いると、パターン配列の大きさを持つ領域1703に重なり合わず埋め込みを行なうことが可能になる。座標(x,y)は座標(x,y)に変化するが、配列S[bit][num]のbitとnumは変化しない。従って、配列S[bit][num]のbitに相当する付加情報Infを(x,y)をパターン配列を埋め込む先頭位置とし、複数のビット情報の埋め込みが可能になる。
【0263】
なお、マスク・パターン配列対応手段1103によりコーンマスクの各係数が、8×8のパターン配列に展開(拡大)された大きなマスクを、拡大マスクと呼ぶ。
上記拡大マスクのサイズは、(32×8)×(32×8)サイズとなり、このサイズが付加情報Infを少なくとも1つ埋め込む為に必要な最低限の画像単位(マクロブロックとする)となる。
【0264】
なお、本実施の形態例では、パターン配列決定手段0110でも述べた様に、パターン配列の大きさは、8×8に限るものではない。本発明においてパターン配列及びパッチの大きさは、パターン配列決定手段0103で、画像の解像度或いはプリンタの出力解像度に応じて選択決定(最適化)される。パターン配列の大きさが8×8でない場合でもマスク・パターン配列対応手段1103は、同様の手段を用いて、付加情報Infの埋め込み位置を決定することが可能である。
【0265】
以上がマスク・パターン配列対応手段1103で行われる操作である。
一般的に小さなマスクは大きなマスクより作成時にドットの配置位置に自由度が少なく、コーンマスクの様な所望の特性を持つマスクの作成が難しい。例えば小さなマスクを画像データの全体に繰り返し割り当てることで付加情報Infを埋め込む場合には、小さなマスクの持つ空間周波数が画像データ全体に出現する。
【0266】
その一方で、一つのマスクからは完結した付加情報Infが抽出されるので、マスクのサイズを大きく設定することによって、切り抜き耐性(部分的な画像データwI’から付加情報Infを抽出できる可能性)は小さくなってしまう。ゆえに、上記切り抜き耐性と画質劣化のバランスを考慮し、マスクのサイズを決定する必要がある。
以上が図1の埋め込み位置決定手段0103で行われる処理である。
【0267】
[付加情報埋め込み処理]
以上の様にして決定された、画像データへの各ビット情報の埋め込み位置を参照して、図1の付加情報埋め込み手段0104は実際に付加情報Infを埋め込む。図10に本実施の形態例における付加情報Infを繰り返して埋め込む処理の動作の流れを示す。
図10に示す方式では、画像全体に割り当て可能なマクロブロックを複数個割り当て、更に、これら全マクロブロックに対してまず1ビット目のビット情報を繰り返して埋め込み、続いて2ビット目、3ビット目…という様に繰り返して埋め込む。これは未だ埋め込み処理が行われていないビット情報が有れば、未処理のマクロブロックの全てに1001〜1003の埋め込み処理を施す手順により構成されている。
【0268】
しかしながら、本実施の形態例における本実施の形態例はこの順序に限らず2つのループ処理の内外関係を逆にしても良い。即ち、未処理のマクロブロックが有れば、これに対して未だ埋め込んでいないビット情報を全て埋め込む手順に変更しても良い。
【0269】
具体的には付加情報Infの埋め込みは、埋め込まれる各ビット情報が“1”の場合には図9のパターン配列を加える。また埋め込むビットが“0”の場合には図9のパターン配列を減ずる、即ち図9の正負符号を反転したものを加算する。
【0270】
上記加減算の処理は、図10における切り替え手段1001を、埋め込むビット情報に応じて切り替え制御することによって実現される。即ち、埋め込まれるビット情報が“1”の時は加算手段1002に接続し、上記ビット情報が“0”の時は減算手段1003に接続する。これら1001〜1003の処理はビット情報とパターン配列の情報を参照しながら行われる。
【0271】
ここで上記ビット情報の1つが埋め込まれる様子を図19に示す。同図では埋め込まれるビット情報が“1”、即ちパターン配列を加える場合の例を示す。
図19に示す例では、I(x,y)が元の画像、P(x,y)が8×8のパターン配列である。8×8のパターン配列を構成する各係数は、このパターン配列と同じサイズの元の画像データ(青色成分)に重ね合わせられ、同位置の値同志が加減算される。その結果、I'(x,y)が算出され、ビット情報が埋め込まれた青色成分の画像データとして図1の色成分合成手段0105へ出力される。
【0272】
上述した8×8のパターン配列を用いた加減算処理を、上記対応表2で決定された埋め込み位置(各ビット情報を埋め込む為のパターン配列を割り当てた位置)の全てに対して繰り返し行なう。
【0273】
なお、本実施の形態例では、パターン配列決定手段0110の説明において述べた様に、パターン配列の大きさは、8×8に限るものではない。本発明においてパターン配列及びパッチの大きさは、パターン配列決定手段0110で、画像の解像度或いはプリンタの出力解像度に応じて選択決定(最適化)される。パターン配列の大きさが8×8でない場合でも付加情報埋め込み手段0104は、同様の手段を用いて、付加情報Infを埋め込むことがが可能である。
【0274】
次に、図10の内部のループ処理が行われる様子を図18に示す。
図18では、各ビット情報を繰り返し埋め込む為に、画像データ全体1801(1803)全体に、マクロブロック1802を左上から右下までラスタ順に繰り返し割り当てて埋め込み(図10の1001〜1003)を行なう。
【0275】
付加情報埋め込み手段0104により以上の操作が行われ、付加情報Infが画像全体に埋め込まれる。
以上の処理により、画像データ中に付加情報Infが埋め込まれる。この付加情報Infが埋め込まれた画像データの各画素が、十分少ないドット数で表現されるのであれば、パターン配列の大きさも十分小さくなるので、これらパターン配列の1つ1つ非常に小さい点でしか人間の目には知覚されない。よって、コーンマスクの空間周波数特性も維持され、人間の目に見えにくい。
【0276】
[ファイルの圧縮と伸長]
本実施の形態例では、付加情報埋め込み手段0104で付加情報が埋め込まれた後、ファイルの圧縮・メモリ格納・ファイルの伸長が行われる。
ここでは、電子透かしが埋め込まれた画像に対する圧縮を考慮した電子透かしの埋め込み設計法について述べる。
【0277】
[JPEG圧縮符号化]
図39は視覚の色度空間周波数特性を示した図である。それぞれの曲線は、白−黒(単色)と、等輝度の反対の色対である赤−緑、或いは黄−青からなる空間正弦波パターンを用い、その空間正弦波パターンの周期及びコントラストを変化させた時の上記パターンが人の目で認識できる限界を測定することで得られる。
【0278】
図39において、白−黒(明暗の情報)は、約3[cycle/deg]で感度が最大になるが、色度(赤−緑及び黄−青)は約0.3[cycle/deg]で感度が最大になる。
このことから、明暗の情報は画像の解像度など細かな部分の識別に敏感で、色度は空間的に広い(空間周波数が低い)部分の見え方に影響を与えることがわかる。また、黄−青のパターンは赤−緑のパターンよりも細かな空間情報の識別に関与していないこともわかる。
【0279】
以上から、輝度成分しか持たないグレイスケール画像をそのまま変調して電子透かし情報を埋め込む方法は、カラー画像データの色成分に電子透かし情報を埋め込む方法に比べて、画質の劣化が目立ちやすいことがわかる。また、RGBからなるカラー画像データに対しては青色成分(B)へ電子透かし情報を埋め込む方法が最も人間の目に目立たないといえる。
【0280】
なお、色成分へ電子透かし情報を埋め込む為に色成分に変化を与えた際、空間的に広い領域(空間周波数が低い状態)で人間が目視すると色ムラとして目立つが、空間的に狭い領域(空間周波数が高い状態)で人間が目視すると、輝度に電子透かし情報を埋め込む場合よりは目立ちにくくなる。
【0281】
本実施の形態例では、1画素に1種類の要素しか持たないグレイスケール画像には、1画素に複数の要素を持つカラー画像データへの変換を施してから電子透かし情報(付加情報Inf等)の埋め込みを行なうので、通常のグレイスケールのまま電子透かし情報を埋め込む場合よりも画質の劣化を防ぐ効果が有る。
【0282】
グレイスケールの画像データに電子透かし情報を埋め込む場合とカラー画像データを構成する複数種類の要素のうちの1種類にのみ電子透かし情報を埋め込む場合とを比較すると、高解像度で画像出力を行なう場合(1つの画素の値を少ないインクドットで階調表現する場合等)には、後者の方が画質を良好に維持できる。
【0283】
しかしながら、出力されるカラー画像データ(ファイルサイズ)は、単純に考えると元の画像データの約3倍になってしまうというデメリットもある。
そこで本実施の形態例では、ファイルサイズをできるだけ抑える為に、JPEG圧縮符号化手段0106において、電子透かし情報が埋め込まれた画像データに、更にJPEG圧縮符号化を施す。
【0284】
一般的にJPEG圧縮符号化は、人間の視覚特性を利用し、人間の視覚が敏感でない成分を除去することでデータ量を縮小する技術である。一方の電子透かし技術は、人間の視覚が敏感でない成分に情報を埋め込む技術である。よって、JPEG圧縮符号化と電子透かし技術とは共存しにくい技術であり、JPEG圧縮符号化は一種の電子透かし情報への攻撃と考えられている。
以下にJPEG圧縮符号化への耐性を持たせる方法について簡単に説明する。本実施の形態例で用いる図9の様なパターン配列は、色差成分へのサブサンプリングや量子化処理により、既にカラー画像データ中に埋め込まれている付加情報が失われない様に設定されている。
【0285】
まず、JPEG圧縮符号化方式について簡単に説明する。JPEG圧縮符号化装置0106に入力されるカラー画像データは、輝度(Y)と色差(Cr,Cb)に変換される。元の赤色成分(R)、緑色成分(G)、青色成分(B)から構成されるカラー画像データが入力された場合には、
【0286】
Y = 0.29900×R+0.58700×G+0.11400×B
Cr= 0.50000×R−0.41869×G−0.08131×B
Cb=−0.16874×R−0.33126×G+0.50000×B
の式を用いて、元のカラー画像データを輝度(Y)と色差(Cr,Cb)から構成される別のカラー画像データにフォーマット変換する。
【0287】
輝度成分と色差成分に分解された画像データは、画像左上からラスタ順に図40に示される8×8画素のブロックに分割される。JPEG圧縮符号化ではこの8×8ブロック毎に圧縮符号化の処理を繰り返し行なう。
【0288】
次に、JPEG圧縮符号化の色成分のサンプリング処理について述べる。JPEG圧縮符号化では8×8画素毎にサンプリングオプションのサンプリング比に従い、色差成分のサンプリングが行われる。
【0289】
図41は画像データのサンプリングの様子を示したものである。以下、JPEG圧縮符号化における4:2:2のサンプリングの手順を示す。図41において、4101は4×4画素の輝度成分を示している。輝度成分に対しては、視覚的に重要な情報が多いので、間引き処理は行なわれず、4×4画素はそのまま出力される。
【0290】
4103は4×4画素の色差成分(Cr,Cb)を示している。色度成分に対しては、、それほど視覚的に敏感でないので、水平、又は垂直方向の2画素に対して1画素の間引きが行われる。その結果、4×4画素の色差成分(Cr,Cb)は4×2画素4104に変換される。以上のサンプリングを行なうと8×8画素の色差成分は8×4画素に減少する。
【0291】
従って、4:2:2のサンプリングの結果、8×8画素分の輝度成分Y、色差成分Cr、色差成分Cbは、各々、8×8画素、8×4画素、8×4画素になる。上記サンプリングされた各画素には公知の手順で、DCT(離散コサイン変換)演算、量子化、ジグザグスキャン、ハフマン符号化等が行われる。
【0292】
また、人間の視覚特性は高周波数成分にそれほど敏感でないことを利用し、DCT係数の高周波成分への量子化ステップ数を少なくすることで効率良く圧縮される。また、輝度より色差成分の方が全体的に量子化ステップ数が少なくなる様に量子化が施される。
【0293】
次に以上の圧縮符号化処理に耐性を有するパターン配列について考察する。図42に、上述した図9のパターン配列を再度示す。図42において、+cの正の要素を持つ領域4201を正のパッチ、−cの負の要素を持つ領域4202を負のパッチと呼ぶこととする。このとき、各パッチは図40で示された8×8画素からなる最小符号化単位4001において、低周波成分に情報を偏らせることで、JPEG圧縮耐性を強めることができる。ただし、本実施の形態例はこれに限らず、最小符号化単位を16×16画素として各種設定を行っても良い。
【0294】
また、4:1:1(色差成分を縦、横方向に1画素おきに間引く)、4:2:2(色差成分を縦、または横方向に1画素おきに間引く)サンプリングを行なう場合には、各パッチをサンプリングに応じて縦かつ/又は横方向に2画素の整数倍の幅を持たせたサイズにすると、サンプリングに対する耐性を強めることができる。
【0295】
即ち、
(1)各パッチは最小符号化単位(8×8画素)で低周波に偏ったものを用いる。
(2)各パッチのサイズは、サンプリング方法に応じて、縦かつ/又は横方向へ2×N(Nは整数)画素とする。
なお、JPEG圧縮符号化が施される各領域(8×8画素)において、各パッチが低周波成分を有する為には、パターン配列を割り当てる画像上の位置、及びパターン配列の各サイズ(図9では8×8画素)が、符号化が施される各領域と同期することが好ましい。
【0296】
即ち、
(3)パターン配列のサイズ、埋め込み位置をJPEG圧縮符号化が施される単位サイズと同期させる。
以上の条件を考慮して、例えば図9の様なパターン配列を用いて付加情報Infを埋め込む様にすれば、JPEG圧縮符号化後であっても電子透かし情報(付加情報Inf)を画像データに残留させることができ、JPEG圧縮符号化に対して耐性を有すると言える。
なお本実施の形態例は、色成分抽出手段0101において、グレイスケール(単色)画像を直接Y(輝度)Cr、Cb(色差)成分に変換し、この内のCb成分のみに付加情報Inf等を電子透かしとして埋め込む変調を行なう場合も範疇に含む。この場合には、JPEG圧縮符号化手段にて輝度、色差成分への変換を行なわなくて済み、処理工程が少なくなる。
【0297】
また、色成分抽出手段0101にて、グレイスケール(単色)画像を、後段で印刷する際に適したY(イエロー)、M(マゼンダ)、C(シアン)、K(黒)成分に直接変換し、この内のY成分のみに電子透かしとして付加情報Inf等を埋め込む変調を行なう場合も範疇に含む。この場合には、印刷手段の直前で色成分を変換する工程を省略できる。
【0298】
即ち本実施の形態例においては、上記埋め込みを行なう為の成分が青色成分、Cb成分、Y成分に限らず、1画素を構成する全ての成分における一部の成分に付加情報Inf等を埋め込む場合を範疇に含む。
【0299】
[メモリ格納]
上記JPEG圧縮符号化により得られた符号化データは、メモリに一旦格納される。この符号化データは、外部機器への送信、或いは図1の装置の後段に接続するプリンタの印刷のタイミングに合わせて、上記メモリからJPEG伸長復号化手段0108へ読み出される。
【0300】
なお、本実施の形態の様にグレイスケールの画像データを一旦カラー画像データに変換し、青色成分に変調を加え、更に輝度、色差成分からなるカラー画像データに変換してJPEG圧縮した場合の符号化データは、元のグレイスケールの画像をそのまま輝度、色差成分からなるカラー画像データに変換してJPEG圧縮符号化した場合の符号化データ量と比較して、色差成分に多少のデータ増加が生じるものの、メモリ容量の大幅な増加には繋がらないという効果が有る。
【0301】
即ち、電子透かし情報が元の画像データに埋め込まれた後に、JPEG圧縮符号化が施されることを前提に考えれば、本実施の形態の様なグレイスケールの画像データへの電子透かし情報(付加情報Inf等)の埋め込み方法は、通常のグレイスケールの画像データをそのまま変調して電子透かし情報を埋め込む方法と比較して、全体的なデータ量をそれ程大きくせずに画質の向上が計れるという利点が有る。
【0302】
[JPEG伸長復号化]
JPEG伸長復号化手段0108は、外部機器への送信、或いはプリンタ0109による印刷のタイミングに合わせて、メモリ0107から符号化データを読み出し、上記圧縮の方式の逆の手順を用いてカラー画像データを復号化する。
【0303】
[レジストレーション処理]
次に、電子透かし抽出装置側に備えられる、図2におけるレジストレーション手段0203について詳細を説明する。レジストレーション手段0203とは、付加情報抽出手段0204の前段に位置する手段であり、付加情報Inf抽出処理の前処理である。レジストレーション手段0203には、前段の色成分抽出手段0202により抽出された青色成分の画像が入力される。
【0304】
レジストレーション手段0203では、電子透かし埋め込み装置から出力された画像データwIと、電子透かし抽出装置に入力された画像データwI’のスケールの違いが補正される。
【0305】
本実施の形態例におけるレジストレーション手段0203の詳細を図7に示す。図7に示す様に、レジストレーション手段0203は、ブロック分割手段0701、フーリエ変換手段0702、インパルス抽出手段0703、スケーリング率算出手段0704、スケーリング手段0705から構成される。
【0306】
ブロック分割手段0701では、上述したレジストレーション信号埋め込み手段0102(ブロック分割手段0401)と同様のブロック分割処理が行われる。この処理によって、一般的にはレジストレーション信号埋め込み手段0102(ブロック分割手段0401)と同様のブロックを抽出することは困難である。これは電子透かし情報が埋め込まれた画像データwIが印刷系の処理を施されることによって、大きさが変化し、更に位置がずれることによるものである。
【0307】
しかし、このブロックの抽出はある程度違っていても問題はない。これは、電子透かし埋め込み装置において、レジストレーション信号が画像データのうち振幅スペクトルに埋め込まれているからである。振幅スペクトルは、画像データの空間領域における位置ずれには影響されないという性質がある。よって、電子透かし埋め込み装置と電子透かし抽出装置の夫々において、各々のブロック分割手段により分割されたブロックが、空間領域で多少の位置ずれが生じていても問題はない。
【0308】
ブロック分割手段0701はブロック分割した画像データをフーリエ変換手段0702に出力する。フーリエ変換手段0702は上述したレジストレーション信号埋め込み手段0102の場合と同様に、空間領域の画像データを周波数領域の画像データに変換する。フーリエ変換された周波数領域の画像データは振幅スペクトルと位相スペクトルによって表現される。このうち振幅スペクトルだけがインパルス抽出手段0703に入力される。一方で、位相スペクトルは破棄される。
【0309】
周波数領域に変換された画像データはインパルス抽出手段0703に入力される。インパルス抽出手段0703では、周波数領域に変換された画像データからインパルス性の信号だけを抽出する。即ち、既に画像データに埋め込まれている図5の0502,0503,0504,0505を抽出する。
【0310】
これは公知の画像処理技術を用いて行なうことが可能である。例えば、周波数領域に変換された画像データを閾値処理することで実現できる。この例を図8(a)に示す。図8(a)にはインパルス抽出手段0703に入力された振幅スペクトル0801を閾値0802によって閾値処理する様子を示す。なお説明の為、図8において変換された画像データを1次元で表現した。適当な閾値0802を選択することによってインパルス信号を抽出することが可能である。しかしながら、低域に存在するインパルス信号と同じ程度の大きさを持つ様な本来の画像データも同時に抽出してしまう。
【0311】
この問題を解決した本実施の形態の方式を図8(b)に示す。周波数領域に変換された画像データ0801に対して2次微分処理を施す。これはラプラシアンフィルタ等を施すことに等しい。周波数領域に変換された画像データ0801に対して2次微分を施したものを0803に示す。このデータ0803に対して適当な閾値0804を選択し閾値処理を施すことによって、インパルス信号を抽出可能である。
【0312】
このインパルス信号の抽出に関してもう少し詳細な原理を図26を用いて説明する。なお、この図では上述したレジストレーション信号埋め込み側の処理も記載している。
レジストレーション信号埋め込み手段0102においては、空間領域の画像データ2601が周波数領域に変換され画像データ2602となり、周波数領域においてインパルス信号2603が加えられる。
【0313】
インパルス信号(レジストレーション信号)2603が加えられた周波数領域の画像データは、逆周波数変換されることによって空間領域の信号2601’へ再び戻る。再び空間領域へ戻された画像データ2601’にはインパルス信号が付加された影響があるはずであるが、人間の目には知覚しにくく、実質的には画像データ2601と画像データ2601’は同一物に見える。これは、周波数領域で加えられたインパルス信号2603が逆フーリエ変換によって、画像データ全体に小さな振幅で分布するからである。
【0314】
図26の2603の様なインパルス信号が加えられた場合は、ある一定の周波数成分を持つ画像データが空間領域に加えられたことに等しくなる。この加えられたインパルス信号が人間の知覚できる周波数よりも大きく、更に振幅が人間の知覚できる限度以下であるならば、加えられたインパルス信号は人間の目には見えない。よって、上記レジストレーション信号の埋め込み自体も一種の電子透かし処理であると言える。
【0315】
なお、本実施の形態例では画像データ2601にレジストレーション信号2603が埋め込まれ、更に実際に埋め込むべき付加情報Infが埋め込まれた後、空間領域の信号2601’を復元する。
【0316】
図26の様に埋め込まれたレジストレーション信号は、抽出の際に再びフーリエ変換が施される。これによって、空間領域では一度画像データ全体に拡散されたレジストレーション信号2603が、周波数領域に変換され再びインパルス信号として現れる。
【0317】
電子透かし情報が埋め込まれた画像がJPEG圧縮等の非可逆圧縮などの攻撃を受けた場合、このインパルスは振幅が小さくなる可能性が高い。一方で、スケーリングなどの幾何的な攻撃を受けた場合、このインパルスはその位置が移動する。いずれの場合も上述した様な適当なインパルス抽出処理を施すことによって、インパルス信号は抽出可能であり、元の画像データからの変化を推測できる。この変化を補正すれば本実施の形態例で埋め込まれる付加情報Infを確実に抽出できる状態を作り出せる。
【0318】
以上の処理により、図7のインパルス抽出手段0703からは上述したインパルス信号が出力され、スケーリング率算出手段0704に入力される。スケーリング率算出手段0704は、入力されたインパルス信号の座標を用いてどの様なスケーリングが施されたかを算出する。
【0319】
本実施の形態の電子透かし抽出装置側では、予めどの周波数成分にインパルス信号を埋め込んだかを知っているものとする。この場合には、この予め埋め込まれた周波数と、インパルスが検出された周波数の比によりスケーリング率を算出することが可能である。例えば、予めインパルス信号が埋め込まれた周波数をa、検出されたインパルス信号の周波数をbとすると、a/b倍のスケーリングが施されていることがわかる。これは良く知られたフーリエ変換の性質である。以上の処理により、スケーリング率算出手段0704からはスケーリング率が出力される。
【0320】
しかしながら本実施の形態例はこれに限らず、電子透かし埋め込み装置側から必要に応じてレジストレーション信号を埋め込んだ位置(周波数)の情報を受信する様にしても良い。
【0321】
例えばこの位置情報は暗号化信号として受信し、上記スケーリング率の算出処理を行なう形態も本実施の形態例の範疇に含まれる。こうすることによって、付加情報Infを正しく抽出できるのはレジストレーション信号を知っている人だけとなる。この場合、レジストレーション信号を付加情報Infを抽出する為の鍵として使用できる。
【0322】
スケーリング率算出手段0704から出力されたスケーリング率は、スケーリング手段0705に入力される。スケーリング手段0705には画像データwI1'も入力され、画像データwI1'は入力されたスケーリング率によってスケーリング処理が施される。スケーリング処理はバイリニア補間やバイキュービック補間など種々のものが適応可能である。そして、スケーリング手段0705からはスケーリング処理が施された画像データwI2'が出力される。
【0323】
なお、本実施の形態例では、スケーリング率算出手段0704は、もう一つの目的のために、図1のパターン配列算出手段0204に、スケーリング率を出力する。
【0324】
一つは既に述べたように、画像データwI1'をスケーリング処理により画像データwI2'にスケーリング処理するためであるが、もう一つは、図2のパターン配列算出手段0204において、この出力されたスケーリング率を元に埋め込みに用いたパターン配列を判定するためである。
【0325】
ここで、レジストレーション信号埋め込み処理として、図50に示すような手段構成の方法を用いた場合についてのレジストレーション信号の抽出について図53を用いて説明する。
【0326】
図53は、図7に示す手段構成に加えて、更に周波数特性判定手段5303が加わった手段構成である。これ以外の処理は図7に示す手段構成と図53に示す手段構成は等しいので説明は省略する。
【0327】
フーリエ変換手段5302によって算出された振幅スペクトルは、インパルス抽出手段5304に加えて、周波数特性判定手段5303に入力される。周波数特性判定手段5303の処理は、図50の周波数特性判定手段5003と等しい。即ち、画像信号が「比較的高周波成分が少ない」画像信号か、或いは「比較的高周波成分が多い」画像信号かが判定される。
【0328】
判定された結果は後段のスケーリング率算出手段5305に入力される。スケーリング率算出手段5305では、前述したように予め埋め込まれた周波数と、インパルスが検出された周波数の比によってスケーリング率を算出することが可能である。この時、予め埋め込まれた周波数を判定するために、前段の周波数特性判定手段5303の出力を利用する。
【0329】
即ち、「比較的高周波成分が少ない」画像信号であると判定された画像信号に対しては第1のレジストレーション信号r1が用いられ、一方で「比較的高周波成分が多い」画像信号であると判定された画像信号に対しては第2のレジストレーション信号r2が用いられると判定し、判定されたレジストレーション信号を用いてスケーリング率が算出される。
【0330】
以上の処理により、レジストレーション手段に入力された画像をwI1’だけを用いて、埋め込み時に用いられたレジストレーション信号を特定し、スケーリング率を算出することが可能である。
【0331】
しかしながら本発明はこれに限らず、電子透かし埋め込み装置側から必要に応じてレジストレーション信号を埋め込んだ位置(周波数)の情報を受信するようにしても良い。例えば、この位置情報を暗号化信号として受信し、上記スケーリング率の算出処理を行なう形態も本実施の形態例の範疇に含まれる。こうすることによって、付加情報Infを正しく抽出できるのはレジストレーション信号を知っている人だけとなる。この場合、レジストレーション信号を付加情報Infを抽出するための鍵として使用できる。
【0332】
[付加情報抽出処理]
次に、図1の付加情報埋め込み手段0103で付加情報Infが埋め込まれた画像データwI’の青色成分からこの付加情報Infを抽出する図2の付加情報抽出手段0204の動作について述べる。本実施の形態例における付加情報Infの抽出処理の一連の流れを図20に示す。
【0333】
図20に示す様に、本実施の形態例においては、図2のレジストレーション処理0202からスケーリング率がパターン配列判定手段2001に入力され、埋め込みに用いたパターン配列が判定される。
【0334】
[パターン配列判定手段]
スケーリング処理された画像データwI2は、付加情報抽出手段0204の内部に入力される。このとき、図1のパターン配列決定手段0110において、パターン配列が画像の解像度とプリンタの出力解像度に応じて決められた場合、画像の解像度とプリンタの出力解像度を知ること無しには、埋め込みに用いたパターン配列を判断することが出来ない。埋め込みに用いたパターン配列がわからない場合は、付加情報Infの抽出を行なうことはできない。
【0335】
本実施の形態例では、パターン配列判定手段2001において、レジストレーション手段0202から入力されるスケーリング率から、付加情報Infを埋め込んだ場合のパターン配列を判定する。
【0336】
印刷物pwI’をスキャンしたときのスキャナの入力解像度は固定で、プリンタの出力解像度はわかっているものとし、スケーリング率からパターン配列を判定する手段について述べる。
【0337】
印刷物pwIを図2のスキャナ0201で600ppiの入力解像度でスキャンを行い、画像データwIが得られる。このときプリンタの出力解像度は1200dpi、スキャナの入力解像度は600ppiであるとする。
【0338】
画像データwIは色成分抽出手段0202に入力され、色成分が抽出され画像データwI1が出力される。この画像データwI1はレジストレーション手段0203に入力され、
レジストレーション手段0202の内部のスケーリング率算出手段0704から、スケーリング率及びスケーリング済み画像wI2が付加情報抽出手段0204に出力される。
【0339】
付加情報抽出手段0204に入力されたスケーリング率はパターン配列判定手段2001に入力される。例として、スケーリング率0.80を持つ電子透かしが埋め込まれた画像wIについて考えてみる。
【0340】
スケーリング率及びスキャナの入力解像度から、画像は、
600ppi×0.80=480ppi
の画像の解像度でプリンタから出力されていたことがわかる。
【0341】
今、画像の解像度500ppiを閾値とし、500ppi未満では、パターン配列は図49の4901(8×8のパターン配列)で埋め込みを行なう。一方、500ppi以上では、パターン配列は図49の4903(12×12のパターン配列)で埋め込みを行なう対応関係を階調変換を考慮して規定した場合には、スケーリング率0.80を持つ電子透かしが埋め込まれた画像wIは、図49のパターン配列4901(8×8のパターン配列)を用いて埋め込みが行われたことがわかる。
【0342】
以上の様にして、パターン配列判定手段2001ではスケーリング率から付加情報Infの埋め込みに用いたパターン配列を判定し、後段の埋め込み位置決定手段2002に出力する。
なお、図49のパターン配列4901に対応する直交するパターン配列4902及び、パターン配列4903に対応する直交するパターン配列4904は、図20の第2のパターン配列による抽出手段2005において用いられる。直交するパターン配列については、後に詳しく説明する。
【0343】
[埋め込み位置決定処理]
次に、埋め込み位置決定手段2002において、画像データwI2'(青色成分)中のどの領域から付加情報Infを抽出するかを決定する。この埋め込み位置決定手段2002によってなされる動作は、前述した埋め込み位置決定手段0103と同じであり、その為、0103と2002によって決定される領域は同一のものとなる。
【0344】
決定された領域から、前述した対応表2を用い、更に図9に示されるパターン配列を用いて付加情報Infが抽出される。ここで、付加情報Infの抽出は、決定された領域に対してパターン配列を畳み込むことによって実現される。
【0345】
なお、パターン配列を、画像の出力解像度に応じて可変にしてある場合には、図20のパターン配列判定手段2001から入力されるパターン配列を、付加情報Infの抽出に用いることとする。以降は、図20のパターン配列判定手段2001から入力されるパターン配列が8×8であった場合についてのみ説明を行なうが、その他のパターン配列の場合でも、同様の操作を行なう。
【0346】
[信頼度距離演算手段]
信頼度距離dは埋め込んだ情報を抽出する際に必要となる計算値である。各ビット情報に対応する信頼度距離dを求める方法を図6に示す。
まず始めに、図中の畳み込み演算手段0601で行なう処理を図21及び図22を用いて説明する。図21及び図22に、付加情報Infを構成する1ビットの情報を抽出する例を示す。
【0347】
図21は付加情報Infを構成するある1ビット情報が埋め込まれた画像データ(青色成分)I''(x,y)に対してこの1ビット情報の抽出処理を行った例、そして図22は上記1ビット情報が埋め込まれていない画像データI''(x,y)に対して1ビット情報の抽出処理を行なおうとした例である。
【0348】
図21において、I''(x,y)が1ビット情報が埋め込まれた画像データ、P(x,y)が畳み込み処理に用いられる8×8のパターン配列(付加情報Inf抽出用のパターン配列)である。この8×8のパターン配列を構成する各要素(0,±c)は、入力画像データI''(x,y)の同位置に配置されている画素値に積算され、更に各積算値の和が算出される。即ち、I''(x,y)に対してP(x,y)が畳み込まれる。
【0349】
ここで、I''(x,y)は、画像データI'(x,y)が攻撃を受けた場合の画像を含んだ表現である。攻撃を受けていない場合には、I''(x,y)=I'(x,y)である。I''(x,y)に1ビット情報が埋め込まれている画像である場合には、畳み込みの結果、図21に示す様に非零の値が得られる可能性が非常に高い。特にI''(x,y)=I'(x,y)の時には畳み込みの結果は32c2となる。
【0350】
なお、本実施の形態例では、埋め込みに用いるパターン配列と抽出に用いるパターン配列は同様のものを用いている。しかしながら、本実施の形態例は以上の例に限定されるものではない。一般的には、埋め込みに用いるパターン配列をP(x,y)、抽出に用いるパターン配列をP(x,y)とした場合には、
P(x,y)=aP(x,y)
という関係に変形できる。ここでaは任意の実数であり、本実施の形態例では、簡単の為、a=1の場合について説明する。
【0351】
一方、図22に示す例では、上述の演算と同様の演算が1ビット情報が埋め込まれていない画像データI''(x,y)に対して施されている。原画像(画像データIに相当)からは畳み込み演算の結果、図22に示す様に零の値が得られる。
【0352】
以上、図21及び図22を用いて1ビット情報の抽出方法を説明した。しかし、以上の説明は、付加情報Infが埋め込まれる対象の画像データIにおいて畳み込み演算の結果が0である場合であり、非常に理想的な場合である。一方で、実際の画像データIの8×8のパターン配列に相当する領域においては畳み込み演算の結果が0であることはなかなか少ない。
【0353】
即ち、原画像(画像データI)における8×8のパターン配列に相当する領域について、図9のパターン配列(コーンマスクも配置情報として参照)を用いて畳み込み演算を行った場合、理想と異なり、非零の値が算出されることもある。
【0354】
逆に、付加情報Infが埋め込まれた画像(画像データwI)における8×8のパターン配列に相当する領域について、同じく畳み込み演算を行った結果が“32c2“でなく“0”になってしまうこともある。しかしながら、付加情報Infを構成するビット情報の夫々は、通常、元の画像データに複数回埋め込まれている。即ち付加情報Infが画像に複数回埋め込まれている。
【0355】
よって畳み込み演算手段0601は、付加情報Infを構成する各ビット情報に1ついて、夫々複数の畳み込み演算結果の和を求める。例えば、付加情報Infが8ビットであれば、8個の和が得られる。
この各ビット情報に対応する和は平均計算手段0602に入力され、夫々が全マクロブロックでの各ビット情報に対応するパターン配列の繰り返しの数nで割られて平均化される。この平均値が信頼度距離dである。即ち、この信頼度距離dは、図21の“32c2”と“0”のどちらに類似しているかを多数決的に生成した値である。
【0356】
ただし、信頼度距離dは、先のパッチワーク法の説明ではd = 1/N Σ(ai-bi)と定義していたので、厳密には信頼度距離dは、P'(x,y) = 1/c P(x,y)を用いて畳み込み演算を行った結果の平均値である。しかしながら、P'(x,y) = aP(x,y)を用いて畳み込み演算を行っても、畳み込み演算結果の平均値は、上記信頼度距離dの実数倍になっているだけであり、本質的には同様の効果が得られる。
【0357】
よって本実施の形態例においては、P'(x,y) = aP(x,y)を用いた畳み込み演算結果の平均値を信頼度距離dに用いることも十分可能である。
以上のようにして求められた信頼度距離dは0603の記憶媒体に蓄えられる。
【0358】
畳み込み演算手段0601は、付加情報Infを構成する各ビットについて上記信頼度距離dを繰り返し生成し、順次記憶媒体0603に格納する。
この演算値に関してもう少し詳細な説明をする。元の画像データIに対して図9のパターン配列(コーンマスクも配置情報として参照)を用いて算出される信頼度距離dは理想的には0である。しかしながら実際の画像データIにおいては、この値は非常に0に近くはあるが非零の値が多い。各ビット情報について発生する信頼度距離dの頻度分布を調べると、図23の様になる。
【0359】
図23において、横軸は、各ビット情報毎に発生する信頼度距離dの値であり、縦軸はその信頼度距離dを生じる畳み込みが行われたビット情報の数(信頼度距離dの出現頻度)を示している。図を見ると正規分布に類似していることがわかる。また、元の画像データIにおいては信頼度距離dは必ずしも0ではないが、その平均値は0(或はそれに非常に近い値)である。
一方、元の画像データIではなく、図19の様にビット情報“1”を埋め込んだ後の画像データ(青色成分)をI’(x,y)に上記畳み込みを行った場合には、信頼度距離dは図24に示す様な頻度分布となる。即ち、図の様に図23の分布形状を保ったまま、右方向にシフトしている。この様に、付加情報Infを構成するある1ビットを埋め込んだ後の画像データは、信頼度距離dが必ずしもcという訳ではないが、その平均値はc(或はそれに非常に近い値)となる。
【0360】
なお、図24ではビット情報“1”を埋め込んだ例を示したが、ビット情報“0”を埋め込んだ場合は図23に示した頻度分布が、左にシフトすることになる。
【0361】
以上説明した様に、パッチワーク法を用いて付加情報Inf(各ビット情報)を埋め込む場合には、埋め込むビット数(パターン配列の使用回数)を出来るだけ多くした方が、図23及び図24に示す様な統計的分布が正確に現れやすい。即ち、付加情報Infを構成する各ビット情報が埋め込まれているか否か、或いは埋め込まれているビット情報が“1”か“0”かを検出できる精度が高くなる。
【0362】
[オフセット合わせ処理]
次にオフセット合わせ手段2003の構成について解説する。オフセット合わせ手段2003には、適切なスケーリングを施された後の画像データwI2'が入力される。この後、図6の信頼度距離演算を用い、スタートビットを検出する。
【0363】
なお、オフセット合わせ手段2003はスタートビットInf1の5ビット分に対応する5つの信頼度距離だけを生成する。スタートビットInf1とは、図36に示す様に、付加情報埋め込み手段0104において予め埋め込んである付加情報Infの一部であり、本実施の形態例では5ビット分である。
これらスタートビットInf1は、概念的には最初の5ビット分であるが、付加情報Infが埋め込まれている画像においては隣接、密集して存在する訳ではなく、むしろ点在している。これは、対応表2のコーンマスクを構成する各係数値に対応付けて順に埋め込まれる為である。
【0364】
本実施の形態例におけるオフセット合わせ手段2003の処理を図28を参照して以下に説明する。図28は本実施の形態例におけるオフセット合わせ手段2003の処理を説明するためのフローチャートである。以下の説明は図28のフローチャートの流れに沿って行なう。
【0365】
オフセット合わせ手段2003では、入力された画像データwI2'に対して、ステップ2801により、まず最も左上の座標を埋め込み開始座標と仮定する。同時に、最大値MAXを0に設定する。そして、ステップ2802により、図6の信頼度距離演算手段を用いて、スタートビットの検出を試みる。
【0366】
ここで得られた1〜5番目のビット情報が、ステップ2803により正しいスタートビット「11111」であるかどうかを判定する。この点が正しい埋め込み開始座標であれば検出結果として5つの連続した正の信頼度距離dが検出されるが、そうでない場合には正の信頼度距離dが5つ連続しないことが多い。上記判断を順次行い、正しいスタートビットInf1が検出できる位置を、埋め込み開始座標であると決定すれば良い。
【0367】
しかしながら、実際のところ埋め込み開始座標以外の点でも正しいスタートビットInf1が検出されてしまう場合も有り得る。この原因を図27を用いて説明する。
【0368】
図27は、本実施の形態例で用いるパッチワーク法で埋め込まれた付加情報Infを抽出する為、付加情報Infの埋め込み時に用いたものと同一のパターン配列(2702、2705)(コーンマスクも配置情報として参照)を用いて、畳み込みを行いながら本来のマクロブロックの位置(2701、2703、2704)を探索する様子を示している。左の図から右の図へ向かって探索が連続的に進んでいるものとする。
【0369】
図27では、簡単の為、画像データwI2'の一部である1つのマクロブロック(付加情報Infが抽出できる最小単位)に注目している。この図の1マスは1ビット情報を埋め込む為のパターン配列の大きさの概念を示している。
図27左において、2701と2702の関係を有する場合、即ち2702が実際のマクロブロック2701よりも左上に位置して場合、元の画像と付加情報Inf抽出用のパターン配列の位置は、斜線領域のみで重なっている。
【0370】
また図27の中央には、更に探索を進め、探索中の位置と実際のマクロブロックの位置が完全に一致している場合が示されている。この状態では、畳み込み対象のパターン配列とマクロブロックが最大面積重なっている。
【0371】
更に、図27の右においては、探索中の位置が実際に付加情報Infが埋め込まれているマクロブロックの位置よりも右下に位置している。この状態では、この状態では、畳み込み対象のパターン配列とマクロブロックは斜線領域のみで重なる。
【0372】
図27の全ての場合において、畳み込み対象のパターン配列とマクロブロックが十分に重なっていれば正しいスタートビットInf1を抽出することが可能である。ただし、これら3つの場合は重なる面積が異なっているので信頼度距離dが異なる。
【0373】
上記重なる面積は前述した信頼度距離dに置き換えて考えることができる。即ち、畳み込み対象のパターン配列とマクロブロックの位置関係が完全に一致していれば、各ビット情報共に信頼度距離dは上述した±32c2に非常に近くなる。
【0374】
よって、本実施の形態例においては、図28の様に、ステップ2803において正しいスタートビットInf1でないと判定された場合には、ステップ2807によりラスタ順で次の探索点に移動する。
【0375】
一方で、正しいスタートビットInf1であると判定された場合には、ステップ2804により、スタートビットInf1と思われる5ビット分に相当する信頼度距離dの和が最大値MAXより大きいかどうかを判定する。
【0376】
最大値MAXより小さな場合には、ステップ2807によりラスタ順で次の探索点に移動する。一方で、スタートビットInf1と思われる5ビット分に相当する信頼度距離dの和が最大値MAXよりも大きな場合には、最大値MAXを更新し、同時に現在の探索点を埋め込み開始点として記憶する。そして、ステップ2806において全ての探索点を探索したかどうかを判定する。
【0377】
ステップ2806において全ての探索点の探索が全て終了していない場合には、ステップ2807によりラスタ順で次の探索点に移動する。一方、全ての探索点の探索が全て終了している場合には、その時記憶されている埋め込み開始点を出力し処理を終了する。
【0378】
以上の一連の処理により、本実施の形態例におけるオフセット合わせ手段2003は、スタートビットInf1を検出し、正しいスタートビットInf1が得られた座標の中で、スタートビットInf1 と思われる5ビット分に相当する信頼度距離dの和が最も大きな座標の情報を、付加情報Infの埋め込み開始点であると判断し、埋め込み開始座標として後段へ出力する。
【0379】
[利用情報抽出手段]
利用情報抽出手段2004は、前段のオフセット合わせ手段2003から埋め込み開始座標、及び付加情報Infが埋め込まれた画像データを入力し、図6で説明した動作を同じく用いて、ここでは利用情報Inf2を構成する各ビット情報のみについて信頼度距離dを算出し、これらビット情報に対する信頼度距離d1を後段の統計検定手段2006に出力する。
【0380】
なお、利用情報Inf2を構成する各ビット情報に相当する信頼度距離d1を得ることは、実質的には、埋め込まれた利用情報Inf2の各ビットを抽出することに相当する。これについては後述する。
【0381】
ここでは、上記探索により判別された埋め込み開始座標に基づいて、各信頼度距離dを算出するのみであり、スタートビットInf1の5ビット分については抽出しない。
【0382】
[統計検定処理]
統計検定手段2006では、図20の利用情報抽出手段2004で得られる信頼度距離d1の信頼性を判定する。この判定は、付加情報Inf(利用情報Inf2)の抽出に用いた第1のパターン配列とは異なる第2のパターン配列を用いて信頼度距離d2を生成し、この信頼度距離d2の出現頻度分布を参照して信頼性指標Dを生成することで行われる。
【0383】
ここで信頼度距離d1は利用情報抽出手段2004において利用情報Inf2を抽出するために、第1のパターン配列(コーンマスクも配置情報として参照)を用いて得られる信頼度距離であり、信頼度距離d2は第1のパターン配列をは異なる後述する第2のパターン配列を用いて得られる信頼度距離である。
【0384】
第1のパターン配列は、通常付加情報Inf(スタートビットInf1,利用情報Inf2)を埋め込む際に用いた図9のパターン配列である。なお第2のパターン配列、信頼性指標D等についての詳細は後述する。
【0385】
[第2のパターン配列による抽出処理]
≪ 中心極限定理 ≫
部分集合A,Bは夫々A={a1,a2,...,aN}、B={b1,b2,...,bN}で表されるN個の要素からなる集合で、夫々図30に示される様な部分集合Aと部分集合Bの要素の持つ画素値とする。
【0386】
信頼度距離d(Σ(ai-bi) / N)は,Nが十分大きな値を取り、画素値aiとbiには相関がない場合は、信頼度距離dの期待値は0になる。また中心極限定理より信頼度距離dの分布は独立な正規分布をとる。
【0387】
ここで中心極限定理について簡単に説明する。平均値mc、標準偏差σcの母集団(正規分布でなくても良い)から大きさncの任意標本を抽出した時、標本平均値Scの分布はncが大きくなるにつれて正規分布N(mc,(σc/√nc)^2)に近づくことを示す定理である。
【0388】
一般には母集団の標準偏差σcは不明なことが多いが、サンプル数ncが十分大きく、母集団の数Ncがサンプル数ncに比べて更に十分大きいときは標本の標準偏差scをσcの代わりに用いても実用上ほとんど差し支えない。
【0389】
本実施の形態例に戻って説明する。まず利用情報抽出手段2004で求められた信頼度距離d1の出現頻度分布は、利用情報Inf2を正しく抽出できたか否かで大きく異なる。
【0390】
例えば、スタートビットInf1の検出に誤りがあった場合(オフセット合わせに失敗した場合等)には、利用情報Inf2が埋め込まれているはずの位置には実際にはビット情報が埋め込まれていないので、信頼度距離d1の出現頻度分布は図25の正規分布2501の様になる。
【0391】
一方、正しく抽出できている場合には、利用情報Inf2を構成するビット情報“1”に対応する各信頼度距離d1が正規分布2502の位置に累積され、利用情報Inf2を構成するビット情報“0”に対応する各信頼度距離d1が正規分布2503の位置に累積される。よって、この場合には2つの“山”が現れる。この2つの“山”の大きさの比は、利用情報Inf2を構成するビット情報“1”と“0”の比とほぼ等しい。
【0392】
ただし、これは付加情報が埋め込まれていない元の画像に対して第1のパターン配列で畳み込み処理を行って得られる信頼度距離d1が、正規分布2501の様になることを前提としたものである。
【0393】
従って、現実的には、元の画像の状態を知らない限り、正しく抽出できているか否かの判断を行なうことは出来ない。
よって本実施の形態例では付加情報が埋め込まれていても元の画像の状態を十分判別できる、いわゆる第2のパターン配列を用いて、信頼度距離d2の正規分布を生成し、この正規分布を2501として考えることによって、利用情報Inf2が正しく抽出できているか否かの判断を行なう。
【0394】
例えば、信頼度距離d2で作成した正規分布2501を構成する斜線部分(中心から95%までの構成要素)より外側に信頼度距離d1の出現頻度分布が存在すれば、対象となっている画像に統計的偏りが存在し、利用情報Inf2が埋め込まれていると考えることができ、利用情報Inf2の確からしさを統計的に判断することができる。この詳しい方法については後述する。
【0395】
次に、付加情報Inf(利用情報Inf2)が埋め込まれている画像データを用いて、付加情報Infが埋め込まれる前の信頼度距離d1の出現頻度分布に類似するもの(図25の様な正規分布2501)を生成する方法を説明する。
【0396】
本実施の形態例では、第2のパターン配列による抽出手段2005を用いて、正規分布2501に類似する分布を構成する信頼度距離d2を求める。
【0397】
第2のパターン配列による抽出手段2005は、利用情報抽出手段2004に用いた第1のパターン配列と“直交する”第2のパターン配列を用いて、信頼度距離d2を求める手段であり、畳み込み処理を行なう点等、利用情報抽出手段2004と動作自体はほぼ同じである。
【0398】
なお、対比説明の為、利用情報抽出装置2004で用いた図9のパターン配列、及びこのパターン配列を配置する位置を参照する為のマスク(コーンマスク)を、夫々「第1のパターン配列」、及び「第1の位置参照マスク」と呼び、第1のパターン配列に“直交する”パターン配列、及びこのパターン配列を配置する位置を参照する為のマスクを、夫々「第2のパターン配列」、及び「第2の位置参照マスク」と呼ぶ。
【0399】
第2のパターン配列による抽出手段2005に、まず、オフセット合わせ手段2003から埋め込み開始座標を入力し、上述した図6の信頼度距離演算を用いて信頼度距離d2の計算も行なう。
【0400】
この時、図6の信頼度距離演算で用いるパターン配列は埋め込みに用いた図9のパターン配列0901ではなく、このパターン配列0901に“直交する”パターン配列3301或いは3302を用いる。
【0401】
この理由は、図33のパターン配列3301及び3302を用いて計算される信頼度距離d2には、付加情報Infの埋め込みに用いた図9のパターン配列0901で操作した影響が全く反映されない為である。
【0402】
図34に示す様に、図9のパターン配列0901とこれにこれに“直交する”上記パターン配列3301とを畳み込み処理した結果は0である。これはパターン配列3302についても同様である。即ち、第1、第2のパターン配列の畳み込み結果は0である。従って、元の画像の濃度が第1のパターン配列を用いて変更されていたとしても、第2のパターン配列を用いて畳み込み処理を行って得られる信頼度距離dには全く影響が無い。
【0403】
よって、付加情報Infが埋め込まれている画像に対して上記第2のパターン配列を用いた畳み込み処理を施して得られる信頼度距離d2の出現頻度分布は、図25の正規分布2501とほぼ同様のものになる。従って上記出現頻度分布を正規分布2501とみなす。
【0404】
ここで得られる正規分布2501は、図32の3207の統計検定処理に必要な判断基準となる。
第2のパターン配列による抽出処理2005は、上述の様に図33の3301、3302の様な「第1のパターンとは“直交する”パターン配列」と、図35の3502に示す第2の位置参照マスクを用いて、信頼度距離d2の正規分布を生成する。
【0405】
なお、上記「第1のパターンとは直交するパターン配列」の条件を以下に示すと、
(1)図33に示す様に、図9の0901と同じサイズであること
(2)パターン配列3301、3302の様に、付加情報Infの埋め込み時に用いた図9のパターン配列0901との畳み込み処理の結果が0になること
である。
【0406】
また、図34に示す畳み込み処理は、図21及び図22に示される畳み込み処理と同じである。
【0407】
本実施の形態例では、畳み込みの結果が0になることを、ベクトルの内積が直交する場合に0になっていることになぞらえ、「互いのパターン配列が“直交している”」と呼ぶ。従って図33の3301、3302は「図9のパターン配列0901に“直交する”パターン配列」である。
【0408】
付加情報Infの埋め込み時に用いたパターン配列に“直交する”パターン配列を信頼度距離d2の計算に用いる理由は、信頼度距離d2の分布に統計的な偏りを存在させない、即ち0が中心の出現頻度分布を生成する為である。
【0409】
また、「第1のパターンとは“直交する”パターン配列」は、
(3)利用情報抽出処理2004に用いたパターン配列の非零の要素と等しい数の非零の要素を持ち、正と負の要素の数が夫々等しいこと
も必要な条件である。これは同一の演算条件で、信頼度距離d1と信頼度距離d2が抽出される様にする為である。
【0410】
次に、本実施の形態例では「第2の位置参照マスク」は、付加情報Infの埋め込み時に用いた3501とは別のパターンを有し、かつ3501とは異なるサイズの、図35の3502に示される参照マスクを用いる。
【0411】
以上、上記第1と第2のパターン配列が異なっていれば信頼度距離d2の出現頻度分布はほぼ正規分布2501となる。
【0412】
しかしながら、スタートビットの検出位置が完全でない場合等には、第2のパターン配列を用いて畳み込みを行ったにも拘わらず統計的な偏りが検出されてしまう可能性も有る。本実施の形態例ではこの可能性も考慮して、第1と第2の位置参照マスクの大きさを異ならせることで、周期的な要素を打ち消す様にする。或いはマスク内の各パターン配列の配置方法を異ならせることで、同一領域での畳み込みを行なわない様にする。
【0413】
また、この場合には「第2の位置参照マスク」は、これを構成する各係数がランダムに分布していれば良く、コーンマスクでなくとも構わない。
【0414】
もし「第2の埋め込み位置参照マスク」が、「第1の埋め込み位置参照マスク」と異なる様に設定する場合には、「第2の埋め込み位置参照マスク」は図20の埋め込み位置決定手段2008で作成することとする。
【0415】
一般的には、上述した切り抜き耐性を考慮して、第1の位置参照マスク(コーンマスク)は、付加情報Infの埋め込み対象となる画像データ全体に対してそれほど大きなサイズを取ることは考えられない。よって、「第2の位置参照マスク」は比較的大きなものを用いると良い。本実施の形態例では、付加情報Infを埋め込む時に参照する第1のマスクよりも、付加情報Inf側で信頼度距離d1を計算する際に用いる第2のマスクのサイズが大きくなる様に設定することとする。
【0416】
しかしながら本実施の形態例はこれに限らず、互いのマスクサイズが等しくてもある程度の効果を奏する。従って、「第2の位置参照マスク」は図20の埋め込み位置決定手段2002で作成されるものでも良い。
【0417】
互いのマスクの最低限の条件としては、互いのマスクに適用される付加情報Infを構成する各ビットの繰り返し数が、同一サイズの画像領域内で等しいことが必要である。
【0418】
なお、第2のパターン配列による抽出処理で十分な結果が得られない場合は、上述した条件を備える別の第2のパターン配列や第2の位置参照マスクを用いて、再度信頼度距離d2を計算することにより、理想的な出現頻度分布である図25の2501を生成できる可能性も有る。
【0419】
次に第2のパターン配列による抽出手段2005の具体的な操作を示す。
本実施の形態例では、第1の位置参照マスクが32×32のコーンマスクで、第2の位置参照マスクが64×64のコーンマスクとし、2つのマスクにおいて、各係数の相対的な配列は全く異なっているとする。
【0420】
まず、第2のパターン配列による抽出手段2005では、抽出位置の決定は以下の対応表3に従って行なうこととする。
【0421】
【対応表3】
【0422】
第2の位置参照マスクでは、同じ値の係数がマスク内に各16個存在する。一方、32×32の第1の位置参照マスクは、先の対応表2でマスクの参照を行っている場合、32×32の中で同一係数の繰り返し数は4個である。即ち、同一サイズの画像データにおいては、第1の位置参照マスクも第2の位置参照マスクも同じ値の係数は同数存在する。
【0423】
本実施の形態例では、上記対応表3の規則に従った位置関係に第2のパターン配列を割り当て、順次畳み込み処理を行い、各ビット情報に対応する69個の信頼度距離d2を算出する。
【0424】
[信頼性指標D]
第2のパターン配列による抽出手段2005にて生成される信頼度距離d2は、ほぼ正規分布2501と同一の分布で出現するが、正規分布においては、一般的に以下の式(25.1)の範囲で95%のサンプル(信頼度距離d2)が出現することが知られている。
m-1.96σ < d2 < m+1.96σ …式(25.1)
ここで、σは上記信頼度距離d2についての標準偏差であり、mは平均である。なお上記場合の範囲のことを“95%の信頼区間”と呼ぶ。
【0425】
m-1.96σ , m+1.96σ は、第2のパターン配列による抽出手段2005で信頼度距離d2が得られた後、これを用いて計算される。
利用情報抽出手段2004から統計検定手段2006に入力される信頼度距離d1の出現頻度分布は、ビット情報が“1”の場合は図25の正規分布2502になり、ビット情報が“0”の場合は正規分布2503になるので、利用情報Inf2に対応する信頼度距離d1は、第2のパターン配列による抽出手段2005で求められる95%の信頼区間(図25の斜線部分)の外に存在する確率が非常に高い。
【0426】
ところで、オフセット合わせ手段2003の処理時点で、この処理の対象となる画像に利用情報Inf2が存在しない場合には、信頼度距離d1の出現頻度分布も正規分布2501の様になる。
【0427】
付加情報Inf2が画像に埋め込まれているにも関わらず、利用情報Inf2に対応する64個の信頼度距離d1の全てが式(25.1)の信頼区間に含まれない確率は、(1−0.95)の64乗と非常に小さい。
従って、信頼度距離d2に基づいて正規分布2501を求めておけば、この正規分布の大半を占める範囲に、信頼度距離d1に基づいて求められた出現頻度分布が含まれるか否かを考えることにより、付加情報Inf(利用情報Inf2)が埋め込まれているか否かをほぼ確実に判断できる。
【0428】
統計検定手段2006では、上述した様な性質を用いて付加情報Inf(利用情報Inf2)が埋め込まれていることの信頼度を判断する。
【0429】
本実施の形態例では、利用情報Infが埋め込まれていることの信頼度を、信頼性指標Dとして扱う。
この信頼性指標Dは、利用情報抽出手段2004で生成する全ての信頼度距離d1における、式(25.1)の範囲の外に存在する信頼度距離d1の個数の割合で定義される。
【0430】
統計検定手段2006は、この信頼性指標Dが閾値Thより大きければ、信頼度距離d1の総合的な出現頻度分布は図25の2502や2503の様な位置に人為的に偏らされているもの、即ち利用情報Inf2が確実に埋め込まれている画像であると判断する。従って、ここでの判定に使用された信頼度距離d1自体が、信頼性の有る情報であると考え、この信頼度距離d1を更に後段の比較手段2007へ転送することを許可する。
【0431】
なお、信頼性指標Dは、図32の信頼性表示ステップ3210に示される様に、利用情報Inf2の信頼性指標D、或いは指標Dに基づくメッセージをモニタ等に表示しても良い。
例えば、信頼性指標Dが閾値Thより大きくない場合は、「利用情報Inf2は正確に抽出できていません」との趣旨のメッセージを表示させ、図32の統計検定ステップ3207から画像を再度入力するステップ3202に戻る。
【0432】
[比較処理]
図20の比較手段2007は、利用情報抽出手段2004と統計検定手段2006とを経て出力された信頼度距離d1の値を入力する。ここに入力される信頼度距離d1は信頼性の高い情報であるので、ここでは信頼度距離d1に対応する各ビット情報が“1”と“0”のいずれであるかを単純に判定するだけで良い。
【0433】
具体的には、利用情報Inf2を構成するあるビット情報の信頼度距離d1が正であれば、このビット情報が“1”であると判定し、信頼度距離d1が負の場合はこのビット情報が“0”であると判定する。
【0434】
上記判定により得られた利用情報Inf2は、ユーザーの参照情報、或いは制御信号にする為の最終的なデータとして出力される。
【0435】
[ 高速処理への考慮]
以上説明したように、付加情報の抽出を実行することが可能である。一方で、本実施の形態例では、付加情報Infの抽出処理を必ずしも全て行なう必要はない。以上述べた実施の形態は、図2に示した電子透かし抽出装置への入力pwIに電子透かし情報が埋め込まれていることを想定したものである。
【0436】
一方で、電子透かし抽出装置への入力pwIに電子透かし情報が埋め込まれていない場合もある。更に、電子透かし抽出情報は可能な限り高速に処理を終了することを要求するアプリケーションもある。
【0437】
以上から、電子透かし抽出装置において、電子透かし抽出装置への入力pwIに電子透かし情報が埋め込まれていないことが判明した時点で、電子透かし抽出処理を終了することが、処理を高速に終了するという観点からは望ましい。これについて、図55に示すフローチャートを用いて以下説明する。
【0438】
図55は、図32に示した電子透かし抽出処理のフローチャートの変形例である。図32のフローチャートに、レジストレーション信号検出判定処理5504が加わったフローチャートが図55である。
【0439】
レジストレーション信号検出判定処理5504では、この前処理であるスケールあわせ処理5503によってレジストレーション信号rが検出されたか否かを判定する。レジストレーション信号が検出されていなければ、この時点で情報抽出処理は終了する。
【0440】
電子透かし情報が埋め込まれている画像からは、必ずレジストレーション信号rが検出されるはずである。レジストレーション信号rが検出されなかったということは、電子透かし情報が埋め込まれていないということである。よって、その後電子透かし抽出処理を続行する必要はなく、電子透かし抽出処理をこの時点で終了することが可能である。
【0441】
以上で、付加情報の埋め込みから抽出までの一連の処理の説明を終わる。
以上説明した様に本実施の形態例によれば、幾何変換を補正するレジストレーション処理において、従来と比較して、画像信号に対して適応的にレジストレーション信号を選択することによって、レジストレーション信号の検出を容易にするようにレジストレーション信号を埋め込むことが可能となる。
【0442】
[他の発明の実施の形態例]
以上に説明した第1の実施の形態例における付加情報Inf(利用情報Inf2)には誤り訂正符号化されたものを用いることも可能である。従って、付加情報Inf(利用情報Inf2)には誤り訂正符号化されたものを用いることにより、更に抽出された利用情報Inf2の信頼性が向上する。
【0443】
また、以上に説明した第1の実施の形態例においては、図49に示される2つのパターン配列から、入力画像データの解像度或いはプリンタの出力(印刷)解像度に最適なものを選択する場合について説明したが、本発明は以上の例に限定されるものではなく、例えばm×n(m、nは整数)個の要素から成る、互いにサイズの異なるパターン配列を2つ以上有し、入力画像データの解像度或いはプリンタの出力(印刷)解像度に最適な1つを選択して使用する様にする場合も本発明の範疇に含まれる。
【0444】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムの1部として適用しても、1つの機器(例えば複写機、ファクシミリ装置)からなるものの1部に適用してもよい。
【0445】
また、本発明は上記実施の形態を実現する為の装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ(CPUあるいはMPU)に、上記実施の形態を実現する為のソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【0446】
またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給する為の手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【0447】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0448】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【0449】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【0450】
なお、上記実施の形態例ではコーンマスクを用いて電子透かし情報を埋め込む場合について説明したが、本発明はこれに限らない。特にブルーノイズマスクを用いて電子透かし情報を埋め込む場合も本発明の範疇に含まれる。
【0451】
また、上述した種々の特徴点の少なくとも1つを含む構成であれば本発明の範疇に含まれる。
【0452】
【発明の効果】
以上説明した様に本発明によれば、幾何変換を補正するレジストレーション処理において、従来と比較して、画像信号に対して適応的にレジストレーション信号を選択することによって、レジストレーション信号の検出を容易にするようにレジストレーション信号を埋め込むことが可能となる。
【図面の簡単な説明】
【図1】本発明にかかる一発明の実施の形態例における電子透かし埋め込み装置の全体構成を示すブロック図である。
【図2】本実施の形態例における電子透かし抽出装置の全体構成を示すブロック図である。
【図3】印刷系処理において抽出側で生成された画像データの一例を示す図である。
【図4】本実施の形態例におけるレジストレーション信号埋め込み手段の詳細構成を示すブロック図である。
【図5】本実施の形態例におけるレジストレーション信号を説明するための図である。
【図6】本実施の形態例における信頼度距離演算手段の詳細構成を示す図である。
【図7】本実施の形態例におけるスケール合わせ手段の詳細構成を示すブロック図である。
【図8】本実施の形態例におけるレジストレーション信号の抽出を説明する図である。
【図9】本実施の形態例における付加情報の埋め込み時及び抽出時に用いるパターン配列を示す図である。
【図10】本実施の形態例における付加情報埋め込み手段の詳細構成を示すブロック図である。
【図11】本実施の形態例における埋め込み位置決定手段の詳細構成を示すブロック図である。
【図12】コーンマスク及びブルーノイズマスクの出現頻度分布を示す図である。
【図13】人間の視覚の空間周波数特性を説明するための図である。
【図14】ブルーノイズマスク、コーンマスクの空間周波数特性を示す図である。
【図15】本実施の形態例における位置参照マスクの簡単な説明図である。
【図16】位置参照マスク内の埋め込み位置を示す概念図である。
【図17】図16に示すマスクに各パターン配列を展開する様子を示す図である。
【図18】本実施の形態例における画像全体に付加情報Infの最小埋め込み単位を繰り返し埋め込む操作を示す図である。
【図19】本実施の形態例における付加情報Infを埋め込む演算を説明する図である。
【図20】本実施の形態例における付加情報抽出手段を説明する図である。
【図21】本実施の形態例における付加情報Infを抽出する様子を説明する図である。
【図22】本実施の形態例における付加情報Infが存在しないにも拘わらず、抽出しようとした様子を示す図である。
【図23】原画像から信頼度距離dを抽出した場合の理想的な出現頻度分布を示す図である。
【図24】電子透かしが埋め込まれた画像から信頼度距離dを抽出した場合を示す図である。
【図25】第1の実施の形態例における信頼度距離d1,d2の出現頻度分布の例を説明する図である。
【図26】本実施の形態例におけるレジストレーション信号の埋め込みと抽出の原理を説明する図である。
【図27】本実施の形態例におけるオフセット合わせ手段における埋め込み先頭位置探索の概念を示す図である。
【図28】本実施の形態例におけるレジストレーション処理を説明するフローチャートである。
【図29】本実施の形態例における空間領域におけるレジストレーション信号埋め込み手段の他の例の詳細構成を示すブロック図である。
【図30】本実施の形態例におけるパッチワーク法における二つの集合を説明する図である。
【図31】本実施の形態例の電子透かし埋め込み装置の全体制御を説明するためのフローチャートである。
【図32】本実施の形態例の電子透かし抽出装置の全体制御を説明するためのフローチャートである。
【図33】図9に示すパターンに直交するパターン配列の例を示す図である。
【図34】“直交する”「パターン配列を説明する図である。
【図35】本実施の形態例における第1、第2の位置参照マスクのを示した図である。
【図36】本実施の形態例における付加情報Infの構成を示す図である。
【図37】本実施の形態例におけるブルーノイズマスク内の各係数の一例を示す図である。
【図38】本実施の形態例におけるコーンマスク内の各係数の一例を示す図である。
【図39】人間の視覚の色度空間数特性を示す図である。
【図40】JPEG方式における最小符号化単位を示す図である。
【図41】JPEG方式における輝度、色差成分のサンプリングを示す図である。
【図42】パターン配列の正、負の操作部分(パッチ)を示す図である。
【図43】本実施の形態例における面積階調で表現された階調と濃度階調で表現された階調の対応を説明する図である。
【図44】本実施の形態例における階調変換処理の前後で階調情報が伝搬する原理を説明する図である。
【図45】画像の解像度によるプリンタのハーフトーン処理の違いを説明する図である。
【図46】本実施の形態例におけるパッチの埋め込みによるインクドットの変化を説明する図である。
【図47】本実施の形態例におけるパッチの大きさと埋め込み深さによるドットの増加を説明する図である。
【図48】画像の解像度の違いによるパターン配列単位の正のパッチと負のパッチの差を示す図である。
【図49】本実施の形態例における画像の各解像度に対応する付加情報Infを埋め込む為のパターン配列を示す図である。
【図50】本実施の形態例におけるレジストレーション信号埋め込み手段の更に他の例の詳細構成を示すブロック図である。
【図51】周波数特性判定手段を説明する図である。
【図52】本実施の形態例における第1のレジストレーション信号及び第2のレジストレーション信号を説明する図である。
【図53】本実施の形態例におけるレジストレーション手段の詳細構成を示すブロック図である。
【符号の説明】
5001 ブロック分割手段
5002 フーリエ変換手段
5003 周波数特性判定手段
5004 レジストレーション信号切り替え手段
5005 加算手段
5006 逆フーリエ変換手段
5007 ブロック合成手段
Claims (3)
- 画像データに施された幾何変換を特定可能なレジストレーション信号を埋め込む画像処理方法であって、
周波数変換手段により、前記画像データを周波数変換する周波数変換ステップと、
算出手段により、前記周波数変換ステップで得られた各周波数に対する成分値を低周波成分から高周波成分に向かって累積加算することにより得られる累積ヒストグラムを導出し、該導出した累積ヒストグラムにおいて累積加算値が所定値を超える位置の周波数を算出する算出ステップと、
レジストレーション信号選択手段により、前記算出ステップで算出された周波数が、埋め込むレジストレーション信号を選択するために予め設定された所定の周波数より低い場合に、第1の周波数にインパルス性を有する第1のレジストレーション信号を選択し、前記算出ステップで算出された周波数が前記所定の周波数より低くない場合に、前記第1の周波数より高い第2の周波数にインパルス性を有する第2のレジストレーション信号を選択する、レジストレーション信号選択ステップと、
加算手段により、前記周波数変換された画像データに対して、前記レジストレーション信号選択ステップによって選択されたレジストレーション信号を加算する加算ステップと、
を有することを特徴とする画像処理方法。 - 前記請求項1に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ可読記録媒体。
- 画像データに施された幾何変換を特定可能なレジストレーション信号を埋め込む画像処理装置であって、
前記画像データを周波数変換する周波数変換手段と、
前記周波数変換手段で得られた各周波数に対する成分値を低周波成分から高周波成分に向かって累積加算することにより得られる累積ヒストグラムを導出し、該導出した累積ヒストグラムにおいて累積加算値が所定値を超える位置の周波数を算出する算出手段と、
前記算出手段で算出された周波数が、埋め込むレジストレーション信号を選択するために予め設定された所定の周波数より低い場合に、第1の周波数にインパルス性を有する第1のレジストレーション信号を選択し、前記算出手段で算出された周波数が前記所定の周波数より低くない場合に、前記第1の周波数より高い第2の周波数にインパルス性を有する第2のレジストレーション信号を選択する、レジストレーション信号選択手段と、
前記周波数変換された画像データに対して、前記レジストレーション信号選択手段によって選択されたレジストレーション信号を加算する加算手段と、
を有することを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000131629A JP4311698B2 (ja) | 2000-04-28 | 2000-04-28 | 画像処理装置及び画像処理方法並びに記録媒体 |
US09/824,745 US6741758B2 (en) | 2000-04-07 | 2001-04-04 | Image processor and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000131629A JP4311698B2 (ja) | 2000-04-28 | 2000-04-28 | 画像処理装置及び画像処理方法並びに記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001313814A JP2001313814A (ja) | 2001-11-09 |
JP2001313814A5 JP2001313814A5 (ja) | 2007-05-31 |
JP4311698B2 true JP4311698B2 (ja) | 2009-08-12 |
Family
ID=18640494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000131629A Expired - Fee Related JP4311698B2 (ja) | 2000-04-07 | 2000-04-28 | 画像処理装置及び画像処理方法並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4311698B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090136083A1 (en) * | 2005-09-09 | 2009-05-28 | Justin Picard | Coefficient Selection for Video Watermarking |
WO2007032760A1 (en) * | 2005-09-09 | 2007-03-22 | Thomson Licensing | Coefficient modification for video watermarking |
BRPI0520534A2 (pt) * | 2005-09-09 | 2009-05-19 | Thomson Licensing | sinalização com marca d'água em vìdeo |
WO2007032752A1 (en) * | 2005-09-09 | 2007-03-22 | Thomson Licensing | Video watermark detection |
US7747082B2 (en) * | 2005-10-03 | 2010-06-29 | Xerox Corporation | JPEG detectors and JPEG image history estimators |
JP2007312424A (ja) * | 2007-07-30 | 2007-11-29 | Fujitsu Ltd | 画像データ処理装置及び方法 |
EP3164849B1 (en) * | 2014-08-12 | 2020-05-06 | Digimarc Corporation | Data hiding for spot colors in product packaging |
CN114494017B (zh) * | 2022-01-25 | 2023-04-07 | 北京至简墨奇科技有限公司 | 根据比例尺进行图像dpi调整的方法和装置、设备及介质 |
-
2000
- 2000-04-28 JP JP2000131629A patent/JP4311698B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001313814A (ja) | 2001-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4218920B2 (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
US7142689B2 (en) | Image processing apparatus for determining specific images | |
US6741758B2 (en) | Image processor and image processing method | |
US10643295B2 (en) | Geometric enumerated watermark embedding for colors and inks | |
JP2001218006A (ja) | 画像処理装置、画像処理方法および記憶媒体 | |
US6873711B1 (en) | Image processing device, image processing method, and storage medium | |
JP3647405B2 (ja) | 画像処理装置及び画像処理方法 | |
US6826290B1 (en) | Image processing apparatus and method and storage medium | |
JP2007067932A (ja) | 画像処理装置及びその方法 | |
US6993148B1 (en) | Image processing apparatus and method, and storage medium | |
JP2010213257A (ja) | 装置、方法、プログラム | |
KR20030051712A (ko) | 하프톤 워터마킹 및 관련 응용들 | |
Chan et al. | A framework of reversible color-to-grayscale conversion with watermarking feature | |
JP4311698B2 (ja) | 画像処理装置及び画像処理方法並びに記録媒体 | |
Chen et al. | High-quality blind watermarking in halftones using random toggle approach | |
JP3809310B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
JP3884891B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
JP3684181B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3869983B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
JP3740338B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
Kitanovski et al. | Orientation modulation for data hiding in chrominance channels of direct binary search halftone prints | |
JP2001119558A (ja) | 画像処理装置及び方法及び記憶媒体 | |
JP3787511B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2001292301A (ja) | 画像処理装置及び画像処理方法並びに記憶媒体 | |
JP3684178B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070405 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080808 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080814 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090507 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |