JP3958128B2 - 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の著作権保護、画像の改竄防止等のために、画像に目視可能な可視の副次的な画像形状情報を埋め込む画像処理装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記録媒体に関するものである。
【０００２】
【従来の技術】
画像をデジタルデータとして扱うデジタル画像には、従来のアナログ画像と比較して、コンピュータ等によって画質を劣化すること無く簡単にコピーでき、通信回線を通じて電送することができるという特徴がある。しかし、その一方で、このような特徴により、著作権等に絡むデジタル画像が安易に不正コピーされ再配布されることにもなる。
【０００３】
これを防ぐための方法の一つとして電子透かしと呼ばれる手法がある。電子透かしには、大きく分類して著作権情報、ユーザ情報等の透かし情報を目に見えない形で埋め込む不可視型と、画像上に著作権を保有する会社のロゴ等の透かし画像を積極的に目に見える形で形成する可視型とがある。
【０００４】
不可視型の電子透かしでは、透かし情報が埋め込まれているということが、埋め込み画像を一見しただけでは認識できない、或いは認識し難い。このため、透かし情報の削除は行われにくいものの、不正コピー、不正配布は可視型に比べ行われ易い。但し、例えデジタル画像が不正にコピー又は配布された場合であっても、そのデジタル画像中には透かし情報が残っているので、透かし情報として埋め込まれたユーザＩＤ等により、不正ユーザを特定することができる。
【０００５】
一方、可視型電子透かしでは、透かし情報は、デジタル画像上に目で見える形で書き込まれているので、そのままでは利用し辛く、不正コピーや不正配布を思いとどまらせる効果がある。可視型の電子透かしの埋め込み方法として、従来、著作権所有者のロゴ等の著作情報を表した画像の画素値を、原画像の画素値と置き換えることにより、著作情報を原画像に埋め込むという手法がよく用いられてきた。この手法の欠点としては、原画像の画素値が失われるため、差分情報なしには原画像を復元できないことが挙げられる。
【０００６】
そのため、従来の可視型電子透かし埋め込み手法においては、原画像を復元する場合、置き換えた画素値を再取得する必要があり、実際には原画像を再取得するのと同じであり、鍵情報が大きくなるという欠点があった。
【０００７】
【発明が解決しようとする課題】
特開２０００−１８４１７３では、可視型電子透かしを埋め込みたい位置において、画素の全てまたは一部のビットと埋め込みシリアル系列の間で演算処理（暗号化）を行い、可視の透かし画像形状情報を画像に埋め込む方法が提案されている。上記手法に基づき、完全に可逆な可視の電子透かしを実現可能である。しかし、上記の文献においては、十分に画質が考慮されているとは言えない。
【０００８】
また、特開平８−２５６３２１では、ＪＰＥＧまたはＭＰＥＧ圧縮符号化方式で圧縮符号化された画像のビット列の一部分を抽出し、その抽出部分以外を参照せずに、独立に定義された変換方式によって、抽出されたビット列を直接変換し、書き戻す方法が提案されている。この技術は通称、「半開示」と呼ばれ、開示する画像情報の画質をコントロールした状態でユーザに提供できる。
【０００９】
しかしながら、上記方法は元の画像の特徴を保存するものの、スクランブル（暗号化）の一種であり、やはり、電子透かしが埋め込まれた後の画像に対して十分に画質が考慮されているとは言えない。
【００１０】
一方、画質を考慮した可視型電子透かしの一手法が、特開平８−２４１４０３に記載されている。この文献中では、まず入力画像を均等知覚色空間に変換する。次に、可視型電子透かしを埋め込みたい位置において、線形輝度値を透かしの強度（初期スケール係数）やノイズに応じてスケーリングし、輝度を大きくまたは小さくすることで、可視型電子透かしを埋め込む。しかし、この文献によれば画質はよいと想定されるものの、完全に可逆を実現する方法は述べられていない。
【００１１】
本発明は、かかる問題に鑑みなされたものであり、原画像に可逆ノイズを多重化させることで、可視可能な付加情報を埋め込むと共に、そのノイズ多重化した部分においても原画像が持つ特性が十分に反映させ、以って自然で違和感のない付加情報を多重化する画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【００１２】
また、他の発明は、付加情報を除去することでオリジナル画像、もしくはオリジナル画像に近い画像まで復元することが可能な画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
少なくとも輝度を主成分とする多値画像データにノイズを多重化して、当該ノイズの多重化した分布による目視可能な付加情報を埋め込む画像処理装置であって、
画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力手段と、
前記付加情報に基づき、多値画像データ中の注目画素が、ノイズを多重化する位置にあるのか否かを判定する判定手段と、
該判定手段によって前記注目画素がノイズ多重化する位置にあると判定された場合、注目画素の近傍領域の輝度値に基づき、注目画素に加算する加算輝度値を算出する輝度値算出手段と、
算出された加算輝度値を注目画素の輝度値に加算する加算手段とを備え、
前記輝度値算出手段は、
前記近傍領域のデータを明度値に変換する第１の変換手段と、
前記注目画素に対して可逆ノイズを多重化するための鍵情報と、前記近傍領域の輝度値に基づき、前記近傍領域に対する明度変更量を算出する変更量算出手段と、
算出された明度変更量を、前記第１の変換手段で変換された明度値に加算する明度加算手段と、
該明度加算手段で得られた明度値を輝度値に変換する第２の変換手段と、
該第２の変換手段で得られた輝度値と、前記近傍領域の輝度値と差分を前記加算輝度値として算出する手段とを備える。
【００１４】
【本発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１５】
＜前提の説明＞
本実施形態においては、可視型電子透かしの埋め込みに用いる成分を、カラー画像を構成する輝度成分とする場合について説明する。輝度成分を操作する場合には、色成分の変化が無い為、人の目には明るさに変化が加わったように見える。従って、可視型電子透かしの埋め込みとしては好適な成分である。
【００１６】
しかしながら、可視型電子透かしの埋め込みに用いる成分は輝度成分だけに限らない。Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各成分を、画像の特徴を保存しつつ、可視型電子透かしが人の目に好ましく見えるように、バランスよく操作することも可能である。その他の成分（例えばＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）等）についても同様である。
【００１７】
また、説明を簡単にする為、入力される画像は８ビットグレースケール画像とするが、Ｒ（赤）、Ｇ（緑）、Ｂ（青）やまたは、Ｙ（輝度）、Ｕ、Ｖ（色差２成分）の色成分から構成される画像においても、本発明の実施の方法で処理可能である。
【００１８】
図１７は、本実施形態に於いて画像に埋め込む可視型電子透かしを表す透かし画像形状情報の一例である。図示の場合、単純な文字列「ＡＢＣ、ＤＥＦ」であるが、透かし画像形状情報としては著作権者のロゴ、画像撮影日時、個人名、企業名、ロゴ、印象的な効果を与える模様等のどのような画像情報になるであろう。また透かし画像形状情報は、画像の関心領域（例えば、医療用画像の患部等）であってもよい。
【００１９】
また本発明においては、透かし画像形状情報は、図１７のように透かし処理（実施形態ではノイズ付加或いはノイズ多重化）する位置を規定する各画素１ビット（２値）の情報を持つマスク画像（図１７では白のアルファベットの領域が可視型電子透かしが埋めこまれる領域を示す）として説明を行う。
【００２０】
＜第１の実施形態＞
以下、本発明の第１の実施形態を図面と共に説明する。
【００２１】
図２３は実施形態における画像処理を行う情報処理装置のブロック構成図である。図示において、１は装置全体の制御を司るＣＰＵであり、２はブートプログラムやＢＩＯＳ等を記憶しているＲＯＭである。３はＣＰＵ１のワークエリアとして使用されるＲＡＭであり、ここにＯＳ、画像処理に係るプログラム等がロードされ、実行されることになる。４はＯＳ、画像処理プログラム、画像データファイル（処理前、処理後を含む）を格納するための外部記憶装置としてのハードディスク装置である。５が画像入力装置であって、例えばイメージスキャナ、デジタルカメラ、画像ファイルを格納している記憶媒体（メモリカードや、フレキシブルディスク、ＣＤＲＯＭ等）、或いは、ネットワーク上から画像をダウンロードするためのインタフェースであっても構わない。６は、画像を表示したり、各種操作を行うためのＧＵＩを提供する表示装置であり、７はキーボード、８は表示画面上の所望とする位置を指定したり、各種メニューを選択するために用いられるポインティングデバイスである。
【００２２】
上記構成における装置に電源が投入され、ＯＳがＲＡＭ３上にロードされ、ユーザの指示、或いは、予め自動起動するように設定しておくことで、本実施形態における画像処理プログラムがＲＡＭ３にロードされ、実行されることになる。
【００２３】
図１は、本発明の第１の実施形態による可逆ノイズ加算装置の処理を示すフローチャートである。
【００２４】
同図において、まず、ステップＳ１０２の初期状態で、画素位置と画素値で構成される複数の画素からなる原画像Ｉと、埋め込む画像の形状を示す画素位置からなる透かし画像形状情報Ｍと、２進数で表現される所定のシリアルビット系列を生成するための乱数キーＲと、画素値の中の演算対象となるビット領域を規定した演算ビット領域決定テーブルＴ＿Ｎと、加算するノイズの強度を定義する可視強度値Ｓと、近隣画素選択方法ＮＳ、近隣画素解析方法ＮＡを設定し、出力画像Ｗの格納領域を例えばＲＡＭ上に確保する。
【００２５】
なお、原画像Ｉは画像入力装置５より直接入力したもので良いし、ＨＤＤ４に一旦保存した画像ファイルでも構わない。また、画像形状情報Ｍは、ＨＤＤ４に予め記憶されているものを利用するものとするが、ユーザが自由に作成しても良い。乱数キーＲについては、乱数発生するための関数（プログラム）を実行すればよいし、演算ビット領域決定テーブルＴや、可視強度値Ｓはキーボード等から入力しても良いし、予めこれらをファイルとしてＨＤＤに保存してあるものを採用しても構わない。また、出力画像Ｗの出力先は、ＨＤＤ４であるものとする。更に、シリアルビット系列は画像全体で固定としてもよいが、秘匿性を高めるため、乱数キーＲに基づき画像の埋め込み位置に応じて変化するものとする。
【００２６】
また、このステップＳ１０２では、以下の処理に先立ち、原画像Ｉ中の特定の画素を順次選択していくが、この選択順は、左上隅を開始位置とし、そこから右水平方向の１ラインをスキャンし、ラインエンドになった場合には、次のライン（２ライン目）の左から右方向へスキャンすることを繰り返し行うものとする。これは、ノイズ除去でも同じであるし、後述する各実施形態でも同様である。
【００２７】
さて、ステップＳ１０４では、入力画像の未処理の画素を選択する（初期状態では左上隅になる）。ステップＳ１０６では、選択した原画像中の画素位置が、透かし画像形状情報のどの位置に相当するか、すなわち、画像形状情報中の“１”（実施形態では図１０における白画素位置に埋め込むことは既に説明した）の位置にあるのか否かを判断する。埋め込み（多重化）対象画素であると判断した場合には、ステップＳ１０８にその画素位置情報を送り、画像形状情報の“１”以外の位置、すなわち、“０”の位置にあると判断した場合には、その画素についての処理を終了する。
【００２８】
ステップＳ１０８に処理が進んだ場合、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域を決定する。次に同じく初期設定で設定された近隣解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域解析値を生成する。ここで、近傍領域解析値は、近傍領域から得られる埋め込み対象画素の予測値である近傍領域画素値と、近傍領域の周波数的特性等を含む近傍領域特性値で構成されるものである（詳細は後述）。
【００２９】
次にステップＳ１１０では、ステップＳ１０８で生成した近傍領域解析値や可視強度値Ｓに基づき、ステップＳ１１２の演算処理で処理対象となる演算ビット領域を決定する。
【００３０】
ステップＳ１１２では、ステップＳ１１０で決定された演算ビット領域のビットとステップＳ１０２の初期設定で入力される乱数キーＲから生成されるシリアルビット系列の間で演算処理を行う。このとき演算は可逆の処理である必要がある。実施形態では、この演算処理として排他的論理和演算処理を採用するが、モジュロ加算、モジュロ乗算等の可逆な演算は全て含まれる。
【００３１】
次にステップＳ１１４では、出力画像Ｗに対応する入力画素のビット領域の値を処理された演算ビット領域の値で書き込む、書き込み処理を実行する。
【００３２】
次にステップＳ１１６では全ての画素が処理されたかを判定し、未処理の画素があるならステップＳ１０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【００３３】
以上、本実施形態における可逆ノイズ加算処理の概要を述べた。
【００３４】
図２は本実施形態における、演算処理で行われる操作の一例を図的に示したものである。２０２は入力画素値、２０４は乱数キーＲから生成されるシリアルビット系列、２０６は入力画素とシリアルビット系列の対応するビット位置の排他的論理和（ＸＯＲ）、２０８は演算処理後の出力画素、太枠で囲まれたビット位置は演算ビット領域を示す。
【００３５】
シリアルビット系列２０４は画素を復号化する際の鍵にもなる。なお演算ビット領域以外に対応するシリアルビット系列は必要ない。
【００３６】
２０６の太枠内は、入力画素の演算ビット領域と対応するシリアルビット系列のビット領域を演算処理結果（ここでは排他的論理和）である。
【００３７】
２０８は２０６の演算処理結果を対応する入力画素の演算ビット領域の値に書き込んだ結果である。
【００３８】
図示の場合、演算結果の画素値と原画素値との差（以下でＢは２進数を意味する）は、
１００１１１０１（Ｂ）−１０１１０１０１（Ｂ）
＝１５７−１８１＝−２４
となり、着目画素値は「−２４」変化したことを意味する。
【００３９】
Ｂ５，Ｂ４，Ｂ３，Ｂ１，Ｂ０（Ｂ２が除外されている点に注意されたい）の５ビットが演算ビット領域である場合、演算ビット領域が全て反転すると、最大で 2^5 + 2^4 + 2^3 + 2^1 + 2^0 = 32 + 16 + 8 + 2 + 1 = 59 （x^yはｘのｙ乗を示す）の画素値の変化が実現する。
【００４０】
このように演算ビット領域は、埋め込み対象画素における画素値の最大変化量(Δmax)を決定する。本実施形態では、上記の演算ビット領域に属するビット情報を操作することにより、可逆ノイズの埋め込みを行う。従って、演算ビット領域は、付加される可逆ノイズの強度を決める要素となる。本実施形態では、演算ビット領域は、埋め込み対象画素の近隣の単一または複数の画素値から成る近傍領域の解析に基づいて決定される。
【００４１】
そこで、次に、近傍領域解析処理、近傍領域解析値について詳細に説明する。
【００４２】
本実施形態においては、埋め込み対象画素に可視型電子透かしを埋め込むために隣接画素等から構成される近傍領域の解析に基づいて、演算処理する演算ビット領域を決定する。
【００４３】
一般に自然画像では隣接画素の間では画素値に相関が大きい。即ち、隣接する画素位置は、略等しい画素値を備えることが多い。そのため、自然画像では、近隣画素における人の目に知覚可能な変更量は、埋め込み対象画素における人の目に知覚可能な変更量として適切である。
【００４４】
また、人間の輝度の視覚特性は、明るい輝度は輝度の変化が知覚されにくく、暗い輝度は輝度の変化が知覚され易いという非線形な特性がある。
【００４５】
本実施形態では、埋め込み対象画素と相関性の高い近隣画素を参照し、尚且つ、人間の視覚特性をも加味し、埋め込み対象画素の最大変化量Δmaxをきめ細かく設定することで、原画像のどの階調（輝度）においてもほぼ同様に知覚されるノイズの加算を実現するものである。
【００４６】
以下では、埋め込み対象画素への可逆ノイズの埋め込みの為の演算ビット領域を決める近隣画素で構成される領域を「近傍領域」と呼ぶこととする。
【００４７】
この近傍領域を構成する画素は、単一の画素でもよいし、複数の画素でもよい。また近傍領域は、埋め込み対象画素と相関が高いと予想される領域であればよく、必ずしも埋め込み対象画素に隣接している必要はない。
【００４８】
また、近傍領域内の画素を解析する場合、画素値だけでなく、近傍領域内の画素値の周波数特性や近傍領域内の画素値の分散等の統計的性質を利用してもよい。
【００４９】
更にまた、高周波部分やテクスチャ領域において最大変化量Δmaxを大きく設定した演算領域決定テーブルＴ＿Ｎを設計すれば、高周波成分から成る領域やテクスチャ領域でも、人の目に均等に認識され易い可逆のノイズを付加することが出来る。
【００５０】
次に本実施形態における近傍領域選択解析処理について詳しく説明する。
【００５１】
図５は図１のステップＳ１０８の近傍領域選択解析処理を実行する近傍領域選択解析部の内部構成を示すブロック図であり、近傍領域選択部５０２と近傍領域解析部５０４で構成される。
【００５２】
近傍領域選択部５０２には、画像情報（画素位置、画素値）、埋め込み対象画素の位置情報、近傍領域選択方法ＮＳが入力される。近傍領域選択部５０２は、前記の入力情報に基づき、近傍領域を決定するが、近傍領域は画像全体で固定でなく、画素位置や所定の鍵情報に従って変化させる形態にしてもよい。
【００５３】
近傍領域選択部５０２は後段の近傍領域解析部５０４に近傍領域情報（画素の位置、画素値等）を出力する。
【００５４】
後段の近傍領域解析部５０４は、近傍領域情報（画素の位置、画素値等）と近傍領域解析方法ＮＡが入力され、前記の入力情報に基づき、近傍領域の画素値を解析する。そして、近傍領域解析部５０４は近傍領域解析値（近傍領域画素値と近傍領域特性値）を出力する。
【００５５】
次に近傍領域選択解析手段の処理について図を用いて具体的に説明する。
【００５６】
図６は８ビットグレースケールの入力画像６０１と可視型電子透かしが埋め込まれた出力画像６０２（ノイズ付加後の画像）の一部を図的に示した図である。
【００５７】
図６中の太枠で囲まれた画素（画素１３ａ、１４ａ、１５ａ、１８ａ、１９ａ、２０ａ）は、透かし画像形状内（“１”の領域）に相当し、可逆ノイズの埋め込み対象画素である。
【００５８】
本実施形態では、画素１３ａの演算ビット領域は、画素１３ａの近傍領域に基づいて選択され、その近傍領域はまず、近傍領域選択部５０２を用いて決定される。
【００５９】
説明を簡単なものとするため、実施形態における近傍領域選択部５０２は、着目画素の左画素とする。従って、今、画素１３ａがノイズ付加処理を行わせる着目画素とした場合、その左隣の画素１２ａ（画素値１１２）が近傍領域として選択されることになる。尚、近傍領域として複数の画素領域を選択する場合については、後に説明する。
【００６０】
次に近傍領域解析部５０４に画素１２ａ（画素値１１２）を入力する。図６では説明を簡単にするため、近傍領域解析部５０４は、入力画素値「１１２」をそのまま近傍領域解析値として出力するとする。
【００６１】
次に、演算ビット領域決定処理では、前段の近傍領域選択解析処理から得られる近傍領域解析値を元に、埋め込み対象画素１３ａの演算ビット領域を決定することになる。
【００６２】
実施形態の場合、演算ビット領域決定は次のようにして行うものとした。
【００６３】
図３はステップＳ１１０の演算ビット領域決定処理を実行する、演算ビット領域決定部のブロック図である。
【００６４】
演算ビット領域決定部３００には、ステップＳ１０８の近傍領域選択解析処理から入力される近傍領域解析値３０２、初期設定で設定された可視強度値Ｓ（３０６）、演算ビット領域決定テーブルＴ＿Ｎ３０４がそれぞれ入力される。
【００６５】
演算ビット領域決定部３００では、近傍領域解析値３０２と演算ビット領域決定テーブルＴ＿Ｎ３０４、さらには可視強度値Ｓ３０６とに基づいて、埋め込み対象画素の演算ビット領域を決定し、演算ビット領域情報３０８として出力する。
【００６６】
次に、演算ビット領域決定テーブルＴ＿Ｎについて説明する。
【００６７】
演算ビット領域決定テーブルＴ＿Ｎは、ステップＳ１１０演算ビット領域決定処理で演算ビット領域を決定する際に用いられる参照テーブルである。
【００６８】
図４に近傍領域解析値（近傍領域内の画素の画素値）と対応付けられた演算ビット領域決定テーブルＴ＿Ｎの一例を示す。同図（ａ）が可視強度Ｓ＝１の場合のテーブルを示し、同図（ｂ）が可視強度Ｓ＝２の場合のテーブルを示している。近傍画素領域の値（輝度）が小さいほど、着目画素における演算ビット領域は下位ビットにシフトしていることがわかる。これは、自然画（デジタルカメラやスキャナで読取った階調画像）の場合、着目画素と近傍画素との相関が高い、換言すれば、注目画素とその近傍画素の輝度はほぼ等しい点、更には、人間の輝度の視覚特性は、明るい輝度は輝度の変化が知覚されにくく、暗い輝度は輝度の変化が知覚され易いという非線形な特性を考慮しているためである。
【００６９】
図示において４０１は近傍領域解析値を表し（図４では簡単のために近傍領域画素値のみを表示している）、４０２は近傍領域解析値に対応する埋め込み対象画素の演算ビット領域（図４ではＹが記入されているビット位置が演算ビット領域）を表し、４０３は演算ビット領域から計算される最大変化量Δmaxを表している。また、「Ｙ」が記されていないビットに対しては変更しない。
【００７０】
また、図示の如く、可視強度Ｓ＝２の場合、可視強度Ｓ＝１に対し、総じて演算ビット領域はビット位置として下位方向へシフトしていることがわかる。この意味するものは、可視強度Ｓ＝２の場合には、オリジナル画像に対する変更する割合が少ない、換言すれば、オリジナル画像の画質劣化を抑制するとも言える。
【００７１】
上記のように演算ビット領域決定テーブルＴ＿Ｎは、近傍領域解析値（図４では近傍領域から計算される近傍領域画素値）及び可視強度値Ｓが演算ビット領域と対応付けられた値を持っている。演算ビット領域決定部３００では、上記の可視強度Ｓに応じて、いずれかの演算ビット領域決定テーブルを選択し、その選択された演算ビット領域決定テーブルＴ＿Ｎを参照し、入力される近傍領域解析値３０２及び可視強度値Ｓ３０６に対応する演算ビット領域を読み取り、出力する。
【００７２】
最後にステップＳ１１２の演算処理では、既に述べた方法で決定された演算ビット領域において、図２に図示したようなシリアルビット系列と演算ビット領域のビットの間でビット演算を実行する。ステップＳ１１４の書き込み処理では、ステップＳ１１２の演算結果を出力画像の対応する演算ビット領域に書き込む。
【００７３】
次に、図７を用いて、本実施形態における可逆ノイズ除去処理の概要を簡単に述べる。なお、装置構成は、ノイズ埋め込みを行う装置と実質的に同じであるので、その詳細は省略する。
【００７４】
まず、ステップＳ７０２の初期設定で、画素位置と画素値で構成される複数の画素からなる可逆ノイズが埋め込まれた画像Ｗと、埋め込む画像の形状を示す画素位置からなる透かし画像形状情報Ｍと、２進数で表現される所定のシリアルビット系列を生成するための乱数キーＲと、画素値の中の演算対象となるビット領域を規定した演算ビット領域決定テーブルＴ＿Ｎと、可視型電子透かしの強度を定義する可視強度値Ｓを入力し、出力画像Ｅは入力画像Ｗと等しくなるように設定する（入力画像Ｗのコピーを生成し、それを出力画像Ｅとする）。
【００７５】
ここで、透かし画像形状情報Ｍと乱数キーＲと演算ビット領域決定テーブルＴ＿Ｎ，可視強度値Ｓは可逆ノイズを除去する為の鍵情報として利用されることになる。
【００７６】
次にステップＳ７０４において、入力画像の未処理の画素を選択する。
【００７７】
ステップＳ７０６では、選択された画素にノイズが多重化されているか否かを、その画素位置が画像形状情報のどの位置にあるのか（０の位置にあるのか、１の位置にあるのか）に基づいて判断する。ノイズ多重化済みの画素でないと判断した場合には、その画素についての処理を終える。
【００７８】
一方、ノイズ多重化済みの画素であると判断した場合には、ステップＳ７０８に進んで、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域（実施形態では左隣画素）を決定する。次に同じく初期設定で設定された近傍解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域解析値を生成する。
【００７９】
次にステップＳ７１０では、ステップＳ７０８で生成した近傍領域解析値や可視強度値Ｓに基づき、ステップ７１２の演算処理で処理対象となる演算ビット領域を決定する。例えば、可視強度Ｓ＝１の場合、図４（ａ）のテーブルを参照することで、近傍領域（左隣画素）の画素値に基づき、着目画素の演算ビット領域を求めることができる。
【００８０】
次にステップＳ７１２では、ステップＳ７１０で決定された演算ビット領域のビットとステップＳ７０２の初期設定で入力される乱数キーから生成されるシリアルビット系列の間で逆演算処理を行う。この演算は埋め込み時の演算と対応した逆演算処理（復号処理）である。実施形態の場合、埋め込み時と同じシリアルビットでもって、演算ビット領域について排他的論理和を行うものであるから、当然、その結果、オリジナルの画素値にまで完全復元できるようになる。
【００８１】
ステップＳ７１４では、入力画素のビット領域の値を処理された演算ビット領域の値を出力画像Ｅの対応画素に書き込む、書き込み処理を実行する。
【００８２】
次のステップ７１６では、全ての画素が処理されたかを判定し、未処理の画素があるならステップＳ７０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【００８３】
以上、本実施の形態の可逆ノイズ除去装置の動作について述べた。
【００８４】
本実施形態における処理内容は上記の通りであるが、その処理内容を分かりやすくするため、具体例を以下に説明する。
【００８５】
完全に可逆のノイズの付加を実現するためには、近傍領域選択方法に関して若干の条件が必要となる。即ち、逆演算時に、埋め込み時に演算処理された演算ビット領域を正しく知る必要がある。従って、近傍領域選択方法は、逆演算時（可逆ノイズ除去時）に演算ビット領域の決定に用いた近傍領域の画素値を参照できるように近傍領域を選択する必要がある。
【００８６】
上記の条件を満たすような近傍領域の選択方法は、多数考えられるが、一例として、埋め込み対象画素の左隣を近傍領域として参照し、着目画素に対する可逆ノイズの付加／除去を行う場合が考えた。着目画素の左隣の画素を近傍領域とする場合、その近傍領域は完全にオリジナル画像まで復元されていることが必要になる。この為の手法もいくつか考えられる。１つは、画像形状情報の最左端の縦一列については「０」、すなわち、ノイズ埋め込み対象外とするようにすることであろう。この結果、各ラインについて左から右に向かうノイズ除去を行う場合、先頭の画素はオリジナルのままであるので近傍領域として十分に機能する。また、別な手法としては、各ラインの先頭の画素がノイズ多重化対象とすることを許容した場合、近傍領域は存在しないので、その演算ビット領域を固定することであろう。
【００８７】
まず埋め込みから簡単に説明する。図６において、可視強度Ｓ＝１が設定されており、画素１３ａが埋め込み対象画素であると判定された場合について説明する。このとき、近傍領域として、左横の画素１２ａ（画素値１１２）が選択、解析される。その結果、近傍領域解析値の近傍領域画素値が「１１２」として出力される。
【００８８】
次に、決定された演算ビット領域決定テーブルＴ＿Ｎ（可視強度Ｓ＝１であるので、図４（ａ）のテーブル）を用いて、画素１３ａの演算ビット領域を決定する。近傍領域の値は「１１２」であるので、結局のところ、画素１３ａのＢ４、Ｂ３、Ｂ１が演算ビットとして決定されることになる。
【００８９】
そして、画素１３ａの演算ビット領域のビット値とシリアルビット系列の演算処理（排他的論理和）により、画素１３ａ（画素値１１６）に対して画素値１２６が計算され、出力画像６０２の画素１３ａに画素値１２６が書き込まれる。
【００９０】
次に処理対象は画素１４ａに進むことになる。このとき、入力画像６０１の左横の画素１３ａ（変更前の画素値「１１６」）を参照し、演算ビット領域決定テーブルＴ＿Ｎを用いて、画素１４ａの演算ビット領域を決定する。そして、演算ビット領域とシリアルビット系列の演算処理により、画素１４ａ（画素値１１４）に対して画素値９８が計算され、出力画像６０２の画素１４ａに画素９８が書き込まれる。
【００９１】
このようにして、順次、変更される前の左横の画素の画素値を読み出し、可逆ノイズの埋め込みを行っていく。
【００９２】
次に上述のようにして埋め込まれた可逆ノイズを除去するステップについて説明する。ノイズ除去する場合、先に説明したように、ノイズ多重化済みの画像、可視強度、画像形状情報、乱数キー等、必要な情報は既に入力しているものとする。
【００９３】
まず、画素１３ａ（画素値１２６）が除去対象画素になった場合について説明する。この場合、その左隣の画素位置までは復元処理が完了していることになることに注意されたい。
【００９４】
先ず、近傍領域として出力画像６０２の左横の復元済みの画素１２ａ（画素値１１２）が選択、解析される。その結果、近傍領域解析値である近傍領域画素値「１１２」が出力される。
【００９５】
次に、演算ビット領域決定テーブルＴ＿Ｎ（可視強度Ｓで選択される）を用いて、画素１３ａの演算ビット領域を決定する。そして演算ビット領域のビット値とシリアルビット系列の演算処理により、画素１３ａ（透かし埋め込み後の画素値１２６）に対して復元画素値１１６が計算され、出力画像６０１（原画像）の画素１３ａに画素値１１６が書き込まれる。
【００９６】
次に画素１４ａが除去対象画素になるが、この場合、その入力画像６０１の左横の画素１３ａではなく、既に復元された出力画像６０２内の左横の画素１３ａ（復元画素値１１６）が選択、解析される。その結果、近傍領域解析値の近傍領域画素値が１１６として出力される。
【００９７】
次に、演算ビット領域決定テーブルＴ＿Ｎを用いて、画素１４ａの演算ビット領域を決定する。そして演算ビット領域のビット値とシリアルビット系列の演算処理により、画素１４ａ（画素値９８）に対して画素値１１４が計算され、出力画像６０１（原画像）の画素１４ａに画素値１１４が書き込まれる。
【００９８】
このようにして、順次、復元処理済の近隣画素の画素値を選択、解析することで、埋め込み時と同じ演算ビット領域を決定することが出来、可逆ノイズを完全に除去することが出来る。
【００９９】
以上は簡単な説明の為に上記の説明では近傍領域として埋め込み対象画素の左横の画素を選択したが、主走査方向の位置が同じで、直前のライン上の画素を近傍領域としても良い。要は、復元処理が完了する画素を参照するようにすればよい。
【０１００】
また、１つの画素を参照領域とするのではなく、複数の画素にまたがる領域を近傍領域として選択、解析してもよい。
【０１０１】
例えば、近傍領域選択部は、図６において、着目画素１３ａに対し、近傍領域として、画素７ａ、８ａ、１２ａを選択する。次に近傍領域解析部は、画素７ａ、８ａ、１２ａの画素値から、埋め込み対象画素１３ａの画素値を予測し、その予測値を近傍領域画素値としてもよい。
【０１０２】
それ以外にも、近傍領域選択部は、画素１３ａの近傍領域として、左画素１ａ、２ａ、６ａ、７ａの４画素を選択する方法なども考えられる。この場合、近傍領域解析手段は、近傍領域内の分散値、周波数係数等も合わせて計算し、近傍領域特性値としてもよい。この場合、演算ビット領域決定テーブルＴ＿Ｎには、分散値、周波数係数等の近傍領域特性値にも対応する演算ビット領域が定義されているとする。
【０１０３】
図４（ａ）の演算ビット領域決定テーブルＴ＿Ｎの場合（可視強度Ｓ＝１の場合）、近傍領域解析値（近傍領域画素値）である入力画素値１１２に対応する演算ビット領域は、Ｂ４、Ｂ３、Ｂ１となる。このとき、最大変化量(Δmax)を計算すると2^4+2^3+2^1=26（ｘ＾ｙはｘのｙ乗）となる。例えば、埋め込み対象画素の画素値が１１２の場合には、１１２のB4,B3,B1はそれぞれ1,0,0であるから、変更量は+方向には2^3+2^1=10, -方向には2^4=16 の幅を持つ。
【０１０４】
本実施の形態の可逆ノイズ加算方法は、埋め込み対象画素に近い値を持つ近傍領域画素値や埋め込み対象画素近傍の近傍領域特性値からなる近傍領域解析値に基づき、きめ細かな演算ビット領域の設定が可能であることが分かる。
【０１０５】
また、本実施形態の可逆ノイズ付加装置を用い、入力画像の全画素に可逆ノイズを付加する場合について述べる。入力画像の端近くの画素が埋め込み対象画素として選択される場合、近傍領域が存在しない場合が考えられる。以下、近傍領域が存在しない場合の対処方法例を幾つか述べる。
【０１０６】
例えば、入力画像の端近くで近傍領域が存在しない画素が埋め込み対象画素の場合は、先に説明したように、可逆ノイズの付加を中止する方法をとってもよい。このとき、近傍領域が存在しない画素から可逆ノイズを除去する際には、可逆ノイズは付加されていないことが分かっているので、近傍領域が得られるまで可逆ノイズの除去は実行しなくてよい。
【０１０７】
また、入力画像の端近くで近傍領域が存在しない画素が埋め込み対象画素の場合は、可視強度値Ｓに従ってのみ決められる固定の演算ビット領域に対して、演算ビット処理を行ってもよい。このとき、近傍領域が存在しない画素から可逆ノイズを除去する際には、可視強度値Ｓに従ってのみ決められる演算ビット領域に対して、逆演算処理を施し、可逆ノイズの除去は実行するとよい。
【０１０８】
近傍領域選択方法ＮＳによって決められる近傍領域の大きさが得られるような入力画像の画素値に対しては、既に詳しく述べてきたように、近傍領域解析値に従って、演算ビット領域を決定する。
【０１０９】
また、これも先に説明したが、人間の視覚特性は、輝度値が小さいほど輝度値の変化に敏感で、輝度値が大きいほど輝度値の変化が目立たたないという特性がある。従って、演算ビット領域（最大変化量Δmax）は上記の人間の視覚特性を考慮して設計することが好ましい。かかる点、実施形態によれば、可視強度Ｓ＝１、２のいずれであっても、近傍領域が高輝度の場合には、演算ビットは高いビット位置まで及び、逆に、低輝度の場合には低位のビットが演算ビット領域となるので、オリジナル画像に近い雰囲気を維持しつつ、可視的な付加情報を多重化させることができるようになる。
【０１１０】
なお、空間上の色の変化が人間の知覚に変化と一致する均等知覚色空間CIE1976L*u*v*やCIE 1976 L*a*b*(以降L*a*b*色空間と呼ぶ)が1976年にCIEから推奨されている。
【０１１１】
上記の均等知覚色空間は、上記の演算ビット領域（最大変化量Δmax）を決定する際にも有用である。
【０１１２】
本実施形態によれば、原画像の透かし画像形状情報で示される領域において、原画像の特徴を維持しつつ、演算処理によって付加されるノイズ量が画像の階調に従って変化するように、画素値の変更量を設定することが出来る。それに加え、付加されたノイズの除去時に原画像を必要としない。さらに、演算処理に安全性の高い暗号方式を導入することで、付加されたノイズの除去を困難にすることが出来る。
【０１１３】
なお、演算ビット領域を決定する際に演算ビット領域決定テーブルＴ＿Ｎを用いたが、数式で表現される演算ビット領域決定関数Ｆを用いることも可能であり、この様な方法も本発明の範疇に含まれる。
【０１１４】
上記例の具体的な利用方法は、例えば、次のようなものである。
【０１１５】
インターネット上で画像をサービスするサーバを設置し、図１の処理を施した付加情報を多重化した画像、及び、それぞれの画像を復元するための特有の情報（画像形状情報Ｍ、乱数キーＲ、演算ビット領域決定テーブルＴ、そして可視強度Ｓ）を記憶管理しておき、ユーザ（クライアント）は所望とする画像を選択し、ダウンロードできるようしておく。このダウンロードした画像には、上記のように付加情報（例えば撮影者や撮影日時等）が可視化して多重化され、尚且つ、その画像の全体の雰囲気を十分に伝えるものができるようになる。ユーザはダウンロードした画像について、オリジナルに復元したいことをサーバに伝えると（例えばブラウザ等で対応するボタンをクリックするとう操作で伝える）、サーバは、オリジナルそのものではなく、その画像に特有の復元に必要な情報（画像形状情報Ｍ、乱数キーＲ、演算ビット領域決定テーブルＴ、そして、可視強度値Ｓ）を送信する（これにより、オリジナルそのものが漏洩することを防ぐことができる）。なお、送信する際に、これらの情報を秘密キーでもって暗号化しておけば更に安全なものとすることができる。ユーザ側のＰＣでは、これらの情報を受けとって、図７に示す処理を実行させる処理を行う。
【０１１６】
なお、乱数キーＲについては、乱数そのものを送信するのでなく、乱数を発生する共通の関数をサーバ及びクライアント側で保有するようにし、その乱数を発生するため初期化パラメータのみを送信するようにする。勿論、全ての画像について同じパラメータとしてしまうと、サーバが保有している全画像を復元できてしまうので、個々の画像毎にこのパラメータを異なるようにしておく。
【０１１７】
なお、上記実施形態では、演算ビット領域を決定するテーブルは図４（ａ）、（ｂ）に示す様に２種類存在するものとして説明したが、３種類あるいはそれ以上あっても良い。特に、演算ビット領域として、Ｂ７（ＭＳＢ）、Ｂ６を除外したが、可視強度を更に強くする、或いはしたい場合には、これらのビットまで演算領域にすることも可能である。
【０１１８】
また、可視強度Ｓは、ユーザが自由に設定しても良いが、自動化させても構わないであろう。例えば、オリジナル画像の輝度分布（ヒストグラム等を作成すれば良い）のレンジ幅、その中心輝度をパラメータとして、可視強度Ｓを自動決定しても良い。例えば、オリジナル画像全体が暗い場合、可視ノイズの埋め込みを行う演算ビット領域は、比較的、低位のビット領域に割り当てられ、可視ノイズによる付加情報が見にくくなる可能性がある。従って、このように全体的に暗い画像の場合には、高い輝度に変更され得るように、高位のビットまで演算ビット領域とするため、可視強度を自動的に高くするようにできるであろう。
【０１１９】
以上のように、本実施形態によれば、原画像に対して透かし画像形状情報に応じた変形を、原画像の特徴を維持しつつ、可視型透かし画像が画像閲覧者に好ましく見えるように画素値の変更量を設定することが出来る。それに加え、可視型電子透かしの除去時に原画像を必要としない。さらに、演算処理に安全性の高い暗号方式を導入することで、可視型電子透かしの除去を困難にすることが出来る。
【０１２０】
＜第２の実施の形態＞
上記第１の実施形態では、透かし画像形状情報に対応する画像領域内で画像の特徴を保存しつつ、ビット演算処理によるランダム的な輝度変化を実現し、可視かつ画像の内容を損なわない可視型電子透かし実現した。
【０１２１】
第１の実施形態は、透かし画像形状情報に対応する画像領域内の各画素の輝度変化が最大変化量(Δmax)の範囲内でランダム的になる特徴があり、可視型電子透かしの除去が難しいという長所を持つ。しかし一方で、透かしの画像形状情報に対応する画像領域内で、背景の輝度変化に追従するようにして、画像形状情報内でもあたかも背景が透けて見えるようにする、画質のよい可視型電子透かしを実現したいという要求もある。
【０１２２】
本第２の実施形態で述べる方法は、透かし画像形状情報に対応する画像領域内で、元の輝度値に合わせた変動、かつ、輝度の変化を滑らかにすることが可能であり、更に、必要に応じて可視型電子透かしの除去を難しくするノイズを加算するものである。すなわち、可視型電子透かしの領域内部で滑らかな輝度変化を実現しつつ、かつ復元に原画像を必要としない可視型電子透かし埋め込み処理、除去処理方法を提案する。
【０１２３】
第１の実施形態同様、本第２の実施形態でも、近傍領域選択方法、近傍領域解析方法を着目画素に対する相対的に固定な領域に基づいて決定するものとして説明するが、近傍領域選択方法、近傍領域解析方法は画像位置や鍵に従って変化させてもよい。上記を鍵に従って変化させた場合、正しい鍵を保持するものだけが、可視型透かしを完全に除去することが出来、可視型電子透かしの意図的な除去を困難にすることが出来る。
【０１２４】
説明が前後するが、本第２の実施形態では、注目画素にノイズを多重化する際に参照する近傍領域はその左隣の画素であるものとする。従って、各ラインの先頭画素については、近傍領域が存在しないことになるので、第１の実施形態と同様、近傍領域を参照しない手法を利用するものとする。未処理の画素を選択していく順序は、第１の実施形態と同様である。
【０１２５】
図８は本実施の形態における可視型透かし埋め込み装置の内部処理を示すフローチャートである。以下、同図に従って可視型電子透かし埋め込み処理を説明する。
【０１２６】
先ず、ステップＳ８０２の初期状態で、画素位置と画素値で構成される複数の画素からなる原画像Ｉと、埋め込む画像の形状を示す画素位置からなる透かし画像形状情報Ｍと、埋め込み量決定関数Ｆ＿Ｅと、ノイズを生成するためのノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａ、可視型電子透かしの強度を定義する可視強度値Ｓと、近傍領域選択方法ＮＳ、近傍領域解析方法ＮＡを設定する。出力画像Ｗは入力原画像Ｉと等しくなるように設定する。
【０１２７】
次にステップＳ８０４において、入力画像の未処理の画素を選択する。なお、未処理の画素の選択する順序は、第１の実施形態と同様である。
【０１２８】
次にステップＳ８０６において、選択された原画像を構成する着目画素の位置と透かし画像形状情報のドット情報を比較し、着目画素が埋め込み対象領域にあるのか否かを判断する。埋め込み領域にあると判断した場合には、ステップＳ８０８にその画素位置情報を送り、不一致のとき、その画素についての処理を終了する。
【０１２９】
ステップＳ８０８では、可視型電子透かし埋め込み装置は、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域を決定する。次に同じく初期設定で設定された近傍領域解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域画素値と近傍領域特性値から成る近傍領域解析値を生成する。
【０１３０】
次にステップ８１０では、ステップ８０８で生成した近傍領域解析値や可視強度値Ｓ、初期設定で入力されるノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａに基づき、埋め込み量決定関数Ｆ＿Ｅを用いて、埋め込み対象画素に加算する埋め込み量ΔＹを決定する。この△Ｙの決定方法の詳細については後述する。
【０１３１】
そして、ステップ８１２では、ステップ８１０で決定された埋め込み量ΔＹを入力画素の画素値に加算する処理を行う。このとき加算後の画素値が表現可能な階調を超える場合（例えば、８ビットグレースケール画像の場合、０未満、２５６以上の値を取るとき）を考慮して、単純な加算処理ではなく、加算後に最大表現可能階調数（８ビットなら２５６）を加減算して表現可能な階調の範囲内に収める。
【０１３２】
次にステップＳ８１４では、出力画像Ｗに加算後の画素値を書き込む、書き込み処理を実行し、ステップＳ８１６では全ての画素が処理されたかを判定し、未処理の画素があるならステップＳ８０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【０１３３】
以上、本実施の形態における可視型電子透かし埋め込み処理の概要を述べた。
【０１３４】
次に、図９を用い、本実施の形態における可視型電子透かし除去処理を簡単に述べる。
【０１３５】
先ず、ステップＳ９０２の初期状態で、画素位置と画素値で構成される複数の画素からなる可視型透かしが埋め込まれた透かし入り画像Ｗと、埋め込む画像の形状を示す画素位置からなる透かし画像形状情報Ｍと、埋め込み量決定関数Ｆ＿Ｅと、ノイズを生成するためのノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａと、可視型電子透かしの強度を定義する可視強度値Ｓと、近傍領域選択方法ＮＳ、近傍領域解析方法ＮＡを設定する。出力画像Ｅは透かし入り画像Ｗと等しくなるように設定する。
【０１３６】
ステップＳ９０４においては、入力画像の未処理の画素を選択する。
【０１３７】
そして、ステップＳ９０６では、入力画像を構成する画素の画素位置と透かし画像形状情報との比較処理を行い、ノイズが付加（多重化）された画素である否かを判断する。ノイズ付加された画素であると判断した場合には、ステップＳ９０８にその画素位置情報を送り、不一致のとき、その画素についての処理を終了する。
【０１３８】
ステップＳ９０８に処理が進むと、可視型電子透かし除去装置は、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域を決定する（近傍領域は、既に復元済みの領域となるのは、第１の実施形態と同様である）。次に同じく初期設定で設定された近隣解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域画素値と近傍領域特性値から成る近傍領域解析値を生成する。
【０１３９】
ステップＳ９１０では、ステップＳ９０８で生成した近傍領域解析値や可視強度値Ｓ、初期設定で入力されるノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａに基づき、埋め込み量決定関数Ｆ＿Ｅを用いて、埋め込み対象画素に加算する埋め込み量ΔＹを決定する。
【０１４０】
次にステップＳ９１２では、ステップＳ９１０で決定された埋め込み量ΔＹを入力画素の画素値から減算する処理を行う。このとき減算後の画素値が表現可能な階調を超える場合は加算処理で表現可能な階調の範囲に収められたと考えられるため、単純な減算処理ではなく、減算後に最大表現可能階調数（８ビットなら２５６）を加減算して、表現可能な階調の範囲に収める。
【０１４１】
次にステップＳ９１４では、出力画像Ｅに減算後の画素値を書き込む、書き込み処理を実行し、ステップＳ９１６では全ての画素が処理されたかを判定し、未処理の画素があるならステップＳ９０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【０１４２】
以上、本実施の形態における可視型電子透かし除去処理の概要を述べた。
【０１４３】
本第２の実施形態においても第１の実施形態と同様、埋め込み対象画素の変更量を近傍領域から決めることで、完全に可逆の可視型電子透かしを実現する。
【０１４４】
既に第１の実施形態でも述べたように、一般に自然画像は近隣の画素間の相関性が高いことから、近傍領域の画素から計算される人の目に感知される埋め込み量は、埋め込み対象画素への人の目に感知される埋め込み量として適切である可能性が高く、画質のよい可視型電子透かしの埋め込みが可能となる。本実施形態においても、これを利用するものである。
【０１４５】
本第２の実施形態の特徴である、近傍領域内の画素の画素値から埋め込み量ΔＹを計算する方法について詳しく述べる。
【０１４６】
人間の目の視覚特性は等差的に輝度を変化させたときには一定の変化に見えず、等比的に輝度を変化させたときには一定の変化に見えるという、輝度に対して対数的な性質を持っていることが知られている。人間の目の視覚特性を考慮し、変化が一定に感じられるように輝度を変換した値を明度(Ｌ^*)という。明度(Ｌ^*)はおおよそ輝度を１／３乗した値である。明度は人間の感覚の数値的表現に近いため、どの階調においても同様に知覚される可視型電子透かしの埋め込み量ΔＹを決定する際に有用である。
【０１４７】
空間上の色の変化が人間の知覚に変化と一致する均等知覚色空間CIE1976L^*u^*v^*やCIE 1976 L^*a^*b^*(以降L^*a^*b^*色空間と呼ぶ)が1976年にCIEから推奨されており、輝度だけでなくカラー画像についても均等知覚色空間上で処理することが可能である。
【０１４８】
上記の均等知覚色空間上では空間上のどの場所の距離をとっても、視覚で感じる色ズレの度合いと一致するように設計されているため、L^*a^*b^*色空間上での距離（色差ΔEab^*）で色の違いを定量的に評価できるメリットがあり、その利便性から色差ΔEab^*はカラー画像を扱う様々な分野で利用されている。
【０１４９】
なお、輝度値(Y)と明度(L^*)の変換式は以下のようになる。
Ｌ^*＝１１６（Ｙ／Ｙ_n）^1/3−１６、 Ｙ／Ｙ＞0.008856のとき、
Ｌ^*＝９０３．３（Ｙ／Ｙ_n）、 Ｙ／Ｙ≦0.00856のとき、
（Ｙ_nは基準白色面のＹ値で、通常、Ｙ_nとして１００を用いる場合が多い。）
本第２の実施形態では、埋め込み量決定関数Ｆ＿Ｅは、均等知覚色空間を利用し、どの階調でも変化が一定に知覚されるような埋め込み量ΔＹを決定する。なお、均等知覚色空間への変換は数式で行ってもよいし、高速化を図る為参照テーブルを用いて行ってもよい。
【０１５０】
次に近傍領域選択解析処理（ステップＳ８０８）と埋め込み量決定処理（ステップＳ８１０）について詳しく説明する。近傍領域選択解析処理は第１の実施形態と同じであるため、近傍領域選択解析部については、同じく図６を用いて説明する。
【０１５１】
第１の実施形態と同じく、本第２の実施形態でも説明を簡便にするため、近傍領域選択部は埋め込み対象画素の左横の画素を近傍領域とし、近傍領域解析手段は、近傍領域の画素値を近傍領域解析値の近傍領域画素値とすることとする。
【０１５２】
今、図６において、埋め込み対象画素として画素１３ａが与えられた場合、近傍領域選択部は画素１３ａの左横の画素１２ａを近傍領域として選択する。次に近傍領域解析部は、画素１２ａを解析し、画素１２ａの画素値（１１２）を近傍領域解析値の近傍領域画素値として出力する。従って、近傍領域選択解析部については、第１の実施形態とほぼ同じである。
【０１５３】
次に第２の本実施形態における、埋め込み量決定部について説明する。
【０１５４】
図１０はステップＳ８１０の埋め込み量決定処理を実行する埋め込み量決定部の内部構成を示したブロック図である。
【０１５５】
まず、近傍領域選択解析部で出力される近傍領域解析値の近傍領域画素値から近傍輝度値を計算する。近傍輝度値Y_nghは、埋め込み対象画素に近い輝度値を持つ。近傍輝度値Y_nghは近傍領域内の平均値でもよいし、近傍領域内から計算される埋め込み対象画素の画素値の予測値（近傍領域画素値）でもよい。
【０１５６】
近傍輝度値Y_nghは、明度変換部１００２に入力される。
【０１５７】
明度変換手段１００２では入力された近傍輝度値Y_nghを明度に変換し、近傍明度値L_nghを後段の明度加算部１００６に入力する。
【０１５８】
次に初期設定で設定された可視強度値Ｓ、ノイズ生成キーＲＮ＿Ｋ、ノイズ振幅ＲＮ＿Ａを明度変更量算出部１００４に入力する。明度変更量算出部１００４は前記の入力値から明度変更量ΔＬを計算し、後段の明度加算部１００６に入力する。
【０１５９】
このとき、近傍領域の周波数特性や色差等の特性情報を含む近傍領域特性値も明度変更量算出部１００４に入力し、明度変更量ΔＬを計算してもよい。
【０１６０】
明度加算部１００６は、入力された近傍明度値L_nghと明度変更量ΔＬを加算し、修正近傍明度値L_ngh_mdfを生成し、後段の輝度変換部１００８に出力する。
【０１６１】
輝度変換部１００８は修正近傍明度値L_ngh_mdfを再び輝度に変換し、修正近傍輝度値Y_ngh_mdfを生成し、後段の輝度変更量算出部１０１０に入力する。
【０１６２】
なお、この修正近傍輝度値Y_ngh_mdfは可逆を実現するためにも表現可能な最大階調の範囲内に量子化される（例えば２５５以上の値なら２５５にし、浮動小数点なら四捨五入を行う）。
【０１６３】
輝度変更量算出部１０１０は、近傍輝度値Y_nghと修正近傍輝度値Y_ngh_mdfの差分を計算し、埋め込み変更量ΔＹとする。この埋め込み変更量ΔＹは、埋め込み対象画素の輝度値（画素値）に直接加算される変更量となる。
【０１６４】
次に図６を用いて、埋め込み量決定部の処理を具体的に説明する。ここでも、画素１３ａが埋め込み対象画素であり、画素１２ａが近傍領域であるとする。
【０１６５】
まずは、近傍領域である画素１２ａの輝度値（１１２）は明度変換部１００２に入力され、明度値（１０４．４７）に変換される。今、入力画像が８ビットグレースケールの場合を想定しているため、輝度値は画素値と等しいが、ＲＧＢカラー画像の場合には、一旦、輝度（Ｙ）を計算した後、明度（Ｌ^*）に変換する必要がある。
【０１６６】
次に明度変更量算出部１００４に、初期設定で設定された可視強度値Ｓ、ノイズ生成キーＲＮ＿Ｋ、ノイズ振幅ＲＮ＿Ａを入力し、明度変更量ΔＬを決定する。明度変更量ΔＬは、明度シフト値ΔＬ＿Ｓとノイズ成分ＲＮから構成され、ΔＬ＝ΔＬ＿Ｓ＋ＲＮ
となる。
【０１６７】
明度シフト値ΔＬ＿Ｓは、初期設定の可視強度値Ｓを関数Ｌ＿ＳＨＩＦＴに代入し計算する。即ち、
ΔＬ＿Ｓ＝Ｌ＿ＳＨＩＦＴ（Ｓ）
となる。例えば、関数Ｌ＿ＳＨＩＦＴはＳ＝ΔＬ＿Ｓとすると、Ｓ＝３のとき明度シフト値ΔＬ＿Ｓは３となる。関数Ｌ＿ＳＨＩＦＴはＳと基本的に線形の関係になる。後に詳しく述べるが、適当な閾値と近傍輝度値Y_nghを比較し、ΔＬ＿Ｓの正負の符号を決めてもよい。
【０１６８】
次に、ノイズ生成キーＲＮ＿Ｋは、−１から１までの間のノイズ成分ＲＮ＿Ｎを生成するとする。次にノイズ振幅ＲＮ＿Ａでノイズ成分ＲＮ＿Ｎを掛け算し、振幅を増強し、振幅が増強されたノイズ成分ＲＮを得る。ここで、関数ＲＡＮＤを−１から１までの値を生成する関数とすれば、ノイズ成分ＲＮは、
ＲＮ＝ＲＡＮＤ（ＲＮ＿Ｋ）×ＲＮ＿Ａ
で表現される。
【０１６９】
今、ノイズ振幅ＲＮ＿Ａは０に設定していると仮定すると、ＲＮは０になる。
【０１７０】
ΔＬ＿Ｓに上記のノイズ成分ＲＮを加算するとノイズを生成する鍵情報を知らないと除去できないため、一層可視型電子透かしの除去を困難にすることが出来る。
【０１７１】
また、可視型電子透かしの可視性は、埋め込み量ΔＹ（即ち可視強度値Ｓとノイズ振幅ＲＮ＿Ａ）と関連している。
【０１７２】
従って、可視強度値Ｓやノイズ振幅ＲＮ＿Ａを、図１０の明度変更量算出部１００４に入力される近傍領域特性値（周波数特性等の特性情報を持つ）に基づき変化させることにより、テクスチャ領域等でも可視型電子透かしを認識し易くすることも可能である。
【０１７３】
明度変更量算出部１００４は、最後に、ΔＬ＝ΔＬ＿Ｓ＋ＲＮを実行し、明度変更量ΔＬ＝３を得る。
【０１７４】
次に明度加算部１００６では、近傍明度値L_ngh（１０４．４７）と明度変更量ΔＬ（３）を加算し、修正近傍明度値L_ngh_mdf（１０７．４７）を得る。
【０１７５】
なお、後述するが、ΔＬ＿Ｓの正負の符号については、画像全体で一定である必要は無く、所定の閾値と比較し、決定してもよい。
【０１７６】
次に輝度変換部１００８では、修正近傍明度値L_ngh_mdf（１０７．４７）を輝度に変換し、修正近傍輝度値Y_ngh_mdf（１２０．５９）を得る。
【０１７７】
ただし、修正近傍輝度値Y_ngh_mdfが表現可能な階調を超える輝度（例えば、8ビットグレースケールの場合、０から２５５の範囲を超える）となる場合、０以下の場合０に、２５５以上の場合は２５５を変更後の輝度値とする。
【０１７８】
次に、輝度変更量算出部１０１０は、修正近傍輝度値Y_ngh_mdfと近傍輝度値Y_nghとの差分を計算し、埋め込み変更量ΔＹを得る。
【０１７９】
今、８ビットグレースケール画像を考慮している為、修正近傍輝度値Y_ngh_mdfは８ビットで表現可能な範囲に量子化する必要がある。従って、１２０．５９を四捨五入し１２１とする。なお、四捨五入に限らず、切り上げ、切り捨てで整数化してもよい。
【０１８０】
最後に、埋め込み変更量ΔＹは、修正近傍輝度値１２１―近傍輝度値１１２＝９となる。
【０１８１】
図８のステップＳ８１０の埋め込み量決定処理では、上記のような手順で、埋め込み変更量ΔＹが計算される。
【０１８２】
図８の可視型電子透かし埋め込み処理であるステップＳ８１２では、この埋め込み変更量ΔＹを埋め込み対象画素の輝度値に加算する。
【０１８３】
次に、ＲＧＢカラー画像の各色成分（Ｒ，Ｇ，Ｂ）に独立に埋め込む場合の一例を述べる。
【０１８４】
まず、埋め込み対象画素の近傍領域を選択、解析し得られる近傍領域画素値を元に、近傍輝度値Y_nghと近傍色差値U_ngh,V_nghを得る。（近傍Ｒ値R_ngh、近傍Ｇ値 G_ngh、近傍Ｂ値 B_nghを先に求め、それから近傍輝度値Y_ngh、近傍色差値U_ngh, V_nghを得てもよい。）
次に、可視強度値Ｓや乱数に基づき、修正近傍輝度値Y_ngh_mdfを求める。
【０１８５】
既に述べたようにY_ngh_mdfとY_nghの差である埋め込み量ΔＹは可視強度値Ｓや乱数、均等知覚色空間等を利用して計算される。このとき修正近傍輝度値Y_ngh_mdfを求めるに当たって注意がある。
【０１８６】
各々８ビットのＲＧＢで表現できる色空間は、ＹＵＶという中間値から表現可能される色空間の一部（内接図形となる）に収まるが、各々８ビットのＹＵＶの値で表現可能な色をＲＧＢに戻すと、全てＲＧＢに収まるとは限らない（それぞれ８ビットのＲＧＢ値をＹＵＶに変換すると８ビットに収まるが、８ビットのＹＵＶをＲＧＢに変換すると、負の数や８ビットを超える数を取ることもある。即ち、各々８ビットの範囲内のＲＧＢでは表現できない色も存在する）。ＲＧＢからＹＵＶ、ＹＵＶからＲＧＢへの変換式からもこのことは理解できる。
【０１８７】
従って、修正近傍輝度値Y_ngh_mdfは、修正近傍輝度値Y_ngh_mdfとそれに対応する色差をＲＧＢに戻したときに各々８ビットのＲＧＢ色空間で表現可能な色の範囲である必要がある。
【０１８８】
修正近傍輝度値Y_ngh_mdfおよびそれに対応する色差から計算される値が、各々８ビットのＲＧＢで表現可能な範囲のΔＹに収める必要があるかは以下のようにして簡単にチェックできる。輝度Yは 0から255までの範囲のR,G,B値から、Y = 0.299*R + 0.5870*G +0.1140*B の数式により得られる。色差を変化させないで輝度を変化させる場合、Ｒ、Ｇ、Ｂ値をそれぞれ一定量加減算する必要がある。従ってR_ngh値, G_ngh値, B_ngh値のうち0または255に最も近い値から、色差を変化させないΔＹの取り得る範囲（シフト可能範囲）を計算する。
【０１８９】
可視強度値Ｓや乱数を用い均等知覚色空間を利用して求められる修正近傍輝度値Y_ngh_mdfと近傍輝度値Y_nghの差ΔＹが、上記のシフト可能範囲に収まらない場合、修正近傍輝度値Y_ngh_mdfは、近傍輝度値Y_nghに対してシフト可能範囲に収まる中で計算されたΔＹに最も近いΔＹ'を加算した値とする。ΔＹがシフト可能範囲に収まる場合には、そのままの修正近傍輝度値Y_ngh_mdfを用いる。
【０１９０】
次に、修正近傍輝度値Y_ngh_mdfとそれに対応する色差から、それぞれ修正近傍Ｒ値R_ngh_mdf、修正近傍G値G_ngh_mdf、修正近傍Ｂ値B_ngh_mdfを計算する。
【０１９１】
そして、それぞれ、修正近傍Ｒ値(R_ngh_mdf)と近傍Ｒ値(R_ngh)、修正近傍Ｇ値(G_ngh_mdf)と近傍Ｇ値(G_ngh)、修正近傍Ｂ値(B_ngh_mdf)と近傍Ｂ値(B_ngh)の間で差分を計算し、埋め込み変更量ΔＲ、ΔＧ、ΔＢを計算する。
【０１９２】
このとき埋め込み変更量ΔＲ、ΔＧ、ΔＢも８ビットグレースケールと同様に量子化（四捨五入）する。最後に、可視型電子透かしの埋め込み及び除去をＲ、Ｇ、Ｂ成分でそれぞれ行う。このとき埋め込み変更量ΔＲ、ΔＧ、ΔＢを加算した後の各色の画素値が最大で表現可能な階調範囲を超えるとき、輝度への埋め込みと同様に表現可能な最大階調を加減算し、表現可能な階調の範囲に収める。
【０１９３】
以上により、ＲＧＢと輝度色差の間の変換に伴う情報の損失を避けた可逆の埋め込み／除去が可能となる。
【０１９４】
なお除去において近傍を参照する時は既に復元された近傍画素値を参照することに注意する必要がある。
【０１９５】
なお、カラー画像においても各々の色成分で輝度を一定に保つことなく独自に閾値を設定して可視型電子透かしを埋め込んでもよい。この場合、色相が変化するが、認識し易い可視型電子透かしとなる。
【０１９６】
次にΔＬ＿Ｓの正負の符号を決める為の閾値について述べる。図１１の１１００、１１０２、１１０４は所定の画像における、所定の透かし画像形状情報に対応する位置の画素の画素値（輝度値）のヒストグラムを示した図である。
【０１９７】
ヒストグラム１１００のように０や２５５近傍の輝度値が多い場合、「閾値Th以上の場合ΔＬ＿Ｓは負、閾値Th未満のときΔＬ＿Ｓは正」となる閾値設定（タイプ１）が適している。可視型電子透かしの埋め込み後の画素値が表現可能な階調を超えないようにするためである。
【０１９８】
ヒストグラム１１０２のように０や２５５近傍の輝度値が少ない場合、「閾値Th以上の場合ΔＬ＿Ｓは正、閾値Th未満のときΔＬ＿Ｓは負」となる閾値設定（タイプ２）を適用してもよい。
【０１９９】
また、ヒストグラムに応じて、閾値を０や２５５に設定し、符号を正負のどちらか一方に固定し、埋め込み後の画素値が表現可能な階調を越えないようにしてもよい。
【０２００】
１１０４のような複雑なヒストグラムを持つ場合、以下のような閾値設定（タイプ３）を行うとよい。
０ ＜＝Ｙ＿ｎｇｈ＜Ｔｈ１のとき、ΔＬ＿Ｓ＞＝０
Ｔｈ１＜＝Ｙ＿ｎｇｈ＜Ｔｈ０のとき、ΔＬ＿Ｓ＜＝０
Ｔｈ０＜＝Ｙ＿ｎｇｈ＜Ｔｈ２のとき、ΔＬ＿Ｓ＞＝０
Ｔｈ２＜＝Ｙ＿ｎｇｈ＜＝２５５のとき、ΔＬ＿Ｓ＜＝０
この場合でも、表現可能な階調を超えないようにすることが出来る。このように閾値は必ずしも一つに限定する必要はない。
【０２０１】
１１０２のようなヒストグラムの画像に対し、タイプ１の閾値設定を行うと、閾値前後の画素値は、それぞれ逆方向に引っ張られる為、閾値前後の画素値を多くもつなだらかな階調の画像では可視型電子透かし埋め込み後になだらかな階調を維持できず、画質が劣化することもある。
【０２０２】
従って、所定の透かし画像形状情報に対応する画素の画素値を解析し、動的に最適な閾値設定を画像ごと、透かし画像形状情報ごとに計算してもよい。また、透かし画像形状情報内部の連続する固まりごと（例えば複数の文字を埋め込むときは一文字ごと）に最適な閾値を設定してもよい。
【０２０３】
前記の最適な閾値設定は、初期設定処理（ステップＳ８０２）で行うとよい。
【０２０４】
なお、ヒストグラムの作成は、予め０に初期化した変数Ｄ（０）〜（２５５）を確保しておき、埋め込み対象となる原画像の順次走査していって、画素値（輝度値）が「ｉ」であれば、Ｄ（ｉ）←Ｄ（ｉ）＋１を演算すれば、各輝度の度数を得ることができる。
【０２０５】
また、上記閾値は可視型電子透かしを除去する為に必要な鍵情報であり、可視型電子透かし除去時に不可欠な情報である（閾値が幾つ合って、各々の閾値を鍵情報の１つの要素として含める）。
【０２０６】
次にステップＳ８１２の加算処理について説明する。ステップＳ８１２の加算処理では、埋め込み対象画素ごとに埋め込み対象画素の輝度値Ｙと埋め込み変更量ΔＹが加算される。しかし加算結果が、表現可能な階調を超える場合（例えば、８ビットグレースケール画像の場合、０から２５５の範囲を超える場合）、可逆を実現するため、表現可能な階調の最大値を加減算して、表現可能な階調の範囲内に収める。
【０２０７】
例えば、８ビットグレースケール画像で埋め込み対象画素の輝度値Ｙ＝２４０、埋め込み変更量ΔＹ＝２０のとき、加算結果は２６０となる。８ビットグレースケール画像ではこの値は表現できないため、再び表現可能な最大階調数２５６を減算し、加算結果を４とする。
【０２０８】
可視型電子透かし除去装置の減算処理では、除去対象画素の輝度値Ｙ＝４、埋め込み変更量ΔＹ＝２０が得られ、減算結果は−１６となる。同様に８ビットグレースケール画像ではこの値は表現できないため、再び表現可能な最大階調数２５６を加算し、復元画素値を２４０とし、埋め込み前の輝度値に戻すことが出来る。
【０２０９】
即ち、ΔＹの絶対値が表現可能な最大階調数の範囲内ならば、埋め込みにおいて加算結果が表現可能な最大階調数の範囲外となるとき、加算結果が正のときは表現可能な最大階調数を減算し、加算結果が負のときは表現可能な最大階調数を加算する。除去において減算結果が表現可能な最大階調数の範囲外となるとき、減算結果が正のときは表現可能な最大階調数を減算し、減算結果が負のときは表現可能な最大階調数を加算する。
【０２１０】
近傍領域から得られる輝度値と埋め込み対象画素の輝度値は必ずしも一致しない為、加算結果が画像の表現可能な階調を超えることも起こりえる。その場合には、上記のように表現可能な最大階調数を加減算して表現可能な階調に収めることで、可逆を実現することが可能である。
【０２１１】
近傍領域を参照することなく、埋め込み前の画素値と埋め込み後の画素値の関係を、関数または参照テーブルを用いて定義する場合において、埋め込みにより表現可能な最大階調数を超えたとき、０未満２５６以上の画素値ををそれぞれ０、２５５と定義するとする。その場合、埋め込み前後の画素値の１対１対応が崩れ、差分情報なしには可逆が実現できない。また、表現可能な最大階調範囲を超える画素値に対し、上述のように表現可能な最大階調数を加減算して、表現可能な最大階調範囲内に収める場合でも、近傍領域を参照しない場合、同様に、埋め込み前後の画素値の１対１対応が崩れ、差分なしには可逆が実現できない。従って、画素値に応じて埋め込み量を決定する高画質な可視型電子透かしにおいては、差分画像を持たずに可逆を実現することが難しかった。
【０２１２】
本第２の実施形態の手法を用いれば、画像の特徴を維持しつつ人に認識し易い可視型電子透かしを実現できると共に、完全に可逆の電子透かしが実現できる。
【０２１３】
なお、本第２の実施形態では、可逆を実現する場合について考慮したが、可逆の必要性がない場合には、図８のステップＳ８０８近傍領域選択解析処理では、埋め込み対象画素を含む近傍領域を解析し近傍領域解析値を後段のＳ８１０に出力し、ステップＳ８１０埋め込み量決定処理では近傍領域画素値（近傍輝度値）ではなく埋め込み対象画素の輝度値に基づき埋め込み量ΔＹを決定してもよい。このときステップＳ８０８近傍領域選択解析処理で生成される近傍領域特性値を合わせて用いてもよい。例えば、埋め込み対象画素の近傍領域解析値の近傍領域特性値から、埋め込み対象画素が高周波成分やテクスチャであると判定されるとき、埋め込み対象画素から求められる埋め込み量を増強して見やすいようにするとよい。
【０２１４】
また、差分画像を保持することで、埋め込み量ΔＹを加算した結果、表現可能な最大階調範囲（８ビットグレースケール画像では０−２５５）を超える場合には、最も近い表現可能な階調（０または２５５）と置き換えても可逆を実現することが出来る。
【０２１５】
上記の場合において、表現可能な最大階調範囲を超えた画素値と前記画素値と最も近い表現可能な階調（０または２５５）の差分の画素値を保持しておくと、差分の画素値を用いて可逆の電子透かしが実現できる。本実施形態の方法では、近傍領域画素値と埋め込み対象画素の画素値に違いがあり、計算される埋め込み量ΔＹが埋め込み対象画素への埋め込み量ΔＹとして不適切な場合に、埋め込み量ΔＹの加算結果、表現可能な最大階調範囲を超える場合が比較的起き易い。しかし、各画素ごとに差分や原画像を保持し、可逆を実現していた従来方法と比べて大幅に復元のための差分情報を少なくすることが出来る。
【０２１６】
本実施の形態では、埋め込み量ΔＹを加算した後に表現可能な最大階調を超える画素値に対して、表現可能な最大階調数を加減算し表現可能な階調の範囲内に収める手法について主に説明した。
【０２１７】
しかし、上述の手法の場合、埋め込み量ΔＹの加算後に表現可能な階調の範囲を超えなければよいが、超えた場合、埋め込み前と埋め込み後で画素値の変化が大きくなりうる。その場合、周囲と比べて不自然になり、大きなノイズとして知覚される場合もある。
【０２１８】
従って、以下に述べるような工夫をしてもよい。
【０２１９】
埋め込み側では、可視型透かし埋め込み装置（図８）のステップＳ１３１２の加算処理において、
（１）埋め込み量ΔＹを加算した後の画素値が表現可能な階調範囲を超える場合、
加算処理を実行せず、初期設定で入力された透かし画像形状情報Ｍの対応する埋め込み位置において、形状内“１”に相当する箇所を“０”に変更する。
（２）埋め込み量ΔＹを加算した後の画素値が表現可能な階調範囲を超えない場合、
加算処理を実行し、透かし画像形状情報の対応する埋め込み位置の情報も変更させない。
【０２２０】
入力された画像の全ての画素に対し、上記の処理が終了した後、可視型電子透かし埋め込み装置は、実際に加算処理を行った位置を示す、修正透かし画像形状情報Ｍ’を鍵情報として出力する。
【０２２１】
修正透かし画像形状情報Ｍ’は入力された透かし画像形状情報Ｍに対して、可視型透かし埋め込み装置で埋め込みを行わなかった位置情報を反映させた情報である。
【０２２２】
可視型電子透かし埋め込み装置（図８）におけるその他の処理は既に説明した場合と同じ手順で行うとする。
【０２２３】
次に除去側では、可視型透かし除去装置（図９）のステップＳ９０２の初期設定において、可視型透かし埋め込み装置で鍵情報として出力された、修正透かし画像形状情報Ｍ’を、透かし画像形状情報Ｍの代わりに読み込む。
【０２２４】
そして本実施の形態で既に述べた手順と同じ手順で、修正透かし画像形状情報Ｍ'と対応する埋め込み位置において、形状内“１”であれば、近傍領域から計算される埋め込み量ΔＹを減算し、元の画素値へ復元し、形状外“０”であれば、埋め込み処理が行われていないと判断して、次の画素の処理へと移る。
【０２２５】
そして全ての画素の対して上記の処理を行えば、完全に可視型電子透かしを除去した画像を得ることが出来る。
可視型電子透かし除去装置（図９）においてはステップＳ９０２の初期設定おいて、修正透かし画像形状情報Ｍ’を透かし画像形状情報Ｍの変わりに入力する点が、異なるだけで、その他の処理は既に説明した場合と同じ手順で行うとする。
【０２２６】
上記で説明した手法を用いると、抽出時に必要な鍵情報も増加することがなく、また表現可能な階調に収めるために、表現可能な最大階調数を加減算する場合に発生する、埋め込み量ΔＹに比べて大きな画素値の変化が発生しないようにすることが出来る。
【０２２７】
一般に自然画像では、隣接する画素値は相関性が高い為、可視型電子透かし埋め込み装置から出力される修正透かし画像形状情報Ｍ’の値が全て“０”となる確率は低い。
【０２２８】
ステップＳ８０２の初期設定において修正透かし画像形状情報Ｍ’が人の目に透かし画像形状情報Ｍとほぼ同じに見られるように、可視強度値Ｓ、ノイズ振幅ＲＮ＿Ａ、近傍領域選択方法ＮＳ、近傍領域解析方法ＮＡ等を他の鍵情報のパラメータを最適化し、鍵情報を生成してもよい。
【０２２９】
以上説明したように、本第２の実施形態によれば、ノイズを付加すべき画素位置がその近傍の画素の輝度に近い値を持っているという特性を利用し、先ず、その近傍領域の画素値（輝度値）を、人間の視覚特性にぼぼリニアな関係にある明度値に変換する。そして、その近傍領域の輝度値、可視強度Ｓ、ノイズ生成キーＲＮ＿Ｋ、更にはノイズ振幅ＲＮ＿Ａに基づいて、足し込む明度量を決定する。この結果、形状情報内にあるオリジナル画像の輝度がほぼ一様な場合には、一様な明度変更量が加算されるし、形状情報内のオリジナル画像中に輝度の急峻な部分がある場合、低輝度と高輝度とでは、それぞれに応じた明度変更量が加算されることになり、あたかも形状情報内で、背後にあるオリジナルが自然に透けて見える、可逆な付加情報を付加させることが可能になる。
【０２３０】
＜第３の実施の形態＞
第１の実施形態においては、演算ビット領域決定テーブルＴ＿Ｎを用いて演算ビット領域を決定したが、演算ビット領域決定関数Ｆを用いて演算ビット領域を決定する一例を第３の実施形態として説明する。
【０２３１】
本第３の実施形態では、可視型電子透かし埋め込み処理のステップＳ１０８の近傍領域選択解析処理では、第１、第２の実施形態と同様に、埋め込み対象画素の近傍領域を選択・解析し、近傍領域解析値を生成し、近傍輝度値Y_nghを得る。
【０２３２】
次に、ステップＳ１１０演算ビット領域決定処理では、第２の実施形態と同様に、近傍輝度値Y_nghを元に、所定の閾値、透かし強度値Ｓや均等知覚色空間等を利用して、修正近傍輝度値Y_ngh_mdfを得る。
【０２３３】
例えば、透かし強度値Ｓは均等知覚色空間上での変更量ΔＬ＿Ｓに対応させ、ΔＬ＿Ｓの符号は適当な閾値（例えば閾値１２８や複数の閾値６４、１２８、１９２等）と比較して決定する。ここまでの処理は第２の実施形態とほぼ同様である。また、第２の実施形態と同様に、乱数に基づくノイズ成分ＲＮを加えるステップも含めて、修正近傍輝度値Y_nghを計算し、可視型電子透かしの除去を困難にすることも可能である。
【０２３４】
そして、Y_ngh_mdfとY_nghの差である埋め込み量ΔＹを決定する。次に埋め込み量ΔＹは第１の実施形態における最大変化量Δmaxと対応付けられ、ΔＹを入力画像の画素値と同じくビット（例えば、８ビット）で表現する。
【０２３５】
次に埋め込み量ΔＹに対し８ビットのビット表現を行い、１に相当するビット位置を演算ビット領域、０に相当するビット位置を非演算ビット領域とする。この演算ビット領域の指定により、演算処理におけるランダム的な画素値の変化が、修正近傍輝度値Y_ngh_mdfに比較的近くなるように、調整することが出来る。最後に、上記の演算ビット領域、非演算ビット領域の情報をステップＳ１１２の演算処理に出力し、所定の演算を実行し、可視型電子透かしの埋め込みを行う。
【０２３６】
なお、上記は、簡単な演算ビット領域決定関数Ｆの一例であり、演算ビット領域の決定方法については更に最適化の余地がある。
【０２３７】
本実施形態では、演算ビット領域の決定に、上記関数を用いた計算を行う為、処理速度が高速ではないが、可視型電子透かし埋め込み装置／除去装置間で共通に保持する必要のある比較的情報量の大きい演算ビット領域参照テーブルを省くことができるメリットがある。また本実施形態は、近傍領域の情報及び可視強度値Ｓに基づき、画像の特徴に応じた可視型電子透かしの埋め込みを可能とする。
【０２３８】
＜第４の実施形態＞
上記第１乃至第３の実施形態では、透かし画像形状情報が各画素において、可視型電子透かしの埋め込み領域対象領域か否かの１ビットを有する場合について説明した。
【０２３９】
しかし、透かし画像形状情報が各位置において、透かし画像形状内部での透かしの強さを表す複数ビットの情報を有していてもよい。
【０２４０】
例えば、０は非透かし埋め込み領域を、残りの値（１，２，３…）は可視型電子透かしの透かし画像形状内部での埋め込み強度を表すとする（第１の実施形態では、画像形状情報の１の画素位置はノイズを付加する領域を示し、０は非付加領域であった）。
【０２４１】
図１２は１画素当たり複数ビット（多値）の情報を有する透かし画像形状情報の一例であり、周囲は弱い埋め込み強度で、内部に行くほど可視型電子透かしの強度が強く設定してある。このように透かし画像形状の各位置において透かし強度値を持たせると、透かし画像形状内で人間が知覚できる明るさの変化が一定でない、立体感のある可視透かしを実現することが可能になる。
【０２４２】
図１３は第２の実施形態に、前述の各画素において透かし画像形状内の透かしの強さを表す透かし画像形状内強度値を有する透かし画像形状情報を適用した場合の、可視型電子透かし埋め込み装置のフローチャートである。以下、可視型電子透かし埋め込み装置について述べる。
【０２４３】
まず、ステップＳ１３０２の初期状態で、画素位置と画素値で構成される複数の画素からなる原画像Ｉと、埋め込む画像の形状を示す画素位置および透かし画像形状内の透かしの強さを表す透かし画像形状内強度値からなる透かし画像形状情報Ｍと、埋め込み量決定関数Ｆ＿Ｅと、ノイズを生成するためのノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａ、可視型電子透かしの強度を定義する可視強度値Ｓと、近隣画素選択方法ＮＳ、近隣画素解析方法ＮＡを設定する。出力画像Ｗは入力原画像Ｉと等しくなるように設定する。
【０２４４】
次にステップＳ１３０４において、入力画像の未処理の画素を選択する。
【０２４５】
次にステップＳ１３０６において、原画像を構成する画素の画素位置と透かし画像形状情報との比較処理を行う。透かし画像形状情報内の対応位置の情報が０の場合、画素が透かし画像形状内ではないと判定し、その画素についての処理を終了する。透かし画像形状情報の対応位置の情報が０でない場合、その画素は透かし画像形状内であるとし、後段のステップＳ１３１８に進む。
【０２４６】
このステップＳ１３１８では、透かし画像形状情報の対応位置の値を読み取り、透かし画像形状内強度値ＩＮ＿Ａに設定し、後段のステップＳ１３０８に進む。
【０２４７】
ステップＳ１３０８では、可視型電子透かし埋め込み装置は、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域を決定する。次に同じく初期設定で設定された近隣解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域解析値を生成する。
【０２４８】
次にステップＳ１３１０では、ステップ１３０８で生成した近傍領域解析値や可視強度値Ｓ、ステップ１３１８で設定した透かし画像形状内強度値ＩＮ＿Ａ、初期設定で入力されるノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａに基づき、埋め込み量決定関数Ｆ＿Ｅを用いて、埋め込み対象画素に加算する埋め込み量ΔＹを決定する。第３の実施の形態の表記に従うと、
ΔＬ＝ＩＮ＿Ａ×（Ｌ＿ＳＨＩＦＴ(Ｓ)＋ＲＡＮＤ(ＲＮ＿Ｋ)×ＲＮ＿Ａ）
となる。つまり、画像全体の可視型電子透かしの強さである可視強度値Ｓに加え、局所的な可視型電子透かしの強さである透かし画像形状内強度値ＩＮ＿Ａの強度を考慮して、明度変更量ΔＬを計算している。これにより透かし画像形状内部で明るさの変化をつけることができ、原画像に立体的な形で可視型透かし画像を埋め込むことができる。
【０２４９】
次にステップＳ１３１２では、ステップＳ１３１０で決定された埋め込み量ΔＹを入力画素の画素値に加算する処理を行う。このとき加算後の画素値が表現可能な階調数を超える場合（例えば、８ビットグレースケール画像の場合、０未満、２５６以上の値を取るとき）を考慮して、単純な加算処理ではなく、加算後に表現可能な階調の範囲内に収める。
【０２５０】
次にステップＳ１３１４では、出力画像Ｗに加算後の画素値を書き込む、書き込み処理を実行し、ステップＳ１３１６では全ての画素が処理されたかを判定し、未処理の画素があるならステップ１３０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【０２５１】
以上、本第４の実施形態における可視型電子透かし埋め込み装置の概要を述べた。
【０２５２】
図１４は本第４の実施形態の可視型電子透かし除去装置のフローチャートである。以下、可視型電子透かし除去装置について述べる。
【０２５３】
まず、ステップＳ１４０２の初期状態で、画素位置と画素値で構成される複数の画素からなる原画像Ｉと、埋め込む画像の形状を示す画素位置および透かし画像形状内の透かしの強さを表す透かし画像形状内強度値からなる透かし画像形状情報Ｍと、埋め込み量決定関数Ｆ＿Ｅと、ノイズを生成するためのノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａ、可視型電子透かしの強度を定義する可視強度値Ｓと、近隣画素選択方法ＮＳ、近隣画素解析方法ＮＡを設定する。出力画像Ｗは入力原画像Ｉと等しくなるように設定する。
【０２５４】
次にステップＳ１４０４において、入力画像の未処理の画素を選択する。
【０２５５】
次にステップＳ１４０６において、原画像を構成する画素の画素位置と透かし画像形状情報との比較処理を行う。透かし画像形状情報内の対応位置の情報が０の場合、画素が透かしが画像形状内ではないと判定し、その画素についての処理を終了する。透かし画像形状情報の対応位置の情報が０でない場合、その画素は透かし画像形状内（ノイズを付加すべき位置）にあるとし、後段のステップＳ１４１８に進む。
【０２５６】
ステップＳ１４１８では、透かし画像形状情報の対応位置の値を読み取り、透かし画像形状内強度値ＩＮ＿Ａに設定し、後段のステップＳ１４０８に進む。
【０２５７】
ステップＳ１４０８では、可視型電子透かし埋め込み装置は、初期設定で設定された近傍領域選択方法ＮＳに基づき、埋め込み対象画素の近傍領域を決定する。次に同じく初期設定で設定された近隣解析方法ＮＡに従い、近傍領域内の画素値を解析し、近傍領域解析値を生成する。
【０２５８】
ステップＳ１４１０では、ステップＳ１４０８で生成した近傍領域解析値や可視強度値Ｓ、ステップ１４１８で設定した透かし画像形状内強度値ＩＮ＿Ａ、初期設定で入力されるノイズ生成キーＲＮ＿Ｋとノイズ振幅ＲＮ＿Ａに基づき、埋め込み量決定関数Ｆ＿Ｅを用いて、埋め込み対象画素に加算する埋め込み量ΔＹを決定する。埋め込み量決定関数については埋め込み装置と同様であり、
ΔＬ＝ＩＮ＿Ａ×（Ｌ＿ＳＨＩＦＴ(Ｓ)＋ＲＡＮＤ(ＲＮ＿Ｋ)×ＲＮ＿Ａ）
となる。画像全体の可視型電子透かしの強さである可視強度値Ｓに加え、局所的な可視型電子透かしの強さである透かし画像形状内強度値ＩＮ＿Ａの強度を考慮して、明度変更量ΔＬを計算している。
【０２５９】
次にステップＳ１４１２では、ステップＳ１４１０で決定された埋め込み量ΔＹを入力画素の画素値から減算する処理を行う。このとき減算後の画素値が表現可能な階調を超える場合は加算処理で表現可能な階調の範囲に収められたと考えられるため、単純な減算処理ではなく、減算後に最大表現可能階調数（８ビットなら２５６階調）の範囲に収める。
【０２６０】
なお第１の実施形態の最後で述べたように、第４の実施形態においても、加算処理後の画素値が表現可能な階調範囲に収まらない場合には、埋め込みを行わくてもよい。その場合に可逆を実現するために、埋め込みを行わなかった情報を透かし画像形状情報Ｍに反映した修正透かし画像形状情報Ｍ’を生成し、鍵情報として出力してもよいとする。
【０２６１】
次にステップＳ１４１４では、出力画像Ｗに加算後の画素値を書き込む、書き込み処理を実行し、ステップＳ１４１６で、全ての画素が処理されたかを判定し、未処理の画素があるならステップＳ１４０４に戻り、前述の処理を全ての画素が終了するまで続行する。
【０２６２】
以上、本第４の実施形態における可視型電子透かし除去装置の概要を述べた。
【０２６３】
本第４の実施形態では、透かし画像形状の各位置において透かし画像形状内部の相対的な透かし強度を表す値を保持させることにより、立体感のある可視透かしの埋め込みが可能となる。なお、本第４の実施形態における多値の画像形状情報を、第２の実施形態に適用した場合について説明したが、第１の実施形態に適用させてもよい。
【０２６４】
＜第５の実施形態＞
上記各実施形態では、画素単位で画素単位でノイズ付加処理を行う場合について想定したが、本第５の実施の形態では、ＪＰＥＧやＪＰＥＧ２０００等の圧縮符号化画像に対して、可逆のノイズを付加する場合について説明する。
【０２６５】
ＪＰＥＧやＪＰＥＧ２０００等の圧縮符号化方式では、入力色成分は規定されないが、一般にＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分を、Ｙ（輝度）、Ｃｂ（色差）、Ｃｒ（色差）に変換後、離散コサイン変換や離散ウェーブレット変換を実行する場合が多い。
【０２６６】
従って、ＪＰＥＧやＪＰＥＧ２０００圧縮符号化されたカラー画像の輝度成分を表す周波数変換係数を可視型電子透かしの埋め込み成分として用いることで、特別な工夫なしに輝度値に埋め込むことが可能となる。
【０２６７】
ＪＰＥＧ圧縮符号化方式では、ブロック単位の圧縮符号化が行われている。例えば、ＪＰＥＧ圧縮符号化画像には、最小符号化単位（通常８×８画素）が存在し、その単位毎に圧縮符号化の基本的な処理が行われている。従って、ＪＰＥＧ圧縮符号化画像に可視型電子透かしを埋め込む場合、透かし画像形状情報は、画素単位でなく、最小符号化単位とすると、先に説明した各実施形態の手法を応用し易い。
【０２６８】
より詳しく説明すると、画像を８×８画素ブロック単位に周波数成分データに変換するために先ずＤＣＴ変換を行う。そして、この画素ブロックが、ノイズを多重化すべき位置にない場合には、通常のＪＰＥＧ符号化を行う。一方、多重化すべき位置にあると判断した場合には、ＤＣＴ変換した結果得られる直流成分ＤＣの値を構成するビットに対し、第１乃至第４のの実施形態と同様の処理を行う。この際、可視強度値Ｓをも参酌することは第１乃至第４の実施形態と同様である。また、近傍領域は、その近傍に位置する画素ブロックの直交変換後の直流成分を用いることになろだろう。場合によっては、注目画素ブロックのＤＣＴ変換後の交流成分を近傍領域として採用しても良い。
【０２６９】
図１５の１５０１は、ＪＰＥＧ圧縮符号化方式において、画像を最小符号化単位毎にブロック化して図示した図である。ＪＰＥＧ圧縮符号化画像の場合、最小符号化単位内（８０１）で離散コサイン変換（ＤＣＴ）が実行される。８０２はＤＣＴ変換後の最小符号化単位ごとに得られるＤＣＴ係数の直流（ＤＣ）成分（平均値）であり、それ以外の６３個の係数が交流ＡＣ係数である。
【０２７０】
従って、最小符号化単位事に、ＤＣＴ係数の直流成分に対して、第１、第３の実施形態で述べたような演算ビット領域の算出処理や、第２、第４の実施形態で述べた加算処理を行えば、最小符号化単位内の平均値を変化させることができ、画素ブロック単位の可視型電子透かしが実現できる。
【０２７１】
なお、第２の実施形態に適用するのであれば、注目画素ブロックの直流成分を明度に変換する。そして、近傍の画素ブロックの直流値から明度Ｌを算出し、先に説明したように、明度変更量を決定し、それを注目画素ブロックの明度値に加算し、輝度値に戻すようにすれば良いであろう。
【０２７２】
従って透かし画像形状情報は、埋め込み対象最小符号化単位ブロックを指定する情報とすれば、第１乃至第４のの実施形態を適用できるのは容易に理解できよう。また、上記各実施形態に対する更なるメリットの１つは、画像形状情報Ｍのサイズを小さくできることである。すなわち、ＪＰＥＧの場合、８×８画素単位に多重化するか否かを決定するものであるから、画像形状情報（２値、或いは多値であっても）の１画素が、原画像の８×８画素に対応するものとして利用すれば良いからである（１／６４の容量で済むことになる）。
【０２７３】
なお、ノイズを除去する場合、逆ＤＣＴ変換処理を行う前段階で、処理対象となるブロックが、ノイズ埋め込み対象であるか否かを画像形状情報に基づいて判断する。ノイズ埋め込み対象外であると判断した場合には、通常の処理を経て復号化する。そして、ノイズ埋め込み対象であると判断した場合、例えば、第１の実施形態に適用するのであれば、その直流成分における演算ビット領域を、可視強度値Ｓで決定された演算ビット領域決定テーブルＴを参照して求め（特定し）、そのテーブルから、近傍領域の復元済みの直流成分より演算ビット領域を決定する。そして、乱数により発生したシリアルビット系列との論理演算（第１の実施形態に従えば排他論理和）を行うことで、復元することになる。ただし、ＪＰＥＧ圧縮符号化では、量子化処理によりデータを破棄しているので、１００％オリジナルにまでは復元はできない。しかしながら、本第５の実施形態においても、少なくとも、通常のＪＰＥＧによる復号結果と同等の品質にまでオリジナルに近く、ノイズを除去した画像を得ることができる。
【０２７４】
また、近傍領域解析値（近傍領域特性値）としては、複数の近隣の最小符号単位ブロック内のＤＣＴ係数や埋め込み対象ブロックである最小符号化単位内の他のＤＣＴ係数を用いてもよい。埋め込み対象ブロックである最小符号化単位内の交流成分であるＡＣ係数は、埋め込み対象ブロックの周波数特性を表しており、近傍領域解析値（近傍領域特性値）としても効果的に使うことが出来る。
【０２７５】
一方、ＪＰＥＧ２０００圧縮符号化画像では、離散ウェーブレット変換（ＤＷＴ）を用いて、画像の形状情報を保持しつつ、画像を低周波から高周波成分に渡って段階的に帯域ごとに分割し、圧縮符号化する。
【０２７６】
図１６はＪＰＥＧ２０００圧縮符号化方式における離散ウェーブレット変換による帯域分割の様子を図的に示した図である。
【０２７７】
離散ウェーブレット変換では、画像に影響が大きい低周波画像成分はＬＬに集まり、ＬＬは原画像の画像特徴をよく保存している。従って、埋め込みに用いる要素を離散ウェーブレット変換（ＤＷＴ）の低周波成分（ＬＬ）とすると、第１乃至第４の実施形態と比較的近い形で可逆のノイズ付加を行うことが可能である。
【０２７８】
離散ウェーブレット変換（ＤＷＴ）の低周波成分（ＬＬ）に埋め込む場合は、第２、第３の近傍領域に対応する領域としては、近隣のＬＬだけでなく、ＬＬとツリー構造をなしている他のサブバンド（ＨＬ２、ＬＨ２、ＨＨ２、ＨＬ１、ＬＨ１、ＨＨ１）のＤＷＴ係数も近傍領域として用いてよい。図１６において、ＬＬの番号１のＤＷＴ係数とツリー構造をなしているＤＷＴ係数は、番号２（ＨＬ２）、番号３（ＬＨ２）、番号４（ＨＨ２）、番号５（ＨＬ１）、番号６（ＬＨ１）、番号７（ＨＨ１）である。なお、近隣のＬＬ成分とツリー構造をなしている他のサブバンドのＤＷＴ係数も同様に近傍領域としてよい。
【０２７９】
上記サブバンドのＤＷＴ係数からは原画像の埋め込み対象である区域の周波数特性の情報が得られるため、可視型電子透かしの強度を決める近傍領域特性値としても有効である。
【０２８０】
なお、第１〜第４の実施形態で説明した手法をＪＰＥＧ２０００圧縮符号化画像の離散ウェーブレット変換（ＤＷＴ）係数に適用する場合、ＤＷＴ係数は正負の値を取りうることを考慮し、演算ビット領域決定テーブルを設計する必要がある。
【０２８１】
また、ＪＰＥＧ２０００圧縮符号化画像の場合、ＲＯＩ（Ｒｅｇｉｏｎ ｏｆＩｎｔｅｒｅｓｔ：関心領域）のために、画像サイズと同じサイズを持つ１ビットのビットプレーンが用意される。（ＪＰＥＧ２０００の基本符号化システムでは、ＲＯＩ領域だけシフトアップして符号化される。）
従って、関心領域が特に存在せず、透かし画像形状情報を透かし画像として画像鑑賞者に示したい場合、透かし画像形状情報をＲＯＩに設定してもよい。
【０２８２】
例えば、著作権情報を示す可視のロゴ情報をＲＯＩに記述しておけば、コンテンツ配信で画像情報を伝送する際に、ロゴ情報から先に視聴者に示すことが出来、利用者にコンテンツの著作権者を明示する効果も実現できる。
【０２８３】
さらに、透かし画像形状情報は既にＲＯＩ情報として、画像と共に符号化されているため、可視型電子透かしを除去する際に必要な鍵情報が僅かですむというメリットがある。
【０２８４】
また、可視型電子透かしの除去に必要な透かし画像形状情報は、画像ファイルのヘッダ等の所定位置に添付することも可能である。このとき、可視型電子透かしが埋め込まれた画像から原画像に戻すときに、画像ファイル以外に必要な鍵情報だけですみ、配送する情報量を削減できる効果もある。
【０２８５】
また、可視型電子透かしの除去に必要な鍵（および透かし画像形状情報）は比較的情報量が少ない為、画像ファイルのヘッダ等の所定位置に添付することも可能である。このとき、特定の利用者のみ可視型電子透かしの除去を可能するため、上記の鍵（および透かし画像形状情報）を所定の暗号方式（例えば、公開鍵暗号方式）で暗号化し、画像ファイルのヘッダ等の所定位置に添付してもよい。
【０２８６】
第１、第３の実施の形態では、暗号方式としては、非排他的論理和（ＸＯＲ演算）の場合のみ説明したが、所定の処理単位（例えば６４ビット）となるように複数の演算ビット領域を集め、ＤＥＳ等の共通鍵暗号方式や、公開鍵暗号方式を用いることも可能である。
【０２８７】
第１、第３の実施の形態の場合、埋め込み対象画素から可視型電子透かしを除去するときに、既に近傍領域が復元されている必要がある。従って、埋め込み対象画素の左横を近傍領域とする場合には、縦方向の複数の画素の演算ビット領域から、所定の単位のビット数を集め、暗号化する等の工夫が必要となる。
【０２８８】
また、ＤＥＳ等の所定の処理単位毎に処理を行うブロック暗号方式に属する共通鍵暗号方式を用いる場合には、集めたビット数が所定の処理単位に満たない場合には、足りないビット数だけ０や１をパディングし所定単位を満たし、暗号化を行うとよい。このとき元の画素位置に格納できないビットは、ヘッダ等のファイルの所定位置に付加するとよい。
【０２８９】
あるいは、１〜数ビット単位で処理できる（共通鍵暗号方式に属する）ストリーム暗号方式に属する暗号方式を用いてもよい。
【０２９０】
このとき第１や第３の実施の形態において、初期設定で入力されるのは乱数キーではなく、共通鍵暗号方式では共通鍵、公開鍵暗号方式では埋め込み時には公開鍵、抽出時に秘密鍵となる。
【０２９１】
本実施形態では、暗号化方式としてＤＥＳを例に挙げたが、他の共通鍵暗号方式、例えば、ＡＥＳ、ＦＥＡＬ、ＩＤＥＡ、ＲＣ２、ＲＣ４、ＲＣ５、ＭＩＳＴＹ、シーザー型暗号、ビジネル暗号・ビューフォート暗号、プレイフェア暗号、ヒル暗号、バーナム暗号等を用いることもできる。
【０２９２】
また本実施形態では、静止画像について説明を行ったが、動画像に対しても同様の原理が適用できることは容易に想像できる。例えば、ＭＰＥＧ圧縮符号化方式の場合、中間フレームを埋め込みの対象とすることで、比較的容易に可逆ノイズを埋め込むことが出来る。ＭｏｔｉｏｎＪＰＥＧ２０００の場合は時間フレーム方向にＪＰＥＧ２０００圧縮符号化画像と同様の手法で可逆ノイズの埋め込みを繰り返すことで埋め込み可能である。従って、動画像に対して可逆ノイズを加えることも本発明の範疇である。
【０２９３】
本発明では、画像の画素値に応じた可逆のノイズを加えることを主眼に説明を行ったが、透かし画像形状情報に強いノイズを加えることで可視の電子透かしとすることも可能であり、本発明で述べた方式を用いた可視型電子透かしの埋め込みも本発明の範疇である。
【０２９４】
最後に、本発明の実施形態における可視型電子透かしの効果を示す為、可視型電子透かしを埋め込んだ画像を例示する。
【０２９５】
ただし、各画像は、本来は多値、すなわち、１画素が多ビットで構成される階調画像であるが、特許出願の明細書に添付する図面は２値画像のみであって多値画像が扱えない。従って、以下に説明する各画像はノイズ多重化した後の多値階調画像そのものではなく、それを更に誤差拡散処理でもって２値化した結果で示していることに留意されたい。
【０２９６】
図１８は、本発明における可視型電子透かし埋め込みサンプル生成の為の原画像であり、縦６４０画素×横４８０画素の８ビットグレースケール画像である。
【０２９７】
図１９は、第３の実施形態の方法により図１７の可視型電子透かしを埋め込んだ画像である。埋め込み対象画素の左横を近傍領域として演算ビット領域を決定し、埋め込み位置に依存した鍵から生成されるシリアルビット系列と演算ビット領域の間でＸＯＲ演算を行い、演算結果を置き換えた画像である。なお、埋め込み強度はΔＬ＿Ｓ＝３０である。
【０２９８】
原画像の特徴を保持しつつ、可視型電子透かしを画像の鑑賞者に提示している。
【０２９９】
図２０は、第２の実施形態の方法により、図１７の可視型電子透かしを埋め込んだ画像である。埋め込み対象画素の左横を近傍領域とし、明度シフト値ΔＬ＿Ｓ＝５、ノイズ成分ＲＮ＝０、閾値設定タイプＩ（閾値１２８）である。原画像の特徴を保持しつつ、付加情報内（文字内部）で、背景が透けて見えるようになり、尚且つ、明るい部分、暗い部分等、どのような階調でもほぼ均等に知覚できる可視型電子透かしが実現されている。
【０３００】
図２１は、第４の実施形態における、透かし画像形状情報を表す画像である。図１７と異なり、透かし画像形状内部で相対的な強度を持っている。
【０３０１】
図２２は、第４の実施形態の方法により図２１の可視型電子透かしを埋め込んだ画像である。埋め込み対象画素の左横を近傍領域とし、明度シフト値ΔＬ＿Ｓ＝１０、ノイズ成分ＲＮ＝０、閾値設定タイプＩ（閾値１２８）である。
【０３０２】
図２０と異なり、可視型電子透かしが立体的に浮かび上がる効果を持つのが分かるであろう。
【０３０３】
なお、図１８乃至図２２では、近傍領域解析手段で周波数特性等を含む近傍領域特性値を計算していないため、高周波領域で若干可視型電子透かしが見えにくくなっている。しかし本発明で既に述べたように近傍領域解析値の中の近傍領域特性値に従って、明度シフト値やノイズ成分を増減させることにより、画像全体で均一に見えるように調整することも可能である。
【０３０４】
以上実施形態について説明したが、上記の説明からも明らかなように、本実施形態を実現するその殆どは、ソフトウェアでもって実現できるものである。通常、パーソナルコンピュータ等の汎用情報処理装置にコンピュータプログラムを導入する場合、フロッピー（登録商標）ディスクやＣＤＲＯＭ、或いは、半導体メモリカード等のコンピュータ可読記憶媒体を装置にセットし、インストールプログラムを実行するか、或いは、システムにコピーすることになるので、かかるコンピュータ可読記憶媒体も本願発明の範疇に含まれるのは明らかである。
【０３０５】
また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、各実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【０３０６】
以上説明したように、本実施形態によれば、入力画像、前記透かし画像の画像形状を表す透かし画像形状情報、鍵及び透かし画像の強さを表す透かし強度値を入力とし、透かし画像形状情報によって示される透かし画像形状内に含まれる位置の入力画像の構成要素の構成値に対し、入力画像の構成要素の構成値の一部または近傍領域を参照し、更に鍵に基づいた演算を行うことで前記構成値の変更を行い、入力画像の特徴を維持しつつ、高画質かつセキュリティ性の高い可視型電子透かしを原画像に埋め込むことができ、著作権の保護を十分行うことができる。
【０３０７】
また、可視型電子透かしが埋め込まれた画像と透かし画像形状情報と鍵と透かし強度値を入力し、上記演算と逆の演算を行うことにより、電子透かしを解除して原画像を復元することができる。
【０３０８】
【発明の効果】
以上説明したように本発明によれば、ノイズを多重化して目視可能な付加情報を可逆的に多値画像に多重化させるだけでなく、その付加情報が多重化される部分でもってオリジナル画像の持つ雰囲気を損なわず、自然な可視付加情報を可逆的に多重化させることができようになる。また、付加情報を除去することでオリジナル画像、もしくはオリジナル画像に近い画像まで復元することが可能になる。
【図面の簡単な説明】
【図１】第１の実施形態における可視型電子透かし埋め込み処理の手順を示すフローチャートである。
【図２】演算処理内容を示す図である。
【図３】演算ビット領域決定処理を実行する演算ビット領域決定部の内部構成を示すブロック図である。
【図４】第１の実施形態における演算ビット領域決定テーブルの一例を示す図である。
【図５】近傍領域選択解析処理を実行する近傍領域選択解析部の内部構成を示すブロック図である。
【図６】第１の実施形態における入力画像と多重化後の画像の対応関係を示す図である。
【図７】第１の実施形態における可視型電子透かし除去処理のフローチャートである。
【図８】第２の実施形態における可視型電子透かし埋め込み処理のフローチャートである。
【図９】第２の実施形態における可視型電子透かし除去処理のフローチャートである。
【図１０】埋め込み量決定処理を実行する埋め込み量決定部の内部構成を示すブロック図である。
【図１１】埋め込み量の正負の符号を決定する為の閾値設定を説明する図である。
【図１２】第３の実施形態における透かし画像形状情報の一例を示す図である。
【図１３】第３の実施形態における可視型電子透かし埋め込み処理のフローチャートの一例である。
【図１４】第３の実施形態における可視型電子透かし除去処理のフローチャートの一例である。
【図１５】ＪＰＥＧ圧縮符号化方式における最小符号化単位を示す図である。
【図１６】ＪＰＥＧ２０００圧縮符号化方式における離散ウェーブレット変換による帯域分割の様子を示す図である。
【図１７】実施形態における可視型電子透かし埋め込み用の画像形状情報の一例を示す図である。
【図１８】ノイズ多重化する対象となるオリジナル画像の一例を示す図である。
【図１９】第３の実施形態の方法により可視型電子透かしを埋め込んだサンプル画像を示す図である。
【図２０】第２の実施形態の方法により可視型電子透かしを埋め込んだサンプル画像を示す図である。
【図２１】第４の実施形態における透かし画像形状内部で相対的な強度を持つ透かし画像形状情報の一例を示す図である。
【図２２】第４の実施形態の方法により可視型電子透かしを埋め込んだサンプル画像を示す図である。
【図２３】実施形態における装置の具体的なブロック構成図である。

Claims (14)

1. 少なくとも輝度を主成分とする多値画像データにノイズを多重化して、当該ノイズの多重化した分布による目視可能な付加情報を埋め込む画像処理装置であって、
   画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力手段と、
   前記付加情報に基づき、多値画像データ中の注目画素が、ノイズを多重化する位置にあるのか否かを判定する判定手段と、
   該判定手段によって前記注目画素がノイズ多重化する位置にあると判定された場合、注目画素の近傍領域の輝度値に基づき、注目画素に加算する加算輝度値を算出する輝度値算出手段と、
   算出された加算輝度値を注目画素の輝度値に加算する加算手段とを備え、
   前記輝度値算出手段は、
   前記近傍領域のデータを明度値に変換する第１の変換手段と、
   前記注目画素に対して可逆ノイズを多重化するための鍵情報と、前記近傍領域の輝度値に基づき、前記近傍領域に対する明度変更量を算出する変更量算出手段と、
   算出された明度変更量を、前記第１の変換手段で変換された明度値に加算する明度加算手段と、
   該明度加算手段で得られた明度値を輝度値に変換する第２の変換手段と、
   該第２の変換手段で得られた輝度値と、前記近傍領域の輝度値と差分を前記加算輝度値として算出する手段と
   を備えることを特徴とする画像処理装置。
2. 前記変更量算出手段は、前記近傍領域の輝度或いは明度値に基づき、変更する正負の符号を決定する手段を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記鍵情報には、埋め込むノイズの強度情報、ノイズの発生する乱数キー、その振幅が含まれることを特徴とする請求項１に記載の画像処理装置。
4. 前記入力手段で入力する、画素単位にノイズを多重化する／しないを示す情報は多値で表現される情報であって、多重化する場合においてはその多重化する際の可視強度のレベルが格納されていることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記加算手段における加算後の輝度値が表現可能な階調範囲を超えるとき、対応する画素へ前記加算輝度値を加算せず、前記付加情報の対応する位置のノイズを多重化する／しないを示す情報を、ノイズを多重化しないに変更することを特徴とする請求項１に記載の画像処理装置。
6. ノイズが可逆的に埋め込まれ、目視可能な付加情報が多重化された多値画像データから、前記付加情報を除去する画像処理装置であって、
   画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力手段と、
   前記付加情報に基づき、多値画像データ中の注目画素が、ノイズが多重化された位置にあるのか否かを判定する判定手段と、
   該判定手段によって、注目画素がノイズの多重化された位置にあると判定した場合、注目画素に対して除去処理が完了した近傍領域の輝度に基づき、注目画素に加算された加算輝度値を算出する加算輝度値算出手段と、
   算出された輝度値を前記注目画素の輝度値より減じる減算手段と
   を備えることを特徴とする画像処理装置。
7. 複数の色成分から構成される多値画像データにノイズを多重化して、当該ノイズの多重化した分布による目視可能な付加情報を埋め込む画像処理装置であって、
   画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力手段と、
   前記付加情報に基づき、多値画像データ中の注目画素が、ノイズを多重化する位置にあるのか否かを判定する判定手段と、
   該判定手段によって前記注目画素がノイズ多重化する位置にあると判定された場合、注目画素の近傍領域の輝度値に基づき、注目画素の複数の色成分に加算する加算画素値を算出する加算画素値算出手段と、
   算出された加算画素値を注目画素の画素値に加算する加算手段とを備え、
   前記加算画素値算出手段は、
   前記近傍領域の画素値から輝度値を計算する手段と、
   前記輝度値を明度値に変換する第１の変換手段と、
   前記注目画素に対して可逆ノイズを多重化するための鍵情報と、前記近傍領域の輝度値に基づき、前記近傍領域に対する明度変更量を算出する変更量算出手段と、
   算出された明度変更量を、前記第１の変換手段で変換された明度値に加算する明度加算手段と、
   該明度加算手段で得られた明度値を輝度値に変換する第２の変換手段と、
   該第２の変換手段で得られた輝度値を複数の画素値に変換する第３の変換手段と、
   該第３の変換手段で得られた画素値と、前記近傍領域の画素値と差分を前記加算画素値として算出する手段と
   を備えることを特徴とする画像処理装置。
8. ノイズが可逆的に埋め込まれ、目視可能な付加情報が多重化された多値画像データから、前記付加情報を除去する画像処理装置であって、
   画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力手段と、
   前記付加情報に基づき、多値画像データ中の注目画素が、ノイズが多重化された位置にあるのか否かを判定する判定手段と、
   該判定手段によって、注目画素がノイズの多重化された位置にあると判定した場合、注目画素に対して除去処理が完了した近傍領域の輝度に基づき、注目画素に加算された加算画素値を算出する加算画素値算出手段と、
   算出された画素値を前記注目画素の画素値より減じる減算手段と
   を備えることを特徴とする画像処理装置。
9. 少なくとも輝度を主成分とする多値画像データにノイズを多重化して、当該ノイズの多重化した分布による目視可能な付加情報を埋め込む画像処理方法であって、
   画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力工程と、
   前記付加情報に基づき、多値画像データ中の注目画素が、ノイズを多重化する位置にあるのか否かを判定する判定工程と、
   該判定工程によって前記注目画素がノイズ多重化する位置にあると判定された場合、注目画素の近傍領域の輝度値に基づき、注目画素に加算する加算輝度値を算出する輝度値算出工程と、
   算出された加算輝度値を注目画素の輝度値に加算する加算工程とを備え、
   前記輝度値算出工程は、
   前記近傍領域のデータを明度値に変換する第１の変換工程と、
   前記注目画素に対して可逆ノイズを多重化するための鍵情報と、前記近傍領域の輝度値に基づき、前記近傍領域に対する明度変更量を算出する変更量算出工程と、
   算出された明度変更量を、前記第１の変換工程で変換された明度値に加算する明度加算工程と、
   該明度加算工程で得られた明度値を輝度値に変換する第２の変換工程と、
   該第２の変換工程で得られた輝度値と、前記近傍領域の輝度値と差分を前記加算輝度値として算出する工程と
   を備えることを特徴とする画像処理方法。
10. ノイズが可逆的に埋め込まれ、目視可能な付加情報が多重化された多値画像データから、前記付加情報を除去する画像処理方法であって、
    画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力工程と、
    前記付加情報に基づき、多値画像データ中の注目画素が、ノイズが多重化された位置にあるのか否かを判定する判定工程と、
    該判定工程によって、注目画素がノイズの多重化された位置にあると判定した場合、注目画素に対して除去処理が完了した近傍領域の輝度に基づき、注目画素に加算された加算輝度値を算出する加算輝度値算出工程と、
    算出された輝度値を前記注目画素の輝度値より減じる減算工程と
    を備えることを特徴とする画像処理方法。
11. 複数の色成分から構成される多値画像データにノイズを多重化して、当該ノイズの多重化した分布による目視可能な付加情報を埋め込む画像処理方法であって、
    画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力工程と、
    前記付加情報に基づき、多値画像データ中の注目画素が、ノイズを多重化する位置にあるのか否かを判定する判定工程と、
    該判定工程によって前記注目画素がノイズ多重化する位置にあると判定された場合、注目画素の近傍領域の輝度値に基づき、注目画素の複数の色成分に加算する加算画素値を算出する加算画素値算出工程と、
    算出された加算画素値を注目画素の画素値に加算する加算工程とを備え、
    前記加算画素値算出工程は、
    前記近傍領域の画素値から輝度値を計算する工程と、
    前記輝度値を明度値に変換する第１の変換工程と、
    前記注目画素に対して可逆ノイズを多重化するための鍵情報と、前記近傍領域の輝度値に基づき、前記近傍領域に対する明度変更量を算出する変更量算出工程と、
    算出された明度変更量を、前記第１の変換工程で変換された明度値に加算する明度加算工程と、
    該明度加算工程で得られた明度値を輝度値に変換する第２の変換工程と、
    該第２の変換工程で得られた輝度値を複数の画素値に変換する第３の変換工程と、
    該第３の変換工程で得られた画素値と、前記近傍領域の画素値と差分を前記加算画素値として算出する工程と
    を備えることを特徴とする画像処理方法。
12. ノイズが可逆的に埋め込まれ、目視可能な付加情報が多重化された多値画像データから、前記付加情報を除去する画像処理方法であって、
    画素単位にノイズを多重化する／しないを示す情報を、前記付加情報として入力する入力工程と、
    前記付加情報に基づき、多値画像データ中の注目画素が、ノイズが多重化された位置にあるのか否かを判定する判定工程と、
    該判定工程によって、注目画素がノイズの多重化された位置にあると判定した場合、注目画素に対して除去処理が完了した近傍領域の輝度に基づき、注目画素に加算された加算画素値を算出する加算画素値算出工程と、
    算出された画素値を前記注目画素の画素値より減じる減算工程と
    を備えることを特徴とする画像処理方法。
13. 請求項１乃至８のいずれか１項に記載の画像処理装置の機能をコンピュータに実現させるためのコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images