JP3954218B2

JP3954218B2 - マシーン動作方法

Info

Publication number: JP3954218B2
Application number: JP30177198A
Authority: JP
Inventors: ジェイ．フリートデイビッド; ジェイ．ヒーガーデイビッド; エ−．カストッド; エル．ヘクトデイビッド
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1997-10-23
Filing date: 1998-10-23
Publication date: 2007-08-08
Anticipated expiration: 2018-10-23
Also published as: DE69825388T2; EP0912042A2; JPH11234500A; EP0912042A3; EP0912042B1; DE69825388D1

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、カラー画像処理及び情報符号化(encoding)の分野におけるプロセッサベースの技術に関し、さらに詳細には、付加した信号が修正カラー画像の人間の観察者に知覚されないように、さらに、修正画像の一つ以上の連続する操作の後、付加した信号が元の画像を使用せずに復号される(decode)ことができるように、元の画像に信号を付加して修正カラー画像を形成する方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
連続的に電子復号できる画像形式の情報の符号化は、公知の情報処理技術である。例えば、バーコードは、白黒画像形式の符号化情報を明示的に保持し、典型的には、符号化情報の明白且つ知覚可能な存在が意図され、不利益でないアプリケーションにおいて使用される。
【０００３】
データグリフ(data glyph)技術は、埋め込まれたデータが符号化の目的には粗いが得られた画像においては目立たないか見えないことが要求される画像のアプリケーションで使用するのに特に有用な埋め込まれた符号化情報のカテゴリーである。データグリフ技術は、非常に小さな線形マークのような認識可能な形状のマークの形態にレンダリングされるバイナリ（２値）の１及び０の形式のデジタル情報を符号化する。 "Methods and Means for Embedding Machine Readable Digital Data in Halftone Images" というタイトルの米国特許第5,315,098 号は、デジタルハーフトーン画像のハーフトーンセルに書き込まれる円形且つ非対称なハーフトーンドットパターンの角度を付けた方向にデジタルデータを符号化する技術を開示する。
【０００４】
別のタイプの画像又は文書のマーキングは、デジタルウォーターマーキング(water marking) として公知である。有用なデジタルウォーターマーキングは、二つの目的を同時に達成する。第１に、この技術は、透かしが入れられる(watermarked) 画像の品質及び価値が低下しないように、人間の観察者に知覚不可能な埋め込み信号を生成しなければならない。同時に、埋め込み信号は改ざんに対する抵抗性がなければならず、埋め込み信号の除去がウォーターマーキングの識別目的を失敗させるため、有用なウォーターマーキング技術は、典型的には、埋め込み信号を除去しようとする試みによって、画像が市場であまり価値がなくなる程度に品質が劣化するように設計される。
【０００５】
ブラシル(Brassil) らによる"Electronic Marking and Identification Techniques to Discourage Document Copying"(IEEE Journal on Selected Areas in Communications,Vol.12, No.8, October 1995,pp.1495-1504) は、認可されていないテキスト文書の分散を防ぐ目的で、テキスト文書画像に固有のコードワードを埋め込むための三つの技術を開示しており、このコードワードによって、文書の読者に殆ど識別されずに、文書の認可された受領を識別することができる。画像符号化方式は、うまく除去されれば文書の表示される品質を実質的に損なわせるように設計される。開示された技術は、ラインシフト符号化、単語シフト符号化及び特徴符号化を含む。得られる画像にこれらの技術を使用することは、典型的には、画像の観察者には知覚されず、画像のテキストは変えられない。
【０００６】
画像に情報を埋め込む既存の技術の多くは白黒画像領域で動作し、人間の観察者には知覚できず、画質を損なわない信号をカラー画像にどのように埋め込むかについては明確に述べていない。カラー画像にも適用されるであろうデジタルウォーターマーキングは、典型的には、変えられないように設計され、これらの技術は、画像の情報を破壊しないと除去できない改ざんの恐れのない埋め込み信号を生成し、透かしが入れられた画像はその後の使用にも透かしが入れられたままでなければならない。さらに、透かしが入れられた画像において埋め込み識別信号を検出することは、典型的には、元の画像を使用しなければならず、この元の画像はこのような将来に必要になった場合に安全な場所に保管されている。デジタルウォーターマーキングのこれらの特徴は画像承認及び識別の目的には有用な特徴であるが、他の目的に対しては限界がある。
【０００７】
【課題を解決するための手段】
本発明は、画像を許容不可能に歪めたり劣化させたりしない信号をカラー画像に付加することが、元の画像と埋め込み信号を有する画像のバージョンとの知覚差の大きさを量的に決定することができる人間の知覚の洗練されたモデルを使用することによってのみ予想通りに且つ確実に達成されることを見出すことに基づく。本発明の技術は、人間の知覚の量的なモデルを使用して、このモデルが、元のカラーと付加された信号で生成された修正されたカラーとの知覚差が大きすぎることを示すカラー画像の局所的領域の付加された信号のパワー（振幅）を、人間である画像の観察者に実質的に知覚不可能な付加された信号を有する元のカラー画像のバージョンを生成する目標に向かって減衰させる。人間の知覚の量的なモデルは、埋め込み信号が知覚的しきい値よりも下であることを確実にすることによって埋め込み信号の知覚性を制御する。
【０００８】
本発明の例示される実施の形態の技術は、周期的信号のパターンをカラー画像に付加し、特に、振幅変調された正弦波信号のパターンをカラー画像に付加する。比較動作は、埋め込み情報の振幅が高すぎるため知覚可能である局所的領域を修正されたカラー画像において自動的に決定する。知覚可能信号は修正された画像のこれらの特定された局所的領域において繰り返し減衰される。例示される実施の形態の一つの態様では、正弦波信号は、大部分のカラー画像があまりパワーを持たず、人間の感覚が最も鈍い空間周波数で、カラー画像の黄−青反対色帯に付加される。付加された振幅変調された正弦波信号は、周波数領域にピークパワー集中の特定のパターンを形成するため、復号される（修正された画像に配置される）。信号を付加する方法によって、空間周波数間に、本来あまり起こりそうにない特定の幾何学的関係又はコンピュータ生成された合成画像が確立する。埋め込み技術は人間の知覚を利用し、埋め込まれた正弦波信号の空間周波数は、人間が輝度（白黒）視覚帯で通常感度を示す周波数の範囲内であるが、この感度は色覚帯に及ばない。したがって、以下に述べる本発明の実施の形態において、比較的高い空間周波数の正弦波信号が修正されたカラー画像に付加される場合、信号は、特定のアプリケーション、特定の復号領域又は特定の装置が要求する場合、より低い空間周波数で付加され得る。
【０００９】
信号符号化プロセスの技術の重要な利点は、獲得画像に埋め込まれた正弦波信号画像を配置するプロセス（即ち、復号プロセス）が元の修正されていない画像の使用を必要としないことである。この特徴によって、誰もが埋め込み情報を使用することができる。
【００１０】
したがって、本発明の一つの態様によると、中に埋め込まれた視覚的に許容可能な信号差を有する元の画像データ構造のバージョンを生成するためにプロセッサ制御マシーンを動作させる方法が提供される。このマシーンは、データを受け取る信号源、データを記憶するメモリ及びマシーンを動作させるためにメモリに記憶された命令データにアクセスしこれを実行するように接続されたプロセッサを含み、プロセッサはさらに信号源からのデータを受け取るように接続され、メモリにデータを記憶するように接続される。この方法は、各々が元のカラーを示す複数の元の画像位置を含む元の画像を定義する元の画像データ構造を得、元の画像に埋め込むための信号を得るためにプロセッサを動作させる。この方法は、さらに、元の画像データ構造の複数の画像位置の少なくとも一つに信号を付加し、中間カラー画像データ構造を生成するためにプロセッサを動作させる。中間カラー画像データ構造は、元の画像データ構造の少なくとも一部分のバージョンであり、各々が中間カラーを示す複数の中間画像位置を含む。元の画像データ構造における元の画像位置及び中間カラーデータ構造における中間画像位置は、各画像において同じ画像位置を示し、集合的に各々ペアの画像位置とされる。各々ペアの画像位置のそれぞれは画像のカラーを示す。次に比較動作が実行されて各々ペアの画像位置のそれぞれに量的な知覚差測定値を生成する。比較動作は人間の知覚のモデルを使用し、元の画像と中間画像の人間の観察者によって知覚された知覚可能な画像差を量的に表す。各々ペアの画像位置同士の間の差の測定値が元のカラー画像と中間カラー画像との許容可能な知覚差を示すしきい値を越える場合、信号が減衰されて非ゼロの修正された信号を生成する。次に、反復動作が実行され、各々ペアの画像位置同士の間の知覚差測定値がしきい値を越えなくなるまで、修正された信号を使用して付加、比較、及び減衰動作を反復する。この反復動作は、知覚的に許容可能な信号差である、元のカラー画像と修正されたカラー画像との信号差を示す修正されたカラー画像データ構造を生成する。
【００１１】
本発明の別の態様によると、プロセッサ制御マシーンを動作させる方法は、画像に埋め込まれたｎ個の周期的信号のセットを復号するために提供される。この方法は、埋め込まれたｎ個の周期的信号のセットを含む画像を定義する画像データ構造を得ることを含む。ｎ個の周期的信号のセットは、互いに関する幾何学的関係を有する。この方法は、さらに、ｎ個の周期的信号のセットに関して予測された幾何学的関係を示す幾何学的制約データを得ることを含む。次に、画像の二次元空間周波数パワースペクトルにおける複数の局所的ピークパワー集中が特定され、ｎ個の周期的信号のセットに関して予測された幾何学的関係を示す幾何学的制約データを満たさないこれらの局所的ピークパワー集中のサブセットが考慮から外される。局所的ピークパワー集中の残りのサブセットは、ｎ個の周期的信号のセットの空間周波数及び方向を示す代表的な局所的ピークパワー集中となるように決定される。次に、画像のｎ個の代表的な局所的ピークパワー集中のセットと幾何学的制約データによって示されるｎ個の周期的信号のセットの間で最適な線形マッピングが計算される。最適な線形マッピングは、画像に埋め込まれたｎ個の周期的信号のセットの空間周波数及び方向を特定する。
【００１２】
【発明の実施の形態】
カラー画像に信号を埋め込む本発明の技術は、目標として、この信号が、この技術の出力として生成された修正カラー画像の人間の観察者に実質的に知覚できないように信号を埋め込まなければならない。信号が知覚可能かどうかは、人間の知覚のモデルを使用して元のカラー画像と中に信号が埋め込まれた修正カラー画像との量的な知覚差の測定値を提供する比較動作によって測定される。しきい値を越える知覚差の測定値は人間の観察者によって知覚可能であるため、埋め込み信号で修正されたカラー画像は元のカラー画像の許容不可能な劣化をもたらす。しきい値設定によって、この技術を使用する特定のアプリケーションを許容するか又は特定のタイプの構造的又は色的内容を有する画像を許容する、技術上の柔軟性がもたらされる。したがって、しきい値は、元のカラー画像と埋め込み信号で修正されたカラー画像との間で許容される許容可能な知覚差の限界を設定し、このしきい値は、元の画像と修正されたカラー画像との多少の知覚差、つまり元のカラー画像の多少の劣化を許容するように変更され得る。以下に述べる例示された実施の形態を含む多くの場合、この技術によって、埋め込み信号が人間に知覚不可能であり、この説明のために、埋め込み信号は知覚不可能信号と称される。しかし、本発明の技術は元の画像と修正されたカラー画像との知覚差を測定し、この知覚差の許容度を制御する方法を提供することが理解されるであろう。
【００１３】
元のカラー画像に知覚不可能な信号成分を埋め込む本発明の技術は、入力として（埋め込まれた信号成分のない）元のカラー画像及び付加される信号成分を含む画像の二つのデータ構造を必要とする。この技術は、中に知覚されずに埋め込まれた付加された信号成分を有する元のカラー画像のバージョンを生成し、元の画像のこのバージョンは以下修正画像と称される。
【００１４】
「元のカラー画像」という用語は、知覚不可能な信号が付加される入力カラー画像を定義する画像データ構造についていうために使用される。本発明の入力として適したタイプのカラー画像は二次元であり、画像位置が画像座標のセット（ｘ，ｙ）によって与えられる画像座標系を有する。画像の各位置は「ピクセル」と称される。データアイテムの二次元アレイはカラー画像を空間的に定義し、データの各アイテムは画像位置の色を示す「ピクセル値」と称される値を提供する。各ピクセル値は、選択された色空間、例えば、ＲＧＢ色空間又は容認される国際ＣＩＥ標準色空間において色を定義付ける色空間座標の組である。元の画像は以下Ｉ（ｘ，ｙ）とも称される。
【００１５】
元のカラー画像に埋め込まれる信号成分は、それ自体画像として見られる。以下により詳細に述べられるように、信号成分は幾つかの処理の反復にわたって埋め込まれ、Ｓⁱ( ｘ，ｙ）とも称される（ここでｉは現行の反復の数である）。付加される信号成分の特徴は、信号を保持する修正画像が使用されるアプリケーションに応じて変化し、幾つかのアプリケーションでは、付加された信号成分は周期的信号でなければならない。以下に述べられる技術の例示される実施の形態では、元のカラー画像に付加される信号は正弦信号成分である。
【００１６】
図１は、知覚不可能な信号成分を元のカラー画像に付加する動作２００を例示するフローチャートである。一般には、動作２００は、元のカラー画像及び画像表示として信号成分を扱い、ボックス２１０でこれらを付加し、以下Ｉ'(ｘ，ｙ）として示される修正されたカラー画像を生成する。
【００１７】
付加された信号成分が修正された画像のあらゆる部分において人間の観察者によって知覚されないように、ボックス２４０では、人間の知覚をモデルにした比較動作を使用して各画像位置でＩ（ｘ，ｙ）とＩ'(ｘ，ｙ）との知覚差が測定される。比較動作２４０は、Ｉ'(ｘ，ｙ）における各画像位置に対してＩ（ｘ，ｙ）とＩ'(ｘ，ｙ）との知覚差の量的な測定値を示すデータを生成する。量的測定値は、Ｉ（ｘ，ｙ）とＩ'(ｘ，ｙ）との知覚差が修正されたカラー画像Ｉ'(ｘ，ｙ）の人間の観察者に知覚可能かどうかを示す。比較動作２４０の出力は、以下知覚差ΔＥ（ｘ，ｙ）として示される。人間の知覚モデルに関するさらなる詳細及び例示される実施の形態で使用されるモデルの記述は以下に述べられる。
【００１８】
知覚差データは、ボックス２７０において、二つの方法で評価される。一つの評価は、任意の画像位置が、許容可能な知覚差測定値となるように決定されたしきい値知覚差よりも大きい知覚差ΔＥ（ｘ，ｙ）を有するかどうかを含む。このしきい値よりも大きい差の測定値を有する画像位置は、付加された信号が人間である、修正カラー画像の観察者に知覚可能であることを示し、付加された信号成分がこれらの画像位置において連続する処理の反復で減衰される必要があることを意味する。第２の評価は、十分な反復がなされて付加された信号がしきい値を越える知覚差測定値を全く又は殆ど生成せず、実質的に知覚不可能であると決定し、処理を完了する。この評価は多数の異なる方法で行われることができ、例えば、ΔＥ（ｘ，ｙ）の画像位置のしきい値百分率がしきい値差よりも小さな差を測定した場合又はΔＥ値の幾つかの（例えば、算術的又は幾何学的）平均がしきい値よりも低い場合に処理が終了する。これら両方のしきい値は、修正されたカラー画像が使用される特定のアプリケーションに適するように、又は元のカラー画像の特定の空間的及び構造的属性を許容するように調節されることができる。
【００１９】
図１のボックス２７０が示すように、二つの評価によって、修正されたカラー画像がしきい値である許容可能な差より低い差の測定値を有する多数の画像位置を有することが示された場合、修正されたカラー画像を生成する動作２００は完了し、処理は停止する。修正されたカラー画像の最終的なバージョン２９０は、元のカラー画像と修正されたカラー画像との許容可能な知覚差を生成する付加された信号成分を有し、多くの場合、付加される信号成分は人間である画像の観察者には知覚不可能である。
【００２０】
画像位置Ｉ'(ｘ，ｙ）がしきい値許容可能な差の測定値より大きい知覚差ΔＥ（ｘ，ｙ）を有する場合、図１のボックス２８０に示されるように、新しい信号画像が形成され、この画像において、先行信号画像の信号は許容不可能な差の測定値がある画像領域において減衰される。この新しい信号画像は先行の反復の信号画像Ｓⁱ（ｘ，ｙ）を使用して生成され、次の（ｉ＋１）回目の反復に対する信号画像（本明細書中でＳⁱ⁺¹(ｘ，ｙ）で示される）を形成する。次に、処理はボックス２１０に戻り、修正された信号Ｓⁱ⁺¹(ｘ，ｙ）が元の画像に付加される。
【００２１】
図２〜６は、代表的且つ概略的な画像表示による動作２００を例示する。図２の元のカラー画像３００は画像領域３０２、３０４、３０６、３０８、及び３１０を示し、各領域は、異なるクロスハッチングパターンによって表示されるように、異なるカラーで示される。図３は、元の画像３００に付加される信号成分の画像３２０を表示する。画像３２０は、以下により詳細に述べる例示される実施の形態の主題である特定の信号成分の画像である図１０の画像４８０と対照的に、任意のタイプの信号成分を示すことが意図されるクロスハッチングパターンで示されることに注目されたい。
【００２２】
図４は図１の動作２１０によって生成された画像３３０を示し、この画像は画像３２０を画像３００に付加することによって生成された画像である。本発明によって元のカラー画像に信号を埋め込むプロセスの結果として生成された画像は、結合され、また登録される位置合わせをされてレンダリングされる二つの画像データ構造であるように定義される。画像３３０では、画像領域３３２、３３４及び３４０は図２の画像３００と同じ色（同じクロスハッチング）を有して示されるが、画像領域３３６及び３３８は、画像領域３０６及び３０８のクロスハッチングカラーの上に信号画像３２０のクロスハッチングカラーを重畳したものとして示される。画像３３０は、信号成分３２０が画像領域３３６及び３３８において知覚可能であるが、画像領域３３２、３３４及び３４０では知覚できないことを概略的に例示する。図５は、人間の知覚モデルを使用して画像３００と画像３３０との間の知覚差を測定する動作２４０によって生成された知覚差ΔＥ（ｘ，ｙ）を示す画像３５０を示す。画像領域３５８及び３５６の量的な知覚差ΔＥは、許容可能な知覚差しきい値よりも上である。
【００２３】
図６は、図１の動作２８０によって生成された信号画像Ｓⁱ⁺¹(ｘ，ｙ）を表す画像３６０を示す。信号画像３６０は処理の次の反復で元の画像に埋め込まれ、領域３６４の異なるクロスハッチングパターンによって、信号成分が、付加された信号成分が許容不可能な程度に大きな知覚差を生成し、そのため人間である画像３３０の観察者に知覚されてしまう、画像３３０の画像領域に対応する画像領域で減衰されることを示す。
【００２４】
本発明の動作２００の例示される実施の形態は、元のカラー画像に、信号成分として一つ以上の正弦波グリッドを付加し、正弦波は所定の空間方向及び空間周波数を有する。例示される実施の形態は、図７のフローチャート４００に示される。元のカラー画像４０４は、ボックス４０６において、三つの色分解、即ち輝度（黒及び白）、赤−緑（ＲＧ）及び黄−青（ＹＢ）を生成する反対色表示に変換される。この変換は、典型的にはＲＧＢ色空間からの一次変換である。正弦波信号４０２の合計Ｓ（ｘ，ｙ）は、ボックス４０８で黄−青（ＹＢ）色帯に埋め込まれる。例示される実施の形態は、人間の感覚が低く大部分の画像が比較的に殆どパワーを持たない高空間周波数を選択する。埋め込み信号を有するＹＢ帯を含む三つの色分解は中間修正画像４１４を形成し、この画像はＳ−ＣＩＥＬＡＢ知覚差測定動作４５０への入力に適した入力表示に変換される。特に、中間カラー画像４１４は、ボックス４０９において、人間の目の網膜の錐体状受光体に感度を示す長波、中波及び短波（ＬＭＳ）の波長の吸収を概算する表示に変換される。このＬＭＳ表示は、ボックス４０９で変換された元の画像４０４のＬＭＳ表示と共に、比較動作４５０へ入力されて二つの画像間の知覚差を検出し測定する。知覚差測定値がしきい値を越える場合、正弦波グリッド４０２は知覚差を生成する領域で減衰されなければならず、再び元の画像４０４のＹＢ帯に付加される。このようにして、信号は繰り返し埋め込まれる。正弦波グリッド画像４０２の生成及び動作４２０で生成された減衰画像４１８は元の画像４０４に付加される。知覚差測定値が再びしきい値を越える場合、さらなる反復が必要となり、新しい減衰画像４１８がボックス４２０で生成され、この画像は最後の反復で生成された正弦波グリッド４０２と逓倍されて新しい正弦波グリッドを形成し、このグリッドは次の反復で元の画像４０４のＹＢ帯に付加される。反復処理はライン４１０で示される。
【００２５】
本発明の技術はカラー画像に信号を埋め込むことについて説明しているが、信号成分は反対色画像表示の色（即ち、ＲＧ又はＹＢ）帯に埋め込まれることのみに制約されない。例示される実施の形態の技術は元の画像のＹＢ帯に信号成分を埋め込むが、信号は元の画像のＢＷ、ＲＧ又はＹＢ帯のうちの任意の一つ以上に埋め込まれ得る。反対色表示の特定の一つにおける埋め込み信号の知覚は、特定の画像の空間構造又は色構造に依存する。他のタイプの画像分解、例えば、ＨＳＶ（色相、彩度及び輝度）及びＬ^*ａ^*ｂも可能であることにも注目されたい。
【００２６】
例示される実施の形態は、Ｓ−ＣＩＥＬＡＢとして公知の人間知覚モデルを使用して元の画像と修正画像の各反復の中間バージョン４１４との間の知覚差比較を行い、知覚差測定値画像４１６、ΔＥ（ｘ，ｙ）を生成する。Ｓ−ＣＩＥＬＡＢの機能的且つ動作的特徴は以下に述べられる。図７のボックス４０９におけるＲＧＢ画像のＬＭＳ表示への変換は、人間の知覚の文献においては標準的な動作であり、Ｓ−ＣＩＥＬＡＢソースコードを用いたユーティリティとして提供される。
【００２７】
正弦波グリッドを埋め込み知覚差を測定するプロセス及び獲得した修正カラー画像における正弦波グリッドの位置を決定する復号プロセスを含む本発明の技術は、Matlabとして公知のプログラミング言語で実施されてきたが、これらの実施は適切に構成された汎用コンピュータ、例えば図１９に概略的に示され以下に述べるマシーン１００で実行される。
【００２８】
先に示したように、図１の比較動作２４０の目的は、元のカラー画像と修正カラー画像の現行バージョンとの間の知覚差を測定してこの知覚差が許容可能な知覚差のしきい値を越えるかどうか、及び人間である画像の観察者によって知覚可能であるかどうかを決定することである。人間の色知覚の多くのモデルは色研究の文献で提案されてきた。本発明での使用に適したモデルは、人間の観察者が知覚する二色間の知覚差を表す二色間の色の見えの差を測定し、測定した差を、実際の人間の色覚に正確に対応する知覚した色の見えの差の大小の量的な範囲又は尺度で表現する機能性を提供しなければならない。しきい値は人間の知覚のしきい値より下の知覚差を表すため、又はしきい値以上の知覚差は特定のアプリケーションに対して許容可能な程度まで許容可能であるため、本発明の技術は、「許容可能な」知覚差を表すモデルを使用した結果として生成される量的な差の尺度からしきい値知覚差を選択することができなければならない。さらに、本発明での使用に適したモデルは、色に対する人間の目の実際の物理的反応による色測定を前提とし、典型的には、画像の白黒点及び／又は画像を生成するために使用される測色用の光の特定を可能とする。色を定義し測定するためのＣＩＥ（国際照明委員会:Commission Internationale de l'Eclairage)標準は、人間の色知覚の多くのこのようなモデルの基礎を形成する。特定の人間の色知覚モデルがどのようにして正確に知覚差を表示且つ測定するかということは、本発明の動作に影響を与え、図１の比較動作２４０が提供する知覚差に関する情報がより正確になると、この技術によって、埋め込み信号がより知覚不可能になることがより確実となる。
【００２９】
例示される実施の形態では、本発明はＳ−ＣＩＥＬＡＢとして公知の人間の色知覚モデルを使用する。Ｓ−ＣＩＥＬＡＢモデルはX.ツァン(X.Zhang) 及びB.バンデル(B.Wandell) によって開発され、A.ポアゾン(A.Poirson) 及びB.バンデルの色視覚調査に基づく。以下に述べる以外のＳ−ＣＩＥＬＡＢならびにポアゾン及びバンデルの調査に関するさらなる情報は以下の文献から入手可能である：A.Porison and B.Wandell, "The appearance of colored patterns: pattern-color separability",( Journal of the Optical Society of America A,10:2458-2471, 1993);A.Porison and B.Wandell, "Pattern-color separable pathways predict sensitivity to single colored patterns",( Vision Research, 36:515-526, 1996);X.Zhang and B.Wandell, "A spatial extension of CIELAB for digital color image reproduction",( Proceedings of the Society of Information Display 96 Digest, pp.731-734, San Diego,1996)。これらの出版物はそれぞれ必要に応じて検索される色科学及び人間の視覚の文献に対する参照を提供する。Ｓ−ＣＩＥＬＡＢ実施のソースコードは、ブライアンバンデルのウェブサイト( 出願日のURL:http://white.stanford.edu./html/wandell.html) からダウンロードすることによって利用可能である。
【００３０】
Ｓ−ＣＩＥＬＡＢは、色再現誤差が正確に測定され得る知覚的に均一な色空間を定義付けようとする公知のＣＩＥＬＡＢ標準の拡張である。Ｓ−ＣＩＥＬＡＢは、元のカラー画像と特定の装置による色再現との間の知覚差の誤差を測定するために設計された。Ｓ−ＣＩＥＬＡＢは、色の見えが画像の空間構造に全体的及び局所的に依存することを説明しようとする。ＣＩＥＬＡＢは、広く均一な色パッチの色の識別能力の心理物理的研究に基づく。より最近の研究によって、色の見えは画像の局所的構造にも依存することが分かった。細かい寸法のパターンによる色の見えの測定値（例えば、異なる空間周波数の色方形波格子）は、広く均一なカラーパッチによるものと異なる。ポイゾン及びバンデルは、これらの人間の色覚反応を説明するために、先の人間の色処理のパターン色分解可能モデルを提案する。ツァン及びバンデルは、ＣＩＥＬＡＢを用いてパターン形成された画像における局所的な色再現の誤差を予測するのでは満足な結果が得られないと述べ、例として連続トーンカラー画像と画像のハーフトーンバージョンとの比較について述べている。これらの画像の間のＣＩＥＬＡＢ誤差の点ごとの比較は、大部分の画像の点で大きな誤差を生成する。しかし、ハーフトーンパターンは急速に変化するため、これらの差は目にはぼやけて見え、再現部は元の外観を維持している。
【００３１】
図８は、Ｓ−ＣＩＥＬＡＢ色知覚モデルを使用して例示される実施の形態で実施されるＳ−ＣＩＥＬＡＢ比較動作４５０の一般的な処理を例示する。Ｓ−ＣＩＥＬＡＢパターン色分解可能モデルでは、オリジナル及び修正されたカラー画像の現行バージョンの両方のカラー信号はＬＭＳ表示に入力される。この表示のカラー信号は、ボックス４５４において、ＬＭＳ座標から輝度（ＢＷ）、赤−緑（ＲＧ）及び黄−青（ＹＢ）と称される三つの帯（即ち、空間画像）を有する反対色表示に変換される。各反対色画像は、ボックス４５６において、核を用いてたたみこまれ、この核の形状は、その色の寸法、即ちこれらの核が一つに統合する領域に対する視覚的空間感度によって決定される。これは、各反対色画像をＲＧ及びＹＢ帯がより低い周波数カットオフを有するローパスフィルターで平滑化することに等しい。色変換は画像の空間パターンに依存せず、空間たたみこみは画像の色に依存しないため、この計算はパターンカラー分解可能である。
【００３２】
最後に、各画像位置のフィルタリングされたカラー信号の表示は、ボックス４５８において、ＣＩＥＸＹＺ三刺激座標に変換される。ＣＩＥＸＹＺ三刺激表示は、ボックス４６０において、ＣＩＥＬＡＢ式を使用してＣＩＥＬＡＢ色空間に変換される。従来のＥＩＣＬＡＢ色差式は、各画像ピクセルにおける元のカラー画像の色と修正されたカラー画像の現行バージョンの色との間の知覚差を測定するために使用される。これらの知覚差はΔＥで示され、ここで１より大きな値は知覚差が人間によって検出可能であることを示す。１未満の知覚差値は、差が識別不可能であることを示す。画像の知覚差ΔＥ（ｘ．ｙ）は動作４２０に戻される。Ｓ−ＣＩＥＬＡＢ差の測定値は、空間的及び色的な感度を表し、ツァン及びバンデルによると、画像の均一な領域にわたった従来のＣＩＥＬＡＢに等しい。
【００３３】
Ｓ−ＣＩＥＬＡＢ色知覚モデルの使用は、幾つかの較正パラメータを必要とする。Ｓ−ＣＩＥＬＡＢは、カラー画像のデジタル表示と、プリント又は表示された場合の画像の空間反射率との間のマッピングを必要とする。したがって、プリンタ又は表示装置の詳細なモデル及び測色用の光のスペクトル分布はそのモデルに特定される必要がある。本発明の例示される実施の形態では、Ｓ−ＣＩＥＬＡＢモデルは、画像がＲＧＢ蛍光体の従来のセットを用いてＣＲＴモニターに表示されることを仮定している。また、Ｓ−ＣＩＥＬＡＢモデルは白色点の特定も必要とする。本発明の例示される実施の形態では、Ｓ−ＣＩＥＬＡＢモデルは、処理されるデジタル画像に対して、白色点が元のカラー画像において最も高い輝度のピクセルの色組である、即ち、ＣＩＥＸＹＺ−三刺激座標において、全ての画像ピクセルのうちの最も大きなＹ要素が白色点として指定されることを仮定する。白紙にプリントされた画像に対して、白色点は通常紙の反射率として特定される。
【００３４】
Ｓ−ＣＩＥＬＡＢモデルを用いた経験により、実際、埋め込み正弦波信号成分を有する修正されたカラー画像の知覚差がΔＥ＜３である場合、明白でないことが分かった。しかし、例示される実施の形態における場合のように、適切な較正パラメータの知識が不完全である場合、ΔＥの値を保存的になるように小さく（例えば、＜１）維持することが重要である。先に述べたように、しきい値は、最終的な修正カラー画像の画像劣化をより許容するように変更されることができる。
【００３５】
先に述べたように、図７に示される本発明の例示される実施の形態では、知覚差画像４１６、ΔＥ（ｘ，ｙ）は元の画像４０４であるＩ（ｘ，ｙ）と現行の又は中間の修正画像４１４であるＩ'(ｘ，ｙ）との知覚差を表す。埋め込まれる信号は、元の画像と修正された画像との間の知覚差が大きい場合、即ち、ΔＥ（ｘ，ｙ）＞１である場合に常に減衰される。図９のフローチャートは、例示される実施の形態によって次の反復の信号成分画像Ｓⁱ⁺¹(ｘ，ｙ）を生成する動作４２０を例示する。各反復において、ΔＥ（ｘ，ｙ）＞ｔ（ここでｔはあるしきい値である）である画像位置が多数ある場合、ΔＥ（ｘ，ｙ）は、ボックス４２２において、以下のように減衰画像４１８とも称される減衰因子ａ（ｘ，ｙ）の画像に変換される。
ａ（ｘ，ｙ）＝（２／２＋ｍａｘ［０，ΔＥ（ｘ，ｙ）−ｔ］）² （１）
しきい値ｔは、ΔＥ（ｘ，ｙ）が信号画像の減衰を起こさないしきい値よりも小さなしきい値である。例示される実施の形態では、使用されるしきい値は１である。
【００３６】
減衰因子の画像ａ（ｘ，ｙ）は、ボックス４２６において、ローパスフィルターを用いてぼかされる。Ｓ−ＣＩＥＬＡＢは、各反対色帯における空間的ぼけによって局所的近隣の知覚差を測定するため、ａ（ｘ，ｙ）のぼけは重要である。減衰因子の画像ａ（ｘ，ｙ）は、Ｓ−ＣＩＥＬＡＢがＹＢ帯のために使用するのと同じローパスフィルターでぼかされる。また、このぼけは埋め込み信号の帯幅を比較的小さく維持する。これによって、その周波数内容を人間が感度を示す低周波数から離れるように維持する。また、より狭い帯幅によって、正弦波のパワーがより集中し検出しやすくなる。
【００３７】
ぼかされた減衰画像４１８は、ボックス４２８において、先行の反復で埋め込まれた信号と逓倍される。例示される実施の形態の動作４００（図７）は、ピクセルの９９．５％がΔＥ（ｘ，ｙ）≦ｔを有するまで繰り返され、３〜５回の反復を要することが分かった。最終的な埋め込み信号は以下によって得られる。
【００３８】
【数１】

ここで、ｎは反復の回数であり、Ｓ（ｘ，ｙ）は正弦波の合計であり、ａ（ｘ，ｙ）は反復ｉでぼかされた減衰画像である。埋め込み信号の振幅は各反復で減少し、これによってΔＥ（ｘ，ｙ）≦１がほぼどこにでもあるような収束が確実となる。ΔＥ値を減衰因子に変換する式（１）は、適切な収束率を得るように経験的に選択された。正弦波信号の減衰は、信号がスキャナのような画像獲得装置によって検出できない限界を下回ってはいけない。
【００３９】
埋め込むための正弦波の数及び正弦波の空間的方向及び空間的波長の選択は、修正された画像又は修正された画像のあるバージョンが使用されるアプリケーションのタイプに影響を受ける。本発明の例示される実施の形態では、四つの正弦波がカラー画像に埋め込まれ、画像にわたって正弦波格子を形成し、この格子は、獲得画像から復号された場合、獲得画像と修正画像との間の幾つかの幾何学的関係を決定するために使用される。元の画像は各ピクセルでＲ、Ｇ及びＢ値を有し、これらの値は０〜２５５の範囲で表示される（即ち、ピクセル当たりの色帯当たり８ビット）。反対色表示への変換後、ＹＢ（黄−青）チャンネルは、典型的には、−８〜８の値を有する。四つの正弦波がそれぞれ約０．５ピクセルの振幅で付加される。したがって、本実施の形態の埋め込み信号の典型的な振幅は２であった。
【００４０】
信号画像Ｓ（ｘ，ｙ）を形成するこれら四つの正弦波信号の概略表示は、図１０の空間画像４８０に例示される。画像４８０は、格子の画像を形成する、画像４８０にわたって直交する方向に延び、等しい間隔で斜めに配置された直線の対を示す。これらの直線は、異なる空間周波数を有し異なる空間方向で画像４８０に配置された正弦波のゼロ交点の位置をマークする。斜線の対の相対位置から、四つの正弦波が画像４８０のｘ方向の座標軸（図示せず）から±４５°の方向を有することが分かる。図１１は一対の正弦波の関係を示した、画像４８０の斜め断面部分４８２を示し、点線４８１は水平の正弦波軸を示す。例示される実施の形態では、正弦波の波長は３．８及び２．７ピクセルであり、それぞれ波長４８６及び４８８で示される。Ｓ−ＣＩＥＬＡＢは、周波数が７及び１０サイクル／度の１０インチの距離から見た場合、埋め込み信号が見えないように較正された。実際の経験において、プロセスは、埋め込み信号が１０インチよりも近くから見た場合でも知覚不可能なままである程度に十分に粗かった。
【００４１】
別のアプリケーションでは、修正された画像の獲得画像バージョンから正弦波画像を復号する所望の結果は、獲得画像における絶対空間座標の確立を促進する。これは、二つ以上の正弦波を特定の特徴を有する元の画像に付加することによって達成される。特に、付加された正弦波はそれぞれ制御された所定の位相を有し、第１正弦波の位相は第２正弦波の位相と異なる。二つの正弦波によって形成された結合した信号は、画像範囲の周期よりも長い周期を有し、例えば、正弦波が水平な空間方向にある場合、結合した周期は画像の水平方向の寸法（例えば、幅）よりも長い。信号の全体的な周期が画像範囲よりも大きいという事実に結びついた正弦波の相対的位相によって、二つ（又はそれ以上）の正弦波が同時に水平軸を交差して獲得画像に空間画像の原点を得る場所を示すことが可能となる。図１２は正弦波４９２及び４９４を示す正弦波画像４９０を示す。これらの正弦波はそれぞれ他方と異なる位相及び画像の幅より大きな周期を有し、これらは０である点４９６のみで共通軸を同時に交差する。
【００４２】
この説明において、「獲得画像」とは、動作２００（図１）又は動作４００（図７）のいずれかの出力として生成された修正画像の視覚的レンダリングから装置によってデジタル的に捕獲された画像を意味する。修正された画像は中に埋め込まれた周期的信号を有する元の画像のバージョンであるため、修正された画像は元の画像の代用として作用し、獲得画像に埋め込まれる信号を使用するアプリケーションは、元の画像に対して動作又は計算を行うために同じことを行う。修正された画像、及び修正された画像のバージョンである獲得画像は、事実上、元の画像の美的外観を許容不可能に変化させずに元の画像に関する情報を保持する。
【００４３】
典型的には、獲得画像は、修正された画像のプリントレンダリングの色（白黒又はカラー）を光学的に感知し、捕獲信号を画像のデジタル表示に変換する走査装置によって生成される。しかし、他のタイプのデジタル捕獲装置、例えばデジタルカメラも獲得画像のための信号源となり得る。
【００４４】
図１３は、図１又は７に例示された技術によって修正された画像が使用されるアプリケーションのクラスの一般的なフローチャート５００を提供する。この説明で獲得画像５０４と修正画像５０１との区別を明確にするために、画像獲得プロセスは動作５０２として図１３に概略的に表示され、画像獲得動作５０２を囲む点線は、これがフローチャート５００に例示されるアプリケーションのクラスとは明確に異なるプロセスであることを示す。
【００４５】
フローチャート５００に例示されるアプリケーションのクラスは、復号プロセス中に実際の元の画像を使用せずに、獲得画像に知覚不可能なように埋め込まれた信号を使用して獲得画像と元の画像との幾何学的差を決定する。修正された画像に埋め込まれた信号は周期的信号であり、埋め込まれた周期的信号成分の空間周波数に関する獲得画像から復号された情報及び埋め込み信号に関する所定の幾何学的情報は、獲得画像の埋め込み信号と元の埋め込み信号画像との幾何学的関係を決定するために使用される。信号間のこの幾何学的関係は、修正された画像又は元の画像のいずれかの入力を必要とせずに、獲得画像の幾何学的特性と元の画像の幾何学的特性とを計算し自動的にマッチさせるために使用される。このような幾何学的特性は、方向、スケール、線形変形を含む。さらに、獲得画像の埋め込み信号の位相は、画像位置を決定するための獲得画像において絶対的な局所的座標を確立するために使用される。
【００４６】
このアプリケーションのクラスを例示するフローチャート５００は、以下のように進む。獲得画像５０４及び埋め込み信号に関する幾何学的制約情報５０８は復号動作５２０への入力であり、この復号動作は、獲得画像５０４の埋め込み信号の空間周波数を決定する。復号動作の出力は、獲得画像５０４と修正された画像２９０との間の局所的ピークパワー集中の位置の線形マッピング５５８を含む。この線形マッピング情報は動作５６０への入力であり、この動作５６０は、獲得画像５０４と修正されたカラー画像２９０との幾つかの幾何学的関係を計算する。これらの幾何学的関係が分かると、獲得画像５０４は、ボックス５５６において、修正されたカラー画像２９０の幾何学的特性にマッチするように幾何学的に変換され、幾何学的に修正された獲得画像５７０を生成する。
【００４７】
図１４は、復号動作５２０の例示される実施の形態の一般的なフローチャートを提供する。復号動作５２０の目標は、図７及び１０に示される信号埋め込み技術の例示される実施の形態に関して上述したように獲得画像に埋め込まれた正弦波信号の空間周波数を配置且つ特定することである。四つの正弦波のセットを含む図１０の画像４８０は、正弦波の空間周波数の位置を示す局所的ピークパワー集中の明確なパターンを有し、このパターンは図１５に示される。図１５は、図１０の信号成分画像の強化ログ振幅空間周波数スペクトルの画像５８０を示す。画像５８０は点５８１に画像パワースペクトル原点を有し、点５８２、５８３、５８４、５８５、５８６、５８７、５８８及び５８９に表示される局所的ピークパワー集中（以下単にピークと称される）を示すためにしきい値処理されている。これらのピークは二つずつのセットが四つあり、位置５８１に原点を有する座標軸５７８に関して互いに幾何学的関係を有する。特に、ピークは（点線５７４に沿って測定した）位置５８１からの距離５７６及び５７７ならびに座標軸５７８より上及び下の角度５７５で起こる。正弦波が±４５°の方向を有し、３．８及び２．７ピクセルの波長を有することは図１０の説明で先に述べた。画像５８０はこの信号のこれらの特定の特徴に対応するピークを示す。より一般的には、ｎ個の正弦波のセットからなる画像は、パワースペクトル画像の原点として指定された点からの角度のついた方向差及び放射周波数比の幾何学的特徴を有する。埋め込み信号のこれらの幾何学的特徴は、本明細書中では「幾何学的制約」と称され、復号動作５２０において獲得画像から空間周波数を復号するのに必要な唯一のアプリオリ情報である。幾何学的制約データのソースは重要ではなく、別の信号源からの別の入力データとして利用されるか又は獲得画像になんらかの方法で含まれてもよい。
【００４８】
図１４を参照すると、獲得画像データ構造５０４は最初に複数の反対色表示に変換され、これは、図７及び８のボックス４０９及び４５４において例示される実施の形態４００の説明で先に述べたように、元の画像及び中間カラー画像が反対色表示に変換されたのと同じように達成される。ＦＦＴ動作５２４はＹＢ色分解に適用され、ＹＢ帯の振幅空間周波数スペクトルを計算し、このスペクトルはボックス５２５でそのスペクトルのぼかされたバージョンによって分割され、局所的ピークパワー集中を強化する。次に、ボックス５２６において、獲得画像のＹＢ帯における全てのパワーピーク集中が配置され、テストされる代表的な空間周波数として含まれる。
【００４９】
図１６は、埋め込まれた図１０の正弦波画像４８０を有する獲得画像５０４のＹＢ帯の強化ログ振幅空間周波数スペクトルの画像５９０を示す。画像５９０は点５９１に画像原点を有し、全ての局所的ピークを示すようにしきい値処理されている。再び図１４を参照すると、四つの局所的ピークのセットは図１５に示す幾何学的制約５０８、特に、距離５７６と５７７の距離の比及び角度５７５と比較される。制約５０８を破る四つの周波数のこれらのセットはボックス５２８で捨てられる。残りの代表的な周波数のうち、最適な線形マッピングは、ボックス５３０において、幾何学的制約５０８を使用して獲得画像の局所的ピークパワー集中の位置と正弦波画像の局所的パワー集中の位置との間で見られる。最適なマッピングを生成するために最小自乗技術が使用されてもよい。ボックス５３０はその出力として線形マッピング５５８を生成し、復号動作５２０が完了する。
【００５０】
図１３の説明で述べたように、埋め込み信号を有する画像のこのアプリケーションのクラスでは、線形マッピング情報は獲得画像と元の画像との幾何学的関係を計算する動作への入力である。図１６に示される獲得画像の振幅空間周波数スペクトルの例示される実施の形態に関して、ボックス５３０の処理（図１４）は、残りの代表的な周波数から四つの空間周波数のセットの最適なマッチが点５９２、５９３、５９４、５９５、５９６、５９７、５９８及び５９９で探されることを示す。図１７に示されるように、これらのピークが一旦特定されると、画像座標軸６１０からの方向の角度６１４ならびに点５９１から離れるピークの距離６１８及び６２０が計算される。図１５と１７のこれらのピークの位置及び方向の視覚的比較から、図１７に示される獲得画像のピークが図１５に示される正弦波画像のピークと異なる幾何学的特徴を有することが分かる。図１８はこれらの幾何学的相違を例示する。図１８では、正弦波画像の振幅空間周波数スペクトル画像５８０が獲得画像の振幅空間周波数スペクトル画像５９０の上に重畳され、指定された原点で位置合わせされる。画像５８０の局所的ピークはピークをつなぐ点線で示され、画像５９０の局所的ピークはこのピークをつなげる実線で示される。ピークは位置合わせされず、獲得画像の振幅空間周波数スペクトル５９０におけるピークパワー集中は角度６５０だけオフセットされ、距離６５２及び６５４だけ原点からピークの距離の差があることが分かる。角度６５０の差は獲得画像５０４の回転を示し、これは、画像獲得プロセス中の修正された画像の視覚的レンダリングの配置ミスによるものである。距離の差６５２及び６５４は獲得画像５０４のスケーリング（拡大）を示し、これは、例えば、修正されたカラー画像のレンダリング中に起こり得る。復号動作５２０の出力として生成される線形マッピング５５８は、これらの幾何学的差を計算するために使用される。これらの幾何学的特徴が計算されると、獲得画像５０４は自動的にスケールが縮小され、元の画像の幾何学的特徴にマッチするように回転される。図１３のフローチャートに例示されるアプリケーションのクラスは、獲得画像と埋め込み周期的信号を有する元の画像とのこのような線形幾何学的変換の全てを含む。
【００５１】
図１９は、汎用のプロセッサ制御マシーン１００のブロック図であり、本発明は、マシーン１００と共通の要素、特徴及び構造を有するあらゆるマシーンで使用され、特定のプロセッサ、マシーン、システム又は他の装置に固有に関連しない。このマシーン又はシステムは、本発明を実行する目的で特に構成され最適化されるか又はコンピュータに保存されるコンピュータプログラムによって選択的に起動されるか再構成される汎用コンピュータを含むか又は汎用コンピュータと補助目的のハードウェアとの組み合わせであり得る。マシーン１００のようなマシーンが本発明を具体化するように適切にプログラミングされる場合、マシーンは標準的又は公知の構造ではない。
【００５２】
マシーン１００は、カラー画像にデータを埋め込む図１の動作２００、獲得画像から埋め込み信号を復号する図１４の動作５２０、獲得画像と修正されたカラー画像との幾何学的関係を計算する図１３の動作５００のいずれか一つを実行するように構成されてもよいし、これらの動作全てを実行するように構成されてもよい。入力カラー画像、例えば、図２の元のカラー画像３００、図７のカラー画像４０４、又は図１３の獲得画像５０４は、信号源１５８から提供される。信号源１５８は、記憶装置、通信チャンネル、データバス、動作を実行する別のプロセッサ、又はカラー画像信号の任意の他の適切なソースであってよい。例えば、信号源１５８は画像捕獲装置、例えば、走査装置、デジタルカメラ、又は別のタイプの画像信号からデジタル画像定義データ構造を生成するインタフェース装置であってよい。信号源１５８によって提供される入力カラー画像は入力回路１５６を介してプロセッサ１４０に送出され、データメモリ１１４に保存される。マシーン１００は、必須ではないが、画像を表示することができる従来のディスプレイ装置（図示せず）、例えば、ブラウン管、液晶ディスプレイ（ＬＣＤ）装置、プリント装置、又は画像を表示するのに適した任意の他の装置を含む。
【００５３】
プロセッサ１４０は、プログラムメモリ１１０にアクセスして命令を検索し、そしてそれを実行するように動作する。マシーン１００が信号埋め込み動作２００を実行するように構成される場合、プログラムメモリ１１０は、図１のフローチャート２００に示される機能を実行する信号埋め込み命令２００を含む。プログラムメモリ１１０は、信号埋め込み命令２００による埋め込み信号を有する修正されたカラー画像を生成するために必要なサブルーチンの命令を含み、これらは知覚差測定命令２４０及び減衰画像生成命令２８０を含む。同様に、マシーン１００が埋め込まれた信号の復号動作５２０を実行するように構成される場合、プログラムメモリ１１０は図１４のフローチャートに示される機能を実行する復号命令５２０を含み、また、獲得画像から空間周波数を復号するのに必要なサブルーチンの命令も含む。マシーン１００が自動的画像スケーリング及び位置合わせ、又は獲得画像に別のタイプのアプリケーションを実行するように構成される場合、プログラムメモリ１１０は図１３のフローチャートに示される機能を実施するアプリケーション命令５００を含み、この命令は、元のカラー画像の幾何学的特徴にマッチするように、獲得画像の幾何学的特徴を変換するための図１３に示されたサブルーチンの命令を含む。
【００５４】
命令の実行中、プロセッサ１４０はデータメモリ１１４にアクセスして動作を実行するのに必要なデータを得るか又は保存する。例えば、マシーン１００が元のカラー画像に信号を埋め込む動作２００を実行するように構成される場合、データメモリ１１４は元のカラー画像を定義する画像データ構造４０４、修正されたカラー画像の元のバージョン及び中間バージョンの反対色表示４１２を定義する画像データ構造及び埋め込み信号を有する最終的な修正されたカラー画像４２４を定義する画像データ構造を保存する。データメモリ１１４は、元のカラー画像４０４に付加される信号成分データ４０８及び知覚差測定値ΔＥ（ｘ，ｙ）を定義するデータ４１６も保存する。データメモリ１１４は種々の他の雑データも保存する。同様に、マシーン１００が復号動作５２０を実行するように構成される場合、データメモリ１１４は、幾何学的制約５０８、代表的な空間周波数及び獲得画像空間周波数パワースペクトルと修正画像空間周波数パワースペクトルとの局所的ピークパワー集中の位置の線形マッピング５５８を保存する。
【００５５】
マシーン１００の物理的要素が接続される実際の方法はいろいろあり、要素の幾つか又は全てのハードワイヤード物理的接続部ならびにワイヤード又はワイヤレス通信設備、例えば、遠隔又は局所的通信ネットワーク及び赤外線及びラジオ接続を含んでもよい。プログラムメモリ１１０又はデータメモリ１１４は、例えば、局所的メモリとしてプロセッサ１４０に物理的に接続されるか又はワイヤード或いはワイヤレス通信設備（図示せず）によってプロセッサ１４０に遠隔アクセス可能なメモリを含む。
【００５６】
図１９は、ソフトウェア製品１６０、マシーン１００に示されるような要素を含むマシーンで使用され得る製品も含む。ソフトウェア製品１６０は、記憶媒体アクセス回路１５０によってアクセスされることができるデータ記憶媒体１７０を含む。データ記憶媒体１７０は、図１の動作２００、図１３の動作５００又は図１４の動作５２０のうちの一つ以上を実行するための命令を記憶し、図７、８及び９に例示される例示される実施の形態によってこれらの動作を実行する命令も含む。
【００５７】
ソフトウェア製品１６０は、データ記憶媒体１７０及び製品を説明する適切な文書を含む収縮包装パッケージの形態で消費者に市販されている。この場合、データ記憶媒体は命令データを記憶する物理的な媒体である。データ記憶媒体の例として、磁気媒体、例えば、フロッピーディスク、ディスケット、ＰＣカード（ＰＣＭＣＩＡメモリカードとしても公知）、光学媒体、例えば、ＣＤ−ＲＯＭ及び半導体媒体、例えば半導体ＲＯＭ及びＲＡＭが挙げられる。本明細書中で使用されるように、「記憶媒体」はデータの本体を一緒に記憶する媒体の一つ以上の単位を含む。例えば、単一のデータの本体を記憶するディスクのセットは記憶媒体である。「記憶媒体アクセス回路」は、データ記憶媒体のデータにアクセスすることができる回路である。記憶媒体アクセス回路１５０は物理的装置に含まれ、データ記憶媒体１７０は記憶されるデータにアクセスするための記憶媒体アクセス回路のためにこの装置に挿入される。記憶媒体アクセス装置の例として、ディスクドライブ及びＣＤ−ＲＯＭ読み取り装置が挙げられる。これらはマシーン１００から物理的に遠隔配置される装置であるか又は他の要素を含むマシーン１００のハウジングの一部として含まれる。
【００５８】
例えば、記憶媒体アクセス回路が、データ保存媒体１７０がサーバのような遠隔配置記憶装置の一部として保存される場合にデータ記憶媒体１７０の命令データをアクセスするために通信アクセスソフトウェア及び回路を含む場合、記憶媒体アクセス回路１５０は、マシーン１００の機能性の一部として含まれてもよい。ソフトウェア製品１６０は、遠隔配置された記憶装置から通信機構にわたってユーザに伝送される本発明の方法を実行するための命令データを示すデータストリームの形式でユーザに市販されるか又は利用可能である。後者の場合、製品１６０は遠隔配置される記憶装置に記憶される信号として物理的形態で具体化され、ユーザは、本発明を実行する命令を含むデータ記憶媒体１７０の内容のコピーを購入するか又はこれにアクセスするが、典型的には、実際の遠隔配置される記憶装置の権利を購入又は獲得していない。ソフトウェア製品１６０が遠隔配置される装置から通信機構を介してユーザに伝送されるデータストリームの形態で提供される場合、データ記憶媒体１７０に記憶される命令データは記憶媒体アクセス回路１５０を使用してアクセス可能である。或いは、遠隔配置される記憶装置から通信機構を介してユーザに伝送されるデータストリームは、マシーン１００のある適切な局所的記憶装置に記憶され、これはプログラムメモリ１１０、又はマシーン１００（図示せず）に局所的にアクセス可能なデータ記憶であり、記憶媒体アクセス回路１５０を使用してもアクセス可能である。
【００５９】
図１９は、動作２００（図１）、５００（図１３）及び５２０（図１４）を実行する命令データを記憶するように構成されたデータ記憶媒体１７０を示す。この命令データはプロセッサ１４０に送出され、カラー画像に知覚不可能な信号データを埋め込む技術が使用される場合に実行される。記憶されたデータはバイナリデータ信号埋め込み命令１６２及び１６４を含み、これらの命令がプロセッサ１４０に送出されプロセッサ１４０がこれらを実行すると、マシーンは、図１のフローチャートに示されるように、元のカラー画像に知覚不可能な信号データを付加する動作を実行するように動作される。例えば、図１９に示されるように、記憶されたデータは知覚差測定命令１６４を含み、これらの命令がプロセッサ１４０に送出されこのプロセッサ１４０がこれら実行する場合、マシーンは、図１のボックス２４０又は図８のフローチャートに示されるように人間の知覚モデルを使用して、元のカラー画像と修正されたカラー画像の現行バージョンとの知覚差を測定する動作を実行するように動作される。示される記憶されたデータは減衰画像生成命令１６２も含み、これらの命令がプロセッサ１４０に送出されてこのプロセッサ１４０がこれらを実行する場合、マシーンは、図１のボックス２８０又は図９のフローチャートに示されるように信号埋め込み動作の次の反復で減衰信号成分を生成する動作を実行するように動作される。
【００６０】
図１９に示されるように、データ記憶媒体１７０に記憶されるデータは、さらに、修正されたカラー画像に埋め込まれる信号成分を復号する復号命令を示す命令データ１６６を含み、これらの命令がプロセッサ１４０に送出されてこのプロセッサ１４０がこれらを実行する場合、マシーンは図１４のフローチャートに示されるような復号動作５２０を実行するように動作される。さらに、データ記憶媒体１７０に記憶されるデータは、獲得画像の幾何学的属性、例えば、スキュー及びスケールを対応する元のカラー画像のそれにマッチするように自動的に変換する幾何学的変換命令を示す命令データ１６８を含み、これらの命令がプロセッサ１４０に送出されプロセッサ１４０がこれらを実行する場合、マシーンは、図１３の動作５００に表示されるアプリケーションのクラスの一つとして獲得画像の自動空間歪み補正、デスキュー及びスケーリングを実行するように動作される。
【図面の簡単な説明】
【図１】本発明によって信号成分をカラー画像に付加するための本発明の一般的な動作を例示するフローチャートである。
【図２】本発明への入力に適した代表的な元のカラー画像を概略的に例示する。
【図３】本発明によって図２の元のカラー画像に付加される信号成分として適切な代表的な信号成分画像を概略的に例示する。
【図４】図３の付加された信号成分画像を有する図２の元のカラー画像の修正バージョンを概略的に例示する。
【図５】図２の元の画像と図４の修正されたカラー画像との知覚差を示す知覚差画像を概略的に例示する。
【図６】幾つかの画像領域において減衰信号成分で修正された図３の信号成分画像を概略的に例示する。
【図７】本発明の例示される実施の形態の一般的な動作を概略的に例示するブロック図である。
【図８】図７の例示される実施の形態のＳ−ＣＩＥＬＡＢカラー画像比較動作の一般的な動作を例示するフローチャートである。
【図９】図７の例示される実施の形態によって減衰画像を生成する技術を例示するフローチャートである。
【図１０】本発明の例示される実施の形態によってカラー画像に埋め込むのに適した正弦波信号のセットの画像を概略的に例示する。
【図１１】図１０の画像の正弦波のペアを示す図１０の画像の断面を概略的に例示する。
【図１２】本発明によってカラー画像に埋め込むのに適した正弦波信号のセットの第２画像を概略的に例示する。
【図１３】本発明の技術によって埋め込まれた信号を有する画像を使用するアプリケーションのクラスの動作を例示するフローチャートである。
【図１４】例示される実施の形態によって獲得画像に埋め込み信号を配置する復号動作のフローチャートである。
【図１５】埋め込まれた図１０の信号を有する修正されたカラー画像の黄色−青色帯の振幅空間周波数スペクトル画像であり、画像に見られるピークパワー集中の幾つかの幾何学的関係を示す。
【図１６】埋め込まれた図１０の信号を有する獲得画像の黄色−青色帯の振幅空間周波数スペクトル画像である。
【図１７】図１６の振幅空間周波数スペクトル画像にみられるピークパワー集中の幾何学的関係を示す。
【図１８】図１６及び１７の振幅空間周波数スペクトル画像にみられるピークパワー集中のうえに重畳された図１５の振幅空間周波数スペクトル画像にみられるピークパワー集中を示す。
【図１９】本発明が使用される適切に構成されたマシーンを例示し、さらに本発明のソフトウェア製品及びマシーンに関連するその使用を例示する単純化したブロック図である。
【符号の説明】
１００マシーン
１４０プロセッサ

Claims

中に埋め込まれた知覚的に許容可能な信号差を有する元のカラー画像データ構造のバージョンを生成するためにマシーンを動作させる方法であって、前記マシーンは、プロセッサ及びデータを記憶するためのメモリ装置を含み、メモリ装置に記憶されるデータは、プロセッサがマシーンを動作させるために実行する命令データを含み、前記プロセッサはメモリ装置に接続され、記憶された命令データにアクセスしてこれを実行し、前記方法は、
各々が元のカラーを示す複数の元の画像位置を含む元のカラー画像を定義する元のカラー画像データ構造を得るためにプロセッサを動作させ、
信号を得るためにプロセッサを動作させ、
信号を元のカラー画像データ構造に付加し、中間カラー画像データ構造を生成するためにプロセッサを動作させ、前記中間カラー画像データ構造は元のカラー画像データ構造の少なくとも一部分のバージョンであり、各々が中間カラーを示す複数の中間画像位置を含み、前記信号は複数の中間画像位置の少なくとも一つに付加され、元のカラー画像データ構造の元の画像位置及び中間カラー画像データの中間画像位置は、各画像において同じ画像位置を示し、集合的に各々ペアの画像位置とされ、各々ペアの画像位置のそれぞれは画像カラーを示し、
比較動作を実行し、各々ペアの画像位置のそれぞれにおける量的な知覚差測定値を生成するためにプロセッサを動作させ、前記比較動作は、人間の知覚のモデルを使用し、元のカラー画像及び中間カラー画像の人間の観察者によって知覚される知覚差を量的に表示し、
信号を減衰させ、各々ペアの画像位置同士の間の知覚差測定値が、元のカラー画像と中間カラー画像との許容可能な知覚差を示すしきい値を越える場合、非ゼロの修正された信号を生成するためにプロセッサを動作させ、
各々ペアの画像位置同士の間の知覚差測定値がしきい値を越えなくなるまで、修正された信号を使用して付加、比較及び減衰動作を反復する反復動作を実行し、前記反復動作は、元のカラー画像と修正されたカラー画像との知覚的に許容可能な信号差を示す修正されたカラー画像データを生成するためにプロセッサを動作させる、
マシーン動作方法。
人間が知覚不可能な情報を元のカラー画像データ構造に付加して修正されたカラー画像を生成するためにマシーンを動作させる方法であって、前記マシーンは、プロセッサ及びデータを記憶するためのメモリ装置を含み、メモリ装置に記憶されるデータは、マシーンを動作させるためにプロセッサが実行する命令データを含み、前記プロセッサはメモリ装置に接続され、記憶された命令データにアクセスしてこれを実行し、前記方法は、
各々が元のカラーを示す複数の元の画像位置を含む元のカラー画像を定義する元のカラー画像データ構造を得るためにプロセッサを動作させ、
情報を示す周期的信号を得るためにプロセッサを動作させ、
元の画像位置の複数の元の画像のカラーを修正することによって、情報を示す周期的信号を元のカラー画像に付加して中間カラー画像データ構造を生成するためにプロセッサを動作させ、前記中間カラー画像データ構造は元のカラー画像データ構造の少なくとも一部分のバージョンであり、各々が中間カラーを示す複数の中間画像位置を含み、元のカラー画像データ構造の元の画像位置及び中間カラーデータ構造の中間画像位置は、各画像において同じ画像位置を示し、集合的に各々ペアの画像位置とされ、各々ペアの画像位置のそれぞれは画像のカラーを示し、
比較動作を実行し、各々ペアの画像位置のそれぞれにおける量的な知覚差測定値を生成するためにプロセッサを動作させ、前記比較動作は、人間の知覚のモデルを使用して、元のカラー画像及び中間カラー画像の人間の観察者によって知覚される知覚差を量的に表示し、
周期的信号を減衰させ、各々ペアの画像位置同士の間の知覚差測定値が、元のカラー画像と中間カラー画像との許容可能な知覚差を示すしきい値を越えた場合に、非ゼロの修正された周期的信号を生成するためにプロセッサを動作させ、
各々ペアの画像位置同士の間の知覚差測定値がしきい値を越えなくなるまで、修正された信号を使用して付加、比較及び減衰動作を反復する反復動作を実行し、前記反復動作は、人間が知覚不可能な情報を含み、元のカラー画像と修正されたカラー画像との知覚的に許容可能な信号差を示す修正されたカラー画像データを生成するためにプロセッサを動作させる、
マシーン動作方法。
元の画像の幾何学的特徴にマッチするように、元の画像の獲得画像バージョンの幾何学的特徴を自動的に変換するためにマシーンを動作させる方法であって、前記マシーンは、信号を受け取るように接続される信号源、プロセッサ及びデータを記憶するためのメモリ装置を含み、メモリ装置に記憶されるデータはマシーンを動作させるためにプロセッサが実行する命令データを含み、前記プロセッサはメモリ装置に接続され、記憶された命令データにアクセスしてこれを実行し、前記方法は、
信号源から獲得画像を定義する獲得画像データ構造を得るためにプロセッサを動作させ、前記獲得画像は元の画像のバージョンであり、元の画像に含まれない埋め込み信号としての周期的信号を有し、前記周期的信号は互いに関する所定の幾何学的関係を有し、
獲得画像に埋め込まれた周期的信号に関して予測される幾何学的関係を示す幾何学的制約データを得るためにプロセッサを動作させ、
獲得画像に埋め込まれた周期的信号の所定の幾何学的関係を決定するためにプロセッサを動作させ複号動作を行い、
獲得画像に埋め込まれた周期的信号の所定の幾何学的関係及び周期的信号の予測される幾何学的関係を示す幾何学的制約データを使用して、獲得画像と元の画像との幾何学的差を計算するためにプロセッサを動作させ、
獲得画像と元の画像との間で計算された幾何学的差を使用して、元の画像の幾何学的特徴にマッチするように、元の画像の獲得画像バージョンの幾何学的特徴を変換するためにプロセッサを動作させる、
マシーン動作方法。
画像に埋め込まれた周期的信号を復号するためにプロセッサ制御されたマシーンを動作させる方法であって、マシーンはプロセッサ及びデータを記憶するためのメモリ装置を含み、メモリ装置に記憶されるデータは、マシーンを動作させるためにプロセッサが実行する命令データを含み、前記プロセッサは、メモリ装置に接続され、記憶された命令データにアクセスしてこれを実行し、前記方法は、
画像を定義する画像データ構造を得るためにプロセッサを動作させ、画像は埋め込まれたｎ個の周期的信号のセットを含み、ｎ個の周期的信号のセットは互いに関する幾何学的関係を有し、
画像に埋め込まれたｎ個の周期的信号のセットに関して予測される幾何学的関係を示す幾何学的制約データを得るためにプロセッサを動作させ、
画像の二次元空間周波数パワースペクトルにおいて複数の局所的ピークパワー集中を特定するためにプロセッサを動作させ、
画像に埋め込まれたｎ個の周期的信号のセットに関して予測される幾何学的関係を示す幾何学的制約を満たさない局所的ピークパワー集中のサブセットを捨てるためにプロセッサを動作させ、局所的ピークパワー集中の残りのサブセットは、ｎ個の周期的信号のセットの空間周波数及び方向を示す代表的な局所的ピークパワー集中となるように決定され、
画像のｎ個の代表的な局所的ピークパワー集中のセットと幾何学的制約データによって示されるｎ個の周期的信号のセットとの最適な線形マッピングを計算するためにプロセッサを動作させ、最適な線形マッピングは画像に埋め込まれたｎ個の周期的信号のセットの空間周波数及び方向を特定する、
マシーン動作方法。