JP4981455B2 - オンチップでの電子透かしの入ったイメージ信号及び電子透かしを通じた写真によるトラベルログ - Google Patents

Description

関連出願のデータ

[0001]本出願は、２００４年２月４日に出願された米国特許仮出願第６０／５４２，０９５号、及び２００４年８月９日に出願された米国特許仮出願第６０／６００，６１８号の利点について特許請求するものである。本特許出願はまた、２００１年１１月２日に出願された米国特許出願第１０／０５３，４８８号（ＵＳ２００２−０１２０８４９Ａ１として発行された）にも関連している。出願第１０／０５３，４８８号は、２００１年１０月５日に出願された米国特許仮出願第６０／３２７，６８７号に対する優先権を主張するものである。特許出願第１０／０５３，４８８号はまた、２０００年２月１４日に出願された米国特許出願第０９／５０３，８８１号（現在では、米国特許第６，６１４，９１４号）にも関連している。

[0002]本発明は、電子透かし及びステガノグラフィに関する。第１の実施形態においては、本発明は、ＣＭＯＳあるいはその他のイメージセンサから生成される電子透かし−オンチップ−信号に関する。本発明はまた、通信及びイメージの管理にも関する。第２の実施形態においては、本発明は、イメージの管理及び視覚的なトラベルログの作成を容易にするために位置情報（例えばＧＰＳデータ）を使用してイメージに透かしを入れることに関する。

背景及び概要

[0003]電子透かしは、物理的なメディアあるいは電子的なメディアを修正して機械可読コードをそのメディア内に埋め込むためのプロセスである。埋め込まれたコードがユーザにとって感知不能か、あるいはほぼ感知不能でありながらも、自動化された検出プロセスを通じて検出できるようにメディアを修正することができる。最も一般的には、電子透かしは、イメージ信号、オーディオ信号、及びビデオ信号などのメディア信号に適用される。しかし電子透かしは、ドキュメント（例えば行、単語、あるいは文字の移動を通じて）、ソフトウェア、多次元のグラフィックスモデル、及びオブジェクトの表面のテクスチャなど、その他のタイプのメディアオブジェクトに適用することもできる。

[0004]電子透かしシステムは通常、ホストメディア信号内に透かしを埋め込むエンコーダ（あるいは「エンベッダ」）と、透かしを含んでいるのではないかと疑われる信号（疑わしい信号）から、埋め込まれている透かしを検出して読み取るデコーダという２つの主要なコンポーネントを有する。エンコーダは、ホストメディア信号を微妙に変更することによって、透かしを埋め込む。変更されたホストメディアの物理的な表示は、最も一般的には、わずかに変更されたピクセル値、イメージの輝度、色あるいは色の値、画像の色、変更されたＤＣＴ係数など、変更された信号値の形態をとる。検出器コンポーネントは、疑わしい信号を分析して、透かしが存在しているかどうかを検出する。透かしによって情報がコード化されているアプリケーションにおいては、リーダが、検出された透かしからこの情報を抽出する。

[0005]いくつかの具体的な透かし作成技術が開発されている。読者は、この分野の文献に精通しているものと思われる。感知不能な透かしをメディア信号内に埋め込んで検出するための技術の例が、譲受人の米国特許第５，８６２，２６０号、第６，１２２，４０３号、及び第６，６１４，９１４号に詳述されている。

[0006]本方法及び装置のうちのいくつかは、ＣＭＯＳあるいはその他のイメージセンサによって生成された信号内への電子透かし（あるいはその他のステガノグラフィックな証印）の埋め込みに影響を与えるために提供される。透かしの埋め込みは、「オンチップ」で統合されることが好ましい。オンチップという用語は、イメージングアレイに関連付けられているか、あるいはイメージングアレイと通信状態にあるシリコン又はその他の半導体構造上に提供される回路、エレクトロニクス、あるいはロジックを通じて透かしの埋め込みの少なくとも一部が容易にされるということを示すために使用される。いくつかの実施形態においては、埋め込み回路が、イメージセンサアレイと同一の位置に配置される。その他の実施形態においては、ＣＭＯＳセンサアレイが、離れたチップの位置にある埋め込み回路と通信する。

[0007]ＣＭＯＳイメージャが、当技術分野においてよく知られており、例えば米国特許第６，６４５，７８８号、第６，６５４，０５７号、第６，６３９，２６１号、第５，７０８，２６３号、及び第５，４７１，５１５号を参照されたい。例えば、Ｎｉｘｏｎらの「２５６Ｘ２５６ ＣＭＯＳ Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ Ｃａｍｅｒａ−ｏｎ−ａ−Ｃｈｉｐ」、ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ，Ｖｏｌ．３１（１２）、２０４６〜２０５０ページ、１９９６年や、Ｍｅｎｄｉｓらの「ＣＭＯＳ Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｉｍａｇｅ Ｓｅｎｓｏｒｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ、Ｖｏｌ．４１（３）、４５２〜４５３ページ、１９９４年などの文献にも、例示的な研究が多く記載されている。

[0008]上述の特許のうちの少なくともいくつかにおいて論じられているように、ＣＭＯＳイメージャ回路は、ピクセルセルの焦点面アレイを含むことができ、それらのセルのうちのそれぞれのセルは、光検出器、例えばフォトゲート、光伝導体、あるいはフォトダイオードを含み、これは基板の上に配置され、光によって生成された電荷をその基板の基礎をなす部分の中に蓄積するためのものである。読み出し回路が、ピクセルセルに接続されており、この読み出し回路は、基板内に形成された出力電界効果トランジスタと、出力トランジスタのゲートに接続されている感知ノード、通常はフローティングディフュージョンノードを有するフォトゲート、光伝導体、あるいはフォトダイオードに隣接する基板上に形成された電荷移動セクションとを含むことができる。イメージャは、基板の基礎をなす部分からフローティングディフュージョンノードへ電荷を移動させるための（トランジスタなどの）電子デバイスと、電荷を移動させる前にノードを所定の電荷レベルへリセットするためのデバイスとを含むことができる。典型的なＣＭＯＳイメージャにおいては、ピクセルセルの能動素子は、例えば（１）電荷の変換に対する光子（例えば光）、（２）イメージの電荷を蓄積すること、（３）電荷の増幅を伴って電荷をフローティングディフュージョンノードへ移動させること、（４）フローティングディフュージョンノードを既知の状態へリセットすること、（５）読み出しのためにピクセルあるいはイメージエリアを選択すること、及び（６）ピクセルの電荷を表す信号を出力して増幅することなどの機能を実行することが好ましい。

[0009]通信チャネル（あるいは行及び列を含む「グリッド」）は、タイミング信号、コントロール信号、及び読み出し信号を適用するピクセルアレイのすべてではなくとも、そのほとんどと、列出力信号相互接続のアレイとをオーバーレイする。列のラインは、ピクセルアレイの外側の列によって配置されているエレクトロニクスに接続される。このタイプのアーキテクチャによって、アレイの全体、アレイの一部（例えば行、あるいはピクセルウィンドウ）、又はアレイ内の単一のピクセルからの信号を、単純なＸ−Ｙのアドレス指定あるいは行／列クロッキングによって読み出すことができる。

[0010]（もちろん、本発明の透かし作成技術は、ＣＣＤセンサを含むその他のオンチップイメージャ及びその他のＣＭＯＳ構成にも適用される。したがって、上述のイメージャの説明は、本発明の技術が活躍する多くの考え得るオンチップ環境のうちのごく一部を示しているにすぎない。当業者なら理解できるであろうが、本発明の透かし作成方法及び装置と適切に置き換えることができるその他の多くのオンチップ環境が存在する。）

[0011]本発明の第１の態様は、イメージセンサ（例えば、ＣＭＯＳあるいはその他のイメージセンサ）によって作成されたイメージに電子透かしコンポーネントを取り入れる方法である。このイメージセンサは、複数のピクセルを含む。この方法は、それらの複数のピクセルのセットの物理的な特性に対するわずかなバリエーションを提供するステップを含む。これらのバリエーションは、イメージの取り込み中に電子透かしコンポーネントを取り入れるために提供される。この方法は、イメージセンサを使用してイメージを作成するステップをさらに含む。そのイメージは、電子透かしコンポーネントを含む。

[0012]本発明の別の態様は、イメージャによって取り込まれたイメージデータ内に電子透かしを埋め込む方法である。透かしの埋め込みは、イメージャを使用してオンチップで行われ、このイメージャは、複数のピクセルを含む。それらの複数のピクセルのそれぞれは、フィルタにかけられて単一の色を表す。この方法は、それぞれのピクセルに関する多色の値を概算する前に選択ピクセルに関する単一の色の値を調整するステップを含む。この調整するステップによって、電子透かしは、イメージデータ内へと取り入れられる。この方法は、それぞれのピクセルに関する多色の値を概算するステップをさらに含む。

[0013]例えばオンチップでイメージセンサと共に、あるいはイメージセンサの外部に配置されている透かしエンベッダへＧＰＳあるいは位置データを提供することができる。透かしエンベッダは、ＧＰＳ座標あるいはその他の位置データを、おそらくはタイムスタンプと共に、イメージセンサによって取り込まれたデータ内に埋め込むことができる。イメージセンサによって取り込まれたイメージをさらに識別するために、位置データを操作者すなわち写真撮影者の識別子（例えば、複数ビットの識別子）と結合するか、あるいは関連付けることができる。

[0014]したがって本発明のさらに別の態様は、ｉ）内部に埋め込まれている電子透かしを含むイメージを受け取るステップであって、その電子透かしが位置情報を含むステップと、ｉｉ）その電子透かしをデコードして位置情報を入手するステップと、ｉｉｉ）その位置情報に対応する１つの位置を示す地図を識別するステップと、ｉｖ）コンピュータネットワークを介してアクセス用として地図を提供するステップとを含む方法である。

[0015]本発明のさらに別の態様は、地図上の位置を視覚的にあるいはグラフィカルに識別する方法である。この地図は、コンピュータディスプレイを介して表示される。この方法は、第１のイメージを表すデータを受け取るステップと、そのデータを分析して、その中にステガノグラフィックにコード化されている情報を入手するステップとを含む。この情報は、第１のイメージに関連付けられている第１の位置情報を含むか、あるいは第１の位置情報へリンクしている。この方法は、第１の位置情報に関連付けられているエリアを含む地図を提供するステップであって、その地図がコンピュータディスプレイを介して表示されるステップと、第１の位置情報に関連付けられている地図上の第１の位置を識別するステップとをさらに含む。いくつかの実施形態においては、第１の位置の識別は、視覚的なあるいはグラフィカルなオブジェクトを、地図上において、第１の位置情報に関連付けられている地図の位置に、あるいはその付近に提供するステップを含む。場合によっては、このオブジェクトは、第１のイメージの表示（例えば「サムネイル」）を含む。

[0016]本発明の別の態様は、地理的な位置を表す方法である。この方法は、第１の携帯電話から取り込まれたイメージを受け取るステップを含む。このイメージは、内部にステガノグラフィックに埋め込まれている位置情報を含む。この方法は、ステガノグラフィックな埋め込みをデコードして位置情報を入手するステップと、その位置情報、あるいはその位置情報によって識別された情報を使用することによって、その位置情報に関連付けられている位置を表す地図を識別するステップと、その地図を表示するステップとをさらに含む。いくつかの実施形態においては、この方法は、位置を識別するために視覚的なあるいはグラフィカルなオブジェクトを地図上に表示するステップを含む。このオブジェクトは、イメージの表示を含むことができる。

[0017]本発明のさらなる特徴、利点、及び態様は、以降の詳細な説明及び添付の図面を参照すれば、よりいっそう明らかになる。

詳細な説明

はじめに
[0026]この詳細な説明は、ｉ）例えばＣＭＯＳセンサ内における補助的な情報のオンチップでの埋め込みと、ｉｉ）イメージ及び関連するアプリケーション内における位置情報の透かしの作成という２つの主要なセクションへと編成されている。セクション（及びサブセクション）への分割は、本発明の範囲を限定することを意図したものではない。１つのセクションの下で論じられている方法及び装置は、別のセクションの下で論じられている方法及び装置へ容易に適用して、そうした方法及び装置と組み合わせることができると思われる。

補助的な情報のオンチップでの埋め込み
ＣＭＯＳイメージャアレイ
[0027]図１は、ＣＭＯＳイメージャアレイ１０の全体的なブロック図である。アレイ１０は、光検出器の行及び列を含む。それぞれの光検出器は、１つのイメージピクセルに対応することが好ましい。それぞれの光検出器は、アクティブな回路、例えば（いわゆる「アクティブピクセルセンサ」を可能にする）信号増幅器を含むことができる。アレイ１０は、２５個の光検出器を含むものとして示されているが、実際のイメージャアレイは、数百万個の光検出器を含むことができるということが理解できるであろう。アレイ１０は、イメージあるいはピクセルの情報をピクセルの位置から読み出すことができるようにする通信ネットワークあるいは信号グリッドを含む。このネットワークは、ピクセルウィンドウ、データのブロック、あるいは行がアレイから出力されることを可能にすることさえできる。ウィンドウの選択（すなわち直接のランダムアクセス機能）によって、ＣＭＯＳセンサは、センサアレイの全体ではなくピクセルの選択グループを読み出すことをインテリジェントに選択することができる。もちろんアレイ１０は、例えばタイミングコントロール、行及び列ドライバ、デコーダ、アナログデジタルコンバータ、カラーコンバータ、メモリなど、様々なその他の回路と連携することができる。

[0028]光検出器は通常、適切なグレーを介在させつつ、完全なブラックからホワイトまでの光の強度を記録する。色を提供するために、光検出器のアレイの上にカラーフィルタの層が提供される。カラーイメージャのために、それぞれの光検出器は、カラーフィルタ（例えばＲ（ｒｅｄ）、Ｇ（ｇｒｅｅｎ）、又はＢ（ｂｌｕｅ））、あるいはＣＦＡ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）の一部と連携する。光子はフィルタを通過して光検出器に達するため、特定のカラーレンズに対応する波長のみが光検出器に達する。フィルタは、所定のパターン、例えばＢａｙｅｒパターンで配置することができる。
Ｇ Ｒ Ｇ Ｒ Ｇ
Ｂ Ｇ Ｂ Ｇ Ｂ
Ｇ Ｒ Ｇ Ｒ Ｇ
Ｂ Ｇ Ｂ Ｇ Ｂ

[0029]生の色データが、アレイから（例えば行ごとに、あるいはウィンドウの選択を介して）読み出される。生の色データは、例えば増幅、調整、変換などの処理を施される。カラーコンバータは、色データをピクセルごとのＲＧＢ値へと変換する。個々のピクセルに関する色の値は、様々な形態の見積もり（例えば補間、２次見積もり、三次スプライン、線形、隣接比較など）を通じて割り出される。例えば、ピクセルごとに２４ビットの値が割り出される（レッド用として８ビット、グリーン用として８ビット、及びブルー用として８ビット）。この色の変換は、通常はオンチップで実行される（ＣＭＯＳの設計によっては、ピクセルそのものと同一の位置に配置されている色の変換を必要とするものもあり、その一方でイメージデータをカラーコンバータやその他のオンチップのイメージ処理回路へ伝達するものもある）。ＲＧＢイメージデータは、チップあるいはイメージャから出力として提供される。もちろん、ＲＧＢ値の代わりにＣＭＹの変換を行うこともできる。

[0030]（モノクロイメージャ、あるいはより厳密には「パンクロミックイメージャ」に関しては、それぞれのピクセル値は、１つのグレースケール値に対応する。このピクセルごとのグレースケール値は、おそらくは信号処理の後に、チップから出力される。）

[0031]もちろんＣＭＯＳセンサは、イメージデータを圧縮するための圧縮モジュール（例えばＪＰＥＧ、あるいはＭＰＥＧ）を含むこともできる。

イメージデータの透かしの作成
[0032]譲受人であるＤｉｇｉｍａｒｃ Ｃｏｒｐｏｒａｔｉｏｎは、例えば米国特許第５，８６２，２６０号、第６，６７４，８７６号、及び第６，５４９，６３８号において論じられているような、専用のハードウェアを通じた透かし機能の表示について以前に検討したことがあり、また、例えば米国特許第６，６５０，７６１号において論じられているような、オンチップでＣＭＯＳイメージャと同一の位置に配置されている透かし作成回路について検討したことがある。

[0033]本明細書においては、いくつかの改良及び代わりの構成について詳述する。

[0034]図２Ａを参照すると、イメージデータの透かしを作成するためにオンチップで同一の位置に配置されている電子透かしエンベッダが提供されている。一実施形態においては、透かしエンベッダは、シグナルジェネレータ２２及びシグナルコンバイナ２４を含む。シグナルジェネレータ２２は、配向コンポーネント及びメッセージを入力として受け取る。配向コンポーネントは、幾何学的な歪み（例えばシーリング、回転、変形など）に対して透かしをさらに強固にする上で役に立ち、あるいは特定のメッセージビットを識別する上で役に立つことができる。

[0035]１つのタイプの透かし配向信号は、例えば衝撃関数のセットをＦｏｕｒｉｅｒマグニチュードドメインのような変形ドメイン内に含み、それぞれが疑似ランダムフェーズを有するイメージ信号である。（例えば、透かしの入ったイメージの印刷及びスキャニング後に）透かしの入ったイメージの回転及び拡大縮小を検出するために、透かしデコーダは、透かしの入ったイメージをＦｏｕｒｉｅｒマグニチュードドメインへ変換し、次いで、例えばそのＦｏｕｒｉｅｒマグニチュードイメージのログポーラーリサンプリングを実行する。一般化された照合フィルタは、既知の配向信号と、リサンプリングされた透かしの入った信号とを相関付けて、最も高い相関性を提供する回転パラメータ及び拡大縮小パラメータを見つけ出す。透かしデコーダは、既知の配向信号のフェーズ情報と、透かしの入った信号とのさらなる相関付けオペレーションを実行して、変形パラメータを割り出し、これによって、透かしメッセージ信号の発信源が識別される。透かし信号の回転、拡大縮小、及び変形を割り出すと、次いでリーダは、イメージデータを調整してこの歪みを補正し、もしあるならば、透かしメッセージ信号を抽出する。代わりの配向コンポーネントは、メッセージの検出を補助する所定の開始文字列あるいはメッセージのプロパティを含む。さらに他の配向コンポーネントも、当業者には知られており、本発明の関連する態様と適切に置き換えることができる。

[0036]シグナルジェネレータ２２は、透かし信号をコンバイナ２４に提供する。コンバイナ２４は、透かし信号をイメージデータと結合する。イメージデータは、ｉ）色の変換後のＲＧＢ（あるいはＣＭＹ）データ、ｉｉ）（例えば、Ｂａｙｅｒパターンの再構成前の）色の変換前の生のデータ、あるいはｉｉｉ）色の変換後の圧縮されたイメージデータに対応することができる。コンバイナ２４は、埋め込まれたあるいは透かしの入ったイメージ信号を出力する。シグナルジェネレータ２２は、生のデータビットを、あるいはイメージデータのブロックやラインなどのさらに複雑な信号でさえ、コンバイナ２４に提供することができる。メッセージは、エラーを修正して広めるすなわち拡散させることができ、いくつかの実施形態においては、メッセージコンポーネントと配向コンポーネントは、１つの結合された信号として提供される。

[0037]色の変換前のデータを埋め込む場合には、透かしエンベッダは、透かし信号の効率的な埋め込みに役立つように、予想される色の変換プロセス（例えば補間）の知識を活用することができる。例えば第１のピクセルに関する２４ビットの色の値は、隣接したピクセルあるいは近隣のピクセルから色の寄与を有することができる。透かしエンベッダは、第１のピクセルの２４ビットの色の値に最終的に影響を与えることになる複数のピクセルからデータを微調整（あるいは調整）することができる。そして同様に、透かしデコーダも、正しい検出を確実にするために色の変換プロセスの知識を活用することができる。あるいは、色の変換が補間を利用すると予想される場合には、エンベッダは、補間後の色データ内に透かしを移すために特定のピクセルを他のピクセルとの比較から重み付けするか、あるいは調整するために、この知識を活用することができる。

[0038]色の変換前のデータを埋め込むことによって、イメージデータを行ごとに、あるいはブロックごとに埋め込むことが効率よく容易になる。埋め込みは、図３に示されているように並行して行うこともでき、その場合には、複数の埋め込みユニットが提供される。複数の埋め込みユニットは、より多くのチップスペースを占める可能性があるが、埋め込み時間を大幅に短縮する。色付け処理の前に、イメージデータは、別々のエンベッダによって埋め込まれる。第１の埋め込みユニットは、任意選択で、イメージデータの統計データを後のエンベッダあるいは次のエンベッダへ伝達することができる（図３に点線の矢印で示されている）。後のエンベッダあるいは次のエンベッダは、この統計データ（例えば色の特性、ノイズの分析、センサの特性、分散など）を入力として使用して、自分の埋め込みプロセスを調整する。このような調整によって、例えば透かし信号の強度を強めたり弱めたりすること、別々の埋め込みプロトコルの間で変更や切り替えを行うこと、あるいは選択的な埋め込みのために特定のイメージ領域を分離することさえ可能である。我々は、特定のイメージャによって、イメージウィンドウ（例えば、ピクセルのブロック）がイメージアレイから読み出されることをいかにして可能にすることができるかという点を超えて考察する。１つの改善策は、イメージアレイから選択されるブロック内における透かしのみのピクセルである。ウィンドウが選択されると、そのウィンドウ内のピクセルは、１つ又は複数の透かしエンベッダへ伝達される。透かしは、アレイの位置を含むことができ、このアレイの位置は、ピクセルウィンドウがアレイ内のどこから抽出されたかを識別する上で役に立つ。

[0039]透かしの埋め込み及び読み取りにおける別の有用なツールが、知覚分析である。知覚分析とは一般に、信号の特性を、それらの特性が人間（例えば、メディアコンテンツのリスナーあるいは視聴者）にとってどの程度知覚可能か（あるいは知覚可能と思われるか）に基づいて評価するための技術を指す。図示されている透かしエンベッダ（例えば、図２Ａ及び図２Ｂにおけるブロック２２及び２４）は、透かしを正確に復元できる可能性が高まり、改ざんに対する抵抗力が増し、透かしの知覚可能性が小さくなるように、透かしをどこに配置すべきか、及び透かしの強度をどのようにしてコントロールすべきかを判断するためのＨＶＳ（Ｈｕｍａｎ Ｖｉｓｕａｌ Ｓｙｓｔｅｍ）モデル２６を任意選択で含むか、あるいはそうしたＨＶＳモデル２６と連携することができる。このような知覚分析は、透かしの知覚可能性に対する影響に関連して増幅率をどのようにして調整できるかを示す上で役に立つため、増幅率のコントロールにおいて不可欠の役割を果たすことができる。知覚分析はまた、透かしをホスト信号内に配置する上で不可欠の役割を果たすこともできる。例えばホスト信号のうちでも、透かしを人間の知覚から隠せる可能性がより高い部分に透かしを隠すようにエンベッダを設計することができる。

[0040]透かしを配置する場所を識別するために、及び透かしを抽出する場所を識別するために、信号上で様々な形態の統計的な分析を実行することができる。例えば統計的な分析は、透かし信号の復元が困難になる可能性が高いノイズのような特性を有するホストイメージの部分を識別することができる。同様に、統計的な分析は、ホスト信号の特性を明らかにして透かしを配置する位置を割り出すために使用することもできる。

[0041]これらの技術のそれぞれは、単独で、様々な組合せで、及びその他の信号処理技術と組み合わせて使用することができる。

[0042]透かしは、イメージのカラーコンポーネントのうちの１つ又は複数の中に埋め込むことができる。例えば、色を再構成する前のイメージデータを埋め込む場合には、透かしは、レッドのチャネル内にのみ選択的に埋め込むことができる。あるいは重み付けスキームが、レッド、及びブルー、ならびに／又はグリーンのチャネルの間でのみ透かしを配分することもできる。いくつかの実施形態においては、エンベッダは、入力されたイメージをターゲットの色空間へと変形し、そしてその色空間において埋め込みプロセスを進めることができる。

メッセージ
[0043]透かしの埋め込みはオンチップで行われるため、メッセージの作成を効率よく容易にする複数の異なる方法が存在する。

[0044]第１の実施形態においては、メッセージは静的である。すなわちメッセージは、すべてのイメージにとって同一である。この静的なメッセージは、特定のシリコン製造マスク、製造業者、対象とする顧客、あるいは特定のチップバッチの実行にさえ一意に関連付けられる。このメッセージは、例えばオンチップのレジスタあるいはＲＯＭ内に保存され、イメージセンサによって作成されたそれぞれのイメージ内に埋め込まれる。

[0045]別の実施形態においては、１つのメッセージは、静的なコンポーネント及び動的なコンポーネントを有する。動的なコンポーネントは、複数の異なる方法によって提供することができる。例えば、ＣＭＯＳチップがＥＰＲＯＭのようなヒューズを含む場合には、一意の識別子を作成するために特定のヒューズが飛ばされる。より可能性が高いのは、ＣＭＯＳチップがＲＡＭを含むか、あるいはＲＡＭと通信することである。動的な識別子は、埋め込み用としてＲＡＭ（あるいは別のインターフェース）から提供される。

[0046]さらに別の実施形態においては、透かしのペイロードの全体は動的である。すなわちメッセージは、それぞれのイメージごとに、またイメージのセットごとに一意であり、あるいは特定のユーザ又はアプリケーションに関してカスタマイズされている。例えば透かしメッセージは、イメージャが組み込まれている特定の携帯電話あるいはセンサを識別する一意の複数のビットを含むことができる。これらの一意の複数のビットは、イメージデータ内に埋め込むためにエンベッダへ伝達される。他の実施形態においては、これらの一意の複数のビットは、ユーザのバイオメトリクスに対応する。このバイオメトリクスは、イメージ内に埋め込まれる。例えば携帯電話は、指紋リーダを含むか、あるいは指紋リーダと通信する。指紋リーダは、ユーザの指紋を取り込む。指紋は、例えば２００３年８月７日に出願された譲受人の米国特許出願第１０／８９３，１４１号において論じられているように、ハッシュマークを付けられるか、あるいはその他の形で表される。このハッシュマークあるいは表示は、イメージをユーザすなわち写真撮影者に結び付ける透かしコンポーネントとして使用される。ユーザは、デバイスを操作する前に、バイオメトリクスの代わりに自分の暗証番号あるいはパスワードを入力するよう求められる可能性がある。ユーザは、そのようなものから識別され、ユーザＩＤが、それぞれのイメージ内に埋め込まれる。

固定された配向コンポーネント
[0047]取り込んだ後のイメージデータを微調整して後のエンベッダステージでステガノグラフィックな配向コンポーネントを埋め込むのではなく、イメージデータの取り込み中にそのような配向コンポーネントを取り入れることによって、埋め込み時間及びゲートの複雑さを少なくすることができる。これを実現するために、チップの製造中にイメージアレイ内に配置される光検出器のセットに対するわずかな物理的なバリエーションを取り入れる。これらのバリエーションは、適切なイメージの特性（例えば、色の変化）あるいは値のオフセットを提供する−微妙な固定されたパターンノイズに類似している。これらのバリエーションは、ピクセルごとに同一である必要はなく、１つの固定された配向コンポーネントを実現するために異なるものとすることができる。これらのバリエーションは、１つの配向コンポーネントに対応する所定のパターンでピクセルアレイに取り入れられる。したがって、これらのオフセット値は、共同して１つの配向コンポーネントをイメージデータ内に取り入れる。もちろん配向コンポーネントは、センサアレイの全体にわたって、例えば６４×６４あるいは１２８×１２８のピクセルブロック内で繰り返すことができる。これらのバリエーションは、製造プロセス中にイメージデータのオフセットを取り入れるために選択フォトダイオードあるいはフォトゲートの電位、ドーピング、あるいは特性を変更することなど、複数の方法で提供することができる。これらのイメージオフセットは、結果として生じるイメージデータを見る人間にとってかすかなものであり、感知不能であることが好ましく、その一方で依然として、ステガノグラフィックなコンポーネントを、取り込まれたイメージ内に含めて共同して伝達する。バリエーションは、固定された透かしコンポーネントを、イメージセンサによって取り込まれたすべてのイメージ内に取り入れる。図２Ｂを参照すると、固定された透かしコンポーネントを含むイメージデータが、透かしエンベッダに提供される。エンベッダは、可変コンポーネント（例えばメッセージ）を受け取り、その可変コンポーネントをイメージデータ内に埋め込む。例えば、固定されたコンポーネントが透かし配向コンポーネントを含む場合には、可変コンポーネントは、その固定されたコンポーネントに登録されることが好ましく、次いでイメージ内に埋め込まれる。エンベッダは、固定されたコンポーネントがセンサアレイ内においてどのように（及びどこで）位置合わせされるかを知っているため、固定されたコンポーネントへの可変コンポーネントの登録が簡略化される。

[0048]光検出器の物理的な特性を変更する代わりに、カラーフィルタあるいはマイクロレンズのセットを変更することによって、配向コンポーネントを同様に取り入れることができる。１つのパターンが、１つの配向コンポーネントに対応するように設計される。次いで、変更されたフィルタあるいはマイクロレンズが、配向コンポーネントを伝達するためにそのパターンで配置される（例えば、変更されたレンズあるいはフィルタは、微妙な色の値のオフセットを提供することができる。全体としてオフセット値のセットは、配向コンポーネントを、取り込まれたイメージデータそのものの中に含めて伝達するのに十分である。したがってＣＭＯＳセンサは、イメージの取り込みのプロセスそのものの間にマシン可読特性を埋め込むように製造される）。

[0049]またさらに、それぞれのフォトセンサ（ピクセル）が１つの増幅器と連携するいわゆるアクティブピクセルセンサにおいては、別々の信号増幅値を提供することによって、配向コンポーネントが取り込まれる。すなわち、微妙な信号のバリエーションをイメージデータに取り入れるために、増幅器のセットが配置される。したがって、固定された透かしコンポーネント（例えば配向コンポーネント、あるいは固定されたペイロード又はメッセージコンポーネント）は、イメージセンサのピクセルレベルにおいて信号の増幅を通じて伝達される。

[0050]イメージの取り込み中に固定された透かし配向コンポーネントを取り入れることによって、ゲートあるいは回路の複雑さが少なくなることに加えて、製造品質のコントロールが可能となる。例えばイメージセンサは、白い光によって照らされる。イメージセンサから結果として生じるイメージデータが読み出され、透かし検出器が、そのイメージデータを検索して、配向コンポーネントを検出する。配向コンポーネントは、センサの完全性を確保するために評価される（例えば配向コンポーネントが検出不可能である場合、あるいは検出の精度が低下している場合には、センサの欠陥が存在する可能性がある）。

[0051]配向コンポーネントの代わりに（あるいは配向コンポーネントに加えて）、イメージの取り込み中に固定されたペイロードあるいはメッセージコンポーネントを取り入れることができる。固定されたペイロードは、チップバッチあるいはロット番号、製造プロセス、チップタイプ、対象とする受取人、作成日あるいは作成場所などを表すことができる。

チップの特性に基づく埋め込みの調整
[0052]透かしエンベッダ（あるいはＨＶＳモジュール）は、チップの特性を利用するように構成することができる。例えば埋め込みは、シリコンの特性あるいは色付け処理に基づいて調整される。エンベッダ（あるいはＨＶＳ）が、固定されたパターンノイズが存在すると判断した場合には、埋め込みは、そのノイズを使用して、埋め込みの位置を導くか、あるいは隠すことができる。エンベッダ（あるいはＨＶＳ）は、統計データ及びイメージの質を追跡監視し、知覚不能性を補うかあるいは高めるように調整を行うことができる。

[0053]さらに、エンベッダ／ＨＶＳ（あるいは複数のエンベッダ）が、行ごとに、あるいはウィンドウごとに埋め込みあるいは評価を行っている場合には、エンベッダは、イメージデータに関するイメージ統計データを収集して、来たるべき行の埋め込みを行うためにこのデータを使用するか、あるいはその統計データを他の埋め込みモジュールへ渡すことができる。複数のエンベッダによって、速度のコントロールを強化することもできる。一例として、システムがピクセルのそれぞれの行ごとに１つのエンベッダを採用する場合（それらのピクセルが、クロックアウトするにつれて埋め込まれる場合）には、任意の所与のフレーム（あるいは行）に関して固定された速度が達成されること、及び視認性だけでなく、結果として生じる圧縮後のビットストリームのサイズに関しても最適化されることを確実にするために、速度コントロールアルゴリズムを義務付けることができる。これによって、個々のエンベッダは、圧縮後のサイズに悪影響を及ぼさないようにフレーム／ウィンドウ／行ごとのエントロピの量を管理することができる。

さらなるアプリケーション
イメージの認証
[0054]センサイメージャは、イメージデータの特性を明らかにするためのさらなる回路を任意選択で含むことができる。例えば、この特性を明らかにする回路は、イメージ又はそのイメージのサブセットの電子署名あるいはハッシュマーク（又は指紋）を作成することができる。この署名あるいはハッシュマークは、電子透かしのコンポーネントとして埋め込まれる（透かしの埋め込みに対して敏感ではないアルゴリズムを使用することが好ましい。すなわち、署名あるいはハッシュマークを作成するアルゴリズムは、そこに埋め込まれている電子透かしの有無にかかわらず、同じハッシュマークあるいは署名を作成することになる）。この署名あるいはハッシュマークは、イメージが改ざんされているかどうかを確認する上で役に立つ。いくつかの実施形態においては、低周波数のＪＰＥＧ値を識別し、それらの値を日付、時間、及び場所と共にイメージデータ内に埋め込む。これらのＪＰＥＧ値、日付、時間、及び場所は、イメージを識別する上で役に立つ。ハッシュマークの作成は、詳細な（例えば、行ごとの）イメージの認証を提供することもできる。例えば、ピクセルの第１の行あるいはブロックのハッシュマークを（例えば、色の値あるいは色を変換する前のピクセル値に基づいて）作成することができる。このハッシュマークは、ピクセルの次の行あるいはブロック内に埋め込まれる。ピクセルのそれぞれの行あるいはブロックにハッシュマークを作成することができ、そのハッシュマークが、透かしコンポーネントとして次の行あるいはブロック内に埋め込まれるという形でこのプロセスが継続されることが好ましい。１つのピクセルあるいは行が変更されると、そのピクセルあるいは行は、もはやそのピクセルあるいは行のハッシュマークには対応しなくなる。この方法は、圧縮後のデータにも適用することができる。圧縮後のイメージデータの１つのブロックを表すために、１つのハッシュマークが作成される。このハッシュマークは、圧縮後のデータの次のブロック内に保存される。

[0055]別の実施形態においては、エンベッダは、ウェブカメラのイメージャへと統合される。ウェブカメラのイメージあるいはビデオのストリームは、埋め込まれた電子透かしを、上述のように動的な形又は静的な形のいずれかで搬送する。動的なメッセージコンポーネントは、スタンドアロンのウェブカメラよりもホストコンピュータから提供される。この実施形態は、消費者向けの秘密のメッセージング、又はコンピュータサーバ上でビデオを管理するためのタイムスタンプやその他の形でタグ付けされたビデオ、あるいはビデオソースの認証を補助することさえサポートする。透かしを検出する側からは、ウェブカメラは、透かしの読み取りを補助するための最適化を含むことができる。例えばウェブカメラは、そのイメージセンサと同一の位置に配置されている透かし前処理回路を含む。この回路は、透かしをデコードすることなく透かしの存在を識別し、特定のイメージを綿密に見るよう透かし検出器に知らせることができる。この回路は、透かしの検出を加速するためのハードウェアの加速や、私的なシステムを作成するためにキー及び暗号化を取り扱うためのプロトコルを含むこともできる。

[0056]透かしが配向コンポーネントを含む場合には、イメージデータをオンチップで再び位置合わせして、配向コンポーネントの予想される配向と比較して歪みを補正することができる。この機能は、（一部のビデオカメラにおけるいわゆる「ステディカム」機能のように）ビデオの安定のために使用することができる。すなわち、受け取られたイメージデータは、（例えば回転、拡大縮小、及び変形の点から）透かしの予想される配向によりよく位置合わせするように調整される。イメージセンサは、電子透かしデコーダを含む。このデコーダは、透かしをデコードして、（予想される配向あるいは基本の配向に関連する）配向情報を復元する。この配向情報は、コントローラ（例えばロジックゲート）に提供され、このコントローラは、イメージセンサをコントロールして、データを再び位置合わせする。コントロールは、アレイ内におけるイメージデータをシフトすること（バッファを使用して、データの移動を補助することができる）、検出器の増幅率を変更すること、イメージデータを補間することなどを含むことができる。したがって、イメージデータをオンチップで回転あるいは拡大縮小して、手ぶれのある写真撮影者向けの補正を行うことができる。

[0057]電子透かしコンポーネントの少なくとも一部が暗号化される暗号化の実施形態においては、暗号化のためのキーと、電子透かしにアクセスするためのキーは、オンチップの透かしエンベッダの内部又は外部のいずれかで管理することができる。外部における管理としては、ハードウェアあるいはファームウェアのインターフェースを通じて暗号化キーを提供することができ、この暗号化キーは、オンチップの透かしエンベッダへ伝達される。内部における管理としては、暗号化キーと、静的なペイロード部分でさえ、オンボードのＲＯＭ内に常駐し、ＣＭＯＳセンサ／エンベッダの生産あるいは製造中にプログラムされることが好ましい。

[0058]特許請求の範囲に記載されている組合せに加えて、いくつかのさらなる組合せとして、下記のものが含まれる。

[0059]Ａ１．イメージセンサによって取り込まれたイメージ内にステガノグラフィックなコンポーネントを埋め込む方法で、前記イメージセンサが、複数の行のイメージ検出器を備え、第１のステガノグラフィックエンコーダが、少なくとも１つの第１の行のイメージ検出器に関連付けられており、第２のステガノグラフィックエンコーダが、少なくとも１つの第２の行のイメージ検出器に関連付けられており、前記第１のステガノグラフィックエンコーダ及び前記第２のステガノグラフィックエンコーダが、前記イメージセンサと同一の位置に配置されている、前記方法であって、
前記第１のステガノグラフィックエンコーダを使用して、前記第１の行のイメージ検出器によって取り込まれたイメージ内にステガノグラフィックなデータを埋め込むステップと、
前記第２のステガノグラフィックエンコーダを使用して、前記第２の行のイメージ検出器によって取り込まれたイメージ内にステガノグラフィックなデータを埋め込むステップと
を含む方法。

[0060]Ａ２．ｉ）前記第１の行のイメージ検出器によって取り込まれたイメージデータ、ii）前記第１の行のイメージ検出器のオペレーションあるいは特性、及びiii）前記第１のステガノグラフィックエンコーダのうちの少なくとも１つに関連付けられている情報を収集するステップをさらに含むＡ１の組合せ。

[0061]Ｂ１．コントローラと、
イメージセンサアレイと、
前記イメージセンサアレイと同一の位置に配置されている少なくとも１つの透かし検出器であって、前記イメージセンサアレイによって取り込まれたイメージから、配向コンポーネントを含む電子透かしをデコードするように機能し、予想される透かしの配向に関連する配向情報を前記コントローラに提供する前記透かし検出器と
を備えるイメージセンサであって、
前記コントローラが、少なくとも前記イメージセンサアレイによって取り込まれたイメージを前記配向情報に従って調整するように機能するイメージセンサ。

[0062]Ｂ２．Ｂ１のイメージセンサを含むビデオカメラ。

[0063]Ｂ３．前記コントローラが、前記イメージセンサによって取り込まれたビデオを安定させるＢ１あるいはＢ２の組合せ。

[0064]Ｃ１．イメージセンサによって取り込まれたイメージコンテンツにマークを付ける方法であって、
ピクセルの第１のグループの第１の低ビット表示を作成するステップと、
ピクセルの第２のグループの第２の低ビット表示を作成するステップと、
前記第１の低ビット表示をピクセルの前記第２のグループ内に埋め込むステップと、
前記第２の低ビット表示をピクセルの第３のグループ内に埋め込むステップと
を含む方法。

[0065]Ｃ２．前記イメージコンテンツ内のピクセルのそれぞれのグループを表す低ビット表示を作成するステップと、前記低ビット表示を別々のグループ内に埋め込むステップとをさらに含むＣ１の組合せ。

位置データの埋め込み
[0066]譲受人の米国公開特許出願２００２−０１２２５６４Ａ１、２００２−０１２４０２４Ａ１、２００２−０１２４１７１Ａ１、及び２００４−０００８８６６Ａ１、米国特許第６，６６４，９７６号、ならびに公開ＰＣＴ出願国際公開第０２／０７１６８５号パンフレットには、位置情報（例えばＧＰＳデータ）をイメージ及びビデオデータ内に埋め込むことに関する詳細が含まれている。本明細書においては、さらなる改良について開示する。

[0067]オンチップでＣＭＯＳセンサと共に配置されている透かしエンベッダへＧＰＳあるいは位置データを提供することができる（もちろん、以降で論じるアプリケーションは、デバイスのタイプには依存しない。ＣＭＯＳセンサの代わりに、ＣＣＤあるいはその他のイメージセンサを使用することができる。限定としてではなく、一貫性のために、通常はイメージセンサを「ＣＭＯＳ」センサと呼ぶことにする）。透かしエンベッダは、ＧＰＳ座標あるいはその他の位置データを、おそらくはタイムスタンプと共に、ＣＭＯＳアレイによって取り込まれたデータ内に埋め込む。ＣＭＯＳアレイによって取り込まれたイメージをさらに識別するために、位置データを操作者すなわち写真撮影者の識別子（例えば、複数ビットの識別子）と結合するか、あるいは関連付けることができる。カメラは、とられたイメージのリストあるいはログを作成することもでき、これは、示される地理的位置及び／又は電子透かしの識別子によって相互に関連付けられる。このログは、例えば暗号化及び従来の電子署名を使用して保護することができる。この安全なログは、信頼できる関係者に伝達され、そしてその関係者は、埋め込まれている位置／タイムスタンプあるいは透かしの識別子と、この安全なログとの照合を介して、特定のイメージがこのログに対応するかどうかを検証することができる。

[0068]ＧＰＳを埋め込まれたイメージは、データリポジトリや、道案内のカリスマ的存在であるＭａｐＱｕｅｓｔによって提供されるサービスのようなサービスへのフロントエンド（あるいはインデックス）として使用することができる。例えばＣＭＯＳカメラ付きの携帯電話は、特定の地理的位置において１つのイメージを取り込む。ＧＰＳあるいはその他の位置データの作成器が、位置情報を作成する。この位置情報は、オンチップの透かしエンベッダに提供され、その透かしエンベッダは、この位置情報を、ＣＭＯＳカメラによって取り込まれた対応するイメージ内に埋め込む。埋め込み後のイメージは、ＭａｐＱｕｅｓｔに（あるいはイメージ管理サービス又はソフトウェアアプリケーションに）提供される。ＭａｐＱｕｅｓｔサーバは、イメージ内の透かしをデコードして位置データを復元するための透かし検出器を含む。ＭａｐＱｕｅｓｔは、位置データ、例えば示されているイメージの位置及びイメージを取り込んだ時刻／日付に基づいて、イメージ及び関連する情報（例えば地図）を追跡監視し、管理する。

[0069]そしてＭａｐＱｕｅｓｔ（あるいは別のサービス又はアプリケーション）は、複数の有用なサービスを提供することができる。一実施形態においては、埋め込まれた位置データを使用して、地図上の対応する位置を識別する。アイダホ州のベア湖を示すイメージについて考えていただきたい。このイメージは、ベア湖に関連付けられている地理的座標と共に内部に埋め込まれた電子透かしを含む。透かしの位置情報は、いったんデコードされると、同じあるいは類似した地理的なエリアを示す地図を識別するために使用される。この地図は、コンピュータ（例えばインターネット、又はイントラネット）あるいはセルラネットワークを通じてユーザに提供される。ユーザが、グラフィカルユーザインターフェース（例えば携帯電話、あるいはＰＣベースのウェブブラウザ）を介して自分の現在の位置を提供すると、ＭａｐＱｕｅｓｔは、ユーザの位置から透かしの位置、すなわちベア湖までの道案内を作成することができる。

[0070]別の実施形態は、関連するイメージをそれらの地理的位置に基づいて関連付ける。例えばユーザは、イメージ管理サービス、アーカイブ、あるいはアプリケーションに対してクエリを行って、ユーザの提供した（あるいは選択した）イメージと地理的に類似した位置にあるいくつかのイメージが含まれているかどうかを判断する。このサービス（又はアプリケーション、あるいはアーカイブ）は、ユーザの提供したあるいは選択したイメージから電子透かしをデコードして、位置データを入手する（あるいは、ユーザのコンピュータが透かしをデコードして、デコードされた位置データのみを転送する）。この位置データを使用して、関連するイメージを検索するためにイメージアーカイブにインデックスを付ける。

[0071]さらなる改良によって、ユーザは、イメージを地理的位置あるいはイメージの状況に基づいて選択することができる。例えば、ユーザがベア湖の特定の写真を気に入っている場合、おそらくそのユーザは、同じ場所の別の写真、例えば別のアングルからの写真、又は別の時間帯の写真、あるいは別の季節に取り込まれた写真でさえ気に入るであろう。これらの望ましい特性は、地理的位置と共にサービスインターフェースを通じて提供することができる。もちろんこのサービスは、サービスインターフェースを介してユーザによって提供された埋め込み後のイメージを介して地理的位置を確立することができる。あるいはユーザが、ここ５０年間にわたる海岸の浸食に興味がある場合、そのユーザは、次いで５０年前の同じ海岸線の同じイメージ取り込みアングルでの写真を要求するかもしれない。電子透かしは、このようなシステムのためのバックボーンを提供する。好ましい実施形態においては、埋め込まれている電子透かしは、情報、例えば場所、カメラアングル、日付／時間、季節、示されている題材（例えば、湖、滝、孫たちなど）を含むが、もちろんこの透かしは、そのような情報のサブセットを含むことができ、及び／又はその情報へリンクするために使用される識別子を含むことができる。イメージは、複数の透かしを含むこともできる。例えば第１の透かしは、イメージの取り込み中に（オンチップで）埋め込まれ、場所及び取り込み時刻の情報を含み、その一方で第２の透かしは、イメージの取り込み後に（オフチップで）埋め込まれ、より精緻な地理的座標及び／又は題材もしくはキーワードを含むことができる。

[0072]図４を参照して、別の例について論じる。ワシントンモニュメントの２つのイメージが、それぞれ異なる視角から取り込まれている。これらのイメージは、同じ地理的位置（あるいは除外される許容範囲内で類似した地理的位置）を示している。電子透かしが、それぞれのイメージ内に埋め込まれている。この電子透かしは、それぞれの示されているイメージごとに地理的位置及び視角（例えば、南や北など）を含む。埋め込まれている情報は、地理的位置（すなわち、ワシントンモニュメント）と、どの視角が示されているか（例えば、南西の視角から南側を示している）を識別するために使用される。

関連するイメージの検索
[0073]次いで、ファイル共有ネットワークの（例えば、Ｎａｐｓｔｅｒのような）環境において利用可能なこれら及びその他の写真について考察する。中央サーバは、複数のユーザコンピュータと通信する。ユーザコンピュータのそれぞれは、その上に保存されたイメージを含む。それらのイメージは、少なくとも関連する位置情報と共に内部に埋め込まれた電子透かしを含む。この透かしの情報が（好ましくはユーザコンピュータによって、別法としては中央サーバによって）デコードされて、位置情報が得られる。この位置情報は、インデックスあるいは識別子として使用され、中央サーバによって保存される。中央サーバは、イメージがどこに位置するかという位置情報及び対応するインターネットアドレスのリストを保持する。ユーザは、中央サーバと対話し、所望の地理的座標を使用してリストに対してクエリを行う（あるいはユーザは、テキストの言葉（例えば、ベア湖やワシントンモニュメント）を使用してクエリを行うこともでき、そのテキストの言葉に対して、サーバが、対応する地理的座標を識別する）。中央サーバは、ユーザのアクセスのために、関連するイメージのリストを提供する。

[0074]可能性について考察する。

[0075]ユーザは、視角１からのワシントンモニュメントの写真（図４を参照）を既に所有しているが、視角２からの相補的な写真を欲している。このユーザは、透かしの位置情報及び第２の視角の詳細を使用してファイル共有ネットワーク（あるいは集中データベース）に対してクエリを行う。候補の写真が、選択用としてユーザへ戻される。ここで、ケンタッキーダービー（２００４年）において勝ち馬が駆け抜ける際のゴールラインの写真を撮影したアマチュアの写真撮影者について考えてみる。この写真撮影者は、帰宅すると、自分のきわどい勝負の写真がぼやけているか、あるいは遮られていることに気づく。しかし本発明の技術を使用しているならば、心配は無用であり、この写真撮影者は、インターネットへ接続し、よりよい写真あるいは関連する写真を見つけ出すために同じ時刻／日付における同じＧＰＳ位置を検索する。写真撮影者は、代わりのイメージ取り込みアングルを指定して、別の視点からのイメージを見つけ出すこともできる。埋め込まれている位置及び時間の情報が、このような機能のための基礎を提供する（写真撮影者のカメラが、自分のぼやけているイメージあるいは遮られているイメージの中に地理的位置情報を埋め込んだため、写真撮影者あるいは写真撮影者の透かしデコーダは、位置及び時間を明らかにする透かしを抽出し、その抽出された透かし（あるいはその中に含まれている情報）をインデックスあるいは検索語として使用して、確実に同じ地理的位置及び時間が検索されるようにする）。

[0076]太平洋を見渡す断崖絶壁の低解像度のイメージのスナップ写真を撮影する行楽客によって、別の実施形態について説明する。この低い解像度には、内部にステガノグラフィックに埋め込まれた地理的位置情報（例えば経度、緯度、日付、時間、及び／又は視角など）が含まれるため、この行楽客は、その低い解像度のイメージに対応するさらに高い解像度のイメージを、おそらくはオンラインで見つけ出すことができる（この特許文書では、この点における詳細は簡単である。透かしデコーダが、低い解像度のイメージ内にステガノグラフィックに埋め込まれている電子透かしを見つけ出して、デコードする。この電子透かしは、位置情報を含むか、あるいは位置情報にリンクしている。この位置情報は、データベースあるいはイメージ検索エンジンに提供され、このデータベースあるいはイメージ検索エンジンは、その低い解像度のイメージの地理的座標に対応するその他のイメージを見つけ出す。行楽客は、それらのイメージを吟味し、１つ又は複数のより高い解像度のイメージを選択する。これらのイメージは、例えば行楽客の写真アルバム、例えば紙、ＤＶＤ、あるいは電子アルバムに追加することができる）。

トラベルログ及び写真の管理
[0077]電子透かしは、旅行の視覚的な表示であるトラベルログの作成を補助するために、及び／又はグラフィカルな写真の管理に役立てるために使用される。例えば、ある旅行者が、アメリカ合衆国の西部での休暇中に写真を撮影している。この旅行者は、ＧＰＳを装備したカメラ（あるいは位置情報を受信又は通信するカメラ）を使用して写真を撮影している。ＧＰＳを装備したカメラの代わりに、カメラは、一部の携帯電話で一般的な三角アプローチを使用することができる。例えば、カメラ（例えばカメラを含む携帯電話）は、セルタワーからの位置情報を受信し、この位置情報は通常、複数のセルタワーにおいて携帯電話の信号が受信されたことに基づいて得られる。位置情報は、その情報源を問わず、カメラによって撮影されたイメージ内にステガノグラフィックに埋め込まれる（図５）。本発明によるステガノグラフィックな埋め込みの好ましい形態は、電子透かしである。位置情報は、イメージ内に重複して埋め込むことさえできる。

[0078]旅行者は、ステガノグラフィックに埋め込まれた写真をコンピュータリソース、ディレクトリ、あるいはファイルへ（例えば無線で）転送あるいは通信する（図６）。例えば、このコンピュータリソース、ディレクトリ、あるいはファイルを「旅行」と呼ぶことにする。コントローラ１００（例えばソフトウェアアプリケーション、ソフトウェアプラグイン、ソフトウェアの制御下にあるプロセッサ、あるいはソフトウェア又はハードウェアモジュール）は、ステガノグラフィックデコーダ１２０（例えば、電子透かしデコーダ）を含むか、あるいはステガノグラフィックデコーダ１２０と連携する。デコーダ１２０は、旅行ディレクトリ内のイメージを分析して、埋め込まれている位置情報（例えば経度及び緯度、ならびに／あるいはイメージ又はそれらのイメージ内に示されているオブジェクトに関連付けられているその他の地理的座標及び／又はメタデータ）をデコードする。

[0079]コントローラ１００は、地図ソフトウェアアプリケーション１４０（例えば、Ｍｉｃｒｏｓｏｆｔによって提供されているＭａｐＰｏｉｎｔやＰｏｃｋｅｔ Ｓｔｒｅｅｔｓ、ｏｎｌｉｎｅ ＧｅｏＳｎａｐｐｅｒ．ｃｏｍ、あるいはＫｅｙｈｏｌｅ，Ｉｎｃ．によるＫｅｙｈｏｌｅ製品など）と連携する。いくつかの実施形態においては、コントローラ１００は、（例えばプラグインとして）地図ソフトウェアアプリケーション１４０そのものに統合されるか、あるいは関連付けられる。その他の実施形態においては、コントローラ１００は、別個ではあるが連携するモジュールである。別個のモジュールの場合には、地図ソフトウェアアプリケーション１４０へのアクセスは、通常はソフトウェアアプリケーションプログラムインターフェース（ＡＰＩ）を通じて行われる。このような連携は、インターネットやホームネットワークのようなネットワークを介して行うことさえできる。例えばＭａｐＰｏｉｎｔのような地図ソフトウェアアプリケーション１４０の場合には、ユーザは、（例えば、いわゆる「押しピン」や、その他のグラフィックなオブジェクトあるいは視覚的なオブジェクトを使用して）ユーザ自身のデータ又はその他の情報のいずれかと共に地図上のポイントを識別して示すことができることが好ましい。地図アプリケーション１４０は、情報をそこにインポートできることが好ましい。

[0080]コントローラ１００は、イメージからデコードされた位置情報を地図アプリケーション１４０に提供する。コントローラ１００は、位置情報に関連付けられているグラフィックなあるいは視覚的なオブジェクトを地図アプリケーション１４０に任意選択で提供することができる。例えばコントローラ１００は、旅行ディレクトリ内の１つのイメージに関連付けられているサムネイルイメージを作成し、あるいは入手し、そのサムネイルイメージを地図アプリケーション１４０に提供する。地図アプリケーション１４０は、位置情報に関連付けられている地図を識別するか、あるいは作成する。この地図は、提供された情報に関連付けられているオブジェクト表示と共に、表示用として提供される。コントローラ１００がオブジェクト（例えばサムネイルイメージ）を地図アプリケーション１４０に渡した場合には、それらのオブジェクトは、地図上におけるそれらの相対的な位置に従って表示することができる。例えば図７を参照すると、アメリカ合衆国の西部の地図が、地図アプリケーション１４０によって表示されている。この地図は、イメージが撮影された場所に関連して地理空間的に配置されたサムネイルイメージを含む（例えば写真２は、米国オレゴン州ラグランド付近の風景を示している。したがって写真２は、図７の地図上においてラグランドの近くに配置されている）。

[0081]視覚的なオブジェクトあるいはグラフィカルなオブジェクトは、例えば透かしのインデックス付け、ハイパーリンク、あるいはＯＬＥ（ｏｂｊｅｃｔ ｌｉｎｋｉｎｇ ａｎｄ ｅｍｂｅｄｄｉｎｇ）を介して、関連する情報に関連付けることができる。この関連する情報は、イメージあるいはイメージのグループを含むことができる。再び写真２（図７）を参照すると、ユーザは、サムネイルの写真をクリックすると、写真２のさらに高い解像度のイメージへ、あるいは（好ましくは地理的位置によって）写真２に関連付けられているイメージのグループへリンクすることができる。関連する写真へリンクする代わりに、写真２は、メタデータ、ウェブサイト、あるいはオーディオ／ビデオクリップへリンクする（あるいはそれらを表示する）ことができる。例えば写真は、その地理的位置において、あるいはその付近で取り込まれたオーディオファイルやビデオファイルに関連付けることができる。写真２はまた、メタデータ（例えば日付／時間、座標、カメラ、写真撮影者、天候、あるいは照明条件など）、テキスト（例えば、旅行記を含むＷｏｒｄファイル）、ウェブサイトのフォトギャラリーへ、あるいはその旅行の写真のコラージュ又は写真モザイクへリンクする（あるいはそれらを表示する）こともできる。

[0082]図７はまた、コントローラ１００（図６）によって提供されているオブジェクト（及び関連付けられている地理的位置）どうしの間における強調表示されたルート４０を示している。このルートは、地理的位置がコントローラ１００によって地図アプリケーション１４０へ渡されると自動的に作成されることが好ましい（例えば、写真２及び写真３に関連付けられている地理的位置が与えられると、地図アプリケーション１４は、それらの２つの位置の間における考えられるルートを自動的に作成して強調表示する。このアプリケーションは、作成されたルートが、実際に旅行したルートと一致していることを確認するよう（例えば、グラフィカルユーザインターフェースあるいはポップアップウィンドウを通じて）任意選択でユーザに促す）。

[0083]地図アプリケーション１４０によって、ユーザは、地図上のエリアをズームイン及びズームアウトできることが好ましい。１つの改良は、ユーザがズームインする際に（サムネイルイメージに関連して）さらに高い解像度のイメージを提供あるいは表示することである。例えばユーザが、写真２に関連付けられているエリアの付近にズームインすると、さらに高い解像度のイメージが、ズームインした領域と共に表示される。このさらに高い解像度のイメージは、そのオブジェクトの関連付けられているリンクを介して自動的に検索される。

[0084]本発明の技術は、モバイルユーザに適用することもできる。例えば図８Ａ〜図８Ｃを参照すると、第１のユーザは、カメラを使用してイメージを取り込む。このカメラは、（例えば、ＢｌｕｅＴｏｏｔｈあるいはつながれているケーブルを介して）携帯電話と連携するか、あるいは（図８Ａに示されているように）携帯電話内に組み込むことができる。位置情報、例えば経度及び緯度が、取り込まれたイメージ内にステガノグラフィックに埋め込まれる。そして埋め込み後のイメージが、図８Ｂに示されているように、Ｅメールあるいはその他の方法で第２のユーザへ伝達される。第２のユーザは、そのメッセージを開き、ステガノグラフィックデコーダが、そのイメージを分析して、埋め込まれている位置情報を入手する。この位置情報は、地図アプリケーション（例えば、Ｐｏｃｋｅｔ ＳｔｒｅｅｔｓあるいはＧｅｏＳｎａｐｐｅｒ．ｃｏｍ）に提供される。第１のユーザの位置（あるいは送信されたイメージに関連付けられている位置）が、地図上に表示される（図８Ｃ）。図７を参照して上述した実施形態のように、そのイメージあるいはそのイメージのサムネイル表示をユーザの第１の位置に、あるいはその近くに表示することができる。

[0085]第２のユーザは、モバイルユーザである必要はない。例えば、第１のモバイルユーザ（例えば孫）が、ロッキー山脈でハイキング中に写真を撮影する。これらの写真には、それらのそれぞれの位置情報がステガノグラフィックに埋め込まれる。第１のユーザは、埋め込み後の写真を第２のユーザ（例えば祖母）へ通信する。第２のユーザのホームコンピュータあるいはラップトップコンピュータは、埋め込まれている位置情報をデコードし、その位置情報を地図アプリケーションに提供し、地図アプリケーションは、それらのイメージの位置を地図に関連させて表示する。このように、第２のユーザは、ステガノグラフィックに埋め込まれているイメージを介して第１のユーザの旅行をリモートから追跡把握する。

[0086]いくつかの関連する実施形態においては、音声のコマンドを使用する。音声のコマンドは、取り込まれたイメージ内に埋め込まれている位置を識別するために使用される。例えば、ある写真撮影者が、米国アイダホ州マッコール付近の天然温泉の写真を撮影する。この写真撮影者は、マイクロフォンに語りかける（例えば、この写真撮影者は、「アイダホ州マッコール付近の温泉」と言う）。取り込まれた話し言葉は、話し言葉を認識するソフトウェアあるいはオーディオを分析するソフトウェアを介して分析される。認識された話し言葉は、その温泉に関連付けられている位置を識別するために使用される。この位置は、そのイメージ内に埋め込まれていることが好ましい。取り込まれたあるいは認識された話し言葉は、写真に関連付けられているメタデータ（例えば、ボイスジャーナル）として使用することもできる。イメージは、オーディオ（例えば、ボイスジャーナル）が保存される保存場所へのリンクを含むことができる。

[0087]別の実施形態は、音声入力を透かしコンポーネントとして使用する。例えば写真撮影者は、１枚の写真の中に自分の子供たちのうちのどの子が写っているかを（例えば、カメラ内のマイクロフォンを介して、あるいは後ほど家で写真を見返しているときに）声に出して述べる。話し言葉を分析あるいは認識するソフトウェアは、その話し言葉を１つの識別子に関連付ける。例えば「ジェーン」という言葉は、１つの識別子にマップあるいは変換される。この識別子は、対応するイメージ内にステガノグラフィックに埋め込まれる。埋め込み後のイメージは、ディレクトリ内に、あるいは電子アルバム内に保存される。その後、この埋め込まれた情報（例えば、「ジェーン」を表す識別子）は、そのイメージの中にジェーンが示されていることを識別するために使用することができる。埋め込まれた識別子は、同様の方法で場所、物、人物、旅行などを表すために使用することができる。（例えば、電子写真アルバムあるいはインターネットを検索するための）イメージ検索エンジンは、関連する検索基準を探してステガノグラフィックに埋め込まれた識別子をデコードする。

[0088]上述の技術のいくつかの考えられる組合せについて、以降に記載する。

[0089]Ａ１．地図上の位置を識別する方法で、前記地図がコンピュータディスプレイを介して表示される方法であって、
第１のイメージを表すデータを受け取るステップと、
前記データを分析して、その中にステガノグラフィックにコード化されている情報を入手するステップであって、前記情報が、前記第１のイメージに関連付けられている第１の位置情報を含むか、あるいは第１の位置情報へリンクしているステップと、
前記第１の位置情報に関連付けられているエリアを含む地図を提供するステップであって、前記地図がコンピュータディスプレイを介して表示されるステップと、
前記第１の位置情報に関連付けられている前記地図上の第１の位置を視覚的にあるいはグラフィカルに識別するステップと
を含む方法。

[0090]Ａ２．前記情報が、電子透かしの形態でステガノグラフィックにコード化されているＡ１の組合せ。

[0091]Ａ３．前記コンピュータディスプレイが、携帯電話のディスプレイスクリーンを含むＡ１の組合せ。

[0092]Ａ４．第１の位置を識別する前記ステップが、視覚的なあるいはグラフィカルなオブジェクトを前記第１の位置において前記地図上にあるいは前記地図と共に提供するステップを含むＡ１の組合せ。

[0093]Ａ５．前記オブジェクトが、前記第１のイメージの表示を含むＡ４の組合せ。

[0094]Ａ６．前記オブジェクトが、前記第１のイメージのサムネイル表示を含むＡ４の組合せ。

[0095]Ａ７．前記オブジェクトが、１つのリンクに関連付けられているＡ４の組合せ。

[0096]Ａ８．前記リンクが、前記第１のイメージのコピーへリンクしているＡ７の組合せ。

[0097]Ａ９．前記リンクが、前記第１の位置情報に関連付けられている複数のイメージへリンクしているＡ７の組合せ。

[0098]Ａ１０．前記リンクが、前記第１のイメージに関連付けられているメタデータへリンクしているＡ７の組合せ。

[0099]Ａ１１．前記メタデータが、オーディオ、ビデオ、テキスト、及びドキュメントファイルのうちの少なくとも１つを含むＡ１０の組合せ。

[0100]Ａ１２．第２のイメージを表すデータを受け取るステップと、
前記データを分析して、その中にステガノグラフィックにコード化されている情報を入手するステップであって、前記情報が、前記第２のイメージに関連付けられている第２の位置情報を含むか、あるいは第２の位置情報へリンクしているステップと、
前記第２の位置情報に関連付けられている前記地図上の第２の位置を視覚的にあるいはグラフィカルに識別するステップと
をさらに含むＡ１の組合せ。

[0101]Ａ１３．前記第１の位置と前記第２の位置の間におけるルートを作成するステップをさらに含むＡ１２の組合せ。

[0102]Ａ１４．前記ルートが、前記地図上で強調表示されるＡ１３の組合せ。

[0103]Ａ１５．コンピュータ実行可能命令をその上に格納しているコンピュータ可読メディアであって、前記命令が、Ａ１〜Ａ１４のうちのいずれか１つの方法をプロセッサに実行させるための命令を含むコンピュータ可読メディア。

[0104]Ｂ１．位置を表す方法であって、
第１のワイヤレスデバイスから取り込まれたイメージを受け取るステップであって、前記イメージが、内部にステガノグラフィックに埋め込まれている位置情報を含むステップと、
前記ステガノグラフィックな埋め込みをデコードして、前記位置情報を入手するステップと、
前記位置情報、あるいは前記位置情報によって識別された情報を使用することによって、前記位置情報に関連付けられている位置を表す地図を識別するステップと、
前記地図を表示するステップと
を含む方法。

[0105]Ｂ２．前記位置を識別するために視覚的なあるいはグラフィカルなオブジェクトを前記地図上に、あるいは前記地図と共に表示するステップをさらに含むＢ１の組合せ。

[0106]Ｂ３．前記オブジェクトが、前記イメージの表示を含むＢ１の組合せ。

[0107]Ｂ４．前記方法が、少なくとも部分的に第２のワイヤレスデバイス上で実行されるＢ１の組合せ。

[0108]Ｂ５．前記第１のワイヤレスデバイスが、携帯電話と無線ポータブルコンピューティングデバイスのうちの少なくとも１つを含むＢ１〜Ｂ５のうちのいずれか１つの組合せ。

[0109]Ｂ６．前記第２のワイヤレスデバイスが、携帯電話と無線ポータブルコンピューティングデバイスのうちの少なくとも１つを含むＢ４の組合せ。

[0110]Ｂ７．コンピュータ実行可能命令をその上に格納しているコンピュータ可読メディアであって、前記命令が、Ｂ１〜Ｂ６のうちのいずれか１つの方法をプロセッサに実行させるための命令を含むコンピュータ可読メディア。

[0111]Ｃ１．ディスプレイと、
プロセッサと、
通信バスと、
前記通信バスを介して前記プロセッサと通信状態にあるメモリと
とを備えるコンピュータであって、
前記メモリが、前記プロセッサによって実行するための内部に格納された命令を含み、
前記命令が、
イメージ内に埋め込まれている電子透かしをデコードするための命令であって、前記電子透かしが位置情報を含む命令と、
前記位置情報を地図ソフトウェアモジュールに提供するための命令であって、前記地図ソフトウェアモジュールが、前記位置情報を受け取ると、前記位置情報に関連付けられている少なくとも１つのエリアを示す地図を提供し、前記エリアを識別するために視覚的なあるいはグラフィカルなオブジェクトを前記地図上に提供する命令と
を含む、コンピュータ。

[0112]Ｃ２．前記命令が、前記地図ソフトウェアモジュールによって使用するための前記イメージの低ビット表示を提供するための命令をさらに含み、前記オブジェクトが、前記イメージの前記低ビット表示を含むＣ１のコンピュータ。

[0113]Ｄ１．イメージを管理する方法で、前記イメージのそれぞれが、内部に電子透かしの形態でステガノグラフィックに埋め込まれている複数ビットのデータを含み、前記複数ビットのデータが、１つの地理的位置に対応する、前記方法であって、
第１の地理的位置に関する第１のクエリを受け取るステップと、
前記第１の地理的位置に対応するイメージを識別するステップと、
前記第１の地理的位置に対応する前記イメージの少なくとも１つのリストを提供するステップと、
前記リストに応答して前記リストを絞り込む第２のクエリを受け取るステップと
を含む方法。

[0114]Ｄ２．前記第２のクエリが、日付の範囲を含むＤ１の組合せ。

[0115]Ｄ３．前記第２のクエリが、季節を含むＤ１の組合せ。

[0116]Ｄ４．前記第２のクエリが、方向の角度を含むＤ１の組合せ。

[0117]Ｅ１．イメージを管理する方法で、前記イメージの少なくともいくつかが、内部に電子透かしの形態でステガノグラフィックに埋め込まれている複数ビットのデータを含み、前記複数ビットのデータが、１つの地理的位置に対応する、前記方法であって、
第１の地理的位置及び第１のイメージ取り込みアングルに対応する第１のクエリを受け取るステップと、
前記第１の地理的位置及び第１のイメージ取り込みアングルに対応するイメージを識別するステップと、
前記第１の地理的位置及び第１のイメージ取り込みアングルに対応する前記イメージの少なくとも１つのリストを提供するステップと
を含む方法。

[0118]Ｆ１．ファイル共有ネットワーク内でイメージを共有する方法で、前記イメージのそれぞれが、内部に電子透かしの形態でステガノグラフィックに埋め込まれている複数ビットのデータを含み、前記複数ビットのデータが、１つの地理的位置に対応する、前記方法であって、
地理的位置に従ってインデックス付けされたイメージのリストを含むカタログをコンピュータサーバ上に保持するステップであり、前記カタログが、前記イメージに関連付けられているインターネットアドレスを含むステップと、
地理的位置に基づく問合せに応答して前記カタログのサブセットを提供するステップと
を含む方法。

[0119]Ｇ１．内部に埋め込まれている電子透かしを含むイメージを受け取るステップであり、前記電子透かしが位置情報を含むステップと、
前記電子透かしをデコードして前記位置情報を入手するステップと、
前記位置情報に対応する１つの位置を示す地図を識別するステップと、
コンピュータネットワークを介してアクセス用として前記地図を提供するステップと
を含む方法。

[0120]Ｇ２．前記位置に特に関連付けられている前記地図上の１つの位置を識別するステップをさらに含むＧ１の組合せ。

[0121]Ｈ１．検索可能なイメージを提供する方法であって、
１つのイメージに関連付けられているオーディオを受け取るステップと、
前記オーディオを１つの識別子に変換するステップと、
前記識別子を前記イメージ内にステガノグラフィックなコンポーネントとして埋め込むか、あるいは前記イメージに関連付けられているヘッダ内に前記識別子を保存するステップと
を含む方法。

[0122]Ｈ２．前記識別子をテーブルあるいはデータレコードに追加するステップであって、前記テーブルあるいはデータレコードが前記オーディオを前記識別子にマップするステップをさらに含むＨ１の組合せ。

[0123]Ｈ３．前記テーブルあるいはデータレコードが、前記オーディオを表すテキストを通じて前記オーディオにマップされるＨ２の組合せ。

[0124]Ｈ４．前記テーブルあるいはデータレコードが、前記オーディオのパターンマッチを通じて前記オーディオにマップされるＨ２の組合せ。

結論
[0125]上述のものは、本発明の典型的な実施形態にすぎない。これらの基本的な主題に関しては多数の変形形態が存在することが認識できるであろう。上述のものは、詳細にわたる技術のうちのごくわずかな応用例を示しているにすぎない。ほかにも多くの応用例が存在する。

[0126]上述の詳細な実施形態における要素及び機能の特定の組合せは、典型的なものにすぎず、これらの教示を、本出願及び前述の特許／出願におけるその他の教示と交換及び置換することも考えられる。

[0127]２つの異なる透かしを含めることによって利益を享受できる本明細書に記載の多くの実施形態が存在する。例えば第１の透かしは、地理的参照情報を証拠立てる（あるいは指し示す）情報を含むことができ、その一方で第２の透かしは、データベースの識別子あるいは位置を含む。別法としては、第２の透かしは、写真の中で識別される行事、人物、あるいは動物、出来事、グループ、機関、著作権の所有者であることなどに関連する情報を含むか（あるいは指し示す）こともできる。あるいは１つのイメージが、強固な透かしとコピーや改ざんに弱い透かしの両方を含むこともできる。

[0128]本出願は、幅広く解釈されることを意図している。例えば「地図」という用語は、様々な地図に適用されることを意図しており、それらの地図としては、市街地図、地形図、人口統計地図、写真地図（例えば、衛星画像やＫｅｙｈｏｌｅ， Ｉｎｃ．を想起されたい）、地勢図、物理的地図、地質図、歴史地図、海図、３Ｄ表示、政治地図、ロードマップ、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）層等々が含まれるが、それらには限定されない。

[0129]上述の方法、プロセス、及びシステムは、ハードウェア、ソフトウェア、あるいはハードウェアとソフトウェアの組合せにおいて実装することができる。例えば、位置情報をコード化するプロセスは、プログラム可能なコンピュータあるいは専用のデジタル回路内に実装することができる。同様に、位置情報のデコードは、ソフトウェア、ファームウェア、ハードウェア、あるいはソフトウェアとファームウェアとハードウェアの組合せにおいて実装することができる。上述の方法及びプロセスは、システムのメモリ（電子、光学、あるいは磁気ストレージデバイスなどのコンピュータ可読メディア）から実行されるプログラム内に実装することができる。

[0130]上述のように、本発明の考察はＣＭＯＳセンサに焦点を合わせているが、本発明の技術はその他のオンチップ環境（例えばＣＣＤ）にも適用されるということが理解できるであろう。また、例としてＲＧＢ及びＣＭＹの色空間を使用しているが、本発明はそれらには限定されない。もちろん本発明の技術は、センサが、固定されたピクセルサイズ（例えば、固定されたビット数）に関して色域の圧縮を最小限に抑えるために作成できるその他の無数の考えられるカラーモデルに適用されるであろう。

[0131]上述の原理及び特徴を適用できる様々な実施形態を考慮すれば、それらの詳細な実施形態は例示的なものにすぎず、本発明の範囲を限定するものと解釈すべきではないということが明らかなはずである。

ＣＭＯＳピクセルアレイを示すブロック図である。 オンチップの透かしエンベッダの一実施形態を示すブロック図である。 オンチップの透かしエンベッダの別の実施形態を示すブロック図である。 オンチップで並行して透かしを埋め込むモジュールを示す図である。 別々のカメラアングルからの類似した地理的位置のイメージの取り込みを示す図である。 内部にコード化されている位置情報を含むイメージを示す図である。 コントローラと地図アプリケーションとの対話を示すブロック図である。 地図アプリケーションによって作成された地図を示す図であり、共に表示されている視覚的なオブジェクトやグラフィカルなオブジェクトを含む。 第１のモバイルデバイスを使用したイメージの取り込みを示す図である。 取り込み後のイメージの第２のモバイルデバイスへの伝達を示す図である。 イメージが対応する対応先の地図を表示している第２のデバイスを示す図である。

Claims (18)

1. イメージセンサによって作成されたイメージに透かしコンポーネントを取り入れる方法で、前記イメージセンサが、物理的な特性を有する複数のピクセルを含む、該方法であって、
   前記複数のピクセルのセットの前記物理的な特性におけるバリエーションを提供するステップであり、前記バリエーションが、イメージの取り込み中に前記透かしコンポーネントを取り入れるために提供される、該ステップと、
   前記イメージセンサを使用してイメージを作成するステップであり、前記イメージが該イメージ内に隠された前記透かしコンポーネントを含む、該ステップと
   を含み、
   前記透かしコンポーネントが配向コンポーネントを含む、方法。
2. ピクセルの前記セットが、それぞれ光検出器を備え、前記バリエーションが、前記光検出器の電位及びドーピング特性のうちの少なくとも１つを変更することによって提供される請求項１に記載の方法。
3. ピクセルの前記セット内のそれぞれのピクセルが、カラーフィルタを含み、前記バリエーションが、ピクセルの前記セットに関連付けられている前記カラーフィルタを通じて提供される請求項１に記載の方法。
4. ピクセルの前記セット内のそれぞれのピクセルが、マイクロレンズを含み、前記バリエーションが、ピクセルの前記セットに関連付けられている前記マイクロレンズにおけるバリエーションを通じて提供される請求項１に記載の方法。
5. 前記バリエーションが、それぞれのピクセルに関する色の値の変化あるいはデータのオフセットを取り入れる請求項１に記載の方法。
6. 前記バリエーションが、前記イメージセンサの製造中に提供される請求項１に記載の方法。
7. 列及び行に配列された複数のピクセルと、
   前記複数のピクセルからイメージデータを選択的に読み出すための通信バスと
   を備えるＣＭＯＳイメージャであって、
   前記ピクセルのそのそれぞれが、
   光検出器と、
   カラーフィルタ部分と、
   マイクロレンズとを含むピクセルと、
   を含み、
   前記複数のピクセルが、ピクセルの第１のセットを含み、ピクセルの前記第１のセットが、ＣＭＯＳイメージャによるイメージの取り込み中に電子透かしコンポーネントをイメージデータへ取り入れるために物理的な特性を有する、
   前記透かしコンポーネントが配向コンポーネントを含む、
   ＣＭＯＳイメージャ。
8. 前記物理的な特性が、ピクセルの前記第１のセット内に存在しないピクセルに関連する前記光検出器の電位及びドーピング特性のうちの少なくとも１つを含む請求項７に記載のＣＭＯＳイメージャ。
9. 前記物理的な特性が、ピクセルの前記第１のセットに関連付けられているカラーフィルタ部分を通じて提供される請求項７に記載のＣＭＯＳイメージャ。
10. 前記物理的な特性が、ピクセルの前記第１のセットに関連付けられているマイクロレンズを通じて提供される請求項７に記載のＣＭＯＳイメージャ。
11. 前記透かしコンポーネントが、ピクセルの前記第１のセットに関するイメージピクセル値の変化によって取り入れられる請求項７に記載のＣＭＯＳイメージャ。
12. 前記複数のピクセルのそれぞれが、別々の増幅器と通信し、前記物理的な特性が、前記別々の増幅器の様々な増幅率を含む請求項７に記載のＣＭＯＳイメージャ。
13. 前記電子透かしコンポーネントが、前記イメージデータのさらなる処理を伴わずに前記ＣＭＯＳイメージャによって取り込まれたイメージデータへ取り入れられる請求項７に記載のＣＭＯＳイメージャ。
14. 請求項７に記載のイメージャによって取り込まれたイメージデータ内に電子透かしを埋め込む方法で、透かしの埋め込みが、前記イメージャを使用してオンチップで行われ、前記イメージャが、それぞれフィルタにかけられて単一の色を表す複数のピクセルを備える、該方法であって、
    それぞれのピクセルに関する多色の値を概算する前に、前記取り込まれたイメージデータの選択ピクセルに関する単一の色の値を調整するステップであり、この調整によって、電子透かしが前記取り込まれたイメージデータ内へと取り入れられる、該ステップと、
    ピクセルに関する多色の値を概算するステップと
    を含む方法。
15. 前記単一の色が、レッド、グリーン、及びブルーのうちの少なくとも１つを含む請求項１４に記載の方法。
16. 前記調整するステップが、レッドの色の値のみを調整する請求項１５に記載の方法。
17. 前記調整するステップが、レッド、ブルー、及びグリーンのチャネルにわたって透かし信号を重み付けする請求項１５に記載の方法。
18. イメージアレイと共にオンチップで配置されている透かしエンベッダへ複数ビットの透かしメッセージを取り入れる方法であって、
    前記イメージアレイから提供されるイメージデータの色を変換するステップであり、この色の変換によって、ピクセルごとの多色の概算が提供される、該ステップと、
    色の変換されたイメージデータを前記透かしエンベッダにおいて受け取るステップと、
    ランダムアクセスメモリ（ＲＡＭ）とチップインターフェースのうちの少なくとも１つ
    からオンチップで前記複数ビットの透かしメッセージを受け取るステップと、
    前記色の変換に伴うノイズ特性を特定するステップと、
    前記複数ビットの透かしメッセージを前記透かしエンベッダへ伝達するステップと、
    前記複数ビットの透かしメッセージを前記色の変換されたイメージデータ内に埋め込むステップであり、埋め込みの位置を導くか又は隠すために前記ノイズ特性を利用する、該ステップと
    を含む方法。

Images