JP5279270B2 - 携帯コンピューティング装置における高速信号検出および分散コンピューティング - Google Patents

Description

関連出願データ

本出願は、米国特許仮出願第６０／５９９，４７９号に基づく利益を主張するものであり、この明細書は、参照として本明細書に組み込まれる。

本発明は、とりわけ、携帯電話のような携帯コンピューティング装置における信号処理および分散コンピューティングに関する。

背景および概要

携帯電話のような携帯コンピューティング装置は、益々、より高性能かつより機能的になりつつある。例えば、これらの装置は、カメラ、ビデオ機能、テレビ同調器、オーディオの録音再生機能などを含む。さらに、これらの装置は、通信装置でもあるので、それらは、また、インターネットへのアクセス、その他の装置とのデータ同期などのようなネットワークコンピューティングサービスを提供する。

機能の増加およびコンピューティング能力の増大にも関わらず、小さな携帯情報端末のコンピューティング能力に対しては、未だに、大きな要求が存在する。そのようなものとして、携帯情報端末のコンピューティング資源を最大限に利用するとともに、利用可能になりつつある膨大な種類の機能をサポートする改善されたアーキテクチャーおよびコンピューティング方法が必要とされている。

例えば、携帯電話のコンピューティング資源を消費する主たる原因の１つは、マルチメディア信号処理である。アプリケーションの例には、写真の取り込みおよび送信、音楽の出力、ビデオの出力などが含まれる。１つの具体的なアプリケーションは、例えば、カタログまたは雑誌における製品の写真を、より多くの情報および購買機会を提供するウェブサイトにリンクするような、様々なアクションをマルチメディアコンテンツに結合することである。別の例は、音楽家または広告の写真を、関連する着メロを電話機にダウンロードするアクション、または、関連する音楽をストリーミングモードまたはファイルフォーマットで携帯電話機にダウンロードするアクションにリンクすることである。このアプリケーションの実施は、国際公開公報第００／７０５８５号および米国特許第６，５０５，１６０号に説明されており、これらの明細書は、参照として本明細書に組み込まれる。

これらの種類のアプリケーションは、以下の大きな課題をシステム開発者に提供する。
１．どのようにしてこれらのアプリケーションを携帯電話機において実行されるソフトウェアで実施することができるか？
２．携帯電話機において効率的に実行されるようにこれらのアプリケーションを実施することができるか？
３．これらのアプリケーションは、携帯電話機だけにおいて現時点で利用可能な固有のハードウェア要件またはソフトウェア要件を有するか？
４．異なるコンピューティングプラットフォーム、オペレーティングシステム、およびプロセッサーを備えるいろいろな携帯電話機にこのアプリケーションを広く配備することができるか（例えば、ある携帯電話機は、Ｊａｖａで記述されたプログラムしか実行しないが、このアプリケーションは、Ｊａｖａでは有効に動作しない可能性がある）？

ネットワークコンピューティング分野においては、複雑なソフトウェアタスクを取り込み、それらをモジュールに分割し、そして、それらのモジュールの実行をネットワークプロセッサーおよび／または並列プロセッサー間に分散するために、分散コンピューティング方式が開発されてきた。携帯電話機の独特のアーキテクチャーのために、これらの方式は、現時点で利用可能な携帯電話コンピューティングアーキテクチャーへ直接に変換できない。そのようなものとして、このような環境のために、新しいコンピューティング方式および新しい分散コンピューティングアーキテクチャーが必要とされている。

本発明は、携帯電話機のような携帯コンピューティング装置のために、コンテンツを識別するための読取装置およびそれに関連するコンテンツ識別方法を提供する。本発明の１つの形態は、読取装置ライブラリを含む読取装置であり、その読取装置ライブラリは、装置内に存在する装置性能およびビジネスモデルパラメータを読み込み、それに応じて、コンテンツアイテムを識別するための読取装置モジュールの適切な構成を選択する。読取装置モジュールは、それぞれ、コンテンツアイテムを識別するときに使用される機能を実行する。読取装置モジュールは、装置上の利用可能なコンピューティング資源およびネットワーク帯域幅に応じて、装置上および遠隔装置の利用可能な資源が最適に使用されるように選択される。

本発明のさらなる態様は、携帯電話機から取り込まれたコンテンツアイテムを識別するための方法であり、また、携帯電話機処理およびサーバー処理を組み合わせたものを用いてコンテンツを識別するために、信号フィルタリング、透かし検出、およびフィンガプリント法を組み合わせたものを使用するための方法である。

読取装置モジュールの一例は、高速透かし検出モジュールであり、その高速透かし検出モジュールは、透かしの存在を素早く検出し、コンテンツが最も高い確率でうまく識別されそうなコンテンツ部分に資源を集中させることを可能にする。高速透かし検出のための透かし信号構造は、フーリエ振幅領域において円の形態を有するインパルス関数の稠密アレイからなり、インパルス関数は、擬似ランダム位相を有する。代替の構造も可能である。

さらなる特徴が、以下の詳細な説明および添付の図面を参照して、明らかとなる。

詳細な説明

図１は、モバイル装置ハンドセット２０およびそれがネットワークと通信するのを説明するブロック図である。ハンドセットは、コンピューティングプラットフォームを含み、そのコンピューティングプラットフォームは、プロセッサー、ＲＡＭ、および永続記憶装置を含む。このプラットフォーム上において、ハンドセットプロセッサーは、装置の機能モジュール内に存在するプログラミング命令を実行する。典型的なハンドセットは、多くのモジュールを有し得るが、この特定の例は、ユーザインタフェース２２および読取装置２４を示す。

ユーザインタフェースは、ハンドセットの制御キーからの入力を受け取ることおよび表示装置およびオーディオ出力装置を介して出力を提供することを含む基本的な入力／出力機能を制御する。読取装置２４は、ビデオのフレーム、静止画像、および／または、オーディオストリームのようなマルチメディア入力を処理する。

本発明によるモバイルコンピューティング装置アーキテクチャーのコンピューティングプラットフォームの動作を説明するために、「接続されるコンテンツ」のアプリケーションに重点を置いて議論する。接続されるコンテンツは、アクションをコンテンツアイテムに関連づけることを意味する。例えば、読取装置は、電子メール、ウェブからの画像、あるいは、装置のカメラから取り込まれた画像のようなコンテンツアイテムを受け取り、そして、そのコンテンツアイテムに対応するアクションを決定するために、読取装置は、一連のアクションを実行する。このアクションは、表示するためにウェブページを戻すこと、ウェブリンクを戻すこと、音楽またはビデオを出力すること、着メロをダウンロードすることなどを含む可能性がある。

接続されるコンテンツのアプリケーションにおいて、コンテンツアイテムの識別子（ＩＤ）を計算するために、図１に示される読取装置は、一連の動作を実行する。そして、この識別子は、アクションにマッピングされる。このアクションは、ＵＲＬを戻すこととして図１に具体的に示され、そのＵＲＬは、ウェブページ、または、ハンドセットに配信される何らかのその他のネットワークサービスを表現してもよい。

ハンドセットは、様々なモバイル通信技術（例えば、３Ｇ、ＧＳＭ、ＣＤＭＡ、ブルートゥース、およびそれらを組み合わせたもの）のいずれかに基づいたものであってもよいそれに内蔵されたモバイルネットワークコネクティビティシステムを介してネットワーク２６（例えば、インターネットプロトコルネットワーク）と通信する。このネットワーク内には、様々なサービスをハンドセットユーザに提供する責任がある様々なサーバーが存在する。これらのサーバーには、携帯電話サービスプロバイダ、１つ以上のインターネットサービスプロバイダ、インターネット上のウェブサーバー、コンテンツサービスなどによって動作させられるサーバーが、含まれてもよい。

この種のアプリケーションのための課題は、様々なソフトウェアおよびハードウェア性能を備える異なる種類の装置間において、また、様々なビジネスモデルを備える異なる携帯電話サービスプロバイダ間において、コンテンツアイテムをそれの対応するアクションにマッピングするための効率的なメカニズムを開発することである。

図２は、装置性能およびビジネスモデルパラメータに基づいて適合された拡張読み取りアーキテクチャーを説明するブロック図である。装置性能は、特定の種類のプロセッサー、メモリ、信号処理モジュール（最適化ＦＦＴモジュールのような）のように、固定パラメータであってもよい。また、それらは、処理負荷およびコンテンツアイテムを別のプロセッサー（例えば、ネットワークサーバーまたはＢｌｕｅｔｏｏｔｈまたはその他のコネクションを介して接続された隣接する装置）へ送信するための有効帯域幅の変動とともに変化する有効コンピューティングサイクルのように、可変であってもよい。ビジネスモデルパラメータは、また、他の動作よりもある種の動作を助けることによってコンピューティングを制御し、望ましいビジネスモデルを助長する。例えば、ハンドセット上のローカルコンピューティング資源だけを使用することを試みるよりも、むしろ、モバイルサービスプロバイダを介してコンテンツを分散コンピューティング資源へ送信することによって、より大きな帯域幅を使用することは、有益なことであり得る。その他の関連するパラメータは、ハンドセットの位置（例えば、携帯電話ネットワークにおける三角法によってまたはＧＰＳハードウェアによって決定される）に基づいて変化する位置情報サービスを含む。また、その他の接続された装置上における処理資源の日時およびアベイラビリティーは、読み取り動作を制御してもよい。

適合性のあるものであるために、読取装置は、読取装置アプリケーションを機能ブロックに分解するいくつかのモジュールに細分化され、それらの機能ブロックは、その他の装置上で実行される機能へのＲｅｍｏｔｅ Ｐｒｏｃｅｄｕｒｅ Ｃａｌｌのようなメカニズムを介して、恐らくは並列に、また、恐らくは、分散コンピューティングを利用して、個々に実行されてもよい。読取装置ライブラリ４０は、装置およびビジネスモデルパラメータに基づいて動作を制御するモジュールである。

この特定の例においては、読取装置ライブラリは、装置およびビジネスモデルに適したモジュールの組み合わせを選択する。読取装置アプリケーション処理は、フィルター４０、高速検出４２、フィンガプリント４４、および完全検出４６のような機能に分割される。これらのモジュールのそれぞれは、コンテンツアイテムを受け取りそのコンテンツアイテムをアクションに変換する読取装置アプリケーション処理に関与してもよい。装置およびビジネスモデルパラメータに依存して、読取装置ライブラリは、参加するハンドセット上のモジュールを選択する。もしあれば、機能の残りのものは、以下で説明されるように、１つ以上の遠隔の装置上で実行される。

読取装置ライブラリの選択に応じて、一部の読取装置処理は、そのハンドセット上で実行され、一部は、遠隔の装置（または、複数の遠隔の装置）上で実行される。四角形５０内に示されるように、読取装置から遠隔の装置へ送信されるデータの種類は、読取装置処理のどの機能がハンドセット上で実行されるかに依存する。１つのシナリオにおいては、読取装置は、コンテンツアイテムのＩＤを決定するために、コンテンツアイテム（例えば、画像またはオーディオクリップのフレームまたはブロック）を遠隔の装置へ送信する。これは、ハンドセット上の最小限の資源しか使用しないが、より大きな帯域幅を消費する。

別のシナリオにおいては、フィルター４２が、コンテンツアイテムをフィルタリングし、残りのコンテンツ識別タスクを遂行するのに必要なコンテンツのコンポーネントだけを残す。この種のフィルタリングの例は、米国特許第６，７２４，９１４号および米国特許第６，４８３，９２７号に説明されており、これらの明細書は、参照として本明細書に組み込まれる。さらに、電子透かし検出に使用されるプレフィルターが、以下で説明される。プレフィルタリングは、ハンドセット上のより多くの処理資源を使用し、かつ、より小さい帯域幅しか使用しない。

別のシナリオにおいては、ハンドセットは、高速検出４２を実行して、コンテンツアイテムが電子透かし信号を含むかどうかを素早く識別し、かつ、位置合わせ情報を提供する（それによって、コンテンツは、フィンガプリント解析によるさらなるＩＤ抽出のために、あるいは、電子透かしメッセージ抽出のために、位置合わせされることが可能である）。高速検出を実施するためのいくつかの考えられる方法が存在する。いくつかの例が、以下で説明される。コンテンツ識別が、電子透かし以外の何らかのその他の機械可読コード（例えば、バーコードまたはその他の可視的機械可読シンボル）を用いて実行される場合、高速検出は、機械可読シンボルの存在および位置を素早く識別するのに使用されてもよい。

高速検出の場合、ハンドセットは、高速検出がコード信号の存在を識別したコンテンツのブロックだけを送信する（例えば、フィルタリングされおよび／または幾何学的に位置合わせされたコンテンツ、および／または、位置合わせパラメータを備えるコンテンツ）。これは、ハンドセット上のより多くの処理資源を消費する可能性があるが、識別のために、コンテンツのすべてまたはほとんどの部分を遠隔の装置へ送信するよりも小さい帯域幅しか使用しない。

また、高速検出は、フィンガプリント識別方式とともに使用されてもよく、ここで、高速検出は、コンテンツフィンガプリントの正確な計算を助ける位置合わせパラメータを提供する。コンテンツフィンガプリントは、コンテンツアイテムを識別するためのフィンガプリントのデータベースと照合されるロバストなハッシュの形態を有する。

別のシナリオにおいては、ハンドセットは、フィンガプリントモジュールを用いて、コンテンツアイテムのフィンガプリントを計算する。ビデオ、オーディオ、および画像に有効な様々なコンテンツフィンガプリント方式が存在する。フィンガプリント処理の１つの形態は、周波数領域特徴のようなコンテンツの特徴をハッシュし、ハッシュのベクトルを計算することであり、そして、それらのハッシュは、フィンガプリントデータベース内のハッシュの対応するベクトルと照合される。一致が、検出されると、データベースは、コンテンツ識別子を戻す。このシナリオにおいては、ハンドセットは、フィンガプリントを計算し、コンテンツを識別するために、それをデータベースへ送信する。

最後に、別のシナリオは、完全検出モジュール４６を用いて、完全検出を実行することである。このアプローチは、識別子が機械可読の形態でコンテンツアイテム内に存在することを前提とする。これは、電子透かし、バーコード、または、その他の機械可読コードを構成する可能性がある。この場合には、ハンドセットは、最も多くの処理資源および最も小さい帯域幅を使用する。なぜなら、それは、コンテンツアイテムを識別するのに必要なすべての作業を実行し、かつ、小さな識別子しかネットワークへ送信しないからである。

ＵＲＬが実行されるべきアクションを表現する場合においては、ネットワーク上の装置は、データベース内の識別子を探索し、対応するＵＲＬをハンドセットへ戻す。アクションは、ＵＲＬによって表現されなくてもよい。それは、プログラミングまたはコンテンツをハンドセットまたはハンドセット所有者に関連するいずれかの装置へ戻すための何らかの別の処理であってもよい。例えば、データベースは、アクションの名前を戻してもよく、そして、それは、そのアクションを単独で、またはその他のサーバーまたは装置との組み合わせで実行するために、ネットワーク内のサーバーをトリガーする。アクションは、ビデオ、音楽、または、画像ファイルを送信すること、購入トランザクションを実行すること、コンテンツをダウンロードすること、または、ハンドセットをプログラムすることなどを含んでもよい。

図３は、読取装置ライブラリと、その読取装置ライブラリがそれの動作を装置性能、時刻、位置、ビジネスモデルなどに応じて適合させるために使用するパラメータを記憶するテーブルとの間の相互作用を説明するブロック図である。図面において、読取装置ライブラリがモジュールを選択するのを制御するのに使用されるパラメータは、２つのテーブル、すなわち、１．装置性能テーブル、および２．ビジネスモデルテーブルによって表現される。装置性能テーブル内の第１の列は、プロセッサータイプ、オペレーティングシステム、ＦＦＴモジュールのような信号処理を助ける何らかの特別な処理機能の存在、メモリ、メモリ帯域幅、接続速度、および位置サービスアベイラビリティーのような装置性能を列挙する。このテーブルは、利用可能な性能のレジストリの役割をなす。これらの性能のあるものは、プロセッサーのように、固定されたものであり、また、あるものは、ネットワーク帯域幅および接続速度のように、外的条件に応じて可変のものである。性能が存在すれば、その性能に対応する行内の項目は、チェックマークを付される。列は、「ハンドセット上のＩＤの抽出」、「サーバー上のＩＤの抽出」、および「帯域幅に応じたハンドセットおよびサーバー間への読取装置処理の分散」のような読取装置処理の可能な様々な構成を表現する。後者の例においては、読取装置処理は、利用可能な帯域幅に基づいて適合し、それによって、より大きな帯域幅が、利用可能であれば、より多くの処理が、サーバーへ分散される。

また、読取装置処理は、特定の時刻にハンドセット上で実行されているその他のアプリケーションに依存した有効計算サイクルに基づいて適合してもよい。より高い優先順位のその他のアプリケーションが、実行されていれば、読取装置処理機能は、サーバーへオフロードされる。

同じようにして、ビジネスモデルは、読取装置ライブラリモジュールと対話する。読取装置処理は、例えば、サービスプロバイダ、電話のコーリングプラン、日時（帯域幅がユーザまたはプロバイダにとってより高価な場合には、より小さな帯域幅を使用する）、サービスプロバイダのサーバーまたはサービスプロバイダのパートナーのサーバー上で画像、ビデオ、または、オーディオを処理するサービスプロバイダの能力などに基づいて様々に環境設定されてもよい。また、読取装置処理は、利用可能な様々なＩＳＰおよびウェブサービスに適合されてもよい。例えば、ウェブサービスのあるものは、位置情報サービスをサポートする可能性があるが、あるものは、サポートしない可能性もある。位置情報サービスは、コンテンツ識別に応答して実行されるアクションをハンドセットの位置に合わせるのを可能にする。プロバイダのあるものは、着メロのダウンロードをサポートする可能性があるが、あるものは、サポートしない可能性もある。多くの可能な選択肢が、存在し、読取装置ライブラリは、装置テーブルおよびビジネスモデルテーブルの両方における設定に応じて、適合してもよい。

読取装置処理の分散コンピューティングは、ハンドセットサーバーに限定されない。ハンドセットのあるものは、さらなる処理能力を備える装置とのブルートゥース接続またはその他の無線接続をサポートする。また、読取装置処理の一部は、ユーザの家庭用パソコンまたはその他のコンピューティング装置のようなブルートゥース接続の範囲内にある装置に分散されてもよい。

分散処理は、Ｒｅｍｏｔｅ Ｐｒｏｃｅｄｕｒｅ Ｃａｌｌを用いて実施されてもよい。例えば、ハンドセットは、サーバー上のフィンガプリントモジュールをコールし、そのフィンガプリントモジュールにコンテンツのブロックを渡してもよい。それに応じて、フィンガプリントモジュールはＩＤを戻し、そして、そのＩＤは、アクションにマッピングされる。

いくつかの処理スレッドが、並列に生成（ｓｐａｗｎ）されてもよい。例えば、画像フレームは、いくつかのブロックに分割されてもよく、それらのブロックのそれぞれは、ハンドセットおよびそのハンドセットとともにネットワーク化された１つ以上の遠隔装置間に分散されたそれ自身の読取装置処理を備える。ＩＤが見つかると、あるいは、アクションが、コンテンツアイテムに正しくマッピングされると、すべての同時に発生する読取装置処理はキャンセルされる。これは、ハンドセットカメラによって取り込まれたビデオフレームのストリームが読取装置ライブラリへ入力される場合にとりわけ有益である。この場合、読取装置ライブラリは、読取装置処理をフレームごとにまたはブロックごとに分散させる。コンテンツのブロックが、ＩＤ抽出のためにさらに処理される前に、フィルターブロックおよび高速検出ブロックが、それらを前処理するのに使用されてもよい。以下で説明されるように、高速検出モジュールは、ＩＤをうまく抽出することができそうもないコンテンツを除去するのに使用されてもよい。

上述したコンピューティングアーキテクチャーは、携帯電話機の性能を向上させるために、その他の資源集約的処理に使用されてもよい。以下において、読取装置アプリケーションの例に関する説明を続行し、電子透かしおよびフィンガプリントに関するさらなる情報が提供される。

（電子透かし）
電子透かしは、隠された機械可読コードを媒体内に埋め込むために、物理的媒体または電子的媒体を変更する処理である。媒体は、埋め込まれたコードがユーザにまったく感知できないか、またはほとんど感知できないように変更されてもよく、それにも関わらず、自動検出処理によって、検出されることが可能である。通常、電子透かしは、画像信号、オーディオ信号、およびビデオ信号のような媒体信号に付加される。しかしながら、それは、その他の種類の媒体オブジェクトに付加されてもよく、それらには、文書（例えば、直線、語、または、文字シフト）、ソフトウェア、多次元グラフィックスモデル、およびオブジェクトの表面テクスチャーが含まれる。

電子透かしシステムは、典型的には、２つの主要なコンポーネント、すなわち、透かしをホスト媒体信号内に埋め込む符号器、および透かしを含むと思われる信号（疑わしい信号）から埋め込まれた透かしを検出しかつ読み込む復号器を有する。符号器は、ホスト媒体信号を巧妙に変更することによって、透かしを埋め込む。読み込みコンポーネントは、透かしが存在するかどうかを検出するために、疑わしい信号を解析する。透かしが情報を符号化するアプリケーションにおいては、読取装置は、検出された透かしからこの情報を抽出する。

いくつかの特定の透かし技術が開発されている。読者は、この分野における文献を熟知していると仮定する。媒体信号内に感知できない透かしを埋め込みかつそれを検出するための具体的な技術は、本出願人の米国特許第６，１２２，４０３号および米国特許第６，６１４，９１４号に詳細に記載されており、これらの明細書は、参照として本明細書に組み込まれる。

（信号検出のためのプレフィルタリング）
信号検出、とりわけ、電子透かし検出において、プレフィルターが、ホスト信号から捜し出された信号を無相関化するのに使用されてもよい。とりわけ、電子透かし検出器の場合、フィルターは、ホスト信号から電子透かしを無相関化するのに使用される。

デジタル画像透かしに使用されるこの種の無相関化フィルターの一例は、以下のように動作する。画像サンプルごとに、フィルターは、そのサンプルをそれの８近傍画像サンプルと比較する。フィルターは、中心サンプルにおける値を、中心サンプル値が近傍値よりも大きいたびにインクリメントされかつ中心サンプルが近傍値よりも小さいたびにデクリメントされた値に置き換える。より詳細には、比較のたびに、フィルターは、中心サンプルがそれの近傍よりも大きければ、値１だけインクリメントし、中心サンプルがそれの近傍よりも小さければ、値−１だけインクリメントし、そのいずれでもなければ、変化させない。フィルターを実施する際に８近傍（３×３サンプル領域）が使用される場合、フィルターの出力は、−８と＋８との間に存在する。そのような種類のフィルターは、信号処理におけるエッジ検出、信号強調などのような多くのアプリケーションを有し、かつ、様々な種類の媒体（画像、ビデオ、およびオーディオ）および様々な領域におけるサンプルを処理する。電子透かしにおけるアプリケーションの場合、フィルターは、オリジナルのホスト信号および透かし信号を評価するのに使用されてもよく、ここで、透かし信号は、付加的な両極性ＰＮ信号として付加される。

先の段落で論じたフィルターは、様々な形で実施されてもよい。１つの特定の実施形態は、中心サンプルとそれぞれの近傍サンプルとを比較し、この比較結果をインクリメント値またはデクリメント値（例えば、＋ｋまたは−ｋ、ここで、ｋは、１、２、３などの定数である）に変換する。フィルターは、それぞれの近傍からのそれぞれのインクリメント値／デクリメント値の和をとり、そして、中心サンプル値を和の結果に置き換える。この種のフィルターは、ルックアップテーブルを用いて効率的に実施されてもよい。例えば、比較処理は、近傍サンプル値から中心サンプル値を引き算して差分値（８ビットサンプルの場合−２５５〜＋２５５）を生成することによって実行される。そして、結果は、ルックアップテーブルに送られ、そのルックアップテーブルは、差分値をインクリメント値／デクリメント値にマッピングし、その値を出力する。フィルターは、隣接領域内の近傍ごとに出力されたルックアップテーブルの和をとり、中心サンプルを和の結果に置き換える。この隣接領域は、３×３ブロックのサンプルに含まれる８近傍、１次元信号において隣り合うサンプル、２次元またはそれ以上の次元の信号において水平方向および／または垂直方向に隣り合うサンプルなどであってもよい。さらに、隣接領域の寸法は、増加してもよい。ルックアップテーブルは、非線形フィルターを効率的に実施するのに使用されてもよい。

（高速信号検出）
電子透かし信号の存在を極めて高速に（計算処理的に安価に）検出することは、極めて望ましいことである。既存の電子透かし検出器のあるものは、透かし信号およびそれの位置合わせパラメータ（例えば、回転、スケール、移動）を検出するために、２次元ＦＦＴ、対数極座標変換、および対数極座標相関を使用する。この高速検出は、埋め込まれた透かし信号の存在を判定するためにここで必要とされるよりもあまり処理を使用することのない代替の透かし信号の設計および技術に重点が置かれている。

電子透かしは、いくつかの信号成分を備えてもよく、それらの信号成分には、高速検出および位置合わせに使用される成分、より正確な位置合わせに使用される成分、および可変メッセージを運搬するための成分が含まれる。これらの成分は、１つにまとめられてもよく、あるいは、完全に分離されてもよい。例えば、検出に使用される信号成分が、同様に、可変メッセージビットを運搬してもよい。ここでは、検出および位置合わせに使用される電子透かし構造の設計に重点を置いて説明がなされる。これらの透かしの構造は、同様に、可変データを運搬してもよいが、この章においては、関数を搬送するこの可変データには重点を置かれない。上で本明細書に組み込まれた特許および透かしに関する文献は、電子透かしの中に隠されたデータを運搬するための様々な方式を説明している。

図４は、高速検出および位置合わせ情報を可能にするフーリエ振幅領域における透かし信号構造を示す。図４に示される透かし構造は、周波数領域における稠密な完全円を含む。この円は、お互いに対して擬似ランダム位相を備える個々のインパルス関数（例えば、正弦波）からなる。完全な円は、高速検出の優れた候補である。この構造の検出は、２次元フーリエ領域における円の場合、ＤＣを通過する任意の軸（回転またはスケールに関係なく）に沿ったスライスは一対の対称点であるという事実を利用する。

２次元ＦＦＴの１次元（Ｘ軸またはＹ軸）上への投影は、この信号の存在を検出するための高速メカニズムを提供する。信号の存在は、画像ブロック（上述したような）をプレフィルタリングし、それぞれの行に沿って１次元ＦＦＴを実施し、それに続いて、行を横断してＦＦＴの和をとり、それによって、投影を得ることによって検出される。１次元投影における強いピークの検出は、透かしの存在を指示する。検出は、フィルタリング、１次元ＦＦＴ、および１次元ＦＦＴにおけるピーク検出を含み、それらは、複数２次元ＦＦＴを必要とする技術よりも効率的な方法で計算できることに注意されたい。

図５は、図４に示される稠密な円の空間領域表現を示す。位相は、実質的に感知できないような状態で信号を画像内に埋め込むことができるように、無作為化される。この種の信号をホスト画像内に隠すための技術は、上で本明細書に組み込まれた米国特許第６，６１４，９１４号に記載されている。例えば、ホスト画像のデータ秘匿能力に応じて、知覚マスクが、透かし信号を調節するのに使用されてもよい。さらに、信号は、黄チャンネルのような人にはほとんど感知できないカラーチャンネル内に埋め込まれてもよい。

（透かし信号の存在の検出）
この章では、図４〜図５に示される透かし信号構造の存在を素早く検出するためのいくつかの異なる方法を説明する。方法１〜方法４は、実際の１次元投影または１次元スライスの２次元変換による様々な近似であり、計算処理的複雑さの点でそれぞれ異なる。方法１は、最も安価なものである。

方法１
１次元プレフィルターをブロック内のそれぞれの行に適用する（プレフィルタリングの章で説明した２次元フィルターに類似しているが、行に沿ったサンプルにしか実行されない）。ブロック内のすべての行の和をとる。
１次元ＦＦＴ振幅を計算する。ピークを検出する。

方法２
２次元プレフィルターをブロックに適用する。
ブロック内のすべての行の和をとる。
１次元ＦＦＴ振幅を計算する。
ピークを検出する。

方法３
１次元プレフィルターをブロック内のそれぞれの行に適用する。
それぞれの行の１次元ＦＦＴ振幅を計算する。
行ＦＦＴ振幅の和をとる。
ピークを検出する。

方法４
２次元プレフィルターをブロックに適用する。
それぞれの行の１次元ＦＦＴ振幅を計算する。
行ＦＦＴ振幅の和をとる。
ピークを検出する。

方法５
２次元プレフィルターをブロックに適用する。
それぞれの行の１次元ＦＦＴを計算する。
行ＦＦＴの和をとる。
和の振幅を計算する。
ピークを検出する。

（高速検出の利点）
高速透かし検出は、携帯電話および低価格の装置のような計算処理的に厳しい環境において、透かしの存在を素早く確認する能力を提供する。これは、より高速かつより信頼性のある包括的な検出をもたらす。

サーバー側の検出においては、サーバーへ送信されるべき信号保持画像フレームを識別するために、高速検出処理は、クライアント上で実行されてもよい。クライアント側において高速検出を使用すれば、サーバーで検出されない確率を減少させることができる。高速検出が成功したフレームだけが、サーバーへ送信される。

クライアント側の検出においては、高速検出は、位置合わせ処理および復号化処理の全体を遂行するのではなく、透かし信号を保持しないフレームを素早く廃棄するのに使用されてもよい。グリッドが検出されたフレームは、次の透かし検出ステージへ取り込まれる。

高速検出は、透かしを検出するために、興味のある領域を素早く識別しなければならないような状況においても有益である。そして、透かしが最も高い確率で完全かつ正確に読み込まれそうな信号の特定領域にさらなる処理資源を集中させてもよい。

（位置合わせパラメータの取り出し）
基本的には、完全円構造が、高速透かし検出のために設計されるが、それは、位置合わせパラメータ（すなわち、同期）を提供するのに利用されてもよい興味のある特性を有する。
１．２次元ＦＦＴのｘ軸およびｙ軸に対するピークの位置は、スケールを提供する。すなわち、ｘ方向およびｙ方向におけるＤＣ点からのピークの距離は、これらの方向におけるスケールを提供する。
２．ピークの距離が、ｘ軸およびｙ軸の両方に関して、例えば１であるように計算されると、ピークの位置は、また、差分スケールのインジケータを提供する。
３．周波数領域において円に楕円をぴったりと嵌め込むことは（本明細書に組み込まれた米国特許第６，４８３，９２７号に記載される楕円曲線嵌め込み技術を参照）、回転以外のアフィン変換を取り出すのを助けることができる。
４．回転は、稠密な円に加えて、位相を利用することによって、またはいくつかのランダムインパルス関数点を付加することによって、取り出されてもよい。

位置合わせパラメータを得るための別のアプローチは、その他のインパルス関数の収集に加えて、フーリエ振幅領域において完全円信号を使用することである。完全円は、高速検出および大きな差分スケールを取り出す能力を提供してもよく、そして、その他のインパルス関数の収集が、残りのいずれかのパラメータを取り出すのを助けてもよい。フーリエ振幅領域におけるインパルス関数の収集から位置合わせパラメータを計算するために対数極座標変換を使用することに関しては、米国特許第６，６１４，９１４号を参照されたい。

（透かし信号設計上の別の選択）
稠密な円は、１次元投影を用いて検出することのできる信号の単なる一例にすぎない。空間領域における信号の可視性を減少させるために、また、その他の位置合わせパラメータを得るのをより容易にするために、その他の設計が、選択されてもよい。例えば、
１．同心の円弧。
２．非対称の円弧。
３．ＤＣに中心のある四角形。
４．ＤＣに中心のある菱形（平行四辺形）。
５．０から１８０°までのそれぞれの考えられる回転角においてインパルス関数点が存在するように設計された信号。この設計においては、それぞれの点は、ＤＣから固有の半径距離だけ離れて配置されてもよい。
６．それぞれの象限において異なる勾配を備える複数の直線（ＤＣを通過しない）。

（その他の種類の高速検出）
透かし信号（または、その他のＩＤ搬送信号）は、高速検出を容易にする独特な属性を備えて設計されてもよい。それらは、固有の色、固有の線構造、印刷するときに使用される固有のハーフトーン網目構造（例えば、固有のスクリーンアングルまたはスクリーン線数）、固有周波数のコンテンツ、信号のヒストグラムにおける固有の署名などを含む。そして、高速検出器は、これらの属性の形跡を測定するように同調させられてもよく、これらの属性が十分な程度に存在すれば、それらの属性が見つかった領域におけるさらなる検出動作を指示する。

（正帰還としての高速検出器）
高速検出器は、ハンドセットが可読の透かし（または、その他のコード信号）を備える画像を取り込みそうになると、ハンドセットが、画面に表示し、あるいは、音を発するのを可能にする。多くのユーザの場合、ハンドセットのカメラを適切な角度にかつ透かし入りのオブジェクトから適切な距離だけ離して配置することは難しく、欲求不満となる可能性がある。しかしながら、高速検出器が、絶えず、ハンドセットが移動しているときに取り込まれた画像フレームを処理していれば、透かし信号の検出からの正帰還が、カメラを正しい位置および向きに配置するようにユーザを誘導するのを助けることが可能であり、透かしを正確に取り出すのを保証する。そして、ユーザは、ハンドセットによって発せられるビーッという音または光によって、シャッターを押すように指示されてもよく、取り込まれた画像が取り出すことのできる透かし信号を含む確率が高いことが保証される。

（新しいフィンガプリント構造）
以下、モバイルコンピューティング装置またはネットワーク上においてコンテンツ識別を実行するために、恐らくは透かしの高速検出とともにフィンガプリントを使用するいくつかの異なる新しい方法を列挙する。

アプローチ１
携帯電話を用いて画像を取り込むのと同時に、その画像のフィンガプリント（すなわち、何らかの形態のロバストなデジタル署名）を計算する。そのフィンガプリントをサーバーへ送信し、そのサーバーにおいて、取り込まれた材料を識別するために、そのフィンガプリントは、データベース内のフィンガプリントと照合される。そして、データベースによって戻されたＩＤに基づいて、さらなるアクションが、実行されてもよい。

アプローチ２
フィンガプリントを計算する代わりに、画像が、サーバーへ送信され、そのサーバーにおいて、その画像は、記憶された画像のデータベースと直接に照合（相関）されることを除けば、アプローチ１に類似する。

アプローチ３
透かしテンプレートが、同期を提供するために、印刷された材料内に埋め込まれることを除けば、アプローチ１と同じである。同期は、フィンガプリント抽出および照合のロバストネスを改善する。なぜなら、それは、同期処理からの位置合わせパラメータを用いてコンテンツが位置合わせされた後に、フィンガプリントを計算するのを可能にするからである。

アプローチ４
同期を提供するために、テンプレートが埋め込まれることを除けば、アプローチ２と同じである。同期は、画像のデータベースと照合するタスクを簡素化し／改善する。

アプローチ５
アプローチ３および４において、さらに、ペイロードメッセージ信号を使用することができ、システムをよりロバストなものにする。換言すれば、システムは、透かしまたはフィンガプリントのいずれかまたはそれらの両方に頼ることができる。

これらのシナリオは、ハンドセット機能に適合するように装置およびビジネスモデルパラメータに基づいて読取装置ライブラリが選択することのできる代替の構成の例である。

（結論）
特定の実施形態を参照して技術の原理が、説明および図示されたが、この技術は、多くのその他の異なる形態で実施されてもよいことが理解できる。明細書があまりに長くなることなく包括的に開示するために、本出願人は、上述した特許明細書および出願明細書を参照として本明細書に組み込んでいる。

上述した方法、処理、およびシステムは、ハードウェア、ソフトウェア、または、それらを組み合わせたものとして実施されてもよい。例えば、補助データ符号化処理が、プログラマブルコンピュータまたは特殊用途デジタル回路において実施されてもよい。同様に、補助データ復号化は、ソフトウェア、ファームウェア、ハードウェア、または、それらを組み合わせたものとして実施されてもよい。上述した方法および処理は、システムのメモリ（電子的、光学的、または、磁気的な記憶装置のようなコンピュータ可読媒体）から実行されるプログラムとして実施されてもよい。

上で詳細に説明された実施形態における構成要素および特徴の特定の組み合わせは、単なる例としてあげたものであり、これらの教示を本明細書および組み込まれた明細書におけるその他の教示と置換および代替することも可能である。

モバイル装置ハンドセットおよびそれがネットワークと通信することを説明するブロック図である。 装置機能およびビジネスモデルパラメータに基づいて適合された拡張読取装置アーキテクチャーを説明するブロック図である。 読取装置ライブラリと、装置機能、時刻、位置、ビジネスモデルなどに応じて読取装置ライブラリがそれの動作を適合させるのに使用するパラメータを記憶したテーブルとの間の対話を説明するブロック図である。 高速信号検出に使用されるフーリエ振幅領域における信号構造の例を示す図である。 空間領域における図４の信号構造を説明する図である。

Claims (17)

1. 携帯電話機のための読取装置であって、
   サービスプロバイダを特定するビジネスモデルパラメータを読み込み、そして、コンテンツアイテムを識別するいくつかの読取装置モジュールの構成であり該携帯電話機において前記ビジネスモデルパラメータと関連づけられている該構成を選択する読取装置ライブラリであって、前記コンテンツアイテムを識別することは、該携帯電話機で取り込まれたオーディオ又はビジュアル信号であるホスト信号から該コンテンツアイテムの識別情報を求めることを含む、該読取装置ライブラリと、
   コンテンツアイテムを識別するときに使用される機能をそれぞれが実行する複数の読取装置モジュールと、
   を備える読取装置。
2. 前記読取装置モジュールが、前記ホスト信号から前記コンテンツアイテムを識別するのに使用されるフィルタリングされた信号を提供するためのプレフィルターを含む、請求項１に記載の読取装置。
3. コンテンツフィンガプリントが、前記フィルタリングされた信号から引き出され、該フィンガプリントが、前記コンテンツアイテムを識別するのに使用される、請求項２に記載の読取装置。
4. 選択された前記構成が、該携帯電話機において前記コンテンツアイテムを識別するための完全検出モジュールを含む場合に、該携帯電話機において該完全検出モジュールを用いて前記コンテンツアイテムを識別し、
   選択された前記構成が、前記プレフィルターを含み、前記完全検出モジュールを含まない場合に、前記プレフィルターが、前記ホスト信号の一部を抽出するよう前記携帯電話機上で実行され、該ホスト信号の該一部が該携帯電話機から離れた装置に送信され、該ホスト信号の該一部から前記コンテンツアイテムを識別することが、該携帯電話機から離れた前記装置上で実行され、
   選択された前記構成が前記プレフィルターと前記完全検出モジュールとを含まない場合に、前記コンテンツアイテムを識別するために前記ホスト信号が該携帯電話機から離れた前記装置に送信される、
   請求項２又は３に記載の読取装置。
5. 前記複数の読取装置モジュールが、前記ホスト信号から抽出された透かしに基づいて前記コンテンツアイテムを識別するための電子透かし検出モジュールを含む、請求項２に記載の読取装置。
6. 前記複数の読取装置モジュールが、前記ホスト信号内の補助信号の存在を検出する第１の検出モジュール、及び、前記補助信号から前記第１の検出モジュールによって取得されるパラメータを用いて、前記ホスト信号から前記コンテンツアイテムを識別する第２の検出モジュールを含む、請求項１に記載の読取装置。
7. 前記第１の検出モジュール及び前記第２の検出モジュールはソフトウェアモジュールであり、前記コンテンツアイテムを識別するために、前記第１の検出モジュールが、前記携帯電話機上で実行され、前記第２の検出モジュールが、携帯電話機から離れた装置上で実行される、請求項６に記載の読取装置。
8. 前記複数の読取装置モジュールが、前記ホスト信号から前記コンテンツアイテムを識別するために、該ホスト信号のハッシュを計算するためのフィンガプリントモジュールを含む、請求項１に記載の読取装置。
9. 前記複数の読取装置モジュールが、電子透かし検出器を含む、請求項８に記載の読取装置。
10. 前記電子透かし検出器および前記フィンガプリントモジュールが、前記ホスト信号から前記コンテンツアイテムを識別するために、該ホスト信号を処理する、請求項９に記載の読取装置。
11. 前記構成を選択することにおいて装置性能が更に利用され、該装置性能が、プロセッサー性能を含む、請求項１に記載の読取装置。
12. 前記ビジネスモデルパラメータが、画像、オーディオ、又はビデオを処理する前記サービスプロバイダの能力を示すサービスプロバイダのパラメータを含む、請求項１に記載の読取装置。
13. 前記構成を選択することにおいて装置性能が更に利用され、該装置性能が、前記携帯電話機が利用可能なネットワーク帯域幅を含み、前記読取装置ライブラリは前記ネットワーク帯域幅に更に関連づけられている前記構成を選択する、請求項１に記載の読取装置。
14. 携帯電話機上で取り込まれたホスト信号からコンテンツアイテムを識別するための方法であって、
    選択可能な複数の識別方法の中から、前記携帯電話機においてサービスプロバイダを特定するビジネスモデルパラメータに関連づけられている識別方法を選択するステップと、
    サーバーにおいて、コンテンツアイテムを識別するときに使用するために、前記ホスト信号から引き出されたデータを受け取るステップと、
    前記サーバーにおいてデータを受け取ったことに応じて、選択された前記識別方法によって、前記データから前記コンテンツアイテムを識別するステップであり、前記コンテンツアイテムを識別することは該コンテンツアイテムの識別情報を求めることを含む、該ステップと、
    前記コンテンツアイテムに関連するアクションを決定するステップと、
    を備える方法。
15. 前記アクションが、前記携帯電話機上で表現するために、前記コンテンツアイテムに関連するデータを戻すことを含む、請求項１４に記載の方法。
16. 選択される前記識別方法として、前記携帯電話機のプロセッサー性能に更に関連付けられている識別方法が選択される、請求項１４又は１５に記載の方法。
17. 前記識別方法が、画像、オーディオ、又はビデオを処理する前記サービスプロバイダの能力を示す前記サービスプロバイダの前記ビジネスモデルパラメータに基づいて選択される、請求項１４又は１５に記載の方法。

Images