JP7439088B2 - 拡張現実ディスプレイデバイスにおける動作のためのシステムおよび方法 - Google Patents

Description

本開示は、拡張現実システムを対象とし、より詳細には、拡張現実ディスプレイシステムにおける色彩、形状、および言語認識についてのシステムおよび方法を対象とする。

コンピュータ技術の進歩は、特に、コンピュータグラフィクスに関して、ユーザ体験を高めるための技術の大きな進歩につながっている。仮想現実（ＶＲ）は、典型的には、完全にシミュレーションされた環境におけるコンピュータ生成体験を含むように形成される。聴覚的および視覚的シミュレーションは、典型的には、仮想現実ヘッドセットにまたはマルチプロジェクタ環境に実装される。ＶＲとは対照的に、拡張現実（ＡＲ）は、現実世界環境を、コンピュータ生成グラフィックオブジェクト、聴覚的データ、およびコンピュータ生成データを現実世界のデータと組み合わせる他の感覚的効果と組み合わせる相互作用の体験である。

典型的なＡＲ体験は、あるオブジェクトを識別するためのコンピュータシステムを必要とする。しかしながら、技術の欠点は、ある構造的形状および色彩を認識できないことである。これに加えて、ユーザによって選択された言語により提示される聴覚的体験を有することが望ましい。構造および色彩認識ならびに言語識別を提供する技術を向上させる大きな必要性が存在することが認識され得る。本発明は、以下の詳細な説明および添付の図面において説明されるように、この利点および他の利点を提供する。

本開示の教示を実装するように用いられる見本のシステムアーキテクチャを示す図。 本教示に従う動作用に構成されたモバイルデバイスの機能ブロック図。 構造認識が存在しない拡張現実画像識別システムの無力を示す図。 オブジェクトの構造および色彩認識を提供する本教示に係るシステムの動作を示す図。 構造認識モジュールの動作を示すフローチャート。 色彩認識モジュールの動作を示すフローチャート。 モバイルデバイスのユーザによって選択された言語識別パラメータの動作を示すフローチャート。 色彩補正を支援するためのラベルにおける完全または理想的な白色ピクセルの選択を示す図。 キャプチャされた画像における色彩識別を視覚的に識別するように、トラブルシューティングツールとして用いられる色彩キューブを示す。

拡張現実（ＡＲ）追跡（トラッキング）用のマーカ認識に関して、色彩同士を区別する先行の方法は存在しない。マーカを区別するおよび識別する際の先行のアプローチは、マーカの内側の形状にしか基づいていない。広く用いられているＡＰＩは、形状ベースのＡＲマーカ認識しか利用しない。

さらに、これらの従来のＡＰＩは、大幅に異なる形状間の区別をすることができない。例えば、キャンディパッケージの従来のＡＲ追跡は、異なる味のパッケージ間の区別をするのが困難である。主要ロゴの大きさが大きい場合、それに伴うフィーチャにアルゴリズムが引き寄せられるので、このことが特に当てはまる。本明細書に記載されるシステムおよび方法は、同じ形状を有し異なる色彩のＡＲマーカ同士を区別することが可能である。これは、色彩ベースの区別とともに形状ベースの認識を用いることによって達成される。

エンドユーザにとっては、同一のパッケージを有するが異なる色彩の２つの製品間の２つの異なる相互作用を見て取ることができる。例えば、開示される技術では、ユーザがビタミンウォータの２つの異なる味における２つの異なる相互作用を見て取ることができ、その場合、異なる味を区別するフィーチャは、ラベルの色彩のみである。

ビタミンウォータ製品ラインは、形状／形態／レイアウトがほぼ同一に見えるが色彩が異なるため、従来のＡＲ追跡技術は、そのビタミンウォータ製品ラインを混同する。
さらに、開示される技術は、色彩の差異を検出することによって、製品ラインの類似のパッケージデザイン同士の区別を高精度に行うことが可能である。したがって、製造業者（上記のキャンディ製造業者など）は、自身のパッケージを大幅にリプリントする必要なく、自身の製品ラインを追跡することができる。

これに加えて、開示される技術は、異なる構造要素間の区別をすることもできる。例えば、システムによって識別されたオブジェクトは、ほぼ円柱である場合がある。これに代えて、オブジェクトは、形状において箱状である場合もある。オブジェクトは、平坦であり２次元構造として見える場合もある。開示される技術は、構造の種類を識別することができ、１つの実施形態では、識別された３Ｄ形状に基づくビデオ（動画）を選択することが可能である。

これに加えて、ユーザによって選択された言語の付随するオーディオトラックを有することが望ましい。より詳細に以下に記載されるように、モバイルデバイスは、ユーザが所望の言語（例えば、英語、スペイン語、ドイツ語など）を選択することを可能とする。本明細書に記載されるシステムは、ユーザ選択言語を識別し、適切な言語のオーディオトラックを選択し、選択されたオーディオトラックを選択されたビデオファイルに結び付けて、ユーザ選択言語のマルチメディアファイルを生成する。

本発明は、１つの実施形態では、図１に示されるシステム１００として示される。図１は、画像認識データをモバイルデバイスから受け取るように、またモバイルデバイスに対する送達用にＡＲファイルを形成するべく、ビデオおよびオーディオデータを選択するように構成された、サーバ１０２を示す。サーバ１０２は、複数のビデオＡＲファイルの形態におけるビデオデータ１０４に対するアクセスを有する。同様に、サーバ１０２は、複数の異なる言語であり得るオーディオデータファイルの形態におけるオーディオデータ１０６に対するアクセスを有する。典型的には、ビデオデータ１０４におけるビデオファイルは、異なる言語の複数の対応するオーディオデータファイルを有する。ビデオデータ１０４およびオーディオデータ１０６は、サーバ１０２の一体部分であってよく、またはそれぞれ通信リンク１０８～１１０を介してサーバに対し通信可能に結合されてよい。

サーバ１０２は、通信リンク１１４を介してワイドエリアネットワーク（ＷＡＮ）１１２（インターネットなど）に対し結合されている。通信リンク１１４は、有線、無線、光、衛星、および他の既知の形態の通信リンクを含む、複数の既知の通信技術のうちのいずれであってもよい。システム１００は、通信リンク１１４の特定の形態によって限定されない。

図１は、さらに、モバイル通信デバイス１１６およびモバイル通信デバイス１１８を示す。モバイル通信デバイス１１６～１１８は、本明細書に記載されるＡＲ処理技術によりプログラムされている従来の「スマートフォン」である。モバイル通信デバイス１１６は、通信リンク１２０を介してＷＡＮ１１２に対し結合されており、一方、モバイル通信デバイス１１８は、通信リンク１２２を介してＷＡＮに対し結合されている。

単純な通信リンク１２０～１２２として示されているが、当業者は、モバイルデバイスをインターネットに対し結合するための複数の既知の技術が存在することを認識する。例えば、モバイル通信デバイス１１６は、セルラーサービスプロバイダ、無線ホットスポット（典型的には、ＩＥＥＥ８０２．１１に従うＷｉＦｉを利用する）などを介してＷＡＮ１１２と通信してよい。同様に、モバイル通信デバイス１１８は、通信リンク１２２を同様に実装してよい。モバイルデバイスをＷＡＮ１１２に対し結合するためのこれらの既知の技術は、より詳細に本明細書に記載される必要はない。

図１に示されるように、モバイルデバイス１１６は、カメラなどの撮像素子を備える。カメラは、モバイル通信デバイス１１６～１１８に備えられた一般的な付属品である。動作時、モバイル通信デバイス１１６は、オブジェクト１２４の画像をキャプチャする。モバイル通信デバイス１１６におけるＡＲ認識技術は、オブジェクトの形状および色彩を識別することが可能である。このデータは、ＷＡＮ１１２および様々な通信リンクを介してサーバ１０２に対し提供され、サーバ１０２がオブジェクト認識に基づいて適正なビデオデータを選択することを可能とする。これに加えて、モバイルデバイスは、そのモバイルデバイス１１６用の言語のユーザ選択に関連したデータを送信し、その情報を同様にサーバに対し提供する。画像認識データおよび言語選択データを用いて、サーバ１０２は、適正な言語選択により適切なビデオデータおよび付随するオーディオデータを選択し、モバイルデバイスのＡＲディスプレイ用にモバイルデバイス１１６に戻すように送信する。

同様に、モバイルデバイス１１８は、オブジェクト１２６の画像をキャプチャし、同様の画像解析を行う。モバイルデバイス１１８は、画像解析データおよび言語選択データを、ＷＡＮ１１２および関連付けられた通信リンクを介してサーバ１０２に対しレポートする。異なるオブジェクト１２６の認識に基づいて、サーバ１０２は、モバイルデバイス１１８に対する送信用に、適正な言語選択による異なるビデオデータおよび異なる付随オーディオデータを選択してよい。したがって、モバイルデバイス１１６～１１８の各々は、異なるオブジェクト１２４～１２６をそれぞれ識別してよく、結果として、異なるＡＲビデオおよびオーディオデータを受信する。

さらに、各モバイルデバイス１１６～１１８は、それぞれのモバイルデバイスのユーザによって選択された言語の付随オーディオデータを受信する。
図２は、図１に示される複数のモバイルデバイスのうちの１つ（例えば、無線通信デバイス１１６）を説明する機能ブロック図である。モバイルデバイス１１６は、中央処理ユニット（ＣＰＵ）１３０を備える。当業者は、ＣＰＵ１３０が、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマグルゲートアレイ（ＰＧＡ）などとして実装されてよいことを認識する。モバイルデバイス１１６は、ＣＰＵ１３０の特定の形態によって限定されない。

図２におけるモバイルデバイス１１６はまた、メモリ１３２も備える。一般に、メモリ１３２は、ＣＰＵ１３０の動作を制御するための命令およびデータを記憶する。メモリ１３２は、ランダムアクセスメモリ、リードオンリーメモリ、プログラマブルメモリ、フラッシュメモリなどを含んでよい。モバイルデバイス１１６は、メモリ１３２を実装するように用いられる任意の特定の形態のハードウェアによって限定されない。メモリ１３２は、全体または一部においてＣＰＵ１３０と一体に形成されてもよい。

図２のモバイルデバイス１１６はまた、タッチスクリーンディスプレイ１３４などの従来のコンポーネントを備える。これらは、知られているように動作する従来のコンポーネントであり、より詳細に記載される必要はない。図２のモバイルデバイス１１６はまた、カメラの形態における撮像デバイス１３８を備える。現代のモバイルデバイスは、前後のカメラを備えることが多い。以下に記載されるように、撮像デバイスは、構造および色彩の解析用に、オブジェクト１２４の画像をキャプチャする。

図２はまた、データ記憶エリア１４０を示す。データ記憶エリア１４０は、モバイルデバイス１１６の動作を制御するユーザ選択パラメータを含んでよい。データ記憶エリア１４０は、任意の便利なデータ構造として実装されてよく、またメモリ１３２の一部であってよい。

ＵＳＢインタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、赤外線デバイスなどといった、無線通信デバイスに見られる他の従来のコンポーネントもまた、モバイルデバイス１１６に備えられてよい。明確さのため、従来の要素は、図２の機能ブロック図には示されていない。

図２のモバイルデバイス１１６はまた、セルラーネットワーク（図示せず）との従来の無線通信用のモバイルデバイスによって用いられ得るなどの、ネットワーク送信機１４４を備える。図２はまた、ネットワーク送信機１４４とともに動作し、セルラーネットワークと通信する、ネットワーク受信機１４６を示す。典型的な実施形態では、ネットワーク送信機１４４およびネットワーク受信機１４６は、回路を共有し、ネットワークトランシーバ１４８として実装される。ネットワークトランシーバ１４８は、アンテナ１５０に対し接続される。ネットワークトランシーバ１４８は、一般的なトランシーバとして示される。モバイルデバイス（例えば、モバイルデバイス１１６，１１８）は、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＵＭＴＳ、３Ｇ、４Ｇ、５Ｇ、ＷｉＭＡＸ、ＬＴＥなどを含むがこれらに限定されない、任意の既知の無線通信プロトコルに従って実装されてよい。セルラーネットワークとの通信用のネットワークトランシーバ１４８およびアンテナ１５０は、当分野では周知であり、より詳細に本明細書に記載される必要はない。

図２のモバイルデバイス１１６はまた、モバイルデバイス１１６によって用いられる短距離送信機１５２を備える。図２はまた、短距離送信機１５２とともに動作する短距離受信機１５４を示す。典型的な実施形態では、短距離送信機１５２および短距離受信機１５４は、短距離トランシーバ１５６として実装される。短距離トランシーバ１５６は、アンテナ１５８に対し接続される。例示的な実施形態では、アンテナ１５０および１５８は、共通のコンポーネントを有し、また単一のアンテナとして実装されてよい。例示的な実施形態では、短距離トランシーバ１５６は、ＩＥＥＥ８０２．１１（ＷｉＦｉと呼ばれることがある）に従う動作用に設計されてよい。多くの現代の無線通信デバイスは、ＷｉＦｉが装備されており、本明細書に記載される機能を補助するように容易にアップグレードされてよい。

モバイルデバイス１１６はまた、構造認識モジュール１６０を備える。構造認識モジュール１６０は、オブジェクト１２４の構造を識別するように構成されている。例えば、構造認識モジュール１６０は、３Ｄ円柱オブジェクト、３Ｄ箱状オブジェクト、および本質的に平坦であるオブジェクトを識別する。構造認識モジュール１６０の動作は、より詳細に以下に説明される。

モバイルデバイス１１６はまた、色彩認識モジュール１６２を備える。色彩認識モジュール１６２は、オブジェクト１２４の色彩を識別するように構成されている。多くのオブジェクトは、色彩の差異を除いて類似しているか、または同一でさえある。上述したように、ビタミンウォータのボトルは、ラベルの色彩を除いてほぼ同一であってよい。色彩認識モジュール１６２は、オブジェクトの色彩を識別し、異なる色彩を有する類似のオブジェクト同士を区別するのを補助する。色彩認識モジュール１６２は、平坦なオブジェクトおよび３Ｄオブジェクトの色彩を識別することが可能である。色彩認識モジュール１６２は、色彩の勾配の変化によって構造を識別するのを補助するように、構造認識モジュール１６０とともに動作してもよい。構造認識モジュール１６２の動作は、より詳細に以下に説明される。

構造認識モジュール１６０および色彩認識モジュール１６２はともに、モバイルデバイス１１６に対し送り返される所望のＡＲビデオおよびＡＲオーディオの選択を支援するように、サーバ１０２（図１参照）に対し送られるオブジェクト識別データを生成する。

図２に示される様々なコンポーネントは、バスシステム１６４によってともに結合されている。バスシステムは、アドレスバス、データバス、電力バス、制御バスなどを備えてよい。便利のため、図２における様々なバスは、バスシステム１６４として示される。

構造認識
図３は、構造認識が利用できないときの、オブジェクトを認識するまたは対応のビデオを選択する際の困難を示す。図３の左には、情報が提供されている。本質的には、オブジェクト１２４（図１参照）は、円柱の、箱の、または平坦（もしくはほぼ平坦）なオブジェクトなど、異なる３Ｄ形態であってよい。モバイルデバイス１１６は、撮像デバイス１３８（図２参照）を用いてオブジェクトの画像をキャプチャする。構造認識がない場合は、典型的なＡＲ識別ルーチンが平坦な２次元オブジェクトを識別する。

図３の例では、オブジェクトはチワワ（ＣＨＩＨＵＡＨＵＡ）である。
チワワの平坦な画像としてのオブジェクト認識の結果、ビデオ選択が行われる。ビデオ選択は、図３の左に示される様々な３Ｄオブジェクトによる提示用にカスタマイズされることができない。

図４は、構造認識が提供される処理を示す。図４の左には、図３に示されるキャプチャされたオブジェクト画像におけるものと同じ、オブジェクト１２４（図１参照）に関する情報が提供される。図３および図４の例では、それらのオブジェクトは、円柱、本来は箱状、または本質的に平坦であってよい。構造認識モジュール１６０（図２参照）は、撮像デバイス１３８によってキャプチャされた画像を解析し、オブジェクト１２４の適切な構造的性質を決定するようにその画像を解析する。構造認識モジュール１６０は、ボトル（もしくは缶）、パッケージ、または商品の間の区別をするように、マーカを３つの別々の部分へと分割することを提供することが可能である。グリッド系が、ラベルおよび境界の湾曲を理解するように適用されてよい。１つの実施形態では、構造認識モジュール１６０は、湾曲および３Ｄ構造をシミュレーションするように、巻かれた知覚的マーカを使用する。

さらなる解析では、構造認識モジュール１６０は、キャプチャされた画像における光の勾配を解析し、オブジェクトの形状を判断することが可能である。色彩認識モジュール１６２は、オブジェクト同士を区別するように、オブジェクトにおける特定のエリアを検出することと、パッケージの広がるエリアを検出することとが可能である。上記の光の勾配の解析は、オブジェクトの形状を判断するように、色彩認識モジュール１６２によって適用されることも可能である。結果として、システム１００は３Ｄ形状の十分な認識を提供し、オブジェクト１２４のすべての配向におけるマーカをキャプチャする。

構造認識モジュール１６０は、ラベルなどのオブジェクトにおけるドットのグリッドをレイアウトすることが可能である。ラベルの色彩は、各ドットの位置において決定される。ドットの垂直方向の列において抽出された色彩の明度は、類似の明度を生じることが期待される。一方、ドットの水平方向の行において抽出された色彩の明度レベルは、構造認識モジュール１６０がラベルの他端におけるドットを解析するときに、ラベルの縁付近のより暗いレベルから中間におけるより明るいレベルに、次いでより暗いレベルに戻る勾配を生成する。そうした情報を用いて、構造認識モジュール１６０は、構造が垂直方向の配向を変えずに留まったまま、水平方向の湾曲が存在することを検出することができる。

オブジェクト１２４の縁をさらに定めるように、コントラストおよびレベルフィルタリングを適用することも可能である。構造認識モジュール１６０は、ボトル（もしくは缶）、パッケージ、または商品などのオブジェクト間の区別を理解するように、縁の湾曲を評価する。この態様では、構造認識モジュール１６０は、ラベルなどのオブジェクトの縁における湾曲をより良く理解するように、ラインフィルタリングを適用してオブジェクトの構造を読み取る。プリントされたラベルの境界を分離するための高コントラストのフォトフィルタを用いて、次いで、境界の縁の軌道を計算し、その境界の縁が湾曲しているか直線的であるかを理解することが可能である。縁が直線的である場合、構造認識モジュール１６２は、ラベルが箱にプリントされていると結論付けることが可能である。縁が湾曲している場合、構造認識モジュール１６０は、ラベルがボトルまたは円柱にプリントされていると結論付けることが可能である。構造認識モジュールは、湾曲した軌道をさらに解析し、ボトルまたはシリンダの直径を決定することが可能である。

さらなる実施形態では、構造認識モジュール１６０は、ラベルがプリントされたオブジェクト（例えば、オブジェクト１２４～１２６）の３次元（３Ｄ）構造を、コンピュータ支援設計（ＣＡＤ）モデルへと再生成する。モデルが生成されると、構造認識モジュール１６０は、ラベルをＣＡＤモデルに対し「貼付する」。ＣＡＤモデルは回転してよく、撮像デバイス１３８（図２参照）を用いてすべての方向において画像収集されてよい。例えば、円柱オブジェクト１２４（図１参照）は、１度の増分にて回転することが可能であり、それらの増分の回転位置の各々にて画像がキャプチャされる。この例では、任意の角度おけるオブジェクトを含む、３６０度の回転に対応する全部で３６０個の画像がキャプチャされる。構造認識モジュール１６０は、識別されていないオブジェクトのキャプチャされた画像を観察し、その画像をＣＡＤモデルの３６０個のキャプチャされた画像と比較することによって、オブジェクトおよびその配向を正確に識別することが可能である。

図１における矩形パッケージのオブジェクト１２６の例では、ＣＡＤモデルはまた、オブジェクトおよびその貼付されたラベルのキャプチャを可能とするように回転する。円柱オブジェクト１２４の例と同様に、構造認識モジュール１６０は、識別されていないオブジェクト１２６のキャプチャされた画像を観察し、その画像をＣＡＤモデルの３６０個のキャプチャされた画像と比較することによって、オブジェクトおよびその配向を正確に識別することが可能である。

さらなる実施形態では、構造認識モジュール１６０は、平面的オブジェクトと平面的でないオブジェクトとの間の差異を識別するように訓練される。構造認識モジュール１６０は、ラベルがある平面またはラベルが隣接する平面を探索する。２つの隣接する平面が互いに対して９０°にて認識されると、構造認識モジュール１６０は、オブジェクトが箱状であると結論付けることが可能である。一方、構造認識モジュール１６０は、単一の分離した平面しか識別しない場合、オブジェクトがポスターまたはスタンプなどの平坦な画像であると結論付けることが可能である。さらに別の実施形態では、構造認識モジュール１６０は平面を検出することができないものの、依然としてラベルを識別することができる場合、構造認識モジュールは、オブジェクトが湾曲したラベルであると結論付けることが可能である。

構造認識モジュール１６０の動作は、図５のフローチャートに記載され、図５では、開始２００にて、オブジェクト１２４がモバイルデバイス１１６に対し提示される。工程２０２にて、モバイルデバイス１１６は、撮像デバイス１３８（図２参照）を用いてオブジェクト１２４の画像をキャプチャする。工程２０４では、構造認識モジュール１６０は、オブジェクト同士を区別するための複数の部分を生成するように、分割マーカを適用する。工程２０６では、構造認識モジュール１６０は、オブジェクト１２４における湾曲および境界を識別するためのグリッド系を適用する。工程２０８では、構造認識モジュール１６０は、湾曲および３Ｄ構造をシミュレーションするように、巻かれた知覚的マーカを使用する。

工程２１０では、構造認識モジュール１６０は、商品の特定のエリアを検出する。工程２１２では、構造認識モジュール１６０は、オブジェクト同士を区別するのを再び補助するように、パッケージの広がるエリアを検出する。工程２１４では、構造認識モジュール１６０は、光の勾配を評価し、オブジェクトの形状を判断する。当業者が認識するように、湾曲したオブジェクトは、平坦なオブジェクトよりも大きい光の勾配を有する。さらに、色彩認識モジュール１６２は、色彩の勾配変化を評価し、オブジェクト１２４の構造的性質をさらに識別するように利用されてよい。

工程２１６では、構造認識モジュール１６０は、オブジェクト１２４の縁を定めるように、コントラストおよびレベルフィルタを適用する。工程２１８では、構造認識モジュールは、オブジェクト１２４の縁の湾曲を評価する。工程２２０では、構造認識モジュール１６０は、オブジェクトの３Ｄ画像をキャプチャし、そのオブジェクト（例えば、図１におけるオブジェクト１２４～１２６）の３Ｄ構造を識別することが可能である。構造認識モジュール１６０は、オブジェクトの３Ｄ構造を決定するのを補助するように、上記の平面検出フィーチャを適用することも可能である。これらの処理を利用して、構造認識モジュール１６０は、工程２２２においてオブジェクトの３Ｄ形状を識別する。処理は、２２２にて終了する。

当業者は、この処理のすべての工程が、オブジェクト１２４の構造的性質を識別するのに必要とされなくてよいことを認識する。さらに、上記の工程は、異なる順序において行われてよい。構造的解析の完了時、モバイルデバイス１１６は、オブジェクト識別データをサーバ１０２に対し上記の手法により送信する。

色彩認識
システム１００は、類似した形状の、異なる色彩または異なって色付けされたエリアを有する拡張現実マーカ同士の区別を成し遂げる。色彩認識モジュール１６２（図２参照）は、オブジェクトを識別するさらなる手段として、オブジェクト１２４の色彩を解析する。モバイルデバイス１１６のユーザは、異なる色彩、背景、文字色および類似のマーカ同士の任意の色彩の変化を有する類似のマーカ同士の区別をするように、色彩認識モジュール１６２を用いることができる。

色彩認識モジュール１６２は、レンダリングされた可変の、圧縮されたもしくは圧縮されていないファイル、またはマーカからのメタデータを介して、マーカの情報を決定することが可能である。色彩認識モジュール１６２は、類似の形状のマーカ同士の特定のパーセンテージの差異にて、不一致の色付けされたマーカの認識を制限するように修正されることも可能である。換言すると、色彩認識モジュール１６２は、色彩がマーカに一致しない場合、予想されたまたは特定の色彩に最も近い色彩を見つける。

モバイルデバイス１１６における撮像デバイス１３８（図２参照）は、オブジェクト１２４のキャプチャされた画像を表すデータ配列を生成する。その配列は、撮像デバイス１３８における光センサにおける赤色、緑色および青色（ＲＧＢ）光検知素子からの色彩値などの情報を含む。ＲＧＢレベルに加えて、撮像デバイス１３８は、画像配列における各ピクセルについての明度レベル値を記憶する。色彩認識モジュール１６２は、色彩解析の際に、このデータを利用する。ＡＲマーカ（またはマーカ）は、典型的には、コンピュータビジョン技術によって認識される任意のオブジェクトと考えられる。オブジェクトの色彩は、デジタルメディアにおける色彩の任意の変化および表示と考えられ得る。

色彩認識モジュール１６２に対する複数の異なるコンポーネントが存在する。各々は、以下に記載される。当業者は、以下に記載されるすべての色彩認識コンポーネントが実装される必要がなくてよいこと、またコンポーネントは、いくつかの場合には、以下に記載される以外の順序により実装されてよいことを認識する。

コンポーネント１－検出
色彩認識モジュール１６２は、レンダリングされたオブジェクト１２４を検出するように、デジタルメディア内におけるコンピュータビジョン解析を用いる。色彩認識モジュール１６２は、変数、データの配列またはレンダリングされる画像を取得することによって、色彩を識別する。マーカは、ラベルなどのオブジェクト内の対象の特定のエリアである。これらは、本質的には、オブジェクトの境界内またはオブジェクトの境界付近のサンプル点である。色彩情報は、マーカから取得される。

検出は、変数、等式、テンプレート、または対象のエリアのマーカ特有形状のような、認識の正確さを増加させるように予め作られたフィルタを用いることも可能である。フィルタは、用いられるテンプレートを表す変数として特定されることが可能であり、データの配列は、影響を受けるエリアもしくは対象のマップのエリアまたは画像を特定する。例えば、缶またはボトルにあるラベルが、対象のエリアと考えられてよい。別の例では、平坦なパッケージ上のラベルが、対象のエリアであってよい。これらの例では、対象のエリアについての色彩データ値の配列は、色彩認識モジュール１６２によって評価され最良の一致を決定することが可能である。

色彩は、０から２５５までの赤色、緑色および青色（ＲＧＢ）値の範囲を用いてソートされることが可能である。テンプレートは、最も高精度の色彩検出を提供するマーカ上の特定の点を選択することによって、フィルタの精度を増加させる。色彩検出用に選択された点の位置を特定するテンプレートは、製品オーナーによって編集されることが可能である。これに代えて、色彩認識モジュール１６２は、システムに提供された所定の複数のテンプレートのうちの１つを用いることが可能である。

例示的な実施形態では、マーカ特有形状は、マーカ３Ｄ形状および画像の記憶された型を参照してよい。例えば、図４は、円柱（例えば、缶）上のチワワを示す。この例では、缶の精密な寸法に合わせて円柱上に湾曲しているチワワの犬は、データ記憶エリア１４０（図２参照）に保存されることが可能である。この記憶されたマーカにより、平坦な面上のチワワの犬と缶の湾曲した面上のチワワの犬との間の区別を容易にすること、また適正なビデオを再生することが可能となる。色彩認識モジュール１６２は、有利には、上に記載したように、マーカ特有形状を用いて３Ｄ空間の異なる面における色彩を決定することが可能である。記憶されたマーカがなくても、色彩認識モジュール１６２は、異なる色彩間の区別をする際、より高精度になるように、既知の機械学習技法を適用することが可能である。

取り出されたデータは、１つの２次元（２Ｄ）デジタルメディアから２次元的に、２つの２Ｄデジタルメディアから３次元的に、またはいくつかの交差次元デジタルメディアから交差次元的に受け取られることが可能である、交差次元データに基づくことが可能である。交差次元は、任意の次元（例えば、２Ｄまたは３Ｄ）からの任意の種類のデータを参照する。交差次元データは、色彩をより高精度に決定するように、色彩認識モジュール１６２によって用いられる。

例えば、色彩認識モジュール１６２は、複数の次元において、オブジェクト１２４にわたって、光の勾配を調査することが可能である。円柱オブジェクト１２４が、図１に示されるように垂直方向の位置にある場合、マーカサンプルにおける光の勾配は、円柱面における湾曲に起因して水平方向において変化する。すなわち、マーカサンプルから抽出される色彩の明度は、湾曲した縁付近におけるより暗いレベルから、オブジェクトの中間におけるより明るいレベルに進展し、オブジェクトの他の湾曲した縁付近においてより暗いレベルに戻る。対照的に、垂直方向のマーカサンプルにおける光の勾配は、その寸法において湾曲が存在しないため、オブジェクト１２４の頂部から底部まで一定である。

対象のエリアは、２次元、３次元または交差次元であるフィルタによってその対象のエリアが表されることが可能な交差次元面によって、表示されることが可能である。撮像デバイス１３８（図２参照）によって生成された色彩および明度のデータとそのデータに適用されるフィルタとは、システムにおいて考慮される製品を観察するときに、次元制約に基づいて変化することも可能である。

コンポーネント２－色彩レンダリング
色彩認識モジュール１６２は、識別されたマーカに対する各マーカの可能性を決定することによって、データをレンダリングする。これが決定されることが可能である複数の手法が存在する。

１つの例示的な実施形態では、色彩認識モジュール１６２は、データを単一の変数内に配置し、その変数が最も類似した変数を見出すまで、その変数を同等のマーカと比較する。上記の「変数」は、ＲＧＢ色彩値を参照する。単一の変数は、特定のマーカにおける単一の選択されたピクセルからの色彩値を参照する。

これに代えて、色彩認識モジュール１６２は、データ（例えば、撮像デバイス１３８からのＲＧＢおよび明度データ）を得ることが可能であり、各マーカについての配列内の色彩のすべての単一のデータを評価する。この場合、「配列」は、上記の単一の変数とは対照的に、複数の変数を参照する。例えば、色彩認識モジュール１６２は、ピクセルのグリッドをラベルにわたってレイアウトすることによって追加の変数を得ること、またラベルの色彩全体を理解するように、グリッドにおける各ピクセルについてのＲＧＢ色彩値を取り出すことが可能である。

これは、データから色彩を得ることと、そのデータを各マーカについての所望の色彩と比較することとによって行われる。次いで、２つの色彩間の差異を調べた後、その違いは変数に格納される。理論上は、色彩が理想的な色彩に近いほど差異は小さくなり、一方、理想的な色彩から離れるほど差異は大きくなる。複数の色彩の各１つを比較することと、各データの差異を同一の配列内に加えることとによって、マーカのすべてから加えられたより小さい値は、最も類似した値である必要がある。

コンポーネント３－色彩一致（マッチング）技術
色彩認識モジュール１６２は、これに代えて、色彩信号処理において用いられる、色相、彩度、および明度（ＨＳＶ）、色相、彩度、および輝度（ＨＳＬ）、ならびに赤色、緑色、および青色（ＲＧＢ）技術を用いた、異なる型を実装してよい。ＨＳＶおよびＨＳＬでは、色彩認識モジュール１６２は、色彩を決定する手法として色相を用いる。差異は、このマーカである可能性がどのくらいであるかに等しい。３Ｄ空間における距離を決定するようにユークリッドの方法を用いることによるＲＧＢでは、色彩認識モジュール１６２は、このマーカである可能性を決定するための追加の変数として距離を使用する。その可能性は、ＲＧＢ、ＨＳＶおよびＨＳＬの組合せとして評価されることも可能である。ＲＧＢ、ＨＳＶおよびＨＳＬについての結果を解析することによって、色彩認識モジュール１６２は、示された色彩である可能性がどのくらいであるかを確実に決定することが可能である。

さらに別の代替の解析技法では、色彩認識モジュール１６２は、所望のマーカに基づくフィルタを用いることによって、類似性を評価する。データが交差次元フィルタを用いることによって評価され、色彩と評価の結果とを調べる場合、実際のデータを用いたこのフィルタは、追跡されるオブジェクトである画像の可能性を生じる。ＨＳＶおよびＨＳＬでは、ＨＳＶおよびＨＳＬをより正確にするように、色彩認識モジュール１６２は、色相を過剰値として評価し、同様に、色彩がある範囲内である場合に限り、その色彩しか受け入れない。

コンポーネント４－オフセット計算技術
オフセットは、すべての他のマーカを有する平らな場の中に色彩を置くように用いられる変数である。例えば、特定の色彩の大きい広がりが存在すると、色彩認識モジュール１６２は、大きな量のこの色彩が存在することを認識し、他のマーカ同士のランク付けにおいてその色彩を一様にすることを決定することが可能である。オフセットの使用は、画像をレンダリングすること、関連する色彩以外の色彩を取り除くこと、およびその色彩の量を減少させることであり、その結果、異なるオブジェクト１２４と誤認することはできない。オフセットは、色彩の量による画像の圧縮の手法である。しかしながら、オフセットは、システムが、影響を受けるエリアの場所を具体的に知ること、また関係ない色彩を避けることを補助する色彩フィルタの表示であることも可能である。

コンポーネント５－オフセットレンダリング
オフセットは、影響を受けるエリアに関連付けられた撮像データを識別することによって処理される。オフセットは、対象のエリアを示すファイル、または対象のエリアにとって重要でない色彩の圧縮された量を表す変数によって表されることが可能である。オフセットは、データをシステムのものと同様に取得するように、色彩認識モジュール１６２によってレンダリングされることが可能であり、必要なフィルタまたは変数を生成する。オフセットは、無視されることが望まれるデータ、または無視される必要がある関連する色彩からのデータを表す。例えば、ラベルは、赤色の背景における白色文字により、主に赤色であってよい。通常の条件下では、色彩認識システムが白色文字を識別するのは困難であり得る。本明細書に記載されるオフセットレンダリングは、色彩認識モジュール１６２に、白色文字がより容易に背景から見分けられるように、主な色（本例においては赤色）を無視させるよう、有効に命令する。

コンポーネント６－色彩マーカペアリング
マーカは、カテゴリおよびサブカテゴリによって分類される。ここでは、カテゴリは、まず形状、次いで色彩として定められることが可能であり、または、まず色彩、次いで形状として定められることが可能である。これらは同様に、必要に応じて、色彩に基づいて個々のマーカとして定められることも可能である。

コンポーネント７－限定認識
十分に類似しない場合にはいくつかのマーカが示されることを防止することが可能であるシステム内に、変数が存在する。同様に、明度および他の要因を考慮するべく正確さの増加および減少を補助することが可能である変数が存在することが可能である。ラベルが色彩認識モジュール１６２によって識別されることができない場合、任意のビデオがモバイルデバイス１１６に表示されることを防止することが可能であってよい。

コンポーネント８－ホワイトバランス
この特徴は、様々な光源における、より高精度な色彩検出を可能とする。例えば、日没時、照明は非常に黄色になる。青色のラベルがこの照明下に置かれるとき、アプリは、出力が微かな青色を伴う黄色となることを読み取る。これは、所望される青色の結果の代わりに、黄色のラベルの失敗した出力を生じる。解決策は、完全な白色であるラベルの部分を選択することである。白色が何色になっているかを理解することによって、本当の色を出力するように画像を再調節することが可能である。図８の例は、チワワの犬がラベル上にあり白色ピクセルがチワワの画像の真下にあるラベルを示す。

別の例では、撮影者は、露出における白色バランスを提供するように、１８％の反射率のグレーカードを用いる。カラー写真におけるグレーカードの使用は、周知である。同様に、ラベルは、上記の完全な白色ピクセルまたはグレーカードである、ラベル上の小さい色彩補正セグメントまたは領域を含むことが可能である。

コンポーネント９－ＲＧＢキューブ
撮像デバイス１３８（図２参照）によってキャプチャされたオブジェクトの色彩構成を決定することが有用であり得る。３Ｄ空間にＲＧＢキューブを生成することによって、色彩の精密な出力を正確に示すことができる。図９は、色彩認識モジュール１６２が色彩の識別時に何を行っているかを視覚的に理解するように、トラブルシューティングツールとして便利に用いられ得る、そうした色彩キューブを示す。ＲＧＢキューブは、赤色をＸ軸に、青色をＺ軸に、および緑色をＹ軸に置くことによって、出力の色彩を反映する。撮像デバイス１３８（図１参照）を通じて色彩が検出されたとき、その色彩は色彩認識モジュール１６２を通じて送られ、検出された実際の色彩としてＲＧＢキューブに反映される。現時点では、ＲＧＢキューブは、トラブルシューティング動作に用いられるが、色彩認識モジュール１６２の実際の動作には用いらない。

結論
したがって、色彩認識モジュール１６２は、以下のコンポーネントのうちの１つまたはすべてを用いることが可能である。検出、色彩レンダリング、色彩一致技術、オフセット計算技術、オフセットレンダリング、色彩マーカペアリング、限定認識ホワイトバランス、およびＲＧＢキューブ。したがって、このコンポーネントのうちのいずれかの任意の組合せは、色彩認識モジュール１６２によって実装されることが可能である。

システム１００は、類似の形状であるが異なる色彩の異なるマーカ同士を区別するように、色彩認識モジュール１６２を使用することができる。色彩認識モジュール１６２は、フィルタリングシステムを用いることと設定を制限することとによって、色彩の任意の区域間の差異を決定することも可能である。

色彩認識モジュール１６２の動作は、図６のフローチャートに記載され、ここでは、開始２３０にて、モバイルデバイス１１６における撮像デバイス１３８（図２参照）がオブジェクト１２４の画像をキャプチャしている。工程２３２では、色彩認識モジュール１６２は、マーカを識別子、識別されたマーカに関連する関連データを取り出す。工程２３６では、色彩認識モジュール１６２は、色彩一致解析を行い、識別されたマーカの色彩を決定する。

工程２３８では、色彩認識モジュール１６２は、必要に応じて大きい広がりの色彩の効果を減少させるべく色彩レベルを調節するように、オフセット計算を決定する。工程２４０では、色彩認識モジュール１６２は、色彩のオフセットを適用し、対象の特定のエリアにとっては重要でない色彩を調節する。工程２４２では、色彩認識モジュール１６２は、色彩とマーカとをペアリングするように構成されている。上記の通り、この処理は、形状および色彩の両方に対し行われてよい。工程２４４では、色彩認識モジュール１６２は、マーカが期待された値に十分類似しない場合は、マーカを制限する（すなわち、除去する）。

工程２４６では、色彩認識モジュール１６２は、色彩解釈エラーを導き得る周囲の照明条件用に調節するべく、ホワイトバランス処理を行うように構成されている。上記の通り、ホワイトバランス処理は、オブジェクト（例えば、図１におけるオブジェクト１２４）において知られた白色ピクセルを用いてよい。同様のホワイトバランス処理が、ラベル上の白色補正セグメントまたはグレーカード補正セグメントにより行われることが可能である。

トラブルシューティング目的のため、工程２４８では、撮像デバイス１３８（図２参照）からの色彩データは、図９に示されるように表示するため、ＲＧＢキューブに対し送られることが可能である。これは、例えば、ラベル上の白色ピクセルまたは白色／灰色補正セグメントを用いた白色バランスの調節とともに、有用であり得る。最後に、工程２５０では、オブジェクトは色彩認識に基づいて識別され、処理は２５２にて終了する。

言語識別
システム１００はまた、異なる言語のオーディオファイルの選択を可能とする。この態様では、特定のビデオＡＲファイルは、複数の対応するオーディオファイルであるが、異なる言語のものであってよい。上記の通り、モバイルデバイスのユーザは、モバイルデバイスの動作用の言語を、そのデバイス自身の初期のセットアップの一部として選択する。そのデータは、データ記憶エリア１４０（図２参照）に記憶される。

モバイルデバイス１１６は、言語選択データをサーバ１０２（図１参照）に送る。このデータは、オブジェクト識別データの送信に含まれてよく、または別々の通信であってよい。サーバは、オブジェクト識別データに基づいて所望のビデオＡＲファイルを識別する。上記の通り、サーバは、識別されたビデオＡＲファイルに対応する複数のオーディオＡＲファイルにアクセスすることが可能である。サーバ１０２は、次いで、モバイルデバイス１１６からの言語選択データに対応する言語の対応するオーディオＡＲファイルのうちの１つを選択するように、言語選択データを用いることが可能である。言語識別およびオーディオＡＲファイル選択は、図７のフローチャートにおいて概説される。開始２６０にて、モバイルデバイス１１６はユーザによって構成されており、言語選択を含むユーザ選択パラメータはデータ記憶エリア１４０（図２参照）に維持される。工程２６２では、モバイルデバイス１１６におけるシステム１００は、そのモバイルデバイス用のユーザ言語選択を読み取る。工程２６４では、モバイルデバイスは、言語選択データを上記の通信リンクを介してサーバ１０２に送る。

サーバ１０２（図１参照）は、工程２６６において、受信した情報を用いて、選択された言語を識別する。サーバ１０２は、随意では、特定のモバイルデバイス（例えば、図１のモバイルデバイス１１６）に関連付けられた言語選択パラメータを記憶してよい。工程２６８では、サーバ１０２は、選択されたビデオファイルに対応するとともに選択された言語に一致するオーディオデータファイルを選択する。工程２７０では、サーバ１０２は、オーディオファイルを、ビデオファイルに対する適切な言語選択に結び付ける。工程２７２では、サーバ１０２は、適切な選択されたビデオファイルを有するＡＲファイルと、ユーザ選択言語を有する対応するオーディオファイルとを、そのユーザ選択言語のその対応するオーディオファイルの表示および再生用に、モバイルデバイス１１６に対し送信する。処理は、２７４にて終了する。

上記の実施形態は、様々な他のコンポーネント内に含まれる、または様々な他のコンポーネントと接続される、様々なコンポーネントを示す。示されたアーキテクチャは例示に過ぎず、実際には多くの他のアーキテクチャが同じ機能を達成するように実装されることが可能であることが理解される。

概念的な意味では、同じ機能を達成するためのコンポーネントの任意の配置が、所望の機能を達成するように、有効に「関連する」。したがって、特定の機能を達成するように組み合わせられた本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間コンポーネントにかかわらず、所望の機能が達成されるように、互いに「関連付けられている」と理解される。同様に、そのように関連付けられた任意の２つのコンポーネントは、所望の機能を達成するように、互いに対し「動作可能に接続されている」、または「動作可能に結合されている」とも見られることが可能である。

本開示の実施形態は、以下の項を考慮して記載されることが可能である。
１．モバイル通信デバイスにおける拡張現実（ＡＲ）の制御のための方法であって、
表示用にレンダリングされる１つ以上のオブジェクトを含む画像をキャプチャするように構成された撮像デバイスと、
キャプチャされた前記画像を２次元データ配列としてメモリに記憶する工程と、
記憶された前記画像内のレンダリングされる前記オブジェクトを検出する工程と、
前記オブジェクトの構造的形状を識別する形状識別工程と、
前記オブジェクトの色彩を識別する工程と、
前記オブジェクトの識別された前記構造および識別された前記色彩に基づいて、キャプチャされた前記画像における前記オブジェクトを識別する工程と、
前記オブジェクトについての構造的形状情報および色彩情報を含むオブジェクト識別データを、サーバに対し送信する工程と、
前記サーバが、前記オブジェクト識別データを用いて、前記サーバに記憶された複数のＡＲビデオファイルから１つの拡張現実（ＡＲ）ビデオファイルを選択する工程と、
選択された前記１つのＡＲビデオファイルを前記モバイル通信デバイスに対し送信する工程と、
前記モバイル通信デバイスが、受信された前記１つのＡＲビデオファイルを前記モバイル通信デバイスのディスプレイにおいて再生する工程と、を備える、方法。

２．前記モバイル通信デバイスが、前記モバイル通信デバイスの動作用のユーザ言語選択に基づく言語選択パラメータを送信する工程と、
前記サーバが、受信された前記言語選択パラメータを用いて、前記サーバに記憶された複数のＡＲオーディオファイルから１つの拡張現実（ＡＲ）オーディオファイルを選択する工程であって、選択された前記１つのＡＲオーディオファイルは、選択された前記１つのＡＲビデオファイルに対応し、前記言語選択パラメータに対応する言語によるＡＲオーディオファイルである、工程と、
選択された前記１つのＡＲオーディオファイルを前記モバイル通信デバイスに対し送信する工程と、
前記モバイル通信デバイスが、受信された前記１つのＡＲビデオファイルが前記モバイル通信デバイスの前記ディスプレイにおいて再生されるのとともに、受信された前記ＡＲオーディオを前記モバイル通信デバイスのオーディオ出力デバイスにおいて再生する工程と、をさらに備える、１項に記載の方法。

３．前記形状識別工程は、
キャプチャされた前記画像を複数の部分を生成するように分解することによって、キャプチャされた前記画像内のオブジェクト同士を区別する工程と、
グリッドを適用することによって、キャプチャされた前記画像内の湾曲および境界を識別する工程と、
光の勾配を評価することによって、キャプチャされた前記画像におけるオブジェクトの任意の湾曲を識別する工程と、をさらに含む、１または２項に記載の方法。

４．前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを３次元（３Ｄ）円柱オブジェクトとして識別する工程をさらに含む、３項に記載の方法。

５．前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを３次元（３Ｄ）矩形オブジェクトとして識別する工程をさらに含む、３または４項に記載の方法。

６．前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを２次元（２Ｄ）オブジェクトとして識別する工程をさらに含む、３～５項のいずれか一項に記載の方法。

７．前記形状識別工程は、
製品の３次元（３Ｄ）モデルを生成する工程と、
様々な回転位置における前記３Ｄモデルの一連の画像をキャプチャすることによって、前記３Ｄモデルの３６０°の一連の画像を生成する、キャプチャ工程と、
記憶された前記画像を前記３Ｄモデルの前記一連の画像のうちの１つ以上と比較し、記憶された前記画像と前記３Ｄモデルの前記一連の画像のうちの前記１つ以上との間の一致を決定することによって、記憶された前記画像を識別する工程と、をさらに含む、１～６項のいずれか一項に記載の方法。

８．前記キャプチャ工程は、前記３Ｄモデルの前記一連の画像を増分１度の複数の回転位置にてキャプチャすることによって、１度の回転増分で前記３Ｄモデルの３６０個の画像を生成する工程を含む、７項に記載の方法。

９．キャプチャされた前記オブジェクトの特定の領域を指定する工程と、
キャプチャされた前記オブジェクトの前記特定の領域に関連付けられた色彩データを取り出す工程と、
色彩一致解析を行い、キャプチャされた前記オブジェクトの前記特定の領域の前記色彩を決定する工程と、をさらに含む、１～８項のいずれか一項に記載の方法。

１０．前記色彩識別工程は、
キャプチャされた前記オブジェクトの前記特定の領域における大きい広がりの色彩の効果を減少させるべく色彩レベルを調節するように、オフセット計算を決定する工程と、
色彩のオフセットを適用することによって、キャプチャされた前記オブジェクトの前記特定の領域において重要でない前記大きい広がりの色彩を調節する工程と、をさらに含む、９に記載の方法。

１１．前記色彩識別工程は、
前記オブジェクトの１つの領域を白色領域として指定する工程と、所定の周囲光条件下における前記白色領域に関連付けられた色彩データ値を取り出す工程と、
前記所定の周囲光条件下における前記白色領域に関連付けられた前記色彩データ値を記憶する工程と、
キャプチャされた前記画像の前記白色領域に関連付けられた色彩データ値を取り出す工程と、
前記白色領域についての取り出された色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の差異を決定する工程と、
前記白色領域についての取り出された前記色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の前記差異に基づいて、キャプチャされた前記画像について前記色彩データを調節し、それによって、前記所定の周囲光条件とは異なる周囲光条件を補償するように色彩バランスを調節する工程と、をさらに含む、９または１０項に記載の方法。

１２．色彩ディスプレイを有するモバイル通信デバイスにおける拡張現実（ＡＲ）の制御のためのシステムであって、
表示用にレンダリングされる１つ以上のオブジェクトを含む画像をキャプチャするように構成された撮像デバイスと、
計算命令を記憶するように、またキャプチャされた前記画像を記憶するように構成された、データ記憶デバイスと、
前記計算命令を取り出すように前記データ記憶デバイスに対し結合された１つまたは複数のプロセッサと、を備え、前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
記憶された前記画像内のレンダリングされる前記オブジェクトを検出することと、
オブジェクトの構造的形状を識別することと、
前記オブジェクトの色彩を識別することと、
前記オブジェクトの識別された前記構造および識別された前記色彩に基づいて、キャプチャされた前記画像における前記オブジェクトを識別することと、
前記オブジェクトについての構造的形状情報および色彩情報を含むオブジェクト識別データを、サーバに対し送信することと、
前記モバイル通信デバイスにて、前記オブジェクト識別データの前記サーバに対する前記送信に応答して、前記オブジェクト識別データに基づいて、前記サーバに記憶された複数のＡＲビデオファイルから、前記サーバによって選択された１つの選択された拡張現実（ＡＲ）ビデオファイルを受信することと、
受信された前記１つのＡＲビデオファイルを前記モバイル通信デバイスの前記色彩ディスプレイにおいて再生することと、を行わせる、システム。

１３．オーディオ出力デバイスを有するモバイル通信デバイスとともに用いるためのシステムであって、
前記モバイル通信デバイスが、前記モバイル通信デバイスの動作用のユーザ言語選択に基づく言語選択パラメータを送信することと、
前記モバイル通信デバイスにて、前記言語選択パラメータの前記サーバに対する前記送信に応答して、前記言語選択パラメータに基づいて、前記サーバに記憶された複数のＡＲオーディオファイルから、前記サーバによって選択された１つの選択された拡張現実（ＡＲ）オーディオファイルを受信することと、
前記モバイル通信デバイスの前記色彩ディスプレイにおいて再生されている受信された前記１つのＡＲビデオファイルとともに、受信された前記１つのＡＲオーディオファイルを前記モバイル通信デバイスの前記オーディオ出力デバイスにおいて再生することと、をさらに備える、１２項に記載のシステム。

１４．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
キャプチャされた前記画像を複数の部分を生成するように分解することによって、キャプチャされた前記画像内のオブジェクト同士を区別することと、
グリッドを適用することによって、キャプチャされた前記画像内の湾曲および境界を識別することと、
光の勾配を評価することによって、キャプチャされた前記画像におけるオブジェクトの任意の湾曲を識別することと、によって、前記オブジェクトの構造的形状を識別することをさらに行わせる、１２項に記載のシステム。

１５．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を３次元（３Ｄ）円柱オブジェクトとして識別することをさらに行わせる、１４項に記載のシステム。

１６．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を３次元（３Ｄ）矩形オブジェクトとして識別することをさらに行わせる、１４または１５項に記載のシステム。

１７．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を２次元（２Ｄ）オブジェクトとして識別することをさらに行わせる、１４～１６項のいずれか一項に記載のシステム。

１８．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
製品の３次元（３Ｄ）モデルを生成することと、
様々な回転位置における前記３Ｄモデルの一連の画像をキャプチャすることによって、前記３Ｄモデルの３６０°の一連の画像を生成することと、
記憶された前記画像を前記３Ｄモデルの前記一連の画像のうちの１つ以上と比較し、記憶された前記画像と前記３Ｄモデルの前記一連の画像のうちの前記１つ以上との間の一致を決定することによって、記憶された前記画像を識別することと、をさらに行わせる、１２～１７項のいずれか一項に記載のシステム。

１９．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、前記３Ｄモデルの前記一連の画像を増分１度の複数の回転位置にてキャプチャすることにより、１度の回転増分で前記３Ｄモデルの３６０個の画像を生成することによって、前記オブジェクトの構造的形状を識別することをさらに行わせる、１８項に記載のシステム。

２０．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
キャプチャされた前記オブジェクトの特定の領域を指定することと、
キャプチャされた前記オブジェクトの前記特定の領域に関連付けられた色彩データを取り出すことと、
色彩一致解析を行い、キャプチャされた前記オブジェクトの前記特定の領域の前記色彩を決定することと、によって前記オブジェクトの前記色彩を識別することをさらに行わせる、１２～１９項のいずれか一項に記載のシステム。

２１．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
キャプチャされた前記オブジェクトの前記特定の領域における大きい広がりの色彩の効果を減少させるべく色彩レベルを調節するように、オフセット計算を決定することと、
色彩のオフセットを適用することによって、キャプチャされた前記オブジェクトの前記特定の領域における前記大きい広がりの色彩を減少させることと、によって、前記オブジェクトの前記色彩を識別することをさらに行わせる、２０項に記載のシステム。

２２．前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
前記オブジェクトの１つの領域を白色領域として指定することと、
所定の周囲光条件下における前記白色領域に関連付けられた色彩データ値を取り出すことと、
前記所定の周囲光条件下における前記白色領域に関連付けられた前記色彩データ値を記憶することと、
キャプチャされた前記画像の前記白色領域に関連付けられた色彩データ値を取り出すことと、
前記白色領域についての取り出された色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の差異を決定することと、
前記白色領域についての取り出された前記色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の前記差異に基づいて、キャプチャされた前記画像について前記色彩データを調節し、それによって、前記所定の周囲光条件とは異なる周囲光条件を補償するように色彩バランスを調節することと、をさらに含む、２０または２１項に記載のシステム。

本発明の特定の実施形態が示され、記載されているが、当業者が、本明細書における教示に基づいて、本発明および本発明のより広い態様から逸脱することなく、変更及び修正をなし得ることが明らかであり、したがって、添付の特許請求の範囲は、すべてのそうした変更及び修正が本発明の本質および範囲内であるように、本発明の範囲に含まれる。さらに、本発明は、添付の特許請求の範囲によって定められるに過ぎないことが理解される。一般に、本明細書および特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）において用いられる用語、は、一般に、「開いた」用語として示されることが、当業者によって理解される。（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれらに限定されない」と解され、用語「有する」は、「少なくとも・・・を有する」と解され、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれらに限定されない」と解されるなど。）前置の請求項記載の特定の数値が意図される場合、そうした意図は、請求項に明示的に記載され、そうした記載がない場合はそうした意図が存在しないことが、当業者によってさらに理解される。例えば、理解を補助するように、以下の添付の特許請求の範囲は、請求項記載の前置きをするように、前置きのフレーズ「１つ以上の」および「１つまたは複数の」の使用を含み得る。しかしながら、そうしたフレーズの使用は、同一の請求項が前置きのフレーズ「１つまたは複数の」または「１つ以上の」および「１つの（ａ）」または「１つの（ａｎ）」（例えば、「１つの（ａ）」および／または「１つの（ａｎ）」は、典型的には、「１つ以上の」または「１つまたは複数の」を意味するように解される）などの不定冠詞を含むときでも、不定冠詞「１つの（ａ）」または「１つの（ａｎ）」による請求項記載の前置きが、１つのそうした記載しか含まない発明に対するそうした前置きの請求項記載を含む、任意の特定の請求項を限定することを示唆するようには考慮されず、同一の理解が、請求項記載の前置きをするように使用される定冠詞の使用について当てはまる。これに加えて、前置きの請求項記載の特定の数値が明示的に記載されたとしても、当業者は、そうした記載は典型的には記載された数値以上（例えば、他の修飾を伴わない「２つの記載」の最低限の記載は、典型的には、２つ以上の記載、または２つもしくはより多くの記載である）を意味するように解されることを認識する。
したがって、本発明は、添付の特許請求の範囲による場合を除いて限定されない。

Claims (22)

1. モバイル通信デバイスにおける拡張現実（ＡＲ）の制御のための方法であって、
   表示用にレンダリングされる１つ以上のオブジェクトを含む画像をキャプチャするように構成された撮像デバイスと、
   キャプチャされた前記画像を２次元データ配列としてメモリに記憶する工程と、
   記憶された前記画像内のレンダリングされる前記オブジェクトを検出する工程と、
   前記オブジェクトの構造的形状を識別する形状識別工程と、
   前記オブジェクトの色彩を識別する色彩識別工程と、
   前記オブジェクトの識別された前記構造および識別された前記色彩に基づいて、前記オブジェクト内の特定のエリアをマーカとして検出する工程と、
   前記特定のエリアの形状および色彩に基づいて、前記マーカを識別する工程と、
   識別された前記マーカに対応する識別データを、サーバに対し送信する工程と、
   前記サーバが、前記マーカの前記識別データを用いて、前記サーバに記憶された複数のＡＲビデオファイルから１つの拡張現実（ＡＲ）ビデオファイルを選択する工程と、
   選択された前記１つのＡＲビデオファイルを前記モバイル通信デバイスに対し送信する工程と、
   前記モバイル通信デバイスが、受信された前記１つのＡＲビデオファイルを前記モバイル通信デバイスのディスプレイにおいて再生する工程と、を備える、方法。
2. 前記モバイル通信デバイスが、前記モバイル通信デバイスの動作用のユーザ言語選択に基づく言語選択パラメータを送信する工程と、
   前記サーバが、受信された前記言語選択パラメータを用いて、前記サーバに記憶された複数のＡＲオーディオファイルから１つの拡張現実（ＡＲ）オーディオファイルを選択する工程であって、選択された前記１つのＡＲオーディオファイルは、選択された前記１つのＡＲビデオファイルに対応し、前記言語選択パラメータに対応する言語によるＡＲオーディオファイルである、工程と、
   選択された前記１つのＡＲオーディオファイルを前記モバイル通信デバイスに対し送信する工程と、
   前記モバイル通信デバイスが、受信された前記１つのＡＲビデオファイルが前記モバイル通信デバイスの前記ディスプレイにおいて再生されるのとともに、受信された前記ＡＲオーディオを前記モバイル通信デバイスのオーディオ出力デバイスにおいて再生する工程と、をさらに備える、請求項１に記載の方法。
3. 前記形状識別工程は、
   キャプチャされた前記画像を複数の部分を生成するように分解することによって、キャプチャされた前記画像内のオブジェクト同士を区別する工程と、
   グリッドを適用することによって、キャプチャされた前記画像内の湾曲および境界を識別する工程と、
   光の勾配を評価することによって、キャプチャされた前記画像におけるオブジェクトの任意の湾曲を識別する工程と、をさらに含む、請求項１に記載の方法。
4. 前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを３次元（３Ｄ）円柱オブジェクトとして識別する工程をさらに含む、請求項３に記載の方法。
5. 前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを３次元（３Ｄ）矩形オブジェクトとして識別する工程をさらに含む、請求項３に記載の方法。
6. 前記形状識別工程は、キャプチャされた前記画像における前記光の勾配に基づいて、キャプチャされた前記オブジェクトを２次元（２Ｄ）オブジェクトとして識別する工程をさらに含む、請求項３に記載の方法。
7. 前記形状識別工程は、
   製品の３次元（３Ｄ）モデルを生成する工程と、
   様々な回転位置における前記３Ｄモデルの一連の画像をキャプチャすることによって、前記３Ｄモデルの３６０°の一連の画像を生成する、キャプチャ工程と、
   記憶された前記画像を前記３Ｄモデルの前記一連の画像のうちの１つ以上と比較し、記憶された前記画像と前記３Ｄモデルの前記一連の画像のうちの前記１つ以上との間の一致を決定することによって、記憶された前記画像を識別する工程と、をさらに含む、請求項１に記載の方法。
8. 前記キャプチャ工程は、前記３Ｄモデルの前記一連の画像を増分１度の複数の回転位置にてキャプチャすることによって、１度の回転増分で前記３Ｄモデルの３６０個の画像を生成する工程を含む、請求項７に記載の方法。
9. キャプチャされた前記オブジェクトの特定の領域を指定する工程と、
   キャプチャされた前記オブジェクトの前記特定の領域に関連付けられた色彩データを取り出す工程と、
   色彩一致解析を行い、キャプチャされた前記オブジェクトの前記特定の領域の前記色彩を決定する工程と、をさらに含む、請求項１に記載の方法。
10. 前記色彩識別工程は、
    キャプチャされた前記オブジェクトの前記特定の領域における大きい広がりの色彩の効果を減少させるべく色彩レベルを調節するように、オフセット計算を決定する工程と、
    色彩のオフセットを適用することによって、キャプチャされた前記オブジェクトの前記特定の領域において重要でない前記大きい広がりの色彩を調節する工程と、をさらに含む、請求項９に記載の方法。
11. 前記色彩識別工程は、
    前記オブジェクトの１つの領域を白色領域として指定する工程と、所定の周囲光条件下における前記白色領域に関連付けられた色彩データ値を取り出す工程と、
    前記所定の周囲光条件下における前記白色領域に関連付けられた前記色彩データ値を記憶する工程と、
    キャプチャされた前記画像の前記白色領域に関連付けられた色彩データ値を取り出す工程と、
    前記白色領域についての取り出された色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の差異を決定する工程と、
    前記白色領域についての取り出された前記色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の前記差異に基づいて、キャプチャされた前記画像について前記色彩データを調節し、それによって、前記所定の周囲光条件とは異なる周囲光条件を補償するように色彩バランスを調節する工程と、をさらに含む、請求項９に記載の方法。
12. 色彩ディスプレイを有するモバイル通信デバイスにおける拡張現実（ＡＲ）の制御のためのシステムであって、
    表示用にレンダリングされる１つ以上のオブジェクトを含む画像をキャプチャするように構成された撮像デバイスと、
    計算命令を記憶するように、またキャプチャされた前記画像を記憶するように構成された、データ記憶デバイスと、
    前記計算命令を取り出すように前記データ記憶デバイスに対し結合された１つまたは複数のプロセッサと、を備え、前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    記憶された前記画像内のレンダリングされる前記オブジェクトを検出することと、
    オブジェクトの構造的形状を識別することと、
    前記オブジェクトの色彩を識別することと、
    前記オブジェクトの識別された前記構造および識別された前記色彩に基づいて、前記オブジェクト内の特定のエリアをマーカとして検出することと、
    前記特定のエリアの形状および色彩に基づいて、前記マーカを識別する工程と、
    識別された前記マーカに対応する識別データを、サーバに対し送信することと、
    前記モバイル通信デバイスにて、前記マーカの前記識別データの前記サーバに対する前記送信に応答して、前記マーカの前記識別データに基づいて、前記サーバに記憶された複数のＡＲビデオファイルから、前記サーバによって選択された１つの選択された拡張現実（ＡＲ）ビデオファイルを受信することと、
    受信された前記１つのＡＲビデオファイルを前記モバイル通信デバイスの前記色彩ディスプレイにおいて再生することと、を行わせる、システム。
13. オーディオ出力デバイスを有するモバイル通信デバイスとともに用いるためのシステムであって、
    前記モバイル通信デバイスが、前記モバイル通信デバイスの動作用のユーザ言語選択に基づく言語選択パラメータを送信することと、
    前記モバイル通信デバイスにて、前記言語選択パラメータの前記サーバに対する前記送信に応答して、前記言語選択パラメータに基づいて、前記サーバに記憶された複数のＡＲオーディオファイルから、前記サーバによって選択された１つの選択された拡張現実（ＡＲ）オーディオファイルを受信することと、
    前記モバイル通信デバイスの前記色彩ディスプレイにおいて再生されている受信された前記１つのＡＲビデオファイルとともに、受信された前記１つのＡＲオーディオファイルを前記モバイル通信デバイスの前記オーディオ出力デバイスにおいて再生することと、をさらに備える、請求項１２に記載のシステム。
14. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    キャプチャされた前記画像を複数の部分を生成するように分解することによって、キャプチャされた前記画像内のオブジェクト同士を区別することと、
    グリッドを適用することによって、キャプチャされた前記画像内の湾曲および境界を識別することと、
    光の勾配を評価することによって、キャプチャされた前記画像におけるオブジェクトの任意の湾曲を識別することと、によって、前記オブジェクトの構造的形状を識別することをさらに行わせる、請求項１２に記載のシステム。
15. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を３次元（３Ｄ）円柱オブジェクトとして識別することをさらに行わせる、請求項１４に記載のシステム。
16. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を３次元（３Ｄ）矩形オブジェクトとして識別することをさらに行わせる、請求項１４に記載のシステム。
17. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、キャプチャされた前記画像における前記光の勾配に基づいて、前記オブジェクトの前記構造的形状を２次元（２Ｄ）オブジェクトとして識別することをさらに行わせる、請求項１４に記載のシステム。
18. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    製品の３次元（３Ｄ）モデルを生成することと、
    様々な回転位置における前記３Ｄモデルの一連の画像をキャプチャすることによって、前記３Ｄモデルの３６０°の一連の画像を生成することと、
    記憶された前記画像を前記３Ｄモデルの前記一連の画像のうちの１つ以上と比較し、記憶された前記画像と前記３Ｄモデルの前記一連の画像のうちの前記１つ以上との間の一致を決定することによって、記憶された前記画像を識別することと、をさらに行わせる、請求項１２に記載のシステム。
19. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、前記３Ｄモデルの前記一連の画像を増分１度の複数の回転位置にてキャプチャすることにより、１度の回転増分で前記３Ｄモデルの３６０個の画像を生成することによって、前記オブジェクトの構造的形状を識別することをさらに行わせる、請求項１８に記載のシステム。
20. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    キャプチャされた前記オブジェクトの特定の領域を指定することと、
    キャプチャされた前記オブジェクトの前記特定の領域に関連付けられた色彩データを取り出すことと、
    色彩一致解析を行い、キャプチャされた前記オブジェクトの前記特定の領域の前記色彩を決定することと、によって前記オブジェクトの前記色彩を識別することをさらに行わせる、請求項１２に記載のシステム。
21. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    キャプチャされた前記オブジェクトの前記特定の領域における大きい広がりの色彩の効果を減少させるべく色彩レベルを調節するように、オフセット計算を決定することと、
    色彩のオフセットを適用することによって、キャプチャされた前記オブジェクトの前記特定の領域における前記大きい広がりの色彩を減少させることと、によって、前記オブジェクトの前記色彩を識別することをさらに行わせる、請求項２０に記載のシステム。
22. 前記計算命令は、実行された場合、前記１つまたは複数のプロセッサに、
    前記オブジェクトの１つの領域を白色領域として指定することと、
    所定の周囲光条件下における前記白色領域に関連付けられた色彩データ値を取り出すことと、
    前記所定の周囲光条件下における前記白色領域に関連付けられた前記色彩データ値を記憶することと、
    キャプチャされた前記画像の前記白色領域に関連付けられた色彩データ値を取り出すことと、
    前記白色領域についての取り出された色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の差異を決定することと、
    前記白色領域についての取り出された前記色彩データ値と、前記所定の周囲光条件下における前記白色領域に関連付けられた記憶された前記色彩データ値と、の間の前記差異に基づいて、キャプチャされた前記画像について前記色彩データを調節し、それによって、前記所定の周囲光条件とは異なる周囲光条件を補償するように色彩バランスを調節することと、をさらに含む、請求項２０に記載のシステム。

Images