JP4890552B2 - モバイル画像認識を介した双方向性 - Google Patents

Description

本出願は、２００５年８月２９日に出願された米国仮出願第６０／７１２５９０号に対して優先権を主張する。

本発明は、モバイルネットワーク、電話などのモバイル機器、およびこのような機器を介してユーザに提供されユーザから提供される情報の分野に関する。

Ｂｏｎｃｙｋらによる２００６年３月２１日に公布され、本明細書に参照によりその全体が組み込まれる米国特許第７，０１６，５３２号は、個人が自分の携帯電話、ＰＤＡ等を用いて２次元および３次元のオブジェクトのデジタル画像を撮ることができ、その画像（群）またはその画像（群）から得られた情報は末端サーバに送信でき、そのサーバは送信された情報を用いてその画像内のオブジェクトを識別できる方法および処理を説明している。オブジェクトを識別して、次にサーバは、追加情報（電話番号、アドレス、ウェブリンクなど）をそのデジタル画像を撮る個人に返すことができる。その人は次に、購入を行う、インターネットサーフィングを行う等などの任意のふさわしい方法でその追加情報を用いることができる。

人の電話を用いて限定された方法で仮想（ｖｉｒｔｕａｌ）ゲーム世界と対話することも知られている。例えば、携帯電話をゴルフクラブとして用いて、仮想ゴルフコースと対話することができる（ｈｔｔｐ：／／ｍｏｂｈａｐｐｙ．ｔｙｐｅｐａｄ．ｃｏｍ／ｒｕｓｓｅｌｌ＿ｂｕｃｋｌｅｙｓ＿ｍｏｂｈａｐｐｙ／２００５／０１／ｉｎｄｅｘ．ｈｔｍｌ）。他の例として、携帯電話は仮想の宝捜しをプレイするのに用いることができ（ｈｔｔｐ：／／ｗｗｗ．ｊｏｙｓｔｉｑ．ｃｏｍ／２００６／０２／２４／ｇｐｓ−ｇａｍｉｎｇ／）、仮想の落書きを残すかまたは探すことができる（ｈｔｔｐ：／／ｗｗｗ．ｄｗ−ｗｏｒｌｄ．ｄｅ／ｄｗ／ａｒｔｉｃｌｅ／０，１５６４，１４８１９９３，００．ｈｔｍｌ）。

カメラ付モバイル機器がソフトウェアと合わせて使用され、実世界のオブジェクトに関係する情報を識別し、次にその情報を用いて（ａ）電子ゲームの態様、または（ｂ）モバイル機器付属の第２の機器のうちの一方を制御することができることは理解されていない。

本発明は、カメラ付モバイル機器がソフトウェアと合わせて用いられ、実世界のオブジェクトに関係する情報を識別し、次にその情報を用いて（ａ）電子ゲームの態様または（ｂ）モバイル機器付属の第２の機器のうちの一方を制御するシステム、方法、および装置を提供する。

考えられる使用では、その他の入力は、ほとんどどのようなものでも可能であり、例えば、パスワード、偽の武器の引き金としてのボタンの使用、宝捜しでのステップの印付け、実世界と仮想のオブジェクトの両方を有するビデオゲームのプレイ、投票等を含む。

実世界の状況および仮想世界の状況の組み合わせも、ほとんどどのようなものでも可能である。例えば、実世界の状況は、比較的静的なもの（雑誌内の広告など）から比較的動的なもの（雲の形成、テレビセット上の画像、人間または自動車の位置など）までいろいろあってよい。さらに、仮想世界の状況は、比較的静的なもの（仮想通貨または他のリソースを購入する選択肢など）から比較的動的なもの（ビデオゲームでの仮想登場人物の位置など）まで別個にいろいろあってよい。

本出願の本発明の対象の好ましい実施形態は、以下のステップを含む。この処理のステップ１およびステップ２は、米国特許第７，０１６，５３２号で開示された。
１）情報の接続が、モバイル機器により取り込まれたイメージに基づき、モバイル機器と情報リソース（ウェブサイトなど）の間で確立される。これは、モバイル機器でオブジェクトの画像を取り込み、その画像を末端サーバに送信し、サーバでそのオブジェクトを認識し、サーバが情報リソースのアドレスをモバイル機器に送信することにより行われる。
２）ユーザは、モバイル機器を介して情報リソースから情報を得る。
３）ユーザは、以前に確立された情報の接続に基づき、情報リソースまたはオブジェクトと対話する。この対話は、様々な種類であってよく、例えば以下を含む：
上記処理の複数回の反復
トランザクションの実行
ゲームでのアクションの実行
ドア（物理的または仮想の）を開けてセキュアな情報またはセキュアな位置へのアクセス
ＴＶプログラミングとの対話（チャンネルを選択することを含む）
他の人々との通信。

本明細書で用いるときには、「モバイル機器」という用語は、デジタルカメラなどの画像取り込み機能を含み、携帯電話ネットワークおよび／またはインターネットなどの少なくとも１つのネットワークへの接続性を有する携帯機器を意味する。モバイル機器は、移動電話（携帯またはその他）、ＰＤＡ、または他の携帯機器であってよい。

本明細書で用いるときには、「アプリケーション」という用語は、通常はソフトウェア内にあり、サーバ、モバイル機器、またはその両方に常駐する、マシンが実行可能なアルゴリズムを意味する。

本明細書で用いるときには、「ユーザ」という用語は、アプリケーションと対話する人間を意味する。

本明細書で用いるときには、「サーバ」という用語は、画像内のまたは画像から得られる情報内のオブジェクトを認識するための少なくとも部分的な機能を有する装置を意味する。

図１では、第１の例示の種類の処理１００が、ユーザがモバイル機器を使用してオブジェクトの少なくとも１つの画像を取り込むステップ１１０と、少なくとも一部の画像、またはその画像から得られた情報、またはその両方が、末端サーバにネットワークを介して送信されるステップ１２０と、サーバが画像内の少なくとも１つのオブジェクトを認識するステップ１３０と、サーバが、オブジェクトの同一性、および現在の時刻、オブジェクトの監視された状態、ユーザの位置等などの他の情報に基づき、なんらかの情報を決定するステップ１４０とを含む。オブジェクトの外観が時間に伴い変化する場合、この時間で変化する外観は、この情報の決定で用いられてよい。この時間で変化する外観はさらに、この情報の決定で現在の時刻と相関関係を持ってよい。

他に考えられるステップは、ネットワークおよびモバイル機器を介してユーザに情報を提供するステップ１５２、ネットワークおよびモバイル機器を介してユーザに情報のアドレスを送信するステップ１５４、コンピュータ、マシン、または他の装置に命令を送信してアクションを行うステップ１５６、およびアプリケーションにより実行されるアクションに基づきユーザがアクションを行うステップ１５８を含む。

上記のプロセスは、望むだけまたは適切なだけの回数を繰り返してよい。ユーザは、アプリケーションにより実行されるアクションに基づき、少なくとも１つの追加の画像を取り込むか、あるいはサーバまたは他の装置に他の入力を与え、それにより新しいサイクルを開始してよい。

図２では、仮想空間と対話する別の種類の方法２００は、モバイル機器を用いて実世界のオブジェクトの画像データを電子的に取り込むステップ２１０と、この画像データを用いて実世界のオブジェクトに関係する情報を識別するステップ２２０と、この情報を用いて少なくとも部分的にモバイル機器の外部で操作されているソフトウェアと対話し、（ａ）電子ゲームの態様、および（ｂ）モバイル機器付属の第２の機器のうちの少なくとも１つを制御するステップ２３０とを備える。

２４２として集団で示される任意のステップ群は、モバイル機器を用いて静止ビデオまたは動画を電子的に取り込むことを含む。

２４４として集団で示される任意のステップ群は、画像データを用いて実世界のオブジェクトの名前を識別するか、実世界のオブジェクトを分類するか、実世界のオブジェクトをゲーム内のプレイヤーとして識別するか、実世界のオブジェクトをゴールオブジェクトとしてまたはゲーム内のなんらかの他の価値を有するものとして識別するか、画像データを用いて実世界のオブジェクトをゲーム内のゴールオブジェクトとして識別するか、あるいはモバイル機器の近くの環境的特徴を確認することを含む。

２４６として集団で示される任意のステップ群は、ユーザ群のうちの他のユーザと対話できる、少なくとも３人以上の、好ましくは少なくとも５人の同時ユーザ群に対応するソフトウェアを含む。

２４８として集団で示される任意のステップ群は、仮想武器の使用、音楽の仮想再生、または仮想旅行に関するデータなど、ゲームに入力を与えることを備える。

２５０として集団で示される任意のステップ群は、チャンネルを変更すること、あるいはなんらかの他の方法でＴＶまたは他の機器を制御することを備える。

２５２として集団で示される任意のステップ群は、地理座標を備える位置指示子など、モバイル機器の物理位置の指示子を用いてソフトウェアと対話することをさらに備える。

２５４として集団で示される任意のステップ群は、モバイル機器の方向および加速度のうちの少なくとも１つを用いてソフトウェアと対話することをさらに備える。

（実施例）
図１では、システムは、携帯電話または他のモバイル機器を使用してオブジェクトの画像を取り込むユーザを含む。例えばＣＤ（コンパクトオーディオディスク）のジャケットまたはＣＤの表面の可視画像、ＤＶＤ（デジタルビデオディスク）、雑誌広告、消費財などを含む、すべての現実のオブジェクトが考えられる。オブジェクトの識別が、オンラインショッピングアプリケーション内のユーザのオンライン「買い物かご」に追加される。買い物かごは、ユーザが購入するつもりである項目のリストを表す。次にユーザは、ユーザが購入するつもりであるかまたはユーザが情報を求める追加のオブジェクトの画像を取り込むことにより買い物を続ける。

ユーザは、ゲームアプリケーションの情報から、ユーザがゲームのステップとして探さねばならない「ゴールオブジェクト」の同一性、性質、および／または位置を推定する。次にユーザは「候補オブジェクト」を探すが、これは、ユーザがゴールオブジェクト、あるいはゴールオブジェクトに近いかまたはゴールオブジェクトへの経路上にあるかのいずれかであるか、そうでなければゴールオブジェクトに対するユーザの探索に関係する別のオブジェクトのいずれかであると信じるものである。ユーザは、ユーザの携帯電話で候補オブジェクトの画像を取り込む。この画像はサーバに送信され、認識される。候補オブジェクトがゴールオブジェクトである場合、ユーザはゲームでポイントを獲得する。候補オブジェクトがゴールオブジェクトでないが、代わりにゴールオブジェクトへの経路にあるかゴールオブジェクトの近くにある場合、アプリケーションは、ゲームが時間、位置、参加者、参加者の状態および進行状況、ならびに他の要因に伴い変化するように、ユーザにＡ）ゴールオブジェクトへの進行状況に関わる情報、および／またはＢ）ゴールオブジェクトと、ゴールオブジェクト群と、報酬ポイントと、ヒントと、動的であることが可能であるゲームの様々な他の面とに対してどのように進行するかに関わるヒントを与えてよい。

ユーザは、ビル、店舗、彫像、または他のこのような「ターゲットオブジェクト」の画像を取り込む。ターゲットオブジェクトに関する対話型コンテンツおよび／または情報は、モバイル機器を介してユーザに与えられる。対話型コンテンツおよび／または情報は、ターゲットオブジェクトの外観に基づき作成および／または修正される。例えば、冷たい飲み物の広告が、ユーザの位置の天候が暑く快晴であるという判定に基づきユーザに送信されてよい。このようなユーザの位置の状態の判定は、Ａ）画像内の影の出現、Ｂ）天候の情報リソースから得られた温度データ、Ｃ）全世界測位システム、無線周波数帯域および／または三角測量、あるいは他の手段により判定されるモバイル機器の位置、Ｄ）光の出現（例えば、街路灯、ネオンサイン、照明された広告板等）、ならびにＥ）現在の時刻のうちの少なくとも１つに基づいてよい。

ユーザは、一般公衆のアクセスから制限されたセキュアな位置、情報リソース、コンピューティングリソース、または他のそのようなもの（「セキュアなリソース」）にアクセスすることを望む。ユーザは、セキュアなリソースの近くにあるか、またはそうではなくセキュアなリソースに対応しているサインなどのセキュアなリソースまたはオブジェクトの画像を自分のモバイル機器で取り込む。画像はサーバに送信される。サーバは、ユーザがセキュアなリソースにアクセスすることを望んでいると判定する。サーバは、ユーザに（モバイル機器を介して）メッセージを送信し、ユーザにユーザの顔および／またはなんらかの他の識別物の画像を与えるように指図する。次にユーザは、自分の顔または他の識別物の画像を取り込み、この画像がサーバに送信される。サーバは、画像内のユーザの顔または他の識別物を認識することによりユーザの同一性を確認する。次にサーバは、ユーザにパスワードを与えるように指図する。ユーザは、パスワードを、モバイル機器に話すか、モバイル機器のキーボードに入力するか、別の機器のキーボード（セキュアなリソースに取り付けられたキーボードなど）に入力するか、または他の手段により与える。パスワードは、セキュアなリソース、ユーザの同一性、現在の時刻、および他の要因により変化してよい。次にサーバまたは他の装置は、パスワード、現在の時刻、ユーザの同一性、ユーザの位置、セキュアなリソースの位置、および／または他の要因の確認に基づき、セキュアなリソースへのユーザのアクセスを承諾または拒否する。

シミュレートされた武器の射撃を含むゲームが、以下のように提供されてよい。ユーザが、射撃しようと望むオブジェクトに自分のモバイル機器を向ける。ユーザは、自分のモバイル機器の画面表示に、武器を用いているシミュレートされた表示を見る。例えば、ユーザは、自分の前の実世界の背景に重ねられた狙いをつけた照準器の十字を見ることができる。ユーザは、ボタンを押下するかまたは他のなんらかの入力（例えば画面入力または音声命令）をモバイル機器に行うことによりシミュレートされた武器を「発射」する。モバイル機器は画像を取り込み、それをサーバに送信する。他の情報もその画像に加えてサーバに送信されてよい。アプリケーション（サーバとモバイル機器のうちの１つまたは両方にソフトウェアを備える）は、画像内にオブジェクト（群）を認識し、シミュレートされた武器の照準点にそれらを関連付ける。次にアプリケーションは、モバイル機器の画面上で武器の発射のシミュレーションを行う。このシミュレーションは、実世界の背景の画像に重ねられてよい。様々な要因により、武器は、まったくの無効果からシミュレートされた目標を完全に破壊するまで、ゲームの中で様々な効果を有してよい。このような効果は、モバイル機器のアニメーション、ビデオ、および／または音響でシミュレートされてよい。このような効果は、サーバ、モバイル機器、またはその両方で生成されるか、あるいはサーバまたは他のコンピュータからダウンロードされてよい。武器を発射するという結果は、画像内のオブジェクトの同一性と、ユーザに対する、および武器の照準点に対するそれらのオブジェクトの位置とを含む様々な要因に依存してよい。

複数のユーザが、互いに戦うことをシミュレートしてよい。このような場合で、ユーザが他のユーザを撃つ場合、各プレイヤーのモバイル機器は、対応する出力を表示する。例えば、ひとりのユーザ（「犠牲者」）が他のユーザにより撃たれる場合、犠牲者のモバイル機器は、受け手側からその攻撃を描写するアニメーションおよび音響効果を生成してよい。犠牲者は、このような攻撃の結果、ポイント（スコア、健康、またはそれ以外）を自分のゲームポイントから差し引かれてよい。このようなゲームの中のユーザ、ならびに他のユーザに対する、および武器の照準点に対するユーザの位置は、様々な手段で判定されてよい。このような手段は、例えば、ユーザにより装着された「ブルズアイ（ｂｕｌｌｓ−ｅｙｅ）」のタグを含んでよい。このような場合、例えば、ブルズアイのシンボルが武器の照準点に対応する画像の部分に現れる場合、犠牲者は成功裡に「撃たれる」ことのみが可能である。

刀、盾、ミサイル、発射物、またはビーム兵器などの他のシミュレートされた武器も、このようなゲーム内で使用されてよい。

方向、加速度、および／または位置のセンサーがモバイル機器内に含まれる場合、モバイル機器の方向および／または加速度は、ゲームなどのアプリケーションへの入力として使用されてよい。例えば、ユーザが、自分のモバイル機器の動きを介して自分のシミュレートされた刀を制御することにより、シミュレートされた刀での戦いに従事してよい。その他の例は、ユーザが自分のモバイル機器の動きを介してシミュレートされたオブジェクトを制御する、飛行、ドライビング、または他のシミュレータである。このようなゲームでは、ゲームは、モバイル機器、あるいはテレビまたはコンピュータなどのなんらかの他の機器により表示されてよい。この場合、モバイル機器は基本的に、コンピューティングシステムへのマウス、ジョイスティック、ドローイングペン、または他の手動の入力機器として働く。方向および／または加速度のセンサーは、モバイル機器に内蔵されてよく、あるいはモバイル機器に完全にまたは部分的に外付けで実装されてよい（例えば、無線周波数または磁気の位置判定を用いる）。

ユーザは、自分のモバイル機器を用いてコンテンツと対話してよいが、「コンテンツ」とは電子的に提供されたプログラミング、ゲーム、または他の情報を意味する。このコンテキストにおけるコンテンツの例は、テレビ番組、コンピュータゲーム、ビデオゲーム、ラジオ番組、動画、音楽、ニュース番組等である。この適用例では、ユーザは、少なくとも１つのオブジェクトの画像を取り込み、画像内のオブジェクトはサーバにより認識され、次にオブジェクトの同一性に基づき、ならびに必須ではないがユーザの同一性、現在の時刻、および他のこのような要因にも基づいて、このコンテンツは修正される。

この使用の例は、ユーザが雑誌内または新聞内の広告または他の項目の画像を取り込み、それにより自分のテレビにその項目に対応するコンテンツを受信させるというものである。これは、サーバがＡ）チャンネルの変更をテレビに指図するようにユーザのテレビに対して、またはＢ）ユーザのテレビにコンテンツを次に送信する他のサーバまたはコンピューティングシステムに対してメッセージを送信することにより実現されてよい。この処理は、テレビを介するだけではなく、例えば、コンピュータ、ラジオ、オーディオ機器、またはゲーム機器を含む、コンテンツをユーザに提供可能な任意の機器を介して実現されてよい。

ユーザがコンテンツの受信を開始したあと、ユーザは、追加の画像の取り込み、モバイル機器の動き、または他の入力を介してコンテンツと対話し続けてよい。例えばユーザは、電子広告板（または他の電子表示）の画像を取り込んでよい。サーバは、広告板の画像を認識し、次に広告板を制御する、ユーザとコンピュータの間の通信経路を確立する。次に広告板は、ユーザに、視覚のおよび音声のコンテンツを含む新しく対話型であるコンテンツを表示してよい。ユーザは、広告板を介して追加の画像の取り込みおよび／またはモバイル機器の動きを通してこのコンテンツと対話してよい。このような対話でのコンテンツは、広告板、モバイル機器、またはそれらの任意の組み合わせを通してユーザに提供されてよい。このような対話は、広告（例えば広告板を介して）、娯楽（例えばコンピュータ、テレビ、あるいはオーディオおよび／またはビデオ表示機能を有する他のこのような機器を介して）、仕事、勉強等に用いられてよい。このような対話はまた、自動販売機、切符販売機、インフォメーションセンター等などの対話型機械に用いられてよい。

複数のユーザは互いに対話できる。ユーザは、なんらかの方法で関係している「出発点」（実世界の物理的オブジェクト）に基づきコンテンツに「リンク」されていることにより、仮想空間、コミュニティ、または環境内で互いに接続可能である。

例えば、数人のユーザが、同一の広告板（対話型またはそれ以外の）の画像を取り込むことにより、互いにリンク可能である。次にこれらのユーザは、広告板上および／またはユーザのモバイル機器上に表示されている同一の対話体験に参加可能である。これらのユーザは、概して互いに物理的に近いところにいる。一例が、スコアボードまたは他の表示を「クリック」（取り込んだ画像）したことにより、自分のモバイル機器を介してスポーツイベントと対話する、スポーツイベントでの観客である。他の例は、同一の動的表示（例えば巨大スクリーン表示）の前で表示コンテンツと互いとの両方と対話する複数のユーザである。会合または会議でのユーザは、そのグループおよび他のユーザに票を投じるか、またはその他の方法で対話できる。

ユーザは、たとえ互いに物理的に近くなくとも、同様に共通の仮想環境に参加してよい。一例は、同一の種類の飲料ボトルを「クリック」し（画像を取り込み）、それにより互いに接続されている複数のユーザである。他の例は、テレビ番組またはインターネットベースの番組を「クリック」し、同様に互いに接続されている複数のユーザである。会合でのユーザは、物理的に出席していない可能性があるが電子的な接続を介して出席している他のユーザと対話できる。このような会合の遠隔の出席者（物理的に出席していない）も、概してこの会合と対話できる。

ユーザは、テレビまたは他のこのようなオーディオ／ビデオのコンテンツと直接対話できる。これは、オブジェクトの画像を取り込み、サーバでオブジェクトを認識し、次にユーザとコンテンツの両方と対話するコンピューティングシステムにユーザを接続することにより実現される。例えばユーザは、自分のテレビ画面上のテレビ番組の画像を「クリック」（画像を取り込む）してよい。画面上にあるものの認識に基づき、ユーザは次に、テレビ番組と対話するコンピューティングシステムに接続される。この方法で、ユーザは、例えば、参加者に投票し、ストーリーの次のステップまたは望ましい結果に投票または他の方法で選択し、ストーリーの登場人物の役割を演じる等により、テレビ番組と対話できる。この技術は、テレビばかりでなく、デジタル動画、およびコンピュータゲームなどの任意の他の形態の電子的に提供された娯楽にも適用可能である。

このように、具体的な実施形態および適用例が開示されてきたが、これらの実施形態および適用例では、カメラ付モバイル機器がソフトウェアと合わせて使用され、実世界のオブジェクトに関係する情報を識別し、次にその情報を使用して（ａ）電子ゲームの態様、または（ｂ）モバイル機器付属の第２の機器のうちの一方を制御する。しかし、既に説明されたもの以外により多くの変更が、本明細書の発明概念から逸脱することなく可能であることは当業者にとって明白であろう。したがって、本発明の対象は、特許請求の範囲の精神を除き制限されるべきではない。さらに、明細書および特許請求の範囲の両方を解釈すると、すべての用語は、コンテキストと一致する最も広い可能な方法で解釈されるべきである。特に、「備える」および「備えている」という用語は、要素、構成要素、またはステップを非排他的な方法で参照し、参照された要素、構成要素、またはステップは、明示的に参照されていない他の要素、構成要素、またはステップと共に存在し、あるいは利用され、あるいは結合されてよいことを示すと解釈すべきである。明細書の特許請求の範囲がＡ、Ｂ、Ｃ．．．．およびＮから構成されるグループから選択されたもののうちの少なくとも１つを参照する場合、その文は、そのグループから１つだけの要素を必要とし、Ｎに加えてＡ、またはＮに加えてＢ等ではないと解釈されるべきである。

本発明の対象の一態様による例示の方法の概略図である。 本発明の対象の他の態様による例示の方法の概略図である。

Claims (19)

1. 仮想空間と対話する方法であって、
   モバイル機器を用いて実世界のオブジェクトの画像データを電子的に取り込むステップと、
   画像データを用いて実世界のオブジェクトに関係する情報を、実世界の影を含む、オブジェクトの時間変化する実世界の外観に基づき識別するステップと、
   実世界の影を含む時間変化する外観から実世界の現在の時刻を求めるために、情報を用いて少なくとも部分的にモバイル機器の外部で操作されているソフトウェアと対話し、（ａ）電子ゲームの態様および（ｂ）モバイル機器付属の、前記ゲームに無関係の第２の機器のうちの少なくとも１つを、時間変化する実世界の外観および求められた実世界の現在の時刻に依存する関数に基づき制御するステップと
   を備える、方法。
2. モバイル機器を用いて実世界のオブジェクトの画像データを電子的に取り込むステップが、静止画像を取り込むステップを備える、請求項１に記載の方法。
3. モバイル機器を用いて実世界のオブジェクトの画像データを電子的に取り込むステップが、ビデオ画像を取り込むステップを備える、請求項１に記載の方法。
4. 画像データを用いて情報を識別するステップが、画像データを用いて実世界のオブジェクトの名前を識別するステップを備え、関数は名前に依存する、請求項１に記載の方法。
5. 画像データを用いて情報を識別するステップが、画像データを用いて実世界のオブジェクトを分類するステップを備え、関数は実世界のオブジェクトの分類に依存する、請求項１に記載の方法。
6. 画像データを用いて情報を識別するステップが、画像データを用いて実世界のオブジェクトをゲーム内のプレイヤーとして識別するステップを備え、関数は識別されたプレイヤーに依存する、請求項１に記載の方法。
7. 画像データを用いて情報を識別するステップが、画像データを用いて実世界のオブジェクトをゲーム内で価値を有するものとして識別するステップを備え、関数は価値に依存する、請求項１に記載の方法。
8. 画像データを用いて情報を識別するステップが、画像データを用いて実世界のオブジェクトをゲーム内のゴールオブジェクトとして識別するステップを備え、関数はゴールに依存する、請求項１に記載の方法。
9. 画像データを用いて情報を識別するステップが、画像データを用いてモバイル機器の近くの環境的特徴を確認するステップを備え、関数は実世界の環境的特徴に依存する、請求項１に記載の方法。
10. ソフトウェアが、ユーザ群のうちの他のユーザと対話できる少なくとも３人の同時ユーザ群に対応する、請求項１に記載の方法。
11. ソフトウェアが、ユーザ群のうちの他のユーザと対話できる少なくとも５人の同時ユーザ群に対応する、請求項１に記載の方法。
12. 電子ゲームの態様が、ゲームに入力を与えるステップを備える、請求項１に記載の方法。
13. 入力が仮想武器の使用に関係するデータを備える、請求項１２に記載の方法。
14. 入力が音楽の仮想再生に関係するデータを備える、請求項１２に記載の方法。
15. 入力が仮想旅行に関係するデータを備える、請求項１２に記載の方法。
16. 第２の機器の制御が、チャンネルを変更するステップを備える、請求項１に記載の方法。
17. モバイル機器の指示子または物理位置を用いてソフトウェアと対話するステップをさらに備える、請求項１に記載の方法。
18. 指示子または物理位置が地理座標を備える、請求項１７に記載の方法。
19. モバイル機器の方向および加速度のうちの少なくとも１つを用いてソフトウェアと対話するステップをさらに備える、請求項１に記載の方法。

Images