JP7256746B2 - ビデオストリーム中の光変調信号を検出する装置及び方法 - Google Patents

Description

本発明は、ビデオストリーム中の光変調信号の、検出と追跡との少なくとも一方を実施する方法に関する。

関連技術の説明ビデオ信号の連続フレーム内の対象物を識別し追跡するためのコンピュータビジョンに基づく様々な方法が従来技術において知られている。一例として、特許文献１は、タグ付けされるアイテム内に識別装置を設けることによって、移動中又は一時停止中の画像に現れるアイテムのタグ付けを可能にするための方法及びシステムに関し、このアイテムの画像を含む動画フッテージをキャプチャすることと、動画フッテージの各フレーム内の識別手段の存在及び位置を検出することと、したがって、動画の各フレーム内のアイテムの位置を決定することとを備える方法及びシステムである。識別装置の位置を自動的に決定することで、それから、動画を保存又は送信するときに適切なタグを、商品に自動的に関連付け可能である。この方法は、特定の識別装置を必要とする。

特許文献２は、ビデオ追跡のための赤外光の使用を記載している。

特許文献３は、画像内の監視対象物の位置及び向きを評価する方法を記載している。しかしながら、方位の検出は、比較的大きい対象に対してのみ可能である。単一画素のような小さい対象物、又は円形の対象物の向きは、決定するのは、かなり困難であるかさらには不可能である。

特許文献４は、移動体装置間の通信のための光信号に基づく方法を記載している。各画素の位置は検出されない。

これらの方法のいずれも、特に、比較的長い距離からと、第１の移動体装置が第２の移動体装置のディスプレイ上に小さな対象物又は単一の画素としてしか見えないときに、第２の移動体装置に対して第１の移動体装置を識別及び位置決めするのには、適さない。

別の態様によれば、火器をシミュレートする没入型（あるキャラクターとして場面を進めていく）コンピュータゲームが、先行技術において既に知られている。一例として、特許文献５は、没入型拡張現実ゲームを作成するためのヘッドマウントディスプレイシステム及び位置追跡機器を含むゲームシステムを記載している。そのような機器のコストと重量は、重要である。

特許文献６は、武器での戦闘シミュレーションに適合されたポータブルコンピューティング装置用のソフトウェアアプリケーションを記載している。カメラは、コンピューティング装置のディスプレイスクリーン上に画像を表示するために使用される。画像は、一組の所定の基準に基づいて修正されてもよい。所定の基準は、使用されている仮想兵器、環境条件、及び他の要因に基づいて変更され得る。ユーザ入力に応答して、現在の画像がキャプチャされる。画像キャプチャの時間、ユーザの地理的位置、及び画像内に描かれている敵の識別は、画像と共に中央サーバに送信される。各送信された画像のタイムスタンプは、画像を取り込む前にユーザが排除されなかったことを確認するために分析される。爆薬は、爆発の場所と破壊の半径を決定するためにＧＰＳを使用して、シミュレートされる。このシステムでは、対戦相手のショットの識別は手動で行われる。一連のショットを発射すると、ユーザはショット写真を調べて、対戦相手チームのメンバーに当たったことを視覚的に確認する。この識別は面倒であり、ある程度の時間経過後にしか行うことができないので、決闘の参加者は相手に攻撃が当たったかどうかすぐにはわからない。

特許文献７は、地理位置情報に基づく同様のゲームを記載している。

特許文献８は、（同類の装置の別の装置に照準するため）コリメート赤外光と、同類の装置の別の装置からやってくる光線を検出するため、６個のフォトダイオードのアレイとを備えた外部ハードウェアに基づく携帯電話でのマルチユーザ拡張現実レーザーゲームを、記載している。

そのようなビデオゲームでは、対戦相手が、プレーヤーの移動体装置によってキャプチャされた画像又はビデオ上に存在するかどうか自動的に検出することが望ましいだろう。

別の使用分野では、地理的用途では、寸法又は距離を評価するために、シーン内の移動体装置などのアイテムの位置を決定する必要があることが多い。

さらに別の使用分野では、自律可能な装置ナビゲーションは、同じタイプの他の装置の位置、識別情報及び／又は意図の決定、あるいは基準のフレームに対する装置の位置の決定を、しばしば必要とする。

国際公開第２００９／１５３５５７号 特開２００３－３４８４２４号公報 仏国特許出願公開第２９１１７０７号明細書 米国特許出願公開第２０１５／０５０９９４号明細書 米国特許出願公開第２００７／１３２７８５号明細書 米国特許出願公開第２０１５／０８００７１号明細書 米国特許出願公開第２０１６／２２８７７０号明細書 米国特許出願公開第２０１７／２０９７８９号明細書

したがって、本発明の目的は、カメラを備えた第２の移動体装置（後述する受信機装置又は装置Ａ）のカメラにキャプチャされた画像フレーム内の第１の装置（後述する発光器装置又は装置Ｂ）を検出及び識別する方法及び装置を提供することである。

一態様によれば、この目的は、カメラを備えた受信移動体装置による、明かりを備えた発光装置の検出及び識別する方法によって達成される。当該方法において、
発光装置は、その識別情報をアドバタイズするために光変調識別信号を発信し、
受信移動体装置は、カメラで一連のフレームをキャプチャし、
変調信号は、フレームから検出され、
第２の移動体装置のカメラフレーム内の発光装置の画素位置が検出される。

発光装置は、移動体装置であり得る。

別の態様によれば、本発明はまた、明かりを備えた発光器装置の識別情報をアドバタイズするための方法に関する。当該方法において、発光器装置は、その識別情報をアドバタイズするために光変調識別信号を発信する。

別の態様によれば、本発明はまた、発光器装置を識別する方法に関する。当該方法は、
受信機移動体装置で画像をキャプチャすることと、
画像内又は画像の関心領域内の変調光源を検出することと、
変調が発光器移動体装置に対応する場合は、発光器装置を識別することと、を備える。

一般に、本発明は、カメラを装備した装置が他の装置（より正確にはその上に設置された明かり）の画素位置を追跡する方法に関し、これは検出された装置に光信号（可視、又は赤外線などの不可視光）を出させることによって達成される。この光信号は、追跡装置に知られているか、あるいは、追跡装置によって知られている信号のセットに属する信号である。

本発明はまた、以前に取得されたフレームと、関心領域の全ての画素について強度履歴を検索することで、知られている信号（弱く、ノイズに埋もれている信号でも）の発見を可能にする方法に関する。

本発明において、光信号の主な目的は情報のストリームを伝達することではない。ここでは、通信に使用される信号は受信機に知られていないため（そして、より多くの情報が通信を通じて通信されると、ノイズからの信号分離がより困難となる）、通常のデジタル符号化を使用する視覚又は赤外線光通信（光無線通信又はＬｉ－Ｆｉなど）とは異なる。しかしながら、ある情報は、検出される対象の装置が、１つ又は別の既知の信号のセットを介して発することを選択し得るという事実によって伝えられ、それは装置が特定の信号に関連付けられた状態の通信を可能にする。

セット内の信号の数と同じ数の異なる光信号を発する装置があり、その結果、どの発光器装置がどのチャネルを使用しているかを検出装置が知っていれば、この画素位置での信号の検出は、この画素における装置の明確な検出に対応する。

本発明はまた、無線通信と組み合わせ、画素位置での装置検出に関し、それによって装置は（どの装置がどの信号を使用しているかのペアリング情報を含む）情報を効率的かつ高速で交換するようにしてもよい。

検出された画素が装置と関連付けられると、この画素は、検出された装置と通信された任意の情報によって順番に関連付けられ得る。

目に見えない光（赤外光など）を使用して点滅光を見る不快感を回避し、高速カメラの使用でより速い検出を達成し、単色光及びカメラの使用でさらにより高感度を達成するようにしてもよい。

本発明を大気条件に対してより耐性を持たせ、かつ屋外運用により適したものにするために、大気中の湿度（又は霧）による吸収の影響が少ない波長と、太陽のスペクトルとあまり重ならない（長波長赤外線のような）波長との少なくとも一つを、使用してもよい。

本発明はまた、無線通信だけでなく、装置の地理位置機能及びサーバへのアクセスの可能性の検出の組み合わせにも関する。これは、マルチユーザ拡張現実標的ゲームのような拡張現実におけるアプリケーションを可能にする。

スマートフォン又はスマートグラスでは、信号を発する光はカメラのフラッシュＬＥＤ又は専用の赤外線ライトであってもよい。

一実施形態では、本発明はさらに、自動車やドローンのような自己ナビゲート装置のためのガイダンスシステムに関する。これは、同類の装置の他のものの検出のみならず明確な識別能力からの恩恵が得られる。

一実施形態では、本発明の方法はまた、自動車がその無線カメラアドホックネットワーク（ＶＡＮＥＴ）を介して受信した明確な情報を、そのカメラの視野内の特定の自動車に関連付けることを可能にする。

本発明の装置及び方法は、コリメート光を必要としない。替わりに、それは多くの移動体装置で一般的に利用可能な全方向性光を使用してもよい。

一態様によれば、追跡を目的としている受信機装置は、検出された発光器装置の位置に拡張現実マークを追加し、ゲーム内の異なる対戦相手などの異なる発光器を区別するようにしてもよい。これは実際の射撃の前や、受信機装置が他の場所を狙っている場合でも、可能である。

本発明は、例として挙げられ、以下の図に描かれた、複数の実施態様の記載を助けに、よりよく理解されるであろう。

図１は、本発明の一実施形態による、１つの受信機移動体装置Ａと３つの発光器装置Ｂとを備えるシステムの概略図を示す。 図２は、複数の発光器装置Ｂを表示する、受信機移動体装置Ａのカメラの画像フレームを表す。 図３は、全て発光器及び受信機移動体装置（複合装置ＡＢ）として動作する４つの移動体装置を備えるシステムの概略図を示す。 図４は、図１のシステムにおける光変調信号及び信号認識アルゴリズムのあり得る実施例を示す。 図５は、地理的用途に使用される、本発明の一実施形態によるシステムの一例を示す。 図５の一実施形態における受信機移動体装置Ａのディスプレイ表示の一例を示す図である。 拡張現実標的ゲームのための応用例における、受信側移動体装置のディスプレイ上の２つの連続する画像を示す図である。 図８は、無線情報交換と、サーバ又はクラウドＣへのアクセスとを伴う、図７に記載された原理に基づくマルチプレーヤーゲームの一例における４つの移動体装置（発光器／受信機複合装置ＡＢ）のセッションの概略図を示す。 図９の（Ａ）は、セッションのメンバー間で共有される追加の地理位置情報を有する、図６の原理に基づくマルチプレーヤーゲームセッションの一例における組み合わされた移動体装置ＡＢの表示図を示す。図９の（Ｂ）は、ゲームセッションに参加している様々なプレーヤーの位置を表すマップ図を示す。 図１０は、各プレーヤーが、互いに無線接続された、発光器移動体装置Ｂ及び受信機移動体装置Ａを装備している、図７で説明された原理に基づくゲームセッションの例を示す。 安全ゾーンを画定する無線ビーコンを有する、図８に記載された原理に基づくゲームセッションの一例の概略図を示す。 図１２は、本発明の一実施形態による巡回検出アルゴリズムを表す処理フローチャートを示す。 図１３は、本発明の一実施形態による、（図４に示すような）光変調信号を検出するためのＤＦＴに基づく巡回検出アルゴリズムを表すプロセスフローチャートを示す。 図１４は、本発明の一実施形態による、相互作用する受信機装置Ａと発光器装置Ｂとのセッションのシステムフローチャートを示す。 図１５は、本発明の一実施形態による、（図３に表されているように）相互作用する複合装置ＡＢのセッションのシステムフローチャートを示す。 図１６は、本発明の一実施形態による、ディスプレイ及び位置情報システムを備え、（図７に表されるゲームセッションのように）そのセッションをホストするサーバＣへのアクセスを伴う、複合移動体装置ＡＢのセッションを表すシステムフローチャートを示す。 図１７は、本発明の一実施形態による、各ユーザが（図８に表されるゲームセッションにおけるように）互いに無線接続された受信機装置Ａと発光器装置Ｂとを装備した、セッションを表すシステムフローチャートを示す。 図１８は、本発明の一実施形態による、（図９に表されるゲームセッションのように）アクティブゾーンを画定する無線ビーコンＷと相互作用する複合移動体装置ＡＢのセッションを表すシステムフローチャートを示す。 ビデオカメラを装備したスマートフォンとしての複合装置ＡＢとカメラフラッシュライトの実施形態の一例の概略図である。 図２０は、装置Ａとしての赤外線カメラ及び装置Ｂとしての赤外光を備えたスマートグラスとしての複合装置ＡＢの実施形態の別の例の概略図を示す。 図２１は、左側に、装置Ａのカメラの視野内の絵画に取り付けられた３つの装置Ｂによって形成された基準系を表す概略図を示し、右側に、絵画の拡張現実感を示す、装置Ａのディスプレイを示す。 図２２は、左側に、装置Ａの視野内の建物の周りに基準系を形成する３つの装置Ｂを含むシーンと、中央に、上方から見た装置Ｂに対する装置Ａの位置特定の幾何学的表現と、そして右側に、シーンの拡張現実感ビューを示す装置Ａのディスプレイとを表す概略図を示す。

図１は、受信機移動体装置のような１つの受信機装置Ａと、発光器移動体装置のような３つの発光器装置Ｂとを備えるシステムを示す。システム内の発光器装置Ｂの数は、１以上の任意の数であってよい。同様に、受信機移動体装置Ａの数は、１以上の任意の数であってよい。そのようなシステム内で相互に作用する装置Ａと装置Ｂとの間の対話の間に交換される情報と、図の矢印で表されている情報とは、セッションとして定義されるものを形成する。

受信機装置（受信機Ａ）は、カメラを備えた電子装置であり、それは典型的には携帯型であり、そして例えばスマートフォン、タブレットコンピュータ、カメラ、スマートウォッチ、ビデオカメラ、ＩＲカメラ、ＵＶカメラであり得る。ウェアラブルデバイス、ヘッドセット、ヘルメット、ゴーグル、（電子メガネ、仮想／拡張／複合現実感ヘッドセット、ヘッドマウントディスプレイ又は仮想網膜ディスプレイシステムのような）スマートメガネ、ロボット、ドローン、自動車などであり得る。受信機装置（の位置）は、移動可能であってもよいが、用途によって受信機装置は、固定、又は検出中に固定されるものとしてもよい。

受信機装置のカメラは、（ＩＲ又はＵＶのような）可視光や非可視光に敏感な場合がある。そしてその視野角内で発光器移動体機器Ｂによって放出された光変調信号を検出可能である。より広い角度をカバーするために、複数のカメラを装備してもよい（本願記載中、「カメラ」との用語は、カメラのグループを表す場合がある）。

発光器装置Ｂは、通常全方向性の明かりを備えた電子装置である。それは典型的には携帯可能であり、そして例えばスマートフォン、タブレットコンピュータ、カメラ、スマートウォッチ、ビデオカメラ、ウェアラブルデバイス、ヘッドセット、ゴーグル、電子メガネ、スマートメガネ、ランプ、ライト、フラッシュ、ヘルメット、帽子、布、ターゲット、ロボット、ドローン、自動車、物体に取り付けられたビーコンなどであり得る。発光器装置（の位置）は、移動可能であってもよいが、用途によって発光器装置は、固定、又は発光中に固定されるものとしてもよい。

スマートフォンの場合、明かりは、例えばカメラのＬＥＤフラッシュであり得る。

図１は、複数の発光器装置Ｂ１、Ｂ２、Ｂ３を示す。各発光器装置Ｂは、その発光スペクトルが可視範囲（例えば、ＵＶ又はＩＲ）の内外にあり得る明かりを備えている。発光器装置Ｂは、例えば照明を装備した帽子、及び帽子と無線で接続されたスマートフォンなどの複数の構成要素を備えてもよい。より広い角度をカバーするため、又は全方向性を改善するために、複数の照明を装備するようにしてもよい（本願記載中、「明かり」との用語により、明かりのグループを表す場合がある）。

発光器装置Ｂの明かりのスペクトルは、受信機装置Ａのカメラのスペクトル感度範囲と重ならなければならない。受信機装置Ａのカメラは、単色であってもよく、又は装置Ｂによって発光された光のスペクトルに適合する帯域通過光学フィルタを備えてもよい（これによりスペクトルの残りから来るノイズを減少させることによって検出感度を増加させてもよい）。発光器装置Ｂの明かりは、例えばＬＥＤを使用して、又は帯域通過光学フィルタを備えることで、単色光であってもよい。発光器装置Ｂの明かりは、可視スペクトル又は赤外スペクトルにあり得る。明かりは、スマートフォンの裏側から発光され、他のスマートフォンの裏側にあるカメラによって捉えられるようにしてもよい。

各受信機装置Ａ又はいくつかの受信機装置Ａ、並びに各発光器装置Ｂ又はいくつかの発光器装置Ｂは、プロセッサと、ディスプレイとの少なくとも一方を備えてもよい。それは、位置情報システムと、無線データ通信システムとの少なくとも一方を装備してもよい。無線データ通信システムは、システム内の他の装置と、サーバ又はクラウド（本願記載においてはＣ）に付帯する他の装置との少なくとも一方と無線通信を可能にするものであるとする。本願記載においては、発光機及び受信機として機能し得る装置を、複合装置又は装置ＡＢとして定義することとする。

各発光機移動体装置Ｂは、チャネルＳを形成する光変調信号を送信する。信号は、装置Ａによって確実にかつ具体的に検出され得る信号のセットの中から選択される。信号のセットは有限のセットであってよい。

チャネルは、特定の周波数での単純な方形波信号（特定の周波数での明かりの明滅に対応する信号）又は正弦波で定義してもよい。装置がタイムベースを共有する場合（例えば、装置が互いにクロック信号を無線通信し、又は装置がＧＰＳ信号又はセルラーネットワークから取得されるタイムスタンプを使用するような場合があり得る）、チャネルの決定に、周波数に加えて、位相情報もまた使用されるようにしてもよく、信号が位相ロックループを介して制御されるようにしてもよい。周波数変調、位相変調、振幅変調、並びに離散的又は類似の変調方式を含む他の変調が使用されてもよい。より精巧な変調の使用により、より多くのチャネルが利用可能となり、各チャネルのより高い信頼性での検出が可能となり、それゆえ、特に困難な光条件において、例えば、ペアにされる各発光器装置のより高い信頼性での識別を可能にする。

キャプチャされた画像の点滅部分を検出し、それらを特定のチャネルに関連付けるために、さまざまな種類の変換又は関数を使用してもよい。例えば、アルゴリズムは、離散フーリエ変換又は自己相関関数に基づいてもよい。アルゴリズムはまた位相敏感検出（又はデジタルロックイン増幅）に基づいてもよい。代替的に、アルゴリズムは、探索される各信号と、各画素における強度信号の検出された変動との間の相関に基づいてもよい。強度信号は、各画素又は関心領域の各画素又は各部分の強度信号であってもよい。検索された信号と特定の位置で検出された信号との相関関係は、検出に対する信頼値も与える。

受信機移動体装置Ａが１つの発光器移動体装置Ｂの識別に進むために、各発光器装置Ｂは、好ましくは異なるチャネルを使用して、受信機装置Ａは各発光器装置Ｂを明確に識別するようにしてもよい。装置識別に進むために、装置Ａは、どのチャネルＳがどの装置Ｂに帰属するかを知らなければならない。これが、チャネル装置のペアリングとして定義される。

このペアリングは、セッションが開始される前に設定されてもよく、あるいは検出プロセスの前、最中、又は後に受信機装置Ａに通信されるようにしてもよい。一実施形態では、発光器装置Ｂは、それがどのチャネルで受信機装置Ａとペアになっているかを、例えば無線で通信するようにしてもよい。別の実施形態では、セッションホストとして定義された（計算能力を有し、装置Ａ又はＢとデータ通信可能な）インスタンスは、チャネルを各装置Ｂに帰属させ、チャネル－装置ペアリングを各装置Ａに、例えば無線で、通信するようにしてもよい。このセッションホストとして、移動体装置Ａ又はＢ、又は外部インスタンス（サーバ又はクラウドＣなど）を、使用してもよい。

無線通信は、無線パーソナルエリアネットワーク（ブルートゥースなどのＷＰＡＮ）と、無線ローカルエリアネットワーク（Ｗｉ－ＦｉなどのＷＬＡＮ）と、ピアツーピアＷｉ－Ｆｉと、モバイル／車両／スマートフォンアドホックネットワーク（ＭＡＮＥＴ／ＶＡＮＥＴ／ＳＰＡＮ）と、（例えば、ＧＳＭ又はＵＭＴＳのようなセルラーネットワークを介する）ワイヤレスモバイル電気通信技術と、コンピュータ情報ネットワーク（インターネットなどのＣＩＮ）と、その他無線通信との少なくとも一つを介して達成されてもよい。

受信機移動体装置Ａが、例えば、発光時間と、発光器装置の位置と、発光された光の色（又は波長）との少なくとも一つに基づいて、複数の発光器装置を他の要素と区別可能か否か、識別されるならば、それら発光器装置が同じチャネルを使用してもよい。

チャネルに関連付けられ得る情報は、装置Ａの識別に限定されない。例えば、チャネル（点滅周波数、又は他の信号など）は、装置Ｂの状態を表してもよい（この場合、利用可能なチャネルがあるのと同等の状態があり得る）。この状況では、２つ以上の装置Ｂが同じ状態を同じ時間にアドバタイズ（広表）する場合があり、各装置Ｂが時間の経過とともに状態を変えることがある。同一性について前述したように、チャネル－状態ペアリングは、セッションが始まる前に設定されてもよく、又はセッションホストによって設定され通信されてもよい。

光信号の変調に加えて、例えば、それらのうちのいくつかが同じチャネルを使用する場合、情報は、画像内で識別されたモバイル装置を区別するために使用され得る。例えば、受信機装置の照準方向は、例えば磁力計、傾斜計、加速度計などに基づいて知るようにしてもよい。例えば、全地球航法衛星システム（ＧＰＳ、ＧＬＯＮＡＳＳなどのＧＮＳ）に基づいて、屋内測位システム（Ｗｉ－Ｆｉ測位システムなどのＩＰＳ）に基づいて、ＧＳＭ又は他の無線信号に基づいた三角測量法により、各装置の地理位置情報も知られているならば、ＧＳＭ又は他の無線信号上で、及び／又は慣性測定ユニット（ＩＭＵ）に基づいて、受信機装置の照準方向と、各送信機及び受信機装置の位置とは、例えば以下の場合に、二つの発光器装置の間であいまいさを回避するために使用され得る。例えば、装置が同じチャネルを使用していることと、発光器装置の検索をそれらが発見される可能性がより高い領域に制限することとの少なくとも一方の場合である。装置は、それらの位置情報を互いに無線で（直接又はサーバ又はクラウドＣを介して）通信してもよい。

光変調は追加の情報を運ぶために使用されてもよい。追加の情報は、例えば、チャネルを規定する光変調信号に、付加される信号と、乗算された信号と、重畳された信号と、交互する信号との少なくとも一種しての情報である。

受信機移動体装置Ａのカメラの画角内にあり、チャネルＳを使用する発光器移動体装置Ｂを考察する。それゆえに、受信機装置Ａのカメラによってキャプチャされたビデオストリームは、ビデオストリームの１つの画像内か、ビデオストリームの複数の画像フレーム内の発光器装置Ｂに対応する位置に点滅する画素を備える。受信移動体装置Ａ内か、この機器によってアクセス可能なサーバ又はクラウドＣ内の、プロセッサは、全ての利用可能なチャネルのセット（又はサブセット）における各チャネルについて、最高確率でチャネルＳに対応する一つの画素（又は複数画素）（Ｘ_ｓ、Ｙ_ｓ）を見つけるために信号認識アルゴリズムを実行する。プロセッサはまた、検出信頼度ｄｓを表すパラメータを決定するようにしてもよい。この認識と決定との少なくとも一つは、リアルタイム又は後処理で、継続的又はオンデマンドで、実行されるようにしてもよい。アルゴリズムの出力値は、しかして、１つの画素（又は複数画素）位置（Ｘ_ｓ、Ｙ_ｓ）と、任意選択の検出信頼度ｄｓと、関連し得る他の任意の情報とである。装置ＢがチャネルＳとペアになっている実施形態では、装置Ｂは信頼性ｄｓを持つ位置（Ｘ_ｓ、Ｙ_ｓ）で検出される。リアルタイムで連続的に実行されるようなプロセスは、装置Ａのカメラフレーム内における装置Ｂのリアルタイム追跡を可能にする。

一実施形態では、点滅する画素の検出は、関心領域（ＲＯＩ）として定義されるディスプレイのサブ部分でのみ実行される。関心領域とは、例えば受信機移動体装置Ａのユーザによって選択又は目標とされた長方形又は準円形の関心領域である。関心領域は、フルフレームに拡張されてもよい。一実施形態では、装置はタッチセンシティブディスプレイを備えていて、ＲＯＩがディスプレイ上でのユーザ動作によって定義されるようにしてもよい。

別の実施形態では、ディスプレイはサブ部分のアレイに分割され、信号認識アルゴリズムは、例えば、メインプロセッサ上、又は好ましくはグラフィックプロセッサユニット（ＧＰＵ）上でアルゴリズムの全部又は一部を実行することによって、全て（又はユーザが選択したサブセットのような、サブセット）のサブ部分に対して並列に実行される。

様々な発光器移動体装置Ｂと受信機移動体装置Ａとのセッションの実施形態は、図１４のシステムフローチャートに表されている。この図は、２つの受信機装置Ａ１及びＡ２、３つの発光器装置Ｂ１、Ｂ２及びＢ３を示している。各受信機装置Ａ１、Ａ２は、プロセッサ又はグラフィックプロセッサ１４１によって実行されるチャネル装置ペアリングのための１つのソフトウェアモジュール１４０と、カメラ１４２とを備える。プロセッサ１４１は、各フレーム内の各検出された装置の位置Ｘ、Ｙの形で出力情報１４３を送る。セルラー部品のようなグローバルデータ通信モジュール１４４が、データ交換のために提供されてもよい。

各発光器装置Ｂ１、Ｂ２、Ｂ３は、当該装置に対応するチャネルＳ１、Ｓ２又はＳ３において光を放射するためのＬＥＤのような発光体１４８を備える。異なるチャネルは、受信機装置Ａ１、Ａ２が異なって変調されてもよく、それにより受信機装置が発光器装置を区別可能となる。例えば、光は、チャネルに応じて、異なる周波数と、異なる位相と、異なるデューティサイクルとの少なくとも一つでパルス化されてもよい。複数の明かりは、メモリ１５１又はチャネルセレクタ１５０に記憶されているチャネル選択に応じて、制御電子回路１４９によって制御される。プロセッサ１５２が、少なくともいくつかの発光器装置に設けられるようにしてもよい。複数の発光器装置は、セッションホスト（例えばサーバ）からどのチャネルを使用するかに関する情報の取得に使用されてもよいグローバルデータ通信モジュール１４４を備えてもよい。

サーバ又はクラウドＳ（Ｃ）がシステムを制御するようにしてもよい。サーバ又はクラウドは、グローバルデータ通信モジュール１４４と、プロセッサ１４７と、データ記憶装置１４６とを備え、セッションをホストするタスク（１４５）を実行するようにしてもよい。

信号認識アルゴリズムの一実施形態では、Ｎ個のフレームごとに、受信機装置Ａ内のプロセッサ１４１と、受信機移動装置Ａによってアクセス可能なサーバ又はクラウドＣ内のプロセッサ１４７との少なくとも一つが、関心領域内の全ての画素に対する最新のＮ個のフレームに対する強度において、周期的に信号認識アルゴリズムを実行する。これは、チャネルＳに対する最強信号に対応する画素（又は複数の画素）（Ｘ_ｓ、Ｙ_ｓ）及び検出信頼度パラメータｄｓを決定するためである。このような検出処理は、図１２の処理フローチャートに示されている。

プロセスは、１つの受信機装置Ａのカメラ１４２によるビデオの取得と共にステップ１２０で開始する。マトリックスはビデオデータ、すなわち一連のフレームを記憶するために初期化される。

ステップ１２１で、カウンタが初期化される。

ステップ１２２で、キャプチャされたビデオストリームから１つのビデオフレームが取り込まれる。

ステップ１２３において、このビデオフレームは、前処理される。前処理は、例えばその明るさ又はコントラストを適応させるためと、カラーからグレースケールに変換するためと、クロップするためと、ビデオフレームを再スケーリングするためとの、少なくとも一つである。フレームデータがマトリックスに追加される。

ステップ１２５で、カウンタ内の値についてチェックが行われる。値が必要なフレーム数Ｎよりも小さい場合、カウンタは増分され、方法はステップ１２２に戻る。そうでなければ、プロセスはステップ１２６に進み、そこで信号認識アルゴリズムが行列に対して実行される。

ステップ１２７において、信号認識アルゴリズムは、捉えられたフレームにおいてチャネルＳが認識された１つ又は複数の画素位置（Ｘ_ｓ、Ｙ_ｓ）と、各検出された画素位置についての検出信頼パラメータｄ_ｓとを出力する（ステップ１２８）。それは、例えば、それらの画素とシーン内の近隣画素との間のコントラストに依存するようにしてもよい。このプロセスは各チャネルＳについて繰り返される（ステップ１２９）。

ステップ１３０で、複数フレーム内で見つかった以下のチャネル検出情報が、各チャネルに出力される。チャネルＳが認識された１つの画素（又は複数画素）の位置（Ｘ_ｓ、Ｙ_ｓ）と、検出信頼度ｄ_ｓである。

ステップ１３１において、発見されたチャネル（発見された点滅周波数）と発光装置Ｂとの間のペアリングが、従前に知られたデータ又はセッションホストによって通信されたデータに基づいて、実行される。

ステップ１３２において、発見された各発光装置について次の情報が決定される。最も確率の高い画素（又は複数の画素）の位置（Ｘ_ｓ、Ｙ_ｓ）と、対応する検出信頼度ｄ_ｓである。これらの情報は、Ｎ個のフレームの各サイクルで更新され、装置Ａによる、カメラの視野内に光を有する各装置Ｂの追跡を可能にする。

ステップ１３３において、例えば拡張現実感ビューを生成するために、チャネル検出の後処理が実行されてもよい。

図２は、視野内に３つの発光器移動体装置Ｂ１、Ｂ２、Ｂ３を有する受信機移動体Ａのカメラによって取得された１つのフレームを表す。各発光器装置はそれぞれチャネルＳ１、Ｓ２、Ｓ３を使用する（それらは特定の変調を有する光変調信号を発する）。フレーム内の発光器装置Ｂｉの位置は、座標Ｘ_Ｂｉ、Ｙ_Ｂｉで表される。

図３に示されるように、複合移動体装置ＡＢは、カメラ１４２及び明かり１４８を同時に備えていてもよい。あるいは、複合移動体装置ＡＢは、同時に又は異なる時点で、発光器兼受信機装置ＡＢとして作動してもよい。図３はそのような装置のうちの３つを表す。そのような種類の装置は、他の発光器装置Ｂ又は複合装置ＡＢを検出するようにしてもよく、他の受信機装置Ａ又は複合装置ＡＢによって検出されるようになっていてもよい。このシステムは、かようにして、複合装置ＡＢに対して相互的である。一実施形態では、移動体装置のうちの一部だけが、カメラと明かりの両方を備えた複合装置ＡＢであり、他は、カメラのみを備えた受信機装置Ａか、ただ光を発し、受動的なターゲット又はビーコンとして働く発光器移動体Ｂかのどちらかである。複合装置ＡＢのセッションの１実施形態は、図１５のシステムフローチャートに代表される。

図４は、光変調信号及び信号認識アルゴリズムの、実施例としてあり得るものを示す。各発光器移動体装置Ｂ１、Ｂ２、Ｂ３は、特定の周波数ｆ_Ｂｉで点滅する。受信機移動体装置Ａは、点滅する複数の画素又は点滅する複数領域を検出するため、離散フーリエアルゴリズムを使用するか、別の変換又は関数を利用する。周波数は、１サイクル当たりに取得されるフレーム数及びフレームレートに関連して、例えば１Ｈｚから１０００Ｈｚの間の値であってもよい。

この例では、チャネルＳとして使用される放射光変調信号は、各移動体装置Ｂについて特定の周波数ｆ_ｓの方形信号である。受信機移動体装置の認識アルゴリズム、あるいは遠隔サーバ又はクラウドにおける認識アルゴリズムは、この例では、全画素上の、最後（最新）のＮ個のフレームの画素強度上の離散フーリエ変換（ＤＦＴ）に基づいている。数Ｎは、例えば１６と２５６の間の値であってもよく、例えば３２又は６４でもよい。周波数ｆ_ｓは、Ｎに対するフレームレートの比の倍数である。所与の周波数で発光する各画素又は画素群は、この特定の周波数に対する離散フーリエ変換（ＤＦＴ）の絶対値において、１つのピークを生成する。アルゴリズムは、チャネルＳに対応する光変調信号の存在確率が最も高い値を持つ、すなわち、検索されたチャネルに対応するＤＦＴ周波数の最高絶対値を持つ、画素（Ｘ_ｓ、Ｙ_ｓ）を検索する。これは、例えば、最高輝度値、又は波長範囲内の最大輝度値を有する光変調信号を放つ画素であり得る。例えば、仮に、数Ｎが３２に設定され、カメラが毎秒６０フレームを取得するならば、検出サイクルの持続時間は約０．５秒である。毎秒１０００フレームを取得する高速カメラを使用すると、検出サイクルの持続時間は３２ミリ秒に短縮される。

この例では、検出信頼度ｄ_ｓは、画素（Ｘ_ｓ、Ｙ_ｓ）におけるＤＦＴの絶対値が、事前に定義された（又は適応）検出しきい値よりも高い場合に値１をとる。そうでなければ、値０をとる（この例では、ｄ_ｓはブール値であるが、３つ以上の異なる可能な値を有する信頼水準もまた使用されてもよい）。同様に、この検索は、チャネルの周波数に従って他のチャネルに対して行われてもよい。

仮に、チャネル－装置のペアリングがわかっているとすると、各チャネルは、当該チャネルが属する装置に関連可能である。

本例の検出アルゴリズムは、図１３の処理フローチャートに代表される。図１２のステップと同一のステップは、同じ参照番号で示されていて、再度説明はしない。ステップ１２６’において、離散フーリエ変換（又は他の変換）が、Ｎ個のフレーム及び各画素について強度に対して行われる。ステップ１２７’において、（チャネルＳに対応する）各使用周波数ｆについて最大ＤＦＴ値を有する画素（Ｘ_ｓ、Ｙ_ｓ）が発見される。信頼レベルｄ_ｓが、次にステップ１２８’で決定される。この例では、最大ＤＦＴ値が、事前に定義されかつ適応するしきい値を上回る場合、信頼値ｄ_ｓは１に設定され、そうでない場合、この値ｄ_ｓは０である。

もし、検出サイクルの全期間にわたって装置Ｂの光変調信号が画素（Ｘｓ、Ｙｓ）と整列したままであるならば、検出は最も成功する可能性が高い。検出サイクルの持続時間を、カメラによって取得される１秒あたりのフレーム数を増やすことによって減少させてもよい。

しきい値の値は、照明条件に適合させてもよく、適合をリアルタイムで行ってもよい。

受信機移動体装置Ａの検出プロセスは、このようにして、好ましくは、検出信頼度ｄｓと共に、チャネルＳに対応する可能性が最も高い画像（複数画像）の位置（Ｘ_ｓ、Ｙ_ｓ）を生成する。

この情報は、後処理（ステップ１３３）に利用可能である。後処理は、例えば受信機移動体装置Ａ自体、あるいは、受信機移動体装置Ａがアクセス可能なサーバ又はクラウドＣにより利用可能であり、後処理は、例えばシーンの拡張現実感ビューを生成するためであってよい。印（又はアバター、アイコンなど）を、チャネルＳの各検出位置についてシーンに追加してもよい。印は、リアルタイムで、連続的に、又は（検出アルゴリズムに応じて）オンデマンドでリフレッシュされるようにしてもよい。印は、チャネルＳとペアになっている装置Ｂか、装置Ｂのユーザ又は所有者か、チャネルＳとペアになっている状態か、アプリケーションソフトウェア又はゲームのコンテクストにおいてそれらに関連付けられ得る任意の特性を、表すようにしてもよい。拡張現実感ビューは、例えばディスプレイ上、典型的には発光移動体装置Ａ自体の上に示されてもよい。この拡張現実感ビューに使用されるビデオストリームは、必ずしもカメラからのものではなく、また検出に使用されるものでもない。光変調信号の放出及び検出は、（例えば、赤外光及び赤外線カメラを使用して）不可視スペクトルで行われてもよく、画面上に示される（拡張現実要素が追加された）ビデオストリームは、可視光に感度を持つ装置Ａの装備する別のビデオカメラから来るようにしてもよい。

図１９に示すように、複合装置ＡＢは、ビデオカメラ１と、光源（カメラフラッシュＬＥＤ）２と、赤外光源の波長の赤外光に感応するカメラ３（赤外線カメラ又は赤外線カットフィルタなしのビデオカメラなど）と、赤外光源４とを備えるスマートフォンであり得る。この実施形態では、ＩＲ感受性カメラは、視野内の他のＡＢ（又はＢ）装置の画素位置の検出のために使用される。赤外光源は、（チャネルＳを使用する）変調光信号の放出に使用されてもよい。ビデオカメラからのビデオストリームは、他のＡＢ（Ｂ）装置が検出された場所に表示された拡張現実要素と共に、スクリーン上に提示されてもよい。目に見えない赤外光でチャネルを使用すると、点滅光によってユーザが邪魔されるのを防ぐ。

代替的に、図２０に示されるように、複合ＡＢ装置は、赤外線感受性カメラ５と、赤外光源６と、半透明ディスプレイ７又は光をユーザの網膜９に直接投射する仮想網膜ディスプレイ８と、を備えたスマートグラスであってもよい。光をユーザに直接投射する。拡張現実要素は、ユーザの視野、例えば検出された装置Ｂ又はＡＢの周囲に追加されてもよい。

サーバ又はクラウドＣは、計算機能とデータ記憶部を持つ外部インスタンスを表す。これは、例えば無線で、セッション内の一部又は全ての、発光器装置Ａ、受信機装置Ｂ、又は複合装置ＡＢによってアクセス可能であってもよい。前述のように、サーバ又はクラウドＣは、セッションホストとして機能することと、検出アルゴリズムの一部又は全部を実行することと、接続された装置Ａ、Ｂ及びＡＢから他の情報と同様に位置情報データを収集することとの少なくも一つを行うようにしてもよい。サーバＣが（インターネットのような）ＣＩＮに接続されているならば、それはネットワークに接続されている他の情報源、例えば地図サーバから、情報を収集するようにしてもよい。収集した全ての情報に基づいて計算タスクを実行し、セッションの全ての接続装置に、（設定やタスクを含む）情報を送信するようにしてもよい。接続された受信機装置Ａ、発光器装置Ｂ、又は複合装置ＡＢは、例えばコンピュータプログラムの実行中に、例えば更新された地図を使用したゲームにおいて、この情報をさらに処理するようにしてもよい。

図２１は、基準装置が（通常は赤外線のような不可視光に基づいて）異なるチャネルで発光する発光器装置Ｂの１セットからなる本発明の応用を示す。受信機装置Ａによる装置Ｂの検出された画素位置は基準フレームを形成し、それに従って装置Ａは、（基準装置の幾何的情報が装置Ａとして知られているという条件で）そのスクリーン上に、コンテクスト上の位置と、拡大縮小と、配向と、を有する拡張現実要素を、投影するようにしてもよい。例えば、基準装置は、特定の場所（博物館、史跡、又は地理位置情報ベースのゲームのコンテクスト内の対象物など）の対象物又はシーンに固定され、それにリンクされた拡張現実コンテンツとしてもよく、それにリンクされた拡張現実要素が受信機装置Ａに表示されるようにしてもよい。

２Ｄシーン（絵画など）の場合、基準装置は、例えばＬ字形に配置された３つの装置Ｂからなるものとしてもよい。それぞれが使用しているチャネルを通じて明確に識別されるので、そのような基準装置のうちの２つ以上が同じサイトで使用されてもよい（基準装置の起点を形成する装置Ｂは、同一性又は状態とペアになるチャネルを使用すれば十分である）。したがって、特定の拡張現実コンテンツは、それぞれの基準装置に対して（たとえば、博覧会における様々な対象に対して）生成されるようにしてもよい。この概念は、（他と共面ではない）第４の装置Ｂを追加することによって３Ｄシーンについて一般化されてもよい。さらに、基準系は、慣性測定システム（例えば、重力の方向を検出するため、磁力計と、重力の方向を検出する加速度計との少なくとも一つ）を用いて部分的に決定されてもよい。シーンの他の視覚的要素、例えば既知の要素又は地平線、もまた使用されてもよい。

図２２は、基準フレームを形成し、（装置Ａに知られている）定位置に設置された発光器装置Ｂの１セットからなる基準装置に対して受信機装置Ａの位置を検出するようにしてもよい本発明の他の応用例を、示す。例えば、装置Ａと装置Ｂが同一平面上にある２Ｄ状況では（例えば、装置Ａが全て同じ高度にある場合）、３つの装置Ｂによって形成される基準系を使用して装置Ａの位置を計算することが可能である。位置は、Ａで見られるように、装置Ｂ間の角距離から導き出され得る（角距離は、カメラの較正時に、装置Ｂの検出された画素位置から導き出すようにしてもよい）。装置Ｂを基準として使用し、装置Ａの位置が決定されると、シーンに対してコンテクスト上の角度から見た３Ｄ拡張現実対象物のビューの生成が可能である。この概念は、第４の装置Ｂ（それは他の装置と共面ではない）を追加することによって３Ｄ状況に対して一般化するようにしてもよい。さらに、基準系は、慣性測定システム（例えば、磁力計と、重力の向きを検出する加速度計との少なくとも一つ）を使用して部分的に決定されてもよい。

発光器装置Ｂの位置が受信機装置Ａによって知られていない場合でも、基準フレームを使用してこのフレームに対するＡの位置を決定可能である。

本発明の別の用途では、受信機装置Ａは自律航法が可能な装置（例えばドローン又は自動車又は自動車用の機器）であってよく、光ビーコンとしての一連の発光器装置Ｂからなる基準装置は、例えば基地（又は帰るところ／ドッキングステーション）に設置されてもよい。基準装置が装置Ａのカメラの視野内にあるとき、装置Ａは基準装置に対する自分の位置をリアルタイムで（前述のように）計算し、基地（又は帰るところ／ドッキングステーション）又は前記基準に対して相対的に決定される他の位置へ、ナビゲートするようにしてもよい。

ドローン又は自動車はまた、明かりと、カメラとの少なくとも一方を備えてもよく、発光器エンド受信機移動体装置として機能してもよい。本発明の方法は、そこで、衝突を回避するべく、又は装置の絶対位置又は相対位置を検出するべく、他のドローン又は自動車と、固定発光器装置との少なくともいずれかの存在及び位置を検出するため、各ドローン又は各自動車によって使用されてもよい。

本発明の他の用途では、複合装置ＡＢは、基準装置を形成する装置Ｂの１セットを備えていてもよく、それにより同じタイプの他の複合装置が他のＡＢ装置に対するそれ自体の位置と、複合装置ＡＢに対する他のＡＢ装置の位置との少なくとも一方を計算できるようにしてもよい。この原則は、本願の記載で前述した任意のＡＢ装置にも拡張されてもよい。例えば、そのようなＡＢ装置は、（ドローン又は自動車のような）自律航法が可能な機器であり得る。同じタイプの他のＡＢ装置の位置をリアルタイムで検出し、他の装置への衝突防止が可能となり得る。

より一般的には、自律航法が可能な発光器／受信機移動体装置ＡＢ（ドローン又は自動車など）がその向かっている方向の意図（直進、左折、右折、又は減速を維持する計画なのか否か、あるいは緊急状況にある、など）を表す状態とペアになったチャネルを使用する場合、ナビゲーションはより安全かつ効率的に行われる。このシステムにより、情報は、常に特定の検出対象に明確にリンクされる。（例えば、車両のアドホックネットワークを通して、装置が使用するチャネルが、状態に替えて装置の識別情報とペアリングされる場合、装置はこの情報を無線通信するようにもしてもよい。）

図５は、地理的解決のための、本発明の他の適用例を示す。図６は、受信機移動体装置Ａのディスプレイ上の対応する図を示す。この実施形態では、移動体装置ＡＢ１、ＡＢ２、及びＡＢ３のそれぞれは、カメラ、明かりを備え、他の装置と無線通信する。それら装置は、建設現場の様々な位置に設置されている。他の２つの装置を隔てる角度は、カメラの水平画角とそれらの間の画素距離（画像幅で正規化）を使用して計算されるようにしてもよい。この角度は、無線通信を介して他の移動体装置に伝達されるようにしてもよい。より高い精度のため、光学収差を考慮に入れた較正関数を使用してもよい。これら３つの角度値を用いて、そして送信機と受信機との間の距離ｄ_ｒｅｆが既知であるので、移動装置ＡＢ１とＡＢ３との間の距離を計算可能である。

本発明の別の用途は、会議又は講堂における聴衆への投票のコンテクストがあり得る。発表者がある問題について聴衆の意見を尋ね、聴衆は一連の可能な答えの中から選択するようになっているかもしれない。各出席者は発光器装置Ｂを持っていて、各可能な回答はチャネルＳとペアリングされてもよい（チャネルＳと同数の、可能な回答があってもよい）。発表者が装置Ａを持っているようにしてもよい。拡張現実感ビューが、聴衆中の各検出された装置Ｂ上の各回答に対して特定の色のマークを重ね合わせ、それによって発表者が、特定の人が何に投票したかを見るようになっていてもよい。

本発明の他の用途は、装置Ｂを使用して身元及び位置をアドバタイズし（広く知らせ）て、群衆の中で迷子になっている人の捜査であってもよい。迷子になっている人を探している他の人は、装置ＡがペアリングされているチャネルＳを検出することで、群衆の中でそれを見つけるために装置Ａを使用するようにしてもよい。本発明の他の（複数）適用形態は、本発明を使用して、例えば装置Ａ、Ｂ又はＡＢ上で動作するアプリケーションソフトウェアの形で実施するようにしてもよい。

図７は、本発明に基づく拡張現実標的ゲーム（例えば、一人シューティングゲーム又はレーザーゲーム）のプレーヤーに提示され得るスクリーン図を示す。これらの図のテキストは、プレーヤーの言語に合わせて適合されるであろう。

図では、受信機装置Ａを使用しているプレーヤーは、発光器装置Ｂを狙い、ディスプレイのタッチ面上の対応するボタンをタッチすることで当てることを意図している。前述のように、他のプレーヤーを検出すべく、そして他のプレーヤーによって検出されるべく、プレーヤーの移動体装置はカメラ及び明かりを装備され、複合装置ＡＢとして機能するようにしてもよい。複合装置は、例えばスマートフォン又はタブレットであり得る。

発光器装置Ｂを使用するプレーヤーを狙うには、装置Ａを使用するプレーヤーは、この装置を傾けて回転させて、拡張要素として表示される十字線ゾーンの中央にあるプレーヤーＢの光を自分のカメラで捉えたシーンの画像に合わせる。図７の左側部分は、このプロセス中の受信機移動体装置Ａのスクリーン図である。

図７の右側に示すように、照準が良好であると、Ａを使用しているプレーヤーは、自分のディスプレイ上の仮想トリガボタンを押すか、又はトリガとして別のユーザインターフェース要素を使用する。次に、ターゲット領域又はターゲット方向を囲む長方形又は円形の領域によって定義されたＲＯＩの全ての画素に対してリアルタイムで連続的に信号認識アルゴリズム（例えばＤＦＴに基づく）を実行するために、コンピュータプログラムがプレーヤーの装置Ａ内のプロセッサによって実行されるか、又はサーバＣによって遠隔的に実行される。

この領域内で、チャネルＳとペアリングされている発光器装置Ｂが検出された場合、その発光器装置は当てられたと見なされる。照準された装置Ｂの画素位置（Ｘ_ｓ、Ｙ_ｓ）が分かっているので、照準の精度（例えば、（Ｘ_ｓ、Ｙ_ｓ）が０点ゾーン、５点ゾーン、１０点ゾーンのいずれであるか）に応じてゲーム得点とするようにしてもよい。

ヒットが成功した場合、発光器装置Ｂのユーザは無線通信を介して（直接又はサーバＣを介して）通知を受け、プレーヤーは、視覚的フィードバックと、音声的フィードバックとの少なくとも一つを受け取り、ライフポイントを失うようになっていることがある。移動体装置Ａのユーザはまた、ユーザ地震のヒットが成功したという視覚的フィードバックと、音声的フィードバックとの少なくとも一つを受信するようになっていてもよい。

図８は、前述のように、拡張現実標的ゲームに参加している４つの複合装置ＡＢのセッションを概略的に表している。複数のビュー（表示画面）は、４人のプレーヤーＡＢ１、ＡＢ２、ＡＢ３及びＡＢ４のディスプレイに表示される情報を、示す。これらの装置は、無線で、装置相互に、そしてサーバ又はクラウドＣに接続されている。プレーヤー名、様々な健康状態を表すプレーヤーの写真、記録されたボイスメッセージ、又はその他のユーザ固有情報を含む、プレーヤープロファイルが作成されてもよい。プロファイルは、ゲームの初期化前に設定され、サーバＣに格納されてもよい。同様に、プレーヤーはチームに関連付けられてもよく、チームプロファイルが実装されてもよい。サーバＣは、セッションホストとして機能し（特定のチャネルＳを各装置ＡＢに帰属させ、全ての装置にチャネル装置ペアを知らせる）、各装置のライフポイントの登録を保持し、全装置と選手及びチームのプロファイルを共有し、全ての装置間通信を監視する。プレーヤープロファイルデータは、各プレーヤー装置ＡＢに表示される拡張現実感ビューにおいて、検出された各プレーヤーに対応する特定のパーソナルアバターを示すために使用されてもよい。

ゲームセッションを初期化するために、各プレーヤー装置ＡＢ上のウェルカムスクリーンが、「セッションを作成する」又は「セッションに参加する」のいずれかを提案するようにしてもよい。「セッションを作成する」が選択された場合、サーバＣが、表示のために固有のバーコード（例えばＱＲコード）を生成して送信するようにしてもよい。セッションに参加したい他のプレーヤーは、サーバＣが当該プレーヤーをセッションに追加できるように、対応するボタンを選択し、カメラを使用してバーコードをスキャンするようにしてもよい。ここから、サーバは、各プレーヤーの移動体装置ＡＢに特定のチャネルを帰属させること（例えば、特定の点滅周波数又は変調方式）によって、セッションをホストするようにしてもよい。各装置にチャネルを分配する他の方法が使用されてもよい。

ズーム、暗視などのような様々な拡張現実感ビューを実装してもよい。ゲームに関連する他の対象物（武器など）をビューに追加してもよい。プレーヤーの移動体装置に装備されている全てのセンサが、ゲーム内の所与のコントロールの入力に使用されてもよい。例えば、加速度計を使用して、床に何かをつかむために素早くしゃがむなど、ゲームに関連する可能性があるユーザの動きを感知するようにしてもよい。

図９Ａ及び図９Ｂは、セッションに参加している移動体装置の少なくともいくつかが（例えば、衛星ナビゲーションシステムと、磁力計と、慣性測定システムと、屋内位置システムとの少なくとも一つに基づく）位置情報システムを備えているゲームセッションの一実施形態を示す。それらの装置は、そのセッションに参加している全ての装置に対してそれら装置の地理的位置を共有するようにしてもよい（例えば、直接又はサーバＣを介して）。各移動体装置は、それから、各プレーヤーの位置を持つ、セッションの地理的表現を生成するようにしてもよい。この地理的表現は、例えば、図９Ａに表されるように、拡張現実感ビュー（他の各プレーヤーが円の上の点で表される「レーダー」ビューなど）である。装置によってアクセス可能な地図サーバ（例えば、サーバＣ）によって取得された地図データを使用して、図９Ｂの地図に表されるように、各プレーヤーの位置が示される地図ビューが提示されるようにしてもよい。タッチ面上のボタン又は他のユーザインターフェース要素を使用して、拡張現実ビューと地図ビューとを切り替えられるようにしてもよい。

地理的ゾーンＺは、そこへ行くプレーヤーに影響を与えるゾーン内の特定の特性を有するアクティブゾーンとして（例えばセッションホストによって）定義されてもよい（例えば安全ゾーン、禁止ゾーンなどであってもよい）。

セッションを開始する前に、位置情報データを使用してもよい。サーバ又はクラウドＣは、位置情報データを使用して、ゲームに利用可能な近くのプレーヤー又はチームの地図を提供するようにしてもよい。プレーヤー又はプレーヤーのチームは、近くのプレーヤー又は複数のチームに挑戦し、例えばサーバＣを介して通信するテキストメッセージインターフェースを介してゲームのための明確な地理的位置で会うことを提案するようにしてもよい。その場所で会った後、プレーヤーがゲームセッションを開始するようにしてもよい。より高度なゲームスキームが、地方や都市規模のトーナメントなどで実装され、サーバーレベルで監視される。

図１０は、ゲームセッションの別の実施形態を示し、２人のプレーヤーが、ディスプレイを備えた受信機移動体装置Ａと、装置Ａに無線で接続された別の発光器移動体装置Ｂとを装備している。装置Ｂは、全方向をカバーする一連の明かり（ＬＥＤなど）を装備した、例えば帽子であってもよい。標的ゲームのコンテクストでは、これは任意の方向から人の頭を狙うことを可能にする。プレーヤー及び通行人が、目に見える点滅光によって妨害されるのを防止するように、人間の目には不可視であるが受信機装置Ａのカメラには可視であるスペクトルの光を使用してもよい。

無線通信システム（通常はブルートゥース又はＷＬＡＮとしてのＷＰＡＮ）を備えた電子機器Ｗ（ルーター、コンピュータ、スマートフォン、テレビ、腕時計、又は任意の接続された対象物）は、発光器（Ｂ）、受信機（Ａ）又は複合装置（ＡＢ）の無線ビーコンとして機能するようにしてもよい。装置Ｗ（並びにＡ、Ｂ、及びＡＢ装置）は、装置名又はネットワーク名、ユニバーサル固有識別子（ＵＵＩＤ）の使用、その媒体アクセス制御（ＭＡＣ）アドレスなどの、ブロードキャストされる特定の識別信号を通じて識別され得る。ゾーンは、装置Ｗの無線信号強度に従って定義され、ゾーンの内側又は外側の装置の存在は、受信信号強度表示（ＲＳＳＩ）が所定のしきい値より上又は下であるかどうかとして定義され得る。装置Ｗとの接続は成功したかどうか）。ブール変数Ｚ_Ａ、Ｚ_Ｂ、Ｚ_ＡＢは、ゾーン内の装置Ａ、Ｂ、ＡＢの存在を表す（装置がゾーンの外側にある場合は値０、内側にある場合は値１を取る）。Ｚの評価は、各装置Ａ、Ｂ、ＡＢによって、又は装置Ｗによって、リアルタイムで、連続的に又はオンデマンドで実行するようにしてもよい。変数Ｚの値は、コンピュータプログラムの実行内でセレクタとして使用してもよい。例えば、それは、装置がアプリケーションソフトウェア又はゲームのコンテクストで設定されたプロパティを有するアクティブゾーン（例えば、ゲームの場合には安全ゾーン）内にあるかどうかを決定する値であり得る。後処理と、他の接続装置との共有との少なくとも一つのために、変数Ｚは、サーバ又はクラウドＣに通信されるようにしてもよい。セッションホスト、例えばサーバ又はクラウドＣが、どのプロパティがＷの周りのアクティブゾーンとリンクされるかを属性付けするようにしてもよい。

図１１は、無線ビーコンＷを使用してゲーム内の「安全ゾーン」（プレーヤーがライフポイントを失うことができないゾーンであり得る）を定義する照準ゲームセッションの一実施形態を表す。

ビーコン又は位置情報システムを用いて決定された各装置の位置はまた、装置の検索を、特定の信号と、ディスプレイの特定の部分と、特定の期間との少なくとも一つに限定するために使用されてもよい。例えば、あるチャネルに関連する発光器装置が受信機装置の届く範囲外にある場合、フレーム内のそのチャネルの検索は、無駄である。

図１４以下は、システム内のセッションの様々な可能な実施形態を表すブロック図である。各装置は、専用機能を備えた複数のモジュールを備える。矢印はそれらのモジュール間の情報の流れを表す。本明細書に提示されている全てのシステムにおいて、示された各装置又はモジュールは任意選択でよく、示された装置及びモジュールのリストは全てを網羅したものではなく、各装置又はモジュールは複数のインスタンスとして存在してもよく、各装置又はモジュールは、ここに表されるように複数の装置又はモジュールの機能を仮定してもよく、そしてモジュールの概念は特定のハードウェアではなく機能のセットを表すことを、理解されたい。装置モジュールの一部の機能と実装の説明は、明確化のために以下の通りである。

図１４は、受信機装置Ａ及び発光器装置Ｂの異なる実装形態を用いたセッションを表す。発光器装置Ｂにおいて、制御電子機器１４９は、明かりによって発せられる信号を生成する。発光器装置Ｂは、装置を識別する特定の信号を決定する入力装置を備えていてもよいし、又は電子機器に組み込まれていてもよい。一実施形態（Ｂ１）では、入力装置は、例えば、光の明滅を制御するために単純な電子回路において方形信号の周波数を設定する手動チャネルセレクタ１５０であり得る。他の実施形態（Ｂ２）では、使用されるチャネルがメモリ（１５１）に記録されていてもよい。別の実施形態（Ｂ３）では、入力装置は無線モジュール（１４４）であり、それを介してセッションホスト（１４５、例えばクラウドＣ）はどのチャネルＳを使用すべきかを通信することができる。受信機装置Ａでは、カメラ１４２はビデオストリームストリームをプロセッサ１４１に送信する。一実施形態では、装置Ａのプロセッサは検出アルゴリズム（Ａ１）を実行する。別の実施形態では、サーバ又はクラウドＣは、装置Ａによって無線で送信されたデータに基づいて検出アルゴリズムを実行することができる（Ａ２）。モジュール１４０によって使用されるチャネル－装置ペアリング情報は、事前に設定されてもよい。チャネル（Ｓ２）は装置Ｂ（Ｂ２）に予約され得るか、又はセッションが開始する前に設定されてもよい（Ｂ１で選択されるＳ１）。あるいは、セッションホストは、どのチャネルがどの装置に属しているかを通信する（Ｂ３はＳ３を使用するように設定されている）ようにしてもよい。このペアリング情報は、時間とともに更新されてもよい。

チャネルは、装置によってアドバタイズされる可能性がある状態とペアリングされてもよい。異なる装置は、同時に又は異なる時間に同じ状態をアドバタイズするようにしてもよい。各装置は、アドバタイズされた状態又はエミッション（発光器移動体装置Ｂにペアリングされる）チャネルを時間の経過とともに変更するようにしてもよい。

プロセッサ１４１は、例えばＣＰＵ、ＧＰＵと、マイクロコントローラとの少なくとも一つに基づく計算タスクを実行し得る装置を表す。プロセッサ１４１は、本発明の方法ステップを実行するために、メモリ（図示せず）に格納されたプログラム（ソフトウェアモジュール）を実行する。スマートフォンでは、プロセッサがｉＯＳやＡｎｄｒｏｉｄなどのオペレーティングシステム及びアプリケーションを実行するようになっていてもよい。アプリケーションのうちの１つが、アプリケーションに記載されている方法ステップ又はいくつかの方法ステップを実行するために使用されるようになっていてもよい。

グローバルデータ通信モジュール１４４は、例えばＷＬＡＮ（Ｗｉ－Ｆｉなど）、無線移動体通信技術など、他の移動体装置と、コンピュータ情報ネットワーク（インターネットなどのＣＩＮ）を介してサーバ又はクラウドと、情報を交換するためのシステムを表す。

図１５は、互いに無線通信し得る（例えば、装置の名前と、装置がどのチャネルにペアリングされているかを他の装置に通信するため）複合移動体装置のセッションを表す。

ローカル無線通信モジュール１５３は、近くの装置と無線で情報を交換するためのシステムを表し、例えば、無線パーソナルエリアネットワーク（ブルートゥース（登録商標）などのＷＰＡＮ）と、無線ローカルエリアネットワーク（Ｗｉ－ＦｉなどのＷＬＡＮ）と、ピアツーピアＷｉ－Ｆｉと、移動体／車両／スマートフォンアドホックネットワーク（ＭＡＮＥＴ／ＶＡＮＥＴ／ＳＰＡＮ）と、（例えばＧＳＭ又はＵＭＴＳのようなセルラーネットワークを介する）無線移動体通信技術と、コンピュータ情報ネットワーク（インターネットなどのＣＩＮ）と、その他との少なくとも一種類を介するシステムである。

図１６は、セッションをホストするサーバＣと無線通信し得る複合装置ＡＢ１、ＡＢ２のセッションを表す（モジュール１４５はセッションをホストするタスクを表す）。各装置は、図９Ａ及び図９Ｂに示すゲームの例のように、拡張現実図を示してもよい位置情報システム１５５及びディスプレイ１５４を備えている。サーバＣが、他のサーバ１５６、例えば地図サーバにアクセスするようにしてもよい。

位置情報システム１５５は、例えば、衛星ナビゲーションシステム（ＧＰＳ、ＧＬＯＮＡＳＳなど）と、屋内位置情報システム（Ｗｉ－Ｆｉ位置情報システムなどのＩＰＳ）と、ＧＳＭ又は他の無線信号に基づく三角測量と、慣性計測装置（磁力計、加速度計及び／又はジャイロスコープ）との少なくとも一種類によって、装置の位置情報を決定するためのシステムを表す。

図１７は、（図１０に示す例のように）各ユーザ１、２が互いに無線接続された受信機装置Ａと発光器装置Ｂとを有する、あるセッションを表す。

図１８は、（図１１に示す例のように）無線ビーコン装置Ｗの存在下での複合装置ＡＢ１、ＡＢ２の、あるセッションを表す。

Ａ 受信機移動体装置
Ｂ 発光器移動体装置
ＡＢ 複合移動体装置
Ｃ サーバ又はクラウド
５ 赤外線感受性カメラ
６ 赤外光源
７ 半透明ディスプレイ
８ 仮想網膜ディスプレイ
９ ユーザの網膜
１４０ ソフトウェアモジュール
１４１ プロセッサ
１４２ カメラ
１４３ 出力情報
１４４ グローバルデータ通信モジュール
１４５ セッションをホストするタスク
１４６ データ記憶装置
１４７ プロセッサ
１４８ 発光体
１４９ 制御電子機器
１５０ チャネルセレクタ
１５１ メモリ
１５３ ローカル無線通信モジュール
１５５ 位置情報システム
１５６ 他のサーバ

Claims (16)

1. 明かりを備えた複数の発光器装置（Ｂ１、Ｂ２、…）を、カメラ（１４２）を備えた受信機装置（Ａ）によって検出する方法であって、
   カメラ（１４２）は、一連のフレームをキャプチャしている間、全画素に対して同じフレームレートで作動し、
   チャネルを形成する、予め定めた光変調信号を少なくとも３つ備える有限のセットが、受信機装置（Ａ）に既知であり、
   各発光器装置（Ｂ１、Ｂ２、…）は、前記予め定めた光変調信号の有限のセットから光変調信号の１つを発信し、
   受信機装置（Ａ）は、前記カメラ（１４２）で一連のフレームをキャプチャし、
   前記予め定めた光変調信号の複数が、ノイズから既知の信号を分離するアルゴリズムを使用して、前記一連のフレーム内で検索されそして信号がノイズに埋もれていても前記一連のフレームから検出されて、
   前記一連のフレーム上で前記アルゴリズムによって前記予め定めた光変調信号が検出されたところの複数の画素に対応する複数の画素位置が受信機装置（Ａ）に認識されて、
   次の
   （ア）少なくとも３台の発光器装置の中で、どの発光器装置（Ｂ１、Ｂ２、…）が発光しているのかを受信機装置（Ａ）が特定できるように、発光器装置と、特定かつ１つの発光器装置専用の予め定めた光変調信号との関係が受信機装置（Ａ）に既知となっている状態で、各発光器装置（Ｂ１、Ｂ２、…）が、前記セットの中の１つの光変調信号である、１つの発光器装置につき専用の予め定めた光変調信号を使うこと、あるいは
   （イ）発光器装置の状態と光変調信号の関係が受信機装置（Ａ）に既知となっている状態で、予め定めた光変調信号のそれぞれが発光器装置の少なくとも３つの取り得る状態のセットの中の１つの状態のみを示すところにおいて、各発光器装置自身の現在状態を広表するべく、前記検出された画素位置にて発光している前記発光器装置（Ｂ１、Ｂ２、…）の現在状態を受信機装置（Ａ）が検出できるように前記各発光器装置（Ｂ１、Ｂ２、…）が前記セットの中の予め定めた光変調信号の１つを使うこと
   を備え、
   発光装置（Ｂ１、Ｂ２、…）の少なくとも１台が、カメラ（１４２）と明かり（１４８）を備えていて、かつ複合発光器－受信機装置（ＡＢ１）として動作し、
   少なくとも１台の受信機装置（Ａ）は、移動体であり、明かり（１４８）を備え、別の複合発光器－受信機装置（ＡＢ２）として動作すべく、かつ前記受信機装置（Ａ）の識別情報又は受信機装置（Ａ）の状態を広表すべく第２の光変調信号を発する、方法。
2. 複数の発光器装置（Ｂ１、Ｂ２、…）は、各装置自身の識別情報又は情報を示すべく異なる光変調を伴う複数の前記予め定めた光変調信号を発し、
   前記受信機装置（Ａ）は前記予め定めた光変調信号から複数の発光器装置（Ｂ１、Ｂ２、…）の識別情報又は状態を決定する、請求項１に記載の方法。
3. 複数の発光器装置（Ｂ１、Ｂ２、…）は同時に信号を発し、受信機装置（Ａ）は、一つのフレーム又は複数の連続的なフレーム内に複数の前記予め定めた光変調信号を検出し、変調に基づいて複数の前記予め定めた光変調信号を区別する、請求項２に記載の方法。
4. 前記フレーム上に関心領域を画定することと、前記予め定めた光変調信号を当該関心領域内に限って検索することと、をさらに備える請求項１に記載の方法。
5. 前記関心領域は、受信機装置（Ａ）のユーザにより選択され、受信機装置（Ａ）のディスプレイで印が付けられる、請求項４に記載の方法。
6. 前記アルゴリズムは、前記光変調信号の、最後のＮ個のフレームの少なくとも一部の画素における変換を備える、請求項１に記載の方法。
7. 関心領域の全画素について、前記変換は、最後のＮ個のフレームの画素強度についての離散フーリエ変換である、請求項６に記載の方法。
8. 前記予め定めた光変調信号の位相は、発光器装置（Ｂ１、Ｂ２、…）と受信機装置（Ａ）との間で共有される時間ベースに相対的に設定され、変調信号は、最後のＮ個のフレームの少なくとも一部の画素について、位相敏感検出又は検索された信号の相関関係を通して検出される、請求項１に記載の方法。
9. 関心領域内の、最後のＮ個（Ｎは１以上）のフレームについて、画素強度について離散フーリエ変換の最大絶対値を持つ画素を識別することと、
   最大絶対値が、事前に画定されたしきい値を超えるか否かを、決定することと、
   を備える、請求項７に記載の方法。
10. シーンのビデオストリームの中で、拡張現実要素が識別された発光器装置（Ｂ１、Ｂ２、…）の位置に表示される、請求項１に記載の方法。
11. 発光器装置（Ｂ１、Ｂ２、…）の絶対位置は、衛星ベースの位置情報システムと、Ｗｉ－Ｆｉベースの位置情報システムと、ビーコンとのいずれかを用いて決定され、少なくとも１つの受信機装置（Ａ）と共有される、請求項１に記載の方法。
12. 受信機装置（Ａ）の位置は、少なくとも１つの発光器装置（Ｂ１、Ｂ２、…）の画素位置に基づいて決定される、請求項１に記載の方法。
13. 発光器装置（Ｂ１、Ｂ２、…）の識別情報は、受信機装置（Ａ）と、サーバ又はクラウド（Ｃ）とのいずれかにより、発光器装置に無線インタフェースを経由して通信される、請求項１に記載の方法。
14. 明かり（１４８）と、
    カメラ（１４２）と、
    ディスプレイ（１５４）と、
    プロセッサ（１４１）と、
    装置（ＡＢ）の識別情報又は装置（ＡＢ）の状態を広表すべく光変調信号を出させるためと、カメラ（１４２）にキャプチャされた画像内の他の装置に対応し点滅する画素を検出するためとに、明かり（１４８）を制御するコンピュータモジュールを格納するメモリ（１５１）と
    を備える、スマートフォン又はスマートグラスである装置（ＡＢ）において、
    カメラ（１４２）は、一連のフレームをキャプチャしている間、全画素に対して同じフレームレートで作動するように設定されるものであって、
    予め定めた光変調信号を少なくとも３つ備える有限のセットの中の各信号が、少なくとも３台の装置のセットの中の１つの装置とその装置専用に関係付けられているか、あるいは
    予め定めた光変調信号を少なくとも３つ備える有限のセットの中の各信号が、前記他の装置の少なくとも３つの取り得る状態の中の１つの状態にのみ関係付けられている、装置（ＡＢ）。
15. 明かり（１４８）は、赤外線の明かりであり、カメラ（１４２）は赤外線カメラである、請求項１４に記載の装置（ＡＢ）。
16. 実行されると、明かり及びカメラを備える移動体装置に請求項１に記載の方法を行わせるプログラムを備える、コンピュータ装置。

Images