JP7243708B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

従来から、空間内における物体認識の手法として、赤外光（infrared）を利用した物体検出手法が存在している。赤外光を利用した物体手法の一例としては、近年、奥行の距離情報（デプスマップ）から物体の存在を検出することが行われている。

また、再帰性反射マーカーを体に付けて動きを捉えるモーションキャプチャーシステムも存在している。

例えば下記特許文献１では、対象物のマーカーを認識してプロジェクションにより対象物に投影するシステムが開示されている。

特開２０１５－９０５２４号公報

しかしながら、従来の手法では、複数のマーカーや物体が近接した際に、誤認識や対象物をロストしてしまう可能性が高かった。

そこで、本開示では、複数の検出対象の位置をより確実に認識することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、同一面に存在する第１の検出対象と第２の検出対象の位置をセンシングする制御部を備え、前記制御部は、前記第１の検出対象を第１の方向から認識する第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識する、情報処理装置を提案する。

本開示によれば、プロセッサが、第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識することと、前記第１の検出対象が存在する面を介した前記第１の方向と逆の方向から、前記面に存在する第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識することと、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、同一面に存在する第１の検出対象と第２の検出対象の位置を認識する制御部として機能させ、前記制御部は、前記第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識する、プログラムを提案する。

以上説明したように本開示によれば、複数の検出対象の位置をより確実に認識することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。 複数の検出対象を認識しようとする際における誤認識や検出対象のロストについて説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態による撮像画像からの輝点の検出と、対応する画像オブジェクトを投影する映像の生成の一例について説明する図である。 本実施形態による制御処理の一例を示すフローチャートである。 本実施形態による上下カメラからの各撮像画像のマージの一例を示す図である。 本実施形態による衝突判定およびすれ違い判定の一例を示す図である。 本実施形態によるパックとマレットとの衝突に応じたインタラクションの一例を示す図である。 本実施形態によるパックと外周壁との衝突に応じたインタラクションの一例を示す図である。 本実施形態によるマレットの仮想的なサイズにおける衝突に基づくインタラクションの一例を示す図である。 本実施形態によるパックの仮想的なサイズにおける衝突に基づくインタラクションの一例を示す図である。 本実施形態によるバーチャルパックと物理的なパックとの衝突に応じたフィードバックの一例を示す図である。 本実施形態によるバーチャルパックと物理的なパックとで軌跡制御を変える場合の一例を示す図である。 本実施形態による所定のアイテムの上を通過した際のバーチャルパックの性質の変化の一例を示す図である。 本実施形態によるインタラクションの制御処理の流れの一例を示すフローチャートである。 本実施形態の第１の応用例について説明する図である。 本実施形態の第２の応用例について説明する図である。 本実施形態の第３の応用例について説明する図である。 本実施形態の第３の応用例の他の例について説明する図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
２－１．出力装置２０
２－２．入力装置３０
２－３．情報処理装置１０
３．動作処理
４．インタラクション例
４－１．パック４３とマレット４０との衝突に応じたインタラクション
４－２．パック４３と外周壁との衝突に応じたインタラクション
４－３．パック４３／マレット４０の仮想的なサイズでの衝突に応じたフィードバック
４－４．バーチャルパックの衝突に応じたフィードバック
４－５．盤面画像の記録
４－６．インタラクション制御処理の流れ
５．応用例
５－１．部屋などにおける人の位置検出
５－２．カードゲームにおけるカードの位置と裏表検出
５－３．ボルダリングへの応用
６．ハードウェア構成例
７．まとめ

＜１．本開示の一実施形態による情報処理システムの概要＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、同一面における２種類の検出対象を識別して誤認識することなく検出し、トラッキングする技術の一例として、例えばエアホッケーに適用した場合について説明する。

エアホッケーは、マレットと呼ばれる器具（以下、マレット４０）をユーザが把持し、盤上でプラスチック製等のパックと呼ばれる円盤（以下、パック４３）を打ち合う遊戯であり、パック４３は盤面上に噴出したエアーによって浮上している。

本実施形態による情報処理システム１は、図１に示すように、ホッケー台５０の盤上におけるパック４３を検知する上面カメラ３０１と、パック４３と同一面上にあるマレット４０（マレット４０Ａ、４０Ｂ）を検知する下面カメラ３０２と、上面カメラ３０１による撮像画像と下面カメラ３０２による撮像画像とに基づいてパック４３とマレット４０の各位置を検出する処理を行う情報処理装置１０とを含む。例えば、パック４３が第１の検出対象、マレット４０が第２の検出対象の一例であって、上面カメラ３０１が第１のセンサ、下面カメラ３０２が第２のセンサの一例である。また、ホッケー台５０は、第１の検出対象と第２の検出対象が位置する面を形成する部材の一例である。

さらに、情報処理システム１は、ホッケー台５０の盤上に映像を投影するプロジェクタ２０１を含み、情報処理装置１０は、パック４３やマレット４０の位置検出の結果に応じて、プロジェクタ２０１による投影を制御することも可能である。

（背景）
ここで、上述したように、例えば検出対象のマーカーを検出し、物体認識を行うシステムにおいて、複数の検出対象を認識しようとする際、誤認識や検出対象のロストが発生してしまうという問題があった。具体的には、例えば図２左に示すように、複数の検出対象に貼付されたマーカーを検知するカメラにより取得した撮像画像８００から移動するマーカー８０１、８０２を検出して検出対象の位置をトラッキングしている際に、マーカー８０１、８０２が接近すると、図２中央の撮像画像８１０に示すように、近付いた２つのマーカーが１つに見える（２つのマーカーが繋がって一体化した１つのマーカー８１１として認識されてしまう）。この場合、図２右に示すように、複数のマーカーが衝突したのか（図２の認識結果８２０ａ）、すれ違ったのか（図２の認識結果８２０ｂ参照）が不明となり、誤認識や検出対象のロストが生じてしまう。

特に、図１に示すようなエアホッケーに適用する場合において、各ユーザが把持して打つマレットとパックをそれぞれ認識し、各々が衝突する瞬間や、移動するパックに逐次プロジェクションマッピングを行うことを考慮すると、パックやマレット各々をより確実に認識、トラッキングする必要がある。従来技術では、マレットとパックが衝突した瞬間に認識が入れ替わったり、いずれかを見失ってしまう可能性が高く、ユーザ体験を阻害する要因となる。

そこで、本実施形態では、複数の検出対象の位置をより確実に認識することを可能とする仕組みを提案する。

具体的には、本実施形態による情報処理システム１は、各種の検出対象をセンシングするセンサを分離し、盤面の上面と下面の２方向からセンシングしたデータを用いることで、誤認識を防ぐことを可能とする。例えば図１に示すようなエアホッケーに適用した例では、パック４３とマレット４０の各々を撮像するカメラを上面カメラ３０１と下面カメラ３０２に分離し、図１に示すようにホッケー台５０の上面側と下面側にそれぞれ配置する。これにより、上面カメラ３０１はホッケー台５０の上面側から第１の検出対象（例えばパック４３）を撮像し、下面カメラ３０２はホッケー台５０の下面側から第２の検出対象（例えばマレット４０）を撮像することとなる。このように２方向から２種の検出対象をそれぞれセンシングし、２方向からのセンシングデータである撮像画像を用いて位置検出を行うことで、パック４３とマレット４０の位置の混同や誤認識を防ぐことを可能とする。

またこの方式を応用し、検出対象に貼付されているマーカーを任意に手で隠すことにより、その検出対象を把持していることの検出にも利用できる。

図１に示すエアホッケーへの適用例についてさらに詳細に説明する。ホッケー台５０の天板は、少なくとも発光素子４２から発光される波長（検出波長）を透過する部材により形成される。例えば、発光素子４２がＩＲ ＬＥＤにより実現される場合、ホッケー台５０の天板は、ＩＲ光を透過するアクリル板等で構築する。さらにホッケー台５０の天板は可視光を通さない部材とすることで、ホッケー台５０の天板（盤面）にプロジェクタ２０１による映像投影を可能とする。また、ホッケー台５０の内部には、ホッケー台５０の天板を下側から撮像する上向きのカメラ（下面カメラ３０２）を設置する。また、天板上部には、天吊り状態でホッケー台５０の天板を上側から撮像する下向きのカメラ（上面カメラ３０１）を設置する。

複数種類の検出対象のうちの一つであるパック４３は、上面に反射材４４を添付し、上方に設定された上面カメラ３０１により検知する。反射材４４は、例えば、再帰性反射マーカーであってもよい。再帰性反射マーカーは光が当てられた方向に強く反射する特性があるマーカーであり、カメラ（上面カメラ３０１）の横に投射機（照明装置３００）を設置することにより、照明装置３００からの光を照明装置３００のすぐ横にある上面カメラ３０１の方向に強く反射光を返すことが可能となる。照明装置３００は、ＩＲ照明装置であってもよい。また、上面カメラ３０１には、可視光カットフィルタを設けてもよい。ここでは一例としてパック４３に反射材４４を貼付しているが、発光素子を設けてもよい。ただし、エアホッケーにおいて用いるパック４３は、盤面上に噴出したエアーによって浮上させるため、軽く、かつワイヤレスで実現することが好ましいため、電源が必要となるＩＲ ＬＥＤ等の発光素子よりも再帰性反射マーカー等の反射材４４の方が適している。

複数種類の検出対象のうちの一つであるマレット４０は、底面に発光素子４２を取り付け、下方に設置された下面カメラ３０２により検知する。発光素子４２は、例えばＩＲ光を発光するＬＥＤ（ＩＲ ＬＥＤ）であってもよい。マレット４０は複数あってもよい。マレット４０とパック４３は、ホッケー台５０の天板上において同一面に存在する。上述したように、ホッケー台５０の天板は、発光素子４２から発光される波長を透過する部材により形成されるため、天板上に置かれたマレット４０の底面に取り付けられた発光素子４２からの発光を、ホッケー台５０の天板を介して下方から下面カメラ３０２により撮像することが可能である。

なお、一例としてマレット４０にＩＲ ＬＥＤ等による発光素子４２を搭載する場合について説明したが、本実施形態はこれに限定されず、パック４３の検知手法と同様に、マレット４０に再帰性反射マーカー等の反射材を設け、下面カメラ３０２の横に投射機（照明装置）を設置する方法を用いてもよい。

以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。

＜２．構成例＞
図３は、本実施形態による情報処理システム１の構成の一例を示すブロック図である。図３に示すように、情報処理システム１は、情報処理装置１０、出力装置２０、入力装置３０を含む。

（２－１．出力装置２０）
出力装置２０は、情報処理装置１０の制御に従って、音声や画像等の出力情報を出力する機能を有する。例えば出力装置２０は、プロジェクタ２０１により出力情報（映像等）を図１に示すようにホッケー台５０に対して投影してもよい。また、出力装置２０は、ホッケー台５０の全面やホッケー台５０の周辺等にディスプレイ（不図示）が設けられている場合は当該ディスプレイに出力情報（映像等）を表示してもよい。また、出力装置２０は、ホッケー台５０の周辺等に設置されている音響装置（不図示）から音声を出力してもよい。

（２－２．入力装置３０）
入力装置３０は、検出対象をセンシングするセンサであって、センシングデータを情報処理装置１０に出力する。例えば入力装置３０は、上面カメラ３０１、下面カメラ３０２を含む。上面カメラ３０１は、図１に示すように、ホッケー台の上面から撮像し、ＩＲ投光機等の照明装置３００により発光されたＩＲ光がパック４３の反射材４４で反射した光を検出する機能を有する。上面カメラ３０１には、可視光フィルタが設けられていてもよい。また、下面カメラ３０２は、ホッケー台の下面から撮像し、マレット４０の底面に設けられた発光素子４２からの発光を検出する機能を有する。

（２－３．情報処理装置１０）
情報処理装置１０は、図３に示すように、Ｉ／Ｆ部１１０、発光認識部１２０、管理部１３０、記憶部１４０、座標変換部１５０、および映像生成部１６０を有する。また、管理部１３０は、軌跡管理部１３１および映像管理部１３２として機能する。

入力装置３０により取得されたセンシングデータ（具体的には、上面カメラ３０１や下面カメラ３０２で撮像された撮像画像）は、Ｉ／Ｆ部１１０を介して発光認識部１２０に送られる。Ｉ／Ｆ部１１０は、例えば有線または無線により出力装置２０や入力装置３０等の外部装置と接続し、データの送受信を行い得る。また、Ｉ／Ｆ部１１０は、インターネットに接続することも可能である。Ｉ／Ｆ部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等により外部装置と通信接続する。

発光認識部１２０は、撮像画像から輝点を検出し、検出した輝点の座標を管理部１３０の軌跡管理部１３１に送る。また、発光認識部１２０は、検出した輝点の移動を追跡し、輝点の軌跡を取得する機能も有する。例えば発光認識部１２０は、上面カメラ３０１により取得された撮像画像から、パック４３の軌跡を取得する（パック４３の位置をトラッキング）。

軌跡管理部１３１は、発光認識部１２０により取得された軌跡の履歴を記憶部１４０に保存し、軌跡の管理を行う。

映像管理部１３２は、取得された軌跡に合わせたホッケー台５０の天板上におけるプロジェクションマッピングのデータ等のコンテンツの管理を行う。例えば映像管理部１３２は、映像生成部１６０からの要求に応じて、所定の画像オブジェクトを記憶部１４０や外部装置から取得し、映像生成部１６０に出力する。

座標変換部１５０は、映像生成部１６０からの要求に応じて、記憶部１４０から対象の軌跡の情報を呼び出し、軌跡の情報から当該対象に対する映像を表示する座標を算出し、算出した座標を映像生成部１６０に出力する。

映像生成部１６０は、パック４３等の軌跡に合わせてプロジェクションマッピングを行うための映像を生成する。具体的には、映像生成部１６０は、映像管理部１３２から取得した画像オブジェクトと、座標変換部１５０から取得した当該対象に対する映像を表示する座標とに基づいて、当該座標に合わせて画像オブジェクトを投影する映像を生成する。生成された映像は、Ｉ／Ｆ部１１０を介してプロジェクタ２０１に送られ、ホッケー台５０の天板上に投影される。

ここで図４を参照し、撮像画像からの輝点の検出と、対応する画像オブジェクトを投影する映像の生成の一例について説明する。図４に示すように、まず、発光認識部１２０は、例えば上面カメラ３０１から取得された撮像画像５００から、パック４３に貼付された反射材４４の反射光に相当する輝点５０１を認識する。発光認識部１２０は、トラッキングしていた輝点５０１の軌跡を管理部１３０の軌跡管理部１３１に出力する。

次いで、映像生成部１６０は、座標変換部１５０から取得した表示座標５１１の情報と、パック４３の位置に投影する画像オブジェクト５２０とを合わせて、投影映像５３０を生成する。これにより、投影映像５３０をプロジェクタ２０１からホッケー台５０の天板上に投影することで、パック４３の位置に画像オブジェクト５２０を投影することが可能となる。なお、軌跡部分５１２にも何らかの画像オブジェクトを併せて投影する映像を生成してもよい。

ここでは、基本的な単数の検出対象に対する位置認識処理と投影映像の生成について説明したが、本実施形態ではさらに、複数の検出対象に対しても安定した位置認識処理を実現し、複数の検出対象の動きに応じた投影映像の生成を行うことが可能である。例えば管理部１３０は、複数の検出対象の位置や軌跡に応じて、衝突判定を行うことが可能である。また、映像生成部１６０は、衝突の有無に応じた投影映像を生成することが可能である。このような複数の検出対象の認識に関する詳細については、図５～図７を参照して後述する。

以上説明した発光認識部１２０、管理部１３０、座標変換部１５０、および映像生成部１６０は、情報処理装置１０に設けられる制御部により実現され得る。制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお情報処理装置１０の構成は、図３に示す例に限定されない。例えば、情報処理装置１０は、複数の装置により構成されていてもよい。また、情報処理装置１０は、ＰＣ、スマートフォン、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。

＜３．動作処理＞
続いて、本実施形態による情報処理システムの動作処理について、図５を用いて具体的に説明する。図５は、本実施形態による制御処理の一例を示すフローチャートである。

図５に示すように、まず、情報処理装置１０は、上面カメラ３０１および下面カメラ３０２から、それぞれ映像（撮像画像）を取得する（ステップＳ１０３）。

次に、情報処理装置１０の発光認識部１２０は、上面カメラ３０１により取得された撮像画像から輝点の検出を行い（ステップＳ１０６）、輝点の検出が出来た場合（ステップＳ１０６／Ｙｅｓ）、軌跡管理部１３１は、検出した輝点の過去点（前回検出した輝点）と最新点（今回検出した輝点）とを繋げて、パック４３の軌跡として保存する（ステップＳ１０９）。

次いで、発光認識部１２０は、下面カメラ３０２により取得された撮像画像から輝点の検出を行い（ステップＳ１１２）、輝点の検出が出来た場合（ステップＳ１１２／Ｙｅｓ）、軌跡管理部１３１は、検出した輝点の過去点（前回検出した輝点）と最新点（今回検出した輝点）とを繋げて、マレット４０の軌跡として保存する（ステップＳ１１５）。

次に、各々のカメラで検出した対象をマージする（ステップＳ１１８）。ここで、図６に、撮像画像のマージの一例を示す。図６に示す撮像画像６０は、上面カメラ３０１により取得した撮像画像であり、パック４３に貼付した反射材４４（再帰性反射材）により入力装置３０からのＩＲ発光を反射したものを捉えている。また、図６に示す撮像画像６１は、下面カメラ３０２から取得した撮像画像であり、ホッケー台５０の天板部材（例えばアクリル板）越しに、マレット４０Ａ、４０Ｂの底面に設けられた発光素子４２Ａ、４２Ｂ（ＩＲ ＬＥＤ）からの発光を直接検出している。

これら各々の撮像画像から輝点を検出し、パック４３とマレット４０の検出座標とする。例えば図６に示す例では、撮像画像６０から取得した輝点６０１が、パック４３の検出座標であり、撮像画像６１から取得した輝点６１１、６１２が、マレット４０Ａ、４０Ｂの検出座標である。なお複数のマレット４０Ａ、４０Ｂに対応する輝点６１１、６１２の個別認識は、例えば図１に示すようなエアホッケーゲームではある程度競技者の位置が決まっており、マレット４０は各競技者が把持して操作するものであるため、撮像画像６１を概ねの領域に分けて、例えば右側に位置する輝点６１１はユーザＢの操作するマレット４０Ｂの輝点、左側に位置する輝点６１２はユーザＡの操作するマレット４０Ａの輝点と判断することが可能である。

そして、このような検出座標結果に基づいて、発光認識部１２０は、図６の下段に示すように、２つの検出結果（輝点検出の行われた撮像画像６０、６１）を合成した合成画像６３を生成する。これにより、発光認識部１２０は、ホッケー台５０の天板上（同一面）におけるパック４３とマレット４０の位置を認識し得る。このように、本実施形態では、上下方向に分離した各々のカメラで各種の検出対象をセンシングし、各センシングデータからそれぞれの位置検出を行っているため、輝点が接近しても図２に示すような認識対象の一体化が起こらず、安定して位置認識を行うことができ、また、後述する衝突、すれ違いも誤認なく判定することができる。すなわち、複数の物体が近接した場合に、図２の撮像画像９１０に示すように２つの輝点が一体化して１つの輝点として検出されてしまい、各々の物体が衝突したのか、すれ違ったのか、その後の挙動が分からず、トラッキング対象が入れ替わる等の不安定さが改善される。これにより、その後のパック４３やマレット４０のトラッキングの安定さも保証される。

また、従来、検出対象が手などで覆われて遮蔽され、発光を安定して検出できないといった問題もあったが、本実施形態では、手で把持するマレット４０の底面に設けた発光素子４２からの光を、ホッケー台５０の天板越しに下側に設置された下面カメラ３０２で検出し、また、覆い隠される恐れのないパック４３からの反射光は上側に設置された上面カメラ３０１で検出するシステム構成とすることで、より確実に位置認識を行うことが可能となる。

続いて、軌跡管理部１３１は、各々の認識点（認識した輝点、すなわち検出座標）の衝突判定を行う。具体的には、例えば軌跡管理部１３１は、各々の認識点間の距離と所定の閾値とを比較し、衝突が発生したか否か（接近したが衝突が発生していない場合を、本実施形態では、「すれ違い判定」と称す）を判定する（ステップＳ１２１）。

次に、軌跡管理部１３１は、各々の認識点間の距離ｄが所定の閾値を下回る場合（ステップＳ１２１／Ｙｅｓ）、２点が衝突した（衝突有り）と判定し（ステップＳ１２４）、各々の認識点間の距離ｄが所定の閾値を上回る場合（ステップＳ１２１／Ｎｏ）、２点がすれ違った（衝突無し）と判定する（ステップＳ１２７）。ここで、図７に、衝突判定およびすれ違い判定の一例を示す。図７の上段には輝点Ｐ１と輝点Ｐ２の衝突例を、図７の下段には輝点Ｐ１と輝点Ｐ２のすれ違う例を、それぞれの軌跡と共に示す。各画像は、上面カメラ３０１から取得した撮像画像の輝点検出結果と下面カメラ３０２から取得した撮像画像の輝点検出結果とを合成した画像である。軌跡管理部１３１は、例えば輝点Ｐ１と輝点Ｐ２の距離ｄに基づいて、衝突したか否か（すれ違ったか）を判定する。具体的には、軌跡管理部１３１は、距離ｄ１は所定の閾値を下回るため衝突と判定し、距離ｄ２は所定の閾値を上回るためすれ違いと判定する。このように、２点が接近した場合に衝突したのかすれ違ったのかを確実に判定することで、その後接近地点から離れていく２点の輝点のトラッキングも、検出対象が入れ替わることなく、正確に行うことができる。

次いで、映像生成部１６０は、各判定に対応したプロジェクションマッピングする映像を映像管理部１３２により記憶部１４０から読み出す（ステップＳ１３０）。本実施形態では、例えば衝突の有無によってパック４３やホッケー台５０の盤面上に投影する映像を切り替えることも可能となる。衝突の有無に応じた投影映像の制御については、後述の「４．インタラクション例」において詳細に説明する。

次に、映像生成部１６０は、座標変換部１５０により記憶部１４０からこれまでの軌跡を取得する（ステップＳ１３３）。

そして、映像生成部１６０は、軌跡の座標と映像とを合わせてプロジェクタの映像を生成する（ステップＳ１３６）。生成した映像はＩ／Ｆ部１１０からプロジェクタ２０１に送信され、ホッケー台５０に投影される。

以上、本実施形態による動作処理の一例を説明した。なお図５に示す動作処理は一例であって、本開示は図５に示す例に限定されない。例えば、本開示は、図５に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１０６～Ｓ１０９の処理とステップＳ１１２～Ｓ１１５の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。

＜４．インタラクション例＞
以上説明した実施形態により、検出対象の衝突や、位置、盤面外周の位置関係を、リアルタイムに高精度で検出できるため、これらの検出結果に応じて、ホッケー台５０の盤面上（投影面上）に投影する映像をリアルタイムで変化させて様々な効果や演出を加えることも可能となる。

本実施形態では、一例として図１に示すようにエアホッケーに適用した場合における検出結果に応じた投影制御等によるインタラクションについて説明する。本実施形態によれば、例えばエアホッケーのプレイ内容を反映した盤面の画像を投影面上にリアルタイムに生成でき、また、その投影画像の記録や再生を行うことも可能とする。

以下、図８～図１４を参照してエアホッケーのプレイ内容に応じた具体的なインタラクションについて説明する。

（４－１．パック４３とマレット４０との衝突に応じたインタラクション）
図８は、パック４３とマレット４０との衝突に応じたインタラクションの一例を示す図である。図８に示すように、例えば各マレット４０Ａ、４０Ｂ、４０Ｃには、それぞれ所定の色（または柄）が設定されており、色画像７００ａ～７００ｃがそれぞれ投影されている。色画像７００ａ～７００ｃは、各マレット４０Ａ、４０Ｂ、４０Ｃの位置変化に応じてリアルタイムで追従し、常に各マレット４０Ａ、４０Ｂ、４０Ｃに投影される。

次いで、情報処理装置１０は、マレット４０とパック４３の衝突を検出した場合、すなわちユーザがマレット４０でパック４３を打った場合、パック４３に投影する画像のパラメータ（色、形、大きさ）を変化させる。例えば、情報処理装置１０は、衝突したパック４３に設定されている色をマレット４０に設定するようにしてもよい。例えば図８に示す例では、まず、マレット４０Ａにより打たれたパック４３がマレット４０Ａの色画像７００ａと同じ色の色画像７１０ａが投影された状態において、次にマレット４０Ｂがパック４３を打った場合、パック４３にはマレット４０Ｂの色画像７００ｂと同じ色の色画像７１０ｂが投影される。このように、パック４３の色や柄を、衝突したマレット４０の色や柄と同じものに変化させる例が挙げられる。

また、情報処理装置１０は、衝突したパック４３に投影する画像のサイズを変化させてもよい。例えば、一時的に画像のサイズを変化させて衝突のフィードバックを返したり、衝突毎に徐々に画像のサイズを大きくするようにしてもよい。

また、情報処理装置１０は、パック４３の位置情報を連続して記録し、パック４３の軌跡を表示している場合に、当該軌跡の色を衝突に応じて変化させてもよい。具体的には、例えば情報処理装置１０は、パック４３とその軌跡の色を、衝突したマレット４０に設定された色に変更する。

また、情報処理装置１０は、パック４３とマレット４０との衝突に応じて、フィードバック音や触覚を提示するようにしてもよい。触覚提示は、例えばマレット４０で行うことが可能である。マレット４０にアクチュエーター等を搭載しておくことで、情報処理装置１０は、衝突に応じて所定の刺激出力信号を対象のマレット４０に送信し、マレット４０において刺激出力（振動、温度等）を提示することが可能となる。

また、情報処理装置１０は、マレット４０がパック４３を打った速度に応じて、フィードバックする視覚（色や形、大きさ）や音、触覚のパラメータを変化させてもよい。

（４－２．パック４３と外周壁との衝突に応じたインタラクション）
また、情報処理装置１０は、パック４３が、プレイエリア（ホッケー台５０の盤上）の外周壁との衝突に応じたインタラクションも可能である。例えば情報処理装置１０は、パック４３が外周壁と衝突した瞬間にパック４３や、パック４３の軌跡に投影する画像のパラメータ（色、形、大きさ）を変えてもよい。

図９は、パック４３と外周壁との衝突に応じたインタラクションの一例を示す図である。図９に示すように、例えばホッケー台５０の盤面上に、各ユーザの陣地に相当するエリア７２０ａ～７３０ｃが投影されている場合に（エリア７２０ａ～７２０ｃの投影パラメータは、各ユーザのマレット４０の投影パラメータと同じまたは関連したものとする）、情報処理装置１０は、衝突した外周壁の領域の色等のパラメータを、パック４３やパック４３の軌跡に投影する。例えば図９に示す例では、パック４３がエリア７２０ａの外周壁に衝突した場合、エリア７２０ａの投影パラメータと同様の投影パラメータの軌跡７３０を表示する。

また、情報処理装置１０は、パック４３の色（打ったプレイヤーのマレット４０の色）と異なる色のエリア７２０ａ～７２０ｃの外周壁（他プレイヤーのゴールに相当する）とパック４３が衝突した場合、パック４３の色のエリア７２０（パック４３を打ったプレイヤーの陣地）の面積が増えるよう制御してもよい。例えば図９に示す例において、パック４３がエリア７２０ｂの外周壁に衝突した場合（すなわち、エリア７２０ｂを守るべきプレイヤーがパック４３を跳ね返せず自陣のゴールを守れなかった場合）、パック４３を打ったプレイヤーのエリア７２０ａ（パック４３の色と同じ色のエリア）の面積が増える。これにより、各プレイヤーは、競技をしながら感覚的に自分の勝ち負け具合を自陣のエリア７２０の大きさにより把握し、スコアを確認しなくとも直感的に勝敗を把握することができる。

また、情報処理装置１０は、パック４３が外周壁と衝突した瞬間に、フィードバック音や触覚を提示してもよい。

また、情報処理装置１０は、パック４３が外周壁と衝突した速度に応じてフィードバックする視覚（色や形、大きさ）や音、触覚のパラメータを変化させてもよい。

（４－３．パック４３／マレット４０の仮想的なサイズに基づく衝突に応じたフィードバック）
情報処理装置１０は、投影画像により、パックやマレットのサイズを実際の物理的なサイズとは異なる仮想的なサイズに変更（拡大または縮小。仮想的な衝突判定領域の設定）することが可能である。そして、情報処理装置１０は、仮想的なサイズのパックやマレットの衝突を判定し、映像の変化や音、触覚などのフィードバックを行う。

ここで、図１０に、マレットの仮想的なサイズに基づく衝突に応じたインタラクションの一例を示す。また、図１１に、パックの仮想的なサイズにおける衝突に基づくインタラクションの一例を示す。

図１０に示す例では、実物体のマレット４０Ｂのサイズを、仮想サイズ画像７４０の投影により仮想的に大きくしている。情報処理装置１０は、パック４３と仮想サイズ画像７４０との衝突を判定し、衝突タイミングに応じて、映像の変化や音、触覚などのフィードバックを行う。例えば情報処理装置１０は、上述した実施形態によりパック４３とマレット４０Ｂの位置をリアルタイムで精度よく検出できるため、マレット４０Ｂの設定された仮想サイズに基づいて、パック４３がマレット４０Ｂの設定された仮想サイズの領域の輪郭に衝突した瞬間をリアルタイムで判定することが可能となる。図１０に示す例では、パック４３の投影パラメータ（例えば、色）を、衝突した仮想サイズ画像７４０の投影パラメメータ（例えば、色）と同じものに変化させるフィードバックを行っている。

また、図１１に示す例も同様に、実物体のパック４３のサイズを、仮想サイズ画像７５０の投影により仮想的に大きくしている。情報処理装置１０は、仮想サイズ画像７５０とマレット４０Ｂとの衝突を判定し、衝突タイミングに応じて、映像の変化や音、触覚などのフィードバックを行う。図１１に示す例では、仮想サイズ画像７５０の投影パラメータ（例えば、色）を、衝突したマレット４０Ｂの投影パラメメータ（例えば、色）と同じものに変化させるフィードバックを行っている。

このように、情報処理装置１０は、実際は実物体のマレット４０Ｂ／パック４３に衝突した場合であっても、仮想サイズの領域の輪郭との衝突のタイミングでフィードバックを行ったり、仮想サイズの領域の輪郭との衝突位置で跳ね返った軌跡を表示することで、あたかも物理的なパックやマレットの大きさが変化したかのような効果をユーザに与えることができる。

（４－４．バーチャルパックの衝突に応じたフィードバック）
また、情報処理装置１０は、物理的なパック４３以外にも、投影された映像のみからなる仮想的なパック（本明細書において、バーチャルパックと称す）を導入し、バーチャルパックとマレット４０との衝突に基づく一連のフィードバックを与えることができる。

図１２は、バーチャルパック７６０と物理的なマレット４０Ｂとの衝突に応じたフィードバックの一例を示す図である。情報処理装置１０は、上述した実施形態によりマレット４０の位置をリアルタイムで精度よく検出できるため、プロジェクタ２０１により盤上に投影するバーチャルパック７６０の動き（位置の変化）に基づいて、バーチャルパック７６０がマレット４０Ｂに衝突した瞬間をリアルタイムで判定することが可能となる。図１２に示す例では、バーチャルパック７６０の投影パラメータ（例えば、色）を、衝突したマレット４０Ｂの投影パラメメータ（例えば、色）と同じものに変化させるフィードバックを行っている。

また、情報処理装置１０は、バーチャルパック７６０のマレット４０Ｂに対する衝突速度や角度等から跳ね返る方向や速度等を算出し、バーチャルパック７６０の動きをよりリアルに制御し得る。

このように、本実施形態による情報処理装置１０は、バーチャルパック７６０と物理的なマレット４０との衝突時に、映像の変化や、音、触覚などのフィードバックを行うことで、あたかも物理的なパックが衝突したかのような感覚をユーザに与えることが可能となる。

また、かかるフィードバックは、物理的なパック４３との衝突時と同じにすることであたかも実在するパックを打っているかのようにプレイヤーに錯覚させることもできるし、物理的なパック４３との衝突時とは異なるフィードバックを与えることで、物理的なパック４３との峻別を容易にすることも可能である。

例えば、情報処理装置１０は、物理的なパック４３と衝突した場合と、バーチャルパック７６０と衝突した場合とで、触覚提示を変えるようにしてもよい（軽い／重い、柔らかい／硬い等）。

また、情報処理装置１０は、物理的なパック４３とバーチャルパックとで、軌跡制御を変えるようにしてもよい。例えば図１３に示すように、情報処理装置１０は、物理的なパック４３の軌跡はパック４３の投影色と同じ色に変更し、バーチャルパック７７０の軌跡は色の消去を行うようにしてもよい。すなわち、図１３に示す例では、物理的なパック４３には盤面に色を付加する役割を与えているのに対し、バーチャルパック７７０には盤面に生成された色を消していく役割を与えている。

また、バーチャルパックは物理的な制約を受けないため、個数やサイズ、速度、反発係数、摩擦係数などを動的に変化（性質変化）させることが可能である。例えば、情報処理装置１０は、バーチャルパックを打つたびにバーチャルパックのサイズを大きくしたり、バーチャルパックの移動速度を速くしたりする制御を行ってもよい。また、情報処理装置１０は、バーチャルパックが強く打たれた際に複数に分裂させるようにしてもよい。また、情報処理装置１０は、特定条件下でバーチャルパックが直線的でない動きをするように制御してもよい。また、情報処理装置１０は、一定時間が経過した際にバーチャルパックを瞬間移動させたり、合体／消滅させたりするようにしてもよい。

また、情報処理装置１０は、バーチャルパックの性質の変化（サイズアップ、分裂等）を、物理的なパックやマレットとの直接的なインタラクションによって起こしてもよいし、所定のアイテムを介して行われるようにしてもよい。例えば情報処理装置１０は、決められた条件下で盤面上に表示されるアイテムの上をバーチャルパックが通過した際に、特定の性質が変化するようにしてもよい。図１４に示す例では、バーチャルパック７９０がスプリッタと称されるアイテム７８０の領域の上を通過した際に、バーチャルパック７９１とバーチャルパック７９２の２つに分裂する。

なお、物理的なパック４３に関しては、このようなアイテムを用いてその速度や物性を動的に制御することは困難であるが、パック４３に重畳表示する投影画像の色を変えたり、衝突判定領域のサイズを変えたりすることで、アイテムに応じてパック４３のサイズが変化している等の錯覚を与えることは可能である。

さらに、バーチャルパックと物理的なパックとの間の衝突判定も可能であるため、両者を組み合わせたインタラクションも提示することができる。具体的には、例えば情報処理装置１０は、物理的なパックにバーチャルパックが衝突するとバーチャルパックだけが跳ね返るようにしてもよいし、物理的なパックにバーチャルパックが衝突するとバーチャルパックが分裂するようにしてもよい。また、物理的なパックを強く打った際に、物理的なパックからバーチャルパックが生成されるようにしてもよい。また、情報処理装置１０は、一定時間が経過するとバーチャルパックが物理パックに吸収されるようにしてもよい。

（４－５．盤面画像の記録）
また、情報処理装置１０は、盤面画像を記憶部１４０に蓄積し、盤面上において再生（投影表示）することが可能である。また、情報処理装置１０は、盤面画像の生成過程のログを再生（すなわち、パックやマレットの軌跡を時間経過に応じて再生）することも可能である。

（４－６．インタラクション制御処理の流れ）
次いで、以上説明した本実施形態によるインタラクションの制御処理の流れについて、図１５を参照して説明する。図１５は、本実施形態によるインタラクションの制御処理の流れの一例を示すフローチャートである。

図１５に示すように、まず、情報処理装置１０は、盤面上への投影に関する投影パラメータを初期化する（ステップＳ２０３）。投影パラメータとは、例えば、各マレット４０やパック４３、また、盤面に投影する映像の色、形、大きさなどである。

次に、情報処理装置１０は、軌跡情報の記録を開始する（ステップＳ２０６）。

具体的には、まず、情報処理装置１０は、発光認識部１２０により、下面カメラ３０２から取得した撮像画像に基づいて、物理的なパック４３の位置を検出し（ステップＳ２０９）、仮想判定領域を設定している場合はパック４３に対応する仮想判定領域（例えば図１１に示す仮想サイズ画像７５０）を更新する（ステップＳ２１２）。例えば情報処理装置１０は、固定値または時間に連動して変化させてもよいし（例えば最初はパックサイズを小さくし、ゲームプレイ時間が増えるほど大きくなるようにする)、ゲーム状況に連動して変化させてもよい（例えばスコアが負けているプレイヤーのマレットを大きくする等）。

また、情報処理装置１０は、発光認識部１２０により、上面カメラ３０１から取得した撮像画像に基づいて、物理的なマレット４０の位置を検出し（ステップＳ２１５）、仮想判定領域を設定している場合はマレット４０に対応する仮想判定領域（例えば図１０に示す仮想サイズ画像７４０）を更新する（ステップＳ２１８）。

また、情報処理装置１０は、バーチャルパックを導入している場合はバーチャルパックの位置を更新する（ステップＳ２２１）。

次に、情報処理装置１０は、衝突判定を行う（ステップＳ２２４）。具体的には、情報処理装置１０は、上述した実施形態で説明したように、上面カメラ３０１から取得した撮像画像と下面カメラ３０２から取得した撮像画像とを合成し、マレット４０とパック４３に対応する各輝点の認識点間の距離に応じて、衝突判定を行い得る。また、情報処理装置１０は、マレット４０やパック４３に仮想判定領域を設定している際は、仮想判定領域を考慮して衝突判定を行い得る。また、情報処理装置１０は、バーチャルパックを導入している場合は、バーチャルパックの位置を考慮して衝突判定を行い得る。

次いで、衝突したと判定された場合（ステップＳ２２４／Ｙｅｓ）、情報処理装置１０は、衝突に応じて投影パラメータ（色、形、大きさなど）を変更する（ステップＳ２２７）。

次に、情報処理装置１０は、衝突に応じてバーチャルパックパラメータを更新する（ステップＳ２３０）。バーチャルパックパラメータとは、バーチャルパックの性質であって、例えば速度、個数、サイズ、反発係数、摩擦係数などである。情報処理装置１０は、衝突に応じて、バーチャルパックの速度変化や、分裂／吸収（個数の増減）を制御する。

次いで、情報処理装置１０は、衝突に応じたフィードバック音や触覚生成を行う（ステップＳ２３３）。生成したフィードバック音や触覚は、音響装置やマレット４０により提示される。

次に、情報処理装置１０は、軌跡情報を更新する（ステップＳ２３６）。

次いで、情報処理装置１０は、上記ステップＳ２０９～Ｓ２３６に示す軌跡情報の記録処理を、ゲームが終了するまで繰り返す（ステップＳ２３９）。

そして、ゲームが終了した場合（ステップＳ２３９／Ｙｅｓ）、情報処理装置１０は、（最終的な）盤面画像を記録する（ステップＳ２４２）。

以上、本実施形態による動作処理の一例を説明した。なお図１５に示す動作処理は一例であって、本開示は図１５に示す例に限定されない。例えば、本開示は、図１５に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ２２７～Ｓ２３９の処理は並列に処理されてもよいし、異なる順番で処理されてもよい。

＜５．応用例＞
以上、本実施形態による情報処理システム１について、エアホッケーに適用した場合に、検出対象の一例として各マレット４０とパック４３との位置をより確実に検出する位置検出と、検出結果に基づく衝突判定、および、衝突判定に応じた映像や音、触覚等によるインタラクションについて説明した。しかし、本開示による位置検出技術は、エアホッケーの他にも、様々なシーンに適用され得る。以下、いくつかの具体例を用いて、本実施形態の応用例について説明する。

（５－１．部屋などにおける人の位置検出）
本実施形態による情報処理システム１は、例えば、部屋などにおける人の位置検出を行うことも可能である。図１６に、本実施形態の第１の応用例について説明する図を示す。

図１６に示すように、例えば部屋の床面５５を、所定の検出波長を透過する部材（例えばＩＲを透過するアクリルなど）で構築すると共に、ユーザの靴底に再帰性反射マーカー等の反射材４２１を貼付し、床下から投射機（照明装置３０３ａ）によりＩＲの投射を行い、その反射を撮像装置３０２ａでセンシングして得られたセンシングデータから人の位置を認識する。

かかるシステムは、例えばエンターテインメントなどにおいて、巨大な迷路でユーザがどこにいるのかを検出し、ユーザの方向にロボットなどの敵を自律走行で近付けていく処理などを可能とする。ロボットの位置は、例えばロボットの頭に貼付した再帰性反射マーカー等の反射材に対して、天井から投射機（照明装置３００ａ）でＩＲの投射を行って、その反射光を撮像装置３０１ａでセンシングして得たセンシングデータから算出される。

また、床面５５に貼付した再帰性反射マーカー等の反射材４３１に対して天井から投射機（照明装置３００ａ）でＩＲの投射を行い、その反射光を撮像装置３０１ａでセンシングしてもよい。かかるセンシングにより得たセンシングデータに基づいて、ユーザが床面５５の反射材４３１の上を歩いて反射光を遮蔽した場合に罠を発火する処理などを可能とする。

また、図１６に示す例では、ユーザの位置や罠の発火等に応じて、天井に設置したプロジェクタ２０１ａにより所定の映像を床面５５に投影することも可能である。

（５－２．カードゲームへの応用）
本実施形態による情報処理システム１は、例えば、カードゲームにおけるカードの位置と裏表検出を行うことも可能である。図１７に、本実施形態の第２の応用例について説明する図を示す。

図１７に示すように、例えばテーブル天面５７を、所定の検出波長を透過する部材（例えばＩＲを透過するアクリルなど）で作成すると共に、カード４５の両面にはそれぞれユニークなマーカー（反射材）４３２、４３３を貼付する。

そして、テーブル天面５７の下からは、投射機（照明装置３０３ｂ）でＩＲの投射を行って、マーカーの反射光を撮像装置３０２ｂでセンシングし、得たセンシングデータからカードの位置および裏表を検出する。一方、上側からは、投射機（照明装置３００ｂ）でＩＲの投射を行って、その反射光を撮像装置３０１ｂでセンシングし、得たセンシングデータに基づいてユーザが手をかざしているカードをマーカーからの反射光の遮蔽箇所から認識する。

これにより、例えば手をかざしているカードにプロジェクションなどのエフェクトをプロジェクタ２０１ｂにより投影することや、他のカードとの位置関係や裏表を反映したゲーム性のあるエフェクトを投影することが可能となる。

（５－３．ボルダリングへの応用）
本実施形態による情報処理システム１は、例えば、ボルダリングの壁にあるホールドの位置とユーザ位置の認識に応用することも可能である。図１８に、本実施形態の第３の応用例について説明する図を示す。

図１８に示すように、例えばボルダリングの壁５８を、所定の検出波長を透過する部材（例えばＩＲを透過するアクリルなど）で構築すると共に、各ホールド４３５の両面に、再帰性反射マーカー等の反射材４３６、４３７を貼付し、各ホールド４３５を前後面から反射材４３６、４３７の反射光を撮像装置３０１ｃ、３０２ｃでセンシングし（例えば再帰性反射）、センシングデータに基づいて、表側はユーザが把持したことを反射光の遮蔽箇所により認識し、裏面は安定してホールドの位置を認識することが可能となる。また、前後のセンシングデータの差分から、ユーザの把持しているホールドをより確実に認識することが可能となる。

これにより、例えばユーザの位置やホールド場所に応じてプロジェクションなどのエフェクトをプロジェクタ２０１ｃにより投影することが可能となる。

また、ボルダリングへの応用の他の例として、ボルダリングの壁における人の位置および姿勢の検出も可能である。図１９は、本実施形態の第３の応用例の他の例について説明する図である。

図１９に示すように、例えばボルダリングの壁５９を、所定の検出波長を透過する部材（例えばＩＲを透過するアクリルなど）で構築すると共に、壁５９の前面に再帰性反射材等による格子パターン４５０を貼付する。情報処理装置１０は、ＩＲ投射機（照明装置３００ｄ）と撮像装置３０１ｄにより、格子パターン４５０をセンシング（例えば再帰性反射で検出）し、そのセンシングデータに基づく遮蔽状況から人のシルエットが抽出できるため、これにより人の位置や姿勢を認識することが可能となる。なお裏面からは、ＩＲ投射機（照明装置３０３ｄ）と撮像装置３０２ｄを用いて得たセンシングデータに基づいて、各ホールド４６０の（固定）位置を認識することが可能となる。

これにより、例えばユーザの位置やホールド場所に応じてプロジェクションなどのエフェクトをプロジェクタ２０１ｄにより投影することが可能となる。

＜６．ハードウェア構成例＞
次に、図２０を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図２０は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。

図２０に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置１０は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。情報処理装置１０は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどであり得る。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０と外部接続機器９２９との間で各種のデータが交換され得る。

通信装置９２５は、例えば、ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどであり得る。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続されるネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜７．まとめ＞
上述したように、本開示の実施形態による情報処理システムでは、複数の検出対象の位置をより確実に認識することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
同一面に存在する第１の検出対象と第２の検出対象の位置を認識する制御部を備え、
前記制御部は、
前記第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、
前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識する、情報処理装置。
（２）
前記第１の検出対象と前記第２の検出対象が位置する面を形成する部材は、前記第１のセンサと前記第２のセンサの間に位置し、前記第２のセンサによる検出用の波長を透過する部材である、前記（１）に記載の情報処理装置。
（３）
前記第１のセンサは、前記第１の検出対象に設けられた反射材により反射される光または発光部により発光される光を検知し、
前記第２のセンサは、前記第２の検出対象に設けられた反射材により反射される光または発光部により発光される光を検知する、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、
前記認識した前記第１の検出対象の位置と、前記第２の検出対象の位置とに基づいて、前記第１の検出対象と前記第２の検出対象との衝突の有無を判定する衝突判定を行う、前記（１）に記載の情報処理装置。
（５）
前記制御部は、
前記第１のセンサにより取得された第１の撮像画像と、前記第２のセンサにより取得された第２の撮像画像とに基づいて、前記第１の撮像画像から認識された前記第１の検出対象の位置と、前記第２の撮像画像から認識された前記第２の検出対象との位置とを含む合成画像を生成し、前記衝突判定を行う、前記（４）に記載の情報処理装置。
（６）
前記制御部は、
前記第１の検出対象の位置および前記第２の検出対象の位置の間の距離と、所定の閾値との比較結果に基づいて、前記衝突判定を行う、前記（５）に記載の情報処理装置。
（７）
前記制御部は、
前記第１の検出対象の位置と前記第２の検出対象の位置の間の距離が、前記所定の閾値を下回る場合、前記第１の検出対象と前記第２の検出対象との衝突が有ったと判定する、前記（６）に記載の情報処理装置。
（８）
前記制御部は、
前記衝突の有無に応じたインタラクション制御を行う、前記（４）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記制御部は、
前記衝突が有った場合に、前記第１の検出対象、前記第２の検出対象、または前記第１の検出対象および前記第２の検出対象が位置する面上の少なくともいずれかに対する表示制御、音声出力、または前記第１の検出対象または前記第２の検出対象への触覚提示の制御を行う、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、
ユーザに操作される前記第１の検出対象に前記第２の検出対象が衝突した場合、前記第２の検出対象に対する投影色を変化させる、前記（８）または（９）に記載の情報処理装置。
（１１）
前記制御部は、
ユーザに操作される前記第１の検出対象に前記第２の検出対象が衝突した場合、前記第２の検出対象に対する投影画像の表示サイズを変化させる、前記（８）から１０のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する前記第２の検出対象と、面上の外周壁との衝突を判定し、
前記外周壁との衝突が有った場合に、前記第２の検出対象への投影色、または前記第２の検出対象の面上における移動軌跡の表示色を少なくとも変化させる、前記（８）から１１のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
前記第２の検出対象が、前記第２の検出対象の投影色と異なる投影色の前記外周壁と衝突した場合、前記面上において、前記第２の検出対象の投影色と同じ投影色の領域を増やす、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、
前記第１の検出対象または第２の検出対象の少なくともいずれかに対して仮想的な衝突判定領域を設定し、
前記仮想的な衝突判定領域を投影画像により明示する、前記（８）から１３のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、
ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する仮想物体画像を前記面上に投影し、
前記第１の検出対象との衝突に応じて前記仮想物体画像を変化させる、前記（８）から１４のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、
前記第１の検出対象との衝突に応じて前記仮想物体画像の色、サイズ、個数、または移動速度を変化させる、前記（１５）に記載の情報処理装置。
（１７）
前記制御部は、
前記第１の検出対象が、前記第２の検出対象または前記仮想物体画像のいずれに衝突したかに応じて、前記インタラクション制御の内容を変更する、前記（１５）または（１６）に記載の情報処理装置。
（１８）
前記制御部は、
ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する前記第２の検出対象の動きに応じて前記面上に画像を生成し、
前記生成した前記面上の画像の生成過程を記録する、
前記（８）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
プロセッサが、
第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識することと、
前記第１の検出対象が存在する面を介した前記第１の方向と逆の方向から、前記面に存在する第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識することと、
を含む、情報処理方法。
（２０）
コンピュータを、
同一面に存在する第１の検出対象と第２の検出対象の位置を認識する制御部として機能させ、
前記制御部は、
前記第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、
前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識する、プログラム。

１ 情報処理システム
１０ 情報処理装置
２０ 出力装置
３０ 入力装置
４０ マレット
４２ 発光素子
４３ パック
４４ 反射材
５０ ホッケー台
１１０ Ｉ／Ｆ部
１２０ 発光認識部
１３０ 管理部
１３１ 軌跡管理部
１３２ 映像管理部
１４０ 記憶部
１５０ 座標変換部
１６０ 映像生成部
２０１ プロジェクタ
３００ 照明装置
３０１ 上面カメラ
３０１ａ～３０１ｄ 撮像装置
３０２ 下面カメラ
３０２ａ～３０２ｄ 撮像装置
７６０、７７０ バーチャルパック

Claims (18)

1. 同一面に存在する第１の検出対象と第２の検出対象の位置を認識する制御部を備え、
   前記制御部は、
   前記第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、
   前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識し、
   前記認識した前記第１の検出対象の位置と、前記第２の検出対象の位置とに基づいて、前記第１の検出対象と前記第２の検出対象との衝突の有無を判定する衝突判定を行い、
   前記第１のセンサにより取得された第１の撮像画像と、前記第２のセンサにより取得された第２の撮像画像とに基づいて、前記第１の撮像画像から認識された前記第１の検出対象の位置と、前記第２の撮像画像から認識された前記第２の検出対象との位置とを含む合成画像を生成し、前記衝突判定を行う、
   情報処理装置。
2. 前記第１の検出対象と前記第２の検出対象が位置する面を形成する部材は、前記第１のセンサと前記第２のセンサの間に位置し、前記第２のセンサによる検出用の波長を透過する部材である、請求項１に記載の情報処理装置。
3. 前記第１のセンサは、前記第１の検出対象に設けられた反射材により反射される光または発光部により発光される光を検知し、
   前記第２のセンサは、前記第２の検出対象に設けられた反射材により反射される光または発光部により発光される光を検知する、請求項１に記載の情報処理装置。
4. 前記制御部は、
   前記第１の検出対象の位置および前記第２の検出対象の位置の間の距離と、所定の閾値との比較結果に基づいて、前記衝突判定を行う、請求項１に記載の情報処理装置。
5. 前記制御部は、
   前記第１の検出対象の位置と前記第２の検出対象の位置の間の距離が、前記所定の閾値を下回る場合、前記第１の検出対象と前記第２の検出対象との衝突が有ったと判定する、請求項４に記載の情報処理装置。
6. 前記制御部は、
   前記衝突の有無に応じたインタラクション制御を行う、請求項１に記載の情報処理装置。
7. 前記制御部は、
   前記衝突が有った場合に、前記第１の検出対象、前記第２の検出対象、または前記第１の検出対象および前記第２の検出対象が位置する面上の少なくともいずれかに対する表示制御、音声出力、または前記第１の検出対象または前記第２の検出対象への触覚提示の制御を行う、請求項６に記載の情報処理装置。
8. 前記制御部は、
   ユーザに操作される前記第１の検出対象に前記第２の検出対象が衝突した場合、前記第２の検出対象に対する投影色を変化させる、請求項６に記載の情報処理装置。
9. 前記制御部は、
   ユーザに操作される前記第１の検出対象に前記第２の検出対象が衝突した場合、前記第２の検出対象に対する投影画像の表示サイズを変化させる、請求項６に記載の情報処理装置。
10. 前記制御部は、
    ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する前記第２の検出対象と、面上の外周壁との衝突を判定し、
    前記外周壁との衝突が有った場合に、前記第２の検出対象への投影色、または前記第２の検出対象の面上における移動軌跡の表示色を少なくとも変化させる、請求項６に記載の情報処理装置。
11. 前記制御部は、
    前記第２の検出対象が、前記第２の検出対象の投影色と異なる投影色の前記外周壁と衝突した場合、前記面上において、前記第２の検出対象の投影色と同じ投影色の領域を増やす、請求項１０に記載の情報処理装置。
12. 前記制御部は、
    前記第１の検出対象または前記第２の検出対象の少なくともいずれかに対して仮想的な衝突判定領域を設定し、
    前記仮想的な衝突判定領域を投影画像により明示する、請求項６に記載の情報処理装置。
13. 前記制御部は、
    ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する仮想物体画像を前記面上に投影し、
    前記第１の検出対象との衝突に応じて前記仮想物体画像を変化させる、請求項６に記載の情報処理装置。
14. 前記制御部は、
    前記第１の検出対象との衝突に応じて前記仮想物体画像の色、サイズ、個数、または移動速度を変化させる、請求項１３に記載の情報処理装置。
15. 前記制御部は、
    前記第１の検出対象が、前記第２の検出対象または前記仮想物体画像のいずれに衝突したかに応じて、前記インタラクション制御の内容を変更する、請求項１３に記載の情報処理装置。
16. 前記制御部は、
    ユーザに操作される前記第１の検出対象との衝突により面上を自由移動する前記第２の検出対象の動きに応じて前記面上に画像を生成し、
    前記生成した前記面上の画像の生成過程を記録する、
    請求項６に記載の情報処理装置。
17. プロセッサが、
    第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識することと、
    前記第１の検出対象が存在する面を介した前記第１の方向と逆の方向から、前記面に存在する第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識することと、
    前記認識した前記第１の検出対象の位置と、前記第２の検出対象の位置とに基づいて、前記第１の検出対象と前記第２の検出対象との衝突の有無を判定する衝突判定を行うことと、
    を含み、
    前記第１のセンサにより取得された第１の撮像画像と、前記第２のセンサにより取得された第２の撮像画像とに基づいて、前記第１の撮像画像から認識された前記第１の検出対象の位置と、前記第２の撮像画像から認識された前記第２の検出対象との位置とを含む合成画像を生成し、前記衝突判定を行う、
    情報処理方法。
18. コンピュータを、
    同一面に存在する第１の検出対象と第２の検出対象の位置を認識する制御部として機能させ、
    前記制御部は、
    前記第１の検出対象を第１の方向からセンシングする第１のセンサによるセンシングデータに基づいて、前記第１の検出対象の位置を認識し、
    前記同一面を介した前記第１の方向と逆の方向から、前記第２の検出対象をセンシングする第２のセンサによるセンシングデータに基づいて、前記第２の検出対象の位置を認識し、
    前記認識した前記第１の検出対象の位置と、前記第２の検出対象の位置とに基づいて、前記第１の検出対象と前記第２の検出対象との衝突の有無を判定する衝突判定を行い、
    前記第１のセンサにより取得された第１の撮像画像と、前記第２のセンサにより取得された第２の撮像画像とに基づいて、前記第１の撮像画像から認識された前記第１の検出対象の位置と、前記第２の撮像画像から認識された前記第２の検出対象との位置とを含む合成画像を生成し、前記衝突判定を行う、
    プログラム。

Images