JP6666121B2 - 情報処理システム、情報処理装置、情報処理方法、および、情報処理プログラム - Google Patents

Description

本発明は、反射部材と、所定の画像処理が可能な情報処理装置とを少なくとも備える情報処理システムに関する。

従来から、長手のハウジングを含み、ハウジングに手のひらで包まれるように把持される把持部が形成されているゲーム用操作装置や、これを用いたゲームシステムが知られている（例えば、特許文献１）。この操作装置には、ハウジングの長手方向前方端に撮像部が設けられている。また、このゲームシステムでは、ディスプレイの画面の近傍に、赤外光（赤外線）を発光するＬＥＤモジュールが配置される。そして、例えば当該ＬＥＤモジュールから出力される赤外光を上記撮像部で撮像し、その撮像画像内における赤外光の位置を解析することで、ゲーム用操作装置の操作状況を推定することが可能であった。

特開２００７−０５４１１４号公報

上記のようなゲームシステムでは、ディスプレイ側の近傍に赤外光を発するためのＬＥＤモジュールを配置するという構成を採っていた。この点について、発明者は、同様のことを実現するために、より簡易な構成とする余地があることに気付いた。

それ故に、本発明の目的は、簡易な構成によって、様々な状況や場面に応じた発光制御が実現可能な情報処理システムを提供することである。

上記目的を達成するために、例えば以下のような構成例が挙げられる。

構成例の一例は、反射部材と、所定の画像処理が可能な情報処理装置とを少なくとも備える情報処理システムであって、反射部材は、再帰性反射材である。情報処理装置は、撮像手段と、第１発光手段と、第２発光手段と、光源検出手段とを備える。撮像手段は、画像を撮影する。第１発光手段は、所定の光を発光する。第２発光手段は、第１発光手段とは半減角または照射角の少なくともいずれか一方が異なっており、所定の光を発光する。光源検出手段は、撮像手段によって撮像された撮像画像において、再帰性反射材によって反射された第１および／または第２発光手段からの反射光を示す再帰性反射材画像を含む光源画像を検出する。ここで、光源画像とは、上記撮像画像内における、各種の反射光に係る画像部分のことである。また、再帰性反射材画像とは、上記撮像画像内における、上記再帰性反射材による反射光に係る画像部分のことである。なお、第１発光手段および第２発光手段は、撮像手段の近傍に設けられていてもよい。

上記構成例によれば、半減角または照射角の少なくともいずれか一方が異なる２種類の発光手段について、様々な状況・場面に応じて使い分けることが可能な情報処理システムを提供することができる。

他の構成例として、情報処理装置は、第１発光手段または第２発光手段のいずれか一方、またはその双方を発光させる発光制御手段を更に備えていてもよい。また、情報処理システムは、情報処理装置とは異なる他の情報処理装置を更に含み、発光制御手段は、他の情報処理装置から送信された指示データを受信し、当該指示データに基づいて発光制御を行うようにしてもよい。あるいは、発光制御手段は、反射部材から情報処理装置までの距離を算出する距離算出手段を含み、当該距離算出手段で算出された距離に応じて発光制御を行うようにしてもよい。

上記構成例によれば、２種類の発光手段を距離に応じて適宜オン／オフ制御することもでき、様々な状況・場面に応じた発光制御が可能となる。

他の構成例として、第１発光手段の半減角または照射角は、撮像手段の画角以上の角度であり、第２発光手段の半減角または照射角は、撮像手段の画角未満の角度であってもよい。

上記構成例によれば、例えば発光手段から発光される光の反射光に基づいて所定の物体を検出するような場合において、その検出精度を維持しながら、消費電力の軽減を図ることも可能となる。

他の構成例として、第１発光手段および第２発光手段は、赤外光を発光するように構成されていても良い。

上記構成例によれば、ユーザの視認行動の邪魔にならないようにすることができ、また、例えば部屋が暗い状況であっても、反射部材からの反射光等、赤外光を用いた認識処理の実行も可能となる。

他の構成例として、情報処理装置は、検出した光源画像の撮像画像内における位置情報を算出する算出手段を更に備えていてもよい。そして、算出手段は、検出した光源画像の明るさまたは撮像画像内における大きさを更に算出するよう構成しても良い。更には、情報処理装置は、算出手段で算出された光源画像の大きさと、撮像画像内における光源画像間の距離とに基づき、反射部材画像を特定する反射部材特定手段を備える構成であってもよい。

上記構成例によれば、撮像画像内における反射部材の位置を特定でき、これに基づいて、情報処理装置の（反射部材に対しての相対的な）姿勢等を算出することも可能となる。

他の構成例として、撮像手段の撮像方向と、第１発光手段および第２発光手段の発光方向とは、略同方向であってもよい。

上記構成例によれば、情報処理装置の撮像手段がある面が向いている方向をより正確に算出できる。

他の構成例として、情報処理装置は、ハンドヘルド型の情報処理装置であってもよい。

上記構成例によれば、例えば片手持ちの携帯型情報処理装置やゲーム用の多機能コントローラ等で、その向きや姿勢を検出し、これに応じた情報処理を実行することができる。

他の構成例の一例は、撮像手段と、第１発光手段と、第２発光手段と、光源検出手段とを備える、情報処理装置である。撮像手段は、画像を撮影する。第１発光手段は、所定の光を発光する。第２発光手段は、所定の光を発光し、第１発光手段とは半減角または照射角の少なくともいずれか一方が異なっている。光源検出手段は、撮像手段によって撮像された撮像画像において、所定の再帰性反射材によって反射された第１または第２発光手段からの反射光を示す反射部材画像を含む光源画像を検出する。

上記構成例によれば、半減角または照射角の少なくともいずれか一方が異なる２種類の発光手段につき、様々な状況・場面に応じた発光制御が可能となる。

本実施形態によれば、簡易なシステム構成で、様々な状況・場面に応じた複数の発光手段の使い分けを行うことができる。

本実施形態の一例であるゲームシステムの全体像を示す模式図 撮像対象部材８を正面から見たときの模式図 ゲーム装置３のブロック図 コントローラ５の外観構成を示す斜視図 ハウジング５１の前面を示す模式図 コントローラ５の内部構成を示すブロック図 本実施形態にかかる制御処理の一例を示すフローチャート

以下、本発明の一実施形態について説明する。

図１は、情報処理システムの一例であるゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、ゲーム装置３、ハンドヘルド型の入力装置の一例であるコントローラ５、および、再帰性反射材付き撮像対象部材８（以下、単に撮像対象部材と呼ぶ）を含む。ゲームシステム１は、コントローラ５を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２に表示するものである。

ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク（図示せず）が脱着可能に挿入される。

ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。

テレビ２の画面の周辺（図１では画面の上側）には、撮像対象部材８が設置される。ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、撮像対象部材８は、コントローラ５の（撮像対象部材８に対する相対的な）姿勢等をゲーム装置３が算出するために用いられる。撮像対象部材８は、コントローラ５と対向することになる表面上に、３つの再帰性反射材８１Ａ〜８１Ｃ（以下では総称して再帰性反射材８１と呼ぶこともある）を有している。当該再帰性反射材８１は、入射した方向に光を返す素材である（入射角と出射角が等しくなる）。

ここで、図２に、撮像対象部材８のサイズと、再帰性反射材８１の配置の一例を示す。図２は、撮像対象部材８を正面から見た場合の模式図である。図２の例では、撮像対象部材８は、３０ｃｍの横幅（ｘ軸方向の長さ）を有している。また、高さ（ｙ軸方向長さ）が１ｃｍである。なお、図示は省略しているが、奥行き（ｚ軸方向長さ）は、テレビ２の画面の上側における程度の長さを有しているものとする。撮像対象部材８の左端に再帰性反射材８１Ａが配置され、撮像対象部材８の中央に再帰性反射材８１Ｂが配置され、撮像対象部材８の右端に再帰性反射材８１Ｃが配置されている。再帰性反射材８１はそれぞれ、３ｃｍの横幅を有している。また、再帰性反射材８１同士は、１０．５ｃｍの間隔を空けて配置されている。つまり、再帰性反射材８１は等間隔で配置されている。

なお、図２に示す配置間隔やサイズはあくまで一例であり、これに限定されるものではなく、他のサイズや配置間隔を利用しても良い。

コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。また、本実施形態では、コントローラ５はバッテリーを電源として動作するものとする。

ここで、本実施形態では、コントローラ５の前面（先端側）に赤外光発光部（本実施例ではＩＲ−ＬＥＤ）および赤外カメラが設けられている。そのため、コントローラ５の前面を撮像対象部材８に向けることで、撮像対象部材８に赤外光を照射することになる。その結果、上記赤外光発光部から発光された赤外光は上記再帰性反射材８１によって反射される。そのため、上記赤外カメラで撮像して得られた画像には、当該再帰性反射材８１からの反射光が写っていることになる（例えば、輝度が高い３つの光点として写っている）。従って、当該撮像画像を解析し、撮像画像内における上記再帰性反射材からの反射光を特定（検出）し、撮像画像内における位置等を算出することで、コントローラ５の前面が向いている方向（指示方向）や、更にはコントローラ５の姿勢等を把握することが可能となっている。

ところで、本実施例では、上記撮像対象部材８に配置される再帰性反射材８１の数を３つとしている。これは、当該再帰性反射材８１からの反射光を特定するための解析処理における解析精度と処理負荷とのバランスを考慮したものとなっている。すなわち、この数が少ないと精度の低下が懸念され、多すぎると、解析処理にかかる処理負荷の増大が懸念される。そのため、両者のバランスを取るという観点から、本実施形態では再帰性反射材８１の数を３としている。しかしながら、他の実施例では、撮像対象部材８が有する再帰性反射材８１は、（十分な検出精度が確保できる等の条件が整えば）１つや２つであってもよい。また、十分な演算処理能力が見込めるのであれば、再帰性反射材８１を４つ以上有する構成としても良い。

次に、ゲーム装置３の内部構成について説明する。図３は、ゲーム装置３のブロック図である。図３において、ゲーム装置３は、プロセッサ１３、内部記憶装置１４、メインメモリ１５、およびコントローラ通信部１６を備えている。プロセッサ１３は、ゲーム装置３の各種制御を行う。また、コントローラ通信部１６を介して、コントローラ５から送信された各種データを受信し、これに基づいた情報処理を実行する。コントローラ通信部１６は、例えばＢｌｕｅｔｏｏｔｈチップ等である。内部記憶装置１４には、プロセッサ１３によって実行されるコンピュータプログラムが格納されている。内部記憶装置１４は、典型的には、フラッシュＥＥＰＲＯＭである。メインメモリ１５は、コンピュータプログラムや情報を一時的に記憶する。

なお、上記ゲーム装置３のプロセッサ１３に関しては、単一のプロセッサで処理を行う構成でも良いし、単一のゲーム装置３に複数のプロセッサ１３を搭載し、これら複数のプロセッサ１３を併用して処理されてもよい。

次に、コントローラ５について説明する。図４は、コントローラ５の外観構成を示す斜視図である。図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング５１を有している。ハウジング５１は、その前後方向（図４に示すｚ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。コントローラ５は、操作部として、十字キー５２や複数の操作ボタン５３等を備える。また、コントローラ５はモーションセンサも備える。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。

また、ハウジング５１の前面には、赤外カメラおよび４つの赤外光発光部が設けられる。図５は、ハウジング５１の前面を示す模式図である。図５において、ハウジング５１の前面のほぼ中央となる位置に赤外カメラ６１（より正確には、その光入射面）が配置されている。ここで、本実施形態では、赤外カメラの画角は１２０°であるものとする。（本実施形態において「画角」は、「対角の画角」意味で用いることとする。）

更に、図５において、赤外カメラ６１の左側の領域には、第１の赤外光発光部６２および第２の赤外光発光部６３が配置されている。また、図５における赤外カメラ６１の右側の領域には、第３の赤外光発光部６４および第４の赤外光発光部６５が配置されている。つまり、赤外カメラ６１と同じ面に４つの赤外光発光部が配置されていることになる。本実施例では、赤外カメラ６１を中心として、その左右の近傍となる位置に４つの赤外光発光部が設けられている（この例では左右に２つずつ）。そのため、これら４つの赤外光発光部の発光方向と、赤外カメラ６１の撮像方向は略同方向にもなっている。

ここで、第１の赤外光発光部６２および第２の赤外光発光部６３と、第３の赤外光発光部６４および第４の赤外光発光部６５とは、放出する光量は同じであるが、その半減角（正面へ照射した時に比べて、光量が半分になる角度、照射角とも呼ばれる）は異なるものとなっている。具体的には、第１の赤外光発光部６２および第２の赤外光発光部６３については、その半減角は１３０°となっている。一方、第３の赤外光発光部６４および第４の赤外光発光部６５は、その半減角は７５°となっている。上記のように、赤外カメラの画角は１２０°であるため、第１の赤外光発光部６２および第２の赤外光発光部６３については、その半減角が赤外カメラ６１の画角以上の角度のものが用いられている。また、第３の赤外光発光部６４および第４の赤外光発光部６５は、その半減角が赤外カメラの画角未満の角度であるものが用いられている。

なお、以下の説明では、第１の赤外光発光部６２および第２の赤外光発光部６３については、まとめて「１３０°発光部」と呼び、第３の赤外光発光部６４および第４の赤外光発光部６５については、まとめて「７５°発光部」と呼ぶこともある。

また、上記赤外カメラ６１と赤外光発光部との位置関係については、図５で示したような位置関係に限るものではない。上記撮像対象部材８（再帰性反射材８１）に赤外光を照射しつつ、その反射光を捉える（撮像する）ことができるような位置関係であれば、上記赤外カメラ６１および赤外光発光部はいずれも任意の位置に配置されてもよい。例えば、赤外カメラ６１の上下となる位置に赤外光発光部が配置されてもよい。

次に、コントローラ５の内部構成について説明する。図６は、コントローラ５の内部構成を示すブロック図である。コントローラ５は、赤外カメラ６１、第１赤外光発光部６２、第２赤外光発光部６３、第３赤外光発光部６４、第４赤外光発光部６５、制御部６６、操作部６７（各操作ボタン）、および、無線通信部６８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。

制御部６６は、コントローラ５における動作を制御する。具体的には、制御部６６は、各入力部（操作部６７、赤外カメラ６１）からの出力データを受け取り、操作データとして無線通信部６８を介してゲーム装置３へ送信する。また、制御部６６は、ゲーム装置３から所定の制御指示を含むデータを受信し、これに基づいて第１赤外光発光部６２、第２赤外光発光部６３、第３赤外光発光部６４、第４赤外光発光部６５のオン／オフ制御も行う。その他、制御部６６は、コントローラ５の動作制御を行う（例えば電源制御等）。換言すれば、制御部６６はコントローラ５を制御する機能を有しており、その意味では、コントローラ５はハンドヘルド型の情報処理装置の一種ともいえる。

また、本実施形態においては、コントローラ５とゲーム装置３との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。

第１の赤外光発光部６２、第２の赤外光発光部６３、第３の赤外光発光部６４、第４の赤外光発光部６５はそれぞれ、制御部６６による制御に基づき赤外光を発光する。上記のように、第１の赤外光発光部６２、第２の赤外光発光部６３は、その半減角は１３０°であり、第３の赤外光発光部６４、第４の赤外光発光部６５は、その半減角は７５°である。

赤外カメラ６１は、赤外線フィルタ６１ａ、レンズ６１ｂ、撮像素子６１ｃ、および画像処理回路６１ｄ（ハードウェアエンジン）を含んでいる。赤外線フィルタ６１ａは、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ６１ｂは、赤外線フィルタ６１ａを透過した赤外線を集光して撮像素子６１ｃへ入射させる。撮像素子６１ｃは、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ６１ｂが集光した赤外線を受光して画像信号を出力する。

ここで、撮像対象となる撮像対象部材８には、上記のように再帰性反射材８１が設けられている。そのため、第１の赤外光発光部６２〜第４の赤外光発光部６５から発光された赤外光は、再帰性反射材８１で反射され、反射光として赤外カメラ６１に入射されることになる。また、赤外線フィルタ６１ａが設けられているため、撮像素子６１ｃは、赤外線フィルタ６１ａを通過した赤外光だけを受光して画像データを生成することになる。以下では、撮像素子６１ｃによって撮像された画像を撮像画像と呼ぶ。また、この撮像画像に写っている上記赤外光に対応する部分（赤外光の画像、光源の画像）を光源点と呼ぶ。

撮像素子６１ｃによって生成された画像データは、画像処理回路６１ｄで処理される。画像処理回路６１ｄは、撮像画像内における光源点の位置、大きさ、輝度を算出する。ここで、上記撮像画像に写っている光源点には、上記再帰性反射材８１からの反射光以外の赤外光も含まれ得る。以下では、再帰性反射材８１からの反射光以外の光源点に係る画像のことを「ノイズ光」と呼ぶ。また、再帰性反射材８１Ａ、８１Ｂ、８１Ｃからの反射光に対応する３つの光源点に係る画像のことを「撮像対象部材反射光」と呼ぶ。そして、画像処理回路６１ｄは、このようなノイズ光を除去する処理等を行い、撮像対象部材反射光を特定する処理を行う。そして、画像処理回路６１ｄは、特定された撮像対象部材反射光の位置を示す座標、当該撮像対象部材反射光の大きさを示す情報、当該撮像対象部材反射光の輝度を示す情報を制御部６６へ出力する。これらのデータは、制御部６６によって操作データの一部としてゲーム装置３に送信される。以下では、上記データを「撮像対象部材情報」と呼ぶ。

次に、本実施形態における、上記４つの赤外光発光部６２〜６５の制御の概要を説明する。上記のように、コントローラ５の前面には、半減角が異なる２種類の赤外光発光部（１３０°発光部および７５°発光部）が設けられている。また、例えば４つの赤外光発光部６２〜６５の光量が全てほぼ同じである場合は、１３０°発光部よりも、７５°発光部のほうが、より遠くに赤外光が届くことになる。このことを利用し、本実施形態では、状況に応じて、２種類の赤外光発光部のオン／オフを切換える制御を行う。具体的には、コントローラ５から見て一定の距離以上離れた位置からの赤外光（反射光含む）を認識したい場合（以下、遠距離認識と呼ぶ）は、４つの赤外光発光部の全てをオンにする。一方、コントローラ５から見て一定の距離未満、すなわち、比較的近い位置からの赤外光が認識できればよい場合（以下、近距離認識と呼ぶ）であれば、上記１３０°発光部のみをオンにし、７５°発光部はオフにする制御を行う。例えば、撮像対象部材８とコントローラ５との間の距離が所定距離以上離れているような状況であれば、４つの赤外光発光部６２〜６５の全てをオンにする。一方、撮像対象部材８とコントローラ５間の距離が所定距離未満という状況であれば、１３０°発光部のみをオンにする、という制御を行う（なお、上記のように、１３０°発光部の半減角は赤外カメラの画角よりも広いため、赤外カメラの光を取りこぼすことはない。）。また、他の例として、例えば、ゲーム処理の進行過程で、所定距離以上離れた位置にある撮像対象部材８を認識させたい（遠距離認識させたい）という状況と、撮像対象部材８を認識させる必要はないが、撮像対象部材８とは別のものを近距離認識させたいという状況とをゲームの進行に応じて使い分ける場合を想定する（例えば、赤外カメラ６１を用いてユーザの手のひらを認識させたい等）。このような場合にも、上記と同様に２種の赤外光発光部のオン／オフの制御を行ってもよい。また、更に他の例としては、ゲーム装置側で複数のアプリケーションを切換えて実行可能である場合、実行するアプリケーションに応じて上記２種類の赤外光発光部のオン／オフ制御を行ってもよい。また、例えば、同じアプリケーションの実行中であっても、場面に応じて上記２種類の赤外光発光部のオン／オフを切換えるようにしてもよい。このように、ユースケースに応じて２種の赤外光発光部のオン／オフを切換える制御を行うことで、赤外光発光部にかかる消費電力を軽減することが可能となる。また、様々な状況や場面に応じた発光制御を実現することも可能である。

なお、本実施形態では、１３０°発光部および７５°発光部をそれぞれ２つずつ設ける構成としているが、これは、光量を稼ぐという観点によるものである。そのため、他の実施形態では、必要となる光量に応じて、１３０°発光部および７５°発光部は１つずつ設けるという構成としてもよいし、それぞれ３つ以上設ける構成としても良い。

次に、上記のような制御処理の詳細について説明する。図７は、本実施形態にかかる制御処理の一例を示すフローチャートである。以下に説明する例では、撮像対象部材８とコントローラ５間の距離に応じて赤外光発光部６２〜６５のオン／オフ制御を行う例を示す。このフローの処理では、概ね次のような処理が行われる。まず、コントローラ５における処理で生成された上記撮像対象部材情報が、ゲーム装置３に送信される。次に、これに基づいてゲーム装置側で撮像対象部材８とコントローラ５との距離が算出される。更に、この距離に応じて、赤外光発光部６２〜６５のオン／オフの切替指示を示す情報がゲーム装置３からコントローラ５に送信される。そして、コントローラ５では、当該送信されてきた情報に基づいて赤外光発光部６２〜６５それぞれのオン／オフ制御を行う。

なお、図７では、左側にコントローラ側の処理のフローチャートを示し、右側にゲーム装置側の処理のフローチャートを示している。また、このフローの処理が所定の周期（例えば、１／６０秒毎）で繰り返し実行されるものとする。

まず、ステップＳ１で、コントローラ５の制御部６６からの指示に基づき、赤外カメラ６１で撮像処理が行われる。すなわち、撮像素子６１ｃを用いて撮像画像を生成する処理が実行される。

次に、ステップＳ２で、赤外カメラ６１内の画像処理回路６１ｄにおいて上記撮像画像の解析処理が実行される。この処理では、例えば次のような処理が実行される。まず、撮像画像から上記光源点を検出する処理が実行される（この処理は、クラスタリング処理とも呼ばれる）。次に、検出された光源点のうちから、上記ノイズ光を除外し、上記撮像対象部材反射光を特定する処理が実行される（撮像対象部材反射光は、直進的に並んだ３つの光源点として写っている）。更に、当該撮像対象部材反射光の撮像画像内における位置（座標）、大きさ、輝度を算出し、上記撮像対象部材情報を生成する処理が実行される。そして、当該撮像対象部材情報が画像処理回路６１ｄから制御部６６へ出力される。

次に、ステップＳ３で、制御部６６は、上記撮像対象部材情報を含む操作データを生成する処理を実行する。続くステップＳ４で、制御部６６は、当該操作データをゲーム装置３に送信する処理を実行する。

ここで、一旦、ゲーム装置３側の処理を説明する。ステップＳ１１で、ゲーム装置３のプロセッサ１３は、上記コントローラ５から送信された操作データを受信する処理を実行する。

次に、ステップＳ１２で、プロセッサ１３は、操作データに含まれる撮像対象部材情報に基づき、コントローラ５と撮像対象部材８間の距離を算出する処理を実行する。例えば、撮像対象部材反射光の３つの光源点の間隔や、各光源点の大きさに基づき、当該距離が算出される。

次に、ステップＳ１３で、プロセッサ１３は、コントローラに送信するための制御データを作成する処理を実行する。この制御データには、上記算出された距離に基づき、コントローラ５の赤外光発光部６２〜６５のオン／オフの切替を指示する指示情報が含まれている。そして、プロセッサ１３は、当該制御データをコントローラ５に送信する。また、図示は省略するが、その後、プロセッサ１３は、コントローラ５の姿勢等に基づいて画面上に表示されるカーソルやポインタの動きを制御する等の処理を適宜実行する。

コントローラ５側の処理に戻り、次に、ステップＳ５で、制御部６６は、ゲーム装置３からの制御データを受信する処理を実行する。次に、ステップＳ６で、制御部６６は、上記制御データに基づき、赤外光発光部６２〜６５のオン／オフ制御を実行する。

上記のような処理が所定の周期で繰り返し行われることで、撮像対象部材８とコントローラ５間の距離に応じて赤外光発光部６２〜６５が適宜オン／オフされることになる。これにより、コントローラ５の消費電力を軽減することが可能となる。

なお、他の実施形態では、コントローラ５の制御部６６が、上記のようなコントローラ５と撮像対象部材８間の距離を算出する処理を実行するようにしてもよい。すなわち、コントローラ５自身が上記距離を算出する構成としても良い。

このように、本実施形態では、コントローラ５の前面に赤外カメラ６１を設け、更に、照射角または半減角が異なる２種類の赤外光発光部６２〜６５を当該赤外カメラ６１の左右となる位置に設けている。そして、これら２種類の赤外光発光部について、そのユースケースに応じた切替制御を行っている。これにより、コントローラ５の利便性を確保しつつ、消費電力を軽減することも可能となる。また、実行するアプリケーションに応じた制御や、同じアプリケーションであっても、その場面に応じた制御を行うことができる。これにより、輝度値の飽和や不必要な反射を抑え、撮像対象物の検知精度を高めることができる。例えば、上記赤外光発光部６２〜６５の全てを発光させると、輝度値（明るさ）が飽和したり、不必要な反射が発生して、撮像対象物が検知しにくくなるような場合でも、上記のような制御を行うことで、その状況や場面に合わせた発光制御を行い、撮像対象物をより的確に検知することが可能となる。

また、本実施形態では、不可視光である赤外光を用いているため、ユーザの視認行動の邪魔にならないようにすることができ、また、例えば部屋が暗い状況であっても、例えば上記のように、コントローラ５の姿勢等に応じて画面上に表示されるカーソルやポインタの動きを制御する処理等を実行することが可能である。

なお、本実施形態では、赤外光を例としたが、これに限らず、他の種類の不可視光を用いる構成としても構わない。

また、上記のような処理を実行するプロセッサに関して、上記の例ではゲーム装置３にプロセッサが搭載されている場合を例に説明したが、他の実施形態では、コントローラ５に単数または複数のプロセッサを搭載するようにしても良い。そして、上記実施例ではゲーム装置３で行っていた処理の全て、あるいはその一部について、コントローラ５のプロセッサで実行するように構成しても良い。また、上記実施例ではコントローラ５で行っていた処理の一部について、ゲーム装置３のプロセッサで実行するように構成しても良い。

２ テレビ
３ ゲーム装置
５ コントローラ
８ 再帰性反射材付き撮像対象部材
１３ プロセッサ
１４ 内部記憶装置
１５ メインメモリ
１６ コントローラ通信部
６１ 赤外カメラ
６２ 第１の赤外光発光部
６３ 第２の赤外光発光部
６４ 第３の赤外光発光部
６５ 第４の赤外光発光部
６６ 制御部
６７ 操作部
６８ 無線通信部

Claims (11)

1. 反射部材と、所定の画像処理が可能な情報処理装置とを少なくとも備える情報処理システムであって、
   前記反射部材は、再帰性反射材であり、
   前記情報処理装置は、
   画像を撮影する撮像手段と、
   赤外光を発光する第１発光手段と、
   前記赤外光を発光し、前記第１発光手段とは半減角または照射角の少なくともいずれか一方が異なる第２発光手段と、
   前記撮像手段によって撮像された撮像画像において、前記再帰性反射材によって反射された前記第１および／または第２発光手段からの反射光を示す再帰性反射材画像を含む光源画像を検出する光源検出手段と、
   前記反射部材から前記情報処理装置までの距離に基づいて、前記第１および第２発光手段のいずれか一方、またはその双方を発光させる発光制御手段とを備え、
   前記情報処理装置はゲームコントローラであり、
   前記発光制御手段は、
   前記反射部材から前記情報処理装置までの前記距離を算出する距離算出手段を含み、
   当該距離算出手段で算出された距離が所定の距離より長い場合は、前記第１および第２発光手段の双方を発光させ、当該算出された距離が所定の距離より短い場合は、前記第１および第２発光手段のうち、半減角または照射角が大きいほうの発光手段を発光させて、他方は発光させないように制御する、情報処理システム。
2. 前記第１発光手段および第２発光手段は、前記撮像手段の近傍となる位置に設けられる、請求項１に記載の情報処理システム。
3. 前記情報処理システムは、前記情報処理装置とは異なる他の情報処理装置を更に含み、
   前記発光制御手段は、さらに前記他の情報処理装置から送信された指示データを受信し、当該指示データおよび前記距離に基づいて前記発光制御を行う、請求項１に記載の情報処理システム。
4. 前記第１発光手段の半減角または照射角は、前記撮像手段の画角以上の角度であり、
   前記第２発光手段の半減角または照射角は、前記撮像手段の画角未満の角度である、
   請求項１〜３のいずれかに記載の情報処理システム。
5. 前記情報処理装置は、
   前記検出した光源画像の前記撮像画像内における位置情報を算出する算出手段を更に備える、請求項１〜４のいずれかに記載の情報処理システム。
6. 前記算出手段は、前記検出した光源画像の明るさまたは撮像画像内における大きさを更に算出する、請求項５に記載の情報処理システム。
7. 前記情報処理装置は、前記算出手段で算出された前記光源画像の大きさと、前記撮像画像内における光源画像間の距離とに基づき、前記再帰性反射材画像を特定する反射部材特定手段を更に備える、請求項６に記載の情報処理システム。
8. 前記撮像手段の撮像方向と、前記第１発光手段および第２発光手段の発光方向とは、略同方向である、請求項１〜７のいずれかに記載の情報処理システム。
9. 画像を撮影する撮像手段と、
   赤外光を発光する第１発光手段と、
   前記赤外光を発光し、前記第１発光手段とは半減角または照射角の少なくともいずれか一方が異なる第２発光手段と、
   前記撮像手段によって撮像された撮像画像において、所定の再帰性反射材によって反射された前記第１または第２発光手段からの反射光を示す再帰性反射材画像を含む光源画像を検出する光源検出手段と、
   前記反射部材から前記情報処理装置までの距離に基づいて、前記第１および第２発光手段のいずれか一方、またはその双方を発光させる発光制御手段とを備え、
   前記発光制御手段は、
   前記反射部材から前記情報処理装置までの前記距離を算出する距離算出手段を含み、
   当該距離算出手段で算出された距離が所定の距離より長い場合は、前記第１および第２発光手段の双方を発光させ、当該算出された距離が所定の距離より短い場合は、前記第１および第２発光手段のうち、半減角または照射角が大きいほうの発光手段を発光させて、他方は発光させないように制御する、ゲームコントローラ。
10. 反射部材と、所定の画像処理が可能な情報処理装置とを少なくとも備える情報処理システムを制御するための情報処理方法であって、
    前記反射部材は、再帰性反射材であり、
    前記情報処理装置は、
    画像を撮影する撮像ステップと、
    赤外光を発光する第１発光ステップと、
    前記赤外光を発光し、前記第１発光手段とは半減角または照射角の少なくともいずれか一方が異なる第２発光ステップと、
    前記撮像手段によって撮像された撮像画像において、前記再帰性反射材によって反射された前記第１および／または第２発光手段からの反射光を示す再帰性反射材画像を含む光源画像を検出する光源検出ステップと、
    前記反射部材から前記情報処理装置までの距離に基づいて、前記第１および第２発光手段のいずれか一方、またはその双方を発光させる発光制御ステップとを実行し、
    前記情報処理装置はゲームコントローラであり、
    前記発光制御ステップは、
    前記反射部材から前記情報処理装置までの前記距離を算出する距離算出ステップを含み、
    当該距離算出ステップで算出された距離が所定の距離より長い場合は、前記第１および第２発光手段の双方を発光させ、当該算出された距離が所定の距離より短い場合は、前記第１および第２発光手段のうち、半減角または照射角が大きいほうの発光手段を発光させて、他方は発光させないように制御する、情報処理方法。
11. 所定の画像処理が可能な情報処理装置のコンピュータに実行させる情報処理プログラムであって、
    前記情報処理装置のコンピュータを、
    画像を撮影する撮像手段と、
    赤外光を発光する第１発光手段と、
    前記赤外光を発光し、前記第１発光手段とは半減角または照射角の少なくともいずれか一方が異なる第２発光手段と、
    前記撮像手段によって撮像された撮像画像において、所定の再帰性反射材によって反射された前記第１および／または第２発光手段からの反射光を示す再帰性反射材画像を含む光源画像を検出する光源検出手段と、
    前記反射部材から前記情報処理装置までの距離に基づいて、前記第１および第２発光手段のいずれか一方、またはその双方を発光させる発光制御手段として機能させ、
    前記情報処理装置はゲームコントローラであり、
    前記発光制御手段は、
    前記反射部材から前記情報処理装置までの前記距離を算出する距離算出手段を含み、
    当該距離算出手段で算出された距離が所定の距離より長い場合は、前記第１および第２発光手段の双方を発光させ、当該算出された距離が所定の距離より短い場合は、前記第１および第２発光手段のうち、半減角または照射角が大きいほうの発光手段を発光させて、他方は発光させないように制御する、情報処理プログラム。

Images