JP5237990B2 - 情報処理装置、デバイスおよび情報処理システム - Google Patents

Description

本発明は、情報処理技術に関し、特に発光体を備えたデバイスの発光色を決定する技術に関する。

コントローラが、ゲーム機に外観色を表すデータを送信し、ゲーム機が、コントローラの外観色とキャラクタ色とを対応づける技術が提案されている（特許文献１参照）。近年、ゲームの入力デバイスとしてワイヤレス型のゲームコントローラが普及し、また、従来式のボタン操作による入力だけでなく、ユーザが動かすデバイスをカメラで撮像して、撮像画像におけるデバイスの動きをゲームの入力として利用する技術も提案されている。

特開平１０−２６９０１６号公報

本発明者は、発光色を自在に変更できる発光体を搭載した入力デバイスを利用することで、様々なアプリケーションを実現できる可能性を見いだした。発光色はユーザが自由に設定できることとしてもよいが、発光体の動きをゲームの入力として利用する場合には、撮像画像から発光体を高精度で認識できることが好ましい。また一方で、ユーザは、発光体を好みの色で発光させたいという希望もあり、発光色を自動的にユーザの好みの色に設定できれば、ユーザが楽しくアプリケーションを実行できることにもつながる。

そこで本発明は、デバイスに搭載された発光体の発光色を適切に設定する技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の情報処理装置は、情報処理装置であって、入力デバイスの発光体の色情報を決定する色決定部と、決定した色情報を、入力デバイスに通知する通知部と、入力デバイスの撮像画像を取得する取得部と、入力デバイスの撮像画像から、発光体画像を抽出する画像処理部と、色決定部が決定した色情報を記録する記録部とを備える。

本発明の別の態様は、デバイスである。このデバイスは、発光体と、発光体の発光を制御する発光制御部と、発光体の色情報を決定する色決定部と、決定した色情報の履歴を記録する記録部とを備える。色決定部は、記録部に記録されている色情報を用いて、発光体の色情報を決定する。

本発明の別の態様は、情報処理装置と入力デバイスとを備えた情報処理システムである。入力デバイスは、発光体と、発光体の発光を制御する発光制御部と、を有し、情報処理装置は、入力デバイスの発光体の色情報を決定する色決定部と、決定した色情報を、入力デバイスに通知する通知部と、色決定部が決定した色情報を記録する記録部と、を有する。色決定部は、記録部に記録されている色情報をもとに、発光体の色情報を決定する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、デバイスに搭載された発光体の発光色を適切に設定する技術を提供することができる。

本発明の実施例にかかる情報処理システムの使用環境を示す図である。 入力デバイスの外観構成を示す図である。 入力デバイスの構成を示す図である。 ゲーム装置の構成を示す図である。 発光色候補の提示画面の一例を示す図である。 色情報決定処理のフローチャートを示す図である。 色情報決定処理のフローチャートを示す図である。

図１は、本発明の実施例にかかる情報処理システム１の使用環境を示す。情報処理システム１は、ゲームソフトウェアを実行するゲーム装置１０と、ゲーム装置１０による処理結果を出力する表示装置１２と、入力デバイス２０と、入力デバイス２０を撮像する撮像装置１４を備える。

入力デバイス２０は、ユーザが操作指示を行うための操作入力装置であり、ゲーム装置１０は、入力デバイス２０における操作指示をもとにゲームプログラムを実行して、ゲームの処理結果を示す画像信号を生成する情報処理装置である。

入力デバイス２０は、ユーザによる操作指示をゲーム装置１０に伝送する機能をもち、本実施例ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力デバイス２０とゲーム装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力デバイス２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。

入力デバイス２０はバッテリにより駆動され、ゲームを進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス２０のボタンを操作すると、その操作指示が無線によりゲーム装置１０に送信される。ゲーム装置１０は、入力デバイス２０から操作指示を受信し、操作指示に応じてゲーム進行を制御して、ゲーム画像信号を生成する。生成されたゲーム画像信号は、表示装置１２より出力される。

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。たとえば、撮像装置１４の撮像速度は３０枚／秒として、表示装置１２のフレームレートと一致させてもよい。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。

表示装置１２は画像を出力するディスプレイであって、ゲーム装置１０において生成された画像信号を受けて、ゲーム画面を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、ゲーム装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

本実施例の情報処理システム１において、入力デバイス２０は発光体を有する。ゲーム中、発光体は発光し、撮像装置１４により撮像される。撮像装置１４は入力デバイス２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーキャラクタの動作を制御するなど、ゲームの処理に反映させる。本実施例のゲーム装置１０は、入力デバイス２０のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いてゲームプログラムを実行する機能をもつ。

入力デバイス２０の発光体は、複数色で発光可能に構成される。発光体は、ゲーム装置１０から指定される色情報により、発光色を設定できる。また発光体は、入力デバイス２０の内部回路から指定される色情報により、発光色を設定できてもよい。

入力デバイス２０は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力デバイス２０の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。このように本実施例のゲーム装置１０は、取得した入力デバイス２０の姿勢情報も用いてゲームプログラムを実行する機能をもつ。

なお、本実施例では情報処理装置の一例としてゲーム装置１０を示すが、情報処理装置は、他のアプリケーションソフトウェアを実行するものであってよい。

図２は、入力デバイス２０の外観構成を示す。図２（ａ）は、入力デバイス２０の上面構成を示し、図２（ｂ）は、入力デバイス２０の下面構成を示す。入力デバイス２０は、発光体２２および筒状の本体２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有し、内側の発光素子が発光すると、外側の球体全体が光る。本体２４の上面には、操作ボタン３０、３２、３４、３６、３８および起動ボタン４２が設けられ、下面には操作ボタン４０が設けられる。ユーザは本体２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８および起動ボタン４２は、押下式に構成され、操作ボタン４０は、回動式に構成されてもよい。

ユーザは表示装置１２に表示されるゲーム画面を見ながらゲームを行う。撮像装置１４は、ゲームソフトウェアの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面でゲームをプレイすることが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力デバイス２０を撮像できる。

図３は、入力デバイス２０の構成を示す。入力デバイス２０は、無線通信モジュール５０、受信部５２、送信部５４、発光制御部６０、発光部６２、受付部７０、記録部８２、センサ８４および発光色管理部９０を備える。受付部７０は、色情報受付部７２、発光指示受付部７４、操作入力受付部７６およびセンサ情報受付部７８を有する。発光色管理部９０は、色候補決定部９２および色決定部９４を有する。センサ８４は、３軸加速度センサ５６および３軸ジャイロセンサ５８を有する。無線通信モジュール５０は、ゲーム装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。なお、無線通信モジュール５０は、受信部５２および送信部５４を含んで構成されてもよい。

入力デバイス２０の各機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、図３においてはそれらの連携によって実現される機能ブロックを描いている。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。

記録部８２は不揮発性メモリであって、入力デバイス２０に関する機器情報を保持する。機器情報は、入力デバイス２０を特定するデバイス識別番号や、入力デバイス２０の本体２４の色情報などを含む。機器情報は、入力デバイス２０の出荷時の段階で、記録部８２に保持されている。本体２４の色情報は、たとえば本体２４の筐体色を特定するＲＧＢ情報であってよい。入力デバイス２０がゲーム装置１０と無線接続する際、送信部５４は、記録部８２に保持された機器情報を、無線通信モジュール５０からゲーム装置１０に送信する。

３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。センサ情報受付部７８は、３軸加速度センサ５６および３軸ジャイロセンサ５８から、検出値情報を受け付け、送信部５４に送る。操作入力受付部７６は、操作ボタン３０、３２、３４、３６、３８、４０および起動ボタン４２からの入力情報を受け付け、送信部５４に送る。送信部５４は、無線通信モジュール５０を介して、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期でゲーム装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。

受信部５２は、無線通信モジュール５０を介してゲーム装置１０から送信される信号を受信し、受付部７０に渡す。ゲーム装置１０からは、発光体２２の発光色を特定する色情報や、各種指示が送信される。色情報受付部７２は、送信された色情報を受け付けると、発光色管理部９０に渡す。

発光色管理部９０は、発光部６２の発光色の決定処理または決定支援処理を行う。色候補決定部９２は、発光色の候補を決定する。たとえば、色候補決定部９２は、撮像画像に含まれる環境に存在する色を除いて、発光色の候補を決定する。色決定部９４は、色候補決定部９２で決定された発光色の候補などから、発光体２２の発光色を決定する。記録部８２は、色決定部９４が決定した色情報を記録する。色候補決定部９２および色決定部９４は、記録部８２において記録された色情報の履歴から、発光色の候補および発光色をそれぞれ決定してもよい。

発光制御部６０は、発光部６２の発光を制御し、たとえば発光部６２の色調や点灯のタイミングなどを制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、色決定部９４により決定された色情報にしたがって、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整する。

図４は、ゲーム装置１０の構成を示す。ゲーム装置１０は、フレーム画像取得部１００、画像処理部１０２、キャリブレーション処理部１０４、発光色管理部１１０、無線通信モジュール１２０、受信部１２２、送信部１２４、受付部１３０、アプリケーション処理部１４０、出力部１４２および記録部１５０を備える。発光色管理部１１０は、色候補決定部１１２および色決定部１１４を有し、受付部１３０は、機器情報受付部１３２および入力受付部１３４を有する。無線通信モジュール１２０は、入力デバイス２０の無線通信モジュール５０との間でデータを送受信する機能をもつ。なお、無線通信モジュール１２０は、受信部１２２および送信部１２４を含んで構成されてもよい。

ゲーム装置１０の各機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、図４においてはそれらの連携によって実現される機能ブロックを描いている。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。

本実施例の情報処理システム１では、入力デバイス２０の起動ボタン４２が押下されると、ゲーム装置１０に起動要求が送信され、ゲーム装置１０の電源がオンされる。無線通信モジュール５０は、ゲーム装置１０を特定する識別情報を用いて呼び出しを行い、ゲーム装置１０の無線通信モジュール１２０が、それに応答して、無線通信モジュール５０と無線通信モジュール１２０との間で接続が確立する。このとき、入力デバイス２０がマスタ、ゲーム装置１０がスレーブとして動作するが、接続確立後は、その役割を交替する。以上の通信処理により、入力デバイス２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、ゲーム装置１０に所定の周期で送信できるようになる。

なお、入力デバイス２０がゲーム装置１０を呼び出す際、または接続確立後のタイミングで、入力デバイス２０の送信部５４は、記録部８２に保持された機器情報をゲーム装置１０に送信する。ゲーム装置１０において、受信部１２２が、無線通信モジュール１２０を介して機器情報を受信する。機器情報受付部１３２は、機器情報を受け付けると、受け付けた機器情報を発光色管理部１１０に渡す。なお、機器情報受付部１３２は、一旦、メモリの所定領域に機器情報を格納し、発光色管理部１１０が必要なタイミングで、メモリから機器情報を取得してもよい。

フレーム画像取得部１００はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。本実施例の情報処理システム１では、ゲームを開始する前に、撮像装置１４のカラーキャリブレーションが行われる。

キャリブレーション処理部１０４がキャリブレーション用の発光指示を生成し、送信部１２４が、無線通信モジュール１２０を介して入力デバイス２０に送信する。キャリブレーション用の発光指示は、発光部６２を、たとえば赤色、緑色、青色の順にそれぞれ所定時間、発光させることを指示する情報である。入力デバイス２０において、発光指示受付部７４が発光指示を受け付けると、発光制御部６０は、指示内容に含まれる発光色および発光時間にしたがって、発光部６２を点灯制御する。

なお入力デバイス２０において、記録部８２は、キャリブレーション用の発光パターンを保持していてもよい。この場合、送信部１２４から送信される発光指示には、発光色および発光時間に関する情報は含まれていなくてもよく、発光指示受付部７４が発光指示を受け付けると、発光制御部６０が、記録部８２からキャリブレーション用の発光パターンを読み出し、その発光パターンにしたがって、発光部６２を点灯制御してもよい。

フレーム画像取得部１００は、撮像装置１４からフレーム画像を取得すると、キャリブレーション処理部１０４に渡し、キャリブレーション処理部１０４は、発光部６２が赤色、緑色、青色の順に点灯したフレーム画像から、カラーキャリブレーションを実行し、撮像装置１４のゲインなどの調整を行う。

またキャリブレーション処理部１０４は、フレーム画像に含まれる環境色を抽出して、環境パラメータを生成する。環境色は、撮像装置１４により撮像される空間に含まれる色であり、環境パラメータは、環境色の色情報として生成される。色情報は、１画素のＲ（赤）、Ｇ（緑）、Ｂ（青）を、それぞれ８ビットで表現した値であってよい。キャリブレーション処理部１０４は、生成した環境パラメータを、色候補決定部１１２に渡す。以上により、カラーキャリブレーションが終了する。

以下、アプリケーション実行時の処理について説明する。
発光色管理部１１０は、発光部６２の発光色の決定処理または決定支援処理を行う。色候補決定部１１２は、環境パラメータを利用して、発光色の候補を決定する。発光部６２が環境色と同色で発光すると、フレーム画像から発光部６２の画像を抽出することが困難なケースが生じる。典型的な例を示すと、赤い壁で囲まれた部屋の中で、発光部６２を赤色に点灯しても、フレーム画像において発光部６２の画像と壁画像とを区別して認識することは容易でない。そこで、色候補決定部１１２は、環境パラメータにより特定される色情報を除いて、発光色の候補を決定することが好ましい。なお、フレーム画像において、微小な画素数しか占めない環境色は、環境パラメータに含めないことが好ましい。このように発光部画像の認識精度に実質的な影響を与えない環境色を無視することで、発光色候補の選択幅を広げることが可能となる。

色決定部１１４は、色候補決定部１１２で決定された発光色の候補などから、発光体２２の発光色を決定する。記録部１５０は、色決定部１１４が決定した色情報を記録する。色候補決定部１１２および色決定部１１４は、記録部１５０において記録された色情報の履歴から、発光色の候補および発光色をそれぞれ決定してもよい。送信部１２４は、無線通信モジュール１２０を介して、色決定部１１４で決定された色情報を入力デバイス２０に通知する。入力デバイス２０において、色情報受付部７２が、受信部５２から色情報を受け付けると、発光色管理部９０に渡す。色決定部９４は、渡された色情報を、発光部６２の発光色情報として決定する。色決定部９４は、色情報を発光制御部６０に渡し、発光制御部６０は、渡された色情報にしたがって発光部６２を点灯制御する。

ゲーム装置１０において、画像処理部１０２は、フレーム画像から発光体画像を抽出する。画像処理部１０２は、フレーム画像中の発光体画像の位置、および大きさを特定する。画像処理部１０２は、フレーム画像データを、発光部６２の発光色に応じた閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。これにより画像処理部１０２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部１０２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径や面積を特定する。なお、複数のユーザが入力デバイス２０を操作し、フレーム画像中に複数の発光体２２が存在する場合には、画像処理部１０２は、それぞれの発光体２２の発光色に応じた閾値を用いて、複数の２値化された画像を生成し、それぞれの発光体画像の位置および大きさを特定する。

画像処理部１０２は、特定された発光体画像の位置および大きさから、撮像装置１４からみた入力デバイス２０の位置情報を導出する。画像処理部１０２は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径や面積から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力デバイス２０の位置情報を構成する。画像処理部１０２は、フレーム画像ごとに入力デバイス２０の位置情報を導出し、アプリケーション処理部１４０に引き渡す。アプリケーション処理部１４０は、入力デバイス２０の位置情報を、ゲームの操作指示として受け取る。

受信部１２２は、無線通信モジュール１２０を介して、入力デバイス２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部１３４に供給する。入力受付部１３４は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部１４０に引き渡す。アプリケーション処理部１４０は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部１４０は、センサ検出値情報を、入力デバイス２０の姿勢情報として取り扱う。

アプリケーション処理部１４０は、入力デバイス２０の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームプログラムの処理結果を示す画像信号を生成する。画像信号は出力部１４２から表示装置１２に送られ、表示画像として出力される。

本実施例の情報処理システム１では、入力デバイス２０の発光体２２を、撮像装置１４の撮像画像から抽出することで、ゲーム装置１０が、発光体２２の位置情報をゲームの処理に反映させる。そのため、発光体２２は、環境パラメータに含まれる色以外の色で発光することが好ましい。これにより、ゲーム装置１０は、発光体２２の画像を、撮像画像から精度良く抽出することができる。

一方、入力デバイス２０は、発光体２２だけでなく、ユーザにより把持される本体２４を含んで構成されている。画像処理部１０２が発光体画像をフレーム画像から抽出する際、本体２４は、発光体２２に隣接しているため、発光体画像の認識精度に与える影響は少なくない。キャリブレーション処理部１０４は、フレーム画像に含まれる環境色を抽出して環境パラメータを生成するが、このフレーム画像に入力デバイス２０が含まれる場合であっても、撮像装置１４に対する入力デバイス２０の姿勢によっては、本体２４の画像がフレーム画像に含まれないこともある。本体２４が撮像されなければ、本体２４の色情報が環境色として特定されないことになるが、上記したように、本体２４の色は発光体画像の認識精度に影響を及ぼす可能性があるため、発光色の決定に際しては、本体２４の色情報を確実に加味できるようにすることが好ましい。

また、ユーザは、発光体２２を好きな色に発光させたいという要望もある。たとえばユーザが発光色を選択できるアプリケーションである場合、ユーザは、環境色ではない好みの色で発光体２２を発光させて、ゲームをプレイできる。次回ゲームをするときに、ユーザは、また色を選択することになるが、この選択作業を省略できれば、ユーザは、すぐにゲームをプレイできるという利点がある。以上の事情のもと、情報処理システム１における発光色の決定処理を説明する。情報処理システム１では、ゲーム装置１０による発光色の決定処理と、入力デバイス２０による発光色の決定処理がサポートされる。

＜ゲーム装置１０による発光色の決定処理＞
ゲーム装置１０において、機器情報受付部１３２が、入力デバイス２０の機器情報を受け付ける。機器情報は、入力デバイス２０を特定するデバイス識別番号や、入力デバイス２０の本体２４の色情報などを含んでいる。本実施例において、デバイス識別番号や、本体色情報は、本体２４の色情報を特定するための色特定情報として受け付けられる。

機器情報受付部１３２において、入力デバイス２０の本体２４の色情報は、直接的に、本体２４の色情報を特定する色特定情報である。たとえば、本体２４が赤色である場合、機器情報に含まれる色情報は、赤色を示す情報である。一方、機器情報に色情報が含まれていない場合であっても、ゲーム装置１０は、入力デバイス２０のデバイス識別情報と、本体２４の色情報とを対応付けたテーブルを予め保持しておくことで、デバイス識別情報を、間接的に本体２４の色情報を特定する色特定情報として受け付けることができる。最初に入力デバイス２０を利用する際、デバイス識別情報をゲーム装置１０に機器登録（ペアリング）する必要があるが、このときに、ユーザが本体２４の色情報を登録することで、対応テーブルが作成される。機器情報受付部１３２は、デバイス識別情報を受け付けると、テーブルを参照して、デバイス識別情報をキーとして色情報を読み出す。機器情報受付部１３２は、色特定情報から特定される本体２４の色情報を発光色管理部１１０に渡す。

色決定部１１４は、本体２４の色情報を受けると、本体２４の色情報とは異なる色情報を、発光体２２の発光色として決定する。これにより、撮像装置１４により撮像されるフレーム画像において、発光体画像と本体画像とを、画像処理により容易に分離できるようになる。

このとき、色候補決定部１１２が、本体２４の色情報を受けて、発光色の候補を決定し、色決定部１１４が、候補の中から、発光色を決定してもよい。色候補決定部１１２による候補の決定は、発光体２２で生成可能な複数の発光色から、本体２４の色情報を除外することで、発光色の候補を決定する。なお色候補決定部１１２は、環境パラメータにより特定される色情報を候補から既に除外しており、さらに本体２４の色情報を除外することで、発光色の候補を決定する。なお、発光色の候補は、ＲＧＢの画素値を特定した色情報そのものであってもよく、また、ユーザが色を選択できるカラーテンプレートにおいて、環境色情報および本体色情報が選択できないように選択範囲を制限したものであってもよい。このように絞られた候補の中から、色決定部１１４は、発光色を決定する。このとき色決定部１１４は、ユーザの選択指示にしたがって発光色を決定してもよい。これにより、撮像装置１４により撮像されるフレーム画像において、発光体画像を、本体画像を含む環境画像から、画像処理により容易に分離できるようになる。送信部１２４は、色決定部１１４により決定された色情報を、無線通信モジュール１２０を介して入力デバイス２０に通知する。

色候補決定部１１２は、決定した発光色の候補を、ユーザに提示してもよい。
図５は、発光色候補の提示画面の一例を示す。表示装置１２において、色候補決定部１１２により決定された発光色の候補が、配色領域２００ａ〜２００ｆに示される。各配色領域２００ａ〜２００ｆに、候補色が付けられており、ユーザは、入力デバイス２０を操作して、いずれかの配色領域２００を選択できる。ユーザが、たとえば配色領域２００ｂを選択すると、入力受付部１３４が、入力デバイス２０に入力された操作指示を受け付け、色決定部１１４が、発光体２２の色情報を、配色領域２００ｂの色情報に決定する。複数の発光色候補が提示されることで、ユーザは、好きな色を選択できる。

なお、色決定部１１４が色情報を決定し、送信部１２４が入力デバイス２０に色情報を通知すると、入力デバイス２０において受信部５２が、色情報を受信する。色情報受付部７２は、色情報を受け付け、色決定部９４に渡すと、色決定部９４は、発光体２２の色情報として決定し、発光制御部６０が、その色情報で発光部６２を発光する。

図６は、色情報決定処理のフローチャートを示す。図６に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。なお、フローチャートにおける表示の意味は、他の図面に示すフローチャートでも同じである。

機器情報受付部１３２が、入力デバイス２０の本体２４の色情報を特定するための色特定情報を受け付ける（Ｓ１０）。色候補決定部１１２は、環境パラメータおよび本体２４の色情報から、発光体２２に割当可能な発光色の候補を決定する（Ｓ１２）。この候補は、表示装置１２においてユーザに提示される（Ｓ１４のＮ）。ユーザが、いずれかの候補を選択すると（Ｓ１４のＹ）、色決定部１１４は、選択された色情報を、発光体２２の色情報として決定する（Ｓ１６）。送信部１２４は、色決定部１１４により決定された色情報を、無線通信モジュール１２０を介して入力デバイス２０に通知する（Ｓ１８）。

なお、別のユーザが、ゲームに途中参加する場合を想定する。既に色情報を割り当てられている入力デバイスを「第１入力デバイス２０」、途中参加するユーザの入力デバイスを「第２入力デバイス２０」と呼ぶ。

既に説明したように、新たなユーザが保有する第２入力デバイス２０は、ゲーム装置１０に機器情報を送信し、機器情報受付部１３２が、第２入力デバイス２０の本体２４の色情報を特定するための色特定情報を取得する。機器情報受付部１３２は、本体２４の色情報を発光色管理部１１０に渡す。

色決定部１１４は、第２入力デバイス２０の本体２４の色情報を受けると、第２入力デバイス２０の発光体２２の色情報を、第１入力デバイス２０の発光体２２の色情報とは異なるように決定する。これにより、第１入力デバイス２０と第２入力デバイス２０の発光色を異ならせることができ、画像処理部１０２が、それぞれを区別して認識することができるようになる。

このとき、色決定部１１４は、第２入力デバイス２０の本体２４の色情報と、第１入力デバイス２０の発光体２２の色情報とが同色を示す場合には、第１入力デバイス２０の発光体２２の色情報を変更する。なお、同色とは、色情報を構成するＲＧＢすべての画素値が同じ場合だけでなく、異なる場合であっても画像処理部１０２においてフィルタ処理により分離が困難な色も含む。たとえば、第２入力デバイス２０の本体２４の色情報（Ｒ，Ｇ，Ｂ）が（２５５，０，０）と赤色を示す場合、第１入力デバイス２０の発光体２２の色情報が（２４５，０，０）と僅かながら異なる赤色を示す場合であっても、これらの色情報を画像処理部１０２において区別するのは実際上困難であるため、このような場合は、第１入力デバイス２０の発光体２２の色情報が変更される。同色であるか否かを判定するための閾値は環境に依存し、色決定部１１４は、環境に依存した閾値マップ情報をもつことで、第２入力デバイス２０の本体色情報と、第１入力デバイス２０の発光色情報とが同色か否かの判断を行うようにする。

なお、第１入力デバイス２０の発光色情報を変更する際、色決定部１１４は、強制的に変更処理を実行してもよいが、色候補決定部１１２が、発光色候補の提示画面を表示装置１２に生成して、ユーザが好きな色を選択できるようにしてもよい。

色決定部１１４は、発光体２２の色情報を決定すると、記録部１５０に記録する。一般に、表示装置１２や撮像装置１４は、部屋に配置されており、その配置が変更されることは希である。したがって、撮像装置１４に撮像される空間も大きく変わることは少なく、したがって環境パラメータも日によって大きく変わるものではない。

色決定部１１４は、環境パラメータを参照して発光色情報を決定するため、この発光色情報は、次回のゲームプレイ時においても、利用できる可能性は高い。さらに、発光色は、ユーザの選択によって決定されるため、ユーザの好みの色であることが多い。そこで、記録部１５０に、色決定部１１４で決定された色情報を記録しておくことで、次回のゲームプレイ時に、記録部１５０に記録された色情報を利用してもよい。

以上の理由から、ゲーム装置１０では、色決定部１１４が決定した色情報の履歴を記録部１５０に記録する。このとき、色決定部１１４は、入力デバイス２０を特定するデバイス識別情報と、色情報とを対応づけて記録する。たとえば、ユーザＡが第１入力デバイス２０を、ユーザＢが第２入力デバイス２０を使用する場合、第１入力デバイス２０のデバイス識別情報と、その発光色情報とを対応づけて記録することで、ユーザＡに対して、次回プレイ時に、過去の発光色を割り当てることができ、同様に、第２入力デバイス２０のデバイス識別情報と、その発光色情報とを対応づけて記録することで、ユーザＢに対して、次回プレイ時に過去の発光色を割り当てることができる。

具体的には、ゲーム装置１０と入力デバイス２０との無線接続が確立すると、色決定部１１４は、入力デバイス２０のデバイス識別情報を機器情報受付部１３２から受け取り、記録部１５０に記録されている発光色情報を取得する。色決定部１１４は、記録部１５０に記録されている発光色情報のうち、直近に記録された発光色情報、すなわち前回プレイの終了時に割り当てられていた発光色情報を、発光体２２の色情報として決定する。これにより、ユーザが前回選択した発光色を、ユーザによる選択動作なしに、再度割り当てることが可能となる。

なお、このとき色候補決定部１１２が、環境パラメータを利用して割当可能な発光色の候補を決定し、記録部１５０から取得した発光色情報が候補に含まれる場合に、色決定部１１４が、色情報を決定してもよい。これにより、環境パラメータを加味した発光色の割当が実現できる。このとき、記録部１５０に記録された直近の発光色情報が利用できなければ、現在日時から記録日時が近い順に、割当可能な発光色であるか判定して、発光体２２の色情報が決定されてもよい。

また、ゲーム装置１０と入力デバイス２０との無線接続が確立すると、色候補決定部１１２は、入力デバイス２０のデバイス識別情報を機器情報受付部１３２から受け取り、記録部１５０に記録されている履歴から、現在日時に近い順に複数の発光色情報を取得し、図５に示す提示画面を生成してもよい。入力受付部１３４は、ユーザから発光色の決定指示を受け付け、色決定部１１４は、決定指示に基づいて、発光体２２の色情報を決定する。これにより、ユーザは、前回プレイ時の色情報だけでなく、複数の色情報を選択肢として提示されることになり、発光色の選択機会が増えることになる。

図７は、色情報決定処理のフローチャートを示す。機器情報受付部１３２が、入力デバイス２０のデバイス識別情報を受け付ける（Ｓ３０）。色候補決定部１１２は、入力デバイス２０のデバイス識別情報を機器情報受付部１３２から取得すると、記録部１５０を参照して、デバイス識別情報に対応づけられた履歴から、候補として、複数の発光色情報を取得する（Ｓ３２）。この候補は、表示装置１２においてユーザに提示される（Ｓ３４のＮ）。ユーザが、いずれかの候補を選択すると（Ｓ３４のＹ）、色決定部１１４は、選択された色情報を、発光体２２の色情報として決定する（Ｓ３６）。送信部１２４は、色決定部１１４により決定された色情報を、無線通信モジュール１２０を介して入力デバイス２０に通知する（Ｓ３８）。

以上は、ゲーム装置１０による発光色の決定処理を示したが、以下、入力デバイス２０による発光色の決定処理を示す。
＜入力デバイス２０による発光色の決定処理＞
入力デバイス２０において、記録部８２は、色決定部９４が決定した色情報の履歴を記録する。色決定部９４は、色情報受付部７２がゲーム装置１０から受け付けた色情報を、発光部６２の色情報として決定する。したがって、記録部８２には、ゲーム装置１０側で決定された色情報と、入力デバイス２０側で決定された色情報の履歴が蓄積されている。

色決定部９４は、記録部８２に記録されている発光色情報を取得する。色決定部１１４は、記録部８２に記録されている発光色情報のうち、直近に記録された発光色情報、すなわち前回プレイの終了時に割り当てられていた発光色情報を、発光体２２の色情報として決定する。これにより、ユーザが前回選択した発光色を、ユーザによる選択動作なしに、再度割り当てることが可能となる。

また、色候補決定部９２は、記録部８２に記録されている履歴から、現在日時から記録日時が近い順に複数の発光色情報を取得してもよい。このとき、色候補決定部９２は、現在日時に近い順に、色情報を色決定部９４に渡す。色決定部９４は、その色情報を発光制御部６０に送り、発光制御部６０は、発光部６２を発光する。

ユーザは、発光色が気に入らなければ、簡易な操作で、その発光色をキャンセルする。たとえば、この簡易な操作は、ユーザが入力デバイス２０を横方向に振る動作であるとする。ユーザが入力デバイス２０を横方向に振ると、センサ情報受付部７８が、センサ８４の検出値情報を受け付ける。この検出値情報から、たとえば入力デバイス２０の内部回路またはゲーム装置１０で横振り動作であることが判定され、発光色管理部９０に通知されると、発光色管理部９０は、発光色候補がキャンセルされたことを認識する。色候補決定部９２は、次の色情報を色決定部９４に渡し、色決定部９４は、その色情報を発光制御部６０に送ると、発光制御部６０は、発光部６２を発光する。これにより、ユーザは、前回プレイ時の色情報だけでなく、複数の色情報を選択肢として提示されることになり、発光色を簡易に選択できるようになる。ユーザは、発光色を気に入ると、発光色の決定操作を行う。この決定操作は、たとえばユーザが入力デバイス２０を縦方向に振る動作であり、上記したような手順で、発光色管理部９０は、発光色が決定されたことを認識する。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、本体２４に複数の色づけがされている場合、入力デバイス２０からゲーム装置１０に送信する機器情報には、複数の色情報を特定するための色特定情報が含まれる。また、たとえば、模様のシールなどが本体２４に貼り付けられている場合には、ユーザにより、ゲーム装置１０に対して、入力デバイス２０の識別情報と本体２４の色情報とを対応付けたテーブルに、さらにシールの色情報が登録されることが好ましい。また、シールの色情報を本体２４の色情報としてテーブルに登録してもよい。

実施例で、環境パラメータについて説明したが、環境パラメータにより、発光色として割り当てることができない色情報は、記録部１５０に蓄積されて、色候補決定部１１２および色決定部１１４が、その後も、それぞれ発光色候補および発光色情報として決定できない割当不能色情報として扱ってもよい。この場合、色候補決定部１１２および色決定部１１４は、現在の環境パラメータと、蓄積された割当不能色情報とから、それぞれ発光色候補および発光色情報を決定する。なお、表示装置１２や撮像装置１４の配置が変更され、環境パラメータに大きな変化があったことが検出された場合には、蓄積された割当不能色情報は、記録部１５０から削除されることが好ましい。

また入力デバイス２０は、ゲーム装置１０と無線接続していない場合には、発光部６２を所定のパターンで発光させるようにしてもよい。たとえば、入力デバイス２０が振られた加速度に応じて、発光色が変化したり、また、所定時間点灯した後、点滅するような発光モードが設定されていてもよい。ユーザにより所定のボタンが操作されることで、入力デバイス２０が、この点滅発光モードに遷移する。

図２を参照して、たとえば操作ボタン３４、３６が同時に押されて、本体２４の側面に設けられた図示しないＳＴＡＲＴボタンが押されると、点滅発光モードに遷移する。なお、点滅発光モードから通常モードへの復帰は、ＳＴＡＲＴボタンを押すことで実現されてよい。また、入力デバイス２０がゲーム装置１０と無線接続している場合には、通常モードから点滅発光モードへの遷移は禁止され、また、点滅発光モードにおいて、入力デバイス２０とゲーム装置１０との無線接続が禁止されるように設定されていてもよい。

なお、点滅発光モードにおいて、発光体２２の発光色は、環境色や本体色などによる使用色の制限とは無関係に設定されてもよい。一方で、入力デバイス２０は、ゲーム装置１０から環境パラメータを予め取得しておき、色決定部９４が、環境色を避けるように、発光色を決定してもよい。このように、入力デバイス２０は、アプリケーションへの入力デバイスとしてだけでなく、モードに応じた点灯機能をもつ独立のデバイスとしての機能を実現できる。

なお入力デバイス２０は、バッテリ駆動であるため、消費電力を抑えることが好ましい。そのため、入力デバイス２０は自律的に、またはゲーム装置１０からの指示を受けて、省電力発光モードに遷移できる。省電力発光モードでは、高輝度発光が回避され、発光部６２が、０〜２５５の輝度値の範囲で発光制御されるＬＥＤである場合には、高い輝度値の点灯は許容されず、たとえば０〜１２７の輝度値の範囲で発光制御されるようになる。

入力デバイス２０は、バッテリの残量を監視する機能をもつ。入力デバイス２０は、バッテリ残量が所定値を下回ったことを検出すると、自律的に省電力発光モードに遷移してもよい。省電力発光モードにおいて、色決定部９４は、発光部６２の発光色情報が０〜１２７の輝度値の範囲にあるか判定する。なお輝度値の上限は１２７に限るものではなく、任意に設定されてよい。ＲＧＢのいずれかの輝度値が上限を超える場合、色決定部９４は、発光部６２の発光色の色相が大きく変化しないように、ＲＧＢのすべての輝度値が１２７以下となるように色情報を決定する。たとえば、最も高い輝度値を１２７またはそれ以下の値に設定し、他の輝度値を、同じ割合だけ低くすることで、全体の色相を変えずに、入力デバイス２０の省電力化を実現できる。これにより、ユーザは、発光部６２の発光色が若干暗くなったことを感じることはあっても、全体の色相に変化はないため、違和感を覚えることなく、ゲームプレイを継続できる。なお、色決定部９４が発光色情報を決定すると、ゲーム装置１０における発光体画像の認識処理のために、送信部５４がゲーム装置１０に発光色情報を送信する。

また入力デバイス２０が、バッテリ残量の情報をゲーム装置１０に送信し、ゲーム装置１０が、バッテリ残量が所定値を下回ったことを検出すると、入力デバイス２０を省電力発光モードに遷移させてもよい。なお、ユーザが、入力デバイス２０の動作モードとして省電力発光モードを選択できるようにしてもよく、その場合は、ゲーム装置１０が、入力デバイス２０から省電力発光モードの遷移要求を受け付けて、入力デバイス２０を省電力モードに遷移させる。

ゲーム装置１０において、色決定部１１４が、発光部６２の発光色情報が０〜１２７の輝度値の範囲にあるか判定する。ＲＧＢのいずれかの輝度値が１２８以上である場合、色決定部１１４は、発光部６２の発光色の色相が大きく変化しないように、ＲＧＢのすべての輝度値が１２７以下となるように色情報を決定する。具体的には、色決定部１１４は、色決定部９４の処理として説明した処理を実行する。色決定部１１４は発光色情報を決定すると、送信部１２４が、入力デバイス２０に発光色情報を送信する。

１・・・情報処理システム、１０・・・ゲーム装置、１２・・・表示装置、１４・・・撮像装置、２０・・・入力デバイス、２２・・・発光体、２４・・・本体、５０・・・無線通信モジュール、５２・・・受信部、５４・・・送信部、６０・・・発光制御部、６２・・・発光部、７０・・・受付部、７２・・・色情報受付部、７４・・・発光指示受付部、７６・・・操作入力受付部、７８・・・センサ情報受付部、８２・・・記録部、９０・・・発光色管理部、９２・・・色候補決定部、９４・・・色決定部、１００・・・フレーム画像取得部、１０２・・・画像処理部、１０４・・・キャリブレーション処理部、１１０・・・発光色管理部、１１２・・・色候補決定部、１１４・・・色決定部、１２０・・・無線通信モジュール、１２２・・・受信部、１２４・・・送信部、１３０・・・受付部、１３２・・・機器情報受付部、１３４・・・入力受付部、１４０・・・アプリケーション処理部、１４２・・・出力部、１５０・・・記録部。

Claims (11)

1. 情報処理装置であって、
   入力デバイスの発光体の色情報を決定する色決定部と、
   決定した色情報を、入力デバイスに通知する通知部と、
   入力デバイスの撮像画像を取得する取得部と、
   入力デバイスの撮像画像から、発光体画像を抽出する画像処理部と、
   前記色決定部が決定した色情報の履歴を記録する記録部と、を備え、
   前記色決定部は、前記記録部に記録されている色情報の履歴をもとに、発光体の色情報を決定する、
   ことを特徴とする情報処理装置。
2. 前記記録部は、入力デバイスを特定するデバイス識別情報と、色情報の履歴とを対応付けて記録することを特徴とする請求項１に記載の情報処理装置。
3. 前記記録部に記録されている色情報の履歴を用いて、発光体の発光色の候補を決定する色候補決定部と、
   ユーザから発光色の候補に対する決定指示を受け付ける受付部をさらに備え、
   前記色決定部は、前記受付部において受け付けた決定指示にもとづいて、発光体の色情報を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記色決定部は、前記記録部に記録されている、前記色決定部が前回決定した色情報を、今回使用する色情報に決定することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 発光体と、
   発光体の発光を制御する発光制御部と、
   発光体の色情報を決定する色決定部と、
   決定した色情報の履歴を記録する記録部と、
   を備え、
   前記色決定部は、前記記録部に記録されている色情報の履歴をもとに、発光体の色情報を決定することを特徴とするデバイス。
6. 前記記録部に記録されている色情報の履歴を用いて、発光体の発光色の候補を決定する色候補決定部をさらに備え、
   前記色決定部は、前記色候補決定部により決定された候補を用いて、発光体の色情報を決定することを特徴とする請求項５に記載のデバイス。
7. 前記色決定部は、前記記録部に記録されている、前記色決定部が前回決定した色情報を、今回使用する色情報に決定することを特徴とする請求項５または６に記載のデバイス。
8. 前記デバイスの発光体は、入力デバイスの撮像画像から抽出されるために、色決定部により決定された色情報で発光することを特徴とする請求項５から７のいずれかに記載のデバイス。
9. 情報処理装置と入力デバイスとを備えた情報処理システムであって、
   入力デバイスは、
   発光体と、
   発光体の発光を制御する発光制御部と、を有し、
   情報処理装置は、
   入力デバイスの発光体の色情報を決定する色決定部と、
   決定した色情報を、入力デバイスに通知する通知部と、
   前記色決定部が決定した色情報の履歴を記録する記録部と、を有し、
   前記色決定部は、前記記録部に記録されている色情報の履歴をもとに、発光体の色情報を決定することを特徴とする情報処理システム。
10. コンピュータに、
    入力デバイスの発光体の色情報を決定する機能と、
    決定した色情報の履歴を記録する機能と、を実現させるためのプログラムであって、
    色情報を決定する機能は、記録された色情報の履歴をもとに、発光体の色情報を決定することを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images