JP4264601B2 - 情報入力装置、情報入力方法及びゲーム装置 - Google Patents
情報入力装置、情報入力方法及びゲーム装置 Download PDFInfo
- Publication number
- JP4264601B2 JP4264601B2 JP30016498A JP30016498A JP4264601B2 JP 4264601 B2 JP4264601 B2 JP 4264601B2 JP 30016498 A JP30016498 A JP 30016498A JP 30016498 A JP30016498 A JP 30016498A JP 4264601 B2 JP4264601 B2 JP 4264601B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- light sources
- light
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせる、いわゆるバーチャルキャラクタ育成ゲーム装置などに適用して好適な情報入力装置、情報入力方法及びゲーム装置に関する。
【０００２】
詳しくは、撮像可能な任意の物体の特定の面に取り付けた点滅パターンの異なる光源の位置情報に応じて入力情報を発生する手段を設け、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じて入力情報を発生できるようにすると共に、上述のバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成できるようにしたものである。
【０００３】
【従来の技術】
近年、バーチャル・リアリティ（仮想現実感）に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【０００４】
この種の立体表示装置は、特開平９−２３７３５３号の技術文献に見られる。この技術文献によれば、縦横数ｍ程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【０００５】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【０００６】
【発明が解決しようとする課題】
ところで、従来方式の立体表示装置によれば、映写空間に飛び出させる仮想体を指定するために、ジョグダイヤルのような入力ツールが使用されている。そして、観察者が操作したジョグダイヤルの変位情報に基づいて画像処理系では、仮想空間上に恐竜などの仮想体を出現させて合成表示している。
【０００７】
従って、観察者の属する実空間の基準面上に、ＴＶ番組のキャラクタなどを仮想的に飛び出させ、その仮想空間上の観察者の手のひらでそのキャラクタを遊ばせる仮想画像立体合成装置を構成しようとしたときに、従来方式のジョグダイヤルをそのまま適用すると、入力ツールから画像処理系へリード線が引き回されたり、入力操作が複雑となったりして、ゲーム装置のコマンダとしての操作性が悪いという問題がある。
【０００８】
そこで、本発明は上記の課題に鑑み創作されたものであり、仮想画像立体合成装置などの入力ツールの操作性を向上できるようにすると共に、その入力ツールを使用してＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などを再現性良く構成できるようにした情報入力装置、情報入力方法及びゲーム装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、点滅パターンが異なる複数の光源を撮像する撮像手段と、この撮像手段により撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して光源の各々の位置情報を求める演算手段と、この演算手段による光源の位置情報に応じた入力情報を発生するデータ発生手段とを備え、点滅パターンの異なる光源が菱形状のプレート部の対角線に沿って十字状に配置され、データ発生手段は、光源の任意の点滅パターンが遮光されたときに、少なくとも、点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生する情報入力装置によって解決する。
【００１０】
この発明の情報入力装置によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる光源の位置情報に応じた入力情報がデータ発生手段によって発生される。例えば、複数の光源の中で任意の光源の点滅パターンを遮光したときに、その点滅パターンが遮光された光源の位置情報及びそれ以外の光源の位置情報に応じた入力情報が発生される。
【００１１】
従って、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成することができる。
【００１２】
本発明に係る情報入力方法は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と当該プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に点滅パターンが異なる複数の光源を取付け、点滅パターンが異なる複数の光源を撮像し、撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して該光源の各々の位置情報を求め、点滅パターンの異なる光源を菱形状のプレート部の対角線に沿って十字状に配置し、光源の任意の点滅パターンを遮光したときに、少なくとも、点滅パターンを遮光した光源以外の光源の位置情報に応じた入力情報を発生するものである。
【００１３】
この発明の情報入力方法によれば、点滅パターンの異なる複数の光源の中で、任意の光源の点滅パターンを遮光したときに、その点滅パターンが遮光された光源以外の光源の位置情報に応じた入力情報を発生させることができるので、上述のバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適なワイヤレスリモコンに匹敵する簡易コマンダを再現性よく構成することができる。
【００１４】
本発明に係るゲーム装置は、観察者の属する実空間上で任意の基準面を認識する面認識手段と、面認識手段により認識された仮想空間の基準面上であって、観察者の属する外界像に任意のキャラクタ画像を立体的に合成する合成手段と、少なくとも、キャラクタ画像を変化させるための入力情報を指示する入力手段とを備え、この入力手段は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、点滅パターンが異なる複数の光源を撮像する撮像手段と、この撮像手段により撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して光源の各々の位置情報を求める演算手段と、演算手段による光源の位置情報に応じた入力情報を発生するデータ発生手段とを有し、点滅パターンの異なる光源が菱形状のプレート部の対角線に沿って十字状に配置され、データ発生手段は、光源の任意の点滅パターンが遮光されたときに、少なくとも、点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生するものである。
【００１５】
本発明に係るゲーム装置によれば、上述の情報入力装置が入力手段に応用されるので、入力操作が簡単で、しかも、操作性の良い簡易コマンダを備えたバーチャルキャラクタ育成ゲーム装置などを構成することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての情報入力装置、情報入力方法及びゲーム装置について説明をする。
【００１７】
（１）実施形態としての情報入力装置
図１は本発明に係る各実施形態としての情報入力装置１００の構成例を示すブロック図である。
【００１８】
この実施形態では、撮像可能な任意の物体の特定の面に取り付けた点滅パターンの異なる光源の位置情報に応じて入力情報を発生する手段を設け、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じて入力情報を発生できるようにすると共に、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成できるようにしたものである。
【００１９】
この発明の情報入力装置１００は入力ツールとして図１に示す簡易コマンダ４を有している。簡易コマンダ４は撮像可能な任意の物体であって、その特定の面には点滅パターンの異なる複数の光源として例えば９個の発光ダイオードＬＥＤが取付けられている。この発光ダイオードＬＥＤは図３１で説明する点滅制御回路５によって点滅パターンが制御される。この例では、簡易コマンダ４の発光ダイオードＬＥＤ上を指でスライドすると、その指で隠された発光ダイオードＬＥＤの発光位置が変化して、ジョグダイヤルとほぼ同様な機能を持たせることができる。従って、この簡易コマンダ４を、ジョグダイヤルの代わりに使用することができる。
【００２０】
また、情報入力装置１００には撮像手段として流し撮りＣＣＤ装置２３’が設けられ、上述の点滅パターンが異なるように点滅される９個の発光ダイオードＬＥＤを所定の撮像方向に流すように撮像される。ここで、流し撮りとは、流し撮りＣＣＤ装置２３’において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。
【００２１】
この例で流し撮りＣＣＤ装置２３’として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３’として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【００２２】
この流し撮りＣＣＤ装置２３’の出力段には演算手段６が接続され、上述の９個の発光ダイオードＬＥＤの輝度情報を流し撮りＣＣＤ装置２３’から入力し、それを画像処理して発光ダイオードＬＥＤの各々の位置情報Ｄｐが求められる。この演算手段６の出力段にはデータ発生手段７が接続され、簡易コマンダ４に取付けられた９個の発光ダイオードＬＥＤの位置情報Ｄｐに応じた入力情報Ｄinが発生される。このデータ発生手段７では、発光ダイオードＬＥＤの任意の点滅パターンを遮光したときに、少なくとも、点滅パターンを遮光した発光ダイオードＬＥＤ以外の発光ダイオードＬＥＤの位置情報Ｄｐに応じた入力情報Ｄinを発生する。
【００２３】
従って、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などに、この情報入力装置１００を適用した場合に、９個の発光ダイオードＬＥＤの内で、例えば、右手のひとさし指で覆った発光ダイオードＬＥＤの位置に応じた入力情報Ｄinを発生できるので、ジョグダイヤルのような複雑な操作が不要となる。
【００２４】
この例では、データ発生手段７には記憶手段１６が設けられ、９個の発光ダイオードＬＥＤの位置情報Ｄｐに対応付けられた入力情報Ｄinが格納されている。この記憶手段１６にはＲＯＭ（読み出し専用メモリ）を使用し、ジョグダイヤルの入力ソフトプログラムなどを記憶しておくとよい。このように構成すると、９個の発光ダイオードＬＥＤの位置情報Ｄｐをアドレスにして記憶手段１６から入力情報Ｄinを読み出すことができる。この記憶手段１６の内容については図８及び図９において説明する。
【００２５】
この例で、簡易コマンダ４は図２に示す菱形状のプレート部１４と、このプレート部１４に接合されたリング状の指輪部１５とを有している。この指輪部１５は、そのプレート部１４が流し撮りＣＣＤ装置２３’の撮影範囲内に入るように左手のひとさし指などに装着するとよい。プレート部１４は発光面を成すものであり、流し撮りし易くするために、例えば、中央部が盛り上がった山形状（立体形状）に形成されている。プレート部１４の大きさは腕時計程度であり、その一辺の長さは３ｃｍ程度であり、大きくても、せいぜい５ｃｍ程度である。
【００２６】
このプレート部１４の対角線上には、複数の光源として点滅パターンの異なる９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２がその対角線に沿って配置される。この例では、発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が、樹脂部材を菱形状に成形したプレート部１４に十字状に埋め込まれている。もちろん、簡易コマンダ４は図２に示すものに限られることはなく、図３に示すプレート部１４’が平坦状を成し、そのプレート部１４’の表面の周辺部に１２個の発光ダイオードＬＥＤを埋め込んだようなものであってもよい。
【００２７】
この例では、図４に示す十字状に配置された発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が４つのグループに分けて点滅制御される。第１グループは３つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２から成り、３つの発光点ｐ１０〜ｐ１２の位置座標として例えば、（ｘ５，ｙ５）、（ｘ６，ｙ６）、（ｘ８，ｙ８）が与えられると共に、Ｇ１グループの第１番〜第３番目の発光ダイオードというようにナンバーリングされている。
【００２８】
第２グループは２つの発光ダイオードＬＥＤ２１、ＬＥＤ２２から成り、２つの発光点ｐ２１、ｐ２２の位置座標として例えば（ｘ７，ｙ７）、（ｘ９，ｙ９）が与えられると共に、Ｇ２グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。
【００２９】
また、第３グループは２つの発光ダイオードＬＥＤ３１、ＬＥＤ３２から成り、２つの発光点ｐ３１、ｐ３２の位置座標として例えば（ｘ４，ｙ４）、（ｘ２，ｙ２）が与えられると共に、Ｇ３グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。第４グループは２つの発光ダイオードＬＥＤ４１、ＬＥＤ４２から成り、２つの発光点ｐ４１、ｐ４２の位置座標として例えば（ｘ３，ｙ３）、（ｘ１，ｙ１）が与えられると共に、Ｇ４グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。
【００３０】
この９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅されると共に、４つのグループＧ１〜Ｇ４に分けて点滅制御される。
【００３１】
この例の簡易コマンダ４では発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が離れて取付けられていないと、流し撮りＣＣＤ装置２３’で再現性良く発光位置を認識されないので、例えば、点滅パターンを認識する周期をグループ毎に４等分して出力する。
【００３２】
この９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の位置情報Ｄｐを認識するためには、流し撮りＣＣＤ装置２３で、１／４周期毎に点滅パターンを無視する方法（時分割）と、流し撮りＣＣＤ装置２３’を４台設けて、これを１／４周期毎に動作させる方法とが考えられるが、本実施の形態では前者の場合について説明する。この位置情報Ｄｐの認識については図６及び図７で説明をする。
【００３３】
続いて、簡易コマンダ４の使用方法について説明する。図５は簡易コマンダ４の使用例を示す上面図である。図５に示す簡易コマンダ４では右手ひとさし指３０Ｒで例えばＧ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２を遮光した場合を示している。
【００３４】
この場合には、Ｇ４グループ以外の第１、第２及び第３グループＧ１〜Ｇ３の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２が流し撮りＣＣＤ装置２３’によってその点滅パターンが撮像される。従って、演算手段６ではどのグループの何番目の発光ダイオードが消えたかを判別することができる。
【００３５】
この例では演算手段６によって、上述の簡易コマンダ４による発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２の輝度情報を流し撮りＣＣＤ装置２３’から入力し、それを画像処理して発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２の各々の位置情報Ｄｐが求められる。この画像処理の結果で、例えば、右手ひとさし指３０Ｒで遮光された光源が、Ｇ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２であることが認識される。
【００３６】
つまり、プレート部１４上に何も覆わない場合には、点滅パターンの異なる簡易コマンダ４の９つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２を通常のＣＣＤ撮像装置２５で撮像すると、図６に示すようになる。しかし、流し撮りＣＣＤ装置２３’から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関しては、図７に示すウインドウＷにより画定された画像領域内で、９つの流し撮り輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２を含むＸＹ平面を成す空間的な配置パターンに変換される。
【００３７】
その後、その配置パターン上を走査して、少なくとも、９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められる。例えば、図７に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、演算手段６によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる９つの位置が検出され、この９つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ６、Ｘ７、Ｘ８、Ｘ９が求められる。
【００３８】
また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５、Ｙ６、Ｙ７、Ｙ８、Ｙ９として求められる。この９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２は例えば観察者に左ひとさし指に装着された簡易コマンダ４の９つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の位置情報Ｄｐを示している。
【００３９】
従って、図５に示した右手ひとさし指３０ＲでＧ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２が遮光された簡易コマンダ４では、Ｇ４グループ以外の第１、第２及び第３グループＧ１〜Ｇ３の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２による７つの位置座標としては、（Ｘ２，Ｙ２）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められ、位置座標（Ｘ１，Ｙ１）、（Ｘ３，Ｙ３）は求められない。従って、Ｇ４グループの以外の第１〜第３のグループＧ１〜Ｇ３による位置座標に基づいた入力情報Ｄinを記憶手段１６から読み出すことができる。なお、図８は９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の番号とその取付け位置情報例を示す表図である。
【００４０】
続いて、記憶手段１６に格納される入力情報例について説明する。図９は４つのグループＧ１〜Ｇ４の位置情報Ｄｐに対する入力情報例を示す参照テーブルである。この例では、簡易コマンダ４の説明を簡略化するためにグループ単位に、位置情報Ｄｐを入力する場合について説明をする。従って、４つのグループＧ１〜Ｇ４を「覆う」又は「覆わない」の組み合わせによって１６通りの入力情報Ｄinを得ることができる。
【００４１】
この例では、図１０に示す表示手段２４の基準面上に、あたかも、仮想体としての３Ｄポリゴン（雪だるま）１０を存在させるような、バーチャルキャラクタ育成ゲーム装置用の簡易コマンダ４を想定した場合に、その表示手段２４の画面上にアイコン２４Ａが表示され、「入力待機」、「飛び出せ」、「左に動け」、「右に動け」・・・・「消えろ」などの１６種類の命令情報が表示される。このアイコン２４Ａは、同画面上に表示されたカーソル２４Ｂによって指定できるようになされている。このカーソル２４Ｂは簡易コマンダ４に基づいて移動する。
【００４２】
ここで、図１１に示す３Ｄポリゴン１０をｘ方向及びｙ方向に移動する例を挙げて説明をする。この簡易コマンダ４ではジョグダイヤル的な入力動作を行うことができる。つまり、図１２に示す簡易コマンダ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合の位置情報Ｄｐ＝「１１１１」に対しては、これをアドレスとする入力情報Ｄin＝「入力待機」が記憶手段１６に予め格納される。この何等の遮光をしていない場合の非遮光パターンをＰＴ＝０及びＰＴ＝７とする。
【００４３】
そして、この例では、簡易コマンダ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２を順に水平方向に例えば右手のひとさし指、中指又は薬指で覆っていくようになされる。図１３ではグループＧ４の発光ダイオードＬＥＤ４２が遮光された場合である。この遮光パターンをＰＴ＝１とする。更に、図１４ではグループＧ４の２つの発光ダイオードＬＥＤ４１、４２が遮光された場合である。この遮光パターンをＰＴ＝２とする。
【００４４】
また、図１５ではグループＧ４の発光ダイオードＬＥＤ４１と、グループＧ１及びＧ３の発光ダイオードＬＥＤ１０〜１２と、発光ダイオードＬＥＤ３１〜３２とが遮光された場合である。この遮光パターンをＰＴ＝３とする。更に、図１６ではグループＧ１、Ｇ３の発光ダイオードＬＥＤ１０〜１２と、発光ダイオードＬＥＤ３１〜３２と、グループＧ２の発光ダイオードＬＥＤ２１とが遮光された場合である。この遮光パターンをＰＴ＝４とする。
【００４５】
そして、図１７ではグループＧ４の２つの発光ダイオードＬＥＤ２１、２２が遮光された場合である。この遮光パターンＰＴ＝５とする。更に、図１８ではグループＧ２の発光ダイオードＬＥＤ２２が遮光された場合である。これを遮光パターンをＰＴ＝６とする。
【００４６】
この例では、図９のうち１つのコマンドでジョグダイヤルモードに設定することができ、遮光パターンＰＴ＝０→７を入力すると、ジョグダイヤルの右回転動作と等価になり、反対に、遮光パターンＰＴ＝７→０を入力するとジョグダイヤルの左回転動作と等価になる。例えば、ＰＴ＝０，１，２，３→２，１，０を連続して入力すると、ジョグダイヤルを右回転から左回転に切替えた場合と同じ結果が得られ、図１０に示した１６種類のアイコン２４Ａの左側をカーソルが上方向又は下方向に移動するようになされる。この例では、カーソル２４Ｂが止まったところで、「動作の決定」を指示するようになされる。
【００４７】
そして、簡易コマンダ４のジョグダイヤル的な決定動作では遮光パターンＰＴ＝０→５で「ＹＥＳ」を示し、遮光パターンＰＴ＝５→０で「ＮＯ」を示す。例えば、遮光パターンＰＴ＝０→５を１回又は２回続けると、「何かをしても良いですか」などの答えとして、再度、遮光パターンＰＴ＝０→５を入力すると「ＹＥＳ」を示し、遮光パターンＰＴ＝５→０を入力すると「ＮＯ」を示すことができる。あるいは、図１９に示す右手のひとさし指でグループＧ４の発光ダイオードＬＥＤ４２を遮光し、その中指でグループＧ２の発光ダイオードＬＥＤ２２を遮光することでも、ジョグダイヤル的な決定動作を指示することができる。
【００４８】
また、図１１〜図１８では簡易コマンダ４上に右手の指を水平方向にスライドさせる場合について説明したが、これに限られることはなく、図２０〜図２４に示すように簡易コマンダ４’上に右手の指を垂直方向にスライドさせてもよい。図２０ではグループＧ１の発光ダイオードＬＥＤ１２が遮光された場合である。この遮光パターンＰＴ＝１とする。更に、図２１ではグループＧ１の発光ダイオードＬＥＤ１２、１１が遮光された場合である。これを遮光パターンをＰＴ＝２とする。
【００４９】
図２２ではグループＧ１の３つの発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１とが遮光された場合である。この遮光パターンＰＴ＝３とする。更に、図２３ではグループＧ１の発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１と、グループＧ３の発光ダイオードＬＥＤ３１とが遮光された場合である。この遮光パターンＰＴ＝４とする。更に、図２４ではグループＧ１の発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１と、グループＧ３の発光ダイオードＬＥＤ３１、３２とが遮光された場合である。これを遮光パターンをＰＴ＝５とする。
【００５０】
この例でも、図９のうち１つのコマンドでジョグダイヤルモードに設定することができ、遮光パターンＰＴ＝０→５に順に変化させて行くと、ジョグダイヤルの右回転動作と等価な入力状態になり、反対に、遮光パターンＰＴ＝５→０に順に変化させて行くと、ジョグダイヤルの左回転動作と等価な入力状態を得ることができる。例えば、ＰＴ＝０，１，２，３→２，１，０を連続して変化させると、ジョグダイヤルを右回転から左回転に切替えた場合と同じ結果が得られ、図１０に示した１６種類のアイコン２４Ａの左側をカーソルが上方向又は下方向に移動するようになされる。この例でも、カーソル２４Ｂが止まったところで、簡易コマンダ４と同様にして「動作決定」の指示を与えることができる。
【００５１】
なお、以下のようにして入力情報を指示入力する構成としても良い。この例では、４つのグループの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合の位置情報Ｄｐ＝「１１１１」に対しては、これをアドレスとする入力情報Ｄin＝「入力待機」が記憶手段１６に予め格納される。同様にして、Ｇ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を遮光した場合の位置情報Ｄｐ＝「１０００」に対しては、これをアドレスとする入力情報Ｄin＝「飛び出せ」が記憶手段１６に記憶される。
【００５２】
また、Ｇ２グループ以外の３つのグループＧ１、Ｇ３、Ｇ４を遮光した場合の位置情報Ｄｐ＝「０１００」に対しては、これをアドレスとする入力情報Ｄin＝「左に動け」が記憶手段１６に予め格納される。同様にして、Ｇ３グループ以外の３つのグループＧ１、Ｇ２、Ｇ４を遮光した場合の位置情報Ｄｐ＝「００１０」に対しては、これをアドレスとする入力情報Ｄin＝「右に動け」が記憶手段１６に予め格納される。
【００５３】
更に、Ｇ４グループ以外の３つのグループＧ１、Ｇ２、Ｇ３を遮光した場合の位置情報Ｄｐ＝「０００１」に対しては、これをアドレスとする入力情報Ｄin＝「ジャンプしろ」が記憶手段１６に予め格納される。以下、同様にして、Ｇ１、Ｇ２、Ｇ３グループ以外のグループＧ４を遮光した場合の位置情報Ｄｐ＝「１１１０」に対しては、これをアドレスとする入力情報Ｄin＝「声を出せ」が記憶手段１６に予め格納される。そして、全てのグループＧ１〜Ｇ４を遮光した場合の位置情報Ｄｐ＝「００００」に対しては、これをアドレスとする入力情報Ｄin＝「消えろ」が記憶手段１６に予め格納される。
【００５４】
従って、４つのグループの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合には、位置情報Ｄｐ＝「１１１１」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「入力待機」なる入力情報Ｄinを読み出すことができる。
【００５５】
また、Ｇ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「１０００」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「飛び出せ」なる入力情報Ｄinを読み出すことができる。この「飛び出せ」の入力情報Ｄinに基づいて仮想空間上に、ＴＶ番組のキャラクタなどを飛び出させるような画像処理を行うことができる。
【００５６】
そして、右手で、全てのグループＧ１〜Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００００」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「消えろ」なる入力情報Ｄinを読み出すことができる。この「消えろ」の入力情報Ｄinに基づいてＴＶ番組のキャラクタを仮想空間上から消すような画像処理を行うことができる。
【００５７】
このように本実施の形態として情報入力装置１００によれば、点滅パターンの異なる９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の中で、任意のグループＧ１〜Ｇ４の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅パターンを遮光したときに、その点滅パターンが遮光されたグループ以外のグループの発光ダイオードの位置情報Ｄｐに応じた入力情報Ｄinを発生させることができる。
【００５８】
この構成によって、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適かつ操作性の良い簡易コマンダ４を再現性良く構成することができる。しかも、簡易コマンダ４から画像処理系へリード線が引き回されることもないので、赤外線リモコンや、無線リモコンなどの感覚で入力情報を指示することができる。
【００５９】
これにより、ジョグダイヤルで入力ソフトプログラムを実行するような入力処理を簡易コマンダ４によっても行うことができるので、バーチャルキャラクタ育成ゲーム装置などの入力コマンダとして十分に応用することができる。しかも、この例では、ＴＶ番組のキャラクタを出現させる基準面の認識用の流し撮りＣＣＤ装置２３とこの簡易コマンダ４用の流し撮りＣＣＤ装置２３’とを兼用することができる。
【００６０】
（２）第１の実施形態
続いて、本発明に係る情報入力装置１００を応用したバーチャルキャラクタ育成などのゲーム装置２００を説明する。図２５は第１の実施形態としてのゲーム装置２００の構成例を示す斜視図である。
【００６１】
この例では、ＴＶ番組のキャラクタを仮想空間上の観察者の手のひらで遊ばせる、いわゆるバーチャルキャラクタ育成ゲーム装置などにおいて、本発明に係る情報入力装置１００を応用して、そのキャラクタを仮想空間上に出現させたり、それを左右に動かしたり、ジャンプさせたり、仮想空間上から消したりするようになされたものである。
【００６２】
図２５に示すバーチャルキャラクタ育成用のゲーム装置２００は観察者の属する外界像に、ＴＶ番組のキャラクタなどの仮想体画像を立体的に合成表示する装置である。このゲーム装置２００は簡易コマンダ４、基準面設定用のブレスレット１、特殊グラストロン２及び画像処理装置３を有している。この簡易コマンダ４は例えば観察者の左手のひとさし指３０Ｌに装着され、ブレスレット１はその左手に装着して使用される。この特殊グラストロン２の本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト２２が固定される。
【００６３】
また、特殊グラストロン２には少なくとも流し撮りＣＣＤ装置２３及び表示手段２４が設けられている。特殊グラストロン２の機種によっては通常のＣＣＤ撮像装置２５が設けられる。この基準面設定用のブレスレット１、流し撮りＣＣＤ装置２３及び画像処理装置３によって面認識手段が構成され、観察者の属する実空間上で任意の基準面を認識できるようになされている。
【００６４】
更に、特殊グラストロン２には画像処理装置３が接続され、流し撮りＣＣＤ装置２３から出力された画像データに基づいて基準面などを認識する画像処理がなされる。この画像処理装置３には表示手段２４が接続され、面認識手段により認識された基準面が表示される。この特殊グラストロン２内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間の基準面上で仮想体の画像が合成される。この例では、実空間上の基準面の属する位置に、あたかも、仮想体としての３Ｄポリゴン（雪だるま）１０が存在するようになされている。
【００６５】
この例で、基準面設定用のブレスレット１は図２６に示すプレート部１１と、腕輪部１２とを有している。プレート部１１は基準面を成すものであり、凹凸の無い平坦状に形成される。プレート部１１の大きさは、簡易コマンダ４のプレート部１４とほぼ同じ大きさ、もしくは、これよりもやや大きな矩形状を有している。プレート部１１の表面四隅には、それぞれ発光ダイオード（ＬＥＤ１〜４）が取付けられ、３Ｄポリゴン１０を飛び出せようとする基準面の４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする基準面に相当する）。
【００６６】
この４個の発光ダイオードＬＥＤ１〜４は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、簡易コマンダ４の発光ダイオードＬＥＤと同様にして、少なくとも、点滅パターンが異なるように点滅される。この発光ダイオードＬＥＤ１〜４は図３１で説明する点滅制御回路１３によって点滅パターンが制御される。
【００６７】
この発光ダイオードＬＥＤ１〜４の発光は特殊グラストロン２内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜４の取付け位置から基準面を特定するためである。この基準面の特定については図３２及び図３３で説明をする。
【００６８】
この腕輪部１２は観察者の手首にフィットさせるように伸縮自在である構造が好ましい。例えば、バンド部材にマジックテープを設けて装着状態を加減できるようにしたものなどである。プレート部１１は流し撮りＣＣＤ装置２３の撮影範囲内に入るように左手の甲側に装着するとよい。
【００６９】
図２７に示す特殊グラストロン２は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２３と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７とを有している。
【００７０】
つまり、観察者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって観察者の属する外界像が撮像され、後者によって簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２及びブレスレット１の４個の発光ダイオードＬＥＤ１〜４が流し撮りされる。従って、観察者がコマンダ４や基準面設定用のブレスレット１に目を向けると、その発光面や基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【００７１】
そして、特殊グラストロン２内の観察者の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者のブレスレット１と、予め準備されたコンピユータ・グラフィックス（ＣＧ）による３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が表示される。
【００７２】
また、その観察者の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の簡易コマンダ４と、ブレスレット１と、３Ｄポリゴン１０の画像と合成したステレオ画像の他方が表示される。この特殊グラストロン２は観察者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とは頭の中で合成される。
【００７３】
図２８に示す特殊グラストロン２０は透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５は搭載されていない。従って、透過型のヘッドマウントディスプレイは、流し撮りＣＣＤ装置２３と、外界像取り込み用の液晶シャッタ２８と、画像表示素子としてのＬＣＤ２９を有している。
【００７４】
例えば、観察者の眉間に相当する位置には、流し撮りＣＣＤ装置２３が配置され、観察者が簡易コマンダ４や、基準面設定用のブレスレット１に目を向けると、その簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２及びブレスレット１の４個の発光ダイオードＬＥＤ１〜４が流し撮りされる。そして、観察者の左目及び右目に相当する位置には液晶シャッタ２８が設けられ、例えば、液晶シャッタ２８が開かれると、その液晶シャッタ２８を通過した観察者のブレスレット１や簡易コマンダ４の実像が直接眼球に導かれる。
【００７５】
また、特殊グラストロン２内の観察者の左目又は右目の脇に位置する部分には、ＬＣＤ２９が取付けられ、上述の特殊グラストロン２と同様にしてキャラクタ画像が表示される。図示しないが、液晶シャッタ２８と、ＬＣＤ２９との間には偏光ビームスプリッタなどの光学手段が設けられ、観察者のブレスレット１や簡易コマンダ４の実像と、３Ｄポリゴン１０の画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とが頭の中で合成される。
【００７６】
続いて、インターライン転送方式の流し撮りＣＣＤ装置２３の内部構成について説明する。図２９に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【００７７】
この基板３１の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４に流し撮り信号ＳOUTが出力される。この例では、流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が読み出される。
【００７８】
また、流し撮りＣＣＤ装置２３は図３０に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって簡易コマンダ４や基準面設定用のブレスレット１などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は簡易コマンダ４やブレスレット１に向けてより多く頭部を傾けなければならない。
【００７９】
続いて、ゲーム装置２００の回路構成について説明する。図３１に示すゲーム装置２００は大きく分けて４つの回路ブロックから成る。第１の回路ブロックは基準面設定用のブレスレット１であり、このブレスレット１には点滅制御回路１３が設けられ、４個の発光ダイオードＬＥＤ１〜４に所定の電圧が印加されて点滅制御される。点滅制御回路１３では点滅パターンが異なるように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４が点滅間隔が制御される。発光ダイオードＬＥＤ１〜４の電源には図示しない小型の乾電池やボタン電池などが使用される。
【００８０】
第２の回路ブロックは簡易コマンダ４であり、この簡易コマンダ４には点滅制御回路５が設けられ、９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２に所定の電圧が印加されて点滅制御される。点滅制御回路５では点滅パターンがグループＧ１〜Ｇ４毎に異なり、グループ内でも点滅パターンが異なるように発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅間隔が制御される。発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の電源にはブレスレット１と同様にして小型の乾電池やボタン電池などが使用される。
【００８１】
第３の回路ブロックは特殊グラストロン２であり、非透過型の場合には上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７を有している。
【００８２】
第４の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ（電気的な情報の書き込み及び消去が可能な読み出し専用メモリ）４８が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７はインタフェース４２を介して内部バス４１に接続される。
【００８３】
この内部バス４１には記録媒体としてＥ2ＰＲＯＭ４８が接続され、観察者の属する外界像に３Ｄポリゴン１０の画像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者の属する実空間上で任意に設定された基準面を撮像して仮想空間上にその基準面を表示すると共に、その仮想空間上に３Ｄポリゴン１０の画像を重ね合わせて合成するアルゴリズムが格納される。
【００８４】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上の基準面を認識することができる。これにより、実空間上の基準面の属する位置に、あたかも、３Ｄポリゴン１０が存在するように画像処理することができるので、バーチャルキャラクタ育成ゲーム装置などのゲーム装置２００を再現性良く構成することができる。
【００８５】
更に、内部バス４１には記憶手段１６としてのＲＯＭ４６が接続され、図９で説明した４つのグループＧ１〜Ｇ４の位置情報Ｄｐに対する入力情報Ｄinが記憶されている。従って、４つのグループＧ１〜Ｇ４を「覆う」又は「覆わない」の組み合わせによって１６通りの入力情報Ｄinを得ることができる。その他に、このＲＯＭ４６にはゲーム装置２００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報が格納される。
【００８６】
また、内部バス４１にはワーキング用のＲＡＭ４７が接続され、上述した入力情報Ｄin、システムプログラムやキャラクタ画像を表示する表示情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。
【００８７】
このインタフェース４２には画像処理部４４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮像された図３２に示す基準面設定用の４つの発光ダイオードＬＥＤ１〜４の画像が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【００８８】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、流し撮りＣＣＤ装置２３から入力した点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。画像キャプチャ部４３には演算手段６としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の属する基準面が求められる。
【００８９】
例えば、画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図３３に示すウインドウＷにより画定された画像領域内で、４つの流し撮り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は観察者に装着されたブレスレット１の基準面設定用の４つの発光ダイオードＬＥＤ１〜４である。実空間上の４つの発光ダイオードＬＥＤ１〜４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【００９０】
従って、上述の実空間上の基準面は４つの発光ダイオードＬＥＤ１〜４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関係がある。
【００９１】
【数１】
【００９２】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【００９３】
【数２】
【００９４】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図３２に示した実空間上の基準面が認識される。
【００９５】
具体的には、図３３に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応したＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。
【００９６】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上の基準面にキャラクタ画像を合成することができる。
【００９７】
次に、本発明の情報入力方法に関して、ゲーム装置２００の動作を説明する。この例では、観察者の属する外界像に３Ｄポリゴン１０の画像を立体的に合成した後に、簡易コマンダ４を使用して３Ｄポリゴン１０を変化させる場合を想定する。もちろん、観察者は発光面が上に向くように簡易コマンダ４を左手のひとさし指３０Ｌに装着し、図２７に示した特殊グラストロン２を頭部に装着する。
【００９８】
まず、図３４に示すフローチャートのステップＡ１で観察者の属する実空間上で任意の基準面を設定するために、観察者は、例えば、プレート部１１が上に向くように、左腕に基準面設定用のブレスレット１を装着する。その後、点滅制御部１３をオンして４つの発光ダイオードＬＥＤ１〜４を所定の点滅パターンで点滅する。これに前後して、点滅制御回路５をオンして９つの発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２を所定の点滅パターンで点滅する。
【００９９】
次に、ステップＡ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上の基準面を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間上の簡易コマンダ４及び基準面を流し撮りする。例えば、３Ｄポリゴン１０の画像を合成させようとする位置に取付けられた４つの発光ダイオードＬＥＤ１〜４が、点滅パターンが異なるように点滅されるので、その点滅パターンが所定の撮像方向に流すように撮像される。
【０１００】
その後、ステップＡ３で観察者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図３５に示すサブルーチンをコールしてステップＢ１でビデオキャプチャ処理を実行する。その後、ステップＢ２で四隅の発光ダイオードＬＥＤ１〜４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの発光ダイオードＬＥＤ１〜４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１０１】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＢ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１０２】
一方、図６及び図７で説明した簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められる。この時点で、簡易コマンダ４の発光面を何等覆わないものとすれば、４つのグループＧ１〜Ｇ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、位置情報Ｄｐ＝「１１１１」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「入力待機」なる入力情報Ｄinを読み出すことができる。
【０１０３】
その後、ステップＡ４にリターンして観察者による簡易コマンダ４からの指示に基づいて画像処理が行われる（図５参照）。例えば、簡易コマンダ４のＧ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を右手のひとさし指３０Ｒで遮光するように指示が与えられると、仮想空間の基準面上に３Ｄポリゴン１０の画像が重ね合わされるようにして合成される。このとき、流し撮りＣＣＤ装置２３による位置情報Ｄｐ＝「１０００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「飛び出せ」なる入力情報Ｄinが読み出され、この「飛び出せ」の入力情報Ｄinに基づいて基準面上に、３Ｄポリゴン１０が出現するような画像処理を行うことができる。
【０１０４】
従って、観察者が装着した特殊グラストロン２では、ＬＣＤ２６による実空間の外界像と３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が観察者の右の眼球に導くようになされる。ＬＣＤ２７による実空間の外界像と３Ｄポリゴン１０の画像とを合成したステレオ画像の他方が観察者の左の眼球に導くようになされる。
【０１０５】
これにより、図３６Ａに示す実空間上では基準面上に３Ｄポリゴン１０が出現していないのに、図３６Ｂに示す仮想空間ではその基準面上に３Ｄポリゴン１０を出現させることができる。従って、観察者の属する実空間上の背景画像と、仮想空間上に出現した３Ｄポリゴン１０とが頭の中で合成されるので、実空間上の基準面の属する位置に、あたかも、３Ｄポリゴン１０が存在するようにできる。
【０１０６】
その後、簡易コマンダ４を使用して、更に、Ｇ２グループ以外の３つのグループＧ１、Ｇ３、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「０１００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「左に動け」なる入力情報Ｄinを読み出すことができる。この「左に動け」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０を左に動かすような画像処理を行うことができる。
【０１０７】
また、Ｇ３グループ以外の３つのグループＧ１、Ｇ２、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００１０」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「右に動け」なる入力情報Ｄinを読み出すことができる。この「右に動け」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０を右に動かすような画像処理を行うことができる。
【０１０８】
更に、Ｇ４グループ以外の３つのグループＧ１、Ｇ２、Ｇ３を遮光した場合には、位置情報Ｄｐ＝「０００１」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「ジャンプしろ」なる入力情報Ｄinを読み出すことができる。この「ジャンプしろ」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０をジャンプさせるような画像処理を行うことができる。
【０１０９】
以下、同様にして、Ｇ１、Ｇ２、Ｇ３グループ以外のグループＧ４を遮光した場合には、位置情報Ｄｐ＝「１１１０」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「声を出せ」なる入力情報Ｄinを読み出すことができる。この「声を出せ」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０」を喋らせるような音声処理を行うことができる。
【０１１０】
そして、右手で、全てのグループＧ１〜Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「消えろ」なる入力情報Ｄinを読み出すことができる。この「消えろ」の入力情報Ｄinに基づいて３Ｄポリゴン１０をその基準面上から消すような画像処理を行うことができる。
【０１１１】
このように、第１の実施形態としての情報入力装置１００を応用したゲーム装置２００によれば、９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅パターンによる位置情報Ｄｐに基づいて、ジョグダイヤルのソフトプログラムを実行させるような入力処理を簡易コマンダ４によって行うことができるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。しかも、３Ｄポリゴン１０を出現させる基準面の認識用の流し撮りＣＣＤ装置２３とこの簡易コマンダ用の流し撮りＣＣＤ装置２３’とを兼用することができる。
【０１１２】
従って、観察者の属する実空間上の基準面の属する位置に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置２００やその他のゲーム装置を容易に構成することができる。また、これらのバーチャルキャラクタ育成ゲーム装置などのコストダウンを図ることができる。
【０１１３】
なお、図３７は他のゲーム装置３００の構成例を示す斜視図である。この例では簡易コマンダ４を基準面にして仮想空間上に３Ｄポリゴン１０を出現させたものである。簡易コマンダ４の発光ダイオードＬＥＤは基準面の認識に使用できるので、その仮想空間の簡易コマンダ４が作る基準面上に３Ｄポリゴン１０を出現させることができる。従って、基準面設定用のブレスレット１が無くても、３Ｄポリゴン１０を出現させることができる。
【０１１４】
この例で、簡易コマンダ４は上述したものに限られることはなく、データグローブ９０を使用したものであってよい。図３８Ａは実空間におけるデータグローブ９０の画像例を示し、図３８Ｂは仮想空間のデータグローブ９０上に３Ｄポリゴン１０を出現させたイメージ図である。この例でも、データグローブ９０には点滅パターンの異なる複数の発光ダイオードＬＥＤが取付けられている。流し撮りＣＣＤ装置２３によって基準面が認識されると、そのデータグローブ９０上に３Ｄポリゴン１０を出現させることができる。
【０１１５】
図３９はグローブ型の簡易コマンダ４０の構成例を示すイメージ図である。この簡易コマンダ４０は、右手の親指が届く位置のひとさし指を覆うグローブ部に、複数の発光ダイオードＬＥＤが線状に取付けられている。
【０１１６】
このグローブ部のひとさし指の発光ダイオードＬＥＤを右から左方向、又は、左から右方向に順に右手の親指で遮光すると、上述した簡易コマンダ４のような遮光パターンを変えることができるので、グローブ型の簡易コマンダ４０によって、ジョグダイヤル動作をさせることができる。従って、画像処理系で簡易コマンダ４０による回転や動作決定を認識できるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。
【０１１７】
図４０はグローブ型の他の簡易コマンダ４０’の構成例を示すイメージ図である。この簡易コマンダ４０’は、右手の親指が届く位置の中指を覆うグローブ部に複数の発光ダイオードＬＥＤが取付けられている。このグローブ部の中指の発光ダイオードＬＥＤを右から左方向、又は、左から右方向に順に右手の親指で遮光すると、上述した簡易コマンダ４のような遮光パターンを変えることができるので、グローブ型の他の簡易コマンダ４０’によってもジョグダイヤル動作をさせることができる。
【０１１８】
従って、画像処理系で簡易コマンダ４０’による回転や動作決定を認識できるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。
【０１１９】
（３）第２の実施形態
図４１は第２の実施形態としてのゲーム装置で使用する基準面設定用の二次元バーコード５０の構成例を示す図である。この実施例では４つの発光ダイオードＬＥＤ１〜４に代わって、図４１に示す二次元バーコード５０を使用して基準面が認識されるものである。もちろん、二次元バーコード５０上に出現した３Ｄポリゴン１０を上述した情報入力装置１００によってその動きを制御することができる。
【０１２０】
この例の面認識手段は２次元マトリクスコード５０を有しており、実空間上の基準面を認識するために使用される。２次元バーコード５０は少なくとも、白地に黒で印刷されたｎ行×ｎ列の白黒マトリクスと、その白黒マトリクスと同じ太さの黒枠部５１から成る。この例では黒枠部５１で囲まれた５×５画素がコード領域部５２であり、この２５画素のうち、図４２に示す１２画素が黒で塗りつぶされている。
【０１２１】
このバーコード５０は３Ｄポリゴン１０の画像を合成しようとする位置、例えば、図２に示したブレスレット１のプレート１１上に設けられる。この二次元マトリクスコード５０は流し撮りＣＣＤ装置２３に代わって通常のＣＣＤ撮像装置２５で撮像される。この撮像装置２５の出力段には、図３１で説明したような画像処理装置３が接続される。その画像処理装置３には演算手段６が設けられ、ＣＣＤ撮像装置２５から出力された撮像信号（輝度信号）を画像処理して二次元マトリクスコード５０から基準面が求められる。
【０１２２】
例えば、画像処理部４４では前処理が施される。この処理では、まず、取得画像が適当な閾値で２値化される。バーコード部分は白地に黒で印刷されているので、固定閾値によって、かなり安定的に背景画像とコード領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。２次元バーコード５０の黒枠部５１はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０１２３】
その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、コー黒枠部５１の点列を得る。この点列に対して最小二乗法で線分を当てはめる。その後、当該二次元バーコード５０に与えられたコード領域部５２を認識する。
【０１２４】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施例で説明した（１）式と同様な関係がある。
【０１２５】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０１２６】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上の基準面となる。なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図４２に示す仮想空間上の二次元バーコード５０の四隅の位置座標から正立方体５３を作成することができるので、その正立方体５３に３Ｄポリゴン１０などを合成することができる。
【０１２７】
そして、第１の実施形態と同様にして観察者による簡易コマンダ４からの指示に基づいて、その仮想空間の二次元バーコード５０上に３Ｄポリゴン１０を飛び出させたり、そのバーコード５０上で３Ｄポリゴン１０を左右に移動させたり、それをジャンプさせたり、声を出させたり、バーコード５０上から３Ｄポリゴン１０を消したりすることができる。
【０１２８】
このように、本実施形態としてのゲーム装置よれば、仮想空間の二次元バーコード５０上に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置やその他のゲーム装置を構成したときに、上述した情報入力装置１００を簡易コマンダ４として使用することができる。
【０１２９】
なお、この実施形態では非透過型の特殊グラストロン２又は透過型の特殊グラストロン２０を使用する場合について説明したが、これに限られることはなく、透過型と非透過型を切換え可能な兼用タイプの特殊グラストロンを用いても、もちろん構わない。
【０１３０】
この実施形態のゲーム装置２００は、特開平１０−１２３４５３号、特開平９−３０４７２７号、特開平９−３０４７３０号、特開平９−２１１３７４号、特開平８−１６０３４８号、特開平８−９４９６０号、特開平７−３２５２６５号、特開平７−２７０７１４号及び特開平７−６７０５５号に記載される透過型のヘッドマウントディスプレイに適用することができる。
【０１３１】
この実施形態では流し撮りＣＣＤ２３に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０１３２】
この実施形態では簡易コマンダ４に９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４２、４２を取付ける場合について説明したが、これに限られることはなく、その発光面に発光ダイオードをいくつ取付けても構わない。更に、この実施形態ではグループ単位に入力情報Ｄinを発生する場合について説明したが、これに限られることはなく、グループの下位階層として第１番目、第２番目の発光ダイオードを個々に遮光するようにして、入力情報Ｄinの量を１６通り以上に増やしてもよい。このように構成すると、３Ｄポリゴン１０の表情などをより細かく表示制御することができる。
【０１３３】
【発明の効果】
以上説明したように、本発明の情報入力装置によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる光源の位置情報に応じた入力情報を発生するデータ発生手段が設けられるものである。
【０１３４】
この構成によって、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じた入力情報を発生させることができる。
【０１３５】
また、本発明の情報入力方法によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる複数の光源の中で、任意の光源の点滅パターンを遮光したときに、少なくとも、その点滅パターンを遮光した光源以外の光源の位置情報に応じた入力情報を発生するものである。
【０１３６】
この構成によって、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適なワイヤレスリモコンに匹敵する簡易コマンダを再現性良く構成することができる。
【０１３７】
この発明に係るゲーム装置によれば、上述の情報入力装置が入力手段に応用されるので、入力操作が簡単で、しかも、操作性の良い簡易コマンダを備えたバーチャルキャラクタ育成ゲーム装置などを構成することができる。
【０１３８】
この発明は、バーチャルキャラクタ育成ゲーム装置などに適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る各実施形態としての情報入力装置１００の構成例を示すブロック図である。
【図２】その簡易コマンダ４の構成例を示す斜視図である。
【図３】他の簡易コマンダ４の構成例を示す斜視図である。
【図４】簡易コマンダ４の９つの発光ダイオードのグループ例を示す概念図である。
【図５】その簡易コマンダ４の使用例を示す上面図である。
【図６】その簡易コマンダ４の通常画像例を示すイメージ図である。
【図７】その９つの発光ダイオードの位置座標の算出例を示す模式図である。
【図８】発光ダイオードＬＥＤの番号及びその取付け位置情報例を示す表図である。
【図９】その４つのグループによる位置情報Ｄｐに対する入力情報例を示す表図である。
【図１０】その入力情報の表示例を示すイメージ図である。
【図１１】その３Ｄポリゴンのｘ、ｙ方向への移動例を示すイメージ図である。
【図１２】その簡易コマンダ４のジョグダイヤル的な動作例（ＰＴ＝０，７）を示すイメージ図である。
【図１３】そのジョグダイヤル的な動作例（ＰＴ＝１）を示すイメージ図である。
【図１４】そのジョグダイヤル的な動作例（ＰＴ＝２）を示すイメージ図である。
【図１５】そのジョグダイヤル的な動作例（ＰＴ＝３）を示すイメージ図である。
【図１６】そのジョグダイヤル的な動作例（ＰＴ＝４）を示すイメージ図である。
【図１７】そのジョグダイヤル的な動作例（ＰＴ＝５）を示すイメージ図である。
【図１８】そのジョグダイヤル的な動作例（ＰＴ＝６）を示すイメージ図である。
【図１９】簡易コマンダ４や４’の「動作決定」指示の入力例を示すイメージ図である。
【図２０】簡易コマンダ４’の他のジョグダイヤル的な動作例（ＰＴ＝１）を示すイメージ図である。
【図２１】そのジョグダイヤル的な動作例（ＰＴ＝２）を示すイメージ図である。
【図２２】そのジョグダイヤル的な動作例（ＰＴ＝３）を示すイメージ図である。
【図２３】そのジョグダイヤル的な動作例（ＰＴ＝４）を示すイメージ図である。
【図２４】そのジョグダイヤル的な動作例（ＰＴ＝５）を示すイメージ図である。
【図２５】本発明に係る情報入力装置を応用したゲーム装置２００の構成例を示す斜視図である。
【図２６】第１の実施形態で使用する基準面設定用のブレスレット１の構成例を示す斜視図である。
【図２７】ゲーム装置２００で使用する特殊グラストロン２の構成例を示す正面から見た概念図である。
【図２８】ゲーム装置２００で使用する他の特殊グラストロン２０の構成例を示す正面から見た概念図である。
【図２９】その特殊グラストロン２の流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図３０】その流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図３１】ゲーム装置２００の回路ブロック例を示す図である。
【図３２】その基準面を成すプレート部１１の通常画像例を示すイメージ図である。
【図３３】その基準面の位置座標の算出例を示す模式図である。
【図３４】ゲーム装置２００の動作例（その１）を示すメインルーチンのフローチャートである。
【図３５】ゲーム装置２００の動作例（その２）を示すサブルーチンのフローチャートである。
【図３６】Ａは、実空間上のプレート部１１の実像例であり、Ｂは、仮想空間における基準面上の３Ｄポリゴンの合成例を示すイメージ図である。
【図３７】情報入力装置を応用した他のゲーム装置３００の構成例を示す斜視図である。
【図３８】Ａは、データグローブ９０を応用した場合の実像例であり、Ｂは、仮想空間におけるデータグローブ９０上の３Ｄポリゴンの合成例を示すイメージ図である。
【図３９】グローブ型の簡易コマンダ４０の構成例（ひとさし指）を示すイメージ図である。
【図４０】他のグローブ型の簡易コマンダ４０’の構成例（中指）を示すイメージ図である。
【図４１】第２の実施形態で使用する基準面設定用の２次元バーコード５０の例を示す平面図である。
【図４２】その２次元バーコード５０上の３Ｄポリゴン１０の合成例を示す斜視図である。
【符号の説明】
１・・・基準面設定用のブレスレット（面認識手段）、２，２０・・・特殊グラストロン、３・・・画像処理装置、４，４’４０，４０’・・・簡易コマンダ、６・・・演算手段、７・・・データ発生手段、１０・・・３Ｄポリゴン、１６・・・記憶手段、２３，２３’・・・流し撮りＣＣＤ装置（撮像手段）、２４・・・表示手段、２５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示素子）、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、４６・・・ＲＯＭ、５０・・・２次元バーコード、９０・・・データグローブ、１００・・・情報入力装置、２００，３００・・・ゲーム装置
【発明の属する技術分野】
この発明は、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせる、いわゆるバーチャルキャラクタ育成ゲーム装置などに適用して好適な情報入力装置、情報入力方法及びゲーム装置に関する。
【０００２】
詳しくは、撮像可能な任意の物体の特定の面に取り付けた点滅パターンの異なる光源の位置情報に応じて入力情報を発生する手段を設け、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じて入力情報を発生できるようにすると共に、上述のバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成できるようにしたものである。
【０００３】
【従来の技術】
近年、バーチャル・リアリティ（仮想現実感）に基づく表示技術の向上に伴い、複数の画像表示面に跨って仮想現実感を観察者に提供するための仮想画像立体合成装置が出現している。
【０００４】
この種の立体表示装置は、特開平９−２３７３５３号の技術文献に見られる。この技術文献によれば、縦横数ｍ程度の大きさの映写空間が設けられ、各々の面に表示装置が配置され、各々の表示装置から恐竜、怪獣や武器などの仮想体の画像が立体表示される。そして、観察者は液晶シャッター付きの眼鏡をかけ、その映写空間に立つと、あたかも、各々の表示装置で表示された仮想体と同じ場所に居るようなされる。
【０００５】
また、観察者が仮想空間上で手にする武器がカメラによって撮像され、その武器の動きによって仮想体が反応するように画像処理されている。これにより、観察者は数千年前の原始時代にタイムスリップして、恐竜退治などをゲーム感覚で行うことができる。
【０００６】
【発明が解決しようとする課題】
ところで、従来方式の立体表示装置によれば、映写空間に飛び出させる仮想体を指定するために、ジョグダイヤルのような入力ツールが使用されている。そして、観察者が操作したジョグダイヤルの変位情報に基づいて画像処理系では、仮想空間上に恐竜などの仮想体を出現させて合成表示している。
【０００７】
従って、観察者の属する実空間の基準面上に、ＴＶ番組のキャラクタなどを仮想的に飛び出させ、その仮想空間上の観察者の手のひらでそのキャラクタを遊ばせる仮想画像立体合成装置を構成しようとしたときに、従来方式のジョグダイヤルをそのまま適用すると、入力ツールから画像処理系へリード線が引き回されたり、入力操作が複雑となったりして、ゲーム装置のコマンダとしての操作性が悪いという問題がある。
【０００８】
そこで、本発明は上記の課題に鑑み創作されたものであり、仮想画像立体合成装置などの入力ツールの操作性を向上できるようにすると共に、その入力ツールを使用してＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などを再現性良く構成できるようにした情報入力装置、情報入力方法及びゲーム装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、点滅パターンが異なる複数の光源を撮像する撮像手段と、この撮像手段により撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して光源の各々の位置情報を求める演算手段と、この演算手段による光源の位置情報に応じた入力情報を発生するデータ発生手段とを備え、点滅パターンの異なる光源が菱形状のプレート部の対角線に沿って十字状に配置され、データ発生手段は、光源の任意の点滅パターンが遮光されたときに、少なくとも、点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生する情報入力装置によって解決する。
【００１０】
この発明の情報入力装置によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる光源の位置情報に応じた入力情報がデータ発生手段によって発生される。例えば、複数の光源の中で任意の光源の点滅パターンを遮光したときに、その点滅パターンが遮光された光源の位置情報及びそれ以外の光源の位置情報に応じた入力情報が発生される。
【００１１】
従って、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成することができる。
【００１２】
本発明に係る情報入力方法は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と当該プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に点滅パターンが異なる複数の光源を取付け、点滅パターンが異なる複数の光源を撮像し、撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して該光源の各々の位置情報を求め、点滅パターンの異なる光源を菱形状のプレート部の対角線に沿って十字状に配置し、光源の任意の点滅パターンを遮光したときに、少なくとも、点滅パターンを遮光した光源以外の光源の位置情報に応じた入力情報を発生するものである。
【００１３】
この発明の情報入力方法によれば、点滅パターンの異なる複数の光源の中で、任意の光源の点滅パターンを遮光したときに、その点滅パターンが遮光された光源以外の光源の位置情報に応じた入力情報を発生させることができるので、上述のバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適なワイヤレスリモコンに匹敵する簡易コマンダを再現性よく構成することができる。
【００１４】
本発明に係るゲーム装置は、観察者の属する実空間上で任意の基準面を認識する面認識手段と、面認識手段により認識された仮想空間の基準面上であって、観察者の属する外界像に任意のキャラクタ画像を立体的に合成する合成手段と、少なくとも、キャラクタ画像を変化させるための入力情報を指示する入力手段とを備え、この入力手段は、点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、点滅パターンが異なる複数の光源を撮像する撮像手段と、この撮像手段により撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して光源の各々の位置情報を求める演算手段と、演算手段による光源の位置情報に応じた入力情報を発生するデータ発生手段とを有し、点滅パターンの異なる光源が菱形状のプレート部の対角線に沿って十字状に配置され、データ発生手段は、光源の任意の点滅パターンが遮光されたときに、少なくとも、点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生するものである。
【００１５】
本発明に係るゲーム装置によれば、上述の情報入力装置が入力手段に応用されるので、入力操作が簡単で、しかも、操作性の良い簡易コマンダを備えたバーチャルキャラクタ育成ゲーム装置などを構成することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施形態としての情報入力装置、情報入力方法及びゲーム装置について説明をする。
【００１７】
（１）実施形態としての情報入力装置
図１は本発明に係る各実施形態としての情報入力装置１００の構成例を示すブロック図である。
【００１８】
この実施形態では、撮像可能な任意の物体の特定の面に取り付けた点滅パターンの異なる光源の位置情報に応じて入力情報を発生する手段を設け、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じて入力情報を発生できるようにすると共に、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適な簡易コマンダを構成できるようにしたものである。
【００１９】
この発明の情報入力装置１００は入力ツールとして図１に示す簡易コマンダ４を有している。簡易コマンダ４は撮像可能な任意の物体であって、その特定の面には点滅パターンの異なる複数の光源として例えば９個の発光ダイオードＬＥＤが取付けられている。この発光ダイオードＬＥＤは図３１で説明する点滅制御回路５によって点滅パターンが制御される。この例では、簡易コマンダ４の発光ダイオードＬＥＤ上を指でスライドすると、その指で隠された発光ダイオードＬＥＤの発光位置が変化して、ジョグダイヤルとほぼ同様な機能を持たせることができる。従って、この簡易コマンダ４を、ジョグダイヤルの代わりに使用することができる。
【００２０】
また、情報入力装置１００には撮像手段として流し撮りＣＣＤ装置２３’が設けられ、上述の点滅パターンが異なるように点滅される９個の発光ダイオードＬＥＤを所定の撮像方向に流すように撮像される。ここで、流し撮りとは、流し撮りＣＣＤ装置２３’において、同一フィールド期間中に複数回、光電変換素子（フォトダイオードなど）から信号電荷を読み出す撮影モードをいう。
【００２１】
この例で流し撮りＣＣＤ装置２３’として垂直転送部を有するインターライン転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から垂直転送部に信号電荷が読み出される。また、流し撮りＣＣＤ装置２３’として電荷蓄積部を有するフレーム転送方式の二次元撮像デバイスを使用した場合には、同一フィールド期間中に複数回、光電変換素子から電荷蓄積部に信号電荷が読み出される。
【００２２】
この流し撮りＣＣＤ装置２３’の出力段には演算手段６が接続され、上述の９個の発光ダイオードＬＥＤの輝度情報を流し撮りＣＣＤ装置２３’から入力し、それを画像処理して発光ダイオードＬＥＤの各々の位置情報Ｄｐが求められる。この演算手段６の出力段にはデータ発生手段７が接続され、簡易コマンダ４に取付けられた９個の発光ダイオードＬＥＤの位置情報Ｄｐに応じた入力情報Ｄinが発生される。このデータ発生手段７では、発光ダイオードＬＥＤの任意の点滅パターンを遮光したときに、少なくとも、点滅パターンを遮光した発光ダイオードＬＥＤ以外の発光ダイオードＬＥＤの位置情報Ｄｐに応じた入力情報Ｄinを発生する。
【００２３】
従って、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などに、この情報入力装置１００を適用した場合に、９個の発光ダイオードＬＥＤの内で、例えば、右手のひとさし指で覆った発光ダイオードＬＥＤの位置に応じた入力情報Ｄinを発生できるので、ジョグダイヤルのような複雑な操作が不要となる。
【００２４】
この例では、データ発生手段７には記憶手段１６が設けられ、９個の発光ダイオードＬＥＤの位置情報Ｄｐに対応付けられた入力情報Ｄinが格納されている。この記憶手段１６にはＲＯＭ（読み出し専用メモリ）を使用し、ジョグダイヤルの入力ソフトプログラムなどを記憶しておくとよい。このように構成すると、９個の発光ダイオードＬＥＤの位置情報Ｄｐをアドレスにして記憶手段１６から入力情報Ｄinを読み出すことができる。この記憶手段１６の内容については図８及び図９において説明する。
【００２５】
この例で、簡易コマンダ４は図２に示す菱形状のプレート部１４と、このプレート部１４に接合されたリング状の指輪部１５とを有している。この指輪部１５は、そのプレート部１４が流し撮りＣＣＤ装置２３’の撮影範囲内に入るように左手のひとさし指などに装着するとよい。プレート部１４は発光面を成すものであり、流し撮りし易くするために、例えば、中央部が盛り上がった山形状（立体形状）に形成されている。プレート部１４の大きさは腕時計程度であり、その一辺の長さは３ｃｍ程度であり、大きくても、せいぜい５ｃｍ程度である。
【００２６】
このプレート部１４の対角線上には、複数の光源として点滅パターンの異なる９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２がその対角線に沿って配置される。この例では、発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が、樹脂部材を菱形状に成形したプレート部１４に十字状に埋め込まれている。もちろん、簡易コマンダ４は図２に示すものに限られることはなく、図３に示すプレート部１４’が平坦状を成し、そのプレート部１４’の表面の周辺部に１２個の発光ダイオードＬＥＤを埋め込んだようなものであってもよい。
【００２７】
この例では、図４に示す十字状に配置された発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が４つのグループに分けて点滅制御される。第１グループは３つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２から成り、３つの発光点ｐ１０〜ｐ１２の位置座標として例えば、（ｘ５，ｙ５）、（ｘ６，ｙ６）、（ｘ８，ｙ８）が与えられると共に、Ｇ１グループの第１番〜第３番目の発光ダイオードというようにナンバーリングされている。
【００２８】
第２グループは２つの発光ダイオードＬＥＤ２１、ＬＥＤ２２から成り、２つの発光点ｐ２１、ｐ２２の位置座標として例えば（ｘ７，ｙ７）、（ｘ９，ｙ９）が与えられると共に、Ｇ２グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。
【００２９】
また、第３グループは２つの発光ダイオードＬＥＤ３１、ＬＥＤ３２から成り、２つの発光点ｐ３１、ｐ３２の位置座標として例えば（ｘ４，ｙ４）、（ｘ２，ｙ２）が与えられると共に、Ｇ３グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。第４グループは２つの発光ダイオードＬＥＤ４１、ＬＥＤ４２から成り、２つの発光点ｐ４１、ｐ４２の位置座標として例えば（ｘ３，ｙ３）、（ｘ１，ｙ１）が与えられると共に、Ｇ４グループの第１番、第２番目の発光ダイオードというようにナンバーリングされている。
【００３０】
この９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、少なくとも、点滅パターンが異なるように点滅されると共に、４つのグループＧ１〜Ｇ４に分けて点滅制御される。
【００３１】
この例の簡易コマンダ４では発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２が離れて取付けられていないと、流し撮りＣＣＤ装置２３’で再現性良く発光位置を認識されないので、例えば、点滅パターンを認識する周期をグループ毎に４等分して出力する。
【００３２】
この９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の位置情報Ｄｐを認識するためには、流し撮りＣＣＤ装置２３で、１／４周期毎に点滅パターンを無視する方法（時分割）と、流し撮りＣＣＤ装置２３’を４台設けて、これを１／４周期毎に動作させる方法とが考えられるが、本実施の形態では前者の場合について説明する。この位置情報Ｄｐの認識については図６及び図７で説明をする。
【００３３】
続いて、簡易コマンダ４の使用方法について説明する。図５は簡易コマンダ４の使用例を示す上面図である。図５に示す簡易コマンダ４では右手ひとさし指３０Ｒで例えばＧ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２を遮光した場合を示している。
【００３４】
この場合には、Ｇ４グループ以外の第１、第２及び第３グループＧ１〜Ｇ３の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２が流し撮りＣＣＤ装置２３’によってその点滅パターンが撮像される。従って、演算手段６ではどのグループの何番目の発光ダイオードが消えたかを判別することができる。
【００３５】
この例では演算手段６によって、上述の簡易コマンダ４による発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２の輝度情報を流し撮りＣＣＤ装置２３’から入力し、それを画像処理して発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２の各々の位置情報Ｄｐが求められる。この画像処理の結果で、例えば、右手ひとさし指３０Ｒで遮光された光源が、Ｇ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２であることが認識される。
【００３６】
つまり、プレート部１４上に何も覆わない場合には、点滅パターンの異なる簡易コマンダ４の９つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２を通常のＣＣＤ撮像装置２５で撮像すると、図６に示すようになる。しかし、流し撮りＣＣＤ装置２３’から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関しては、図７に示すウインドウＷにより画定された画像領域内で、９つの流し撮り輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２を含むＸＹ平面を成す空間的な配置パターンに変換される。
【００３７】
その後、その配置パターン上を走査して、少なくとも、９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められる。例えば、図７に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、演算手段６によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる９つの位置が検出され、この９つの位置に対応するＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ６、Ｘ７、Ｘ８、Ｘ９が求められる。
【００３８】
また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５、Ｙ６、Ｙ７、Ｙ８、Ｙ９として求められる。この９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２は例えば観察者に左ひとさし指に装着された簡易コマンダ４の９つの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の位置情報Ｄｐを示している。
【００３９】
従って、図５に示した右手ひとさし指３０ＲでＧ４グループの第１及び第２番目の発光ダイオードＬＥＤ４１、ＬＥＤ４２が遮光された簡易コマンダ４では、Ｇ４グループ以外の第１、第２及び第３グループＧ１〜Ｇ３の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２による７つの位置座標としては、（Ｘ２，Ｙ２）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められ、位置座標（Ｘ１，Ｙ１）、（Ｘ３，Ｙ３）は求められない。従って、Ｇ４グループの以外の第１〜第３のグループＧ１〜Ｇ３による位置座標に基づいた入力情報Ｄinを記憶手段１６から読み出すことができる。なお、図８は９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の番号とその取付け位置情報例を示す表図である。
【００４０】
続いて、記憶手段１６に格納される入力情報例について説明する。図９は４つのグループＧ１〜Ｇ４の位置情報Ｄｐに対する入力情報例を示す参照テーブルである。この例では、簡易コマンダ４の説明を簡略化するためにグループ単位に、位置情報Ｄｐを入力する場合について説明をする。従って、４つのグループＧ１〜Ｇ４を「覆う」又は「覆わない」の組み合わせによって１６通りの入力情報Ｄinを得ることができる。
【００４１】
この例では、図１０に示す表示手段２４の基準面上に、あたかも、仮想体としての３Ｄポリゴン（雪だるま）１０を存在させるような、バーチャルキャラクタ育成ゲーム装置用の簡易コマンダ４を想定した場合に、その表示手段２４の画面上にアイコン２４Ａが表示され、「入力待機」、「飛び出せ」、「左に動け」、「右に動け」・・・・「消えろ」などの１６種類の命令情報が表示される。このアイコン２４Ａは、同画面上に表示されたカーソル２４Ｂによって指定できるようになされている。このカーソル２４Ｂは簡易コマンダ４に基づいて移動する。
【００４２】
ここで、図１１に示す３Ｄポリゴン１０をｘ方向及びｙ方向に移動する例を挙げて説明をする。この簡易コマンダ４ではジョグダイヤル的な入力動作を行うことができる。つまり、図１２に示す簡易コマンダ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合の位置情報Ｄｐ＝「１１１１」に対しては、これをアドレスとする入力情報Ｄin＝「入力待機」が記憶手段１６に予め格納される。この何等の遮光をしていない場合の非遮光パターンをＰＴ＝０及びＰＴ＝７とする。
【００４３】
そして、この例では、簡易コマンダ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２を順に水平方向に例えば右手のひとさし指、中指又は薬指で覆っていくようになされる。図１３ではグループＧ４の発光ダイオードＬＥＤ４２が遮光された場合である。この遮光パターンをＰＴ＝１とする。更に、図１４ではグループＧ４の２つの発光ダイオードＬＥＤ４１、４２が遮光された場合である。この遮光パターンをＰＴ＝２とする。
【００４４】
また、図１５ではグループＧ４の発光ダイオードＬＥＤ４１と、グループＧ１及びＧ３の発光ダイオードＬＥＤ１０〜１２と、発光ダイオードＬＥＤ３１〜３２とが遮光された場合である。この遮光パターンをＰＴ＝３とする。更に、図１６ではグループＧ１、Ｇ３の発光ダイオードＬＥＤ１０〜１２と、発光ダイオードＬＥＤ３１〜３２と、グループＧ２の発光ダイオードＬＥＤ２１とが遮光された場合である。この遮光パターンをＰＴ＝４とする。
【００４５】
そして、図１７ではグループＧ４の２つの発光ダイオードＬＥＤ２１、２２が遮光された場合である。この遮光パターンＰＴ＝５とする。更に、図１８ではグループＧ２の発光ダイオードＬＥＤ２２が遮光された場合である。これを遮光パターンをＰＴ＝６とする。
【００４６】
この例では、図９のうち１つのコマンドでジョグダイヤルモードに設定することができ、遮光パターンＰＴ＝０→７を入力すると、ジョグダイヤルの右回転動作と等価になり、反対に、遮光パターンＰＴ＝７→０を入力するとジョグダイヤルの左回転動作と等価になる。例えば、ＰＴ＝０，１，２，３→２，１，０を連続して入力すると、ジョグダイヤルを右回転から左回転に切替えた場合と同じ結果が得られ、図１０に示した１６種類のアイコン２４Ａの左側をカーソルが上方向又は下方向に移動するようになされる。この例では、カーソル２４Ｂが止まったところで、「動作の決定」を指示するようになされる。
【００４７】
そして、簡易コマンダ４のジョグダイヤル的な決定動作では遮光パターンＰＴ＝０→５で「ＹＥＳ」を示し、遮光パターンＰＴ＝５→０で「ＮＯ」を示す。例えば、遮光パターンＰＴ＝０→５を１回又は２回続けると、「何かをしても良いですか」などの答えとして、再度、遮光パターンＰＴ＝０→５を入力すると「ＹＥＳ」を示し、遮光パターンＰＴ＝５→０を入力すると「ＮＯ」を示すことができる。あるいは、図１９に示す右手のひとさし指でグループＧ４の発光ダイオードＬＥＤ４２を遮光し、その中指でグループＧ２の発光ダイオードＬＥＤ２２を遮光することでも、ジョグダイヤル的な決定動作を指示することができる。
【００４８】
また、図１１〜図１８では簡易コマンダ４上に右手の指を水平方向にスライドさせる場合について説明したが、これに限られることはなく、図２０〜図２４に示すように簡易コマンダ４’上に右手の指を垂直方向にスライドさせてもよい。図２０ではグループＧ１の発光ダイオードＬＥＤ１２が遮光された場合である。この遮光パターンＰＴ＝１とする。更に、図２１ではグループＧ１の発光ダイオードＬＥＤ１２、１１が遮光された場合である。これを遮光パターンをＰＴ＝２とする。
【００４９】
図２２ではグループＧ１の３つの発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１とが遮光された場合である。この遮光パターンＰＴ＝３とする。更に、図２３ではグループＧ１の発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１と、グループＧ３の発光ダイオードＬＥＤ３１とが遮光された場合である。この遮光パターンＰＴ＝４とする。更に、図２４ではグループＧ１の発光ダイオードＬＥＤ１０〜１２と、グループＧ４の発光ダイオードＬＥＤ４１と、グループＧ２の発光ダイオードＬＥＤ２１と、グループＧ３の発光ダイオードＬＥＤ３１、３２とが遮光された場合である。これを遮光パターンをＰＴ＝５とする。
【００５０】
この例でも、図９のうち１つのコマンドでジョグダイヤルモードに設定することができ、遮光パターンＰＴ＝０→５に順に変化させて行くと、ジョグダイヤルの右回転動作と等価な入力状態になり、反対に、遮光パターンＰＴ＝５→０に順に変化させて行くと、ジョグダイヤルの左回転動作と等価な入力状態を得ることができる。例えば、ＰＴ＝０，１，２，３→２，１，０を連続して変化させると、ジョグダイヤルを右回転から左回転に切替えた場合と同じ結果が得られ、図１０に示した１６種類のアイコン２４Ａの左側をカーソルが上方向又は下方向に移動するようになされる。この例でも、カーソル２４Ｂが止まったところで、簡易コマンダ４と同様にして「動作決定」の指示を与えることができる。
【００５１】
なお、以下のようにして入力情報を指示入力する構成としても良い。この例では、４つのグループの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合の位置情報Ｄｐ＝「１１１１」に対しては、これをアドレスとする入力情報Ｄin＝「入力待機」が記憶手段１６に予め格納される。同様にして、Ｇ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を遮光した場合の位置情報Ｄｐ＝「１０００」に対しては、これをアドレスとする入力情報Ｄin＝「飛び出せ」が記憶手段１６に記憶される。
【００５２】
また、Ｇ２グループ以外の３つのグループＧ１、Ｇ３、Ｇ４を遮光した場合の位置情報Ｄｐ＝「０１００」に対しては、これをアドレスとする入力情報Ｄin＝「左に動け」が記憶手段１６に予め格納される。同様にして、Ｇ３グループ以外の３つのグループＧ１、Ｇ２、Ｇ４を遮光した場合の位置情報Ｄｐ＝「００１０」に対しては、これをアドレスとする入力情報Ｄin＝「右に動け」が記憶手段１６に予め格納される。
【００５３】
更に、Ｇ４グループ以外の３つのグループＧ１、Ｇ２、Ｇ３を遮光した場合の位置情報Ｄｐ＝「０００１」に対しては、これをアドレスとする入力情報Ｄin＝「ジャンプしろ」が記憶手段１６に予め格納される。以下、同様にして、Ｇ１、Ｇ２、Ｇ３グループ以外のグループＧ４を遮光した場合の位置情報Ｄｐ＝「１１１０」に対しては、これをアドレスとする入力情報Ｄin＝「声を出せ」が記憶手段１６に予め格納される。そして、全てのグループＧ１〜Ｇ４を遮光した場合の位置情報Ｄｐ＝「００００」に対しては、これをアドレスとする入力情報Ｄin＝「消えろ」が記憶手段１６に予め格納される。
【００５４】
従って、４つのグループの発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、何等の遮光をしていない場合には、位置情報Ｄｐ＝「１１１１」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「入力待機」なる入力情報Ｄinを読み出すことができる。
【００５５】
また、Ｇ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「１０００」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「飛び出せ」なる入力情報Ｄinを読み出すことができる。この「飛び出せ」の入力情報Ｄinに基づいて仮想空間上に、ＴＶ番組のキャラクタなどを飛び出させるような画像処理を行うことができる。
【００５６】
そして、右手で、全てのグループＧ１〜Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００００」がアドレスとして記憶手段１６に指示されるので、その記憶手段１６から「消えろ」なる入力情報Ｄinを読み出すことができる。この「消えろ」の入力情報Ｄinに基づいてＴＶ番組のキャラクタを仮想空間上から消すような画像処理を行うことができる。
【００５７】
このように本実施の形態として情報入力装置１００によれば、点滅パターンの異なる９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の中で、任意のグループＧ１〜Ｇ４の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅パターンを遮光したときに、その点滅パターンが遮光されたグループ以外のグループの発光ダイオードの位置情報Ｄｐに応じた入力情報Ｄinを発生させることができる。
【００５８】
この構成によって、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適かつ操作性の良い簡易コマンダ４を再現性良く構成することができる。しかも、簡易コマンダ４から画像処理系へリード線が引き回されることもないので、赤外線リモコンや、無線リモコンなどの感覚で入力情報を指示することができる。
【００５９】
これにより、ジョグダイヤルで入力ソフトプログラムを実行するような入力処理を簡易コマンダ４によっても行うことができるので、バーチャルキャラクタ育成ゲーム装置などの入力コマンダとして十分に応用することができる。しかも、この例では、ＴＶ番組のキャラクタを出現させる基準面の認識用の流し撮りＣＣＤ装置２３とこの簡易コマンダ４用の流し撮りＣＣＤ装置２３’とを兼用することができる。
【００６０】
（２）第１の実施形態
続いて、本発明に係る情報入力装置１００を応用したバーチャルキャラクタ育成などのゲーム装置２００を説明する。図２５は第１の実施形態としてのゲーム装置２００の構成例を示す斜視図である。
【００６１】
この例では、ＴＶ番組のキャラクタを仮想空間上の観察者の手のひらで遊ばせる、いわゆるバーチャルキャラクタ育成ゲーム装置などにおいて、本発明に係る情報入力装置１００を応用して、そのキャラクタを仮想空間上に出現させたり、それを左右に動かしたり、ジャンプさせたり、仮想空間上から消したりするようになされたものである。
【００６２】
図２５に示すバーチャルキャラクタ育成用のゲーム装置２００は観察者の属する外界像に、ＴＶ番組のキャラクタなどの仮想体画像を立体的に合成表示する装置である。このゲーム装置２００は簡易コマンダ４、基準面設定用のブレスレット１、特殊グラストロン２及び画像処理装置３を有している。この簡易コマンダ４は例えば観察者の左手のひとさし指３０Ｌに装着され、ブレスレット１はその左手に装着して使用される。この特殊グラストロン２の本体部２１にはベルト２２が設けられ、眼鏡をかけるように本体部２１が観察者の顔面に装着されると共に、その観察者の頭部外周部に沿ってベルト２２が固定される。
【００６３】
また、特殊グラストロン２には少なくとも流し撮りＣＣＤ装置２３及び表示手段２４が設けられている。特殊グラストロン２の機種によっては通常のＣＣＤ撮像装置２５が設けられる。この基準面設定用のブレスレット１、流し撮りＣＣＤ装置２３及び画像処理装置３によって面認識手段が構成され、観察者の属する実空間上で任意の基準面を認識できるようになされている。
【００６４】
更に、特殊グラストロン２には画像処理装置３が接続され、流し撮りＣＣＤ装置２３から出力された画像データに基づいて基準面などを認識する画像処理がなされる。この画像処理装置３には表示手段２４が接続され、面認識手段により認識された基準面が表示される。この特殊グラストロン２内には偏光ビームスプリッタなどの光学手段が設けられる場合があり、表示手段２４によって表示された仮想空間の基準面上で仮想体の画像が合成される。この例では、実空間上の基準面の属する位置に、あたかも、仮想体としての３Ｄポリゴン（雪だるま）１０が存在するようになされている。
【００６５】
この例で、基準面設定用のブレスレット１は図２６に示すプレート部１１と、腕輪部１２とを有している。プレート部１１は基準面を成すものであり、凹凸の無い平坦状に形成される。プレート部１１の大きさは、簡易コマンダ４のプレート部１４とほぼ同じ大きさ、もしくは、これよりもやや大きな矩形状を有している。プレート部１１の表面四隅には、それぞれ発光ダイオード（ＬＥＤ１〜４）が取付けられ、３Ｄポリゴン１０を飛び出せようとする基準面の４つの点Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる（仮想空間上では画像を合成しようとする基準面に相当する）。
【００６６】
この４個の発光ダイオードＬＥＤ１〜４は、そのマーク部としての機能を発揮するために、つまり、その取付け位置が明らかになるように、簡易コマンダ４の発光ダイオードＬＥＤと同様にして、少なくとも、点滅パターンが異なるように点滅される。この発光ダイオードＬＥＤ１〜４は図３１で説明する点滅制御回路１３によって点滅パターンが制御される。
【００６７】
この発光ダイオードＬＥＤ１〜４の発光は特殊グラストロン２内の流し撮りＣＣＤ装置２３により、所定の流し撮像方向に流すように撮像される。この流し撮りは４個の発光ダイオードＬＥＤ１〜４の取付け位置から基準面を特定するためである。この基準面の特定については図３２及び図３３で説明をする。
【００６８】
この腕輪部１２は観察者の手首にフィットさせるように伸縮自在である構造が好ましい。例えば、バンド部材にマジックテープを設けて装着状態を加減できるようにしたものなどである。プレート部１１は流し撮りＣＣＤ装置２３の撮影範囲内に入るように左手の甲側に装着するとよい。
【００６９】
図２７に示す特殊グラストロン２は非透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２３と、第１の画像表示素子としての右眼表示用の液晶表示装置（以下ＬＣＤという）２６と、第２の画像表示素子としての左眼表示用のＬＣＤ２７とを有している。
【００７０】
つまり、観察者の眉間に相当する位置には、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置２３とが並べて配置され、前者によって観察者の属する外界像が撮像され、後者によって簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２及びブレスレット１の４個の発光ダイオードＬＥＤ１〜４が流し撮りされる。従って、観察者がコマンダ４や基準面設定用のブレスレット１に目を向けると、その発光面や基準面の方向に流し撮りＣＣＤ装置２３が向くようになる。
【００７１】
そして、特殊グラストロン２内の観察者の右目に相対する位置にはＬＣＤ２６が取付けられ、例えば、通常のＣＣＤ撮像装置２５により撮影した観察者のブレスレット１と、予め準備されたコンピユータ・グラフィックス（ＣＧ）による３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が表示される。
【００７２】
また、その観察者の左目に相対する位置にはＬＣＤ２７が取付けられ、上述の簡易コマンダ４と、ブレスレット１と、３Ｄポリゴン１０の画像と合成したステレオ画像の他方が表示される。この特殊グラストロン２は観察者の顔面又は頭部に装着され、上述のＬＣＤ２６のステレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とは頭の中で合成される。
【００７３】
図２８に示す特殊グラストロン２０は透過型のヘッドマウントディスプレイを構成しており、通常のＣＣＤ撮像装置２５は搭載されていない。従って、透過型のヘッドマウントディスプレイは、流し撮りＣＣＤ装置２３と、外界像取り込み用の液晶シャッタ２８と、画像表示素子としてのＬＣＤ２９を有している。
【００７４】
例えば、観察者の眉間に相当する位置には、流し撮りＣＣＤ装置２３が配置され、観察者が簡易コマンダ４や、基準面設定用のブレスレット１に目を向けると、その簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２及びブレスレット１の４個の発光ダイオードＬＥＤ１〜４が流し撮りされる。そして、観察者の左目及び右目に相当する位置には液晶シャッタ２８が設けられ、例えば、液晶シャッタ２８が開かれると、その液晶シャッタ２８を通過した観察者のブレスレット１や簡易コマンダ４の実像が直接眼球に導かれる。
【００７５】
また、特殊グラストロン２内の観察者の左目又は右目の脇に位置する部分には、ＬＣＤ２９が取付けられ、上述の特殊グラストロン２と同様にしてキャラクタ画像が表示される。図示しないが、液晶シャッタ２８と、ＬＣＤ２９との間には偏光ビームスプリッタなどの光学手段が設けられ、観察者のブレスレット１や簡易コマンダ４の実像と、３Ｄポリゴン１０の画像とが観察者の眼球に導くようになされている。これにより、観察者の属する背景像と３Ｄポリゴン１０とが頭の中で合成される。
【００７６】
続いて、インターライン転送方式の流し撮りＣＣＤ装置２３の内部構成について説明する。図２９に示す流し撮りＣＣＤ装置２３は基板３１を有している。その基板３１上には、１画素を構成する光電変換素子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されている。
【００７７】
この基板３１の列方向には電荷転送部としてｍ本の垂直転送部３２が設けられ、フォトダイオードＰＨｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に基づいて垂直方向（流し撮り方向）に転送される。この垂直転送部３２には水平転送部３３が接続され、その信号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転送されるので、出力端子３４に流し撮り信号ＳOUTが出力される。この例では、流し撮りをするために、少なくとも、同一フィールド期間中に複数回、フォトダイオードＰＨｉｊから垂直転送部３２に信号電荷が読み出される。
【００７８】
また、流し撮りＣＣＤ装置２３は図３０に示す魚眼レンズ３５を有している。魚眼レンズ３５は例えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼レンズ３５によって簡易コマンダ４や基準面設定用のブレスレット１などを広範囲に撮像できるようになされている。もちろん、通常のレンズでも構わないが、視野が狭くなるので、観察者は簡易コマンダ４やブレスレット１に向けてより多く頭部を傾けなければならない。
【００７９】
続いて、ゲーム装置２００の回路構成について説明する。図３１に示すゲーム装置２００は大きく分けて４つの回路ブロックから成る。第１の回路ブロックは基準面設定用のブレスレット１であり、このブレスレット１には点滅制御回路１３が設けられ、４個の発光ダイオードＬＥＤ１〜４に所定の電圧が印加されて点滅制御される。点滅制御回路１３では点滅パターンが異なるように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４が点滅間隔が制御される。発光ダイオードＬＥＤ１〜４の電源には図示しない小型の乾電池やボタン電池などが使用される。
【００８０】
第２の回路ブロックは簡易コマンダ４であり、この簡易コマンダ４には点滅制御回路５が設けられ、９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２に所定の電圧が印加されて点滅制御される。点滅制御回路５では点滅パターンがグループＧ１〜Ｇ４毎に異なり、グループ内でも点滅パターンが異なるように発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅間隔が制御される。発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の電源にはブレスレット１と同様にして小型の乾電池やボタン電池などが使用される。
【００８１】
第３の回路ブロックは特殊グラストロン２であり、非透過型の場合には上述した流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７を有している。
【００８２】
第４の回路ブロックは画像処理装置３であり、内部バス４１を有している。内部バス４１にはインタフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ（電気的な情報の書き込み及び消去が可能な読み出し専用メモリ）４８が接続されている。流し撮りＣＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣＤ２６及び左眼表示用のＬＣＤ２７はインタフェース４２を介して内部バス４１に接続される。
【００８３】
この内部バス４１には記録媒体としてＥ2ＰＲＯＭ４８が接続され、観察者の属する外界像に３Ｄポリゴン１０の画像を立体的に合成するアルゴリズムが格納されている。例えば、Ｅ2ＰＲＯＭ４８には、観察者の属する実空間上で任意に設定された基準面を撮像して仮想空間上にその基準面を表示すると共に、その仮想空間上に３Ｄポリゴン１０の画像を重ね合わせて合成するアルゴリズムが格納される。
【００８４】
従って、このアルゴリズムを実行することによって、簡易に、しかも、少ない計算量で実空間上の基準面を認識することができる。これにより、実空間上の基準面の属する位置に、あたかも、３Ｄポリゴン１０が存在するように画像処理することができるので、バーチャルキャラクタ育成ゲーム装置などのゲーム装置２００を再現性良く構成することができる。
【００８５】
更に、内部バス４１には記憶手段１６としてのＲＯＭ４６が接続され、図９で説明した４つのグループＧ１〜Ｇ４の位置情報Ｄｐに対する入力情報Ｄinが記憶されている。従って、４つのグループＧ１〜Ｇ４を「覆う」又は「覆わない」の組み合わせによって１６通りの入力情報Ｄinを得ることができる。その他に、このＲＯＭ４６にはゲーム装置２００を制御するためのシステムプログラムや、メモリの読み出し手順などの制御情報が格納される。
【００８６】
また、内部バス４１にはワーキング用のＲＡＭ４７が接続され、上述した入力情報Ｄin、システムプログラムやキャラクタ画像を表示する表示情報が一時記録される。また、内部バス４１にはＣＰＵ４５が接続され、インタフェース４２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７及びＥ2ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。
【００８７】
このインタフェース４２には画像処理部４４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮像された図３２に示す基準面設定用の４つの発光ダイオードＬＥＤ１〜４の画像が、ＣＰＵ４５の制御命令と共にインタフェース４２を介して、画像処理部４４に取り込まれ、そこで所定の画像処理がなされ、再び、インタフェース４２を介して特殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに転送される。
【００８８】
また、インタフェース４２には画像キャプチャ部４３が接続され、ＣＰＵ４５の制御命令を受けて、流し撮りＣＣＤ装置２３から入力した点滅パターンの画像データを獲得する所定のキャプチャ処理がなされる。この点滅パターンの画像データは時間経過に対応する輝度の変化として表現されている。画像キャプチャ部４３には演算手段６としての画像処理部４４が接続され、所定の画像処理が施された画像データに関して、点滅パターンの同期ずれが補正されたり、観察者の属する基準面が求められる。
【００８９】
例えば、画像処理部４４では流し撮りＣＣＤ装置２３から出力された流し撮り信号（輝度信号）ＳOUTの点滅パターンに関して、図３３に示すウインドウＷにより画定された画像領域内で、４つの流し撮り輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められる。この４つの輝点Ｐ１〜Ｐ４は観察者に装着されたブレスレット１の基準面設定用の４つの発光ダイオードＬＥＤ１〜４である。実空間上の４つの発光ダイオードＬＥＤ１〜４の位置座標は既知であり、その位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）である。
【００９０】
従って、上述の実空間上の基準面は４つの発光ダイオードＬＥＤ１〜４の取付け位置に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関係がある。
【００９１】
【数１】
但し、ａ１・・・・ａ８は未知の係数でＣＣＤ撮像装置２５などの外部パラメータ（位置と方向）及び焦点距離などの内部パラメータである。これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解くことにより得られる。
【００９３】
【数２】
ここで得られた４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を結ぶことにより、図３２に示した実空間上の基準面が認識される。
【００９５】
具体的には、図３３に示す配置パターン上で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ軸としたときに、画像処理部４４によって流し撮像方向と同一方向又はその反対方向に輝度信号値が加算される。この加算値がＸ軸上にプロットされると、そのＸ軸にプロットされた輝度信号値が最大となる４つの位置が検出され、この４つの位置に対応したＸ座標値Ｘ１、Ｘ２、Ｘ３、Ｘ４が求められる。また、その配置パターン上で取得画像をＹ方向に走査したときに、そのＹ方向に並んだ複数の輝点のうち、最初に発光した輝点位置が各々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められる。
【００９６】
ここで、実空間上の４つの発光ダイオードＬＥＤ１〜４の位置座標をｗｉ（ｉ＝１〜４）とし、その４つの発光ダイオードＬＥＤ１〜４の位置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉとし、その４つの発光ダイオードＬＥＤ１〜４のＬＣＤ画面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリクスをＲ、その移動ベクトルをＴとすると、（３）式、すなわち、
Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３）
但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）
という関係がある。従って、通常のＣＣＤ撮像装置２５の回転マトリクスＲとその移動ベクトルＴとを演算し、これをパラメータとして実空間と仮想空間との間で座標変換を容易に行うことができるので、仮想空間上の基準面にキャラクタ画像を合成することができる。
【００９７】
次に、本発明の情報入力方法に関して、ゲーム装置２００の動作を説明する。この例では、観察者の属する外界像に３Ｄポリゴン１０の画像を立体的に合成した後に、簡易コマンダ４を使用して３Ｄポリゴン１０を変化させる場合を想定する。もちろん、観察者は発光面が上に向くように簡易コマンダ４を左手のひとさし指３０Ｌに装着し、図２７に示した特殊グラストロン２を頭部に装着する。
【００９８】
まず、図３４に示すフローチャートのステップＡ１で観察者の属する実空間上で任意の基準面を設定するために、観察者は、例えば、プレート部１１が上に向くように、左腕に基準面設定用のブレスレット１を装着する。その後、点滅制御部１３をオンして４つの発光ダイオードＬＥＤ１〜４を所定の点滅パターンで点滅する。これに前後して、点滅制御回路５をオンして９つの発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２を所定の点滅パターンで点滅する。
【００９９】
次に、ステップＡ２において、一方で通常のＣＣＤ撮像装置２５を使用して実空間上の基準面を撮影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示する。他方で、流し撮りＣＣＤ装置２３を使用して実空間上の簡易コマンダ４及び基準面を流し撮りする。例えば、３Ｄポリゴン１０の画像を合成させようとする位置に取付けられた４つの発光ダイオードＬＥＤ１〜４が、点滅パターンが異なるように点滅されるので、その点滅パターンが所定の撮像方向に流すように撮像される。
【０１００】
その後、ステップＡ３で観察者の属する実空間上に任意に設定された基準面を認識するために画像処理する。画像処理部４４では、例えば、図３５に示すサブルーチンをコールしてステップＢ１でビデオキャプチャ処理を実行する。その後、ステップＢ２で四隅の発光ダイオードＬＥＤ１〜４を認識する。具体的には、流し撮りＣＣＤ装置２３で撮像された４つの発光ダイオードＬＥＤ１〜４による輝度信号の点滅パターンが、４つの輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに変換される。
【０１０１】
その後、その配置パターン上を走査して、少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が求められ、上述した（１）式及び（２）式が演算され、実空間上の４つの発光ダイオードＬＥＤ１〜４の取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）との関係が求められ、この４点を結ぶことにより基準面が求められる。そして、ステップＢ３で画像処理部４４では上述の（３）式に基づいて演算処理が行われ、流し撮りＣＣＤ装置２３と基準面との位置関係が検出される。
【０１０２】
一方、図６及び図７で説明した簡易コマンダ４の９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４１、４２の９つの輝点ｐ１０〜ｐ１２、ｐ２１、ｐ２２、ｐ３１、ｐ３２、ｐ４１ｐ、ｐ４２の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）、（Ｘ５，Ｙ５）（Ｘ６，Ｙ６）、（Ｘ７，Ｙ７）、（Ｘ８，Ｙ８）、（Ｘ９，Ｙ９）が求められる。この時点で、簡易コマンダ４の発光面を何等覆わないものとすれば、４つのグループＧ１〜Ｇ４の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２に関して、位置情報Ｄｐ＝「１１１１」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「入力待機」なる入力情報Ｄinを読み出すことができる。
【０１０３】
その後、ステップＡ４にリターンして観察者による簡易コマンダ４からの指示に基づいて画像処理が行われる（図５参照）。例えば、簡易コマンダ４のＧ１グループ以外の３つのグループＧ２、Ｇ３、Ｇ４を右手のひとさし指３０Ｒで遮光するように指示が与えられると、仮想空間の基準面上に３Ｄポリゴン１０の画像が重ね合わされるようにして合成される。このとき、流し撮りＣＣＤ装置２３による位置情報Ｄｐ＝「１０００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「飛び出せ」なる入力情報Ｄinが読み出され、この「飛び出せ」の入力情報Ｄinに基づいて基準面上に、３Ｄポリゴン１０が出現するような画像処理を行うことができる。
【０１０４】
従って、観察者が装着した特殊グラストロン２では、ＬＣＤ２６による実空間の外界像と３Ｄポリゴン１０の画像とを合成したステレオ画像の一方が観察者の右の眼球に導くようになされる。ＬＣＤ２７による実空間の外界像と３Ｄポリゴン１０の画像とを合成したステレオ画像の他方が観察者の左の眼球に導くようになされる。
【０１０５】
これにより、図３６Ａに示す実空間上では基準面上に３Ｄポリゴン１０が出現していないのに、図３６Ｂに示す仮想空間ではその基準面上に３Ｄポリゴン１０を出現させることができる。従って、観察者の属する実空間上の背景画像と、仮想空間上に出現した３Ｄポリゴン１０とが頭の中で合成されるので、実空間上の基準面の属する位置に、あたかも、３Ｄポリゴン１０が存在するようにできる。
【０１０６】
その後、簡易コマンダ４を使用して、更に、Ｇ２グループ以外の３つのグループＧ１、Ｇ３、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「０１００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「左に動け」なる入力情報Ｄinを読み出すことができる。この「左に動け」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０を左に動かすような画像処理を行うことができる。
【０１０７】
また、Ｇ３グループ以外の３つのグループＧ１、Ｇ２、Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００１０」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「右に動け」なる入力情報Ｄinを読み出すことができる。この「右に動け」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０を右に動かすような画像処理を行うことができる。
【０１０８】
更に、Ｇ４グループ以外の３つのグループＧ１、Ｇ２、Ｇ３を遮光した場合には、位置情報Ｄｐ＝「０００１」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「ジャンプしろ」なる入力情報Ｄinを読み出すことができる。この「ジャンプしろ」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０をジャンプさせるような画像処理を行うことができる。
【０１０９】
以下、同様にして、Ｇ１、Ｇ２、Ｇ３グループ以外のグループＧ４を遮光した場合には、位置情報Ｄｐ＝「１１１０」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「声を出せ」なる入力情報Ｄinを読み出すことができる。この「声を出せ」の入力情報Ｄinに基づいて基準面上の３Ｄポリゴン１０」を喋らせるような音声処理を行うことができる。
【０１１０】
そして、右手で、全てのグループＧ１〜Ｇ４を遮光した場合には、位置情報Ｄｐ＝「００００」がアドレスとしてＲＯＭ４６に指示されるので、そのＲＯＭ４６から「消えろ」なる入力情報Ｄinを読み出すことができる。この「消えろ」の入力情報Ｄinに基づいて３Ｄポリゴン１０をその基準面上から消すような画像処理を行うことができる。
【０１１１】
このように、第１の実施形態としての情報入力装置１００を応用したゲーム装置２００によれば、９個の発光ダイオードＬＥＤ１０〜ＬＥＤ１２、ＬＥＤ２１、２３、ＬＥＤ３１、３２、ＬＥＤ４１、４２の点滅パターンによる位置情報Ｄｐに基づいて、ジョグダイヤルのソフトプログラムを実行させるような入力処理を簡易コマンダ４によって行うことができるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。しかも、３Ｄポリゴン１０を出現させる基準面の認識用の流し撮りＣＣＤ装置２３とこの簡易コマンダ用の流し撮りＣＣＤ装置２３’とを兼用することができる。
【０１１２】
従って、観察者の属する実空間上の基準面の属する位置に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置２００やその他のゲーム装置を容易に構成することができる。また、これらのバーチャルキャラクタ育成ゲーム装置などのコストダウンを図ることができる。
【０１１３】
なお、図３７は他のゲーム装置３００の構成例を示す斜視図である。この例では簡易コマンダ４を基準面にして仮想空間上に３Ｄポリゴン１０を出現させたものである。簡易コマンダ４の発光ダイオードＬＥＤは基準面の認識に使用できるので、その仮想空間の簡易コマンダ４が作る基準面上に３Ｄポリゴン１０を出現させることができる。従って、基準面設定用のブレスレット１が無くても、３Ｄポリゴン１０を出現させることができる。
【０１１４】
この例で、簡易コマンダ４は上述したものに限られることはなく、データグローブ９０を使用したものであってよい。図３８Ａは実空間におけるデータグローブ９０の画像例を示し、図３８Ｂは仮想空間のデータグローブ９０上に３Ｄポリゴン１０を出現させたイメージ図である。この例でも、データグローブ９０には点滅パターンの異なる複数の発光ダイオードＬＥＤが取付けられている。流し撮りＣＣＤ装置２３によって基準面が認識されると、そのデータグローブ９０上に３Ｄポリゴン１０を出現させることができる。
【０１１５】
図３９はグローブ型の簡易コマンダ４０の構成例を示すイメージ図である。この簡易コマンダ４０は、右手の親指が届く位置のひとさし指を覆うグローブ部に、複数の発光ダイオードＬＥＤが線状に取付けられている。
【０１１６】
このグローブ部のひとさし指の発光ダイオードＬＥＤを右から左方向、又は、左から右方向に順に右手の親指で遮光すると、上述した簡易コマンダ４のような遮光パターンを変えることができるので、グローブ型の簡易コマンダ４０によって、ジョグダイヤル動作をさせることができる。従って、画像処理系で簡易コマンダ４０による回転や動作決定を認識できるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。
【０１１７】
図４０はグローブ型の他の簡易コマンダ４０’の構成例を示すイメージ図である。この簡易コマンダ４０’は、右手の親指が届く位置の中指を覆うグローブ部に複数の発光ダイオードＬＥＤが取付けられている。このグローブ部の中指の発光ダイオードＬＥＤを右から左方向、又は、左から右方向に順に右手の親指で遮光すると、上述した簡易コマンダ４のような遮光パターンを変えることができるので、グローブ型の他の簡易コマンダ４０’によってもジョグダイヤル動作をさせることができる。
【０１１８】
従って、画像処理系で簡易コマンダ４０’による回転や動作決定を認識できるので、バーチャルキャラクタ育成ゲーム装置などの入力ツールとしての操作性を向上させることができる。
【０１１９】
（３）第２の実施形態
図４１は第２の実施形態としてのゲーム装置で使用する基準面設定用の二次元バーコード５０の構成例を示す図である。この実施例では４つの発光ダイオードＬＥＤ１〜４に代わって、図４１に示す二次元バーコード５０を使用して基準面が認識されるものである。もちろん、二次元バーコード５０上に出現した３Ｄポリゴン１０を上述した情報入力装置１００によってその動きを制御することができる。
【０１２０】
この例の面認識手段は２次元マトリクスコード５０を有しており、実空間上の基準面を認識するために使用される。２次元バーコード５０は少なくとも、白地に黒で印刷されたｎ行×ｎ列の白黒マトリクスと、その白黒マトリクスと同じ太さの黒枠部５１から成る。この例では黒枠部５１で囲まれた５×５画素がコード領域部５２であり、この２５画素のうち、図４２に示す１２画素が黒で塗りつぶされている。
【０１２１】
このバーコード５０は３Ｄポリゴン１０の画像を合成しようとする位置、例えば、図２に示したブレスレット１のプレート１１上に設けられる。この二次元マトリクスコード５０は流し撮りＣＣＤ装置２３に代わって通常のＣＣＤ撮像装置２５で撮像される。この撮像装置２５の出力段には、図３１で説明したような画像処理装置３が接続される。その画像処理装置３には演算手段６が設けられ、ＣＣＤ撮像装置２５から出力された撮像信号（輝度信号）を画像処理して二次元マトリクスコード５０から基準面が求められる。
【０１２２】
例えば、画像処理部４４では前処理が施される。この処理では、まず、取得画像が適当な閾値で２値化される。バーコード部分は白地に黒で印刷されているので、固定閾値によって、かなり安定的に背景画像とコード領域とを分離することができる。次に、黒ピクセルの連結領域毎にラベル付けが施される。２次元バーコード５０の黒枠部５１はラベル付けされた連結領域のいずれかに含まれることとなる。従って、連結領域の外接四角形の大きさと縦横比を考慮して、コード領域部５２が含まれている可能性の低い背景画像（領域）は除去するようになされる。
【０１２３】
その後、前処理の結果得られた連結領域の各要素に対してバーコード枠の当てはめを行う。例えば、外接四角形の各辺から内側に向かって、黒領域を探索し、コー黒枠部５１の点列を得る。この点列に対して最小二乗法で線分を当てはめる。その後、当該二次元バーコード５０に与えられたコード領域部５２を認識する。
【０１２４】
上述の基準面は黒枠部５１の４頂点を正方形の頂点に射影する変換行列を演算することにより得られる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によって移動し、それを透視変換で画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両者の間には第１の実施例で説明した（１）式と同様な関係がある。
【０１２５】
従って、これらのパラメータは実空間の既知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれば、先に説明した（２）式の方程式を解くことにより得られる。
【０１２６】
ここで得られた位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関して、一辺の長さを「１」とする正方形の４頂点とすると、この４頂点を結ぶ面が実空間上の基準面となる。なお、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢や、透視投影によって歪んでいるが、外部パラメータ及び内部パラメータによって、画面上の矩形頂点を正方形の各頂点に射影することができる。従って、図４２に示す仮想空間上の二次元バーコード５０の四隅の位置座標から正立方体５３を作成することができるので、その正立方体５３に３Ｄポリゴン１０などを合成することができる。
【０１２７】
そして、第１の実施形態と同様にして観察者による簡易コマンダ４からの指示に基づいて、その仮想空間の二次元バーコード５０上に３Ｄポリゴン１０を飛び出させたり、そのバーコード５０上で３Ｄポリゴン１０を左右に移動させたり、それをジャンプさせたり、声を出させたり、バーコード５０上から３Ｄポリゴン１０を消したりすることができる。
【０１２８】
このように、本実施形態としてのゲーム装置よれば、仮想空間の二次元バーコード５０上に、あたかも、ＴＶ番組のキャラクタなどを飛び出させ、観察者の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置やその他のゲーム装置を構成したときに、上述した情報入力装置１００を簡易コマンダ４として使用することができる。
【０１２９】
なお、この実施形態では非透過型の特殊グラストロン２又は透過型の特殊グラストロン２０を使用する場合について説明したが、これに限られることはなく、透過型と非透過型を切換え可能な兼用タイプの特殊グラストロンを用いても、もちろん構わない。
【０１３０】
この実施形態のゲーム装置２００は、特開平１０−１２３４５３号、特開平９−３０４７２７号、特開平９−３０４７３０号、特開平９−２１１３７４号、特開平８−１６０３４８号、特開平８−９４９６０号、特開平７−３２５２６５号、特開平７−２７０７１４号及び特開平７−６７０５５号に記載される透過型のヘッドマウントディスプレイに適用することができる。
【０１３１】
この実施形態では流し撮りＣＣＤ２３に関してインターライン転送方式の二次元撮像デバイスを使用する場合について説明したが、これに限られることはなく、フレーム転送方式の二次元撮像デバイスを使用する場合であっても同様な効果が得られる。
【０１３２】
この実施形態では簡易コマンダ４に９個の発光ダイオードＬＥＤ１０〜１２、ＬＥＤ２１、２２、ＬＥＤ３１、３２、ＬＥＤ４２、４２を取付ける場合について説明したが、これに限られることはなく、その発光面に発光ダイオードをいくつ取付けても構わない。更に、この実施形態ではグループ単位に入力情報Ｄinを発生する場合について説明したが、これに限られることはなく、グループの下位階層として第１番目、第２番目の発光ダイオードを個々に遮光するようにして、入力情報Ｄinの量を１６通り以上に増やしてもよい。このように構成すると、３Ｄポリゴン１０の表情などをより細かく表示制御することができる。
【０１３３】
【発明の効果】
以上説明したように、本発明の情報入力装置によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる光源の位置情報に応じた入力情報を発生するデータ発生手段が設けられるものである。
【０１３４】
この構成によって、複数の光源の中で任意の光源の点滅パターンを遮光したときに、少なくとも、点滅パターンが遮光された光源以外の光源の位置情報に応じた入力情報を発生させることができる。
【０１３５】
また、本発明の情報入力方法によれば、撮像可能な任意の物体の特定の面に取付けられた点滅パターンの異なる複数の光源の中で、任意の光源の点滅パターンを遮光したときに、少なくとも、その点滅パターンを遮光した光源以外の光源の位置情報に応じた入力情報を発生するものである。
【０１３６】
この構成によって、ＴＶ番組のキャラクタを仮想空間上の手のひらで遊ばせるバーチャルキャラクタ育成ゲーム装置などの入力ツールに最適なワイヤレスリモコンに匹敵する簡易コマンダを再現性良く構成することができる。
【０１３７】
この発明に係るゲーム装置によれば、上述の情報入力装置が入力手段に応用されるので、入力操作が簡単で、しかも、操作性の良い簡易コマンダを備えたバーチャルキャラクタ育成ゲーム装置などを構成することができる。
【０１３８】
この発明は、バーチャルキャラクタ育成ゲーム装置などに適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る各実施形態としての情報入力装置１００の構成例を示すブロック図である。
【図２】その簡易コマンダ４の構成例を示す斜視図である。
【図３】他の簡易コマンダ４の構成例を示す斜視図である。
【図４】簡易コマンダ４の９つの発光ダイオードのグループ例を示す概念図である。
【図５】その簡易コマンダ４の使用例を示す上面図である。
【図６】その簡易コマンダ４の通常画像例を示すイメージ図である。
【図７】その９つの発光ダイオードの位置座標の算出例を示す模式図である。
【図８】発光ダイオードＬＥＤの番号及びその取付け位置情報例を示す表図である。
【図９】その４つのグループによる位置情報Ｄｐに対する入力情報例を示す表図である。
【図１０】その入力情報の表示例を示すイメージ図である。
【図１１】その３Ｄポリゴンのｘ、ｙ方向への移動例を示すイメージ図である。
【図１２】その簡易コマンダ４のジョグダイヤル的な動作例（ＰＴ＝０，７）を示すイメージ図である。
【図１３】そのジョグダイヤル的な動作例（ＰＴ＝１）を示すイメージ図である。
【図１４】そのジョグダイヤル的な動作例（ＰＴ＝２）を示すイメージ図である。
【図１５】そのジョグダイヤル的な動作例（ＰＴ＝３）を示すイメージ図である。
【図１６】そのジョグダイヤル的な動作例（ＰＴ＝４）を示すイメージ図である。
【図１７】そのジョグダイヤル的な動作例（ＰＴ＝５）を示すイメージ図である。
【図１８】そのジョグダイヤル的な動作例（ＰＴ＝６）を示すイメージ図である。
【図１９】簡易コマンダ４や４’の「動作決定」指示の入力例を示すイメージ図である。
【図２０】簡易コマンダ４’の他のジョグダイヤル的な動作例（ＰＴ＝１）を示すイメージ図である。
【図２１】そのジョグダイヤル的な動作例（ＰＴ＝２）を示すイメージ図である。
【図２２】そのジョグダイヤル的な動作例（ＰＴ＝３）を示すイメージ図である。
【図２３】そのジョグダイヤル的な動作例（ＰＴ＝４）を示すイメージ図である。
【図２４】そのジョグダイヤル的な動作例（ＰＴ＝５）を示すイメージ図である。
【図２５】本発明に係る情報入力装置を応用したゲーム装置２００の構成例を示す斜視図である。
【図２６】第１の実施形態で使用する基準面設定用のブレスレット１の構成例を示す斜視図である。
【図２７】ゲーム装置２００で使用する特殊グラストロン２の構成例を示す正面から見た概念図である。
【図２８】ゲーム装置２００で使用する他の特殊グラストロン２０の構成例を示す正面から見た概念図である。
【図２９】その特殊グラストロン２の流し撮りＣＣＤ装置２３の内部構成例を示す平面図である。
【図３０】その流し撮りＣＣＤ装置２３の光学系の構成例を示す断面図である。
【図３１】ゲーム装置２００の回路ブロック例を示す図である。
【図３２】その基準面を成すプレート部１１の通常画像例を示すイメージ図である。
【図３３】その基準面の位置座標の算出例を示す模式図である。
【図３４】ゲーム装置２００の動作例（その１）を示すメインルーチンのフローチャートである。
【図３５】ゲーム装置２００の動作例（その２）を示すサブルーチンのフローチャートである。
【図３６】Ａは、実空間上のプレート部１１の実像例であり、Ｂは、仮想空間における基準面上の３Ｄポリゴンの合成例を示すイメージ図である。
【図３７】情報入力装置を応用した他のゲーム装置３００の構成例を示す斜視図である。
【図３８】Ａは、データグローブ９０を応用した場合の実像例であり、Ｂは、仮想空間におけるデータグローブ９０上の３Ｄポリゴンの合成例を示すイメージ図である。
【図３９】グローブ型の簡易コマンダ４０の構成例（ひとさし指）を示すイメージ図である。
【図４０】他のグローブ型の簡易コマンダ４０’の構成例（中指）を示すイメージ図である。
【図４１】第２の実施形態で使用する基準面設定用の２次元バーコード５０の例を示す平面図である。
【図４２】その２次元バーコード５０上の３Ｄポリゴン１０の合成例を示す斜視図である。
【符号の説明】
１・・・基準面設定用のブレスレット（面認識手段）、２，２０・・・特殊グラストロン、３・・・画像処理装置、４，４’４０，４０’・・・簡易コマンダ、６・・・演算手段、７・・・データ発生手段、１０・・・３Ｄポリゴン、１６・・・記憶手段、２３，２３’・・・流し撮りＣＣＤ装置（撮像手段）、２４・・・表示手段、２５・・・ＣＣＤ撮像装置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示素子）、３２・・・垂直転送部（電荷転送部）、３３・・・水平転送部、４６・・・ＲＯＭ、５０・・・２次元バーコード、９０・・・データグローブ、１００・・・情報入力装置、２００，３００・・・ゲーム装置
Claims (10)
- 点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、前記プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、
前記点滅パターンが異なる複数の光源を撮像する撮像手段と、
前記撮像手段により撮像された前記点滅パターンが異なる複数の光源の輝度情報を画像処理して前記光源の各々の位置情報を求める演算手段と、
前記演算手段による前記光源の位置情報に応じた入力情報を発生するデータ発生手段とを備え、
前記点滅パターンの異なる光源が前記菱形状のプレート部の対角線に沿って十字状に配置され、
前記データ発生手段は、前記光源の任意の点滅パターンが遮光されたときに、少なくとも、前記点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生する情報入力装置。 - 前記十字状に配置された点滅パターンの異なる光源が４つのグループに分けて点滅制御される請求項１に記載の情報入力装置。
- 前記データ発生手段には記憶手段が設けられ、
前記記憶手段には、
前記光源の位置情報に対応付けられた入力情報が格納される請求項１に記載の情報入力装置。 - 前記撮像手段には、
各画素を構成する複数の光電変換素子を有した二次元撮像デバイスが使用され、
前記光電変換素子から得られた信号電荷を所定の方向に転送するときに、
少なくとも、同一フィールド期間中に複数回、前記光電変換素子から前記信号電荷を読み出すようになされた請求項１記載の情報入力装置。 - 前記演算手段は、
前記撮像手段による輝度信号の点滅パターンに関して、複数の輝点を含むＸＹ平面を成す空間的な配置パターンに変換し、
前記配置パターン上を走査して、少なくとも、複数の位置座標を求めるようになされた請求項１記載の情報入力装置。 - 前記演算手段は、
複数の輝点を含むＸＹ平面を成す配置パターン上で流し撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸としたときに、
前記流し撮像方向に輝度信号値を加算してＸ軸上にプロットし、
前記Ｘ軸上にプロットされた輝度信号値が最大となる位置を検出して複数のＸ座標値を求め、かつ、
前記配置パターン上でＹ軸方向に走査したときに、
前記流し撮像方向に並んだ複数の輝点のうち、最初に発光した輝点位置を各々Ｘ座標値に対応したＹ座標値として求める請求項１記載の情報入力装置。 - 点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と当該プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に点滅パターンが異なる複数の光源を取付け、
前記点滅パターンが異なる複数の光源を撮像し、
前記撮像された点滅パターンが異なる複数の光源の輝度情報を画像処理して該光源の各々の位置情報を求め、
前記点滅パターンの異なる光源を前記菱形状のプレート部の対角線に沿って十字状に配置し、
前記光源の任意の点滅パターンを遮光したときに、少なくとも、前記点滅パターンを遮光した光源以外の光源の位置情報に応じた入力情報を発生する情報入力方法。 - 観察者の属する実空間上で任意の基準面を認識する面認識手段と、
前記面認識手段により認識された仮想空間の基準面上であって、観察者の属する外界像に任意のキャラクタ画像を立体的に合成する合成手段と、
少なくとも、前記キャラクタ画像を変化させるための入力情報を指示する入力手段とを備え、
前記入力手段は、
点滅パターンの異なる複数の光源が特定面に取付けられた菱形状を成すプレート部と、
前記プレート部に接合された指輪部とを有する撮像可能な任意の物体の特定の面に取付けられた点滅パターンが異なる複数の光源と、
前記点滅パターンが異なる複数の光源を撮像する撮像手段と、
前記撮像手段により撮像された前記点滅パターンが異なる複数の光源の輝度情報を画像処理して前記光源の各々の位置情報を求める演算手段と、
前記演算手段による前記光源の位置情報に応じた入力情報を発生するデータ発生手段とを有し、
前記点滅パターンの異なる光源が前記菱形状のプレート部の対角線に沿って十字状に配置され、
前記データ発生手段は、前記光源の任意の点滅パターンが遮光されたときに、少なくとも、前記点滅パターンを遮光された光源以外の光源の位置情報に応じた入力情報を発生するゲーム装置。 - 前記合成手段は、
観察者の属する外界像を撮像する撮像手段と、
前記撮像手段による外界像と予め準備された仮想体の画像と合成したステレオ画像の一方を表示する第１の画像表示素子と、
前記ステレオ画像の他方を表示する第２の画像表示素子とを有したヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
前記第１の画像表示素子によるステレオ画像と、前記第２の画像表示素子によるステレオ画像とを重ね合わせて観察者の眼球に導くようになされた請求項８記載のゲーム装置。 - 前記合成手段は、
観察者の属する外界像を取り込むために入射光の開閉をする液晶シャッタと、
前記外界像に合成するための仮想体の画像を表示する画像表示素子と、
前記画像表示素子による仮想体の画像と、前記液晶シャッタを通過した観察者の属する外界像とをその観察者の眼球に導く光学手段とを有したヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、観察者の顔面又は頭部に装着され、
前記液晶シャッタを開いたときは、
前記液晶シャッタを通過した観察者の属する実空間上の外界像に、前記画像表示素子による仮想体の画像を重ね合わせて観察者の眼球に導くようになされた請求項８記載のゲーム装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30016498A JP4264601B2 (ja) | 1998-10-21 | 1998-10-21 | 情報入力装置、情報入力方法及びゲーム装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30016498A JP4264601B2 (ja) | 1998-10-21 | 1998-10-21 | 情報入力装置、情報入力方法及びゲーム装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000132306A JP2000132306A (ja) | 2000-05-12 |
| JP4264601B2 true JP4264601B2 (ja) | 2009-05-20 |
Family
ID=17881527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30016498A Expired - Fee Related JP4264601B2 (ja) | 1998-10-21 | 1998-10-21 | 情報入力装置、情報入力方法及びゲーム装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4264601B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4348576B2 (ja) * | 1999-07-08 | 2009-10-21 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US6417836B1 (en) * | 1999-08-02 | 2002-07-09 | Lucent Technologies Inc. | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
| KR100532525B1 (ko) * | 2002-05-07 | 2005-11-30 | 이문기 | 카메라를 이용한 삼차원 포인팅장치 |
| JP2008096868A (ja) * | 2006-10-16 | 2008-04-24 | Sony Corp | 撮像表示装置、撮像表示方法 |
| JP2009245392A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム |
| JP4950230B2 (ja) * | 2009-01-14 | 2012-06-13 | Ｓｍｋ株式会社 | リモートコントロールシステム |
| JP5005758B2 (ja) * | 2009-12-25 | 2012-08-22 | 株式会社ホンダアクセス | 自動車における車載機器の操作装置 |
| JP5629766B2 (ja) * | 2010-05-10 | 2014-11-26 | 日本システムウエア株式会社 | マーカー検出システム、検出方法、プログラム及び該プログラムを格納したコンピュータ可読媒体 |
| JP5330444B2 (ja) * | 2011-03-28 | 2013-10-30 | 株式会社ホンダアクセス | 自動車の車載機器操作装置における手の判定方法および判定装置 |
| WO2013094786A1 (en) * | 2011-12-21 | 2013-06-27 | Lg Electronics Inc. | Electronic device having 3-dimensional display and method of operating thereof |
| US9032334B2 (en) | 2011-12-21 | 2015-05-12 | Lg Electronics Inc. | Electronic device having 3-dimensional display and method of operating thereof |
| US9317171B2 (en) * | 2013-04-18 | 2016-04-19 | Fuji Xerox Co., Ltd. | Systems and methods for implementing and using gesture based user interface widgets with camera input |
| US9649558B2 (en) * | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| CN107390953A (zh) * | 2017-07-04 | 2017-11-24 | 深圳市虚拟现实科技有限公司 | 虚拟现实手柄空间定位方法 |
| TWI739069B (zh) * | 2019-03-04 | 2021-09-11 | 仁寶電腦工業股份有限公司 | 遊戲裝置與辨識遊戲裝置的方法 |
-
1998
- 1998-10-21 JP JP30016498A patent/JP4264601B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000132306A (ja) | 2000-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11257285B2 (en) | Direct light compensation technique for augmented reality system | |
| JP4264601B2 (ja) | 情報入力装置、情報入力方法及びゲーム装置 | |
| CN105393283B (zh) | 增强现实体验的重投影oled显示 | |
| CN106462370B (zh) | 基于注视位置的稳定性平面确定 | |
| CN105474273B (zh) | 后期重投影的方法和装置 | |
| JP2000172431A (ja) | 情報入力装置及びゲーム装置 | |
| JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
| US9662583B2 (en) | Portable type game device and method for controlling portable type game device | |
| CN108292489A (zh) | 信息处理装置和图像生成方法 | |
| CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
| JP7047394B2 (ja) | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 | |
| CN109691084A (zh) | 信息处理装置和方法以及程序 | |
| CN107850937A (zh) | 视线检测系统、头戴式显示器、视线检测方法 | |
| KR20170074742A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| US9521329B2 (en) | Display device, display method, and computer-readable recording medium | |
| JP4281139B2 (ja) | 位置認識装置、位置認識方法及び仮想画像立体合成装置 | |
| JP2000184398A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体 | |
| JP7283958B2 (ja) | 複数のマーカを備えたデバイス | |
| US11231745B1 (en) | Wearable article with conduits for a performance capture system | |
| JP2000098871A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 | |
| JP2000132329A (ja) | 面認識装置、面認識方法及び仮想画像立体合成装置 | |
| JP2000098300A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 | |
| JP2020181320A (ja) | 情報処理装置およびデバイス情報導出方法 | |
| JP2000098870A (ja) | 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 | |
| JP2000131017A (ja) | 自己位置提示物体、その位置認識装置及びその位置認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050720 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060418 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |