JPWO2009141855A1 - 入力システム、入力方法、コンピュータプログラム、及び、記録媒体 - Google Patents

入力システム、入力方法、コンピュータプログラム、及び、記録媒体 Download PDF

Info

Publication number
JPWO2009141855A1
JPWO2009141855A1 JP2010512854A JP2010512854A JPWO2009141855A1 JP WO2009141855 A1 JPWO2009141855 A1 JP WO2009141855A1 JP 2010512854 A JP2010512854 A JP 2010512854A JP 2010512854 A JP2010512854 A JP 2010512854A JP WO2009141855 A1 JPWO2009141855 A1 JP WO2009141855A1
Authority
JP
Japan
Prior art keywords
cursor
image
subject
video image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010512854A
Other languages
English (en)
Inventor
上島　拓
拓 上島
恵一 安村
恵一 安村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SSD Co Ltd
Original Assignee
SSD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SSD Co Ltd filed Critical SSD Co Ltd
Publication of JPWO2009141855A1 publication Critical patent/JPWO2009141855A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A63F2300/306—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for displaying a marker associated to an object or location in the game field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A63F2300/6054—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands by generating automatically game commands to assist the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A63F2300/643—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car by determining the impact between objects, e.g. collision detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

実空間中のスクリーン２１上において、実空間中の再帰反射シート１７Ｌ及び１７Ｒの位置とスクリーン２１に投影されたビデオ映像中のカーソル６７の位置とが一致するように、カーソル６７の位置を調整する。プロセッサ２３は、カーソル６７を介して、再帰反射シート１７が置かれているビデオ映像中の位置を認識できる。このため、プレイヤ１５は、スクリーン２１に映し出されたビデオ映像の上で再帰反射シート１７Ｌ及び１７Ｒを動かし、その再帰反射シート１７Ｌ及び１７Ｒでビデオ映像中の所望の位置を直接指し示すことにより、プロセッサ２３に対する入力を行うことができる。

Description

本発明は、撮像画像に写り込んだ被写体の像に基づいて入力を行う入力システム及びその関連技術に関する。
本件出願人によるゴルフゲームシステムが特許文献１に開示されている。このゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含む。ゲーム機のハウジングの内部には撮像ユニットが収納される。この撮像ユニットは、イメージセンサと赤外発光ダイオードとを含む。赤外発光ダイオードによって撮像ユニットの上方の所定範囲に赤外光が間欠的に照射される。したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる速度などを計算する。
特開２００４−８５５２４号
本発明は、撮像画像に写り込んだ被写体の像に基づいて入力を行う新規な入力システム及びその関連技術を提供することを目的とする。
本発明の第１の観点によれば、入力システムは、ビデオ映像を生成するビデオ映像生成手段と、前記ビデオ映像を制御する制御手段と、実空間に配置されたスクリーンに前記ビデオ映像を投影する投影手段と、プレイヤが前記スクリーン上で操作する実空間中の被写体を撮像する撮像手段と、を備え、前記制御手段は、前記撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、前記解析手段が求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御手段と、を含み、前記カーソル制御手段は、実空間中の前記スクリーン上において、実空間中の前記被写体の位置と投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正手段を含む。
この構成によれば、プレイヤは、スクリーンに投影されたビデオ映像の上で被写体を動かし、その被写体でビデオ映像中の所望の位置を直接指し示すことにより、制御手段に対する入力を行うことができる。なぜなら、実空間のスクリーン上において、実空間中の被写体の位置と投影されたビデオ映像中のカーソルの位置とは一致するので、制御手段は、カーソルを介して、被写体が置かれているビデオ映像中の位置を認識できるからである。
ここで、本明細書及び請求の範囲において、「一致」は、完全一致及び略一致を含む意味である。
本発明の第２の観点によれば、入力システムは、ビデオ映像を生成するビデオ映像生成手段と、前記ビデオ映像を制御する制御手段と、を備え、前記制御手段は、プレイヤが実空間に配置されたスクリーン上で操作する実空間中の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、前記解析手段が求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御手段と、を含み、前記カーソル制御手段は、実空間中の前記スクリーン上において、実空間中の前記被写体の位置と前記スクリーンに投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正手段を含む。
この構成によれば、第１の観点による入力システムと同様の効果を奏する。
上記第１及び第２の観点による入力システムは、前記補正の際に使用するパラメータを算出するためのビデオ映像を生成し、当該ビデオ映像上の少なくとも１つの所定位置に少なくとも１つの所定のマーカを配置するマーカ映像生成手段と、前記撮像手段により得られた撮像画像と、前記マーカ映像生成手段が生成した前記ビデオ映像と、を対応させ、前記撮像画像上の前記被写体の像の位置に対応する前記ビデオ映像上の位置である対応位置を算出する対応位置算出手段と、前記所定のマーカが配置された前記所定位置と、前記スクリーンに投影された前記所定のマーカ上に前記被写体を置いたときの前記対応位置と、に基づいて、前記補正手段が補正の際に使用するパラメータを算出するパラメータ算出手段と、をさらに備える。
この構成によれば、プレイヤにスクリーンに投影されたマーカ上に被写体を置かせるだけで、補正のためのパラメータを簡易に求めることができる。
この入力システムにおいて、前記マーカ映像生成手段は、前記ビデオ映像上の複数の前記所定位置に、複数の前記所定のマーカを配置し、あるいは、前記ビデオ映像上の異なる前記所定位置に、時間を変えて前記所定のマーカを配置する。
この構成によれば、異なる複数の位置に配置されるマーカに被写体を置いて、補正のためのパラメータを求めるので、補正の精度をより向上できる。
例えば、前記マーカ映像生成手段は、前記ビデオ映像上の四隅に、４つの前記所定のマーカを配置し、あるいは、前記ビデオ映像上の四隅に、時間を変えて前記所定のマーカを配置する。
この構成によれば、比較的少ない数のマーカを使用して、補正のためのパラメータを高精度で求めることができる。
この場合、さらに、前記マーカ映像生成手段は、前記４つの所定のマーカが配置された前記ビデオ映像又は異なるビデオ映像上の中心に、１つの前記所定のマーカを配置する。
この構成によれば、補正のためのパラメータをより高精度で求めることができる。
上記入力システムにおいて、前記補正手段による前記補正は台形補正を含む。
この構成によれば、光軸がスクリーンに対して斜めになる様に配置される撮像手段により、スクリーン上の被写体を撮像し、その撮像画像に基づいて、被写体の動きを解析し、それに連動するカーソルを生成する場合においても、プレイヤが操作する被写体の動きと、カーソルの動きと、が一致又は略一致する。なぜなら、台形補正により、台形歪みを極力除去できるからである。その結果、プレイヤは、違和感を極力抑制した入力を行うことができる。
上記入力システムにおいて、前記撮像手段は、前記プレイヤの前方に配置され、前記被写体を俯瞰する位置から撮像し、前記カーソル制御手段は、前記撮像手段から見て前記被写体が奥から手前へ移動した場合に、前記撮像手段から見て投影された前記カーソルが奥から手前へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が手前から奥へ移動した場合に、前記撮像手段から見て投影された前記カーソルが手前から奥へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が右から左へ移動した場合に、前記撮像手段から見て投影された前記カーソルが右から左へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が左から右へ移動した場合に、前記撮像手段から見て投影された前記カーソルが左から右へ移動するように前記カーソルの位置を決定する。
この構成によれば、プレイヤの前方において、被写体を俯瞰する位置から撮像する場合（以下、「俯瞰の場合」と呼ぶ。）においても、プレイヤが操作する被写体の移動方向と、スクリーン上のカーソルの移動方向と、が感覚的に一致するので、入力のストレスを極力抑制しながら、制御手段に対して、容易に入力を行うことができる。
ちなみに、プレイヤの前方において、被写体を仰視する位置から撮像する場合（以下、「仰視の場合」と呼ぶ。）、通常、撮像手段から見て被写体が奥から手前へ移動した場合に、垂直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定し、また、撮像手段から見て被写体が手前から奥へ移動した場合に、垂直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定する。
ところが、俯瞰の場合に、仰視の場合と同じアルゴリズムでカーソルを制御すると、撮像手段から見て被写体が奥から手前へ移動した場合に、鉛直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定し、また、撮像手段から見て被写体が手前から奥へ移動した場合に、スクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定してしまうことになる。これでは、プレイヤが操作する被写体の移動方向と、スクリーン上のカーソルの移動方向と、が感覚的に一致しない。このため、入力にストレスが伴い、スムーズな入力を行うことができない。
このような結果を引き起こすのは、俯瞰の場合、撮像手段の光軸ベクトルの鉛直成分が鉛直下方を向いており、撮像手段の上下方向とプレイヤの上下方向とが一致しないからである。
また、多くの場合、撮像手段の光軸ベクトルが鉛直成分を持たないか（つまり、撮像面が鉛直面と平行な場合）、あるいは、光軸ベクトルの鉛直成分が鉛直上方を向いており、撮像手段の上下方向とプレイヤの上下方向とが一致するように、撮像手段が設置され、このような使用に慣れているからである。
ここで、撮像手段の光軸ベクトルの鉛直成分の終点から始点を向く方向を撮像手段の下方とし、始点から終点を向く方向を撮像手段の上方とする。また、プレイヤの足（ｆｏｏｔ）から頭部を向く方向をプレイヤの上方とし、頭部から足を向く方向をプレイヤの下方とする。
上記入力システムにおいて、前記カーソルは、前記プレイヤが視認可能に表示される。
この構成によれば、プレイヤは、投影されたカーソルと再帰反射シートとが一致していることを確認でき、システムが正常であることを認識できる。
上記入力システムにおいて、前記カーソルは、仮想のものであり、表示しないこともできる。
ちなみに、プレイヤがカーソルを視認できなくても、制御手段がカーソルの位置を認識できれば、制御手段は再帰反射シートが投影ビデオ映像上のどこに置かれているか分かるからである。なお、この場合、カーソルを非表示にしてもよいし、透明なカーソルを表示してもよい。また、カーソルを表示しなくても、プレイヤにとってはプレイに大きな支障はない。
本発明の第３の観点によれば、入力システムは、カーソルを含むビデオ映像を生成するビデオ映像生成手段と、前記ビデオ映像を制御する制御手段と、光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段と、を備え、前記制御手段は、前記撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、前記解析手段が求めた前記被写体の位置に対して、台形補正を実行する台形補正手段と、前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御手段と、を含む。
この構成によれば、光軸が被撮影面に対して斜めになる様に配置される撮像手段により、被撮影面上の被写体を撮像し、その撮像画像に基づいて、被写体の動きを解析し、それに連動するカーソルを生成する場合においても、プレイヤが操作する被写体の動きと、カーソルの動きと、が一致又は略一致する。なぜなら、カーソルの位置を決定する被写体の位置に対して台形補正を実行しているからである。その結果、プレイヤは、違和感を極力抑制した入力を行うことができる。
本発明の第４の観点によれば、入力システムは、カーソルを含むビデオ映像を生成するビデオ映像生成手段と、前記ビデオ映像を制御する制御手段と、を備え、前記制御手段は、光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、前記解析手段が求めた前記被写体の位置に対して、台形補正を実行する台形補正手段と、前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御手段と、を含む。
この構成によれば、第３の観点による入力システムと同様の効果を奏する。
上記第３及び第４の観点による入力システムにおいて、前記台形補正手段は、前記被写体と前記撮像手段との間の距離に応じて、台形補正を施す。
撮像画像に写り込んだ被写体の像の台形歪みは、被写体と撮像手段との間の距離が大きくなるほど大きくなる。従って、本発明では、当該距離に応じた適切な台形補正を実行できる。
この入力システムにおいて、前記台形補正手段は、前記被写体と前記撮像手段との間の距離と、前記カーソルの水平方向の移動距離と、が正の相関関係になるように、前記カーソルの水平座標を補正する水平補正手段を含む。
この構成によれば、水平方向の台形歪みを補正できる。
上記第３及び第４の観点による入力システムにおいて、前記台形補正手段は、前記被写体と前記撮像手段との間の距離と、前記カーソルの垂直方向の移動距離と、が正の相関関係になるように、前記カーソルの垂直座標を補正する垂直補正手段を含む。
この構成によれば、垂直方向の台形歪みを補正できる。
上記第３及び第４の観点による入力システムにおいて、前記撮像手段は、前記被写体を俯瞰する位置から撮像する。
この構成によれば、プレイヤは、床面上で被写体を動かし、カーソルを操作できる。例えば、プレイヤは、被写体を足に装着して動かすことができる。この場合、足を使ったゲームや足を使ったエクササイズ等に応用可能である。
上記第１〜第４の観点による入力システムにおいて、前記被写体に対して、間欠的に光を照射する発光手段をさらに備え、前記被写体は、受けた光を再帰反射する再帰反射部材を含み、前記解析手段は、前記発光手段からの光の照射時の撮像画像と非照射時の撮像画像との差分画像に基づいて、前記被写体の位置を求める。
この構成によれば、再帰反射部材からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射部材のみを検出できる。
上記第１〜第４の観点による入力システムにおいて、前記制御手段は、所定画像を前記ビデオ映像上に配置する配置手段と、前記カーソルが前記所定画像に接触又は重なったか否かを判定する判定手段と、を含む。
この構成によれば、所定画像を、コマンドを発行するためのアイコンとして使用したり、ビデオゲーム中の様々なアイテム等として使用できる。
この入力システムにおいて、前記判定手段は、前記カーソルが前記所定画像に少なくとも所定時間継続して重なったか否かを判定する。
この構成によれば、接触等した時に直ちに入力を確定せずに、接触等が所定時間継続して初めて入力を確定でき、誤入力を防止できる。
上記入力システムにおいて、前記配置手段は、前記所定画像を移動し、前記判定手段は、前記カーソルが、所定条件を満足するように、移動する前記所定画像と接触又は重なったか否かを判定する。
この構成によれば、プレイヤは単にカーソルが所定画像に接触等するように被写体を操作するだけでは足らず、所定条件を満足するように被写体を操作しなければならない。このため、ゲーム性や難易度を向上できる。
本発明の第５の観点による入力方法は、ビデオ映像を生成するステップと、前記ビデオ映像を制御するステップと、を含み、制御する前記ステップは、プレイヤが実空間に配置されたスクリーン上で操作する実空間中の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析ステップと、前記解析ステップが求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御ステップと、を含み、前記カーソル制御ステップは、実空間中の前記スクリーン上において、実空間中の前記被写体の位置と前記スクリーンに投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正ステップを含む。
この構成によれば、上記第１の観点による入力システムと同様の効果を奏する。
本発明の第６の観点による入力方法は、カーソルを含むビデオ映像を生成するステップと、前記ビデオ映像を制御するステップと、を含み、制御する前記ステップは、光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析ステップと、前記解析ステップが求めた前記被写体の位置に対して、台形補正を実行する台形補正ステップと、前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御ステップと、を含む。
この構成によれば、上記第３の観点による入力システムと同様の効果を奏する。
本発明の第７の観点によるコンピュータプログラムは、上記第５の観点による入力方法をコンピュータに実行させる。
この構成によれば、上記第１の観点による入力システムと同様の効果を奏する。
本発明の第８の観点によるコンピュータプログラムは、上記第６の観点による入力方法をコンピュータに実行させる。
この構成によれば、上記第３の観点による入力システムと同様の効果を奏する。
本発明の第９の観点による記録媒体は、上記第７の観点によるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この構成によれば、上記第１の観点による入力システムと同様の効果を奏する。
本発明の第１０の観点による記録媒体は、上記第８の観点によるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この構成によれば、上記第３の観点による入力システムと同様の効果を奏する。
上記第５の観点による入力方法、第７の観点によるコンピュータプログラム及び第９の観点による記録媒体において、前記カーソルは、前記プレイヤが視認可能に表示される。一方、前記カーソルは、仮想のものであり、表示しないこともできる。
本明細書及び請求の範囲において、記録媒体には、例えば、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。
本発明の新規な特徴は、特許請求の範囲に記載されている。しかしながら、発明そのもの及びその他の特徴と効果は、添付図面を参照して具体的な実施例の詳細な説明を読むことにより容易に理解される。
本発明の実施の形態１によるエンターテインメントシステムの全体構成を示す図である。 図１のエンターテインメントシステムの概略図である。 図１のエンターテインメントシステムの電気的構成を示す図である。 図１のカメラユニット５の撮影範囲の説明図である。 図１の情報処理装置３が生成するビデオ映像と、カメラユニット５により得られる画像と、図４の撮影有効領域３１と、の関係を説明するための図である。 キャリブレーションの必要性の説明図である。 キャリブレーションの必要性の説明図である。 キャリブレーションの必要性の説明図である。 キャリブレーション画面の例示図である。 台形補正で使用する基準倍率の導出方法の説明図である。 図１０で求めた基準倍率の補正方法の説明図である。 第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸを補正するための基準傾きＳＲＵＸの導出方法の説明図である。 第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹを補正するための基準傾きＳＲＵＹの導出方法の説明図である。 基準傾きＳＲＵＸを用いた第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸの補正方法の説明図である。 基準傾きＳＲＵＹを用いた第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹの補正方法の説明図である。 図１のスクリーン２１に投影されたモード選択画面６１の例示図である。 図１のスクリーン２１に投影されたゲーム選択画面７１の例示図である。 図１のスクリーン２１に投影されたモグラ叩き画面８１の例示図である。 図１のスクリーン２１に投影されたフリーキック画面１０１の例示図である。 図１のスクリーン２１に投影された片脚ジャンプ画面１１１の例示図である。 図１のスクリーン２１に投影された両脚跳び画面１２１の例示図である。 図１のスクリーン２１に投影された片脚立ち画面の例示図である。 図３のプロセッサ２３による前処理の流れを示すフローチャートである。 図２３のステップＳ３の撮影処理の流れを示すフローチャートである。 図２３のステップＳ５の座標算出処理の流れを示すフローチャートである。 図３のプロセッサ２３による全体処理の流れを示すフローチャートである。 図２６のステップＳ１０５の台形補正処理の流れを示すフローチャートである。 図２６のステップＳ１０９のゲーム処理の第１の例の流れを示すフローチャートである。 図２６のステップＳ１０９のゲーム処理の第２の例の流れを示すフローチャートである。 図２６のステップＳ１０９のゲーム処理の第３の例の流れを示すフローチャートである。 図２６のステップＳ１０９のゲーム処理の第４の例の流れを示すフローチャートである。 図２６のステップＳ１０９のゲーム処理の第５の例の流れを示すフローチャートである。 本発明の実施の形態２によるエンターテインメントシステムの電気的構成を示す図である。 水平座標に対する台形補正の説明図である。 垂直座標に対する台形補正の説明図である。 実施の形態２における図２６のステップＳ１０３の座標算出処理の流れを示すフローチャートである。 実施の形態２における図２６のステップＳ１０５の台形補正処理の流れを示すフローチャートである。
符号の説明
１…エンターテインメント装置、３…情報処理装置、５…カメラユニット、１１…プロジェクタ、２１…スクリーン、１７Ｌ，１７Ｒ…再帰反射シート、７…赤外発光ダイオード、２７…イメージセンサ、２３…プロセッサ、２５…外部メモリ、６７Ｌ，６７Ｒ…カーソル、６３，６５，７３，７５，７７，９１，１０３，１１３，１２３，１５５…オブジェクト（所定画像）、２００…テレビジョンモニタ。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
実施の形態では、エンターテインメントシステムについて説明するが、このエンターテインメントシステムが入力システムとして機能していることは、その説明の中で明らかになる。
（実施の形態１）
図１は、本発明の実施の形態１によるエンターテインメントシステムの全体構成を示す図である。図１を参照して、このエンターテインメントシステムは、エンターテインメント装置１、スクリーン２１、並びに、受けた光を再帰反射する再帰反射シート（再帰反射部材）１７Ｌ及び１７Ｒを備える。
ここで、再帰反射シート１７Ｌ及び１７Ｒを区別する必要がないときは、再帰反射シート１７と表記する。
プレイヤは、左脚の甲に再帰反射シート１７Ｌをゴムバンド１９で装着し、右脚の甲に再帰反射シート１７Ｒをゴムバンド１９で装着する。エンターテインメント装置１の前方の床面（水平面）には、スクリーン（例えば、白色）が配置される。プレイヤ１５は、このスクリーン２１の上にのって、再帰反射シート１７Ｌ及び１７Ｒを装着した足を動かしてプレイする。
エンターテインメント装置１は、床面に直立して設置される筐体１３を含む。この筐体１３の中段付近には、支持部材１０が、鉛直面と略平行に取り付けられる。支持部材１０には、プロジェクタ１１が取り付けられる。プロジェクタ１１は、情報処理装置３が生成したビデオ映像をスクリーン２１に投影する。プレイヤ１５は、投影されたビデオ映像を見ながら、足を動かして、再帰反射シート１７Ｌ及び１７Ｒを所望の位置に移動する。
また、筐体１３の上段には、支持部材４が、プレイヤ１５の方に突き出るように取り付けられる。支持部材４の先端には、情報処理装置３が取り付けられる。この情報処理装置３は、カメラユニット５を含む。カメラユニット５は、スクリーン２１並びに再帰反射シート１７Ｌ及び１７Ｒを俯瞰するように、情報処理装置３に取り付けられ、プレイヤ１５が操作する再帰反射シート１７Ｌ及び１７Ｒを撮像する。カメラユニット５は、赤外光のみを透過する赤外線フィルタ９及びその周りに配置された４個の赤外発光ダイオード７を含む。赤外線フィルタ９の裏側には、後述のイメージセンサ２７が配置される。
図２は、図１のエンターテインメントシステムの概略図である。図２を参照して、側面視において、カメラユニット５は、プロジェクタ１１よりも、よりプレイヤ１５の方へ突き出るように配置される。カメラユニット５は、スクリーン２１の上方に配置され、スクリーン２１並びに再帰反射シート１７Ｌ及び１７Ｒを前方斜め下方に見る。プロジェクタ１１は、カメラユニット５の下段に配置される。
図３は、図１のエンターテインメントシステムの電気的構成を示す図である。図３を参照して、情報処理装置３は、プロセッサ２３、外部メモリ２５、イメージセンサ２７、赤外発光ダイオード７及びスイッチ部２２を含む。スイッチ部２２は、図示しないが、決定キー、キャンセルキー及び方向キーを含む。なお、イメージセンサ２７は、赤外発光ダイオード７及び赤外線フィルタ９と共に、カメラユニット５を構成する。
プロセッサ２３には、外部メモリ２５が接続される。外部メモリ２５は、例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ等により構成される。外部メモリ２５は、プログラム領域、画像データ領域、および音声データ領域を含む。プログラム領域には、各種処理（後述のフローチャートの処理）をプロセッサ２３に実行させる制御プログラムが格納される。画像データ領域には、ビデオ信号ＶＤを生成するために必要な画像データが格納されている。音声データ領域には、ガイドや効果音等ための音声データが格納されている。プロセッサ２３は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号（ビデオ映像）ＶＤ及びオーディオ信号ＡＵを生成する。ビデオ信号ＶＤ及びオーディオ信号ＡＵは、プロジェクタ１１に与えられる。
プロセッサ２３は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。
ＣＰＵは、外部メモリ２５に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ２５に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、ビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ２５に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＵを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。
イメージセンサ２７は、例えば、６４画素×６４画素のＣＭＯＳイメージセンサである。イメージセンサ２７は、プロセッサ２３からの制御を受けて動作する。具体的には、次の通りである。イメージセンサ２７は、赤外発光ダイオード７を間欠的に駆動する。従って、赤外発光ダイオード７は、間欠的に赤外光を発光する。これにより、再帰反射シート１７Ｌ及び１７Ｒには、間欠的に赤外光が照射される。イメージセンサ２７は、赤外光点灯時及び消灯時のそれぞれにおいて、再帰反射シート１７Ｌ及び１７Ｒを撮影する。そして、イメージセンサ２７は、赤外光点灯時の画像信号と赤外光消灯時の画像信号との差分画像信号を生成して、プロセッサ２３に出力する。差分画像信号を求めることで、再帰反射シート１７Ｌ及び１７Ｒからの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１７Ｌ及び１７Ｒのみを検出できる。つまり、差分画像には、再帰反射シート１７Ｌ及び１７Ｒのみが写り込む。
プロセッサ２３が生成するビデオ信号ＶＤは、２個のカーソル６７Ｌ及び６７Ｒ（後述）を含む。この２個のカーソル６７Ｌ及び６７Ｒは、それぞれ、検出した再帰反射シート１７Ｌ及び１７Ｒに対応する。プロセッサ２３は、２個のカーソル６７Ｌ及び６７Ｒを、それぞれ、再帰反射シート１７Ｌ及び１７Ｒに連動させる。
ここで、カーソル６７Ｌ及び６７Ｒを区別して説明する必要のないときは、カーソル６７と表記する。
プロジェクタ１１は、プロセッサ２３から与えられたオーディオ信号ＡＵに対応する音声をスピーカ（図示せず）から出力する。また、プロジェクタ１１は、プロセッサ２３から与えられたビデオ信号ＶＤに基づくビデオ映像をスクリーン２１に投影する。
図４は、図１のカメラユニット５の撮影範囲の説明図である。図４を参照して、実空間において、三次元直交座標系を想定し、水平線に沿ってＹ＃軸を設定し、鉛直線に沿ってＺ＃軸を設定し、これらに垂直にＸ＃軸を設定する。Ｘ＃軸とＹ＃軸により、水平面が形成されるとする。鉛直上方をＺ＃軸の正、スクリーン２１からエンターテインメント装置１に向かう方向をＹ＃軸の正、Ｙ＃軸の正方向を向いて、右方向をＸ＃軸の正とする。また、撮影有効領域３１の頂点ａ１を原点とする。
カメラユニット５のイメージセンサ２７の光軸ベクトルＶの水平成分ＶｈはＹ＃軸の負方向を向いており、鉛直成分ＶｖはＺ＃軸の負方向を向いている。なぜなら、カメラユニット５は、スクリーン２１及び再帰反射シート１７Ｌ及び１７Ｒを俯瞰するように設置されるからである。なお、光軸ベクトルＶは、イメージセンサ２７の光軸３０に沿った単位ベクトルとする。
再帰反射シート１７Ｌ及び１７Ｒはカメラユニット５の被写体の一例である。また、スクリーン２１は、ビデオ映像が投影されると同時に、カメラユニット５により撮影もされるので（差分画像には写らないが）、被撮影面と呼ぶこともできる。また、スクリーン２１は専用のものを用いてもよいが、床面が平らで、投影されたビデオ映像の内容を容易に認識できるものであれば、床面そのものをスクリーンとして使用することもできる。この場合は、床面が被撮影面となる。
さて、側面視において、イメージセンサ２７による撮影の有効範囲１２は、光軸３０を中心とした所定角度の範囲である。また、イメージセンサ２７は、スクリーン２１を斜めに俯瞰する。従って、平面視において、イメージセンサ２７による撮影の有効領域３１は、台形状になる。撮影有効領域３１の４頂点には、それぞれ、符号ａ１，ａ２，ａ３及びａ４を付する。
図５は、図１の情報処理装置３が生成するビデオ映像（矩形）と、カメラユニット５により得られる画像（矩形）と、図４の撮影有効領域３１（台形）と、の対応関係を説明するための図である。図５を参照して、撮影有効領域３１は、イメージセンサ２７により得られた差分画像（以下、「カメラ画像」と呼ぶ。）３３の所定の矩形領域（以下、「有効領域対応画像」と呼ぶ。）３５に対応する。具体的には、撮影有効領域３１の頂点ａ１〜ａ４は、それぞれ、有効領域対応画像３５の頂点ｂ１〜ｂ４に対応する。従って、撮影有効領域３１内の再帰反射シート１７は、有効領域対応画像３５内に写り込む。また、有効領域対応画像３５は、プロセッサ２３が生成するビデオ映像３７に対応する。具体的には、有効領域対応画像３５の頂点ｂ１〜ｂ４が、それぞれ、ビデオ映像３７の頂点ｃ１〜ｃ４に対応する。従って、本実施の形態では、再帰反射シート１７に連動するカーソル６７をビデオ映像に含めるところ、当該カーソル６７は、有効領域対応画像３５に写り込んだ再帰反射シート１７の像の位置に対応するビデオ映像３７上の位置に配置される。なお、ビデオ映像３７、有効領域対応画像３５及び撮影有効領域３１において、黒色の三角形が示す上辺ｃ１−ｃ２、上辺ｂ１−ｂ２及び下底ａ１−ａ２が互いに対応する。
さて、本実施の形態では、実空間中のスクリーン２１上において、実空間中の再帰反射シート（被写体）１７の位置と投影されたビデオ映像中のカーソル６７の位置とが一致するように、カーソル６７の位置を調整ないしは補正する必要、つまり、キャリブレーションをする必要がある。なお、キャリブレーションには台形補正が含まれる。以下、この点を具体的に説明する。
図６〜図８は、キャリブレーションの必要性の説明図である。図６を参照して、プロセッサ２３が生成する矩形のビデオ映像３７は、プロジェクタ１１により、スクリーン２１に投影される。スクリーン２１に投影されたビデオ映像を投影ビデオ映像３８と呼ぶ。投影ビデオ映像３８については、プロジェクタ１１により、台形補正済みであるとする。
ここで、図６では、反転等せずに、生成されたビデオ映像３７をスクリーン２１にそのまま投影するものとする。従って、ビデオ映像３７の頂点ｃ１〜ｃ４は、それぞれ、投影ビデオ映像３８の頂点ｆ１〜ｆ４に対応する。なお、図６では、ビデオ映像３７、有効領域対応画像３５、撮影有効領域３１及び投影ビデオ映像３８において、黒色の三角形が示す上辺ｃ１−ｃ２、上辺ｂ１−ｂ２、下底ａ１−ａ２及び下辺ｆ１−ｆ２が互いに対応する。
ビデオ映像３７の四隅の画像Ｄ１〜Ｄ４は、それぞれ、投影ビデオ映像３８の画像ｄ１〜ｄ４として投影される。なお、画像Ｄ１〜Ｄ４は、カメラ画像３３に依存しない。このため、画像ｄ１〜ｄ４も、カメラ画像３３に依存しない。
矩形の各頂点を形成する画像ｄ１〜ｄ４上に重ねて、それぞれ、再帰反射シートＡ１〜Ａ４を配置する。しかし、台形歪みが発生しているため、有効領域対応画像３５上では、再帰反射シートＡ１〜Ａ４の像Ｂ１〜Ｂ４は、台形の各頂点を形成する。台形歪みが発生するのは、イメージセンサ２７が、前方斜め下方に水平に配置されたスクリーン２１並びに再帰反射シートＡ１〜Ａ４を撮影するからである。なお、再帰反射シートＡ１〜Ａ４は、それぞれ、像Ｂ１〜Ｂ４に対応する。
また、有効領域対応画像３５に写り込んだ再帰反射シートＡ１〜Ａ４の像Ｂ１〜Ｂ４にそれぞれ対応して、ビデオ映像３７上に、画像Ｃ１〜Ｃ４が配置される。従って、ビデオ映像３７の画像Ｃ１〜Ｃ４は、それぞれ、投影ビデオ映像３８の画像ｅ１〜ｅ４として投影される。
ところで、プロセッサ２３が生成したビデオ映像３７をそのままスクリーン２１に投影すると、ビデオ映像３７の上辺ｃ１−ｃ２が、投影ビデオ映像３８の下辺ｆ１−ｆ２に投影される。従って、図１及び図２のような位置関係で、プレイヤ１５が、投影ビデオ映像３８を見ると、上下が逆になってしまう。従って、図７に示すように、ビデオ映像３７を上下逆（上下にミラー反転）にしてスクリーン２１に投影する必要がある。なお、図７では、ビデオ映像３７、有効領域対応画像３５、撮影有効領域３１及び投影ビデオ映像３８において、黒色の三角形が示す上辺ｃ１−ｃ２、上辺ｂ１−ｂ２、下底ａ１−ａ２及び上辺ｆ１−ｆ２が互いに対応する。
投影ビデオ映像３８をユーザインタフェースとして利用するためには、投影ビデオ映像３８の画像ｅ１〜ｅ４は、それぞれ、再帰反射シートＡ１〜Ａ４に投影される必要がある。なぜなら、プロセッサ２３は、再帰反射シート１７に連動するカーソル６７を介して、再帰反射シート１７の位置を認識し、再帰反射シート１７が投影ビデオ映像上のどこに位置するかを知るからである。しかし、図７では、画像ｅ１，ｅ２，ｅ３及びｅ４は、それぞれ、Ａ４，Ａ３，Ａ２及びＡ１に対応している。
そこで、図８に示すように、有効領域対応画像３５の像Ｂ１〜Ｂ４の位置を上下逆（上下にミラー反転）にした位置に対応したビデオ映像３７上の位置に、画像Ｃ１〜Ｃ４を配置する。そして、この画像Ｃ１〜Ｃ４を含むビデオ映像３７を上下逆にして（上下にミラー反転して）、スクリーン２１に投影し、投影ビデオ映像３８を得る。さらに、画像ｅ１，ｅ２，ｅ３及びｅ４が、それぞれ、再帰反射シートＡ１，Ａ２，Ａ３及びＡ４、つまり、画像ｄ４，ｄ３，ｄ２及びｄ１に重なるように補正する。そうすると、投影ビデオ映像３８の画像ｅ１〜ｅ４は、それぞれ、再帰反射シートＡ１〜Ａ４に投影され、投影ビデオ映像３８をユーザインタフェースとして利用できる。
図９（ａ）及び図９（ｂ）は、キャリブレーション画面（台形補正の際に使用するパラメータ（基準倍率及び基準傾き）を算出するための画面）の例示図である。図９（ａ）を参照して、プロセッサ２３は、キャリブレーションの第１ステップのためのビデオ映像（第１ステップ映像）４１を生成する。このビデオ映像４１は、その中心に配置されたマーカ４３を含む。図８のようにして、ビデオ映像４１をスクリーン２１に投影するので、ビデオ映像４１にそのまま対応した映像が、投影ビデオ映像として投影される。従って、プレイヤ１５は、ビデオ映像４１のガイドに対応する投影ビデオ映像のガイドに従って、マーカ４３に対応する投影ビデオ映像上のマーカｍ（図示せず）の上に再帰反射シートＣＮ（図示せず）を置く。すると、プロセッサ２３は、投影ビデオ映像上のマーカｍの上に置かれた再帰反射シートＣＮのビデオ映像４１上のｘｙ座標（ＣＸ，ＣＹ）を求める。
次に、図９（ｂ）に示すように、プロセッサ２３は、キャリブレーションの第２ステップのためのビデオ映像（第２ステップ映像）４５を生成する。このビデオ映像４５は、その四隅に配置されたマーカＤ１〜Ｄ４を含む。マーカＤ１〜Ｄ４は、図８の画像Ｄ１〜Ｄ４に相当する。図８のようにして、ビデオ映像４５をスクリーン２１に投影するので、ビデオ映像４５にそのまま対応した映像が、投影ビデオ映像として投影される。従って、プレイヤは、ビデオ映像４５のガイドに対応する投影ビデオ映像のガイドに従って、マーカＤ１〜Ｄ４に対応する投影ビデオ映像上のマーカｄ１〜ｄ４の上に、再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢ（図示せず）を置く。マーカｄ１〜ｄ４は、図８の画像ｄ１〜ｄ４に相当する。すると、プロセッサ２３は、投影ビデオ映像上のマーカｄ１〜ｄ４の上に置かれた再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢのビデオ映像４５上のｘｙ座標（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）を求める。
図１０は、台形補正で使用する基準倍率の導出方法の説明図である。図１０を参照して、ビデオ映像では、その中心を原点として、水平軸をｘ軸、垂直軸をｙ軸とする。紙面右方向がｘ軸の正であり、紙面上方向がｙ軸の正である。
図９（ａ）で説明したマーカｍの上に配置された再帰反射シートＣＮのビデオ映像上のｘｙ座標を（ＣＸ，ＣＹ）とする。図９（ｂ）で説明したマーカｄ１〜ｄ４の上に配置された再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢのビデオ映像上のｘｙ座標を、それぞれ、（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）とする。再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢは、それぞれ、第４象限ｑ４、第１象限ｑ１、第２象限ｑ２及び第３象限ｑ３に位置する。
第１象限ｑ１に位置する再帰反射シートＲＵに着目して、第１象限ｑ１のｘｙ座標の基準倍率を求める。ｘ座標の基準倍率ＰＲＵＸ及びｙ座標の基準倍率ＰＲＵＹは、次式で求めることができる。
ＰＲＵＸ＝Ｒｘ／（ＲＵＸ−ＣＸ） …（１）
ＰＲＵＹ＝Ｒｙ／（ＲＵＹ−ＣＹ） …（２）
ここで、定数Ｒｘは、ビデオ映像上のマーカＤ２のｘ座標であり、定数Ｒｙは、ビデオ映像上のマーカＤ２のｙ座標である。
同様に、第２象限ｑ２に位置する再帰反射シートＲＢに着目して、第２象限ｑ２のｘｙ座標の基準倍率を求める。ｘ座標の基準倍率ＰＲＢＸ及びｙ座標の基準倍率ＰＲＢＹは、次式で求めることができる。
ＰＲＢＸ＝Ｒｘ／（ＲＢＸ−ＣＸ） …（３）
ＰＲＢＹ＝Ｒｙ／（ＣＹ−ＲＢＹ） …（４）
同様に、第３象限ｑ３に位置する再帰反射シートＬＢに着目して、第３象限ｑ３のｘｙ座標の基準倍率を求める。ｘ座標の基準倍率ＰＬＢＸ及びｙ座標の基準倍率ＰＬＢＹは、次式で求めることができる。
ＰＬＢＸ＝Ｒｘ／（ＣＸ−ＬＢＸ） …（５）
ＰＬＢＹ＝Ｒｙ／（ＣＹ−ＬＢＹ） …（６）
同様に、第４象限ｑ４に位置する再帰反射シートＬＵに着目して、第４象限ｑ４のｘｙ座標の基準倍率を求める。ｘ座標の基準倍率ＰＬＵＸ及びｙ座標の基準倍率ＰＬＵＹは、次式で求めることができる。
ＰＬＵＸ＝Ｒｘ／（ＣＸ−ＬＵＸ） …（７）
ＰＬＵＹ＝Ｒｙ／（ＬＵＹ−ＣＹ） …（８）
第１象限ｑ１にプレイヤ１５が操作する再帰反射シート１７が位置する場合は、そのビデオ映像上のｘ座標に基準倍率ＰＲＵＸを乗じ、ｙ座標に基準倍率ＰＲＵＹを乗じることにより、台形補正を行うことができる。第２象限ｑ２にプレイヤ１５が操作する再帰反射シート１７が位置する場合は、そのビデオ映像上のｘ座標に基準倍率ＰＲＢＸを乗じ、ｙ座標に基準倍率ＰＲＢＹを乗じることにより、台形補正を行うことができる。第３象限ｑ３にプレイヤ１５が操作する再帰反射シート１７が位置する場合は、そのビデオ映像上のｘ座標に基準倍率ＰＬＢＸを乗じ、ｙ座標に基準倍率ＰＬＢＹを乗じることにより、台形補正を行うことができる。第４象限ｑ４にプレイヤ１５が操作する再帰反射シート１７が位置する場合は、そのビデオ映像上のｘ座標に基準倍率ＰＬＵＸを乗じ、ｙ座標に基準倍率ＰＬＵＹを乗じることにより、台形補正を行うことができる。
しかし、このように、再帰反射シート１７が位置する象限に応じて一律に基準倍率で台形補正を施す場合、再帰反射シート１７の位置によっては、不都合が発生する。
例えば、第１象限ｑ１と第２象限ｑ２とが接する付近では、再帰反射シート１７がどちらの象限に位置したとしても、ｘ座標の基準倍率は、本来ほぼ同じになるはずである。ところが、象限に応じて一律に基準倍率で台形補正を施すと、第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸと第２象限ｑ２のｘ座標の基準倍率ＰＲＢＸとの差が大きい場合、第１象限ｑ１と第２象限ｑ２とが接する付近においても、同じようにその差が発生し、不連続になってしまう。
そこで、この場合、図１１（ａ）に示すように、ｙ軸に対するｘ座標の基準倍率の傾斜と第１象限ｑ１に位置する再帰反射シート１７のｙ座標とに基づいて、第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸを補正する。例えば、第１象限ｑ１に位置する再帰反射シート１７のｙ座標がＰＹの場合、ｙ軸に対するｘ座標の基準倍率の傾斜に基づき、基準倍率をＣＰＲＵＸに補正する。
図１０に戻って、例えば、第１象限ｑ１と第４象限ｑ４とが接する付近では、再帰反射シート１７がどちらの象限に位置したとしても、ｙ座標の基準倍率は、本来ほぼ同じになるはずである。ところが、象限に応じて一律に基準倍率で台形補正を施すと、第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹと第４象限ｑ４のｙ座標の基準倍率ＰＬＵＹとの差が大きい場合、第１象限ｑ１と第４象限ｑ４とが接する付近においても、同じようにその差が発生し、不連続になってしまう。
そこで、この場合、図１１（ｂ）に示すように、ｘ軸に対するｙ座標の基準倍率の傾斜と第１象限ｑ１に位置する再帰反射シート１７のｘ座標とに基づいて、第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹを補正する。例えば、第１象限ｑ１に位置する再帰反射シート１７のｘ座標がＰＸの場合、ｘ軸に対するｙ座標の基準倍率の傾斜に基づき、基準倍率をＣＰＲＵＹに補正する。
なお、同様に、第２象限ｑ２〜第４象限ｑ４のｘｙ座標の基準倍率も補正される。
以下、第１象限ｑ１のｘｙ座標の基準倍率の補正について詳細に説明する。
図１２を参照して、第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸ（式（１））を補正するための基準傾きＳＲＵＸは次式により算出される。
ＳＲＵＸ＝（｜ＰＲＵＸ−ＰＲＢＸ｜／２）／（ＲＵＹ−ＣＹ） …（９）
図１３を参照して、第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹ（式（２））を補正するための基準傾きＳＲＵＹは次式により算出される。
ＳＲＵＹ＝（｜ＰＲＵＹ−ＰＬＵＹ｜／２）／（ＲＵＸ−ＣＸ） …（１０）
同様に、第２象限ｑ２のｘ座標の基準倍率ＰＲＢＸ（式（３））を補正するための基準傾きＳＲＢＸは次式により算出される。
ＳＲＢＸ＝（｜ＰＲＵＸ−ＰＲＢＸ｜／２）／（ＣＹ−ＲＢＹ） …（１１）
同様に、第２象限ｑ２のｙ座標の基準倍率ＰＲＢＹ（式（４））を補正するための基準傾きＳＲＢＹは次式により算出される。
ＳＲＢＹ＝（｜ＰＲＢＹ−ＰＬＢＹ｜／２）／（ＲＢＸ−ＣＸ） …（１２）
同様に、第３象限ｑ３のｘ座標の基準倍率ＰＬＢＸ（式（５））を補正するための基準傾きＳＬＢＸは次式により算出される。
ＳＬＢＸ＝（｜ＰＬＵＸ−ＰＬＢＸ｜／２）／（ＣＹ−ＬＢＹ） …（１３）
同様に、第３象限ｑ３のｙ座標の基準倍率ＰＬＢＹ（式（６））を補正するための基準傾きＳＬＢＹは次式により算出される。
ＳＬＢＹ＝（｜ＰＲＢＹ−ＰＬＢＹ｜／２）／（ＣＸ−ＬＢＸ） …（１４）
同様に、第４象限ｑ４のｘ座標の基準倍率ＰＬＵＸ（式（７））を補正するための基準傾きＳＬＵＸは次式により算出される。
ＳＬＵＸ＝（｜ＰＬＵＸ−ＰＬＢＸ｜／２）／（ＬＵＹ−ＣＹ） …（１５）
同様に、第４象限ｑ４のｙ座標の基準倍率ＰＬＵＹ（式（８））を補正するための基準傾きＳＬＵＹは次式により算出される。
ＳＬＵＹ＝（｜ＰＲＵＹ−ＰＬＵＹ｜／２）／（ＣＸ−ＬＵＸ） …（１６）
図１４は、基準傾きＳＲＵＸを用いた第１象限ｑ１のｘ座標の基準倍率ＰＲＵＸの補正方法の説明図である。図１４を参照して、第１象限ｑ１に位置する再帰反射シート１７のｙ座標がＰＹとする。この場合、ｘ座標の基準倍率ＰＲＵＸの補正値ＣＰＲＵＸは、次式により算出される。
［ＰＲＵＸ＞ＰＲＢＸの場合（図１４の例）］
ＣＰＲＵＸ＝ＰＲＵＸ−｛（ＲＵＹ−ＰＹ）＊ＳＲＵＸ｝ …（１７）
［ＰＲＵＸ≦ＰＲＢＸの場合］
ＣＰＲＵＸ＝ＰＲＵＸ＋｛（ＲＵＹ−ＰＹ）＊ＳＲＵＸ｝ …（１８）
従って、第１象限ｑ１に位置する再帰反射シート１７のｘ座標ＰＸの台形補正後の値ＰＸ＃は次式のようになる。
ＰＸ＃＝ＰＸ＊ＣＰＲＵＸ …（１９）
図１５は、基準傾きＳＲＵＹを用いた第１象限ｑ１のｙ座標の基準倍率ＰＲＵＹの補正方法の説明図である。図１５を参照して、第１象限ｑ１に位置する再帰反射シート１７のｘ座標がＰＸとする。この場合、ｙ座標の基準倍率ＰＲＵＹの補正値ＣＰＲＵＹは、次式により算出される。
［ＰＲＵＹ＞ＰＬＵＹの場合］
ＣＰＲＵＹ＝ＰＲＵＹ−｛（ＲＵＸ−ＰＸ）＊ＳＲＵＹ｝ …（２０）
［ＰＲＵＹ≦ＰＬＵＹの場合（図１５の例）］
ＣＰＲＵＹ＝ＰＲＵＹ＋｛（ＲＵＸ−ＰＸ）＊ＳＲＵＹ｝ …（２１）
従って、第１象限ｑ１に位置する再帰反射シート１７のｙ座標ＰＹの台形補正後の値ＰＹ＃は次式のようになる。
ＰＹ＃＝ＰＹ＊ＣＰＲＵＹ …（２２）
同様に、第２象限ｑ２に位置する再帰反射シート１７のｙ座標がＰＹとする。この場合、ｘ座標の基準倍率ＰＲＢＸの補正値ＣＰＲＢＸは、次式により算出される。
［ＰＲＢＸ＞ＰＲＵＸの場合］
ＣＰＲＢＸ＝ＰＲＢＸ−｛（ＲＢＹ−ＰＹ）＊ＳＲＢＸ｝ …（２３）
［ＰＲＢＸ≦ＰＲＵＸの場合］
ＣＰＲＢＸ＝ＰＲＢＸ＋｛（ＲＢＹ−ＰＹ）＊ＳＲＢＸ｝ …（２４）
従って、第２象限ｑ２に位置する再帰反射シート１７のｘ座標ＰＸの台形補正後の値ＰＸ＃は次式のようになる。
ＰＸ＃＝ＰＸ＊ＣＰＲＢＸ …（２５）
同様に、第２象限ｑ２に位置する再帰反射シート１７のｘ座標がＰＸとする。この場合、ｙ座標の基準倍率ＰＲＢＹの補正値ＣＰＲＢＹは、次式により算出される。
［ＰＲＢＹ＞ＰＬＢＹの場合］
ＣＰＲＢＹ＝ＰＲＢＹ−｛（ＲＢＸ−ＰＸ）＊ＳＲＢＹ｝ …（２６）
［ＰＲＢＹ≦ＰＬＢＹの場合］
ＣＰＲＢＹ＝ＰＲＢＹ＋｛（ＲＢＸ−ＰＸ）＊ＳＲＢＹ｝ …（２７）
従って、第２象限ｑ２に位置する再帰反射シート１７のｙ座標ＰＹの台形補正後の値ＰＹ＃は次式のようになる。
ＰＹ＃＝ＰＹ＊ＣＰＲＢＹ …（２８）
同様に、第３象限ｑ３に位置する再帰反射シート１７のｙ座標がＰＹとする。この場合、ｘ座標の基準倍率ＰＬＢＸの補正値ＣＰＬＢＸは、次式により算出される。
［ＰＬＢＸ＞ＰＬＵＸの場合］
ＣＰＬＢＸ＝ＰＬＢＸ−｛（ＬＢＹ−ＰＹ）＊ＳＬＢＸ｝ …（２９）
［ＰＬＢＸ≦ＰＬＵＸの場合］
ＣＰＬＢＸ＝ＰＬＢＸ＋｛（ＬＢＹ−ＰＹ）＊ＳＬＢＸ｝ …（３０）
従って、第３象限ｑ３に位置する再帰反射シート１７のｘ座標ＰＸの台形補正後の値ＰＸ＃は次式のようになる。
ＰＸ＃＝ＰＸ＊ＣＰＬＢＸ …（３１）
同様に、第３象限ｑ３に位置する再帰反射シート１７のｘ座標がＰＸとする。この場合、ｙ座標の基準倍率ＰＬＢＹの補正値ＣＰＬＢＹは、次式により算出される。
［ＰＬＢＹ＞ＰＲＢＹの場合］
ＣＰＬＢＹ＝ＰＬＢＹ−｛（ＬＢＸ−ＰＸ）＊ＳＬＢＹ｝ …（３２）
［ＰＬＢＹ≦ＰＲＢＹの場合］
ＣＰＬＢＹ＝ＰＬＢＹ＋｛（ＬＢＸ−ＰＸ）＊ＳＬＢＹ｝ …（３３）
従って、第３象限ｑ３に位置する再帰反射シート１７のｙ座標ＰＹの台形補正後の値ＰＹ＃は次式のようになる。
ＰＹ＃＝ＰＹ＊ＣＰＬＢＹ …（３４）
同様に、第４象限ｑ４に位置する再帰反射シート１７のｙ座標がＰＹとする。この場合、ｘ座標の基準倍率ＰＬＵＸの補正値ＣＰＬＵＸは、次式により算出される。
［ＰＬＵＸ＞ＰＬＢＸの場合］
ＣＰＬＵＸ＝ＰＬＵＸ−｛（ＬＵＹ−ＰＹ）＊ＳＬＵＸ｝ …（３５）
［ＰＬＵＸ≦ＰＬＢＸの場合］
ＣＰＬＵＸ＝ＰＬＵＸ＋｛（ＬＵＹ−ＰＹ）＊ＳＬＵＸ｝ …（３６）
従って、第４象限ｑ４に位置する再帰反射シート１７のｘ座標ＰＸの台形補正後の値ＰＸ＃は次式のようになる。
ＰＸ＃＝ＰＸ＊ＣＰＬＵＸ …（３７）
同様に、第４象限ｑ４に位置する再帰反射シート１７のｘ座標がＰＸとする。この場合、ｙ座標の基準倍率ＰＬＵＹの補正値ＣＰＬＵＹは、次式により算出される。
［ＰＬＵＹ＞ＰＲＵＹの場合］
ＣＰＬＵＹ＝ＰＬＵＹ−｛（ＬＵＸ−ＰＸ）＊ＳＬＵＹ｝ …（３８）
［ＰＬＵＹ≦ＰＲＵＹの場合］
ＣＰＬＵＹ＝ＰＬＵＹ＋｛（ＬＵＸ−ＰＸ）＊ＳＬＵＹ｝ …（３９）
従って、第４象限ｑ４に位置する再帰反射シート１７のｙ座標ＰＹの台形補正後の値ＰＹ＃は次式のようになる。
ＰＹ＃＝ＰＹ＊ＣＰＬＵＹ …（４０）
図１６は、図１のスクリーン２１に投影されたモード選択画面６１の例示図である。図１６を参照して、モード選択画面６１は、モード選択のためのアイコン６５及び６３、並びに、カーソル６７Ｌ及び６７Ｒを含む。
カーソル６７Ｌは、再帰反射シート１７Ｌに連動し、カーソル６７Ｒは、再帰反射シート１７Ｒに連動する。この点、後述の図１７〜図２２でも同じである。
プレイヤ１５が再帰反射シート１７Ｌ及び１７Ｒにより操作するカーソル６７Ｌ及び６７Ｒの双方が、アイコン６５及び６３のいずれかに重なったら、３秒からのカウントダウン表示が開始され、３秒が経過したら入力が有効になり、カーソル６７Ｌ及び６７Ｒの双方が重なったアイコン６３又は６５に対応するモードに入る。つまり、カーソル６７Ｌ及び６７Ｒの双方が、１つのアイコンに３秒以上重なった場合に、そのアイコンに対する入力が有効になる。このように、一定時間継続して重なることを条件としたのは、誤入力を防止するためである。つまり、カーソルがアイコンに重複した時に直ちに入力を確定せずに、重複が一定時間継続して初めて入力を確定して、誤入力を防止する。なお、アイコン６３は、トレーニングモードに入るためのものであり、アイコン６５は、ゲームモードに入るためのものである。
ここで、カーソル６７Ｌ及び６７Ｒの位置は、それぞれ、再帰反射シート１７Ｌ及び１７Ｒの位置と一致又は略一致する。従って、プレイヤ１５は、再帰反射シートを装着した足を投影ビデオ映像上の所望の位置に運ぶことにより、対応するカーソルを投影ビデオ映像上の当該所望の位置に移動できる。この点、後述の図１７〜図２２でも同じである。
図１７は、図１のスクリーン２１に投影されたゲーム選択画面７１の例示図である。図１７を参照して、ゲーム選択画面７１は、ゲーム選択のためのアイコン７３及び７５、並びに、カーソル６７Ｌ及び６７Ｒを含む。プレイヤ１５が再帰反射シート１７Ｌ及び１７Ｒにより操作するカーソル６７Ｌ及び６７Ｒの双方が、アイコン７３及び７５のいずれかに重なったら、３秒からのカウントダウン表示が開始され、３秒が経過したら入力が有効になり、カーソル６７Ｌ及び６７Ｒの双方が重なったアイコン７３又は７５に対応するゲームが開始される。つまり、カーソル６７Ｌ及び６７Ｒの双方が、１つのアイコンに３秒以上重なった場合に（誤入力防止）、そのアイコンに対する入力が有効になる。なお、アイコン７３は、モグラ叩きゲームに入るためのものであり、アイコン７５は、フリーキックゲームに入るためのものである。
また、カーソル６７Ｌ及び６７Ｒの双方が、アイコン７７に重なったら、３秒からのカウントダウン表示が開始され、３秒が経過したら入力が有効になり（誤入力防止）、前画面（モード選択画面６１）に戻る。
図１８は、図１のスクリーン２１に投影されたモグラ叩き画面８１の例示図である。図１８を参照して、モグラ叩き画面８１は、４つの穴画像８３、経過時間表示部９３、得点表示部９５、並びに、カーソル６７Ｌ及び６７Ｒを含む。
モグラ画像９１が、４つの穴画像８３からランダムに出現する。プレイヤ１５は、再帰反射シート１７Ｌ又は１７Ｒを操作して、モグラ画像９１が出現したタイミングで、カーソル６７Ｌ又は６７Ｒをモグラ画像９１に重ねることを試みる。タイミングよくカーソル６７Ｌ又は６７Ｒをモグラ画像９１に重ねることができたら、得点表示部９５の得点が１点アップする。経過時間表示部９３は、３０秒からのカウントダウン結果を表示し、結果が０秒になったらゲームは終了する。
プレイヤ１５は、モグラ画像９１を再帰反射シート１７Ｌ又は１７Ｒを装着した足でタイミング良く踏み込むことにより、対応するカーソル６７Ｌ又は６７Ｒをモグラ画像９１に重ねることができる。なぜなら、スクリーン２１上において、再帰反射シートの位置とカーソルの位置とは、一致又は略一致しているからである。
なお、穴画像８３は、水平一列に表示したが、水平に複数列表示することもできる。列が多いほど難易度が高くなる。また、穴画像８３の数は任意の数とすることができる。また、複数の穴画像８３から同時に複数のモグラ画像９１を出現させることができる。同時に出現するモグラ画像９１の数が多いほど難易度が高くなる。また、モグラ画像９１の出現間隔を調整することにより、難易度を調整できる。
図１９は、図１のスクリーン２１に投影されたフリーキック画面１０１の例示図である。図１９を参照して、フリーキック画面１０１は、ボール画像１０３、経過時間表示部９３、得点表示部９５、並びに、カーソル６７Ｌ及び６７Ｒを含む。
ボール画像１０３は、画面上端から下端に向かって鉛直にかつ一定速度で下降する。画面上端のどの位置からボール画像１０３を出現させるかはランダムに決定される。ボール画像１０３は、次々に出現し下降してくるので、プレイヤは、再帰反射シート１７Ｌ又は１７Ｒを操作して、下降してくるボール画像１０３にカーソル６７Ｌ又は６７Ｒを移動させる。この場合、カーソルの速度が一定値以上で、ボール画像１０３に接触した場合に、ボール画像１０３は、反対方向に打ち返され、得点表示部９５の得点が１点アップする。一方、カーソルがボール画像１０３に接触した場合でも、カーソルの速度が一定値未満である場合は、ボール画像１０３は、打ち返されることなく、画面下端で消滅する。経過時間表示部９３は、３０秒からのカウントダウン結果を表示し、結果が０秒になったらゲームは終了する。
プレイヤ１５は、再帰反射シート１７Ｌ又は１７Ｒを装着した足でボール画像１０３をタイミング良く蹴るような動作を行うことにより、対応するカーソル６７Ｌ又は６７Ｒをボール画像１０３に接触させることができる。なぜなら、スクリーン２１上において、再帰反射シートの位置とカーソルの位置とは、一致又は略一致しているからである。
図２０は、図１のスクリーン２１に投影された片脚ジャンプ画面１１１の例示図である。この片脚ジャンプ画面１１１では、プレイヤ１５に、連続して片脚跳びを行わせるものであり、前半１５秒は、左脚でプレイし、後半１５秒は、右脚でプレイする。
図２０を参照して、片脚ジャンプ画面１１１は、左脚得点表示部１１５、右脚得点表示部１１９、経過時間表示部１１７、誘導画像１１３、並びに、カーソル６７Ｌ及び６７Ｒを含む。
プレイヤ１５が、左脚でジャンプしてカーソル６７Ｌが誘導画像１１３に重なると、左脚得点表示部１１５の得点が１点アップすると共に、誘導画像１１３が、別の位置に移動する。プレイヤ１５は、移動後の誘導画像１１３に、カーソル６７Ｌが重なるように左脚でジャンプする。すると、左脚得点表示部１１５の得点が１点アップすると共に、誘導画像１１３が、別の位置に移動する。このようなプレイを１５秒繰り返す。なお、本実施の形態では、誘導画像１１３は、三角形の３頂点を反時計回りに移動する。
左脚でのプレイが１５秒経過すると、右脚でのプレイを行うように指示するガイドが表示される。プレイヤ１５が、右脚でジャンプしてカーソル６７Ｒが誘導画像１１３に重なると、右脚得点表示部１１９の得点が１点アップすると共に、誘導画像１１３が、別の位置に移動する。プレイヤ１５は、移動後の誘導画像１１３に、カーソル６７Ｒが重なるように右脚でジャンプする。すると、右脚得点表示部１１９の得点が１点アップすると共に、誘導画像１１３が、別の位置に移動する。このようなプレイを１５秒繰り返す。なお、本実施の形態では、誘導画像１１３は、三角形の３頂点を時計回りに移動する。
経過時間表示部１１７は、３０秒からのカウントダウン結果を表示し、結果が０秒になったらゲームは終了する。なお、左脚でのプレイを指示する場合は、左足裏を表す誘導画像１１３が表示され、右脚でのプレイを指示する場合は、右足裏を表す誘導画像１１３が表示される。
プレイヤ１５は、再帰反射シート１７Ｌ又は１７Ｒを装着した足で誘導画像１１３を踏み込むことにより、対応するカーソル６７Ｌ又は６７Ｒを誘導画像１１３に移動することができる。なぜなら、スクリーン２１上において、再帰反射シートの位置とカーソルの位置とは、一致又は略一致しているからである。
図２１は、図１のスクリーン２１に投影された両脚跳び画面１２１の例示図である。図２１を参照して、両脚跳び画面１２１は、経過時間表示部１１７、得点表示部１２７、鉛直に延びる三本のライン１２９、誘導画像１２３、並びに、カーソル６７Ｌ及び６７Ｒを含む。三本のライン１２９により、画面は４つの領域１３５に分割される。
両脚跳び画面１２１では、プレイヤ１５に、両脚でのジャンプを行わせるものである。具体的には、プレイヤ１５は、誘導画像１２３に従って、ライン１２９を両脚でジャンプして飛び越えることを試みる。
プレイヤ１５が、両脚でジャンプしてカーソル６７Ｌ及び６７Ｒの双方が誘導画像１２３が位置する領域１３５に移動すると、得点表示部１２７の得点が１点アップすると共に、誘導画像１２３が、他の領域１３５に移動する。プレイヤ１５は、移動後の誘導画像１２３が位置する領域１３５に、カーソル６７Ｌ及び６７Ｒの双方が移動するようにジャンプする。すると、得点表示部１２７の得点が１点アップすると共に、誘導画像１２３が、他の領域１３５に移動する。このようなプレイを３０秒繰り返す。
経過時間表示部１１７は、３０秒からのカウントダウン結果を表示し、結果が０秒になったらゲームは終了する。
プレイヤ１５は、再帰反射シート１７Ｌ及び１７Ｒを装着した足で誘導画像１２３が位置する領域１３５にジャンプして移動することにより、対応するカーソル６７Ｌ及び６７Ｒを当該領域１３５に移動することができる。なぜなら、スクリーン２１上において、再帰反射シートの位置とカーソルの位置とは、一致又は略一致しているからである。
図２２は、図１のスクリーン２１に投影された片脚立ち画面１５１の例示図である。片脚立ち画面１５１では、プレイヤ１５に、開眼での左片脚立ち、開眼での右片脚立ち、閉眼での左片脚立ち及び閉眼での右片脚立ちを、それぞれ３０秒間行わせるものである。
図２２を参照して、片脚立ち画面１５１は、経過時間表示部１１７、足裏画像１５５、指示欄１５４、並びに、カーソル６７Ｌ又は６７Ｒを含む。
指示欄１５４は、開眼での左片脚立ち、開眼での右片脚立ち、閉眼での左片脚立ち及び閉眼での右片脚立ちのいずれかを文字及び目を表す画像により指示する。本実施の形態では、開眼での左片脚立ち、開眼での右片脚立ち、閉眼での左片脚立ち及び閉眼といった順番で、指示が行われる。各３０秒間である。また、足裏画像１５５が、左足裏を表している場合は、左脚立ちを指示しており、右足裏を表している場合は、右脚立ちを指示している。
図２２の例では、指示欄１５４は、開眼での右片脚立ちを指示している。この場合、プレイヤ１５は、カーソル６７Ｒが足裏画像１５５に重なるように、右脚で立つことを試みる。カーソル６７Ｒが、足裏画像１５５に重なっている間は、ＯＫカウンタがカウントアップされ、カーソル６７Ｒが、足裏画像１５５に重なっていない間は、ＮＧカウンタがカウントアップされる。経過時間表示部１１７の時間が３０秒から０秒になったら、開眼での右片脚立ちは終了し、指示欄１５４は次の指示を表示する。
プレイヤ１５は、再帰反射シート１７Ｌ又は１７Ｒを装着した足で足裏画像１５５の上にのり、片脚で立つことにより、対応するカーソル６７Ｌ又は６７Ｒを足裏画像１５５内に留めることができる。なぜなら、スクリーン２１上において、再帰反射シートの位置とカーソルの位置とは、一致又は略一致しているからである。
なお、図１６〜図２０及び図２２では、カーソルが所定画像（６３，６５，７３，７５，７７，９１，１０３，１１３，１５５）に重なることを要件としたが、接触した場合でも重なった場合と同じ扱いをすることもできる。
図２３は、図３のプロセッサ２３による前処理（台形補正のためのパラメータ（基準倍率及び基準傾き）を求めるための処理）の流れを示すフローチャートである。図２３を参照して、ステップＳ１にて、プロセッサ２３は、第１ステップ映像４１を生成して、プロジェクタ１１に与える（図９（ａ）参照）。すると、プロジェクタ１１は、ステップＳ４１にて、第１ステップ映像４１を上下にミラー反転し、ステップＳ４３にて、それをスクリーン２１に投影する。
ステップＳ３にて、プロセッサ２３は、マーカｍの上に置かれた再帰反射シートＣＮの撮影処理を実行する（図９（ａ）の説明参照）。ステップＳ５にて、プロセッサ２３は、再帰反射シートＣＮの第１ステップ映像４１上のｘｙ座標（ＣＸ，ＣＹ）を算出する。ステップＳ７にて、プロセッサ２３は、プレイヤ１５が決定キー（スイッチ部２２）を押下したか否かを判断し、押下した場合ステップＳ９に進み、それ以外はステップＳ１に戻る。ステップＳ９にて、プロセッサ２３は、算出した座標（ＣＸ，ＣＹ）を外部メモリ２５に格納する。
ステップＳ１１にて、プロセッサ２３は、第２ステップ映像４５を生成する（図９（ｂ）参照）。すると、プロジェクタ１１は、ステップＳ４５にて、第２ステップ映像４５を上下にミラー反転し、ステップＳ４７にて、それをスクリーン２１に投影する。
ステップＳ１３にて、プロセッサ２３は、マーカｄ１〜ｄ４の上に置かれた再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢの撮影処理を実行する（図９（ｂ）の説明参照）。ステップＳ１５にて、プロセッサ２３は、再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢの第２ステップ映像４５上のｘｙ座標（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）を算出する。ステップＳ１７にて、プロセッサ２３は、プレイヤ１５が決定キー（スイッチ部２２）を押下したか否かを判断し、押下した場合ステップＳ１９に進み、それ以外はステップＳ１１に戻る。ステップＳ１９にて、プロセッサ２３は、算出した座標（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）を外部メモリ２５に格納する。
ステップＳ２１にて、プロセッサ２３は、ステップＳ９及びＳ１９で格納した座標、並びに、式（１）〜式（８）を用いて、基準倍率ＰＲＵＸ，ＰＲＵＹ，ＰＬＵＸ，ＰＬＵＹ，ＰＲＢＸ，ＰＲＢＹ，ＰＬＢＸ及びＰＬＢＹを算出する。ステップＳ２３にて、プロセッサ２３は、算出した基準倍率を外部メモリ２５に格納する。
ステップＳ２５にて、プロセッサ２３は、ステップＳ９及びＳ１９で格納した座標、ステップＳ２３で格納した基準倍率、並びに、式（９）〜式（１６）に基づいて、基準傾きＳＲＵＸ，ＳＲＵＹ，ＳＬＵＸ，ＳＬＵＹ，ＳＲＢＸ，ＳＲＢＹ，ＳＬＢＸ及びＳＬＢＹを算出する。ステップＳ２７にて、プロセッサ２３は、算出した基準傾きを外部メモリ２５に格納する。
ステップＳ２９にて、プロセッサ２３は、前処理が完了したことをプレイヤ１５に示す前処理完了映像を生成し、プロジェクタ１１に与える。すると、プロジェクタ１１は、ステップＳ４９にて、前処理完了映像を上下にミラー反転し、ステップＳ５１にて、それをスクリーン２１に投影する。
図２４は、図２３のステップＳ３の撮影処理の流れを示すフローチャートである。図２４を参照して、ステップＳ６１において、プロセッサ２３は、イメージセンサ２７に赤外発光ダイオード７を点灯させる。ステップＳ６３にて、プロセッサ２３は、イメージセンサ２７に赤外光点灯時の撮影を実行させる。ステップＳ６５にて、プロセッサ２３は、イメージセンサ２７に赤外発光ダイオード７を消灯させる。ステップＳ６７にて、プロセッサ２３は、イメージセンサ２７に赤外光消灯時の撮影を実行させる。ステップＳ６９にて、プロセッサ２３は、イメージセンサ２７に、赤外光点灯時の画像と赤外光消灯時の画像との差分画像（カメラ画像）を生成及び出力させる。以上のようにして、プロセッサ２３の制御に応答して、イメージセンサ２７は、赤外光の点灯時及び消灯時の撮影、つまり、ストロボ撮影を実行する。また、以上の制御により、赤外発光ダイオード７は、ストロボスコープとして機能する。
なお、図２３のステップＳ１３の撮影処理は、図２４の撮影処理と同じであり、説明を省略する。
図２５は、図２３のステップＳ５の座標算出処理の流れを示すフローチャートである。図２５を参照して、ステップＳ８１にて、プロセッサ２３は、イメージセンサ２７から受け取ったカメラ画像（差分画像）から再帰反射シートＣＮの像を抽出する。ステップＳ８３にて、プロセッサ２３は、再帰反射シートＣＮの像に基づいて、再帰反射シートＣＮのカメラ画像上のＸＹ座標を決定する。ステップＳ８５にて、プロセッサ２３は、再帰反射シートＣＮのカメラ画像上のＸＹ座標を、スクリーン座標系のｘｙ座標に変換する。スクリーン座標系は、プロセッサ２３が生成するビデオ映像が配置される座標系である。ステップＳ８７にて、プロセッサ２３は、ステップＳ８５で求めたｘｙ座標を上下にミラー反転して、ｘｙ座標（ＣＸ，ＣＹ）を得る。この処理を行う理由は、図８で説明した通りである。ちなみに、ステップＳ８３で求めたＸＹ座標を上下にミラー反転し、得られた座標を、ステップＳ８５に与えてもよい。この場合、ステップＳ８５の出力が、ｘｙ座標（ＣＸ，ＣＹ）であり、ステップＳ８７はない。
なお、図２３のステップＳ１５の座標算出処理は、図２５の座標算出処理と同様である。ただし、ステップＳ１５の座標算出処理においては、図２５の説明において、再帰反射シートＣＮを再帰反射シートＬＵ，ＲＵ，ＲＢ及びＬＢに読み替え、ｘｙ座標（ＣＸ，ＣＹ）をｘｙ座標（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）と読み替える。
図２６は、図２３の前処理の完了後に実行される、図３のプロセッサ２３による全体処理の流れを示すフローチャートである。図２６を参照して、ステップＳ１０１にて、プロセッサ２３は、撮影処理を実行する。この処理は、図２４の処理と同じであり、説明を省略する。ステップＳ１０３にて、プロセッサ２３は、再帰反射シート１７Ｌ及び１７Ｒのビデオ映像上のｘｙ座標（ＰＸＬ，ＰＹＬ）及び（ＰＸＲ，ＰＹＲ）を算出する。この処理は、図２５の処理と同様である。ただし、ステップＳ１０３の座標算出処理においては、図２５の説明において、再帰反射シートＣＮを再帰反射シート１７Ｌ及び１７Ｒに読み替え、ｘｙ座標（ＣＸ，ＣＹ）をｘｙ座標（ＰＸＬ，ＰＹＬ）及び（ＰＸＲ，ＰＹＲ）と読み替える。
ステップＳ１０５にて、プロセッサ２３は、式（１７）〜式（４０）に基づいて、ステップＳ１０３で求めた座標（ＰＸＬ，ＰＹＬ）及び（ＰＸＲ，ＰＹＲ）に対して台形補正を実行し、台形補正後の座標（ＰＸ＃Ｌ，ＰＹ＃Ｌ）及び（ＰＸ＃Ｒ，ＰＹ＃Ｒ）を得る。
ステップＳ１０７にて、プロセッサ２３は、台形補正後の座標（ＰＸ＃Ｌ，ＰＹ＃Ｌ）及び（ＰＸ＃Ｒ，ＰＹ＃Ｒ）を、それぞれ、カーソル６７Ｌ及び６７Ｒの座標に設定する。従って、カーソル６７Ｌ及び６７Ｒの座標と台形補正後のビデオ映像上の再帰反射シート１７Ｌ及び１７Ｒの座標とは同義である。
ステップＳ１０９にて、プロセッサ２３は、ゲーム処理を実行する（例えば、図１６〜図２２の各種画面の制御）。ステップＳ１１１にて、プロセッサ２３は、ステップＳ１０９の処理結果に応じたビデオ映像（例えば、図１６〜図２２の各種画面）を生成して、プロジェクタ１１に与え、ステップＳ１０１に戻る。プロジェクタ１１は、プロセッサ２３から受け取ったビデオ映像を上下にミラー反転して、スクリーン２１に投影する。
なお、ＰＸＬ及びＰＸＲを区別して説明する必要がない場合は、ＰＸと表記し、ＰＹＬ及びＰＹＲを区別して説明する必要がない場合は、ＰＹと表記し、ＰＸ＃Ｌ及びＰＸ＃Ｒを区別して説明する必要がない場合は、ＰＸ＃と表記し、ＰＹ＃Ｌ及びＰＹ＃Ｒを区別して説明する必要がない場合は、ＰＹ＃と表記することがある。
図２７は、図２６のステップＳ１０５の台形補正処理の流れを示すフローチャートである。図２７を参照して、ステップＳ１２１にて、プロセッサ２３は、図２６のステップＳ１０３で格納した再帰反射シート１７のｘｙ座標（ＰＸ，ＰＹ）と、図２３のステップＳ１９で格納したｘｙ座標（ＬＵＸ，ＬＵＹ），（ＲＵＸ，ＲＵＹ），（ＲＢＸ，ＲＢＹ）及び（ＬＢＸ，ＬＢＹ）と、図２３のステップＳ２３で格納した基準倍率ＰＲＵＸ，ＰＲＵＹ，ＰＬＵＸ，ＰＬＵＹ，ＰＲＢＸ及びＰＲＢＹと、図２３のステップＳ２７で格納した基準傾きＳＲＵＸ，ＳＲＵＹ，ＳＬＵＸ，ＳＬＵＹ，ＳＲＢＸ，ＳＲＢＹ，ＳＬＢＸ及びＳＬＢＹと、式（１７），式（１８），式（２０），式（２１），式（２３），式（２４），式（２６），式（２７），式（２９），式（３０），式（３２），式（３３），式（３５），式（３６），式（３８）及び式（３９）と、に基づいて、基準倍率の補正値（以下、「個別倍率」と呼ぶ。）ＣＰＲＵＸ，ＣＰＲＵＹ，ＣＰＬＵＸ，ＣＰＬＵＹ，ＣＰＲＢＸ，ＣＰＲＢＹ，ＣＰＬＢＸ及びＣＰＬＢＹを算出する。
ステップＳ１２３にて、プロセッサ２３は、図２６のステップＳ１０３で格納した再帰反射シート１７のｘｙ座標（ＰＸ，ＰＹ）と、ステップＳ１２１で算出した個別倍率と、式（１９），式（２２），式（２５），式（２８），式（３１），式（３４），式（３７）及び式（４０）と、に基づいて、台形補正後の再帰反射シート１７のｘｙ座標（ＰＸ＃，ＰＹ＃）を算出する。
ステップＳ１２５にて、プロセッサ２３は、左右の再帰反射シート１７Ｌ及び１７Ｒについて、ステップＳ１２１及びＳ１２３の処理が完了したか否かを判断し、完了していない場合ステップＳ１２１に戻り、完了した場合リターンする。
図２８は、図２６のステップＳ１０９のゲーム処理の第１の例の流れを示すフローチャートである。例えば、図１６及び図１７の画面制御は、この図２８の処理によって実行される。
図２８を参照して、ステップＳ１４３にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒの双方がアイコン（図１６及び図１７の例では、アイコン６３，６５，７３，７５，７７）に重複しているか否かを判断し、重複している場合ステップＳ１４５に進み、それ以外はステップＳ１５１に進む。ステップＳ１４５では、プロセッサ２３は、タイマをカウントアップしてステップＳ１４７に進む。ステップＳ１４７にて、プロセッサ２３は、タイマを参照して、カーソル６７Ｌ及び６７Ｒがアイコンに重なって所定時間（図１６及び図１７の例では、３秒）が経過したか否かを判断し、経過した場合ステップＳ１４９に進み、経過していない場合リターンする。ステップＳ１４９にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒが重なっているアイコンに応じて、他の選択画面又はゲーム開始画面を設定してリターンする。さて、ステップＳ１４３で「ＮＯ」が判断された後、ステップＳ１５１では、プロセッサ２３は、タイマを０にリセットしてリターンする。
図２９は、図２６のステップＳ１０９のゲーム処理の第２の例の流れを示すフローチャートである。例えば、図１８の画面制御は、この図２９の処理によって実行される。
図２９を参照して、ステップＳ１６１にて、プロセッサ２３は、ターゲット（図１８の例では、モグラ画像９１）のアニメーションの設定タイミングか否かを判断し、設定タイミングの場合ステップＳ１６３に進み、それ以外はステップＳ１６５に進む。ステップＳ１６３では、プロセッサ２３は、ターゲットのアニメーションを設定する（図１８の例では、モグラ画像９１が４つの穴画像８３のうちの１つから出現するアニメーションの設定）。
ステップＳ１６５にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒのいずれかが、ターゲットに重複したか否かを判断し、重複した場合ステップＳ１６７に進み、それ以外はステップＳ１７１に進む。ステップＳ１６７では、プロセッサ２３は、得点表示部９５への加点処理を実行する。ステップＳ１６９では、プロセッサ２３は、成功を表すエフェクト（画像及び音声）の設定を行う。
ステップＳ１７１にて、プロセッサ２３は、経過時間表示部９３のプレイ時間が０になったか否かを判断し、０の場合ステップＳ１７３に進み、それ以外はリターンする。ステップＳ１７１で「ＹＥＳ」が判断された後、ステップＳ１７３では、プロセッサ２３は、ゲームを終了し、選択画面の設定を行い、リターンする。
図３０は、図２６のステップＳ１０９のゲーム処理の第３の例の流れを示すフローチャートである。例えば、図１９の画面制御は、この図３０の処理によって実行される。
図３０を参照して、ステップＳ２４１にて、プロセッサ２３は、ターゲット（図１９の例では、ボール画像１０３）のアニメーションの設定タイミングか否かを判断し、設定タイミングの場合ステップＳ２４３に進み、それ以外はステップＳ２４５に進む。ステップＳ２４３では、プロセッサ２３は、ターゲットのアニメーションを設定する（図１９の例では、ボール画像１０３が画面上縁のいずれかから出現し下降するアニメーションの設定）。ステップＳ２４５にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒの速度のｙ成分ｖｃＬ及びｖｃＲを算出する。なお、図では、ｙ成分ｖｃＬ及びｖｃＲを包括してｖｃと表記している。
ステップＳ２４７にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒのいずれかが、ターゲットに重複（接触を含む。）したか否かを判断し、重複した場合ステップＳ２４９に進み、それ以外はステップＳ２５５に進む。ステップＳ２４９にて、プロセッサ２３は、ターゲットに接触したカーソルの速度のｙ成分が閾値Ｔｈｖを超えているか否かを判断し、超えている場合ステップＳ２５１に進み、それ以外はステップＳ２５５に進む。
ステップＳ２５１では、プロセッサ２３は、得点表示部９５への加点処理を実行する。ステップＳ２５３では、プロセッサ２３は、成功を表すエフェクト（画像及び音声）の設定を行う。
ステップＳ２５５にて、プロセッサ２３は、経過時間表示部９３のプレイ時間が０になったか否かを判断し、０の場合ステップＳ２５７に進み、それ以外はリターンする。ステップＳ２５５で「ＹＥＳ」が判断された後、ステップＳ２５７では、プロセッサ２３は、ゲームを終了し、選択画面の設定を行い、リターンする。
図３１は、図２６のステップＳ１０９のゲーム処理の第４の例の流れを示すフローチャートである。例えば、図２０及び図２１の画面制御は、この図３１の処理によって実行される。
図３１を参照して、ステップＳ１９３にて、プロセッサ２３は、カーソル（図２０の場合、カーソル６７Ｌ及び６７Ｒのうち指示された足に対応するもの、図２１の場合、カーソル６７Ｌ及び６７Ｒの双方）がターゲット（図２０の例では、誘導画像１１３、図２１の例では、誘導画像１２３が位置する領域１３５）に重複したか否かを判断し、重複した場合ステップＳ１９５に進み、それ以外はステップＳ１９９に進む。
ステップＳ１９５にて、プロセッサ２３は、得点表示部（図２０の例では、得点表示部１１５及び１１９のうち指示された足に対応するもの、図２１の例では、得点表示部１２７）への加点処理を実行する。ステップＳ１９７では、プロセッサ２３は、ターゲット（図２０の例では、誘導画像１１３、図２１の例では、誘導画像１２３）の設定（位置）を変更する。
ステップＳ１９９にて、プロセッサ２３は、経過時間表示部１１７の１プレイ時間（図２０の例では、１５秒、図２１の例では、３０秒）が終了したか否かを判断し、終了した場合ステップＳ２００に進み、それ以外はリターンする。ステップＳ２００では、プロセッサ２３は、全プレイ（図２０の例では、左脚と右脚、図２１の例では、１プレイのみ）が終了したか否かを判断し、終了した場合ステップＳ２０１に進み、それ以外はステップＳ２０３に進む。
ステップＳ２００で「ＮＯ」が判断された後、ステップＳ２０３にて、プロセッサ２３は、ターゲット（図２０の例では、誘導画像１１３）の設定を変更し、リターンする。一方、ステップＳ２００で「ＹＥＳ」が判断された後、ステップＳ２０１では、プロセッサ２３は、ゲームを終了し、選択画面の設定を行い、リターンする。
図３２は、図２６のステップＳ１０９のゲーム処理の第５の例の流れを示すフローチャートである。例えば、図２２の画面制御は、この図３２の処理によって実行される。
図３２を参照して、ステップＳ２１１にて、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒのいずれかがターゲット（図２２の例では、足裏画像１５５）に重複しているか否かを判断し、重複している場合ステップＳ２１３に進み、それ以外はステップＳ２１５に進む。ステップＳ２１３では、プロセッサ２３は、カーソル６７Ｌ及び６７Ｒのいずれかがターゲットに重複している時間を計数するＯＫタイマをカウントアップする。一方、ステップＳ２１５では、カーソル６７Ｌ及び６７Ｒがターゲットに重複していない時間を計数するＮＧタイマをカウントアップする。
ステップＳ２１７にて、プロセッサ２３は、経過時間表示部１１７の１プレイ時間（図２２の例では、３０秒）が終了したか否かを判断し、終了した場合ステップＳ２１９に進み、それ以外はリターンする。ステップＳ２１９では、プロセッサ２３は、全プレイ（図２２の例では、開眼での左片脚立ち、開眼での右片脚立ち、閉眼での左片脚立ち及び閉眼での右片脚立ち）が終了したか否かを判断し、終了した場合ステップＳ２２３に進み、それ以外はステップＳ２２１に進む。
ステップＳ２１９で「ＮＯ」が判断された後、ステップＳ２２１では、プロセッサ２３は、ターゲット（図２２の例では、足裏画像１５５及び指示欄１５４）の設定を変更し、リターンする。一方、ステップＳ２１９で「ＹＥＳ」が判断された後、ステップＳ２２３では、プロセッサ２３は、ゲームを終了し、選択画面の設定を行い、リターンする。
さて、以上のように、本実施の形態によれば、実空間中のスクリーン２１上において、実空間中の再帰反射シート（被写体）１７の位置と投影されたビデオ映像中のカーソル６７の位置とが一致又は略一致するように、カーソル６７の位置を調整する。このため、プレイヤ１５は、スクリーン２１に映し出されたビデオ映像の上で再帰反射シート１７を動かし、その再帰反射シート１７でビデオ映像中の所望の位置を直接指し示すことにより、プロセッサ２３に対する入力を行うことができる。なぜなら、実空間のスクリーン２１上において、実空間中の再帰反射シート１７の位置と投影されたビデオ映像中のカーソル６７の位置とは略一致するので、プロセッサ２３は、カーソル６７を介して、再帰反射シート１７が置かれているビデオ映像中の位置を認識できるからである。
また、本実施の形態では、イメージセンサ２７から見て再帰反射シート１７が奥から手前へ移動した場合に、イメージセンサ２７から見て投影されたカーソル６７が奥から手前へ移動するようにカーソル６７の位置を決定し、かつ、イメージセンサ２７から見て再帰反射シート１７が手前から奥へ移動した場合に、イメージセンサ２７から見て投影されたカーソル６７が手前から奥へ移動するようにカーソル６７の位置を決定し、かつ、イメージセンサ２７から見て再帰反射シート１７が右から左へ移動した場合に、イメージセンサ２７から見て投影されたカーソル６７が右から左へ移動するようにカーソル６７の位置を決定し、かつ、イメージセンサ２７から見て再帰反射シート１７が左から右へ移動した場合に、イメージセンサ２７から見て投影されたカーソル６７が左から右へ移動するようにカーソル６７の位置を決定する。
このため、プレイヤ１５の前方において、再帰反射シート１７を俯瞰する位置から撮像する場合（以下、「俯瞰の場合」と呼ぶ。）においても、プレイヤ１５が操作する再帰反射シート１７の移動方向と、スクリーン２１上のカーソル６７の移動方向と、が感覚的に一致するので、入力のストレスを極力抑制しながら、プロセッサ２３に対して、容易に入力を行うことができる。
ちなみに、プレイヤの前方において、再帰反射シートを仰視する位置から撮像する場合（以下、「仰視の場合」と呼ぶ。）、通常、イメージセンサから見て再帰反射シートが奥から手前へ移動した場合に、垂直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定し、また、イメージセンサから見て再帰反射シートが手前から奥へ移動した場合に、垂直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定する。
ところが、俯瞰の場合に、仰視の場合と同じアルゴリズムでカーソルを制御すると、イメージセンサから見て再帰反射シートが奥から手前へ移動した場合に、鉛直に設置されたスクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定し、また、イメージセンサから見て再帰反射シートが手前から奥へ移動した場合に、スクリーンに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定してしまうことになる。これでは、プレイヤが操作する再帰反射シートの移動方向と、スクリーン上のカーソルの移動方向と、が感覚的に一致しない。このため、入力にストレスが伴い、スムーズな入力を行うことができない。
このような結果を引き起こすのは、俯瞰の場合、イメージセンサの光軸ベクトルＶの鉛直成分Ｖｖが鉛直下方を向いており、イメージセンサの上下方向とプレイヤの上下方向とが一致しないからである（図４参照）。
また、多くの場合、イメージセンサの光軸ベクトルＶが鉛直成分を持たないか（つまり、撮像面が鉛直面と平行な場合）、あるいは、光軸ベクトルＶの鉛直成分Ｖｖが鉛直上方を向いており、イメージセンサの上下方向とプレイヤの上下方向とが一致するように、イメージセンサが設置され、このような使用に慣れているからである。
ここで、イメージセンサの光軸ベクトルＶの鉛直成分Ｖｖの終点から始点を向く方向をイメージセンサの下方とし、始点から終点を向く方向をイメージセンサの上方とする（図４参照）。また、プレイヤの足（ｆｏｏｔ）から頭部を向く方向をプレイヤの上方とし、頭部から足を向く方向をプレイヤの下方とする。
さらに、本実施の形態によれば、カメラ画像に基づき得られた再帰反射シート１７の位置に対して、台形補正を実行する。このため、光軸が被撮影面に対して斜めになる様に配置されるイメージセンサ２７により、被撮影面上の再帰反射シート１７を撮像し、そのカメラ画像に基づいて、再帰反射シート１７の動きを解析し、それに連動するカーソル６７を生成する場合においても、プレイヤが操作する再帰反射シート１７の動きと、カーソル６７の動きと、が一致又は略一致する。なぜなら、カーソル６７の位置を決定する再帰反射シート１７の位置に対して台形補正を施しているからである。その結果、プレイヤは、違和感を極力抑制した入力を行うことができる。
さらに、本実施の形態によれば、赤外発光ダイオード７を間欠的に駆動し、点灯時及び消灯時の差分画像（カメラ画像）を生成し、これに基づいて、再帰反射シート１７の動きを解析している。このように、差分画像を求めることで、再帰反射シート１７からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１７のみを検出できる。
さらに、本実施の形態では、様々なオブジェクト（６３，６５，７３，７５，７７，９１，１０３，１１３，１２３，１５５）を投影ビデオ映像に表示するので、これらを、コマンドを発行するためのアイコンとして使用したり、ビデオゲーム中の様々なアイテム等として使用できる。
また、プロセッサ２３は、カーソル６７が、所定条件を満足するように、移動する所定画像（例えば、図１９のボール画像１０３）と接触又は重なったか否かを判定する（例えば、図３０のステップＳ２４９）。このため、プレイヤ１５は単にカーソル６７が所定画像に接触等するように再帰反射シート１７を操作するだけでは足らず、所定条件を満足するように再帰反射シート１７を操作しなければならない。これにより、ゲーム性や難易度を向上できる。なお、この所定条件は、図３０のゲームでは、カーソル６７が一定速度を超えていることであったが、ゲームの仕様に応じた条件を設定できる。
さらに、本実施の形態では、カメラユニット５は再帰反射シート１７を俯瞰する位置から撮像する。このため、プレイヤ１５は、床面に置かれたスクリーン２１又は床面上で再帰反射シート１７を動かし、カーソル６７を操作できる。上記では、プレイヤ１５は、再帰反射シート１７を足に装着して動かしている。従って、足を使ったゲームや足を使ったエクササイズ等に応用可能である。
さらに、本実施の形態では、プレイヤ１５にスクリーン２１に投影されたマーカｍ及びｄ１〜ｄ４上に再帰反射シートＣＮ，ＬＵ，ＲＵ，ＲＢ及びＬＢを置かせるだけで、台形補正のためのパラメータを簡易に求めることができる。特に、投影ビデオ映像上の複数の位置に配置されるマーカｍ及びｄ１〜ｄ４に再帰反射シートＣＮ，ＬＵ，ＲＵ，ＲＢ及びＬＢを置いて、台形補正のためのパラメータを求めるので、台形補正の精度をより向上できる。
（実施の形態２）
実施の形態２では、台形補正の他の例を説明する。また、実施の形態１では、プロセッサ２３が生成したビデオ映像をスクリーン２１に投影した。これに対して、実施の形態２では、プロセッサ２３が生成したビデオ映像をテレビジョンモニタ等の画面が垂直な表示装置に表示する例を挙げる。
図３３は、本発明の実施の形態２によるエンターテインメントシステムの電気的構成を示す図である。図３３を参照して、このエンターテインメントシステムは、情報処理装置３、受けた光を再帰反射する再帰反射シート（再帰反射部材）１７Ｌ及び１７Ｒ、並びに、テレビジョンモニタ２００を備える。また、情報処理装置３は、実施の形態１と同じカメラユニット５を含む。
要するに、実施の形態２の電気的構成としては、図３のプロジェクタ１１及びスクリーン２１に代えて、テレビジョンモニタ２００を設けたものである。従って、実施の形態２では、プロセッサ２３が生成したビデオ信号ＶＤ及びオーディオ信号ＡＵは、テレビジョンモニタ２００に与えられる。
ここで、カメラ画像３３の原点を左上角とし、水平軸をＸ軸、垂直軸をＹ軸とする。Ｘ軸の正は、水平右方向であり、Ｙ軸の正は、垂直下方向である。
さて、実施の形態１と同様に、プレイヤ１５は、左脚の甲に再帰反射シート１７Ｌをゴムバンド１９で装着し、右脚の甲に再帰反射シート１７Ｒをゴムバンド１９で装着する。そして、情報処理装置３は、プレイヤ１５の前方であって（例えば、約０．７メートル）、床面から所定の高さになるように（例えば、０．４メートル）、かつ、カメラユニット５が所定の俯角（例えば、３０度）で床面を撮影するように設置する。もちろん、高さを調整可能なようにしてもよい。また、テレビジョンモニタ２００は、プレイヤ１５の前方、かつ、情報処理装置３の上方であって、情報処理装置３の後方（プレイヤ１５から見て）又は直上に配置する。従って、カメラユニット５は、再帰反射シート１７Ｌ及び１７Ｒを前方斜め下方に見る。
次に、Ｘ座標の台形補正について説明する。
図３４（ａ）は、本実施の形態において、Ｘ座標の台形補正の必要性を説明するための図である。図３４（ａ）を参照して、プレイヤ１５が、撮影有効領域３１において、再帰反射シート１７を矢印２２６のように、つまり、Ｙ＃軸（図４参照）に沿って真っ直ぐ動かしたとする。しかし、カメラユニット５は、再帰反射シート１７を俯瞰しているので、台形歪みが発生し、カメラ画像３３の有効領域対応画像３５上では、矢印２２２に示すように、外側に開くように、再帰反射シート１７の像は移動する。矢印２２４のように再帰反射シート１７が動かされた場合も同様に、有効領域対応画像３５上では、矢印２２０に示すように、外側に開くように、再帰反射シート１７の像は移動する。なぜなら、台形歪みは、カメラユニット５からの距離が大きくなるほど大きくなり、撮影有効領域３１では、画素密度は、カメラユニット５からの距離が大きくなるほど低くなり、当該距離が小さくなるほど大きくなるからである。
従って、有効領域対応画像３５に基づいて、カーソル６７の移動を制御すると、プレイヤ１５の感覚とカーソル６７の移動との間に齟齬が発生する。台形歪みに起因する、この齟齬を解消するために、台形補正を実行する。
図３４（ｂ）は、カメラ画像３３の有効領域対応画像３５上の再帰反射シート１７のＸ座標（水平座標）Ｘｐに対する台形補正の第１の例の説明図である。図３４（ｂ）を参照して、第１の例では、撮影有効領域３１の辺ａ１−ａ２を基準として、つまり、辺ａ１−ａ２を「１」として、Ｘ座標Ｘｐに台形補正を施す。
再帰反射シート１７の像のＸ座標Ｘｐの補正係数（Ｘ補正係数）ｃｘ（Ｙ）は、再帰反射シート１７の像のＹ座標に応じて、曲線２２８を描く。つまり、Ｘ補正係数ｃｘ（Ｙ）はＹの関数である。Ｘ補正係数ｃｘ（Ｙ）は、像のＹ座標が有効領域対応画像３５の辺ｂ１−ｂ２（辺ａ１−ａ２に対応）のＹ座標Ｙ０と同じ場合に、最大値１をとり、像のＹ座標が有効領域対応画像３５の辺ｂ４−ｂ３（辺ａ４−ａ３に対応）のＹ座標Ｙ１と同じ場合に、最小値Ｄ１（０＜Ｄ１＜１）をとる。なお、本実施の形態では、Ｙ座標とＸ補正係数ｃｘ（Ｙ）とを関連付けたテーブル（Ｘテーブル）が、外部メモリ２５に予め用意される。
プロセッサ２３は、次式により、台形補正後のＸ座標Ｘｆを求める。ここで、有効領域対応画像３５の中心座標を（Ｘｃ，Ｙｃ）とする。
Ｘｆ＝Ｘｃ−（Ｘｃ−Ｘｐ）＊ｃｘ（Ｙ） …（４１）
図３４（ｃ）は、カメラ画像３３の有効領域対応画像３５上の再帰反射シート１７のＸ座標（水平座標）Ｘｐに対する台形補正の第２の例の説明図である。図３４（ｃ）を参照して、第２の例では、撮影有効領域３１の辺ａ４−ａ３を基準として、つまり、辺ａ４−ａ３を「１」として、Ｘ座標Ｘｐに台形補正を施す。
再帰反射シート１７の像のＸ座標Ｘｐの補正係数（Ｘ補正係数）ｃｘ（Ｙ）は、再帰反射シート１７の像のＹ座標に応じて、曲線２３０を描く。つまり、Ｘ補正係数ｃｘ（Ｙ）はＹの関数である。Ｘ補正係数ｃｘ（Ｙ）は、像のＹ座標が有効領域対応画像３５の辺ｂ１−ｂ２（辺ａ１−ａ２に対応）のＹ座標Ｙ０と同じ場合に、最大値Ｄ２（＞１）をとり、像のＹ座標が有効領域対応画像３５の辺ｂ４−ｂ３（辺ａ４−ａ３に対応）のＹ座標Ｙ１と同じ場合に、最小値１をとる。なお、本実施の形態では、Ｙ座標とＸ補正係数ｃｘ（Ｙ）とを関連付けたテーブル（Ｘテーブル）が、外部メモリ２５に予め用意される。
プロセッサ２３は、式（４１）により、台形補正後のＸ座標Ｘｆを求める。
次に、Ｙ座標の台形補正について説明する。
図３５は、カメラ画像３３の有効領域対応画像３５上の再帰反射シート１７のＹ座標（垂直座標）Ｙｐに対する台形補正の説明図である。
まず、Ｙ座標の台形補正の必要性を説明する。図３５を参照して、台形歪みは、カメラユニット５からの距離が大きくなるほど大きくなり、撮影有効領域３１では、画素密度は、カメラユニット５からの距離が大きくなほど低くなり、当該距離が小さくなるほど大きくなる。このため、撮影有効領域３１上で、ある一定距離だけＹ＃軸（図４参照）に平行に再帰反射シート１７を動かした場合でも、有効領域対応画像３５での再帰反射シート１７の像の移動量は、カメラユニット５と再帰反射シート１７との間の距離が大きいほど小さくなり、当該距離が小さいほど大きくなる。従って、プレイヤ１５が、撮影有効領域３１上で再帰反射シート１７を一定速度で前方に移動する場合でも、再帰反射シート１７がカメラユニット５に近づくほど、カーソル６７の速度が速くなり、プレイヤ１５の感覚とカーソル６７の動きとの間に齟齬が発生する。そこで、この齟齬を解消すべく、Ｙ座標の台形補正を行う。
次に、Ｙ座標の台形補正の方法を説明する。図３５を参照して、再帰反射シート１７の像のＹ座標Ｙｐの補正係数（Ｙ補正係数）ｃｙ（Ｙ）は、再帰反射シート１７の像のＹ座標に応じて、曲線２３２を描く。つまり、Ｙ補正係数ｃｙ（Ｙ）はＹの関数である。Ｙ補正係数ｃｙ（Ｙ）は、像のＹ座標が有効領域対応画像３５の辺ｂ１−ｂ２（辺ａ１−ａ２に対応）のＹ座標Ｙ０と同じ場合に、最大値１をとり、像のＹ座標が有効領域対応画像３５の辺ｂ４−ｂ３（辺ａ４−ａ３に対応）のＹ座標Ｙ１と同じ場合に、最小値Ｄ３（＞０）をとる。なお、本実施の形態では、Ｙ座標とＹ補正係数ｃｙ（Ｙ）とを関連付けたテーブル（Ｙテーブル）が、外部メモリ２５に予め用意される。
プロセッサ２３は、次式により、台形補正後のＹ座標Ｙｆを求める。
Ｙｆ＝Ｙｐ＊ｃｙ（Ｙ） …（４２）
なお、この例では、撮影有効領域３１の辺ａ１−ａ２を基準として、つまり、辺ａ１−ａ２を「１」として、Ｙ座標Ｙｐに台形補正を施した。ただし、図３４（ｃ）と同様に、撮影有効領域３１の辺ａ４−ａ３を基準として、つまり、辺ａ４−ａ３を「１」として、Ｙ座標Ｙｐに台形補正を施してもよい。この場合、例えば、Ｙ補正係数ｃｙ（Ｙ）は、曲線２３２と同様の曲線を描き、Ｙ＝Ｙ０で最大値Ｄ４（＞１）をとり、Ｙ＝Ｙ１で最小値１をとる。
さて、次に、フローチャートを用いて、処理の流れを説明する。本実施の形態では、実施の形態１のような前処理（図２３参照）は行わない。ただし、本実施の形態２におけるプロセッサ２３の全体処理の流れは、図２６と同じである。以下、異なる点を中心に説明する。
図３６は、実施の形態２における図２６のステップＳ１０３の座標算出処理の流れを示すフローチャートである。図３６を参照して、ステップＳ３０１にて、プロセッサ２３は、イメージセンサ２７から受け取ったカメラ画像（差分画像）から再帰反射シート１７の像を抽出する。ステップＳ８０３にて、プロセッサ２３は、再帰反射シート１７の像に基づいて、再帰反射シート１７のカメラ画像上のＸＹ座標を決定する。
図３７は、実施の形態２における図２６のステップＳ１０５の台形補正処理の流れを示すフローチャートである。図３７を参照して、ステップＳ３２１にて、プロセッサ２３は、再帰反射シート１７の像のＹ座標をインデックスとして、Ｘテーブルから、対応するＸ補正係数ｃｘを取得する。ステップＳ３２３にて、プロセッサ２３は、式（４１）により、補正後Ｘ座標Ｘｆを算出する。
ステップＳ３２５にて、プロセッサ２３は、再帰反射シート１７の像のＹ座標をインデックスとして、Ｙテーブルから、対応するＹ補正係数ｃｙを取得する。ステップＳ３２７にて、プロセッサ２３は、式（４２）により、補正後Ｙ座標Ｙｆを算出する。
ステップＳ３２９にて、プロセッサ２３は、補正後Ｘ座標Ｘｆ及びＹ座標Ｙｆをスクリーン座標系に変換し、ｘｙ座標を得る。そして、ステップＳ３３１にて、プロセッサ２３は、スクリーン座標系のｘｙ座標を上下にミラー反転する。
これにより、イメージセンサ２７から見て再帰反射シート１７が奥から手前へ移動した場合に、カーソル６７が画面下から上へ移動するようにカーソル６７の位置が決定され、かつ、イメージセンサ２７から見て再帰反射シート１７が手前から奥へ移動した場合に、カーソル６７が画面上から下へ移動するようにカーソル６７の位置が決定される。
このため、プレイヤ１５の前方において、再帰反射シート１７を俯瞰する位置から撮像する場合（以下、「俯瞰の場合」と呼ぶ。）においても、プレイヤ１５が操作する再帰反射シート１７の移動方向と、画面上のカーソル６７の移動方向と、が感覚的に一致するので、入力のストレスを極力抑制しながら、プロセッサ２３に対して、容易に入力を行うことができる。
ちなみに、プレイヤの前方において、再帰反射シートを仰視する位置から撮像する場合（以下、「仰視の場合」と呼ぶ。）、通常、イメージセンサから見て再帰反射シートが奥から手前へ移動した場合に、テレビジョンモニタに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定し、また、イメージセンサから見て再帰反射シートが手前から奥へ移動した場合に、テレビジョンモニタに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定する。
ところが、俯瞰の場合に、仰視の場合と同じアルゴリズムでカーソルを制御すると、イメージセンサから見て再帰反射シートが奥から手前へ移動した場合に、テレビジョンモニタに表示されるビデオ映像をプレイヤが見たときに、カーソルが下方へ移動するようにカーソルの位置を決定し、また、イメージセンサから見て再帰反射シートが手前から奥へ移動した場合に、テレビジョンモニタに表示されるビデオ映像をプレイヤが見たときに、カーソルが上方へ移動するようにカーソルの位置を決定してしまうことになる。これでは、プレイヤが操作する再帰反射シートの移動方向と、テレビジョンモニタ上のカーソルの移動方向と、が感覚的に一致しない。このため、入力にストレスが伴い、スムーズな入力を行うことができない。
このような結果を引き起こすのは、俯瞰の場合、イメージセンサの光軸ベクトルＶの鉛直成分Ｖｖが鉛直下方を向いており、イメージセンサの上下方向とプレイヤの上下方向とが一致しないからである（図４参照）。
また、多くの場合、イメージセンサの光軸ベクトルＶが鉛直成分を持たないか（つまり、撮像面が鉛直面と平行な場合）、あるいは、光軸ベクトルＶの鉛直成分Ｖｖが鉛直上方を向いており、イメージセンサの上下方向とプレイヤの上下方向とが一致するように、イメージセンサが設置され、このような使用に慣れているからである。
ここで、イメージセンサの光軸ベクトルＶの鉛直成分Ｖｖの終点から始点を向く方向をイメージセンサの下方とし、始点から終点を向く方向をイメージセンサの上方とする（図４参照）。また、プレイヤの足（ｆｏｏｔ）から頭部を向く方向をプレイヤの上方とし、頭部から足を向く方向をプレイヤの下方とする。
なお、左右方向については、上記のような問題は生じないので、特別な処理をすることなく、イメージセンサ２７から見て再帰反射シート１７が右から左へ移動した場合に、カーソル６７が画面右から左へ移動するようにカーソル６７の位置が決定され、かつ、イメージセンサ２７から見て再帰反射シート１７が左から右へ移動した場合に、カーソル６７が画面左から右へ移動するようにカーソル６７の位置が決定される。
さて、図２６を参照して、ステップＳ１１１にて、プロセッサ２３は、ステップＳ１０９の処理結果に応じて、ビデオ映像（図１６〜図２２）を生成し、これをテレビジョンモニタ２００に与える。応じて、テレビジョンモニタ２００には、対応した映像が表示される。
さて、以上のように、本実施の形態によれば、カメラ画像に基づき得られた再帰反射シート１７の位置に対して、台形補正を実行する。このため、光軸が被撮影面に対して斜めになる様に配置されるイメージセンサ２７により、被撮影面上の再帰反射シート１７を撮像し、そのカメラ画像に基づいて、再帰反射シート１７の動きを解析し、それに連動するカーソル６７を生成する場合においても、プレイヤが操作する再帰反射シート１７の動きと、カーソル６７の動きと、が一致又は略一致する。なぜなら、カーソル６７の位置を決定する再帰反射シート１７の位置に対して台形補正を施しているからである。その結果、プレイヤは、違和感を極力抑制した入力を行うことができる。
また、本実施の形態では、再帰反射シート１７とカメラユニット５との間の距離に応じて、台形補正を施す。カメラ画像に写り込んだ再帰反射シート１７の像の台形歪みは、再帰反射シート１７とカメラユニット５との間の距離が大きくなるほど大きくなる。従って、当該距離に応じた適切な台形補正を実行できる。
具体的には、再帰反射シート１７とカメラユニット５との間の距離と、カーソル６７のＸ軸方向（水平方向）の移動距離と、が正の相関関係になるように、カーソル６７のＸ座標（水平座標）を補正する。つまり、再帰反射シート１７とカメラユニット５との間の距離が小さいほど、カーソル６７のＸ軸方向の移動距離を小さくし、当該距離が大きいほど、カーソル６７のＸ軸方向の移動距離を大きくする。このようにして、Ｘ軸方向の台形歪みを補正している。
また、再帰反射シート１７とカメラユニット５との間の距離と、カーソル６７のＹ軸方向（垂直方向）の移動距離と、が正の相関関係になるように、カーソル６７のＹ座標（垂直座標）を補正する。つまり、再帰反射シート１７とカメラユニット５との間の距離が小さいほど、カーソル６７のＹ軸方向の移動距離を小さくし、当該距離が大きいほど、カーソル６７のＹ軸方向の移動距離を大きくする。このようにして、Ｙ軸方向の台形歪みを補正している。
さらに、本実施の形態によれば、赤外発光ダイオード７を間欠的に駆動し、点灯時及び消灯時の差分画像（カメラ画像）を生成し、これに基づいて、再帰反射シート１７の動きを解析している。このように、差分画像を求めることで、再帰反射シート１７からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１７のみを検出できる。
さらに、本実施の形態では、様々なオブジェクト（６３，６５，７３，７５，７７，９１，１０３，１１３，１２３，１５５）をビデオ映像に表示するので、これらを、コマンドを発行するためのアイコンとして使用したり、ビデオゲーム中の様々なアイテム等として使用できる。
また、プロセッサ２３は、カーソル６７が、所定条件を満足するように、移動する所定画像（例えば、図１９のボール画像１０３）と接触又は重なったか否かを判定する（例えば、図３０のステップＳ２４９）。このため、プレイヤ１５は単にカーソル６７が所定画像に接触等するように再帰反射シート１７を操作するだけでは足らず、所定条件を満足するように再帰反射シート１７を操作しなければならない。これにより、ゲーム性や難易度を向上できる。なお、この所定条件は、図３０のゲームでは、カーソル６７が一定速度を超えていることであったが、ゲームの仕様に応じた条件を設定できる。
さらに、本実施の形態では、カメラユニット５は再帰反射シート１７を俯瞰する位置から撮像する。このため、プレイヤ１５は、床面上で再帰反射シート１７を動かし、カーソル６７を操作できる。上記では、プレイヤ１５は、再帰反射シート１７を足に装着して動かしている。従って、足を使ったゲームや足を使ったエクササイズ等に応用可能である。
なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
（１）再帰反射シート１７を装着する代わりに、赤外発光ダイオードのような自発光装置を装着することもできる。この場合は、赤外発光ダイオード７は不要である。また、再帰反射シート１７を使用せずに、イメージセンサやＣＣＤなどの撮像装置により、被写体（例えばプレイヤの足の甲）を撮影し、画像解析して、動きを検出することもできる。
（２）上記のストロボ撮影（赤外発光ダイオード７の点滅）及び差分処理は、好適な例を示しただけであって、本発明に必須の要素ではない。つまり、赤外発光ダイオード７は、点滅させなくてもよいし、また、赤外発光ダイオード７がなくてもよい。照射する光は赤外光に限られない。また、再帰反射シート１７は本発明に必須の要素ではなく、撮像画像を解析して、身体の特定部位（例えば足の甲）が検知できればよい。撮像素子は、イメージセンサに限られず、ＣＣＤなどの他の撮像素子を使用できる。
（３）実施の形態１において、第１ステップのキャリブレーション（図９（ａ）参照）を省くこともできる。第１ステップのキャリブレーションは、補正の精度をより一層向上するために行われる。また、第２ステップのキャリブレーションでは、４つのマーカを使用した。ただし、４より大きい数のマーカを使用してもよい。また、３以下のマーカを使用することもできる。この場合、２つのマーカを使用する場合、ｙ座標が同一のマーカ（例えば、Ｄ１とＤ２、又は、Ｄ４とＤ３）よりは、ｙ座標が異なるマーカ（例えば、Ｄ１とＤ４、又は、Ｄ２とＤ３）を使用するほうが好ましい。なぜなら、台形補正を同時に行うことができるからである。１つのマーカを使用する場合、又は、ｙ座標が同一の２つのマーカを使用する場合は、別途台形補正を行う必要がある。なぜなら、この場合、台形歪みを計測できず、補正しようがないからである。ちなみに、実施の形態１では、実空間中のスクリーン２１上において、実空間中の再帰反射シート１７の位置と投影されたビデオ映像中のカーソル６７の位置とが一致又は略一致するように、カーソル６７の位置を補正する処理に台形補正が含まれる。なお、処理量と精度を考慮すれば、上記のように４つのマーカを使用するのが好適である。
（４）実施の形態１の第２ステップのキャリブレーションにおいて、マーカＤ１〜Ｄ４を同時に表示した。ただし、時間を変えて、マーカＤ１〜Ｄ４を１つずつ表示することもできる。つまり、まず、マーカＤ１を表示し、マーカＤ１に基づくデータ取得後、マーカＤ２を表示し、マーカＤ２に基づくデータ取得後、マーカＤ３を表示し、マーカＤ３に基づくデータ取得後、マーカＤ４を表示し、マーカＤ４に基づくデータ取得する。
（５）実施の形態１では、プレイヤ１５が視認可能なようにカーソル６７を表示した。この場合は、プレイヤ１５は、投影されたカーソル６７と再帰反射シート１７とが一致していることを確認でき、システムが正常であることを認識できる。ただし、カーソル６７を仮想のものとし、カーソル６７を表示しないこともできる。なぜなら、プレイヤ１５がカーソル６７を視認できなくても、プロセッサ２３がカーソル６７の位置を認識できれば、プロセッサ２３は再帰反射シート１７が投影ビデオ映像上のどこに置かれているか分かるからである。なお、この場合、カーソル６７を非表示にしてもよいし、透明なカーソル６７を表示してもよい。また、カーソル６７を表示しなくても、プレイヤ１５にとってはプレイに大きな支障はない。
（６）実施の形態２でも、実施の形態１と同様のキャリブレーション処理を行うこともできる。この場合、例えば、一方の足に再帰反射シートを装着したプレイヤに、カメラユニット５の前に立ってもらう。そして、その時の再帰反射シートを撮影し座標を求める。次に、プレイヤ１５に、前方左上、前方右上、後方左下、及び後方右下の位置まで再帰反射シートを動かしてもらい、前方左上、前方右上、後方左下、及び後方右下のそれぞれの位置で、再帰反射シートを撮影し座標を求める。そして、これらの座標に基づいて、補正のためのパラメータを算出する。
（７）上記で挙げた台形補正の方法は一例であり、その他周知の台形補正を適用できる。また、実施の形態２では、Ｘ座標及びＹ座標の双方に対して台形補正を実行した。ただし、いずれか一方の座標に対して、台形補正を実行してもよい。発明者らの実験によれば、Ｙ座標のみに対して台形補正を実行すれば、プレイに支障のない入力を行うことができる。
（８）台形補正は、カメラ画像上での座標に対して行ってもよいし、スクリーン座標系に変換後の座標に対して行ってもよい。また、図２５のステップＳ８７や図３７のステップＳ３３１の処理は、スクリーン座標系に変換した後に実行される。ただし、これらの処理は、スクリーン座標系への変換前に行うこともできる。さらに、図２５のステップＳ８７や図３７のステップＳ３３１の処理は、イメージセンサ２７の仕様によっては不要である。なぜなら、イメージセンサ２７が、上下にミラー反転したカメラ画像を出力する場合もあるからである。
（９）上記では、プロセッサ２３は、４つのマーカＤ１〜Ｄ４が配置されたビデオ映像４５とは異なるビデオ映像４１上の中心に、１つのマーカ４３を配置した。ただし、マーカＤ１〜Ｄ４とマーカ４３とを同じビデオ映像上に配置することもできる。
以上、本発明を実施例により詳細に説明したが、当業者にとっては、本発明が本願中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。

Claims (24)

  1. ビデオ映像を生成するビデオ映像生成手段と、
    前記ビデオ映像を制御する制御手段と、
    実空間に配置されたスクリーンに前記ビデオ映像を投影する投影手段と、
    プレイヤが前記スクリーン上で操作する実空間中の被写体を撮像する撮像手段と、を備え、
    前記制御手段は、
    前記撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、
    前記解析手段が求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御手段と、を含み、
    前記カーソル制御手段は、
    実空間中の前記スクリーン上において、実空間中の前記被写体の位置と投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正手段を含む入力システム。
  2. ビデオ映像を生成するビデオ映像生成手段と、
    前記ビデオ映像を制御する制御手段と、を備え、
    前記制御手段は、
    プレイヤが実空間に配置されたスクリーン上で操作する実空間中の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、
    前記解析手段が求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御手段と、を含み、
    前記カーソル制御手段は、
    実空間中の前記スクリーン上において、実空間中の前記被写体の位置と前記スクリーンに投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正手段を含む入力システム。
  3. 前記補正の際に使用するパラメータを算出するためのビデオ映像を生成し、当該ビデオ映像上の少なくとも１つの所定位置に少なくとも１つの所定のマーカを配置するマーカ映像生成手段と、
    前記撮像手段により得られた撮像画像と、前記マーカ映像生成手段が生成した前記ビデオ映像と、を対応させ、前記撮像画像上の前記被写体の像の位置に対応する前記ビデオ映像上の位置である対応位置を算出する対応位置算出手段と、
    前記所定のマーカが配置された前記所定位置と、前記スクリーンに投影された前記所定のマーカ上に前記被写体を置いたときの前記対応位置と、に基づいて、前記補正手段が補正の際に使用するパラメータを算出するパラメータ算出手段と、をさらに備える請求項１又は２記載の入力システム。
  4. 前記マーカ映像生成手段は、前記ビデオ映像上の複数の前記所定位置に、複数の前記所定のマーカを配置し、あるいは、前記ビデオ映像上の異なる前記所定位置に、時間を変えて前記所定のマーカを配置する、請求項３記載の入力システム。
  5. 前記マーカ映像生成手段は、前記ビデオ映像上の四隅に、４つの前記所定のマーカを配置し、あるいは、前記ビデオ映像上の四隅に、時間を変えて前記所定のマーカを配置する、請求項４記載の入力システム。
  6. 前記マーカ映像生成手段は、前記４つの所定のマーカが配置された前記ビデオ映像又は異なるビデオ映像上の中心に、１つの前記所定のマーカを配置する、請求項５記載の入力システム。
  7. 前記補正手段による前記補正は台形補正を含む、請求項１から６のいずれかに記載の入力システム。
  8. 前記撮像手段は、前記プレイヤの前方に配置され、前記被写体を俯瞰する位置から撮像し、
    前記カーソル制御手段は、前記撮像手段から見て前記被写体が奥から手前へ移動した場合に、前記撮像手段から見て投影された前記カーソルが奥から手前へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が手前から奥へ移動した場合に、前記撮像手段から見て投影された前記カーソルが手前から奥へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が右から左へ移動した場合に、前記撮像手段から見て投影された前記カーソルが右から左へ移動するように前記カーソルの位置を決定し、かつ、前記撮像手段から見て前記被写体が左から右へ移動した場合に、前記撮像手段から見て投影された前記カーソルが左から右へ移動するように前記カーソルの位置を決定する、請求項１から７のいずれかに記載の入力システム。
  9. 前記カーソルは、前記プレイヤが視認可能に表示される、請求項１から８のいずれかに記載の入力システム。
  10. 前記カーソルは、仮想のものであり、表示されない、請求項１から８のいずれかに記載の入力システム。
  11. カーソルを含むビデオ映像を生成するビデオ映像生成手段と、
    前記ビデオ映像を制御する制御手段と、
    光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段と、を備え、
    前記制御手段は、
    前記撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、
    前記解析手段が求めた前記被写体の位置に対して、台形補正を実行する台形補正手段と、
    前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御手段と、を含む入力システム。
  12. カーソルを含むビデオ映像を生成するビデオ映像生成手段と、
    前記ビデオ映像を制御する制御手段と、を備え、
    前記制御手段は、
    光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析手段と、
    前記解析手段が求めた前記被写体の位置に対して、台形補正を実行する台形補正手段と、
    前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御手段と、を含む入力システム。
  13. 前記台形補正手段は、前記被写体と前記撮像手段との間の距離に応じて、台形補正を施す、請求項１１又は１２記載の入力システム。
  14. 前記台形補正手段は、
    前記被写体と前記撮像手段との間の距離と、前記カーソルの水平方向の移動距離と、が正の相関関係になるように、前記カーソルの水平座標を補正する水平補正手段を含む請求項１３記載の入力システム。
  15. 前記台形補正手段は、
    前記被写体と前記撮像手段との間の距離と、前記カーソルの垂直方向の移動距離と、が正の相関関係になるように、前記カーソルの垂直座標を補正する垂直補正手段を含む請求項１３又は１４記載の入力システム。
  16. 前記撮像手段は、前記被写体を俯瞰する位置から撮像する、請求項１１から１５のいずれかに記載の入力システム。
  17. 前記被写体に対して、間欠的に光を照射する発光手段をさらに備え、
    前記被写体は、受けた光を再帰反射する再帰反射部材を含み、
    前記解析手段は、前記発光手段からの光の照射時の撮像画像と非照射時の撮像画像との差分画像に基づいて、前記被写体の位置を求める、請求項１から１６のいずれかに記載の入力システム。
  18. 前記制御手段は、
    所定画像を前記ビデオ映像上に配置する配置手段と、
    前記カーソルが前記所定画像に接触又は重なったか否かを判定する判定手段と、を含む請求項１から１７のいずれかに記載の入力システム。
  19. 前記判定手段は、前記カーソルが前記所定画像に少なくとも所定時間継続して重なったか否かを判定する、請求項１８記載の入力システム。
  20. 前記配置手段は、前記所定画像を移動し、
    前記判定手段は、前記カーソルが、所定条件を満足するように、移動する前記所定画像と接触又は重なったか否かを判定する、請求項１８記載の入力システム。
  21. ビデオ映像を生成するステップと、
    前記ビデオ映像を制御するステップと、を含み、
    制御する前記ステップは、
    プレイヤが実空間に配置されたスクリーン上で操作する実空間中の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析ステップと、
    前記解析ステップが求めた前記被写体の位置に基づいて、カーソルを前記被写体に連動させるカーソル制御ステップと、を含み、
    前記カーソル制御ステップは、
    実空間中の前記スクリーン上において、実空間中の前記被写体の位置と前記スクリーンに投影された前記ビデオ映像中の前記カーソルの位置とが一致するように、前記カーソルの位置を補正する補正ステップを含む入力方法。
  22. カーソルを含むビデオ映像を生成するステップと、
    前記ビデオ映像を制御するステップと、を含み、
    制御する前記ステップは、
    光軸が被撮影面に対して斜めになる様に配置され、前記被撮影面上の被写体を撮像する撮像手段により得られた撮像画像に基づいて、前記被写体の位置を求める解析ステップと、
    前記解析ステップが求めた前記被写体の位置に対して、台形補正を実行する台形補正ステップと、
    前記台形補正後の前記被写体の位置に基づいて、前記カーソルを前記被写体に連動させるカーソル制御ステップと、を含む入力方法。
  23. 請求項２１又は２２の入力方法をコンピュータに実行させるコンピュータプログラム。
  24. 請求項２３のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010512854A 2008-05-23 2008-09-26 入力システム、入力方法、コンピュータプログラム、及び、記録媒体 Pending JPWO2009141855A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008136108 2008-05-23
JP2008136108 2008-05-23
PCT/JP2008/002686 WO2009141855A1 (ja) 2008-05-23 2008-09-26 入力システム、入力方法、コンピュータプログラム、及び、記録媒体

Publications (1)

Publication Number Publication Date
JPWO2009141855A1 true JPWO2009141855A1 (ja) 2011-09-22

Family

ID=41339830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010512854A Pending JPWO2009141855A1 (ja) 2008-05-23 2008-09-26 入力システム、入力方法、コンピュータプログラム、及び、記録媒体

Country Status (3)

Country Link
US (1) US20120044141A1 (ja)
JP (1) JPWO2009141855A1 (ja)
WO (1) WO2009141855A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041938A1 (ja) * 2012-09-12 2014-03-20 シチズンホールディングス株式会社 情報入力装置
US9602778B2 (en) * 2012-12-12 2017-03-21 Sensormatic Electronics, LLC Security video system using customer regions for monitoring point of sale areas
US9360888B2 (en) * 2013-05-09 2016-06-07 Stephen Howard System and method for motion detection and interpretation
US10891003B2 (en) 2013-05-09 2021-01-12 Omni Consumer Products, Llc System, method, and apparatus for an interactive container
JP2016005055A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 プロジェクター及び投写方法
JP6018266B1 (ja) * 2015-07-17 2016-11-02 株式会社スクウェア・エニックス ビデオゲーム処理プログラム及びビデオゲーム処理システム
JP2017208688A (ja) * 2016-05-18 2017-11-24 株式会社スクウェア・エニックス プログラム、コンピュータ装置、プログラム実行方法、及び、コンピュータシステム
JP7167503B2 (ja) * 2018-06-27 2022-11-09 セイコーエプソン株式会社 プロジェクター
DE102020108984A1 (de) 2020-04-01 2021-10-07 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Unterhaltung eines Insassen eines Fortbewegungsmittels

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684514A (en) * 1991-01-11 1997-11-04 Advanced Interaction, Inc. Apparatus and method for assembling content addressable video
KR100318330B1 (ko) * 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP2000081950A (ja) * 1998-07-03 2000-03-21 Sony Corp 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム
JP2000112651A (ja) * 1998-10-06 2000-04-21 Olympus Optical Co Ltd ポインティング機構
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
JP4055388B2 (ja) * 2001-10-12 2008-03-05 ソニー株式会社 情報処理装置、情報処理システム、及びプログラム
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP2004185258A (ja) * 2002-12-03 2004-07-02 Hitachi Ltd 情報処理装置
US20060256072A1 (en) * 2003-07-02 2006-11-16 Ssd Company Limited Information processing device, information processing system, operating article, information processing method, information processing program, and game system
US20070197290A1 (en) * 2003-09-18 2007-08-23 Ssd Company Limited Music Game Device, Music Game System, Operation Object, Music Game Program, And Music Game Method
US7554545B2 (en) * 2003-11-04 2009-06-30 Ssd Company Limited Drawing apparatus operable to display a motion path of an operation article
US20080031544A1 (en) * 2004-09-09 2008-02-07 Hiromu Ueshima Tilt Detection Method and Entertainment System
US8334837B2 (en) * 2004-11-10 2012-12-18 Nokia Corporation Method for displaying approached interaction areas
US8144118B2 (en) * 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
JP4180065B2 (ja) * 2005-05-13 2008-11-12 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
KR20080028935A (ko) * 2005-06-16 2008-04-02 신세다이 가부시키 가이샤 입력장치, 유사체험방법 및 엔터테인먼트 시스템
US20090305207A1 (en) * 2005-12-12 2009-12-10 Hiromu Ueshima Training method, training device, and coordination training method
US8009866B2 (en) * 2008-04-26 2011-08-30 Ssd Company Limited Exercise support device, exercise support method and recording medium
JP2010169668A (ja) * 2008-12-18 2010-08-05 Shinsedai Kk 物体検出装置、それを用いたインタラクティブシステム、物体検出方法、それを用いたインタラクティブシステム構築方法、コンピュータプログラム、及び記録媒体

Also Published As

Publication number Publication date
US20120044141A1 (en) 2012-02-23
WO2009141855A1 (ja) 2009-11-26

Similar Documents

Publication Publication Date Title
WO2009141855A1 (ja) 入力システム、入力方法、コンピュータプログラム、及び、記録媒体
JP5081964B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5039808B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US8113953B2 (en) Image-linked sound output method and device
JP2002233665A5 (ja)
JP2011210019A (ja) プログラム、情報記憶媒体及び画像生成装置
JP5425940B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
US20100215215A1 (en) Object detecting apparatus, interactive system, object detecting method, interactive system realizing method, and recording medium
JP2007236469A (ja) ゲームプログラム、ゲームシステム
JP4412714B2 (ja) 配置情報検出システム、ゲームシステム、プログラム、情報記憶媒体及び配置情報検出システムの制御方法
JP5656387B2 (ja) ゲーム装置、およびこのゲーム装置を実現するためのゲームプログラム
JP2017189446A (ja) 処理装置および投影画像生成方法
JP4341066B2 (ja) 情報処理装置および画像生成プログラム
WO2017179308A1 (ja) 処理装置および投影画像生成方法
JP5746644B2 (ja) ゲーム装置及びプログラム
JP2011101764A5 (ja)
JP2011018147A (ja) ゲームプログラム、ゲーム装置、ゲーム制御方法
JP2015100481A (ja) ゲーム機、並びにそれに用いる制御方法及びコンピュータプログラム
JP4726844B2 (ja) プログラム、データ収集装置及び制御方法
JP2007267850A (ja) プログラム、情報記憶媒体、及び画像生成システム
JP6462441B2 (ja) ダンス装置
JP6491503B2 (ja) ダンス装置
JP2001224731A (ja) ゲーム装置および情報記憶媒体
JP4705145B2 (ja) 描画処理プログラム、描画処理装置、及び描画処理方法
JP4932815B2 (ja) 描画処理プログラム、描画処理装置、及び描画処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110926

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20130213