JP5629144B2 - Game device - Google Patents

Game device Download PDF

Info

Publication number
JP5629144B2
JP5629144B2 JP2010146683A JP2010146683A JP5629144B2 JP 5629144 B2 JP5629144 B2 JP 5629144B2 JP 2010146683 A JP2010146683 A JP 2010146683A JP 2010146683 A JP2010146683 A JP 2010146683A JP 5629144 B2 JP5629144 B2 JP 5629144B2
Authority
JP
Japan
Prior art keywords
game
image
hand
player
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010146683A
Other languages
Japanese (ja)
Other versions
JP2012005773A (en
Inventor
豊弘 鶴身
豊弘 鶴身
昌也 木下
昌也 木下
謙太郎 松村
謙太郎 松村
隼一郎 宇佐美
隼一郎 宇佐美
Original Assignee
株式会社タイトー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社タイトー filed Critical 株式会社タイトー
Priority to JP2010146683A priority Critical patent/JP5629144B2/en
Publication of JP2012005773A publication Critical patent/JP2012005773A/en
Application granted granted Critical
Publication of JP5629144B2 publication Critical patent/JP5629144B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、プレーヤーの手の動きを画像化して表示するゲーム装置に関する。   The present invention relates to a game apparatus that displays a movement of a player's hand as an image.

仮想現実的な身体感覚を出力することの可能な感覚呈示装置が従来技術として知られている(特許文献1参照)。特許文献1に記載された感覚呈示装置は、画像に呈示された身体の映像を自分の身体の一部と錯覚させる仮想現実感を付与することができるようにするもので、左手Lに触覚刺激を与えるデータグローブと、この左手Lに対応する映像と触角刺激を想起させる映像とからなる視覚刺激を呈示する液晶ディスプレイと、これらデータグローブ及び液晶ディスプレイを制御するコンピュータとを備えている。操作人は、立体視用の偏光メガネを装着して液晶ディスプレイに表示された画像を視認する。液晶ディスプレイにより呈示された虚像の左手に加えられる仮想触覚刺激と、実像である左手Lにデータグローブにより加えられる触覚刺激とを同期させることで、操作人は液晶ディスプレイにより呈示された虚像の左手が自分の実像の左手であると錯覚して仮想現実的に把握する。   A sensory display device capable of outputting a virtual realistic physical sensation is known as a conventional technique (see Patent Document 1). The sensation presentation device described in Patent Document 1 is designed to give a virtual reality illusion that an image of a body presented in an image is illusioned with a part of the user's body. A liquid crystal display that presents a visual stimulus consisting of a video corresponding to the left hand L and a video reminiscent of a tactile stimulus, and a computer that controls the data glove and the liquid crystal display. An operator wears stereoscopic polarizing glasses and visually recognizes an image displayed on the liquid crystal display. By synchronizing the virtual tactile stimulus applied to the left hand of the virtual image presented by the liquid crystal display and the tactile stimulus applied by the data glove to the left hand L which is a real image, the operator can move the left hand of the virtual image presented by the liquid crystal display. Imagine that you are the left hand of your real image and grasp it in virtual reality.

特開2003−330582号公報JP 2003-330582 A

しかしながら、従来技術による感覚呈示装置では、利用者(操作人)は、データグローブ、偏光メガネを装着する必要があった。また、データグローブは、置かれる位置を予めコンピュータにインプットしておく必要がある。すなわち、データグローブを装着している手を自由に動かして位置を移動させることができなかった。   However, in the sensory display device according to the prior art, the user (operator) needs to wear a data glove and polarized glasses. Moreover, it is necessary to input the position where a data glove is put into the computer beforehand. That is, it was impossible to move the hand wearing the data glove freely.

このため、従来技術による感覚呈示装置をゲーム装置として利用した場合、プレーヤーに対して、ゲームをするたびにデータグローブや偏光メガネを装着させなければならず面倒である。また、ゲーム中に手を自由に動かすことができないために、ゲーム内容に変化が乏しく、プレーヤーに興味を持たれるゲームとすることができない。   For this reason, when the sensory display device according to the prior art is used as a game device, it is troublesome for the player to wear a data glove or polarized glasses every time the game is played. In addition, since the hand cannot be freely moved during the game, the game content is not changed so much that the game is not interesting to the player.

本発明は前述した事情に考慮してなされたもので、その目的は、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得ることが可能なゲーム装置を提供することにある。   The present invention has been made in view of the above-described circumstances, and its purpose is to obtain a virtual reality feeling that realizes a highly flexible operability without any equipment for the player. Is to provide a simple game device.

上記の課題を解決するために、本発明は、プレーヤーの手を挿入可能な挿入口が設けられた筐体と、前記筐体内に挿入された手を3次元測定する測定手段と、前記測定手段により測定された手をもとに、前記手を3次元により表現する手画像を生成する手画像生成手段と、ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段と、前記挿入口に手を挿入しているプレーヤーの目の位置を検出する検出手段と、前記検出手段により検出された目の位置の変化に応じて、前記ゲーム画像表示手段によって表示される前記手画像の表示位置を、前記目の位置と前記筐体内に挿入された手との相対的な位置関係をもとに補正する表示位置補正手段とを具備したことを特徴とする。 In order to solve the above-mentioned problems, the present invention provides a housing provided with an insertion port into which a player's hand can be inserted, a measuring means for three-dimensionally measuring a hand inserted into the housing, and the measuring means. A hand image generating means for generating a hand image representing the hand in three dimensions based on the hand measured by the above; a game image including a game object; and a hand image generated by the hand image generating means; Game image display means for displaying the image, image determination means for determining a relative relationship in the game space between the object in the game image displayed by the game image display means and the hand image generated by the hand image generation means, depending on the determined relative relationship by the image determining unit detects a game control means for controlling the game, the position of the eyes of the player are inserted manually into the insertion opening test And a display position of the hand image displayed by the game image display means in accordance with a change in the eye position detected by the detection means, and the position of the eyes and the hand inserted in the housing And a display position correcting means for correcting based on the relative positional relationship .

本発明によれば、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。   According to the present invention, it is possible to realize a game device that achieves a virtual reality sensation that realizes a highly flexible operability without any equipment for the player.

本実施形態におけるゲーム装置の外観構成を示す図。The figure which shows the external appearance structure of the game device in this embodiment. 本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図。The figure which shows the condition at the time of operating the game device in this embodiment as an "animal petting game". ゲーム装置の筐体内の構造を示す側面断面図。Side surface sectional drawing which shows the structure in the housing | casing of a game device. パララックスバリア方式を用いたディスプレイユニット11の構成例を示す図。The figure which shows the structural example of the display unit 11 using a parallax barrier system. レンティキュラ方式を用いたディスプレイユニット11の構成例を示す図。The figure which shows the structural example of the display unit 11 using a lenticular system. 目位置検出用カメラ16を用いたディスプレイユニット11において表示される画像(ゲーム画像、手画像)の表示位置の補正を説明するための図。The figure for demonstrating correction | amendment of the display position of the image (game image, hand image) displayed on the display unit 11 using the camera 16 for eye position detection. 本実施形態におけるゲーム装置の機能構成を示すブロック図。The block diagram which shows the function structure of the game device in this embodiment. ゲーム装置により実行されるゲーム処理を示すフローチャート。The flowchart which shows the game process performed with a game device. 手画像表示処理を示すフローチャート。The flowchart which shows a hand image display process. ゲーム装置の他の構成例を示す図。The figure which shows the other structural example of a game device.

以下、図面を参照して本発明の実施の形態について説明する。
図1は、本実施形態におけるゲーム装置の外観構成を示す図である。図1に示すゲーム装置は、下部筐体10と上部筐体15とから構成されている。下部筐体10の上面部には、ディスプレイユニット11が設けられている。ディスプレイユニット11は、プレーヤーからの視線方向に対して、ほぼ正対するように傾斜をつけて、下部筐体10に装着されている。下部筐体10の下方部の前面には、手挿入口12が設けられている。手挿入口12からはプレーヤーの手及び腕を下部筐体10の筐体内に挿入することができる。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram illustrating an external configuration of a game device according to the present embodiment. The game device shown in FIG. 1 includes a lower housing 10 and an upper housing 15. A display unit 11 is provided on the upper surface of the lower housing 10. The display unit 11 is attached to the lower housing 10 with an inclination so as to be almost directly opposed to the line-of-sight direction from the player. A hand insertion port 12 is provided on the front surface of the lower portion of the lower housing 10. The player's hand and arm can be inserted into the housing of the lower housing 10 from the hand insertion port 12.

本実施形態におけるゲーム装置では、手挿入口12から挿入された手(腕)の形状や動きを測定し、この測定された手に相当する手画像をディスプレイユニット11において表示させる。また、ディスプレイユニット11には、手画像の他に、ゲーム内容に応じて予め用意されたゲーム画像、すなわちゲーム内容に応じて用意され各種のオブジェクトが表示される。プレーヤーは、ゲーム画像(オブジェクト)に触れるように手を動かすことで、手画像とゲーム画像との相対関係、すなわちゲーム空間内でオブジェクトに対してどのように触れているかによってゲーム画像が変化する。これにより、実際に手を動かすことによって、ゲーム空間内に存在しているオブジェクトをあたかも触れているような仮想現実的な感覚を得ることが可能となっている。   In the game device according to the present embodiment, the shape and movement of the hand (arm) inserted from the hand insertion port 12 are measured, and a hand image corresponding to the measured hand is displayed on the display unit 11. In addition to the hand image, the display unit 11 displays a game image prepared in advance according to the game content, that is, various objects prepared according to the game content. When the player moves his / her hand so as to touch the game image (object), the game image changes depending on the relative relationship between the hand image and the game image, that is, how the player touches the object in the game space. Thereby, by actually moving the hand, it is possible to obtain a virtual reality feeling as if an object existing in the game space is touched.

また、手挿入口12の周囲(図1では上下)には、挿入されたプレーヤーの腕に圧接するように摺動可能に圧力パッド13が装着されている。圧力パッド13は、例えばスポンジ状の柔らかな部材により構成され、プレーヤーの腕に圧接させたとしても痛みを感じないように構成されている。図1に示すゲーム装置は、例えば「動物かわいがりゲーム」を実行するように構成されたもので、ゲーム空間内のライオンなどの動物への触れ方が正しくない場合などに、ライオンに噛まれたことを表すように圧力パッド13を駆動して腕を挟むことができる。   Further, a pressure pad 13 is slidably mounted around the hand insertion port 12 (up and down in FIG. 1) so as to come into pressure contact with the inserted player's arm. The pressure pad 13 is made of, for example, a sponge-like soft member, and is configured so as not to feel pain even when pressed against the player's arm. The game device shown in FIG. 1 is configured to execute, for example, an “animal petting game”, and has been bitten by a lion when the lion or other animal in the game space is not properly touched. The arm can be pinched by driving the pressure pad 13 so as to represent.

一方、上部筐体15の前面側(プレーヤーと相対する側)には、目位置検出用カメラ16(16a,16b)、スピーカ17、及びマイク18が設けられている。目位置検出用カメラ16は、挿入口12に手を挿入しているプレーヤーの目を含む画像を撮影するために用いられる。目位置検出用カメラ16によって撮影された画像は、プレーヤーが頭(目)の位置を移動させるのに合わせて、ディスプレイユニット11において表示される画像(ゲーム画像、手画像)の表示位置を補正するために利用される。スピーカ17は、ゲームの実行中に効果音、BGM(back ground music)、メッセージなどを出力する。マイク18は、プレーヤーの声を入力するために用いられる。マイク18から入力されたプレーヤーの音声は、音声認識処理されて、この音声認識の結果に応じたゲーム処理が実行される。例えば、ゲーム空間内で使用する道具、例えば「ブラシ」と発声することで、ゲーム画面中にブラシを表すオブジェクトが表示されて、プレーヤーによる手画像によって操作できるようになる。   On the other hand, an eye position detection camera 16 (16 a, 16 b), a speaker 17, and a microphone 18 are provided on the front surface side (side facing the player) of the upper housing 15. The eye position detection camera 16 is used to capture an image including the eyes of a player who has inserted his / her hand into the insertion slot 12. The image captured by the eye position detection camera 16 corrects the display position of the image (game image, hand image) displayed on the display unit 11 as the player moves the position of the head (eyes). Used for. The speaker 17 outputs sound effects, BGM (back ground music), messages, and the like during the execution of the game. The microphone 18 is used to input a player's voice. The player's voice input from the microphone 18 is subjected to voice recognition processing, and game processing corresponding to the result of the voice recognition is executed. For example, by speaking a tool used in the game space, for example, “brush”, an object representing a brush is displayed in the game screen and can be operated by a hand image by the player.

図2は、本実施形態におけるゲーム装置を「動物かわいがりゲーム」として動作させている時の状況を示す図である。
図2に示すように、「動物かわいがりゲーム」では、例えばペットなどの動物だけでなく現実では直接触れることが困難なライオンなどの猛獣まで、あらゆる動物を撫でて仲良くなることを目的としたアクションゲームであり、ディスプレイユニット11において表示される動物を、プレーヤーの手の動きに応じて表示される手画像により触れるように操作するものである。
FIG. 2 is a diagram illustrating a situation when the game device according to the present embodiment is operated as an “animal petting game”.
As shown in FIG. 2, in the “Animal Petting Game”, for example, an action game aimed at stroking all animals, not only animals such as pets, but also beasts such as lions that are difficult to touch directly in reality. The animal displayed on the display unit 11 is operated so as to be touched by the hand image displayed in accordance with the movement of the player's hand.

プレーヤーにより手挿入口12から手及び腕が挿入されると、下部筐体10の筐体内で手及び腕の形状、動きを測定し、プレーヤーの手の動きに応じた手画像をディスプレイユニット11において表示させる。これにより、プレーヤーは、動物が存在するゲーム空間内に手を挿入して、動物を触れているような視覚的な感覚が得られる。   When a player inserts a hand and an arm through the hand insertion opening 12, the shape and movement of the hand and arm are measured in the casing of the lower casing 10, and a hand image corresponding to the movement of the player's hand is displayed on the display unit 11. Display. Thus, the player can obtain a visual sensation as if he / she is touching an animal by inserting his / her hand into the game space where the animal exists.

なお、一般に、視覚の情報から錯覚により触覚を補う効果があることが知られている。例えば、事故などで片腕を失った人に対して、あるはずのない腕の痛みや感覚を取り除く治療法などで利用されている。具体的には、箱の中を鏡でしきりを作り、残っている手を鏡に映して見ながら両手で同じ運動をすると、まるでそこに失った手があって動いているように感じることで、腕の痛みや感覚を取り除くことができるものである。   In general, it is known that there is an effect of supplementing tactile sensation by illusion from visual information. For example, it is used to treat people who have lost one arm due to an accident or the like to remove the pain and sensation of the arm that should not be. Specifically, if you make a space in the box with a mirror and see the remaining hands in the mirror and do the same exercise with both hands, you feel like you have a lost hand and you are moving. It can remove the pain and sensation of the arm.

本実施形態におけるゲーム装置においても、こうした視覚の錯覚を利用して、ディスプレイユニット11において表示された手画像がまるで自分の手のようにプレーヤーに感じさせることができる。   Also in the game device according to the present embodiment, using such visual illusion, the player can feel the hand image displayed on the display unit 11 as if it were his / her hand.

目位置検出用カメラ16a,16bは、筐体上部のプレーヤーの顔位置と相対する高さで左右に配置されている。これにより、プレーヤーの目の位置と共に、2つの目位置検出用カメラ16a,16bにより撮影される画像の差分をもとにして、目位置検出用カメラ16a,16bとの距離(目の奥行き方向の位置)を検出することができる。   The eye position detection cameras 16a and 16b are arranged on the left and right at a height opposite to the player's face position at the top of the housing. Thus, based on the difference between the images taken by the two eye position detection cameras 16a and 16b, together with the position of the player's eyes, the distance from the eye position detection cameras 16a and 16b (in the depth direction of the eyes). Position) can be detected.

図3は、ゲーム装置の筐体内の構造を示す側面断面図である。
図3に示すように、圧力パッド13を駆動するためのパッド駆動ユニット19が、手挿入口12の上下にそれぞれ設けられている。パッド駆動ユニット19は、圧力パッド13を上下方向に摺動させることで、手挿入口12から挿入されたプレーヤーの腕に圧力パッド13を圧接させる。下部筐体10の内部は、プレーヤーが手を動かすことが可能な空間が設けられてあり、その空間の下方部に手及び腕を3次元測定することができる3次元測定カメラ22が設けられている。また、筐体内部には、各部を制御するためのモジュールが搭載された制御ユニット20が収納されている。
FIG. 3 is a side cross-sectional view showing the structure inside the housing of the game apparatus.
As shown in FIG. 3, pad drive units 19 for driving the pressure pad 13 are respectively provided above and below the hand insertion opening 12. The pad drive unit 19 slides the pressure pad 13 in the vertical direction to press the pressure pad 13 against the player's arm inserted from the hand insertion port 12. A space in which the player can move his / her hand is provided inside the lower housing 10, and a three-dimensional measurement camera 22 capable of three-dimensional measurement of the hand and arm is provided below the space. Yes. In addition, a control unit 20 on which a module for controlling each unit is mounted is housed inside the housing.

3次元測定カメラ22は、例えば赤外線によって距離測定を行なうもので、対象物(手)の正面からの形状を把握すると共に、赤外線を照射して対象物からの反射をもとにして対象物への奥行きを検出することができる。3次元測定カメラ22により撮影された画像をもとにして、画像処理によりプレーヤーの手の形状や動きが検出される。   The three-dimensional measurement camera 22 performs distance measurement using, for example, infrared rays, grasps the shape of the object (hand) from the front, and irradiates infrared rays to the object based on reflection from the object. Can be detected. Based on the image taken by the three-dimensional measurement camera 22, the shape and movement of the player's hand are detected by image processing.

なお、プレーヤーの手の3次元測定は、赤外線を利用した3次元測定カメラ22を用いるだけでなく、例えば複数(例えば二つ)の通常の2次元の画像を撮影するカメラを使った測定方法を用いても良い。すなわち、下部筐体10の内部に異なる方向からプレーヤーの手を撮影可能となるようにカメラを設置し、各カメラによって撮影された画像(映像)を画像処理することで3次元の手の形状や動きを測定することができる。   Note that the 3D measurement of the player's hand uses not only the 3D measurement camera 22 that uses infrared rays, but also a measurement method using a camera that captures a plurality of (for example, two) normal 2D images. It may be used. That is, a camera is installed in the lower housing 10 so that the player's hand can be photographed from different directions, and an image (video) photographed by each camera is subjected to image processing, whereby a three-dimensional hand shape or Movement can be measured.

目位置検出用カメラ16(16a,16b)は、左右に離して配置されている。このため、目位置検出用カメラ16により撮影された画像をもとにして、プレーヤーの目の位置P1が後方の位置P2あるいは前方の位置P3に変化したことを検出することができる。   The eye position detection cameras 16 (16a, 16b) are arranged apart from each other on the left and right. Therefore, it is possible to detect that the eye position P1 of the player has changed to the rear position P2 or the front position P3 based on the image taken by the eye position detection camera 16.

なお、プレーヤーがゲームをする際に座るシートによって、プレーヤーの頭(目)の移動範囲を制限することで、目の位置の検出を容易にすることができる。また、シートの背もたれの部分にもカメラを設けて、このカメラによって撮影されたプレーヤーの後頭部の画像と合わせて、プレーヤーの頭(目)の位置を検出するようにしても良い。   Note that the position of the eyes can be easily detected by limiting the movement range of the player's head (eyes) by the seat on which the player sits when playing the game. In addition, a camera may be provided on the backrest portion of the seat, and the position of the player's head (eyes) may be detected together with the image of the back of the player's head taken by this camera.

図4及び図5は、本実施形態におけるゲーム装置のディスプレイユニット11の構成を説明するための図である。本実施形態におけるゲーム装置は、プレーヤーに立体視用の偏光メガネなどを装着させることなく、図4または図5に示す構成とすることで、裸眼で立体映像を見ることができるようにしている。   4 and 5 are diagrams for explaining the configuration of the display unit 11 of the game apparatus according to the present embodiment. The game apparatus according to the present embodiment has a configuration shown in FIG. 4 or FIG. 5 without allowing the player to wear stereoscopic glasses or the like for stereoscopic viewing, so that a stereoscopic image can be viewed with the naked eye.

図4は、パララックスバリア方式を用いたディスプレイユニット11の構成例を示している。図4に示すディスプレイユニット11では、LCD(Liquid Crystal Display)等の平面状のディスプレイ11aにバリア部材11bが設けられている。バリア部材11bにはスリットが形成されており、このスリットを通過する視線角度が両眼で異なる、この視差による視線分離現象を利用して、プレーヤーの左眼により視認可能なディスプレイ11aの表示位置と、右眼により視認可能な表示位置とがずれるようにしている。制御ユニット20(後述するゲーム画像表示部30d)は、ディスプレイユニット11(バリア部材11b)の構成に応じて、ゲーム画像と手画像とを立体視させるためのパターン、すなわちプレーヤーの左眼と右眼のそれぞれに視認させる二枚の画像を縦に細長く切断して交互に並べた立体視用の映像をディスプレイ11aにより表示させる。   FIG. 4 shows a configuration example of the display unit 11 using the parallax barrier method. In the display unit 11 shown in FIG. 4, a barrier member 11 b is provided on a flat display 11 a such as an LCD (Liquid Crystal Display). A slit is formed in the barrier member 11b, and the viewing position of the display 11a that can be visually recognized by the player's left eye using the gaze separation phenomenon due to the parallax, in which the viewing angle passing through the slit is different for both eyes. The display position that can be visually recognized by the right eye is shifted. The control unit 20 (game image display unit 30d to be described later) has a pattern for stereoscopically displaying the game image and the hand image according to the configuration of the display unit 11 (barrier member 11b), that is, the left eye and the right eye of the player. The images for stereoscopic viewing, in which the two images to be visually recognized by each of the two images are cut vertically and are alternately arranged, are displayed on the display 11a.

これにより、プレーヤーは、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。   Thus, the player can view a stereoscopic image with the naked eye without wearing polarized glasses or the like.

図5は、レンティキュラ方式を用いたディスプレイユニット11の構成例を示している。図5に示すディスプレイユニット11では、ディスプレイ11aにレンティキュラ11cが設けられている。レンティキュラ11cは、図5に示すように、右眼と左眼のそれぞれ視線の届く位置を変化させるプリズムとして動作すると共に、線幅を広げる凸レンズとして作用し、レンズ1本が1つの画素ラインとして見えるようにするものである。パララックスバリア方式と同様に、制御ユニット20(ゲーム画像表示部30d)は、レンティキュラ11cの構成に応じて、ゲーム画像と手画像とを立体視させるためのパターンを表示させる。   FIG. 5 shows a configuration example of the display unit 11 using the lenticular method. In the display unit 11 shown in FIG. 5, a lenticular 11c is provided on the display 11a. As shown in FIG. 5, the lenticular 11c operates as a prism that changes the position where the line of sight reaches each of the right eye and the left eye, and acts as a convex lens that widens the line width, and one lens is used as one pixel line. To make it visible. Similar to the parallax barrier method, the control unit 20 (game image display unit 30d) displays a pattern for stereoscopically viewing the game image and the hand image according to the configuration of the lenticular 11c.

これにより、プレーヤーは、パララックスバリア方式と同様にして、偏光メガネなどを装着することなく、裸眼により立体映像を見ることができる。   Thus, the player can view a stereoscopic image with the naked eye without wearing polarized glasses or the like, as in the parallax barrier method.

なお、ディスプレイユニット11において表示される映像を立体視させるための構成として、前述したパララックスバリア方式とレンティキュラ方式に限るものではなく、他の方式を用いることも可能である。   Note that the configuration for stereoscopically viewing the video displayed on the display unit 11 is not limited to the parallax barrier method and the lenticular method described above, and other methods may be used.

図6は、目位置検出用カメラ16を用いたディスプレイユニット11において表示される画像(ゲーム画像、手画像)の表示位置の補正を説明するための図である。
ディスプレイユニット11には、下部筐体10の内部に挿入された手を3次元測定することにより手画像が表示される。このため、手の位置を動かさずに、プレーヤーの頭(目)の位置だけを変動した場合に、視線方向が変化したにも関わらずディスプレイユニット11に表示された手画像とゲーム画像(オブジェクト)の表示位置が変化せず違和感が生じてしまう。
FIG. 6 is a diagram for explaining correction of the display position of an image (game image, hand image) displayed on the display unit 11 using the eye position detection camera 16.
A hand image is displayed on the display unit 11 by three-dimensionally measuring a hand inserted into the lower housing 10. Therefore, when only the position of the player's head (eyes) is changed without moving the position of the hand, the hand image and the game image (object) displayed on the display unit 11 in spite of the change in the line-of-sight direction. The display position does not change, and the user feels uncomfortable.

本実施形態におけるゲーム装置では、通常、プレーヤーが位置している正面中央付近の画像を撮影できるように目位置検出用カメラ16が設置されている。制御ユニット20は、目位置検出用カメラ16により撮影された画像をもとに、プレーヤーの頭(目)の位置の変化、すなわち視線方向の変化を検出して、この視線方向の変化に合わせてディスプレイユニット11に表示させる画像の表示位置を補正する。これにより、プレーヤーに対して、ディスプレイユニット11に表示された画像が実際に存在している手やオブジェクトであるように認識させることができる。   In the game device according to the present embodiment, the eye position detection camera 16 is usually installed so that an image near the center of the front where the player is located can be taken. The control unit 20 detects a change in the position of the player's head (eye), that is, a change in the line of sight based on the image taken by the eye position detection camera 16, and adjusts to the change in the line of sight. The display position of the image displayed on the display unit 11 is corrected. This allows the player to recognize that the image displayed on the display unit 11 is actually a hand or object that exists.

図7は、本実施形態におけるゲーム装置の機能構成を示すブロック図である。
図7に示すように、ゲーム装置は、制御ユニット20にCPU30、メモリ31、記録装置32、表示制御部33、入出力インタフェース34等のモジュールが搭載されている。
FIG. 7 is a block diagram showing a functional configuration of the game device in the present embodiment.
As shown in FIG. 7, in the game apparatus, modules such as a CPU 30, a memory 31, a recording device 32, a display control unit 33, and an input / output interface 34 are mounted on the control unit 20.

CPU30は、ゲーム装置全体の制御を司るもので、ゲームプログラム31aを実行することによって各種機能を実現する。CPU30により実現される機能には、手形状検出部30a、手画像生成部30b、ゲーム制御部30c、ゲーム画像表示部30d、画像判定部30e、及び音声認識部30fを含み、各機能部が協働してゲーム処理を実行する。   The CPU 30 controls the entire game apparatus, and implements various functions by executing the game program 31a. The functions realized by the CPU 30 include a hand shape detection unit 30a, a hand image generation unit 30b, a game control unit 30c, a game image display unit 30d, an image determination unit 30e, and a voice recognition unit 30f. Work and execute game processing.

手形状検出部30aは、3次元測定カメラ22によって撮影された画像をもとに、筐体内に挿入されたプレーヤーの手の形状、動きを検出する。   The hand shape detection unit 30a detects the shape and movement of the player's hand inserted in the housing based on the image taken by the three-dimensional measurement camera 22.

手画像生成部30bは、手形状検出部30aにより測定された手の形状、動きをもとに、手を3次元により表現する手画像を例えばCG(computer graphics)により生成する。   The hand image generation unit 30b generates, for example, CG (computer graphics), a hand image representing a hand in three dimensions based on the shape and movement of the hand measured by the hand shape detection unit 30a.

ゲーム制御部30cは、画像判定部30eにより判別されたゲーム画像(オブジェクト)と手画像とのゲーム空間内における相対関係に応じてゲームを制御する。本実施形態におけるゲーム装置において「動物かわいがりゲーム」を実行する場合には、動物の画像に対して手画像がどのように触れているかによって、正しく撫でているか、あるいは動物を不快にする撫で方をしているかを判定し、この結果に応じてゲームを進行させる。ゲーム制御部30cは、ゲーム中のイベントとして、所定の状態となった場合に、入出力インタフェース34を通じてパッド駆動ユニット19を駆動して圧力パッド13を摺動させる。また、ゲーム制御部30cは、音声認識部30fによってプレーヤーにより予め決められた発声がされたことが認識された場合に、ゲーム画像表示部30dによって発声内容に応じたオブジェクトをゲーム画面中に表示させる。   The game control unit 30c controls the game according to the relative relationship in the game space between the game image (object) determined by the image determination unit 30e and the hand image. When the “animal petting game” is executed in the game device according to the present embodiment, depending on how the hand image touches the animal image, it is correctly stroked or stroked to make the animal uncomfortable. The game is advanced according to the result. The game control unit 30c slides the pressure pad 13 by driving the pad drive unit 19 through the input / output interface 34 when an event during the game becomes a predetermined state. The game control unit 30c causes the game image display unit 30d to display an object corresponding to the utterance content on the game screen when the voice recognition unit 30f recognizes that the player has made a predetermined utterance. .

ゲーム画像表示部30dは、ゲーム制御部30cにより制御されるゲーム内容に応じた画像を表示させるもので、ゲーム用のオブジェクトを含むゲーム画像と手画像生成部30bにより生成された手画像とを、表示制御部33を通じてディスプレイユニット11において表示させる。ゲーム画像表示部30dは、前述したように、プレーヤーが裸眼でゲーム画像と手画像とを立体視させるためのパターンをディスプレイユニット11に表示させる。また、ゲーム画像表示部30dは、目位置検出用カメラ16によって撮影された画像をもとに検出されたプレーヤーの目の位置をもとに、ゲーム画像と手画像との表示位置を補正して表示させる表示位置補正機能を有している。   The game image display unit 30d displays an image according to the game content controlled by the game control unit 30c. The game image display unit 30d displays a game image including a game object and a hand image generated by the hand image generation unit 30b. It is displayed on the display unit 11 through the display control unit 33. As described above, the game image display unit 30d causes the display unit 11 to display a pattern for allowing the player to stereoscopically view the game image and the hand image with the naked eye. Further, the game image display unit 30d corrects the display position of the game image and the hand image based on the position of the player's eyes detected based on the image taken by the eye position detection camera 16. It has a display position correction function for display.

画像判定部30eは、ゲーム画像表示部30dにより表示されるゲーム画像中のオブジェクトと、手画像生成部30bにより生成される手画像とのゲーム空間における相対関係を判別する。   The image determination unit 30e determines a relative relationship in the game space between the object in the game image displayed by the game image display unit 30d and the hand image generated by the hand image generation unit 30b.

音声認識部30fは、マイク18から入力されたプレーヤーの音声について音声認識を実行し、この認識された音が予め決められた発声音、例えば、ゲーム空間内で使用可能な道具の名称であるかを認識する。   The voice recognition unit 30f performs voice recognition on the player's voice input from the microphone 18, and whether the recognized sound is a predetermined utterance, for example, the name of a tool that can be used in the game space. Recognize

メモリ31は、CPU30により処理されるプログラムやデータ等が記憶される。メモリ31に記憶されるプログラムには、基本プログラム(OS)の他に、ゲーム処理を実行するためのゲームプログラム31aが含まれている。また、ゲームプログラム31aの実行に伴って、ディスプレイユニット11においてゲーム状況に応じた画像を表示するためのゲーム画像データ31b、手画像データ31cが記憶される。   The memory 31 stores programs and data processed by the CPU 30. The program stored in the memory 31 includes a game program 31a for executing game processing in addition to the basic program (OS). As the game program 31a is executed, game image data 31b and hand image data 31c for displaying an image corresponding to the game situation on the display unit 11 are stored.

記録装置32は、プログラムやデータが記録される。   The recording device 32 records programs and data.

表示制御部33は、CPU30の制御のもとで、ディスプレイユニット11における画像(映像)の表示を制御する。   The display control unit 33 controls display of an image (video) on the display unit 11 under the control of the CPU 30.

入出力インタフェース34は、外部モジュールとのインタフェースであり、目位置検出用カメラ16、スピーカ17、マイク18、パッド駆動ユニット19、3次元測定カメラ22等が接続される。   The input / output interface 34 is an interface with an external module, and is connected to the eye position detection camera 16, the speaker 17, the microphone 18, the pad drive unit 19, the three-dimensional measurement camera 22, and the like.

なお、入出力インタフェース34と目位置検出用カメラ16との間に、目位置検出用カメラ16によって撮影された画像をもとに、プレーヤーの目の位置を示す位置データを検出する位置検出ユニットを設けるようにしても良い。位置検出ユニットは、例えば目位置検出用カメラ16の設置位置を基準としたxyz座標系における目の位置をxyzデータとして検出して、入出力インタフェース部34を介してCPU30に出力する。ゲーム画像表示部30dは、位置検出ユニットにより検出されたプレーヤーの目の位置(xyzデータ)をもとに、ゲーム画像と手画像との表示位置を補正して表示させる。   A position detection unit that detects position data indicating the position of the eyes of the player based on an image taken by the eye position detection camera 16 is provided between the input / output interface 34 and the eye position detection camera 16. You may make it provide. The position detection unit detects, for example, the eye position in the xyz coordinate system based on the installation position of the eye position detection camera 16 as xyz data, and outputs the detected data to the CPU 30 via the input / output interface unit 34. The game image display unit 30d corrects and displays the display positions of the game image and the hand image based on the position of the player's eyes (xyz data) detected by the position detection unit.

次に、本実施形態におけるゲーム装置の動作について、フローチャートを参照しながら説明する。
図8は、ゲーム装置により実行されるゲーム処理を示すフローチャートである。
Next, the operation of the game device in the present embodiment will be described with reference to a flowchart.
FIG. 8 is a flowchart showing a game process executed by the game device.

CPU30は、ゲームが開始されると、3次元測定カメラ22による画像の撮影を開始して、手挿入口12からプレーヤーの手が挿入された場合に、プレーヤーの手に応じて手画像をディスプレイユニット11に表示させるための手画像表示処理を開始する。また、ゲーム制御部30cは、ゲーム内容に応じたゲーム画像を、ゲーム画像表示部30dによって表示させる。例えば、「動物かわいがりゲーム」では、かわいがりの対象とする動物としてライオンの画像をディスプレイユニット11において表示させる。   When the game is started, the CPU 30 starts capturing an image by the three-dimensional measurement camera 22, and when the player's hand is inserted from the hand insertion port 12, the hand image is displayed according to the player's hand. 11 is started. Moreover, the game control part 30c displays the game image according to the game content by the game image display part 30d. For example, in the “animal petting game”, an image of a lion is displayed on the display unit 11 as an animal to be petted.

図9は、手画像表示処理を示すフローチャートである。
手形状検出部30aは、3次元測定カメラ22によって撮影された画像をもとに手の形状や位置を検出する(ステップB1)。プレーヤーが手挿入口12から手を挿入していた場合には、画像をもとにして手形状を検出することができる(ステップB2、Yes)。
FIG. 9 is a flowchart showing hand image display processing.
The hand shape detection unit 30a detects the shape and position of the hand based on the image taken by the three-dimensional measurement camera 22 (step B1). When the player has inserted a hand from the hand insertion port 12, the hand shape can be detected based on the image (step B2, Yes).

手画像生成部30bは、手形状検出部30aによって検出された手形状に応じた手のCG(手画像)を作成する(ステップB3)。なお、ここで作成される手画像は、一般的な人間の手を表す画像に限るものではなく、動物やロボットの手など任意の形状とすることが可能である。どのような形状の手画像とするかは、予めプレーヤーが指定できるようにしても良いし、ゲーム内容に応じてゲームプログラム31aにおいて予め決められているようにしても良い。   The hand image generation unit 30b creates a hand CG (hand image) corresponding to the hand shape detected by the hand shape detection unit 30a (step B3). Note that the hand image created here is not limited to an image representing a general human hand, but may be any shape such as an animal or a robot hand. The shape of the hand image may be specified by the player in advance, or may be determined in advance in the game program 31a according to the game content.

ゲーム画像表示部30dは、目位置検出用カメラ16によって撮影された画像をもとにして、プレーヤーの現在の頭(目)の位置を判別し(ステップB4)、頭(目)の位置に応じて手画像を表示する位置を補正する(ステップB5)。例えば、頭(目)が中央から左側に移動している場合には、プレーヤーからの視線方向が左側に移動することになるので、プレーヤーの視点位置と、実際の手の位置との相対的な位置関係をもとに、ディスプレイユニット11に表示すべき手画像の位置と角度を算出して表示位置を変更する。   The game image display unit 30d determines the current position of the player's head (eyes) based on the image taken by the eye position detection camera 16 (step B4), and according to the position of the head (eyes). The position where the hand image is displayed is corrected (step B5). For example, when the head (eyes) is moving from the center to the left, the direction of the line of sight from the player moves to the left, so the relative position between the player's viewpoint and the actual hand position Based on the positional relationship, the position and angle of the hand image to be displayed on the display unit 11 are calculated to change the display position.

一方、画像判定部30eは、手画像表示処理によって表示される手画像とゲーム画像(ゲーム空間中のライオン)との相対関係を判別する(ステップA2)。すなわち、ゲーム空間中の手がどのようにしてライオンに触れているかを判別する。   On the other hand, the image determination unit 30e determines the relative relationship between the hand image displayed by the hand image display process and the game image (the lion in the game space) (step A2). That is, it is determined how the hand in the game space is touching the lion.

ゲーム制御部30cは、画像判定部30eによる判別結果に応じて、ゲーム画像をゲーム画像表示部30dにより表示させる(ステップA5)。例えば、上手にライオンを撫でていると判別された場合には、ライオンが気持ち良さそうに反応している画像などを表示させる。   The game control unit 30c causes the game image display unit 30d to display a game image according to the determination result by the image determination unit 30e (step A5). For example, if it is determined that the lion is stroking well, an image of the lion responding in a pleasant manner is displayed.

また、手画像とゲーム画像(ゲーム空間中のライオン)との相対関係についての判別結果からイベント発生と判別された場合(ステップA3、Yes)、ゲーム制御部30cは、ゲーム状況に応じたイベント動作を実行させる(ステップA4)。例えば、下手にライオンを撫でていると判別された場合には、ライオンが怒っていることを表すように、パッド駆動ユニット19を駆動させて圧力パッド13を動かし、プレーヤーの腕に上下から圧接させる。つまり、ライオンに噛みつかれたことを表現するイベントを実行させる。   In addition, when it is determined that an event has occurred from the determination result regarding the relative relationship between the hand image and the game image (the lion in the game space) (step A3, Yes), the game control unit 30c performs an event operation according to the game situation. Is executed (step A4). For example, if it is determined that the lion is stroking the lower lion, the pad drive unit 19 is driven to move the pressure pad 13 so that the lion is angry, and the player's arm is pressed from above and below. . In other words, an event expressing that the lion was bitten is executed.

なお、ゲームの実行中にプレーヤーによって所定の発声がされた場合、音声認識部30fは、マイク18から入力されたプレーヤーの音声について認識処理を実行する(ステップA6,A7)。ここで、予め決められた発声がされたことが認識された場合、ゲーム制御部30cは、ゲーム画像表示部30dによって発声内容に応じたオブジェクトをゲーム画面中に表示させる(ステップA8)。例えば、「ブラシ」と発声された場合には、ゲーム画面中にブラシを表すオブジェクトを表示させて、プレーヤーによる手画像によって操作できるようにする。
以上のような処理をゲーム終了まで実行する(ステップA9)。
When a predetermined utterance is made by the player during the execution of the game, the voice recognition unit 30f performs a recognition process on the voice of the player input from the microphone 18 (steps A6 and A7). Here, when it is recognized that a predetermined utterance has been made, the game control unit 30c causes the game image display unit 30d to display an object corresponding to the utterance content on the game screen (step A8). For example, when “brush” is spoken, an object representing a brush is displayed on the game screen so that it can be operated by a hand image by the player.
The above processing is executed until the game ends (step A9).

こうして、プレーヤーは、手挿入口12から挿入した手を自由に動かすことで、ゲーム空間内の動物に触れている感覚を得ることができる。ディスプレイユニット11において表示される画像は、図4及び図5において説明したように、偏光メガネ等を装着することなく立体視できるように構成されているため、より現実のような感覚が得られる。また、プレーヤーがゲーム中に頭(目)の位置を移動させたとしても、その変化に合わせてディスプレイユニット11に表示される動物の画像や手画像の表示位置が補正されるため、ディスプレイユニット11に表示される画像に違和感を生じさせない。   In this way, the player can obtain a sense of touching an animal in the game space by freely moving the hand inserted from the hand insertion slot 12. As described with reference to FIGS. 4 and 5, the image displayed on the display unit 11 is configured to be stereoscopically viewed without wearing polarized glasses or the like, so that a more realistic feeling can be obtained. Even if the player moves the position of the head (eyes) during the game, the display position of the animal image or the hand image displayed on the display unit 11 is corrected in accordance with the change. The image displayed on the screen does not feel strange.

本実施形態におけるゲーム装置では、手挿入口12から挿入した手の画像を3次元測定カメラ22により測定し、実際の手の形状や動きに合わせた手画像をディスプレイユニット11に応じて表示させ、ゲーム空間中の動物などのオブジェクトと触れさせることができる。すなわち、プレーヤーは何の制約も受けずに手を動かしてゲームを実施することができるので、自由度の高いゲームとすることができる。また、自由に手を動かすことができるため、ゲーム内容にバリエーションを持たせることができ、プレーヤーに興味を持たれるゲームを提供することができる。   In the game device according to the present embodiment, the image of the hand inserted from the hand insertion port 12 is measured by the three-dimensional measurement camera 22, and the hand image according to the actual shape and movement of the hand is displayed according to the display unit 11, You can touch an object such as an animal in the game space. That is, since the player can move the hand and execute the game without any restrictions, it can be a highly flexible game. In addition, since the hand can be moved freely, the game content can be varied, and a game in which the player is interested can be provided.

なお、前述した説明では、「動物かわいがりゲーム」を例にして説明しているが、任意のゲーム内容とすることができる。例えば、「手術ゲーム」「すし職人ゲーム」「美容師ゲーム」「対戦麻雀ゲーム」などを実現可能である。   In the above description, the “animal petting game” is described as an example, but any game content can be used. For example, a “surgery game”, “sushi craftsman game”, “hairdresser game”, “match mahjong game”, etc. can be realized.

「手術ゲーム」は、プレーヤーが外科手術の執刀医となり、重症患者の手術を時間内に行なうゲームである。ディスプレイユニット11においては、擬似的な手術台が表示されて、筐体内に挿入した手を動かすことで手術台の患者に対して外科的処置を施すことができる。また、メス、鉗子、注射、ドレーンなどの手術道具は、プレーヤーが音声入力することで、手画像に道具を持たせて任意にゲーム空間内で使用できるようにする。「手術ゲーム」では、メインで操作するプレーヤーの他、助手となる別のプレーヤーも同時にゲームに参加できるようにする。この場合、制御ユニット20では、それぞれのプレーヤーの手を3次元測定により検出し、個別に前述と同様に手画像を表示して制御する。   The “surgery game” is a game in which a player becomes a surgeon and performs an operation on a critically ill patient in time. In the display unit 11, a pseudo operating table is displayed, and a surgical procedure can be performed on a patient on the operating table by moving a hand inserted into the housing. In addition, surgical tools such as scalpels, forceps, injections, and drains can be used arbitrarily in the game space by allowing the player to input a voice and holding the tools in hand images. In the “surgery game”, in addition to the main player, another assistant player can participate in the game at the same time. In this case, the control unit 20 detects the hand of each player by three-dimensional measurement, and individually displays and controls the hand image as described above.

「すし職人ゲーム」では、プレーヤーは寿司屋の職人になり、客からの注文通りの寿司を時間内に握るゲームである。プレーヤーは、ゲーム空間内で、シャリを握る、ネタを乗せる動作をする。「美容師ゲーム」では、プレーヤーは美容師になり、お客さんのオーダーに答えてトリミングを行なう。ディスプレイユニット11では、お客さんの頭部が表示され、手画像によって髪に触れて、ブラシやハサミを使用してカットなどをすることができる。「美容師ゲーム」では、プレーヤーが音声によって道具を選択するだけでなく、お客さんを喜ばせる会話ができているかを音声認識処理によって判別して得点を計算することもできる。「対戦麻雀ゲーム」では、対戦相手を含めた画像をディスプレイユニット11において表示し、自分の牌を手画像によってつまむ操作をできるようにすることで、臨場感のあるゲームを提供することができる。   In the “sushi craftsman game”, the player becomes a sushi chef's craftsman and holds sushi as ordered by customers in time. In the game space, the player moves in the game and puts a story. In the “Beauty Shop Game”, the player becomes a hairdresser and performs trimming in response to the customer's order. The display unit 11 displays the customer's head, touches the hair with a hand image, and can use a brush or scissors to cut the hair. In the “beauty salon game”, the player can not only select a tool by voice, but can also calculate the score by determining whether or not the conversation is pleasing to the customer by voice recognition processing. In the “matching mahjong game”, an image including the opponent is displayed on the display unit 11 so that the player can perform an operation of pinching his / her bag with a hand image, thereby providing a realistic game.

また、前述したゲーム装置の構成では、手挿入口12から挿入された手については3次元測定カメラ22により測定し、プレーヤーの目については目位置検出用カメラ16によって撮影しているが、他の構成も実現可能である。   In the above-described configuration of the game device, the hand inserted from the hand insertion port 12 is measured by the three-dimensional measurement camera 22, and the player's eyes are photographed by the eye position detection camera 16. A configuration is also feasible.

例えば、図10(a)に示すように、筐体の背面側にミラー40を設置して、3次元測定カメラ22によって手だけでなく、ミラー40に映ったプレーヤーの顔(目)も同時に測定できるようにすることができる。また、図10(b)に示すように、ディスプレイユニット11を透過可能なスクリーンにして、赤外線カメラ41によってプレーヤーの手と顔(目)を認識し、ディスプレイユニット11の上部に設置されたプロジェクタ42からディスプレイユニット11に対して映像を投影する構成とすることも可能である。   For example, as shown in FIG. 10 (a), a mirror 40 is installed on the back side of the housing, and not only the hand but also the face (eyes) of the player reflected on the mirror 40 are simultaneously measured by the three-dimensional measurement camera 22. Can be able to. Further, as shown in FIG. 10B, the display unit 11 is made a transmissive screen, the player's hand and face (eyes) are recognized by the infrared camera 41, and the projector 42 installed on the upper part of the display unit 11. It is also possible to adopt a configuration in which an image is projected onto the display unit 11.

また、前述した構成においては、各処理をCPU30により実行するものとしているが、画像処理については表示制御部33(GPU(Graphic Processing Unit))において実行させるようにしても良い。例えば、手形状検出処理や手画像生成処理、ゲーム画像表示処理については、CPU(ゲーム制御部)からの制御のもとで、画像処理を高速に実行可能なGPUに負担させることで、ゲーム処理全体を効率的に実行可能となる。   In the configuration described above, each process is executed by the CPU 30, but the image processing may be executed by a display control unit 33 (GPU (Graphic Processing Unit)). For example, with regard to hand shape detection processing, hand image generation processing, and game image display processing, game processing is performed by placing a GPU that can execute image processing at high speed under the control of a CPU (game control unit). The whole can be executed efficiently.

このようにして、本実施形態におけるゲーム装置では、プレーヤーに対して何ら装備をさせることなく、自由度の高い操作性を実現した、仮想現実的な感覚を得るゲーム装置を実現することが可能となる。   In this way, the game device according to the present embodiment can realize a game device that achieves a highly realistic operability and achieves a virtual reality sensation without any equipment for the player. Become.

また、センサグローブなどプレーヤーに装着させるものがないため、不特定多数がプレイすることを想定した場合の衛生面上の問題が大幅に減少する。さらに、センサグローブを使用した場合、ディスプレイ上に現れる手はグローブの大きさになってしまうが、3次元測定カメラ22を使用して手の形状を測定するので、子供の手であれば実寸の子供の小さな手が、大人の手であれば実寸の大人の大きな手が生成されるので、実物に近い3Dモデルを作ることが可能となる。   In addition, since there is nothing to be attached to the player such as a sensor glove, hygiene problems when it is assumed that an unspecified number of players play are greatly reduced. Furthermore, when a sensor glove is used, the hand appearing on the display becomes the size of the glove, but since the shape of the hand is measured using the three-dimensional measurement camera 22, if it is a child's hand, the actual size will be If a child's small hand is an adult's hand, a large adult's large hand is generated, so a 3D model close to the real thing can be made.

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Further, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

10…下部筐体、11…ディスプレイユニット、12…手挿入口、13…圧力パッド、15…上部筐体、16…目位置検出用カメラ、17…スピーカ、18…マイク、19…パッド駆動ユニット、20…制御ユニット、22…3次元測定カメラ、30…CPU、30a…手形状検出部、30b…手画像生成部、30c…ゲーム制御部、30d…ゲーム画像表示部、30e…画像判定部、30f…音声認識部、31…メモリ、31a…ゲームプログラム、31b…ゲーム画像データ、31c…手画像データ、32…記録装置、33…表示制御部、34…入出力インタフェース。   DESCRIPTION OF SYMBOLS 10 ... Lower housing | casing, 11 ... Display unit, 12 ... Hand insertion port, 13 ... Pressure pad, 15 ... Upper housing | casing, 16 ... Camera for eye position detection, 17 ... Speaker, 18 ... Microphone, 19 ... Pad drive unit, DESCRIPTION OF SYMBOLS 20 ... Control unit, 22 ... Three-dimensional measuring camera, 30 ... CPU, 30a ... Hand shape detection part, 30b ... Hand image generation part, 30c ... Game control part, 30d ... Game image display part, 30e ... Image determination part, 30f ... voice recognition unit, 31 ... memory, 31a ... game program, 31b ... game image data, 31c ... hand image data, 32 ... recording device, 33 ... display control unit, 34 ... input / output interface.

Claims (5)

プレーヤーの手を挿入可能な挿入口が設けられた筐体と、
前記筐体内に挿入された手を3次元測定する測定手段と、
前記測定手段により測定された手をもとに、前記手を3次元により表現する手画像を生成する手画像生成手段と、
ゲーム用のオブジェクトを含むゲーム画像と前記手画像生成手段により生成された手画像とを表示させるゲーム画像表示手段と、
前記ゲーム画像表示手段により表示されるゲーム画像中のオブジェクトと前記手画像生成手段により生成される手画像とのゲーム空間における相対関係を判別する画像判定手段と、
前記画像判定手段により判別された相対関係に応じて、ゲームを制御するゲーム制御手段と
前記挿入口に手を挿入しているプレーヤーの目の位置を検出する検出手段と、
前記検出手段により検出された目の位置の変化に応じて、前記ゲーム画像表示手段によって表示される前記手画像の表示位置を、前記目の位置と前記筐体内に挿入された手との相対的な位置関係をもとに補正する表示位置補正手段とを具備したことを特徴とするゲーム装置。
A housing provided with an insertion slot into which a player's hand can be inserted;
Measuring means for three-dimensionally measuring a hand inserted into the housing;
Hand image generating means for generating a hand image representing the hand in three dimensions based on the hand measured by the measuring means;
Game image display means for displaying a game image including a game object and the hand image generated by the hand image generation means;
Image determining means for determining a relative relationship in the game space between an object in the game image displayed by the game image display means and the hand image generated by the hand image generating means;
Game control means for controlling the game according to the relative relationship determined by the image determination means ;
Detection means for detecting the position of the eyes of the player who is inserting his hand into the insertion slot;
The display position of the hand image displayed by the game image display means according to the change in the eye position detected by the detection means is a relative position between the eye position and the hand inserted in the housing. A display device comprising: a display position correcting means for correcting based on a correct positional relationship .
前記ゲーム画像と前記手画像とを表示するためのディスプレイユニットをさらに具備し、
前記ゲーム画像表示手段は、前記ゲーム画像と前記手画像とを、立体視させるためのパターンによって前記ディスプレイユニットにおいて表示させ、
前記ディスプレイユニットには、前記ゲーム画像表示手段によって表示されるパターンに応じた形状が設けられた、前記ゲーム画像と前記手画像とを立体視させるための部材がディスプレイ面に装着されて構成されていることを特徴とする請求項1記載のゲーム装置。
A display unit for displaying the game image and the hand image;
The game image display means displays the game image and the hand image on the display unit by a pattern for stereoscopic viewing,
Wherein the display unit, the game is a shape corresponding to the pattern displayed by the image display means is provided, member for stereoscopic vision and the hand image and the game image is configured is mounted on a display surface The game device according to claim 1, wherein:
前記挿入口に手を挿入しているプレーヤーの顔を含む画像を撮影する撮影手段をさらに具備し、
前記検出手段は、前記撮影手段によって撮影された画像をもとにプレーヤーの目の位置を検出することを特徴とする請求項1記載のゲーム装置。
It further comprises photographing means for photographing an image including the face of the player who is inserting a hand into the insertion slot ,
The game device according to claim 1 , wherein the detection unit detects a position of a player's eyes based on an image photographed by the photographing unit.
プレーヤーの音声を入力する音声入力手段と、
前記音声入力手段により入力された音声を認識する音声認識手段とをさらに具備し、
前記ゲーム画像表示手段は、前記音声認識手段によって認識された音声に応じたオブジェクトを表示させることを特徴とする請求項1記載のゲーム装置。
Voice input means for inputting the voice of the player;
Voice recognition means for recognizing the voice input by the voice input means,
2. The game apparatus according to claim 1, wherein the game image display means displays an object corresponding to the voice recognized by the voice recognition means.
前記挿入口に挿入されたプレーヤーの腕に圧接するように摺動可能に前記挿入口の周囲に設けられた部材と、
前記部材を摺動させる駆動手段とをさらに具備し、
前記駆動手段は、前記ゲーム制御手段によるゲームの制御と関連させて前記部材を摺動させることを特徴とする請求項1記載のゲーム装置。
A member provided around the insertion port so as to be slidable so as to come into pressure contact with the arm of the player inserted into the insertion port ;
Drive means for sliding the member,
The game apparatus according to claim 1, wherein the driving unit slides the member in association with a game control by the game control unit.
JP2010146683A 2010-06-28 2010-06-28 Game device Active JP5629144B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010146683A JP5629144B2 (en) 2010-06-28 2010-06-28 Game device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010146683A JP5629144B2 (en) 2010-06-28 2010-06-28 Game device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014205119A Division JP5934768B2 (en) 2014-10-03 2014-10-03 Game device

Publications (2)

Publication Number Publication Date
JP2012005773A JP2012005773A (en) 2012-01-12
JP5629144B2 true JP5629144B2 (en) 2014-11-19

Family

ID=45537015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146683A Active JP5629144B2 (en) 2010-06-28 2010-06-28 Game device

Country Status (1)

Country Link
JP (1) JP5629144B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071546A (en) * 2012-09-27 2014-04-21 Waseda Univ Tactile illusion presenting apparatus and tactile illusion presenting program
JP5934768B2 (en) * 2014-10-03 2016-06-15 株式会社タイトー Game device
JP6240135B2 (en) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント Image processing apparatus, image processing method, and program
JP2018106392A (en) * 2016-12-26 2018-07-05 株式会社コロプラ Method executed by computer to communicate through virtual space, program for causing computer to execute the method, and computer device
JP2020009295A (en) 2018-07-11 2020-01-16 ソニー株式会社 Information processing apparatus, information processing method, and program
JP7420099B2 (en) 2021-03-10 2024-01-23 豊田合成株式会社 How to watch

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09171156A (en) * 1995-12-20 1997-06-30 Fujitsu General Ltd Stereoscopic picture display device
JP2000005445A (en) * 1998-06-26 2000-01-11 Sony Corp Network game device
JP2000047139A (en) * 1998-07-27 2000-02-18 Mr System Kenkyusho:Kk Stereoscopic image display device
JP3577042B2 (en) * 2002-01-15 2004-10-13 キヤノン株式会社 Stereoscopic display device and screen control method in stereoscopic display device
JP4906397B2 (en) * 2006-05-12 2012-03-28 三菱重工環境・化学エンジニアリング株式会社 Simulation apparatus and simulation method
JP2008225985A (en) * 2007-03-14 2008-09-25 Namco Bandai Games Inc Image recognition system
JP2010022673A (en) * 2008-07-22 2010-02-04 Wiz Co Ltd Finger input device and game device using finger input device

Also Published As

Publication number Publication date
JP2012005773A (en) 2012-01-12

Similar Documents

Publication Publication Date Title
JP7283506B2 (en) Information processing device, information processing method, and information processing program
CN109690633B (en) Simulation system, processing method, and information storage medium
US9829989B2 (en) Three-dimensional user input
JP5629144B2 (en) Game device
CN110456626B (en) Holographic keyboard display
JP6027764B2 (en) Mirror system and control method thereof
JP4917664B1 (en) Image display device, game program, and game control method
CN116348837A (en) Apparatus, method and graphical user interface for interacting with a three-dimensional environment
JP4413203B2 (en) Image presentation device
CN109716397B (en) Simulation system, processing method, and information storage medium
JP5419100B2 (en) Sensory presentation system and sensory presentation device
JP7085578B2 (en) Information processing device, user guide presentation method, and head-mounted display
KR20230037054A (en) Systems, methods, and graphical user interfaces for updating a display of a device relative to a user's body
JP2004357760A (en) Game machine
US20230185369A1 (en) Eye tracking using alternate sampling
JP2012106005A (en) Image display device, game program, and game control method
JP5934768B2 (en) Game device
JP6964302B2 (en) Animation production method
JP6479835B2 (en) I / O device, I / O program, and I / O method
JPH10334274A (en) Method and system for virtual realize and storage medium
JP2014071546A (en) Tactile illusion presenting apparatus and tactile illusion presenting program
JP7390542B2 (en) Animation production system
JP6955725B2 (en) Animation production system
US20240185482A1 (en) Information processing apparatus, information processing method, and program
Yong et al. A stereo vision based virtual reality game by using a vibrotactile device and two position sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141003

R150 Certificate of patent or registration of utility model

Ref document number: 5629144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150