JP7319686B2 - Game program, game processing method, and game device - Google Patents

Game program, game processing method, and game device Download PDF

Info

Publication number
JP7319686B2
JP7319686B2 JP2020203592A JP2020203592A JP7319686B2 JP 7319686 B2 JP7319686 B2 JP 7319686B2 JP 2020203592 A JP2020203592 A JP 2020203592A JP 2020203592 A JP2020203592 A JP 2020203592A JP 7319686 B2 JP7319686 B2 JP 7319686B2
Authority
JP
Japan
Prior art keywords
user
virtual space
image
game
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020203592A
Other languages
Japanese (ja)
Other versions
JP2022090965A (en
Inventor
憲明 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2020203592A priority Critical patent/JP7319686B2/en
Priority to US18/575,023 priority patent/US20240316450A1/en
Priority to CN202180066033.4A priority patent/CN116249575A/en
Priority to PCT/JP2021/043823 priority patent/WO2022124135A1/en
Priority to KR1020237009486A priority patent/KR20230052297A/en
Publication of JP2022090965A publication Critical patent/JP2022090965A/en
Application granted granted Critical
Publication of JP7319686B2 publication Critical patent/JP7319686B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ゲームプログラム、ゲーム処理方法、及びゲーム装置に関する。 The present invention relates to a game program, a game processing method, and a game device.

音楽ゲームには、ユーザの身体の動きを検出して、ダンスの良し悪しを評価するダンスゲームがある。例えば、特許文献1には、ユーザ(プレイヤ)が楽曲に合わせて手や足を動かすことによって描くべき軌跡とタイミングを、ユーザの対面に表示されるゲーム画面に案内表示し、その案内表示を見ながらユーザが手や足を動かすダンスゲームについて開示されている。このダンスゲームは、例えば、家庭用のゲーム機でプレイすることができる。 Among music games, there is a dance game that detects the movement of the user's body and evaluates the quality of the dance. For example, Patent Literature 1 discloses that a user (player) guides and displays a trajectory and timing to be drawn by moving hands and feet in time with music on a game screen displayed facing the user, and the guide display is displayed. Also disclosed is a dance game in which users move their hands and feet. This dance game can be played, for example, on a home-use game machine.

また、特許文献2には、同様に楽曲に合わせてゲーム画面に案内表示される指示に合わせて、実空間に配置されている操作パネルをユーザが足で踏む動作を行うダンスゲームについて開示されている。このダンスゲームは、実空間におけるユーザの足の踏む位置を判定するための操作パネルを足元に設置しておく必要があり、ゲームセンターなどの遊戯施設に設置される所謂アーケードゲームとして構成されている例である。 Similarly, Patent Document 2 discloses a dance game in which the user steps on an operation panel arranged in real space in accordance with instructions displayed on the game screen in time with music. there is This dance game requires an operation panel to be installed at the user's feet for determining the position of the user's foot in the real space, and is configured as a so-called arcade game installed in amusement facilities such as game arcades. For example.

特開2012-196286号公報JP 2012-196286 A 特開2016-193006号公報JP 2016-193006 A

しかしながら、上述した特許文献1に記載のゲームでは、ユーザがどのような身体の動き(軌跡)をどのタイミングでするべきかをゲーム画面で案内できるものの、実空間においてユーザが動作すべき位置(例えば、足の踏む位置)を指示するようなゲームには不向きであった。例えば、上述した特許文献2に記載のようなゲームを、足もとに操作パネルを設置することなく家庭用のゲーム機のような簡易な構成で実現しようとすると、ユーザは、実空間内においてどの位置に足を動かせば良いのか分かりづらく、直感的なプレイが困難な場合があった。 However, in the game described in Patent Document 1 mentioned above, although the game screen can guide what kind of body movement (trajectory) the user should make and at what timing, the position where the user should move in the real space (for example, , foot stepping position) is not suitable for games. For example, if the game described in Patent Document 2 mentioned above is to be realized with a simple configuration like a home-use game machine without installing an operation panel at the user's feet, the user will not be able to find any position in the real space. It was sometimes difficult to play intuitively because it was difficult to understand if you should move your feet.

本発明のいくつかの態様は、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内するゲームプログラム、ゲーム処理方法、及びゲーム装置を提供することを目的の一つとする。 SUMMARY OF THE INVENTION An object of some aspects of the present invention is to provide a game program, a game processing method, and a game device that guide the user to what actions should be performed so that a more intuitive play is possible with a simple configuration. be one.

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にするゲームプログラム、ゲーム処理方法、及びゲーム装置を提供することを目的の一つとする。 Another object of the present invention is to provide a game program, a game processing method, and a game device that can achieve the effects described in the embodiments described later.

上述した課題を解決するために、本発明の一態様は、コンピュータに、実空間を撮像した撮像映像を取得するステップと、前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、前記仮想空間内の、ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させるステップと、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、を実行させるためのゲームプログラムである。 In order to solve the above-described problems, one aspect of the present invention provides a computer with a step of acquiring a captured image of a real space, generating a virtual space corresponding to the real space from the captured image, arranging an instruction object that instructs the user's action at a position in the virtual space based on a reference position corresponding to the user so that the user can see the instruction object; a step of displaying on a display unit a synthesized image obtained by synthesizing the image of the pointing object with the image of the pointing object; a step of detecting motion of at least a part of the user's body from the captured image; evaluating based on timing and position based on said pointing object placed in said game program.

また、本発明の一態様は、コンピュータにより実行されるゲーム処理方法であって、実空間を撮像した撮像映像を取得するステップと、前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、前記仮想空間内の、ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させるステップと、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、を含むゲーム処理方法である。 Further, one aspect of the present invention is a game processing method executed by a computer, comprising the steps of acquiring a captured video image of a real space, and generating a virtual space corresponding to the real space from the captured video image. arranging an instruction object that instructs the user's action at a position based on a reference position corresponding to the user in the virtual space so that the user can see the instruction object; a step of displaying on a display unit a synthesized image obtained by synthesizing the image of the pointing object thus obtained; a step of detecting motion of at least a part of the user's body from the captured image; Evaluating based on timing and position based on said pointing object placed in virtual space.

また、本発明の一態様は、実空間を撮像した撮像映像を取得する取得部と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部と、前記生成部により生成された前記仮想空間内の、ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させる表示制御部と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部と、を備えるゲーム装置である。 In one aspect of the present invention, an acquisition unit that acquires a captured image obtained by capturing a real space; a generation unit that generates a virtual space corresponding to the real space from the captured image acquired by the acquisition unit; an arrangement unit for arranging an instruction object that instructs the action of the user at a position based on a reference position corresponding to the user in the virtual space generated by the generation unit so as to be visible to the user; a display control unit for displaying on a display unit a composite image obtained by synthesizing the image of the pointing object placed in the virtual space; and an evaluation unit that evaluates the action detected by the detection unit based on the timing and position of the pointing object placed in the virtual space.

第1の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。FIG. 4 is a diagram showing an overview of game processing by the game device according to the first embodiment; 第1の実施形態に係る仮想空間の空間座標の定義を示す図。4A and 4B are diagrams showing definitions of spatial coordinates in a virtual space according to the first embodiment; FIG. 第1の実施形態に係るゲーム装置のハードウェア構成の一例を示すブロック図。1 is a block diagram showing an example of the hardware configuration of a game device according to the first embodiment; FIG. 第1の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。1 is a block diagram showing an example of a functional configuration of a game device according to a first embodiment; FIG. 第1の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。4 is a flowchart showing an example of pointing object placement processing according to the first embodiment; 第1の実施形態に係る指示オブジェクト表示処理の一例を示すフローチャート。4 is a flowchart showing an example of pointing object display processing according to the first embodiment; 第1の実施形態に係るプレイ評価処理の一例を示すフローチャート。4 is a flowchart showing an example of play evaluation processing according to the first embodiment; 第2の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。FIG. 11 is a diagram showing an overview of game processing by the game device according to the second embodiment; 第2の実施形態に係る仮想空間の空間座標の定義及びユーザ像の位置を示す図。FIG. 10 is a diagram showing the definition of spatial coordinates in a virtual space and the position of a user image according to the second embodiment; 第2の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。The block diagram which shows an example of the functional structure of the game device which concerns on 2nd Embodiment. 第2の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。FIG. 11 is a flowchart showing an example of pointing object placement processing according to the second embodiment; FIG. 第3の実施形態に係るゲームシステムのハードウェア構成の一例を示すブロック図。FIG. 11 is a block diagram showing an example of a hardware configuration of a game system according to a third embodiment; FIG. 第3の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。FIG. 11 is a block diagram showing an example of the functional configuration of a game device according to a third embodiment; 第4の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。The figure which shows the outline|summary of the game processing by the game device which concerns on 4th Embodiment. 第4の実施形態に係るゲーム装置のハードウェア構成の一例を示すブロック図。FIG. 12 is a block diagram showing an example of the hardware configuration of a game device according to the fourth embodiment; FIG. 第4の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。The block diagram which shows an example of the functional structure of the game device which concerns on 4th Embodiment. 第4の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。FIG. 14 is a flowchart showing an example of pointing object placement processing according to the fourth embodiment; FIG. 第4の実施形態に係る指示オブジェクト表示処理の一例を示すフローチャート。14 is a flowchart showing an example of pointing object display processing according to the fourth embodiment; 第4の実施形態に係るプレイ評価処理の一例を示すフローチャート。14 is a flowchart showing an example of play evaluation processing according to the fourth embodiment;

以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。
An embodiment of the present invention will be described below with reference to the drawings.
[First embodiment]
First, a first embodiment of the present invention will be described.

〔ゲーム装置の概要〕
まず、本実施形態に係るゲーム装置で実行されるゲームの処理の一例について、その概要を説明する。本実施形態に係るゲーム装置は、典型的には家庭用のゲーム機を例示できるが、ゲームセンターなどの遊戯施設などで使用されてもよい。
[Overview of game device]
First, an overview of an example of game processing executed by the game device according to the present embodiment will be described. The game device according to this embodiment can typically be a home-use game machine, but it may also be used in amusement facilities such as game arcades.

図1は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、ユーザUがゲーム装置10を用いてダンスゲーム(音楽ゲームの一例)をプレイするプレイ状況を俯瞰して示している。ゲーム装置10は、映像出力装置を含む構成である。映像出力装置は、映像をディスプレイに表示するものであってもよいし、映像を投影するものであってもよい。例えば、ゲーム装置10は、ユーザの頭部に装着することにより、ユーザに視認可能に映像を出力するとともに、実空間を視認可能なHMD(Head Mounted Display)として構成されている。 FIG. 1 is a diagram showing an overview of game processing by the game device according to this embodiment. This diagram shows a bird's-eye view of a play situation in which the user U plays a dance game (an example of a music game) using the game device 10 . The game device 10 is configured to include a video output device. The image output device may display images on a display, or may project images. For example, the game device 10 is configured as an HMD (Head Mounted Display) that, when worn on the user's head, outputs an image so that the user can visually recognize it, and also allows the user to visually recognize the real space.

図示するダンスゲームの例では、楽曲に合わせてHMDに表示される指示オブジェクトのタイミング及び位置に応じて、ユーザUが身体の少なくとも一部を動作させる。指示オブジェクトは、ユーザUが実空間で動作すべきタイミング及び位置の指示を案内するために表示されるオブジェクトである。本実施形態では、仮想空間に配置した指示オブジェクトを実空間に対応付けてHMDに表示することで、ユーザは、直感的なプレイが可能となる。 In the illustrated example of the dance game, the user U moves at least part of the body according to the timing and position of the pointing object displayed on the HMD in time with the music. The instruction object is an object displayed to guide the user U to instruct the timing and position to operate in the real space. In this embodiment, the user can intuitively play by displaying the pointing object arranged in the virtual space on the HMD in association with the real space.

例えば、ゲーム装置10は、実空間を光学的に視認可能なHMD(所謂、光学透過(光学シースルー)型HMD)として構成されている。ゲーム装置10は、ユーザの頭部に装着された状態で該ユーザの眼前に位置する透過型のディスプレイに、仮想空間に配置された指示オブジェクトを表示させる。これにより、ディスプレイを透過して視認可能な実空間に、ディスプレイに表示された指示オブジェクトが重畳された映像をユーザが視認可能となる。 For example, the game device 10 is configured as an HMD (a so-called optical transmission (optical see-through) HMD) that allows optical recognition of real space. The game device 10 displays a pointing object arranged in a virtual space on a transmissive display positioned in front of the user's eyes while being worn on the user's head. As a result, the user can visually recognize an image in which the pointing object displayed on the display is superimposed on the real space visible through the display.

なお、ゲーム装置10は、網膜投影式の光学透過型HMDとして構成されてもよい。網膜投影式の場合、ゲーム装置10は、ユーザの網膜に直接的に映像を投影する映像投影装置をディスプレイに代えて備えている。ユーザの仮想空間に配置された指示オブジェクトは、網膜に直接的に投影されることで視認可能に表示される。 Note that the game device 10 may be configured as a retinal projection type optically transmissive HMD. In the case of the retinal projection type, the game device 10 has a video projection device instead of a display that directly projects a video onto the user's retina. A pointing object placed in the user's virtual space is visually displayed by being directly projected onto the retina.

また、ゲーム装置10は、実空間を撮像した映像をリアルタイムに表示させるHMD(所謂、ビデオ透過(ビデオシースルー)型HMD)として構成されてもよい。この場合、ゲーム装置10は、ユーザの頭部に装着された状態で該ユーザの眼前に位置するディスプレイに、実空間のリアルタイム映像を表示させるとともに、仮想空間に配置された指示オブジェクトをリアルタイム映像に重畳させて表示させる。 Further, the game device 10 may be configured as an HMD (so-called video see-through type HMD) that displays in real time an image obtained by imaging the real space. In this case, the game device 10 displays a real-time image of the real space on a display positioned in front of the user's head while being worn on the user's head, and also displays the pointing object arranged in the virtual space as a real-time image. It is superimposed and displayed.

ゲーム装置10は、ユーザUの頭部に装着されており、実空間のユーザUの視線方向を撮像した撮像映像から仮想空間を生成する。例えば、仮想空間は、床面(平面)に平行な互いに直交するX軸及びY軸と、床面(平面)に直交する垂直方向のZ軸とによるXYZの3次元座標空間で定義される。生成される仮想空間には、実空間内の物体の少なくとも一部(例えば、ユーザU、床、壁など)に対応する位置が含まれる。なお、以下の説明において、Z軸の方向として、天井へ向かう方向を上方向、床面へ向かう方向を下方向とも称する。 The game device 10 is worn on the head of the user U, and generates a virtual space from a captured image obtained by capturing the line-of-sight direction of the user U in the real space. For example, the virtual space is defined in a three-dimensional coordinate space of XYZ by mutually orthogonal X-axis and Y-axis parallel to the floor (plane) and vertical Z-axis orthogonal to the floor (plane). The generated virtual space includes positions corresponding to at least some of the objects (eg, user U, floor, walls, etc.) in the real space. In the following description, as the direction of the Z-axis, the direction toward the ceiling is also referred to as the upward direction, and the direction toward the floor surface is also referred to as the downward direction.

ゲーム装置10は、この仮想空間内のユーザUの位置を基準位置として、当該基準位置に基づく位置(例えば、基準位置の周囲の所定の位置)に、ユーザの動作を指示する指示オブジェクトを配置する。例えば、指示オブジェクトには、判定オブジェクトと移動オブジェクトとが含まれる。判定オブジェクトは、ユーザの動作を評価する際の判定基準となる判定位置に配置される指示オブジェクトである。例えば、判定オブジェクトは、仮想空間においてZ座標では床面に対応する位置(高さ)、XY座標では基準位置(ユーザUの位置)の周囲(例えば、ユーザUが足を一歩踏み出すことで届く範囲)に配置される。図示する例では、基準位置(ユーザUの位置)に対して前方に判定オブジェクトHF、後方に判定オブジェクトHB、右方に判定オブジェクトHR、左方に判定オブジェクトHLがそれぞれ配置されている。ここで、基準位置(ユーザUの位置)と、基準位置に対する前方、後方、右方、及び左方とは、このダンスゲームのプレイ開始時点でイニシャライズした方向であり、プレイ中にユーザUの向きが変化しても固定である。 The game device 10 uses the position of the user U in the virtual space as a reference position, and arranges an instruction object that instructs the user's action at a position based on the reference position (for example, a predetermined position around the reference position). . For example, the pointing object includes a judgment object and a moving object. A determination object is a pointing object placed at a determination position that serves as a determination reference when evaluating a user's motion. For example, the determination object is a position (height) corresponding to the floor surface in the Z coordinate in the virtual space, and a reference position (position of the user U) in the XY coordinate (for example, a range reached by the user U taking a step). ). In the illustrated example, the determination object HF is placed in front of the reference position (the position of the user U), the determination object HB is placed behind, the determination object HR is placed to the right, and the determination object HL is placed to the left. Here, the reference position (the position of the user U) and the forward, backward, rightward, and leftward directions with respect to the reference position are the directions initialized at the start of the dance game, and the direction of the user U during the play. is fixed even if is changed.

移動オブジェクトは、仮想空間においてZ座標では天井側から出現し、床面に対応する位置(高さ)に配置されている判定オブジェクト(判定位置)へ向かって徐々に下方向へ移動する。出現位置は、例えばユーザUの頭部の位置(ゲーム装置10の位置)を基準に予め設定されていてもよいし、所定のルールに従って変化してもよい。移動オブジェクトNFは、判定オブジェクトHF(移動オブジェクトNFの判定位置)へ向かって移動する移動オブジェクトである。移動オブジェクトNBは、判定オブジェクトHB(移動オブジェクトNBの判定位置)へ向かって移動する移動オブジェクトである。移動オブジェクトNRは、判定オブジェクトHR(移動オブジェクトNRの判定位置)へ向かって移動する移動オブジェクトである。移動オブジェクトNLは、判定オブジェクトHL(移動オブジェクトNLの判定位置)へ向かって移動する移動オブジェクトである。 The moving object appears from the ceiling side in the Z coordinate in the virtual space and gradually moves downward toward the determination object (determination position) arranged at the position (height) corresponding to the floor surface. The appearance position may be preset based on, for example, the position of the user U's head (the position of the game device 10), or may change according to a predetermined rule. The moving object NF is a moving object that moves toward the determination object HF (the determination position of the moving object NF). The moving object NB is a moving object that moves toward the determination object HB (the determination position of the moving object NB). The moving object NR is a moving object that moves toward the determination object HR (the determination position of the moving object NR). The moving object NL is a moving object that moves toward the determination object HL (the determination position of the moving object NL).

各移動オブジェクトが徐々に移動して、それぞれの判定オブジェクト(判定位置)へ到達したタイミング及び位置が、ユーザUが操作すべきタイミング及び位置である、例えば、移動オブジェクトNFが判定オブジェクトHFへ到達したタイミングで、判定オブジェクトHFを足で踏む動作がユーザに求められる。移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置に基づいてユーザの動作が評価され、評価に応じて得点(スコア)が更新される。例えば、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置とユーザの動作のタイミングと位置が一致すると判定されると得点が加算され、一致しないと判定されると得点が加算されない。例えば、このタイミングと位置が一致したか否かは、移動オブジェクトが判定オブジェクトへ到達したタイミングに対応する所定時間内(例えば、到達したタイミンの前後0.5秒以内など)に当該到達した位置に対応する判定領域内(例えば、判定オブジェクトHRの領域など)の少なくとも一部を、ユーザが足で踏む動作をしたか否かによって判定される。なお、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置とユーザの動作のタイミングと位置との一致の度合いによって、加算される得点が変化してもよい。 The timing and position at which each moving object gradually moves and reaches the respective determination object (determination position) is the timing and position to be operated by the user U. For example, the moving object NF has reached the determination object HF. The user is requested to step on the determination object HF with his/her foot at the appropriate timing. The user's action is evaluated based on the timing and position at which the moving object reaches the determination object, and the score is updated according to the evaluation. For example, if it is determined that the timing and position of the moving object reaching the determination object match the timing and position of the user's motion, the score is added, and if it is determined that they do not match, the score is not added. For example, whether or not this timing and position match is determined by determining whether the moving object reaches the position within a predetermined time corresponding to the timing when the moving object reaches the determination object (for example, within 0.5 seconds before or after the arrival timing). It is determined whether or not the user has stepped on at least part of the corresponding determination area (for example, the area of the determination object HR). Note that the score to be added may vary depending on the degree of coincidence between the timing and position at which the moving object reaches the determination object and the timing and position of the user's motion.

なお、図1は、ユーザUが含まれる実空間と指示オブジェクトが含まれる仮想空間との対応関係を1つの図にまとめて示したものであり、ユーザUがプレイ中に視認可能なプレイ画面とは異なる。各指示オブジェクトは、実空間に存在するものではなく仮想空間のみに存在し、ゲーム装置10を介して視認可能になるものである。ユーザUが実際にプレイ中に視認可能な指示オブジェクトは、ゲーム装置10のディスプレイ部分を介して視認可能な視野(Fov:Field of view)の範囲内に存在するものである。この視野の中に含まれる指示オブジェクトがゲーム装置10(HMD)に表示されることにより、実空間に重畳されてユーザUに視認可能となる。なお、ゲーム装置10には、指示オブジェクト以外のゲームに関する表示情報(スコアや、プレイする楽曲の情報など)も表示される。 Note that FIG. 1 shows the correspondence relationship between the real space in which the user U is included and the virtual space in which the pointing object is included. is different. Each pointing object does not exist in the real space, but only in the virtual space, and can be visually recognized through the game device 10 . A pointing object that the user U can actually see while playing is present within a field of view (Fov) that can be seen through the display portion of the game device 10 . By displaying the pointing object included in the field of view on the game device 10 (HMD), the pointing object is superimposed on the real space and can be visually recognized by the user U. The game device 10 also displays display information related to the game (score, information about music to be played, etc.) other than the instruction object.

図2は、本実施形態に係る仮想空間の空間座標の定義を示す図である。前述したように、本実施形態では、垂直方向の軸をZ軸とし、Z軸に直交する水平面で互いに直交する軸をX軸とY軸とする。また、このダンスゲームのプレイ開始時点でのイニシャライズで、ユーザUの位置に対応する基準位置K1(ゲーム装置10の位置に基づく第1基準位置の一例)が座標原点として定義され、且つX軸がユーザUの視線方向の軸として定義される。プレイ中は基準位置K1(座標原点)、X軸、Y軸及びZ軸は固定となる。Z軸を軸とした回転方向への変化をヨー方向(左右方向)への変化ともいい、Y軸を軸とした回転方向への変化をピッチ方向(上下方向)への変化ともいい、X軸を軸とした回転方向への変化をロール方向への変化ともいう。 FIG. 2 is a diagram showing the definition of spatial coordinates in the virtual space according to this embodiment. As described above, in this embodiment, the vertical axis is the Z-axis, and the X-axis and the Y-axis are the horizontal planes orthogonal to the Z-axis and perpendicular to each other. Further, in initialization at the start of play of this dance game, a reference position K1 (an example of a first reference position based on the position of the game device 10) corresponding to the position of the user U is defined as the coordinate origin, and the X axis is defined as It is defined as the axis of the user U's gaze direction. During play, the reference position K1 (coordinate origin), X-axis, Y-axis and Z-axis are fixed. A change in the rotational direction about the Z axis is also called a change in the yaw direction (horizontal direction), and a change in the rotational direction about the Y axis is also called a change in the pitch direction (vertical direction). is also referred to as a change in the roll direction.

ゲーム装置10は、装着されているユーザUの頭部の向きが変化すると、内蔵する加速度センサなどを用いて各軸の回転方向(ヨー方向、ピッチ方向、ロール方向)の変化として検出する。ゲーム装置10は、検出した各軸の回転方向の変化に基づいて図1に示す視野(Fov)を変化させ、仮想空間に含まれる指示オブジェクトの表示を変更する。これにより、ゲーム装置10は、ユーザUの頭部の向きが変化しても、視野の変化に応じて仮想空間に含まれる指示オブジェクトをディスプレイに表示させることができる。
なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向への変化、ともいうことがある。
When the direction of the head of the user U wearing the game apparatus 10 changes, the change is detected as a change in the rotation direction of each axis (yaw direction, pitch direction, roll direction) using a built-in acceleration sensor or the like. The game device 10 changes the field of view (Fov) shown in FIG. 1 based on the detected change in the rotational direction of each axis, and changes the display of the pointing object included in the virtual space. Thereby, even if the orientation of the user U's head changes, the game device 10 can display the pointing object included in the virtual space on the display in accordance with the change in the field of view.
A change in the yaw direction is sometimes called a change in the horizontal direction, and a change in the pitch direction is sometimes called a change in the vertical direction.

なお、図示する基準位置K1は、一例であってこの位置に限定されるものではない。また、基準位置K1を空間座標の座標原点として定義したが、座標原点は他の位置に定義してもよい。 Note that the illustrated reference position K1 is an example and is not limited to this position. Further, although the reference position K1 is defined as the coordinate origin of the spatial coordinates, the coordinate origin may be defined at another position.

〔ゲーム装置10のハードウェア構成〕
次に、本実施形態に係るゲーム装置10のハードウェア構成の概要を説明する。
図3は、本実施形態に係るゲーム装置10のハードウェア構成の一例を示すブロック図である。ゲーム装置10は、光学透過型HMDとして、撮像部11と、表示部12と、センサ13と、記憶部14と、CPU(Central Processing Unit)15と、通信部16と、音出力部17とを含んで構成されている。
[Hardware Configuration of Game Device 10]
Next, an overview of the hardware configuration of the game device 10 according to this embodiment will be described.
FIG. 3 is a block diagram showing an example of the hardware configuration of the game device 10 according to this embodiment. The game device 10, as an optically transmissive HMD, includes an imaging unit 11, a display unit 12, a sensor 13, a storage unit 14, a CPU (Central Processing Unit) 15, a communication unit 16, and a sound output unit 17. is composed of

撮像部11は、ゲーム装置10(HMD)を頭部に装着して使用するユーザUの視線方向を撮像するカメラである。すなわち、撮像部11は、頭部に装着された状態で光軸が視線方向に対応するようにゲーム装置10(HMD)に設けられている。撮像部11は、単眼カメラでもよいし、デュアルカメラでもよい。撮像部11は、撮像した撮像映像を出力する。 The image capturing unit 11 is a camera that captures an image of the line-of-sight direction of the user U who uses the game device 10 (HMD) while wearing it on the head. That is, the imaging unit 11 is provided in the game device 10 (HMD) so that the optical axis corresponds to the line-of-sight direction when the imaging unit 11 is worn on the head. The imaging unit 11 may be a monocular camera or a dual camera. The imaging unit 11 outputs a captured image.

表示部12は、例えば、光学透過型HMDにおける透過型のディスプレイである。例えば、表示部12は、少なくとも指示オブジェクトを表示する。表示部12は、右眼用と左眼用の2つのディスプレイを備える構成としてもよいし、右眼用と左眼用の区別なく両眼で視認可能な1つのディスプレイを備える構成としてもよい。また、ゲーム装置10が網膜投影式の光学透過型HMDである場合、表示部12は、ユーザの網膜に直接的に映像を投影する映像投影装置である。 The display unit 12 is, for example, a transmissive display in an optical transmissive HMD. For example, the display unit 12 displays at least a pointing object. The display unit 12 may be configured to include two displays for the right eye and the left eye, or may be configured to include one display that can be viewed with both eyes regardless of whether the display is for the right eye or the left eye. If the game device 10 is a retinal projection type optically transmissive HMD, the display unit 12 is an image projection device that directly projects an image onto the user's retina.

なお、ゲーム装置10がビデオ透過型HMDである場合、表示部12は、実空間を光学的に視認不可能な透過しないディスプレイである。 Note that if the game device 10 is a video transmissive HMD, the display unit 12 is a non-transmissive display that makes the real space optically invisible.

センサ13は、ゲーム装置10の方向に関する検知信号を出力するセンサである。例えば、センサ13は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ13は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ13は、ジャイロセンサに代えて又は加えて、加速度センサ、傾斜センサ、地磁気センサ等が含まれてもよい。 The sensor 13 is a sensor that outputs a detection signal regarding the direction of the game device 10 . For example, the sensor 13 is a gyro sensor that detects the angle, angular velocity, angular acceleration, etc. of an object. Note that the sensor 13 may be a sensor that detects a change in direction, or may be a sensor that detects the direction itself. For example, the sensor 13 may include an acceleration sensor, an inclination sensor, a geomagnetic sensor, etc. instead of or in addition to the gyro sensor.

記憶部14は、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、Flash ROM、RAM(Random Access Memory)などを含み、このダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。 The storage unit 14 includes, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory), a ROM (Read-Only Memory), a Flash ROM, a RAM (Random Access Memory), etc., and stores the dance game program, data, and generated data. Stores virtual space data and the like.

CPU15は、ゲーム装置10が備える各部を制御する制御中枢として機能する。例えば、CPU15は、記憶部14に記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、図1を参照して説明したように、実空間に対応する仮想空間を撮像映像から生成する処理、生成した仮想空間に指示オブジェクトを配置する処理、ユーザの動作を検出して指示オブジェクトのタイミング及び位置に基づいて評価する処理などを実行する。 The CPU 15 functions as a control center that controls each part of the game device 10 . For example, the CPU 15 executes game processing by executing a game program stored in the storage unit 14, and generates a virtual space corresponding to the real space from the captured image as described with reference to FIG. a process of placing a pointing object in the generated virtual space; and a process of detecting a user's motion and evaluating it based on the timing and position of the pointing object.

通信部16は、例えば、Bluetooth(登録商標)やWi-Fi(登録商標)等の無線通信を行う通信デバイス等を含んで構成される。なお、通信部16は、USB(Universal Serial Bus)等のデジタル入出力ポートや、映像入出力ポートなどを含んで構成されてもよい。 The communication unit 16 includes, for example, a communication device that performs wireless communication such as Bluetooth (registered trademark) and Wi-Fi (registered trademark). The communication unit 16 may include a digital input/output port such as a USB (Universal Serial Bus), a video input/output port, and the like.

音出力部17は、ダンスゲームのプレイ楽曲の演奏音やゲームの効果音などを出力する。例えば、音出力部17は、スピーカ、イヤフォン、ヘッドフォン、或いはそれらと接続可能な端子などを含んで構成されてもよい。なお、音出力部17は、Bluetooth(登録商標)などの無線通信を介して、外部のスピーカ、イヤフォン、ヘッドフォンなどに各種の音を出力してもよい。 The sound output unit 17 outputs the performance sound of the play music of the dance game, the effect sound of the game, and the like. For example, the sound output unit 17 may include a speaker, an earphone, a headphone, or a terminal connectable thereto. Note that the sound output unit 17 may output various sounds to external speakers, earphones, headphones, etc. via wireless communication such as Bluetooth (registered trademark).

なお、上述したゲーム装置10が備える各ハードウェア構成は、バス(Bus)を介して相互に通信可能に接続されている。 The hardware components included in the game device 10 described above are connected to communicate with each other via a bus.

〔ゲーム装置10の機能構成〕
次に、図4を参照して、ゲーム装置10の機能構成について説明する。
図4は、本実施形態に係るゲーム装置10の機能構成の一例を示すブロック図である。図示するゲーム装置10は、記憶部14に記憶されているプログラムをCPU15が実行することにより実現される機能構成として、制御部150を備えている。制御部150は、図1及び図2を参照して説明したダンスゲームの処理を実行する。例えば、制御部150は、映像取得部151と、仮想空間生成部152と、オブジェクト配置部154と、視線方向検出部155と、表示制御部156と、動作検出部157と、評価部158とを備えている。
[Functional Configuration of Game Device 10]
Next, with reference to FIG. 4, the functional configuration of the game device 10 will be described.
FIG. 4 is a block diagram showing an example of the functional configuration of the game device 10 according to this embodiment. The illustrated game device 10 includes a control unit 150 as a functional configuration realized by the CPU 15 executing a program stored in the storage unit 14 . The control unit 150 executes the dance game processing described with reference to FIGS. 1 and 2 . For example, the control unit 150 includes an image acquisition unit 151, a virtual space generation unit 152, an object placement unit 154, a gaze direction detection unit 155, a display control unit 156, a motion detection unit 157, and an evaluation unit 158. I have.

映像取得部151(取得部の一例)は、撮像部11により撮像された実空間の撮像映像を取得する。例えば、ゲーム装置10は、ダンスゲームのプレイ開始前に、ユーザUに対して所定の方向を見させる指示(例えば、上下左右を見回す指示)を行う。ゲーム装置10は、この指示を、例えば表示部12に表示させる。これにより、映像取得部151は、撮像部11により撮像された実空間におけるユーザUの周囲が撮像された撮像映像を取得する。 The video acquisition unit 151 (an example of the acquisition unit) acquires the captured video of the real space captured by the imaging unit 11 . For example, the game device 10 instructs the user U to look in a predetermined direction (for example, to look up, down, left, and right) before starting to play the dance game. The game device 10 causes the display unit 12 to display this instruction, for example. Thereby, the video acquisition unit 151 acquires a captured video in which the surroundings of the user U in the real space captured by the imaging unit 11 are captured.

仮想空間生成部152(生成部の一例)は、映像取得部151が取得した撮像映像から実空間に対応する仮想空間を生成する。例えば、仮想空間生成部152は、取得した撮像映像から実空間に存在する物体(床や、壁など)の位置を検出し、検出した物体(床や、壁など)の少なくとも一部の位置情報を含む3次元座標空間のデータを仮想空間のデータとして生成する。一例として、ユーザUの頭部に装着されているゲーム装置10自身の位置に基づいてユーザUに対応する基準位置K1(図2参照)が、仮想空間(3次元座標空間)の座標原点として定義される。仮想空間生成部152は、ユーザUに対応する基準位置K1を座標原点とした仮想空間(3次元座標空間)内に、実空間に存在する物体(床や、壁など)に対応する位置情報を含む仮想空間データを生成する。仮想空間生成部152は、生成した仮想空間データを記憶部14に記憶させる。 The virtual space generation unit 152 (an example of the generation unit) generates a virtual space corresponding to the real space from the captured image acquired by the image acquisition unit 151 . For example, the virtual space generation unit 152 detects the position of an object (floor, wall, etc.) that exists in the real space from the acquired captured image, and includes position information of at least part of the detected object (floor, wall, etc.). 3D coordinate space data is generated as virtual space data. As an example, a reference position K1 (see FIG. 2) corresponding to the user U based on the position of the game device 10 itself worn on the head of the user U is defined as the coordinate origin of the virtual space (three-dimensional coordinate space). be done. The virtual space generation unit 152 includes position information corresponding to objects (floors, walls, etc.) existing in the real space in a virtual space (three-dimensional coordinate space) with the reference position K1 corresponding to the user U as the coordinate origin. Generate virtual space data. The virtual space generation unit 152 causes the storage unit 14 to store the generated virtual space data.

ここで、撮像映像から実空間に存在する物体(床や、壁など)の位置を検出する検出方法には、任意の公知の技術を適用することができる。例えば、撮像部11がデュアルカメラ(ステレオカメラ)である場合、左右それぞれのカメラの視差を利用して撮像映像を解析することにより物体(床や、壁など)の位置を検出してもよい。また、撮像部11が単眼カメラである場合、単眼カメラを規定の距離分ずらして2カ所から撮像した撮像映像を用いることで、デュアルカメラと同様に視差を利用した検出が可能である。また、このように映像解析に代えて又は加えて、レーザ光や音波などを用いて実空間に存在する物体(床や、壁など)の位置を検出してもよい。 Here, any known technique can be applied to the detection method for detecting the position of an object (floor, wall, etc.) existing in the real space from the captured image. For example, if the imaging unit 11 is a dual camera (stereo camera), the position of an object (floor, wall, etc.) may be detected by analyzing captured images using the parallax of the left and right cameras. In addition, when the imaging unit 11 is a monocular camera, it is possible to perform detection using parallax in the same way as a dual camera by using images captured from two locations with the monocular camera shifted by a specified distance. Also, in place of or in addition to image analysis, laser light, sound waves, or the like may be used to detect the position of an object (floor, wall, etc.) existing in the real space.

オブジェクト配置部154(配置部の一例)は、仮想空間内の、ユーザUに対応する基準位置K1に基づく位置に、ユーザUの動作を指示する指示オブジェクトをユーザUに視認可能に配置する。具体的には、オブジェクト配置部154は、床の位置に対応する仮想空間内の判定位置に判定オブジェクト(図1の判定オブジェクトHF、HB、HR、HL参照)を配置する。また、オブジェクト配置部154は、楽曲に合わせて予め設定されたタイミングで移動オブジェクト(図1の移動オブジェクトNF、NB、NR、NL参照)を仮想空間内の出現位置に配置し、上記判定オブジェクトへ向かって移動(配置する位置を変更)させる。オブジェクト配置部154は、指示オブジェクト(判定オブジェクト及び移動オブジェクト)を配置する際に、仮想空間内の配置する位置の座標情報に基づいて、記憶部14に記憶されている仮想空間データを更新する。 The object arranging unit 154 (an example of the arranging unit) arranges an instruction object that instructs the action of the user U at a position based on the reference position K1 corresponding to the user U in the virtual space so that the user U can see the instruction object. Specifically, the object placement unit 154 places determination objects (see determination objects HF, HB, HR, and HL in FIG. 1) at determination positions in the virtual space corresponding to the position of the floor. Further, the object placement unit 154 places moving objects (see moving objects NF, NB, NR, and NL in FIG. 1) at the appearance positions in the virtual space at preset timings in accordance with music, Move (change the placement position) toward it. The object placement unit 154 updates the virtual space data stored in the storage unit 14 based on the coordinate information of the placement position in the virtual space when placing the pointing object (the determination object and the moving object).

視線方向検出部155は、センサ13から出力される検知信号に基づいて、ゲーム装置10の向き、すなわちユーザUの視線方向を検出する。なお、視線方向検出部155は、撮像部11により撮像された実空間の撮像映像を解析することにより、ゲーム装置10の向き、すなわちユーザUの視線方向を検出してもよい。例えば、視線方向検出部155は、撮像映像を解析することにより物体または物体のエッジの位置や傾きなどを検出し、検出結果に基づいてゲーム装置10の向き、すなわちユーザUの視線方向を検出してもよい。また、撮像映像の各フレームの物体または物体のエッジの位置や傾きなどを検出することにより、各フレーム間での物体または物体のエッジの位置や傾きなどの差分を検出し、検出結果に基づいてゲーム装置10の向き、すなわちユーザUの視線方向の変化を検出してもよい。なお、視線方向検出部155は、センサ13から出力される検知信号と実空間の撮像映像の解析との両方に基づいて、ゲーム装置10の向き、すなわちユーザUの視線方向を検出してもよい。 The line-of-sight direction detection unit 155 detects the direction of the game device 10 , that is, the line-of-sight direction of the user U based on the detection signal output from the sensor 13 . Note that the line-of-sight direction detection unit 155 may detect the direction of the game device 10 , that is, the line-of-sight direction of the user U by analyzing the captured image of the real space captured by the imaging unit 11 . For example, the line-of-sight direction detection unit 155 detects the position and inclination of an object or an edge of an object by analyzing a captured image, and detects the orientation of the game device 10, that is, the line-of-sight direction of the user U, based on the detection result. may In addition, by detecting the position and inclination of the object or the edge of the object in each frame of the captured image, the difference in the position and inclination of the object or the edge of the object between each frame is detected, and based on the detection result The orientation of the game device 10, that is, the change in the line-of-sight direction of the user U may be detected. Note that the line-of-sight direction detection unit 155 may detect the orientation of the game device 10, that is, the line-of-sight direction of the user U, based on both the detection signal output from the sensor 13 and the analysis of the captured image of the real space. .

表示制御部156は、記憶部14に記憶されている仮想空間データを参照して、少なくとも指示オブジェクトが配置された仮想空間を、実空間に対応付けて表示部12に表示させる。ここで、仮想空間を実空間に対応付けるとは、実空間に基づいて生成した仮想空間の座標と当該実空間の座標とを対応付けることを含む。表示制御部156は、仮想空間を表示させる際に、仮想空間における視点位置及び視線方向を、実空間におけるゲーム装置10(HMD)の位置及び向き、すなわちユーザUの位置及び方向に基づいて決定する。例えば、表示制御部156は、視線方向検出部155により検出されたユーザUの視線方向により定まる視野(Fov)の範囲(実空間の範囲)に対応する仮想空間の範囲に配置されている指示オブジェクトを表示部12に表示させる(図1参照)。 The display control unit 156 refers to the virtual space data stored in the storage unit 14 and causes the display unit 12 to display the virtual space in which at least the pointing object is arranged in association with the real space. Here, associating the virtual space with the real space includes associating the coordinates of the virtual space generated based on the real space with the coordinates of the real space. When displaying the virtual space, the display control unit 156 determines the viewpoint position and line-of-sight direction in the virtual space based on the position and orientation of the game device 10 (HMD) in the real space, that is, the position and orientation of the user U. . For example, the display control unit 156 controls the pointing object arranged in the range of the virtual space corresponding to the range of the field of view (Fov) (range of the real space) determined by the line-of-sight direction of the user U detected by the line-of-sight direction detection unit 155. is displayed on the display unit 12 (see FIG. 1).

動作検出部157(検出部の一例)は、撮像映像からユーザUの身体の少なくとも一部の動作を検出する。例えば、動作検出部157は、ダンスゲームをプレイするユーザUの足の動作を検出する。なお、撮像映像からユーザUの身体の少なくとも一部(すなわち、認識対象)を認識する認識技術は、任意の公知の技術を適用することができる。例えば、動作検出部157は、認識対象の特徴情報(例えば、足の特徴情報)を用いて、撮像映像から認識対象の映像領域を認識する。動作検出部157は、撮像映像の各フレームから認識対象の映像領域を抽出してトラッキングすることにより認識対象の動作(例えば、足の動作)を検出する。 The motion detection unit 157 (an example of the detection unit) detects motion of at least part of the body of the user U from the captured image. For example, the motion detection unit 157 detects motions of the user U's feet playing a dance game. Any known technique can be applied as the recognition technique for recognizing at least a part of the body of the user U (that is, the recognition target) from the captured image. For example, the motion detection unit 157 recognizes a recognition target video area from the captured video using recognition target feature information (for example, foot feature information). The motion detection unit 157 detects a recognition target motion (for example, leg motion) by extracting and tracking a recognition target video region from each frame of the captured video.

評価部158は、動作検出部157により検出されたユーザUの身体の少なくとも一部の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。例えば、評価部158は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とを比較し、ユーザUの動作によるプレイを評価する。評価部158は、比較結果に基づいて両者のタイミングと位置が一致すると判定できる場合には得点(スコア)を加算し、一致しないと判定できる場合には得点を加算スコア)をしない。 The evaluation unit 158 evaluates the motion of at least part of the body of the user U detected by the motion detection unit 157 based on the timing and position based on the pointing object arranged in the virtual space. For example, the evaluation unit 158 compares the timing and position at which the moving object reaches the determination object with the timing and position of the motion of the user U's foot (the motion of stepping on the determination object), and evaluates the play by the motion of the user U. do. Based on the comparison result, the evaluation unit 158 adds the score when it can be determined that the timing and position of both match, and does not add the score when it can determine that they do not match.

なお、評価部158は、移動オブジェクトが判定オブジェクトへ到達したタイミングでのユーザUの足の位置を判定オブジェクトの位置と比較することで、ユーザUの動作によるプレイを評価してもよい。 Note that the evaluation unit 158 may evaluate the play by the action of the user U by comparing the position of the user U's foot at the timing when the moving object reaches the determination object with the position of the determination object.

〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置10のCPU15が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図5は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
[Operation of pointing object placement processing]
Next, in the dance game processing executed by the CPU 15 of the game device 10, a pointing object placement process for generating a virtual space and placing a pointing object will be described. FIG. 5 is a flowchart showing an example of pointing object placement processing according to the present embodiment.

まず、CPU15は、撮像部11が撮像した実空間の撮像映像を取得する(ステップS101)。例えば、CPU15は、ダンスゲームのプレイ開始前に、ユーザUに対して所定の方向を見させる指示(例えば、上下左右を見回す指示)を表示部12に表示させ、実空間におけるユーザUの周囲が撮像された撮像映像を取得する。 First, the CPU 15 acquires a captured image of the real space captured by the imaging unit 11 (step S101). For example, the CPU 15 causes the display unit 12 to display an instruction for the user U to look in a predetermined direction (for example, an instruction to look up, down, left, and right) before starting to play the dance game, so that the surroundings of the user U in the real space are displayed. Acquire the captured image.

次に、CPU15は、ステップS101で取得した撮像映像から実空間に対応する仮想空間を生成する(ステップS103)。例えば、CPU15は、撮像映像から実空間に存在する物体(床や、壁など)の位置を検出する。CPU15は、ユーザUに対応する基準位置K1を座標原点とした仮想空間(3次元座標空間)内に、検出した物体(床や、壁など)の少なくとも一部の位置情報を含む3次元座標空間の仮想空間データを生成する。そして、CPU15は、生成した仮想空間データを記憶部14に記憶させる。 Next, the CPU 15 generates a virtual space corresponding to the real space from the captured image acquired in step S101 (step S103). For example, the CPU 15 detects the position of an object (floor, wall, etc.) existing in the real space from the captured image. The CPU 15 creates a three-dimensional coordinate space containing position information of at least a part of a detected object (floor, wall, etc.) in a virtual space (three-dimensional coordinate space) with the reference position K1 corresponding to the user U as the coordinate origin. Generate virtual space data. Then, the CPU 15 causes the storage unit 14 to store the generated virtual space data.

続いて、CPU15は、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置K1に基づく判定位置に判定オブジェクト(図1の判定オブジェクトHF、HB、HR、HL参照)を配置する(ステップS105)。CPU15は、判定オブジェクトを配置する際に、記憶部14に記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。 Subsequently, the CPU 15 places the determination objects (the determination objects HF, HB, HR, HL) are placed (step S105). When arranging the judgment object, the CPU 15 adds the position information of the arranged judgment object to the virtual space data stored in the storage unit 14 .

また、CPU15は、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する(ステップS107)。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。CPU15は、ステップS107において出現トリガがあったと判定した場合(YES)、ステップS109の処理へ進む。 Further, when the play of the dance game is started, the CPU 15 determines whether or not there is a moving object appearance trigger (step S107). Appearance triggers are generated at timings preset according to music. When the CPU 15 determines that there is an appearance trigger in step S107 (YES), the process proceeds to step S109.

ステップS109において、CPU15は、仮想空間内の基準位置K1に基づく出現位置に移動オブジェクトを配置(図1の移動オブジェクトNF、NB、NR、NLのいずれか一つまたは複数)し、判定位置(各移動オブジェクトに対応する判定オブジェクトの位置)へ向かって移動を開始させる。CPU15は、移動オブジェクトを配置する際に、記憶部14に記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、CPU15は、配置した移動オブジェクトを移動させる際に、記憶部14に記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップS111の処理へ進む。一方、CPU15は、ステップS107において出現トリガが無いと判定した場合(NO)、ステップS109の処理を行わずに、ステップS111の処理へ進む。 In step S109, the CPU 15 arranges the moving object at the appearance position based on the reference position K1 in the virtual space (one or more of the moving objects NF, NB, NR, and NL in FIG. 1), determines the determination position (each position of the determination object corresponding to the moving object). When arranging the moving object, the CPU 15 adds the position information of the arranged moving object to the virtual space data stored in the storage unit 14 . Further, when moving the arranged moving object, the CPU 15 updates the position information of the moving object added to the virtual space data stored in the storage unit 14 . Then, the process proceeds to step S111. On the other hand, when the CPU 15 determines that there is no appearance trigger in step S107 (NO), it proceeds to the process of step S111 without performing the process of step S109.

ステップS111において、CPU15は、移動オブジェクトが判定位置に到達したか否かを判定する。CPU15は、ステップS111において判定位置に到達したと判定(YES)した移動オブジェクトを仮想空間から消去する(ステップS113)。CPU15は、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部14に記憶されている仮想空間データから削除する。 In step S111, the CPU 15 determines whether or not the moving object has reached the determination position. The CPU 15 erases from the virtual space the moving object that has reached the determination position (YES) in step S111 (step S113). When deleting a moving object from the virtual space, the CPU 15 deletes the position information of the moving object to be deleted from the virtual space data stored in the storage unit 14 .

一方、CPU15は、ステップS111において判定位置に到達していないと判定(NO)した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる(ステップS115)。CPU15は、配置した移動オブジェクトを移動させる際に、記憶部14に記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。 On the other hand, the CPU 15 continues to gradually move the moving object determined (NO) that it has not reached the determination position in step S111 toward the determination position (step S115). When moving the arranged moving object, the CPU 15 updates the position information of the moving object to be moved among the virtual space data stored in the storage unit 14 .

次に、CPU15は、ダンスゲームが終了したか否かを判定する(ステップS117)。例えば、CPU15は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15は、ダンスゲームが終了していないと判定した場合(NO)、ステップS107の処理に戻る。一方、CPU15は、ダンスゲームが終了したと判定した場合(YES)、指示オブジェクト配置処理を終了する。 Next, the CPU 15 determines whether or not the dance game has ended (step S117). For example, the CPU 15 determines that the dance game has ended when the music being played ends. When the CPU 15 determines that the dance game has not ended (NO), the process returns to step S107. On the other hand, when the CPU 15 determines that the dance game has ended (YES), it ends the pointing object placement process.

なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後(最初に出現した移動オブジェクトが判定位置に到達するまでの間)でもよい。 The order of placement of the determination object and the placement of the moving object that appears first may be the same, the determination object may be placed first, or conversely, the determination object may be placed after (the moving object that appears first may be placed first). until it reaches the judgment position).

〔指示オブジェクト表示処理の動作〕
次に、ゲーム装置10のCPU15が実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。図6は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
[Operation of Pointing Object Display Processing]
Next, in the dance game processing executed by the CPU 15 of the game device 10, a pointing object display process for displaying pointing objects placed in the virtual space will be described. FIG. 6 is a flowchart showing an example of pointing object display processing according to the present embodiment.

CPU15は、センサ13から出力される検知信号に基づいて、ユーザUの視線方向(ゲーム装置10の向き)を検出する(ステップS201)。 The CPU 15 detects the line-of-sight direction of the user U (orientation of the game device 10) based on the detection signal output from the sensor 13 (step S201).

CPU15は、記憶部14に記憶されている仮想空間データを参照して、ステップS201で検出した視線方向に基づく視野(Fov)の範囲(実空間の範囲)に対応する仮想空間を表示部12に表示させる。例えば、CPU15は、視線方向に基づく視野(Fov)の範囲に対応する仮想空間の範囲に配置されている指示オブジェクト(判定オブジェクト及び移動オブジェクト)を表示部12に表示させる(ステップS203)。これにより、表示部12に、楽曲に合わせて予め設定されたタイミングで移動オブジェクトが表示される。 The CPU 15 refers to the virtual space data stored in the storage unit 14, and displays the virtual space corresponding to the range of the field of view (Fov) (range of the real space) based on the line-of-sight direction detected in step S201 on the display unit 12. display. For example, the CPU 15 causes the display unit 12 to display the pointing object (the determination object and the moving object) arranged in the range of the virtual space corresponding to the range of the field of view (Fov) based on the line-of-sight direction (step S203). As a result, the moving object is displayed on the display unit 12 at the timing set in advance according to the music.

次に、CPU15は、ダンスゲームが終了したか否かを判定する(ステップS205)。例えば、CPU15は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15は、ダンスゲームが終了していないと判定した場合(NO)、ステップS201の処理に戻る。一方、CPU15は、ダンスゲームが終了したと判定した場合(YES)、指示オブジェクト表示処理を終了する。 Next, the CPU 15 determines whether or not the dance game has ended (step S205). For example, the CPU 15 determines that the dance game has ended when the music being played ends. When the CPU 15 determines that the dance game has not ended (NO), the process returns to step S201. On the other hand, when the CPU 15 determines that the dance game has ended (YES), it ends the pointing object display process.

〔プレイ評価処理の動作〕
次に、ゲーム装置10のCPU15が実行するダンスゲームの処理において、ユーザUの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図7は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
[Operation of play evaluation process]
Next, in the dance game processing executed by the CPU 15 of the game device 10, the operation of the play evaluation process for evaluating the play by the motion of at least part of the body of the user U will be described. FIG. 7 is a flowchart showing an example of play evaluation processing according to this embodiment.

CPU15は、撮像部11が撮像した実空間の撮像映像を取得する(ステップS301)。次に、CPU15は、ステップS301で取得した撮像映像からユーザUの身体の少なくとも一部の動作を検出する(ステップS303)。例えば、CPU15は、ダンスゲームをプレイするユーザUの足の動作を検出する。 The CPU 15 acquires a captured image of the real space captured by the imaging unit 11 (step S301). Next, the CPU 15 detects motion of at least a part of the body of the user U from the captured image acquired in step S301 (step S303). For example, the CPU 15 detects the motion of the user U's feet playing a dance game.

そして、CPU15は、ステップS303において検出されたユーザUの身体の少なくとも一部(例えば、足)の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する(ステップS305)。例えば、CPU15は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とを比較し、ユーザUの足の動作によるプレイを評価する。 Then, the CPU 15 evaluates the motion of at least part of the body (for example, foot) of the user U detected in step S303 based on the timing and position based on the pointing object placed in the virtual space (step S305). ). For example, the CPU 15 compares the timing and position at which the moving object reaches the determination object with the timing and position of the motion of the user U's foot (motion of stepping on the determination object), and evaluates the play by the motion of the user U's foot. do.

また、CPU15は、ステップS305における評価結果に基づいて、ゲームの得点(スコア)を更新する(ステップS307)。例えば、CPU15は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とが一致すると判定できる場合には得点(スコア)を加算し、一致しないと判定できる場合には得点(スコア)を加算しない。 Also, the CPU 15 updates the score of the game based on the evaluation result in step S305 (step S307). For example, if the CPU 15 can determine that the timing and position at which the moving object reaches the determination object and the timing and position of the motion of the user U's foot (motion to step on the determination object) match, the score is added. However, if it can be determined that they do not match, the score is not added.

次に、CPU15は、ダンスゲームが終了したか否かを判定する(ステップS309)。例えば、CPU15は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15は、ダンスゲームが終了していないと判定した場合(NO)、ステップS301の処理に戻る。一方、CPU15は、ダンスゲームが終了したと判定した場合(YES)、プレイ評価処理を終了する。 Next, the CPU 15 determines whether or not the dance game has ended (step S309). For example, the CPU 15 determines that the dance game has ended when the music being played ends. When the CPU 15 determines that the dance game has not ended (NO), the process returns to step S301. On the other hand, when the CPU 15 determines that the dance game has ended (YES), it ends the play evaluation process.

〔第1の実施形態のまとめ〕
以上説明してきたように、本実施形態に係るゲーム装置10は、ユーザUの頭部に装着することにより、ユーザUに視認可能に映像を出力するとともに実空間を視認可能なゲーム装置10(映像出力装置の一例)を用いてプレイ可能なゲームの処理を実行する。例えば、ゲーム装置10は、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置10は、仮想空間内の、ユーザUに対応する基準位置K1に基づく位置に、ユーザUの動作を指示する指示オブジェクトをユーザに視認可能に配置し、少なくとも指示オブジェクトが配置された仮想空間を、実空間に対応付けて表示させる。また、ゲーム装置10は、取得した撮像映像からユーザUの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
[Summary of the first embodiment]
As described above, the game device 10 according to the present embodiment, when worn on the head of the user U, outputs an image that can be visually recognized by the user U and allows the user U to visually recognize the real space. An example of an output device) is used to execute processing of a game that can be played. For example, the game device 10 acquires a captured image of a real space, and generates a virtual space corresponding to the real space from the acquired captured image. Then, the game device 10 arranges an instruction object for instructing the action of the user U at a position based on the reference position K1 corresponding to the user U in the virtual space so that at least the instruction object is arranged. The virtual space is displayed in association with the real space. In addition, the game device 10 detects motion of at least a part of the body of the user U from the captured image, and evaluates the detected motion based on the timing and position of the pointing object placed in the virtual space. do.

これにより、ゲーム装置10は、ユーザUの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザUの動作を評価するゲーム処理において、頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザUに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 As a result, in the game process of evaluating the motion of the user U based on the timing and position of the pointing object that instructs the motion of the user U, the game device 10 attaches the pointing object to the real space by wearing it on the head. Since the user U can visually recognize the information in association with the user U, it is possible to guide the user to what action should be performed with a simple configuration so that the user can play the game more intuitively.

例えば、基準位置K1は、ゲーム装置10(映像出力装置の一例)を装着しているユーザUの位置に対応する仮想空間内における第1基準位置であり、仮想空間内の透過型HMDの位置に基づく。例えば、基準位置K1は、実空間におけるユーザUの位置(透過型HMDの位置)に対応する仮想空間内における位置であり、仮想空間(3次元座標空間)の座標原点として定義される。 For example, the reference position K1 is the first reference position in the virtual space corresponding to the position of the user U wearing the game device 10 (an example of the video output device), and is the position of the transmissive HMD in the virtual space. based on For example, the reference position K1 is a position in the virtual space corresponding to the position of the user U (the position of the transmissive HMD) in the real space, and is defined as the coordinate origin of the virtual space (three-dimensional coordinate space).

これにより、ゲーム装置10は、ゲームをプレイするユーザUの位置を基準として、実空間に対応付けて指示オブジェクトを表示できるため、ユーザUに対する動作の指示にリアリティを感じさせることができ、より直感的なプレイが可能となる。 As a result, the game device 10 can display the instruction object in association with the real space based on the position of the user U playing the game, so that the instruction of the action to the user U can be made to feel more realistic and intuitive. play is possible.

また、ゲーム装置10は、仮想空間内の所定の位置(出現位置)に配置した指示オブジェクト(例えば、移動オブジェクト)を所定の判定位置(例えば、判定オブジェクトの位置)へ向かって移動させる。そして、ゲーム装置10は、仮想空間内で移動する指示オブジェクト(例えば、移動オブジェクト)が判定位置に到達したタイミングと判定位置に基づいて、撮像映像から検出されたユーザUの身体の少なくとも一部(例えば、足)の動作を評価する。 In addition, the game device 10 moves the pointing object (eg, moving object) arranged at a predetermined position (appearance position) in the virtual space toward a predetermined determination position (eg, position of the determination object). Then, the game device 10 detects at least a part of the body of the user U (the For example, to evaluate the movement of the foot).

これにより、ゲーム装置10は、ユーザUが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。 Thereby, the game device 10 can use the captured image to evaluate whether or not the user U has performed the action as instructed.

なお、ゲーム装置10は、ユーザの視線方向に基づく視野の範囲内の指示オブジェクトしかユーザUは視認できないため、同時に前後左右(ユーザUの周囲360°)の指示オブジェクトを視認することはできない。そのため、ゲーム装置10は、ゲーム装置10(映像出力装置の一例)を装着しているユーザUの向きに応じて、指示オブジェクトを配置する位置を仮想空間内の一部に制限してもよい。例えば、ゲーム装置10は、イニシャライズ時点でのユーザU(基準位置K1)の向きに基づいて、前、右、及び左の指示オブジェクトのみを配置して、後方には指示オブジェクトを配置しないようにしてもよい。 In the game device 10, the user U can only visually recognize the pointing object within the range of the visual field based on the direction of the user's line of sight. Therefore, the game device 10 may restrict the position where the pointing object is placed to a part of the virtual space according to the orientation of the user U wearing the game device 10 (an example of the video output device). For example, based on the orientation of the user U (reference position K1) at the time of initialization, the game device 10 arranges only the front, right, and left pointing objects, and does not arrange the pointing object behind. good too.

これにより、ゲーム装置10は、ユーザUの視野の範囲外(例えば、後方)に対しては動作すべき指示を行わないため、ユーザUはプレイ中に視野の範囲外(例えば、後方)を気にせずプレイすることができる。よって、ゲーム装置10は、プレイの難易度が高くなりすぎないようにすることができる。 Accordingly, since the game apparatus 10 does not issue an instruction to move outside the range of the user U's field of vision (for example, the rear), the user U may not be aware of the outside of the range of the field of vision (for example, the rear) during play. can be played without Therefore, the game device 10 can prevent the play from becoming too difficult.

また、ゲーム装置10は、ユーザUの向きに応じて指示オブジェクトを配置する位置を仮想空間内の一部に制限する場合、ユーザUの向きに応じて当該制限する方向をプレイ中に変更してもよい。例えば、ゲーム装置10は、ユーザUが前方を向いているときには、ユーザU(基準位置K1)に対して前、右、及び左の指示オブジェクトのみを配置して、後方には指示オブジェクトを配置しないようにしてもよい。また、ゲーム装置10は、ユーザUが右方を向いた場合には、右方を向いた後のユーザU(基準位置K1)に対して前、右、及び左(右方を向く以前の右、前、及び後ろ)の指示オブジェクトのみを配置して、後方(右方を向く以前の左方)には指示オブジェクトを配置しないようにしてもよい。ユーザUが左方または後方を向いた場合も同様に、それぞれの反対方向(向きを変更する前の右方または前方)には、指示オブジェクトを配置しないようにしてもよい。 Further, when restricting the position where the pointing object is placed to a part of the virtual space according to the orientation of the user U, the game device 10 changes the restricted direction according to the orientation of the user U during play. good too. For example, when the user U is facing forward, the game device 10 arranges only the front, right, and left pointing objects with respect to the user U (reference position K1), and does not arrange pointing objects behind the user U. You may do so. In addition, when the user U faces right, the game device 10 is positioned forward, to the right, and to the left of the user U after facing right (the reference position K1). , front, and rear) may be placed, and no pointing object may be placed behind (to the left before turning to the right). Similarly, when the user U faces leftward or backward, the pointing object may not be placed in the opposite direction (rightward or forward before changing the direction).

これにより、ゲーム装置10は、ユーザUの向きの変化に追従して、ユーザUの視野の範囲外に対しては動作すべき指示を常に行わないため、プレイの難易度を抑制することができる。 As a result, the game device 10 follows the change in the direction of the user U and does not always issue an instruction to operate outside the range of the user U's field of view, so that the difficulty level of the play can be suppressed. .

[第2の実施形態]
次に、本発明の第2の実施形態について説明する。
第1の実施形態で説明した例では、実際にユーザUが視認可能な指示オブジェクトは、仮想空間に配置される指示オブジェクトのうちユーザUの視線方向に基づく視野の範囲に配置される指示オブジェクトに限られる。そのため、例えばユーザUの後方に指示オブジェクトが存在する場合、認識するのが困難なことがある。ゲーム性としては、この困難な要素を利用することもできるが、反面、初心者などにとってはプレイが難しくなってしまう懸念が考えられる。第1の実施形態では、ユーザUの向きに応じて、指示オブジェクトを配置する位置を仮想空間内の一部に制限することで困難性を抑制する構成としてもよいことを説明したが、その構成の場合にはプレイ中にユーザUに指示する動作の種類が少なくなってしまう。また、実際にユーザUがプレイする場合、ユーザUから見て下方に存在するユーザUの足と指示オブジェクトを見ながらプレイする必要があるため、ユーザUの身体の動作に悪影響を及ぼし、踊りにくくなってしまう懸念がある。そこで、本実施形態では、鏡を利用することで上記の懸念を解決する。
[Second embodiment]
Next, a second embodiment of the invention will be described.
In the example described in the first embodiment, the pointing object that is actually visible to the user U is the pointing object arranged in the range of the visual field based on the line-of-sight direction of the user U among the pointing objects arranged in the virtual space. Limited. Therefore, for example, when the pointing object exists behind the user U, it may be difficult to recognize it. In terms of gameplay, this difficult element can be used, but on the other hand, there is a concern that it will be difficult for beginners and the like to play. In the first embodiment, it has been described that the difficulty may be suppressed by restricting the position where the pointing object is placed to a part of the virtual space according to the orientation of the user U. In the case of , the types of actions to be instructed to the user U during play are reduced. In addition, when the user U actually plays, it is necessary to play while looking at the user U's feet and the pointing object, which are located below the user U. There is concern that it will become Therefore, in this embodiment, the above concerns are resolved by using a mirror.

図8は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、本実施形態に係るゲーム装置10Aを用いて、ユーザUがダンスゲームをプレイするプレイ状況を俯瞰して示している。本図は、図1と同様に、ユーザUが含まれる実空間と指示オブジェクトが含まれる仮想空間との対応関係を1つの図にまとめて示したものであり、ユーザUがプレイ中に視認可能なプレイ画面とは異なる。 FIG. 8 is a diagram showing an overview of game processing by the game device according to this embodiment. This figure shows a bird's-eye view of a play situation in which a user U plays a dance game using the game device 10A according to the present embodiment. Similar to FIG. 1, this figure summarizes the correspondence relationship between the real space in which the user U is included and the virtual space in which the pointing object is included. It is different from the normal play screen.

図示する例において、ユーザUは、鏡MRに対面する位置でダンスゲームをプレイしている。仮想空間内のユーザUの周囲には、図1と同様に、指示オブジェクト(判定オブジェクト及び移動オブジェクト)が配置されている。さらに、ユーザUの対面にある鏡MRにはユーザUが映っている。ここでは、鏡MRに映っているユーザUの虚像を「ユーザ像UK」と称する。ゲーム装置10Aは、鏡MRの方向を撮像した撮像映像からユーザUに対応するユーザ像UKを検出し、ユーザUの周囲に配置した指示オブジェクトが鏡MRに映っているかのように、検出したユーザ像UKの周囲にも指示オブジェクトを配置する。 In the illustrated example, the user U is playing a dance game facing the mirror MR. Around the user U in the virtual space, similarly to FIG. 1, pointing objects (determination objects and moving objects) are arranged. Furthermore, the user U is reflected in the mirror MR facing the user U. Here, the virtual image of the user U reflected in the mirror MR is referred to as "user image UK". The game device 10A detects the user image UK corresponding to the user U from the captured image captured in the direction of the mirror MR, and the detected user image UK is displayed as if the pointing object arranged around the user U is reflected in the mirror MR. A pointing object is also placed around the image UK.

図9は、本実施形態に係る仮想空間の空間座標の定義及びユーザ像UKの位置を示す図である。この図は、図2に示す仮想空間の空間座標の定義に、撮像映像から検出されたユーザ像UKの位置を加えた図である。仮想空間におけるユーザ像UKの位置に対応する基準位置K2(第2基準位置の一例)は、ユーザUの位置に対応する基準位置K1(例えば、座標原点)に対してX軸方向(視線方向)にある鏡MRの先(奥)の位置に検出される。例えば、鏡MRの鏡面がX軸と交わる位置を鏡面位置M1とすると、X軸方向において、基準位置K1から鏡面位置M1までの距離と鏡面位置M1から基準位置K2までの距離とが同一となるような位置に、基準位置K2が検出される。なお、基準位置K2は、ユーザ像UKの頭部の中心に相当する位置でもよいし、ユーザ像UKの重心に相当する位置でもよく、任意の位置に定義することができる。 FIG. 9 is a diagram showing the definition of the spatial coordinates of the virtual space and the position of the user image UK according to this embodiment. This diagram is a diagram obtained by adding the position of the user image UK detected from the captured image to the definition of the spatial coordinates of the virtual space shown in FIG. A reference position K2 (an example of a second reference position) corresponding to the position of the user image UK in the virtual space is positioned relative to a reference position K1 (for example, coordinate origin) corresponding to the position of the user U in the X-axis direction (line-of-sight direction). is detected at the front (rear) position of the mirror MR in the position. For example, if the position where the mirror surface of the mirror MR intersects the X-axis is the mirror surface position M1, the distance from the reference position K1 to the mirror surface position M1 and the distance from the mirror surface position M1 to the reference position K2 are the same in the X-axis direction. A reference position K2 is detected at such a position. The reference position K2 may be defined as any position, such as a position corresponding to the center of the head of the user image UK or a position corresponding to the center of gravity of the user image UK.

図8に戻り、ゲーム装置10Aは、撮像映像からユーザ像UKの映像領域(輪郭)と距離を検出し、ユーザUの位置に対応する基準位置K1とは別に、仮想空間内におけるユーザ像UKの位置に対応する基準位置K2を検出する。そして、ゲーム装置10Aは、基準位置K1及び基準位置K2のそれぞれに基づいて、基準位置K1及び基準位置K2のそれぞれの周囲に指示オブジェクトを配置する。このとき、ユーザ像UKは、鏡MRに映ったユーザUの虚像であるため、ユーザUに対して前後の向きが逆になる。そのため、ゲーム装置10Aは、基準位置K2(ユーザ像UKの位置)の周囲に配置する指示オブジェクトは、基準位置K1(ユーザUの位置)の周囲に配置する指示オブジェクトとは前後の向き(空間座標における前後の位置関係)を反転させて配置する。 Returning to FIG. 8, the game device 10A detects the image area (contour) and distance of the user image UK from the captured image, and separates the user image UK from the virtual space from the reference position K1 corresponding to the position of the user U. A reference position K2 corresponding to the position is detected. Then, the game device 10A arranges the pointing object around the reference position K1 and the reference position K2 based on the reference position K1 and the reference position K2, respectively. At this time, since the user image UK is a virtual image of the user U reflected in the mirror MR, the front and back direction of the user U is reversed. Therefore, in the game device 10A, the pointing object placed around the reference position K2 (the position of the user image UK) is oriented forward and backward (spatial coordinates) from the pointing object placed around the reference position K1 (the position of the user U). ) are reversed.

例えば、X軸において基準位置K1から基準位置K2へ向かう方向を正方向とすると、基準位置K1(ユーザUの位置)に対して前方に配置される判定オブジェクトHF及び移動オブジェクトNFは、基準位置K1に対してX軸の正方向に配置される。これに対し、基準位置K2(ユーザ像UKの位置)に対して前方に配置される判定オブジェクトHF´及び移動オブジェクトNF´は、基準位置K2に対してX軸の負方向に配置される。また、基準位置K1(ユーザUの位置)に対して後方に配置される判定オブジェクトHB及び移動オブジェクトNBは、基準位置K1に対してX軸の負方向に配置される。これに対し、基準位置K2(ユーザ像UKの位置)に対して後方に配置される判定オブジェクトHB´及び移動オブジェクトNB´は、基準位置K2に対してX軸の正方向に配置される。 For example, assuming that the direction from the reference position K1 to the reference position K2 on the X-axis is the positive direction, the determination object HF and the moving object NF placed in front of the reference position K1 (the position of the user U) are located at the reference position K1. is arranged in the positive direction of the X-axis with respect to On the other hand, the determination object HF' and the moving object NF' placed in front of the reference position K2 (the position of the user image UK) are placed in the negative direction of the X axis with respect to the reference position K2. Also, the determination object HB and the moving object NB, which are arranged behind the reference position K1 (the position of the user U), are arranged in the negative direction of the X axis with respect to the reference position K1. On the other hand, the determination object HB' and the moving object NB', which are arranged behind the reference position K2 (the position of the user image UK), are arranged in the positive direction of the X axis with respect to the reference position K2.

一方、基準位置K1(ユーザUの位置)に対して右方に配置される判定オブジェクトHR及び移動オブジェクトNRと、基準位置K2(ユーザ像UKの位置)に対して右方に配置される判定オブジェクトHR´及び移動オブジェクトNR´とは、それぞれの基準位置に対してY軸の同一方向(例えば正方向)に配置される。また、基準位置K1(ユーザUの位置)に対して左方に配置される判定オブジェクトHL及び移動オブジェクトNLと、基準位置K2(ユーザ像UKの位置)に対して左方に配置される判定オブジェクトHL´及び移動オブジェクトNL´とは、それぞれの基準位置に対してY軸の同一方向(例えば負方向)に配置される。また、基準位置K1に対して配置される指示オブジェクトと基準位置K2に対して配置される指示オブジェクトとの上方向及び下方向の位置関係も同一である。 On the other hand, the determination object HR and the moving object NR that are placed on the right side of the reference position K1 (the position of the user U), and the determination object that is placed on the right side of the reference position K2 (the position of the user image UK). HR' and moving object NR' are arranged in the same direction (for example, positive direction) of the Y-axis with respect to their respective reference positions. Also, the determination object HL and the moving object NL are arranged to the left of the reference position K1 (the position of the user U), and the judgment object is arranged to the left of the reference position K2 (the position of the user image UK). HL' and moving object NL' are arranged in the same direction (for example, negative direction) of the Y-axis with respect to their respective reference positions. Further, the upward and downward positional relationships between the pointing object arranged with respect to the reference position K1 and the pointing object arranged with respect to the reference position K2 are also the same.

〔ゲーム装置10Aの構成〕
本実施形態に係るゲーム装置10Aは、第1の実施形態で説明したゲーム装置10と同様に、光学透過型HMDを含む装置であってもよいし、ビデオ透過型HMDを含む装置であってもよい。ここでは、第1の実施形態と同様に、ゲーム装置10Aは、光学透過型HMDであるとして説明する。ゲーム装置10Aのハードウェア構成は、図3に示す構成例と同様であるためその説明を省略する。
[Configuration of game device 10A]
The game device 10A according to the present embodiment may be a device including an optical transmissive HMD or a device including a video transmissive HMD, like the game device 10 described in the first embodiment. good. Here, as in the first embodiment, the game device 10A will be described as an optically transmissive HMD. Since the hardware configuration of the game device 10A is the same as the configuration example shown in FIG. 3, the description thereof is omitted.

図10は、本実施形態に係るゲーム装置10Aの機能構成の一例を示すブロック図である。図示するゲーム装置10Aは、記憶部14に記憶されているプログラムをCPU15が実行することにより実現される機能構成として、制御部150Aを備えている。制御部150Aは、映像取得部151と、仮想空間生成部152と、ユーザ像検出部153Aと、オブジェクト配置部154Aと、視線方向検出部155と、表示制御部156と、動作検出部157と、評価部158とを備えている。この図において、図4の各部に対応する構成には同一の符号を付しており、その説明を適宜省略する。ゲーム装置10Aの機能構成は、鏡MRに映っているユーザ像UKに対応する基準位置を検出するためのユーザ像検出部153Aが追加されている点が、図4に示すゲーム装置10の機能構成と主に異なる。 FIG. 10 is a block diagram showing an example of the functional configuration of the game device 10A according to this embodiment. The illustrated game device 10A includes a control section 150A as a functional configuration realized by the CPU 15 executing a program stored in the storage section 14 . The control unit 150A includes a video acquisition unit 151, a virtual space generation unit 152, a user image detection unit 153A, an object placement unit 154A, a gaze direction detection unit 155, a display control unit 156, a motion detection unit 157, and an evaluation unit 158 . In this figure, the same reference numerals are given to the configurations corresponding to the respective parts in FIG. 4, and the description thereof will be omitted as appropriate. The functional configuration of the game device 10A differs from that of the game device 10 shown in FIG. 4 in that a user image detection unit 153A for detecting a reference position corresponding to the user image UK reflected in the mirror MR is added. differ mainly from

ユーザ像検出部153Aは、映像取得部151が取得した撮像映像からユーザUに対応するユーザ像UK(像の一例)を検出する。例えば、ユーザ像UKは、ユーザUの対面に存在する鏡MRに映ったユーザUの虚像であるユーザ像UKを検出する。この検出は、ユーザ像UKがダンスゲームをプレイするユーザUの虚像であることを認識する必要がある。認識方法としては、例えば、ユーザUの身体やユーザUの頭部に装着されているゲーム装置10A(HMD)などに識別可能なマーカー(印、標識など)を付け、ユーザ像検出部153Aは、このマーカーを撮像映像から検出することにより、ユーザUの虚像であることを認識してもよい。また、ユーザUに対して特定の動作(例えば、右手を上げ下げするなど)を指示することにより、ユーザ像検出部153Aは、その指示に応じた動作をする人物を撮像映像から検出することにより、ユーザUの虚像であることを認識してもよい。 The user image detection unit 153A detects a user image UK (an example of an image) corresponding to the user U from the captured image acquired by the image acquisition unit 151 . For example, the user image UK, which is a virtual image of the user U reflected in the mirror MR that faces the user U, is detected. This detection needs to recognize that the user image UK is a virtual image of the user U playing the dance game. As a recognition method, for example, an identifiable marker (mark, sign, etc.) is attached to the body of the user U or the game device 10A (HMD) worn on the head of the user U, and the user image detection unit 153A It may be recognized that the marker is a virtual image of the user U by detecting the marker from the captured image. In addition, by instructing the user U to perform a specific action (for example, raising and lowering the right hand), the user image detection unit 153A detects a person who performs the action according to the instruction from the captured image. You may recognize that it is the user's U virtual image.

仮想空間生成部152は、撮像映像から検出した物体(床や、壁など)の少なくとも一部の位置情報に加え、ユーザ像UKの位置情報を含む3次元座標空間のデータを仮想空間のデータとして生成する。例えば、仮想空間生成部152は、撮像映像から実空間に存在する物体(床や、壁など)の位置を検出する。加えて、仮想空間生成部152は、ユーザ像検出部153Aにより検出されたユーザ像UKの位置(基準位置K2)を検出する。ユーザ像UKの位置の検出方法は、前述した実空間に存在する物体(床や、壁など)の位置の検出方法と同様に、カメラ(撮像部)の視差を利用する検出方法としてもよい。そして、仮想空間生成部152は、仮想空間生成部152は、検出した物体(床や、壁など)の少なくとも一部の位置情報と基準位置K2の位置情報とを含む3次元座標空間のデータを仮想空間のデータとして生成する。なお、一例として、仮想空間(3次元座標空間)の座標原点は、第1の実施形態と同様にユーザUに対応する基準位置K1とする。仮想空間生成部152は、生成した仮想空間データを記憶部14に記憶させる。 The virtual space generation unit 152 generates three-dimensional coordinate space data including the position information of the user image UK in addition to the position information of at least a part of the object (floor, wall, etc.) detected from the captured image as virtual space data. do. For example, the virtual space generator 152 detects the position of an object (floor, wall, etc.) existing in the real space from the captured image. In addition, the virtual space generator 152 detects the position (reference position K2) of the user image UK detected by the user image detector 153A. A method of detecting the position of the user image UK may be a detection method using parallax of a camera (imaging unit), like the method of detecting the position of an object (floor, wall, etc.) existing in the real space described above. Then, the virtual space generation unit 152 generates data in a three-dimensional coordinate space including position information of at least part of the detected object (floor, wall, etc.) and position information of the reference position K2. Generate as spatial data. As an example, the coordinate origin of the virtual space (three-dimensional coordinate space) is assumed to be the reference position K1 corresponding to the user U, as in the first embodiment. The virtual space generation unit 152 causes the storage unit 14 to store the generated virtual space data.

オブジェクト配置部154Aは、仮想空間内の、ユーザUに対応する基準位置K1に基づく位置に指示オブジェクトを配置するとともに、ユーザ像UKに対応する基準位置K2に基づく位置にも指示オブジェクトを配置する(図8及び図9参照)。また、オブジェクト配置部154Aは、仮想空間内の基準位置K2に基づく位置に指示オブジェクトを配置する際に、基準位置K2に対する前後の向きを反転させる。 The object placement unit 154A places the pointing object at a position based on the reference position K1 corresponding to the user U in the virtual space, and also places the pointing object at a position based on the reference position K2 corresponding to the user image UK ( 8 and 9). In addition, the object placement unit 154A reverses the front-rear direction with respect to the reference position K2 when placing the pointing object at the position based on the reference position K2 in the virtual space.

ここで、オブジェクト配置部154Aは、検出されたユーザ像UKが鏡MRに映っている像であるか否かは、上述した特定の動作(例えば、右手を上げ下げするなど)を指示することによって、その動作をする人物を撮像映像から検出して判定しても良い。また、オブジェクト配置部154Aは、予め選択可能に設定された鏡モード(鏡MRに映っている姿を見ながらプレイするモード)が選択されることによって、検出されたユーザ像UKが鏡MRに映っている像であると判定しても良い。 Here, the object placement unit 154A determines whether the detected user image UK is the image reflected in the mirror MR by instructing the above-described specific action (for example, raising and lowering the right hand). A person performing the action may be detected from a captured image and determined. In addition, the object placement unit 154A selects a previously selectable mirror mode (a mode in which the user is played while looking at the image reflected in the mirror MR), so that the detected user image UK is reflected in the mirror MR. It may be determined that the image is an image that

表示制御部156は、例えばユーザUの視線方向が鏡MRの方向である場合、鏡MRの方向の視野の範囲に対応する仮想空間の範囲に配置されている指示オブジェクトを表示部12に表示させる。すなわち、表示制御部156は、鏡MRに映っているユーザ像UKに対応する基準位置K2に基づく位置に配置されている指示オブジェクトをユーザUが俯瞰して視認可能なように表示することができる。 For example, when the line-of-sight direction of the user U is the direction of the mirror MR, the display control unit 156 causes the display unit 12 to display the pointing object arranged in the range of the virtual space corresponding to the range of the visual field in the direction of the mirror MR. . That is, the display control unit 156 can display the pointing object arranged at the position based on the reference position K2 corresponding to the user image UK reflected in the mirror MR so that the user U can view and visually recognize the pointing object. .

動作検出部157は、撮像映像から鏡MRに映っているユーザ像UKの身体の少なくとも一部の動作を検出することにより、ユーザUの身体の少なくとも一部の動作を検出する。 The motion detection unit 157 detects the motion of at least part of the body of the user U by detecting the motion of at least part of the body of the user image UK reflected in the mirror MR from the captured image.

評価部158は、動作検出部157により検出されたユーザ像UK(鏡MRに映っているユーザ像UK)の身体の少なくとも一部の動作を、ユーザ像UKに対応する基準位置K2に基づく位置に配置されている指示オブジェクトを用いて評価する。具体的には、評価部158は、ユーザ像UK(鏡MRに映っているユーザ像UK)の身体の少なくとも一部の動作を、鏡MRに映っているユーザ像UKに基づく位置に配置されている指示オブジェクトに基づくタイミング及び位置に基づいて評価する。すなわち、ユーザUは、下方に存在するユーザUの足と指示オブジェクトを見なくとも、鏡MRの方向を見ながらプレイすることできる。 The evaluation unit 158 converts the motion of at least a part of the body of the user image UK (the user image UK reflected in the mirror MR) detected by the motion detection unit 157 to a position based on the reference position K2 corresponding to the user image UK. Evaluate using the pointing object that is placed. Specifically, the evaluation unit 158 evaluates the movement of at least a part of the body of the user image UK (the user image UK reflected in the mirror MR) at a position based on the user image UK reflected in the mirror MR. Evaluate based on timing and position based on the pointing object that is present. That is, the user U can play while looking at the direction of the mirror MR without looking at the feet of the user U and the pointing object existing below.

なお、図8に示す例では、ユーザUに対応する基準位置K1に基づく位置とユーザ像UKに対応する基準位置K2に基づく位置との両方に指示オブジェクトが配置されているがこれに限定されるものではない。例えば、オブジェクト配置部154Aは、ユーザ像UKに対応する基準位置K2に基づく位置に指示オブジェクトが配置される場合には、ユーザUに対応する基準位置K1に基づく位置に指示オブジェクトを配置しなくてもよい。すなわち、基準位置K2に基づく位置に指示オブジェクトが表示される場合には、基準位置K1に基づく位置の指示オブジェクトが非表示となってもよい。これにより、ユーザUの周囲に表示される指示オブジェクトによって、鏡MRに表示された指示オブジェクトが隠れてしまうことが無くなり、指示オブジェクトの視認性を向上させることができる。 In the example shown in FIG. 8, the pointing object is arranged at both the position based on the reference position K1 corresponding to the user U and the position based on the reference position K2 corresponding to the user image UK, but the present invention is limited to this. not a thing For example, when the pointing object is placed at the position based on the reference position K2 corresponding to the user image UK, the object placing unit 154A does not have to place the pointing object at the position based on the reference position K1 corresponding to the user U. good too. That is, when the pointing object is displayed at the position based on the reference position K2, the pointing object at the position based on the reference position K1 may not be displayed. As a result, the pointing object displayed on the mirror MR is not hidden by the pointing object displayed around the user U, and the visibility of the pointing object can be improved.

また、オブジェクト配置部154Aは、基準位置K2に基づく位置に指示オブジェクトが配置される場合、基準位置K1に基づく位置に配置する指示オブジェクトを半透明にしたり縮小したりするなど、視認度を低減した目立ちにくい表示態様としてもよい。なお、指示オブジェクトの表示態様を変更する処理は、表示制御部156が行ってもよい。 Further, when the pointing object is placed at the position based on the reference position K2, the object placement unit 154A reduces the visibility by making the pointing object placed at the position based on the reference position K1 translucent or reducing it. It may be displayed in an inconspicuous manner. Note that the display control unit 156 may perform the process of changing the display mode of the pointing object.

また、オブジェクト配置部154A(或いは、表示制御部156)は、鏡MRがユーザUの視野の範囲内にある場合にのみ、ユーザUの周囲の指示オブジェクトを非表示や半透明にし、鏡MRが視野の範囲外になった場合には、通常通りにユーザUの周囲の指示オブジェクトが表示されるようにしてもよい。これにより、鏡MRが視野の範囲外(例えば、ユーザUが鏡MRの方向とは反対方向を向いた場合)となった場合でも、指示オブジェクトを視認できるようになる。 Further, the object placement unit 154A (or the display control unit 156) hides or translucents the pointing object around the user U only when the mirror MR is within the field of view of the user U, and the mirror MR When it is out of the range of the field of view, the pointing objects around the user U may be displayed as usual. As a result, even when the mirror MR is out of the field of view (for example, when the user U faces the direction opposite to the direction of the mirror MR), the pointing object can be visually recognized.

〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置10AのCPU15が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。ここで、ユーザU(基準位置K1)に対応する指示オブジェクト配置処理は、図5に示す処理と同様であるため説明を省略し、鏡MRに映ったユーザ像UK(基準位置K2)に対応する指示オブジェクトを配置する場合の指示オブジェクト配置処理について説明する。図11は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
[Operation of pointing object placement processing]
Next, in the dance game processing executed by the CPU 15 of the game device 10A, a pointing object placement process for generating a virtual space and placing a pointing object will be described. Here, the pointing object arrangement processing corresponding to the user U (reference position K1) is the same as the processing shown in FIG. A pointing object arrangement process for arranging a pointing object will be described. FIG. 11 is a flowchart showing an example of pointing object placement processing according to the present embodiment.

まず、CPU15は、撮像部11により撮像された実空間の撮像映像を取得する(ステップS401)。例えば、CPU15は、ダンスゲームをプレイするユーザUの視線方向の鏡MRに映っているユーザ像UK(図8参照)が含まれる撮像映像を取得する。 First, the CPU 15 acquires a captured image of the real space captured by the imaging unit 11 (step S401). For example, the CPU 15 acquires a captured image including the user image UK (see FIG. 8) reflected in the mirror MR in the line-of-sight direction of the user U playing the dance game.

次に、CPU15は、ステップS401で取得した撮像映像から、ダンスゲームをプレイするユーザUの虚像(ユーザ像UK)を検出する(ステップS403)。 Next, the CPU 15 detects a virtual image (user image UK) of the user U playing the dance game from the imaged video acquired in step S401 (step S403).

また、CPU15は、ステップS401で取得した撮像映像から実空間に対応する仮想空間を生成する(ステップS405)。例えば、CPU15は、撮像映像から実空間に存在する物体(床や、壁など)の位置と、ステップS403で検出されたユーザ像UKの位置(基準位置K2)とを検出し、検出した物体(床や、壁など)の少なくとも一部の位置情報と基準位置K2の位置情報とを含む3次元座標空間のデータを仮想空間のデータとして生成する。一例として、CPU15は、ユーザUに対応する基準位置K1を座標原点とした仮想空間(3次元座標空間)内に、検出した物体(床や、壁など)の少なくとも一部の位置情報と基準位置K2の位置情報とを含む仮想空間データを生成する。そして、CPU15は、生成した仮想空間データを記憶部14に記憶させる。 Also, the CPU 15 generates a virtual space corresponding to the real space from the captured image acquired in step S401 (step S405). For example, the CPU 15 detects the position of an object (floor, wall, etc.) existing in the real space from the captured image and the position (reference position K2) of the user image UK detected in step S403, and detects the detected object (floor, wall, etc.). , walls, etc.) and the position information of the reference position K2 are generated as virtual space data. As an example, the CPU 15 stores positional information of at least a part of a detected object (floor, wall, etc.) and a reference position K2 in a virtual space (three-dimensional coordinate space) whose coordinate origin is the reference position K1 corresponding to the user U. to generate virtual space data including the position information of Then, the CPU 15 causes the storage unit 14 to store the generated virtual space data.

続いて、CPU15は、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置K2に基づく判定位置に判定オブジェクト(図8の判定オブジェクトHF´、HB´、HR´、HL´参照)を配置する(ステップS407)。CPU15は、判定オブジェクトを配置する際に、記憶部14に記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。 Subsequently, the CPU 15 places determination objects (determination objects HF′, HB′, HR' and HL') are placed (step S407). When arranging the judgment object, the CPU 15 adds the position information of the arranged judgment object to the virtual space data stored in the storage unit 14 .

また、CPU15は、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する(ステップS409)。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。CPU15は、ステップS409において出現トリガがあったと判定した場合(YES)、ステップS411の処理へ進む。 Further, when the play of the dance game is started, the CPU 15 determines whether or not there is a moving object appearance trigger (step S409). Appearance triggers are generated at timings preset according to music. When the CPU 15 determines in step S409 that there is an appearance trigger (YES), the process proceeds to step S411.

ステップS411において、CPU15は、仮想空間内の基準位置K2に基づく出現位置に移動オブジェクト(図8の移動オブジェクトNF´、NB´、NR´、NL´のいずれか一つまたは複数)を配置し、判定位置(各移動オブジェクトに対応する判定オブジェクトの位置)へ向かって移動を開始させる。CPU15は、移動オブジェクトを配置する際に、記憶部14に記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、CPU15は、配置した移動オブジェクトを移動させる際に、記憶部14に記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップS413の処理へ進む。一方、CPU15は、ステップS409において出現トリガが無いと判定した場合(NO)、ステップS411の処理を行わずに、ステップS413の処理へ進む。 In step S411, the CPU 15 arranges a moving object (one or more of the moving objects NF', NB', NR', and NL' in FIG. 8) at the appearance position based on the reference position K2 in the virtual space, Movement is started toward the determination position (the position of the determination object corresponding to each moving object). When arranging the moving object, the CPU 15 adds the position information of the arranged moving object to the virtual space data stored in the storage unit 14 . Further, when moving the arranged moving object, the CPU 15 updates the position information of the moving object added to the virtual space data stored in the storage unit 14 . Then, the process proceeds to step S413. On the other hand, when the CPU 15 determines that there is no appearance trigger in step S409 (NO), the process proceeds to step S413 without performing the process of step S411.

ステップS413において、CPU15は、移動オブジェクトが判定位置に到達したか否かを判定する。CPU15は、判定位置に到達したと判定(YES)した移動オブジェクトを仮想空間から消去する(ステップS415)。CPU15は、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部14に記憶されている仮想空間データから削除する。 In step S413, the CPU 15 determines whether or not the moving object has reached the determination position. The CPU 15 erases from the virtual space the moving object that has reached the determination position (YES) (step S415). When deleting a moving object from the virtual space, the CPU 15 deletes the position information of the moving object to be deleted from the virtual space data stored in the storage unit 14 .

一方、CPU15は、判定位置に到達していないと判定(NO)した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる(ステップS417)。CPU15は、移動オブジェクトを移動させる際に、記憶部14に記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。 On the other hand, the CPU 15 continues to gradually move the moving object that has determined (NO) that it has not reached the determination position toward the determination position (step S417). When moving the moving object, the CPU 15 updates the position information of the moving object to be moved among the virtual space data stored in the storage unit 14 .

次に、CPU15は、ダンスゲームが終了したか否かを判定する(ステップS419)。例えば、CPU15は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15は、ダンスゲームが終了していないと判定した場合(NO)、ステップS409の処理に戻る。一方、CPU15は、ダンスゲームが終了したと判定した場合(YES)、指示オブジェクト配置処理を終了する。 Next, the CPU 15 determines whether or not the dance game has ended (step S419). For example, the CPU 15 determines that the dance game has ended when the music being played ends. When the CPU 15 determines that the dance game has not ended (NO), the process returns to step S409. On the other hand, when the CPU 15 determines that the dance game has ended (YES), it ends the pointing object placement process.

なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後(最初に出現した移動オブジェクトが判定位置に到達するまでの間)でもよい。 The order of placement of the determination object and the placement of the moving object that appears first may be the same, the determination object may be placed first, or conversely, the determination object may be placed after (the moving object that appears first may be placed first). until it reaches the judgment position).

〔第2の実施形態のまとめ〕
以上説明したように、本実施形態に係るゲーム装置10Aは、実空間を撮像した撮像映像からユーザUに対応する虚像(像の一例)であるユーザ像UKをさらに検出する。そして、ゲーム装置10Aは、仮想空間内の、ユーザUに対応するユーザ像UKの基準位置K2に基づく位置に、ユーザUの動作を指示する指示オブジェクトをユーザに視認可能に配置する。
[Summary of the second embodiment]
As described above, the game device 10A according to the present embodiment further detects a user image UK, which is a virtual image (an example of an image) corresponding to the user U, from captured video of the real space. Then, the game device 10A arranges an instruction object that instructs the action of the user U at a position based on the reference position K2 of the user image UK corresponding to the user U in the virtual space so that the instruction object can be visually recognized by the user.

これにより、ゲーム装置10Aは、頭部に装着することで、ユーザUの動作を指示する指示オブジェクトを、例えば鏡MRに映っているユーザUの虚像(ユーザ像UK)の周囲に表示させることができるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲーム装置10Aは、指示オブジェクトを配置する位置を仮想空間内の一部に制限なくともユーザ像UKの周囲(例えば、前後左右)に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザUに指示する動作の種類を多様化することができる。また、ゲーム装置10Aは、ユーザUが下方に存在する自身の足と指示オブジェクトを見なくとも、ユーザUに対面する鏡MRの方向を見ながらプレイすることできるため、踊りにくくならないようにすることができる。また、ゲーム装置10Aは、ゲームをプレイするユーザUの周囲と、例えば鏡MRに映っているユーザの虚像(ユーザ像UK)の周囲とのそれぞれに指示オブジェクトを表示させることで、ユーザがそれぞれの指示オブジェクトのうちプレイしやすい方を任意に選択しながらプレイできるようにすることができる。 As a result, the game device 10A, when worn on the head, can display an instruction object that instructs the action of the user U, for example, around the virtual image (user image UK) of the user U reflected in the mirror MR. Therefore, with a simple configuration, it is possible to guide the user on what actions should be taken so that more intuitive play is possible. For example, the game device 10A can simultaneously overlook and visually recognize the pointing objects displayed around the user image UK (for example, front, back, left, and right) without limiting the position of the pointing object to a part of the virtual space. Therefore, it is possible to diversify the types of actions to be instructed to the user U during play. In addition, the game device 10A allows the user U to play while looking at the direction of the mirror MR facing the user U without looking at his/her own feet and pointing object located below, so that it is not difficult to dance. can be done. In addition, the game device 10A displays pointing objects around the user U playing the game and around a virtual image of the user (user image UK) reflected in the mirror MR, for example, so that the user can It is possible to play while arbitrarily selecting one of the pointing objects that is easier to play.

なお、鏡MRは、鏡の効果(鏡面反射)を有するものであれば、鏡以外であってもよい。例えば、夜間(屋外が暗い状態)に部屋を明るくして窓ガラスに対面する場所でユーザUがプレイすることにより、窓ガラスを鏡MRとして、窓ガラスに映るユーザUの虚像を利用してもよい。 Note that the mirror MR may be anything other than a mirror as long as it has a mirror effect (specular reflection). For example, when the user U plays in a place where the room is brightened at night (outside is dark) and faces the windowpane, the windowpane can be used as the mirror MR and the virtual image of the user U reflected on the windowpane can be used. good.

また、ゲーム装置10Aは、仮想空間内の基準位置K2に基づく位置(ユーザ像UKの周囲)に指示オブジェクトを配置する際に、基準位置K2に対する前後の向きを反転させる。これにより、ゲーム装置10Aは、鏡MRに映っているユーザ像UKの向きに対応して指示オブジェクトを表示できるため、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 In addition, the game device 10A reverses the front-rear orientation with respect to the reference position K2 when arranging the pointing object at the position (surrounding the user image UK) based on the reference position K2 in the virtual space. As a result, the game device 10A can display the pointing object corresponding to the direction of the user image UK reflected in the mirror MR, so that the user can be guided as to what action should be taken so as to enable more intuitive play. can be done.

なお、ゲーム装置10Aは、仮想空間内の基準位置K2に基づく位置(ユーザ像UKの周囲)に指示オブジェクトを配置する際に、基準位置K1に基づく位置(ユーザUの周囲)に配置する指示オブジェクトの視認度を低減してもよい。例えば、ゲーム装置10Aは、基準位置K1に基づく位置に配置する指示オブジェクトを半透明にしたり縮小したりするなど、視認度を低減した目立ちにくい表示態様としても良い。また、ゲーム装置10Aは、仮想空間内の基準位置K2に基づく位置(ユーザ像UKの周囲)に指示オブジェクトを配置する際に、基準位置K1に基づく位置(ユーザUの周囲)に指示オブジェクトを配置しなくてもよい。 When arranging the pointing object at the position (around the user image UK) based on the reference position K2 in the virtual space, the game device 10A arranges the pointing object at the position (around the user U) based on the reference position K1. visibility may be reduced. For example, the game device 10A may make the pointing object placed at the position based on the reference position K1 semi-transparent or reduced in size, so that the visibility is reduced and the display mode is less conspicuous. Further, when arranging the pointing object at the position (around the user image UK) based on the reference position K2 in the virtual space, the game device 10A places the pointing object at the position (around the user U) based on the reference position K1. You don't have to.

これにより、ゲーム装置10Aは、ユーザUの周囲に表示される指示オブジェクトによって鏡MRに表示された指示オブジェクトが隠れてしまわないようにすることができるため、指示オブジェクトの視認性を向上させることができる。 As a result, the game device 10A can prevent the pointing object displayed on the mirror MR from being hidden by the pointing object displayed around the user U, thereby improving the visibility of the pointing object. can.

なお、本実施形態では、ユーザUが鏡MRに映るユーザ像UK(自身の虚像)に対応付けて仮想空間に指示オブジェクトを配置する態様を説明したが、鏡MRに代えて、モニタ(表示装置)に表示されているユーザUの映像に対応付けて仮想空間に指示オブジェクトを配置する態様としてもよい。例えば、ゲーム装置10Aは、実空間におけるユーザUを撮像するカメラ(撮像装置)と、撮像された映像をリアルタイムに表示するモニタ(表示装置)とをユーザUの対面側にさらに備え、当該カメラで撮像したユーザUの映像をモニタに表示する。そして、ゲーム装置10Aは、鏡MRに映るユーザ像UK(自身の虚像)に代えて、モニタに表示されている映像からユーザUの映像を検出し、検出したユーザUの映像に対応付けて、仮想空間に指示オブジェクトを配置してもよい。この場合、モニタに表示されているユーザUの映像の位置が基準位置となる。なお、モニタに表示されるユーザUの映像は、ユーザUが鏡MRに映るユーザ像UKに対して左右の向きが逆になる。そのため、ゲーム装置10Aは、モニタに表示されるユーザUの映像対応付けて配置する指示オブジェクトは、ユーザUに対応付けて配置する指示オブジェクトに対して前後の向きに加えて左右の向き反転させる。 In the present embodiment, the user U arranges the pointing object in the virtual space in association with the user image UK (virtual image of himself/herself) reflected in the mirror MR. ), the pointing object may be arranged in the virtual space in association with the image of the user U being displayed. For example, the game device 10A further includes a camera (imaging device) that captures an image of the user U in real space and a monitor (display device) that displays the captured image in real time on the side facing the user U. The captured image of the user U is displayed on the monitor. Then, instead of the user image UK (a virtual image of itself) reflected in the mirror MR, the game device 10A detects the image of the user U from the image displayed on the monitor, associates the detected image of the user U, A pointing object may be placed in the virtual space. In this case, the position of the image of the user U displayed on the monitor is the reference position. Note that the image of the user U displayed on the monitor is left-right reversed with respect to the user image UK in which the user U is reflected in the mirror MR. Therefore, the game device 10A reverses the direction of the instruction object arranged in association with the image of the user U displayed on the monitor not only in the front-rear direction but also in the left-right direction with respect to the instruction object arranged in correspondence with the user U.

また、本実施形態における鏡MRを利用して指示オブジェクトを配置するゲームモード、及び上記のモニタを利用して指示オブジェクトを配置するゲームモード、及び第1の実施形態で説明した、鏡及びモニタのどちらも利用しないで指示オブジェクトを配置するゲームモード(ゲーム装置10によるゲーム処理のモード)は、それぞれで指示オブジェクトの表示態様(指示オブジェクトを配置する際の基準位置や、前後または左右を反転させるか否か、など)が異なる。そのため、これらのゲームモードのうち2以上のゲームモードを有する場合(例えば、ゲーム装置10の構成とゲーム装置10Aの構成とを組み合わせた場合)、ダンスゲームの開始前に事前にユーザがどのモードを利用するのかを選択可能な構成としてもよい。そのようにすれば、鏡MRに映っているユーザ像UKやモニタに表示されているユーザUの映像の検出をスムーズに行うことができ、また誤認識も軽減できる。 In addition, a game mode in which the pointing object is placed using the mirror MR in this embodiment, a game mode in which the pointing object is placed using the above-described monitor, and a mirror and monitor mode described in the first embodiment. The game mode (the mode of game processing by the game device 10) in which the pointing object is placed without using either one of them has its own display mode of the pointing object (the reference position when the pointing object is placed, whether the pointing object is reversed front to back or left to right). no, etc.) are different. Therefore, when there are two or more game modes among these game modes (for example, when the configuration of the game device 10 and the configuration of the game device 10A are combined), the user selects which mode in advance before starting the dance game. It may be configured such that it is possible to select whether to use it. By doing so, the user image UK reflected in the mirror MR and the image of the user U displayed on the monitor can be detected smoothly, and erroneous recognition can be reduced.

[第3の実施形態]
次に、本発明の第3の実施形態について説明する。
上記第1及び第2の実施形態では、ゲーム装置10(10A)が透過型HMDとして完結した一つの装置として構成されている例を説明したが、透過型HMDと有線または無線で接続される別の装置として構成されてもよい。
[Third embodiment]
Next, a third embodiment of the invention will be described.
In the above-described first and second embodiments, the example in which the game device 10 (10A) is configured as one complete device as a transmissive HMD has been described. may be configured as a device of

図12は、本実施形態に係るゲーム装置10Cを含むゲームシステムのハードウェア構成の一例を示すブロック図である。ゲーム装置10Cは、映像出力装置を含まない構成である。図示するゲームシステム1Cは、ゲーム装置10Cと、映像出力装置としてのHMD20Cとを備えている。例えば、HMD20Cは、透過型HMDである。 FIG. 12 is a block diagram showing an example of the hardware configuration of a game system including the game device 10C according to this embodiment. The game device 10C does not include a video output device. The illustrated game system 1C includes a game device 10C and an HMD 20C as a video output device. For example, the HMD 20C is a transmissive HMD.

HMD20Cは、撮像部21Cと、表示部22Cと、センサ23Cと、記憶部24Cと、CPU25Cと、通信部26Cと、音出力部27Cとを備えている。撮像部21C、表示部22C、センサ23C、及び音出力部27Cのそれぞれは、図3に示す撮像部11、表示部12、センサ13、及び音出力部17のそれぞれに対応する。記憶部24Cは、撮像部21Cが撮像した撮像映像のデータやゲーム装置10Cから取得した表示データ等を一時的に記憶する。また、記憶部24Cは、HMD20Cの制御に必要なプログラムなどを記憶する。CPU25Cは、HMD20Cが備える各部を制御する制御中枢として機能する。通信部26Cは、有線または無線通信を用いてゲーム装置10Cと通信する。HMD20Cは、撮像部21Cが撮像した撮像映像及びセンサ23Cの検知信号などを、通信部26Cを介してゲーム装置10Cへ送信する。また、HMD20Cは、ダンスゲームの表示データや音データなどを、通信部26Cを介してゲーム装置10Cから取得する。 The HMD 20C includes an imaging section 21C, a display section 22C, a sensor 23C, a storage section 24C, a CPU 25C, a communication section 26C, and a sound output section 27C. The imaging unit 21C, the display unit 22C, the sensor 23C, and the sound output unit 27C respectively correspond to the imaging unit 11, the display unit 12, the sensor 13, and the sound output unit 17 shown in FIG. The storage unit 24C temporarily stores the data of the captured video imaged by the imaging unit 21C, the display data acquired from the game device 10C, and the like. The storage unit 24C also stores programs and the like necessary for controlling the HMD 20C. CPU25C functions as a control center which controls each part with which HMD20C is provided. The communication unit 26C communicates with the game device 10C using wired or wireless communication. The HMD 20C transmits the captured image captured by the imaging section 21C, the detection signal of the sensor 23C, and the like to the game device 10C via the communication section 26C. The HMD 20C also acquires display data, sound data, and the like of the dance game from the game device 10C via the communication unit 26C.

ゲーム装置10Cは、記憶部14Cと、CPU15Cと、通信部16Cとを備えている。記憶部14Cは、ダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。CPU15Cは、ゲーム装置10Cが備える各部を制御する制御中枢として機能する。例えば、CPU15Cは、記憶部14Cに記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、実空間に対応する仮想空間を撮像映像から生成する処理、生成した仮想空間に指示オブジェクトを配置する処理、ユーザの動作を検出して指示オブジェクトのタイミング及び位置に基づいて評価する処理などを実行する。通信部16Cは、有線または無線通信を用いてHMD20Cと通信する。ゲーム装置10Cは、HMD20Cの撮像部21Cが撮像した撮像映像及びセンサ23Cの検知信号などを、通信部16Cを介して取得する。また、ゲーム装置10Cは、ダンスゲームの表示データや音データなどを、通信部16Cを介してHMD20Cへ送信する。 The game device 10C includes a storage section 14C, a CPU 15C, and a communication section 16C. The storage unit 14C stores dance game programs and data, generated virtual space data, and the like. The CPU 15C functions as a control center that controls each part of the game device 10C. For example, the CPU 15C executes the game program stored in the storage unit 14C to execute game processing, processing to generate a virtual space corresponding to the real space from the captured image, and placement of a pointing object in the generated virtual space. Placement processing, detection of the user's motion and evaluation based on the timing and position of the pointing object, and the like are executed. The communication unit 16C communicates with the HMD 20C using wired or wireless communication. The game device 10C acquires, through the communication unit 16C, the imaged video imaged by the imaging unit 21C of the HMD 20C, the detection signal of the sensor 23C, and the like. The game device 10C also transmits display data, sound data, and the like of the dance game to the HMD 20C via the communication unit 16C.

図13は、本実施形態に係るゲーム装置10Cの機能構成の一例を示すブロック図である。図示するゲーム装置10Cは、記憶部14Cに記憶されているプログラムをCPU15Cが実行することにより実現される機能構成として、制御部150Cを備えている。制御部150Cは、通信部16Cを介して、HMD20Cが備える各部(撮像部21C、表示部22C、センサ23C、及び音出力部27など)とデータをやり取りする点を除いて、図4に示す制御部150または図10に示す制御部150Aの構成と同様である。 FIG. 13 is a block diagram showing an example of the functional configuration of the game device 10C according to this embodiment. The illustrated game device 10C includes a control section 150C as a functional configuration realized by the CPU 15C executing a program stored in the storage section 14C. The control unit 150C follows the control shown in FIG. 4 except that it exchanges data with each unit (the imaging unit 21C, the display unit 22C, the sensor 23C, the sound output unit 27, etc.) of the HMD 20C via the communication unit 16C. The configuration is the same as that of the section 150 or the control section 150A shown in FIG.

このように、ゲーム装置10Cは、外部装置としてのHMD20と通信する別の装置として構成されてもよい。なお、ゲーム装置10Cは、例えば、スマートフォン、PC(Personal Computer)、家庭用のゲーム機などを適用することができる。 Thus, the game device 10C may be configured as another device that communicates with the HMD 20 as an external device. Note that the game device 10C can be, for example, a smart phone, a PC (Personal Computer), a home game machine, or the like.

[第4の実施形態]
次に、本発明の第4の実施形態について説明する。
上記第1~第3の実施形態では、頭部に装着するHMDを用いる態様を説明したが、本実施形態ではHMDを用いない態様について説明する。
[Fourth embodiment]
Next, a fourth embodiment of the invention will be described.
In the above-described first to third embodiments, a mode using an HMD worn on the head has been described, but in this embodiment, a mode without using an HMD will be described.

図14は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、ユーザUがゲーム装置10Dを用いてダンスゲームをプレイするプレイ状況を俯瞰して示している。図示するゲーム装置10Dは、一例としてスマートフォンを適用した例である。本実施形態では、ゲーム装置10Dが備えているフロントカメラ11DAにより撮像されたユーザUの映像に対応付けて、仮想空間に配置した指示オブジェクトをゲーム装置10Dの表示部12Dまたはモニタ30Dに表示することで、ユーザは、直感的なプレイが可能となる。モニタ30Dは、ゲーム装置10Dと有線または無線で接続可能な外部の表示部(表示装置)である。例えば、モニタ30Dは、ゲーム装置10Dに設けられている表示部12Dよりも大画面のディスプレイを有するものが利用される。 FIG. 14 is a diagram showing an overview of game processing by the game device according to this embodiment. This figure shows a bird's-eye view of the play situation in which the user U plays the dance game using the game device 10D. The illustrated game device 10D is an example to which a smart phone is applied. In this embodiment, the pointing object arranged in the virtual space is displayed on the display unit 12D or the monitor 30D of the game device 10D in association with the image of the user U captured by the front camera 11DA of the game device 10D. Therefore, the user can play intuitively. The monitor 30D is an external display unit (display device) connectable to the game device 10D by wire or wirelessly. For example, the monitor 30D has a larger screen display than the display unit 12D provided in the game device 10D.

ゲーム装置10Dは、ユーザUを撮像した撮像映像からユーザUの映像領域を認識する。そして、ゲーム装置10Dは、仮想空間におけるユーザUの位置に対応する基準位置K3を定義し、基準位置K3に基づく位置に指示オブジェクトを配置した仮想空間(XYZの3次元空間)データを生成して、撮像映像に重畳して表示させる。なお、基準位置K3は、ユーザUの頭部の中心に相当する位置でもよいし、ユーザUの重心に相当する位置でもよく、任意の位置に定義することができる。 The game device 10D recognizes the image area of the user U from the captured image of the user U. FIG. Then, the game device 10D defines a reference position K3 corresponding to the position of the user U in the virtual space, and generates virtual space (XYZ three-dimensional space) data in which the pointing object is arranged at a position based on the reference position K3. , superimposed on the captured image. Note that the reference position K3 may be a position corresponding to the center of the head of the user U, or a position corresponding to the center of gravity of the user U, and can be defined as an arbitrary position.

図示する例では、ゲーム装置10Dの表示部12Dにも表示しているが、ゲーム装置10Dよりも大画面のモニタ30Dにも表示することで、ユーザUに対する指示オブジェクトの視認性がより高くなる。モニタ30Dの表示画面を参照して説明する。ユーザ映像UVは、撮像映像に含まれるユーザUの映像を示している。ユーザ映像UVの周囲には、仮想空間においてユーザUの基準位置K3に基づく位置に配置された指示オブジェクトが撮像映像に重畳された映像が表示される。 In the illustrated example, the pointing object is also displayed on the display unit 12D of the game device 10D, but by displaying it on the monitor 30D having a screen larger than that of the game device 10D, the visibility of the pointing object for the user U becomes higher. Description will be made with reference to the display screen of the monitor 30D. A user image UV indicates an image of the user U included in the captured image. Around the user image UV, an image is displayed in which a pointing object placed at a position based on the reference position K3 of the user U in the virtual space is superimposed on the captured image.

例えば、フロントカメラ11DAで撮像された撮像映像は、鏡と同様に左右反転した映像とすることができる。モニタ30Dの画面に向かってユーザ映像UVの右側にはユーザUの右方への動作を指示する判定オブジェクトHR及び移動オブジェクトNRが表示され、ユーザ映像UVの左側にはユーザUの左方への動作を指示する判定オブジェクトHL及び移動オブジェクトNLが表示される。また、モニタ30Dの画面に向かってユーザ映像UVの手前側にはユーザUの前方への動作を指示する判定オブジェクトHF及び移動オブジェクトNFが表示され、ユーザ映像UVの後ろ側にはユーザUの後方への動作を指示する判定オブジェクトHB及び移動オブジェクトNBが表示される。 For example, the captured image captured by the front camera 11DA can be a left-right reversed image like a mirror. A determination object HR and a moving object NR that instruct the user U to move rightward are displayed on the right side of the user image UV facing the screen of the monitor 30D, and a leftward movement of the user U is displayed on the left side of the user image UV. A determination object HL and a moving object NL for instructing actions are displayed. In addition, a determination object HF and a moving object NF that instruct the user U to move forward are displayed on the front side of the user image UV facing the screen of the monitor 30D, and a movement object NF behind the user U is displayed on the back side of the user image UV. A judgment object HB and a moving object NB are displayed for instructing an action to .

このように、本実施形態では、図8に示す鏡MRに映ったユーザ像UKの周囲に指示オブジェクトを表示させる場合と同様に、仮想空間に配置した指示オブジェクトをユーザUの映像に対応付けて表示させることができるため、直感的なプレイが可能なようにユーザが動作すべき内容を案内することが可能となる。 As described above, in the present embodiment, the pointing object arranged in the virtual space is associated with the image of the user U, similarly to the case where the pointing object is displayed around the user image UK reflected in the mirror MR shown in FIG. Since it can be displayed, it is possible to guide the user to what actions should be taken so that intuitive play is possible.

なお、この指示オブジェクトの表示は、ゲーム装置10Dとモニタ30Dとのいずれか一方への表示としてもよい。 Note that the display of this pointing object may be performed on either one of the game device 10D and the monitor 30D.

〔ゲーム装置10Dのハードウェア構成〕
図15を参照して、ゲーム装置10Dのハードウェア構成について説明する。
図15は、本実施形態に係るゲーム装置10Dのハードウェア構成の一例を示すブロック図である。ゲーム装置10Dは、フロントカメラ11DA及びバックカメラ11DBの2つの撮像部と、表示部12Dと、センサ13Dと、記憶部14Dと、CPU15Dと、通信部16Dと、音出力部17Dと、映像出力部18Dとを備えている。
[Hardware Configuration of Game Device 10D]
A hardware configuration of the game device 10D will be described with reference to FIG.
FIG. 15 is a block diagram showing an example of the hardware configuration of the game device 10D according to this embodiment. The game device 10D includes two imaging units of a front camera 11DA and a back camera 11DB, a display unit 12D, a sensor 13D, a storage unit 14D, a CPU 15D, a communication unit 16D, a sound output unit 17D, and a video output unit. 18D.

フロントカメラ11DAは、ゲーム装置10Dの表示部12Dが設けられている面(表面)側に設けられており、表示部12Dに対面する方向を撮像する。バックカメラ11DBは、ゲーム装置10Dの表示部12Dが設けられている面の反対面(背面)側に設けられており、当該背面に対面する方向を撮像する。 The front camera 11DA is provided on the surface (front side) of the game apparatus 10D on which the display section 12D is provided, and captures an image in the direction facing the display section 12D. The back camera 11DB is provided on the side opposite to the side on which the display unit 12D of the game device 10D is provided (back side), and captures an image in the direction facing the back side.

表示部12Dは、液晶ディスプレイ、有機ELディスプレイなどを含んで構成される。例えば、表示部12Dは、表示画面に対するタッチ操作を検知するタッチパネルとして構成されてもよい。 The display unit 12D includes a liquid crystal display, an organic EL display, and the like. For example, the display unit 12D may be configured as a touch panel that detects touch operations on the display screen.

センサ13Dは、ゲーム装置10Dの方向に関する検知信号を出力するセンサである。例えば、センサ13Dには、ジャイロセンサ、加速度センサ、傾斜センサ、地磁気センサ等のいずれか一つ又は複数のセンサが含まれてもよい。 The sensor 13D is a sensor that outputs a detection signal regarding the direction of the game device 10D. For example, the sensor 13D may include one or a plurality of sensors such as a gyro sensor, an acceleration sensor, an inclination sensor, and a geomagnetic sensor.

記憶部14Dは、例えば、EEPROM、ROM、Flash ROM、RAMなどを含み、このダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。 The storage unit 14D includes, for example, EEPROM, ROM, Flash ROM, RAM, etc., and stores the dance game program and data, generated virtual space data, and the like.

CPU15Dは、ゲーム装置10Dが備える各部を制御する制御中枢として機能する。例えば、CPU15Dは、記憶部14Dに記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、図14を参照して説明したように、ユーザUが撮像された撮像映像に、仮想空間に配置した指示オブジェクトを重畳して表示させる処理などを実行する。 The CPU 15D functions as a control center that controls each part of the game device 10D. For example, the CPU 15D executes game processing by executing the game program stored in the storage unit 14D, and as described with reference to FIG. , superimposing and displaying the pointing object placed in the .

通信部16Dは、例えば、Bluetooth(登録商標)やWi-Fi(登録商標)等の無線通信を行う通信デバイス等を含んで構成されている。 The communication unit 16D includes, for example, a communication device that performs wireless communication such as Bluetooth (registered trademark) and Wi-Fi (registered trademark).

音出力部17Dは、ダンスゲームのプレイ楽曲の演奏音やゲームの効果音などを出力する。例えば、音出力部17は、スピーカや、イヤフォン及びヘッドフォンなどが接続されるフォン端子などを含んで構成されている。 The sound output unit 17D outputs the performance sound of the play music of the dance game, the effect sound of the game, and the like. For example, the sound output unit 17 includes a speaker, a phone terminal to which earphones and headphones are connected, and the like.

映像出力部18Dは、表示部12Dに表示させる映像を外部の表示装置(例えば、図14に示すモニタ30D)に出力する映像出力端子を含んで構成されている。映像出力端子としては、映像出力以外の出力も含む兼用端子でもよいし、映像出力専用の端子でもよい。 The video output section 18D includes a video output terminal for outputting the video to be displayed on the display section 12D to an external display device (for example, the monitor 30D shown in FIG. 14). The video output terminal may be a dual-purpose terminal including output other than video output, or may be a terminal dedicated to video output.

〔ゲーム装置10Dの機能構成〕
次に、図16を参照して、ゲーム装置10Dの機能構成について説明する。
図16は、本実施形態に係るゲーム装置10Dの機能構成の一例を示すブロック図である。図示するゲーム装置10Dは、記憶部14Dに記憶されているプログラムをCPU15Dが実行することにより実現される機能構成として、制御部150Dを備えている。制御部150Dは、映像取得部151Dと、仮想空間生成部152Dと、ユーザ検出部153Dと、オブジェクト配置部154Dと、表示制御部156Dと、動作検出部157Dと、評価部158Dとを備えている。
[Functional Configuration of Game Device 10D]
Next, referring to FIG. 16, the functional configuration of the game device 10D will be described.
FIG. 16 is a block diagram showing an example of the functional configuration of the game device 10D according to this embodiment. The illustrated game device 10D includes a control section 150D as a functional configuration realized by the CPU 15D executing a program stored in the storage section 14D. The control unit 150D includes an image acquisition unit 151D, a virtual space generation unit 152D, a user detection unit 153D, an object placement unit 154D, a display control unit 156D, a motion detection unit 157D, and an evaluation unit 158D. .

映像取得部151D(取得部の一例)は、フロントカメラ11DAにより撮像された実空間の撮像映像を取得する。例えば、映像取得部151Dは、図14に示すように、ダンスゲームをプレイするユーザUが含まれる撮像映像を取得する。 The image acquisition unit 151D (an example of an acquisition unit) acquires a captured image of the real space captured by the front camera 11DA. For example, the video acquisition unit 151D acquires a captured video including a user U playing a dance game, as shown in FIG.

仮想空間生成部152D(生成部の一例)は、映像取得部151Dが取得した撮像映像から実空間に対応する仮想空間を生成する。例えば、仮想空間生成部152Dは、取得した撮像映像から実空間に存在する物体(床や、壁など)の位置を検出し、検出した物体(床や、壁など)の少なくとも一部の位置情報を含む3次元座標空間のデータを仮想空間のデータとして生成する。一例として、仮想空間生成部152Dは、このダンスゲームのプレイ開始時点でのイニシャライズで、ユーザ検出部153Dにより撮像映像から検出されたユーザUに対応する基準位置K3が、仮想空間(XYZの3次元座標空間)の座標原点として定義して、仮想空間データを生成する。プレイ中は、基準位置K3(座標原点)及びX軸、Y軸及びZ軸は固定となる。仮想空間生成部152Dは、生成した仮想空間データを記憶部14Dに記憶させる。 The virtual space generation unit 152D (an example of the generation unit) generates a virtual space corresponding to the real space from the captured image acquired by the image acquisition unit 151D. For example, the virtual space generation unit 152D detects the position of an object (floor, wall, etc.) existing in the real space from the acquired captured image, and includes position information of at least part of the detected object (floor, wall, etc.). 3D coordinate space data is generated as virtual space data. As an example, the virtual space generation unit 152D determines that the reference position K3 corresponding to the user U detected from the captured image by the user detection unit 153D is the virtual space (XYZ three-dimensional coordinate space) to generate virtual space data. During play, the reference position K3 (coordinate origin) and the X, Y and Z axes are fixed. The virtual space generation unit 152D stores the generated virtual space data in the storage unit 14D.

ユーザ検出部153Dは、映像取得部151Dが取得した撮像映像からユーザUの映像を検出する。この検出は、撮像映像から検出された人物の映像がダンスゲームをプレイするユーザUの映像であることを認識する必要がある。ユーザUの映像であることを認識する方法としては、例えば、ユーザUの身体などに識別可能なマーカー(印、標識など)を付け、ユーザ検出部153Dは、このマーカーを撮像映像から検出することにより、ユーザUの映像であることを認識してもよい。また、ユーザUに対して特定の動作(例えば、右手を上げ下げするなど)を指示することにより、ユーザ検出部153Dは、その指示に応じた動作をする人物を撮像映像から検出することにより、ユーザUの映像であることを認識してもよい。 The user detection unit 153D detects the image of the user U from the captured image acquired by the image acquisition unit 151D. For this detection, it is necessary to recognize that the image of the person detected from the captured image is the image of the user U playing the dance game. As a method of recognizing the image of the user U, for example, an identifiable marker (mark, mark, etc.) is attached to the body of the user U, and the user detection unit 153D detects this marker from the captured image. Therefore, it may be recognized that the image is that of the user U. Further, by instructing the user U to perform a specific action (for example, raising and lowering the right hand), the user detection unit 153D detects a person performing the action according to the instruction from the captured image, thereby detecting the user U. You may recognize that it is an image of U.

オブジェクト配置部154D(配置部の一例)は、仮想空間内の、ユーザUに対応する基準位置K3に基づく位置に、指示オブジェクトをユーザUに視認可能に配置する。具体的には、オブジェクト配置部154Dは、床の位置に対応する仮想空間内の判定位置に判定オブジェクト(図14の判定オブジェクトHF、HB、HR、HL参照)を配置する。また、オブジェクト配置部154Dは、楽曲に合わせて予め設定されたタイミングで移動オブジェクト(図14の移動オブジェクトNF、NB、NR、NL参照)を仮想空間内の出現位置に配置し、上記判定オブジェクトへ向かって移動(配置する位置を変更)させる。オブジェクト配置部154Dは、指示オブジェクト(判定オブジェクト及び移動オブジェクト)を配置する際に、仮想空間内の配置する位置の座標情報に基づいて、記憶部14Dに記憶されている仮想空間データを更新する。 The object placement unit 154D (an example of the placement unit) places the pointing object at a position based on the reference position K3 corresponding to the user U in the virtual space so that the user U can see it. Specifically, the object placement unit 154D places determination objects (see determination objects HF, HB, HR, and HL in FIG. 14) at determination positions in the virtual space corresponding to the position of the floor. Further, the object arrangement unit 154D arranges moving objects (see moving objects NF, NB, NR, and NL in FIG. 14) at the appearance positions in the virtual space at preset timings according to the music, Move (change the placement position) toward it. The object placement unit 154D updates the virtual space data stored in the storage unit 14D based on the coordinate information of the placement position in the virtual space when placing the pointing object (the determination object and the moving object).

表示制御部156Dは、映像取得部151Dが取得した撮像映像とオブジェクト配置部154Dにより仮想空間内に配置された指示オブジェクトの映像とを合成した合成映像を生成する。そして、表示制御部156Dは、生成した合成映像を表示部12Dに表示させる。また、表示制御部156Dは、生成した合成映像を映像出力部18Dから出力する。例えば、表示制御部156Dは、生成した合成映像を左右反転させて表示部12Dに表示させる。同様に、表示制御部156Dは、生成した合成映像を左右反転させて映像出力部18Dから出力する。 The display control unit 156D generates a composite image by synthesizing the captured image acquired by the image acquisition unit 151D and the image of the pointing object placed in the virtual space by the object placement unit 154D. Then, the display control unit 156D causes the display unit 12D to display the generated composite image. Also, the display control unit 156D outputs the generated composite image from the image output unit 18D. For example, the display control unit 156D causes the display unit 12D to display the generated composite video in a horizontally reversed manner. Similarly, the display control unit 156D horizontally inverts the generated synthesized image and outputs it from the image output unit 18D.

動作検出部157D(検出部の一例)は、映像取得部151Dが取得した撮像映像からユーザUの身体の少なくとも一部の動作を検出する。例えば、動作検出部157Dは、ダンスゲームをプレイするユーザUの足の動作を検出する。動作検出部157Dは、撮像映像の各フレームから足の映像領域を抽出してトラッキングすることにより足の動作を検出する。 The motion detection unit 157D (an example of the detection unit) detects motion of at least part of the body of the user U from the captured image acquired by the image acquisition unit 151D. For example, the motion detection unit 157D detects motions of the user U's feet playing a dance game. The motion detection unit 157D detects the motion of the foot by extracting and tracking the image area of the foot from each frame of the captured image.

評価部158Dは、動作検出部157Dにより検出されたユーザUの身体の少なくとも一部の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。例えば、評価部158Dは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とを比較し、ユーザUの動作によるプレイを評価する。評価部158Dは、比較結果に基づいて両者のタイミングと位置が一致すると判定できる場合には得点(スコア)を加算し、一致しないと判定できる場合には得点を加算スコア)をしない。 The evaluation unit 158D evaluates the motion of at least part of the body of the user U detected by the motion detection unit 157D based on the timing and position based on the pointing object arranged in the virtual space. For example, the evaluation unit 158D compares the timing and position at which the moving object reaches the determination object with the timing and position of the motion of the user U's foot (the motion of stepping on the determination object), and evaluates the play by the motion of the user U. do. Based on the comparison result, the evaluation unit 158D adds the score when it can be determined that the timing and position of both match, and does not add the score when it can determine that they do not match.

なお、評価部158Dは、移動オブジェクトが判定オブジェクトへ到達したタイミングでのユーザUの足の位置を判定オブジェクトの位置と比較することで、ユーザUの動作によるプレイを評価してもよい。 Note that the evaluation unit 158D may evaluate the play by the user U's action by comparing the position of the user U's foot at the timing when the moving object reaches the determination object with the position of the determination object.

〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置10DのCPU15Dが実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図17は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
[Operation of pointing object placement processing]
Next, in the dance game processing executed by the CPU 15D of the game device 10D, a pointing object placement process for generating a virtual space and placing a pointing object will be described. FIG. 17 is a flowchart showing an example of pointing object placement processing according to the present embodiment.

まず、CPU15Dは、フロントカメラ11DAにより撮像された実空間の撮像映像を取得する(ステップS501)。例えば、CPU15は、図14に示すように、ダンスゲームをプレイするユーザUが含まれる撮像映像を取得する。 First, the CPU 15D acquires a captured image of the real space captured by the front camera 11DA (step S501). For example, as shown in FIG. 14, the CPU 15 acquires a captured image including a user U playing a dance game.

次に、CPU15Dは、ステップS501で取得した撮像映像から、ダンスゲームをプレイするユーザUの映像を検出する(ステップS503)。 Next, the CPU 15D detects an image of the user U playing the dance game from the captured image acquired in step S501 (step S503).

次に、CPU15Dは、ステップS501で取得した撮像映像から実空間に対応する仮想空間を生成する(ステップS505)。例えば、CPU15Dは、撮像映像から実空間に存在する物体(床や、壁など)の位置を検出し、検出した物体(床や、壁など)の少なくとも一部の位置情報を含む3次元座標空間のデータを仮想空間のデータとして生成する。一例として、CPU15Dは、ユーザ検出部153Dにより撮像映像から検出されたユーザUに対応する基準位置K3を座標原点とした仮想空間(3次元座標空間)内に、検出した物体(床や、壁など)の少なくとも一部の位置情報を含む仮想空間データを生成する。そして、CPU15Dは、生成した仮想空間データを記憶部14Dに記憶させる。 Next, the CPU 15D generates a virtual space corresponding to the real space from the captured image acquired in step S501 (step S505). For example, the CPU 15D detects the position of an object (floor, wall, etc.) existing in the real space from the captured image, and the data of the three-dimensional coordinate space containing at least part of the position information of the detected object (floor, wall, etc.). is generated as virtual space data. As an example, the CPU 15D stores a detected object (floor, wall, etc.) in a virtual space (three-dimensional coordinate space) whose coordinate origin is the reference position K3 corresponding to the user U detected from the captured image by the user detection unit 153D. generates virtual space data including at least part of the position information of Then, the CPU 15D stores the generated virtual space data in the storage section 14D.

続いて、CPU15Dは、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置K3に基づく判定位置に判定オブジェクト(図14の判定オブジェクトHF、HB、HR、HL参照)を配置する(ステップS507)。CPU15Dは、判定オブジェクトを配置する際に、記憶部14Dに記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。 Subsequently, the CPU 15D places the determination objects (the determination objects HF, HB, HR, HL) are placed (step S507). When arranging the judgment object, the CPU 15D adds the position information of the arranged judgment object to the virtual space data stored in the storage unit 14D.

また、CPU15Dは、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する(ステップS509)。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。CPU15Dは、ステップS509において出現トリガがあったと判定した場合(YES)、ステップS511の処理へ進む。 Further, when the play of the dance game is started, the CPU 15D determines whether or not there is a moving object appearance trigger (step S509). Appearance triggers are generated at timings preset according to music. When the CPU 15D determines in step S509 that there is an appearance trigger (YES), the process proceeds to step S511.

ステップS511において、CPU15Dは、仮想空間内の基準位置K3に基づく出現位置に移動オブジェクト(図14の移動オブジェクトNF、NB、NR、NLのいずれか一つまたは複数)を配置し、判定位置(各移動オブジェクトに対応する判定オブジェクトの位置)へ向かって移動を開始させる。CPU15Dは、移動オブジェクトを配置する際に、記憶部14Dに記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、CPU15Dは、配置した移動オブジェクトを移動させる際に、記憶部14Dに記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップS513の処理へ進む。一方、CPU15Dは、ステップS509において出現トリガが無いと判定した場合(NO)、ステップS511の処理を行わずに、ステップS513の処理へ進む。 In step S511, the CPU 15D arranges the moving object (one or more of the moving objects NF, NB, NR, and NL in FIG. 14) at the appearance position based on the reference position K3 in the virtual space, and determines the determination position (each position of the determination object corresponding to the moving object). When arranging the moving object, the CPU 15D adds the position information of the arranged moving object to the virtual space data stored in the storage unit 14D. Further, when moving the arranged moving object, the CPU 15D updates the position information of the moving object added to the virtual space data stored in the storage unit 14D. Then, the process proceeds to step S513. On the other hand, when the CPU 15D determines that there is no appearance trigger in step S509 (NO), the process proceeds to step S513 without performing the process of step S511.

ステップS513において、CPU15Dは、移動オブジェクトが判定位置に到達したか否かを判定する。CPU15Dは、判定位置に到達したと判定(YES)した移動オブジェクトを仮想空間から消去する(ステップS515)。CPU15Dは、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部14Dに記憶されている仮想空間データから削除する。 In step S513, the CPU 15D determines whether or not the moving object has reached the determination position. The CPU 15D erases from the virtual space the moving object that has reached the determination position (YES) (step S515). When deleting a moving object from the virtual space, the CPU 15D deletes the position information of the moving object to be deleted from the virtual space data stored in the storage unit 14D.

一方、CPU15Dは、判定位置に到達していないと判定(NO)した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる(ステップS517)。CPU15Dは、移動オブジェクトを移動させる際に、記憶部14Dに記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。 On the other hand, the CPU 15D continues to gradually move the moving object that has determined (NO) that it has not reached the determination position toward the determination position (step S517). When moving the moving object, the CPU 15D updates the position information of the moving object to be moved among the virtual space data stored in the storage unit 14D.

次に、CPU15Dは、ダンスゲームが終了したか否かを判定する(ステップS519)。例えば、CPU15Dは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15Dは、ダンスゲームが終了していないと判定した場合(NO)、ステップS509の処理に戻る。一方、CPU15Dは、ダンスゲームが終了したと判定した場合(YES)、指示オブジェクト配置処理を終了する。 Next, the CPU 15D determines whether or not the dance game has ended (step S519). For example, the CPU 15D determines that the dance game has ended when the music being played ends. When the CPU 15D determines that the dance game has not ended (NO), the process returns to step S509. On the other hand, when the CPU 15D determines that the dance game has ended (YES), it ends the pointing object placement process.

なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後(最初に出現した移動オブジェクトが判定位置に到達するまでの間)でもよい。 The order of placement of the determination object and the placement of the moving object that appears first may be the same, the determination object may be placed first, or conversely, the determination object may be placed after (the moving object that appears first may be placed first). until it reaches the judgment position).

〔指示オブジェクト表示処理の動作〕
次に、ゲーム装置10DのCPU15Dが実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。本実施形態では、指示オブジェクトは、ユーザUが撮像された撮像映像に指示オブジェクトが重畳された合成映像として表示される。
図18は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
[Operation of Pointing Object Display Processing]
Next, in the processing of the dance game executed by the CPU 15D of the game device 10D, the operation of pointing object display processing for displaying pointing objects arranged in the virtual space will be described. In this embodiment, the instruction object is displayed as a composite image in which the instruction object is superimposed on the imaged image of the user U.
FIG. 18 is a flowchart showing an example of pointing object display processing according to the present embodiment.

CPU15Dは、フロントカメラ11DAにより撮像された実空間の撮像映像を取得するとともに、仮想空間データを記憶部14Dから取得する(ステップS601)。 The CPU 15D acquires the captured image of the real space captured by the front camera 11DA, and also acquires the virtual space data from the storage unit 14D (step S601).

そして、CPU15Dは、取得した撮像映像と仮想空間データに含まれる指示オブジェクトとを合成した合成映像を生成し、生成した合成映像を表示部12Dに表示させる(ステップS603)。また、CPU15Dは、生成した合成映像を映像出力部18Dへ出力し、映像出力部18Dに接続されているモニタ30Dに表示させる(ステップS603)。これにより、ユーザUが撮像された撮像映像に指示オブジェクトが重畳された合成映像がリアルタイムに表示部12D及びモニタ30Dに表示される。なお、CPU15Dは、表示部12D及びモニタ30Dのいずれか一方に合成映像を表示させてもよい。 Then, the CPU 15D generates a synthesized image by synthesizing the obtained imaged image and the pointing object included in the virtual space data, and causes the display unit 12D to display the generated synthesized image (step S603). Further, the CPU 15D outputs the generated synthesized image to the image output unit 18D and displays it on the monitor 30D connected to the image output unit 18D (step S603). As a result, a composite image in which the instruction object is superimposed on the imaged image of the user U is displayed on the display unit 12D and the monitor 30D in real time. Note that the CPU 15D may display the composite image on either the display section 12D or the monitor 30D.

次に、CPU15Dは、ダンスゲームが終了したか否かを判定する(ステップS605)。例えば、CPU15Dは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15Dは、ダンスゲームが終了していないと判定した場合(NO)、ステップS601の処理に戻る。一方、CPU15Dは、ダンスゲームが終了したと判定した場合(YES)、指示オブジェクト表示処理を終了する。 Next, the CPU 15D determines whether or not the dance game has ended (step S605). For example, the CPU 15D determines that the dance game has ended when the music being played ends. When the CPU 15D determines that the dance game has not ended (NO), the process returns to step S601. On the other hand, when the CPU 15D determines that the dance game has ended (YES), it ends the pointing object display process.

〔プレイ評価処理の動作〕
次に、ゲーム装置10DのCPU15Dが実行するダンスゲームの処理において、ユーザUの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図19は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
[Operation of play evaluation process]
Next, in the dance game processing executed by the CPU 15D of the game device 10D, the operation of the play evaluation process for evaluating the play by the motion of at least part of the body of the user U will be described. FIG. 19 is a flowchart showing an example of play evaluation processing according to this embodiment.

CPU15Dは、フロントカメラ11DAにより撮像された実空間の撮像映像を取得する(ステップS701)。次に、CPU15Dは、ステップS701で取得した撮像映像からユーザUの身体の少なくとも一部の動作を検出する(ステップS703)。例えば、CPU15Dは、ダンスゲームをプレイするユーザUの足の動作を検出する。 The CPU 15D acquires a captured image of the real space captured by the front camera 11DA (step S701). Next, the CPU 15D detects motion of at least a part of the body of the user U from the captured image acquired in step S701 (step S703). For example, the CPU 15D detects the motion of the user U's feet playing the dance game.

そして、CPU15Dは、ステップS703において検出されたユーザUの身体の少なくとも一部(例えば、足)の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する(ステップS705)。例えば、CPU15Dは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とを比較し、ユーザUの足の動作によるプレイを評価する。 Then, the CPU 15D evaluates the movement of at least part of the body (for example, foot) of the user U detected in step S703 based on the timing and position based on the pointing object placed in the virtual space (step S705). ). For example, the CPU 15D compares the timing and position at which the moving object reaches the determination object with the timing and position of the motion of the user U's foot (motion of stepping on the determination object), and evaluates the play by the motion of the user U's foot. do.

また、CPU15Dは、ステップS705における評価結果に基づいて、ゲームの得点(スコア)を更新する(ステップS707)。例えば、CPU15Dは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザUの足の動作(判定オブジェクトを踏む動作)のタイミングと位置とが一致すると判定できる場合には得点(スコア)を加算し、一致しないと判定できる場合には得点(スコア)を加算しない。 Also, the CPU 15D updates the score of the game based on the evaluation result in step S705 (step S707). For example, the CPU 15D adds a score if it can determine that the timing and position at which the moving object reaches the determination object and the timing and position of the motion of the user U's foot (stepping motion on the determination object) match. However, if it can be determined that they do not match, the score is not added.

次に、CPU15Dは、ダンスゲームが終了したか否かを判定する(ステップS709)。例えば、CPU15Dは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。CPU15Dは、ダンスゲームが終了していないと判定した場合(NO)、ステップS701の処理に戻る。一方、CPU15Dは、ダンスゲームが終了したと判定した場合(YES)、プレイ評価処理を終了する。 Next, the CPU 15D determines whether or not the dance game has ended (step S709). For example, the CPU 15D determines that the dance game has ended when the music being played ends. When the CPU 15D determines that the dance game has not ended (NO), the process returns to step S701. On the other hand, when the CPU 15D determines that the dance game has ended (YES), it ends the play evaluation process.

〔第4の実施形態のまとめ〕
以上説明したように、本実施形態に係るゲーム装置10Dは、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置10Dは、生成した仮想空間内の、ユーザに対応する基準位置K3に基づく位置に、ユーザUの動作を指示する指示オブジェクトをユーザUに視認可能に配置し、撮像映像と仮想空間内に配置された指示オブジェクトの映像とを合成した合成映像を表示部12D(表示部の一例)に表示させる。なお、ゲーム装置10Dは、上記合成映像をモニタ30D(表示部の一例)に表示させてもよい。また、ゲーム装置10Dは、取得した撮像映像からユーザUの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
[Summary of the fourth embodiment]
As described above, the game device 10D according to the present embodiment obtains a captured image of the real space and generates a virtual space corresponding to the real space from the obtained captured image. Then, the game device 10D arranges an instruction object that instructs the action of the user U at a position based on the reference position K3 corresponding to the user in the generated virtual space so that the user U can see the captured image and the virtual space. A synthesized image obtained by synthesizing the image of the pointing object placed inside is displayed on the display unit 12D (an example of the display unit). Note that the game device 10D may display the composite image on the monitor 30D (an example of the display unit). In addition, the game device 10D detects the movement of at least a part of the body of the user U from the acquired captured image, and evaluates the detected movement based on the timing and position of the pointing object arranged in the virtual space. do.

これにより、ゲーム装置10Dは、ユーザUの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザUの動作を評価するゲーム処理において、ユーザUが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にゲーム装置10D(例えば、スマートフォン)または外部接続されたモニタ30D(例えば、家庭用テレビ)に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 As a result, the game device 10D performs synthesis in which the instruction object is combined with the image of the user U in the game processing for evaluating the action of the user U based on the timing and position of the instruction object that instructs the action of the user U. In order to visually display the video on the game device 10D (for example, a smartphone) or an externally connected monitor 30D (for example, a home TV), the user operates to enable more intuitive play with a simple configuration. I can guide you on what to do.

例えば、ゲーム装置10Dは、上記合成映像を左右反転させて表示部12Dまたはモニタ30Dに表示させる。 For example, the game device 10D horizontally reverses the composite image and displays it on the display unit 12D or the monitor 30D.

これにより、ゲーム装置10Dは、ユーザUが鏡を見ているのと同様の感覚で表示部12Dまたはモニタ30Dを見ながらプレイ可能なようにすることができる。 Accordingly, the game device 10D can be played while looking at the display unit 12D or the monitor 30D as if the user U were looking at a mirror.

また、ゲーム装置10は、仮想空間内の所定の位置(出現位置)に配置した指示オブジェクト(例えば、移動オブジェクト)を所定の判定位置(例えば、判定オブジェクトの位置)へ向かって移動させる。そして、ゲーム装置10は、仮想空間内で移動する指示オブジェクト(例えば、移動オブジェクト)が判定位置に到達したタイミングと判定位置に基づいて、撮像映像から検出されたユーザUの身体の少なくとも一部(例えば、足)の動作を評価する。 In addition, the game device 10 moves the pointing object (eg, moving object) arranged at a predetermined position (appearance position) in the virtual space toward a predetermined determination position (eg, position of the determination object). Then, the game device 10 detects at least a part of the body of the user U (the For example, to evaluate the movement of the foot).

これにより、ゲーム装置10Dは、ユーザUが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。 Thereby, the game device 10D can evaluate whether or not the user U has performed the action as instructed using the captured image.

[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。
[Modification]
Although the embodiments of the present invention have been described above in detail with reference to the drawings, the specific configuration is not limited to the above-described embodiments, and includes design and the like within the scope of the gist of the present invention. For example, the configurations described in the above embodiments can be combined arbitrarily.

なお、上述の各実施形態において説明した指示オブジェクトは一例であって、ユーザUに動作を指示するものであれば、様々な態様とすることができる。例えば、指示オブジェクトの種類(態様)によってユーザUに指示する動作の内容が異なる。例えば、移動オブジェクトの厚み(Z軸方向の幅)を変えることで、移動オブジェクトの最下部が判定オブジェクトに到達してから移動オブジェクトの最上部が判定オブジェクトに到達するまでの時間が変化することから、判定オブジェクトを足で踏み続ける時間を移動オブジェクトの厚みで指示するようにしてもよい。移動オブジェクトは、移動先の判定オブジェクトの鉛直方向に出現するとは限らず、鉛直方向から外れた位置から出現してもよい。また、移動オブジェクトの移動方向及び判定オブジェクトの位置も任意に設定することができる。 It should be noted that the instruction object described in each of the above-described embodiments is an example, and various modes are possible as long as the instruction object instructs the user U to perform an action. For example, the content of the action to be instructed to the user U differs depending on the type (mode) of the instruction object. For example, by changing the thickness (width in the Z-axis direction) of the moving object, the time from when the bottom of the moving object reaches the determination object to when the top of the moving object reaches the determination object changes. Alternatively, the thickness of the moving object may be used to indicate how long the determination object should continue to be stepped on. The moving object does not necessarily appear in the vertical direction of the determination object that is the destination of the movement, and may appear in a position away from the vertical direction. Also, the moving direction of the moving object and the position of the determination object can be arbitrarily set.

また、判定位置に判定オブジェクトが表示されなくてもよい。例えば、床面の位置が判定位置である場合、移動オブジェクトが床面に到達したタイミングと位置が、ユーザUの動作を指示する指示内容となる。例えば、移動オブジェクトが鉛直方向ではなく斜め方向(例えば、鉛直方向に対して45°傾いた方向)に一定の厚み(例えば、ユーザUの身長と同程度の長さ)を有する移動オブジェクトを、鉛直方向に床面(判定位置)へ向けて移動させた場合、移動オブジェクトの最下部が床面に到達したときのXY平面における位置から、移動オブジェクトの最上部が床面に到達したときのXY平面における位置まで、時間の経過とともに移動オブジェクトが床面に到達する位置が変化する。よって、斜め方向に一定の厚みを有する移動オブジェクトを用いて、足で踏む位置を移動させる指示を行ってもよい。 Also, the determination object may not be displayed at the determination position. For example, when the position of the floor surface is the determination position, the timing and position at which the moving object reaches the floor surface are the instruction contents for instructing the user U's action. For example, a moving object having a certain thickness (e.g., a length similar to the height of the user U) not in the vertical direction but in an oblique direction (e.g., a direction tilted 45° with respect to the vertical direction) direction toward the floor (judgment position), from the position on the XY plane when the bottom of the moving object reaches the floor to the XY plane when the top of the moving object reaches the floor , the position at which the moving object reaches the floor changes over time. Therefore, a moving object having a certain thickness in an oblique direction may be used to instruct to move the stepping position.

また、判定位置は、床面に限定されるものではなく、例えば床面から天井の間の任意の位置に設定することができる。なお、判定位置とする高さは、ユーザUの身長を検出して、身長に応じて設定されてもよい。また、判定位置を設けずに、表示される移動オブジェクト自体がユーザUの動作を指示するものであってもよい。例えば、移動オブジェクトが出現したときの位置または移動しているときの位置とそのタイミングとが、ユーザUの動作を指示するものであってもよい。例えば、移動オブジェクトの移動の軌跡でユーザUの動作の軌跡(例えば、手の動作の軌跡)を指示してもよい。 Also, the determination position is not limited to the floor surface, and can be set to any position between the floor surface and the ceiling, for example. Note that the height of the determination position may be set according to the height of the user U by detecting the height. Alternatively, the displayed moving object itself may indicate the action of the user U without providing the determination position. For example, the position at which the moving object appears or the position at which the moving object is moving and its timing may indicate the action of the user U. For example, the movement trajectory of the moving object may indicate the movement trajectory of the user U (for example, the hand movement trajectory).

なお、第1から第2の実施形態で説明した透過型HMDとして構成されるゲーム装置10及びゲーム装置10Aに撮像部11が備えられている構成を説明したが、撮像部11は、ゲーム装置10及びゲーム装置10Aとは別の装置として、ダンスゲームをプレイするユーザUを撮像可能な別の場所に設置されてもよい。この場合、別の場所に設置された撮像部11を含む装置は、ゲーム装置10及びゲーム装置10Aと有線又は無線で通信接続される。また、第3の実施形態で説明したゲーム装置10CとHMD20Cとを備えるゲームシステム1Cでは、上記撮像部11に対応する構成である撮像部21CがHMD20Cに備えられている構成を説明したが、撮像部21Cも同様に、HMD20Cとは別の装置として、ダンスゲームをプレイするユーザUを撮像可能な別の場所に設置されてもよい。この場合、別の場所に設置された撮像部21Cを含む装置は、HMD20Cまたはゲーム装置10Cと有線又は無線で通信接続される。また、撮像部21Cは、ゲーム装置10Cに備えられてもよい。 Note that although the game device 10 and the game device 10A configured as the transmissive HMD described in the first and second embodiments are provided with the imaging unit 11, the imaging unit 11 is And, as a device different from the game device 10A, it may be installed in another place where the image of the user U playing the dance game can be captured. In this case, a device including the imaging unit 11 installed at another location is connected to the game device 10 and the game device 10A for wired or wireless communication. Further, in the game system 1C including the game device 10C and the HMD 20C described in the third embodiment, the configuration in which the HMD 20C is provided with the imaging unit 21C corresponding to the imaging unit 11 has been described. Similarly, the unit 21C may be installed in another place where it is possible to capture an image of the user U playing the dance game as a device separate from the HMD 20C. In this case, a device including the imaging unit 21C installed at another location is connected to the HMD 20C or the game device 10C for wired or wireless communication. Also, the imaging unit 21C may be provided in the game device 10C.

また、第4の実施形態で説明したゲーム装置10Dでは、撮像部として備えられているフロントカメラ11DAを用いて、ダンスゲームをプレイするユーザUを撮像する構成を説明したが、ゲーム装置10Dとは別の場所に設置された撮像部を含む装置を用いて、ユーザUを撮像する構成としてもよい。この場合、別の場所に設置された撮像部を含む装置は、ゲーム装置10Dと有線又は無線で通信接続される。 Further, in the game device 10D described in the fourth embodiment, the front camera 11DA provided as an imaging unit is used to capture an image of the user U playing the dance game. A configuration in which an image of the user U is captured using a device including an imaging unit installed at another location may be employed. In this case, a device including an imaging unit installed at another location is connected to the game device 10D by wire or wirelessly.

また、上述の制御部150(150A、150C、150D)の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部150(150A、150C、150D)としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 In addition, a program for realizing the functions of the control units 150 (150A, 150C, 150D) described above is recorded in a computer-readable recording medium, and the program recorded in this recording medium is read and executed by the computer system. By doing so, processing as the control unit 150 (150A, 150C, 150D) may be performed. Here, "loading and executing the program recorded on the recording medium into the computer system" includes installing the program in the computer system. The "computer system" here includes hardware such as an OS and peripheral devices. A "computer system" may also include a plurality of computer devices connected via a network including communication lines such as the Internet, WAN, LAN, and dedicated lines. The term "computer-readable recording medium" refers to portable media such as flexible discs, magneto-optical discs, ROMs and CD-ROMs, and storage devices such as hard discs incorporated in computer systems. Thus, the recording medium storing the program may be a non-transitory recording medium such as a CD-ROM. Recording media also include internal or external recording media accessible from the distribution server for distributing the program. The program code stored in the recording medium of the distribution server may be different from the program code in a format executable by the terminal device. That is, as long as it can be downloaded from the distribution server and installed in a form that can be executed on the terminal device, the form stored in the distribution server does not matter. It should be noted that the program may be divided into a plurality of programs, and the divided programs may be downloaded at different timings and then integrated in the terminal device, or the distribution servers that distribute the divided programs may be different. In addition, "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that acts as a server or client when the program is transmitted via a network, and retains the program for a certain period of time. It shall also include things. Further, the program may be for realizing part of the functions described above. Furthermore, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

また、上述の制御部150(150A、150C、150D)の一部または全部の機能を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。 Also, some or all of the functions of the control units 150 (150A, 150C, 150D) described above may be implemented as an integrated circuit such as an LSI (Large Scale Integration). Each of the functions described above may be individually processorized, or part or all of them may be integrated and processorized. Also, the method of circuit integration is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. In addition, when an integration circuit technology that replaces LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

また、上記実施形態では、ゲーム装置10(10A,10C、10D)が備える記憶部14(14C、14D)に記憶されるデータの少なくとも一部は、外部接続される記憶装置に記憶されてもよい。外部接続される記憶装置は、ゲーム装置10(10A,10C、10D)と有線又は無線で接続される記憶装置である。例えば、外部接続される記憶装置は、USB(Universal Serial Bus)や、無線LAN(Local Area Network)、有線LANなどで接続される記憶装置でもよいし、インターネットなどを介して接続される記憶装置(データサーバ)であってもよい。このインターネットなどを介して接続される記憶装置(データサーバ)は、クラウドコンピューティングを用いて利用されるものであってもよい。 Further, in the above embodiment, at least part of the data stored in the storage units 14 (14C, 14D) included in the game devices 10 (10A, 10C, 10D) may be stored in an externally connected storage device. . The externally connected storage device is a storage device that is wired or wirelessly connected to the game device 10 (10A, 10C, 10D). For example, the externally connected storage device may be a storage device connected via a USB (Universal Serial Bus), a wireless LAN (Local Area Network), a wired LAN, or the like, or may be a storage device connected via the Internet ( data server). A storage device (data server) connected via the Internet or the like may be used using cloud computing.

また、制御部150(150A、150C、150D)が備える各部の少なくとも一部に相当する構成は、インターネットなどを介して接続されるサーバが備えてもよい。例えば、ダンスゲームなどのゲームの処理がサーバで実行される、所謂クラウドゲームに上記実施形態を適用することもできる。 A server connected via the Internet or the like may have a configuration corresponding to at least a part of each unit included in the control unit 150 (150A, 150C, 150D). For example, the above embodiment can be applied to a so-called cloud game in which game processing such as a dance game is executed by a server.

なお、上記実施形態では、音楽ゲームの一例であるダンスゲームを例に説明したが、ダンスゲームに限られるものではない。例えば、楽曲に合わせて出現するオブジェクトに対する操作を行う音楽ゲーム全般に適用することができる。また、音楽ゲーム以外にも、所定のタイミングで出現するオブジェクトに対して、パンチやキック、払い落とす、或いは武器を使用して叩くなどの操作を行うようなゲームにも適用することができる。 In the above embodiment, a dance game, which is an example of a music game, has been described as an example, but the present invention is not limited to dance games. For example, it can be applied to general music games in which objects appearing in time with music are operated. In addition to music games, the present invention can also be applied to games in which operations such as punching, kicking, brushing off, or hitting with a weapon are performed on objects that appear at predetermined timings.

[付記]
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
[Appendix]
From the above description, the present invention can be grasped, for example, as follows. In order to facilitate understanding of the present invention, reference numerals in the accompanying drawings are added in parentheses for convenience, but the present invention is not limited to the illustrated embodiments.

(付記A1)本発明の一態様に係るゲームプログラムは、ユーザ(U)の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置(10、10A、20C)を用いてプレイ可能なゲームの処理を実行するコンピュータに、前記実空間を撮像した撮像映像を取得するステップ(S101、S301、S401)と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ(S103、S405)と、前記仮想空間内の、前記ユーザに対応する基準位置(K1、K2)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ(S105、S109、S407、S411)と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップ(S203)と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ(S303)と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ(S305)と、を実行させる。 (Appendix A1) A game program according to one aspect of the present invention is a video output device (10 , 10A, 20C) to obtain a captured image of the real space (S101, S301, S401), and corresponding to the real space from the captured image. a step of generating a virtual space (S103, S405) to generate a virtual space for performing a motion of the user; arranging so as to be visible (S105, S109, S407, S411); displaying the virtual space in which at least the pointing object is arranged in association with the real space (S203); detecting motion of at least part of the user's body (S303); and evaluating the detected motion based on timing and position based on the pointing object placed in the virtual space (S305). and let it run.

付記A1の構成によれば、ゲームプログラムは、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、HMDなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of appendix A1, the game program wears a video output device such as an HMD on the head in the game processing for evaluating the user's motion based on the timing and position based on the instruction object that instructs the user's motion. Accordingly, since the pointing object is associated with the real space and can be visually recognized by the user, it is possible to guide the user to the action to be performed with a simple configuration so that the user can play more intuitively.

(付記A2)また、本発明の一態様は、付記A1に記載のゲームプログラムであって、前記基準位置は、前記映像出力装置(10、10A、20C)を装着している前記ユーザ(U)の位置に対応する前記仮想空間内における第1基準位置(K1)を含み、前記第1基準位置は、前記仮想空間内の前記映像出力装置の位置に基づく。 (Appendix A2) Further, one aspect of the present invention is the game program according to Appendix A1, wherein the reference position is the user (U) wearing the video output device (10, 10A, 20C). a first reference position (K1) in the virtual space corresponding to the position of , wherein the first reference position is based on the position of the video output device in the virtual space.

付記A2の構成によれば、ゲームプログラムは、ゲームをプレイするユーザの位置を基準として、実空間に対応付けて指示オブジェクトを表示できるため、ユーザに対する動作の指示にリアリティを感じさせることができ、より直感的なプレイが可能となる。 According to the configuration of appendix A2, the game program can display the instruction object in association with the real space based on the position of the user playing the game. A more intuitive play is possible.

(付記A3)また、本発明の一態様は、付記A2に記載のゲームプログラムであって、前記配置するステップ(S105、S109、S407、S411)において、前記映像出力装置(10、10A、20C)を装着している前記ユーザ(U)の向きに応じて、前記指示オブジェクトを配置する位置を前記仮想空間内の一部に制限する。 (Appendix A3) Further, one aspect of the present invention is the game program according to Appendix A2, wherein in the disposing step (S105, S109, S407, S411), the video output device (10, 10A, 20C) according to the orientation of the user (U) who is wearing the .

付記A3の構成によれば、ゲームプログラムは、ユーザの視野の範囲外(例えば、後方)に対しては動作すべき指示を行わないため、ユーザはプレイ中に視野の範囲外(例えば、後方)を気にせずプレイすることができ、プレイの難易度が高くなりすぎないようにすることができる。 According to the configuration of appendix A3, the game program does not issue an instruction to move outside the range of the user's field of vision (for example, behind). You can play without worrying about , and you can prevent the difficulty of play from becoming too high.

(付記A4)また、本発明の一態様は、付記A1に記載のゲームプログラムであって、前記コンピュータに、前記撮像映像から前記ユーザ(U)に対応する像(UK)を検出するステップ(S403)、をさらに実行させ、前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第2基準位置(K2)を含む。 (Appendix A4) Further, one aspect of the present invention is the game program according to Appendix A1, wherein the computer detects an image (UK) corresponding to the user (U) from the captured image (S403). ), wherein the reference position includes a second reference position (K2) in the virtual space of the detected image corresponding to the user.

付記A4の構成によれば、ゲームプログラムは、HMDなどの映像出力装置を頭部に装着することで、ユーザの動作を指示する指示オブジェクトを、例えば鏡などに映っているユーザの虚像(ユーザ像UK)の周囲に表示させることができる、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲームプログラムは、指示オブジェクトを配置する位置を仮想空間内の一部に制限しなくともユーザ像UKの周囲(例えば、前後左右)に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザに指示する動作の種類を多様化することができる。また、ゲームプログラムは、ユーザが下方に存在する自身の足と指示オブジェクトを見なくともユーザの動作に対する評価が可能となるため、踊りにくくならないようにすることができる。 According to the configuration of appendix A4, by wearing a video output device such as an HMD on the head, the game program generates a virtual image of the user (user image UK) can be displayed around the player, and with a simple configuration, it is possible to guide the user on what actions should be taken so that more intuitive play is possible. For example, the game program can simultaneously overlook and visually recognize the pointing objects displayed around the user image UK (for example, front, back, left, and right) without restricting the positions where the pointing objects are arranged to a part of the virtual space. Therefore, it is possible to diversify the types of actions to be instructed to the user during play. In addition, the game program makes it possible for the user to evaluate the motion of the user without looking at the user's own feet and the pointing object located below, so that it is possible to prevent difficulty in dancing.

(付記A5)また、本発明の一態様は、付記A2または付記A3に記載のゲームプログラムであって、前記コンピュータに、前記撮像映像から前記ユーザ(U)に対応する(UK)を検出するステップ(S403)、をさらに実行させ、前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第2基準位置(K2)を含む。 (Appendix A5) Further, one aspect of the present invention is the game program according to Appendix A2 or Appendix A3, wherein the computer detects (UK) corresponding to the user (U) from the captured image. (S403), wherein the reference position includes a second reference position (K2) in the virtual space of the detected image corresponding to the user.

付記A5の構成によれば、ゲームプログラムは、HMDなどの映像出力装置を頭部に装着することで、ユーザの動作を指示する指示オブジェクトを、例えば鏡などに映っているユーザの虚像(ユーザ像UK)の周囲に表示させることができる、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲームプログラムは、指示オブジェクトを配置する位置を仮想空間内の一部に制限しなくともユーザ像UKの周囲(例えば、前後左右)に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザに指示する動作の種類を多様化することができる。また、ゲームプログラムは、ユーザが下方に存在する自身の足と指示オブジェクトを見なくともユーザの動作に対する評価が可能となるため、踊りにくくならないようにすることができる。また、ゲームプログラムは、ゲームをプレイするユーザの周囲と、例えば鏡などに映っているユーザの虚像の周囲とのそれぞれに指示オブジェクトを表示させることで、ユーザがそれぞれの指示オブジェクトのうちプレイしやすい方を任意に選択しながらプレイできるようにすることができる。 According to the configuration of appendix A5, by wearing a video output device such as an HMD on the head, the game program generates a virtual image of the user (user image UK) can be displayed around the player, and with a simple configuration, it is possible to guide the user on what actions should be taken so that more intuitive play is possible. For example, the game program can simultaneously overlook and visually recognize the pointing objects displayed around the user image UK (for example, front, back, left, and right) without restricting the positions where the pointing objects are arranged to a part of the virtual space. Therefore, it is possible to diversify the types of actions to be instructed to the user during play. In addition, the game program makes it possible for the user to evaluate the motion of the user without looking at the user's own feet and the pointing object located below, so that it is possible to prevent difficulty in dancing. In addition, the game program displays instruction objects around the user playing the game and around a virtual image of the user reflected in a mirror, for example, so that the user can easily play the instruction objects. It is possible to make it possible to play while arbitrarily selecting one of them.

(付記A6)また、本発明の一態様は、付記A5に記載のゲームプログラムであって、前記配置するステップ(S105、S109、S407、S411)において、前記仮想空間内の前記第2基準位置(K2)に基づく位置に前記指示オブジェクトを配置する際に、前記第1基準位置(K1)に基づく位置に配置する前記指示オブジェクトの視認度を低減する、または前記第1基準位置(K1)に基づく位置に前記指示オブジェクトを配置しない。 (Appendix A6) Further, one aspect of the present invention is the game program according to Appendix A5, wherein in the placing step (S105, S109, S407, S411), the second reference position ( K2), reducing visibility of the pointing object placed at the position based on the first reference position (K1), or based on the first reference position (K1) Do not place the pointing object at the position.

付記A6の構成によれば、ゲームプログラムは、第1基準位置(例えば、基準位置K1)に基づく位置(ユーザUの周囲)に表示される指示オブジェクトによって、第2基準位置(例えば、基準位置K2)に基づく位置(鏡MRに映ったユーザの虚像の周囲)に表示された指示オブジェクトが隠れてしまわないようにすることができるため、指示オブジェクトの視認性を向上させることができる。 According to the configuration of Appendix A6, the game program causes the pointing object displayed at the position (around the user U) based on the first reference position (for example, the reference position K1) to move to the second reference position (for example, the reference position K2 ) (surrounding the virtual image of the user reflected in the mirror MR), the visibility of the pointing object can be improved.

(付記A7)また、本発明の一態様は、付記A4から付記A6のいずれか一に記載のゲームプログラムであって、前記検出された前記ユーザ(U)に対応する像(UK)は、対面に存在する鏡(MR)に映った前記ユーザの像であり、前記配置するステップ(S105、S109、S407、S411)において、前記仮想空間内の前記第2基準位置(K2)に基づく位置に前記指示オブジェクトを配置する際に、前記第2基準位置に対する前後の向きを反転させる。 (Appendix A7) Further, one aspect of the present invention is the game program according to any one of appendices A4 to A6, wherein the detected image (UK) corresponding to the user (U) is a is an image of the user reflected in a mirror (MR) present in the virtual space, and in the step of arranging (S105, S109, S407, S411), at a position based on the second reference position (K2) in the virtual space. When arranging the pointing object, the forward and backward direction with respect to the second reference position is reversed.

付記A7の構成によれば、ゲームプログラムは、鏡に映っているユーザの虚像(ユーザ像UK)の向きに対応して指示オブジェクトを表示できるため、ユーザが鏡を見ながら直感的なプレイが可能なように、ユーザが動作すべき内容を案内することができる。 According to the configuration of appendix A7, the game program can display the pointing object corresponding to the orientation of the user's virtual image (user image UK) reflected in the mirror, so the user can intuitively play while looking at the mirror. In this way, the user can be guided as to what should be done.

(付記A8)また、本発明の一態様は、付記A1から付記A7のいずれか一に記載のゲームプログラムであって、前記配置するステップ(S105、S109、S407、S411)において、前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、前記評価するステップ(S305)において、前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する。 (Supplementary Note A8) Further, one aspect of the present invention is the game program according to any one of Supplementary Notes A1 to A7, wherein in the placing step (S105, S109, S407, S411), The pointing object placed at the predetermined position is moved toward the predetermined determination position, and in the evaluating step (S305), the timing at which the pointing object moving in the virtual space reaches the determination position and the Evaluate the detected motion based on the determined position.

付記A8の構成によれば、ゲームプログラムは、ユーザが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。 According to the configuration of appendix A8, the game program can use the captured image to evaluate whether or not the user has performed the action as instructed.

(付記A9)また、本発明の一態様は、付記A1から付記A8のいずれか一に記載のゲームプログラムであって、前記指示オブジェクトの種類によって前記ユーザ(U)に指示する動作の内容が異なる。 (Appendix A9) Further, one aspect of the present invention is the game program according to any one of appendices A1 to A8, wherein the action to be instructed to the user (U) differs depending on the type of the pointing object. .

付記A9の構成によれば、ゲームプログラムは、プレイでユーザが動作する内容を多様化することができ、興趣性の高いゲームを提供できる。 According to the configuration of appendix A9, the game program can diversify the contents of the user's actions during play, and can provide a highly entertaining game.

(付記A10)また、本発明の一態様に係るゲーム処理方法は、ユーザ(U)の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置(10、10A、20C)を用いてプレイ可能なゲームの処理を実行するコンピュータにより実行されるゲーム処理方法であって、前記実空間を撮像した撮像映像を取得するステップ(S101、S301、S401)と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ(S103、S405)と、前記仮想空間内の、前記ユーザに対応する基準位置(K1、K2)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ(S105、S109、S407、S411)と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップ(S203)と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ(S303)と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ(S305)と、を含む。 (Appendix A10) In addition, the game processing method according to one aspect of the present invention outputs an image that can be visually recognized by the user (U) and outputs an image that allows the real space to be visually recognized by the user (U) wearing the game processing method. A game processing method executed by a computer that executes processing of a game that can be played using a device (10, 10A, 20C), the method comprising steps of obtaining a captured image of the real space (S101, S301, S401 ), a step of generating a virtual space corresponding to the real space from the captured image (S103, S405); arranging an instruction object that instructs a user's action so that the user can see it (S105, S109, S407, S411); and displaying at least the virtual space in which the instruction object is arranged in association with the real space. detecting motion of at least a part of the user's body from the captured image (S303); and determining the detected motion based on the pointing object placed in the virtual space. Evaluating (S305) based on timing and location.

付記A10の構成によれば、ゲーム処理方法は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、HMDなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of appendix A10, the game processing method evaluates the user's motion based on the timing and position of an instruction object that instructs the user's motion, in which a video output device such as an HMD is mounted on the head. By doing so, since the pointing object is associated with the real space and can be visually recognized by the user, it is possible with a simple configuration to guide the user as to what action should be performed so that the user can play more intuitively.

(付記A11)また、本発明の一態様に係るゲーム装置(10、10A、10C)は、ユーザ(U)の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置(10、10A、20C)を用いてプレイ可能なゲームの処理を実行するゲーム装置であって、前記実空間を撮像した撮像映像を取得する取得部(151、S101、S301、S401)と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部(152、S103、S405)と、前記生成部により生成された前記仮想空間内の、前記ユーザに対応する基準位置(K1、K2)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部(154、S105、S109、S407、S411)と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させる表示制御部(156、S203)と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部(157、S303)と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部(158、S305)と、を備える。 (Appendix A11) Further, the game device (10, 10A, 10C) according to one aspect of the present invention outputs an image that can be visually recognized by the user (U) by being worn on the head of the user (U) and A game device that executes processing of a playable game using a video output device (10, 10A, 20C) that can visually recognize the real space, and an acquisition unit (151, S101, S301, S401); a generation unit (152, S103, S405) for generating a virtual space corresponding to the real space from the captured image acquired by the acquisition unit; an arrangement unit (154, S105, S109, S407, S411) for arranging an instruction object for instructing an action of the user at a position based on the reference position (K1, K2) corresponding to the user so that the user can see the instruction object. a display control unit (156, S203) for displaying the virtual space in which at least the pointing object is arranged in association with the real space; A detection unit (157, S303) that detects at least part of the motion, and an evaluation unit that evaluates the motion detected by the detection unit based on the timing and position based on the pointing object placed in the virtual space. (158, S305).

付記A11の構成によれば、ゲーム装置は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、HMDなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of appendix A11, the game device wears a video output device such as an HMD on the head in game processing for evaluating the user's motion based on the timing and position based on the instruction object that instructs the user's motion. Accordingly, since the pointing object is associated with the real space and can be visually recognized by the user, it is possible to guide the user to the action to be performed with a simple configuration so that the user can play more intuitively.

(付記B1)また、本発明の一態様に係るゲームプログラムは、コンピュータに、実空間を撮像した撮像映像を取得するステップ(S501、S701)と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ(S505)と、前記仮想空間内の、ユーザ(U)に対応する基準位置(K3)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ(S507、S511)と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部(12D、30D)に表示させるステップ(S603)と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ(S703)と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ(S705)と、を実行させる。 (Appendix B1) Further, the game program according to one aspect of the present invention provides a computer with a step of obtaining a captured image of a real space (S501, S701), and a virtual space corresponding to the real space from the captured image. and placing an instruction object for instructing the user's action at a position based on the reference position (K3) corresponding to the user (U) in the virtual space so that the user can see the instruction object (S505). step (S507, S511); displaying a synthesized image obtained by synthesizing the imaged image and the image of the pointing object placed in the virtual space on the display unit (12D, 30D) (S603); detecting motion of at least part of the user's body from the video (S703); and evaluating the detected motion based on timing and position based on the pointing object placed in the virtual space. (S705) and are executed.

付記B1の構成によれば、ゲームプログラムは、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of Appendix B1, the game program synthesizes the instruction object with the image captured by the user in the game processing for evaluating the user's action based on the timing and position based on the instruction object that instructs the user's action. Since the synthesized video is visually displayed on the display unit of a smartphone or a home-use TV, it is possible to guide the user to what actions should be performed with a simple configuration so that more intuitive play is possible.

(付記B2)また、本発明の一態様は、付記B1に記載のゲームプログラムであって、前記表示させるステップ(S603)において、前記合成映像を左右反転させて前記表示部(12D、30D)に表示させる。 (Appendix B2) Further, one aspect of the present invention is the game program according to Appendix B1, wherein in the displaying step (S603), the synthesized image is horizontally reversed and displayed on the display unit (12D, 30D). display.

付記B2の構成によれば、ゲームプログラムは、ユーザが鏡を見ているのと同様の感覚で表示部(モニタ)を見ながらプレイ可能なようにすることができる。 According to the configuration of appendix B2, the game program can be played while looking at the display section (monitor) as if the user were looking at a mirror.

(付記B3)また、本発明の一態様は、付記B1または付記B2に記載のゲームプログラムであって、前記配置するステップ(S507、S511)において、前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、前記評価するステップ(S705)において、前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する。 (Appendix B3) Further, one aspect of the present invention is the game program according to Appendix B1 or Appendix B2, wherein in the step of arranging (S507, S511), the game program is arranged at a predetermined position in the virtual space. The pointing object is moved toward a predetermined determination position, and in the evaluating step (S705), the detection is performed based on the timing when the pointing object moving in the virtual space reaches the determination position and the determination position. Evaluate the action taken.

付記B3の構成によれば、ゲームプログラムは、ユーザが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。 According to the configuration of Appendix B3, the game program can use the captured image to evaluate whether or not the user has performed the action as instructed.

(付記B4)また、本発明の一態様は、付記B1から付記B3のいずれか一に記載のゲームプログラムであって、前記指示オブジェクトの種類によって前記ユーザ(U)に指示する動作の内容が異なる。 (Appendix B4) Further, one aspect of the present invention is the game program according to any one of appendices B1 to B3, wherein the content of the action to be instructed to the user (U) differs depending on the type of the instruction object. .

付記B4の構成によれば、ゲームプログラムは、プレイでユーザが動作する内容を多様化することができ、興趣性の高いゲームを提供できる。 According to the configuration of Appendix B4, the game program can diversify the contents of the user's actions during play, and can provide a highly entertaining game.

(付記B5)また、本発明の一態様に係るゲーム処理方法は、コンピュータにより実行されるゲーム処理方法であって、実空間を撮像した撮像映像を取得するステップ(S501、S701)と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ(S505)と、前記仮想空間内の、ユーザ(U)に対応する基準位置(K3)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ(S507、S511)と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部(12D、30D)に表示させるステップ(S603)と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ(S703)と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ(S705)と、を含む。 (Appendix B5) Further, a game processing method according to an aspect of the present invention is a game processing method executed by a computer, comprising steps of obtaining a captured image of a real space (S501, S701); a step of generating a virtual space corresponding to the real space from the image (S505); and an instruction to direct the user's movement to a position based on the reference position (K3) corresponding to the user (U) in the virtual space. a step of arranging an object so that it can be visually recognized by the user (S507, S511); a step of displaying (S603); a step of detecting motion of at least part of the user's body from the captured image (S703); and evaluating (S705) based on the timing and position based.

付記B5の構成によれば、ゲーム処理方法は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of appendix B5, in the game processing for evaluating the user's action based on the timing and position of the instruction object that instructs the user's action, the instruction object is combined with the image captured by the user. Since the synthesized video is visually displayed on a display unit such as a smartphone or a home-use TV, it is possible to guide the user to what actions should be performed with a simple configuration so that more intuitive play is possible.

(付記B6)また、本発明の一態様に係るゲーム装置(10D)は、実空間を撮像した撮像映像を取得する取得部(151D、S501、S701)と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部(152D)と、前記生成部により生成された前記仮想空間内の、ユーザ(U)に対応する基準位置(K3)に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部(154D、S507、S511)と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部(12D、30D)に表示させる表示制御部(156D、S603)と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部(157D、S703)と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部(158D、S705)と、を備える。 (Appendix B6) Further, the game device (10D) according to an aspect of the present invention includes an acquisition unit (151D, S501, S701) that acquires a captured video image of a real space; a generating unit (152D) that generates a virtual space corresponding to the real space from an image; an arrangement unit (154D, S507, S511) for arranging an instruction object that instructs the user's action so that the user can visually recognize the captured image and an image of the instruction object arranged in the virtual space; A display control unit (156D, S603) for displaying a composite image on a display unit (12D, 30D), and a detection unit ( 157D, S703) and an evaluation unit (158D, S705) that evaluates the motion detected by the detection unit based on the timing and position based on the pointing object placed in the virtual space.

付記B6の構成によれば、ゲーム装置は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。 According to the configuration of appendix B6, in the game processing for evaluating the user's action based on the timing and position of the instruction object that instructs the user's action, the instruction object is synthesized with the image captured by the user. Since the synthesized video is visually displayed on the display unit of a smartphone or a home-use TV, it is possible to guide the user to what actions should be performed with a simple configuration so that more intuitive play is possible.

1C ゲームシステム、10,10A,10C,10D ゲーム装置、11 撮像部、11DA フロントカメラ、11DB バックカメラ、12,12D 表示部、13,13D センサ、14,14C,14D 記憶部、15,15C,15D CPU、16,16C,16D 通信部、17,17D 音出力部、18D 映像出力部、20C HMD、21C 撮像部、22C 表示部、23C センサ、24C 記憶部、25C CPU、26C 通信部、27C 音出力部、150,150A,150C,150D 制御部、151,151D 映像取得部、152,152D 仮想空間生成部、153A ユーザ像検出部、153D ユーザ検出部、154,154A,154D オブジェクト配置部、155 視線方向検出部、156,156D 表示制御部、157、157D 動作検出部、158,158D 評価部 1C game system, 10, 10A, 10C, 10D game device, 11 imaging unit, 11DA front camera, 11DB back camera, 12, 12D display unit, 13, 13D sensor, 14, 14C, 14D storage unit, 15, 15C, 15D CPU, 16, 16C, 16D communication section, 17, 17D sound output section, 18D video output section, 20C HMD, 21C imaging section, 22C display section, 23C sensor, 24C storage section, 25C CPU, 26C communication section, 27C sound output 150, 150A, 150C, 150D control unit 151, 151D image acquisition unit 152, 152D virtual space generation unit 153A user image detection unit 153D user detection unit 154, 154A, 154D object placement unit 155 line of sight direction detection unit 156, 156D display control unit 157, 157D motion detection unit 158, 158D evaluation unit

Claims (6)

コンピュータに、
実空間を撮像した撮像映像を取得するステップと、
前記撮像映像から前記実空間に存在するユーザに対応する基準位置と物体の位置とを検出し、検出した前記基準位置に基づいて、前記物体の少なくとも一部の位置情報を含む仮想空間を前記実空間に対応する前記仮想空間として生成するステップと、
前記仮想空間内の、前記基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、
前記実空間に重畳されて前記指示オブジェクトが視認可能となるように、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させるステップと、
前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、
前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、
を実行させるためのゲームプログラム。
to the computer,
a step of acquiring a captured video image of a real space;
A reference position corresponding to the user and the position of an object existing in the real space are detected from the captured image, and based on the detected reference position, the virtual space including position information of at least part of the object is generated in the real space. generating as the virtual space corresponding to the space;
arranging an instruction object that instructs the user's action at a position based on the reference position in the virtual space so that the user can see the instruction object;
displaying, on a display unit, a composite image obtained by synthesizing the captured image and the image of the pointing object placed in the virtual space so that the pointing object is superimposed on the real space and visible;
detecting motion of at least part of the user's body from the captured image;
evaluating the detected motion based on timing and position based on the pointing object placed in the virtual space;
A game program for executing
前記表示させるステップにおいて、
前記合成映像を左右反転させて前記表示部に表示させる、
請求項1に記載のゲームプログラム。
In the displaying step,
displaying the synthesized image on the display section after horizontally reversing it;
The game program according to claim 1.
前記配置するステップにおいて、
前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、
前記評価するステップにおいて、
前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する、
請求項1または請求項2に記載のゲームプログラム。
In the placing step,
moving the pointing object arranged at a predetermined position in the virtual space toward a predetermined judgment position;
In the evaluating step,
evaluating the detected motion based on the timing at which the pointing object moving in the virtual space reaches the determination position and the determination position;
3. A game program according to claim 1 or 2.
前記指示オブジェクトの種類によって前記ユーザに指示する動作の内容が異なる、
請求項1から請求項3のいずれか一項に記載のゲームプログラム。
The content of the action to be instructed to the user differs depending on the type of the instruction object.
A game program according to any one of claims 1 to 3.
コンピュータにより実行されるゲーム処理方法であって、
実空間を撮像した撮像映像を取得するステップと、
前記撮像映像から前記実空間に存在するユーザに対応する基準位置と物体の位置とを検出し、検出した前記基準位置に基づいて、前記物体の少なくとも一部の位置情報を含む仮想空間を前記実空間に対応する前記仮想空間として生成するステップと、
前記仮想空間内の、前記基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、
前記実空間に重畳されて前記指示オブジェクトが視認可能となるように、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させるステップと、
前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、
前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、
を含むゲーム処理方法。
A game processing method implemented by a computer, comprising:
a step of acquiring a captured video image of a real space;
A reference position corresponding to the user and the position of an object existing in the real space are detected from the captured image, and based on the detected reference position, the virtual space including position information of at least part of the object is generated in the real space. generating as the virtual space corresponding to the space;
arranging an instruction object that instructs the user's action at a position based on the reference position in the virtual space so that the user can see the instruction object;
displaying, on a display unit, a composite image obtained by synthesizing the captured image and the image of the pointing object placed in the virtual space so that the pointing object is superimposed on the real space and visible;
detecting motion of at least part of the user's body from the captured image;
evaluating the detected motion based on timing and position based on the pointing object placed in the virtual space;
game processing methods, including;
実空間を撮像した撮像映像を取得する取得部と、
前記取得部により取得された前記撮像映像から前記実空間に存在するユーザに対応する基準位置と物体の位置とを検出し、検出した前記基準位置に基づいて、前記物体の少なくとも一部の位置情報を含む仮想空間を前記実空間に対応する前記仮想空間として生成する生成部と、
前記生成部により生成された前記仮想空間内の、前記基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部と、
前記実空間に重畳されて前記指示オブジェクトが視認可能となるように、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部に表示させる表示制御部と、
前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部と、
前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部と、
を備えるゲーム装置。
an acquisition unit that acquires a captured video image of a real space;
Detecting a reference position corresponding to the user existing in the real space and the position of an object from the captured image acquired by the acquisition unit, and based on the detected reference position, position information of at least a part of the object. as the virtual space corresponding to the real space; and
an arrangement unit that arranges, in the virtual space generated by the generation unit, an instruction object that instructs the user's action at a position based on the reference position so that the user can see the instruction object;
A display control unit that causes a display unit to display a composite image obtained by synthesizing the captured image and the image of the pointing object placed in the virtual space so that the pointing object can be visually recognized by being superimposed on the real space. and,
a detection unit that detects motion of at least part of the user's body from the captured image acquired by the acquisition unit;
an evaluation unit that evaluates the motion detected by the detection unit based on timing and position based on the pointing object placed in the virtual space;
game device.
JP2020203592A 2020-12-08 2020-12-08 Game program, game processing method, and game device Active JP7319686B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020203592A JP7319686B2 (en) 2020-12-08 2020-12-08 Game program, game processing method, and game device
US18/575,023 US20240316450A1 (en) 2020-12-08 2021-11-30 Game program, game processing method, and game device
CN202180066033.4A CN116249575A (en) 2020-12-08 2021-11-30 Game program, game processing method, and game device
PCT/JP2021/043823 WO2022124135A1 (en) 2020-12-08 2021-11-30 Game program, game processing method, and game device
KR1020237009486A KR20230052297A (en) 2020-12-08 2021-11-30 Game program, game processing method and game device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020203592A JP7319686B2 (en) 2020-12-08 2020-12-08 Game program, game processing method, and game device

Publications (2)

Publication Number Publication Date
JP2022090965A JP2022090965A (en) 2022-06-20
JP7319686B2 true JP7319686B2 (en) 2023-08-02

Family

ID=82060886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020203592A Active JP7319686B2 (en) 2020-12-08 2020-12-08 Game program, game processing method, and game device

Country Status (1)

Country Link
JP (1) JP7319686B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095884A (en) 2010-11-04 2012-05-24 Konami Digital Entertainment Co Ltd Gaming device, method of controlling the same, and program
JP2012115539A (en) 2010-12-02 2012-06-21 Konami Digital Entertainment Co Ltd Game device, control method therefor, and program
JP2013066613A (en) 2011-09-22 2013-04-18 Konami Digital Entertainment Co Ltd Game device, display method and program
JP2013154123A (en) 2012-01-31 2013-08-15 Konami Digital Entertainment Co Ltd Game apparatus, method of controlling the game apparatus, and program
JP2018130212A (en) 2017-02-14 2018-08-23 株式会社コナミアミューズメント game machine

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095884A (en) 2010-11-04 2012-05-24 Konami Digital Entertainment Co Ltd Gaming device, method of controlling the same, and program
JP2012115539A (en) 2010-12-02 2012-06-21 Konami Digital Entertainment Co Ltd Game device, control method therefor, and program
JP2013066613A (en) 2011-09-22 2013-04-18 Konami Digital Entertainment Co Ltd Game device, display method and program
JP2013154123A (en) 2012-01-31 2013-08-15 Konami Digital Entertainment Co Ltd Game apparatus, method of controlling the game apparatus, and program
JP2018130212A (en) 2017-02-14 2018-08-23 株式会社コナミアミューズメント game machine

Also Published As

Publication number Publication date
JP2022090965A (en) 2022-06-20

Similar Documents

Publication Publication Date Title
US11839811B2 (en) Game processing program, game processing method, and game processing device
JP6342038B1 (en) Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space
JP6629499B2 (en) Program and image generation device
JP2012139318A (en) Display control program, display control apparatu, display control system, and display control method
US20180247454A1 (en) Unknown
JP6684746B2 (en) Information processing method, computer and program
US20190114841A1 (en) Method, program and apparatus for providing virtual experience
JP2023162168A (en) Game program, game processing method, and game device
JP2018147465A (en) Information processing method, device, and program for causing computer to execute the method
JP6513241B1 (en) PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD
JP6057738B2 (en) GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME PROCESSING METHOD
JP2019032844A (en) Information processing method, device, and program for causing computer to execute the method
JP2019168962A (en) Program, information processing device, and information processing method
JP7319686B2 (en) Game program, game processing method, and game device
JP7192151B2 (en) Program, information processing device, and information processing method
WO2022124135A1 (en) Game program, game processing method, and game device
JP5777332B2 (en) GAME DEVICE, GAME PROGRAM, GAME SYSTEM, AND GAME METHOD
JP2019155115A (en) Program, information processor and information processing method
JP7282731B2 (en) Program, method and terminal
JP7398222B2 (en) Program, information processing device, and information processing method
WO2024166715A1 (en) Information processing system, and program
JP7111848B2 (en) Program, Information Processing Apparatus, and Method
JP2024110136A (en) Information processing system and program
JP2024110135A (en) Information processing system and program
JP2023126796A (en) Distribution program and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230713

R150 Certificate of patent or registration of utility model

Ref document number: 7319686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150