JP4409545B2 - The three-dimensional position determination device and method, the depth localization device - Google Patents

The three-dimensional position determination device and method, the depth localization device Download PDF

Info

Publication number
JP4409545B2
JP4409545B2 JP2006186798A JP2006186798A JP4409545B2 JP 4409545 B2 JP4409545 B2 JP 4409545B2 JP 2006186798 A JP2006186798 A JP 2006186798A JP 2006186798 A JP2006186798 A JP 2006186798A JP 4409545 B2 JP4409545 B2 JP 4409545B2
Authority
JP
Japan
Prior art keywords
object
image
unit
camera
player
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006186798A
Other languages
Japanese (ja)
Other versions
JP2008012103A (en
Inventor
博之 勢川
章男 大場
智一 掛
勝 斉藤
章 鈴木
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to JP2006186798A priority Critical patent/JP4409545B2/en
Publication of JP2008012103A publication Critical patent/JP2008012103A/en
Application granted granted Critical
Publication of JP4409545B2 publication Critical patent/JP4409545B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、プレイヤーにより操作されるオブジェクトを撮影してその位置を特定する三次元位置特定技術に関する。 This invention relates to a three-dimensional localization techniques by photographing the object to be operated by a player for specifying the position.

従来から、プレイヤーの動作をビデオカメラなどの撮像装置を用いて撮影し、プレイヤーの動画像を画面に映し出して、コマンドの入力やゲームのプレイを可能にしたものが知られている(例えば、特許文献1を参照) Conventionally, an operation of the player taken using an imaging apparatus such as a video camera, and reflects the moving image of the player on the screen, that allows the play of the input and game commands are known (e.g., Japanese Patent see reference 1). このような画像処理装置では、画面上に配置されるメニュー画面やオブジェクトにプレイヤーの動画像が画面内で接触することで、コマンドを入力することができる。 In the image processing apparatus, by the player of the moving image to a menu screen or an object placed on the screen is in contact with the screen, it is possible to enter commands. つまり、プレイヤーの動画像そのものが入力インタフェースとして機能している。 That is, functioning moving image itself player as an input interface.
特開2002−196855号公報 JP 2002-196855 JP

上述のようなプレイヤーの動画像を入力インタフェースとして利用するゲームを初めとしたアプリケーションでは、アプリケーションを操作するプレイヤーの行動を、画面上の演出や音声などによって自然なかたちで導き出すことが重要である。 In the application that was the beginning of the game to use a moving image of the player, such as described above as an input interface, the behavior of the player to interact with the application, it is important to derive in a natural way, such as by directing and voice on the screen. 不自然な動きをプレイヤーに要求すると、アプリケーションに対するプレイヤーの興味が失われる恐れがある。 When requesting the unnatural movement to a player, there is a possibility that interest in the player to the application is lost.

本発明はこうした課題に鑑みてなされたものであり、その目的は、プレイヤーの動作を入力インタフェースとして利用する装置において、プレイヤーにとって使いやすいインタフェースを実現するための技術を提供することにある。 The present invention has been made in view of the foregoing problems, and an object, the apparatus utilizing the operation of the player as the input interface, is to provide a technique for realizing a user-friendly interface for the player.

本発明のある態様は、オブジェクトの三次元位置特定装置である。 An embodiment of the present invention is a three-dimensional localization device object. この装置は、プレイヤーにより操作されるオブジェクトを撮影するカメラと、オブジェクトを特定するための参照画像を格納する参照画像記憶部と、オブジェクトが進入すると想定されている所定の進入領域の反射像をカメラに向けて投影し、オブジェクトの直接像と反射像とをカメラに撮影させる反射手段と、カメラにより撮影されたフレームから、反射像に対応する部分である反射面領域を特定する反射面領域特定部と、フレームに対して参照画像を用いたマッチングを実行して、オブジェクトのフレーム内での位置を特定するフレーム内定位部と、反射面領域から反射像を検出して、カメラの光軸に沿った奥行方向でのオブジェクトの位置を特定する奥行定位部と、を備える。 This device includes a camera and a camera for photographing the object to be operated by a player, the reference image storage section for storing a reference image for identifying the object, the reflected image of a predetermined entry area that is assumed as the object enters projected toward a reflecting means for capturing the reflected image with direct image of the object to the camera, the frame captured by the camera, the reflective surface area specifying unit for specifying a reflective surface area is a portion corresponding to the reflection image If, by performing the matching using a reference image with respect to the frame, the frame localization unit for specifying a position in the frame of the object, by detecting the reflected image from the reflective surface area, along the optical axis of the camera comprising a depth localization unit to locate the object in the depth direction, the.

ここで、「オブジェクト」とは、カメラの撮影範囲内でプレイヤーにより操作されるものの総称であり、プレイヤーの頭、腕、手、足、口などの身体の一部と、プレイヤーの身体の一部(例えば手、足、口)により操作される棒、シート、箱などの物体、およびコントローラなどの装置が含まれる。 Here, the "object" is a generic term for those to be operated by the player in the shooting range of the camera, the player's head, arms, hands, feet, and part of the body such as the mouth, part of the player's body (eg hands, feet, mouth) rod is operated, the seat, the object such as a box, and a device such as a controller.

この態様によると、予め定められた進入領域へのオブジェクトの進入を反射体による反射像を利用して検出することで、プレイヤーによるオブジェクトの押し込みや引き出しといった奥行方向のアクションを検出する。 According to this embodiment, by detecting by utilizing the reflected image of the entry of an object into a predetermined approach area by the reflector, to detect the action of the depth direction, such as pushing or drawer object by the player. 従来のようなフレーム間差分に基づいたオブジェクトの検出では、奥行方向すなわちカメラの光軸方向に沿ったオブジェクトの移動の検出は非常に困難であったが、本実施形態では、カメラの光軸と交わる方向からの反射像を利用するので、奥行方向のオブジェクトの移動を正確に検出することができる。 In the detection of objects based on the inter-frame difference as in the prior art, although the detection of the movement of the object along the optical axis direction of the depth direction, that the camera has been very difficult, in the present embodiment, the camera and the optical axis since utilizing the reflected image from a direction intersecting, it can accurately detect the movement in the depth direction of the object.

本発明の別の態様は、三次元位置特定方法である。 Another aspect of the present invention is a three-dimensional location method. この方法は、オブジェクトの直接像と、所定の奥行位置からオブジェクトを反射させた反射像とをカメラにより撮影し、フレーム内で反射像に対応する領域と直接像を含むそれ以外の領域とを特定し、直接像に対するマッチングを実行してオブジェクトのフレーム内での位置を特定し、複数のフレーム間での反射像の差分からオブジェクトが所定の奥行位置にあるか否かを検出することを含む。 The method, certain direct image of an object, and a reflected image obtained by reflecting the object from the predetermined depth position taken by the camera, and the other region including the corresponding region directly image the reflected image in the frame and identifies the position in the frame of the running matching for direct image object, the object from the difference of the reflected image between a plurality of frames comprises detecting whether a predetermined depth position.

なお、本発明の構成要素や表現を方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。 Incidentally, components and expressions changed among a method, system, computer program, even those that have been replaced with each other between such a recording medium storing a computer program, is effective as an embodiment of the present invention.

本発明によれば、カメラにより撮影されたフレームを用いて、奥行方向へのオブジェクトの移動を検出することができる。 According to the present invention, by using the frame captured by the camera, it can detect the movement of objects in the depth direction.

実施の形態1. The first embodiment.
図1は、本発明の一実施形態である三次元位置特定装置10の全体構成を示す。 Figure 1 shows the overall configuration of a three-dimensional position determination device 10 according to an embodiment of the present invention. 本実施形態の三次元位置特定装置は、プレイヤーの操作するオブジェクトを単一のカメラで撮影し、画像処理によりオブジェクトの三次元位置を特定し、特定された三次元位置に応じた画面をディスプレイに表示する。 The three-dimensional position determination device of the present embodiment, photographing the object operated by the player in a single camera to identify the three-dimensional position of the object by image processing, a screen corresponding to the specified three-dimensional position on the display indicate. 三次元位置特定装置10を利用するアプリケーションの典型例は、画面に表示されたキャラクタ等をプレイヤーの動作で操作するアクションゲームであるが、他の形態のゲームや、簡単なビジネスアプリケーション、ディジタル写真のアルバム表示、楽曲データ再生のアプリケーションなどにも適用することができる。 Typical examples of applications that utilize the three-dimensional position determination device 10 is an action game in which to manipulate such character displayed on the screen in operation of the player, other forms games and simple business applications, the digital photographs album display, can also be applied to, such as music data reproduction of the application.

三次元位置特定装置10は、ディスプレイ40と、ディスプレイの上側に設置されるカメラ20と、画像処理装置30と、反射体50と、から構成される。 The three-dimensional position determination device 10 is configured to include a display 40, a camera 20 installed on the upper side of the display, the image processing apparatus 30, and the reflector 50, from.

ディスプレイ40は、好ましくはプレイヤー72の前方に配置される。 Display 40 is preferably disposed in front of the player 72. プレイヤー72は、カメラ20により撮影された自分の像を見ながらオブジェクトの操作をするかたちになる。 Players 72 will form to the manipulation of objects while watching their images captured by the camera 20.

カメラ20はプレイヤー72により操作されるオブジェクト70を撮影し、所定のフレームレートでフレームを画像処理装置30に出力する。 Camera 20 photographing the object 70 to be operated by the player 72, and outputs the frame to the image processing apparatus 30 at a predetermined frame rate. 画像検出の応答性を早めるために、フレームレートはなるべく高いことが好ましい。 To quicken the response of the image detector, the frame rate is as high as possible is preferred. カメラ20は、ディスプレイ40の上側に設置される。 Camera 20 is installed on the upper side of the display 40. カメラ20の撮影範囲26は、少なくともプレイヤー72の操作するオブジェクト70を捉えるように設定される。 Capturing range 26 of the camera 20 is set to capture the object 70 to be operated at least the player 72. これによって、プレイヤー72はディスプレイ40側に正面を向けた状態でオブジェクト70を操作することができる。 Thus, the player 72 can manipulate the object 70 in the state with its front to the display 40 side. しかし、三次元位置特定装置10により実施されるアプリケーションの特性に応じて、カメラ20をディスプレイ40の下方や側方に設置したり、またはプレイヤー72がディスプレイ40を見る向きとは異なる場所にカメラ20を設置してもよい。 However, according to the characteristics of the application implemented by the three-dimensional position determination device 10, camera camera 20 or disposed below and the side of the display 40, or the player 72 to a different location than the orientation viewing the display 40 20 the may be installed.

カメラ20から出力されたフレームは、画像処理装置30を経由してディスプレイ40に映し出される。 Frame output from the camera 20 via the image processing apparatus 30 is displayed on the display 40. この場合、撮影されたフレームは画像処理装置30によって鏡面処理を施され、ディスプレイ40にはプレイヤー72の鏡面画像が映し出されることが好ましい。 In this case, frames taken is subjected to mirror surface processing by the image processing apparatus 30, it is preferable that the display 40 is projected specular image of the player 72. 鏡面画像を映し出すことで、プレイヤーが例えば手を挙げたときに画面内の像は鏡に映したように同じ側の手を挙げるため、プレイヤーは自らの動作を認識しやすくなる。 By displaying an mirror image, because Hand Raised in the same side as the image on the screen is mirror image when mentioned players such as hands, the player can easily recognize their own operation. しかしながら、画像処理装置30によって鏡面処理を施さず、撮影したままの画面をディスプレイ40に映し出してもよい。 However, without being subjected to the mirror processed by the image processing apparatus 30, the screen remains captured may reflect on the display 40. さらに、三次元位置特定装置10により実施されるアプリケーションの特性に応じて、画像処理装置30によって上下を反転させた画面をディスプレイ40に映し出してもよい。 Furthermore, depending on the characteristics of the application implemented by the three-dimensional localization device 10, a screen was turned upside down by the image processing apparatus 30 may reflect the display 40.

画像処理装置30は、外部記憶媒体に格納されたアプリケーションソフトウェアをロードして実行する機能を有する。 The image processing apparatus 30 has a function of loading and executing application software stored in the external storage medium. 画像処理装置30は、カメラ20から出力されたフレームに対して上述の鏡面処理を施すほか、フレーム内でオブジェクトの像を検出して所定の画像をオブジェクトに重ねて表示したり、プレイヤーのアクションに応じた指示をアプリケーションに与えるなどの処理を行う。 The image processing apparatus 30, in addition to the frame output from the camera 20 is subjected to mirror processing described above, or displayed over a predetermined image on an object by detecting an image of an object in a frame, the player's actions It performs processing such as giving response instructions to the application. 画像処理装置30により所定の処理を施された鏡面画像は、ディスプレイ40に出力される。 Mirror image by the image processing apparatus 30 has been subjected to the predetermined processing is output to the display 40. 画像処理装置30は、典型的にはゲームコンソールなどの専用機であるが、画像の入出力機能を備えた汎用のパーソナルコンピュータやサーバなどであってもよい。 The image processing apparatus 30 is typically a special-purpose machine such as a game console, the input and output functions of the image may be a general-purpose personal computer or a server with. 画像処理装置30のさらに詳細な機能および構成については後述する。 It will be described later more detailed functions and configurations of the image processing apparatus 30.

ディスプレイ40は、スピーカ42を備えていてもよい。 Display 40 may include a speaker 42. スピーカ42は、ディスプレイ40に表示されるオブジェクトやその他の画像に合わせて画像処理装置30から出力される音声や伴奏などを再生する。 Speaker 42 reproduces the voice and the accompaniment outputted from the image processing apparatus 30 in accordance with the objects and other images displayed on the display 40. スピーカ42は、ディスプレイ40と一体に構成され、ディスプレイ40の近傍に配置されていることが好ましい。 Speaker 42 is integrally formed with the display 40, which is preferably disposed in the vicinity of the display 40. しかしながら、スピーカ42とディスプレイ40は一体でなく、互いに離れた位置に配置されてもよい。 However, the speaker 42 and the display 40 is not integral, or may be located away from each other.

反射体50は、プレイヤー72とディスプレイ40およびカメラ20との間に設置され、オブジェクト70の反射像をカメラ20に撮影させる役割を有する。 Reflector 50 is installed between the player 72 and the display 40 and the camera 20 has a role for capturing a reflection image of the object 70 to the camera 20. 本明細書において「オブジェクト」とは、カメラ20の撮影範囲26内でプレイヤー72により操作されるものの総称であり、プレイヤーの頭、腕、手、足、口などの身体の一部と、プレイヤーの身体の一部(例えば手、足、口)により操作される棒、シート、箱などの物体、およびコントローラなどの装置が含まれる。 The "object" as used herein, is a generic name of those to be operated by the player 72 in the shooting range 26 of the camera 20, the player's head, arms, hands, feet, and part of the body such as the mouth, the player part of a body (eg hands, feet, mouth) rod is operated, the seat, the object such as a box, and a device such as a controller. オブジェクトがプレイヤーの意思により動かされることを、オブジェクトが身体の一部である場合を含め、本明細書では「プレイヤーにより操作されるオブジェクト」のように表現する。 That the object is moved by the player's intention, including when the object is a part of the body, in this specification expressed as "object is operated by the player". 図1では、一例として、プレイヤーの指がオブジェクト70のとして示されている。 In Figure 1, as an example, the player's finger is shown as the object 70.

オブジェクト70は、その直接像がカメラ20により撮影されるのと同時に、反射体50による反射像もカメラ20により撮影される。 Object 70, the direct image is at the same time as being captured by the camera 20, is captured by the reflected image also camera 20 by the reflector 50. 言い換えると、カメラ20は、ひとつのフレームの中にオブジェクト70の直接像と反射像の両方を含むことになる。 In other words, the camera 20 will in one frame including both direct image and reflected image of the object 70. このように、直接像と反射像という二つの方向から見た像としてオブジェクト70を捉えることで、後述するように、単一のカメラからの画像のみでオブジェクト70の三次元位置を特定することができる。 Thus, by capturing the object 70 as an image seen from the two directions of direct image and reflected image, as will be described later, it is possible to specify the three-dimensional position of the object 70 only in the image from a single camera it can.
なお、説明を簡単にするために、以下の説明ではプレイヤー72により操作されるオブジェクト70はひとつとするが、二つ以上のオブジェクトが存在しても同様の処理ができることはいうまでもない。 In order to simplify the description, the following description is to one object 70 to be operated by the player 72, it is needless to say that the same processing even in the presence of more than one object.

反射体50は二つの反射面52、54を備えており、それぞれがオブジェクト70を反射させ、それら反射像がカメラ20によって撮影される。 The reflector 50 is provided with two reflecting surfaces 52 and 54, respectively to reflect the object 70, they reflected image is captured by the camera 20. したがって、反射面52、54には、オブジェクト70の反射像がカメラ20のレンズで結ばれるように所定の角度が付けられている。 Therefore, the reflective surface 52 and 54, the predetermined angled such that the reflected image of the object 70 is focused by the lens of the camera 20. また、反射体50の設置場所は、カメラ20から所定の距離だけ離間した位置に限られる。 Also, the location of the reflector 50 is limited from the camera 20 at a position separated by a predetermined distance.

図1に示すように、反射面52、54の上方には、それぞれがオブジェクト70の反射像をカメラ20に向けて投影できる領域である進入領域62、64が広がる。 As shown in FIG. 1, above the reflective surface 52 and 54, it enters the area 62, 64 extends respectively is a region of the reflection image of the object 70 can be projected toward the camera 20. 進入領域62、64の広がりは、反射面52、54の傾斜の度合いによって決まり、オブジェクト70が進入すると想定される範囲になる。 Extent of entry areas 62 and 64 is determined by the degree of inclination of the reflection surfaces 52 and 54, the range which is assumed as the object 70 enters. 図1の例では、それぞれの進入領域62、64は互いに交差しないように設定されている。 In the example of FIG. 1, each of the entry areas 62 and 64 are set so as not to intersect with each other. したがって、オブジェクト70が進入領域62内に存在するときは、反射面52により反射された反射像がカメラ20により撮影され、オブジェクト70が進入領域64内に存在するときは、反射面54により反射された反射像がカメラ20により撮影される。 Therefore, when the object 70 is present in the entry region 62, the reflected image reflected by the reflecting surface 52 is captured by the camera 20, when the object 70 is present in the entry area 64 is reflected by the reflecting surface 54 reflected image is captured by the camera 20. 但し、オブジェクト70が指や棒のように反射体50の奥行方向にある程度の長さを有する場合、オブジェクト70は進入領域62と64の両方に同時に存在する。 However, if the object 70 has a certain length in the depth direction of the reflector 50 as a finger or rod, object 70 is present at the same time both the entry region 62 and 64.

一般に、フレーム間の差分に基づいてオブジェクトの動作を検出しようとした場合、カメラの光軸に沿った方向(図1のz方向)に略平行な動作は、フレーム内でのオブジェクトの差分がわずかになるため検出するのは困難である。 In general, when an attempt is made to detect the operation of the object based on the difference between frames, it is substantially parallel operation in a direction along the optical axis of the camera (z direction in FIG. 1), only the difference of the object in the frame it is difficult to detect become for the. そこで、本実施形態では、オブジェクトの直接像とは異なる方向からの像を、反射体50による反射を利用することで取得し、この反射像を利用してz方向のオブジェクトの動作を確実に検出できるようにした。 Therefore, in this embodiment, the image from a different direction from the direct image of the object, the reflector 50 obtained in utilizing the reflection by reliably detecting the operation of the z-direction of the object using the reflected image and it can be so. 以下では、カメラの光軸に沿った方向のことを単に「奥行方向」と呼ぶことにする。 Hereinafter, the direction along the optical axis of the camera simply referred to as "depth direction".

図2は、カメラ20と画像処理装置30のハードウェア構成を簡略化して説明した図である。 Figure 2 is a diagram illustrating the hardware configuration of the camera 20 and the image processing apparatus 30 is simplified. カメラ20は、撮像素子としての画像センサ22と、画像処理部24を備える。 Camera 20 includes an image sensor 22 as an image pickup device, the image processing unit 24. 画像センサ22は、一般にCCDセンサやCMOSセンサであり、図示しないレンズにより結ばれた像を受光素子で捉えることで画像を記録する。 Image sensor 22 is generally a CCD sensor or a CMOS sensor, for recording an image by capturing an image that has been connected by a lens (not shown) by the light receiving element. 撮影された画像は、RAM等の図示しないメモリに一時的に記憶される。 The captured image is temporarily stored in a memory (not shown) such as a RAM. カメラ20の構成については周知であるため、これ以上詳細な記載は省略する。 Since it is well known for the construction of the camera 20, more detailed description will be omitted.

画像処理部24はASIC等の回路からなり、画像センサ22から出力された画像データに対して、A/D変換、デモザイク、ホワイトバランス処理、ノイズ除去、コントラスト強調、色差強調、ガンマ処理などのうち、必要なものを実施する。 The image processing unit 24 is a circuit such as an ASIC, the image data output from the image sensor 22, A / D conversion, demosaicing, white balance processing, noise reduction, contrast enhancement, color difference enhancement, among such as gamma processing , to implement what you need. 画像処理部24により処理された画像データは、図示しない通信インタフェースを介して画像処理装置30に転送される。 Image data processed by the image processing unit 24 is transferred via the communication interface (not shown) to the image processing apparatus 30. 以下の説明では、簡単のために、画像処理部24から画像処理装置30に渡される画像データは画像センサ22からの出力信号をそのままディジタル化したRAWデータであるものとするが、画像データは他の形式、例えばJPEGなどの圧縮されたデータであってもよい。 In the following description, for simplicity, the image data passed from the image processing unit 24 to the image processing apparatus 30 is assumed to be RAW data as digitized output signal from the image sensor 22, but the image data other form, for example it may be a compressed data such as JPEG. 後者の場合、画像処理装置30には、処理部32の前段に圧縮データを復号化する画像復号部が配置される。 In the latter case, the image processing apparatus 30, an image decoding unit for decoding the compressed data to the preceding processing unit 32 is disposed.

画像処理装置30は、処理部32と、処理部32から渡された画像データをディスプレイ40に出力する画像出力部34と、処理部32から渡された音声データをスピーカ42に出力する音声出力部36と、を含む。 The image processing apparatus 30 includes a processing unit 32, an image output unit 34 for outputting the image data transferred from the processing unit 32 to the display 40, an audio output unit for outputting audio data that has been transferred from the processing unit 32 to the speaker 42 It includes a 36, ​​a. 画像処理装置30は、このほかにも、CD−ROM、DVD−ROM、フラッシュメモリを初めとする任意の記録媒体に格納されたアプリケーションソフトウェアを読み出すロード部や、ソフトウェアにしたがって所定のアプリケーションを実行するアプリケーション実行部などを備える。 The image processing apparatus 30, in this addition, CD-ROM, DVD-ROM, or load unit for reading an arbitrary recording medium stored application software including the flash memory, executes a predetermined application according to software It comprises an application execution unit. これらの機能は、ゲームコンソールなどの専用機やパーソナルコンピュータなどには当然備えられているものであるから、これ以上詳細な説明は省略する。 These features, because such the game console dedicated machine or a personal computer such as one in which are provided of course, further detailed description is omitted.

図3は、反射体50の構造を示す平面図である。 Figure 3 is a plan view showing the structure of the reflector 50. 反射体50は、全体として薄板状であり、上述したように奥行方向に離間して配置された第1反射面52と第2反射面54とを有している。 Reflector 50 is a thin plate as a whole, and has a first reflecting surface 52 that is spaced apart in the depth direction as described above and the second reflecting surface 54. 反射面52、54は、一例では鏡であり、鏡面加工を施した金属、プラスチック、金属を蒸着させたガラスなどでもよい。 Reflecting surfaces 52 and 54, in one example is a mirror, metal mirror-finished, plastic, metal or the like glass is deposited. 第1反射面52と第2反射面54とは平行に配置され、また、その長軸がカメラ20の光軸に対して略垂直となるように配置される。 The first reflecting surface 52 and the second reflecting surface 54 arranged in parallel, also, its long axis is arranged substantially perpendicular to the optical axis of the camera 20. 第1反射面52と第2反射面54は、図1に示すように、反射面の上方のオブジェクトを反射して、反射像をカメラ20のレンズに向けて投影する角度に設定される。 The first reflecting surface 52 and the second reflecting surface 54, as shown in FIG. 1 reflects the above objects of the reflecting surface is set at an angle to project towards the reflected image to the lens of the camera 20.

反射体50の長軸方向の両端には、反射体50の位置を画像処理装置30に認識させるためのマーカ56がそれぞれ配置される。 The long axis direction of the both ends of the reflector 50, a marker 56 for recognizing the position of the reflector 50 to the image processing device 30 are respectively disposed. このマーカ56は、色付けされた部分であってもよいし、チェックなどの所定の模様が施されていてもよく、あるいは二次元コードなどでもよい。 The marker 56 may be a colored portion may be subjected to a predetermined pattern such as check or the like may be used two-dimensional code. 両端にLEDなどの光源を埋め込んでおいてもよい。 It may be embedded a light source such as LED at both ends. 要するに、カメラ20から出力されるフレーム内で、反射体50の位置を特定するために必要な情報を付与できるものであれば、その形態は問わない。 In short, in the frame output from the camera 20, as long as it can impart the necessary information to identify the position of the reflector 50, its form is not limited.

反射体50が奥行方向に所定の幅を有し、また奥行方向に複数の反射面を備えることで、奥行方向に複数の進入領域62、64を設定することができる。 Reflector 50 has a predetermined width in the depth direction, also by providing a plurality of reflecting surfaces in the depth direction, it is possible to set a plurality of entry areas 62 and 64 in the depth direction. 各反射面52、54は、オブジェクトが進入すると想定される相異なる進入領域の反射像をカメラ20に向けて投影し、オブジェクトの反射像をカメラ20に撮影させる。 The reflecting surfaces 52 and 54, projecting toward the reflection image of the different entry regions is assumed that the object is entering the camera 20, thereby capturing a reflection image of the object to the camera 20. こうすることで、後述するように、奥行方向のオブジェクトの移動を検出できる。 In this way, as described below, it can detect the movement in the depth direction of the object.

図4は、処理部32の詳細な構成を示す図である。 Figure 4 is a diagram showing a detailed configuration of the processing unit 32. これらの構成は、CPU、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックとして描いている。 These configurations, CPU, memory, and is realized by a program loaded in memory, here illustrated as functional blocks that are realized in cooperation with those. したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 Therefore, these functional blocks hardware only, software only, or can be realized in various forms by a combination thereof, is where is understood by those skilled in the art.

画像取得部102は、カメラ20から出力されたフレームを一枚ずつ取得し、画像反転部104および画像連携音声制御部150に送る。 Image acquisition unit 102 acquires the frame output from the camera 20 one by one, and sends to the image inversion section 104 and the image linkage sound control unit 150.

画像反転部104は、画像取得部102から受け取ったフレームに対して鏡面処理(すなわち、画像の左右反転処理)を施し、鏡面画像を生成する。 Image inversion section 104, subjected to mirror processing (i.e., horizontal inversion processing of the image) to the frame received from the image acquisition unit 102, and generates a mirror image. 鏡面画像は三次元定位部110およびオンスクリーン表示部144に送られる。 Mirror images are sent to the three-dimensional localization unit 110 and the on-screen display unit 144.

三次元定位部110は、画像反転部104から受け取ったカメラ20により撮影されたフレームを利用して、オブジェクトの三次元位置を特定する。 Three-dimensional localization unit 110, by using the frame captured by the camera 20 received from the image reversing unit 104, identifying the three-dimensional position of the object. 三次元位置は、フレーム内でのオブジェクトの位置すなわち画面内の位置に相当する二次元位置、および図1の奥行方向すなわちz方向の位置のことをいう。 Three-dimensional position, position or corresponding to two-dimensional position in the position in the screen of the object in the frame, and refers to a position in the depth direction or z-direction in FIG. 1. 本実施形態では、オブジェクトの二次元位置を特定することで画面内のオブジェクトを認識し、オブジェクトの奥行位置を特定することでプレイヤーの特定のアクションを検出する。 In the present embodiment, to recognize the object in the screen by specifying a two-dimensional position of the object, detecting a specific player actions by specifying the depth position of the object.

三次元定位部110は、反射面領域特定部112、奥行定位部122、フレーム内定位部114、参照画像記憶部120を含む。 Three-dimensional localization unit 110 includes the reflective surface area specifying unit 112, the depth localization unit 122, frame localization unit 114, a reference image storage unit 120.

反射面領域特定部112は、カメラ20により撮影されたフレームから、反射体50の第1反射面52および第2反射面54に対応する領域である反射面領域を特定する。 Reflective surface area specifying unit 112, the frame captured by the camera 20, to identify the reflection surface region is a region corresponding to the first reflecting surface 52 and the second reflecting surface 54 of the reflector 50. 反射面領域特定部112は、フレーム内から二カ所のマーカ56を検出し、それらの間に挟まれた領域を反射面領域と特定する。 Reflective surface area specifying unit 112 detects the two places of the markers 56 from the frame, to identify the region sandwiched between them and the reflective surface area.

奥行定位部122は、反射面領域特定部112により特定された反射面領域から反射像を検出することで、オブジェクトの奥行方向の位置を特定する。 Depth localization unit 122, by detecting the reflected image from the reflective surface area specified by the reflecting surface area specifying unit 112 specifies the depth position of the object. 具体的には、奥行定位部122は、複数のフレーム間で反射面領域同士を比較してその差分を検出する。 Specifically, the depth localization unit 122 detects a difference by comparing the reflective surface area between between a plurality of frames. あるフレームで反射面領域に反射像がなく、後続するフレームで反射面領域に反射像が映っていれば、オブジェクトがその反射面に対応する進入領域内に位置していると判定できる。 No it reflected image in the reflective surface area in a certain frame, if the reflected image on the reflective surface region in a subsequent frame is reflected can be determined to be located in the entrance area of ​​the object corresponding to the reflecting surface.

この判定を確実に実行するためには、第1反射面52および第2反射面54に映ったオブジェクトの反射像とそれ以外の画像とを明確に識別できる必要がある。 To perform this determination reliably, it is necessary to clearly distinguish the reflected image and the other image of the object reflected on the first reflecting surface 52 and the second reflecting surface 54. したがって、一実施例では、三次元位置の特定処理を開始する前に、奥行定位部122が反射面領域のデフォルト画像を取得しておく。 Thus, in one embodiment, before starting the process of specifying the three-dimensional position, the depth localization unit 122 previously acquires the default image of the reflective surface area. このデフォルト画像と任意のフレームの反射面領域との間に差分が検出されたときに、オブジェクトが進入領域内に位置すると判定するようにしてもよい。 When a difference is detected between the reflective surface area of ​​the default image and any frame, it may be determined that the object is positioned in entrance area.

奥行定位部122は、第1反射面52、第2反射面54に対応する反射面領域について同様の処理をすることで、第1進入領域62、第2進入領域64のそれぞれにオブジェクトが進入したか否かを判定する。 Depth localization unit 122, a first reflecting surface 52, by the same processing for the reflecting surface area corresponding to the second reflecting surface 54, the first entry region 62, the object enters the respective second entry region 64 determines whether or not the. この判定の結果は、入力制御部130に送られる。 The result of the determination is sent to the input control unit 130.

フレーム内定位部114は、オブジェクトのフレーム内位置を特定する。 Frame localization unit 114 identifies the frame position of the object. フレーム内定位部114は、オブジェクト検出部116を含む。 Frame localization unit 114 includes an object detection unit 116. オブジェクト検出部116は、画像反転部104から受け取ったフレームに対して、オブジェクトの参照画像(テンプレート)を用いた周知のパターンマッチングを実行して、オブジェクトのフレーム内位置を特定する。 Object detector 116, the frame received from the image reversing unit 104, by performing the well-known pattern matching using the object of the reference image (template), it identifies the frame position of the object. マッチングを実行する対象は、画像反転部104から受け取ったフレームそのものであってもよいし、反射面領域特定部112において特定された反射面領域をフレームから除いたものであってもよい。 On which to perform the matching may be the frame itself received from the image reversing unit 104 may be one except the reflective surface regions identified in the reflective surface area specifying unit 112 from the frame.

参照画像記憶部120は、オブジェクトを特定するための参照画像を格納している。 Reference image storage unit 120 stores a reference image for identifying the object. フレーム内位置を特定すべきオブジェクトについて予め準備しておいた参照画像を格納してもよいが、後述するように、特定すべきオブジェクトをカメラ20により撮影し、フレームからオブジェクトが存在するであろう領域を切り出して、それを参照画像として参照画像記憶部120に格納するようにしてもよい。 May store a reference image prepared in advance for the object should specify the frame positions but, as will be described later, an object to be identified captured by the camera 20 will object exists from the frame cut out area may be stored in the reference image storage unit 120 it as a reference picture. 前者の場合、例えばオブジェクトが手だとすると、数十人ないし数千人の手の画像の平均を取って作成された基準画像を格納しておいてもよいし、プレイヤーの年齢、性別、体格などに応じて分類された複数の参照画像を格納しておいてもよい。 In the former case, for example, if an object that it hand, may be stored a reference image that was created by taking the average of dozens to thousands of hand images, age of the player, gender, etc. physique a plurality of reference images classified according to may be previously stored. 参照画像を用いたマッチング技術は、任意のものを使用できる。 Matching technique using a reference image may be used any ones. これらは当業者には周知であるからこれ以上詳細な説明を省略する。 It will not further detailed description because it is well known to those skilled in the art.

フレーム内定位部114で特定されたオブジェクトのフレーム内位置の情報は、入力制御部130に与えられる。 Information of a frame in the position of the identified object in frame localization unit 114 is provided to the input control unit 130.

入力制御部130は、ゲームを初めとするアプリケーションを実行する図示しないアプリケーション実行部に対して、カメラ20により撮影されたフレームに対する画像処理によって得られた情報に基づく指示を与える。 The input control unit 130, the application execution unit (not shown) for executing an application including the game gives an instruction based on the information obtained by the image processing for the frame captured by the camera 20. 入力制御部130は、アクション特定部132、表示制御部134、画像記憶部136を含む。 The input control unit 130 includes action specifying unit 132, the display control unit 134, an image storage unit 136.

アクション特定部132は、奥行定位部122による奥行位置の判定をもとに、第1進入領域62と第2進入領域64の間の奥行方向へのオブジェクト70の移動を検出して、プレイヤーのアクションを特定する。 Action specifying unit 132, based on the determination of the depth position by depth localization unit 122 detects the movement of the object 70 in the depth direction between the first entry region 62 of the second entry region 64, the player's actions to identify. アクション特定部132は、奥行方向におけるオブジェクト70のカメラ20へ向かう移動と、カメラ20から離れる移動とを異なるプレイヤーのアクションとして特定してもよい。 Action specifying unit 132, a movement toward the camera 20 of the object 70 in the depth direction, may be identified and moving away from the camera 20 as different player actions. アクション特定部132は、特定したアクションを図示しないアプリケーション実行部と表示制御部134とに与える。 Action specifying unit 132 gives the display control unit 134 and the application execution unit (not shown) the actions specified. アプリケーション実行部は、与えられたアクションを入力として受け取り、所定の機能を付与する。 The application execution unit receives the given action as an input, applies a predetermined function.

表示制御部134は、カメラ20により撮影されたオブジェクトの直接像に重ね合わせて、所定の目的を達成するために表示すべき画像をディスプレイに表示させる。 The display control unit 134 superimposes the direct image of the photographed object by the camera 20, and displays an image to be displayed in order to achieve a predetermined object on the display. 表示制御部134は、オブジェクトが第1反射面52に対応する第1進入領域62に位置するときと、第2反射面54に対応する第2進入領域64に位置するときで、異なる表示態様の画像を表示してもよい。 The display control unit 134, and when located at the first entry region 62 the object corresponding to the first reflecting surface 52, when located in the second entry area 64 corresponding to the second reflecting surface 54, the display mode different image may be displayed. 表示制御部134は、オブジェクトの位置に応じた画像を画像記憶部136から検索して、オンスクリーン表示部144に出力する。 The display control unit 134 searches the image corresponding to the position of the object from the image storage unit 136, and outputs to the on-screen display unit 144.

画像記憶部136は、オブジェクトの直接像に重ねて表示される上述の画像を記憶する。 Image storage unit 136 stores the above-described image to be displayed superimposed on the direct image of the object. この画像の例には、ゲームに用いるキャラクタ、カーソルなどのポインタ、楽器や武器などの道具、星や太陽などのマーク、手や足などの身体の一部の画像、またはキーボードや電卓などの入力デバイスの画像がある。 Examples of this image, character used in the game, pointer, such as a cursor, a tool such as musical instruments and weapons, mark, such as stars and the sun, a part of the image of the body such as the hands and feet, or input such as a keyboard and a calculator, there is a device of the image. これらの画像は、ユーザからの入力を受け付けるためにOSが有している入力用画像でもよいし、実行中のアプリケーションソフトウェアから読み出されたアプリケーション画像であってもよい。 These images may be input image OS has to accept input from the user, it may be an application image read from the application software running. 表示制御部134によってオブジェクトのフレーム内位置に応じた異なる態様の画像を表示させるために、画像記憶部136は、複数の態様の画像を保持していてもよいし、ある画像を変化させるために必要となるデータを保持していてもよい。 In order to display an image of a different aspect by the display control unit 134 according to the frame position of the object, the image storage unit 136 may be not hold an image of a plurality of embodiments, in order to change certain image it may hold the data that is required.

オンスクリーン表示部144は、画像反転部104から得た鏡面画像に、表示制御部134から出力された画像をオンスクリーン表示させ、画像出力部34に送る。 On-screen display unit 144, a mirror image obtained from the image reversing unit 104, the image output from the display control unit 134 is on-screen display, and sends to the image output unit 34. 画像出力部34によって、プレイヤーの鏡面画像に重畳された画面がディスプレイ40に表示される。 The image output unit 34, a screen superimposed on the player's mirror image is displayed on the display 40.

画像連携音声制御部150は、三次元定位部110により検出されたオブジェクトの位置や、入力制御部130により検出されたプレイヤーのアクションに連携した音声を出力するように、音声出力部36を制御する。 Image cooperation sound control unit 150, the position and the object detected by the three-dimensional localization unit 110, to output the sound in cooperation action of the player detected by the input control unit 130 controls the audio output unit 36 . 画像連携音声制御部150の具体的な構成は、実施の形態3および4において詳細に説明する。 Specific configuration of an image cooperative audio control unit 150 will be described in detail in the third and fourth embodiments.

配置指示部142は、カメラ20により撮影されたプレイヤーの画像とともに、反射体50を設置すべき位置をプレイヤーに指示する表示をディスプレイ40に映し出す。 Arrangement instructing unit 142, together with the image of the player captured by the camera 20, displaying an indication for indicating the position to the reflecting member is provided 50 to the player on the display 40. 上述したように、反射体50は、オブジェクト70の反射像をカメラ20に撮影させなくてはならないので、反射体50を配置すべき位置はある一定の範囲に制限される。 As described above, the reflector 50, so must by photographing a reflection image of the object 70 to the camera 20, is limited to a certain range position with should be placed reflector 50. そこで、プレイヤーに反射体50を正しい位置に設置させるために、ディスプレイ40に例えば枠線を表示して、カメラ20により撮影された反射体50が枠線の内側に収まるように、反射体50の位置を調節してもらう。 Therefore, in order to install the reflector 50 in position in the player, it is displayed on the display 40 for example frame line, reflector 50 taken by the camera 20 to fit inside the border, of the reflector 50 position get adjusted.

配置確認部140は、カメラ20により撮影されたフレームを参照して、反射体50が適切な位置に設置されたか否かを確認する。 Placement confirmation unit 140 refers to the frame captured by the camera 20, the reflector 50 confirms whether installed in position. 具体的には、反射面領域特定部112により反射体50の両端にあるマーカ56のフレーム内位置が検出され、配置確認部140は、マーカ56の位置が配置指示部142の表示した枠線の内側にあるか否かを判定する。 Specifically, frame positions of the markers 56 at both ends of the reflector 50 is detected by the reflective surface area specifying unit 112, placement confirmation unit 140, the position of the marker 56 is displayed the border arrangement instructing part 142 It determines whether there inside. マーカが枠線の内側にあれば、反射体が適切に配置された旨の表示をディスプレイ40に表示させるとともに、配置指示部142に対して枠線の表示をやめるように指示する。 If the marker is inside the border, an indication that the reflector is properly positioned causes the display 40, an instruction to stop the display of borders with respect to the arrangement instruction section 142. マーカが枠線の内側に入らない限り、三次元定位部110による定位処理を開始しないように構成してもよい。 As long as the marker does not enter the inside of the frame line it may be configured not to start localization processing by the three-dimensional localization unit 110.

次に、図5ないし図8を参照して、本実施形態による三次元位置特定装置を利用したアプリケーションの一例を説明する。 Next, with reference to FIGS. 5 to 8, an example of the application using the three-dimensional localization device according to the present embodiment. このアプリケーションは電卓であり、画面上に表示された電卓のキーの画像をプレイヤーがプッシュすることで、数字を入力できるものである。 This application is a calculator, an image of a calculator key displayed on the screen by the player to push, in which can enter numbers.

図5(a)は、プレイヤー72の操作するオブジェクト70、すなわちプレイヤーの指が、反射体50の第1反射面52の上方に広がる第1進入領域62よりも手前側に位置する状態を示す。 5 (a) is, object 70 operated by the player 72, i.e. the player's finger, showing a state located in front of the first entry region 62 extending above the first reflecting surface 52 of the reflector 50. これは、画像処理装置30で実行されるアプリケーションが、プレイヤーの何らかのアクションを待機している状態である。 This application executed by the image processing apparatus 30, a state of waiting for some action of the player. 図5(b)は、このときディスプレイ40に表示され、プレイヤーにより認識される画面44を示す。 FIG. 5 (b), this time is displayed on the display 40 shows a screen 44 that is recognized by the player. 図示するように、プレイヤー72、オブジェクト70および反射体50の直接像が画面44に表示される。 As shown, the player 72, direct image of the object 70 and the reflector 50 is displayed on the screen 44. 反射面領域特定部112は、フレームからマーカ56を検出することで、反射面領域50'を特定しておく。 Reflective surface area specifying unit 112, by detecting the marker 56 from the frame, should identify the reflective surface area 50 '.

カメラ20および画像処理装置30がスイッチオンされ待機している状態のとき、反射面領域50'のデフォルト画像を記憶しておいてもよい。 A state where the camera 20 and the image processing device 30 is waiting is switched on, it may store the default image of the reflective surface area 50 '. 待機状態では、第1進入領域62および第2進入領域64の上方には背景以外何も存在しない。 In the standby state, above the first entry region 62 and the second entry region 64 nothing exists other than the background. そこで、デフォルト画像を記憶しておくと、第1進入領域62および第2進入領域64にオブジェクトが進入したときの差分を容易に取ることができ、したがって反射面領域内でのオブジェクトの反射像の検出処理がロバストになる。 Therefore, when storing the default image, a difference between when the object enters the first entrance region 62 and a second entry region 64 can take the easier and thus of the reflected image of the object in the reflecting surface area detection process is robust.

従来のフレーム間の動き差分によるオブジェクトの検出方法では、オブジェクトが画面内で静止してしまうと差分がなくなり、何も認識できなくなってしまう。 The method of detecting objects by movement difference between conventional frame, the object will be stationary in the screen disappears difference, nothing becomes unrecognizable. これに対し、本実施形態のように予めデフォルト画像を記憶しておくようにすると、オブジェクトが進入領域に進入した状態のままで静止した場合であっても、静止中も継続してデフォルト画像との差分を得ることができ、したがってオブジェクトの奥行位置を認識し続けることができる。 In contrast, when so stored beforehand default image as in this embodiment, even when stationary in the state in which the object enters the entrance region, a default image be continued during stationary it can be obtained in the difference, thus it is possible to continue to recognize the depth position of the object.

図6(a)は、プレイヤー72の操作するオブジェクト70が第1進入領域62に進入した状態を示す。 6 (a) shows a state in which the object 70 to the player's operation 72 has entered the first entry region 62. 図6(b)は、このときディスプレイ40に表示され、プレイヤーにより認識される画面44を示す。 6 (b) is, at this time is displayed on the display 40 shows a screen 44 that is recognized by the player. オブジェクト70が第1進入領域62に進入したことにより、画面44の第1反射面52に対応する領域に、オブジェクト70の反射像70aが映し出されている。 By object 70 enters the first entrance region 62, the region corresponding to the first reflecting surface 52 of screen 44, the reflected image 70a of the object 70 is displayed. 奥行定位部122は、フレーム間で反射面領域の差分を取ることでこの反射像70aを検出する。 Depth localization unit 122 detects the reflected image 70a by taking the difference of the reflective surface area between the frames.

アクション特定部132は、オブジェクト70が進入領域62に進入したことを知ると、表示制御部134に指示して、電卓アプリケーションを実行するためのアプリケーション画像80をディスプレイ40に表示させる。 Action specifying unit 132 knows that the object 70 enters the entry region 62, and instructs the display control unit 134 to display an application image 80 for executing a calculator application on the display 40. アプリケーション画像80には、数字または記号を入力するための複数のキー領域が含まれる。 The application image 80 includes a plurality of key area for inputting numbers or symbols. アプリケーション画像80は、重畳されるプレイヤーの動作の視認が妨げられないように、線画や半透明であることが好ましいが、不透明の画像であってもよい。 Application image 80, as visible in the operation of the player to be superposed is not hindered, but is preferably a line drawing or a semi-transparent or may be opaque image. また、アクション特定部132は、図示しないアプリケーション実行部に対して、電卓アプリケーションを起動するように指示する。 Moreover, the action specifying unit 132, the application execution unit (not shown), an instruction to start the calculator application. この後、フレーム内定位部114は、マッチングによりオブジェクト70のフレーム内位置を特定することで、オブジェクト70をトラッキングし続ける。 Thereafter, the localization unit 114 frame by identifying the frame position of the object 70 by the matching continues to track the object 70. 図6(b)では、オブジェクト70は、アプリケーション画像80のうち「5」に相当するキーの位置にある。 In FIG. 6 (b), the object 70 is in the position of the key corresponding to "5" in the application image 80.

図7(a)は、第1進入領域62内、すなわち奥行方向に垂直な面内で、プレイヤー72がオブジェクト70を移動させた状態を示す。 7 (a) is within the first entry region 62, i.e. in a plane perpendicular to the depth direction, showing a state where the player 72 has moved the object 70. 図7(b)は、このときディスプレイ40に表示され、プレイヤーにより認識される画面44を示す。 7 (b) is, at this time is displayed on the display 40 shows a screen 44 that is recognized by the player. 図7(b)に示すように、プレイヤー72はオブジェクト70をアプリケーション画像80の「5」の位置から「1」の位置に移動させている。 As shown in FIG. 7 (b), the player 72 is moved to the position of "1" and the object 70 from the position of "5" in the application image 80. これに伴い、オブジェクトの反射像70aの反射面領域内での位置も変化している。 Accordingly, also varies the position on the reflection surface region of the reflected image 70a of the object. しかしながら、オブジェクトが第1進入領域62にあることには変わりないので、アクション特定部132による指示は発生せず、したがってアプリケーション画像80の態様も変化しない。 However, since the object does not change is that in the first entry region 62, indicated by the action specifying unit 132 does not occur, thus does not change aspects of the application image 80. フレーム内定位部114は、アプリケーション画像80のいずれのキーにオブジェクト70があるかをトラッキングし続ける。 Frame localization unit 114 continues to track whether there is an object 70 to which key of the application image 80.

図8(a)は、プレイヤー72の操作するオブジェクト70が、第1進入領域62を越えて第2進入領域64に進入した状態を示す。 8 (a) is the object 70 to the player's operation 72 shows a state that has entered the second entry area 64 beyond the first entry region 62. 図8(b)は、このときディスプレイ40に表示され、プレイヤーにより認識される画面44を示す。 FIG. 8 (b), this time is displayed on the display 40 shows a screen 44 that is recognized by the player. 図8(b)に示すように、オブジェクト70が第2進入領域64にまで進入したことで、反射面領域内の第1反射面52に相当する部分には、第1反射面52による反射像70bが、第2反射面54に相当する部分には、第2反射面54による反射像70aが、それぞれ表示されている。 As shown in FIG. 8 (b), that the object 70 enters to a second entry region 64, portions corresponding to the first reflecting surface 52 of the reflecting surface area, reflected image of the first reflecting surface 52 70b is, portions corresponding to the second reflecting surface 54, the reflected image 70a according to the second reflecting surface 54, are displayed. 奥行定位部122は、フレーム間で反射面領域の差分を取ることで、この反射像70a、70bを検出する。 Depth localization unit 122, by taking the difference of the reflective surface area between frames, the reflected image 70a, detects the 70b.

アクション特定部132は、奥行定位部122からの情報に基づいて、オブジェクト70が第1進入領域62を越えて第2進入領域64にまで移動したことを認識し、オブジェクト70が奥行方向のカメラに向かう側に移動するアクションがプレイヤー72により実行されたと判定する。 Action specifying unit 132, based on information from the depth localization unit 122, recognizes that the object 70 is moved to the second entry area 64 beyond the first entry region 62, the object 70 in the depth direction of the camera action to move toward the side is determined to have been performed by the player 72. これにしたがい、アクション特定部132は、アプリケーション実行部に対して、現在オブジェクト70の存在するフレーム内位置に対応したアプリケーション画像80のキーが入力、すなわちプッシュされたことを伝える。 This according action specifying unit 132, the application execution unit, the presence key application image 80 corresponding to the frame position of the current object 70 is input, i.e., inform the user of the push. これとともに、アクション特定部132は、表示制御部134に対して、現在オブジェクト70の存在するフレーム内位置に対応したアプリケーション画像80のキーの表示態様を変化させるように指令する。 Along with this, the action specifying unit 132, the display control unit 134 instructs to change the current display mode of the presence key application image 80 corresponding to the frame position of the object 70. 図8(b)の例では、オブジェクト70のフレーム内位置に対応するキー「1」の色が変化している(図中の80aを参照)。 In the example of FIG. 8 (b), the color of the key "1" corresponding to the frame position of the object 70 has changed (see 80a in the figure). 表示態様の変化は、色の変化のほか、キーの点滅や点灯、キーの押し込まれた態様などであってもよい。 Changes in the display mode, in addition to the color change, blinking and lighting of the key, may be an aspect that has been pushed into the key. このようにして、プレイヤーはオブジェクトを操作することで電卓アプリケーションに数字を入力することができる。 In this way, the player can enter a number in the calculator application by manipulating the object. 同様に、アプリケーション画像としてキーボードを表示し、ワードプロセッサの入力デバイスとして使用してもよい。 Similarly, to display the keyboard as an application image, it may be used as an input device of a word processor.

この後、プレイヤー72がオブジェクト70を第1進入領域62の位置にまで引き戻すと、アクション特定部132はこのアクションを検出し、アプリケーション画像80の「1」に対応するキーの選択を解除したものと判定する。 Thereafter, when the player 72 is pulled back object 70 to the position of the first entry region 62, the action specifying unit 132 detects this action, and those deselect key corresponding to "1" in the application image 80 judge. アクション特定部132は、表示制御部134に対して、「1」に対応するキーの表示態様を元の状態に戻すように指令する。 Action specifying unit 132, the display control unit 134, instructs to return the display mode of the key corresponding to "1" to the original state.

プレイヤー72がオブジェクト70を第1進入領域62よりさらに手前、すなわち図5(a)の状態に戻すと、アクション特定部132はこのアクションを検出し、プレイヤーが電卓アプリケーションの操作を停止したものと判定する。 Determining player 72 further forward the object 70 from the first entry region 62, that is, return to the state of FIG. 5 (a), the action specifying unit 132 detects this action, as the player stops the operation of the calculator application to. アクション特定部132は、アプリケーション実行部に対して電卓アプリケーションを停止するように伝えるとともに、表示制御部134に対してアプリケーション画像80を非表示にするよう指令する。 Action specifying unit 132, with important to stop the calculator application to the application executing unit instructs to hide the application image 80 to the display control unit 134. こうして、再び図5(b)に示すような画面に復帰する。 Thus, to return to the screen as shown again in Figure 5 (b).

図9は、本実施形態による三次元位置特定装置10において、図5ないし図8で説明したアプリケーションを実行するフローチャートである。 9, the three-dimensional position determination device 10 according to the present embodiment, a flow chart for executing an application described in FIGS. 5-8.

反射体50を適正な位置に設置したのち、カメラ20によるオブジェクト70と反射体50の撮影がなされ、画像取得部102がオブジェクト70の直接像と反射像とを含むフレームを取得する(S10)。 After installing the reflector 50 in the proper position, photographing of the reflector 50 and the object 70 by the camera 20 is performed, the image acquisition unit 102 acquires a frame including a reflection image and direct image of the object 70 (S10). 反射面領域特定部112は、画像反転部104から与えられたフレーム内でマーカ56を検出することで、反射面領域を特定する(S12)。 Reflective surface area specifying unit 112, by detecting the marker 56 within a given frame from the image reversing unit 104, which identifies the reflective surface area (S12). 奥行定位部122は、反射面領域内でフレーム間の差分を検出することで、オブジェクトの奥行方向の位置を特定する(S14)。 Depth localization unit 122, by detecting the difference between frames in the reflective surface area, to identify the depth direction of the position of the object (S14). アクション特定部132は、奥行定位部122からの情報にしたがって、オブジェクト70が第1進入領域62内に進入したか否かを判定する(S16)。 Action specifying unit 132, according to information from the depth localization unit 122 determines whether the object 70 has entered the first entry region 62 (S16). オブジェクト70が第1進入領域62に進入しない限り(S16のN)、アプリケーションは実行されない。 As long as the object 70 does not enter the first entrance region 62 (S16 of N), the application is not executed.

オブジェクト70が第1進入領域62に進入すると(S16のY)、アクション特定部132はアプリケーション実行部に対してアプリケーションを開始するように指示する。 When the object 70 enters the first entrance region 62 (S16 of Y), the action specifying unit 132 instructs to start an application to the application executing unit. また、フレーム内定位部114は、マッチングによりオブジェクトのフレーム内位置を特定し、表示制御部134は、オブジェクトのフレーム内位置に所定のアプリケーション画像を重ね合わせて表示する(S18)。 Further, the localization unit 114 frame, identifies the frame position of the object by matching the display control unit 134 displays superimposed a predetermined application image in the frame position of the object (S18). フレーム内定位部114は、オブジェクト70が第1進入領域62の内部にある限り、オブジェクトのトラッキングを続ける(S20)。 Frame localization unit 114 as long as the object 70 is within the first entry region 62, continue tracking the object (S20). また、奥行定位部122も、第1反射面52および第2反射面54に対応する反射面領域でのフレーム間の差分を検出し、オブジェクトの奥行方向の位置を特定する(S22)。 Further, the depth localization unit 122 also detects a difference between frames on the reflection surface region corresponding to the first reflecting surface 52 and the second reflecting surface 54, identifies the depth direction of the position of the object (S22).

アクション特定部132は、奥行定位部122からの情報にしたがって、オブジェクト70が第2進入領域64内に進入したか否かを判定する(S24)。 Action specifying unit 132, according to information from the depth localization unit 122 determines whether the object 70 enters the second entry area 64 (S24). オブジェクト70が第2進入領域64に進入しない限り(S24のN)、S18〜S22の処理が繰り返される。 As long as the object 70 does not enter the second entry region 64 (S24 of N), the processing of S18~S22 are repeated. オブジェクト70が第2進入領域64に進入すると(S24のY)、アクション特定部132はアプリケーション画像80のキーがプッシュされたと判断し、その情報をアプリケーション実行部および表示制御部134に伝える。 When the object 70 enters the second entry region 64 (S24 of Y), the action specifying unit 132 determines that the key of the application image 80 has been pushed and transmits the information to the application execution unit and a display control unit 134. これに応じて、オブジェクト70のフレーム内位置に応じた処理がアプリケーションにより実行され、またアプリケーション画像80の表示態様が変化する(S26)。 Accordingly, processing in accordance with the frame position of the object 70 is performed by the application, also the display mode of the application image 80 is changed (S26).

以上説明したように、本実施形態では、予め定められた進入領域へのオブジェクトの進入を反射体による反射像を利用して検出することで、プレイヤーによるオブジェクトの押し込みや引き出しといった奥行方向のアクションを検出する。 As described above, in the present embodiment, by detecting by utilizing the reflected image of the entry of an object into a predetermined approach area by the reflector, the action in the depth direction such as pushing or drawer objects by the player To detect. 従来のようなフレーム間差分に基づいたオブジェクトの検出では、奥行方向すなわちカメラの光軸方向に沿ったオブジェクトの移動の検出は非常に困難であったが、本実施形態では、カメラの光軸と交わる方向からの反射像を利用するので、奥行方向のオブジェクトの移動を正確に検出することができる。 In the detection of objects based on the inter-frame difference as in the prior art, although the detection of the movement of the object along the optical axis direction of the depth direction, that the camera has been very difficult, in the present embodiment, the camera and the optical axis since utilizing the reflected image from a direction intersecting, it can accurately detect the movement in the depth direction of the object.

従来のように、オブジェクトの存在するフレーム内位置にキャラクタ等を表示させたり音声を出力するなどの何らかの機能を付与すると、プレイヤーがオブジェクトを動かしている間は常にキャラクタの表示や音声の出力が継続されてしまう。 As in the prior art, when applying some function, such as outputting audio or display the characters and the like in the frame position, always the output of the display and audio character while the player is moving the object continuously in the presence of an object It would be. 他の入力デバイスを併用しない限り、プレイヤーの意志にしたがってそれらの表示や音声をオフすることは困難であった。 Unless combined with other input devices, it is difficult to turn off their display and sound according to the will of the player. これに対し、本実施形態では、オブジェクト70を第1進入領域62と第2進入領域64との間で移動させることによって、特定のアプリケーションの機能のオン、オフや、画像の表示、非表示などの機能の切替を、オブジェクトの操作だけで容易に実現することができる。 In contrast, in the present embodiment, by moving between the object 70 and the first entry region 62 and the second entry region 64, on the function of specific application, off or displaying images, hidden, etc. the switching of function can be easily realized only manipulate objects.

さらに、図5ないし図8を参照して説明したように、本実施形態ではプレイヤーのアクションに複数の意味を持たせることができる。 Further, as described with reference to FIGS. 5 to 8, in the present embodiment can have multiple meanings in the action of the player. つまり、オブジェクト70が第1進入領域62にある間、プレイヤー72によるオブジェクト70の操作は、アプリケーション画像80における「選択(セレクト)」操作に相当する。 That is, while the object 70 is in the first entry region 62, the operation of the object 70 by the player 72 corresponds to "selection (select)" operation in the application image 80. したがって、オブジェクトを移動させることで、アプリケーション画像80内でセレクトされるキーが移動する。 Therefore, by moving the object, the key is the select within the application image 80 moves. そして、所望のキーをセレクトした状態で、プレイヤー72がオブジェクト70をさらに押し込む操作をすると、オブジェクト70が第2進入領域64に進入し、これにより「決定」操作を与えることができる。 Then, while selecting the desired key, when the operation of the player 72 is pushed further object 70, the object 70 enters the second entry region 64, thereby providing a "decision" operation. このように、本実施形態では、オブジェクトのストロークを検出できる点に特徴のひとつがある。 Thus, in the present embodiment, there is one feature that can detect the stroke of the object.

このストロークを活用することで、様々なアプリケーションが考えられる。 By utilizing this stroke, There are various applications. 例えば、手をカメラに向けて押し込む動きをキャッチ、手をカメラから引き出す動きをリリースに対応させると、画面上に出現するキャラクタを手でキャッチしたり、リリースしたりするゲームを実現することができる。 For example, when the correspondence to the release movement to draw the motion to push toward hand to the camera catch, the hand from the camera, or catch by hand characters appearing on the screen, it is possible to realize a game or to release .

また、手をカメラに向けて押し込む動きを特定の機能のオンに、手をカメラから引き出す動きを特定の機能のオフに対応させてもよい。 Also, the motion of pushing towards hand the camera to turn on the particular function may be a movement to draw hands from the camera to correspond to off certain features. これを利用して、例えばペイントソフトにおいて、手を押し込むと画面上に表示されるカーソルの形状が変わり、その状態で手を動かすと画面上に線を書くことが可能になり、また手を引き出すと、カーソルの形状が元に戻り、手を動かしても画面に線が書けなくなる、といった応用も可能である。 By utilizing this, for example, in the paint software, change the shape of the cursor to be displayed on the screen and pushing the hand, it is possible to write a line on the screen and move the hand in the state, also pull out the hand and, return the shape of the cursor is in the original, will not write a line on the screen as moving the hand, such as the application is also possible. 従来の同様のアプリケーションでは、一旦オブジェクトが認識されると、手を動かすたびに線が書かれるような事態になってしまう。 In conventional similar application, once the object is recognized, it becomes situation in line is written each time moving the hand. これに対し、本実施形態によればプレイヤーは簡単なアクションを通して機能のオンオフを容易に使い分けることができる。 In contrast, the player according to the present embodiment can be easily selectively on-off function through simple actions.

実施の形態1では、反射体50が二つの反射面52、54を備えることを述べたが、反射面の数はひとつでも、または三つ以上でもよい。 In the first embodiment, the reflector 50 is said to be equipped with two reflecting surfaces 52 and 54, the number of reflecting surfaces may be even one, or three or more. 反射面がひとつの場合、プレイヤーによるオブジェクトの押し込みや引き出しなどのアクションは特定できないが、少なくともその反射面に対応する進入領域内にオブジェクトが位置するか否かを特定することができる。 If the reflecting surface is one, actions such as pushing or drawer objects by the player is not able to identify, it is possible to identify whether the object enters the region corresponding to at least the reflective surface is positioned. 反射面が三つ以上の場合でも、それぞれに対応して進入領域が設定され、奥行定位部122によって各進入領域にオブジェクトが進入したか否かを判定する点は上述したのと同様である。 Even if the reflecting surface is three or more, are set enters region corresponding to each point to determine whether the vehicle has entered the object in each entry area by depth localization unit 122 is the same as described above. 反射面の数を多くすることで、より複雑なプレイヤーのアクションを識別することが可能になり、したがってより多様な指示をアプリケーションに与えることが可能になる。 By increasing the number of reflecting surfaces, it is possible to identify the action of more complex players, therefore it is possible to provide a more diverse instructs the application.

実施の形態2. The second embodiment.
実施の形態1では、オブジェクトのフレーム内位置に重ねて電卓のアプリケーション画像を表示することを述べたが、実施の形態2では、プレイヤーにより操作可能なキャラクタを表示する例を説明する。 In the first embodiment, it has been described to display the application image calculator superimposed in the frame position of the object, in the second embodiment, an example of displaying an operable character by the player.

図10(a)は、実施の形態2における三次元位置特定装置12の全体構成を示す。 10 (a) shows the overall configuration of a three-dimensional position determination device 12 in the second embodiment. カメラ20、画像処理装置30、ディスプレイ40および反射体50の配置については、実施の形態1と同様である。 Camera 20, an image processing apparatus 30, the arrangement of the display 40 and the reflector 50 are the same as in the first embodiment. 図10(a)では、プレイヤーの操作するオブジェクト76はプレイヤーの手全体である。 In FIG. 10 (a), the object 76 to the player's operation is the entire hand of the player. オブジェクト76が第1進入領域62に進入すると、上述の通り各機能ブロックによる処理がなされ、アクション特定部132がプレイヤーのアクションを特定する。 When the object 76 enters the first entrance region 62, the process passes by each functional block described above is made, the action specifying unit 132 specifies the action of the player.

実施の形態2では、オブジェクト検出部116は、オブジェクト76とマッチングする参照画像として、手の平を開いた状態を表す参照画像と、手の平を閉じた状態を表す参照画像の二つを使用し、いずれかの参照画像とのマッチングを実行する。 In the second embodiment, the object detector 116, as a reference image for matching with the object 76, using a reference image representing a state in which open palm, the two reference image representing the closed state of the palm, or performing matching between the reference image. こうすることで、オブジェクト検出部116は、オブジェクトのフレーム内位置のみならず手の開閉を検出することができる。 In this way, the object detection unit 116 can detect the opening and closing of the hand not only intraframe position of the object. アクション特定部132は、表示制御部134に対して、手の平が開いた状態のときは、口を開いたキャラクタ画像をオブジェクトのフレーム内位置に表示し、手が閉じた状態のときは、口を閉じたキャラクタ画像をオブジェクトのフレーム内位置に表示するように指令する。 Action specifying unit 132, the display control unit 134, when the state in which the palm is open, displaying the character image that opened the mouth frame position of the object, when the state in which the hand is closed, the mouth command to to display the closed character image in the frame position of the object.

図10(b)は、図10(a)に状態に対応したキャラクタ画像82が表示された状態の画面44を示す。 10 (b) shows a screen 44 in a state where the character image 82 corresponding to the state in FIG. 10 (a) is displayed. 図10(a)においてオブジェクト76である手は閉じられているので、図10(b)では口を閉じたキャラクタ画像82がオブジェクト76に重ねて表示される。 Since the hand is an object 76 is closed in FIG. 10 (a), the character image 82 closing the mouth in FIG. 10 (b) is displayed over the object 76.

図11(a)に示すように、プレイヤー72が第1進入領域62内でオブジェクト76である手を開くと、オブジェクト検出部116により手を開いた状態が検出される。 As shown in FIG. 11 (a), the player 72 is open hand, which is an object 76 in the first entry region 62, is opened the hand by the object detection unit 116 is detected. これに応じて、図11(b)に示すように、口を閉じたキャラクタ画像82がオブジェクト76に重ねて表示される。 In response to this, as shown in FIG. 11 (b), character image 82 mouth closed is displayed over the object 76.

アクション特定部132は、音声出力部36に対して、キャラクタの口の変化に合わせて音声を出力させてもよい。 Action specifying unit 132, the audio output unit 36 ​​may be output a sound in accordance with the change of the mouth of the character. 例えば、口を閉じた状態のときは音声を発せず、口を開いたときに音声を発するようにしてもよい。 For example, when the closed state of the mouth does not emit sound, you may be issued a sound when you open the mouth. これによって、プレイヤーが第1進入領域62内で手を開閉させることで、キャラクタをしゃべらせるアプリケーションを実現できる。 Thus, by the player to open and close the hand in the first entry region 62 can be realized an application to speak the character.

オブジェクト検出部116は、手を閉じた状態から手を開くまでの複数段階の参照画像を有しており、それらを用いたマッチングにより手の開き具合を検出するようにしてもよい。 Object detector 116 has a reference image of a plurality of steps from the closed state of the hand until opening the hand, they may be used to detect the degree of opening of the hand by matching using. この場合、アクション特定部132は、手の開き具合に応じてキャラクタ画像の口の開度を変えるように表示制御部134に指示してもよい。 In this case, the action specifying unit 132 may instruct the display control unit 134 to change the opening of the mouth of the character image in accordance with the degree of opening of the hand. また、アクション特定部132は、キャラクタの口の開度に応じて、音声の大きさ、音の高さ、声色を変えるよう音声出力部36に指示してもよい。 Moreover, the action specifying unit 132, in accordance with the degree of opening of the mouth of the character, the size of the sound, the sound level may instruct the sound output unit 36 ​​so as to change the tone of voice. この場合、図示しない音声データ格納部に複数の音声データを準備しておき、音声出力部36は、アクション特定部132からの指示に応じて適切な音声データを検索して出力する。 In this case, previously preparing a plurality of audio data to the audio data storage unit (not shown), an audio output unit 36, and outputs the search for appropriate audio data according to an instruction from the action identification unit 132.

実施の形態2においても、第1進入領域62と第2進入領域64とを特定の機能のオンオフに利用してもよい。 Also in the second embodiment may be utilized with the first entry region 62 and a second entry region 64 on and off certain features. 一例として、オブジェクト76が第1進入領域62に進入するとキャラクタ画像82の表示が開始され、オブジェクト76が第2進入領域64に位置するときにのみ、手の開閉に合わせて音声が発せられるようにしてもよい。 As an example, the object 76 is displayed the start of the character image 82 when entering the first entrance region 62, only when the object 76 is positioned at the second entry region 64, to emanate the sound in accordance with the opening and closing of the hand it may be. オブジェクト76が第1進入領域62に位置するときにプレイヤー72がオブジェクト76である手を開閉させても、画面内のキャラクタ画像82の口は動作に合わせて開閉されるが音声は発せられない。 Even players 72 to open and close the hand is an object 76 when the object 76 is positioned at the first entry region 62, the mouth of the character image 82 of the screen but is opened and closed in accordance with the operation sound is not emitted.

キャラクタ画像を重ね合わせるオブジェクトは、プレイヤー72の他の身体の一部、例えば口であってもよい。 Objects of overlapping character image, a part of the other body of the player 72, may be, for example, the mouth. 図12(a)、(b)はその様子を示す。 Figure 12 (a), (b) shows such a state. カメラ20により撮影されたフレーム内で、オブジェクト検出部116がプレイヤーの唇78をマッチングにより検出してフレーム内位置を特定する。 In frames taken by the camera 20, the object detection unit 116 specifies the position within the frame is detected by matching the lip 78 of the player. また、オブジェクト検出部116は、複数の参照画像を用いてマッチングを実行することで、口の開度を検出する。 Further, the object detecting unit 116, by executing matching by using a plurality of reference images to detect the mouth opening. 表示制御部134は、プレイヤーの唇に重ね合わせて、上唇および下唇の形状をしたキャラクタ画像84を表示する。 The display control unit 134 superimposes the player's lips, and displays the character image 84 in the form of upper lip and lower lip. 表示制御部134は、開度に応じてキャラクタ画像84の上下唇間の間隔を変更する。 The display control unit 134 changes the spacing between the upper and lower lips of the character image 84 in accordance with the opening degree.

アクション特定部132は、口の開閉タイミングに合わせて音声を出すように、音声出力部36に指令する。 Action specifying unit 132, to emit a sound in accordance with the opening and closing timing of the mouth, it instructs the audio output unit 36. これを利用して、プレイヤーの声と異なる声、例えば動物の鳴き声、著名な人物の声などを、プレイヤーの口の動きに合わせて出力するようなアプリケーションを実現できる。 Using this, voice different from the player's voice, for example, animal sounds, and voices of famous person can achieve an application that outputs in accordance with the movement of the player's mouth.

プレイヤーの鏡面画像と重ならない位置に別のキャラクタ画像を表示させて、このキャラクタが口を動かす様子をまねしてプレイヤーが口を動かすようなアプリケーションとしてもよい。 To display another character image in a position that does not overlap with the mirror image of the player, the player the character to imitate how to move the mouth may be applications such as moving the mouth. キャラクタの口の動きに合わせることができると、キャラクタの声が出力されるようにしてもよい。 If it is possible to match the mouth movements of the character, it may be the voice of the character is outputted.

図12の例では、一旦プレイヤーの口がオブジェクト検出部116により検出されると、それ以降プレイヤーが口を動かすたびに音声が出力されてしまう。 In the example of FIG. 12, once the player's mouth is detected by the object detection unit 116, the player later would be output sound each time to move the mouth. そこで、反射体50を用いた奥行定位を利用して、プレイヤーの手や指などのオブジェクトが第1進入領域62または第2進入領域64に存在するときにのみ、音声が出力されるようにしてもよい。 Therefore, by using the depth Localization using reflectors 50, objects such as players hand or finger only when present in the first entry region 62 or the second entry area 64, as sound is output it may be. あるいは、上述したように、オブジェクトが第1進入領域62に進入するとプレイヤーの口に重ねたキャラクタ画像の表示が開始され、オブジェクトが第2進入領域64に進入すると、プレイヤーの口の動きに合わせた音声の出力が開始されるようにしてもよい。 Alternatively, as described above, the object is displayed character image superimposed on the mouth of the player when entering the first entrance region 62 is started, the object when enters the second entry region 64, tailored to the movement of the player's mouth may be the output of the sound is started. このように、本発明では、奥行位置の特定はマッチングによらず、フレーム間で反射面領域の差分を取ることによって行われるため、奥行定位に用いるオブジェクトと、マッチングによりフレーム内位置を特定するオブジェクトとが別々のものであってもよい。 Object Thus, in the present invention, a specific depth position regardless of the matching to be done by taking the difference of the reflective surface area between frames, to identify the object using the depth localization frame in position by matching preparative may be one separate. したがって、反射体を用いた奥行定位を、オブジェクトのマッチングを利用した特定の機能をオンオフするためのスイッチとしてのみ使用することができる。 Therefore, the depth Localization using reflector, can be used only as a switch for turning on and off a specific function using the matching object.

実施の形態3. Embodiment 3.
実施の形態1および2では、二つの反射面を奥行方向に離間して配置した反射体50を用いてオブジェクトの三次元位置を特定する技術を説明した。 In the first and second embodiments it has been described a technique for identifying the three-dimensional position of the object using the reflector 50 which is spaced two reflecting surfaces in the depth direction. 実施の形態1および2では、オブジェクトのフレーム内位置を特定するために、参照画像を用いたマッチングを実行する。 In the first and second embodiments, in order to identify the frame position of the object, it executes matching using a reference image. このため、参照画像記憶部120には、予めオブジェクトの参照画像を記憶させておく必要がある。 Therefore, the reference image storage unit 120, it is necessary to store a reference image in advance objects. 参照画像を予め記憶させておいてもよいが、プレイヤーの身体の一部をオブジェクトとして用いる場合には、認識精度を高めるために、プレイヤー毎にオブジェクトの参照画像を取得することが望ましい。 Reference image may be stored in advance. However, when using a part of the player's body as an object, in order to increase the recognition accuracy, it is desirable to obtain a reference image of an object for each player.

そのため、従来技術では、アプリケーションの実行前に所定の画面を表示して、プレイヤーに対しオブジェクトをカメラにより撮影させる操作を促すことで、オブジェクトの参照画像を取得することが行われている。 Therefore, in the prior art, to display a predetermined screen prior to the execution of the application, by prompting an operation for photographing by a camera object to players, it has been performed to obtain a reference image of an object. しかしながら、これはプレイヤーに無駄な動作をさせるばかりか、ゲームなどのアプリケーションを速やかに実行できないという問題がある。 However, this is a problem that can not be just one, quickly run an application such as a game to the unnecessary operation to the player.

そこで、実施の形態3では、事前にオブジェクトの参照画像を保持することなく、オブジェクトの三次元定位と同一の構成を用いてオブジェクトの参照画像を取得する技術について説明する。 Therefore, in the third embodiment, without prior holds a reference image of an object, a technique for obtaining a reference image of the object will be described with reference to three-dimensional localization of the same configuration of the object. これによって、プレイヤーはカメラ、ディスプレイ、反射体の設置後に速やかにアプリケーションの実行に移ることができる。 Thus, the player can move the camera, a display, promptly applications run after installation of the reflector.
実施の形態1および2で用いた、奥行方向に離間して配置された二枚の反射面を備える反射体の代わりに、実施の形態3では、それぞれの面の法線がオブジェクトの存在する側で交差するように角度を付けられオブジェクトを同時に反射する第1反射面と第2反射面とを備える反射体を用いる点が異なる。 Used in the first and second embodiments, instead of the reflector with a two reflective surfaces which are spaced apart in the depth direction, in the third embodiment, the side of the normal line of the respective surfaces exist in the object in that it uses a reflector having simultaneously a first reflection surface and the second reflecting surface for reflecting objects angled to intersect different.

図13は、実施の形態3に係る三次元位置特定装置14を示す。 Figure 13 shows a three-dimensional localization device 14 according to the third embodiment. 図14は、図13に示す状態で、ディスプレイ40に表示されプレイヤーから認識される画面44を示す。 Figure 14 is a state shown in FIG. 13 shows a screen 44, which is recognized from the player is displayed on the display 40. 図15は、反射体170の奥行方向すなわちz方向に垂直な平面の断面図である。 Figure 15 is a cross-sectional view of a plane perpendicular to the depth direction or z-direction of the reflector 170.

図13中、カメラ20、画像処理装置30およびディスプレイ40の基本的な機能および配置については、図1で説明したのと同様である。 In Figure 13, the camera 20, the basic features and arrangement of the image processing apparatus 30 and the display 40 are the same as described in FIG. 三次元位置特定装置14では、反射体170の構成が実施の形態1と異なる。 In the three-dimensional position determination device 14, different configurations of the reflector 170 in the first embodiment. 反射体170は、第1反射面172と第2反射面174を有する。 Reflector 170 has a first reflecting surface 172 and the second reflecting surface 174. 図15に示すように、第1反射面172と第2反射面174は、それぞれの面の法線172d、174dがオブジェクトの存在する側で交差するように角度を付けられ、オブジェクトの二つの反射像を同時にカメラ20に向けて反射するように配置される。 As shown in FIG. 15, a first reflecting surface 172 second reflecting surface 174, normal to the respective surfaces 172d, 174d are angled to intersect with the side of the object exists, two reflective objects It is arranged so as to reflect toward simultaneously the camera 20 images.

図14に示すように、第1反射面172と第2反射面174は、奥行方向に並べられた複数の短冊状の反射面178a〜178dで構成される。 As shown in FIG. 14, a first reflecting surface 172 second reflective surface 174 includes a plurality of strip-shaped reflecting surface 178a~178d arranged in the depth direction. 図14では、ひとつの反射面が4つの短冊状反射面で構成されている。 In Figure 14, one of the reflecting surface is composed of four strip-like reflection surface. 反射体170の長軸方向の両端には、反射体50と同じように識別用のマーカ176も設けられる。 The long axis direction of the both ends of the reflector 170, is also provided a marker 176 for identification like reflector 50.

第1反射面172および第2反射面174は、反射体50と同じく鏡や鏡面加工を施した金属、プラスチック、金属を蒸着させたガラスなどで構成されてもよいが、微小なプリズムを平面的に配置してなる平面上のマイクロプリズムミラーで構成されることが好ましい。 The first reflecting surface 172 and the second reflecting surface 174, a metal subjected to same mirror or mirror finish and the reflector 50, a plastic, metal or the configured of glass obtained by vapor deposition but, planar micro prisms it is preferably a micro prism mirror on a plane formed by arranging the. 反射面をマイクロプリズムミラーで構成することで、反射体170の厚みを抑えることができ、設置が容易で省スペースとなる。 A reflective surface by a micro prism mirror, it is possible to suppress the thickness of the reflector 170, a space-saving and easy to install.
なお、図13および図15では、反射の方向を分かりやすくするために第1反射面172、第2反射面174、および短冊状反射面178a〜178dに角度を付けて描いたが、実際にはマイクロプリズムミラーはほぼ平面でもこのような反射角を付けることができる点に注意されたい。 In FIG 13 and FIG 15, the first reflecting surface 172 in order to facilitate understanding of the direction of the reflection, the second reflecting surface 174, and it has been drawn at an angle to the strip-like reflection surface 178A~178d, actually microprism mirrors should be noted that it is also possible to add such a reflection angle substantially planar.

第1反射面172と第2反射面174とを角度を付けて配置させたために、図14に示すように、カメラ20から出力されるフレームには、第1反射面172によるオブジェクトの反射像70cと、第2反射面174によるオブジェクトの反射像70dの二つが現れることになる。 To were disposed at an angle with the first reflecting surface 172 and a second reflecting surface 174, as shown in FIG. 14, the frame output from the camera 20, a reflection image 70c of the object by the first reflecting surface 172 If, so that the two reflected image 70d of the object according to the second reflecting surface 174 appears. つまり、オブジェクト70が複数のカメラによりステレオ撮影されたのと同様の状態になる。 In other words, the same state as the object 70 is stereographic image capturing by the plurality of cameras. したがって、周知のステレオ撮影の技術を用いて、二つの反射像70c、70dからオブジェクト70の三次元位置を特定することが可能である。 Therefore, using techniques well known stereo imaging, it is possible to identify the three-dimensional position of the object 70 from the two reflection images 70c, 70d.

図16は、実施の形態2における画像処理装置30の構成を示す。 Figure 16 shows a configuration of an image processing apparatus 30 according to the second embodiment. 画像取得部102、画像反転部104、配置確認部140、配置指示部142およびオンスクリーン表示部144の機能については、図4と同様であるので説明を省略する。 Image acquisition unit 102, an image inverting unit 104, placement confirmation unit 140, the function of the arrangement instructing part 142 and the on-screen display unit 144 will be omitted because it is similar to FIG. 4.

反射面領域特定部112は、画像反転部104から受け取ったフレーム内で、マーカ176の位置をもとに反射面領域を特定する。 Reflective surface area specifying unit 112, in the frame received from the image reversing unit 104, identifies the reflective surface area based on the position of the markers 176.

フレーム内定位部114は、オブジェクト検出部116に加えてステレオ画像解析部118を含む。 Frame localization unit 114 includes a stereo image analysis unit 118 in addition to the object detection unit 116. ステレオ画像解析部118は、反射面領域特定部112で特定された反射面領域における二つの反射像70c、70dを用いて、既知の技術にしたがってオブジェクト70のフレーム内位置を特定する。 Stereo image analysis unit 118, the two reflection images 70c on the reflecting surface area specified by the reflection surface area specifying unit 112, with reference to 70d, identifies the frame position of the object 70 in accordance with known techniques. 反射像70c、70dが反射された位置と、反射像70c、70dの大きさの違いから、オブジェクト70のフレーム内位置を大まかに決定することができる。 Reflection image 70c, and 70d are reflected position, the reflection image 70c, the difference in size of the 70d, it is possible to roughly determine the frame position of the object 70.

参照画像記憶部120は、ステレオ画像解析部118により特定されたオブジェクト70のフレーム内位置を中心とする所定範囲の画像をフレームから切り出し、参照画像として記憶する。 Reference image storage unit 120 cuts out an image of a predetermined range centered on frame position of the object 70 identified by the stereo image analysis unit 118 from the frame and stored as a reference image. 図15に示すように、オブジェクト70は、フレーム内で、オブジェクト70の二つの反射像がある場所から伸ばした第1反射面172および第2反射面174の法線が交わる位置付近にあるはずである。 As shown in FIG. 15, the object 70, within the frame, should be in a position near the normal of the first reflecting surface 172 and the second reflecting surface 174 is extended from the location of the two reflection images of the object 70 intersects is there. そこで、図15の円180に相当するフレーム内の領域を切り出すことで、オブジェクトの参照画像を取得することができる。 Therefore, by cutting out the area within the frame corresponding to the circle 180 in FIG. 15, it is possible to obtain a reference image of an object.

反射像のステレオ画像により決定されるオブジェクトのフレーム内位置の精度はさほど高くないが、検出対象のオブジェクトより広い範囲の画像を切り出すことによって、この精度の低さをカバーすることができる。 Although the accuracy of the frame position of the object which is determined by the stereo image of the reflected image is not so high, by cutting out an image of wider range of objects to be detected, it is possible to cover this low accuracy. 参照画像を切り出す範囲の大きさは、実験を通じて適正値を定めればよい。 Size range for cutting out the reference image may be determined to an appropriate value through experiment. ステレオ画像解析部118は、この所定範囲の画像を参照画像として参照画像記憶部120に記憶する。 Stereo image analysis unit 118 stores the reference image storage unit 120 an image of the predetermined range as a reference image.

これら一連の処理が終わると、オブジェクト検出部116は、参照画像記憶部120内の参照画像を使用して、オブジェクト70のフレーム内定位およびトラッキングを実行できるようになる。 When these series of processes is finished, the object detection unit 116 uses the reference image in the reference image storage unit 120, it becomes possible to perform the frame prospective position and tracking objects 70.

奥行定位部122は、複数の短冊状反射面178a〜178dのうち、いずれの反射面にオブジェクト70の反射像70c、70dが反射しているかをフレーム間の差分に基づいて検出することによって、オブジェクト70の奥行方向の位置を特定することができる。 Depth localization unit 122, among the plurality of strip-like reflection surface 178A~178d, by detecting based reflection image 70c of the object 70 to any of the reflecting surface, or 70d is reflected by the difference between frames, object it is possible to specify the depth position of 70.

図17は、実施の形態3において、図5ないし図8で示したのと同様の電卓アプリケーションを実行する手順を示すフローチャートである。 17, in the third embodiment, is a flowchart illustrating a procedure for performing the same calculator application to that shown in FIGS. 5-8.

反射体170を適正な位置に設置したのち、カメラ20によるオブジェクト70と反射体170の撮影がなされ、画像取得部102がオブジェクト70の直接像と反射像とを含むフレームを取得する(S40)。 After installing the reflector 170 in the proper position, photographing of the reflector 170 and the object 70 by the camera 20 is performed, the image acquisition unit 102 acquires a frame including a reflection image and direct image of the object 70 (S40). 反射面領域特定部112は、画像反転部104から与えられたフレーム内でマーカ176を検出することで、反射面領域を特定する(S42)。 Reflective surface area specifying unit 112, by detecting the marker 176 within a given frame from the image reversing unit 104, which identifies the reflective surface area (S42). 反射面領域特定部112は、オブジェクト70の反射像との差分を取るためのデフォルト画像として、オブジェクト70が進入領域182に進入してくる前に、反射面領域の画像を取得しておいてもよい。 Reflective surface area specifying unit 112, the default image for calculating the difference between the reflected image of the object 70, before the object 70 comes to enter the entrance region 182, also should obtain an image of the reflective surface area good. 奥行定位部122は、反射面領域内でフレーム間の差分を検出することで、進入領域182内にオブジェクトが進入したことを検知する。 Depth localization unit 122, by detecting the difference between frames in the reflective surface area, it is detected that the object has entered the approach area 182. これに応じて、ステレオ画像解析部118は、反射面領域特定部112で特定された反射面領域に映し出されている二つのオブジェクトの反射像70c、70dに基づいて、オブジェクト70のフレーム内での大まかな位置を特定する(S44)。 In response, the stereo image analysis unit 118, the reflection image 70c of the two objects that are displayed on the reflective surface area specified by the reflection surface area specifying unit 112, based on the 70d, in the frame of the object 70 specifying the rough position (S44). ステレオ画像解析部118は、特定したフレーム内位置を中心とする所定範囲180内の画像を、マッチングに用いるための参照画像としてフレームから切り出し、参照画像記憶部120に格納する(S46)。 Stereo image analysis unit 118, an image within a predetermined range 180 around the specified frame location, cut out from the frame as a reference image for use in matching, stored in the reference image storage unit 120 (S46). これ以降は、図9のS14以降と同様であり、フレーム内定位部114は、参照画像記憶部120に格納された参照画像を使用してオブジェクトのフレーム内位置を特定し、奥行定位部122は、反射面領域内でフレーム間の差分を検出することで、オブジェクトの奥行方向の位置を特定する。 Since this is similar to the S14 and subsequent FIG. 9, the localization unit 114 frame and a reference image stored in the reference image storage unit 120 identifies the frame position of the object, the depth localization unit 122 , by detecting the difference between frames in the reflective surface area, to identify the depth direction of the position of the object.

ステレオ画像解析部118によるオブジェクトのフレーム内位置の特定が正確に行えなかった場合、参照画像の切り出しが不適切になり、オブジェクト検出部116のマッチングによるオブジェクトの検出ができないことになる。 If the stereo image analysis unit 118 a specific frame position of objects by can not be performed correctly, cut the reference image becomes inadequate, so that can not be detected objects by matching the object detection unit 116. この場合、プレイヤーに対して再度オブジェクトの切り出しを実行することを通知してもよい。 In this case, it may be notified to perform the cut of the object again to the player.

以上説明したように、実施の形態3によれば、オブジェクトの存在する側でそれぞれの法線が交わるように角度を付けた第1反射面と第2反射面とを備える反射体を用いることで、オブジェクトの反射像のステレオ画像を取得する。 As described above, according to the third embodiment, by using a reflector and a first and second reflecting surfaces angled so that the respective normals intersect in the side of the object exists to obtain a stereo image of the reflected image of the object. 反射面領域における背景のデフォルト画像とオブジェクトが進入したときの画像との差分を検出することで、参照画像を切り出すためのオブジェクトのステレオ画像を取得するタイミングを計ることができる。 By default image and the background object in the reflecting surface area to detect a difference between the image when entering stereo image of an object for cutting out the reference image can measure the timing of acquiring the. また、デフォルト画像を記憶しておくことで、差分検出のロバスト性も高くなる。 Further, by storing the default image, the higher robustness of the difference detection. ステレオ画像を解析することで、オブジェクトのマッチングを実行しなくてもオブジェクトのフレーム内の大まかの位置を特定できるため、その部分を参照画像として取り出すことができる。 By analyzing a stereo image, it is possible to identify a rough location within the frame of objects without performing the matching object, it is possible to take out the part as a reference picture.

このように、参照画像を切り出す段階で、プレイヤーによる参照画像を記憶させる動作を省略されるので、迅速なアプリケーションの開始に寄与する。 Thus, at the stage of cutting out the reference picture, since it is omitted the operation of storing the reference image by the player, which contributes to the initiation of rapid application. 言い換えると、プレイヤーに特定の動作を強制することがなく、参照画像を取得する手順をプレイヤーから見えなくしている。 In other words, the invisible without forcing a particular operation to a player, the procedure for acquiring a reference image from the player. 参照画像を切り出した後は、マッチングによりオブジェクトのフレーム内位置を高精度に検出する。 Was cut out reference image, detects a frame in position of the object with high precision by matching. このように、迅速なアプリケーションの開始と、マッチングによる位置精度の高さとを両立させた点が、実施の形態3の特徴のひとつである。 Thus, starting and rapid application, the point that combines the height position accuracy of the matching, which is one of the features of the third embodiment.

上述の反射体170を使用すれば、カメラで撮影されたフレーム内にオブジェクトの直接像がなくても反射像のみでオブジェクトの三次元位置を特定することができる。 With reflector 170 described above, it can be even without direct image of an object in the frame captured by the camera to identify the three-dimensional position of an object in only the reflection image. しかしながら、実施の形態3では、フレーム内定位の精度を高めるために、参照画像の切り出しに成功した後は、参照画像を用いたマッチングによりオブジェクトのフレーム内位置を特定している。 However, in the third embodiment, in order to increase the accuracy of the frame nomination position, after successful extraction of the reference image, and identifies the frame position of the object by matching using the reference image.

反射体170の短冊状反射面の数を増やして、奥行方向のオブジェクト移動の検出精度を高めることで、より複雑なアプリケーションを実現できる。 Increase the number of strip-shaped reflecting surface of the reflector 170, it enhances the detection accuracy of the object moving in the depth direction, it is possible to realize a more complex applications. 一例として、バーチャル手術が考えられる。 As an example, virtual surgery can be considered. 液晶立体ディスプレイに手術部位の三次元画像を表示させ、プレイヤーはメスなどの手術用具の代わりに棒状のオブジェクトを手で持って操作する。 To display a three-dimensional image of the surgical site on the liquid crystal stereoscopic display, the player manipulates by hand the rod-shaped objects instead of surgical instrument such as a scalpel. 三次元定位部110によってオブジェクトの三次元位置を特定し、その位置に応じて、液晶立体ディスプレイに表示される手術部位の三次元画像を変化させる。 By the three-dimensional localization unit 110 specifies the three dimensional position of the object, depending on its position, to change the three-dimensional image of the surgical site displayed on the liquid crystal stereoscopic display. 一例として、オブジェクトをある方向に動かしたときに手術部位が切開されるといった画像を表示する。 As an example, to display an image such as the surgical site is incised when you move in a certain direction objects. このとき、オブジェクトの複数箇所にLEDを搭載しておき、オブジェクトを移動させたときのLEDの軌跡をフレーム内で検出して、オブジェクトの動きベクトルを求めてもよい。 At this time, previously equipped with a LED to a plurality of locations of the object, the trajectory of the LED when moving objects are detected in a frame may be determined motion vector of the object. こうすることで、後述する実施の形態4を利用して、オブジェクトの動きと同期させて所定の効果音をスピーカから出力させることも可能である。 In this way, by using the fourth embodiment described below, it is also possible to synchronize the movement of the object to output a predetermined sound effect from the speaker.

反射面としてマイクロプリズムミラーを用いれば、鏡の凹凸面の曲率を制御することで、画角を調節できる。 The use of micro-prism mirror as a reflective surface, by controlling the curvature of the concave-convex surface of the lens, can be adjusted angle. したがって、オブジェクトの進入を判定するための進入領域は、図13で示したような反射面の垂直上方に限られず、扇状に広げることもできるし、逆に狭めることも可能である。 Therefore, entry area for determining the entry of the object is not limited to vertically above the reflective surface as shown in FIG. 13, can either be spread in a fan shape, it is also possible to narrow reversed. 進入領域を広げれば、位置精度は低下するものの、オブジェクトの奥行方向の移動を検出可能な範囲を広くすることができる。 We should widen the entry region, the positional accuracy although reduced, it is possible to widen the detectable range of the movement in the depth direction of the object.

実施の形態4. Embodiment 4.
実施の形態1ないし3において、反射体を用いてプレイヤーにより操作されたオブジェクトの三次元位置を特定し、これによってアクションを特定してアプリケーションの機能を働かせることを述べた。 In the first to third embodiments, by using a reflector to identify the three-dimensional position of an object operated by the player, it said exerting the function of the application thereby identifying the action. これらは、いずれも画面に表示されたアプリケーション画像の表示態様を変化させることで、アクションが認識され特定の機能が有効または無効になったことをプレイヤーに知らしめることができる。 These are all by changing the display mode of the display application image on a screen, the action is recognized may notify the player that specific functions are enabled or disabled.

しかしながら、ディスプレイ内のアプリケーション画像の表示態様の変化を通した視覚的通知のみならず、アクションに応じた音声をスピーカから出力すれば、プレイヤーに対し聴覚的にも知らせることができ有利である。 However, not only visual notification through a change of the display mode of the application image in the display, if the output audio corresponding to the action from the speaker, it is advantageous can inform also audible to the player. この場合、オブジェクトの画像による認識後に音声を出力すると、視覚を通じたプレイヤーの認識とプレイヤーが音声を聞くタイミングとがずれてしまうことが起こり得、プレイヤーに対して違和感を与えてしまう恐れがある。 In this case, when outputting the speech after recognition by the image of an object, it is can occur recognition and the player of the player through visual deviates and the timing hear the voice, there is a possibility that feel uncomfortable to the player. そこで、実施の形態4では、画像処理によってオブジェクトの速度ベクトルを検出し、オブジェクトが仮想的なまたは現実の接触面に到達するまでの予想移動時間を算出し、オブジェクトが接触面に到達する前に音声の出力を実行する技術について説明する。 In the fourth embodiment, to detect the velocity vector of the object by image processing to calculate the predicted travel time until the object reaches the contact surface of the imaginary or real, before the object reaches the contact surface described techniques to perform the output of the audio.

図18は、実施の形態4に係る三次元位置特定装置16の構成を示す。 Figure 18 shows a configuration of a three-dimensional position determination device 16 according to the fourth embodiment. 図中、カメラ20、画像処理装置30、ディスプレイ40および反射体170は、図13に示したものと同様である。 Drawing, the camera 20, the image processing apparatus 30, a display 40 and the reflector 170 is the same as that shown in FIG. 13. ここでは、図5ないし図8を参照して説明した電卓アプリケーションを考えるものとする。 Here, to be considered a calculator application described with reference to FIGS.

プレイヤー72がオブジェクト70を操作する。 Player 72 operates the object 70. 奥行定位部122は、オブジェクト70が短冊状反射面178dに対応する進入領域に進入したことを検出し、アクション特定部132がオブジェクト70のカメラ方向への移動を特定して、アプリケーション実行部および表示制御部134にその旨を伝える。 Depth localization unit 122 detects that the object 70 enters the entry region corresponding to the strip-like reflection surface 178d, the action specifying unit 132 identifies a movement in the camera direction of the object 70, the application execution unit and a display communicate the fact to the control unit 134. これによって、上述したように、アプリケーション画像のセレクトされた領域の表示態様が変化し、電卓アプリケーションにセレクト領域に対応する数字が入力される。 Thus, as described above, the display mode of the select areas of the application image is changed, the number corresponding to the select area calculator application is input.

実施の形態4では、このアプリケーション画像の表示態様の変化とともに、所定の効果音をスピーカ42から出力させる。 In the fourth embodiment, with the change of the display mode of the application image, to output a predetermined sound effect from the speaker 42. プレイヤー72は、アプリケーション画像の表示態様の変化とともに音声を聞くことで、オブジェクトを介してアプリケーションを操作している感覚をより強く持つことができる。 Players 72, by listening to the sound with the change of the display mode of the application image can have a stronger sense of the application is being operated through an object. また、図18に示す、短冊状反射面178dに対応する部分に仮想的な接触面(想定接触面)Wが存在していることを意識させることができる。 Further, it is possible to realize that virtual contact surface (assuming the contact surface) W is present in the portion shown in FIG. 18, corresponding to the strip-like reflection surface 178d.

図19は、実施の形態4に係る画像処理装置30内の画像連携音声制御部150の構成を示す。 Figure 19 shows a configuration of an image coordination voice control unit 150 in the image processing apparatus 30 according to the fourth embodiment. これら機能ブロックも、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せにより実現できることは明らかである。 These functional blocks may, will be obvious that the same may be implemented in hardware, software, firmware, or a combination thereof. 以下、図18をともに参照して、各機能ブロックについて説明する。 Referring both to FIG. 18, a description will be given of each functional block.

速度ベクトル算出部160は、カメラ20により撮影されたフレームを使用して、プレイヤー72の操作するオブジェクト70が想定接触面Wに向かう動作の速度ベクトルを計算する。 Velocity-vector calculating unit 160, using the frame captured by the camera 20, the object 70 to the player's operation 72 calculates the velocity vector of the operation towards the assumed contact surface W. 具体的には、複数のフレーム間での反射像の差分に基づいてオブジェクトの速度ベクトルを算出する。 Specifically, to calculate the velocity vector of the object based on the difference of the reflected image between a plurality of frames. 奥行定位部122により短冊状反射面178aに対応する進入領域にオブジェクト70が進入したと判定されたフレームと、短冊状反射面178bまたは178cに対応する進入領域にオブジェクトが進入したと判定されたフレーム間の時間差tfを、カメラ20のフレームレートを参照して計算する。 Frame object 70 enters region is determined and the frame determined to have been entered, the object enters the region corresponding to the strip-like reflection surface 178b or 178c enters the by depth localization unit 122 corresponding to the strip-like reflection surface 178a a time difference tf between, calculated by reference to the frame rate of the camera 20. また、短冊状反射面178aと、短冊状反射面178bまたは178cの間の距離をlsとすると、速度ベクトル算出部160は、オブジェクトの70の奥行方向すなわちz方向の速度vをv=ls/tfにより算出する。 Further, a strip-shaped reflecting surface 178a, and the distance between the strip-like reflection surface 178b or 178c and ls, the velocity-vector calculating unit 160, the 70 in the depth direction or z-direction of the velocity v of the object v = ls / tf It is calculated by.

移動時間算出部156は、速度vと、オブジェクトと想定接触面Wの距離liとを用いて、オブジェクト70が想定接触面Wに到達するまでの移動時間tm=li/vを算出する。 Travel time calculating unit 156, a velocity v, by using the distance li assumptions contact surface W with the object, it calculates the travel time tm = li / v to the object 70 reaches the assumed contact surface W.

遅延時間取得部154は、プレイヤーから離間して配置されたスピーカ42から発せられた音声がプレイヤー72に到達するまでの遅延時間tdを取得する。 Delay time acquiring unit 154, the voice emitted from the speaker 42 arranged at a distance from the player acquires a delay time td to reach the player 72. 実際には、スピーカ42からプレイヤー72までの正確な距離Lはプレイヤーによって異なるため不明であるが、反射体170を配置すべき位置は決められているため、実用的には距離Lは定数で問題ない。 In fact, the exact distance L from the speaker 42 to the player 72 are different for unknown by the player, since the determined position to be arranged reflector 170, a problem in practice distance L is a constant Absent. 音速Vsも定数とすれば、遅延時間tdは定数で与えられる。 If the sound speed Vs is also constant, the delay time td is given by a constant. この場合、遅延時間取得部154は、定数であるtdを取ってくればよい。 In this case, the delay time acquiring unit 154 may pass me the td is a constant. 別の実施例では、スピーカ42とプレイヤー72の間の距離Lをプレイヤーにより入力させるようにしてもよい。 In another embodiment, the distance L between the speaker 42 and the player 72 may be caused to enter the player. この場合、遅延時間取得部154は、td=L/Vsにより遅延時間tdを計算する。 In this case, the delay time acquiring unit 154 calculates the delay time td by td = L / Vs.

音声同期部158は、移動時間tmおよび遅延時間tdを参照してプレイヤーのアクションと同期した音声をスピーカ42から出力させる。 Audio synchronization unit 158 ​​refers to the movement time tm and the delay time td and outputs sounds synchronized with the action of the player from the speaker 42. 具体的には、音声同期部158は、速度vを算出するのに用いたフレームの撮影時刻を起点として、移動時間tmから遅延時間tdを減じた時間の経過後に、所定の音声を出力させる。 Specifically, audio synchronization unit 158, starting from the capture time of the frame used for calculating the velocity v, after the lapse of time obtained by subtracting the delay time td from the moving time tm, to output a predetermined sound. これにより、オブジェクトが想定接触面Wに到達するのと実質的に同時に、プレイヤーはスピーカ42から発せられた音声を聴取することになる。 Thus, the object is substantially the reaching the envisaged contact surface W at the same time, the player will listen to the sound produced from the speaker 42.

上述の例では、ディスプレイに表示されたアプリケーション画像の表示態様の変化に合わせて音声を出力することとしたが、アプリケーション画像を用いず、仮想的な接触面の存在を音声による出力だけでプレイヤーに認識させることもできる。 In the above example, it is assumed that outputs sound in accordance with the change of the display mode of the display application image on the display, without the application image, the presence of a virtual contact surface to the player by only the output by voice It can also be recognized.

なお、想定接触面が実在の面である場合、出力される音声は、オブジェクトと面とが接触することで実際に発生する音とは全く異なるタイプの音声であってもよい。 In the case assumed the contact surface is a surface of the real, sound output may be completely different types of voice and sound actually generated by contact between the object and the surface.

以上説明したように、実施の形態4によれば、オブジェクトが仮想的なまたは実在の接触面に到達する前に、オブジェクトが接触面に到達する時間を算出し、音声の遅延を考慮して音声を先出しする。 As described above, according to the fourth embodiment, before the object is to reach a virtual or contact surface of the real, and calculates the time that the object reaches the contact surface, in consideration of the audio delay speech the to first-out. これによって、アクションが認識されたことを視覚と聴覚の両方を通じてプレイヤーに知らしめることができる。 Thus, through both visual and auditory that the action has been recognized it can notify the player.

なお、スピーカとプレイヤーの間の距離における音声の遅延は、実用的には問題にはならないので、特にオブジェクトの移動速度が比較的遅い場合には、音声同期部158は、遅延時間取得部154による遅延時間tdを考慮しなくてもよい。 The delay of speech in the distance between the speaker and the players, since in practice is not a problem, particularly when the moving speed of the object is relatively slow, audio synchronization unit 158 ​​by the delay time acquiring unit 154 the delay time td may not be taken into account. この場合、音声同期部158は、アクション特定部132によりプレイヤーの何らかのアクション、例えば選択のアクションを特定したときに、それに対応するクリック音や効果音をスピーカ42から出力させる。 In this case, audio synchronization unit 158, the action specifying unit 132 by some action of the player, for example when identifying the selected action to output a click sound and sound effects corresponding thereto from the speaker 42. また、ゲーム性を高めるために、音声同期部158は、計測した移動時間よりも早いタイミングで音声を出力してもよい。 In order to enhance the game property, audio synchronization unit 158 ​​may output a sound at a timing earlier than the moving time measured.

このように、プレイヤーアクションの検出にあわせて音声を出力することで、プレイヤーの体感性を高めることができる。 Thus, by outputting a sound in accordance with the detection of the player actions, it is possible to enhance the experience of the player. つまり、ある進入領域へオブジェクトを出し入れするのに合わせて適当な効果音を出力することで、その進入領域へのオブジェクトの進入が検知され、他の領域とは異なる意味を有していることをプレイヤーに知らしめることができる。 In other words, by outputting the appropriate sound effects to fit in and out an object to a certain penetration area, that entry of the object into the entrance area is detected, it has a different meaning from the other region it is possible to notify the player. また、プレイヤーが自らオブジェクトによるアプリケーションの操作方法を試行錯誤するときに、適切な領域にオブジェクトが存在するときに音声を出力してやることで、自ら操作方法を学習するように導くことが可能である。 Further, when a player trial and error method of operation of the application by themselves objects, that'll output audio when the object is present in the appropriate areas, can be guided to learn their method of operation.

図12に示したアプリケーションにおいて、速度ベクトル算出部160が複数フレーム間の口の差分情報を利用して、口の開閉速度を計算してもよい。 In the application shown in FIG. 12, the velocity-vector calculating unit 160 by using the difference information of the mouth between a plurality of frames may be calculated opening and closing speed of the mouth. そして、音声同期部158は、この開閉速度と遅延時間とを利用して、プレイヤーの口の開閉とスピーカから発せられる音声とが同期するように、音声の出力タイミングを調節してもよい。 The audio synchronization unit 158 ​​may use a this closing rate and the delay time, so that the sound emitted from the opening and the speaker of the player's mouth is synchronized, may adjust the output timing of the audio.

実施の形態5. Embodiment 5.
実施の形態4では、反射体の奥行方向の幅を利用してプレイヤーの操作するオブジェクトの奥行方向の速度ベクトルを算出することを述べた。 In the fourth embodiment, it said calculating a depth direction of the velocity vector of the object operated by the player using the depth direction of the width of the reflector. 実施の形態5では、反射体を使用せず、カメラにより撮影されたフレームのみからオブジェクトの速度ベクトルを推定する技術について説明する。 In the fifth embodiment, without using the reflector, illustrating only frames taken by a camera technique for estimating the velocity vector of the object. 但し、本実施形態では、オブジェクトの奥行方向の移動成分は検出できず、フレーム内での移動成分のみが対象になる。 However, in the present embodiment, the movement component in the depth direction of the object can not be detected, only the movement component in the frame becomes the target.

図20は、実施の形態5に係る三次元位置特定装置18の構成を示す。 Figure 20 shows a configuration of a three-dimensional position determination device 18 according to the fifth embodiment. カメラ20、画像処理装置30およびディスプレイ40の配置については、上述の実施形態と同様である。 Camera 20, the arrangement of the image processing apparatus 30 and the display 40 are the same as in the embodiment described above. 実施の形態5では反射体を使用せず、代わりに、LED等の発光素子の付けられたオブジェクト74をプレイヤーが操作する。 Without using the reflector in the fifth embodiment, instead, the object 74 attached light emitting element such as an LED player to operate.

図21は、カメラ20により撮影されたひとつのフレームから、オブジェクトの速度ベクトルを算出する方法の原理を説明する図である。 21, the frame one captured by the camera 20 is a diagram for explaining the principle of a method of calculating the velocity vector of the object. CCD、CMOS等の画像センサは、素子に蓄えられた光量にしたがって信号を出力するが、素子の全体を走査するには一定の時間が必要である。 CCD, image sensor such as a CMOS is a signal in accordance with light quantity stored in the device, it is to scan the entire device requires a certain amount of time. より詳細に説明すると、画像センサの各画素は、素子の一番上の列からスタートして一番下の列まで一列ずつ移って採光され、その後蓄積された光量の読み出しが始まる。 More particularly, each pixel of the image sensor is the top lighting moved by one row to the bottom row starting from rows of elements, then reading the accumulated light quantity is started. 読み出しも採光と同じように一番上の列からスタートして、同じ速度で一番下の底まで一列ずつ進んで順に読み取られる。 Reading be started from the row of the same as most as lighting, are read in sequence advances one by one column to the bottom of the bottom at the same rate. したがって、採光を開始する画素列と、読み出しを開始する画素列とで時間差のある情報が、一枚のフレームの中に含まれている。 Therefore, a pixel column that starts lighting, information of time difference between the pixel rows to start reading is included in a single frame.

例えばCMOSセンサでは、各列で採光開始時間の差があるため、対象物の動きが速いと先に読み出した画像上部と最後に読み出した画像下部で像が歪む(動体歪み)。 For example, in the CMOS sensor, for each column there is a difference in lighting start time, the image is distorted in the image lower motion read the read image top and end fast with the previous object (moving object distortion). CMOSは1ラインずつ順に読み出していくため、1画面を1/15秒で読めば、読み始めと読み終わりで1/15秒の差が出る。 Since the CMOS is going to read in order and line-by-line, 1 if you read the screen with 1/15 seconds, the difference of 1/15 second is finished reading and started reading it out.

したがって、オブジェクトとして光を発するものを高速で移動させると、図21に示すように、フレーム内で光の動いた部分が軌跡75となって現れることがある。 Therefore, moving the one which emits light as an object at a high speed, as shown in FIG. 21, moving portion of the light is sometimes appears as a trajectory 75 in the frame. したがって、画像センサのうち最初の画素と最後の画素を走査するまでに要する時間が分かれば、この軌跡を作り出したオブジェクトの速度を算出することが可能である。 Therefore, time required for scanning the first pixel and the last pixel of the image sensor is known, it is possible to calculate the velocity of the object that created this locus.

図22は、実施の形態5における画像連携音声制御部150の構成を示す。 Figure 22 shows a configuration of an image cooperative audio control unit 150 in the fifth embodiment.

採光時間取得部152は、カメラ20に採用されている画像センサ22の採光時間teを取得する。 Lighting time acquisition unit 152 acquires the lighting time te of the image sensor 22 is employed in the camera 20. この情報は予め入力しておいてもよいし、カメラ20と通信して取得してもよい。 This information may be previously input in advance, it may be obtained by communicating with the camera 20.

軌跡測定部164は、画像反転部104から軌跡75の残ったフレームを受け取り、その中に含まれている軌跡の長さpとその方向を測定する。 Trajectory measurement unit 164 receives the remaining frames of the trajectory 75 from the image reversing unit 104, the length p of the trajectory contained therein to measure its direction. 速度ベクトル算出部160は、軌跡の長さpと採光時間teとを用いて、オブジェクトの速度v=p/teを算出する。 Velocity-vector calculating unit 160, the length of the trajectory p and lighting time by using the te, calculates the velocity v = p / te object.

移動時間算出部156は、実施の形態4と同様に、算出された速度vと、オブジェクト74と想定接触面Wまでの距離liを用いて、オブジェクト74の想定接触面Wまでの移動時間tmを算出する。 Travel time calculating unit 156, as in the fourth embodiment, the velocity v is calculated, using the distance li to assume the contact surface W with the object 74, the moving time tm until assuming the contact surface W of the object 74 calculate. 図21の例では、想定接触面Wはフレーム内に仮想的に設定されており、オブジェクト74と想定接触面Wまでの距離liは、フレームの解析により算出する。 In the example of FIG. 21, assuming the contact surface W is virtually set in the frame, the distance li to the assumed contact surface W with the object 74 is calculated by analyzing the frame.

遅延時間取得部154および音声同期部158については、実施の形態4と同様である。 The delay time acquiring unit 154 and the audio synchronization unit 158 ​​is similar to the fourth embodiment.

図23は、実施の形態5において、画像に連携して音声を出力させる処理のフローチャートである。 23, in the fifth embodiment, is a flowchart of a process for outputting a sound in conjunction with the image. まず、LED等の発光素子を有するオブジェクト74を動作させる様子をカメラ20により撮影する(S60)。 First, how to operate the object 74 with a light emitting element such as LED is imaged by the camera 20 (S60). 撮影されたフレームは、画像取得部102から画像連携音声制御部150内の軌跡測定部164に渡される。 Captured frame is transferred from the image acquisition unit 102 to the locus measurement unit 164 of the image linkage voice control unit 150. 軌跡測定部164は、フレーム内でLEDにより生じた軌跡75を検出し、この軌跡の長さと方向を測定し、その結果を速度ベクトル算出部160に渡す(S62)。 Trajectory measurement unit 164 detects the trajectory 75 generated by LED within a frame, the length and direction of the trajectory is measured, and passes the result to the velocity-vector calculating unit 160 (S62). 速度ベクトル算出部160は、軌跡の長さ、方向、および画像センサの採光時間とを使用して、オブジェクトの速度vを計算する(S64)。 Velocity-vector calculating unit 160, the length of the trajectory, using the direction, and the image sensor and the lighting time, to calculate the velocity v of the object (S64). 続いて、移動時間算出部156は、想定接触面Wまでの距離liと速度vとを用いて、オブジェクトの接触面への移動時間tmを算出する(S66)。 Subsequently, the moving time calculation unit 156, by using the distance li and the speed v to assume a contact surface W, and calculates a movement time tm of the contact surface of the object (S66). 音声同期部158は、速度ベクトルを算出するのに用いたフレームの撮影時刻を起点として、移動時間tmから遅延時間tdを減じることによって、音声の出力タイミングを算出する(S68)。 Audio synchronization unit 158, starting from the capture time of the frame used for calculating the velocity vector, by reducing the delay time td from the travel time tm, calculates the output timing of the sound (S68). そして、出力タイミングにしたがって音声出力部36から所定の音声を出力させる(S70)。 Then, to output a predetermined sound from the sound output unit 36 ​​according to the output timing (S70). これにより、オブジェクトが想定接触面Wに到達するのと実質的に同時に、プレイヤー72はスピーカ42から発せられた音声を聴取することになる。 Thus, the object is substantially the reaching the envisaged contact surface W at the same time, the player 72 would listen to the sound produced from the speaker 42.

以上説明したように、実施の形態5によれば、オブジェクトに発光体を付けて移動させた状態を撮影し、カメラの画像センサにおける採光時間と、画像センサから出力されたフレーム内での発光体の軌跡の情報を利用して、オブジェクトの速度を算出することができる。 As described above, according to the fifth embodiment, photographing the state of being moved with a light emitter to object, and lighting time in the image sensor of the camera, light emitters in a frame output from the image sensor by utilizing the trajectory information of, it is possible to calculate the velocity of the object. 実施の形態5は、複数フレーム間の差分によらず単一のフレームにおける軌跡を測定することで、オブジェクトの速度情報を得られるという特徴がある。 Embodiment 5, by measuring the trajectory in a single frame regardless of the differences between a plurality of frames, is characterized in that to obtain the velocity information of the object. 但し、オブジェクトに付けた発光体を光らせることと、その軌跡がフレームに残ることが前提となる。 However, a possible brightening the light emitter attached to the object, that its trajectory is left in the frame is a prerequisite.

以上、実施の形態をもとに本発明を説明した。 The present invention has been described based on the embodiments. これらの実施の形態は例示であり、各構成要素またはプロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 These embodiments are illustrative in nature and allows various modifications to the combination of each component or process, also be in the scope of the present invention such modifications are illustrative only and it will be obvious to those skilled in the art. また、実施の形態で述べた構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Also, any combination of components described in the embodiments, the method of the invention in the form of a system, a computer program, even those that have been converted between such a recording medium, is effective as an embodiment of the present invention.

実施の形態では、プレイヤーおよびオブジェクトの鏡面画像をディスプレイに映し出すアプリケーションを説明したが、カメラにより撮影された動画は、ディスプレイに映し出されなくてもよい。 In the embodiment has been described an application that reflects the mirror image of the player and the object on the display, moving image shot by the camera may not be displayed on the display.

上述の実施の形態で述べたようなアプリケーションを効果的に実行するために、十分に高いフレームレートで動画撮影のできるカメラ、そのような高フレームレートの処理が可能な計算能力および描画能力を有する画像処理装置、および高フレームレートで画像を表示できるディスプレイを組み合わせて用いることが望ましい。 To run an application as described in the above embodiments effectively, with a camera, such high frame rate processing is available computational power and drawing capability can movie shooting at a sufficiently high frame rate image processing apparatus, and it is desirable to use a combination of display capable of displaying images at a high frame rate.

実施の形態1に係る三次元位置特定装置の全体構成を示す図である。 Is a diagram showing an overall configuration of a three-dimensional localization device according to the first embodiment. カメラと画像処理装置のハードウェア構成を簡略化して説明した図である。 It is a diagram for explaining a hardware configuration of the camera and the image processing apparatus is simplified. 反射体の構造を示す平面図である。 It is a plan view showing a structure of a reflector. 処理部の詳細な構成を示す図である。 It is a diagram showing a detailed configuration of the processing unit. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, (b) is a diagram showing a screen that is recognized by the player is displayed on the display. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, (b) is a diagram showing a screen that is recognized by the player is displayed on the display. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, (b) is a diagram showing a screen that is recognized by the player is displayed on the display. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はディスプレイに表示されプレイヤーにより認識される画面を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, (b) is a diagram showing a screen that is recognized by the player is displayed on the display. 実施の形態1による三次元位置特定装置において、図5ないし図8で説明したアプリケーションを実行するフローチャートである。 In the three-dimensional position determination device according to the first embodiment, a flow chart for executing an application described in FIGS. 5-8. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はオブジェクトである手に合わせてキャラクタ画像を表示させる様子を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, a diagram illustrating a (b) is how to display the character image in accordance with the hand is an object. (a)はオブジェクトと進入領域との位置関係を示す図であり、(b)はオブジェクトである手に合わせてキャラクタ画像を表示させる様子を示す図である。 (A) is a diagram showing the positional relationship between the object and the entrance area, a diagram illustrating a (b) is how to display the character image in accordance with the hand is an object. (a)、(b)は、オブジェクトである口に合わせてキャラクタ画像を表示させる応用例を示す図である。 (A), (b) is a diagram showing an application example of displaying a character image in accordance with the mouth is an object. 実施の形態3に係る三次元位置特定装置の構成を示す図である。 It is a diagram showing a configuration of a three-dimensional localization device according to the third embodiment. 図13に示す状態で、ディスプレイに表示されプレイヤーから認識される画面を示す図である。 In the state shown in FIG. 13 is a view showing a screen to be recognized from the player is displayed on the display. 反射体の奥行方向に垂直な平面の断面図である。 It is a cross-sectional view of a plane perpendicular to the depth direction of the reflector. 実施の形態3に係る画像処理装置の構成を示す図である。 It is a diagram showing a configuration of an image processing apparatus according to the third embodiment. 実施の形態3において、図5ないし図8で示したのと同様の電卓アプリケーションを実行する手順を示すフローチャートである。 In the third embodiment, it is a flowchart illustrating a procedure for performing the same calculator application to that shown in FIGS. 5-8. 実施の形態4に係る三次元位置特定装置の構成を示す図である。 It is a diagram showing a configuration of a three-dimensional localization device according to the fourth embodiment. 実施の形態4に係る画像処理装置内の画像連携音声制御部の構成を示す図である。 It is a diagram showing a configuration of an image coordination voice control unit in the image processing apparatus according to the fourth embodiment. 実施の形態5に係る三次元位置特定装置の構成を示す図である。 It is a diagram showing a configuration of a three-dimensional localization device according to the fifth embodiment. カメラにより撮影されたひとつのフレームから、オブジェクトの速度ベクトルを算出する方法の原理を説明する図である。 From frame one captured by the camera is a diagram for explaining the principle of a method of calculating the velocity vector of the object. 実施の形態5における画像連携音声制御部の構成を示す図である。 It is a diagram showing a configuration of an image coordination voice control unit in the fifth embodiment. 実施の形態5において、画像に連携して音声を出力させる処理のフローチャートである。 In the fifth embodiment, it is a flowchart of a process for outputting a sound in conjunction with the image.

符号の説明 DESCRIPTION OF SYMBOLS

10 三次元位置特定装置、 20 カメラ、 22 画像センサ、 24 画像処理部、 30 画像処理装置、 34 画像出力部、 36 音声出力部、 40 ディスプレイ、 42 スピーカ、 50 反射体、 52 第1反射面、 54 第2反射面、 56 マーカ、 62 第1進入領域、 64 第2進入領域、 70 オブジェクト、 70a 反射像、 70b 反射像、 72 プレイヤー、 74 オブジェクト、 75 軌跡、 76 オブジェクト、 80〜84 アプリケーション画像、 110 三次元定位部、 112 反射面領域特定部、 114 フレーム内定位部、 120 参照画像記憶部、 122 奥行定位部、132 アクション特定部、 134 表示制御部、 150 画像連携音声制御部、 154 遅延時間取得部、 156 移動時間算出部、 158 音声同期部、 1 10 the three-dimensional position determination device, 20 a camera, 22 image sensor, 24 image processing unit, 30 image processing device, 34 an image output unit, 36 an audio output unit, 40 a display, 42 a speaker, 50 a reflector, 52 a first reflecting surface, 54 second reflecting surface, 56 markers, 62 first enters region, 64 second entry region, 70 an object, 70a reflection images, 70b reflected image, 72 players, 74 objects, 75 trajectory 76 object, 80 to 84 applications image, 110 three-dimensional localization unit, 112 the reflective surface area specifying unit, 114 frame localization unit, 120 a reference image storage unit, 122 depth localization unit, 132 an action identification unit 134 display control unit, 150 image coordination voice control unit, 154 the delay time acquisition unit, 156 movement time calculation unit, 158 audio synchronization unit, 1 60 速度ベクトル算出部、 170 反射体、 172 第1反射面、 174 第2反射面、 176 マーカ、 180 切り出し領域、 182 進入領域。 60 velocity-vector calculating unit, 170 reflector, 172 a first reflecting surface, 174 second reflecting surface, 176 markers, 180 cut-out region, 182 entry regions.

Claims (16)

  1. プレイヤーにより操作されるオブジェクトを撮影するカメラと、 A camera for photographing the object to be operated by the player,
    前記オブジェクトを特定するための参照画像を格納する参照画像記憶部と、 A reference image storage unit for storing a reference image for identifying the object,
    前記オブジェクトが進入すると想定されている所定の進入領域の反射像を前記カメラに向けて投影し、前記オブジェクトの直接像と反射像とを前記カメラに撮影させる反射手段と、 A reflecting means for the object a reflection image of a predetermined entry area that is assumed to enter projected toward the camera, thereby capturing the reflected image with a direct image of the object to the camera,
    前記カメラにより撮影されたフレームから、前記反射像に対応する部分である反射面領域を特定する反射面領域特定部と、 A frame captured by the camera, and the reflection surface area specifying unit for specifying a reflective surface area is a portion corresponding to the reflection image,
    前記フレームに対して前記参照画像を用いたマッチングを実行して、前記オブジェクトのフレーム内での位置を特定するフレーム内定位部と、 Run the matching using the reference image relative to the frame, the frame localization unit for specifying a position in a frame of said object,
    前記反射面領域から前記反射像を検出して、前記カメラの光軸に沿った奥行方向での前記オブジェクトの位置を特定する奥行定位部と、 Detecting said reflected image from said reflective surface area, and the depth localization unit for specifying a position of the object in the depth direction along the optical axis of the camera,
    を備えることを特徴とするオブジェクトの三次元位置特定装置。 The three-dimensional position determination device of the object, characterized in that it comprises a.
  2. 前記奥行定位部は、複数のフレーム間での前記反射像の差分を検出し、前記オブジェクトが前記進入領域内に位置するか否かを判定することを特徴とする請求項1に記載の三次元位置特定装置。 The depth localization unit detects a difference of the reflected image between a plurality of frames, the three-dimensional of claim 1, wherein the object and judging whether located in the entrance area localization device.
  3. 前記反射手段は、該反射手段の位置を前記反射面領域特定部に知らせるためのマーカを有しており、 Said reflecting means has a marker for indicating the position of said reflecting means in said reflective surface area specifying unit,
    前記反射面領域特定部は、前記フレーム内から前記マーカを検出することで前記反射面領域を特定することを特徴とする請求項1または2に記載の三次元位置特定装置。 The reflecting surface region identifying unit, the three-dimensional position determining device according to claim 1 or 2, characterized in that identifying the reflective surface area by detecting the marker from within the frame.
  4. 前記反射手段は、それぞれの面の法線がオブジェクトの存在する側で交差するように角度を付けられオブジェクトを同時に反射する第1反射面と第2反射面とを有し、二つの反射像を前記カメラに向けて投影するように配置され、 Said reflecting means has a first reflecting surface normal of each surface is at the same time reflecting objects angled to intersect with the side of the object exists and a second reflecting surface, the two reflection images arranged to project toward the camera,
    前記フレーム内定位部は、前記二つの反射像を用いて前記オブジェクトのフレーム内での位置を特定し、 The frame localization unit, using the two reflection images to identify the position in the frame of said object,
    前記参照画像記憶部は、前記フレーム内定位部により特定された位置を中心とする所定範囲の画像を前記フレームから切り出して前記参照画像として記憶することを特徴とする請求項1または2に記載の三次元位置特定装置。 The reference image storage unit according to claim 1 or 2, characterized in that for storing an image of a predetermined range centered on the position specified by the frame localization unit as said reference image cut out from the frame the three-dimensional localization device.
  5. 前記フレーム内定位部は、前記フレームにおいて取得した参照画像を用いたマッチングを実行して前記オブジェクトをトラッキングすることを特徴とする請求項4に記載の三次元位置特定装置。 The frame localization unit, the three-dimensional position determining device according to claim 4, characterized in that running matching using a reference image acquired in the frame to track the object.
  6. 前記反射手段は前記奥行方向に所定の幅を有し、奥行方向に複数の進入領域が設定されており、 Said reflecting means has a predetermined width in the depth direction, is set with a plurality of entry areas in the depth direction,
    前記奥行定位部は、前記複数の進入領域内に前記オブジェクトが進入したか否かを判定し、 The depth localization unit, the object determines whether the vehicle has entered into the plurality of entry areas,
    前記奥行定位部の判定をもとに前記奥行方向への前記オブジェクトの移動を検出してプレイヤーのアクションを特定するアクション特定部をさらに備えることを特徴とする請求項4に記載の三次元位置特定装置。 Three-dimensional localization of claim 4, further comprising the action specifying unit for specifying the actions of detecting and player movement of said object to said depth direction based on the determination of the depth localization unit apparatus.
  7. 前記反射手段は、前記奥行方向に離間して配置された第1反射面と第2反射面とを有し、それぞれ異なる進入領域の反射像を前記カメラに対して投影するように配置され、 Said reflecting means, and a first and second reflecting surfaces which are spaced apart in the depth direction, is arranged a reflection image of the different entry regions respectively so as to project with respect to the camera,
    前記奥行定位部は、第1反射面または第2反射面にそれぞれ対応する進入領域に前記オブジェクトが位置するか否かを判定することを特徴とする請求項1または2に記載の三次元位置特定装置。 The depth localization unit is a three-dimensional localization of claim 1 or 2, characterized in that the object enters a region corresponding to the first reflecting surface and the second reflecting surface to determine whether the position apparatus.
  8. 前記奥行定位部の判定をもとに前記オブジェクトの前記第1反射面と前記第2反射面の間での奥行方向の移動を検出するアクション特定部をさらに備えることを特徴とする請求項7に記載の三次元位置特定装置。 To claim 7, further comprising an action identification unit for detecting a movement of the depth direction between the first reflecting surface and the second reflecting surface of the object based on the determination of the depth localization unit the three-dimensional localization device according.
  9. 前記オブジェクトが前記第1反射面に対応する進入領域に進入したとき、または前記第2反射面に対応する進入領域に進入したとき、前記カメラにより撮影された前記オブジェクトの直接像に重ね合わせて、所定の目的を達成するために表示すべき画像をディスプレイに表示する表示制御部をさらに備えることを特徴とする請求項7に記載の三次元位置特定装置。 When the object enters the entrance area corresponding to the first reflecting surface, or when entering the entrance area corresponding to the second reflecting surface, superimposed on the direct image of the photographed said object by said camera, the three-dimensional position determining device according to claim 7, further comprising a display control unit for displaying an image to be displayed in order to achieve a predetermined object on the display.
  10. 前記カメラにより撮影された前記オブジェクトの直接像に重ね合わせて、所定の目的を達成するために表示すべき画像をディスプレイに表示する表示制御部をさらに備え、 Superimposed on the direct image of the captured the object by the camera, further comprising a display control unit for displaying an image to be displayed in order to achieve a predetermined object on the display,
    前記表示制御部は、前記オブジェクトが前記第1反射面に対応する進入領域に位置するときと、前記第2反射面に対応する進入領域に位置するときで、異なる表示態様の前記画像を表示することを特徴とする請求項7に記載の三次元位置特定装置。 The display controller, as when the object is located in the entrance area corresponding to the first reflecting surface, when located in the entry region corresponding to the second reflecting surface, displays the images of different display modes the three-dimensional position determining device according to claim 7, characterized in that.
  11. 前記アクション特定部は、前記奥行方向における前記オブジェクトの前記カメラに向かう移動と前記カメラから離れる移動とをプレイヤーのアクションとして特定し、 The action specifying unit specifies a movement away from moving said camera towards said camera of said in the depth direction object as an action of the player,
    それぞれのアクションに異なる機能を付与する入力制御部をさらに備えることを特徴とする請求項6または8に記載の三次元位置特定装置。 The three-dimensional position determining device according to claim 6 or 8, further comprising an input control unit for imparting different functions to each action.
  12. 前記カメラにより撮影されたプレイヤーの画像とともに前記反射手段を配置すべき位置をプレイヤーに指示する表示をディスプレイに映し出す配置指示部と、 And arrangement instructing part for projecting a display for indicating the position to place the reflecting means together with the image of the player captured by the camera to the player on the display,
    前記カメラにより撮影されたフレームを参照して、前記反射手段が配置すべき位置に配置されたか否かを確認する配置確認部と、 Referring to frames taken by the camera, and arranged confirmation unit for confirming whether the reflecting means is disposed at a position to be placed,
    をさらに備えることを特徴とする請求項1ないし11のいずれかに記載の三次元位置特定装置。 Further claims 1, characterized in that it comprises a to the three-dimensional position determination device according to any one of 11.
  13. 複数のフレーム間での前記反射像の差分に基づいて前記オブジェクトの速度ベクトルを算出する速度ベクトル算出部と、 A velocity vector calculation unit for calculating a velocity vector of the object based on the difference of the reflected image between a plurality of frames,
    プレイヤーから離間して配置されたスピーカから発せられた音声がプレイヤーに到達するまでの遅延時間を取得する遅延時間取得部と、 A delay time acquiring unit that the voice emitted from the speaker that is spaced apart from the player acquires a delay time to reach the player,
    前記速度ベクトルおよび前記遅延時間を参照して前記プレイヤーのアクションと同期した音声をスピーカから出力させる音声出力部と、 An audio output unit for outputting the audio synchronized with the action of the player by referring to the velocity vector and the delay time from the speaker,
    をさらに備えることを特徴とする請求項1ないし12のいずれかに記載の三次元位置特定装置。 Further claims 1, characterized in that it comprises a to 12 three-dimensional position determination device according to any one of.
  14. プレイヤーにより操作されるオブジェクトを撮影するカメラと、 A camera for photographing the object to be operated by the player,
    前記オブジェクトが進入すると想定されている所定の進入領域の反射像を前記カメラに向けて投影する反射手段と、 A reflecting means for projecting a reflected image of a predetermined entry area in which the object is assumed to enter toward the camera,
    前記カメラにより撮影されたフレームから、前記反射像に対応する部分である反射面領域を特定する反射面領域特定部と、 A frame captured by the camera, and the reflection surface area specifying unit for specifying a reflective surface area is a portion corresponding to the reflection image,
    前記反射面領域から前記反射像を検出して、前記カメラの光軸に沿った奥行方向で前記進入領域により画成される部分に前記オブジェクトが進入したか否かを判定する奥行定位部と、 Detecting said reflected image from said reflective surface area, and determines the depth localization unit whether said object enters the portion defined by the depth direction along the optical axis of the camera by the entry region,
    を備えることを特徴とするオブジェクトの奥行位置特定装置。 Depth localization device object, characterized in that it comprises a.
  15. プレイヤーにより操作されるオブジェクトの直接像と、 前記カメラの光軸に沿った所定の奥行方向に配置された反射手段によって前記オブジェクトを反射させた反射像とをカメラにより撮影し、 Direct image of the object being manipulated by the player, and a reflected image obtained by reflecting the object photographed by the camera by a predetermined depth direction arranged reflecting means along the optical axis of the camera,
    画像処理装置が、前記オブジェクトを特定するために予め準備された参照画像を用いたマッチングを前記カメラにより撮影されたフレームに対して実行して前記オブジェクトのフレーム内での位置を特定し、該フレームから前記反射像に対応する部分である反射面領域を特定し、該反射面領域から前記反射像を検出し、複数のフレーム間での前記反射像の差分から前記オブジェクトが所定の奥行位置にあるか否かを検出することを特徴とする奥行位置特定方法。 The image processing apparatus, the matching using pre-prepared reference image to identify the object by executing the frame captured by the camera to identify the position in the frame of the object, the frame wherein identifying the reflective surface area is a portion corresponding to the reflected image, detects the reflected image from the reflective surface area, the depth position of the from the difference of the reflected image object Jo Tokoro between a plurality of frames from depth localization method, characterized by detecting whether.
  16. プレイヤーにより操作されるオブジェクトが進入すると想定されている所定の進入領域の反射像をカメラに向けて投影させる反射手段を配置した上で、前記オブジェクトの直接像と前記反射手段により投影された前記反射像とをカメラにより撮影し、 On the object to be operated by the player has placed the reflecting means causes projected toward the camera reflection image of a predetermined approach area being assumed to enter the projected by direct image and said reflecting means of said object the reflected image captured by the camera,
    画像処理装置が、前記オブジェクトを特定するために予め準備された参照画像を用いたマッチングを前記カメラにより撮影されたフレームに対して実行して前記オブジェクトのフレーム内での位置を特定し、該フレームから前記反射像に対応する部分である反射面領域を特定し、該反射面領域から前記反射像を検出して、前記カメラの光軸に沿った奥行方向での前記オブジェクトの位置を特定することを特徴とするオブジェクトの三次元位置特定方法。 The image processing apparatus, the matching using pre-prepared reference image to identify the object by executing the frame captured by the camera to identify the position in the frame of the object, the frame wherein identifying the reflective surface area is a portion corresponding to the reflected image from detecting the reflected image from the reflective surface area, to identify the position of the object in the depth direction along the optical axis of the camera that three-dimensional localization process objects characterized by.
JP2006186798A 2006-07-06 2006-07-06 The three-dimensional position determination device and method, the depth localization device Active JP4409545B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006186798A JP4409545B2 (en) 2006-07-06 2006-07-06 The three-dimensional position determination device and method, the depth localization device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006186798A JP4409545B2 (en) 2006-07-06 2006-07-06 The three-dimensional position determination device and method, the depth localization device

Publications (2)

Publication Number Publication Date
JP2008012103A JP2008012103A (en) 2008-01-24
JP4409545B2 true JP4409545B2 (en) 2010-02-03

Family

ID=39069729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006186798A Active JP4409545B2 (en) 2006-07-06 2006-07-06 The three-dimensional position determination device and method, the depth localization device

Country Status (1)

Country Link
JP (1) JP4409545B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4848001B2 (en) 2008-12-18 2011-12-28 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus and image processing method
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image

Also Published As

Publication number Publication date
JP2008012103A (en) 2008-01-24

Similar Documents

Publication Publication Date Title
CN100570471C (en) Focus adjustment method and focus adjustment apparatus
EP2956221B1 (en) Control device with passive reflector
CN101867712B (en) Image-capturing apparatus and method and expression evaluation apparatus
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
CN102289564B (en) Synthesis of information from multiple audiovisual sources
JP6126305B2 (en) Operation mode switching in the head-mounted display
KR101251701B1 (en) Stereo video for gaming
JP6062547B2 (en) Method and apparatus for controlling the augmented reality
JP3565707B2 (en) Observer tracking autostereoscopic display, the image tracking system, and the image tracking method
CA2786681C (en) Voice-body identity correlation
JP4883460B2 (en) Method and system that enables an interface when the depth and direction of the detection of a computer program
US7028269B1 (en) Multi-modal video target acquisition and re-direction system and method
KR101198727B1 (en) Image projection apparatus and control method for same
JP5413250B2 (en) Image processing apparatus, image processing method, and program
US20050094019A1 (en) Camera control
US9491441B2 (en) Method to extend laser depth map range
US20140028548A1 (en) Gaze detection in a 3d mapping environment
JP4612853B2 (en) Indication position recognition device and an information input apparatus having the same
JP5806469B2 (en) Image processing program, an image processing apparatus, an image processing system, and image processing method
CN102222347B (en) Creating range image through wave front coding
US20130021491A1 (en) Camera Device Systems and Methods
US9049428B2 (en) Image generation system, image generation method, and information storage medium
CN100448267C (en) Digital cameras
EP2912659B1 (en) Augmenting speech recognition with depth imaging
US20030202120A1 (en) Virtual lighting system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250