WO2019159332A1 - 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- WO2019159332A1 WO2019159332A1 PCT/JP2018/005530 JP2018005530W WO2019159332A1 WO 2019159332 A1 WO2019159332 A1 WO 2019159332A1 JP 2018005530 W JP2018005530 W JP 2018005530W WO 2019159332 A1 WO2019159332 A1 WO 2019159332A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- finger
- hand
- proximity sensor
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Definitions
- the information on the posture and shape of the user's hand estimated by a method other than the proximity sensor, such as an image captured by the camera, is corrected using the information on the amount of bending of the finger acquired by the proximity sensor.
- the user's hand posture and shape information can be acquired more precisely.
- the information processing system 1 includes a controller device 10 held by a user's hand and an information processing apparatus 20.
- a plurality of proximity sensors 13 are provided on the surface of the housing 11 at least for each finger of the user (at least the number corresponding to each finger).
- the proximity sensor 13 is, for example, an infrared (IR) sensor, and includes an infrared light emitting unit 13s and an infrared light receiving unit 13r.
- IR infrared
- the infrared light emitting unit 13s and the infrared light receiving unit 13r emit infrared light in the direction of the user's finger, Detects the infrared rays reflected back from the direction.
- the distance to the base of the finger Even if it is the distance to the base of the finger, the distance increases when the user extends the finger, and when the user bends the finger, the distance from the housing 11 to the base of the finger decreases according to the amount of bending. Therefore, the bending amount of the user's finger can be detected by this distance.
- the operation unit 14 is located in the housing 11 of the controller device 10 at a position where the user's finger (may be a thumb or a part of a finger) may be reached when the user holds the housing 11. It is arranged.
- the operation unit 14 may include, for example, a button, a joystick that can be tilted, and the like.
- the controller device 10 includes a circuit unit 15 inside the housing 11.
- the circuit unit 15 includes a wired communication unit such as a USB or a wireless communication unit such as Bluetooth (registered trademark), and transmits and receives information to and from the information processing apparatus 20.
- This circuit unit 15 repeatedly sends information representing the distance to the corresponding user's finger obtained by each proximity sensor 13 to the information processing apparatus 20 at every predetermined timing (for example, every regular timing). ing.
- the circuit unit 15 also displays information (information such as the amount of pressing of the button, the direction of tilting the joystick, the amount of tilting, etc.) representing the operation performed by the user on the operating unit 14 at a predetermined timing (for example, periodically) Repeatedly at every timing).
- the information processing apparatus 20 is, for example, a consumer game machine, and as illustrated in FIG. 1, the control unit 21, the storage unit 22, the operation unit 23, the display control unit 24, the communication unit 25, and the detection unit. 26.
- control unit 21 is a program control device such as a CPU, and operates according to a program stored in the storage unit 22.
- the control unit 21 according to the present embodiment is based on the detection result of the proximity sensor 13 provided for each user's finger received from the controller device 10 (here, for example, information on the distance to the corresponding finger).
- a method of estimating using the detection result of the proximity sensor 13 of the controller device 10 is referred to as a first estimation method).
- the control unit 21 estimates the posture / shape of the user's hand by a method (referred to as a second estimation method) different from the first estimation method.
- the display control unit 24 is connected to a display or the like, and controls the display or the like so as to display and output information according to an instruction input from the control unit 21.
- the communication unit 25 is, for example, a network interface, and transmits / receives information via the network in accordance with an instruction input from the control unit 21.
- the detection unit 26 is, for example, a pair of cameras installed so as to capture the direction in which the user holding the controller device 10 is imaged, and is an optical sensor arranged two-dimensionally (in a matrix or in a staggered arrangement such as a staggered arrangement) Group (sensor group).
- This optical sensor may be a sensor such as a CCD or CMOS.
- an infrared detection element may be sufficient.
- the detection unit 26 repeatedly obtains image data obtained by capturing the user at every predetermined timing, and outputs the image data to the control unit 21.
- the detection unit 26 is an example, and in another example of the present embodiment, the detection unit 26 does not output image data obtained by capturing a user's image as it is, for example, each pixel of the obtained image. It may output a so-called depth map image that represents the distance to the object surface that is first in the direction corresponding to, and may include an infrared detection element and output infrared thermography (infrared imaging results). In other words, it may be various information obtained by imaging, such as what performs a heat map.
- the first estimation processing unit 31 estimates the bending amount of each finger of the user based on the detection result of the proximity sensor 13 of the controller device 10. That is, the first estimation processing unit 31 acquires information on the distance measured by each proximity sensor 13 from the controller device 10.
- the first estimation processing unit 31 then detects the bending amount (pitch angle ⁇ P in FIG. 5) of each finger based on the distance information output from the stored proximity sensor 13 for each finger.
- the second estimation processing unit 32 may obtain information representing the position of the user's hand based on the depth map for imaging the user's hand. This information may be expressed by, for example, a three-dimensional coordinate value based on the position of the depth sensor that outputs the depth map.
- the correction processing unit 33 outputs, for each corresponding finger, the tilt, rotation angle, and bending amount (yaw angle ⁇ Y, roll angle ⁇ R, pitch angle ⁇ P in FIG. 5) output by the second estimation processing unit 32.
- the information of the finger bending amount (pitch angle ⁇ P in FIG. 5) obtained by the first estimation processing unit 31 is replaced and corrected and output.
- the correction processing unit 33 is information other than the information obtained by the first estimation processing unit 31 (in this example, the pitch angle ⁇ P of each finger of the user) among the information obtained by the second estimation processing unit 32. Is output without modification.
- the user holds the controller device 10 in his / her hand (at least one hand of the left hand or the right hand), fastens it with a finger through the fixing tool 12, and fixes the housing 11 at a position where the casing 11 contacts the base of the finger. Thereby, even if the user opens his hand (stretches his / her finger), the controller device 10 does not fall.
- the information processing device 20 provides information on the distance output by the stored proximity sensor 13 for each finger arranged on the housing 11 side (if there are a plurality of proximity sensors 13 corresponding to a certain finger, Based on the minimum value, information representing the bending amount of each finger (pitch angle ⁇ P in FIG. 5) is obtained by referring to the first data table.
- the information processing apparatus 20 includes the information ⁇ P1, ⁇ P2, ⁇ P3, ⁇ P4 of the movement amount of each finger in the bending direction among the information on the posture / shape of the user's hand estimated by the second estimation method, and the first Among the information on the posture / shape of the user's hand estimated by the second estimation method by the weighted average of the information ⁇ P′1, ⁇ P′2, ⁇ P′3, ⁇ P′4 estimated by the estimation method of
- the information ⁇ P1, ⁇ P2, ⁇ P3, ⁇ P4 of the movement amount of each finger in the bending direction may be corrected.
- the information processing apparatus 20 uses the information ⁇ P1, ⁇ P2, ⁇ P3, and ⁇ P4 of the amount of movement of each finger in the bending direction among the information on the posture and shape of the user's hand estimated by the second estimation method.
- the proximity sensor 13 is described using an infrared sensor as an example, but the present embodiment is not limited to this.
- the proximity sensor 13 may be a capacitance sensor or the like that is disposed on the surface of the housing 11 of the controller device 10 and detects a hand contact state.
- the capacitance sensor does not necessarily have to be provided for each finger, and information on the bending amounts of a plurality of fingers may be detected by an integrated capacitance sensor.
- the controller device 10 sends the output of the sensor to the information processing apparatus 20, and the information processing apparatus 20 detects information on the detection result of a capacitive sensor or the like that detects the contact state of the hand (which finger is Information about the bending amount of the finger ⁇ P′1, ⁇ P′2, ⁇ P′3, ⁇ P′4 is estimated on the basis of the distance from the housing 11.
- the detection unit 26 may be attached to the controller device 10 (detachable). In this case, the controller device 10 does not include the proximity sensor of the detection unit 26 as a product.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
少なくともユーザの指ごとに設けられた近接センサを備えたコントローラデバイスに接続され、当該近接センサの検出結果に基づき、ユーザの指の曲げ量を第1の方法で推定し、また、その第1の推定方法とは異なる第2の方法で、ユーザの手の姿勢・形状を推定し、当該第2の方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、第1の方法で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する情報処理装置である。
Description
本発明は、情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラムに関する。
家庭用ゲーム機等におけるコントローラデバイスは、ユーザが行ったボタン押下やデバイスを振る等の動作を検出して、ゲーム機等の本体に当該検出したユーザの動作を表す情報を送出している。
また近年、こうしたコントローラデバイスの一つとして、カメラによりユーザの手や指を撮像して、ユーザの手の姿勢や形状(位置や向き、ポーズなど)の情報を取得するものが知られている。
しかしながら、カメラによりユーザの手や指を撮像してユーザの手の姿勢や形状の情報を取得しようとする場合、カメラの配置とユーザの手の位置によっては、カメラから指の動きが撮像できず、ユーザの手の姿勢や形状について十分な情報が得られない場合がある。また、カメラからの映像では、映像の解像度に限界があるために、ユーザの指先の詳細な動きを認識することが難しい。
本発明は上記実情に鑑みて為されたもので、ユーザの手の姿勢や形状の情報をより精密に取得できる情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラムを提供することを、その目的の一つとする。
上記従来例の問題点を解決する本発明の一態様は、情報処理装置であって、近接センサを用い、当該近接センサの検出結果に基づき、ユーザの指の曲げ量を推定する第1の推定手段と、前記第1の推定手段とは異なる方法で、ユーザの手の姿勢・形状を推定する第2の推定手段と、前記第2の推定手段で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、前記第1の推定手段で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する生成手段と、を含むこととしたものである。
本発明によると、近接センサにより取得される指の曲げ量の情報を用いて、カメラによる撮像画像等、近接センサ以外の方法によって推定されたユーザの手の姿勢・形状の情報を修正するので、ユーザの手の姿勢や形状の情報をより精密に取得できる。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム1は、図1に例示するように、ユーザの手に把持されるコントローラデバイス10と、情報処理装置20とを含んで構成される。
コントローラデバイス10は、図2にその概要を例示するように、実質的に柱状の筐体11を有し、この筐体11には、ユーザの指に通して筐体11をユーザの指の付け根付近に固定する固定具12が取り付けられている。本実施の形態の一例では、この固定具12は、環状のベルトであり、環状部の径を調整することで、ユーザの手に筐体11を固定可能となっている。
なお、本実施の形態の説明において、各部の大きさやその比、配置等は一例であり、本実施の形態の例は、図示等した大きさや比率、配置に限られるものではない。
また本実施の形態のある例では、筐体11の表面に、複数の近接センサ13が、少なくともユーザの指ごとに(少なくとも各指に対応する数だけ)設けられている。この近接センサ13は、例えば赤外線(IR)センサであり、赤外線発光部13sと赤外線受光部13rとを含んで構成される。この例の近接センサ13は、コントローラデバイス10をユーザの手に固定したとき、赤外線発光部13sと赤外線受光部13rとが、ユーザの指の方向に赤外線を放射し、また、当該ユーザの指の方向から反射されて戻ってきた赤外線を検出する。
そしてこの例の近接センサ13は、赤外線発光部13sが放射した赤外線を赤外線受光部13rで受光したときの結像位置を用いた三角測距法等により、各近接センサ13と、当該近接センサ13からユーザの指の方向を見たときに最初に出会う物体(ユーザの指等)までの距離を表す情報を取得する。そしてこの近接センサ13は、当該距離の情報を出力する。
本実施の形態の例では、近接センサ13が少なくとも指ごとに設けられる(各指を個別に検出可能なよう、少なくとも指の数だけ設けられる)こととしているので、コントローラデバイス10は、この近接センサ13により、コントローラデバイス10自身の筐体11と、各近接センサ13に対応するユーザの各指との距離の情報を得ることとなる。ここで、近接センサ13が検出するユーザの指までの距離は、ユーザの指先までの距離であってもよいし、指の根元(中手指関節(MP関節)から、近位指節間関節(PIP関節)までの間)までの距離であってもよい。指の根元までの距離であっても、ユーザが指を伸ばしたときには当該距離は大きくなり、ユーザが指を曲げると、その曲げ量に応じて筐体11と指の根元までの距離は小さくなるので、この距離によってユーザの指の曲げ量が検出可能となる。
さらにコントローラデバイス10の筐体11には、筐体11をユーザが把持したときに、ユーザの指(親指や、人指指等一部の指でもよい)が到達する位置に、操作部14が配されている。この操作部14は、例えばボタンや、傾倒操作可能なジョイスティック等を含んでもよい。
またコントローラデバイス10は、筐体11内部に回路部15を備える。この回路部15は、マイクロコンピュータのほか、USB等の有線通信ユニット、あるいはブルートゥース(登録商標)等の無線通信ユニット等を備え、情報処理装置20との間で情報を送受する。この回路部15は、各近接センサ13が得た、対応するユーザの指までの距離を表す情報を情報処理装置20に対して所定のタイミングごと(例えば定期的なタイミングごと)に繰り返して送出している。またこの回路部15は、ユーザが操作部14に対して行った操作を表す情報(ボタンの押下量や、ジョイスティックの傾倒方向、傾倒量等の情報)を、所定のタイミングごと(例えば定期的なタイミングごと)に繰り返して送出する。
情報処理装置20は、例えば家庭用ゲーム機であり、図1に示したように、制御部21と、記憶部22と、操作部23と、表示制御部24と、通信部25と、検出部26とを含んで構成される。
ここで制御部21は、CPUなどのプログラム制御デバイスであり、記憶部22に格納されたプログラムに従って動作する。本実施の形態の制御部21は、コントローラデバイス10から受信した、ユーザの指ごとに設けられた近接センサ13の検出結果(ここでは例えば対応する指までの距離の情報)に基づき、ユーザの指の曲げ量を推定する(以下、このコントローラデバイス10の近接センサ13での検出結果を用いて推定をする方法を第1の推定方法と呼ぶ)。また制御部21は、第1の推定方法とは異なる方法(第2の推定方法と呼ぶ)で、ユーザの手の姿勢・形状を推定する。
この第2の推定方法は、例えば後に説明する検出部26にて得られた画像の情報等に基づいて、ユーザの手の姿勢・形状を推定する方法がある。この第2の推定方法の例としてはボーンモデルを用いる方法や、機械学習を用いる方法等、広く知られたものが採用でき、また、例えばリープモーション社の製品であるリープモーション等を用いることもできるので、ここでの詳しい説明を省略する。
制御部21は、また、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、第1の推定方法で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する。この制御部21の動作についても後に詳しく述べる。
記憶部22は、メモリデバイスやディスクデバイス等であり、制御部21によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読、かつ非一時的な記録媒体に格納されて提供され、この記憶部22に格納されたものであってもよい。またこの記憶部22は、制御部21のワークメモリとしても動作する。
操作部23は、コントローラデバイス10との間で有線または無線にて通信を行い、コントローラデバイス10にて行われたユーザの操作の内容を表す情報を受け入れて制御部21に出力する。またこの操作部23は、コントローラデバイス10から、ユーザの指ごとに設けられた近接センサ13の検出結果を受け入れて、制御部21に出力する。
表示制御部24は、ディスプレイ等に接続され、制御部21から入力される指示に従って、情報を表示出力するよう、ディスプレイ等を制御する。通信部25は、例えばネットワークインタフェースであり、制御部21から入力される指示に従い、ネットワークを介して情報を送受する。
検出部26は、例えばコントローラデバイス10を把持するユーザを撮像する方向を撮像するよう設置された一対のカメラであり、二次元的に(マトリクス状または千鳥配列等平面的に)配列された光学センサの群(センサ群)を含む。この光学センサは、例えばCCDやCMOS等のセンサであってもよい。また、赤外線検出素子であってもよい。
この検出部26は、ユーザを撮像した画像データを所定のタイミングごとに繰り返し得て、制御部21に対して当該画像データを出力している。なお、この検出部26は一例であり、本実施の形態の別の例では、検出部26は、ユーザの像を撮像した画像データをそのまま出力するのではなく、例えば得られた画像の各画素に対応する方向に最初にある物体表面までの距離を表す、いわゆるデプスマップの画像を出力するものであってもよいし、赤外線検出素子を含んで、赤外線サーモグラフィの出力(赤外光の撮像結果、すなわちヒートマップ)を行うものなど、撮像により得られる種々の情報であってもよい。
次に制御部21の動作について説明する。本実施の形態の制御部21は、記憶部22に格納されたプログラムを実行することで、図3に例示するように、機能的に、第1の推定処理部31と、第2の推定処理部32と、修正処理部33と、出力部34とを含む情報処理装置を実現する。
ここで第1の推定処理部31は、コントローラデバイス10の近接センサ13の検出結果に基づき、ユーザの各指の曲げ量を推定する。すなわち、この第1の推定処理部31は、コントローラデバイス10から、各近接センサ13が測定した距離の情報を取得する。
具体的にこの各近接センサ13が測定した距離の情報は、コントローラデバイス10が固定されているユーザの手の人差指側から小指側にかけての配列順にグラフとして示すと、図4に例示するように、ユーザがすべての指を曲げている場合は、近接センサ13から曲げられた指までの距離となるので、各指までの位置が、指ごとのピーク(下側のピーク)P1,P2…として現れる。
そこで第1の推定処理部31は、初期のキャリブレーションの処理として、ユーザがすべての指を曲げてコントローラデバイス10を把持したポーズをしているときに、上記ピークの位置を検出して、各指に対応する近接センサ13を少なくとも一つずつ選択して、当該選択した近接センサ13を特定する情報(人差指側からn番目などとしたときの値nで特定すればよい)を記憶しておく。このキャリブレーションの結果は、ユーザを特定する情報とともに記憶部22に蓄積しておき、一度キャリブレーションを行った後は、情報処理装置20を利用するユーザを認証したときに、当該認証したユーザを特定する情報に関連付けたキャリブレーションの結果を読み出して利用することとしてもよい。また、平均的な手の大きさのユーザについてキャリブレーションを行っておき、ユーザが誰であるかに関わらず当該平均的な手の大きさのユーザについてのキャリブレーション結果を用いることとしてもよい。
第1の推定処理部31は、その後、指ごとに当該記憶している近接センサ13が出力する距離の情報に基づいて、各指の曲げ量(図5のピッチ角θP)を検出する。
本実施の形態の一例では、近接センサ13が出力する距離の情報の変化に対して、当該近接センサ13の出力に対応して指の曲げ量(ピッチ角θP)がどのように変化するかを表すデータテーブルを予め実験的に得て、記憶部22に格納しておき、第1の推定処理部31は、このデータテーブルを参照して、指ごとに当該記憶している近接センサ13が出力する距離の情報(ある指に対応する近接センサ13が複数ある場合はその平均、あるいは最小値などとしておく)に基づいて、各指の曲げ量(図5のピッチ角θP)を表す情報を得る。
第2の推定処理部32は、検出部26が出力する情報を用いて、ユーザの手の姿勢・形状を推定する。この第2の推定処理部32は、例えばユーザの手を撮像するデプスセンサが出力するデプスマップに基づいて、ユーザの各指の傾き,回転角,曲げ量(図5のヨー角θY(手の平の面内の指の傾き、つまり指間の開き方向の角度),ロール角θR(指の軸A周りの回転角),ピッチ角θP(指の曲げ方向の回転角))を推定する。この第2の推定処理部32では、例えばデプスマップに基づいてユーザの手の位置及び各指の傾き,回転角,曲げ量(図5のヨー角θY,ロール角θR,ピッチ角θP)を、機械学習結果を用いて推定する。
また、この第2の推定処理部32は、ユーザの手を撮像するデプスマップに基づき、さらにユーザの手の位置を表す情報を得てもよい。この情報は例えばデプスマップを出力するデプスセンサの位置を基準とした三次元座標の値で表すこととすればよい。
修正処理部33は、第2の推定処理部32が出力する各指の傾き,回転角,曲げ量(図5のヨー角θY,ロール角θR,ピッチ角θP)のうち、対応する指ごとに第1の推定処理部31が得た指の曲げ量(図5のピッチ角θP)の情報を置き換えて修正して出力する。なお、修正処理部33は、第2の推定処理部32が得る情報のうち、第1の推定処理部31が得る情報(ここでの例では、ユーザの各指のピッチ角θP)以外の情報については、修正を行わず、そのまま出力する。
出力部34は、修正処理部33が出力する情報を出力し、アプリケーションプログラム(例えばゲームプログラム等)の処理に供する。
[動作]
本発明の実施の形態に係る情報処理システム1は、以上の構成を備えてなり、次のように動作する。
本発明の実施の形態に係る情報処理システム1は、以上の構成を備えてなり、次のように動作する。
ユーザがコントローラデバイス10を手(左手、または右手の少なくとも一方の手)に把持し、固定具12に指を通して締結し、指の付け根に筐体11が当接する位置に固定する。これにより、ユーザが手を開いても(指を伸ばしても)、コントローラデバイス10は落下することがなくなる。
コントローラデバイス10は、例えばユーザの指の方向に赤外線を放射し、また、当該ユーザの指の方向から反射されて戻ってきた赤外線を検出する近接センサ13を複数備え、コントローラデバイス10を把持しているユーザの手の各指(ここでは人差指、中指、薬指、小指とするが、親指についても親指を検出する近接センサ13を配してその曲げ量を検出してもよい)の曲げ量(ピッチ角θP)の情報を所定のタイミングごとに繰り返し得て、情報処理装置20に対して送信する。
情報処理装置20は、図6に例示する処理を実行し、コントローラデバイス10から受信した、ユーザの指ごとに設けられた近接センサ13の検出結果(ここでは例えば対応する指までの距離の情報)に基づく第1の推定方法により、ユーザの指の曲げ量としてユーザの各指(ここでは人差指、中指、薬指、小指とする)のピッチ角θP′1,θP′2,θP′3,θP′4を推定する(S1)。
また情報処理装置20は、自身に接続された検出部26であるカメラにて撮像されたユーザの手の画像、あるいは、デプスセンサによる撮像結果(デプスマップ)に基づく、第1の推定方法とは異なる第2の推定方法により、コントローラデバイス10を把持しているユーザの手の位置、及び姿勢・形状を推定する(S2)。
この処理S2では、コントローラデバイス10を把持しているユーザの手の位置(x,y,z)と、姿勢・形状の情報(ユーザの手首の下腕方向まわりの角度α、手首関節の曲げ量β、及び各指の傾きθY1,θY2…、各指の回転角θR1,θR2,…、各指の曲げ量θP1,θP2,…)を得る。なお、各指の傾きや回転角、曲げ量の情報は、ユーザの手の平の面を基準として(指の付け根を基準として、例えば指をそろえてまっすぐに伸ばしたときの傾きθY=0、回転角θR=0、曲げ量θP=0などとして)表すように検出する。
情報処理装置20は、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4を、第1の推定方法で推定された情報θP′1,θP′2,θP′3,θP′4で置き換えて修正し(S3)、ユーザの手の姿勢・形状に関する情報を生成して出力する(S4)。
なお、情報処理装置20は、処理S3において第2の推定方法で得られる情報のうち、第1の推定方法により得られる情報(ここでの例では、ユーザの各指のピッチ角θP)以外の情報については、修正を行わない。従って、処理S4で出力される情報は、処理S2で推定されたユーザの手の位置(x,y,z)と、姿勢・形状の情報のうち、ユーザの手首の下腕方向まわりの角度α、手首関節の曲げ量β、及び各指の傾きθY1,θY2…の情報、並びに、処理S1で推定された ユーザの各指のピッチ角θP′1,θP′2,θP′3,θP′4となる。
このユーザの手の位置や、姿勢・形状の情報(ただし、指のピッチ角など、コントローラデバイス10側のセンサの出力により修正されているもの)は、ゲーム等のアプリケーションプログラムの処理に利用される。
[近接センサの位置]
なお、本実施の形態のここまでの説明では、コントローラデバイス10の近接センサ13は、筐体11のうち、ユーザの手に把持されたとき、ユーザの指の側の面に配されるものとしていた(ユーザの指の側に赤外線を放射し、当該側からの反射光を受光可能な位置に配していた)が、本実施の形態はこれに限られない。
なお、本実施の形態のここまでの説明では、コントローラデバイス10の近接センサ13は、筐体11のうち、ユーザの手に把持されたとき、ユーザの指の側の面に配されるものとしていた(ユーザの指の側に赤外線を放射し、当該側からの反射光を受光可能な位置に配していた)が、本実施の形態はこれに限られない。
一例として本実施の形態のコントローラデバイス10の近接センサ13の少なくとも一部は、固定具12上に配されてもよい。すなわち、本実施の形態では、固定具12のユーザの指の側に向く面にも近接センサ13を配してもよい。この場合、当該固定具12上に配した近接センサ13は、ユーザが指を伸ばしていくにつれて、指が近接しているものとして検出することとなる。
従ってこの例では、情報処理装置20の制御部21はさらに、ユーザがすべての指を伸ばしたポーズをしているときに、固定具12上に配した各近接センサ13のうち、各指を実際に検出している近接センサ13を一つずつ選択する(例えば初期のキャリブレーションの処理として、ユーザに人差指から順番に伸ばしてもらい、その間の検出結果に基づいて、各指を検出している近接センサ13を特定することとしてもよい)。このキャリブレーションの結果も、記憶部22に、ユーザを特定する情報とともに蓄積しておき、後の処理に供してもよい。
情報処理装置20の制御部21は、指ごとに当該記憶している近接センサ13が出力する距離の情報に基づいて、各指の曲げ量(図5のピッチ角θP)を検出するが、この際、近接センサ13のうち、筐体11に配されているものについては、筐体11側に配した近接センサ13の出力に対応して指の曲げ量(ピッチ角θP)がどのように変化するかを表す第1のデータテーブルを予め実験的に得て、記憶部22に格納しておき、また、固定具12に配した近接センサ13の出力に対応して指の曲げ量(ピッチ角θP)がどのように変化するかを表す第2のデータテーブルも予め実験的に得て、記憶部22に格納しておく。
情報処理装置20は、筐体11側に配された、指ごとに当該記憶している近接センサ13が出力する距離の情報(ある指に対応する近接センサ13が複数ある場合はその平均、あるいは最小値などとしておく)に基づいて、第1のデータテーブルを参照して、各指の曲げ量(図5のピッチ角θP)を表す情報を得る。
また情報処理装置20は、固定具12側に配された、指ごとに当該記憶している近接センサ13が出力する距離の情報(ある指に対応する近接センサ13が複数ある場合はその平均、あるいは最小値などとしておく)に基づいて、第2のデータテーブルを参照して、各指の曲げ量(図5のピッチ角θP)を表す情報を得る。
この例では、筐体11及び固定具12のそれぞれに配された近接センサ13から同じ指(例えば人差指)について複数のピッチ角θPの情報が得られたならば、情報処理装置20は、それらの平均値を求めて、当該平均値により、第2の推定方法で推定されたユーザの手の姿勢・形状の情報を修正してもよい。
[修正方法の別の例]
またここまでの例では、情報処理装置20は、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4を、第1の推定方法で推定された情報θP′1,θP′2,θP′3,θP′4で置き換えて修正することとしていたが、本実施の形態はこれに限られない。
またここまでの例では、情報処理装置20は、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4を、第1の推定方法で推定された情報θP′1,θP′2,θP′3,θP′4で置き換えて修正することとしていたが、本実施の形態はこれに限られない。
例えば、情報処理装置20は、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4と、第1の推定方法で推定された情報θP′1,θP′2,θP′3,θP′4との加重平均により、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4を修正してもよい。
一例として、情報処理装置20は、第2の推定方法で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4を、当該各指の曲げ方向の移動量の情報θP1,θP2,θP3,θP4と、第1の推定方法で推定された情報θP′1,θP′2,θP′3,θP′4との加重平均、すなわち
θP″1=(a・θP1+b・θP′1)/(a+b)
θP″2=(a・θP2+b・θP′2)/(a+b)
θP″3=(a・θP3+b・θP′3)/(a+b)
θP″4=(a・θP4+b・θP′4)/(a+b)
で置き換えることとしてもよい。ここで、a,bはそれぞれ実数であり、予め実験的に定めておくこととすればよい。
θP″1=(a・θP1+b・θP′1)/(a+b)
θP″2=(a・θP2+b・θP′2)/(a+b)
θP″3=(a・θP3+b・θP′3)/(a+b)
θP″4=(a・θP4+b・θP′4)/(a+b)
で置き換えることとしてもよい。ここで、a,bはそれぞれ実数であり、予め実験的に定めておくこととすればよい。
また別の例では、θPやθP′の大きさによって加重平均の重みa,bを異ならせてもよい。例えば指を曲げるほど、近接センサ13に基づく推定(第1の推定方法)の結果が信頼できると判断される場合は、第2の推定方法による推定結果θPや、近接センサ13に基づく推定の結果θP′が大きいほど、対応する加重平均値bがaに比べて大きくなるように設定する。例えばb=f((θP+θP′)/2)とする。ここでf(x)は、xについての単調増加関数とする。
[近接センサの別の例]
また以上の説明では、近接センサ13として赤外線を用いたセンサを例として説明したが、本実施の形態はこれだけに限られない。例えば、近接センサ13は、コントローラデバイス10の筐体11の表面に配された、手の接触状態を検出する静電容量センサ等であってもよい。この場合、静電容量センサは、必ずしも指ごとに設けられなくてもよく、一体の静電容量センサにより複数の指の曲げ量の情報を検出してもよい。
また以上の説明では、近接センサ13として赤外線を用いたセンサを例として説明したが、本実施の形態はこれだけに限られない。例えば、近接センサ13は、コントローラデバイス10の筐体11の表面に配された、手の接触状態を検出する静電容量センサ等であってもよい。この場合、静電容量センサは、必ずしも指ごとに設けられなくてもよく、一体の静電容量センサにより複数の指の曲げ量の情報を検出してもよい。
一例として、コントローラデバイス10は当該センサの出力を情報処理装置20に送出し、情報処理装置20が、当該の手の接触状態を検出する静電容量センサ等の検出結果の情報(各指がどの程度筐体11から離れているか)に基づいて、指の曲げ量の情報θP′1,θP′2,θP′3,θP′4を推定する。
なお、本実施の形態の例において、第2の推定処理部32は、検出部26が出力する情報を用いて、ユーザの手の姿勢・形状を推定するものとしたが、この検出部26は例えば、コントローラデバイス10の表面にマトリクス状等、二次元的に配列した複数の近接センサ(静電容量センサ等のセンサの群)を含むものであってもよい。
この、検出部26として機能する近接センサは、近接センサ13とは異なるものであることが好ましく、例えば近接センサ13として、比較的面積の広い静電容量センサを用いて、コントローラデバイス10から指までの距離について比較的高い精度で検出するものを用いるとすると、この検出部26の近接センサは、二次元的に配列した複数の、比較的面積の小さい静電容量センサを用い、コントローラデバイス10から指までの距離の精度よりも、指の位置を検出することを重視したものとしてもよい。
また、近接センサ13がコントローラデバイス10に搭載されているものであるのに対し、検出部26は、コントローラデバイス10に取り付けられるもの(着脱可能なもの)としておいてもよい。この場合、コントローラデバイス10は、製品としては、検出部26の近接センサを含まないものとなる。
このように近接センサを用いる場合、検出部26は、各近接センサからユーザの指までの距離(最短距離)を表す情報を出力することとなる。さらにこの場合の近接センサは二次元的に配列する例ばかりでなく、一列に(例えば指の数より多い数の近接センサを)一次元的に配列することとしてもよい。この場合、検出部26が出力する情報は、各近接センサからユーザの指までの距離(最短距離)を表す波形情報となる。このような情報からユーザの手の姿勢・形状を推定する方法は、広く知られた方法を採用できるので、ここでの詳しい説明を省略する。
1 情報処理システム、10 コントローラデバイス、11 筐体、12 固定具、13 近接センサ、14 操作部、15 回路部、20 情報処理装置、21 制御部、22 記憶部、23 操作部、24 表示制御部、25 通信部、26 検出部、31 第1の推定処理部、32 第2の推定処理部、33 修正処理部、34 出力部。
Claims (8)
- 近接センサを用い、当該近接センサの検出結果に基づき、ユーザの指の曲げ量を推定する第1の推定手段と、
前記第1の推定手段とは異なる方法で、ユーザの手の姿勢・形状を推定する第2の推定手段と、
前記第2の推定手段で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、前記第1の推定手段で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する生成手段と、
を含む情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記第1の推定手段が用いる前記近接センサは赤外線センサまたは静電容量センサである情報処理装置。 - 請求項1または2に記載の情報処理装置であって、
前記第2の推定手段は、一次元的または二次元的に配列されたセンサ群の出力を用い、当該センサ群の出力に基づいて手の姿勢・形状を推定する情報処理装置。 - 請求項1または2に記載の情報処理装置であって、
前記近接センサは、ユーザの手に把持されるデバイス表面に配された、手の接触状態を検出するセンサであり、
前記第1の推定手段は、当該ユーザの手に把持されるデバイス表面に配された、手の接触状態を検出するセンサの検出結果の情報に基づいて、ユーザの指の曲げ量を推定する情報処理装置。 - 情報処理装置と、ユーザの手に把持されるコントローラデバイスとを含む情報処理システムであって、
前記コントローラデバイスは、
ユーザの手にコントローラデバイス自身を接触させた状態で固定する固定具と、
少なくともユーザの指ごとに設けられた近接センサと、を備え、
当該近接センサによるユーザの各指までの距離を表す情報を検出結果の情報として前記情報処理装置に出力し、
前記情報処理装置は、前記コントローラデバイスから入力される前記近接センサの検出結果の情報に基づいてユーザの各指の曲げ量を推定する第1の推定手段と、
前記第1の推定手段とは異なる方法で、ユーザの手の姿勢・形状を推定する第2の推定手段と、
前記第2の推定手段で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、前記第1の推定手段で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する生成手段と、
を含み、
前記コントローラデバイスの前記近接センサの少なくとも一部は、前記固定具上に配されてなる情報処理システム。 - ユーザの手に把持されるコントローラデバイスであって、
ユーザの手にコントローラデバイス自身を接触させた状態で固定する固定具と、
少なくともユーザの指ごとに設けられた近接センサと、
当該近接センサによるユーザの指までの距離を表す情報を検出結果の情報として出力する制御部とを備え、
前記近接センサの少なくとも一部は、前記固定具上に配されてなるコントローラデバイス。 - コンピュータを用い、
第1の推定手段が、少なくともユーザの指ごとに設けられた近接センサを用い、当該近接センサの検出結果に基づき、ユーザの指の曲げ量を推定する工程と、
第2の推定手段が、前記第1の推定手段とは異なる方法で、ユーザの手の姿勢・形状を推定する工程と、
生成手段が、前記第2の推定手段で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、前記第1の推定手段で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する工程と、
を含む情報処理方法。 - コンピュータに、
少なくともユーザの指ごとに設けられた近接センサを用い、当該近接センサの検出結果に基づき、ユーザの指の曲げ量を推定する第1の推定工程と、
前記第1の推定工程とは異なる方法で、ユーザの手の姿勢・形状を推定する第2の推定工程と、
前記第2の推定工程で推定されたユーザの手の姿勢・形状の情報のうち、各指の曲げ方向の移動量の情報を、前記第1の推定工程で推定された情報を用いて修正し、ユーザの手の姿勢・形状に関する情報を生成する生成工程と、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019571920A JP6910485B2 (ja) | 2018-02-16 | 2018-02-16 | 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム |
US16/965,805 US11400363B2 (en) | 2018-02-16 | 2018-02-16 | Information processing apparatus, information processing system, controller device, information processing method, and program |
PCT/JP2018/005530 WO2019159332A1 (ja) | 2018-02-16 | 2018-02-16 | 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/005530 WO2019159332A1 (ja) | 2018-02-16 | 2018-02-16 | 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019159332A1 true WO2019159332A1 (ja) | 2019-08-22 |
Family
ID=67619818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/005530 WO2019159332A1 (ja) | 2018-02-16 | 2018-02-16 | 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11400363B2 (ja) |
JP (1) | JP6910485B2 (ja) |
WO (1) | WO2019159332A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112603276A (zh) * | 2020-12-28 | 2021-04-06 | 中科彭州智慧产业创新中心有限公司 | 双手寸口脉搏波的快速检测设备及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019142329A1 (ja) * | 2018-01-19 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
JP2015088161A (ja) * | 2013-09-26 | 2015-05-07 | 富士通株式会社 | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム |
JP2015519624A (ja) * | 2012-02-24 | 2015-07-09 | トーマス ジェイ モスカリッロMOSCARILLO, Thomas, J. | ジェスチャー認識装置及び方法 |
WO2016038953A1 (ja) * | 2014-09-10 | 2016-03-17 | ソニー株式会社 | 検出装置、検出方法、制御装置、および制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000132305A (ja) * | 1998-10-23 | 2000-05-12 | Olympus Optical Co Ltd | 操作入力装置 |
WO2009147904A1 (ja) * | 2008-06-04 | 2009-12-10 | 国立大学法人筑波大学 | 手指形状推定装置、手指形状の推定方法及びプログラム |
US20100152619A1 (en) * | 2008-12-16 | 2010-06-17 | 24/8 Llc | System, method, and computer-program product for measuring pressure points |
US10234941B2 (en) * | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
-
2018
- 2018-02-16 WO PCT/JP2018/005530 patent/WO2019159332A1/ja active Application Filing
- 2018-02-16 JP JP2019571920A patent/JP6910485B2/ja active Active
- 2018-02-16 US US16/965,805 patent/US11400363B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
JP2015519624A (ja) * | 2012-02-24 | 2015-07-09 | トーマス ジェイ モスカリッロMOSCARILLO, Thomas, J. | ジェスチャー認識装置及び方法 |
JP2015088161A (ja) * | 2013-09-26 | 2015-05-07 | 富士通株式会社 | ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム |
WO2016038953A1 (ja) * | 2014-09-10 | 2016-03-17 | ソニー株式会社 | 検出装置、検出方法、制御装置、および制御方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112603276A (zh) * | 2020-12-28 | 2021-04-06 | 中科彭州智慧产业创新中心有限公司 | 双手寸口脉搏波的快速检测设备及方法 |
Also Published As
Publication number | Publication date |
---|---|
US11400363B2 (en) | 2022-08-02 |
JP6910485B2 (ja) | 2021-07-28 |
JPWO2019159332A1 (ja) | 2020-09-10 |
US20210046380A1 (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110476168B (zh) | 用于手部跟踪的方法和系统 | |
JP6831475B2 (ja) | 情報処理システム、コントローラデバイス、及び情報処理装置 | |
JP7000593B2 (ja) | 情報処理システム、コントローラ装置、情報処理装置、及びプログラム | |
JP7057389B2 (ja) | 情報処理装置、制御方法、プログラム、及び記憶媒体 | |
JP2015039522A (ja) | リハビリ装置および幻肢痛治療支援装置 | |
US20170300119A1 (en) | Intra-oral imaging using operator interface with gesture recognition | |
WO2019159332A1 (ja) | 情報処理装置、情報処理システム、コントローラデバイス、情報処理方法、及びプログラム | |
CN110520822B (zh) | 控制装置、信息处理系统、控制方法和程序 | |
JP6501806B2 (ja) | 情報処理装置、操作検出方法、及びコンピュータプログラム | |
JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
CN112109069A (zh) | 机器人示教装置以及机器人系统 | |
JP2011018129A (ja) | ヒューマンインターフェイス装置 | |
JP6661783B2 (ja) | 情報処理システム、情報処理装置、制御方法、及びプログラム | |
US11429187B2 (en) | Controller apparatus, control method thereof, and program | |
WO2020039507A1 (ja) | コントローラ装置 | |
JP2015149036A (ja) | タッチスクリーンに対する操作精度を向上する方法、電子機器およびコンピュータ・プログラム | |
JP2020201183A (ja) | カメラ位置調整方法 | |
JP7394046B2 (ja) | システム、撮像装置、情報処理装置、情報処理方法および情報処理プログラム | |
JP6689678B2 (ja) | 検出方法、被検出物、及びシステム | |
JP7198356B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20190061152A1 (en) | Measuring method, program, measuring apparatus and method of manufacturing article | |
JP6689679B2 (ja) | 表示装置、情報表示システム、及びプログラム | |
EP3832436A1 (en) | Motion sensing data generating method and motion sensing data generating system | |
JP2016118868A (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法 | |
JP2020047236A (ja) | 追跡方法及び追跡方法を使用する追跡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18906197 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019571920 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18906197 Country of ref document: EP Kind code of ref document: A1 |