JP6534011B2 - 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 - Google Patents
情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 Download PDFInfo
- Publication number
- JP6534011B2 JP6534011B2 JP2015024040A JP2015024040A JP6534011B2 JP 6534011 B2 JP6534011 B2 JP 6534011B2 JP 2015024040 A JP2015024040 A JP 2015024040A JP 2015024040 A JP2015024040 A JP 2015024040A JP 6534011 B2 JP6534011 B2 JP 6534011B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- information processing
- image
- captured image
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Description
本発明の一例は、ハウジングと、撮像装置と、位置算出手段と、処理実行手段とを備える、情報処理装置である。撮像装置は、ハウジングの側面方向を撮像する。位置算出手段は、撮像装置による撮像画像に基づいて、当該撮像画像に含まれる物体の3次元位置を算出する。処理実行手段は、3次元位置に応じた情報処理を実行する。
情報処理装置は、撮像画像に基づいて、物体の形状を特定する形状特定手段をさらに備えていてもよい。処理実行手段は、物体の3次元位置および形状に応じた情報処理を実行してもよい。
処理実行手段は、3次元位置に基づいて3次元仮想空間における位置を特定し、特定された位置に関して、物体の形状に応じて異なる情報処理を実行してもよい。
形状特定手段は、撮像画像に含まれる物体の画像領域を特定し、当該画像領域に基づいて当該物体の形状を特定してもよい。位置算出手段は、形状特定手段によって特定された物体の画像領域に基づいて当該物体の位置を算出してもよい。
位置算出手段は、撮像画像上における物体の2次元位置を算出し、当該2次元位置に基づいて3次元位置を算出してもよい。形状特定手段は、位置算出手段によって算出された2次元位置に基づいて物体の形状を特定してもよい。なお、形状特定手段は、位置算出手段によって算出された2次元位置に基づいて撮像画像上において判別範囲を設定し、当該判別範囲と物体の画像の領域との関係に基づいて当該物体の形状を算出してもよい。
情報処理装置は、ユーザの一方の手で持つことが可能な情報処理装置であってもよい。位置算出手段は、撮像画像に含まれるユーザの他方の手の3次元位置を算出してもよい。
処理実行手段は、3次元位置に基づいて3次元仮想空間における位置を特定する情報処理を実行してもよい。
処理実行手段は、3次元位置に基づいて3次元仮想空間内でオブジェクトを移動させてもよい。
情報処理装置は、ハウジングの正面に設けられる表示装置をさらに備えていてもよい。処理実行手段は、3次元位置に応じた画像を表示装置に表示する情報処理を実行してもよい。
撮像装置は、ハウジングの左側または右側に関する側面方向を撮像してもよい。位置算出手段は、側面方向に平行な第1方向に関する第1位置と、側面方向に垂直で、かつ、表示装置の画面に垂直な第2方向に関する第2位置と、側面方向に垂直で、かつ、表示装置の画面に平行な第3方向に関する第3位置とを含む3次元位置を算出してもよい。処理実行手段は、表示装置の画面における左右方向に対応する3次元仮想空間内の方向に関する処理を第1位置に基づいて実行してもよい。処理実行手段は、表示装置の画面における奥行き方向に対応する3次元仮想空間内の方向に関する処理を第2位置に基づいて実行してもよい。処理実行手段は、表示装置の画面における上下方向に対応する3次元仮想空間内の方向に関する処理を第3位置に基づいて実行してもよい。
以下、本発明の実施形態に係る情報処理装置、情報処理システム、情報処理プログラム、および、情報処理方法について説明する。第1の実施形態における情報処理装置は、カメラ(赤外線カメラ)によってユーザの手等の物体を撮像し、撮像画像に基づいてユーザの操作を判別するものである。
まず、図1〜図5を参照して、情報処理装置の一例である携帯機器の構成の一例について説明する。図1は、第1の実施形態における携帯機器の一例の正面図である。図2は、携帯機器の一例の右側面図である。図3は、携帯機器の一例の背面図である。第1の実施形態において、携帯機器1は、ユーザが手で持って操作可能な携帯型(可搬型ということもできる)の情報処理装置である。携帯機器1は、例えば、携帯ゲーム機、携帯電話機、スマートフォン、タブレット端末、カメラ等の手持ち型の機器であってもよいし、腕時計型の端末等、ユーザが身に付けることが可能な端末であってもよい。
次に、第1の実施形態において、携帯機器1によって実行される処理の概要を説明する。以下では、図6〜図10を参照して、携帯機器1が赤外線カメラによってユーザの手を検出し、手の位置および形状を算出する処理について説明する。
赤外線カメラ4の撮像方向に垂直な2次元方向の位置は、撮像画像の輝度に関する重心位置(図6に示す位置P1)を用いて算出される。ここで、撮像画像における重心位置とは、撮像画像の各画素の輝度を重みとした、撮像画像全体における重心位置である。重心位置は、画素の位置を表す2次元座標にその画素の輝度を乗算した2次元値を各画素について算出し、算出された各2次元値の総和を、各画素の輝度の総和で除算することによって得ることができる。なお、撮像画像において、手の領域21以外に、輝度が高くかつ面積の大きい領域がない場合(赤外線カメラ4に手以外の物体が写っていない場合)には、重心位置は、手の領域21の内側の領域となる。
第1の実施形態においては、携帯機器1は、撮像方向(z軸方向)に関する位置を撮像画像に基づいて算出する。撮像方向に関する位置(赤外線カメラ4からの距離)は、撮像画像(全体)の明るさに基づいて算出される。具体的には、携帯機器1は、撮像画像の各画素の輝度の平均値を算出し、当該平均値に基づいて上記距離を算出する。
また、第1の実施形態においては、携帯機器1は、手の形状を撮像画像に基づいて算出する。第1の実施形態においては、携帯機器1は、手の形状として、手が開いた形状(パーの形状)であるか、それとも、手が閉じた形状(グーの形状)であるかを特定する。
次に、携帯機器1において実行される処理の具体例について説明する。図11は、携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図11に示す一連の処理は、任意の条件およびタイミングで実行されてよい。第1の実施形態においては、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第1の実施形態においては、携帯機器1は、撮像画像に基づいて、各画素の明るさに関する情報を取得し(ステップS1)、撮像画像について、各画素の明るさを重みとしたときの偏りを表す位置情報(重心位置の情報)を算出する(ステップS2)。そして、携帯機器1は、位置情報に基づいて、所定の情報処理を実行する(ステップS5)。なお、上記位置情報を算出する対象となる(撮像画像中における)領域は、上記実施形態においては撮像画像の全領域であったが、上記物体(手)の画像の領域とは独立して設定される任意の領域であってよい。つまり、「撮像画像について位置情報を算出する」とは、撮像画像の全領域を対象として位置情報を算出する態様と、撮像画像の一部領域を対象として位置情報を算出する態様との両方を含む意味である。また、所定の情報処理は、任意の処理でよく、例えば、物体(手)の位置、形状、および/または動きに応じた情報処理である。
第1の実施形態における情報処理を用いた変形例(応用例)として、例えば次に示す例が挙げられる。図12は、ユーザがあおぎ操作を行う様子の一例を示す図である。また、図13は、ユーザが回転操作を行う様子の一例を示す図である。また、図14は、ユーザがはじき操作を行う様子の一例を示す図である。携帯機器1は、第1の実施形態における情報処理を用いて、これらの操作をジェスチャ入力として検出して、これらの操作に応じた処理を実行するようにしてもよい。
次に、本発明の第2の実施形態について説明する。第2の実施形態においては、携帯機器1は、第1の実施形態とは異なる方法を用いて、撮像画像に基づいて手の3次元位置を算出する。また、携帯機器1は、算出された3次元位置を用いて、3次元の仮想空間においてカーソルの移動を制御する。なお、第2の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
(手の位置および形状の算出)
第2の実施形態においては、携帯機器1は、撮像画像に含まれるユーザの手の領域を検出する。図15は、撮像画像から検出された手の領域の一例を示す図である。ここで、手の領域(撮像画像における、手の画像の領域)31は、撮像画像に対する所定の画像認識処理によって検出される。画像認識処理は、従来における処理であってもよく、例えば、輪郭抽出処理や、パターンマッチングにより手の領域を検出する処理や、ノイズ領域(手以外の領域)を除去する処理等を含む。なお、後述するように、手の領域31を検出する画像認識処理によって、手の形状(例えば、手が閉じた形状であるか、それとも、開いた形状であるか)を特定することが可能である。また、手の領域31を検出することによって、当該手の領域31のうちの指の領域を特定することも可能である。
第2の実施形態においては、携帯機器1は、上記のようにして算出された手の3次元位置に基づいて、3次元仮想空間においてカーソルを制御する。また、上記のようにして特定された手の形状に基づいて、カーソルの選択状態または非選択状態を切り替える。これによって、第2の実施形態においては、ユーザは、手を3次元的に動かすことによってカーソルを3次元的に移動制御することができるとともに、カーソルを用いていわゆるドラッグアンドドロップの操作を行うことができる。
次に、第2の実施形態における携帯機器1において実行される処理の具体例について説明する。図19は、第2の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図19に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第2の実施形態においては、携帯機器1は、ハウジングの側面方向(の空間)を撮像する赤外線カメラ4を備え、赤外線カメラ4による撮像画像に基づいて、当該撮像画像に含まれる物体(ユーザの手)の3次元位置を算出する(ステップS12)。そして、携帯機器1は、3次元位置に応じた情報処理を実行する(ステップS16,S17)。上記によれば、携帯機器1は、ユーザが手等を動かす操作を入力として情報処理を実行する。ユーザは、手等を動かすことで入力操作を行うことができるので、多様な入力を行うことができる。また、赤外線カメラ4は、携帯機器1の側面方向の空間を撮像するので、ユーザは、携帯機器1の側面方向において手等を動かせばよいので、例えば、携帯機器1を片手で持った状態で、もう一方の手で入力操作を行うことができる(図5参照)。したがって、ユーザにとって操作しやすい状態で入力操作を行うことができる。
(手の向きを算出する変形例)
第2の実施形態のように撮像画像における手の領域を検出する場合、携帯機器1は、手の向きを算出するようにしてもよい。ここで、撮像方向(z軸方向)を軸とした回転に関する手の向きについては、撮像画像における手の領域の向きに基づいて算出することができる。また、撮像方向に垂直な方向(x軸方向またはy軸方向等)を軸とした回転に関する手の向きについては、撮像画像における手の領域の輝度に基づいて算出することができる。以下、第2の実施形態の変形例として、撮像方向に垂直な方向を軸とした回転に関する手の向きを算出する例について説明する。
次に、本発明の第3の実施形態について説明する。携帯機器1の周囲でユーザが手等を動かして操作を行う場合、ユーザにとっては、例えば、所望の入力を行うための手の位置や、赤外線カメラ4(携帯機器1)と手との位置関係がわかりにくいおそれがある。そこで、第3の実施形態においては、携帯機器1は、手の位置を表すためのガイド画像を表示する。なお、第3の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
図22は、第3の実施形態において行われる操作の一例を示す図である。図22に示すように、第3の実施形態においては、ユーザは、手を撮像方向(z軸方向)に動かすことで、仮想空間内のオブジェクト(プレイヤキャラクタ)41を操作する。すなわち、携帯機器1は、撮像方向に関する手の位置を算出し、オブジェクト41の移動を制御する。
図23は、手の位置と情報処理との関係の一例を示す図である。携帯機器1は、撮像画像に基づいて手の位置を算出するので、赤外線カメラ4から手が離れすぎると(例えば、赤外線カメラ4からの距離が40cmを超えると)、手を検出することができず、手の位置を算出することができなくなる。ここでは、手の位置を算出することが可能な範囲を算出可能範囲と呼び、手の位置を算出することが不可能な範囲を算出不可能範囲と呼ぶ。図23に示すように、第3の実施形態においては、赤外線カメラ4から所定距離以内の範囲が算出可能範囲となり、赤外線カメラ4から当該所定距離よりも離れた範囲が算出不可能範囲となる。
図24は、ガイド画像の一例を示す図である。図24に示すように、ガイド画像42は、範囲画像45と、指示画像46とを含む。範囲画像45は、現実空間における上記処理範囲の領域を表す。範囲画像45の形状はどのようなものであってもよい。第3の実施形態においては、範囲画像は、撮像方向(ユーザから見て左右方向)における位置に関する処理範囲を表すべく、横方向に延びる棒状の形状である。
本実施形態においては、携帯機器1は、ゲーム処理中においてゲーム画像と共にガイド画像42を表示する(図22参照)。したがって、ユーザは、ゲームのプレイ中においてガイド画像42を見ることによって、手の位置と出力との関係を確認することができるので、操作が行いやすくなる。
次に、第3の実施形態における携帯機器1において実行される処理の具体例について説明する。図27は、第3の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図27に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、ジェスチャ入力を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
以上のように、第3の実施形態においては、手持ち型の情報処理装置(携帯機器1)は、赤外線カメラ4による撮像画像に基づいて、当該撮像画像に含まれる物体(ユーザの手)の位置を算出する(ステップS22)。また、情報処理装置は、物体の位置に応じた出力を出力装置(ディスプレイ2)に出力させる(ステップS23)。情報処理装置は、範囲を表す範囲画像45と、当該範囲内において出力の変化に応じて位置が変化する指示画像46とを含むガイド画像42を所定の表示装置(ディスプレイ2)に表示させる(ステップS26,S27)。
上記第3の実施形態においては、携帯機器1は、所定の一方向に関する手の移動操作を検出し、当該一方向に関する位置を表すガイド画像を表示するものであった。ここで、携帯機器1が検出する操作は任意であり、また、ガイド画像の表示態様は任意である。以下、ガイド画像の変形例について説明する。
次に、本発明の第4の実施形態について説明する。第4の実施形態においては、携帯機器1は、携帯機器1の側面にタッチする操作(タッチ操作)を撮像画像に基づいて検出する。また、携帯機器1は、タッチ操作に応じて各種の情報処理(例えば、ゲームを開始する処理等)を実行する。このようなタッチ操作を可能とすることによって、操作性を向上することができる。なお、第4の実施形態における携帯機器1のハードウェア構成は第1の実施形態と同じであるので、ハードウェア構成の詳細な説明を省略する。
(タッチ操作の検出方法)
次に、タッチ操作の検出方法について説明する。図31は、タッチ操作が行われる際に取得される撮像画像の変化の一例を示す図である。タッチ操作が行われる前からタッチ操作が行われた時点までに取得される撮像画像は、例えば、図31に示すように変化する。
次に、タッチ操作を入力として用いる情報処理の例について説明する。第4の実施形態においては、携帯機器1がゲーム処理を実行する場合において、タッチ操作は、ゲームの開始のための操作として用いられる。
次に、第4の実施形態における携帯機器1において実行される処理の具体例について説明する。図33は、第4の実施形態における携帯機器1によって実行される処理の流れの一例を示すフローチャートである。図33に示す一連の処理は、任意の条件およびタイミングで実行されてよい。例えば、上記一連の処理は、タッチ操作を受け付ける所定のアプリケーションプログラム(例えばゲームプログラム)の実行中において実行される。
ステップS38の具体的な判定方法は任意である。例えば、制御部14は、所定のゲーム条件(プレイヤキャラクタが障害物にぶつかったり、谷に落ちたりしたこと)が満たされたか否かを判定する。ステップS38の判定結果が肯定である場合、ステップS39の処理が実行される。一方、ステップS38の判定結果が否定である場合、ステップS31の処理が再度実行される。したがって、ゲームオーバーとなるまで、ステップS31〜S34,S37,S38の一連の処理が繰り返し実行され、ゲームが進行する。
以上のように、第4の実施形態においては、携帯機器1は撮像画像に基づいて、赤外線カメラ4に物体(ユーザの手)を接触させる操作(タッチ操作)を検出し(ステップS35)、操作の検出結果に基づいて所定の情報処理を実行する(ステップS36)。これによれば、ユーザは、赤外線カメラ4にタッチする操作によって携帯機器1に対する指示を行うことができる。すなわち、第4の実施形態によれば、従来にはない操作が可能となり、携帯機器1の操作性を向上することができる。
なお、他の実施形態においては、携帯機器1は、タッチ操作に加えて、タッチ操作の速度、および/または、タッチ操作の位置を算出し、入力として用いるようにしてもよい。以下、上記第4の実施形態の変形例として、タッチ操作の速度、または、タッチ操作の位置を算出する例について説明する。
(携帯機器に関する変形例)
上記第1〜第4の実施形態においては、撮像装置(赤外線カメラ4)を備える情報処理装置が携帯機器である場合について説明したが、撮像画像を備える情報処理装置はどのような種類のものであってもよい。例えば、他の実施形態においては、ユーザが手に持って操作を行うための操作装置が撮像装置を備えていてもよい。このとき、撮像画像を取得し、撮像画像に基づく情報処理を実行する装置は、操作装置であってもよいし、操作装置と通信可能な他の情報処理装置であってもよい。例えば、据置型のゲーム装置に対する入力を行うためのコントローラが撮像装置を備えており、当該ゲーム装置が、コントローラから取得された撮像画像に基づく情報処理を実行してもよい。このとき、上記コントローラが撮像画像に基づいて手の位置等(位置、向き、形状、および/または、これらの変化等)に関する情報を算出してゲーム装置へ送信し、ゲーム装置は、コントローラから受信した情報に基づいて情報処理(ゲーム処理)を実行するようにしてもよい。
上記第1〜第4の実施形態においては、撮像装置の一例として赤外線カメラ4が用いられ、携帯機器1は、赤外線画像における輝度を表す情報(当該情報を含む撮像画像)を取得した。ここで、他の実施形態においては、赤外線カメラ4に限らず、任意の撮像装置が用いられてもよい。例えば、他の実施形態においては、画素毎にRGB値を有する撮像画像を出力するカメラが撮像装置として用いられてもよい。
上記第1〜第4の実施形態においては、携帯機器1は、物体(手)の位置および/または形状を撮像画像に基づいて算出した。ここで、上述したように、他の実施形態においては、携帯機器1は、物体の動きを算出してもよい。
上記第1または第2の実施形態における方法で撮像画像から手の位置を算出する場合、実際の手の位置はほとんど移動していないにもかかわらず、ユーザの手の形状または向きが変化したことに応じて、算出される手の位置が変化してしまうおそれがある。したがって、携帯機器1は、撮像画像から手の位置を算出する処理を、手の形状および/または手の向きに応じて決定するようにしてもよい。例えば、第1の実施形態のように重心位置から手の位置を決定する場合、携帯機器1は、手の形状が閉じた形状であるか開いた形状であるかによって、重心位置から手の位置を決定する処理(計算方法)を異なるようにしてもよい。
上記第1〜第4の実施形態においては、携帯機器1は、赤外線カメラ4による撮像画像に基づいて検出される入力(ユーザの手の位置等)に応じて所定の情報処理(ステップS5,S16,S17,S23,S37等)を実行した。ここで、他の実施形態においては、携帯機器1は、上記入力と、他の入力部に対する入力とのいずれかに基づいて情報処理を実行するようにしてもよい。他の入力部は、例えば、上記入力ボタン6、および/または、上記タッチパネル3である。これによって、多様な操作方法をユーザに提供することができる。例えば、上記第4の実施形態においては、ユーザは、携帯機器1の側面(赤外線カメラ4の位置)にタッチするとともに、ディスプレイ2にもタッチすることができ、新規な操作を提供することができる。
2 ディスプレイ
4 赤外線カメラ
7 照射部
14 制御部
22 判別範囲
33 カーソル
34 オブジェクト
42 ガイド画像
45,51 範囲画像
46,52,57 指示画像
47 処理基準画像
48 カメラ基準画像
Claims (11)
- ハウジングと、
前記ハウジングの側面方向を撮像する撮像装置と、
前記撮像装置による撮像画像に基づいて、当該撮像画像に含まれる物体の3次元位置を算出する位置算出手段と、
前記撮像画像に基づいて、前記物体の形状を特定する形状特定手段と、
前記3次元位置に応じた情報処理を実行する処理実行手段とを備え、
前記位置算出手段は、前記撮像画像上における前記物体の2次元位置を算出し、当該2次元位置に基づいて前記3次元位置を算出し、
前記形状特定手段は、前記位置算出手段によって算出された前記2次元位置に基づいて前記撮像画像上において判別範囲を設定し、当該判別範囲と前記物体の画像の領域との関係に基づいて当該物体の形状を特定し、
前記処理実行手段は、前記物体の3次元位置および形状に応じた情報処理を実行する、情報処理システム。 - 前記処理実行手段は、前記3次元位置に基づいて3次元仮想空間における位置を特定し、特定された位置に関して、前記物体の形状に応じて異なる情報処理を実行する、請求項1に記載の情報処理システム。
- 前記形状特定手段は、前記撮像画像に含まれる前記物体の画像領域を特定し、当該画像領域に基づいて当該物体の形状を特定し、
前記位置算出手段は、前記形状特定手段によって特定された前記物体の画像領域に基づいて当該物体の位置を算出する、請求項1または請求項2に記載の情報処理システム。 - 前記ハウジングは、ユーザの一方の手で持つことが可能であり、
前記位置算出手段は、前記撮像画像に含まれるユーザの他方の手の3次元位置を算出する、請求項1から請求項3のいずれか1項に記載の情報処理システム。 - 前記処理実行手段は、前記3次元位置に基づいて3次元仮想空間における位置を特定する情報処理を実行する、請求項1に記載の情報処理システム。
- 前記処理実行手段は、前記3次元位置に基づいて3次元仮想空間内でオブジェクトを移動させる、請求項1から請求項5のいずれか1項に記載の情報処理システム。
- 前記ハウジングの正面に設けられる表示装置をさらに備え、
前記処理実行手段は、前記3次元位置に応じた画像を前記表示装置に表示する情報処理を実行する、請求項1から請求項6のいずれか1項に記載の情報処理システム。 - 前記撮像装置は、前記ハウジングの左側または右側に関する側面方向を撮像し、
前記位置算出手段は、前記側面方向に平行な第1方向に関する第1位置と、前記側面方向に垂直で、かつ、表示装置の画面に垂直な第2方向に関する第2位置と、前記側面方向に垂直で、かつ、表示装置の画面に平行な第3方向に関する第3位置とを含む3次元位置を算出し、
前記処理実行手段は、前記表示装置の画面における左右方向に対応する前記3次元仮想空間内の方向に関する処理を前記第1位置に基づいて実行し、前記表示装置の画面における奥行き方向に対応する前記3次元仮想空間内の方向に関する処理を前記第2位置に基づいて実行し、前記表示装置の画面における上下方向に対応する前記3次元仮想空間内の方向に関する処理を前記第3位置に基づいて実行する、請求項7に記載の情報処理システム。 - ハウジングと、前記ハウジングの側面方向を撮像する撮像装置とを備える情報処理装置を含む情報処理システムのコンピュータにおいて実行される情報処理プログラムであって、
前記撮像装置による撮像画像に基づいて、当該撮像画像に含まれる物体の3次元位置を算出する位置算出手段と、
前記撮像画像に基づいて、前記物体の形状を特定する形状特定手段と、
前記3次元位置に応じた情報処理を実行する処理実行手段として前記コンピュータを機能させ、
前記位置算出手段は、前記撮像画像上における前記物体の2次元位置を算出し、当該2次元位置に基づいて前記3次元位置を算出し、
前記形状特定手段は、前記位置算出手段によって算出された前記2次元位置に基づいて前記撮像画像上において判別範囲を設定し、当該判別範囲と前記物体の画像の領域との関係に基づいて当該物体の形状を特定し、
前記処理実行手段は、前記物体の3次元位置および形状に応じた情報処理を実行する、情報処理プログラム。 - ハウジングの側面方向を撮像する撮像装置による撮像画像に基づいて、当該撮像画像に含まれる物体の3次元位置を算出する位置算出手段と、
前記撮像画像に基づいて、前記物体の形状を特定する形状特定手段と、
前記3次元位置に応じた情報処理を実行する処理実行手段とを備え、
前記位置算出手段は、前記撮像画像上における前記物体の2次元位置を算出し、当該2次元位置に基づいて前記3次元位置を算出し、
前記形状特定手段は、前記位置算出手段によって算出された前記2次元位置に基づいて前記撮像画像上において判別範囲を設定し、当該判別範囲と前記物体の画像の領域との関係に基づいて当該物体の形状を特定し、
前記処理実行手段は、前記物体の3次元位置および形状に応じた情報処理を実行する、情報処理装置。 - ハウジングと、前記ハウジングの側面方向を撮像する撮像装置とを備える情報処理装置を含む情報処理システムにおいて実行される情報処理方法であって、
前記撮像装置による撮像画像に基づいて、当該撮像画像に含まれる物体の3次元位置を算出する位置算出ステップと、
前記撮像画像に基づいて、前記物体の形状を特定する形状特定ステップと、
前記3次元位置に応じた情報処理を実行する処理実行ステップとを備え、
前記位置算出ステップにおいては、前記撮像画像上における前記物体の2次元位置を算出し、当該2次元位置に基づいて前記3次元位置を算出し、
前記形状特定ステップにおいては、前記位置算出ステップにおいて算出された前記2次元位置に基づいて前記撮像画像上において判別範囲を設定し、当該判別範囲と前記物体の画像の領域との関係に基づいて当該物体の形状を特定し、
前記処理実行ステップにおいては、前記物体の3次元位置および形状に応じた情報処理を実行する、情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024040A JP6534011B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
US15/001,517 US10025975B2 (en) | 2015-02-10 | 2016-01-20 | Information processing device, storage medium storing information processing program, information processing system, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024040A JP6534011B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016148901A JP2016148901A (ja) | 2016-08-18 |
JP6534011B2 true JP6534011B2 (ja) | 2019-06-26 |
Family
ID=56566912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015024040A Active JP6534011B2 (ja) | 2015-02-10 | 2015-02-10 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10025975B2 (ja) |
JP (1) | JP6534011B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9804667B2 (en) * | 2015-02-10 | 2017-10-31 | Nintendo Co., Ltd. | Electronic apparatus |
US10507385B2 (en) | 2017-01-25 | 2019-12-17 | Kieran S. Lyden | Game controller |
JP6276460B1 (ja) * | 2017-10-03 | 2018-02-07 | 株式会社 ディー・エヌ・エー | ゲームを提供するためのプログラム、システム、及び方法 |
JP2020052681A (ja) * | 2018-09-26 | 2020-04-02 | シュナイダーエレクトリックホールディングス株式会社 | 操作処理装置 |
WO2020254824A1 (en) * | 2019-06-19 | 2020-12-24 | Ironburg Inventions Limited | Input apparatus for a games console |
CN117784927A (zh) * | 2019-08-19 | 2024-03-29 | 华为技术有限公司 | 一种隔空手势的交互方法及电子设备 |
JP6919050B1 (ja) * | 2020-12-16 | 2021-08-11 | 株式会社あかつき | ゲームシステム、プログラム及び情報処理方法 |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5670987A (en) | 1993-09-21 | 1997-09-23 | Kabushiki Kaisha Toshiba | Virtual manipulating apparatus and method |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
EP0837418A3 (en) | 1996-10-18 | 2006-03-29 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US8120625B2 (en) | 2000-07-17 | 2012-02-21 | Microsoft Corporation | Method and apparatus using multiple sensors in a device with a display |
US7681149B2 (en) | 2003-05-21 | 2010-03-16 | Nokia Corporation | User interface display for set-top box device |
FR2861472B1 (fr) | 2003-10-24 | 2006-01-20 | Eastman Kodak Co | Appareil de prise de vue avec des moyens de detection de lumiere |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
JP2006271663A (ja) | 2005-03-29 | 2006-10-12 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像撮像表示装置 |
JP5204381B2 (ja) | 2006-05-01 | 2013-06-05 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム及びゲーム処理方法 |
US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
JP2008040576A (ja) * | 2006-08-02 | 2008-02-21 | Sharp Corp | 画像処理システム及び該システムを備えた映像表示装置 |
KR100783552B1 (ko) | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
KR20080073053A (ko) | 2007-02-05 | 2008-08-08 | 주식회사 유니온커뮤니티 | 살균기능을 구비한 지문인식장치 및 그 살균방법 |
WO2008137708A1 (en) * | 2007-05-04 | 2008-11-13 | Gesturetek, Inc. | Camera-based user input for compact devices |
US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
WO2009155501A2 (en) | 2008-06-19 | 2009-12-23 | Massachusetts Institute Of Technology | Tactile sensor using elastomeric imaging |
US20100013763A1 (en) | 2008-07-15 | 2010-01-21 | Sony Ericsson Mobile Communications Ab | Method and apparatus for touchless input to an interactive user device |
US20100134424A1 (en) | 2008-12-02 | 2010-06-03 | At&T Mobility Ii Llc | Edge hand and finger presence and motion sensor |
US8643628B1 (en) | 2012-10-14 | 2014-02-04 | Neonode Inc. | Light-based proximity detection system and user interface |
US20100235786A1 (en) | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
US20120188279A1 (en) | 2009-09-29 | 2012-07-26 | Kent Demaine | Multi-Sensor Proximity-Based Immersion System and Method |
US20110087963A1 (en) | 2009-10-09 | 2011-04-14 | At&T Mobility Ii Llc | User Interface Control with Edge Finger and Motion Sensing |
US9025831B2 (en) | 2009-11-10 | 2015-05-05 | Monsanto Technology Llc | Apparatus and methods for automated phenotypic screening of plant genotypes |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
JP5469516B2 (ja) | 2010-04-12 | 2014-04-16 | 任天堂株式会社 | 画像表示プログラム、画像表示システム、画像表示方法および画像表示装置 |
US20130120280A1 (en) | 2010-05-28 | 2013-05-16 | Tim Kukulski | System and Method for Evaluating Interoperability of Gesture Recognizers |
US20110310005A1 (en) | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Methods and apparatus for contactless gesture recognition |
US20120056989A1 (en) | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
JP5617581B2 (ja) | 2010-12-08 | 2014-11-05 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体 |
US20120174039A1 (en) | 2011-01-05 | 2012-07-05 | United Video Properties, Inc. | Systems and methods for navigating through content in an interactive media guidance application |
JP5026604B2 (ja) | 2011-02-24 | 2012-09-12 | 任天堂株式会社 | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
US20130145327A1 (en) | 2011-06-07 | 2013-06-06 | Intersect Ptp, Inc. | Interfaces for Displaying an Intersection Space |
US9910502B2 (en) | 2011-09-15 | 2018-03-06 | Koninklijke Philips N.V. | Gesture-based user-interface with user-feedback |
US20130198690A1 (en) | 2012-02-01 | 2013-08-01 | Microsoft Corporation | Visual indication of graphical user interface relationship |
EP2872967B1 (en) | 2012-07-13 | 2018-11-21 | Sony Depthsensing Solutions SA/NV | Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction |
US8732613B2 (en) | 2012-09-06 | 2014-05-20 | Google Inc. | Dynamic user interface for navigating among GUI elements |
KR101984683B1 (ko) | 2012-10-10 | 2019-05-31 | 삼성전자주식회사 | 멀티 디스플레이 장치 및 그 제어 방법 |
JP6081769B2 (ja) | 2012-10-23 | 2017-02-15 | 任天堂株式会社 | プログラム、情報処理装置、情報処理方法および情報処理システム |
US20140267130A1 (en) | 2013-03-13 | 2014-09-18 | Microsoft Corporation | Hover gestures for touch-enabled devices |
JP6165485B2 (ja) * | 2013-03-28 | 2017-07-19 | 国立大学法人埼玉大学 | 携帯端末向けarジェスチャユーザインタフェースシステム |
JP2014235634A (ja) * | 2013-06-04 | 2014-12-15 | 国立大学法人 筑波大学 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
US20140376773A1 (en) | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
US9268484B2 (en) | 2014-01-07 | 2016-02-23 | Adobe Systems Incorporated | Push-pull type gestures |
JP6519075B2 (ja) | 2015-02-10 | 2019-05-29 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 |
-
2015
- 2015-02-10 JP JP2015024040A patent/JP6534011B2/ja active Active
-
2016
- 2016-01-20 US US15/001,517 patent/US10025975B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016148901A (ja) | 2016-08-18 |
US10025975B2 (en) | 2018-07-17 |
US20160232675A1 (en) | 2016-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534011B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
WO2019153824A1 (zh) | 虚拟对象控制方法、装置、计算机设备及存储介质 | |
US10015402B2 (en) | Electronic apparatus | |
US20170277282A1 (en) | Input device for transmitting user input | |
JP5133515B2 (ja) | ゲーム装置およびゲームプログラム | |
CN108619721A (zh) | 虚拟场景中的距离信息显示方法、装置及计算机设备 | |
CN115443445A (zh) | 用于可穿戴系统的手部手势输入 | |
JP6519075B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
US20170094178A1 (en) | Method and system for determining proper positioning of an object | |
US20150253908A1 (en) | Electrical device for determining user input by using a magnetometer | |
EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
US9804667B2 (en) | Electronic apparatus | |
WO2013031134A1 (en) | Information processing apparatus, information processing method, and program | |
JP2011258158A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
JP5379275B2 (ja) | ゲーム装置およびゲームプログラム | |
JP5878438B2 (ja) | 表示制御装置、表示制御システム、及びプログラム | |
WO2018038136A1 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
JP6561400B2 (ja) | 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法 | |
JP4678428B2 (ja) | 仮想空間内位置指示装置 | |
JP6603024B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP6519074B2 (ja) | 電子機器 | |
JP2019205514A (ja) | プログラム、方法、および情報端末装置 | |
US20240019926A1 (en) | Information processing apparatus, method, computer program and system | |
JP5889995B1 (ja) | 情報処理端末、その制御方法およびアプリケーションプログラム | |
CN111766959A (zh) | 虚拟现实交互方法和虚拟现实交互装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190425 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6534011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |