JP5728009B2 - 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 - Google Patents
指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 Download PDFInfo
- Publication number
- JP5728009B2 JP5728009B2 JP2012520299A JP2012520299A JP5728009B2 JP 5728009 B2 JP5728009 B2 JP 5728009B2 JP 2012520299 A JP2012520299 A JP 2012520299A JP 2012520299 A JP2012520299 A JP 2012520299A JP 5728009 B2 JP5728009 B2 JP 5728009B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- screen
- input device
- instruction input
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000001514 detection method Methods 0.000 claims description 189
- 238000004364 calculation method Methods 0.000 claims description 145
- 230000033001 locomotion Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 39
- 210000000038 chest Anatomy 0.000 description 33
- 210000001508 eye Anatomy 0.000 description 24
- 235000002673 Dioscorea communis Nutrition 0.000 description 22
- 241000544230 Dioscorea communis Species 0.000 description 22
- 208000035753 Periorbital contusion Diseases 0.000 description 22
- 210000003128 head Anatomy 0.000 description 19
- 230000001815 facial effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 210000004247 hand Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 210000000746 body region Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
<概要>
本発明に係る指示入力装置は、1以上のユーザにより操作される大画面ディスプレイに適用されるのに好適であり、ユーザのポインティング操作によって画面上に表示されるポインタ位置の制御を行う。
図1は、本発明の実施の形態における指示入力装置の外観と関連機器とのインタフェースの一例を説明する図である。
以下、図2における各ブロックの機能を説明する。
ユーザ検出カメラ100は、映像表示装置112に設置され、CCD(Charge Coupled Device)などのイメージセンサを備える。ユーザ検出カメラ100は、画面111の前方に存在するユーザを撮像する。
ユーザ位置検出部101は、ユーザ検出カメラ100により撮像される複数の画像からユーザ領域の抽出を行った後、複数の画像におけるユーザ領域の対応関係から、ステレオ視の原理により、画面111に対するユーザの顔または頭の相対位置を算出する。
第1方向検出部102は、ユーザ検出カメラ100により撮像された画像から、視線の方向(以下、「視線方向」ともいう)を、ユーザが見ている方向を示す第1の方向として検出する。
第2方向検出部103は、ユーザ検出カメラ100により撮像された画像から、ユーザの身体の向き(以下、「身体向き」ともいう)を、ユーザがポインティング操作を行なう方向を示す第2の方向として検出する。
座標入力検出部104は、ユーザ検出カメラ100による撮像によって取得された画像に基づいて、ユーザの手の三次元位置を示す座標を入力座標として検出する。なお、本実施の形態では、座標入力検出部104が入力座標検出部として構成されている。
注視位置算出部106は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向とに基づいて、画面上のユーザの注視位置の算出を行う。
基準座標群算出部107は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向とに基づいて、注視位置に対応する線であってユーザと画面111とを結ぶ空間上の基準線を基準座標群として算出する。つまり、本実施の形態では、基準座標群算出部107が基準線算出部として構成されている。また、基準線は、複数の基準座標(基準座標群)の配列によって示される線である。
オフセット量算出部108は、基準座標群算出部107により算出される基準座標群と、第2方向検出部103により検出される第2の方向と、座標入力検出部104により検出される手の位置座標(入力座標)に基づいて、画面111上のユーザの注視位置からのオフセット量を算出する。つまり、オフセット量算出部108は、基準線(基準座標群)と入力座標との間の第2の方向の距離を、画面111に沿った第1の画面規定方向の注視位置に対するオフセット量として算出する。ここで、第1の画面規定方向は、例えば水平方向である。さらに、オフセット量算出部108は、基準線(基準座標群)と入力座標との間の第3の方向の距離を、画面111に沿った第2の画面規定方向の注視位置に対する他のオフセット量として算出する。ここで、第3の方向は、第1および第2の方向と異なる方向であり、例えば鉛直方向である。また、第2の画面規定方向は、第1の画面規定方向とは異なる方向であり、例えば第1の画面規定方向に垂直な方向(鉛直方向)である。
ポインタ表示位置算出部109は、注視位置算出部106により算出されるユーザの画面111上の注視位置と、オフセット量算出部108により算出される画面111上のオフセット量とに基づいて、座標入力検出部104により検出されるユーザの手の位置に対応する画面111上のポインタの表示位置を算出する。つまり、ポインタ表示位置算出部109は、注視位置からオフセット量だけ画面上を移動した位置を表示位置として算出する。具体的には、ポインタ表示位置算出部109は、画面111上において、注視位置との間の水平方向(第1の画面規定方向)の距離が上述の水平方向のオフセット量となる位置であって、且つ、注視位置との間の鉛直方向(第2の画面規定方向)の距離が上述の鉛直方向のオフセット量(他のオフセット量)となる位置を、画面111上に表示するポインタの表示位置として算出する。
次に、本発明の実施の形態2について説明する。
図12は、本発明の実施の形態2における指示入力装置60の構成例を示す図である。本実施の形態に係る構成は図2に示した実施の形態1に係る構成と概ね同じであるが、ユーザ情報DB(データベース)612を備える点が異なる。以下では、ユーザ情報DB612に基づいて動作する構成要素についてのみ説明し、実施の形態1と同じ構成要素(図2と同一符号の構成要素)については詳しい説明を省略する。
以下、図12における基準座標群算出部607とオフセット量算出部608との機能を説明する。
基準座標群算出部607は、ユーザ位置検出部101により検出されるユーザの位置と、第1方向検出部102により検出される第1の方向と、ユーザ情報DB612から取得される胸の高さの情報(ユーザの頭の位置と胸の位置との対応関係を示す情報)とに基づいて、空間上の基準座標群を算出する。
オフセット量算出部608は、基準座標群算出部607により算出される基準座標群と、第2方向検出部103により検出される第2の方向と、ユーザ情報DB612から取得される胸の位置および腕の長さの情報(ユーザの頭の位置と腕の長さとの対応関係を示す情報)と、座標入力検出部104により検出される手の位置座標とに基づいて、画面111上のユーザの注視位置からのオフセット量を算出する。
100 ユーザ検出カメラ
101 ユーザ位置検出部
102 第1方向検出部
103 第2方向検出部
104 座標入力検出部
105 座標入力リモコン
1051 ボタン入力部
1052 位置検出部
106 注視位置算出部
107、607 基準座標群算出部
108、608 オフセット量算出部
109 ポインタ表示位置算出部
110 表示部
111 画面
112 映像表示装置
612 ユーザ情報DB
613 ユーザ識別部
Claims (20)
- ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する指示入力装置であって、
ユーザの位置を検出するユーザ位置検出部と、
前記ユーザの手の位置を示す座標を入力座標として検出する入力座標検出部と、
前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である、画面垂直方向を基準とする第1の方向を検出する第1方向検出部と、
前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である、画面水平方向を基準とする第2の方向を検出する第2方向検出部と、
前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出する注視位置算出部と、
前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出する基準線算出部と、
前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出するオフセット量算出部と、
前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出するポインタ表示位置算出部と
を備える指示入力装置。 - 前記ユーザの位置は、ユーザの顔の位置または頭の位置である、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、ユーザに把持された状態で装置自身の位置を出力する三次元座標入力装置を備え、
前記入力座標検出部は、前記三次元座標入力装置によって出力された位置の座標を前記入力座標として検出する、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、
ユーザを撮像する撮像部を備え、
前記入力座標検出部は、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの手の位置を示す前記入力座標を検出する、
請求項1に記載の指示入力装置。 - 前記入力座標検出部は、更に、前記撮像部による撮像によって取得された画像に基づいて、前記ユーザの右手および左手を識別し、識別された左右の手ごとに入力座標を検出する、
請求項4に記載の指示入力装置。 - 前記第1方向検出部は、顔向きおよび視線の少なくとも一方を含む前記ユーザの身体の姿勢に基づいて、前記第1の方向を検出する、
請求項1に記載の指示入力装置。 - 前記第2方向検出部は、少なくとも身体の向きを含む前記ユーザの身体の姿勢に基づいて、前記第2の方向を検出する、
請求項1に記載の指示入力装置。 - 前記第2方向検出部は、ユーザの身体の姿勢に加え、更に前記ユーザの位置に対する前記画面の方向に基づいて、前記第2の方向を検出する、
請求項7に記載の指示入力装置。 - 前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、更に前記第2の方向とに基づいて、前記基準線を算出する、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、
少なくともユーザの頭の位置と胸の位置との対応関係を示す情報を格納するユーザ情報データベースを備え、
前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記基準線を算出する、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、
少なくともユーザごとの胸の位置を示す情報を格納するユーザ情報データベースと、
ユーザを識別するユーザ識別部とを備え、
前記基準線算出部は、前記ユーザの位置および前記第1の方向と、更に前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの胸の位置を示す情報とに基づいて、前記基準線を算出する、
請求項1に記載の指示入力装置。 - 前記基準線算出部は、前記第1の方向と前記第2の方向との間の角度が予め定められた角度よりも小さい場合に、前記ユーザの位置および前記第1の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報と、更に前記第2の方向とに基づいて、前記基準線を算出する、
請求項10に記載の指示入力装置。 - 前記指示入力装置は、更に、
少なくともユーザの頭の位置と腕の長さとの対応関係を示す情報を格納するユーザ情報データベースを備え、
前記オフセット量算出部は、前記第2の方向と、前記ユーザ情報データベースから取得される前記対応関係を示す情報とに基づいて、前記オフセット量を算出する、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、
少なくともユーザごとの腕の長さを示す情報を格納するユーザ情報データベースと、
ユーザを識別するユーザ識別部とを備え、
前記オフセット量算出部は、前記第2の方向と、前記ユーザ識別部により識別されたユーザを示すユーザ識別情報に基づいて前記ユーザ情報データベースより取得される少なくとも前記ユーザの腕の長さを示す情報とに基づいて、前記オフセット量を算出する、
請求項1に記載の指示入力装置。 - 前記指示入力装置は、更に、
前記ポインタ表示位置算出部によって算出された表示位置にポインタを表示する表示部を備える
請求項1に記載の指示入力装置。 - 前記オフセット量算出部は、前記基準線と前記入力座標との間の第3の方向の距離を、前記画面に沿った第2の画面規定方向の前記注視位置に対する他のオフセット量として算出し、
前記ポインタ表示位置算出部は、前記画面上において、前記注視位置との間の前記第2の画面規定方向の距離が前記他のオフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出し、
前記第3の方向は、第1および第2の方向と異なる方向であり、前記第2の画面規定方向は前記第1の画面規定方向と異なる方向である、
請求項1に記載の指示入力装置。 - ユーザの手の動きによるポインティング操作に基づいて、画面上は表示するポインタの表示位置を算出する指示入力方法であって、
ユーザの位置を検出し、
前記ユーザの手の位置を示す座標を入力座標として検出し、
前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である、画面垂直方向を基準とする第1の方向を検出し、
前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である、画面水平方向を基準とする第2の方向を検出し、
前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出し、
前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出し、
前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出し、
前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出する
指示入力方法。 - ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出するためのプログラムであって、
ユーザの位置を検出し、
前記ユーザの手の位置を示す座標を入力座標として検出し、
前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である、画面垂直方向を基準とする第1の方向を検出し、
前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である、画面水平方向を基準とする第2の方向を検出し、
前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出し、
前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出し、
前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出し、
前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出する
ことをコンピュータに実行させるプログラム。 - 請求項18に記載のプログラムを格納する記録媒体。
- ユーザの手の動きによるポインティング操作に基づいて、画面上に表示するポインタの表示位置を算出する集積回路であって、
ユーザの位置を検出するユーザ位置検出部と、
前記ユーザの手の位置を示す座標を入力座標として検出する入力座標検出部と、
前記ユーザの身体の姿勢に基づいて、当該ユーザが見ている方向である、画面垂直方向を基準とする第1の方向を検出する第1方向検出部と、
前記ユーザの身体の姿勢に基づいて、当該ユーザがポインティング操作を行なう方向である、画面水平方向を基準とする第2の方向を検出する第2方向検出部と、
前記ユーザの位置および前記第1の方向に基づいて、画面上のユーザの注視位置を算出する注視位置算出部と、
前記ユーザの位置および前記第1の方向に基づいて、前記注視位置に対応する線であって前記ユーザと前記画面とを結ぶ空間上の基準線を算出する基準線算出部と、
前記基準線と前記入力座標との間の前記第2の方向の距離を、前記画面に沿った第1の画面規定方向の前記注視位置に対するオフセット量として算出するオフセット量算出部と、
前記画面上において、前記注視位置との間の前記第1の画面規定方向の距離が前記オフセット量となる位置を、前記画面上に表示するポインタの表示位置として算出するポインタ表示位置算出部と
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012520299A JP5728009B2 (ja) | 2010-06-17 | 2011-06-16 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010138783 | 2010-06-17 | ||
JP2010138783 | 2010-06-17 | ||
JP2012520299A JP5728009B2 (ja) | 2010-06-17 | 2011-06-16 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
PCT/JP2011/003455 WO2011158511A1 (ja) | 2010-06-17 | 2011-06-16 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011158511A1 JPWO2011158511A1 (ja) | 2013-08-19 |
JP5728009B2 true JP5728009B2 (ja) | 2015-06-03 |
Family
ID=45347926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012520299A Active JP5728009B2 (ja) | 2010-06-17 | 2011-06-16 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8933886B2 (ja) |
JP (1) | JP5728009B2 (ja) |
CN (1) | CN102812416B (ja) |
WO (1) | WO2011158511A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9740341B1 (en) | 2009-02-26 | 2017-08-22 | Amazon Technologies, Inc. | Capacitive sensing with interpolating force-sensitive resistor array |
US10180746B1 (en) | 2009-02-26 | 2019-01-15 | Amazon Technologies, Inc. | Hardware enabled interpolating sensor and display |
US9740340B1 (en) | 2009-07-31 | 2017-08-22 | Amazon Technologies, Inc. | Visually consistent arrays including conductive mesh |
US9785272B1 (en) | 2009-07-31 | 2017-10-10 | Amazon Technologies, Inc. | Touch distinction |
US9785242B2 (en) * | 2011-03-12 | 2017-10-10 | Uday Parshionikar | Multipurpose controllers and methods |
WO2012175785A1 (en) * | 2011-06-20 | 2012-12-27 | Nokia Corporation | Methods, apparatuses and computer program products for performing accurate pose estimation of objects |
US9075453B2 (en) * | 2011-12-29 | 2015-07-07 | Khalifa University of Science, Technology & Research (KUSTAR) | Human eye controlled computer mouse interface |
JP2014089521A (ja) * | 2012-10-29 | 2014-05-15 | Toshiba Corp | 検出装置、映像表示システムおよび検出方法 |
WO2014080829A1 (ja) * | 2012-11-22 | 2014-05-30 | シャープ株式会社 | データ入力装置 |
US9654563B2 (en) | 2012-12-14 | 2017-05-16 | Biscotti Inc. | Virtual remote functionality |
US9485459B2 (en) * | 2012-12-14 | 2016-11-01 | Biscotti Inc. | Virtual window |
CN103900714A (zh) * | 2012-12-27 | 2014-07-02 | 杭州美盛红外光电技术有限公司 | 热像匹配装置和热像匹配方法 |
CN103900712A (zh) * | 2012-12-27 | 2014-07-02 | 杭州美盛红外光电技术有限公司 | 热像选择装置和热像选择方法 |
KR101980546B1 (ko) * | 2013-01-04 | 2019-08-28 | 엘지전자 주식회사 | 영상표시장치의 동작 방법 |
JP6159323B2 (ja) * | 2013-01-31 | 2017-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理方法及び情報処理装置 |
JP5889230B2 (ja) * | 2013-03-04 | 2016-03-22 | 三菱電機株式会社 | 情報表示制御装置、情報表示装置および情報表示制御方法 |
US20140260916A1 (en) * | 2013-03-16 | 2014-09-18 | Samuel James Oppel | Electronic percussion device for determining separate right and left hand actions |
US9215739B2 (en) * | 2013-03-20 | 2015-12-15 | Tien-Ming Wang | Method for pairing users of wireless mobile communication device and server thereof |
TWI494868B (zh) * | 2013-04-30 | 2015-08-01 | 光學裝置及其運作方法 | |
JP6201408B2 (ja) * | 2013-05-10 | 2017-09-27 | 株式会社ニコン | 電子制御装置、制御方法及び制御プログラム |
US9117120B2 (en) | 2013-05-24 | 2015-08-25 | Honda Motor Co., Ltd. | Field of vision capture |
KR102517425B1 (ko) | 2013-06-27 | 2023-03-31 | 아이사이트 모빌 테크놀로지 엘티디 | 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 |
EP3043343A4 (en) * | 2013-09-02 | 2017-04-05 | Sony Corporation | Information processing device, information processing method, and program |
US9872362B2 (en) * | 2014-01-30 | 2018-01-16 | Philips Lighting Holding B.V. | Gesture based control of a utility |
EP3106968B1 (en) * | 2014-02-10 | 2019-09-25 | Sony Corporation | Information processing device, information processing method, and program |
JP2015176253A (ja) * | 2014-03-13 | 2015-10-05 | オムロン株式会社 | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 |
US20150261293A1 (en) * | 2014-03-12 | 2015-09-17 | Weerapan Wilairat | Remote device control via gaze detection |
KR102212209B1 (ko) * | 2014-04-10 | 2021-02-05 | 삼성전자주식회사 | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 |
US10416759B2 (en) * | 2014-05-13 | 2019-09-17 | Lenovo (Singapore) Pte. Ltd. | Eye tracking laser pointer |
JP6680207B2 (ja) * | 2014-06-30 | 2020-04-15 | 凸版印刷株式会社 | 視線計測システム、視線計測方法、及びプログラム |
CN105260008B (zh) * | 2014-07-15 | 2018-10-12 | 华为技术有限公司 | 一种定位位置的方法及装置 |
US10157032B2 (en) * | 2014-12-04 | 2018-12-18 | Henge Docks Llc | Method for logically positioning multiple display screens |
JP6648751B2 (ja) | 2015-02-20 | 2020-02-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN104699250B (zh) | 2015-03-31 | 2018-10-19 | 小米科技有限责任公司 | 显示控制方法及装置、电子设备 |
JP2018528551A (ja) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | ユーザー基準空間座標系上におけるジェスチャー検出方法および装置 |
JP6430340B2 (ja) * | 2015-07-31 | 2018-11-28 | 株式会社東芝 | 位置入力装置および位置入力方法 |
DE102015115526A1 (de) * | 2015-09-15 | 2017-03-16 | Visteon Global Technologies, Inc. | Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug |
US10368059B2 (en) * | 2015-10-02 | 2019-07-30 | Atheer, Inc. | Method and apparatus for individualized three dimensional display calibration |
CN108369477B (zh) * | 2015-12-22 | 2021-10-29 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN105912982B (zh) * | 2016-04-01 | 2020-07-14 | 北京明泰朗繁精密设备有限公司 | 一种基于肢体动作识别的控制方法及装置 |
US10509469B2 (en) | 2016-04-21 | 2019-12-17 | Finch Technologies Ltd. | Devices for controlling computers based on motions and positions of hands |
JP6604271B2 (ja) | 2016-06-06 | 2019-11-13 | 富士通株式会社 | 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム |
US10466474B2 (en) * | 2016-08-04 | 2019-11-05 | International Business Machines Corporation | Facilitation of communication using shared visual cue |
US10705113B2 (en) | 2017-04-28 | 2020-07-07 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems |
US10379613B2 (en) | 2017-05-16 | 2019-08-13 | Finch Technologies Ltd. | Tracking arm movements to generate inputs for computer systems |
US10540006B2 (en) | 2017-05-16 | 2020-01-21 | Finch Technologies Ltd. | Tracking torso orientation to generate inputs for computer systems |
CN108006750B (zh) * | 2017-06-21 | 2023-09-15 | 宁波方太厨具有限公司 | 一种吸油烟机的非接触控制装置及其控制方法 |
US10521011B2 (en) * | 2017-12-19 | 2019-12-31 | Finch Technologies Ltd. | Calibration of inertial measurement units attached to arms of a user and to a head mounted device |
JP7109193B2 (ja) | 2018-01-05 | 2022-07-29 | ラピスセミコンダクタ株式会社 | 操作判定装置及び操作判定方法 |
US10509464B2 (en) | 2018-01-08 | 2019-12-17 | Finch Technologies Ltd. | Tracking torso leaning to generate inputs for computer systems |
US11016116B2 (en) | 2018-01-11 | 2021-05-25 | Finch Technologies Ltd. | Correction of accumulated errors in inertial measurement units attached to a user |
US11474593B2 (en) | 2018-05-07 | 2022-10-18 | Finch Technologies Ltd. | Tracking user movements to control a skeleton model in a computer system |
US10416755B1 (en) | 2018-06-01 | 2019-09-17 | Finch Technologies Ltd. | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system |
US11009941B2 (en) | 2018-07-25 | 2021-05-18 | Finch Technologies Ltd. | Calibration of measurement units in alignment with a skeleton model to control a computer system |
CN110411506B (zh) * | 2019-07-08 | 2021-09-14 | 中国航天员科研训练中心 | 面向遥操作的精细操作能力测试系统 |
US10809797B1 (en) | 2019-08-07 | 2020-10-20 | Finch Technologies Ltd. | Calibration of multiple sensor modules related to an orientation of a user of the sensor modules |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
JP7041211B2 (ja) * | 2020-08-03 | 2022-03-23 | パラマウントベッド株式会社 | 画像表示制御装置、画像表示システム及びプログラム |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
CN112363626B (zh) * | 2020-11-25 | 2021-10-01 | 广东魅视科技股份有限公司 | 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1020998A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 位置指示装置 |
JP2003076488A (ja) * | 2001-09-03 | 2003-03-14 | Takenaka Komuten Co Ltd | 指示位置判断装置及び方法 |
WO2008128568A1 (en) * | 2007-04-20 | 2008-10-30 | Softkinetic S.A. | Volume recognition method and system |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09128138A (ja) | 1995-10-31 | 1997-05-16 | Sony Corp | 画像表示装置および方法 |
JP2003296757A (ja) * | 2002-03-29 | 2003-10-17 | Canon Inc | 情報処理方法および装置 |
JP3952896B2 (ja) * | 2002-07-30 | 2007-08-01 | キヤノン株式会社 | 座標入力装置及びその制御方法、プログラム |
US7535456B2 (en) * | 2004-04-30 | 2009-05-19 | Hillcrest Laboratories, Inc. | Methods and devices for removing unintentional movement in 3D pointing devices |
US8943537B2 (en) * | 2004-07-21 | 2015-01-27 | Cox Communications, Inc. | Method and system for presenting personalized television program recommendation to viewers |
SE529599C2 (sv) * | 2006-02-01 | 2007-10-02 | Tobii Technology Ab | Alstring av grafisk returinformation i ett datorsystem |
WO2007089198A1 (en) * | 2006-02-01 | 2007-08-09 | Tobii Technology Ab | Generation of graphical feedback in a computer system |
JP5477833B2 (ja) | 2007-01-15 | 2014-04-23 | カシオ計算機株式会社 | ポインティング装置、ポインティング方法及びプログラム |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
TWI413018B (zh) * | 2008-05-09 | 2013-10-21 | Softkinetic | 體積識別方法及系統 |
-
2011
- 2011-06-16 US US13/634,183 patent/US8933886B2/en active Active
- 2011-06-16 WO PCT/JP2011/003455 patent/WO2011158511A1/ja active Application Filing
- 2011-06-16 CN CN201180013593.XA patent/CN102812416B/zh active Active
- 2011-06-16 JP JP2012520299A patent/JP5728009B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1020998A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 位置指示装置 |
JP2003076488A (ja) * | 2001-09-03 | 2003-03-14 | Takenaka Komuten Co Ltd | 指示位置判断装置及び方法 |
WO2008128568A1 (en) * | 2007-04-20 | 2008-10-30 | Softkinetic S.A. | Volume recognition method and system |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011158511A1 (ja) | 2013-08-19 |
US8933886B2 (en) | 2015-01-13 |
US20130002551A1 (en) | 2013-01-03 |
CN102812416A (zh) | 2012-12-05 |
WO2011158511A1 (ja) | 2011-12-22 |
CN102812416B (zh) | 2015-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5728009B2 (ja) | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 | |
US20220382379A1 (en) | Touch Free User Interface | |
US9778748B2 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
US20190250873A1 (en) | Augmented Reality Display Sharing | |
US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
US20160189426A1 (en) | Virtual representations of real-world objects | |
TWI701941B (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
US10782780B2 (en) | Remote perception of depth and shape of objects and surfaces | |
KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
JP2009087026A (ja) | 映像表示装置 | |
US9081430B2 (en) | Pointing control device, integrated circuit thereof and pointing control method | |
US20150009119A1 (en) | Built-in design of camera system for imaging and gesture processing applications | |
US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
KR101256046B1 (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
JP2002259989A (ja) | ポインティングジェスチャ検出方法及びその装置 | |
WO2019156990A1 (en) | Remote perception of depth and shape of objects and surfaces | |
US20170300121A1 (en) | Input/output device, input/output program, and input/output method | |
Heo et al. | Object recognition and selection method by gaze tracking and SURF algorithm | |
JP2011002292A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム | |
US10345595B2 (en) | Head mounted device with eye tracking and control method thereof | |
CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 | |
US20170302904A1 (en) | Input/output device, input/output program, and input/output method | |
Lee et al. | A new eye tracking method as a smartphone interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140411 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5728009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |