JP6116064B2 - 車両インターフェース用ジェスチャ基準制御システム - Google Patents
車両インターフェース用ジェスチャ基準制御システム Download PDFInfo
- Publication number
- JP6116064B2 JP6116064B2 JP2014130114A JP2014130114A JP6116064B2 JP 6116064 B2 JP6116064 B2 JP 6116064B2 JP 2014130114 A JP2014130114 A JP 2014130114A JP 2014130114 A JP2014130114 A JP 2014130114A JP 6116064 B2 JP6116064 B2 JP 6116064B2
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- finger
- hand
- control
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013643 reference control Substances 0.000 title description 14
- 230000033001 locomotion Effects 0.000 claims description 83
- 230000004044 response Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 44
- 230000007480 spreading Effects 0.000 claims description 31
- 238000003892 spreading Methods 0.000 claims description 31
- 230000002452 interceptive effect Effects 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 13
- 230000005057 finger movement Effects 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 196
- 210000003813 thumb Anatomy 0.000 description 24
- 210000004247 hand Anatomy 0.000 description 22
- 239000003550 marker Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004883 computer application Methods 0.000 description 3
- 230000000881 depressing effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000254032 Acrididae Species 0.000 description 1
- 241000288904 Lemur Species 0.000 description 1
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229920006300 shrink film Polymers 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- B60K35/10—
-
- B60K35/85—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- B60K2360/146—
-
- B60K2360/1464—
-
- B60K2360/595—
Description
本願は、2008年6月18日に出願した米国(US)特許出願第61/073,740号の恩恵を主張する。
発明の分野
本発明は、一般的にはコンピュータ・システムの分野に関し、更に特定すれば、車両インターフェース用ジェスチャ基準制御(gesture based control)システムおよび方法に関
する。
引用による包含
本明細書において述べる各特許、特許出願、および/または刊行物は、本願において引用することにより、個々の特許、特許出願、および/または刊行物の各々が具体的にそして個々に、引用することにより本願に含まれることを示した場合と同程度にその全体が本願にも含まれるものとする。
システム
本明細書では、ジェスチャ基準制御システムの実施形態を空間動作環境(SOE)のコンテキストで説明する。一例として、図1Aは、一実施形態の下における空間動作環境(SOE)のブロック図を示す。ユーザは、彼の手101および102を、カメラ104A〜104Dのアレイの視野150に置く。これらのカメラは、指ならびに手101および102の位置、方位、および移動を検出し、出力信号をプリプロセッサ105に発生する。プリプロセッサ105は、カメラ出力をジェスチャ信号に変換し、このジェスチャ信号をシステムのコンピュータ演算装置107に供給する。コンピュータ107は、入力情報を用いて、1つ以上の画面上カーソルを制御するコマンドを発生し、ビデオ出力をディスプレイ103に供給する。
を含み、毎秒1000フレームの画像取り込みが可能である。モーション・キャプチャ・カメラは、マーカを検出し位置を突き止めることができる。
換器106を組み合わせて1つのデバイスにすることもできる。
って製造されるような、任意の汎用コンピュータとすればよい。コンピュータ107は、アプリケーションを実行し、表示出力を供給する。カーソル情報は、他の場合にはマウスまたはその他の先行技術の入力デバイスから得られるが、ここではジェスチャ・システムから得られる。
車両インターフェースと統合したジェスチャ制御システム
図1Bは、一実施形態の下における、車両サブシステム120と統合したジェスチャ制御システムのブロック図である。コックピット・エリアまたは車両(例えば、自動車、トラクタ、航空機等)の他の乗員用区画エリアにいる人は、オブジェクトを用いて車両サブシステム120を制御することができる。オブジェクトには、ユーザの手101および102の一方または双方、ならびに手101および102の一方または双方の1組の指が含まれる。車両のコックピット・エリアは、カメラ104A〜104Dの視野となっている。これらのカメラは、オブジェクト(例えば、手101および102、ならびにこれらの手の指)の位置、方位、および移動を検出し、出力信号をプリプロセッサ105に発生する。プリプロセッサ105は、カメラ出力をジェスチャ信号に変換し、これをシステムのコントローラ107(ここではコンピュータ処理ユニット107またはコンピュータ107とも呼ぶ)に供給する。コントローラ107は、この入力情報を用いて、1つ以上の車両サブシステム120を制御するコマンドを発生する。
ドアップ・ディスプレイ上における視覚出力、ダッシュおよびパネル装着画素ベース・ディスプレイ上における視覚出力、特殊目的発光または色彩変更インディケータ、ならびに触覚(haptic or tactile)ディスプレイ等が含まれるが、これら以外にも数多くある。フ
ィードバック・デバイス125はコントローラ107に結合されているように示されているが、実施形態はそのように限定されるのではなく、フィードバック・デバイス125を統合システムの任意の他のコンポーネントにも結合することができる。
動車サブシステム・エレメントとのユーザ相互作用を管理する制御プログラム、および/または自動車サブシステム・エレメントに対するジェスチャ制御システムの効果を知らせるだけでなく、操作者の関連のある手のポーズおよび動きの、ジェスチャ制御システムの瞬時的、進行中の、および予測的解釈も人間の操作者に通知する視覚チャネルおよびその他のチャネルを通じた、連続的および/または動的フィードバックを含むフィードバック方式。車両インターフェース用ジェスチャ制御システムは、以下で説明するマーカの使用を想定していないが、実施形態はそのように限定されるのではない。
む多数の要因にしたがって変化するが、約1ミリメートル(mm)である。撮像されるオブジェクトは、ユーザ操作者の素手(1つまたは複数)および/または指(1本または複数)である。
ステレオ・センサ・セットによってポイント・クラウドが発生されたとすると、ジェスチャ制御システムは、手および指の少なくとも一方の位置を抽出し、次いでこれらから量子化した手のポーズならびに連続手および指方位ベクトルを再現することができる。この再現に用いられる手法は、車両システムが、集計−タグ付きデータ(aggregate-tagged data)ではなく、未構造化ポイント・クラウドから開始することを除いて、以下で説明する
方法と実質的に同様である。手および指の表現は、本システムのインタラクティブ・モードを実施するメカニズムに利用可能とされる。
含み、これら2本の指を素早く握り、再度広げ、更に弾くことによって、利用可能な主要な制御モード(例えば、ラジオ、電話機、ディジタル・オーディオ・プレーヤ、天候制御等)を循環させる。次いで、他方の手を進ませ、そのモード内において利用可能な選択肢を制御する。素早く2本の指を握りそして広げるという構成(configuration)により、結
合されているシステムの主要な設定モードを巡回させる。個々の設定のパラメータを上下に進めるには、1本の指を握り、広げて、弾くことにより、または人差し指および中指それぞれの押し下げ(hold-down)移動によって得られる。制御トポロジの深さが1レベルよ
りも多い場合には、類似した操作によって、サブモード、サブ−サブモード等の閲覧(traverse)が可能となる。
レイまたは掩蔽(masked)LCD画面を含む出力を供給することができる。
指先の動きによって操作することができる。単純な(仮想)トグル・ボタンを、人差し指を握りそして開くことによって制御することができる。仮想スケールまたはスライダ、例えば、音量制御は、前述のように、人差し指および中指によって制御することができる。
核となるジェスチャ・ボキャブラリを構成する。しかしながら、ジェスチャ・ボキャブラリは10種類のポーズに限定されるのではない。一実施形態の10種類のポーズは、組み合わせ論によって発生される。「疑似銃」の「銃身」は、人差し指のみによって、または人差し指および中指を合わせることによって形成することができる。これら2つの状態のいずれでも、親指は「銃身」に対して垂直となる(手の平面において)ことができ、または「銃身」に平行に下に向かって「押し込む」ことができる。更に、これら4つの状態の各々では、手および指全体の外形(geometry)を、重心と一直線状の平面において垂直に、または重心に対して垂直な面において水平に方位付けることができる。これによって、8種類の基本的なポーズが得られる。2つの追加のポーズは、「重心」が実質的に中間方向を指し示すように手の塊(hand mass)を回転させることによって形成される。
^^^|-:-x (「1本の指で指し示す」)
^^^||:-x (「1本の指で押し込む」)
^^||-:-x (「2本の指で指し示す」)
^^|||:-x (「2本の指で押し込む」)
^^^|-vx (「下に向けて(prone)1本の指で指し示す」)
^^^||:vx (「下に向けて1本の指で押し込む」)
^^||-:vx (「下に向けて2本の指で指し示す」)
^^|||:vx (「下に向けて2本の指で押し込む」)
^^^|-:.- (「中間に位置する1本の指で指し示す」)
^^||-:.- (「中間に位置する2本の指で指し示す」)
ここに提示するポーズおよびジェスチャ記述言語は、ジェスチャ制御システムにおいて用いられる一例に過ぎず、多数のその他の例および組み合わせが可能であり、その一部について以下で説明する。
は照準によって進められる。基本的な選択、ならびにボタン、スライダ、およびメニュー・エレメントの制御は、ポインタをエレメント内に位置付け、親指をダウン/クリック(人差し指を一直線状)位置に移動させることによって行われる。画面から外れるようにカーソルを動かして中央側(medial side)まで持ってくると、上位メニュー・リストが表示
され、カーソルの移動は2次元(上方および下方)に制限される。上位メニューから1つの選択肢を選択すると、制御モードを変更するように動作する(例えば、電話からナビゲーション・システムへ)。
例では)、1本指のポーズは前述のように作用し、2本指のポーズは、直接的および瞬時的に、ラジオのショート・カットおよび関連するフィードバック・グラフィクスを実行する。フィードバック・グラフィクスは、後にアクティブな手が制御空間を離れたとき、または「標準的な」制御セマンティクスと関連のある1本指のポーズに戻ったときに、消滅する。本明細書において説明した種々の相互作用は、組み合わせることによって、潜在的に膨大な1組の制御およびインターフェース挙動を形成することができる。これらの挙動については、以下で更に詳しく説明する。
マーカ・タグ
以上に説明したシステムおよび方法とは対照的に、一実施形態のシステムおよび方法は、ユーザの1つ以上の指においてマーカ・タグを使用して、本システムがユーザの手を突き止め、ユーザが左または右のどちらの手を見ているのか特定し、どの指が見えるか特定することができるようにする。これによって、本システムは、ユーザの手の位置、方位、および移動を検出することが可能になる。この情報によって、本システムは多数のジェスチャを認識することが可能となり、これらのジェスチャは、ユーザによってコマンドとして用いることが可能になる。
一意のパターンに配列されているので、検出システムは以下のタスクを行うことができる。(1)再現した各マーカ位置を、1つのタグを形成する点の1つのみの副集合体に割り当てるセグメント化、(2)セグメント化した点の各副集合体を特定のタグとして識別するラベリング、(3)識別したタグの三空間位置を再現する位置突き止め、および(4)識別したタグの三空間方位を再現する方位決定(orientation)。タスク(1)および(2
)は、マーカ・パターンの具体的な本質によって可能となる。これについては、図2の一実施形態において以下で説明し例示する。
。いずれの任意の変換後であっても、損なったモジュール(compromised module)を他のいずれとも混同させることが起こりそうにないようにしなければならない。
ジェスチャ・ボキャブラリ
本実施形態は、手のポーズ、方位、手の組み合わせ、および方位の配合(orientation blends)で構成されるジェスチャ・ボキャブラリ(gesture vocabulary)を想定する。本実施形態のジェスチャ・ボキャブラリにおいてポーズおよびジェスチャを立案および伝達するために、表記言語(notation language)も実施する。ジェスチャ・ボキャブラリとは、力
学的連結の瞬時的な「ポーズ状態」を簡潔な文字形態で表すシステムである。対象となる連結は、生物(例えば、人の手、または人の身体全体、あるいはバッタの足、あるいはキツネザルの関節脊柱)であってもよく、あるいは代わりに非生物であってもよい(例えば、ロボットのアーム)。いずれの場合でも、この連結は、単純(脊柱)でもまたは分岐(手)でもよい。本実施形態のジェスチャ・ボキャブラリ・システムは、いずれの特定的な連結についても、一定長のストリングを確立する。こうして、ストリングの「キャラクタ位置」を占める特定のASCIIキャラクタの集合体が、連結の瞬時的状態、即ち、「ポーズ」の一意の記述となる。
手のポーズ
図3は、ジェスチャ・ボキャブラリの一実施形態における手のポーズを示す。本実施形態は、1つの手における5本の指の各々を用いることを仮定する。これらの指には、p−小指、r−薬指、m−中指、i−人差し指、およびt−親指とコーディングする。指および親指のポーズ数を、図3に定義し更に例示する。ジェスチャ・ボキャブラリ・ストリングは、連結(この場合指)の表現可能な自由度毎に1つのキャラクタ位置を確定する。更に、このような各自由度は、離散化(または「量子化」)されていることが分かるので、その最大モーション範囲は、当該ストリング位置における有限数の標準的ASCIIキャラクタの内の1つの割り当てによって表現することができる。これらの自由度は、本体特定の原点および座標系(手の裏、バッタの身体の中心、ロボット・アームの底辺等)に関して表現される。したがって、連結の位置および方位を「全体的に」更に大域的な座標系において表現するために、少数の追加のジェスチャ・ボキャブラリ・キャラクタ位置が用いられる。
のキャラクタでも用いることができる。加えて、表記ストリングにASCIIキャラクタを用いる必要性はない。本実施形態の範囲や主旨から逸脱することなく、適したシンボル、数値、またはその他の表現であればいずれでも用いることができる。例えば、望ましければ、表記は指毎に2ビットを用いることもでき、あるいは所望に応じて、他の何らかの数のビットを用いることもできる。
親指は「>」で表される。真っ直ぐな指または上を向いた親指は、「l」によって示され、角度をなす場合は「\」または「/」で示される。「−」は、真っ直ぐに横を向いた親指を表し、「x」は平面内に向いた親指を表す。
方位
指および親指のポーズに加えて、手の方位が情報を表すことができる。地球空間(global-space)方位を記述するキャラクタも、透過的に選択することができる。キャラクタ「<」、「>」、「^」、および「v」は、方位キャラクタ位置において遭遇した場合、左、右、上、および下の考えを示すために用いることができる。図4は、手方位記述子、ならびにポーズおよび方位を組み合わせるコーディングの例を示す。一実施形態では、2つのキャラクタ位置が、最初に手の平の方向を指定し、次いで指の方向を指定する(指が真っ直ぐになっている場合、指の実際の屈曲には関係なく)。これら2つの位置に可能なキャラクタは、方位の「本体中心」観念(body-centric notion)を表現し、「−」、「+」、
「x」、「*」、「^」、および「v」は、中間、側方、前方(順方向、本体から離れる側)、後方(逆方向、本体から離れる側)、頭上(上方)、および後端(下方)を記述する。
、人差し指は前方を指し示し、中指は人差し指に対して垂直であり、右手によってこのポーズが作られる場合、左を指し示す。これは、ストリング「^^xl−:−x」によって表される。
および方位(例えば、身体の前方8インチ、顎の下10インチ、横方向に肩の平面と一直
線状)として、あるいは(3)操作者の故意の二次的行動によって、対話的に(例えば、操作者の「別の」手によって演じられるジェスチャ・コマンドを用いて。前記コマンドは、XYZ−手の現在の位置および方位が今後平行移動および回転の原点として用いられるべきことを示す)確立することができる。
[lllll:vx]は、手を平らにして(親指が他の指と平行)、手のひらが下を向き、指が前方に突き出している。
[lllll:-x]は、手を平らにして、手のひらが身体の中心に向いており(左手の場合は右、右手の場合は左)、指が前方に突き出している。
[^^^|-:-x]は、銃を前方に構える真似である。
二手組み合わせ
一実施形態は、1つの手のコマンドおよびポーズだけでなく、2つの手によるコマンドおよびポーズも想定している。図5は、一実施形態における二手組み合わせおよび関連付けた表記の例を示す。第1の例の表記を検討すると、「完全停止」とは2つの拳を閉じていることを示す。「スナップショット」の例では、各手の親指および人差し指が広げられ、親指が互いに向き合って、ゴール・ポストの形状の枠を定めている。「舵およびスロットル開始位置」は、指および親指が上を向いており、手のひらが画面に面している。
方位配合(Orientation Blends)
図6は、一実施形態における方位配合の一例を示す。図示の例では、配合は、指ポーズ・ストリングの後ろにある括弧の中に囲まれた方位表記の対によって表されている。例えば、第1コマンドは、全て真っ直ぐに伸ばした指の位置を示す。方位コマンドの第1対により、手のひらをディスプレイに向かって平らにして、第2対によって、手を画面に向けて45度縦に回転させる。この例では、配合の対を示したが、いずれの数の配合でも考えられる。
コマンドの例
図8/1および図8/2は、一実施形態の下で用いることができる、多数の可能なコマンドを示す。本明細書における論述の一部は、ディスプレイ上におけるカーソルの制御についてであったが、本実施形態はその行動に限定されるのではない。実際に、本実施形態は、画面上における全てのデータおよびデータの一部、更にはディスプレイの状態を操作する際に、様々に応用することができる。例えば、ビデオ・メディアの再生中に、これらのコマンドをビデオ制御に代わって用いることができる。これらのコマンドは、一時停止、早送り、巻き戻しなどを行うために用いることができる。加えて、画像のズーム・インおよびズーム・アウトを行うため、画像の方位を変化させるため、いずれかの方向にパンニングするため等に実施することができる。また、本実施形態は、開く、閉じる、保存する等のような、メニュー・コマンドの代わりに用いることもできる。言い換えると、想像することができるいずれのコマンドまたは活動でも、手のジェスチャによって実施することができる。
動作
図7は、一実施形態の下におけるシステム動作を示すフロー図である。ステップ701において、検出システムはマーカおよびタグを検出する。判断ブロック702において、タグおよびマーカが検出されたか否か判断を行う。検出されていない場合、システムはス
テップ701に戻る。ステップ702においてタグおよびマーカが検出された場合、システムはステップ703に進む。ステップ703において、システムは、検出されたタグおよびマーカから、手、指、およびポーズを特定する。ステップ704において、システムは、ポーズの方位を特定する。ステップ705において、システムは、検出された1つまたは双方の手の三次元空間位置を特定する。(ステップ703、704、および705の内任意のものまたは全てを1つのステップとして組み合わせてもよいことに注意されたい)。
解析および変換
本システムは、基礎となるシステムによって再現された低レベルのジェスチャの流れを「解析」および「変換」し、これら解析し変換したジェスチャを、コマンドまたはイベント・データの流れに変換することができる。このデータは、広範囲のコンピュータ・アプリケーションおよびシステムを制御するために用いることができる。これらの技法およびアルゴリズムは、これらの技法を実現するエンジン、およびエンジンの能力を利用するコンピュータ・アプリケーションを構築するプラットフォームの双方を提供するコンピュータ・コードから成るシステムにおいて具体化することができる。
1)様々な異なる集計レベルにおいて、ジェスチャを指定する(コンピュータ・プログラムにおいて用いるためのエンコード)緻密かつ効率的な方法。
b.2つの手の組み合わせ。いずれかの手がポーズ、位置、または双方を考慮に入れる。
e.操作者が空間内の形状を追跡する「書記素」ジェスチャ(grapheme gesture)。
3)登録されているジェスチャを特定することができ、これらのジェスチャをカプセル化するイベントを関連するアプリケーション・コンテキストに配信することができるように、ジェスチャの流れを解析するアルゴリズム。
1つの手の「ポーズ」は、
i)手の指と甲との間の相対的方位、
ii)少数の離散状態への量子化、
のストリングとして表される。
これらは、実行中にも用いることができ、インターフェース特性を動作中に変更することができる。このリアル・タイムでのインターフェース変更により、
i)複雑なコンテキストおよび条件付き制御状態を構築すること、
ii)動的にヒステリシスを制御環境に追加すること、および
iii)ユーザが実行システム自体のインターフェース・ボキャブラリを変更または拡張することができるアプリケーションを作成すること、
が可能となる。
加えて、指定されたジェスチャを認識するために内部で使用されている原始的比較演算子は、アプリケーション・プログラマが用いるためにも露出されるので、アプリケーション・コンテキスト内部からでも、より多くの比較(例えば、複雑なジェスチャまたは複合ジェスチャにおける柔軟な状態の検査)を行うことができる。
記載するシステムの改革の1つである。これらのセマンティクスは、登録API(2)(および、より狭い範囲で、指定ボキャブラリ(1)内に埋め込まれる)によって暗示される(imply)。登録APIコールは、
i)「エントリ」状態通知部および「連続」状態通知部、ならびに
ii)ジェスチャ優先度指定部
を含む。
仮想/ディスプレイおよび物理空間の一致
本システムは、1つ以上のディスプレイ・デバイス(「画面」)上に描かれた仮想空間を、当該システムの一人または複数の操作者によって占められる物理空間と一致するものとして扱う環境を提供することができる。このような環境の一実施形態についてここで説明する。この現実施形態は、固定位置に3つのプロジェクタ駆動画面を含み、1つのデスクトップ・コンピュータによって駆動され、本明細書に記載したジェスチャ・ボキャブラリおよびインターフェース・システムを用いて制御される。しかしながら、記載する技法は、いかなる数の画面でもサポートすること、これらの画面は移動可能であってもよいこと(固定ではなく)、画面は多くの独立したコンピュータによって同時に駆動してもよいこと、そしてシステム全体はいずれの入力デバイスまたは技法によっても制御できることを注記しておく。
3)操作者の位置に応じて変化するグラフィクス・レンダリング。例えば、深度の知覚を高めるためにパララックス・シフトをシミュレーションする。
に大きなアーキテクチャ環境、および多数の画面への拡張は重要である。
一実施形態のシステムは、イベント・データ(現実施形態では、システムおよびマウス入力からのジェスチャ・データおよびポインティング・データの双方)を制御システムから取り込み、入力イベントからの空間データを仮想空間における座標にマッピングする入力イベント処理スタックを含む。変換されたイベントは、次に、実行アプリケーションに配信される。
一実施形態の複数のセンサは、複数のカメラを備えている。
一実施形態の複数のカメラは、立体視システムを構成する。
一実施形態の三次元データ・ポイント・クラウドにおいて解明されたデータ・ポイントの深度精度は、約1ミリメートル(mm)である。
一実施形態のオブジェクトの位置は、1組の指の位置を含む。
一実施形態のオブジェクトの量子化ポーズは、少なくとも1つの手の量子化ポーズを含む。
一実施形態のオブジェクトの方位ベクトルは、1組の指の連続方位ベクトルを含む。
一実施形態のジェスチャ表記は、ジェスチャ・ボキャブラリを表し、ジェスチャ信号はジェスチャ・ボキャブラリの伝達を構成する。
一実施形態のジェスチャ・ボキャブラリは、テキスト・フォームで、オブジェクトの力学的連携の方位を表す。
一実施形態のジェスチャ・ボキャブラリは、オブジェクトの力学的連携の状態を表すキャラクタ・ストリングを含む。
一実施形態の指示は、ジェスチャに応答して、複数の車両サブシステムにおいて実現される効果を含む。
一実施形態のフィードバック・デバイスは聴覚デバイスである。
一実施形態のフィードバック・デバイスは視覚−聴覚デバイスである。
一実施形態のフィードバック・デバイスは、車両の画素ベース・ディスプレイである。
一実施形態のフィードバック・デバイスは、接触型ディスプレイである。
一実施形態のユーザの手が、ジェスチャの間、車両の誘導メカニズムと接触したままとなっている。
一実施形態のジェスチャは、第1の手の2本の指の「握る−再度広げる」動きを含み、この場合コントローラは、ジェスチャに応答して、車両サブシステムの複数の制御モードを巡回し、複数の制御モードの内各モードが車両サブシステムに対応する。
一実施形態のジェスチャは、ユーザの1つの手の第1の指の「握る−再度広げる」動きを含み、この場合コントローラは、ジェスチャに応答して、設定を第1の方向に歩進させることによって、インクリメントして増大するように設定を変化させる。
一実施形態のシステムは、プロセッサに結合されているグラフィカル・ディスプレイを備えており、このグラフィカル・ディスプレイが、ジェスチャに対応する指示をユーザに与え、ジェスチャは、グラフィカル・ディスプレイ上において表示エレメントの位置を制御する。
動に応答して、グラフィカル・ディスプレイ上において表示エレメントの移動を制御する。
一実施形態のインターフェース・グラフィクスが車両サブシステムの制御エレメントに対応し、各制御エレメントのインターフェース・グラフィックがユーザに車両サブシステムのパラメータを制御させる。
一実施形態のジェスチャは、手の第2の指を第2の方向に広げることを含む。
一実施形態のジェスチャは、手、第1の指、および第2の指の組み合わせの垂直配向を含み、この垂直配向が、手、第1の指、および第2の指を、重力と一直線状の平面に配置する。
にすることを含む。
一実施形態の第2の指は、広げたときに、第1の指とほぼ垂直になる。
一実施形態のジェスチャは、第1の指がほぼ中央を指し示す位置まで、手を回転させることを含む。
一実施形態のジェスチャは、1つの手の第1の指を第1の方向に広げることを含む。
一実施形態のジェスチャは、第1の指の照準を用いてポインタが制御エレメント内に配置されており、手の第2の指が第1の位置から第2の位置に移動させられたときに、制御エレメントの選択を制御し、第1の位置は、第1の指に対して実質的に垂直に延び、第2の位置は第1の指に対して実質的に平行に延びる。
一実施形態のジェスチャは、第1の指の照準をメニュー項目に合わせ、第2の指を第1の位置に移動させることを含み、この場合コントローラはメニュー項目をアクティブ制御エレメントとして選択する。
一実施形態の複数のセンサは、複数の構造化光三次元センサを備えている。
本明細書に記載した実施形態は、システムを含む。このシステムは、複数のセンサであって、これら複数のセンサがオブジェクトを撮像し、ジェスチャを表すジェスチャ・データを出力し、このジェスチャ・データが空間における一時点でのオブジェクトの瞬時的状態であり、オブジェクトが手および指の内少なくとも1つを含む、複数のセンサと、複数のセンサに結合されているプロセッサであって、このプロセッサがジェスチャ・データか
らオブジェクトのジェスチャを検出し、この検出がオブジェクトの位置を抽出することを含み、検出が、オブジェクトの量子化したポーズおよび方位ベクトルを再現することを含み、検出が、ジェスチャ・データをジェスチャ信号に変換することと、プロセッサに結合されている車両サブシステムを制御するためにジェスチャ信号を用いることを含む、プロセッサとを備えている。
一実施形態のジェスチャ・データは、オブジェクトを表す三次元データ・ポイント・クラウドを含む。
一実施形態のオブジェクトの位置は、1組の指の位置を含む。
一実施形態のオブジェクトの量子化ポーズは、少なくとも1つの手の量子化ポーズを含む。
一実施形態のオブジェクトの方位ベクトルは、1組の指の連続方位ベクトルを含む。
一実施形態のジェスチャ・ボキャブラリは、オブジェクトの力学的連携の方位を、テキスト・フォームで表す。
一実施形態の方法は、ジェスチャに対応する指示をユーザに与えるステップを備えており、指示が、ジェスチャの解釈、およびジェスチャに応答して複数の車両サブシステムにおいて得られる効果の内少なくとも1つを含む。
一実施形態の方法は、ジェスチャに対応する指示をユーザに与えるステップを備えており、ジェスチャがグラフィカル・ディスプレイ上における表示エレメントの位置を制御する。
一実施形態のインターフェース・グラフィクスが車両サブシステムの制御エレメントに対応し、各制御エレメントのインターフェース・グラフィックがユーザに車両サブシステムのパラメータを制御させる。
トを巡回するステップを備えており、各制御エレメントがユーザに車両サブシステムのパラメータを制御させる。
一実施形態のジェスチャは、手の第2の指を第2の方向に広げることを含む。
一実施形態のジェスチャは、手、第1の指、および第2の指の組み合わせの垂直配向を含み、この垂直配向が、手、第1の指、および第2の指を、重力と一直線状の平面に配置する。
一実施形態の第2の指は、広げたときに、第1の指とほぼ垂直になる。
一実施形態のジェスチャは、第1の指がほぼ中央を指し示す位置まで、手を回転させることを含む。
一実施形態のジェスチャは、1つの手の第1の指を第1の方向に広げることを含む。
一実施形態の表示エレメントはポインタを備えており、ポインタの位置が第1の指の移動および照準の内少なくとも1つによって制御される。
一実施形態のジェスチャは、第1の指の照準をメニュー項目に合わせ、第2の指を第1の位置に移動させることを含み、この場合コントローラはメニュー項目をアクティブ制御エレメントとして選択する。
通信デバイスの中から選択した多数のデバイスおよび/またはデバイスの組み合わせのいずれとすることもできるが、そのように限定されるのではない。処理システムは、それよりも大きなコンピュータ・システムの中にあるコンポーネントを含むことができる。
、その他のシステムおよび方法の範囲内において、種々の同等な修正も可能であることは、当業者であれば認められよう。本明細書において提案したジェスチャ規準制御の教示は、前述のシステムおよび方法だけでなく、他の処理システムおよび方法にも適用することができる。
形態を提案することができる。これらおよびその他の変更は、以上に詳細に記載した説明を参照すれば、ジェスチャ規準制御に対して行うことができる。
Claims (24)
- システムであって、
車両における複数のセンサであって、該複数のセンサがオブジェクトを撮像し、該オブジェクトによって行われるジェスチャを表すジェスチャ・データを出力し、該ジェスチャ・データが、三次元データ・ポイント・クラウドによって表される前記オブジェクトの瞬時的状態であり、前記オブジェクトが、ユーザの手および指の内の少なくとも1つを含む、センサと、
前記複数のセンサに結合されているプロセッサであって、該プロセッサが前記オブジェクトのジェスチャを前記ジェスチャ・データから自動的に検出し、該検出が、前記オブジェクトの位置を前記データ・ポイント・クラウドから抽出すること、および前記ジェスチャ・データの三次元空間点再現から前記オブジェクトの量子化ポーズおよび方位ベクトルを復元することを含み、前記検出が、前記ジェスチャ・データをジェスチャ信号に変換することを含む、プロセッサと、
前記プロセッサおよび前記車両の複数の車両サブシステムに結合されているコントローラであって、前記ジェスチャ信号に応答して、前記複数の車両サブシステムとのユーザ相互作用を管理する、コントローラと、
を備えており、
前記コントローラは、第1インタラクティブ・モードおよび第2インタラクティブ・モードを使用して前記ユーザ相互作用を管理し、前記第1インタラクティブ・モードにおける使用のために定義されるジェスチャ・セットは、前記第2インタラクティブ・モードにおける使用のために定義されるジェスチャ・セットと異なる、
システム。 - 請求項1記載のシステムにおいて、前記複数のセンサは、前記車両の乗員室をビューするように配置されている、システム。
- 請求項1記載のシステムにおいて、前記複数のセンサが複数のカメラを備え、該複数のカメラが立体視システムを構成する、システム。
- 請求項1記載のシステムにおいて、前記ジェスチャ・データが、前記オブジェクトを表す三次元データ・ポイント・クラウドを含む、システム。
- 請求項1記載のシステムにおいて、前記オブジェクトの位置が、手の位置および1組の指の位置の内の少なくとも1つを含む、システム。
- 請求項1記載のシステムにおいて、前記オブジェクトの前記量子化ポーズが、少なくとも1つの手の量子化ポーズを含む、システム。
- 請求項1記載のシステムであって、前記オブジェクトの前記方位ベクトルが、少なくとも1つの手の連続方位ベクトルおよび1組の指の連続方位ベクトルの内の少なくとも1つを含む、システム。
- 請求項1記載のシステムにおいて、
前記変換が前記ジェスチャの情報をジェスチャ表記に変換することを含み、該ジェスチャ表記がジェスチャ・ボキャブラリを表し、前記ジェスチャ信号が前記ジェスチャ・ボキャブラリの伝達を含む、システム。 - 請求項8記載のシステムにおいて、前記ジェスチャ・ボキャブラリが、テキスト・フォームにおける、
前記オブジェクトの力学的連携の瞬時的ポーズ状態と、
前記オブジェクトの力学的連携の方位と、
前記オブジェクトの力学的連携の方位の組み合わせと
の内の少なくとも1つを表す、システム。 - 請求項8記載のシステムにおいて、前記ジェスチャ・ボキャブラリが前記オブジェクトの力学的連携の状態を表すキャラクタ・ストリングを含む、システム。
- 請求項1記載のシステムであって、前記プロセッサに結合されるフィードバック・デバイスを備え、該フィードバック・デバイスが、前記ジェスチャに対応するインジケーションを前記ユーザに供給し、
前記インジケーションが、前記ジェスチャの解釈、および前記ジェスチャに応答して前記複数の車両サブシステムで実現される効果の内の少なくとも1つを含み、
前記フィードバック・デバイスが、視覚デバイス、聴覚デバイス、視覚−聴覚デバイス、前記車両のヘッド・アップ・ディスプレイ、前記車両の画素ベース・ディスプレイ、少なくとも1つの色変化発光インディケータ、および接触型ディスプレイの内の少なくとも1つを含む、システム。 - 請求項1記載のシステムにおいて、前記コントローラが、前記第1インタラクティブ・モードを用いて前記ユーザ相互作用を管理し、前記第1インタラクティブ・モードが、前記ジェスチャに応答して前記複数の車両サブシステムとの相互作用を制御することを含み、前記ジェスチャが前記ユーザの指の動きを含む、システム。
- 請求項12記載のシステムにおいて、
前記ジェスチャが、
手の2本の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記車両サブシステムの複数の制御エレメントを巡回し、各制御エレメントが、前記ユーザに車両サブシステムのパラメータを制御させる、動きと、
前記ユーザの手の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記パラメータの設定をインクリメントにより変化させる、動きと、
第1の指を下げたままにして、第2の指を広げることであって、前記コントローラが、前記ジェスチャに応答して前記パラメータの設定を一定の割合で変化させることと、
の内の少なくとも1つを含む、システム。 - 請求項12記載のシステムにおいて、前記ジェスチャが前記ユーザの第1の手の少なくとも1本の指を広げることを含み、前記プロセッサが前記ジェスチャに応答して、前記コントローラをアクティブ化し、前記ユーザの手は、前記ジェスチャの間、前記車両の誘導メカニズムと接触したままであり、
前記ジェスチャが、
前記第1の手の2本の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記車両サブシステムの複数の制御モードを巡回し、前記複数の制御モードの内各制御モードが車両サブシステムに対応する、動きと、
第2の手の2本の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して各制御モードの複数の制御選択肢を巡回し、前記複数の制御選択肢の内各制御選択肢が車両サブシステムに対応する、動きと、
前記ユーザの手の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して、制御の設定を制御する、動きと、
前記ユーザの手の第1の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記設定を第1の方向に歩進させることによって、インクリメントにより前記設定を変化させる、動きと、
前記ユーザの手の第2の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記設定を第2の方向に歩進させることによって、インクリメントにより前記設定を変化させる、動きと、
前記第1の指を下げたままにして、前記第2の指を広げることであって、前記コントローラが、前記ジェスチャに応答して前記設定を一定割合で変化させることと、
の内の少なくとも1つを含む、システム。 - 請求項12記載のシステムであって、前記プロセッサに結合されるグラフィカル・ディスプレイを備え、該グラフィカル・ディスプレイが、前記ジェスチャに対応するインジケーションを前記ユーザに供給し、前記ジェスチャが、前記グラフィカル・ディスプレイ上において表示エレメントの位置を制御する、システム。
- 請求項15記載のシステムにおいて、前記指の動きが前記表示エレメントを通じて前記車両サブシステムの制御エレメントの非線形選択を実行し、各制御エレメントが前記ユーザに車両サブシステムのパラメータを制御させ、
前記ジェスチャが、
前記ユーザの第1の手の少なくとも1本の指を広げることであって、前記プロセッサが、前記ジェスチャに応答して前記コントローラをアクティブ化すると共に前記表示エレメントを表示させることと、
指先の相対的移動であって、前記プロセッサが、当該指先の相対的移動に応答して前記グラフィカル・ディスプレイ上での前記表示エレメントの移動を制御する相対的移動と、
の内の少なくとも1つを含む、システム。 - 請求項16記載のシステムにおいて、前記ディスプレイのインターフェース・グラフィクスが、前記表示エレメントの近接によって選択され、前記表示エレメントがポインタであり、
前記インターフェース・グラフィクスが前記車両サブシステムの制御エレメントに対応し、各制御エレメントのインターフェース・グラフィックが前記ユーザに車両サブシステムのパラメータを制御させ、
前記ジェスチャが、
前記ユーザの手の指の「握る−再度広げる」動きであって、前記コントローラが、前記ジェスチャに応答して前記インターフェース・グラフィックを通じて前記パラメータの設定を変化させる、動きと、
第1の指を下げたままにして、第2の指を広げることであって、前記コントローラが、前記ジェスチャに応答して、前記インターフェース・グラフィックを通じて前記パラメータの設定を変化させること、
の内の少なくとも1つを含む、システム。 - 請求項15記載のシステムにおいて、前記表示エレメントは、
トグル・スイッチ・アイコンであって、前記ジェスチャが前記ユーザの手の指の「握る−再度広げる」動きを含み、前記ジェスチャが前記トグル・スイッチの設定を制御するトグル・スイッチ・アイコンと、
スライダ・アイコンであって、前記ジェスチャが、第1の指を下げたままにして、第2の指を広げることを含み、前記コントローラが、前記ジェスチャに応答して前記スライダの設定を一定割合で変化させるスライダ・アイコンと、
スライダ・アイコンであって、前記ジェスチャが、前記ユーザの手の指の「握る−再度広げる」動きを含み、前記コントローラが、前記ジェスチャに応答して前記スライダの設定をインクリメントにより変化させるスライダ・アイコンと、
の内の少なくとも1つを含む、システム。 - 請求項1記載のシステムにおいて、
前記コントローラが、前記第2インタラクティブ・モードを用いて前記ユーザ相互作用を管理し、前記第2インタラクティブ・モードは、前記ジェスチャに応答して前記複数の車両サブシステムとの前記相互作用を制御することを含み、
前記ジェスチャが、前記ユーザの手の動きおよび指の動きを含む、システム。 - 請求項19記載のシステムにおいて、
前記コントローラが、前記ジェスチャに応答して、前記車両サブシステムの複数の制御エレメントを巡回し、
各制御エレメントが前記ユーザに車両サブシステムのパラメータを制御させ、
前記ジェスチャは、手の第1の指を第1の方向に広げると共に、前記手の第2の指を第2の方向に広げることを含み、
前記ジェスチャは、
前記手、前記第1の指、および前記第2の指の組み合わせの垂直配向であって、前記手、前記第1の指、および前記第2の指を、重力と一直線状の平面に配置する、垂直配向と、
前記手、前記第1の指、および前記第2の指の組み合わせの水平配向であって、前記手、前記第1の指、および前記第2の指を、重力に対して垂直な平面に配置する、水平配向と、
前記手の第3の指を前記第1方向に広げて、前記第1の指とほぼ整列した状態にすることと、
前記第2の指を、前記第1の指とほぼ垂直な方向に広げることと、
前記第2の指を、前記第1の指とほぼ平行な方向に広げることと、
前記第1の指がほぼ中央を指し示す位置まで前記手を回転させることと、
の内の少なくとも1つを含む、システム。 - 請求項19記載のシステムであって、前記プロセッサに結合されるグラフィカル・ディスプレイを備え、
該グラフィカル・ディスプレイが、前記ジェスチャを介して制御を前記ユーザに提供し、
前記コントローラが、前記ジェスチャに応答して前記車両サブシステムの複数の制御エレメントを巡回し、
各制御エレメントが、前記ユーザに車両サブシステムのパラメータを制御させ、
前記ジェスチャが、前記グラフィカル・ディスプレイ上における表示エレメントの位置を制御し、
前記ジェスチャが、手の第1の指を第1の方向に広げることを含み、
前記表示エレメントがポインタを備え、前記ポインタの位置が前記第1の指の移動および照準の内の少なくとも1つによって制御され、
前記ジェスチャが、前記第1の指の照準を用いて前記ポインタが制御エレメント内に配置されかつ前記手の第2の指が第1の位置から第2の位置に移動させられたときに、制御エレメントの選択を制御し、
前記第1の位置が前記第1の指に対して実質的に垂直に延び、
前記第2の位置が前記第1の指に対して実質的に平行に延び、
前記ジェスチャが、
前記第1の指を前記グラフィカル・ディスプレイから外れた位置に照準を合わせることであって、前記コントローラがメニュー・リストを提示することと、
前記第1の指の照準をメニュー項目に合わせ、前記第2の指を前記第1の位置に移動させることであって、前記コントローラは前記メニュー項目をアクティブ制御エレメントとして選択することと、
前記手と当該手の少なくとも1本の指との組み合わせの垂直配向であって、前記手、前記第1の指、および前記第2の指を、重力と一直線状の平面に配置し、前記コントローラは第1組の制御エレメントを提示する、垂直配向と、
前記手と当該手の少なくとも1本の指の組み合わせの水平配向であって、前記手、前記第1の指、および前記第2の指を、重力に対して垂直な平面に配置し、前記コントローラは、前記第1組の制御エレメントとは異なる第2組の制御エレメントを提示する、水平配向と、
の内の少なくとも1つを含む、システム。 - 請求項1記載のシステムにおいて、前記車両サブシステムが、天候制御デバイス、多機能ディスプレイ・デバイス、オーディオ・デバイス、ラジオ・デバイス、ディジタル・オーディオ・デバイス、電話機、ナビゲーション・デバイス、巡行制御デバイス、自動操縦デバイス、自動化誘導デバイス、およびネットワーク接続デバイスの内の少なくとも1つを備えている、システム。
- 請求項1記載のシステムにおいて、前記複数のセンサが、複数のtime-of-flight深度検知カメラ、および構造化光三次元センサの内の少なくとも1つを備えている、システム。
- 方法であって、
車両において複数のセンサを通じてオブジェクトの画像を受け取り、該オブジェクトによってなされたジェスチャを表すジェスチャ・データを出力するステップであって、前記ジェスチャ・データが三次元データ・ポイント・クラウドによって表される前記オブジェクトの瞬時的状態であり、前記オブジェクトがユーザの手および指の内少なくとも1つを含む、ステップと、
前記オブジェクトの位置を前記データ・ポイント・クラウドから抽出し且つ前記ジェスチャ・データの三次元空間点再現から前記オブジェクトの量子化ポーズおよび方位ベクトルを復元することによって、前記ジェスチャ・データから前記オブジェクトのジェスチャを自動的に検出し、前記ジェスチャ・データをジェスチャ信号に変換するステップと、
前記ジェスチャ信号に応答して、複数の車両サブシステムとのユーザ相互作用を管理するステップと、
を備えており、
前記ユーザ相互作用の前記管理は、第1インタラクティブ・モードおよび第2インタラクティブ・モードのうちの少なくとも一方を使用して前記ユーザ相互作用を管理することを含み、前記第1インタラクティブ・モードにおける使用のために定義されるジェスチャ・セットは、前記第2インタラクティブ・モードにおける使用のために定義されるジェスチャ・セットと異なる、
方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7374008P | 2008-06-18 | 2008-06-18 | |
US61/073,740 | 2008-06-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011514820A Division JP2011525283A (ja) | 2008-06-18 | 2009-06-18 | 車両インターフェース用ジェスチャ基準制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014221636A JP2014221636A (ja) | 2014-11-27 |
JP6116064B2 true JP6116064B2 (ja) | 2017-04-19 |
Family
ID=41434456
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011514820A Pending JP2011525283A (ja) | 2008-06-18 | 2009-06-18 | 車両インターフェース用ジェスチャ基準制御システム |
JP2014130114A Active JP6116064B2 (ja) | 2008-06-18 | 2014-06-25 | 車両インターフェース用ジェスチャ基準制御システム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011514820A Pending JP2011525283A (ja) | 2008-06-18 | 2009-06-18 | 車両インターフェース用ジェスチャ基準制御システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20090278915A1 (ja) |
EP (1) | EP2304527A4 (ja) |
JP (2) | JP2011525283A (ja) |
KR (1) | KR101652535B1 (ja) |
CN (1) | CN102112945B (ja) |
WO (1) | WO2009155465A1 (ja) |
Families Citing this family (221)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9569001B2 (en) * | 2009-02-03 | 2017-02-14 | Massachusetts Institute Of Technology | Wearable gestural interface |
US8775023B2 (en) | 2009-02-15 | 2014-07-08 | Neanode Inc. | Light-based touch controls on a steering wheel and dashboard |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
US8305188B2 (en) * | 2009-10-07 | 2012-11-06 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
US8543240B2 (en) * | 2009-11-13 | 2013-09-24 | Intuitive Surgical Operations, Inc. | Master finger tracking device and method of use in a minimally invasive surgical system |
TW201135341A (en) * | 2010-04-13 | 2011-10-16 | Hon Hai Prec Ind Co Ltd | Front projection system and method |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US20110296304A1 (en) * | 2010-05-27 | 2011-12-01 | Palm, Inc. | Adaptive Gesture Tutorial |
US8670029B2 (en) * | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US20120050495A1 (en) * | 2010-08-27 | 2012-03-01 | Xuemin Chen | Method and system for multi-view 3d video rendering |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
US20120060127A1 (en) * | 2010-09-06 | 2012-03-08 | Multitouch Oy | Automatic orientation of items on a touch screen display utilizing hand direction |
US8760432B2 (en) | 2010-09-21 | 2014-06-24 | Visteon Global Technologies, Inc. | Finger pointing, gesture based human-machine interface for vehicles |
US8817087B2 (en) | 2010-11-01 | 2014-08-26 | Robert Bosch Gmbh | Robust video-based handwriting and gesture recognition for in-car applications |
US8730157B2 (en) * | 2010-11-15 | 2014-05-20 | Hewlett-Packard Development Company, L.P. | Hand pose recognition |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
US10025388B2 (en) | 2011-02-10 | 2018-07-17 | Continental Automotive Systems, Inc. | Touchless human machine interface |
KR101800182B1 (ko) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | 가상 객체 제어 장치 및 방법 |
US8831794B2 (en) * | 2011-05-04 | 2014-09-09 | Qualcomm Incorporated | Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects |
JP5087157B1 (ja) * | 2011-05-25 | 2012-11-28 | 株式会社コナミデジタルエンタテインメント | 指示受付装置、指示受付方法、ならびに、プログラム |
WO2012174406A1 (en) | 2011-06-15 | 2012-12-20 | University Of Washington | Methods and systems for haptic rendering and creating virtual fixtures from point clouds |
US8886407B2 (en) | 2011-07-22 | 2014-11-11 | American Megatrends, Inc. | Steering wheel input device having gesture recognition and angle compensation capabilities |
US8713482B2 (en) * | 2011-07-28 | 2014-04-29 | National Instruments Corporation | Gestures for presentation of different views of a system diagram |
US8782525B2 (en) | 2011-07-28 | 2014-07-15 | National Insturments Corporation | Displaying physical signal routing in a diagram of a system |
DE102011110978A1 (de) * | 2011-08-18 | 2013-02-21 | Volkswagen Aktiengesellschaft | Verfahren zum Bedienen einer elektronischen Einrichtung oder einer Applikation und entsprechende Vorrichtung |
DE102011112447A1 (de) * | 2011-09-03 | 2013-03-07 | Volkswagen Aktiengesellschaft | Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug |
US20130063336A1 (en) * | 2011-09-08 | 2013-03-14 | Honda Motor Co., Ltd. | Vehicle user interface system |
CN103842941B (zh) * | 2011-09-09 | 2016-12-07 | 泰利斯航空电子学公司 | 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制 |
KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
DE102011116122A1 (de) * | 2011-10-15 | 2013-04-18 | Volkswagen Aktiengesellschaft | Verfahren zum Bereitstellen einer Bedienvorrichtungin einem Fahrzeug und Bedienvorrichtung |
DE102011054848B4 (de) * | 2011-10-27 | 2014-06-26 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Steuer- und Überwachungseinrichtung für Fahrzeuge |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
WO2013074868A1 (en) * | 2011-11-16 | 2013-05-23 | Flextronics Ap, Llc | Complete vehicle ecosystem |
KR101704065B1 (ko) * | 2011-12-16 | 2017-02-07 | 현대자동차주식회사 | 차량 인터랙션 시스템 |
JP5917125B2 (ja) | 2011-12-16 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置および表示装置 |
CN104125805B (zh) * | 2011-12-23 | 2016-10-05 | 皇家飞利浦有限公司 | 用于三维超声图像的交互显示的方法与装置 |
WO2013101067A1 (en) * | 2011-12-29 | 2013-07-04 | Intel Corporation | Systems and methods for enhanced display images |
US9600728B2 (en) | 2011-12-29 | 2017-03-21 | Intel Corporation | System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation |
US9965169B2 (en) * | 2011-12-29 | 2018-05-08 | David L. Graumann | Systems, methods, and apparatus for controlling gesture initiation and termination |
KR101237472B1 (ko) * | 2011-12-30 | 2013-02-28 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
DE102012000201A1 (de) | 2012-01-09 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
DE102012000263A1 (de) * | 2012-01-10 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
US20130204408A1 (en) * | 2012-02-06 | 2013-08-08 | Honeywell International Inc. | System for controlling home automation system using body movements |
US20130211843A1 (en) * | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
US9423877B2 (en) | 2012-02-24 | 2016-08-23 | Amazon Technologies, Inc. | Navigation approaches for multi-dimensional input |
US8806280B2 (en) | 2012-02-27 | 2014-08-12 | Microsoft Corporation | APIs to test a device |
US9349234B2 (en) * | 2012-03-14 | 2016-05-24 | Autoconnect Holdings Llc | Vehicle to vehicle social and business communications |
US8942881B2 (en) * | 2012-04-02 | 2015-01-27 | Google Inc. | Gesture-based automotive controls |
US9195794B2 (en) | 2012-04-10 | 2015-11-24 | Honda Motor Co., Ltd. | Real time posture and movement prediction in execution of operational tasks |
US9587804B2 (en) * | 2012-05-07 | 2017-03-07 | Chia Ming Chen | Light control systems and methods |
GB2502087A (en) * | 2012-05-16 | 2013-11-20 | St Microelectronics Res & Dev | Gesture recognition |
FR2990815A1 (fr) * | 2012-05-18 | 2013-11-22 | Johnson Contr Automotive Elect | Commande a distance pour activer des fonctionnalites d'un vehicule automobile a l'aide de signaux radiofrequence emis par la commande a distance, systeme de controle a distance comprenant une unite centrale et une commande a distance, et procede pour activer des fonctionnalites d'un vehicule automobile a l'aide d'un systeme de controle a distance |
EP2631739B1 (en) * | 2012-05-21 | 2016-02-03 | Huawei Technologies Co., Ltd. | Contactless gesture-based control method and apparatus |
EP2669109B1 (de) * | 2012-05-30 | 2015-03-04 | Technische Universität Darmstadt | Manöverassistenzsystem |
US9092394B2 (en) * | 2012-06-15 | 2015-07-28 | Honda Motor Co., Ltd. | Depth based context identification |
DE102012012697A1 (de) * | 2012-06-26 | 2014-01-02 | Leopold Kostal Gmbh & Co. Kg | Bediensystem für ein Kraftfahrzeug |
DE102012212787A1 (de) * | 2012-07-20 | 2014-01-23 | Robert Bosch Gmbh | Motorradlenkeranordnung mit Griffüberwachung |
KR101978967B1 (ko) * | 2012-08-01 | 2019-05-17 | 삼성전자주식회사 | 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 |
CN103631157A (zh) * | 2012-08-29 | 2014-03-12 | 杨尧任 | 利用手势识别技术控制汽车电器的装置及其应用方法 |
DE102012216193B4 (de) | 2012-09-12 | 2020-07-30 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten |
US9423886B1 (en) * | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
US9474130B2 (en) | 2012-10-17 | 2016-10-18 | Koninklijke Philips N.V. | Methods and apparatus for applying lighting to an object |
KR101979026B1 (ko) * | 2012-10-30 | 2019-05-15 | 르노삼성자동차 주식회사 | 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법 |
US9092093B2 (en) | 2012-11-27 | 2015-07-28 | Neonode Inc. | Steering wheel user interface |
US20230325065A1 (en) * | 2012-11-27 | 2023-10-12 | Neonode Inc. | Vehicle user interface |
KR101518194B1 (ko) * | 2012-11-27 | 2015-05-06 | 네오노드, 인크. | 스티어링 휠 및 대시보드에서 광선-기반 터치 컨트롤 |
EP2738645A1 (en) | 2012-11-30 | 2014-06-04 | Harman Becker Automotive Systems GmbH | Vehicle gesture recognition system and method |
JP6202810B2 (ja) * | 2012-12-04 | 2017-09-27 | アルパイン株式会社 | ジェスチャ認識装置および方法ならびにプログラム |
KR101459445B1 (ko) * | 2012-12-18 | 2014-11-07 | 현대자동차 주식회사 | 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법 |
US20140181759A1 (en) * | 2012-12-20 | 2014-06-26 | Hyundai Motor Company | Control system and method using hand gesture for vehicle |
EP2936452A1 (en) * | 2012-12-21 | 2015-10-28 | Inventio AG | Command input based on data-carrier orientation |
US20140181105A1 (en) * | 2012-12-22 | 2014-06-26 | Continental Automotive Systems, Inc. | Vehicle point and select |
US9176588B2 (en) * | 2013-01-14 | 2015-11-03 | Maxm Integrated Products, Inc. | System and method for discerning complex gestures using an array of optical sensors |
US20140320392A1 (en) | 2013-01-24 | 2014-10-30 | University Of Washington Through Its Center For Commercialization | Virtual Fixtures for Improved Performance in Human/Autonomous Manipulation Tasks |
CN112607540A (zh) | 2013-02-07 | 2021-04-06 | 通力股份公司 | 电梯服务的个性化 |
DE102013002280A1 (de) | 2013-02-08 | 2014-08-14 | Audi Ag | Verfahren zum Betreiben einer Anzeigevorrichtung eines Kraftwagens sowie Kraftwagen mit einer solchen Anzeigevorrichtung |
US8744645B1 (en) | 2013-02-26 | 2014-06-03 | Honda Motor Co., Ltd. | System and method for incorporating gesture and voice recognition into a single system |
EP2969697B1 (en) * | 2013-03-12 | 2018-06-13 | Robert Bosch GmbH | System and method for identifying handwriting gestures in an in-vehicle infromation system |
CN104049872B (zh) * | 2013-03-13 | 2018-01-05 | 本田技研工业株式会社 | 利用指向的信息查询 |
US9122916B2 (en) | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Three dimensional fingertip tracking |
US9704350B1 (en) | 2013-03-14 | 2017-07-11 | Harmonix Music Systems, Inc. | Musical combat game |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
US8886399B2 (en) * | 2013-03-15 | 2014-11-11 | Honda Motor Co., Ltd. | System and method for controlling a vehicle user interface based on gesture angle |
US8818716B1 (en) | 2013-03-15 | 2014-08-26 | Honda Motor Co., Ltd. | System and method for gesture-based point of interest search |
FR3003842B1 (fr) * | 2013-03-26 | 2016-03-11 | Airbus Operations Sas | Dispositif de dialogue par gestuelles pour un poste de pilotage. |
US9069415B2 (en) * | 2013-04-22 | 2015-06-30 | Fuji Xerox Co., Ltd. | Systems and methods for finger pose estimation on touchscreen devices |
US20140358332A1 (en) * | 2013-06-03 | 2014-12-04 | Gulfstream Aerospace Corporation | Methods and systems for controlling an aircraft |
US9807196B2 (en) | 2013-09-17 | 2017-10-31 | Toyota Motor Sales, U.S.A. | Automated social network interaction system for a vehicle |
US9340155B2 (en) | 2013-09-17 | 2016-05-17 | Toyota Motor Sales, U.S.A., Inc. | Interactive vehicle window display system with user identification |
US9760698B2 (en) | 2013-09-17 | 2017-09-12 | Toyota Motor Sales, U.S.A., Inc. | Integrated wearable article for interactive vehicle control system |
US9400564B2 (en) | 2013-09-17 | 2016-07-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive vehicle window display system with a safe driving reminder system |
US20150081133A1 (en) * | 2013-09-17 | 2015-03-19 | Toyota Motor Sales, U.S.A., Inc. | Gesture-based system enabling children to control some vehicle functions in a vehicle |
US9387824B2 (en) | 2013-09-17 | 2016-07-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive vehicle window display system with user identification and image recording |
US9902266B2 (en) | 2013-09-17 | 2018-02-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive vehicle window display system with personal convenience reminders |
US10216892B2 (en) | 2013-10-01 | 2019-02-26 | Honda Motor Co., Ltd. | System and method for interactive vehicle design utilizing performance simulation and prediction in execution of tasks |
KR101537936B1 (ko) * | 2013-11-08 | 2015-07-21 | 현대자동차주식회사 | 차량 및 그 제어방법 |
KR102206053B1 (ko) * | 2013-11-18 | 2021-01-21 | 삼성전자주식회사 | 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법 |
US9451434B2 (en) | 2013-11-27 | 2016-09-20 | At&T Intellectual Property I, L.P. | Direct interaction between a user and a communication network |
AT514926B1 (de) * | 2013-12-10 | 2015-05-15 | Joanneum Res Forschungsgmbh | Sitzmöbel mit berührungsloser Abtastung der Fingerbewegungen des darin sitzenden Operators zur Steuerung von elektrischen und elektronischen Geräten |
US9248840B2 (en) | 2013-12-20 | 2016-02-02 | Immersion Corporation | Gesture based input system in a vehicle with haptic feedback |
US20150185858A1 (en) * | 2013-12-26 | 2015-07-02 | Wes A. Nagara | System and method of plane field activation for a gesture-based control system |
WO2015103439A1 (en) | 2014-01-03 | 2015-07-09 | Harman International Industries, Incorporated | Gesture interactive wearable spatial audio system |
KR20150087544A (ko) * | 2014-01-22 | 2015-07-30 | 엘지이노텍 주식회사 | 제스처 장치, 그 동작 방법 및 이를 구비한 차량 |
US10198696B2 (en) * | 2014-02-04 | 2019-02-05 | GM Global Technology Operations LLC | Apparatus and methods for converting user input accurately to a particular system function |
US10007329B1 (en) | 2014-02-11 | 2018-06-26 | Leap Motion, Inc. | Drift cancelation for portable object detection and tracking |
DE102014202490A1 (de) | 2014-02-12 | 2015-08-13 | Volkswagen Aktiengesellschaft | Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe |
US10226869B2 (en) | 2014-03-03 | 2019-03-12 | University Of Washington | Haptic virtual fixture tools |
US10409382B2 (en) | 2014-04-03 | 2019-09-10 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
US10466657B2 (en) | 2014-04-03 | 2019-11-05 | Honda Motor Co., Ltd. | Systems and methods for global adaptation of an implicit gesture control system |
US9342797B2 (en) | 2014-04-03 | 2016-05-17 | Honda Motor Co., Ltd. | Systems and methods for the detection of implicit gestures |
US9754167B1 (en) | 2014-04-17 | 2017-09-05 | Leap Motion, Inc. | Safety for wearable virtual reality devices via object detection and tracking |
CN106796020A (zh) | 2014-04-29 | 2017-05-31 | 陈家铭 | 灯控系统和方法 |
US10061058B2 (en) | 2014-05-21 | 2018-08-28 | Universal City Studios Llc | Tracking system and method for use in surveying amusement park equipment |
US9429398B2 (en) | 2014-05-21 | 2016-08-30 | Universal City Studios Llc | Optical tracking for controlling pyrotechnic show elements |
US10207193B2 (en) | 2014-05-21 | 2019-02-19 | Universal City Studios Llc | Optical tracking system for automation of amusement park elements |
US9616350B2 (en) * | 2014-05-21 | 2017-04-11 | Universal City Studios Llc | Enhanced interactivity in an amusement park environment using passive tracking elements |
US9600999B2 (en) * | 2014-05-21 | 2017-03-21 | Universal City Studios Llc | Amusement park element tracking system |
US10025990B2 (en) | 2014-05-21 | 2018-07-17 | Universal City Studios Llc | System and method for tracking vehicles in parking structures and intersections |
US9433870B2 (en) | 2014-05-21 | 2016-09-06 | Universal City Studios Llc | Ride vehicle tracking and control system using passive tracking elements |
JP6494926B2 (ja) * | 2014-05-28 | 2019-04-03 | 京セラ株式会社 | 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法 |
US9868449B1 (en) | 2014-05-30 | 2018-01-16 | Leap Motion, Inc. | Recognizing in-air gestures of a control object to control a vehicular control system |
US9575560B2 (en) | 2014-06-03 | 2017-02-21 | Google Inc. | Radar-based gesture-recognition through a wearable device |
US10936050B2 (en) | 2014-06-16 | 2021-03-02 | Honda Motor Co., Ltd. | Systems and methods for user indication recognition |
US9710711B2 (en) * | 2014-06-26 | 2017-07-18 | Adidas Ag | Athletic activity heads up display systems and methods |
US10007350B1 (en) | 2014-06-26 | 2018-06-26 | Leap Motion, Inc. | Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
JP6401268B2 (ja) * | 2014-06-30 | 2018-10-10 | クラリオン株式会社 | 非接触操作検出装置 |
US9811164B2 (en) | 2014-08-07 | 2017-11-07 | Google Inc. | Radar-based gesture sensing and data transmission |
JP3194297U (ja) | 2014-08-15 | 2014-11-13 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 自動車用及び産業用のモーション感知制御装置 |
US10268321B2 (en) | 2014-08-15 | 2019-04-23 | Google Llc | Interactive textiles within hard objects |
US11169988B2 (en) | 2014-08-22 | 2021-11-09 | Google Llc | Radar recognition-aided search |
US9778749B2 (en) | 2014-08-22 | 2017-10-03 | Google Inc. | Occluded gesture recognition |
KR101628482B1 (ko) * | 2014-09-18 | 2016-06-21 | 현대자동차주식회사 | 무선신호 분석을 통한 동작 인식 시스템 및 그 방법 |
KR20160036242A (ko) * | 2014-09-25 | 2016-04-04 | 현대자동차주식회사 | 제스처 인식 장치, 그를 가지는 차량 및 그 제어 방법 |
FR3026502A1 (fr) * | 2014-09-30 | 2016-04-01 | Valeo Comfort & Driving Assistance | Systeme et procede de commande d'un equipement d'un vehicule automobile |
US9600080B2 (en) | 2014-10-02 | 2017-03-21 | Google Inc. | Non-line-of-sight radar-based gesture recognition |
KR101556521B1 (ko) * | 2014-10-06 | 2015-10-13 | 현대자동차주식회사 | 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법 |
WO2016067082A1 (de) * | 2014-10-22 | 2016-05-06 | Visteon Global Technologies, Inc. | Verfahren und vorrichtung zur gestensteuerung in einem fahrzeug |
DE102014017179B4 (de) * | 2014-11-20 | 2022-10-06 | Audi Ag | Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste |
US10146317B2 (en) | 2014-12-12 | 2018-12-04 | Ford Global Technologies, Llc | Vehicle accessory operation based on motion tracking |
US10452195B2 (en) | 2014-12-30 | 2019-10-22 | Samsung Electronics Co., Ltd. | Electronic system with gesture calibration mechanism and method of operation thereof |
WO2016108502A1 (en) * | 2014-12-30 | 2016-07-07 | Samsung Electronics Co., Ltd. | Electronic system with gesture calibration mechanism and method of operation thereof |
US10173687B2 (en) | 2015-03-16 | 2019-01-08 | Wellen Sham | Method for recognizing vehicle driver and determining whether driver can start vehicle |
US9954260B2 (en) | 2015-03-16 | 2018-04-24 | Thunder Power New Energy Vehicle Development Company Limited | Battery system with heat exchange device |
US9547373B2 (en) | 2015-03-16 | 2017-01-17 | Thunder Power Hong Kong Ltd. | Vehicle operating system using motion capture |
US9586618B2 (en) | 2015-03-16 | 2017-03-07 | Thunder Power Hong Kong Ltd. | Vehicle control system for controlling steering of vehicle |
US10703211B2 (en) | 2015-03-16 | 2020-07-07 | Thunder Power New Energy Vehicle Development Company Limited | Battery pack, battery charging station, and charging method |
US9539988B2 (en) | 2015-03-16 | 2017-01-10 | Thunder Power Hong Kong Ltd. | Vehicle camera cleaning system |
US9550406B2 (en) | 2015-03-16 | 2017-01-24 | Thunder Power Hong Kong Ltd. | Thermal dissipation system of an electric vehicle |
US9866163B2 (en) | 2015-03-16 | 2018-01-09 | Thunder Power New Energy Vehicle Development Company Limited | Method for controlling operating speed and torque of electric motor |
TWI552892B (zh) * | 2015-04-14 | 2016-10-11 | 鴻海精密工業股份有限公司 | 車輛控制系統及其操作方法 |
EP3284019A4 (en) * | 2015-04-16 | 2018-12-05 | Robert Bosch GmbH | System and method for automated sign language recognition |
CN111880650A (zh) | 2015-04-30 | 2020-11-03 | 谷歌有限责任公司 | 基于宽场雷达的手势识别 |
EP3289433A1 (en) * | 2015-04-30 | 2018-03-07 | Google LLC | Type-agnostic rf signal representations |
WO2016176600A1 (en) | 2015-04-30 | 2016-11-03 | Google Inc. | Rf-based micro-motion tracking for gesture tracking and recognition |
US9693592B2 (en) | 2015-05-27 | 2017-07-04 | Google Inc. | Attaching electronic components to interactive textiles |
US10088908B1 (en) | 2015-05-27 | 2018-10-02 | Google Llc | Gesture detection and interactions |
US10817065B1 (en) | 2015-10-06 | 2020-10-27 | Google Llc | Gesture recognition using multiple antenna |
US9809231B2 (en) * | 2015-10-28 | 2017-11-07 | Honda Motor Co., Ltd. | System and method for executing gesture based control of a vehicle system |
US10692126B2 (en) | 2015-11-17 | 2020-06-23 | Nio Usa, Inc. | Network-based system for selling and servicing cars |
US10599324B2 (en) * | 2015-12-31 | 2020-03-24 | Microsoft Technology Licensing, Llc | Hand gesture API using finite state machine and gesture language discrete values |
US20170193289A1 (en) * | 2015-12-31 | 2017-07-06 | Microsoft Technology Licensing, Llc | Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton |
US10310618B2 (en) | 2015-12-31 | 2019-06-04 | Microsoft Technology Licensing, Llc | Gestures visual builder tool |
WO2017124481A1 (zh) * | 2016-01-23 | 2017-07-27 | 刘建兵 | 根据手势调节座椅的方法以及手势系统 |
WO2017164835A1 (en) * | 2016-03-21 | 2017-09-28 | Ford Global Technologies, Llc | Virtual vehicle occupant rendering |
JP6939778B2 (ja) * | 2016-04-28 | 2021-09-22 | ソニーグループ株式会社 | 制御装置、制御方法及び手術システム |
US10492302B2 (en) | 2016-05-03 | 2019-11-26 | Google Llc | Connecting an electronic component to an interactive textile |
US10175781B2 (en) | 2016-05-16 | 2019-01-08 | Google Llc | Interactive object with multiple electronics modules |
US10285456B2 (en) | 2016-05-16 | 2019-05-14 | Google Llc | Interactive fabric |
US20180012196A1 (en) | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Vehicle maintenance manager |
US9928734B2 (en) | 2016-08-02 | 2018-03-27 | Nio Usa, Inc. | Vehicle-to-pedestrian communication systems |
US11024160B2 (en) | 2016-11-07 | 2021-06-01 | Nio Usa, Inc. | Feedback performance control and tracking |
US10694357B2 (en) | 2016-11-11 | 2020-06-23 | Nio Usa, Inc. | Using vehicle sensor data to monitor pedestrian health |
US10410064B2 (en) | 2016-11-11 | 2019-09-10 | Nio Usa, Inc. | System for tracking and identifying vehicles and pedestrians |
US10708547B2 (en) | 2016-11-11 | 2020-07-07 | Nio Usa, Inc. | Using vehicle sensor data to monitor environmental and geologic conditions |
US10515390B2 (en) | 2016-11-21 | 2019-12-24 | Nio Usa, Inc. | Method and system for data optimization |
US10579150B2 (en) | 2016-12-05 | 2020-03-03 | Google Llc | Concurrent detection of absolute distance and relative movement for sensing action gestures |
US10249104B2 (en) | 2016-12-06 | 2019-04-02 | Nio Usa, Inc. | Lease observation and event recording |
JP6712545B2 (ja) | 2016-12-19 | 2020-06-24 | 日立オートモティブシステムズ株式会社 | 電子制御装置、電子制御システム、及び電子制御方法 |
US10074223B2 (en) | 2017-01-13 | 2018-09-11 | Nio Usa, Inc. | Secured vehicle for user use only |
US9984572B1 (en) | 2017-01-16 | 2018-05-29 | Nio Usa, Inc. | Method and system for sharing parking space availability among autonomous vehicles |
US10031521B1 (en) | 2017-01-16 | 2018-07-24 | Nio Usa, Inc. | Method and system for using weather information in operation of autonomous vehicles |
US10471829B2 (en) | 2017-01-16 | 2019-11-12 | Nio Usa, Inc. | Self-destruct zone and autonomous vehicle navigation |
US10464530B2 (en) | 2017-01-17 | 2019-11-05 | Nio Usa, Inc. | Voice biometric pre-purchase enrollment for autonomous vehicles |
US10286915B2 (en) | 2017-01-17 | 2019-05-14 | Nio Usa, Inc. | Machine learning for personalized driving |
US10897469B2 (en) | 2017-02-02 | 2021-01-19 | Nio Usa, Inc. | System and method for firewalls between vehicle networks |
FR3063557B1 (fr) | 2017-03-03 | 2022-01-14 | Valeo Comfort & Driving Assistance | Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe |
US20180267615A1 (en) * | 2017-03-20 | 2018-09-20 | Daqri, Llc | Gesture-based graphical keyboard for computing devices |
EP3409553B1 (en) * | 2017-06-01 | 2021-08-04 | Honda Research Institute Europe GmbH | System and method for automated execution of a maneuver or behavior of a system |
US10234302B2 (en) | 2017-06-27 | 2019-03-19 | Nio Usa, Inc. | Adaptive route and motion planning based on learned external and internal vehicle environment |
US10710633B2 (en) | 2017-07-14 | 2020-07-14 | Nio Usa, Inc. | Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles |
US10369974B2 (en) | 2017-07-14 | 2019-08-06 | Nio Usa, Inc. | Control and coordination of driverless fuel replenishment for autonomous vehicles |
US10837790B2 (en) | 2017-08-01 | 2020-11-17 | Nio Usa, Inc. | Productive and accident-free driving modes for a vehicle |
US20190073040A1 (en) * | 2017-09-05 | 2019-03-07 | Future Mobility Corporation Limited | Gesture and motion based control of user interfaces |
US10635109B2 (en) | 2017-10-17 | 2020-04-28 | Nio Usa, Inc. | Vehicle path-planner monitor and controller |
US10935978B2 (en) | 2017-10-30 | 2021-03-02 | Nio Usa, Inc. | Vehicle self-localization using particle filters and visual odometry |
US10606274B2 (en) | 2017-10-30 | 2020-03-31 | Nio Usa, Inc. | Visual place recognition based self-localization for autonomous vehicles |
US10717412B2 (en) | 2017-11-13 | 2020-07-21 | Nio Usa, Inc. | System and method for controlling a vehicle using secondary access methods |
KR102041965B1 (ko) * | 2017-12-26 | 2019-11-27 | 엘지전자 주식회사 | 차량에 구비된 디스플레이 장치 |
JP7027552B2 (ja) * | 2018-01-03 | 2022-03-01 | ソニーセミコンダクタソリューションズ株式会社 | モバイル機器を用いたジェスチャー認識 |
DE102018201897A1 (de) | 2018-02-07 | 2019-08-08 | Ford Global Technologies, Llc | Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs |
US10369966B1 (en) | 2018-05-23 | 2019-08-06 | Nio Usa, Inc. | Controlling access to a vehicle using wireless access devices |
DE102018214784A1 (de) * | 2018-08-30 | 2020-03-05 | Audi Ag | Verfahren zum Darstellen mindestens eines Zusatzanzeigeinhalts |
JP7091983B2 (ja) * | 2018-10-01 | 2022-06-28 | トヨタ自動車株式会社 | 機器制御装置 |
KR102393774B1 (ko) * | 2018-10-08 | 2022-05-03 | 에스케이텔레콤 주식회사 | 음성 인식 장치 및 그 제어방법 |
EP3887192B1 (en) | 2018-11-28 | 2023-06-07 | Neonode Inc. | Motorist user interface sensor |
CN109785655B (zh) * | 2018-12-11 | 2020-09-29 | 北京百度网讯科技有限公司 | 车辆控制方法、装置、设备、无人驾驶车辆及存储介质 |
CN110276292B (zh) * | 2019-06-19 | 2021-09-10 | 上海商汤智能科技有限公司 | 智能车运动控制方法及装置、设备和存储介质 |
EP3809237A1 (en) * | 2019-10-17 | 2021-04-21 | BAE SYSTEMS plc | User-vehicle interface |
EP4025978A1 (en) | 2019-09-06 | 2022-07-13 | BAE SYSTEMS plc | User-vehicle interface |
US11567492B2 (en) | 2020-01-17 | 2023-01-31 | Zimeno, Inc. | Vehicle control by a remote operator |
JPWO2021157691A1 (ja) * | 2020-02-06 | 2021-08-12 | ||
CN111645701B (zh) * | 2020-04-30 | 2022-12-06 | 长城汽车股份有限公司 | 一种车辆控制方法、装置及系统 |
US20220073316A1 (en) | 2020-07-15 | 2022-03-10 | Leandre Adifon | Systems and methods for operation of elevators and other devices |
US11305964B2 (en) | 2020-07-15 | 2022-04-19 | Leandre Adifon | Systems and methods for operation of elevators and other devices |
EP3985484A1 (en) * | 2020-10-19 | 2022-04-20 | ameria AG | Calibration method, calibration device and control method for touchless gesture control |
US20220202493A1 (en) * | 2020-12-30 | 2022-06-30 | Novarad Corporation | Alignment of Medical Images in Augmented Reality Displays |
US11960644B2 (en) | 2021-08-05 | 2024-04-16 | Rockwell Collins, Inc. | System and method for gaze and pose detection to anticipate operator intent |
US11948265B2 (en) | 2021-11-27 | 2024-04-02 | Novarad Corporation | Image data set alignment for an AR headset using anatomic structures and data fitting |
Family Cites Families (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
DE69032645T2 (de) * | 1990-04-02 | 1999-04-08 | Koninkl Philips Electronics Nv | Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten |
US5139747A (en) * | 1991-01-14 | 1992-08-18 | Semi-Gas Systems, Inc. | Gas filter-purifier |
JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
US5982352A (en) * | 1992-09-18 | 1999-11-09 | Pryor; Timothy R. | Method for providing human input to a computer |
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
JPH07282235A (ja) * | 1994-04-15 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 動作認識装置 |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
DE69634913T2 (de) * | 1995-04-28 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd., Kadoma | Schnittstellenvorrichtung |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europ Ltd | Verfahren und System zur Erkennung von Handgesten |
JP3749369B2 (ja) * | 1997-03-21 | 2006-02-22 | 株式会社竹中工務店 | ハンドポインティング装置 |
US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6807583B2 (en) * | 1997-09-24 | 2004-10-19 | Carleton University | Method of determining causal connections between events recorded during process execution |
EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6043805A (en) * | 1998-03-24 | 2000-03-28 | Hsieh; Kuan-Hong | Controlling method for inputting messages to a computer |
JP4565200B2 (ja) * | 1998-09-28 | 2010-10-20 | パナソニック株式会社 | 手動作分節方法および装置 |
US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
US7050606B2 (en) * | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
JP2001216069A (ja) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
DE10007891C2 (de) * | 2000-02-21 | 2002-11-21 | Siemens Ag | Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung |
US20080122799A1 (en) * | 2001-02-22 | 2008-05-29 | Pryor Timothy R | Human interfaces for vehicles, homes, and other applications |
SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
US6554166B2 (en) * | 2000-03-14 | 2003-04-29 | Hitachi Metals, Ltd. | Apparatus for producing fine metal balls |
US7109970B1 (en) * | 2000-07-01 | 2006-09-19 | Miller Stephen S | Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) * | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US6703999B1 (en) * | 2000-11-13 | 2004-03-09 | Toyota Jidosha Kabushiki Kaisha | System for computer user interface |
US6804396B2 (en) * | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
US20020186200A1 (en) * | 2001-06-08 | 2002-12-12 | David Green | Method and apparatus for human interface with a computer |
US20040125076A1 (en) * | 2001-06-08 | 2004-07-01 | David Green | Method and apparatus for human interface with a computer |
US7151246B2 (en) * | 2001-07-06 | 2006-12-19 | Palantyr Research, Llc | Imaging system and methodology |
JP2003131785A (ja) * | 2001-10-22 | 2003-05-09 | Toshiba Corp | インタフェース装置および操作制御方法およびプログラム製品 |
JP2003141547A (ja) * | 2001-10-31 | 2003-05-16 | Matsushita Electric Ind Co Ltd | 手話翻訳装置および手話翻訳方法 |
US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US7170492B2 (en) * | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US20080065291A1 (en) * | 2002-11-04 | 2008-03-13 | Automotive Technologies International, Inc. | Gesture-Based Control of Vehicular Components |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
US7991920B2 (en) * | 2002-12-18 | 2011-08-02 | Xerox Corporation | System and method for controlling information output devices |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
WO2004107266A1 (en) * | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
JP3752246B2 (ja) * | 2003-08-11 | 2006-03-08 | 学校法人慶應義塾 | ハンドパターンスイッチ装置 |
JP4565445B2 (ja) * | 2004-03-18 | 2010-10-20 | 国立大学法人 奈良先端科学技術大学院大学 | 顔情報計測システム |
WO2005104010A2 (en) * | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7555613B2 (en) * | 2004-05-11 | 2009-06-30 | Broadcom Corporation | Storage access prioritization using a data storage device |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
HUE049974T2 (hu) * | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
CN101137996A (zh) * | 2005-01-07 | 2008-03-05 | 格斯图尔泰克股份有限公司 | 基于光流的倾斜传感器 |
JP2008537190A (ja) * | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
US7966353B2 (en) * | 2005-01-31 | 2011-06-21 | Broadcom Corporation | Method and system for flexibly providing shared access to non-data pool file systems |
JP5631535B2 (ja) * | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
KR101403172B1 (ko) * | 2005-05-17 | 2014-06-03 | 퀄컴 인코포레이티드 | 방위-감응 신호 출력 |
US7428542B1 (en) * | 2005-05-31 | 2008-09-23 | Reactrix Systems, Inc. | Method and system for combining nodes into a mega-node |
CN101636745A (zh) * | 2006-12-29 | 2010-01-27 | 格斯图尔泰克股份有限公司 | 使用增强型交互系统操纵虚拟对象 |
EP2122416B1 (en) * | 2007-02-15 | 2018-07-18 | Qualcomm Incorporated | Enhanced input using flashing electromagnetic radiation |
JP2010519552A (ja) * | 2007-02-23 | 2010-06-03 | ジェスチャー テック,インコーポレイテッド | 単一のセンサによって位置検出するシステム及び方法 |
WO2008134745A1 (en) * | 2007-04-30 | 2008-11-06 | Gesturetek, Inc. | Mobile video-based therapy |
CN101689244B (zh) * | 2007-05-04 | 2015-07-22 | 高通股份有限公司 | 用于紧凑设备的基于相机的用户输入 |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
US8565535B2 (en) * | 2007-08-20 | 2013-10-22 | Qualcomm Incorporated | Rejecting out-of-vocabulary words |
US9261979B2 (en) * | 2007-08-20 | 2016-02-16 | Qualcomm Incorporated | Gesture-based mobile interaction |
EP2597868B1 (en) * | 2007-09-24 | 2017-09-13 | Qualcomm Incorporated | Enhanced interface for voice and video communications |
-
2009
- 2009-06-18 EP EP09767774A patent/EP2304527A4/en not_active Withdrawn
- 2009-06-18 CN CN200980130788.5A patent/CN102112945B/zh not_active Expired - Fee Related
- 2009-06-18 JP JP2011514820A patent/JP2011525283A/ja active Pending
- 2009-06-18 KR KR1020117001280A patent/KR101652535B1/ko active IP Right Grant
- 2009-06-18 US US12/487,623 patent/US20090278915A1/en not_active Abandoned
- 2009-06-18 WO PCT/US2009/047863 patent/WO2009155465A1/en active Application Filing
-
2014
- 2014-06-25 JP JP2014130114A patent/JP6116064B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP2304527A1 (en) | 2011-04-06 |
US20090278915A1 (en) | 2009-11-12 |
JP2011525283A (ja) | 2011-09-15 |
CN102112945A (zh) | 2011-06-29 |
KR101652535B1 (ko) | 2016-08-30 |
EP2304527A4 (en) | 2013-03-27 |
JP2014221636A (ja) | 2014-11-27 |
CN102112945B (zh) | 2016-08-10 |
KR20110022057A (ko) | 2011-03-04 |
WO2009155465A1 (en) | 2009-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6116064B2 (ja) | 車両インターフェース用ジェスチャ基準制御システム | |
US9606630B2 (en) | System and method for gesture based control system | |
US20180136734A1 (en) | Spatial, multi-modal control device for use with spatial operating system | |
US8669939B2 (en) | Spatial, multi-modal control device for use with spatial operating system | |
KR101711619B1 (ko) | 컴퓨터 장치의 원격 제어 | |
KR101705924B1 (ko) | 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치 | |
US8665213B2 (en) | Spatial, multi-modal control device for use with spatial operating system | |
CN116097209A (zh) | 人工现实交互模式的整合 | |
JP5697590B2 (ja) | 拡張した被写体深度から抽出した三次元情報を用いたジェスチャ・ベース制御 | |
JP5788853B2 (ja) | ジェスチャベースの制御システムのためのシステムおよび方法 | |
Worrallo | A multiple optical tracking based approach for enhancing hand-based interaction in virtual reality simulations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150731 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151030 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20151030 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6116064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |