JP7148014B2 - 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 - Google Patents
制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 Download PDFInfo
- Publication number
- JP7148014B2 JP7148014B2 JP2022500773A JP2022500773A JP7148014B2 JP 7148014 B2 JP7148014 B2 JP 7148014B2 JP 2022500773 A JP2022500773 A JP 2022500773A JP 2022500773 A JP2022500773 A JP 2022500773A JP 7148014 B2 JP7148014 B2 JP 7148014B2
- Authority
- JP
- Japan
- Prior art keywords
- haptic feedback
- gesture recognition
- body part
- control system
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 33
- 239000013598 vector Substances 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 10
- 238000002604 ultrasonography Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000001953 sensory effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
- B60K2360/1464—3D-gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、車両のジェスチャ認識システムに関する。本発明の態様は、制御システム、ジェスチャ認識システム、車両、及びジェスチャ認識システムを制御する方法に関する。
車両内部の空間容積を観測し、個人の位置及び/又は一連の動きに基づいて、観測された空間容積の内部で実行されるジェスチャを検出するように構成されたジェスチャ認識システムを含む最新の車両が知られている。
多くの場合、このようなジェスチャ認識システムは、認識されたジェスチャ及びジェスチャに対応する制御挙動のデータベースに関連付けられ得る、手、1本以上の指、又は個人の腕など、個人の特定の体の部分(ボディパーツ:body part)を観測するように構成される。
検出されたジェスチャが認識可能なジェスチャのうちの1つに対応する場合、ジェスチャ認識システムは、車両の1つ以上の動作を制御するように構成され得る。このジェスチャに基づく制御方法は、運転者が、道路上での視覚的注意を維持しながら、車両の様々な操作を制御することを可能にし、道路の安全性を改善する。
既知のジェスチャ認識システムの課題は、特に、照明条件が悪い場合などの準最適条件(最適でない条件)で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証することである。
本発明の態様及び実施形態は、添付の特許請求の範囲に記載されるような、制御システム、ジェスチャ認識システム、車両及びジェスチャ認識システムを制御する方法を提供する。
本発明の一態様によれば、車両のジェスチャ認識システムの制御システムが提供される。ジェスチャ認識システムは、車両の室内の空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を特定し、空間容積の内部に画定されたジェスチャ認識領域内でボディパーツによって実行されるジェスチャを特定するセンサシステムと、車両乗員に向かって非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備える。
制御システムは1つ以上の制御装置を備える。制御装置は、センサシステムから、空間容積の内部のボディパーツの位置を示す情報を含む検出信号を受信し、検出信号に応じて、ジェスチャ認識領域に対するボディパーツの位置を特定し、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定し、触覚フィードバック信号を触覚フィードバックシステムに出力するように構成される。触覚フィードバック信号は、触覚フィードバックシステムに、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを車両乗員に向けて出力させるように構成される。
有利には、触覚フィードバックの出力がジェスチャ認識のために最適化された車両の領域であり得るジェスチャ認識領域に向かって車両乗員を誘導し、この領域内において、ジェスチャ認識システムは、準最適車室内条件(最適でない室内条件)でジェスチャを確実に認識することができる。なお、「室内」とは、車両乗員を収容するために設けられた車両の内部の任意の空間である。
さらに、最適なジェスチャ認識のために、ジェスチャ認識領域は、三次元領域、すなわち体積を有する空間(空間容積:volume of space)である。ジェスチャ認識領域は、室内の照明条件、及び/又は、センサシステムの構成に応じる。さらに、ボディパーツは、ジェスチャに基づいた制御を実行するのに適した任意の身体部分であり、これには、車両乗員の指、手、又は腕が含まれる。
任意選択で、1つ以上の制御装置は、空間容積内のボディパーツの位置、空間容積の内部のジェスチャ認識領域の位置、ボディパーツの位置に対するジェスチャ認識領域の方向、ジェスチャ認識領域へのボディパーツの近接度、及び第1の軸に沿ったボディパーツとジェスチャ認識領域との間の距離のうちの少なくとも1つを特定することによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。
後述において明らかになるように、第1の軸は、触覚フィードバックを制御するのに適した任意の軸であってもよい。例えば、第1の軸は、触覚フィードバックの出力がジェスチャ認識領域に対するボディパーツの前後方向の位置決めに応じて制御され得るように、車両の前後方向の軸であってもよい。
他の例では、第1の軸は、触覚フィードバックシステムと目標位置との間に延在する軸であってもよいし、センサシステムと目標位置との間に延在する軸であってもよい。このようにして、触覚フィードバックの出力は、ボディパーツの動きを、特定の軸に沿ってジェスチャ認識領域に向かって案内するように構成されてもよい。
一実施形態では、触覚フィードバック信号は、触覚フィードバックシステムに、室内の領域に向けて触覚フィードバックを出力させるように構成される。
任意選択的に、1つ以上の制御装置は、触覚フィードバックの大きさ、室内において触覚フィードバックの領域が方向付けられる位置、及び触覚フィードバックの領域の大きさのうちの少なくとも1つを特定することによって、触覚フィードバック信号を特定するように構成される。
任意選択的に、触覚フィードバックの領域は円形領域であり、触覚フィードバックの領域の半径が特定される。有利には、これらの触覚フィードバックパラメータの各々は、ボディパーツに対するジェスチャ認識領域の位置を直感的に示すように構成可能である。
一実施形態では、1つ以上の制御装置は、ボディパーツのジェスチャ認識領域への近接度に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも1つを特定するように構成される。このようにして、大きさ、すなわち触覚フィードバックの力、及び/又は触覚フィードバックの領域の大きさは、例えば、ボディパーツがジェスチャ認識領域に近づくにつれて増加し、ボディパーツがジェスチャ認識領域から離れるにつれて減少してもよく、又はその逆であってもよい。
任意選択的に、1つ以上の制御装置は、第1の軸に沿ったボディパーツとジェスチャ認識区域との間の距離に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも1つを決定するように構成される。このようにして、触覚フィードバックの出力は、ボディパーツの動きを第1の軸に沿って、例えば前後方向にジェスチャ認識領域に向かって案内するように構成されてもよい。
一実施形態では、1つ以上の制御装置が、空間容積の内部のボディパーツの位置と、ボディパーツの位置に対するジェスチャ認識領域の方向とに基づいて、室内において触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。
例えば、ジェスチャ認識領域が、指先が(手に対して)延在する方向に配置される場合、触覚フィードバックの領域は、車両乗員の指先に向けられてもよい。
例えば、ジェスチャ認識領域が、指先が(手に対して)延在する方向に配置される場合、触覚フィードバックの領域は、車両乗員の指先に向けられてもよい。
任意選択的に、1つ以上の制御装置は、ボディパーツの基準点を検出し、検出信号に基づいて空間容積内の基準点の位置を特定することと、基準点の位置をジェスチャ認識領域内の目標位置と比較することと、目標位置と基準点の位置との間のベクトルを特定することとによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。このようにして、複数の特異点はジェスチャ認識領域に対するボディパーツの位置を特定するために座標系上で便宜的に比較されてもよく、相対的な位置はそれらの間のベクトルによって表されてもよい。ベクトルは、二点の間を結ぶ直線の距離と、直線が伸びる方向とを示す。ベクトルは、三次元であってもよく、第1の軸に沿った第1の距離と、第2の軸に沿った第2の距離と、第3の軸に沿った第3の距離とを含んでもよい。第2の軸は、ジェスチャ認識領域を通って第1の軸に対して垂直な第1の平面内に延びる。第3の軸は、第1の平面内で第2の軸に対して垂直に延びる。
一実施形態では、1つ以上の制御装置が基準点の位置から目標位置の方向にずれた補正点(a point offset from the position of the reference point in the direction of the target position)を特定することによって、室内に置いて触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。例えば、基準点は、車両乗員の掌の中心にあってもよく、補正点は基準点に対して、指又は手首に向かって左向き又は右向きであってもよい。これは、ジェスチャ認識領域の相対的な方向を指し示すのに有効である。
任意選択的に、1つ以上の制御装置は目標位置と基準点の位置との間のベクトルをスケーリングし、スケーリングされたベクトルに基づいて基準点の位置を平行移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定するように構成される。
一実施形態では、1つ以上の制御装置は、ベクトルの大きさを特定することによって、基準点の位置に対する目標位置の近接度を特定するように構成される。
任意選択的に、1つ以上の制御装置は、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの1つを、基準点の位置に対する目標位置の近接度に基づいて決定するように構成され、1つ以上の制御装置は、第1の軸に沿った目標位置と基準点の位置との間の距離に基づいて、触覚フィードバックの他の大きさ及び触覚フィードバックの領域の大きさを特定するように構成される。
一実施形態では、1つ以上の制御装置は、ベクトルに基づいて、第1の軸に沿った基準点の位置と目標位置との間の距離を決定するように構成される。例えば、第1の軸と位置合わせされたベクトルの成分を特定することができる。
任意選択的に、検出信号は、センサシステムによって特定される画像データを含む。センサシステムは、室内の空間容積を観測するように配置されてもよく、1つ以上の制御装置は、画像データに基づいて、空間容積内部のボディパーツを検出し、空間容積内部のボディパーツの位置を特定するように構成されてもよい。
一例では、触覚フィードバックシステムは、超音波システムの形態をとることができる。任意選択的に、触覚フィードバックシステムは、複数の超音波装置のアレイを含み、触覚フィードバック信号は、触覚フィードバックシステムに超音波ビームの形態の触覚フィードバックを出力させるように構成される。
本発明の別の態様によれば、車両用のジェスチャ認識システムが提供される。ジェスチャ認識システムは、本発明の前述の態様で説明したような制御システムと、室内の空間容積を観測し、観測された空間容積内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を制御システムに出力するように構成された1つ以上のセンサを含むセンサシステムとを備える。
任意選択的に、1つ以上のセンサは、ジェスチャ認識領域内の車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を制御システムに出力するように構成される。制御システムの1つ以上の制御装置は、ジェスチャ信号を受信し、ジェスチャ信号に応じてボディパーツによって実行されるジェスチャを特定するようにさらに構成される。
このようにして、ジェスチャ認識システムは、ジェスチャ認識領域内で実行されるジェスチャを確実に特定することができる。
このようにして、ジェスチャ認識システムは、ジェスチャ認識領域内で実行されるジェスチャを確実に特定することができる。
一例では、制御システムは、骨格に基づいたアルゴリズムを用いてボディパーツによって実行されるジェスチャを特定するように構成され得る。骨格に基づいたアルゴリズムは、高速かつ正確なジェスチャ認識を提供することができる。
任意選択的に、制御システムは、特定されたジェスチャに応じて、車両の1つ以上の挙動を制御するようにさらに構成される。
一実施形態では、ジェスチャ認識システムは、触覚フィードバック信号に応じて非接触の触覚フィードバックを出力するように構成された1つ以上の触覚フィードバック装置を有する触覚フィードバックシステムを備える。
任意選択的に、1つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む。
本発明の別の態様によれば、本発明の前述の態様で説明した制御システム、又は本発明の別の態様で説明したジェスチャ認識システムを備える車両が提供される。
本発明の別の態様によれば、車両のジェスチャ認識システムを制御するための対応する方法が提供される。特に、ジェスチャ認識システムは、車両の室内の空間容積を観測するように構成された1つ以上のセンサを備えるセンサシステムと、室内の車両乗員に向かって非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備える。この方法は、センサシステムを制御して、空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するステップと、検出信号に応じて、空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを含み、触覚フィードバック信号は、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを、車両乗員に向けて出力させるように構成されている。
本出願の範囲内で、前述の段落、特許請求の範囲及び/又は以下の説明及び図面、特にその個々の特徴に記載された様々な態様、実施形態、例及び代替物は、独立して、又は任意の組合せで解釈され得ることが明確に意図される。すなわち、任意の実施形態のすべての実施形態及び/又は特徴はそのような特徴が互換性がない限り、任意の方法及び/又は組み合わせで組み合わせることができる。出願人は最初に提出された請求項を変更し、又はそれに応じて新たな請求項を提出する権利を留保する。これには最初に請求項に記載されたものではないが、他の請求項の特徴に依存し、及び/又はその特徴を組み込むために、最初に提出された請求項を補正する権利が含まれる。
本発明によれば、照明条件が悪い場合などの準最適条件で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証できる、という効果を奏する。
本発明の実施形態は、車両のためのジェスチャ認識システムに関する。
有利には、ジェスチャ認識システムがジェスチャ認識のために最適化された車両の領域に向かって車両乗員を案内するための触覚フィードバックシステムを含み、この領域内で、ジェスチャ認識システムは、室内条件の変化に関わらず、ジェスチャを確実に認識することができる。
有利には、ジェスチャ認識システムがジェスチャ認識のために最適化された車両の領域に向かって車両乗員を案内するための触覚フィードバックシステムを含み、この領域内で、ジェスチャ認識システムは、室内条件の変化に関わらず、ジェスチャを確実に認識することができる。
例えば、走行中の車両では照明条件が非常に変化し、バックグラウンドノイズの量が追跡と認識の困難にする可能性がある。このような条件においては、ジェスチャが室内の所定の領域内で実行されるときにのみジェスチャが確実に認識される程度にまでジェスチャ認識能力が制限され得る。
この課題に対処するために、本発明は、ジェスチャ認識システムの信頼性が最大化された車室の領域において、車室内の空間容積を観測し、車両乗員の、例えば手のようなボディパーツのジェスチャの位置を特定するように構成される。
最適なジェスチャ認識のためのこの三次元領域、すなわち、空間容積(volume of space)を、以下の説明ではジェスチャ認識領域という。
有利には、本発明は、ジェスチャ認識領域に対するボディパーツの位置を利用して、ボディパーツに対するジェスチャ認識領域の相対的な方向及び/又は近接度を直感的に示す触覚フィードバック出力を特定する。その結果、このような触覚フィードバックは、車両乗員の視覚的注意を中断しない力に基づくフィードバックを用いて、ボディパーツの動きをジェスチャ認識領域に向かって案内することができる。
以下の説明で明らかになるように、触覚フィードバックの様々な特徴は、この目的のために、特に、以下の要素を示すように構成されてもよい。:
i)ボディパーツに対するジェスチャ認識領域の方向
ii)ジェスチャ認識領域とボディパーツとの間の1つ以上の次元における距離
i)ボディパーツに対するジェスチャ認識領域の方向
ii)ジェスチャ認識領域とボディパーツとの間の1つ以上の次元における距離
例えば、ジェスチャ認識領域への全体的な近接度は、ボディパーツのジェスチャ認識領域への近接度に応じて、触覚フィードバック出力の大きさ、すなわち、力を増加又は減少させることによって示すことができる。
同時に、触覚フィードバック出力の領域の大きさは、ボディパーツがジェスチャ認識領域の前/後、上/下、又は、左/右にあるかどうかを示すために増加又は減少されてもよく、ボディパーツに対するジェスチャ認識領域の方向は触覚フィードバックが方向付けられる位置を変化させることによって示されてもよい。
例えば、触覚フィードバックは、車両乗員の指先に向かって出力されて、ジェスチャ認識領域が指先の延びる方向にあることを示してもよい。また、触覚フィードバックは、ジェスチャ認識領域が反対方向に位置していることを示すために、車両乗員の手首に向かって出力されてもよい。
このような高精度の触覚フィードバックは、ジェスチャ認識領域に向かう空間の3次元容積の内部で、車両乗員の動き、特にボディパーツの動きを案内することができる。
図1は、本発明の一実施形態によるジェスチャ認識システム2を含む例示的な車両1を概略的に示す。ジェスチャ認識システム2は、図2及び図3を参照してより詳細に説明される。図2は、本発明の一実施形態によるジェスチャ認識システム2の一例を概略的に示し、図3は、車両1の室内12のジェスチャ認識システム2の配置の一例を概略的に示す。
図2に示すように、ジェスチャ認識システム2は、センサシステム4と、触覚フィードバックシステム6と、制御システム10とを含む。なお、ジェスチャ認識システム2は、制御システム10を含んでいなくてもよい。すなわち、制御システム10は、車両1に搭載されておらず、通信を用いてジェスチャ認識システム2を制御してもよい。
センサシステム4は、1つ以上のセンサを含む。1つ以上のセンサは、車両1の室内12の空間容積を観測し、観測された空間容積内における車両乗員の手などの特定のボディパーツの位置、動き、及び/又は配置を示す信号を生成するように構成される。
この目的のために、1つ以上のセンサは、室内のボディパーツの位置を特定するのに適したデータを生成するための赤外線センサ、超音波センサ、静電容量センサ、及び/又は撮像カメラのうちの少なくとも1つを含むことができる。これらのデータは、例えば、画像データ、容量性データ、又は任意の他の好適形態のコンピュータビジョンデータの形態であってもよい。
図3に示す例では、センサシステム4が第1のセンサ26及び第2のセンサ28を含み、これらのセンサは、第1及び第2の撮像カメラの形態をなす。
第1のセンサ26は、空間30の第1の空間容積(first volume)を観測し、空間30の第1の空間容積の内部において、車両乗員25の手などのボディパーツ29の動き、位置、位置のシーケンス、又は配置のパターンに対応する検出データ(sensory data)を特定するように構成される。
図3に示されるように、空間30の第1の空間容積は、ジェスチャ認識領域32を含み、かつ、ジェスチャ認識領域32を越えて延在する。
この検出データ(sensory data)に基づいて、センサシステム4は、空間34の第1の空間容積及び/又はジェスチャ認識領域32の内部においてボディパーツによって実行される1つ以上のジェスチャを示す情報を含むジェスチャ認識信号を生成するように構成される。ジェスチャ認識信号は、制御システム10に出力され、制御する1つ以上の車両挙動を特定するために使用される。
この検出データ(sensory data)に基づいて、センサシステム4は、空間34の第1の空間容積及び/又はジェスチャ認識領域32の内部においてボディパーツによって実行される1つ以上のジェスチャを示す情報を含むジェスチャ認識信号を生成するように構成される。ジェスチャ認識信号は、制御システム10に出力され、制御する1つ以上の車両挙動を特定するために使用される。
第2のセンサ28は、空間34の第2の空間容積(second volume)を観測し、空間34の第2の空間容積内のボディパーツ29の位置に対応する検出データ(sensory data)を特定するように構成される。図3に示すように、第2の空間容積の空間34は、室内12におけるより広範囲の部分を含むように、第1空間容積の空間30を含み、かつ、第1空間容積の空間30を越えて広がっている。第2の空間容積の空間34は、車両乗員25が配置される可能性が高い空間容積を含み得る。例えば、第2空間容積は、車両1の前部助手席を含むことができる。このようにして、ボディパーツ29の位置をジェスチャ認識領域32の外側において特定することができる。
この検出データ(sensory data)に基づいて、センサシステム4は、空間34の第2空間容積内のボディパーツ29の位置を示す情報を含むボディパーツ検出信号を生成する。ボディパーツ検出信号は、制御システム10に出力され、i)ジェスチャ認識領域32に対するボディパーツ29の位置、及び、ii)触覚フィードバックシステム6を制御するための触覚フィードバック信号を特定するために使用される。
他の例では、センサシステム4は、ボディパーツ検出信号及びジェスチャ認識信号の両方を決定するための単一のセンサを含むことができる。しかしながら、複数のセンサが使用されることにより、対象物の検出及び認識の信頼性をより高めることができる。
前述のように、制御システム10は、以下の目的のために、ボディパーツ検出信号及びジェスチャ認識信号を処理するように構成される。
i)ジェスチャ認識領域32に対するボディパーツ29の位置を特定すること、
ii)触覚フィードバックシステム6からの触覚フィードバック出力を制御して、ボディパーツ29をジェスチャ認識領域32に向けて案内すること、
iii)ジェスチャ認識領域32内でボディパーツ29によって実行されるジェスチャを特定すること。
このために、制御装置10は1つ以上の制御装置を含むことができ、各々の制御装置は、1つ以上の電子プロセッサを有する制御ユニット又は計算装置を含むことができる。
i)ジェスチャ認識領域32に対するボディパーツ29の位置を特定すること、
ii)触覚フィードバックシステム6からの触覚フィードバック出力を制御して、ボディパーツ29をジェスチャ認識領域32に向けて案内すること、
iii)ジェスチャ認識領域32内でボディパーツ29によって実行されるジェスチャを特定すること。
このために、制御装置10は1つ以上の制御装置を含むことができ、各々の制御装置は、1つ以上の電子プロセッサを有する制御ユニット又は計算装置を含むことができる。
1つ以上の制御装置又は制御ユニットには、本明細書で説明する制御方法などの制御方法を実行する一組の命令が提供され得る。一組の命令は、1つ以上の電子プロセッサに埋め込まれてもよい。
代替として、一組の命令は、電子プロセッサのうちの1つ以上によって実行されるソフトウェアとして提供され得る。
代替として、一組の命令は、電子プロセッサのうちの1つ以上によって実行されるソフトウェアとして提供され得る。
一組の命令は、コンピュータ読み取り可能な記憶媒体(例えば、一時的でないコンピュータ読み取り可能な記憶媒体)に埋め込まれてもよい。コンピュータ読み取り可能な記憶媒体は、機械又は電子プロセッサ/計算装置によって読み取り可能な形式で情報を記憶する任意の機構を備え得る。これには、磁気記憶媒体(例えば、フロッピー(登録商標)ディスケット)、光記憶媒体(例えば、CD-ROM)、光磁気記憶媒体、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブルメモリ(例えば、EPROM及びEEPROM)、フラッシュメモリ、又はそのような情報/指示を記憶するための電気的又は他のタイプの媒体が含まれ得るが、これらに限定されない。
図2に示すように、本実施形態において、制御装置10は、第1の制御装置14と第2の制御装置16とを含む。
第1の制御装置14は、ジェスチャ認識信号を処理し、ジェスチャ認識信号に基づいてボディパーツ29によって行われるジェスチャを特定するように構成されたジェスチャ認識制御装置である。「ボディパーツ29によって実行されるジェスチャを特定すること」は、第1の制御装置14が、第1のセンサ26によって観測されるボディパーツ29の位置及び/又は動きに対応する空間ジェスチャモデルを生成することを意味する。
様々なタイプの空間ジェスチャモデルがジェスチャ認識の技術分野では周知であり、本発明を曖昧にすることを避けるために詳細には説明しないが、より多くの情報は、例えば、「IEEE Transactions on pattern and machine intelligence, VOL. 19, NO. 7, JULY 1997」に発表されたV. I. Pavlovic, R. Sharma 及び T. S. Huangによる「Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review」に記載されている。
空間ジェスチャモデルは、V. I. Pavlovic, R. Sharma 及び T. S. Huang (1997) に実証されているように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び/又は画像処理方法を用いて実施することができる。
迅速な処理のために、単純化された検出及び処理アルゴリズムを採用してもよい。例えば、ボディパーツ29の関節角度パラメータ及びセグメント長さを利用する「骨格に基づくアルゴリズム」が採用されてもよい。そのような骨格に基づくアルゴリズムは、ジェスチャを認識するために、セグメントの位置及び向き、ならびにセグメントの各々の関係(例えば、関節の角度、及び、相対的な位置又は向き)を特定する。
さらに、より単純化されたアプローチは、ボディパーツ29の特異点、例えば、指の端部、及び手/掌の中心を識別し、そのような基準点の位置及び/又は動きを追跡するように構成された認識アルゴリズムを使用することである。但し、ボディパーツ29は、キーポイントを識別するとともに、実行中のジェスチャの精密かつ正確な検出を可能にするために最適な位置に存在しなければならない。このような単純化されたアルゴリズムは、ジェスチャ認識領域32内の最適化された認識条件によって可能になる。ジェスチャに基づく車両1の制御を提供するために、第1の制御装置14は、特定されたジェスチャを認識用ジェスチャのデータベースと比較するようにさらに構成されてもよい。認識用ジェスチャは、1つ以上の車両挙動を制御することに関連付けられていてもよい。
例えば、特定されたジェスチャに対応する形式で構成された認識用ジェスチャのデータベースは、認識用ジェスチャ毎に関連付けられた車両挙動と共に、第1の制御装置14の記憶装置に記憶されてもよい。第1の制御装置14は、記憶装置にアクセスし、空間ジェスチャモデルとジェスチャシーケンスとを比較するための既知の技法を使用して、特定されたジェスチャが認識用ジェスチャのうちの1つに対応するかどうかを判定するように構成され得る。この処理は、例えば、公知のパターンマッチング技術の使用を含むことができ、重要なパラメータのみが分析されるので、この点に関して、簡略化された検出及び処理アルゴリズムは、高速パターンマッチングを提供することができる。
特定されたジェスチャと認識用ジェスチャとの間に対応関係がある場合、制御システム10は、車両1の挙動を制御するために、1つ以上の対応する制御信号を出力してもよい。
第2の制御装置16は、i)ボディパーツ29を検出し、ii)ジェスチャ認識領域32に対するボディパーツ29の位置を特定し、iii)対応する触覚フィードバック信号を特定して触覚フィードバックシステム6に送出するように構成された触覚フィードバック制御装置である。
例えば、ボディパーツの検出信号は、空間34の第2空間容積の内部のボディパーツ29の位置を示す画像データ、容量性データ、又は、任意の他の好適形態のコンピュータビジョンデータを含み得る。この検出データ(sensory data)に基づいて、第2の制御装置16は、ボディパーツ29を検出し、空間34の第2の空間容積の内部のボディパーツ29の表示を生成するように構成されてもよい。例えば、ボディパーツ29は、空間34の第2の空間容積に対応する座標系上の空間モデル又は点の集合によって表すことができる。ボディパーツ29の表示は、空間ジェスチャモデルに関して前述したように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び/又は画像処理方法を用いて行うことができる。
一例では、第2の制御装置16は、図3に示すように、空間34の第2の空間容積内のボディパーツ29の位置を表すボディパーツ検出信号に基づいて、単一の基準点42を生成するように構成されてもよい。そのような基準点42は、掌の中心、又はボディパーツ29のうち容易に検出される任意の他の特徴に対応し得る点である。これに基づいて、ボディパーツ29がセンサ26、28に対して移動するときに、基準点42の位置が監視可能となり、第2の制御装置16は、空間34の第2の空間容積の内部の基準点42の一連の対応する座標位置を特定することができる。
理解を容易にするために、座標系は、センサ26、28のうちの1つに対応するものであってもよいし、車両1自体に対応するものであってもよい。例えば、基準点42の位置は、a(前後方向)において車両1の長手方向軸に位置合わせされた第1の軸と、第1の軸に対する横断面に配置され、車両1を横切って横方向(左右方向)に延在する第2の軸と、前記横断面内に配置され、第2の軸に対して垂直な縦方向(上下方向)に延在する第3の軸とを有する座標系上で特定されてもよい。
ジェスチャ認識領域32に対するボディパーツ29の位置を特定するために、第2の制御装置16はキャリブレーションデータを利用してもよく、キャリブレーションデータは、車両1内のジェスチャ認識領域32を形成する空間の空間容積の形状、大きさ及び位置に関する情報を含む。
この点に関して、ジェスチャ認識領域32は、センサシステム4の特定の構成及び/又はセンサ26、28のキャリブレーションに応じて様々な形態をとることができることを理解されたい。このようなキャリブレーションデータは、例えば、第2の制御装置16の記憶装置に記憶されてもよいし、センサシステム4から受信されてもよい。
一例では、ジェスチャ認識領域32は、図3に示すように、球形状の空間容積の形態をなし、第2の制御装置16は、車両内における球形状の空間容積の半径の大きさ及び中心の位置に関するキャリブレーションデータを備えている。
キャリブレーションデータに基づいて、第2の制御装置16は、ジェスチャ認識領域32の中心にある目標位置44と、目標位置44への近接度閾値とを特定するように構成される。近接度閾値は、ボディパーツ29がジェスチャ認識領域32の球形状の境界の内側又は外側に配置されているか否かを示す。このようにして、第2の制御装置16は、基準点42と目標位置44との間の座標に基づく比較結果を用いて、ボディパーツ29に対するジェスチャ認識領域32の方向及び/又は近接度を特定することができる。また、第2の制御装置16は、ボディパーツ29がジェスチャ認識領域32の内側又は外側に配置されているか否かを、測定された閾値近接度と比較することによって検出することができる。
以下の説明で明らかになるように、第2の制御装置16は、目標位置44に対する基準点42の方向及び/又は近接度を用いて、車両乗員25に対するジェスチャ認識領域32の相対位置を示すための触覚フィードバック信号を特定する。
触覚フィードバックシステム6は、図4及び図5を参照して、さらに詳述される。一般に、触覚フィードバックシステム6は、触覚フィードバック信号に応じて、車両乗員25に向けて触覚フィードバックを出力するように構成された1つ以上の触覚フィードバック装置を含む。
触覚フィードバック装置は、超音波制御装置、空気波制御装置、又は空気渦制御装置など、任意の非接触又は力学的触覚フィードバック装置を含むことができる。これにより、触覚フィードバックシステム6は、好適には「触覚フィードバックの領域」と呼ばれる圧力を生成する非接触形式の触覚フィードバックを提供するように構成される。例えば、市販のmuRata(登録商標)超音波トランスデューサのアレイは、この形態の触覚フィードバックを提供するのに適し得る。
触覚フィードバックシステム6は、触覚フィードバック信号に基づいて触覚フィードバックを出力し、触覚フィードバックの領域の位置、大きさ、又は形状、ならびに触覚フィードバックの大きさ(力)、又はそれに応じた出力のパターン/周波数のうちの1つ以上を制御するように構成される。
図4は、超音波を車両1の内部の乗員に出力するための触覚フィードバックデバイス36のアレイを含む超音波システムの形態の触覚フィードバックシステム6の一例を示す。
触覚フィードバックデバイス36の各々は、例えば、超音波トランスデューサであってもよい。アレイ内の触覚フィードバックデバイス36の1つ以上は、図4に示すように、触覚フィードバックの領域40にいわゆる触覚力を発揮する圧力領域を作り出す超音波ビーム38を出力するように選択的に動作されてもよい。車両乗員は、例えば、図4に示すように、触覚フィードバックの領域40が車両乗員の指の方に方向付けられる場合に、圧力を知覚する。
触覚フィードバックデバイス36の各々は、例えば、超音波トランスデューサであってもよい。アレイ内の触覚フィードバックデバイス36の1つ以上は、図4に示すように、触覚フィードバックの領域40にいわゆる触覚力を発揮する圧力領域を作り出す超音波ビーム38を出力するように選択的に動作されてもよい。車両乗員は、例えば、図4に示すように、触覚フィードバックの領域40が車両乗員の指の方に方向付けられる場合に、圧力を知覚する。
触覚フィードバックデバイス36の各々を制御することによって、超音波ビーム38は向きを操作されてもよく、触覚フィードバックの領域40の形状、力及び方向は、適宜、変化してもよい。また、触覚フィードバックの領域40の位置、大きさ及び形状は、例えば、各々の触覚フィードバックデバイス36の出力の個々の位相及び強度を制御することによって、触覚フィードバックの力と同様に調整することができる。
明確化のために、触覚フィードバックの円形の領域40が、例として、以下の説明で説明される。触覚フィードバックの力、触覚フィードバックの領域40の半径、及び触覚フィードバックの領域40の位置は、ジェスチャ認識領域32の車両乗員25に対する相対位置を示すように制御される。
図5~9は、触覚フィードバックの制御可能なパラメータが、ジェスチャ認識領域32に対するボディパーツ29の相対的な方向及び/又は近接度を示すために、どのように構成され得るかを例示する。
図5~図7は、車両1を横切って延びる横断面内におけるボディパーツ29の位置を示している。図示のように、触覚フィードバックの領域40が方向付けられる位置は、ボディパーツ29の位置に対するジェスチャ認識領域の方向を示すために、この横断面内で変化させることができる。
図5に示す第1の例では、第2の制御装置16が、ボディパーツ29における基準点42が目標位置44の右側に位置していることを特定する。これにより、触覚フィードバックの領域40は、図示のように、ボディパーツ29の左寄りの部分に方向付けられることができ、その結果、触覚フィードバックの領域40は基準点42に対して目標位置44の方向にずれる。
図6に示す第2の例では、ボディパーツ29上の基準点42が目標位置44の下方に、すなわち手首に向かって位置決めされる。したがって、触覚フィードバックの領域40は、図示されるように、ボディパーツ29の上方寄りの部分、すなわち、指先に向かって方向付けられてもよい。
図7に示す第3の例では、ボディパーツ29上の基準点42が横断面において目標位置44に合わせられる。したがって、触覚フィードバックの領域40は、基準点42、すなわち、掌の中心に方向付けられる。これにより、触覚フィードバックの領域40は、ジェスチャ認識領域32内の横断方向におけるボディパーツ29の位置を確認するように位置決めされる。
上述の例では、触覚フィードバックの領域40が方向付けられる位置は、ボディパーツ29に対するジェスチャ認識領域32の方向に応じる。それぞれの例において、触覚フィードバックの領域40は、ボディパーツ29の一部において、基準点42から目標位置44の方向にずらすように方向付けられる。すなわち、制御装置10は、目標位置と基準点の位置との間のベクトルをスケーリング(scaling)し(ベクトルの大きさを調整し)、スケーリングされたベクトルに基づいて基準点の位置を移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定する。触覚フィードバックの領域40をこのように方向付けることによって、触覚フィードバックは、ボディパーツ29がジェスチャ認識領域32に接近するために移動されるべき方向を示す。
上記に限定されず、他の例では、触覚フィードバックが反対の方法、すなわち、ジェスチャ認識領域32に対して反対方向にずらされた位置に方向づけられて、例えば、ボディパーツ29をジェスチャ認識領域32に向けて「押す」ように構成されてもよい。
図8及び図9に示すように、触覚フィードバックの領域40の大きさを利用して、ジェスチャ認識領域32に近づくためにボディパーツ29が動かされるべき方向を、所定の軸に沿って示すこともできる。図8及び図9では、車両1の長手方向軸に沿って方向付けられた視点における、車両乗員25のボディパーツ29が例示されている。
これらの例に示されるように、触覚フィードバックの領域40の大きさは、ジェスチャ認識領域32に対するボディパーツ29の前方又は後方の位置を示すように変化させることができる。特に、図8と図9とを比較すると、触覚フィードバックの領域40の大きさは、ボディパーツ29上の基準点42が、図8に示す第1の位置、すなわち、目標位置44の前方から、目標位置44により近い、図9に示す第2の位置に向かって、長手方向軸に沿って後方に移動するにつれて縮小されてもよい。また、ボディパーツ29が目標位置44を越えてさらに後方に移動すると、触覚フィードバックの領域40の大きさは再度増大する。
このようにして、触覚フィードバックの領域40の大きさは、長手方向軸に沿ったボディパーツ29とジェスチャ認識領域32との間の距離に応じてもよい。その結果、触覚フィードバックの領域40の大きさは、ボディパーツ29が、車両の長手方向軸に沿って、ジェスチャ認識領域32に近づく、又は、それから離れるか否かに応じて拡大縮小し、ジェスチャ認識領域32に対するボディパーツ29の前後方向の位置を示す。
同様の原理は、例えば、垂直方向(上下方向)軸、又は横断方向(左右方向)軸を含む、ボディパーツ29の任意の移動軸にも、同等の様式で適用され得る。
同様の原理は、例えば、垂直方向(上下方向)軸、又は横断方向(左右方向)軸を含む、ボディパーツ29の任意の移動軸にも、同等の様式で適用され得る。
触覚フィードバックの大きさ、すなわち、力は、ボディパーツ29のジェスチャ認識領域32に対する全体的な近接度を示すように、追加的に又は代替的に構成されてもよい。例えば、触覚フィードバックの力は、ボディパーツ29がジェスチャ認識領域32に向かって移動するにつれて増加され、ボディパーツ29がジェスチャ認識領域32から離れるように移動するにつれて減少されてもよい。
触覚フィードバックの他の構成は、上述の例に限定されず、ボディパーツ29に対するジェスチャ認識領域32の位置を適切に示すことができる。例えば、別の構成では、触覚フィードバックの大きさは、ボディパーツ29に対するジェスチャ認識領域32の方向を特定の軸に沿って示すように構成されてもよく、触覚フィードバックの領域40の大きさは、ジェスチャ認識領域32に対する全体的な近接度を示すことができる。
本発明の一実施形態によるジェスチャ認識システム2を操作する例示的な方法50を、図10及び図11をさらに参照して、以下に説明する。
ステップ52では、ジェスチャ認識システム2を操作して、車両1内におけるボディパーツ29の位置を特定する。
例えば、第2のセンサ28は空間34の第2の空間容積を観測し、ボディパーツ検出信号を特定するように操作されてもよい。ボディパーツ検出信号は、制御システム10で受信され、第2の制御装置16によって処理されて、ボディパーツ29の表示を生成し、空間34の第2の空間容積の内部の基準点42の座標位置を特定することができる。
ステップ54において、ジェスチャ認識システム2は、ジェスチャ認識領域32に対するボディパーツ29の位置に基づいて、触覚フィードバックシステム6に出力する触覚フィードバック信号を特定するように構成される。本発明の各例では、触覚フィードバック信号が触覚フィードバックの領域の位置、大きさ又は形状、もしくは、触覚フィードバックの大きさ又は出力のパターン/周波数を含む、1つ以上の触覚フィードバックパラメータに基づいて特定され得る。ステップ54では、これらの触覚フィードバックパラメータのうちの選択されるパラメータは、ボディパーツ29に対するジェスチャ認識領域32の相対的な近接度及び/又は方向に基づいて特定される。
以下の例では、制御システム10は、触覚フィードバックの大きさ、触覚フィードバックの領域40が方向付けられる位置触及び触覚フィードバックの領域40の大きさを特定するように操作される。この目的のために、方法50のステップ54は、図11に示す以下のサブステップ55~74を含むことができる。
ジェスチャ認識領域32とボディパーツ29との間の距離と、ボディパーツ29に対するジェスチャ認識領域32の方向とは、基準点42の座標を目標位置44の座標と比較することによって、ベクトル形式で便宜的に特定することができる。従って、サブステップ55において、制御システム10は、ジェスチャ認識領域32の中心におけるボディパーツ29上の基準点42の位置と目標位置44との間のベクトルを特定するように操作される。
例えば、目標位置44は、第2の制御装置16の記憶装置からアクセスされてもよい。制御装置10は、目標位置44の座標を基準点42の座標と比較して、1つの点から他の点への3次元ベクトルを特定してもよい。三次元ベクトルは、共通座標系の第1、第2、及び第3の軸のそれぞれに沿ったそれぞれの距離を含んでもよい。
サブステップ56~60において、制御システム10は、ジェスチャ認識領域32に対するボディパーツ29の近接度に基づいて、触覚フィードバックの大きさを特定する。
まず、サブステップ56において、基準点42と目標位置44との間のベクトルの大きさを算出することにより、ボディパーツ29のジェスチャ認識領域32への全体的な近接度が特定される。
サブステップ58では、制御システム10は、ベクトルの大きさに基づいて触覚フィードバックの大きさを特定する。例えば、制御システム10は、次式に従って出力する触覚フィードバックの力を特定することができる。
触覚力=(α×ベクトルの大きさ)
触覚力=(α×ベクトルの大きさ)
ここで、αはスカラー係数である。スカラー係数αは、触覚力がボディパーツ29のジェスチャ認識領域32への相対的な近接度を示すのに適するように調整されてもよい。例えば、触覚力=1のときに最大の触覚力が出力され、触覚力=0のときに最小の触覚力が出力されるようにしてもよい。従って、ベクトルの最大の大きさは室内12の空間に基づいて特定することができ、スカラー係数はジェスチャ認識領域32に対するボディパーツ29の近接度に応じて、触覚力が1と0との間で変化してもよい。
別の例では触覚フィードバックの力は、ジェスチャ認識領域32へのボディパーツ29の近接度に伴って減少することができ、制御システム10は、下記の代替的な方程式に従って、触覚フィードバックの力を特定して出力することができる:
触覚力=1-(α×ベクトルの大きさ)
ここで、αは、触覚力が最大の触覚力(触覚力=1の場合)と最小の触覚力(触覚力=0の場合)との間で確実に変化するために調整されるスカラー係数である。
触覚力=1-(α×ベクトルの大きさ)
ここで、αは、触覚力が最大の触覚力(触覚力=1の場合)と最小の触覚力(触覚力=0の場合)との間で確実に変化するために調整されるスカラー係数である。
サブステップ59において、方法50では、ジェスチャ認識領域32からジェスチャ認識システム2の触覚フィードバックの出力を作動するためにボディパーツ29が適切に離れているか否かを判定する。この目的のために、制御システム10は、触覚フィードバックの大きさを触覚フィードバックの最小閾値と比較することができ、大きさが最小閾値よりも小さい場合には、サブステップ60において、触覚フィードバックの大きさを最小力値に設定することができる。最小力値は、例えば、ゼロの触覚力であってもよい。このようにして、車両乗員25がジェスチャ認識システム2を制御しようとせず、かつ、ボディパーツ29がジェスチャ認識領域32から適切な距離を取っているときには、触覚フィードバックは出力されなくてもよい。
別の例では、制御システム10は、ボディパーツ29のジェスチャ認識領域32への全体的な近接度に応じて、出力すべき触覚力がゼロか又は非ゼロ量かのいずれかを特定することができる。触覚力のゼロ又は非ゼロ量は、ボディパーツ29のジェスチャ認識領域32への近接度閾値に応じて出力されてもよい。
サブステップ62~70において、制御システム10は、座標系の第1、第2、及び第3の軸のうち選択された1つに沿ったボディパーツ29とジェスチャ認識領域32との間の距離に基づいて、触覚フィードバックの領域40の大きさを特定する。換言すれば、制御システム10は、ボディパーツ29が前後方向、横方向又は上下方向のうちの1つにおいてジェスチャ認識領域32にどれだけ近接しているかを特定することができ、制御システム10は、それに応じて、触覚フィードバックの領域40の大きさを調節することができる。
前後方向を例にとると、サブステップ62において、制御システム10は、基準点42と目標位置44との間のベクトルに基づいて、前後方向軸に沿ったボディパーツ29とジェスチャ認識領域32との間の距離を特定する。
単純な例では、ベクトルの第1、第2、及び第3の軸のうちの1つを前後方向軸に合わせ、ボディパーツ29とジェスチャ認識領域32との間の距離を、ベクトルの前後方向の成分の大きさに基づいて特定することができる。
次に、サブステップ64において、制御システム10は、ベクトルの前後方向の成分に基づいて触覚フィードバックの領域40の大きさを特定する。例えば、制御システム10は、以下の方程式に従って触覚フィードバックの領域40の半径を特定することができる:
半径=β * ベクトルの前後方向の成分の大きさ
ここで、βは、例えば、観測されるボディパーツ29の代表的な大きさに基づいて調整され得るスカラー係数である。
半径=β * ベクトルの前後方向の成分の大きさ
ここで、βは、例えば、観測されるボディパーツ29の代表的な大きさに基づいて調整され得るスカラー係数である。
サブステップ66~70において、方法50は、触覚フィードバックの領域40の半径を上限又は下限値で制限することができる。上限及び下限は、例えば、触覚フィードバックの領域40がボディパーツ29にとって大きすぎないように、又は、小さすぎないように、ジェスチャ認識システムが観測するボディパーツ29のサイズに対応してもよい。
この例において、触覚フィードバックの領域40の半径は、ステップ66において、最小半径閾値と比較され、半径が最小半径閾値より小さい場合、ステップ68において、触覚フィードバックの領域40の大きさは規定の最小半径に設定される。最小半径は例えば、指の幅に対応してもよい。
同様に、ステップ69において、触覚フィードバックの領域40の半径は最大半径閾値と比較され、半径が最大半径閾値より大きい場合、触覚フィードバックの領域40の半径はステップ70において、規定の最大半径に設定される。最大半径は例えば、掌の幅に対応してもよい。
サブステップ72において、制御システム10は、i)車両1内のボディパーツ29の位置と、ii)ボディパーツ29に対するジェスチャ認識領域32の方向とに基づいて、触覚フィードバックの領域40が向けられる位置を特定する。
特に、触覚フィードバックの領域40が方向付けられる位置は、基準点42と目標位置44との間のベクトルの方向において、基準点42からずれた位置として特定される。従って、触覚フィードバックの領域40が方向付けられる位置は、以下の式に従って特定されてもよい:
触覚フィードバックの位置(X,Y,Z)
=基準点の位置(X,Y,Z)+(μ*ベクトル(Y,Z))
触覚フィードバックの位置(X,Y,Z)
=基準点の位置(X,Y,Z)+(μ*ベクトル(Y,Z))
ここで、X、Y、及びZは、第1、第2、及び第3の軸に沿った値である。μは、例えば、触覚フィードバックの位置が基準点42(掌の中心)から所定の範囲の距離に制限されるように構成され得るスカラー係数である。従って、スカラー係数は、観測されたボディパーツ29の寸法を考慮して設定され得る。
このようにして、触覚フィードバックの領域40は、前後方向軸に沿ったボディパーツ29の位置に効果的に関連付けることができる。例えば、触覚フィードバックの領域40は、基準点42と同様に、前後方向軸に沿った同じ位置に向かって方向付けられてもよいが、触覚フィードバックの領域40は、基準点42から横方向及び上下方向(第2及び第3の軸)にずれた(補正された)位置に向かって方向付けられてもよい。このようにして、触覚フィードバックの領域40の位置は、横方向及び上下方向におけるジェスチャ認識領域32の相対的な位置を示すことができる。
サブステップ74では、制御システム10は、サブステップ55~72で特定された触覚フィードバックのパラメータに基づいて触覚フィードバック信号を特定する。図10に戻り、ステップ76において、方法50は、ボディパーツ29がジェスチャ認識領域32内に配置されているかどうかを判定する。
例えば、制御システム10は、ボディパーツ29とジェスチャ認識領域32との間の距離を特定し、その距離を、ボディパーツ29がジェスチャ認識領域32の内側に配置されているか否かを特定するための閾値距離と比較してもよい。
一例では、制御システム10は、前述したように、基準点42と目標位置44との間のベクトルの大きさに基づいて、ボディパーツ29とジェスチャ認識領域32との間の距離を特定することができる。
次いで、ベクトルの大きさを、例えば、閾値距離を定義するために第2の制御装置16に記憶されているジェスチャ認識領域32の半径と比較することができる。ベクトルの大きさが閾値距離よりも大きい場合、制御システム10は、ボディパーツ29がジェスチャ認識領域32の外側にあると推測することができる。
従って、ステップ78において、制御システム10は、ステップ54で特定された触覚フィードバック信号を触覚フィードバックシステム6に出力して、触覚フィードバックシステムに、ジェスチャ認識領域32の車両乗員25に対する相対位置を示す触覚フィードバックを生成させることができる。
例えば、触覚フィードバックデバイス36のアレイは、触覚フィードバック信号に対応する超音波ビーム38を出力するように構成することができ、車両乗員25は、触覚フィードバックの領域40における圧力の感覚を感じることができる。車両乗員25は、触覚フィードバックの位置、大きさ及び力に基づいてジェスチャ認識領域32の相対方向を推測することができ、これにより、車両乗員25はボディパーツ29をジェスチャ認識領域32に向かって移動させるよう促される。
ステップ78に続いて、方法50は、ボディパーツ29の新しい位置を特定することができる。例えば、ステップ52~76は繰り返し実行されて、1つ以上の触覚フィードバックパラメータが変化するように、又は、ボディパーツ29がジェスチャ認識領域32に移動するように、車両乗員25が触覚フィードバックに応答してボディパーツ29を移動させたかどうかを特定してもよい。
ベクトルの大きさが閾値距離未満である場合、制御システム10は、ボディパーツ29がジェスチャ認識領域32内にあると推測することができる。
従って、ステップ80において、制御システム10は、ジェスチャ認識領域32内のボディパーツ29によって実行されるジェスチャを特定することができる。
従って、ステップ80において、制御システム10は、ジェスチャ認識領域32内のボディパーツ29によって実行されるジェスチャを特定することができる。
例えば、第1のセンサ26は、空間30の第1の空間容積を観測し、ジェスチャ認識信号を特定するように動作されてもよい。ジェスチャ認識信号は、制御システム10において受信され、第1の制御装置14によって処理されて、空間ジェスチャモデルの形態で、ボディパーツ29によって実行されるジェスチャを特定することができる。
制御システム10は、ステップ82において、特定されたジェスチャを認識用ジェスチャのデータベースと比較することができ、特定されたジェスチャが認識用ジェスチャのうちの1つに対応する場合、制御システム10は認識用ジェスチャに関連する車両の挙動を制御するために、対応する制御信号を出力することができる。例えば、制御信号は、車両の挙動を制御するように構成された1つ以上のそれぞれの車両システム(図示せず)に出力されてもよい。
一例では、ボディパーツ29がジェスチャ認識領域32内に留まるようにボディパーツ29がジェスチャを実行している間、ステップ52~76を繰り返すことができる。
さらに、ステップ82の後、方法50は、車両乗員25がボディパーツ29を移動させたかどうかを判定するために、及び/又は、別のジェスチャに基づいた指令を特定するために繰り返されてもよい。
本発明には、本出願の技術的範囲から逸脱することなく、様々な変更及び修正を加えることができる。
例えば、上述した例示的な方法50では、ステップ74において、ボディパーツ29がジェスチャ認識領域32内に位置していると制御システム10が判断した場合には、触覚フィードバックは車両乗員25に出力されない。このようにして、触覚フィードバックがないことで、ボディパーツ29がジェスチャ認識領域32内に配置されていることを示すことができる。
例えば、上述した例示的な方法50では、ステップ74において、ボディパーツ29がジェスチャ認識領域32内に位置していると制御システム10が判断した場合には、触覚フィードバックは車両乗員25に出力されない。このようにして、触覚フィードバックがないことで、ボディパーツ29がジェスチャ認識領域32内に配置されていることを示すことができる。
しかしながら、図12に示すように、ジェスチャ認識システム2を動作させるための別の例示的な方法150では、ステップ74において、ステップ76に記載されているように、ボディパーツ29がジェスチャ認識領域32の内側又は外側に配置されていると制御システム10が判断するか否かに関わらず、触覚フィードバック信号を出力することができる。
このようにして、車両乗員25には、特定のジェスチャを実行しながらボディパーツ29をジェスチャ認識領域32内に維持するように構成された触覚フィードバックを提供することができる。
有利には、車両乗員25は、特定の触覚フィードバック感覚を、ジェスチャ認識システム2を介して、車両の挙動を制御する能力に関連付けることができる。これに基づいて、車両乗員25は、ボディパーツ29がジェスチャ認識領域32内に位置していることを推測することができる。
ジェスチャ認識システム2を動作させる別の例示的な方法(図示せず)は、実質的に前述と同様に進行することができるが、この方法は、ステップ52でボディパーツ29の位置を特定する前に、ジェスチャ認識領域32の位置、大きさ、及び/又は形状を特定するステップをさらに含むことができる。ジェスチャ認識領域32の位置、大きさ、及び/又は形状は、室内12の照明条件等、センサシステム4のジェスチャ認識能力に影響する1つ以上の室内条件に応じて変えてもよい。
例えば、制御システム10は、センサシステム4から受信したキャリブレーションデータ、又は第1の制御装置14の記憶装置からアクセスされたキャリブレーションデータに応じて、ジェスチャ認識領域32を特定するように構成されてもよい。
キャリブレーションデータは、例えば、予め特定された一定範囲の室内条件に対して、ジェスチャ認識領域32の対応する形状、大きさ及び室内12における位置を有する検索テーブル(look-up table)の形態で配列されてもよい。このようにして、制御システム10は、1つ以上の室内条件の指示を受信し、検索テーブルに基づいてジェスチャ認識領域32の大きさ、位置、又は形状を特定することができる。有利には、本発明は、走行中に変化し得る室内条件のためのジェスチャ認識領域32を最適化し、ステップ78で実行されるジェスチャ認識の精度を最大化することができる。
有利には、ステップ78において、本方法の触覚フィードバック出力は、ボディパーツ29を最適化されたジェスチャ認識領域32に向け直すように構成されてもよい。このようにして、本方法は、車両1の室内条件に応じて、ボディパーツ29の適応的な位置案内を提供することができる。
1…車両
2…ジェスチャ認識システム
4…センサシステム
6…触覚フィードバックシステム
10…制御システム(制御装置)
12…室内
14…第1の制御装置
16…第2の制御装置
25…車両乗員
29…ボディパーツ
32…ジェスチャ認識領域
38…超音波ビーム
42…基準点
44…目標位置
2…ジェスチャ認識システム
4…センサシステム
6…触覚フィードバックシステム
10…制御システム(制御装置)
12…室内
14…第1の制御装置
16…第2の制御装置
25…車両乗員
29…ボディパーツ
32…ジェスチャ認識領域
38…超音波ビーム
42…基準点
44…目標位置
Claims (19)
- 車両のジェスチャ認識システムの制御システムであって、
前記ジェスチャ認識システムは、
前記車両の室内の空間容積を観測し、前記空間容積の内部の車両乗員のボディパーツの位置を特定し、前記空間容積の内部に画定されたジェスチャ認識領域内で前記ボディパーツによって実行されるジェスチャを特定するセンサシステムと、
前記車両乗員に向けて非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備え、
前記制御システムは、1つ以上の制御装置を備え、
前記制御装置は、
前記センサシステムから、前記空間容積の内部の前記ボディパーツの前記位置を示す情報を含む検出信号を受信し、
前記検出信号に応じて、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
前記ジェスチャ認識領域に対する前記ボディパーツの前記位置に基づいて触覚フィードバック信号を特定し、
前記触覚フィードバック信号を前記触覚フィードバックシステムに出力するように構成され、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両乗員に向けて、ジェスチャ認識領域に対する前記ボディパーツの位置を示す前記非接触の触覚フィードバックを出力させるように構成される、制御システム。 - 前記1つ以上の制御装置は、
前記空間容積の内部の前記ボディパーツの位置、前記空間容積の内部の前記ジェスチャ認識領域の位置、前記ボディパーツの位置に対する前記ジェスチャ認識領域の方向、前記ボディパーツの前記ジェスチャ認識領域への近接度、及び、第1の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離のうちの少なくとも1つを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項1に記載の制御システム。 - 前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両の室内の領域に向けて、前記触覚フィードバックを出力させるように構成され、
前記1つ以上の制御装置は、前記触覚フィードバックの大きさ、前記室内において前記触覚フィードバックの領域が方向付けられる位置、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも1つを特定することによって、前記触覚フィードバック信号を特定するように構成される、請求項2に記載の制御システム。 - 前記1つ以上の制御装置は、前記ボディパーツの前記ジェスチャ認識領域への近接度に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも1つを特定するように構成される、請求項3に記載の制御システム。
- 前記1つ以上の制御装置は、前記第1の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも1つを特定するように構成される、請求項3又は4に記載の制御システム。
- 前記1つ以上の制御装置は、前記空間容積の内部の前記ボディパーツの位置、及び、前記ボディパーツの位置に対するジェスチャ認識領域の方向に基づいて、前記室内において前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項3~5のいずれかに記載の制御システム。
- 前記1つ以上の制御装置は、
前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項2~6のいずれか一項に記載の制御システム。 - 前記1つ以上の制御装置は、
前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
前記基準点の位置から前記目標位置の方向にずれた補正点を特定することによって、前記室内において、前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項6に記載の制御システム。 - 前記1つ以上の制御装置は、前記目標位置と前記基準点の位置との間の前記ベクトルをスケーリングし、スケーリングされた前記ベクトルに基づいて前記基準点の位置を移動させることによって、前記基準点の位置から前記目標位置の方向にずれた前記補正点を特定するように構成される、請求項8に記載の制御システム。
- 前記検出信号は、前記センサシステムによって特定された画像データを含み、
前記センサシステムは、前記室内の空間容積を観測するように構成され、
前記1つ以上の制御装置は、前記空間容積の内部の前記ボディパーツを検出し、前記空間容積の内部の前記ボディパーツの位置を前記画像データに基づいて特定するように構成される、請求項2~9のいずれか一項に記載の制御システム。 - 前記触覚フィードバックシステムは、複数の超音波装置のアレイを含む超音波システムとして形成され、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、超音波ビームの形態で触覚フィードバックを出力させるように構成される、請求項1~10のいずれか一項に記載の制御システム。 - 車両のためのジェスチャ認識システムであって、前記ジェスチャ認識システムは、
請求項1~11のいずれか一項に記載の制御システムによって制御され、
1つ以上のセンサを含むセンサシステムであって、前記センサは、前記室内の空間容積を観測し、前記観測された空間容積内の車両乗員のボディパーツの位置を示す情報を含む検出信号を前記制御システムに出力するように構成されるセンサシステムとを備える、ジェスチャ認識システム。 - 前記1つ以上のセンサは、ジェスチャ認識領域内で車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を前記制御システムに出力するように構成され、
前記制御システムの前記1つ以上の制御装置は、前記ジェスチャ信号を受信し、前記ジェスチャ信号に応じて前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項12に記載のジェスチャ認識システム。 - 前記制御システムは、骨格に基づくアルゴリズムを用いて、前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項12又は13に記載のジェスチャ認識システム。
- 前記制御システムは、前記特定されたジェスチャに応じて、前記車両の1つ以上の挙動を制御するように構成される、請求項12~14のいずれか一項に記載のジェスチャ認識システム。
- 前記触覚フィードバック信号に応じて、非接触の触覚フィードバックを出力するように構成された1つ以上の触覚フィードバック装置を含む触覚フィードバックシステムをさらに備える、請求項12~15のいずれか一項に記載のジェスチャ認識システム。
- 前記1つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む、請求項16に記載のジェスチャ認識システム。
- 請求項1~11のいずれか一項に記載の制御システム、または、請求項12~17のいずれか一項に記載のジェスチャ認識システムを備える車両。
- 車両のジェスチャ認識システムを制御する方法であって、
前記ジェスチャ認識システムは、
車両の室内の空間容積を観測するように構成された1つ以上のセンサを備えるセンサシステムと、
室内の車両乗員に向けて非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備え、
前記方法は、
前記空間容積を観察し、前記空間容積内の前記車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するようにセンサシステムを制御するステップと、
前記検出信号に応じて、前記空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、
ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、
触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを備え、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記ジェスチャ認識領域に対する前記ボディパーツの位置を示す非接触の触覚フィードバックを前記車両乗員に向けて出力させるように構成される、車両のジェスチャ認識システムを制御する方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2011430.2A GB2597492B (en) | 2020-07-23 | 2020-07-23 | Gesture recognition system |
GB2011430.2 | 2020-07-23 | ||
PCT/JP2021/019470 WO2022018953A1 (ja) | 2020-07-23 | 2021-05-21 | 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022018953A1 JPWO2022018953A1 (ja) | 2022-01-27 |
JP7148014B2 true JP7148014B2 (ja) | 2022-10-05 |
Family
ID=72339426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500773A Active JP7148014B2 (ja) | 2020-07-23 | 2021-05-21 | 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11816271B2 (ja) |
EP (1) | EP4186754A4 (ja) |
JP (1) | JP7148014B2 (ja) |
CN (1) | CN114258367A (ja) |
GB (1) | GB2597492B (ja) |
WO (1) | WO2022018953A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112183429B (zh) * | 2020-10-12 | 2024-01-19 | 苏州晴森模具有限公司 | 3d手势识别系统及方法 |
JP2023132726A (ja) * | 2022-03-11 | 2023-09-22 | パナソニックIpマネジメント株式会社 | 生体画像取得装置および生体画像取得方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015125780A (ja) | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法 |
JP2015133109A (ja) | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションImmersion Corporation | 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム |
JP2018022318A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東海理化電機製作所 | 操作入力装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020140633A1 (en) * | 2000-02-03 | 2002-10-03 | Canesta, Inc. | Method and system to present immersion virtual simulations using three-dimensional measurement |
JP5141725B2 (ja) * | 2010-07-05 | 2013-02-13 | 株式会社デンソー | 障害物探索システム |
KR101714089B1 (ko) * | 2011-12-16 | 2017-03-09 | 현대자동차주식회사 | 차량 인터랙션 시스템 |
KR20140077037A (ko) * | 2012-12-13 | 2014-06-23 | 현대자동차주식회사 | 제스처 기반의 촉감 자극 제공 시스템 및 그 방법 |
FR3010547B1 (fr) * | 2013-09-09 | 2016-12-23 | Dav | Interface de commande a retour haptique |
US9477317B1 (en) * | 2014-04-22 | 2016-10-25 | sigmund lindsay clements | Sanitarily operating a multiuser device using a touch free display |
KR102425824B1 (ko) * | 2015-04-24 | 2022-07-29 | 삼성디스플레이 주식회사 | 가요성 디스플레이의 햅틱 구동 방법 및 장치 |
DE102015213804A1 (de) * | 2015-07-22 | 2017-01-26 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle und Verfahren zur Ausgabe einer Rückmeldung an einen Anwender |
CN107179826B (zh) * | 2016-03-11 | 2021-08-31 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
US20170336903A1 (en) * | 2016-05-19 | 2017-11-23 | Ciena Corporation | Touch and pressure sensitive surface with haptic methods for blind probe alignment |
WO2018017210A1 (en) * | 2016-07-22 | 2018-01-25 | Harman International Industries, Incorporated | Haptic guidance system |
US10702772B2 (en) * | 2016-09-22 | 2020-07-07 | Igt | Electronic gaming machine and method providing enhanced physical player interaction |
JP6934618B2 (ja) * | 2016-11-02 | 2021-09-15 | パナソニックIpマネジメント株式会社 | ジェスチャ入力システム及びジェスチャ入力方法 |
US10367948B2 (en) * | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
DE102017202672A1 (de) * | 2017-02-20 | 2018-08-23 | Bayerische Motoren Werke Aktiengesellschaft | Bedienvorrichtung, Fahrzeug mit einer Bedienvorrichtung und Verfahren zur Steuerung einer Bedienvorrichtung |
KR102395288B1 (ko) * | 2017-05-18 | 2022-05-09 | 현대자동차주식회사 | 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템 |
EP3409553B1 (en) * | 2017-06-01 | 2021-08-04 | Honda Research Institute Europe GmbH | System and method for automated execution of a maneuver or behavior of a system |
US10168782B1 (en) * | 2017-06-05 | 2019-01-01 | Rockwell Collins, Inc. | Ultrasonic haptic feedback control system and method |
DE102017121606B3 (de) * | 2017-09-18 | 2018-09-06 | Scania Cv Ab | Bedienvorrichtung für ein Fahrzeug |
US10896573B2 (en) * | 2017-09-29 | 2021-01-19 | Igt | Decomposition of displayed elements using gaze detection |
US11402910B2 (en) * | 2017-12-01 | 2022-08-02 | Verizon Patent And Licensing Inc. | Tactile feedback array control |
US10503261B2 (en) * | 2017-12-15 | 2019-12-10 | Google Llc | Multi-point feedback control for touchpads |
WO2019216947A1 (en) * | 2018-05-09 | 2019-11-14 | Apple Inc. | Finger-mounted device with fabric |
US10525986B2 (en) * | 2018-06-11 | 2020-01-07 | Harman International Industries, Incorporated | System and method for steering wheel haptic notification |
US10942571B2 (en) * | 2018-06-29 | 2021-03-09 | Apple Inc. | Laptop computing device with discrete haptic regions |
US10976820B2 (en) * | 2018-07-12 | 2021-04-13 | Microsoft Technology Licensing, Llc | Natural interactions with virtual objects and data through touch |
CN110194174B (zh) * | 2019-05-24 | 2021-02-12 | 江西理工大学 | 一种疲劳驾驶监控系统 |
CN111340961B (zh) * | 2020-02-16 | 2022-05-10 | 吉林大学 | 一种基于三维网格模型的超声空中触觉渲染方法 |
-
2020
- 2020-07-23 GB GB2011430.2A patent/GB2597492B/en active Active
-
2021
- 2021-05-21 JP JP2022500773A patent/JP7148014B2/ja active Active
- 2021-05-21 CN CN202180004846.0A patent/CN114258367A/zh active Pending
- 2021-05-21 EP EP21845535.0A patent/EP4186754A4/en active Pending
- 2021-05-21 US US17/620,156 patent/US11816271B2/en active Active
- 2021-05-21 WO PCT/JP2021/019470 patent/WO2022018953A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015133109A (ja) | 2013-12-20 | 2015-07-23 | イマージョン コーポレーションImmersion Corporation | 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム |
JP2015125780A (ja) | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | ジェスチャベース入力のために触覚フィードバックを提供するためのシステム及び方法 |
JP2018022318A (ja) | 2016-08-03 | 2018-02-08 | 株式会社東海理化電機製作所 | 操作入力装置 |
Also Published As
Publication number | Publication date |
---|---|
GB2597492A8 (en) | 2022-02-23 |
JPWO2022018953A1 (ja) | 2022-01-27 |
EP4186754A1 (en) | 2023-05-31 |
WO2022018953A1 (ja) | 2022-01-27 |
GB202011430D0 (en) | 2020-09-09 |
GB2597492A (en) | 2022-02-02 |
US11816271B2 (en) | 2023-11-14 |
CN114258367A (zh) | 2022-03-29 |
GB2597492B (en) | 2022-08-03 |
US20230152898A1 (en) | 2023-05-18 |
EP4186754A4 (en) | 2024-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7148014B2 (ja) | 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法 | |
JP6937995B2 (ja) | 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法 | |
US7893920B2 (en) | Operation input device and method of operation input | |
JP4274997B2 (ja) | 操作入力装置および操作入力方法 | |
CN113384348A (zh) | 使用虚拟边界避免碰撞的系统和方法 | |
KR101956073B1 (ko) | 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법 | |
KR101961221B1 (ko) | 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 | |
KR20140104415A (ko) | 차량용 조작장치 | |
CN109202864B (zh) | 评价信息输出装置、评价信息输出方法以及存储介质 | |
JP6479272B1 (ja) | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム | |
US10649555B2 (en) | Input interface device, control method and non-transitory computer-readable medium | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
US10890981B2 (en) | Gesture-based vehicle control | |
JP5983506B2 (ja) | 把持対象物の把持パターン検出方法およびロボット | |
EP3326052A1 (en) | Apparatus and method for detecting gestures on a touchpad | |
US20230281857A1 (en) | Detection device and detection method | |
US12014010B2 (en) | Information processing device and information processing method based on input operation of user | |
US20180088569A1 (en) | Off-line-programming jog assist device, jog assist method, and recording medium storing jog assist program | |
WO2024202205A1 (en) | Robot control device, robot control method, and robot system | |
WO2019157314A1 (en) | Touchpad for mirror posture adjustment | |
JP3263140B2 (ja) | 三次元ポインティング支援システムおよび方法 | |
JP7535968B2 (ja) | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム | |
US20240220024A1 (en) | User interface, control method thereof, and vehicle having user interface | |
WO2021117595A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2024142563A (ja) | ロボット制御装置、ロボット制御方法、およびロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7148014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |