JP6992045B2 - 触覚誘導システム - Google Patents

触覚誘導システム Download PDF

Info

Publication number
JP6992045B2
JP6992045B2 JP2019503271A JP2019503271A JP6992045B2 JP 6992045 B2 JP6992045 B2 JP 6992045B2 JP 2019503271 A JP2019503271 A JP 2019503271A JP 2019503271 A JP2019503271 A JP 2019503271A JP 6992045 B2 JP6992045 B2 JP 6992045B2
Authority
JP
Japan
Prior art keywords
tactile output
hand
tactile
output devices
vicinity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019503271A
Other languages
English (en)
Other versions
JP2019527430A (ja
Inventor
ジョセフ ヴァーベック,
アダム ボーランガー,
ステファン マルティ,
センソ, ダヴィデ ディ
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2019527430A publication Critical patent/JP2019527430A/ja
Application granted granted Critical
Publication of JP6992045B2 publication Critical patent/JP6992045B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/3004Arrangements for executing specific machine instructions to perform operations on memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/46Special adaptations for use as contact microphones, e.g. on musical instrument, on stethoscope
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)

Description

関連出願の相互参照
本出願は、2016年7月22日に出願された米国仮特許出願第62/365,960号の利益を主張し、その内容は参照により本明細書に組み込まれるものとする。
実施形態の分野
様々な実施形態は、一般にヒューマンマシンインターフェースに関し、より具体的には触覚誘導システムに関する。
関連技術の説明
自動車、モーターバイク、船、及び飛行機などの乗り物へのコンピュータの統合により、乗り物の機能は劇的に向上した。現代の乗り物は通常、エンジン制御ユニット、動力伝導制御ユニット、乗り物内インフォテインメントシステム、ドア制御ユニットなどの多数の制御ユニットを含み、これらは全てヒューマンマシンインターフェースを含む。具体的には、様々な種類の制御ユニットにより、ユーザは、制御ユニットに対応付けられた1つ以上の入力要素を調節して、乗り物のパラメータを変更することができる。例えば、ユーザは、音量つまみにより、乗り物内インフォテインメントシステムのオーディオシステム音量を変更することができる。さらに、ユーザは、乗り物内のタッチスクリーン上に表示されたボタンにより、音量を変更することができ得る。
従来の方法では、ユーザが乗り物のパラメータを入力要素により調節するには、ユーザは入力要素の位置を視覚的及び/または触覚的に特定する必要がある。例えば、ユーザが入力要素の位置を特定して乗り物内インフォテインメントの音量を制御するには、ユーザは、道路から目を離して、入力要素の位置を視覚的に特定し、及び/または入力要素を手探りで探すために、自身の手を乗り物の内部に沿って動かす必要がある。同様に、入力要素がタッチスクリーン上に表示される場合、ユーザは、正しい入力要素の位置を特定するために、タッチスクリーンに視線をそらす必要がある。さらに、ユーザが、ドア区画またはカップホルダーなどの物理オブジェクトの位置を特定しようと試みる場合、ユーザは、オブジェクトの位置を特定するために、物理オブジェクトに目を向け、及び/または自身の触覚を使う必要がある。
前述の手法の否定的な一側面としては、ユーザが運転している時に、入力要素または別の種類の物理オブジェクトとインタラクトするために道路から目をそらすことは、運転者の注意がそれることになり得る。例えば、乗り物内の電子機器を操作すること及び/または乗り物内の物理オブジェクトに手を伸ばすことは、運転者の認識作業負荷を著しく増やすことになり得、運転者が運転中に道路から目を離す必要があり得る。
前文が例示するように、運転者が乗り物内のオブジェクトとより効果的にインタラクトすることを可能にする技術が有用である。
本開示の実施形態は、触覚感覚によりユーザを対象にまで誘導する方法を明示する。方法は、手が対象の近傍に存在することを判定することと、手が対象の近傍に存在すると判定したことに応じて、手、指、手首、腕、足、または他の身体の部位に触覚感覚を生成する1つ以上の触覚出力デバイスに、制御信号を送信することと、を含む。
さらに実施形態は、上記の技術を実施するように構成されたシステム及び非一時的コンピュータ可読記憶媒体を特に提供する。
本明細書で説明される技術の少なくとも1つの利点は、ユーザが対象に目を向ける必要なしに、手を対象へ誘導することができることである。従って、ユーザは、道路から視線をそらさずに、入力要素を調節すること、及び乗り物内の物理オブジェクトの位置を特定することができる。さらに、ユーザとの代替的通信手段として、触覚感覚を実施することができ、これにより、ユーザは追加情報で圧倒されることはない。その結果、本明細書に説明される技術は、運転者が乗り物内の1つ以上の対象の位置をより簡単に特定することを可能にすることで、運転者の認識負荷を低減する。
上記の1つ以上の実施形態の挙げられた特徴が詳細に理解され得るように、上に簡単に要約された1つ以上の実施形態のより具体的な説明は、ある特定の実施形態を参照することで行われることがあり、そのうちのいくつかは添付の図面で例示される。しかしながら、様々な実施形態の範囲は他の実施形態も同様に包含するため、添付の図面は代表的な実施形態のみを例示し、よっていかなる様式でもその範囲の限定としてみなされるべきではないことに、留意されたい。
本発明は、例えば、以下を提供する。
(項目1)
非接触触覚出力を介して対象への誘導を提供するシステムであって、前記システムは、
1つ以上の制御信号に応じて、触覚出力を生成するように構成された1つ以上の触覚出力デバイスと、
プロセッサと、を含み、前記プロセッサは、
手が対象の近傍に存在することを判定し、
前記手が前記対象の近傍に存在すると判定したことに応じて、前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するように構成される、
前記システム。
(項目2)
前記対象は、車、トラック、モーターバイク、船、潜水艦、水上バイク、雪上車、飛行機、宇宙船、及び、遠隔ドローン制御システムのうちの1つ又は複数の入力要素を含む、項目1に記載のシステム。
(項目3)
前記入力要素は、乗り物インフォテインメントシステムボタンおよび乗り物インフォテインメントシステムつまみのうちの少なくとも1つを含む、項目2に記載のシステム。
(項目4)
センサデータを取得するように構成された1つ以上のセンサをさらに備える前記システムであって、
前記プロセッサは、前記センサデータに基づいて、前記手が前記対象の近傍に存在することを特定するように構成される、
項目1に記載のシステム。
(項目5)
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気出力デバイスのうちの少なくとも1つを備える、項目1に記載のシステム。
(項目6)
前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への経路を画定する、項目1に記載のシステム。
(項目7)
前記1つ以上の触覚出力デバイスは、前記対象の外周に沿って配置される、項目6に記載のシステム。
(項目8)
前記1つ以上の触覚出力デバイスは、前記対象へと導く経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、項目1に記載のシステム。
(項目9)
前記対象は、タッチスクリーン要素を含む、項目1に記載のシステム。
(項目10)
前記触覚出力を生成することは、前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することとを含み、前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、項目9に記載のシステム。
(項目11)
前記プロセッサはさらに、
前記手が前記対象の近傍にもはや存在しないことを判定し、
前記手が前記対象の近傍にもはや存在しないと判定したことに応じて、前記1つ以上の触覚出力デバイスへ前記1つ以上の制御信号を送信することを終了するように構成される、
項目1に記載のシステム。
(項目12)
前記プロセッサはさらに、
前記手が第2の対象の近傍に存在することを判定し、
前記手が前記第2の対象の近傍に存在すると判定したことに応じて、1つ以上の触覚出力デバイスの第2の集合へ第2の制御信号を送信するように構成され、
前記1つ以上の触覚出力デバイスの第2の集合は、前記第2の制御信号に基づいて、前記手に第2の触覚出力を生成する、
項目11に記載のシステム。
(項目13)
前記対象は、乗り物内区画を含む、項目1に記載のシステム。
(項目14)
非接触触覚出力を介して対象への誘導を提供する方法であって、
手が対象の近傍に存在することを判定することと、
1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信することと
を含む、前記方法。
(項目15)
前記対象は、乗り物入力要素及び乗り物内区画のうちの少なくとも1つを含む、項目14に記載の方法。
(項目16)
前記手が前記対象の近傍に存在することを判定することは、1つ以上の近接センサを介してセンサデータを取得することを含む、項目14に記載の方法。
(項目17)
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気渦デバイスのうちの少なくとも1つを備える、項目14に記載の方法。
(項目18)
前記1つ以上の触覚出力デバイスは、前記対象へと導く経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、項目14に記載の方法。
(項目19)
前記対象は、タッチスクリーン要素を含み、
前記1つ以上の触覚出力デバイスが前記触覚出力を生成することは、
前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、
前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することと
により行われ、
前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、
項目14に記載の方法。
(項目20)
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサにより実行されると、触覚出力を介して対象への誘導を提供するように前記プロセッサを構成し、前記プロセッサは、
手が乗り物入力要素の近傍に存在することを判定するステップと、
1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するステップと
を実行することで、前記対象への誘導を提供する、
前記非一時的コンピュータ可読記憶媒体。
様々な実施形態による、様々な実施形態の1つ以上の態様を実施するように構成されたコンピューティングデバイスの概念的ブロック図を例示する。 様々な実施形態による、触覚感覚を介して手を入力要素へ誘導する技術を例示する。 様々な実施形態による、触覚感覚を介して手を物理オブジェクトへ誘導する技術を例示する。 様々な実施形態による、ノッチ触覚感覚を介して手を入力要素へ誘導する技術を例示する。 様々な実施形態による、触覚感覚を生成する触覚出力デバイスの異なる配置を例示する。 様々な実施形態による、タッチスクリーン上の入力要素へ手を誘導する触覚出力デバイスの様々な構成を例示する。 様々な実施形態による、触覚出力を介して対象への誘導を提供する方法ステップのフロー図を例示する。
図1は、様々な実施形態による、本発明の1つ以上の態様を実施するように構成されたコンピューティングデバイス100の概念的ブロック図を例示する。図示されるように、コンピューティングデバイス100は、処理ユニット110と、入出力(I/O)デバイス120と、メモリデバイス130とを非限定的に含む。メモリデバイス130は、データベース134とインタラクトするように構成された空間誘導アプリケーション132を含む。
処理ユニット110は、中央処理装置(CPU)、デジタル信号処理装置(DSP)、センサ処理ユニット、及びコントローラユニットなどを含み得る。様々な実施形態では、処理ユニット110は、1つ以上のセンサにより取得されるセンサデータを分析して、手、指、手首、腕、足などを含むユーザの身体の様々な部位の位置及び/または向きを特定し、及び/または対象の位置及び/または向きを特定するように構成される。様々な実施形態では、対象には、周囲環境内の物理オブジェクト、ヒューマンマシンインターフェース(HMI)の入力デバイス、タッチスクリーンディスプレイの入力要素、拡張現実(AR)オブジェクト、音響オブジェクトなどが、非限定的に含まれ得る。いくつかの実施形態では、処理ユニット110はさらに、手の位置及び/または向きに対する対象の位置及び/または向きを特定するように構成される。例えば、非限定的に、処理ユニット110は、空間誘導アプリケーション132を実行して、センサデータを分析し、対象が有する特定の向き及び位置を特定し、手の位置及び/または向きを含む手に対応付けられた1つ以上のパラメータをデータベース134に記憶し得る。さらに、手及び/または対象の位置及び/または向きが変化すると、処理ユニット110はセンサデータを処理し得る。
I/Oデバイス120は、入力デバイス、出力デバイス、及び入力受信及び出力提供の両方が可能なデバイスを含み得る。例えば、I/Oデバイス120は、RGB撮像素子、パターン化もしくはパターンなしIR撮像素子、構造光カメラ、飛行時間カメラ、レーダーベースセンサ、マイクロ波ベースセンサ、静電容量センサ、超音波ベースセンサ、及び/またはBluetooth(登録商標)センサなどの1つ以上のセンサを非限定的に含み得る。さらに、I/Oデバイス120は、超音波振動子及び空気出力デバイス(例えば空気渦発生器、空気圧デバイス、空気のうなど)の1つ以上の触覚出力デバイスを含み得る。I/Oデバイス120はさらに、センサ(複数可)、触覚出力デバイス、乗り物制御ユニットなどとデータを送受信する有線及び/または無線通信デバイスを含み得る。
メモリユニット130は、メモリモジュールまたはメモリモジュール集合を含み得る。メモリユニット130は、空間誘導アプリケーション132と、データベース134とを含む。空間誘導アプリケーション132は、I/Oデバイス120、処理ユニット110、及びデータベース134のうちの1つ以上の要素にアクセスして、及び/または1つ以上の要素を実行して、コンピューティングデバイス100のいくつかまたは全ての機能を実施し得る。
データベース134は、デジタル信号処理アルゴリズム、オブジェクト認識データ、入力データ、ユーザ嗜好データ、及び触覚出力デバイスを起動/停止すべき状況などの他の状況パラメータを記憶し得る。さらに、データベース134は、ユーザを誘導するために特定の触覚感覚を実施するべき時間帯、ユーザを誘導するために触覚感覚を生成するべき乗り物内の1つ以上の位置、及び/またはユーザが乗り物内の特定の対象とインタラクトする時及び/または頻度といった、ユーザ嗜好を記憶し得る。
コンピューティングデバイス100は概して、マイクロプロセッサ、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、インフォテインメントシステム、モバイルコンピューティングデバイス(例えばタブレットコンピュータまたは携帯電話)、装着型デバイス(例えばスマートウォッチまたはヘッドマウントディスプレイ)、VR/ARデバイス(例えばビデオゴーグル)、及びプラグアンドプレイシステムなどであり得る。一般に、コンピューティングデバイス100は、超音波振動子アレイ、空気渦発生器などの1つ以上の触覚出力デバイスの全体的な動作を調整するように構成され得る。別の実施形態では、コンピューティングデバイス100は、1つ以上の触覚出力デバイスとは分離して、接続され得る。このような実施形態では、触覚出力デバイスは、コンピューティングデバイス100からデータ(例えば手及び対象の位置及び/または向き)を受信し、データ(例えば触覚出力イベントデータ)をコンピューティングデバイス100に送信する専用プロセッサを含み得る。専用プロセッサは、乗り物内インフォテインメントシステムに含まれてもよく、及び/またはユーザにより物理的に環境内に配置され、コンピューティングデバイス100に物理的にもしくは無線で接続されてもよい。例えば、専用プロセッサは、スマートフォン、パーソナルコンピュータ、及び装着型デバイスなどのユーザの家庭用電子デバイスに含まれてもよい。
本明細書で開示される様々な実施形態は、乗り物環境内で実施されるものとして説明される。一般に、乗り物には、車、トラック、モーターバイク、船、潜水艦、水上バイク、雪上車、飛行機、及び宇宙船などを非限定的に含む任意の種類の輸送機が含まれ得る。しかしながら、本明細書で開示される実施形態は、任意の種類の環境内で触覚出力デバイスの機能を実施するように構成された任意の技術的に可能なシステムを熟考する。例えば、非限定的に、本明細書で説明される技術は、自動車またはドローンを制御するシステムといった遠隔乗り物制御システムにより実施され得る。
さらに、ユーザの手に対し様々な技術が実行されるように説明されるが、本明細書で開示される技術のうちのいずれも、ユーザの手、腕、足、足首、指、及び指先などを含むユーザの任意の部位に対し、触覚出力を生成するために使用することができる。特定の技術は、特定の種類の触覚出力デバイス(例えば超音波振動子)により実行されるものとして説明されるが、本明細書で開示される各技術は、任意の種類の触覚出力デバイスを実施して、ユーザに触覚感覚を生成し得る。具体的には、ユーザに物理的に直接接触することなくユーザに触覚感覚を生成する触覚出力デバイスは、本明細書で開示されるいずれの実施形態でも実施することができる。
前記のように、従来の手法では、ユーザは、視覚的に対象の位置を特定するように注意を向ける必要があり得る。その結果、ユーザは、乗り物の特定の態様とインタラクトするために、追加の認識資力を費やす必要があり得る。さらに、ユーザが、特定の対象に視線を向けずに特定の対象の位置及び/または識別を特定したい場合、従来の手法では、ユーザは通常、対象を触るなど対象に物理的に接触する必要がある。従って、ユーザは、自分が触っているものを識別しようと認識資力を費やす必要があり得、及び/または例えばユーザが触っている入力要素により制御されるパラメータを誤って変更するなど、誤って対象を変更することがある。
本明細書で説明される様々な実施形態は、対象の位置を特定する従来の手法のこれら及び他の欠陥を、対象の位置及び/または対象への方向を示す触覚感覚を生成することにより克服する。作動中に、1つ以上のセンサは任意で、手がインタラクション領域内にあるか否かを判定する。空間誘導アプリケーション132は次いで、対象の位置及び/または対象に届くように手を動かすべき方向を示す手に対する触覚感覚を、触覚出力デバイスに生成させる。空間誘導アプリケーション132はさらに、手の位置及び/または向きに基づいて、触覚出力の方向性及び/または強度を調整し得る。例えば、手が対象に対しより近くに移動している場合には、空間誘導アプリケーション132は、手が対象に近づいていることをユーザに示すために、触覚出力デバイスが生成する触覚感覚の強度を高め得る。このような技術の実施例は、図2~4、5A~5C、6、及び7と併せて、さらに詳しく後述される。
図2は、様々な実施形態による、触覚感覚を介して手を入力要素230へ誘導する技術を例示する。図示されるように、システム環境200は、1つ以上のセンサ210と、触覚出力デバイス220と、入力要素230とを含む。様々な実施形態がユーザの手に触覚感覚を生成するものとして説明されるが、本明細書で説明される実施形態のいずれにおいても、触覚感覚は、ユーザの身体の任意の部位で生成され得る。
様々な実施形態では、1つ以上のセンサ210は、入力要素230の周りの領域を監視するように実施される。次いで、センサ210により手の存在が検出されると、空間誘導アプリケーション132は、1つ以上の触覚出力デバイス220を起動させて、手に対する触覚出力250を生成する。例えば、空間誘導アプリケーション132は、1つ以上のセンサ210からデータを受信し、その後データに基づいて、特定の対象に対応付けられたインタラクション領域内に手が存在することを判定し得る。様々な実施形態では、インタラクション領域は、センサ210もしくは入力要素230からの特定距離、及び/またはセンサ210もしくは入力要素230を囲む特定領域もしくは空間堆積として、定義され得る。さらに、空間誘導アプリケーション132は、1つ以上のセンサ210からデータを受信し、その後データに基づいて、手に対応付けられた様々なパラメータ(例えば位置、向き、傾きなど)を検出して、手が入力要素230に近づいていることを判定し得る。
様々な実施形態では、1つ以上の種類のセンサは、互いに併せて使用され得る。例えば、手の存在を検出するために、赤外線センサが使用され得る。次いで、一旦手が検出されると、空間誘導アプリケーション132が効果的に手を対象へ誘導することができるように、手の特定の位置及び/または向きを検出するのに、所要電力のより高いより精密なセンサ(例えばレーダーベースセンサ)が使用され得る。この2段階手法を用いることで、所要電力を低減することができつつ、なおも手の位置及び/または向きに関する正確な情報が空間誘導アプリケーション132に提供される。
一般に、対象は、ユーザがインタラクトする任意の要素、オブジェクト、位置などを指し得る。例えば、対象には、入力要素(例えばつまみまたはスクリーン上のボタン)、拡張現実(AR)オブジェクト(例えばヘッドマウントARディスプレイにより生成されたARオブジェクト)、音響オブジェクト、または物理オブジェクト(例えば乗り物内区画またはカップホルダー)が含まれ得る。例えば、対象には、三次元空間(例えば乗り物のキャビン)内で生成された特定の音響イベント(例えば警報、電話呼び出し、声など)に対応する音響オブジェクトが含まれ、三次元空間内の音響オブジェクトの特定位置を運転者に知らせるために、触覚感覚が生成され得る。従って、ユーザは、自分の手が空間音響オブジェクトの近傍にある時に触覚フィードバックを受けることができ、これによりユーザは、より効果的に音響オブジェクトとインタラクトすることができる(例えば手のジェスチャにより)。
いくつかの実施形態では、空間誘導アプリケーション132は、乗り物の製造者が画定した1つ以上の入力要素230及び/または物理オブジェクトなど1つ以上の所定の対象の近傍に、触覚出力を触覚出力デバイス220により生成させ得る。従って、このような所定の対象に対応付けられたデータ、例えば対象の位置、各対象の近傍に生成されるべき触覚出力の種類などが、データベース134に記憶され得る。さらに、いくつかの実施形態では、空間誘導アプリケーション132は、1つ以上のセンサ210から受信されたデータを分析することで、入力要素または物理オブジェクトが対象として指示されたはずであると判定し得る。例えば、空間誘導アプリケーション132は、ユーザが入力要素230またはオブジェクトと所定の期間内に閾値回数分(例えば特定の頻度で)インタラクトしたことを特定し、これに応じて、入力要素230またはオブジェクトを対象として指示し得る。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイス220により、対象の近傍に触覚出力を生成させ、これによりユーザはその先、対象の位置をより簡単に特定することができる。
様々な実施形態では、I/Oデバイス120は、システム環境200において、触覚出力デバイス220などの様々な種類の触覚出力デバイスを含み得る。本明細書で記されるように、触覚出力デバイス220は、超音波振動子、空気出力デバイス、及び/または他の種類の触覚出力デバイスを含み得る。いくつかの実施形態では、1つ以上の超音波振動子アレイを使用して、ユーザの手に触覚感覚が生成され得る。空間誘導アプリケーション132は、ユーザの手に生成される触覚感覚の様々な特質を制御するために、触覚出力デバイス220により生成される触覚出力250の1つ以上のパラメータを決定し得る。例えば、空間誘導アプリケーション132は、触覚出力デバイス220が触覚感覚を生成すべき強度及び/または手の部位を決定し得る。空間誘導アプリケーション132は次いで、ユーザの手にある種の触覚感覚を生成するために、触覚出力デバイス220へ送信される信号の種類を制御し得る。
例えば、2つ以上の触覚出力デバイスにより生成される触覚出力は、特定の時刻に空間内の特定の位置を占めることができ、これにより各触覚出力デバイスの触覚出力は、1つ以上の他の触覚出力デバイスの触覚出力に対し、増幅的及び/または減衰的に干渉することができる。異なる触覚出力デバイスにより生成される触覚出力間の増幅的及び/または減衰的干渉は次いで、触覚出力が増幅的に干渉する位置で、触覚感覚を生み出し得る。従って、様々な実施形態では、空間誘導アプリケーション132は、特定の位置で触覚感覚を生成するために、触覚出力デバイスからの触覚出力により、1つ以上の他の触覚出力デバイスの触覚出力を干渉させ得る。
さらに、様々な実施形態では、空間誘導アプリケーション132は、触覚出力により生成される強度パターンをさらに制御するために、各触覚出力デバイスにより生成される触覚出力の強度及び/または位相を変更し得る。このような技術を用いて、空間誘導アプリケーション132は、強度ピークの位置を変え得る、強度ピークの数を増大または減少させ得る、及び/または1つ以上の強度ピークの形及び/または大きさを調整し得る。その結果、空間誘導アプリケーション132は、ユーザの手に生成される触覚感覚の様々な特性を、局所化及び/または変更し得る。例えば、空間誘導アプリケーション132は、このような技術を用いて、ユーザの手に生成される触覚感覚の強度、サイズ、位置、及び/または形を変更し得る。
さらに、空気出力デバイス(例えば空気渦発生器)を使用して、ユーザの手に触覚感覚が生成され得る。様々な実施形態では、空間誘導アプリケーション132は、空気出力デバイスを含む触覚出力デバイス220を使用して、本明細書に説明される技術のいずれかを実施し得る。
様々な実施形態では、空間誘導アプリケーション132は、センサデータ及び/またはユーザ嗜好データに基づいて、好適な種類の触覚感覚を決定し、生成する。いくつかの実施形態では、触覚出力250は、1つ以上の触覚出力デバイスにより、ビーコン及び/またはノッチ形態で生成され得る。このような実施形態では、触覚出力が対象の位置から発せられているとユーザに感知されるように、触覚出力デバイス(複数可)は対象(例えば入力要素または位置)と実質的に一緒に配置され得る。触覚出力デバイス220がビーコン形態の触覚出力250を生成する場合、ユーザが感覚に向かって、従って特定の対象に向かって自分の手を動かすことができるように、ユーザに対し(例えばユーザの手に対し)触覚感覚が生成される。同様に、感覚がユーザの身体の別の部位に生成される場合も、ユーザは自分の身体及び/または手足(複数可)を感覚に向かって動かすことができ、よって対象へと導く方向に動かすことになる。
いくつかの実施形態では、ビーコンは、固体または管状に感知され得る。管状ビーコンは、触覚出力が生成される円筒区域、柱状区域などを含むことができ、区域は、ユーザが触覚感覚を感知しない内部領域を取り囲む。ビーコン形態の触覚出力は、様々な断面サイズから成り得る。ミリメートルサイズのビーコンなどの小さい触覚感覚は、直径約1~20ミリメートルであり得、一方、センチメートルサイズのビーコンなどの大きい触覚感覚は、直径約2~10センチメートルであり得る。
いくつかの実施形態では、触覚出力250は、1つ以上の境界線を画定する触覚ノッチの形態で生成することができ、この境界線に沿って手を移動させることで、特定の対象に手が届く。このような実施形態では、対象へと導く経路の外側の位置でユーザが触覚感覚を感知するように、触覚出力デバイス(複数可)は、対象の1つ以上の脇に配置され得る。例えば、このような実施形態では、触覚感覚は、対象へと導く経路の周りまたは経路に沿って、生成され得る。ノッチは、対象のインタラクション領域の近傍に生成され得る。触覚ノッチが生成されると、対象へと導く経路から手が外れた場合に、ユーザは自分の手に触覚感覚を感じ得る。例えば、ユーザが自分の手を所定の方向に引き続き動かすと、手は特定の対象に届かない及び/または対象に対応付けられたインタラクション領域から出てしまうことを、触覚ノッチはユーザに警告することができる。
いくつかの実施形態では、触覚出力250は、特定の位置からユーザの手が離れるように案内する触覚バリアの形態で生成され得る。例えば、触覚バリアはユーザに、避けるべき乗り物内領域に自分の手が入っていること、及び/または使用するべきではない入力要素(例えば無効化された入力要素)に自分の手がインタラクトする寸前であることを、警告することができる。
さらに、半指向性触覚出力が、空間誘導アプリケーション132と共に使用することができる。例えば、半指向性触覚出力デバイスは、乗り物の特定の表面に対して約90度の角度など、1つ以上の異なる角度に沿って触覚出力を生成することができる。よって、半指向性触覚出力デバイスは、ユーザが対象に向かって動く時に横切り得る様々な異なる接近経路に沿って、触覚出力を生成し得る。
図2に示されるように、触覚出力デバイス220は、ユーザの手に触覚感覚を生成する。前記のように、空間誘導アプリケーション132は、出力の強度、感覚が生成される手の部位(複数可)、及び/または触覚感覚は一定もしくは可変の位置、強度、幅などを有するか否かなど、触覚出力デバイス220により生成される出力の様々な特性を特定し得る。触覚出力デバイス220が一定の強度の触覚感覚を生成する場合、対象の特定範囲内に手がある時は、ユーザが感知する触覚感覚の強度はほぼ同じである。例えば、ユーザが対象に向かうように、または対象から離すように手を動かしても、触覚感覚の強度が一定であることを確保するために、空間誘導アプリケーション132は、触覚出力の強度を変化させることができる。触覚出力デバイス220はまた、可変強度により触覚感覚を生成することができ、触覚感覚の強度は、位置及び時間などの1つ以上のパラメータにより変わる。
空間誘導アプリケーション132は、対象を1つ以上の状況パラメータと対応付け得る。状況パラメータは、時刻、乗り物の向き(例えば磁針の向き)、乗り物の場所、乗り物に差し込む日光の量などを含み得る。例えば、空間誘導アプリケーション132は、特定の時間帯に、乗り物が特定の場所にいる時に、及び/または乗り物が特定の方向を向いている(例えば夕日に向かっている)時に、乗り物内区画(例えばサングラス1つを中に含む区画)もしくは別の種類のオブジェクト、または入力要素を、対象として指示することができる。付加的または代替的に、空間誘導アプリケーション132は、ある量の日光が車に差し込んでいる時に、オブジェクトまたは入力要素を対象として指示することができる。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイス220により、オブジェクトまたは入力要素の近傍に触覚出力を生成させ、これによりユーザは、オブジェクトまたは入力要素の位置をより正確に特定することができる。
空間誘導アプリケーション132はさらに、センサ210から受信したセンサデータを分析することで、対象を1人以上の運転者に対応付け得る。例えば、第1の運転者は、乗り物が私道に入ると、乗り物内の特定区画に配置されたガレージドア開閉装置を頻繁に使用してガレージのドアを開け、一方第2の運転者は、ガレージのドアを開けることなく、代わりに私道に駐車し得る。従って、車の場所が私道に近づくと、空間誘導アプリケーション132は、第1の運転者に対しては、その区画を対象と決定し得るが、第2の運転者に対しては行わない。その結果、空間誘導アプリケーション132は、第1の運転者に対しては、区画の近傍に触覚出力を生成し得るが、第2の運転者に対しては行わない。
図3は、様々な実施形態による、触覚感覚を介して手を物理位置へ誘導する技術を例示する。図示されるように、システム環境300は、センサ310と、触覚出力デバイス320と、オブジェクト330とを含む。
様々な実施形態では、センサ310は、オブジェクト330のインタラクション領域内の手を検出する。空間誘導アプリケーション132は、オブジェクト330からの位置、向き、及び/または距離など、手の様々なパラメータを特定し得る。いくつかの実施形態では、空間誘導アプリケーション132は次いで、手に向ける好適な種類の触覚出力350を決定し得る。空間誘導アプリケーション132はその後、制御信号を触覚出力デバイス320へ送信し、触覚出力350を生成させる。
いくつかの実施形態では、触覚出力デバイス320は、オブジェクト330の外周の周りに配置され得る。例えば、図3に示されるように、触覚出力350は、オブジェクト330の直径と同様の直径のビーコン形態で生成され得る。その結果、ユーザは、オブジェクト330の断面と同様のサイズの断面を有する触覚出力を感知する。ユーザは、オブジェクト330が自分の手に対し垂直に拡張していることを感知し得る。このような実施形態では、手をオブジェクト330に近づけてオブジェクト330を倒すことを避けるために、ユーザは、オブジェクト330のおおよそのサイズ及び/または形を感知することが可能であり得る。
ユーザがオブジェクト330に対して自分の手を動かすと、1つ以上のセンサ310が実行され、手の位置及び/または向きなど、手の1つ以上のパラメータが検出され得る。空間誘導アプリケーション132は次いで、手のパラメータに基づいて、触覚出力350の1つ以上のパラメータを変更し得る。ユーザの手の位置の変化に応じて触覚出力350の1つ以上のパラメータを調整するこのような技術により、空間誘導アプリケーション132は、より効果的に触覚感覚を介してユーザの手をオブジェクト330へ導くことができ得る。
いくつかの実施形態では、空間誘導アプリケーション132は、オブジェクト330の位置及び/または向きなど、オブジェクト330の様々なパラメータを特定し得る。例えば、オブジェクト330が熱いコーヒーのカップである場合、ユーザがコーヒーのカップをこぼすことなく確実に掴めるように、空間誘導アプリケーション132は、触覚感覚を使用して、ユーザが自分の手を位置付け方向付けることを補助し得る。さらに、システム環境300において、触覚出力350には、中が抜けたようにユーザが感知する管状ビーコンが含まれ得る。例えば、触覚出力デバイス320は、手に感覚を生み出す触覚出力350を生成することができ、触覚出力350は、オブジェクト330の輪郭を写し、触覚出力デバイス320が触覚出力を生成しない領域を取り囲む。
図4は、様々な実施形態による、ノッチ触覚感覚を介して手を入力要素430へ誘導する技術を例示する。図示されるように、システム環境400は、センサ410と、触覚出力デバイス420と、入力要素430と、触覚出力450とを含む。
様々な実施形態では、入力要素430の近傍に存在する手を検出するために、センサ410が実施され得る。空間誘導アプリケーション132は次いで、センサ410から受信したデータを分析して、手の1つ以上のパラメータを特定し得る。例えば、空間誘導アプリケーション132は、入力要素430及び/または触覚出力デバイス420に対する手の位置及び/または向きを特定し得る。空間誘導アプリケーション132は次いで、手に触覚感覚を生成するために、制御信号を触覚出力デバイス420へ送信する。
図4に示されるように、触覚出力デバイス420は、触覚ノッチ形態の触覚出力450を生成する。いくつかの実施形態では、触覚ノッチを生成するために、超音波振動子アレイ、空気出力デバイス、及び/または他の種類の触覚出力デバイスが実施され得る。前記のように、ノッチは、境界線を画定し得る触覚出力の一類であり、ユーザはこの境界線に沿って自分の手を動かすことで、対象の位置を特定する。いくつかの実施形態では、触覚出力450は、ユーザの手を対象へと導く経路の1つ以上の境界線を画定する触覚境界ボックス(または任意の他の形)を形成し得る。例えば、システム環境400において、ユーザが入力要素430の位置を特定するのに自分の手を動かすべき経路の2つの境界線を画定するために、触覚出力デバイス420は、入力要素430の上方及び下方で触覚出力450を生成し得る。
さらに、触覚出力デバイス420は、ユーザをある位置から離れさせるように、触覚バリアの形態の触覚出力を生成し得る。例えば、触覚バリアを使用して、ユーザに、無効化された入力要素は避けるべきであると示すことができる。作動中に、避けるべき乗り物内領域にユーザが入った場合、触覚出力デバイス220は、触覚バリアを出力して、ユーザに触覚感覚を生成する。このような実施形態では、触覚バリアはユーザに、ユーザが対象とインタラクトする能力をバリアがさえぎっていることを感知させ得る。例えば、システム環境400において、入力要素430(例えば入力要素430は無効化された)をユーザは避けるべきであると空間誘導アプリケーション132が判断した場合には、触覚出力デバイス420は、ユーザの手が入力要素430に近づいた時にユーザが触覚感覚を感じる方向で、触覚バリア形態の触覚出力450を生成し得る。
いくつかの実施形態では、ユーザが特定領域内のいくつかの対象とインタラクトするよう試みていると空間誘導アプリケーション132が判断した場合、空間誘導アプリケーション132は、制御信号を触覚出力デバイス420に送信して、ノッチ形態の触覚出力450を生成し得る。いくつかの実施形態では、触覚出力デバイス420は、特定の断面サイズの領域を取り囲む触覚境界ボックスを生成し得る。例えば、空間誘導アプリケーション132がユーザを、いくつかの入力要素を含む乗り物内領域へ案内している場合、触覚境界ボックスにより取り囲まれる断面領域が、入力要素が広がる領域と必ず同様のサイズであるように、空間誘導アプリケーション132は特定し得る。いくつかの実施形態では、複数の空気出力デバイス(例えば空気渦発生器)は、空気を出力して、特定の断面サイズを有する触覚境界ボックスを形成し得る。例えば、各空気出力デバイスは、パン-チルト作動を実施して空気渦を異なる方向に放出することなどにより、複数の領域に空気渦を放出することができる。
図5A~5Cは、様々な実施形態による、触覚感覚を生成する触覚出力デバイスの異なる配置を例示する。図示されるように、システム環境500は、入力要素510と、触覚出力デバイス520とを含む。
様々な実施形態では、1つ以上のセンサは、入力要素510のインタラクション領域内の手を検出し得る。空間誘導アプリケーション132は、入力要素510からの手の位置、向き、及び距離など、手の様々なパラメータを特定し得る。いくつかの実施形態では、空間誘導アプリケーション132は、手に生成する好適な種類の触覚出力を決定し得る。空間誘導アプリケーション132は次いで、制御信号を触覚出力デバイス520へ送信して、ユーザ(例えばユーザの手)に感覚を生成させる。
図5Aに示されるように、触覚出力デバイス520は、入力要素510の近傍にアレイ状に配置され得る。例えば、触覚出力デバイス520は、2行5列のアレイ状に配置され得る。様々な実施形態では、他の寸法及び/または形のアレイが実施されてもよい。例えば、超音波振動子アレイは、4行4列のアレイ、8行8列のアレイ、16行16列のアレイなどに配置され得る。さらに、触覚出力デバイス520は入力要素510に対して特定の位置にあるように例示されるが、別の実施形態では、触覚出力デバイス520は、入力要素510に近接する任意の位置に配置されてもよい。
図5Bでは、触覚出力デバイス520は、入力要素510の外周の周りに配置される。図5Bに示される実施形態は、円形状の触覚出力デバイス520を実施するが、様々な実施形態では、任意の他の形状(例えば楕円形状、長方形状、多角形状、自由形状など)が実施されてもよい。さらに、楕円形状、長方形状、多角形状、及び自由形状の触覚感覚を非限定的に含む、任意の形状の触覚感覚を生成するために、触覚出力デバイス520の任意の配置が実施されてもよい。
図5Cでは、触覚出力デバイス520は、入力要素510の周りに散発的に配置される。例えば、入力要素510に近接する1つ以上の位置で特定の種類の触覚出力を生成するために、触覚出力デバイス520は、入力要素510の周りに適宜配置され得る。いくつかの実施形態では、触覚出力デバイス520は、利用可能な空間を有する様々な乗り物内領域(例えば入力要素、オブジェクト、またはディスプレイなどの他の障害物のない乗り物の表面上)に配置され得る。次いで、特定の配置の触覚出力デバイス520が入力要素510の近傍にあることを前提に、空間誘導アプリケーション132は、特定の触覚感覚をユーザに生成するために、触覚出力デバイス520のそれぞれから発せられるべき触覚出力の強度を決定し得る。
図6は、様々な実施形態による、タッチスクリーン上の入力要素650へ手を誘導する触覚出力デバイス620の様々な構成を例示する。図示されるように、システム環境600は、センサ610と、触覚出力デバイス620と、タッチスクリーン640上の入力要素650とを含む。
様々な実施形態では、1つ以上のセンサ610は任意で、タッチスクリーン640のインタラクション領域内の手を検出し得る。いくつかの実施形態では、インタラクション領域は、タッチスクリーン640の外周に実質的に沿った境界を有する体積として画定されることができ、この体積は、タッチスクリーン640の表面から特定の距離(例えば1~10センチメートル)延びる。さらに、このような実施形態では、ユーザの手がタッチスクリーンの外周内にあり、かつタッチスクリーン640の表面から特定の距離内にあると、空間誘導アプリケーション132が判断した時にのみ、触覚出力デバイス620のうちの1つ以上により触覚出力が生成され得る。いくつかの実施形態では、インタラクション領域は、特定の入力要素(例えばタッチスクリーンボタン)の外周に実質的に沿った境界を有する体積として画定されることができ、この体積は、タッチスクリーン640の表面から特定の距離延びる。
システム環境600に示されるように、触覚出力デバイス620は、タッチスクリーン640の外周の周りに配置され得る。しかしながら、触覚出力デバイス620の他の配置も発明概念に含まれる。システム環境600に示されるように、触覚出力デバイス620は、1つ以上の超音波振動子アレイを含み得る。しかしながら、様々な実施形態では、1つ以上の空気出力デバイスなどの任意の他の種類の触覚出力デバイスが実施されてもよい。
様々な実施形態では、空間誘導アプリケーション132は、1つ以上の特定の入力要素650の位置を受信し得る。例えば、空間誘導アプリケーション132は、1つ以上の制御ユニット(例えば乗り物内インフォテインメントシステム)から入力要素650の位置を受信し、次いで、タッチスクリーン640上の入力要素650へユーザの手を誘導するために生成されるべき触覚出力の1つ以上のパラメータ(例えば触覚出力の位置及び/または方向性)を特定し得る。さらに、ユーザが特定の入力要素650を選択する場合には、スクリーン640上の1つ以上の入力要素650の位置が変わり得る。従って、入力要素650の新たな位置(複数可)へユーザの手を誘導するために、空間誘導アプリケーション132は、今度は、新たな位置(複数可)を受信し、1つ以上の触覚出力デバイス620に制御信号を出力して、新たな位置(複数可)の近傍に触覚感覚を生成し得る。さらに、いくつかの実施形態では、タッチスクリーン640上の入力要素が無効化された場合には、空間誘導アプリケーション132は、無効化された入力要素の位置を受信し得る。ユーザの手が無効化された入力要素に近づいている時には、空間誘導アプリケーション132は、触覚バリアを生成し得る。
様々な実施形態では、空間誘導アプリケーション132は、1つ以上の制御ユニットから、拡張現実(AR)オブジェクト(例えばヘッドマウントデバイスにより表示されるARオブジェクト)の位置を受信し得る。空間誘導アプリケーション132が拡張現実(AR)オブジェクトの位置を受信した場合、空間誘導アプリケーション132は、三次元環境内(例えば乗り物の室内)の特定の位置など、手がARオブジェクトとインタラクトできる位置にユーザの手を誘導するために、触覚出力デバイス620を介してユーザの手に触覚感覚を生成し得る。
さらに、ユーザが前述の音響オブジェクトなどの空間音響オブジェクトとインタラクトしている場合、空間誘導アプリケーション132は、1つ以上の音響オブジェクトの新たな位置を受信し得る。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイスにより、ユーザの手を新たな位置へ案内する触覚出力を生成させる。例えば、空間誘導アプリケーション132は、特定の音響オブジェクトの断面面積に類似するサイズの断面面積を取り囲む触覚境界ボックスを生成し得る。
図7は、様々な実施形態による、触覚出力を介して対象への誘導を提供する方法ステップのフロー図を例示する。方法ステップは図1~4、5A~5C、及び6のシステムと併せて説明されるが、方法ステップを任意の順序で実行するように構成された任意のシステムが本発明の範囲に含まれることが、当業者には理解されよう。
図7に示されるように、方法700は、空間誘導アプリケーション132が入力要素またはオブジェクトなどの対象の位置を特定するステップ710から開始する。いくつかの実施形態では、ステップ710で、空間誘導アプリケーション132は、対象の他のパラメータ(例えば対象の向き及び/またはサイズ)も特定し得る。次いで、ステップ720で、空間誘導アプリケーション132は、1つ以上のセンサから受信したセンサデータを分析し、ユーザに対応付けられた1つ以上のパラメータを特定する。例えば、空間誘導アプリケーション132は、センサデータを分析して、ユーザの手の位置及び/または向きを特定することができる。
いくつかの実施形態では、ステップ710で、空間誘導アプリケーション132は、乗り物内に含まれる1つ以上の制御ユニットから位置を受信することで、対象の位置を特定することができる。空間誘導アプリケーション132はさらに、制御ユニット(複数可)から対象のサイズ及び/または向きを受信することができる。さらに、前述のように、空間誘導アプリケーション132は、センサデータを分析することで、及びセンサデータに基づいて、ユーザの手が乗り物内の特定の入力要素またはオブジェクトに頻繁にアクセスすることを特定することで、対象の位置を特定し得る。空間誘導アプリケーション132はさらに、センサデータを分析して、対象のサイズなど、対象の1つ以上のパラメータを特定し得る。さらに、空間誘導アプリケーション132は、時刻、乗り物の場所、乗り物の向きなどに基づいて、対象の位置を特定し得る。
次に、ステップ730で、空間誘導アプリケーション132は、センサデータに基づいて、ユーザの手が対象の近傍にあるか否か、例えば手が対象のインタラクション領域内にあるか否かを判定する。例えば、乗り物のダッシュボード上に配置された対象のインタラクション領域は、乗り物のダッシュボードの上及び前の体積を含むことができ、一方、収納区画に対応する対象のインタラクション領域は、区画内の体積を含むことができる。
ステップ730で、空間誘導アプリケーション132がユーザの手は対象の近傍に存在しないと判定した場合には、方法700は、空間誘導アプリケーション132がセンサデータを分析し続けるステップ720に戻る。しかし、空間誘導アプリケーション132がユーザの手は対象の近傍に存在すると判定した場合には、方法700は、空間誘導アプリケーション132が、例えば1つ以上の触覚出力デバイスに信号を出力して、ユーザの手に触覚感覚を生成するステップ740に続く。様々な実施形態では、触覚出力デバイスは、ユーザに対しいずれの種類の物理的な直接接触も行わずに、ユーザに触覚感覚を生成する。
次に、ステップ750で、空間誘導アプリケーション132は、対象が変わったか否かを判定する。ステップ750で、対象が変化したと空間誘導アプリケーション132が判定した場合には、方法700は、空間誘導アプリケーション132が対象の新たな位置を特定するステップ710に戻る。一方、対象が変わらなかった場合には、方法700は、空間誘導アプリケーション132がセンサデータを分析し続けるステップ720に戻る。
要するに、空間誘導アプリケーションは任意で、1つ以上のセンサを介して、入力要素、物理位置、またはオブジェクトなどの対象の近傍に存在する手を検出する。その後、空間誘導アプリケーションは任意で、触覚感覚を生成する位置を決定する。次に、空間誘導アプリケーションは、触覚出力デバイスにより、特定の対象へユーザの手を誘導する触覚感覚を生成させるために、触覚出力デバイスへ制御信号を出力する。
本明細書で説明される技術の少なくとも1つの利点は、ユーザが対象に目を向ける必要なしに、手を対象へ誘導することができることである。従って、ユーザは、道路から視線をそらさずに、入力要素を調節すること、及び乗り物内の物理オブジェクトの位置を特定することができる。さらに、ユーザとの代替的通信手段として、触覚感覚を実施することができ、これにより、ユーザは追加情報で圧倒されることはない。その結果、本明細書に説明される技術は、運転者が乗り物内の1つ以上の対象の位置をより簡単に特定することを可能にすることで、運転者の認識作業負荷を低減する。
様々な実施形態の説明は、例示目的で提示されており、網羅的である、または開示される実施形態に限定的である意図はない。説明される実施形態の範囲及び趣旨から逸脱することなく、数多くの変更及び変形が当業者には明らかであろう。
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書において「回路」、「モジュール」、もしくは「システム」と全て概して称され得るソフトウェア及びハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、本開示の態様は、コンピュータ可読プログラムコードを取り込んだ1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形を取り得る。
1つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、機器、もしくはデバイス、または前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非包括的一覧)には、1つ以上の有線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読出専用メモリ(ROM)、消去可能プログラマブル読出専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読出専用メモリ(CD‐ROM)、光学記憶装置、磁気記憶装置、または前述の任意の好適な組み合わせ、以上が含まれ得る。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、機器、もしくはデバイスが使用または接続する、プログラムを包含または記憶可能な任意の有形媒体であり得る。
本開示の実施形態による方法、機器(システム)、及びコンピュータプログラム製品のフローチャート図解及び/またはブロック図を参照して、本開示の態様が前述された。フローチャート図解及び/またはブロック図の各ブロック、並びにフローチャート図解及び/またはブロック図内のブロックの組み合わせは、コンピュータプログラム命令により実施できることは理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理機器のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理機器のプロセッサを介して実行される命令により、フローチャート及び/またはブロック図のブロック(複数可)において指定された機能/動作を実施することが可能なマシンを生み出し得る。このようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロセッサもしくはゲートアレイであり得るが、これに限定されない。
図におけるフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、及び動作を例示する。その際、フローチャートまたはブロック図における各ブロックは、特定の論理関数(複数可)を実施する1つ以上の実行可能命令を備えるモジュール、セグメント、またはコード部分を表し得る。いくつかの代替的な実施態様では、ブロックに記された機能は、図に記された順番以外でも起こり得ることにも留意されたい。例えば、連続して示された2つのブロックは、実際には、ほぼ同時に実行されてもよく、または関与する機能に応じてブロックは時に逆の順序で実行されてもよい。ブロック図及び/またはフローチャート図解の各ブロック、並びにブロック図及び/またはフローチャート図解内のブロックの組み合わせは、特定の機能もしくは動作を実行する専用ハードウェアベースシステム、または専用ハードウェア及びコンピュータ命令の組み合わせにより実施することが可能であることにも留意されたい。
前述は本開示の実施形態を対象とするが、その基本範囲から逸脱することなく、本開示の他及びさらなる実施形態が考案されてもよく、その範囲は以下の特許請求の範囲により特定される。

Claims (20)

  1. 触覚出力を介して対象への誘導を提供するシステムであって、前記システムは、
    1つ以上の制御信号に応じて、触覚出力を生成するように構成された1つ以上の触覚出力デバイスと、
    プロセッサと、を含み、前記プロセッサは、
    手の位置を特定することと、
    前記手が対象の近傍に存在することを判定することと
    前記手が前記対象の近傍に存在すると判定したことに応じて、前記手を前記対象へ誘導するために前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信することであって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、ことと、
    を行うように構成されるシステム。
  2. センサデータを取得するように構成された1つ以上のセンサをさらに備え
    前記プロセッサは、前記センサデータに基づいて、前記手が前記対象の近傍に存在することを定するように構成される請求項1に記載のシステム。
  3. 前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気出力デバイスのうちの少なくとも1つを備える、請求項1に記載のシステム。
  4. 前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への前記経路を画定する、請求項1に記載のシステム。
  5. 前記1つ以上の触覚出力デバイスは、前記対象の外周に沿って配置される、請求項4に記載のシステム。
  6. 前記1つ以上の触覚出力デバイスは、前記対象へと導く前記経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、請求項1に記載のシステム。
  7. 前記対象は、乗り物内に含まれる入力要素を含む、請求項1に記載のシステム。
  8. 前記対象は、タッチスクリーン要素を含む、請求項1に記載のシステム。
  9. 前記触覚出力を生成することは、前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することとを含み、前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、請求項8に記載のシステム。
  10. 前記プロセッサはさらに、
    前記手が前記対象の近傍にもはや存在しないことを判定し、
    前記手が前記対象の近傍にもはや存在しないと判定したことに応じて、前記1つ以上の触覚出力デバイスへ前記1つ以上の制御信号を送信することを終了するように構成される請求項1に記載のシステム。
  11. 前記プロセッサはさらに、
    前記手が第2の対象の近傍に存在することを判定し、
    前記手が前記第2の対象の近傍に存在すると判定したことに応じて、1つ以上の触覚出力デバイスの第2の集合へ第2の制御信号を送信するように構成され、
    前記1つ以上の触覚出力デバイスの第2の集合は、前記第2の制御信号に基づいて、前記手に第2の触覚出力を生成する請求項10に記載のシステム。
  12. 前記対象は、乗り物内区画を含む、請求項1に記載のシステム。
  13. 触覚出力を介して対象への誘導を提供する方法であって、前記方法は、
    手の位置を特定することと、
    前記手が対象の近傍に存在することを判定することと、
    前記手を前記対象へ誘導するために1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信することであって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、こと
    を含む、方法。
  14. 前記手が前記対象の近傍に存在することを判定することは、1つ以上のセンサを介して取得されたセンサデータに基づいて行われる、請求項13に記載の方法。
  15. 前記対象は、乗り物入力要素及び乗り物内区画のうちの少なくとも1つを含む、請求項13に記載の方法。
  16. 前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への前記経路を画定する、請求項13に記載の方法。
  17. 前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気渦デバイスのうちの少なくとも1つを備える、請求項13に記載の方法。
  18. 前記1つ以上の触覚出力デバイスは、前記対象へと導く前記経路の外側の1つ以上の区域に、前記触覚出力を生成し、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、請求項13に記載の方法。
  19. 前記対象は、タッチスクリーン要素を含み、
    前記1つ以上の触覚出力デバイスが前記触覚出力を生成することは、
    前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、
    前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することと
    により行われ、
    前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する請求項13に記載の方法。
  20. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサにより実行されると、触覚出力を介して対象への誘導を提供するように前記プロセッサを構成し、前記プロセッサは、
    手の位置を特定するステップと、
    前記手が乗り物入力要素の近傍に存在することを判定するステップと、
    前記手を前記対象へ誘導するために1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するステップであって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、ステップ
    を実行することで、前記対象への誘導を提供する非一時的コンピュータ可読記憶媒体。
JP2019503271A 2016-07-22 2017-06-15 触覚誘導システム Active JP6992045B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662365960P 2016-07-22 2016-07-22
US62/365,960 2016-07-22
PCT/US2017/037593 WO2018017210A1 (en) 2016-07-22 2017-06-15 Haptic guidance system

Publications (2)

Publication Number Publication Date
JP2019527430A JP2019527430A (ja) 2019-09-26
JP6992045B2 true JP6992045B2 (ja) 2022-01-13

Family

ID=60992731

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2019503271A Active JP6992045B2 (ja) 2016-07-22 2017-06-15 触覚誘導システム
JP2019503272A Active JP7248568B2 (ja) 2016-07-22 2017-06-15 触覚による操縦誘導システム
JP2019503273A Active JP6954989B2 (ja) 2016-07-22 2017-07-21 材料を作動させるための触覚システム
JP2019503283A Active JP6944513B2 (ja) 2016-07-22 2017-07-21 オーディオコンテンツをユーザに送出するための触覚システム
JP2019503274A Active JP6949938B2 (ja) 2016-07-22 2017-07-21 触覚振動子デバイスによる反響定位
JP2019503284A Active JP7144400B2 (ja) 2016-07-22 2017-07-21 車両用触覚通知システム
JP2022038042A Withdrawn JP2022075801A (ja) 2016-07-22 2022-03-11 触覚による操縦誘導システム

Family Applications After (6)

Application Number Title Priority Date Filing Date
JP2019503272A Active JP7248568B2 (ja) 2016-07-22 2017-06-15 触覚による操縦誘導システム
JP2019503273A Active JP6954989B2 (ja) 2016-07-22 2017-07-21 材料を作動させるための触覚システム
JP2019503283A Active JP6944513B2 (ja) 2016-07-22 2017-07-21 オーディオコンテンツをユーザに送出するための触覚システム
JP2019503274A Active JP6949938B2 (ja) 2016-07-22 2017-07-21 触覚振動子デバイスによる反響定位
JP2019503284A Active JP7144400B2 (ja) 2016-07-22 2017-07-21 車両用触覚通知システム
JP2022038042A Withdrawn JP2022075801A (ja) 2016-07-22 2022-03-11 触覚による操縦誘導システム

Country Status (5)

Country Link
US (6) US10671170B2 (ja)
EP (6) EP3487280B1 (ja)
JP (7) JP6992045B2 (ja)
CN (6) CN109475079B (ja)
WO (6) WO2018017212A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US11165963B2 (en) 2011-06-05 2021-11-02 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
EP3648072A1 (en) * 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
WO2018047604A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 情報提示装置、操舵装置、および情報提示方法
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. Image data for enhanced user interactions
EP4366317A3 (en) 2017-05-16 2024-08-07 Apple Inc. Emoji recording and sending
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US10281983B2 (en) 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US11561619B2 (en) 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10503310B2 (en) * 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
JP6973156B2 (ja) * 2018-02-16 2021-11-24 トヨタ自動車株式会社 手の誘導装置
EP3776291A1 (en) * 2018-03-26 2021-02-17 Sony Corporation Methods and apparatuses for proximity detection
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
US11009954B2 (en) * 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN108919277B (zh) * 2018-07-02 2022-11-22 深圳米唐科技有限公司 基于亚超声波的室内外环境识别方法、系统及存储介质
CN109254652A (zh) * 2018-08-13 2019-01-22 瑞声科技(新加坡)有限公司 车辆触摸显示屏的触觉反馈方法、系统及控制装置
CN109254658A (zh) * 2018-08-29 2019-01-22 上海天马微电子有限公司 触觉反馈方法、触觉反馈装置及触摸显示装置
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11760377B2 (en) * 2019-02-26 2023-09-19 Harman International Industries, Incorporated Shape-shifting control surface for an autonomous vehicle
JP7333185B2 (ja) * 2019-03-27 2023-08-24 株式会社Subaru 車両の接近警報装置
US11067687B2 (en) 2019-04-25 2021-07-20 Elwha, Llc Multipath acoustic holography and virtual haptics
DK201970531A1 (en) 2019-05-06 2021-07-09 Apple Inc Avatar integration with multiple applications
CN110347249B (zh) * 2019-06-25 2020-08-28 燕山大学 基于振型叠加触觉反馈方法
US10916107B1 (en) * 2019-07-29 2021-02-09 Elwha Llc Time-domain and frequency-domain enhancements for acoustic haptography
US11100801B2 (en) 2019-08-12 2021-08-24 Toyota Motor North America, Inc. Utilizing sensors to detect hazard from other vehicle while driving
US10962562B2 (en) * 2019-08-22 2021-03-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle velocity indicator
JP7406328B2 (ja) * 2019-09-10 2023-12-27 株式会社東海理化電機製作所 制御装置、制御方法、およびプログラム
JP7282639B2 (ja) * 2019-09-10 2023-05-29 株式会社東海理化電機製作所 制御装置、制御方法、およびプログラム
US10824390B1 (en) * 2019-09-24 2020-11-03 Facebook Technologies, Llc Methods and system for adjusting level of tactile content when presenting audio content
US10970036B1 (en) * 2019-09-24 2021-04-06 Facebook Technologies, Llc Methods and system for controlling tactile content
US11282281B2 (en) * 2019-11-13 2022-03-22 At&T Intellectual Property I, L.P. Activation of extended reality actuators based on content analysis
CN111158465A (zh) * 2019-12-09 2020-05-15 瑞声科技(新加坡)有限公司 一种力触觉振动反馈方法及系统
CN110972020B (zh) * 2019-12-19 2021-06-01 东莞市逸音电子科技有限公司 一种新型智能触摸手感蓝牙耳机
US11302157B2 (en) * 2020-01-08 2022-04-12 Msg Entertainment Group, Llc Infrasound drive for haptic experiences
CN111338468B (zh) * 2020-02-05 2022-01-28 吉林大学 一种基于交叉范式的移动终端触觉目标操作系统和方法
US11535260B2 (en) * 2020-03-05 2022-12-27 Harman International Industries, Incorporated Attention-based notifications
KR102871905B1 (ko) * 2020-03-05 2025-10-16 현대자동차주식회사 퍼스널 모빌리티 및 그 제어 방법
US11703881B2 (en) * 2020-03-19 2023-07-18 Logistics And Supply Chain Multi Tech R&D Centre Limited Method of controlling a guide machine and a navigation system
US20210319656A1 (en) * 2020-04-10 2021-10-14 Igt Real-time analytics and feedback for electronic gaming machines
WO2021229721A1 (ja) * 2020-05-13 2021-11-18 三菱電機株式会社 空中ハプティクス制御装置、空中ハプティクスシステム及び空中ハプティクス制御方法
KR102591674B1 (ko) * 2020-07-10 2023-10-23 한국전자통신연구원 음향 및 촉각 재생 장치
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
US11481069B2 (en) * 2020-09-15 2022-10-25 International Business Machines Corporation Physical cursor control in microfluidic display devices
DE102020131513B3 (de) * 2020-11-27 2022-01-27 JENETRIC GmbH Vorrichtung und Verfahren zur berührungslosen optischen Abbildung eines ausgewählten Oberflächenbereiches einer Hand
US20220212691A1 (en) * 2021-01-05 2022-07-07 Ford Global Technologies, Llc Systems and methods for providing haptic feedback to drivers when aligning electrified vehicles to charging equipment
EP4264460B1 (en) 2021-01-25 2025-12-24 Apple Inc. Implementation of biometric authentication
US12210603B2 (en) 2021-03-04 2025-01-28 Apple Inc. User interface for enrolling a biometric feature
US12216754B2 (en) 2021-05-10 2025-02-04 Apple Inc. User interfaces for authenticating to perform secure operations
CN117413243A (zh) * 2021-06-04 2024-01-16 国立大学法人东北大学 振动分配控制装置、振动分配控制程序以及振动分配控制方法
CN113335182A (zh) * 2021-07-21 2021-09-03 业成科技(成都)有限公司 车内安全系统及其操作方法
US20250244096A1 (en) * 2021-10-21 2025-07-31 AIRSHARE, Inc. Vibration signaling for a gun
US20230128104A1 (en) * 2021-10-25 2023-04-27 Motional Ad Llc Accessibility system for assisting a user in interacting with a vehicle
GB2612856A (en) * 2021-11-11 2023-05-17 Cirrus Logic Int Semiconductor Ltd User input device
JP7326505B2 (ja) * 2022-01-06 2023-08-15 本田技研工業株式会社 車両用警告装置
JP7787741B2 (ja) * 2022-02-22 2025-12-17 株式会社Subaru 車両の走行性能制御機能についてのシミュレーション装置
US20230311733A1 (en) * 2022-03-30 2023-10-05 Ghsp, Inc. Vehicle signal system having a plurality of force generators for producing a user-experienced feedback
CN115206337A (zh) * 2022-06-27 2022-10-18 瑞声开泰声学科技(上海)有限公司 一种振动马达的控制方法、装置、存储介质和电子设备
JP7413481B1 (ja) * 2022-10-21 2024-01-15 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2024066546A (ja) * 2022-11-02 2024-05-16 株式会社ユニオン ドア開閉システム
EP4382335A1 (en) * 2022-12-05 2024-06-12 TomTom International B.V. Method, apparatus and computer program for controlling output of information
EP4492202A1 (en) * 2023-07-10 2025-01-15 Leica Instruments (Singapore) Pte Ltd Devices and methods for contactless haptic control
JP2025023543A (ja) * 2023-08-04 2025-02-17 ミネベアミツミ株式会社 触感提示装置
GB2634865A (en) * 2023-10-06 2025-04-30 Muthu Pandian Saravanan Pro-active road precaution device and system
DE102024103169A1 (de) * 2024-02-05 2025-08-07 Bayerische Motoren Werke Aktiengesellschaft Steuern einer Funktion eines Kraftfahrzeugs
WO2025212570A1 (en) * 2024-04-01 2025-10-09 Emerge Now Inc. Transducer system and method
US12502690B2 (en) 2024-04-01 2025-12-23 Emerge Now Inc. Transducer system and method
EP4644205A1 (en) * 2024-11-29 2025-11-05 Volvo Car Corporation Method for controlling an output of a notification to a driver of a vehicle, a data processing apparatus, a computer program, a computer-readable storage medium, and a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005047327A (ja) 2003-07-31 2005-02-24 Nissan Motor Co Ltd コマンド入力装置
JP2015079289A (ja) 2013-10-15 2015-04-23 株式会社デンソー 触覚提示装置
WO2015086919A2 (fr) 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982434A (en) 1989-05-30 1991-01-01 Center For Innovative Technology Supersonic bone conduction hearing aid and method
US5282858A (en) 1991-06-17 1994-02-01 American Cyanamid Company Hermetically sealed implantable transducer
US6856876B2 (en) 1998-06-09 2005-02-15 Automotive Technologies International, Inc. Methods for controlling a system in a vehicle using a transmitting/receiving transducer and/or while compensating for thermal gradients
US6377693B1 (en) 1994-06-23 2002-04-23 Hearing Innovations Incorporated Tinnitus masking using ultrasonic signals
JP3184058B2 (ja) * 1994-12-16 2001-07-09 カルソニックカンセイ株式会社 車両用障害物検知方法およびその装置
US20060284839A1 (en) 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
US6139488A (en) * 1997-09-25 2000-10-31 Symphonix Devices, Inc. Biasing device for implantable hearing devices
US6338028B1 (en) 1998-06-11 2002-01-08 Trw Inc. Ultrasonic sensor system and method having input capture for echo processing
US6643378B2 (en) 2001-03-02 2003-11-04 Daniel R. Schumaier Bone conduction hearing aid
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6904823B2 (en) * 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
US20040049323A1 (en) 2002-09-05 2004-03-11 Ford Global Technologies, Inc. Haptic seat notification system
JP3875178B2 (ja) * 2002-11-05 2007-01-31 日本電信電話株式会社 ヘッドホン装置
JP4365158B2 (ja) 2003-07-23 2009-11-18 アロカ株式会社 2次元アレイ超音波探触子
JP2005080227A (ja) * 2003-09-03 2005-03-24 Seiko Epson Corp 音声情報提供方法及び指向型音声情報提供装置
GB0322489D0 (en) * 2003-09-25 2003-10-29 British Telecomm Haptics transmission systems
JP4254501B2 (ja) 2003-11-20 2009-04-15 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2006199094A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車両用情報呈示装置
CN101160104B (zh) * 2005-02-22 2012-07-04 马科外科公司 触觉引导系统及方法
CN101180584B (zh) * 2005-05-26 2011-04-13 思考方案有限公司 可配戴和可改变位置的振动节拍器
JP2007065798A (ja) 2005-08-29 2007-03-15 Seiko Epson Corp タッチパネル装置
WO2007111909A2 (en) 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
JP2008039497A (ja) 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 障害物検出装置
CN101507290A (zh) * 2006-08-24 2009-08-12 皇家飞利浦电子股份有限公司 处理音频信号和/或视频信号以便产生触觉激励的设备和方法
JP4945303B2 (ja) * 2006-12-15 2012-06-06 本田技研工業株式会社 車両状態伝達装置
US7692552B2 (en) 2007-01-23 2010-04-06 International Business Machines Corporation Method and system for improving driver safety and situational awareness
JP4333883B2 (ja) * 2007-01-24 2009-09-16 ヤマハ株式会社 モーションセンサ及びその製造方法
KR100889726B1 (ko) 2007-02-02 2009-03-24 한국전자통신연구원 촉각 자극 장치 및 이를 응용한 장치
EP1956466B1 (fr) 2007-02-12 2013-08-07 Universite Des Sciences Et Technologies De Lille Interface tactile vibrante
JP5056185B2 (ja) 2007-06-12 2012-10-24 日産自動車株式会社 車両のシフト案内装置
US7788032B2 (en) 2007-09-14 2010-08-31 Palm, Inc. Targeting location through haptic feedback signals
US20090073112A1 (en) 2007-09-14 2009-03-19 International Business Machines Corporation Method and system for dynamically configurable tactile feedback for navigational support
JP5448320B2 (ja) 2007-10-04 2014-03-19 キヤノン株式会社 圧電アクチュエータ及びそれを用いた液体吐出ヘッド
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
KR100984230B1 (ko) * 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
US9829977B2 (en) 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
DE102008064645A1 (de) 2008-04-11 2010-04-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrerassistenzanlage für Kraftfahrzeuge und Verfahren zum haptischen Warnen eines Fahrers eines Kraftfahrzeuges
US20100013613A1 (en) 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
JP2010066640A (ja) * 2008-09-12 2010-03-25 Yamaha Corp 楽器
EP2347601A4 (en) * 2008-10-14 2014-05-14 Cochlear Ltd IMPLANTABLE MICROPHONE SYSTEM AND CALIBRATION PROCESS
JP2010118877A (ja) 2008-11-12 2010-05-27 Sumida Corporation 体内埋込型スピーカ
US8362882B2 (en) 2008-12-10 2013-01-29 Immersion Corporation Method and apparatus for providing Haptic feedback from Haptic textile
US20100198458A1 (en) 2009-02-02 2010-08-05 Ford Global Technologies, Llc Navigation system with haptic assist
WO2010104953A1 (en) * 2009-03-10 2010-09-16 Artificial Muscle, Inc. Electroactive polymer transducers for tactile feedback devices
CN102349041B (zh) 2009-03-12 2015-11-25 意美森公司 用于摩擦显示和附加触觉效果的系统和方法
KR101796888B1 (ko) * 2009-03-12 2017-11-10 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
KR101032635B1 (ko) * 2009-04-16 2011-05-09 한국과학기술원 자동차 네비게이션 시스템, 자동차 네비게이션용 스티어링 휠 및 커버, 이를 포함하는 자동차 및 이를 이용한 자동차 주행안내방법
CN201440697U (zh) * 2009-04-20 2010-04-21 康佳集团股份有限公司 一种显示按键功能设备
KR100971220B1 (ko) * 2009-08-17 2010-07-20 주식회사 에프티랩 Lc공진주파수 변이를 이용한 정전용량방식 터치스크린패널의 검사방법
US8610549B2 (en) * 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
EP2502215B1 (en) 2009-11-17 2020-06-03 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
US20130002587A1 (en) * 2010-02-16 2013-01-03 Biggs Silmon James Haptic apparatus and techniques for quantifying capability thereof
US20110267294A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US8519982B2 (en) 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices
WO2012001208A1 (en) 2010-06-28 2012-01-05 Nokia Corporation Haptic surface compression
JP5343946B2 (ja) * 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
US8405522B2 (en) * 2010-09-30 2013-03-26 Ford Global Technologies, Llc Lane departure haptic warning with compensation for road-caused vibration
US8547215B2 (en) 2010-11-24 2013-10-01 Denso Corporation Information presentation apparatus and system
US8845110B1 (en) 2010-12-23 2014-09-30 Rawles Llc Powered augmented reality projection accessory display device
JP5924802B2 (ja) * 2011-01-26 2016-05-25 日本電気株式会社 入力装置
US9417696B2 (en) * 2011-01-27 2016-08-16 Blackberry Limited Portable electronic device and method therefor
US10039672B2 (en) 2011-03-23 2018-08-07 Ali Mohammad Aghamohammadi Vibro-electro tactile ultrasound hearing device
US8581714B2 (en) 2011-05-20 2013-11-12 Ford Global Technologies, Llc Method and apparatus for generating vehicle vibration to alert vehicle user of warning
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
DE102011111543A1 (de) * 2011-08-17 2013-02-21 Continental Automotive Gmbh Bedieneinrichtung
JP2013053867A (ja) 2011-09-01 2013-03-21 Sharp Corp 距離検出システム
KR101771896B1 (ko) * 2011-11-18 2017-08-28 센톤스 아이엔씨. 국소형 햅틱 피드백
DE102011088309A1 (de) * 2011-12-12 2013-06-13 Robert Bosch Gmbh Verfahren und Steuergerät zum Steuern von vorhersehbaren haptisch wahrnehmbaren Signalen in einem Fahrpedal eines Kraftfahrzeugs
US20140310594A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Configuration of haptic feedback and visual preferences in vehicle user interfaces
JP6032657B2 (ja) 2012-04-27 2016-11-30 パナソニックIpマネジメント株式会社 触感呈示装置、触感呈示方法、駆動信号生成装置および駆動信号生成方法
US9785236B2 (en) * 2012-05-25 2017-10-10 Immerz, Inc. Haptic interface for portable electronic device
US8970358B2 (en) 2012-06-22 2015-03-03 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9153108B2 (en) 2012-06-22 2015-10-06 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9545879B2 (en) 2012-06-22 2017-01-17 GM Global Technology Operations LLC Vehicle seat back haptic alert systems and methods
US9198714B2 (en) * 2012-06-29 2015-12-01 Ethicon Endo-Surgery, Inc. Haptic feedback devices for surgical robot
US20140056461A1 (en) * 2012-08-21 2014-02-27 Immerz, Inc. Systems and methods for a vibrating input device
DE102012215350A1 (de) 2012-08-29 2014-03-06 Continental Automotive Gmbh Multisensuelle Aufmerksamkeitslenkung
US8945328B2 (en) 2012-09-11 2015-02-03 L.I.F.E. Corporation S.A. Methods of making garments having stretchable and conductive ink
US20150258996A1 (en) * 2012-09-17 2015-09-17 Volvo Lastvagnar Ab Method for providing a context based coaching message to a driver of a vehicle
FI20120340A7 (fi) * 2012-10-08 2014-04-09 Canatu Oy Kosketusrajapintalaite ja rakenne
US9002020B1 (en) 2012-10-22 2015-04-07 Google Inc. Bone-conduction transducer array for spatial audio
CN104395866B (zh) * 2012-11-30 2018-02-23 松下知识产权经营株式会社 触觉提示装置及触觉提示方法
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
US9081651B2 (en) 2013-03-13 2015-07-14 Ford Global Technologies, Llc Route navigation with optimal speed profile
KR20140115836A (ko) * 2013-03-22 2014-10-01 삼성전자주식회사 햅틱 효과를 제공하는 휴대 단말 및 방법
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140350640A1 (en) * 2013-05-22 2014-11-27 Jim Patrick Implantable Medical Device and Tool Sensors
US9596534B2 (en) 2013-06-11 2017-03-14 Dsp Group Ltd. Equalization and power control of bone conduction elements
US20150018660A1 (en) 2013-07-11 2015-01-15 Alivecor, Inc. Apparatus for Coupling to Computing Devices and Measuring Physiological Data
US10359857B2 (en) * 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US10162416B2 (en) * 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
WO2015054789A1 (en) * 2013-10-18 2015-04-23 Hagedorn Douglas Systems and methods for non-visual spatial interfacing with a computer
US9248840B2 (en) 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US20150199950A1 (en) 2014-01-13 2015-07-16 DSP Group Use of microphones with vsensors for wearable devices
US9623907B2 (en) * 2014-01-13 2017-04-18 Harman International Industries, Inc. Haptic language through a steering mechanism
EP2902864B1 (en) * 2014-01-30 2017-05-31 Volvo Car Corporation Control arrangement for autonomously driven vehicle
CN105960572B (zh) 2014-02-24 2019-01-22 索尼公司 用于定制的触觉反馈的智能可穿戴设备和方法
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
JP2015186072A (ja) 2014-03-25 2015-10-22 オンキヨー株式会社 音声信号出力装置
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10232113B2 (en) 2014-04-24 2019-03-19 Medtronic Minimed, Inc. Infusion devices and related methods and systems for regulating insulin on board
DE102014207807A1 (de) * 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Personenbezogene Fahrerunterstützung
US9283847B2 (en) 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US9656606B1 (en) 2014-05-30 2017-05-23 State Farm Mutual Automobile Insurance Company Systems and methods for alerting a driver to vehicle collision risks
FR3022726A1 (fr) * 2014-06-18 2015-12-25 Sebastien Andre Rene Descamps Dispositif d'amplification autonome pour instrument de musique
US9696806B2 (en) 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9262924B2 (en) 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
US20140320402A1 (en) 2014-07-14 2014-10-30 Immersion Corporation Self calibration for haptic devices
US9830782B2 (en) * 2014-09-02 2017-11-28 Apple Inc. Haptic notifications
JP2016078602A (ja) * 2014-10-15 2016-05-16 ヤンマー株式会社 作業車両
US9827904B2 (en) * 2014-10-20 2017-11-28 Immersion Corporation Systems and methods for enhanced continuous awareness in vehicles using haptic feedback
US9290174B1 (en) 2014-10-23 2016-03-22 GM Global Technology Operations LLC Method and system for mitigating the effects of an impaired driver
CN204215357U (zh) * 2014-11-11 2015-03-18 深圳市视晶无线技术有限公司 操作器突出显示系统
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9836124B2 (en) * 2014-12-31 2017-12-05 Harman International Industries, Incorporated Techniques for dynamically changing tactile surfaces of a haptic controller to convey interactive system information
GB2534164B (en) * 2015-01-14 2018-11-14 Jaguar Land Rover Ltd Vehicle interface device
KR102301621B1 (ko) * 2015-01-16 2021-09-14 삼성전자주식회사 스타일러스 펜, 터치 패널 및 이들을 구비한 좌표 측정 시스템
US10099608B2 (en) 2015-01-16 2018-10-16 Ford Global Technologies, Llc Haptic vehicle alert based on wearable device
US9595250B2 (en) 2015-01-22 2017-03-14 Paul Ierymenko Handheld vibration control device for musical instruments
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US10275029B2 (en) 2015-06-22 2019-04-30 Accenture Global Solutions Limited Directional and awareness guidance device
US20170021762A1 (en) 2015-07-22 2017-01-26 Denso International America, Inc. Haptic System And Method Of Controlling A Haptic System
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
JP6576225B2 (ja) 2015-11-27 2019-09-18 クラリオン株式会社 車両用報知装置および車両用報知方法
US10235848B2 (en) 2015-12-09 2019-03-19 Immersion Corporation Public network transmission of haptic effect signals
DE102016200897A1 (de) 2016-01-22 2017-07-27 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum zumindest teilweise automatisierten Fahren
US10013858B2 (en) 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
FR3048544B1 (fr) 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
US9983775B2 (en) 2016-03-10 2018-05-29 Vignet Incorporated Dynamic user interfaces based on multiple data sources
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US20170336903A1 (en) * 2016-05-19 2017-11-23 Ciena Corporation Touch and pressure sensitive surface with haptic methods for blind probe alignment
US9827811B1 (en) 2016-07-14 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicular haptic feedback system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005047327A (ja) 2003-07-31 2005-02-24 Nissan Motor Co Ltd コマンド入力装置
JP2015079289A (ja) 2013-10-15 2015-04-23 株式会社デンソー 触覚提示装置
WO2015086919A2 (fr) 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉野 数馬,触覚フィードバックのある2.5次元タッチスクリーン,ロボティクス・メカトロニクス 講演会2014 講演論文集,一般社団法人 日本機械学会,2014年05月24日,3P2-E07(1)~3P2-E07(3)

Also Published As

Publication number Publication date
CN109476318A (zh) 2019-03-15
JP7144400B2 (ja) 2022-09-29
EP3488326A4 (en) 2020-01-01
US20190243450A1 (en) 2019-08-08
EP3488325A4 (en) 2020-01-08
EP3488427A4 (en) 2019-12-25
EP3488427B1 (en) 2023-04-05
JP6954989B2 (ja) 2021-10-27
CN109477721A (zh) 2019-03-15
WO2018017933A1 (en) 2018-01-25
US20190235630A1 (en) 2019-08-01
US11126263B2 (en) 2021-09-21
US11392201B2 (en) 2022-07-19
WO2018017210A1 (en) 2018-01-25
WO2018017934A1 (en) 2018-01-25
JP6949938B2 (ja) 2021-10-13
WO2018017212A1 (en) 2018-01-25
US11275442B2 (en) 2022-03-15
JP2019527431A (ja) 2019-09-26
JP2019530049A (ja) 2019-10-17
EP3488184A4 (en) 2019-12-25
WO2018017932A1 (en) 2018-01-25
US20190268693A1 (en) 2019-08-29
CN109478354A (zh) 2019-03-15
EP3487280A1 (en) 2019-05-29
JP2019527430A (ja) 2019-09-26
US20190227631A1 (en) 2019-07-25
EP3488326A1 (en) 2019-05-29
JP7248568B2 (ja) 2023-03-29
EP3487280B1 (en) 2022-03-30
US10671170B2 (en) 2020-06-02
CN109478102B (zh) 2022-09-23
CN109476318B (zh) 2022-06-24
US20190276051A1 (en) 2019-09-12
US10890975B2 (en) 2021-01-12
JP2019523498A (ja) 2019-08-22
CN109478354B (zh) 2022-02-08
EP3488184B1 (en) 2023-03-22
CN109475079B (zh) 2023-03-14
JP6944513B2 (ja) 2021-10-06
US20190283780A1 (en) 2019-09-19
US10915175B2 (en) 2021-02-09
EP3488184A1 (en) 2019-05-29
JP2022075801A (ja) 2022-05-18
EP3487739B1 (en) 2022-03-23
JP2019527432A (ja) 2019-09-26
EP3487739A4 (en) 2019-12-25
EP3488325B1 (en) 2023-04-19
CN109564464B (zh) 2024-01-09
CN109564464A (zh) 2019-04-02
EP3488427A1 (en) 2019-05-29
EP3487739A1 (en) 2019-05-29
EP3488325A1 (en) 2019-05-29
EP3488326B1 (en) 2024-01-03
CN109478102A (zh) 2019-03-15
JP2019523497A (ja) 2019-08-22
EP3487280A4 (en) 2019-12-25
CN109475079A (zh) 2019-03-15
WO2018018003A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP6992045B2 (ja) 触覚誘導システム
CN106027749B (zh) 车辆、移动终端及其控制方法
US10339711B2 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
US9975483B1 (en) Driver assist using smart mobile devices
CN109906423B (zh) 姿势输入系统及姿势输入方法、电子设备
US20180335626A1 (en) Apparatus and method for controlling display of hologram, vehicle system
CN108137096B (zh) 用于停放车辆的系统
GB2501575A (en) Interacting with vehicle controls through gesture recognition
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
JP2013149257A (ja) 適応インターフェースシステム
JP6769194B2 (ja) 車両用制御装置
JP6723494B1 (ja) 情報提示装置、情報提示方法、及び、情報提示プログラム
US10528146B2 (en) Method for controlling a vehicle system
CN110692030A (zh) 可穿戴的触觉反馈
KR102274334B1 (ko) 홀로그램을 이용한 사용자 반응형 차량 제어 방법, 장치 및 시스템
US20250115186A1 (en) Digital rear mirror for easy operation based on button or sensor, and operating method of the same
US20250138542A1 (en) Systems and methods for activating an external interface and enabling vehicle movement
WO2024197031A1 (en) Systems and methods for device positioning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190204

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6992045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250