JP6910455B2 - 機載システムを制御する方法及び装置 - Google Patents

機載システムを制御する方法及び装置 Download PDF

Info

Publication number
JP6910455B2
JP6910455B2 JP2019545747A JP2019545747A JP6910455B2 JP 6910455 B2 JP6910455 B2 JP 6910455B2 JP 2019545747 A JP2019545747 A JP 2019545747A JP 2019545747 A JP2019545747 A JP 2019545747A JP 6910455 B2 JP6910455 B2 JP 6910455B2
Authority
JP
Japan
Prior art keywords
gesture
steering wheel
driver
finger
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019545747A
Other languages
English (en)
Other versions
JP2020509489A (ja
Inventor
ジャオ,シンユィ
リィウ,チョンピン
ス,ホショアイ
スゥ,ヨンファン
ジャン,ゼォシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020509489A publication Critical patent/JP2020509489A/ja
Application granted granted Critical
Publication of JP6910455B2 publication Critical patent/JP6910455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50Systems of measurement, based on relative movement of the target
    • G01S15/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/60Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50Systems of measurement, based on relative movement of the target
    • G01S15/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/62Sense-of-movement determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1434Touch panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/1468Touch gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • B60K2360/48Sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/782Instrument locations other than the dashboard on the steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/04Hand wheels
    • B62D1/06Rims, e.g. with heating means; Rim covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Steering Controls (AREA)
  • Position Input By Displaying (AREA)

Description

本願は、“METHOD AND APPRATUS FOR CONTROLLING ONBOARD SYSTEM”と題されて、2017年2月27日付けで中国国家知識産権局に出願された中国特許出願第201710106795.8号の優先権を主張するものであり、この中国特許出願は、その全文を参照により本願に援用される。
本発明の実施形態は、車両エレクトロニクスの分野に、より具体的には、機載システムを制御する方法及び装置に関係がある。
車両安全標準及び車両エレクトロニクス化レベルの継続的な改善、並びに運転安全性に対する人々の要求の高まりに伴って、車両電子マーケットの安定成長は大いに推進されている。
従来の車両では、異なる機能を実行するために、例えば、音楽が再生される場合に歌の切り替え、再生、又は一時停止などの機能を実行するために、あるいは、車載ナビゲーションが表示される場合に車内ディスプレイ上で地図のサイズを制御することなどの機能を実行するために、異なる機能操作が、ステアリング・ホイール、車内のセンター・コンソール、又は他の場所に配置されたファンクション・キーを使用することによって実行される必要がある。しかし、ステアリング・ホイール、車内のセンター・コンソール、又は他の場所でのファンクション・キーの位置は固定されており、調整不可能であり、ファンクション・キーの個数が多くなったり、いくつかのファンクション・キーがステアリング・ホイールの位置から相対的に遠くなったりし得る。そのため、ドライバは、車両を運転しているときに、対応する操作を実行することに気を取られなければならず、交通事故の危険性がある。従って、車両エレクトロニクスに関して、より安全で、より信頼でき、且つ、より簡単な操作方法が、ヒトとコンピュータとの相互作用において必要とされる。
本発明の実施形態は、機載システムを制御する方法及び装置を提供する。ドライバによって実行されるいくつかのジェスチャのタイプが、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され、異なるタイプのジェスチャに対応する操作が、ジェスチャのタイプに基づき機載システムに対して実行され、それにより、車両を運転中のドライバのいくつかの機能操作要件は望ましく満足され、運転安全性は確保され、車両とヒトとの間の相互作用はより近づく。
一態様によれば、機載システムを制御する方法が提供される。方法は、ドライバがステアリング・ホイールを把持している最中に、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定することと、現在のジェスチャの軌道に基づき、前もってセットされたジェスチャタイプから現在のジェスチャのタイプを決定することと、現在のジェスチャのタイプに対応する操作を実行するよう機載システムを制御することとを含む。
本発明のこの実施形態において、ドライバが手を使ってステアリング・ホイールを把持するとき、ドライバによって実行されるいくつかのジェスチャのタイプは、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され得、異なるタイプのジェスチャに対応する操作は、ジェスチャのタイプに基づき機載システムに対して実行され、それにより、車両を運転中のドライバのいくつかの機能操作要件は望ましく満足され、運転安全性は確保され、車両とヒトとの間の相互作用はより近づく。
第1の態様を参照して、第1の態様の第1の実施において、複数のセンサがステアリング・ホイールに取り付けられる。複数のセンサは複数の超音波センサである。ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定することは、ある期間内に複数の超音波センサによって収集された超音波信号を取得することと、収集された超音波信号から反射信号を選択することと、現在のジェスチャの軌道を決定するよう、選択された反射信号に基づき、ある期間内にドライバの手又は指の位置を確認することを含む。
本発明のこの実施形態において、反射信号は、現在のジェスチャの軌道を正確に決定するために、超音波信号内で決定される。
第1の態様又は第1の態様の第1の実施を参照して、第1の態様の第2の実施において、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定することより前に、方法は、ステアリング・ホイールが回転状態にあるかどうかを判定することを更に含む。ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定することは、ステアリング・ホイールが非回転状態にあるときに、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定することを含む。
第1の態様又は第1の態様の第1及び第2の実施のうちいずれか1つを参照して、第1の態様の第3の実施において、ジャイロスコープがステアリング・ホイールに取り付けられる。ステアリング・ホイールが回転状態にあるかどうかを判定することは、ステアリング・ホイールが回転状態にあるかどうかをジャイロスコープに基づき判定することを含む。
本発明のこの実施形態において、ステアリング・ホイールが回転状態にあるかどうかは、ステアリング・ホイールが回転状態にあるときにドライバのジェスチャを識別することを回避して、ジェスチャ識別の正確さを確かにするために、決定される。
第1の態様又は第1の態様の第1乃至第3の実施のうちいずれか1つを参照して、第1の態様の第4の実施において、前もってセットされたジェスチャタイプは、次のジェスチャタイプ:2本の指を内側又は外側にスライドすること、2本の指を時計回り又は反時計回りにスライドすること、1本の指を上、下、左、及び右へスライドすること、1本の指でダブルクリックすること、片手を振ること、ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること、並びに2本の指でダブルクリックすること、のうちの少なくとも1つを含む。
第1の態様又は第1の態様の第1乃至第4の実施のうちいずれか1つを参照して、第1の態様の第5の実施において、ステアリング・ホイールの外周は複数のサウンド・ホールを設けられている。複数のサウンド・ホールは、複数の超音波センサと一対一の対応にある。サウンド・ホールの方向は、ドライバの手又は指の活動エリアと、超音波信号のカバレッジとに基づき決定される。
第1の態様の第5の実施を参照して、第1の態様の第6の実施において、耐水通気薄膜が超音波センサとサウンド・ホールとの間に配置される。耐水通気薄膜は、水蒸気がサウンド・ホールを通って超音波センサに入ることを防ぐよう構成される。
本発明のこの実施形態において、耐水通気薄膜は、ジェスチャ識別の正確さを確かにするために、水蒸気が超音波センサに入ることを防ぐことができる。
第2の態様によれば、機載システムを制御する装置が提供される。装置は、ドライバがステアリング・ホイールを把持している最中に、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定するよう構成される第1決定モジュールと、現在のジェスチャの軌道に基づき、前もってセットされたジェスチャタイプから現在のジェスチャのタイプを決定するよう構成される第2決定モジュールと、現在のジェスチャのタイプに対応する操作を実行するよう機載システムを制御するよう構成される制御モジュールとを含む。
第2の態様を参照して、第2の態様の第1の実施において、複数のセンサがステアリング・ホイールに取り付けられる。複数のセンサは複数の超音波センサである。第1決定モジュールは特に、ある期間内に前記複数の超音波センサによって収集された超音波信号を取得し、収集された超音波信号から反射信号を選択し、現在のジェスチャの軌道を決定するよう、選択された反射信号に基づき、ある期間内にドライバの手又は指の位置を確認するよう構成される。
第2の態様又は第2の態様の第1の実施を参照して、第2の態様の第2の実施において、装置は、ステアリング・ホイールが回転状態にあるかどうかを判定するよう構成される第3決定モジュールを更に含む。第1決定モジュールは特に、ステアリング・ホイールが非回転状態にあるときに、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定するよう構成される。
第2の態様又は第2の態様の第1及び第2の実施のうちいずれか1つを参照して、第2の態様の第3の実施において、ジャイロスコープがステアリング・ホイールに取り付けられる。第3決定モジュールは特に、ステアリング・ホイールが回転状態にあるかどうかをジャイロスコープに基づき判定するよう構成される。
第2の態様又は第2の態様の第1乃至第3の実施のうちいずれか1つを参照して、第2の態様の第4の実施において、前もってセットされたジェスチャタイプは、次のジェスチャタイプ:2本の指を内側又は外側にスライドすること、2本の指を時計回り又は反時計回りにスライドすること、1本の指を上、下、左、及び右へスライドすること、1本の指でダブルクリックすること、片手を振ること、前記ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること、並びに2本の指でダブルクリックすること、のうちの少なくとも1つを含む。
第2の態様又は第2の態様の第1乃至第4の実施のうちいずれか1つを参照して、第2の態様の第5の実施において、ステアリング・ホイールの外周は複数のサウンド・ホールを設けられている。複数のサウンド・ホールは、複数の超音波センサと一対一の対応にある。サウンド・ホールの方向は、ドライバの手又は指の活動エリアと、超音波信号のカバレッジとに基づき決定される。
第2の態様の第5の実施を参照して、第2の態様の第6の実施において、耐水通気薄膜が超音波センサとサウンド・ホールとの間に配置される。耐水通気薄膜は、水蒸気がサウンド・ホールを通って超音波センサに入ることを防ぐよう構成される。
第3の態様によれば、機載システムを制御する装置が提供される。装置は、メモリ及びプロセッサを含む。メモリは、プログラムコードを記憶するよう構成される。プロセッサは、第1の態様及び第1の態様の実施に従う方法を実装するようにプログラムコードを呼び出すよう構成される。
第4の態様によれば、コンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は命令を記憶する。命令がコンピュータで実行されるとき、コンピュータは、上記の態様に従う方法を実行することを可能にされる。
本発明の実施形態において、ドライバによって実行されるいくつかのジェスチャのタイプは、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され、異なるタイプのジェスチャに対応する操作が、ジェスチャのタイプに基づき機載システムに対して実行され、それにより、機載システムに対するドライバの異なる操作は実施され、ドライバは大いに助けられ、運転安全性は確保される。
本発明の実施形態に従って機載システムを制御する方法の略フローチャートである。 本発明の実施形態に従う第1ジェスチャの適用の概略図である。 本発明の実施形態に従う第2ジェスチャの適用の概略図である。 本発明の実施形態に従う第3ジェスチャの適用の概略図である。 本発明の実施形態に従う第4ジェスチャの適用の概略図である。 本発明の実施形態に従う第5ジェスチャの適用の概略図である。 本発明の実施形態に従う第6ジェスチャの適用の概略図である。 本発明の実施形態に従う第7ジェスチャの適用の概略図である。 本発明の実施形態に従ってステアリング・ホイールの外周上に設けられたサウンド・ホールの概略図である。 本発明の実施形態に従ってステアリング・ホイールに取り付けられた超音波センサの概略図である。 本発明の実施形態に従うフレキシブル印刷回路基板(FPCB)のレイアウトフォームの概略図である。 本発明の実施形態に従って機載システムを制御する方法の他の略フローチャートである。 本発明の実施形態に従って機載システムを制御する装置の略ブロック図である。 本発明の実施形態に従って機載システムを制御する装置の他の略ブロック図である。
以下は、添付の図面を参照して、本発明の実施形態における技術的解決法について説明する。
従来の車両では、ドライバは、異なるファンクション・キーを使用することによって、異なる機能操作を実施する必要がある。例えば、マルチメディア再生中の音量調整などの機能は、ステアリング・ホイール上のキーを使用することによって実施され、車載電話機を備えた車両では、ステアリング・ホイール上のキーは、電話に出ることなどの機能を更に実装することができ、あるいは、ナビゲーション表示機能、車内温度調整機能、又は他の機能は、車内のセンター・コンソール上のキーを使用することによって実装可能である。しかし、車両内には多数のファンクション・キーが存在し、ファンクション・キーの位置は固定されており、多くのファンクション・キーの位置がドライバから比較的に遠いことなどが起こり得る。そのため、ドライバの通常運転中に、ドライバがいくつかのファンクション・キーに対して操作を実行する必要がある場合に、ドライバは気を散らされる可能性があり、交通事故が起こりやすい。
上記の問題を解決するために、本発明の実施形態は、機載システムを制御する方法を提供する。ドライバのジェスチャは、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され、それにより、車両の運転中にドライバによって必要とされるいくつかの機能操作は、都合良く且つ高速に実施され得、車両とヒトとの間の相互作用は、より近くなる。
図1は、本発明の実施形態に従って機載システムを制御する方法100の略フローチャートである。図1に示される方法100は、次のステップの一部又は全てを含む。
110:ドライバがステアリング・ホイールを把持している最中に、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定する。
120:現在のジェスチャの軌道に基づき、前もってセットされたジェスチャタイプから現在のジェスチャのタイプを決定する。
現在のジェスチャのタイプに対応する操作を実行するよう機載システムを制御する。
具体的に、ドライバが手を使ってステアリング・ホイールを把持する場合に、ドライバによって実行されるジェスチャのタイプは、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され得、異なるタイプのジェスチャに対応する操作は、ジェスチャのタイプに基づき機載システムに対して実行される。プロセス全体で、ドライバの手は、ステアリング・ホイールを把持した状態のままである可能性があり、いくつかのジェスチャは、ドライバの何本かの指又は片方の手のみを使用することによって実行される必要があり、それにより、異なる機能操作が実施され得、車両の運転中のドライバのいくつかの機能操作要件が望ましく満足され、運転安全性が確保され、車両とヒトとの間の相互作用がより近づく。
本発明のこの実施形態における機載システムは、機載ヘッド・アップ・ディスプレイ(Head Up Display,HUD)であっても、あるいは、機載ナビゲーションシステム、機載メニューシステム、及び機載マルチメディアシステム、又は他の機載システムであってもよいことが理解されるべきである。これは、本発明のこの実施形態で制限されない。
任意に、いくつかの実施形態において、センサは、ステアリング・ホイールの外周上に取り付けられ得る。
任意に、いくつかの実施形態において、複数のセンサが存在してもよい。複数のセンサは、センサアレイを形成するよう直列に接続される。
センサの具体的な数量は、ステアリング・ホイールのサイズによって決定されても、あるいは、ジェスチャ識別に必要とされる精度によって決定されてもよいことが理解されるべきである。例えば、ドライバによって実行されるジェスチャが正確に識別される必要がある場合に、センサの数量は適切に増やされ得る。
任意に、いくつかの実施形態において、センサは超音波センサであってよい。
任意に、いくつかの実施形態において、複数の超音波センサがやはり存在してもよい。複数の超音波センサの具体的な数量は、ステアリング・ホイールのサイズによって決定されても、あるいは、ジェスチャ識別の精度によって決定されてもよい。複数の超音波センサは、超音波センサアレイを形成するよう直列に接続される。
本発明のこの実施形態において、ドライバによって実行されるジェスチャは、ジェスチャを識別するために、超音波多点位置決め原理に従って位置決めされることが理解されるべきである。
センサが超音波センサである場合に、超音波センサは送信端として使用されても、あるいは、受信端として使用されてもよいことが理解されるべきである。
任意に、いくつかの実施形態において、センサが超音波センサである場合に、超音波センサによって受信される超音波信号は、ドライバによって実行されるジェスチャの信号を含むことができ、更には、何らかの他の干渉信号、例えば、固定発動機の雑音信号及び他の機械構造の雑音信号、並びに非超音波センサによって送信される、他の周波数を有する信号を含む可能性がある。
任意に、いくつかの実施形態において、超音波センサの受信端によって受信される超音波信号は、ある期間内の超音波信号であることができ、例えば、サンプリング期間内の超音波信号であることができる。このようにして、処理される必要があるデータのボリュームが比較的に大きく、データを処理することが困難であるという問題は、回避され得る。
任意に、いくつかの実施形態において、サンプリング期間のパラメータは、超音波センサにおいて前もってセットされ得る。ユーザは、サンプリング期間の長さを自由にセットしても、あるいは、信号速度に基づき超音波センサにおいてサンプリング期間の長さを前もってセットしてもよい。
サンプリング期間は連続的であっても、あるいは、インターバルを有してもよいことが理解されるべきである。
サンプリング期間が連続的である場合に、超音波センサによって受信される超音波信号の時間がサンプリング期間に達するとき、超音波センサでデータを記憶するユニットは、サンプリング期間に収集された超音波信号を自動的にプロセッサへ送信し、記憶ユニット内の超音波信号を空にすることができ、あるいは、記憶ユニットが現在収集されているデータ信号を処理する必要がないときには、記憶ユニットは、次のサンプリング期間に収集される超音波信号を記憶する準備をするために、そのサンプリング期間に受信された超音波信号を直接に削除してもよい。
サンプリング期間がインターバルを有している場合に、割り込みが実施のために超音波センサにおいてセットされ得る。サンプリング時間が現在のサンプリング期間に達するとき、超音波センサでデータを記憶するユニットは同じく、サンプリング期間内の超音波信号を自動的にプロセッサへ送信し、記憶ユニット内の超音波信号を空にし得る。2つのサンプリング期間の間の内部時間内に、超音波センサ内の割り込みが起動される。超音波センサは超音波信号を送受信し始める。この方法は、超音波信号が長期間作動状態にあることを防ぎ、超音波センサのエネルギ消費を減らすことができる。
割り込み時間インターバルは、ユーザによってセットされても、あるいは、超音波センサにおいて前もってセットされてもよい。これは、本発明のこの実施形態で制限されない。
任意に、いくつかの実施形態において、超音波センサが超音波信号を受信した後、反射信号が超音波信号内で決定され得る。例えば、超音波信号の伝播距離は、超音波信号の位相差及び遅延パラメータに基づき決定され得、超音波信号内の反射信号は、最終的に、超音波信号の異なる信号伝播距離に基づき決定される。反射信号は、ドライバによって実行されているジェスチャを識別するための有用な信号である。
任意に、いくつかの実施形態において、反射信号のいくつかは、ドライバの手又は指の活動エリア外の信号であり得る。ドライバの手又は指の活動エリア外の信号は、ドライバのジェスチャの識別に対する干渉を引き起こす。そのため、ドライバの手又は指の活動エリア内の反射信号が更に、反射信号の位相差及び遅延パラメータに基づき決定され得る。ドライバの手又は指の活動エリア内の反射信号は、ジェスチャの最終的な識別に必要な信号である。
任意に、いくつかの実施形態において、反射信号が超音波信号内で決定される前に、方法100は、超音波センサの受信端が超音波信号を受信するときに、受信された超音波信号を最初に事前判定することと、超音波信号を送信することから超音波信号を受信することまでの時間長が前もってセットされた条件を満たすときに、受信された超音波信号を記憶することと、前もってセットされた条件が満足されないときに、現在の超音波信号を超音波センサによって記憶することをスキップすることと、次の期間に超音波信号を受信し、該超音波信号を事前判定することとを更に含む。前もってセットされた条件は、ユーザによって前もってセットされた時間閾値であってよい。超音波信号を送信することから超音波信号を受信することまでの時間長が前もってセットされた時間閾値よりも長い場合には、超音波信号は前もってセットされた条件を満足すると決定され得る。
本発明のこの実施形態において、事前判定するステップを通じて、反射されずに超音波センサの受信端に直接に入る受信された超音波信号の一部は、前もって除去され得、それによって、ジェスチャ識別時間が短縮され、ジェスチャ識別効率が改善される。
事前判定するステップを通じて、超音波信号の一部は除去され得るが、超音波信号内で反射されない全ての信号が除去され得るわけではないことが理解されるべきである。ステップは、ただ事前判定だけである。超音波信号が前もってセットされた条件を満足しないと決定されるとき、受信された超音波信号はそれ以上処理されず、ジェスチャ識別効率が改善される。
任意に、いくつかの実施形態において、超音波センサの受信端によって受信された超音波信号が事前判定される前に、方法100は、ステアリング・ホイールが回転状態にあるかどうかを判定することと、ステアリング・ホイールが非回転状態にある場合に、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバのジェスチャを識別することとを更に含む。
ドライバはステアリング・ホイールを操作するので、例えば、曲がるか又は車線変更するときにステアリング・ホイールを操作するので、通常は、ステアリング・ホイールは回転状態にあると理解されるべきである。この場合に、機載システムに対するドライバの操作の可能性は非常に低い。その上、ドライバがステアリング・ホイールを操作する場合に、ドライバの手の置き位置は、ジェスチャに対するセンサの識別に影響を及ぼすことがある。そのため、ステアリング・ホイールが回転状態にある場合には、ドライバのジェスチャは識別されない。
任意に、いくつかの実施形態において、ステアリング・ホイールが回転状態にあるかどうかを判定することは、ステアリング・ホイールに配置されているジャイロスコープによって行われ得る。具体的に、ステアリング・ホイールが回転状態にあるかどうかは、ジャイロスコープによって取得されたデータ情報に基づき判定され得る。
任意に、いくつかの実施形態において、超音波センサによって受信される超音波信号は、他の干渉信号を更に含む。そのため、ドライバのジェスチャをより効率的且つ正確に識別するよう、反射信号が超音波信号内で決定される前に、超音波信号内の干渉信号が更に除去される必要がある。
任意に、いくつかの実施形態において、超音波センサによって受信される超音波信号は、固有周波数を有するいくつかの干渉信号、例えば、エンジンの音及び他の機械構造の雑音を含むことがある。雑音信号は、固有周波数を有する信号である。そのため、時間領域及び周波数領域変換が、固有周波数を有する雑音信号に対して行われ得る。次いで、固有周波数を有する雑音信号は、帯域通過フィルタを使用することによって除去される。
任意に、いくつかの実施形態において、固有周波数を有する雑音信号が除去された後、得られた超音波信号は何らかの他の信号を更に含むことがある。他の信号は、超音波センサによって送信されていない。超音波センサによって送信された信号は、固有周波数を有する信号である。そのため、他の信号の周波数は、超音波センサによって送信された信号のそれらと異なる。時間領域及び周波数領域変換が、他の信号の周波数に対して行われ得る。他の周波数を有する信号は、帯域通過フィルタを使用することによって除去される。
固有雑音信号を除去するステップと、他の周波数を有する信号を除去するステップとの間には、明確な順序がないことが理解されるべきである。その上、本発明のこの実施形態では、2つのステップのうちの一方しか実行されなくてもよく、あるいは、2つのステップの両方ともが実行される。両方のステップを実行することは、受信された超音波信号において全ての干渉信号を除去し、ジェスチャ識別の正確さを確保することができる。従って、これは、本発明のこの実施形態において一例として使用される。しかし、本発明のこの実施形態は、それに限られない。
任意に、いくつかの実施形態において、反射信号が超音波信号内で決定された後、期間内のドライバの手又は指が、期間内の反射信号に基づき位置決めされ得る。例えば、期間内のドライバの手又は指の位置の座標は、超音波多点位置決め原理に従って決定され得る。
任意に、いくつかの実施形態において、期間内のドライバの手又は指が位置決めされた後、ドライバの現在のジェスチャの軌道が、得られた位置情報に基づき決定され得る。例えば、関数あてはめが、あてはめられた関数曲線を得るために、期間内のドライバの手又は指の位置の座標に対して実行され得る。あてはめられた関数曲線が、ドライバの現在のジェスチャの軌道である。
任意に、いくつかの実施形態において、現在のジェスチャのタイプが、現在のジェスチャの決定された軌道に基づき、前もってセットされたジェスチャタイプから決定され得る。
例えば、現在のジェスチャの軌道の関数曲線は、データベース内の関数曲線と比較されてよく、現在のジェスチャの軌道の関数曲線と最も良く一致している関数曲線が、データベース内の関数曲線から選択される。最も良く一致している関数曲線に対応するジェスチャタイプが、現在のジェスチャのタイプである。
任意に、いくつかの実施形態において、前もってセットされたジェスチャタイプは、次のジェスチャタイプ:
2本の指を内側又は外側にスライドすること;
2本の指を時計回り又は反時計回りにスライドすること;
1本の指を上、下、左、及び右へスライドすること;
1本の指でダブルクリックすること;
片手を振ること;
ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること;並びに
2本の指でダブルクリックすること
のうちの少なくとも1つを含むことができる。
2本の指は左手及び右手の同じ指であると理解されるべきである。例えば、2本の指で内側にスライドすることは、左手の親指及び右手の親指で内側にスライドすることであり、2本の指で時計回りにスライドすることは、左の親指及び右手の親指で時計回りにスライドすることである。1本の指は、左手又は右手の任意の指であることができ、片手は、左手又は右手のどちらか一方であることができる。
ドライバが車両を運転するとき、手は、通常はステアリング・ホイールに置かれており、親指以外の指は、通常はステアリング・ホイールを把持する状態にあり、親指は、通常は自由に動かすことができると理解されるべきである。そのため、本発明のこの実施形態では、親指のみが、様々なジェスチャを詳細に記載するために一例として使用される。しかし、本発明のこの実施形態は、それに限られない。
ジェスチャタイプの管理を容易にするよう、前述のジェスチャの中の、2本の指を内側又は外側にスライドするジェスチャは、第1ジェスチャと標記され、2本の指を時計回り又は反時計回りにスライドすることは、第2ジェスチャと標記され、1本の指を上、下、左、及び右へスライドすることは、第3ジェスチャと標記され、1本の指でダブルクリックすることは、第4ジェスチャと標記され、片手を振ることは、第5ジェスチャと標記され、ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすることは、第6ジェスチャと標記され、2本の指でダブルクリックすることは、第7ジェスチャと標記される。
前もってセットされたジェスチャタイプの記載は、前もってセットされたジェスチャタイプを制限するよう意図されないことが理解されるべきである。その後の開発段階で、研究者は、他の機能を制御するジェスチャを、前もってセットされたジェスチャタイプに更に加えることができる。本発明のこの実施形態では、7つのジェスチャのみが、前もってセットされたジェスチャを詳細に記載するために一例として使用される。しかし、本発明のこの実施形態は、それに限られない。
図2は、本発明の実施形態に従う第1ジェスチャの適用の概略図である。第1ジェスチャは、2本の指を内側又は外側にスライドすることであり、機載システムの表示サイズ又は表示されている内容のサイズを制御することができる。
図2に示されるように、2本の指を内側又は外側にスライドするジェスチャは、HUDを制御するために使用され、HUDの表示サイズを制御すること、HUDに表示されている情報のフォントサイズを制御すること、などができる。例えば、ジェスチャは、車両のフロントガラス上のHUDの表示サイズを制御するために使用され得る。代替的に、ドライバが、車両が燃料の補給を受ける必要があるかどうかを判定するために、燃料消費情報に注意を払う必要がある場合に、ジェスチャにおいて2本の指を外側にスライドすることは、ドライバが見やすくなるように、HUDに表示されている情報、例えば、燃料消費及び車両速度、のフォントサイズを拡大することができる。
図2に示されるように、2本の指を内側又は外側にスライドするジェスチャが、機載ナビゲーションシステムを制御するために使用される場合に、機載の中央制御ディスプレイ画面に表示されている地図のサイズは、ジェスチャを実行することによって調整され得る。いくつかの道路状況が複雑であるか、あるいは、車両が車線を変更したり又は曲がったりする必要がある場合に、ジェスチャにおいて2本の指を外側にスライドすることは、ドライバがいつでも地図内の比較的小さいマークを見るのを助けるよう、地図を拡大することができる。道路状況が比較的良好であるか、あるいは、車両が高速道路を走っている場合に、ジェスチャにおいて2本の指を内側にスライドすることは、地図を縮小することができる。
図2に示されるように、2本の指を内側又は外側にスライドするジェスチャが機載メニューシステムを制御するために使用される場合に、機載の中央制御ディスプレイ画面上のメニューのフォントサイズは、ジェスチャを実行することによって調整され得る。例えば、ドライバが高齢者であるか、又は比較的視力が弱い場合に、2本の指を外側にスライドすることは、ドライバが見やすくなるように、機載システムのメニューのフォントを拡大することができる。
図3は、本発明の実施形態に従う第2ジェスチャの適用の概略図である。第2ジェスチャは、2本の指を時計回り又は反時計回りにスライドすることであり、機載システムにおける表示されている内容の視角の変換を制御することができる。
図3に示されるように、2本の指を時計回り又は反時計回りにスライドするジェスチャが、HUDに表示されている道路状況を制御するために使用される場合に、2本の指を時計回り又は反時計回りにスライドすることは、HUDに表示されている道路状況を参照してディスプレイの取付角度を調整することができる。
図3に示されるように、2本の指を時計回り又は反時計回りにスライドするジェスチャが、機載ナビゲーションシステムを制御するために使用される場合に、2本の指を時計回り又は反時計回りにスライドすることは、ドライバが地図内で特定の建物又は特定の道路状況を見る必要があるときに、機載ナビゲーションシステムの地図を上面図、正面図、又は他の視角でのビューに切り替えることができる。
図4は、本発明の実施形態に従う第3ジェスチャの適用の概略図である。第3ジェスチャは、1本の指を上、下、左、及び右へスライドすることであり、機載システムのディスプレイ位置を制御するとともに、メニューの選択肢の選択又はマルチメディアシステムにおける選択肢の操作などの機能を実装することができる。
図4に示されるように、1本の指を上、下、左、及び右へスライドするジェスチャが、HUDを制御するために使用される場合に、車両のフロントガラス上に表示されているHUDの位置を制御する機能が実装され得る。例えば、1本の指を上、下、左、及び右へスライドするジェスチャは、ドライバの身長及び運転席にいるドライバの異なる眼球位置に基づき、HUDのディスプレイ位置を調整することができる。
図4に示されるように、1本の指を上、下、左、及び右へスライドするジェスチャが、機載ナビゲーションシステムを制御するために使用される場合に、機載の中央制御ディスプレイ画面に表示されている地図の位置を制御する機能が実装され得る。例えば、1本の指は、現在地の上にある何らかの位置情報を見るために上方向にスライドすることができ、1本の指は、現在地の左にある何らかの位置情報を見るために左方向にスライドすることができる、などが可能である。
図4に示されるように、1本の指を上、下、左、及び右へスライドするジェスチャが、機載メニューシステムを制御するために使用される場合に、メニュー内の特定の選択肢を選択する機能が実装され得る。例えば、1本の指は、現在の選択肢の次の選択肢を選ぶために下方向にスライドすることができ、1本の指は、現在の選択肢の右にある選択肢を選ぶために右方向にスライドすることができる、などが可能である。
図4に示されるように、1本の指を上、下、左、及び右へスライドするジェスチャが、マルチメディアシステムを制御するために使用される場合に、マルチメディアシステムにおける特定の選択肢の操作を制御する機能が実装され得る。例えば、マルチメディアシステムが音楽を再生するために使用される場合に、1本の指を上方向にスライドすることは、前の歌を再生するよう制御することができ、1本の指を下方向にスライドすることは、次の歌を再生するよう制御することができ、1本の指を左方向にスライドすることは、音量を下げることができ、1本の指を右方向にスライドすることは、音量を上げることができる、などが可能である。
図5は、本発明の実施形態に従う第4ジェスチャの適用の概略図である。第4ジェスチャは、1本の指でダブルクリックすることであり、機載システムにおいて異なる選択肢に入ること又は再生の一時停止、などの機能を実装することができる。
図5に示されるように、1本の指でダブルクリックするジェスチャは、HUDを制御するために使用され、異なる表示内容の選択肢に入る機能を実装することができる。例えば、1本の指で一度ダブルクリックすることを行うことで速度選択肢に入ることができ、次いで、1本の指でもう一度ダブルクリックすることを行うことで燃料消費選択肢に入ることができる、などが可能である。
図5に示されるように、1本の指でダブルクリックするジェスチャが、機載ナビゲーションシステムを制御するために使用される場合に、例えば、現在地の近くにある商家又はユーザの目的とする建物の位置を検索する機能が実装され得る。例えば、商家又は他の建物の位置は、1本の指で一度ダブルクリックすることを行うことで見ることができ、次いで、別の商家又は建物は、1本の指でもう一度ダブルクリックすることを行うことで切り替えられ得る。
図5に示されるように、1本の指でダブルクリックすることが、機載メニューの表示を制御するために使用される場合に、メニュー内の特定の選択肢に入る機能が実装され得る。
図5に示されるように、1本の指でダブルクリックすることが、マルチメディアシステムを制御するために使用される場合に、一時停止の機能が実装され得る。例えば、歌が再生される場合に、1本の指でダブルクリックすることは、再生を一時停止することができる。
図6は、本発明の実施形態に従う第5ジェスチャの適用の概略図である。第5ジェスチャは、片手を振ることであり、機載システムにおいて異なるアプリケーション又は異なるモードの間の切り替えを制御することができる。
図6に示されるように、片手を振るジェスチャがHUDを制御するために使用される場合に、異なる表示内容がジェスチャを実行することによって切り替えられ得る。例えば、HUDが現在リアルタイムの燃料消費を表示している場合に、平均燃料消費が、片手を振ることを行うことで切り替えられ得る。
図6に示されるように、片手を振るジェスチャが、機載の中央制御ディスプレイ画面を制御するために使用される場合に、機載の中央制御ディスプレイ画面上の異なるアプリケーションが、片手を振ることを行うことで切り替えられ得る。例えば、機載の中央制御ディスプレイ画面が現在機載ナビゲーションの地図を表示している場合に、ラジオ放送などの他のアプリケーションが、片手を振ることを行うことで切り替えられ得る。
図6に示されるように、片手を振るジェスチャが、機載メニューシステムを制御するために使用される場合に、異なる設定モードが、ジェスチャを実行することによって切り替えられ得る。例えば、車両が現在一般モードにある場合に、安全性モードが、片手を振ることを行うことで切り替えられ得る。
図6に示されるように、片手を振るジェスチャが、マルチメディアシステムを制御するために使用される場合に、異なるアプリケーションが、ジェスチャを実行することによって切り替えられ得る。例えば、マルチメディアシステムが現在音楽を再生している場合に、音楽再生は、片手を振ることを行うことで、ビデオ再生、画像、などへ切り替えられ得る。
図7は、本発明の実施形態に従う第6ジェスチャの適用の概略図である。第6ジェスチャは、ステアリング・ホイールの内側に沿って1本の指をタッチ及びスライドすることであり、前のメニューに戻る機能又はアプリケーションから出る機能を実装することができる。
図7に示されるように、ステアリング・ホイールの内側に沿って1本の指をタッチ及びスライドするジェスチャが、HUDを制御するために使用される場合に、ジェスチャを実行することによって、現在の表示内容から前のメニューに戻ることが可能である。
図7に示されるように、ステアリング・ホイールの内側に沿って1本の指をタッチ及びスライドするジェスチャが、機載ナビゲーションシステムを制御するために使用される場合に、ジェスチャを実行することによって、機載ナビゲーションシステムから出ることが可能である。
図7に示されるように、ステアリング・ホイールの内側に沿って1本の指をタッチ及びスライドするジェスチャが、機載メニューシステムを制御するために使用される場合に、ジェスチャを実行することによって、機載メニューシステムから出ることが可能である。
図7に示されるように、ステアリング・ホイールの内側に沿って1本の指をタッチ及びスライドするジェスチャが、マルチメディアシステムを制御するために使用される場合に、ジェスチャを実行することによって、マルチメディアシステムから出ることが可能である。
図8は、本発明の実施形態に従う第7ジェスチャの適用の概略図である。第7ジェスチャは、2本の指でダブルクリックすることであり、アプリケーションを閉じる機能及びジェスチャ識別モードを開始又は中止する機能を実装することができる。
図8に示されるように、2本の指でダブルクリックするジェスチャが、HUDを制御するために使用される場合に、HUDは、ジェスチャを実行することによって直接閉じられ得、あるいは、ジェスチャ識別モードは、ジェスチャを実行することによって開かれたり閉じられたりし得る。
図8に示されるように、2本の指でダブルクリックするジェスチャが、機載ナビゲーションシステムの表示を制御するために使用される場合に、ナビゲーションモードは、ジェスチャを実行することによって直接閉じられ得、あるいは、ジェスチャ識別モードは、ジェスチャを実行することによって開かれたり閉じられたりし得る。
図8に示されるように、2本の指でダブルクリックするジェスチャが、機載メニューシステムの表示を制御するために使用される場合に、ジェスチャ識別モードは、ジェスチャを実行することによって開かれたり閉じられたりし得る。
図8に示されるように、2本の指でダブルクリックするジェスチャが、マルチメディアシステムを制御するために使用される場合に、ジェスチャ識別モードは、ジェスチャを実行することによって開かれたり閉じられたりし得る。
任意に、いくつかの実施形態において、ジェスチャ識別モードが複数の表示モードの間で切り替えられる、例えば、HUDから機載ナビゲーション表示モードへ切り替えられる必要がある場合に、最上位のメニューに戻るまで、ステアリング・ホイールの内側に沿ってタッチ及びスライドするジェスチャを実行することによって、1階層ずつ前のメニューに戻ることができる。最上位のメニューまで戻った後、ステアリング・ホイールの内側に沿ってタッチ及びスライドするジェスチャが再び実行され得る。機載の中央制御ディスプレイ画面は、複数のモードの選択メニュー、例えば、4つのモード、すなわち、HUD、機載ナビゲーション表示モード、機載メニュー表示モード、及びマルチメディア表示モードを提示する選択メニューを提示する。この場合に、異なるモードは、1本の指を上、下、左、及び右へスライドするジェスチャを実行することによって選択され得る。
任意に、いくつかの実施形態において、ステアリング・ホイールの外周は、複数のサウンド・ホールを設けられている。複数のサウンド・ホールは、音響センサと一対一の対応にある。
図9は、本発明の実施形態に従ってステアリング・ホイールの外周上に設けられるサウンド・ホールの概略図である。
図9に示されるように、複数のサウンド・ホールが存在し得る。複数のサウンド・ホールは、ステアリング・ホイールの外周上に均等に分布している。
任意に、いくつかの実施形態において、センサが超音波センサである場合に、サウンド・ホールの数量は少なくとも2つである。
任意に、いくつかの実施形態において、サウンド・ホールは、超音波センサと一対一の対応にある。
図10は、本発明の実施形態に従ってステアリング・ホイールに取り付けられる超音波センサの概略図である。
図10に示されるように、耐水通気薄膜10が、サウンド・ホール05と超音波センサ15との間に配置される。耐水通気薄膜は、水蒸気、例えば、ドライバの手の汗又は空気中の水蒸気がサウンド・ホール05を通って超音波センサ15に入り、超音波センサ15の正常な動作に影響を及ぼすことを防ぐよう構成される。
任意に、いくつかの実施形態において、超音波センサ15は、表面実装技術(Surface Mount Technology,SMT)によりフレキシブル印刷回路基板(FPCB)20に取り付けられる。
図11は、本発明の実施形態に従うフレキシブル印刷回路基板FPCのレイアウトフォームの概略図である。
図11に示されるように、FPCは、マイクロプロセッサへの接続を実装するよう、ステアリング・ホイールの外周ブラケットを通ってステアリング・ホイールのシャフトへ配線される。
図10に示されるように、補強板25がFPC20の後ろに取り付けられる。補強板25は、超音波センサを補強するとともに、ねじ30により超音波センサ15及びFPC20を固定するよう構成される。
図10に示されるように、サウンド・ホール05の方向は、ドライバの手又は指の活動エリアと、超音波センサの視野(Field of View,FOV)、すなわち、超音波信号のカバレッジとに基づき、決定され得る。
図12は、本発明の実施形態に従って機載システムを制御する方法200の略フローチャートである。方法200において、ステアリング・ホイールに取り付けられているセンサは、超音波センサである。図12に示されるように、方法200は、次のステップのいくつか又は全てを含む。
200:超音波センサを初期化する。
任意に、いくつかの実施形態において、初期化は、超音波センサの電源をオンし、超音波センサのパラメータを設定すること、例えば、超音波センサのサンプリング時間長を設定すること、及び超音波センサの割り込みを設定することを含む。
210:ステアリング・ホイールが回転状態にあるかどうかを判定する。
任意に、いくつかの実施形態において、ジャイロスコープがステアリング・ホイールに取り付けられてもよい。ジャイロスコープは、ジャイロスコープによって収集されたデータ情報に基づき、ステアリング・ホイールが回転状態にあるかどうかを判定し得る。ステアリング・ホイールが回転状態にある場合には、超音波センサによって送信される超音波信号は収集される必要がなくてよい。具体的に言えば、ドライバによって行われるジェスチャは、ジェスチャ識別の精度を確保するために、識別されない。
220:超音波信号を事前判定する。
任意に、いくつかの実施形態において、超音波センサの受信端がある期間内で超音波信号を受信した後、その期間内の超音波信号は、超音波信号を送信することから超音波信号を受信することまでの時間長が前もってセットされた条件を満足するかどうかを判定するよう事前判定され得る。前もってセットされた条件は、超音波信号を送信することから超音波信号を受信することまでの時間長が、前もってセットされた時間閾値以上であることである。時間長が前もってセットされた条件を満足する場合に、受信された超音波信号は記憶され、更に処理され得る。時間長が前もってセットされた条件を満足しない場合には、超音波センサは、現在の超音波信号を記憶せず、次の期間に再び超音波信号を受信し事前判定する。
本発明のこの実施形態において、超音波信号は、ジェスチャ識別の役に立たない超音波信号内の信号を前もって除去し、ジェスチャ識別精度を確保するために、事前判定され得る。
230:固有雑音信号をキャンセルする。
任意に、いくつかの実施形態において、固有雑音信号は、車両エンジンの雑音信号又は他の機械構造の雑音信号であることができる。
任意に、いくつかの実施形態において、時間領域及び周波数領域変換が、固有周波数を有する雑音信号に対して実行され得る。次いで、固有周波数を有する雑音信号は、帯域通過フィルタを使用することによって除去される。
240:干渉信号をキャンセルする。
任意に、いくつかの実施形態において、干渉信号は、超音波センサによって送信された信号ではない。従って、干渉信号は、ドライバのジェスチャの識別にとって不要な信号である。時間領域及び周波数領域変換が干渉信号に対して実行され得る。干渉信号は、帯域通過フィルタを使用することによって除去され、超音波センサによって送信された超音波信号のみが残る。
250:反射信号を決定する。
任意に、いくつかの実施形態において、固有雑音信号及び干渉信号が除去された後、超音波信号内の残りの信号は全て、超音波センサによって送信された信号である。超音波信号は、直接信号及び反射信号を含む。直接信号は、超音波センサの送信端から送信され、如何なる物体によっても反射されずに超音波センサの受信端に直接入る。従って、直接信号は、ジェスチャ識別にとって不要な信号である。反射信号は、超音波センサの送信端から送信され、物体によって反射された後に受信端に入る信号である。超音波を反射する物体は、ドライバの手又は指であるかもしれないし、あるいは、他の物体であるかもしれない。反射信号において、ドライバの手又は指によって反射された信号は、ジェスチャ識別のための最終の望ましい信号である。
任意に、いくつかの実施形態において、超音波信号の伝播距離は、超音波信号の位相差及び遅延パラメータを使用することによって計算され得、次いで、超音波信号内の反射信号は、異なる伝播距離に基づき決定される。反射信号が決定された後、反射信号の伝播距離は、反射信号の位相差及び遅延パラメータを使用することによって計算され、それによって、ドライバの手又は指によって反射される反射信号の中の信号、具体的に言えば、ドライバの手又は指の活動エリア内の反射信号を決定することができる。信号は、ジェスチャ識別のための最終の望ましい信号である。
260:ある時点での現在のジェスチャの輪郭情報を、その時点での反射信号の位置情報に基づき決定し、輪郭情報が有効であるかどうかを判定する。
ある時点でのドライバの手又は指の活動エリア内の反射信号の位置情報は、反射信号を使用することによって決定される。ある時点での現在のジェスチャの輪郭情報は、位置情報に基づき決定される。輪郭情報は、前もって記憶されている輪郭情報と比較される。類似度が前もってセットされた閾値以上である場合に、輪郭情報は有効な輪郭情報と見なされ得る。具体的に言えば、輪郭情報は、ヒトの手又は指の輪郭情報であり、それによって、反射信号に対するその後の処理が、反射信号によって表されるジェスチャを決定するよう実行される。輪郭情報が有効でない場合には、その後の処理は、ジェスチャ識別時間を短くするよう、反射信号に対して行われなくてもよい。
ドライバの手又は指の輪郭情報は、得られた反射信号がドライバの手又は指によって反射された反射信号であるかどうかを判定するよう決定され、それによってジェスチャ識別精度を更に確保する。
270:ドライバの現在のジェスチャの軌道を決定する。
任意に、いくつかの実施形態において、反射信号が超音波信号から決定された後、期間内のドライバの手又は指が、期間内の反射信号に基づき位置決めされ得る。例えば、期間内のドライバの手又は指の位置の座標が、超音波多点位置決め原理に従って決定され得る。
任意に、いくつかの実施形態において、期間内のドライバの手又は指が位置決めされた後、ドライバの現在のジェスチャの軌道が、得られた位置情報に基づき決定され得る。例えば、関数あてはめが、あてはめられた関数曲線を得るよう、期間内のドライバの手又は指の位置の座標に対して実行され得る。あてはめられた関数曲線が、ドライバの現在のジェスチャの軌道である。
280:現在のジェスチャのタイプを決定する。
任意に、実施形態において、現在のジェスチャのタイプは、現在のジェスチャの決定された軌道に基づき、前もってセットされたジェスチャタイプから決定され得る。
例えば、現在のジェスチャの軌道の関数曲線は、データベース内の関数曲線と比較されてよく、現在のジェスチャの軌道の関数曲線と最も良く一致している関数曲線が、データベース内の関数曲線から選択される。最も良く一致している関数曲線に対応するジェスチャタイプが、現在のジェスチャのタイプである。
任意に、いくつかの実施形態において、前もってセットされたジェスチャタイプは、次のジェスチャタイプ:
2本の指を内側又は外側にスライドすること;
2本の指を時計回り又は反時計回りにスライドすること;
1本の指を上、下、左、及び右へスライドすること;
1本の指でダブルクリックすること;
片手を振ること;
ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること;並びに
2本の指でダブルクリックすること
のうちの少なくとも1つを含むことができる。
290:現在のジェスチャのタイプに対応する操作を実行するよう、現在のジェスチャのタイプに基づき機載システムを制御する。
本発明のこの実施形態における機載システムは、機載ヘッド・アップ・ディスプレイ(Head Up Display,HUD)、機載ナビゲーションシステム、機載メニューシステム、及び機載マルチメディアシステム、又は他の機載システムであることができる。これは、本発明のこの実施形態で制限されない。
本発明の実施形態のうち方法の実施形態は、図1乃至図12を参照して先に詳細に記載されている。以下は、本発明の実施形態において機載システムを制御する装置の実施形態について図13及び図14を参照して詳細に記載する。機載システムを制御する装置の実施形態は、方法の実施形態に対応することが留意されるべきである。同様の記載については、方法の実施形態を参照されたい。
図13は、本発明の実施形態に従って機載システムを制御する装置300の略ブロック図である。図13に示されるように、装置は、次のモジュール:
ドライバがステアリング・ホイールを把持している最中に、ステアリング・ホイールに取り付けられたセンサを使用することによってドライバの現在のジェスチャの軌道を決定するよう構成される第1決定モジュール310;
現在のジェスチャの軌道に基づき、前もってセットされたジェスチャタイプから現在のジェスチャのタイプを決定するよう構成される第2決定モジュール320;及び
現在のジェスチャのタイプに対応する操作を実行するように機載システムを制御するよう構成される制御モジュール330
のいくつか又は全てを含む。
具体的に、ドライバが手を使ってステアリング・ホイールを把持する場合に、ドライバによって実行されるジェスチャのタイプは、ステアリング・ホイールに取り付けられたセンサを使用することによって識別され得、異なるタイプのジェスチャに対応する操作は、ジェスチャのタイプに基づき機載システムに対して実行される。プロセス全体で、ドライバの手は、ステアリング・ホイールを把持した状態のままである可能性があり、いくつかのジェスチャは、ドライバの何本かの指又は片方の手のみを使用することによって実行される必要があり、それにより、異なる機能操作が実施され得、車両の運転中のドライバのいくつかの機能操作要件が大いに助けられ、運転安全性が確保され、車両とヒトとの間の相互作用がより近づく。
本発明のこの実施形態における機載システムは、機載ヘッド・アップ・ディスプレイ(Head Up Display,HUD)であっても、あるいは、機載ナビゲーションシステム、機載メニューシステム、及び機載マルチメディアシステム、又は他の機載システムであってもよいことが理解されるべきである。これは、本発明のこの実施形態で制限されない。
任意に、いくつかの実施形態において、センサは、ステアリング・ホイールの外周上に取り付けられ得る。
任意に、いくつかの実施形態において、複数のセンサが存在してもよい。複数のセンサは、センサアレイを形成するよう直列に接続される。
センサの具体的な数量は、ステアリング・ホイールのサイズによって決定されても、あるいは、ジェスチャ識別に必要とされる精度によって決定されてもよいことが理解されるべきである。例えば、ドライバによって実行されるジェスチャが正確に識別される必要がある場合に、センサの数量は適切に増やされ得る。
任意に、いくつかの実施形態において、センサは超音波センサであってよい。
任意に、いくつかの実施形態において、複数の超音波センサがやはり存在してもよい。複数の超音波センサの具体的な数量は、ステアリング・ホイールのサイズによって決定されても、あるいは、ジェスチャ識別の精度によって決定されてもよい。複数の超音波センサは、超音波センサアレイを形成するよう直列に接続される。
ジェスチャは超音波多点位置決め原理に従って特定されることが理解されるべきである。従って、超音波センサの数量は少なくとも2つである。
センサが超音波センサである場合に、超音波センサは送信端として使用されても、あるいは、受信端として使用されてもよいことが理解されるべきである。
任意に、いくつかの実施形態において、センサが超音波センサである場合に、超音波センサは、具体的に、ある期間内に複数の超音波センサによって収集される超音波信号を取得し、収集された超音波信号から反射信号を選択し、選択された反射信号に基づきある期間内のドライバの手又は指の位置を確認して、現在のジェスチャの軌道を決定するよう構成される。
任意に、いくつかの実施形態において、装置300は、第3決定モジュール340を更に含む。第3決定モジュール340は、ステアリング・ホイールが回転状態にあるかどうかを判定するよう構成される。
任意に、いくつかの実施形態において、前もってセットされたジェスチャタイプは、次のジェスチャタイプ:
2本の指を内側又は外側にスライドすること;
2本の指を時計回り又は反時計回りにスライドすること;
1本の指を上、下、左、及び右へスライドすること;
1本の指でダブルクリックすること;
片手を振ること;
ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること;並びに
2本の指でダブルクリックすること
のうちの少なくとも1つを含む。
任意に、いくつかの実施形態において、ステアリング・ホイールの外周は、複数のサウンド・ホールを設けられる。複数のサウンド・ホールは、複数の超音波センサと一対一の対応にある。サウンド・ホールの方向は、ドライバの手又は指の活動エリア及び超音波信号のカバレッジに基づき決定される。
任意に、いくつかの実施形態において、耐水通気薄膜が超音波センサとサウンド・ホールとの間に配置される。耐水通気薄膜は、水蒸気がサウンド・ホールを通って超音波センサに入ることを防ぐよう構成される。
本発明のこの実施形態に従って機載システムを制御する装置は、本発明の実施形態において機載システムを制御する方法に対応することができ、機載システムを制御する装置300のモジュールの上記及び他の動作及び/又は機能は、図1及び図12の方法の対応するプロシージャを夫々実装することが理解されるべきである。簡潔さのために、詳細はここで再びは記載されない。
図14は、本発明の実施形態に従って機載システムを制御する装置400の略構造図である。図14に示されるように、装置400は、メモリ410及びプロセッサ420を含む。メモリ410及びプロセッサ420は、互いと通信し、内部接続パスを通じて制御及び/又はデータ信号を受け渡す。
メモリ410は、プログラムコードを記憶するよう構成される。
プロセッサ420は、プログラムコードを呼び出して、本発明の実施形態の中の前述の実施形態における方法を実装するよう構成される。
本発明のこの実施形態において、プロセッサ420は、中央演算処理装置(Central Processing Unit,CPU)、ネットワーク・プロセッサ(network processor,NP)、又はCPUとNPとの組み合わせであってよい。プロセッサは、ハードウェア・チップを更に含んでもよい。前記のハードウェア・チップは、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、プログラム可能論理デバイス(programmable logic device,PLD)、又はそれらの組み合わせであってよい。
本発明の実施形態は、コンピュータプログラムのコードを記憶するよう構成されるコンピュータ可読記憶媒体を提供する。コンピュータプログラムは、図1乃至図12の本発明の実施形態における機載システムの制御方法を実行するために使用される命令を含む。可読記憶媒体は、リード・オンリー・メモリ(read-only memory,ROM)又はランダム・アクセス・メモリ(random access memory,RAM)であってよい。これは、本発明のこの実施形態で制限されない。
本発明の実施形態のいくつか又は全ては、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせによって実装され得る。ソフトウェアが実施形態を実装するために使用される場合に、実施形態は、完全に又は部分的にコンピュータプログラム製品の形で実装されてよい。コンピュータプログラム製品は、1つ以上のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータにロードされ実行される場合に、本発明の実施形態に従うプロセス又は機能の全て又はいくつかが実現される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータ・ネットワーク、又は他のプログラム可能な装置であってよい。コンピュータ命令は、コンピュータ可読媒体に記憶されても、又はコンピュータ可読記憶媒体から他のコンピュータ可読記憶媒体へ送信されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンターから他のウェブサイト、コンピュータ、サーバ、又はデータセンターへ有線(例えば、同軸ケーブル、光ファイバ、若しくはデジタル加入者回線(Digital Subscriber Line,DSL))又は無線(例えば、赤外線、電波、及びマイクロ波)で送信され得る。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な如何なる使用可能な媒体であっても、あるいは、1つ以上の使用可能な媒体を組み込む、サーバ若しくはデータセンターなどのデータ記憶デバイスであってもよい。使用可能な媒体は、磁気媒体(例えば、フロッピー・ディスク、ハード・ディスク、磁気テープ)、光学媒体(例えば、デジタル・ビデオ・ディスク(Digital Video Disc,DVD))、又は半導体媒体(例えば、ソリッド・ステート・ディスク(Solid State Disc,SSD))などであってよい。
本発明のこの実施形態に従って機載システムを制御する装置は、本発明の実施形態において機載システムを制御する方法に対応することができ、機載システムを制御する装置400のモジュールの上記及び他の動作及び/又は機能は、図1及び図12の方法の対応するプロシージャを夫々実装することが理解されるべきである。簡潔さのために、詳細はここで再びは記載されない。
本明細書中の語「及び/又は」は、関連するオブジェクトについて記載する単なる関連関係を記載し、3つの関係が存在する可能性があることを表す。例えば、A及びBは、次の3つの場合を表し得る:Aのみが存在する、A及びBの両方が存在する、Bのみが存在する。その上、本明細書中の文字「/」は、一般に、関連するオブジェクトの間の“論理和”関係を示す。
当業者は、本明細書で開示される実施形態で記載される例と組み合わせて、ユニット及びアルゴリズムステップが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実装され得ると気付くことができる。機能がハードウェア又はソフトウェアによって実行されるかどうかは、技術的解決法の設計制約条件及び特定の用途に依存する。当業者は、夫々の特定の用途のために、記載されている機能を実装すべく異なる方法を使用し得るが、実装は、本発明の実施形態の適用範囲を越えることが考えられるべきではない。
便宜上及び簡潔な記載のために、前述のシステム、装置、及びユニットの詳細な作動プロセスについては、前述の方法の実施形態における対応するプロセスを参照されたく、詳細はここで再びは記載されないことが当業者によって明りょうに理解され得る。
本発明で提供されるいくつかの実施形態において、開示されているシステム、装置、及び方法は、他の様態で実装されてもよいことが理解されるべきである。例えば、記載されている装置の実施形態は一例にすぎない。例えば、ユニット分割は、単に、論理的な機能分割であり、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントは他のシステムに結合又は一体化されてもよく、あるいは、いくつかの機能は無視されるか又は実行されなくてもよい。その上、表示又は議論されている相互結合又は直接的な結合若しくは通信接続は、何らかのインターフェイスを使用することによって実施されてもよい。装置又はユニット間の間接的な結合又は通信接続は、電気的な、機械的な、又は他の形で実施されてもよい。
別個の部分として記載されているユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示されている部分は、物理的なユニットでもあってもなくてもよく、一箇所に位置していても、又は複数のネットワークユニットに分布していてもよい。ユニットのいくつか又は全ては、実施形態の解決法の目的を達成すべく、実際の要件に基づき選択され得る。
その上、本発明の実施形態における機能ユニットは、1つの処理ユニットに一体化されてもよく、あるいは、ユニットの夫々は物理的に単独で存在してもよく、あるいは、2つ以上のユニットが1つのユニットに一体化される。
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用される場合に、機能はコンピュータ可読記憶媒体に記憶されてもよい。そのような理解に基づき、本発明の実施形態の技術的解決法は本質的に、又は先行技術に寄与する部分、若しくは技術的解決法のいくつかは、ソフトウェア製品の形で実装され得る。コンピュータソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で記載されている方法のステップの全て又は一部を実行するようにコンピュータ装置(パーソナル・コンピュータ、サーバ、又はネットワークデバイスであってよい。)に指示するためのいくつかの命令を含む。前記の記憶媒体は、USBフラッシュ・ドライブ、リムーバブル・ハード・ディスク、リード・オンリー・メモリ(Read-Only Memory,ROM)、ランダム・アクセス・メモリ(Random Access Memory,RAM)、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶することができる如何なる媒体も含む。
前述の記載は、本発明の実施形態の具体的な実施にすぎず、本発明の実施形態の保護範囲を制限する意図はない。本発明の実施形態で開示されている技術的範囲内で当業者によって容易に想到される如何なる変形又は置換も、本発明の実施形態の保護範囲内にあるべきである。従って、本発明の実施形態の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

Claims (12)

  1. 機載システムを制御する方法であって、
    ステアリング・ホイールに取り付けられた複数の超音波センサを使用することによって、ある期間内に超音波信号を取得することと、
    前記超音波信号から、前記ステアリング・ホイールを把持しているドライバの部分から反射された反射信号を選択すること、
    前記反射信号に基づいて前記ドライバの前記部分の輪郭情報を決定することと、
    前記輪郭情報に基づいて前記ドライバの現在のジェスチャの軌道を決定することと、
    前記現在のジェスチャの前記軌道に基づき、前もってセットされたジェスチャタイプから前記現在のジェスチャのタイプを決定することと、
    前記現在のジェスチャの前記タイプに対応する操作を実行するよう前記機載システムを制御することと
    を有する方法。
  2. 前記輪郭情報に基づいて前記ドライバの現在のジェスチャの軌道を決定することは
    前記現在のジェスチャの前記軌道を決定するよう、前記選択された反射信号に基づき、ある期間内前記ドライバの手又は指の位置を確認すること
    を有する、
    請求項1に記載の方法。
  3. 前記複数の超音波センサを使用することによって前記超音波信号を取得することより前に、当該方法は、前記ステアリング・ホイールが回転状態にあるかどうかを判定することを更に有し、
    前記超音波信号は、前記ステアリング・ホイールが非回転状態にあるときに、前複数の超音波センサを使用することによって取得される
    請求項1又は2に記載の方法。
  4. ジャイロスコープが前記ステアリング・ホイールに取り付けられ、
    前記ステアリング・ホイールが回転状態にあるかどうかを判定することは、前記ステアリング・ホイールが前記回転状態にあるかどうかを前記ジャイロスコープに基づき判定することを有する、
    請求項3に記載の方法。
  5. 前記前もってセットされたジェスチャタイプは、次のジェスチャタイプ、
    2本の指を内側又は外側にスライドすること、
    2本の指を時計回り又は反時計回りにスライドすること、
    1本の指を上、下、左、及び右へスライドすること、
    1本の指でダブルクリックすること、
    片手を振ること、
    前記ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること、並びに
    2本の指でダブルクリックすること
    のうちの少なくとも1つを有する、
    請求項1乃至4のうちいずれか一項に記載の方法。
  6. 前記ステアリング・ホイールの外周は複数のサウンド・ホールを設けられ、該複数のサウンド・ホールは、前記複数の超音波センサと一対一の対応にあり、前記サウンド・ホールの方向は、前記ドライバの手又は指の活動エリアと、前記超音波信号のカバレッジとに基づき決定される、
    請求項2に記載の方法。
  7. 機載システムを制御する装置であって、
    ステアリング・ホイールに取り付けられた複数の超音波センサを使用することによって、ある期間内に超音波信号を取得し、
    前記超音波信号から、前記ステアリング・ホイールを把持しているドライバの部分から反射された反射信号を選択し、
    前記反射信号に基づいて前記ドライバの前記部分の輪郭情報を決定し、
    前記輪郭情報に基づいて前記ドライバの現在のジェスチャの軌道を決定するよう構成される第1決定モジュールと、
    前記現在のジェスチャの前記軌道に基づき、前もってセットされたジェスチャタイプから前記現在のジェスチャのタイプを決定するよう構成される第2決定モジュールと、
    前記現在のジェスチャの前記タイプに対応する操作を実行するよう前記機載システムを制御するよう構成される制御モジュールと
    を有する装置。
  8. 記第1決定モジュールは特に
    前記現在のジェスチャの前記軌道を決定するよう、前記選択された反射信号に基づき、ある期間内前記ドライバの手又は指の位置を確認する
    よう構成される、
    請求項7に記載の装置。
  9. 当該装置は、前記ステアリング・ホイールが回転状態にあるかどうかを判定するよう構成される第3決定モジュールを更に有し、
    前記第1決定モジュールは特に、前記ステアリング・ホイールが非回転状態にあるときに、前複数の超音波センサを使用することによって前記超音波信号を取得するよう構成される、
    請求項7又は8に記載の装置。
  10. ジャイロスコープが前記ステアリング・ホイールに取り付けられ、
    前記第3決定モジュールは特に、前記ステアリング・ホイールが前記回転状態にあるかどうかを前記ジャイロスコープに基づき判定するよう構成される、
    請求項9に記載の装置。
  11. 前記前もってセットされたジェスチャタイプは、次のジェスチャタイプ、
    2本の指を内側又は外側にスライドすること、
    2本の指を時計回り又は反時計回りにスライドすること、
    1本の指を上、下、左、及び右へスライドすること、
    1本の指でダブルクリックすること、
    片手を振ること、
    前記ステアリング・ホイールの外周の内側に沿って1本の指をタッチ及びスライドすること、並びに
    2本の指でダブルクリックすること
    のうちの少なくとも1つを有する、
    請求項7乃至10のうちいずれか一項に記載の装置。
  12. 前記ステアリング・ホイールの外周は複数のサウンド・ホールを設けられ、該複数のサウンド・ホールは、前記複数の超音波センサと一対一の対応にあり、前記サウンド・ホールの方向は、前記ドライバの手又は指の活動エリアと、前記超音波信号のカバレッジとに基づき決定される、
    請求項8に記載の装置。
JP2019545747A 2017-02-27 2017-09-15 機載システムを制御する方法及び装置 Active JP6910455B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710106795.8A CN108509023A (zh) 2017-02-27 2017-02-27 车载系统的控制方法和装置
CN201710106795.8 2017-02-27
PCT/CN2017/101846 WO2018153067A1 (zh) 2017-02-27 2017-09-15 车载系统的控制方法和装置

Publications (2)

Publication Number Publication Date
JP2020509489A JP2020509489A (ja) 2020-03-26
JP6910455B2 true JP6910455B2 (ja) 2021-07-28

Family

ID=63253066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019545747A Active JP6910455B2 (ja) 2017-02-27 2017-09-15 機載システムを制御する方法及び装置

Country Status (6)

Country Link
US (3) US10884510B2 (ja)
EP (1) EP3570140B1 (ja)
JP (1) JP6910455B2 (ja)
KR (1) KR102288115B1 (ja)
CN (2) CN108509023A (ja)
WO (1) WO2018153067A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799508A (zh) * 2019-01-29 2019-05-24 肇庆奥迪威传感科技有限公司 车辆盲区监测装置、方法及系统
DE102021110691A1 (de) 2021-04-27 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Lenkrad und Verfahren zur Steuerung eines Fahrzeuges und Fahrzeug umfassend das Lenkrad
CN113589931A (zh) * 2021-07-30 2021-11-02 重庆长安汽车软件科技有限公司 手势功能展示模块、车内手势系统及汽车
CN113844265A (zh) * 2021-08-20 2021-12-28 识瓴电子科技(南通)有限责任公司 车辆控制方法、装置及电子设备
CN115056745B (zh) * 2021-12-16 2024-05-17 博泰车联网科技(上海)股份有限公司 车辆、控制车辆的方法以及识别车辆外部手势的方法
DE102022128277A1 (de) 2022-10-25 2024-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Anzeigen einer Textmeldung in einem Fahrzeug

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035339B2 (ja) * 1989-11-30 2000-04-24 エヌシーアール インターナショナル インコーポレイテッド 通過人数の計数方法
JPH08254431A (ja) * 1995-03-16 1996-10-01 Aqueous Res:Kk 車両の切れ角検出装置
JP2004138481A (ja) * 2002-10-17 2004-05-13 Matsushita Electric Ind Co Ltd 位置測定装置およびこれを用いたロボット
GB0810179D0 (en) 2008-06-04 2008-07-09 Elliptic Laboratories As Object location
JP5206433B2 (ja) * 2009-01-13 2013-06-12 セイコーエプソン株式会社 入力装置及び入力方法
US9272724B2 (en) * 2009-09-08 2016-03-01 Golomb Mercantile Company Llc Integrated vehicle control system and apparatus
US8886407B2 (en) * 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
JP2013218391A (ja) * 2012-04-05 2013-10-24 Pioneer Electronic Corp 操作入力装置、操作入力方法、及び、操作入力プログラム
JP2014038409A (ja) * 2012-08-13 2014-02-27 Nec Casio Mobile Communications Ltd 電子機器、プログラム、及び、入力受付方法
KR101585387B1 (ko) * 2012-11-27 2016-01-14 네오노드, 인크. 스티어링 휠 및 대시보드에서 광선-기반 터치 컨트롤
KR20140079025A (ko) * 2012-12-18 2014-06-26 현대자동차주식회사 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
JP5488730B2 (ja) * 2013-02-20 2014-05-14 セイコーエプソン株式会社 入力装置及び入力方法
CN104276201A (zh) 2013-07-05 2015-01-14 鸿富锦精密工业(深圳)有限公司 方向盘、采用该方向盘的汽车及辅助系统
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
CA2929723C (en) * 2013-12-12 2020-09-15 Qualcomm Incorporated Micromechanical ultrasonic transducers and display
CN103699224A (zh) * 2013-12-16 2014-04-02 苏州佳世达光电有限公司 一种手势感应的方法和系统
US9939912B2 (en) 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
KR101561917B1 (ko) 2014-04-10 2015-11-20 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
US9972184B2 (en) * 2014-07-24 2018-05-15 State Farm Mutual Automobile Insurance Company Systems and methods for monitoring a vehicle operator and for monitoring an operating environment within the vehicle
US9720591B2 (en) * 2014-08-20 2017-08-01 Harman International Industries, Incorporated Multitouch chording language
CN105607770B (zh) 2014-11-13 2021-05-04 现代自动车株式会社 触摸输入装置以及包括该装置的车辆
CN105530365A (zh) * 2014-12-26 2016-04-27 比亚迪股份有限公司 一种车载电话系统及包含该系统的车辆
US10035539B2 (en) * 2014-12-31 2018-07-31 Harman International Industries, Incorporated Steering wheel control system
CN106289299A (zh) * 2015-05-22 2017-01-04 深圳市凯立德科技股份有限公司 一种导航设备及其操作方法
CN105389003A (zh) * 2015-10-15 2016-03-09 广东欧珀移动通信有限公司 一种移动终端应用程序的控制方法和装置
CN105260024B (zh) * 2015-10-15 2018-01-26 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN105373230A (zh) * 2015-11-12 2016-03-02 惠州华阳通用电子有限公司 一种车机手势识别方法及装置
US10210451B2 (en) * 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
GB2552984B (en) * 2016-08-17 2018-10-24 Ford Global Tech Llc An ultrasonic haptic control system
US20190354238A1 (en) * 2018-05-21 2019-11-21 UltraSense Systems, Inc. Ultrasonic touch detection and decision
US10466844B1 (en) * 2018-05-21 2019-11-05 UltraSense Systems, Inc. Ultrasonic touch and force input detection

Also Published As

Publication number Publication date
CN108509023A (zh) 2018-09-07
CN116279746A (zh) 2023-06-23
US20220137715A1 (en) 2022-05-05
EP3570140A4 (en) 2020-01-01
US10884510B2 (en) 2021-01-05
EP3570140A1 (en) 2019-11-20
KR20190113917A (ko) 2019-10-08
KR102288115B1 (ko) 2021-08-11
JP2020509489A (ja) 2020-03-26
US20190384413A1 (en) 2019-12-19
WO2018153067A1 (zh) 2018-08-30
EP3570140B1 (en) 2021-09-01
US20210103341A1 (en) 2021-04-08
US11847265B2 (en) 2023-12-19
US11275449B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
JP6910455B2 (ja) 機載システムを制御する方法及び装置
KR101585387B1 (ko) 스티어링 휠 및 대시보드에서 광선-기반 터치 컨트롤
US10007422B2 (en) Light-based controls in a toroidal steering wheel
US10466800B2 (en) Vehicle information processing device
CN106573627B (zh) 多点触控调和语言
JP2018150043A (ja) 自動車における情報伝送のためのシステム
EP3395600B1 (en) In-vehicle device
EP2857276A2 (en) Driver assistance system
JP2007106353A (ja) 車両用情報表示装置及び車両用情報表示システム
WO2013016213A1 (en) Steering wheel input device having gesture recognition and angle compensation capabilities
CN105700674A (zh) 手势识别设备、具有其的车辆以及用于控制车辆的方法
US20140320430A1 (en) Input device
CN111638786B (zh) 车载后排投影显示系统的显示控制方法、装置、设备及存储介质
KR101646551B1 (ko) 지문에 의한 차량 제어장치 및 그 방법
JP2015020677A (ja) 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム
CN116560529A (zh) 用户界面的操作方法及系统、存储介质、电子装置
CN117103992A (zh) 车辆信息的显示方法、装置、车辆及存储介质
CN106828358A (zh) 用于车载导航仪的输入方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210706

R150 Certificate of patent or registration of utility model

Ref document number: 6910455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150