JP6717537B2 - 操作制限制御装置及び操作制限制御方法 - Google Patents

操作制限制御装置及び操作制限制御方法 Download PDF

Info

Publication number
JP6717537B2
JP6717537B2 JP2020501928A JP2020501928A JP6717537B2 JP 6717537 B2 JP6717537 B2 JP 6717537B2 JP 2020501928 A JP2020501928 A JP 2020501928A JP 2020501928 A JP2020501928 A JP 2020501928A JP 6717537 B2 JP6717537 B2 JP 6717537B2
Authority
JP
Japan
Prior art keywords
restriction
control unit
operation input
state
restriction control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2020501928A
Other languages
English (en)
Other versions
JPWO2019163060A1 (ja
Inventor
篤史 前田
篤史 前田
加藤 真
真 加藤
匠 武井
匠 武井
直哉 馬場
直哉 馬場
紫織 伊藤
紫織 伊藤
尚嘉 竹裏
尚嘉 竹裏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6717537B2 publication Critical patent/JP6717537B2/ja
Publication of JPWO2019163060A1 publication Critical patent/JPWO2019163060A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148Instrument input by voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/168Target or limit values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741Instruments adapted for user detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、操作制限制御装置及び操作制限制御方法に関する。
従来、音声による操作入力(以下「音声操作入力」という。)を受け付ける操作入力装置(以下「第1操作入力装置」という。)及び手動による操作入力(以下「手動操作入力」という。)を受け付ける操作入力装置(以下「第2操作入力装置」という。)により操作自在な車載情報機器が開発されている。
また、車両が走行中であるか否かを判定して、車両が走行中であると判定された場合に手動操作入力を制限する機能が開発されている。これにより、車両の走行中に運転者による手動操作入力がなされるのを抑制することができる。
さらに、手動操作入力が制限された状態にて所定の音声が第1操作入力装置に入力されたとき、当該所定の音声の発話者が運転者であるか同乗者であるかを判定して、当該所定の音声の発話者が同乗者であると判定された場合に手動操作入力の制限を解除する機能が開発されている。これにより、同乗者による手動操作入力が可能となり、車載情報機器の操作性を向上することができる(例えば、特許文献1参照)。
特開2012−78497号公報
従来の車載情報機器においては、所定の音声が同乗者により発話されたとき、手動操作入力の制限が解除されて、同乗者が手動により車載情報機器を操作可能な状態となる。しかしながら、このとき、運転者も手動により車載情報機器を操作可能な状態となる。このため、手動操作入力を制限する機能の趣旨、すなわち車両の走行中に運転者による手動操作入力がなされるのを抑制するという趣旨が没却される問題があった。
本発明は、上記のような課題を解決するためになされたものであり、所定の音声が同乗者により発話されたときに同乗者による手動操作入力を可能としつつ、このときに運転者による手動操作入力がなされるのを抑制することを目的とする。
本発明の操作制限制御装置は、音声操作入力を受け付ける第1操作入力装置及び手動操作入力を受け付ける第2操作入力装置により操作自在な車載情報機器用の操作制限制御装置であって、車両が走行中である場合、手動操作入力の制限を有効状態に設定する第1操作制限制御部と、第1操作制限制御部により手動操作入力の制限が有効状態に設定された状態にて、手動操作入力の制限の解除に対応する音声コマンドが車両の同乗者により第1操作入力装置に入力されたとき、手動操作入力の制限を無効状態に設定する第2操作制限制御部と、第2操作制限制御部により手動操作入力の制限が無効状態に設定された状態にて、車両の運転者の視線が車載情報機器に向けられている状態の継続時間が第1基準時間を超えたとき、手動操作入力の制限を有効状態に設定する第3操作制限制御部とを備えるものである。
本発明によれば、上記のように構成したので、所定の音声が同乗者により発話されたときに同乗者による手動操作入力を可能としつつ、このときに運転者による手動操作入力がなされるのを抑制することができる。
実施の形態1に係る操作制限制御装置を含む制御装置の要部を示すブロック図である。 図2Aは、実施の形態1に係る操作制限制御装置を含む制御装置のハードウェア構成を示すブロック図である。図2Bは、実施の形態1に係る操作制限制御装置を含む制御装置の他のハードウェア構成を示すブロック図である。 実施の形態1に係る操作制限制御装置を含む制御装置の動作を示すフローチャートである。 実施の形態1に係る操作制限制御装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態1に係る操作制限制御装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態1に係る操作制限制御装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態1に係る操作制限制御装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態1に係る操作制限制御装置を含む制御装置の他の動作を示すフローチャートである。 実施の形態1に係る他の操作制限制御装置を含む制御装置の要部を示すブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、実施の形態1に係る操作制限制御装置を含む制御装置の要部を示すブロック図である。図1を参照して、実施の形態1の操作制限制御装置100について説明する。
図1に示す如く、車両1に車載情報機器2が搭載されている。車載情報機器2は、例えば、車両1のダッシュボード(より具体的にはセンタークラスター)に配置されている。車載情報機器2は、制御装置3、表示装置4、音声出力装置5、第1操作入力装置6及び第2操作入力装置7を有している。
制御装置3は、車両1用のカーナビゲーションに係る各種機能(以下「ナビゲーション機能」という。)又は車両1用のカーエンターテインメントに係る各種機能(以下「エンターテインメント機能」という。)のうちの少なくとも一方を有している。図1において、これらの機能に対応するブロックは図示を省略している。また、これらの機能による処理内容は公知であるため、詳細な説明は省略する。
ナビゲーション機能は、例えば、車両1の現在位置を算出する機能、車両1の目的地を設定する機能、当該算出された現在位置から当該設定された目的地までの経路を探索する機能、当該探索された経路のうちの案内対象となる経路を選択する機能、及び当該選択された経路を案内する機能などを含むものである。
エンターテインメント機能は、例えば、ラジオ放送による音声を再生する機能及びCD(Compact Disc)などの記録媒体に記録されている音声を再生する機能(以下、総称して「音声再生機能」という。)を含むものである。また、例えば、エンターテインメント機能は、テレビジョン放送による映像を再生する機能及びDVD(Digital Versatile Disc)などの記録媒体に記録されている映像を再生する機能(以下、総称して「映像再生機能」という。)を含むものである。
表示装置4は、制御装置3がナビゲーション機能を有するものである場合、ナビゲーション機能に係る各種画像を表示するものである。また、表示装置4は、制御装置3がエンターテインメント機能を有するものである場合、エンターテインメント機能に係る各種画像を表示するものである。表示装置4は、例えば、LCD(Liquid Crystal Display)又はOLED(Organic Electro Luminescence Display)などのディスプレイにより構成されている。
音声出力装置5は、制御装置3がナビゲーション機能を有するものである場合、ナビゲーション機能に係る各種音声を出力するものである。また、音声出力装置5は、制御装置3がエンターテインメント機能を有するものである場合、エンターテインメント機能に係る各種音声を出力するものである。音声出力装置5は、例えば、スピーカーにより構成されている。
第1操作入力装置6は、音声による操作入力、すなわち音声操作入力を受け付けるものである。車載情報機器2は、第1操作入力装置6により操作自在である。第1操作入力装置6は、例えば、アレーマイクにより構成されている。このアレーマイクは、複数個のマイクにより構成されている。
第2操作入力装置7は、手動による操作入力、すなわち手動操作入力を受け付けるものである。車載情報機器2は、第2操作入力装置7により操作自在である。第2操作入力装置7は、例えば、表示装置4と一体型のタッチパネルにより構成されている。または、例えば、第2操作入力装置7は、表示装置4に隣設されたハードウェアキーにより構成されている。
車載情報機器2は、車両1内のネットワーク8に接続されている。ネットワーク8は、例えば、CAN(Controller Area Network)規格又はLIN(Local Interconnect Network)規格に基づくものである。制御装置3は、ネットワーク8を介して、車両1における各種信号を取得する機能を有している。具体的には、例えば、制御装置3は、車速信号、パーキング信号、アクセサリ信号(以下「ACC信号」と記載する。)及びイグニッション信号(以下「IG信号」と記載する。)などを取得するものである。
また、車両1は車室内撮像用のカメラ9を有している。カメラ9は、例えば、可視光カメラ又は赤外線カメラにより構成されている。カメラ9は、車両1の車室内前方部に配置されており、より具体的には車載情報機器2に対する近傍の位置(例えばセンタークラスター)に配置されている。カメラ9は、車両1の運転者(以下、単に「運転者」という。)の顔及び車両1の助手席に着座している同乗者(以下「助手席同乗者」という。)の顔を含む範囲を前方から撮像するものである。制御装置3は、カメラ9による撮像画像を示す画像データをカメラ9から取得する機能を有している。
以下、制御装置3の要部について説明する。
視線検出部11は、カメラ9による撮像画像に対する画像認識処理を実行することにより、運転者の視線及び助手席同乗者の視線を検出するものである。
第1継続時間算出部12は、視線検出部11による視線検出の結果を用いて、運転者の視線が車載情報機器2に向けられているか否かを判定するものである。第1継続時間算出部12は、運転者の視線が車載情報機器2に向けられていると判定された場合、運転者の視線が車載情報機器2に向けられている状態の継続時間(以下「第1継続時間」という。)を算出するものである。第1継続時間算出部12は、当該算出された第1継続時間を示す情報を第1継続時間判定部41に出力するものである。
なお、運転者の視線が断続的に(すなわち短時間に複数回)車載情報機器2に向けられた場合、第1継続時間算出部12は、これらの時間の累積値を第1継続時間として算出するものであっても良い。
第2継続時間算出部13は、視線検出部11による視線検出の結果を用いて、運転者の視線が車載情報機器2に向けられているか否かを判定するものである。第2継続時間算出部13は、運転者の視線が車載情報機器2に向けられていないと判定された場合、運転者の視線が車載情報機器2に向けられていない状態の継続時間(以下「第2継続時間」という。)を算出するものである。第2継続時間算出部13は、当該算出された第2継続時間を示す情報を第2継続時間判定部51に出力するものである。
第3継続時間算出部14は、視線検出部11による視線検出の結果を用いて、助手席同乗者の視線が車載情報機器2に向けられているか否かを判定するものである。第3継続時間算出部14は、助手席同乗者の視線が車載情報機器2に向けられていないと判定された場合、助手席同乗者の視線が車載情報機器2に向けられていない状態の継続時間(以下「第3継続時間」という。)を算出するものである。第3継続時間算出部14は、当該算出された第3継続時間を示す情報を操作完了判定部61に出力するものである。
視線検出部11、第1継続時間算出部12、第2継続時間算出部13及び第3継続時間算出部14により、第1制御部10が構成されている。
走行状態判定部21は、車速信号、パーキング信号及びIG信号などを用いて、車両1が走行中であるか否かを判定するものである。
第1操作制限制御部22は、走行状態判定部21により車両1が走行中であると判定された場合、手動操作入力の制限を有効状態に設定するものである。他方、走行状態判定部21により車両1が走行中でないと判定された場合、第1操作制限制御部22は、手動操作入力の制限を無効状態に設定するものである。
手動操作入力の制限が無効状態に設定された状態においては、第2操作入力装置7による操作の入力がなされたとき、制御装置3は当該操作に対応する制御を実行する。すなわち、手動操作入力の制限が無効状態に設定されることにより、車載情報機器2に対する手動操作入力が有効な状態となる。これに対して、手動操作入力の制限が有効状態に設定された状態においては、第2操作入力装置7による操作の入力がなされたとき、制御装置3は当該操作に対応する制御を実行しない。すなわち、手動操作入力の制限が有効状態に設定されることにより、車載情報機器2に対する手動操作入力が無効な状態となる。
なお、手動操作入力の制限が有効状態に設定された状態において、第2操作入力装置7による操作の入力がなされたとき、制御装置3は、手動操作入力が制限されていることを示す警告用の画像を表示装置4に表示させるものであっても良い。または、このとき、制御装置3は、手動操作入力が制限されていることを示す警告用の音声を音声出力装置5に出力させるものであっても良い。
発話者判定部31は、第1操作制限制御部22により手動操作入力が無効状態に設定された状態にて、第1操作入力装置6に音声が入力されたとき、当該入力された音声(以下「入力音声」という。)の発話者が運転者であるか助手席同乗者であるかを判定するものである。図1において、第1操作制限制御部22と発話者判定部31間の接続線は図示を省略している。
例えば、第1操作入力装置6がアレーマイクにより構成されている場合、発話者判定部31は、複数個のマイクによる出力信号に対する音声信号処理を実行することにより、第1操作入力装置6に対する入力音声の到来方向を推定する。発話者判定部31は、当該推定された到来方向に基づき、入力音声が運転席にて発話されたものであるか助手席にて発話されたものであるかを判定する。入力音声が運転席にて発話されたものであると判定された場合、発話者判定部31は入力音声の発話者が運転者であると判定する。他方、入力音声が助手席にて発話されたものであると判定された場合、発話者判定部31は入力音声の発話者が助手席同乗者であると判定する。
音声コマンド判定部32は、発話者判定部31により入力音声の発話者が助手席同乗者であると判定された場合、入力音声が手動操作入力の制限の解除に対応する音声コマンド(以下「制限解除コマンド」という。)であるか否かを判定するものである。
具体的には、例えば、音声コマンド判定部32は、手動操作入力の制限の解除を指示する所定のキーワード(例えば「アンロック」というキーワード)が入力音声に含まれているか否かを判定する。当該所定のキーワードが入力音声に含まれていると判定された場合、音声コマンド判定部32は入力音声が制限解除コマンドであると判定する。他方、当該所定のキーワードが入力音声に含まれていない場合、音声コマンド判定部32は入力音声が制限解除コマンドでないと判定する。
または、例えば、音声コマンド判定部32は、車載情報機器2の操作に用いられる複数のキーワードのうちの任意のキーワード、すなわち音声コマンド判定部32により判定可能な複数のキーワードのうちの任意のキーワードが入力音声に含まれているか否かを判定する。当該任意のキーワードが入力音声に含まれていると判定された場合、音声コマンド判定部32は入力音声が制限解除コマンドであると判定する。他方、当該任意のキーワードが入力音声に含まれていないと判定された場合、音声コマンド判定部32は入力音声が制限解除コマンドでないと判定する。
第2操作制限制御部33は、音声コマンド判定部32により入力音声が制限解除コマンドであると判定された場合、手動操作入力の制限を無効状態に設定するものである。すなわち、第2操作制限制御部33は、第1操作制限制御部22により手動操作入力の制限が有効状態に設定された状態にて、制限解除コマンドが助手席同乗者により第1操作入力装置6に入力されたとき、手動操作入力の制限を有効状態から無効状態に切り替えるものである。
第1継続時間判定部41は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、第1継続時間算出部12により出力された情報を用いて、第1継続時間が所定の時間(以下「第1基準時間」という。)を超えたか否かを判定するものである。これにより、第1継続時間判定部41は、運転者が手動により車載情報機器2を操作している(又は操作しようとしている)か否かを判定するものである。第1基準時間は、例えば、数秒程度の値に設定されている。図1において、第2操作制限制御部33と第1継続時間判定部41間の接続線は図示を省略している。
第3操作制限制御部42は、第1継続時間判定部41により第1継続時間が第1基準時間を超えたと判定された場合、手動操作入力の制限を有効状態に設定するものである。すなわち、第3操作制限制御部42は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、第1継続時間が第1基準時間を超えたとき、手動操作入力の制限を無効状態から有効状態に切り替えるものである。
第2継続時間判定部51は、第3操作制限制御部42により手動操作入力の制限が有効状態に設定された状態にて、第2継続時間算出部13により出力された情報を用いて、第2継続時間が所定の時間(以下「第2基準時間」という。)を超えたか否かを判定するものである。これにより、第2継続時間判定部51は、運転者が手動による車載情報機器2の操作を止めた(又は諦めた)か否かを判定するものである。第2基準時間は、例えば、数秒程度の値に設定されている。図1において、第3操作制限制御部42と第2継続時間判定部51間の接続線は図示を省略している。
第4操作制限制御部52は、第2継続時間判定部51により第2継続時間が第2基準時間を超えたと判定された場合、手動操作入力の制限を無効状態に設定するものである。すなわち、第4操作制限制御部52は、第3操作制限制御部42により手動操作入力の制限が有効状態に設定された状態にて、第2継続時間が第2基準時間を超えたとき、手動操作入力の制限を有効状態から無効状態に切り替えるものである。
操作完了判定部61は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、第3継続時間算出部14により出力された情報を用いて、第3継続時間が所定の時間(以下「第3基準時間」という。)を超えたか否かを判定するものである。また、操作完了判定部61は、第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、第3継続時間算出部14により出力された情報を用いて、第3継続時間が第3基準時間を超えたか否かを判定するものである。これにより、操作完了判定部61は、助手席同乗者による車載情報機器2の操作が完了したか否かを判定するものである。第3基準時間は、例えば、数秒程度の値に設定されている。図1において、第2操作制限制御部33と操作完了判定部61間の接続線及び第4操作制限制御部52と操作完了判定部61間の接続線は図示を省略している。
第5操作制限制御部62は、操作完了判定部61により第3継続時間が第3基準時間を超えたと判定された場合、手動操作入力の制限を有効状態に設定するものである。すなわち、第5操作制限制御部62は、第2操作制限制御部33又は第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、助手席同乗者による車載情報機器2の操作が完了したとき、手動操作入力の制限を無効状態から有効状態に切り替えるものである。
電源判定部71は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、ACC信号などを用いて、車両1におけるアクセサリ電源(以下「ACC電源」と記載する。)がオフされたか否かを判定するものである。また、電源判定部71は、第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、ACC信号などを用いて、ACC電源がオフされたか否かを判定するものである。図1において、第2操作制限制御部33と電源判定部71間の接続線及び第4操作制限制御部52と電源判定部71間の接続線は図示を省略している。
第6操作制限制御部72は、電源判定部71によりACC電源がオフされたと判定された場合、手動操作入力の制限を有効状態に設定するものである。すなわち、第6操作制限制御部72は、第2操作制限制御部33又は第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、ACC電源がオフされたとき、手動操作入力の制限を無効状態から有効状態に切り替えるものである。
走行状態判定部21、第1操作制限制御部22、発話者判定部31、音声コマンド判定部32、第2操作制限制御部33、第1継続時間判定部41、第3操作制限制御部42、第2継続時間判定部51、第4操作制限制御部52、操作完了判定部61、第5操作制限制御部62、電源判定部71及び第6操作制限制御部72により、第2制御部20が構成されている。
第1操作制限制御部22、第2操作制限制御部33、第3操作制限制御部42、第4操作制限制御部52、第5操作制限制御部62及び第6操作制限制御部72により、操作制限制御装置100の要部が構成されている。第1制御部10及び第2制御部20により、制御装置3の要部が構成されている。
なお、制御装置3は、音声コマンド判定部32により入力音声が制限解除コマンドであると判定された場合、この制限解除コマンドを保持するようになっている。これにより、助手席同乗者が車載情報機器2を操作している間、当該操作のための制限解除コマンドを保持することができる。その後、第5操作制限制御部62により手動操作入力の制限が無効状態から有効状態に切り替えられるとき(すなわち第3継続時間が第3基準時間を超えたとき)、制御装置3は保持している制限解除コマンドを破棄するようになっている。これにより、助手席同乗者による車載情報機器2の操作が完了したタイミングにて、不要となった制限解除コマンドを破棄することができる。
また、制御装置3は、第6操作制限制御部72により手動操作入力の制限が無効状態から有効状態に切り替えられるとき(すなわちACC電源がオフされたとき)、保持している制限解除コマンドを破棄するようになっている。これにより、例えば、視線検出部11による視線検出のエラーなどにより第3継続時間が正常に算出されない状態においても、ACC電源がオフされたタイミングにて制限解除コマンドを破棄することができる。
次に、図2を参照して、制御装置3の要部のハードウェア構成について説明する。
図2Aに示す如く、制御装置3はコンピュータにより構成されており、当該コンピュータはプロセッサ81及びメモリ82を有している。メモリ82には、当該コンピュータを視線検出部11、第1継続時間算出部12、第2継続時間算出部13、第3継続時間算出部14、走行状態判定部21、第1操作制限制御部22、発話者判定部31、音声コマンド判定部32、第2操作制限制御部33、第1継続時間判定部41、第3操作制限制御部42、第2継続時間判定部51、第4操作制限制御部52、操作完了判定部61、第5操作制限制御部62、電源判定部71及び第6操作制限制御部72として機能させるためのプログラムが記憶されている。メモリ82に記憶されているプログラムをプロセッサ81が読み出して実行することにより、視線検出部11、第1継続時間算出部12、第2継続時間算出部13、第3継続時間算出部14、走行状態判定部21、第1操作制限制御部22、発話者判定部31、音声コマンド判定部32、第2操作制限制御部33、第1継続時間判定部41、第3操作制限制御部42、第2継続時間判定部51、第4操作制限制御部52、操作完了判定部61、第5操作制限制御部62、電源判定部71及び第6操作制限制御部72の機能が実現される。
プロセッサ81は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)などを用いたものである。メモリ82は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read−Only Memory)などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。
または、図2Bに示す如く、視線検出部11、第1継続時間算出部12、第2継続時間算出部13、第3継続時間算出部14、走行状態判定部21、第1操作制限制御部22、発話者判定部31、音声コマンド判定部32、第2操作制限制御部33、第1継続時間判定部41、第3操作制限制御部42、第2継続時間判定部51、第4操作制限制御部52、操作完了判定部61、第5操作制限制御部62、電源判定部71及び第6操作制限制御部72の機能が専用の処理回路83により実現されるものであっても良い。処理回路83は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、SoC(System−on−a−Chip)又はシステムLSI(Large−Scale Integration)などを用いたものである。
または、制御装置3は、プロセッサ81、メモリ82及び処理回路83を有するものであっても良い。この場合、視線検出部11、第1継続時間算出部12、第2継続時間算出部13、第3継続時間算出部14、走行状態判定部21、第1操作制限制御部22、発話者判定部31、音声コマンド判定部32、第2操作制限制御部33、第1継続時間判定部41、第3操作制限制御部42、第2継続時間判定部51、第4操作制限制御部52、操作完了判定部61、第5操作制限制御部62、電源判定部71及び第6操作制限制御部72の機能のうちの一部の機能がプロセッサ81及びメモリ82により実現されて、残余の機能が処理回路83により実現されるものであっても良い。
次に、図3のフローチャートを参照して、制御装置3の動作について、第2制御部20の動作を中心に説明する。
図3Aは、走行状態判定部21及び第1操作制限制御部22の動作を示している。図3Aに示すステップST1,ST2の処理は、車載情報機器2の電源がオンされている状態にて、例えば所定の時間間隔にて繰り返し実行される。
まず、ステップST1にて、走行状態判定部21は、車両1が走行中であるか否かを判定する。車両1が走行中であると判定された場合(ステップST1“YES”)、ステップST2にて、第1操作制限制御部22は、手動操作入力の制限を有効状態に設定する。
なお、図3Aにおいて、車両1が走行中でないと判定された場合(ステップST1“NO”)に実行される処理、すなわち第1操作制限制御部22が手動操作入力の制限を無効状態に設定する処理は図示を省略している。
図3Bは、発話者判定部31、音声コマンド判定部32及び第2操作制限制御部33の動作を示している。図3Bに示すステップST11〜ST13の処理は、第1操作制限制御部22により手動操作入力の制限が有効状態に設定された状態にて、例えば第1操作入力装置6に音声が入力される度毎に実行される。
まず、ステップST11にて、発話者判定部31は、入力音声の発話者が運転者であるか助手席同乗者であるかを判定する。入力音声の発話者が助手席同乗者であると判定された場合(ステップST11“YES”)、ステップST12にて、音声コマンド判定部32は、入力音声が制限解除コマンドであるか否かを判定する。入力音声が制限解除コマンドであると判定された場合(ステップST12“YES”)、ステップST13にて、第2操作制限制御部33は、手動操作入力の制限を無効状態に設定する。すなわち、第2操作制限制御部33は、手動操作入力の制限を有効状態から無効状態に切り替える。
なお、入力音声の発話者が運転者であると判定された場合(ステップST11“NO”)に実行される処理、及び入力音声が制限解除コマンドでないと判定された場合(ステップST12“NO”)に実行される処理については、図示及び説明を省略する。
図3Cは、第1継続時間判定部41及び第3操作制限制御部42の動作を示している。図3Cに示すステップST21,ST22の処理は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。
まず、ステップST21にて、第1継続時間判定部41は、第1継続時間算出部12により出力された情報を用いて、第1継続時間が第1基準時間を超えたか否かを判定する。これにより、第1継続時間判定部41は、運転者が手動により車載情報機器2を操作している(又は操作しようとしている)か否かを判定する。
第1継続時間が第1基準時間を超えたと判定された場合(ステップST21“YES”)、ステップST22にて、第3操作制限制御部42は、手動操作入力の制限を有効状態に設定する。すなわち、第3操作制限制御部42は、手動操作入力の制限を無効状態から有効状態に切り替える。
図3Dは、第2継続時間判定部51及び第4操作制限制御部52の動作を示している。図3Dに示すステップST31,ST32の処理は、第3操作制限制御部42により手動操作入力の制限が有効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。
まず、ステップST31にて、第2継続時間判定部51は、第2継続時間算出部13により出力された情報を用いて、第2継続時間が第2基準時間を超えたか否かを判定する。これにより、第2継続時間判定部51は、運転者が手動による車載情報機器2の操作を止めた(又は諦めた)か否かを判定する。
第2継続時間が第2基準時間を超えたと判定された場合(ステップST31“YES”)、ステップST32にて、第4操作制限制御部52は、手動操作入力の制限を無効状態に設定する。すなわち、第4操作制限制御部52は、手動操作入力の制限を有効状態から無効状態に切り替える。
図3Eは、操作完了判定部61及び第5操作制限制御部62の動作を示している。図3Eに示すステップST41,ST42の処理は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。また、図3Eに示すステップST41,ST42の処理は、第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。
まず、ステップST41にて、操作完了判定部61は、第3継続時間算出部14により出力された情報を用いて、第3継続時間が第3基準時間を超えたか否かを判定する。これにより、操作完了判定部61は、助手席同乗者による車載情報機器2の操作が完了したか否かを判定する。
第3継続時間が第3基準時間を超えたと判定された場合(ステップST41“YES”)、ステップST42にて、第5操作制限制御部62は、手動操作入力の制限を有効状態に設定する。すなわち、第5操作制限制御部62は、手動操作入力の制限を無効状態から有効状態に切り替える。
なお、第5操作制限制御部62が手動操作入力の制限を無効状態から有効状態に切り替えるとき(すなわちステップST41“YES”と判定されたとき)、制御装置3は保持している制限解除コマンドを破棄する。これにより、助手席同乗者による車載情報機器2の操作が完了したタイミングにて、不要となった制限解除コマンドを破棄することができる。
図3Fは、電源判定部71及び第6操作制限制御部72の動作を示している。図3Fに示すステップST51,ST52の処理は、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。また、図3Fに示すステップST51,ST52の処理は、第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、例えば所定の時間間隔にて繰り返し実行される。
まず、ステップST51にて、電源判定部71は、ACC電源がオフされたか否かを判定する。ACC電源がオフされたと判定された場合(ステップST51“YES”)、ステップST52にて、第6操作制限制御部72は、手動操作入力の制限を有効状態に設定する。すなわち、第6操作制限制御部72は、手動操作入力の制限を無効状態から有効状態に切り替える。
なお、第6操作制限制御部72が手動操作入力の制限を無効状態から有効状態に切り替えるとき(すなわちステップST51“YES”と判定されたとき)、制御装置3は保持している制限解除コマンドを破棄する。これにより、例えば、視線検出部11による視線検出のエラーなどにより第3継続時間が正常に算出されない状態においても、ACC電源がオフされたタイミングにて制限解除コマンドを破棄することができる。
次に、操作制限制御装置100による効果について説明する。
従来の操作制限制御装置は、第1操作制限制御部22に対応する機能部及び第2操作制限制御部33に対応する機能部を有するものであった。しかしながら、従来の操作制限制御装置は、第3操作制限制御部42に対応する機能部を有しないものであった。このため、第2操作制限制御部33に対応する機能部により手動操作入力の制限が無効状態に設定された状態にて、助手席同乗者が手動により車載情報機器を操作可能な状態となるものの、運転者も手動により車載情報機器を操作可能な状態となるという問題があった。
例えば、ナビゲーション機能において、まず、車両の現在位置が算出されて、次いで、車両の目的地が助手席同乗者による手動の操作(以下「第1操作」という。)により設定されて、次いで、当該算出された現在位置から当該設定された目的地までの経路が探索されて、次いで、当該探索された経路のうちの案内対象となる経路が助手席同乗者による手動の操作(以下「第2操作」という。)により選択されて、次いで、当該選択された経路の案内が開始されるものとする。この場合、第1操作と第2操作間のタイミングにて、運転者による手動操作入力が可能となってしまう。
また、例えば、音声再生機能(より具体的には記録媒体に記録されている音声を再生する機能)において、まず、複数のアーティストのうちのいずれかのアーティストが助手席同乗者による手動の操作(以下「第3操作」という。)により選択されて、次いで、当該選択されたアーティストによる複数の楽曲のうちのいずれかの楽曲が助手席同乗者による手動の操作(以下「第4操作」という。)により選択されて、次いで、当該選択された楽曲の再生が開始されるものとする。この場合、第3操作と第4操作間のタイミングにて、運転者による手動操作入力が可能となってしまう。
これに対して、実施の形態1の操作制限制御装置100は、第3操作制限制御部42を有するものである。このため、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、運転者が手動により車載情報機器2を操作している(又は操作しようとしている)とき、手動操作入力の制限が無効状態から有効状態に切り替わる。これにより、手動操作入力が無効な状態となるため、運転者による手動操作入力がなされるのを抑制することができる。
また、実施の形態1の操作制限制御装置100は、第4操作制限制御部52を有するものである。このため、第3操作制限制御部42により手動操作入力の制限が有効状態に設定された状態において、運転者が手動による車載情報機器2の操作を止めた(又は諦めた)とき、手動操作入力の制限が有効状態から無効状態に切り替わる。これにより、手動操作入力が有効な状態となるため、助手席同乗者による車載情報機器2の操作性を向上することができる。
また、実施の形態1の操作制限制御装置100は、第5操作制限制御部62を有するものである。このため、第2操作制限制御部33又は第4操作制限制御部52により手動操作入力の制限が有効状態に設定された状態にて、助手席同乗者による車載情報機器2の操作が完了したとき、手動操作入力の制限が無効状態から有効状態に切り替わる。これにより、手動操作入力が無効な状態となるため、運転者による手動操作入力がなされるのを抑制することができる。
このようにして、実施の形態1の操作制限制御装置100は、運転者による手動操作入力の抑制と助手席同乗者による操作性とのバランスを図ることができる。
また、従来の操作制限制御装置は、車載情報機器の近傍に配置されているカメラ又はセンサを用いて車載情報機器に対する手の接近方向を検出することにより、車載情報機器を操作している(又は操作しようとしている)ユーザが運転者であるか助手席同乗者であるかを判定して、当該ユーザが運転者であると判定された場合に手動操作入力の制限を有効状態に設定するものであった(例えば、特許文献1の段落[0054]等参照)。
これに対して、実施の形態1の操作制限制御装置100は、運転者が手動により車載情報機器2を操作している(又は操作しようとしている)か否かの判定に、視線検出部11による視線検出の結果(より具体的には第2継続時間)を用いるものである。これにより、当該判定に手の接近方向の検出結果を用いる構成に比して、当該判定の精度を向上することができる。すなわち、本願の出願時における画像認識処理の技術分野においては、通常、手の接近方向の検出精度よりも視線検出の精度の方が高いためである。
なお、視線検出部11は、運転者の視線を検出する第1視線検出部(不図示)及び助手席同乗者の視線を検出する第2視線検出部(不図示)により構成されているものであっても良い。この場合、第1継続時間算出部12は、第1視線検出部による視線検出の結果を用いて第1継続時間を算出するものであっても良い。第2継続時間算出部13は、第1視線検出部による視線検出の結果を用いて第2継続時間を算出するものであっても良い。第3継続時間算出部14は、第2視線検出部による視線検出の結果を用いて第3継続時間を算出するものであっても良い。
また、発話者判定部31は、カメラ9による撮像画像に対する画像認識処理を実行することにより、入力音声の発話者が運転者であるか助手席同乗者であるかを判定するものであっても良い。例えば、発話者判定部31は、第1操作入力装置6に音声が入力されたタイミングにおける撮像画像に対する画像認識処理を実行することにより、運転者の開口度及び助手席同乗者の開口度を検出する。発話者判定部31は、当該検出された開口度に基づき、入力音声の発話者が運転者であるか助手席同乗者であるかを判定する。
また、車両1の各座席の座面部に圧力センサ(いわゆる「着座センサ」)が設けられているものであっても良い。この場合、発話者判定部31は、これらの着座センサによる検出値を用いて、入力音声の発話者が運転者であるか助手席同乗者であるかを判定するものであっても良い。例えば、発話者判定部31は、助手席の座面部に設けられている着座センサによる検出値を用いて、助手席に同乗者が着座しているか否かを判定する。発話者判定部31は、助手席に同乗者が着座していないと判定された場合、入力音声の発話者が運転者であると判定する。
すなわち、発話者判定部31は、複数個のマイクによる出力信号に対する音声信号処理の結果、カメラ9による撮像画像に対する画像認識処理の結果、又は、着座センサによる検出値のうちの少なくとも一つを用いて、入力音声の発話者が運転者であるか助手席同乗者であるかを判定するものであれば良い。
また、操作完了判定部61は、第3継続時間が第3基準時間を超えたか否かを判定するのに代えて、第1操作入力装置6による操作の入力も第2操作入力装置7による操作の入力もなされていない状態の継続時間(以下「第4継続時間」という。)が所定の時間(以下「第4基準時間」という。)を超えたか否かを判定することにより、助手席同乗者による車載情報機器2の操作が完了したか否かを判定するものであっても良い。
また、操作制限制御装置100は、上記のように手動操作入力の制限を有効状態又は無効状態に選択的に設定する制御に代えて又は加えて、車載情報機器2における画面表示(すなわち表示装置4による画面表示)の制限を有効状態又は無効状態に選択的に設定する制御を実行するものであっても良い。
具体的には、例えば、操作制限制御装置100は、映像再生機能による画面表示の制限を有効状態又は無効状態に選択的に設定する制御を実行するものであっても良い。すなわち、第1操作制限制御部22は、ステップST2にて映像再生機能による画面表示の制限を有効状態に設定するものであっても良い。第2操作制限制御部33は、ステップST13にて映像再生機能による画面表示の制限を無効状態に設定するものであっても良い。第3操作制限制御部42は、ステップST22にて映像再生機能による画面表示の制限を有効状態に設定するものであっても良い。第4操作制限制御部52は、ステップST32にて映像再生機能による画面表示の制限を無効状態に設定するものであっても良い。第5操作制限制御部62は、ステップST42にて映像再生機能による画面表示の制限を有効状態に設定するものであっても良い。第6操作制限制御部72は、ステップST52にて映像再生機能による画面表示の制限を有効状態に設定するものであっても良い。
通常、映像再生機能により画面に表示されている映像を視聴する行為は、手動操作入力を伴わないものである。このため、上記のように手の接近方向の検出結果を用いる構成は、手動操作入力の制限を有効状態又は無効状態に選択的に設定する制御には応用することができるものの、映像再生機能による画面表示の制限を有効状態又は無効状態に選択的に設定する制御には応用することができない。
これに対して、実施の形態1の操作制限制御装置100は、上記のように視線検出部11による視線検出の結果を用いるものである。このため、手動操作入力の制限を有効状態又は無効状態に選択的に設定する制御に応用することができるのはもちろんのこと、映像再生機能による画面表示の制限を有効状態又は無効状態に選択的に設定する制御にも応用することができる。
また、図4に示す如く、第1操作制限制御部22、第2操作制限制御部33及び第3操作制限制御部42により操作制限制御装置100の要部が構成されているものであっても良い。すなわち、第4操作制限制御部52、第5操作制限制御部62及び第6操作制限制御部72の各々は、図1に示す如く操作制限制御装置100内に設けられているものであっても良く、又は図4に示す如く操作制限制御装置100外に設けられているものであっても良い。
以上のように、実施の形態1の操作制限制御装置100は、音声操作入力を受け付ける第1操作入力装置6及び手動操作入力を受け付ける第2操作入力装置7により操作自在な車載情報機器2用の操作制限制御装置100であって、車両1が走行中である場合、手動操作入力の制限を有効状態に設定する第1操作制限制御部22と、第1操作制限制御部22により手動操作入力の制限が有効状態に設定された状態にて、手動操作入力の制限の解除に対応する音声コマンド(制限解除コマンド)が車両1の同乗者(助手席同乗者)により第1操作入力装置6に入力されたとき、手動操作入力の制限を無効状態に設定する第2操作制限制御部33と、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、車両1の運転者の視線が車載情報機器2に向けられている状態の継続時間(第1継続時間)が第1基準時間を超えたとき、手動操作入力の制限を有効状態に設定する第3操作制限制御部42とを備える。これにより、運転者が手動により車載情報機器2を操作している(又は操作しようとしている)とき、手動操作入力の制限を無効状態から有効状態に切り替えることができる。この結果、運転者による手動操作入力がなされるのを抑制することができる。
また、操作制限制御装置100は、第3操作制限制御部42により手動操作入力の制限が有効状態に設定された状態にて、運転者の視線が車載情報機器2に向けられていない状態の継続時間(第2継続時間)が第2基準時間を超えたとき、手動操作入力の制限を無効状態に設定する第4操作制限制御部52を備える。これにより、運転者が手動による車載情報機器2の操作を止めた(又は諦めた)とき、手動操作入力の制限を有効状態から無効状態に切り替えることができる。この結果、助手席同乗者による車載情報機器2の操作性を向上することができる。
また、操作制限制御装置100は、第2操作制限制御部33又は第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、同乗者(助手席同乗者)による車載情報機器2の操作が完了したとき、手動操作入力の制限を有効状態に設定する第5操作制限制御部62を備える。これにより、助手席同乗者による車載情報機器2の操作が完了したとき、手動操作入力の制限を無効状態から有効状態に切り替えることができる。また、このとき、制限解除コマンドを破棄することができる。
また、同乗者(助手席同乗者)の視線が車載情報機器2に向けられていない状態の継続時間(第3継続時間)が第3基準時間を超えたとき、同乗者(助手席同乗者)による車載情報機器2の操作が完了したと判定されるものである。これにより、視線検出部11による視線検出の結果を用いて、助手席同乗者による車載情報機器2の操作が完了したタイミングを判定することができる。
また、操作制限制御装置100は、第2操作制限制御部33又は第4操作制限制御部52により手動操作入力の制限が無効状態に設定された状態にて、車両1におけるアクセサリ電源(ACC電源)がオフされたとき、手動操作入力の制限を有効状態に設定する第6操作制限制御部72を備える。これにより、ACC電源がオフされたとき、手動操作入力の制限を無効状態から有効状態に切り替えることができる。また、このとき、制限解除コマンドを破棄することができる。
また、操作制限制御装置100は、手動操作入力の制限を有効状態又は無効状態に選択的に設定する制御に加えて、車載情報機器2における画面表示の制限を有効状態又は無効状態に選択的に設定する制御を実行するものである。視線検出部11による視線検出の結果を用いることにより、映像再生機能による画面表示の制限を有効状態又は無効状態に選択的に設定する制御に操作制限制御装置100を応用することができる。
また、実施の形態1の操作制限制御方法は、音声操作入力を受け付ける第1操作入力装置6及び手動操作入力を受け付ける第2操作入力装置7により操作自在な車載情報機器2用の操作制限制御方法であって、第1操作制限制御部22が、車両1が走行中である場合、手動操作入力の制限を有効状態に設定するステップST2と、第2操作制限制御部33が、第1操作制限制御部22により手動操作入力の制限が有効状態に設定された状態にて、手動操作入力の制限の解除に対応する音声コマンド(制限解除コマンド)が車両1の同乗者(助手席同乗者)により第1操作入力装置6に入力されたとき、手動操作入力の制限を無効状態に設定するステップST13と、第3操作制限制御部42が、第2操作制限制御部33により手動操作入力の制限が無効状態に設定された状態にて、車両1の運転者の視線が車載情報機器2に向けられている状態の継続時間(第1継続時間)が第1基準時間を超えたとき、手動操作入力の制限を有効状態に設定するステップST22とを備える。これにより、操作制限制御装置100による上記効果と同様の効果を得ることができる。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
本発明の操作制限制御装置は、車載情報機器に用いることができる。
1 車両、2 車載情報機器、3 制御装置、4 表示装置、5 音声出力装置、6 第1操作入力装置、7 第2操作入力装置、8 ネットワーク、9 カメラ、10 第1制御部、11 視線検出部、12 第1継続時間算出部、13 第2継続時間算出部、14 第3継続時間算出部、20 第2制御部、21 走行状態判定部、22 第1操作制限制御部、31 発話者判定部、32 音声コマンド判定部、33 第2操作制限制御部、41 第1継続時間判定部、42 第3操作制限制御部、51 第2継続時間判定部、52 第4操作制限制御部、61 操作完了判定部、62 第5操作制限制御部、71 電源判定部、72 第6操作制限制御部、81 プロセッサ、82 メモリ、83 処理回路、100 操作制限制御装置。

Claims (7)

  1. 音声操作入力を受け付ける第1操作入力装置及び手動操作入力を受け付ける第2操作入力装置により操作自在な車載情報機器用の操作制限制御装置であって、
    車両が走行中である場合、前記手動操作入力の制限を有効状態に設定する第1操作制限制御部と、
    前記第1操作制限制御部により前記手動操作入力の制限が有効状態に設定された状態にて、前記手動操作入力の制限の解除に対応する音声コマンドが前記車両の同乗者により前記第1操作入力装置に入力されたとき、前記手動操作入力の制限を無効状態に設定する第2操作制限制御部と、
    前記第2操作制限制御部により前記手動操作入力の制限が無効状態に設定された状態にて、前記車両の運転者の視線が前記車載情報機器に向けられている状態の継続時間が第1基準時間を超えたとき、前記手動操作入力の制限を有効状態に設定する第3操作制限制御部と、
    を備えることを特徴とする操作制限制御装置。
  2. 前記第3操作制限制御部により前記手動操作入力の制限が有効状態に設定された状態にて、前記運転者の視線が前記車載情報機器に向けられていない状態の継続時間が第2基準時間を超えたとき、前記手動操作入力の制限を無効状態に設定する第4操作制限制御部を備えることを特徴とする請求項1記載の操作制限制御装置。
  3. 前記第2操作制限制御部又は前記第4操作制限制御部により前記手動操作入力の制限が無効状態に設定された状態にて、前記同乗者による前記車載情報機器の操作が完了したとき、前記手動操作入力の制限を有効状態に設定する第5操作制限制御部を備えることを特徴とする請求項2記載の操作制限制御装置。
  4. 前記同乗者の視線が前記車載情報機器に向けられていない状態の継続時間が第3基準時間を超えたとき、前記同乗者による前記車載情報機器の操作が完了したと判定されるものであることを特徴とする請求項3記載の操作制限制御装置。
  5. 前記第2操作制限制御部又は前記第4操作制限制御部により前記手動操作入力の制限が無効状態に設定された状態にて、前記車両におけるアクセサリ電源がオフされたとき、前記手動操作入力の制限を有効状態に設定する第6操作制限制御部を備えることを特徴とする請求項2記載の操作制限制御装置。
  6. 前記手動操作入力の制限を有効状態又は無効状態に選択的に設定する制御に加えて、前記車載情報機器における画面表示の制限を有効状態又は無効状態に選択的に設定する制御を実行するものであることを特徴とする請求項1から請求項5のうちのいずれか1項記載の操作制限制御装置。
  7. 音声操作入力を受け付ける第1操作入力装置及び手動操作入力を受け付ける第2操作入力装置により操作自在な車載情報機器用の操作制限制御方法であって、
    第1操作制限制御部が、車両が走行中である場合、前記手動操作入力の制限を有効状態に設定するステップと、
    第2操作制限制御部が、前記第1操作制限制御部により前記手動操作入力の制限が有効状態に設定された状態にて、前記手動操作入力の制限の解除に対応する音声コマンドが前記車両の同乗者により前記第1操作入力装置に入力されたとき、前記手動操作入力の制限を無効状態に設定するステップと、
    第3操作制限制御部が、前記第2操作制限制御部により前記手動操作入力の制限が無効状態に設定された状態にて、前記車両の運転者の視線が前記車載情報機器に向けられている状態の継続時間が第1基準時間を超えたとき、前記手動操作入力の制限を有効状態に設定するステップと、
    を備えることを特徴とする操作制限制御方法。
JP2020501928A 2018-02-22 2018-02-22 操作制限制御装置及び操作制限制御方法 Expired - Fee Related JP6717537B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006533 WO2019163060A1 (ja) 2018-02-22 2018-02-22 操作制限制御装置及び操作制限制御方法

Publications (2)

Publication Number Publication Date
JP6717537B2 true JP6717537B2 (ja) 2020-07-01
JPWO2019163060A1 JPWO2019163060A1 (ja) 2020-07-02

Family

ID=67688237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501928A Expired - Fee Related JP6717537B2 (ja) 2018-02-22 2018-02-22 操作制限制御装置及び操作制限制御方法

Country Status (5)

Country Link
US (1) US20210061102A1 (ja)
JP (1) JP6717537B2 (ja)
CN (1) CN111801249A (ja)
DE (1) DE112018006615T5 (ja)
WO (1) WO2019163060A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022102504B9 (de) * 2022-02-03 2023-07-20 Audi Aktiengesellschaft Verfahren zum Betreiben einer Schnittstellenvorrichtung in einem Fahrzeug, sowie Schnittstellenvorrichtung und Fahrzeug

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007055356A (ja) * 2005-08-23 2007-03-08 Denso Corp 車載用電子機器の制御装置
JP2007145158A (ja) * 2005-11-28 2007-06-14 Fujitsu Ten Ltd 車載用表示装置及びその表示制御方法
JP4171924B2 (ja) * 2006-04-27 2008-10-29 富士通テン株式会社 機器制御システム
DE112007001143T5 (de) * 2006-06-05 2009-04-23 Mitsubishi Electric Corp. Anzeigesystem und Verfahren zum Beschränken dessen Bedienung
US9652023B2 (en) * 2008-07-24 2017-05-16 Intelligent Mechatronic Systems Inc. Power management system
EP2615843A1 (en) * 2012-01-13 2013-07-17 Eldon Technology Limited Video vehicle entertainment device with driver safety mode
JP2013159255A (ja) * 2012-02-07 2013-08-19 Jvc Kenwood Corp 車載機器、車載機器の制御方法、車載機器の制御装置
WO2013153583A1 (ja) * 2012-04-13 2013-10-17 三菱電機株式会社 車載用音声入力装置
JPWO2014109104A1 (ja) * 2013-01-08 2017-01-19 クラリオン株式会社 音声認識装置、音声認識プログラム及び音声認識方法
US9619695B2 (en) * 2013-06-06 2017-04-11 Visteon Global Technologies, Inc. Gaze time indicator for a vehicle
KR101614731B1 (ko) * 2013-11-08 2016-04-22 현대자동차주식회사 차량 및 그 제어방법
JP6608137B2 (ja) * 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
JP6295924B2 (ja) * 2014-03-18 2018-03-20 株式会社デンソー 車両用報知制御装置、及び車両用報知制御システム
KR101677648B1 (ko) * 2014-12-22 2016-11-18 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
US20180270344A1 (en) * 2015-03-19 2018-09-20 Mitsubishi Electric Corporation Unconfirmed-information output apparatus, and unconfirmed-information output method
JP6464869B2 (ja) * 2015-03-25 2019-02-06 株式会社デンソー 操作システム
KR20170002040A (ko) * 2015-06-29 2017-01-06 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Also Published As

Publication number Publication date
CN111801249A (zh) 2020-10-20
US20210061102A1 (en) 2021-03-04
DE112018006615T5 (de) 2020-09-10
WO2019163060A1 (ja) 2019-08-29
JPWO2019163060A1 (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP4645310B2 (ja) エージェントキャラクタ表示を利用した表示システム
JP6604151B2 (ja) 音声認識制御システム
JP6851482B2 (ja) 操作支援装置および操作支援方法
JP2008013044A (ja) 車載表示装置および車載表示装置の表示方法
JP2011016385A (ja) 車載av装置
JP7038560B2 (ja) 情報処理装置および情報処理方法
JP2011181101A (ja) 車両情報の記録装置
JP2009025715A (ja) 車載装置および音声認識方法
JP2007208828A (ja) 車両用音声入出力制御装置
JP2017090614A (ja) 音声認識制御システム
JP2010013054A (ja) 車載用電子装置、メディアソース選択方法およびメディアソース選択プログラム
CN109976515B (zh) 一种信息处理方法、装置、车辆及计算机可读存储介质
JP6717537B2 (ja) 操作制限制御装置及び操作制限制御方法
JP2020160180A (ja) 表示制御装置、表示制御方法およびプログラム
JP5116421B2 (ja) 制御装置、制御方法、制御プログラムおよび記録媒体
JP6692677B2 (ja) 電子機器
JP2008014871A (ja) 車載電子装置
JP2019016276A (ja) 表示制御装置および表示制御方法
JP2020085439A (ja) 自動運転装置及びナビゲーション装置
JP2017028389A (ja) 車載表示装置及び該車載表示装置における表示方法
JP2019200125A (ja) 経路案内制御装置および経路案内制御方法
JP2008256420A (ja) 車両用運転支援装置
JP2006226872A (ja) ナビゲーション装置およびプログラム
JP6358987B2 (ja) 車載情報機器
JP2008003371A (ja) 車載用音声認識装置及び音声コマンド登録方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200609

R150 Certificate of patent or registration of utility model

Ref document number: 6717537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees