JP7388962B2 - 待機時間調整方法および装置 - Google Patents

待機時間調整方法および装置 Download PDF

Info

Publication number
JP7388962B2
JP7388962B2 JP2020052223A JP2020052223A JP7388962B2 JP 7388962 B2 JP7388962 B2 JP 7388962B2 JP 2020052223 A JP2020052223 A JP 2020052223A JP 2020052223 A JP2020052223 A JP 2020052223A JP 7388962 B2 JP7388962 B2 JP 7388962B2
Authority
JP
Japan
Prior art keywords
driver
time
standby
response
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020052223A
Other languages
English (en)
Other versions
JP2021152566A (ja
Inventor
昌宏 暮橋
恵吾 中田
真也 安原
航 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020052223A priority Critical patent/JP7388962B2/ja
Priority to CN202110284269.7A priority patent/CN113450787A/zh
Publication of JP2021152566A publication Critical patent/JP2021152566A/ja
Priority to JP2023194704A priority patent/JP2024009092A/ja
Application granted granted Critical
Publication of JP7388962B2 publication Critical patent/JP7388962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)

Description

本発明は、ユーザ応答の待機時間を調整する待機時間調整方法、および装置に関する。
従来、装置からユーザに対し質問や確認応答の依頼、情報提供を行う発話を出力した後に、当該ユーザによる発話や機器操作などのユーザ応答を取得する装置が知られている。例えば、音声対話によってユーザ指示を取得する装置では、ユーザから最初に発話される音声指示に対し、当該音声指示を実行するのに必要な動作選択等のユーザ応答を求めて装置から発信発話が出力されることがある。このような装置では、発信発話の出力のあと、ユーザ応答が取得されないまま所定の長さの待機時間が経過すると、上記発信発話に係る動作を途中で中止したり、ユーザに対して応答を督促する発話が出力され得る。
しかしながら、発信発話の内容やユーザの状況によっては、どのような応答を行うかの思案に時間を要したり、例えば運転操作のような、優先処理が必要な他の操作を行うために、ユーザが上記ユーザ応答を行うまでに時間を要する場合があり得る。
例えば、ユーザが、ナビゲーション装置に対して目的地を指示すべくレストランの検索を指示した後に、ナビゲーション装置からユーザに対し、検索したレストランのリストから特定のレストランの選択を求める発信発話が返され得る。この場合、例えば、リスト中に似たような名前のレストランがあるときや、運転シーンの展開（交差点への接近など）により運転操作への集中が必要になった場合には、ユーザがレストラン選択のためのユーザ応答を行うまでに相応の時間を要することとなる。
このような場合に、固定的な待機時間の経過によって督促音声が出力されたりユーザ応答の取得動作が中止されると、ユーザは運転操作への注意力を欠いたり、装置に対し再指示を行う必要が生じ、装置の利便性は低下する。
従来、音声対話装置において、作業者の作業負荷の程度を推定し、作業負荷が小さいときは、作業者へ出力する質問音声を、複数の質問応答文又は暗黙的確認を含む質問応答文で構成し、作業負荷が大きいときは、上記質問文を単一文である質問応答文や確認応答文で構成することが知られている（特許文献１）。
しかしながら、上記従来の音声対話装置では、作業者の作業負荷が大きくなって質問文への思考が中断されるような場面の対処については考慮されていない。
特開２００３－１０８１９１号公報
上記背景より、移動体の運転者のユーザ応答を取得する際に、当該運転者の運転負荷が過大となる場合にも、運転操作への注意力を散逸させることなく、ユーザ応答を効率的に取得し得る技術の実現が求められている。
本発明の一の態様は、ユーザ応答を待機する待機時間の長さを調整する待機時間調整方法であって、前記ユーザ応答は、移動体の運転者からの応答であり、運転負荷推定部が、前記移動体が遭遇している現在の交通シーンと、前記運転者の運転技量の程度と、に基づいて、前記運転者の現在の運転負荷を算出するステップと、待機管理部が、前記待機時間を延長するステップと、を有し、前記延長するステップでは、前記待機時間の経過中または満了時に、前記算出した現在の前記運転負荷が所定のレベル以上であることを検知したときは、前記待機時間を所定の時間分延長する。
本発明の他の態様によると、前記ユーザ応答は、前記ユーザ応答を取得する装置が前記運転者に向けて出力した発信発話に対する当該運転者の応答である。
本発明の他の態様によると、前記ユーザ応答は、前記発信発話に対する前記運転者の応答発話である。
本発明の他の態様によると、前記延長するステップでは、前記延長した前記待機時間の経過中または満了時に、現在の前記運転負荷が所定のレベル未満であることを検知したときは、前記延長した前記待機時間の満了時に、前記運転者に対し前記発信発話の内容を思い出させる思い出し発話を出力して、前記待機時間をさらに所定の時間分延長する。
本発明の他の態様によると、前記延長するステップでは、前記延長を行った回数が所定の回数を超えないことを条件として、前記待機時間を延長する。
本発明の他の態様は、ユーザ応答を待機する待機時間の長さを調整する機能を有する装置であって、前記ユーザ応答は、移動体の運転者からの応答であり、前記移動体が遭遇している現在の交通シーンと、前記運転者の運転技量の程度と、に基づいて、前記運転者の現在の運転負荷を算出する運転負荷推定部と、前記待機時間の長さを設定する待機管理部と、を有し、前記待機管理部は、前記待機時間の経過中または満了時に、前記算出した現在の前記運転負荷が所定のレベル以上であることを検知したときは、前記待機時間を所定の時間分延長する。
本発明の他の態様によると、上記待機時間の長さを調整する機能を有する装置は、マイク、スピーカ、表示装置、及び又は操作パネルの入出力を処理するユーザインタフェース制御装置である。
本発明によれば、移動体の運転者のユーザ応答を取得する際に、当該運転者の運転負荷が過大となる場合にも、運転操作への注意力を散逸させることなく、ユーザ応答を効率的に取得することができる。
本発明の第１の実施形態に係るＵＩ制御装置の構成を示す図である。 図１に示すＵＩ制御装置における待機時間延長動作の一例を示す図である。 図１に示すＵＩ制御装置における待機時間延長動作の他の一例を示す図である。 図１に示すＵＩ制御装置が実行する待機時間延長処理の手順を示すフロー図である。 図１に示すＵＩ制御装置における待機時間延長動作の変形例を示す図である。 本発明の第２の実施形態に係る応答管理装置の構成を示す図である。
以下、図面を参照して本発明の実施形態について説明する。
［第１実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るユーザインタフェース制御装置の構成を示す図である。このユーザインタフェース制御装置（以下、ＵＩ制御装置）１００は、移動体である車両１０２に搭載されている。ＵＩ制御装置１００は、車載ネットワークバス１０４を介して通信可能に接続されたナビゲーション装置１１４およびＡＶ（オーディオビジュアル）出力装置１１６をクライアントとし、これら装置とユーザとの間の、マイク１２０、スピーカ１２２、表示装置１２４、およびタッチパネル１２６で構成されるユーザインタフェースを介したインタラクションを仲介する。
また、ＵＩ制御装置１００は、ナビゲーション装置１１４及び又はＡＶ出力装置１１６が指示する発信発話を出力した後のユーザ応答の待機時間の長さを、移動体である車両１０２の運転者の運転負荷に応じて調整する。なお、ＵＩ制御装置１００に接続される装置は、ナビゲーション装置１１４およびＡＶ出力装置１１６に限らず、ユーザへの発信発話の後にユーザ応答を待機する任意の種類の任意の数の装置であるもものとすることができる。
また、ＵＩ制御装置１００は、車載ネットワークバス１０４を介して、交通シーン特定装置１０６、運転者評価装置１０８、車両情報取得装置１１０、およびカメラ制御装置１１２と、通信可能に接続されている。
カメラ制御装置１１２は、車室内カメラ１３２により、車両１０２の車室内の画像を撮影する。また、カメラ制御装置１１２は、例えば車両１０２の外装に設けられた車外カメラ１３４により、車両１０２の外部環境を撮影する。
車両情報取得装置１１０は、センサ群１３０から車両１０２の運転操作及び運動状態（又は力学的状態）を検知する。センサ群１３０には、アクセルペダルセンサ、ブレーキペダルセンサ、ステアリングセンサ、シフトセンサ、方向指示器センサ等の、車両操縦に係る各種の操作器に対するユーザ操作の有無および操作量を取得するセンサが含まれる。また、センサ群１３０には、３軸加速センサ、ヨーレートセンサ、および速度センサ等の、車両の運動状態又は力学的状態を検知する各種のセンサが含まれ得る。
交通シーン特定装置１０６は、従来技術に従い、車両１０２が走行する交通環境のシーンである交通シーン（または運転シーン）を特定する。交通シーン特定装置１０６は、例えば、運転者支援システムの一部として実現されるものとすることができる。
具体的には、交通シーン特定装置１０６は、ＣＰＵ等のプロセッサで構成されるコンピュータである処理装置１７０と、記憶装置１７２と、を備える。特定される交通シーンは、本実施形態では、車両運転時に遭遇する様々な交通場面をカテゴライズしたものであり、例えば、交差点通過、交差点右折、交差点左折、狭路対面走行、前車追い越し、レーン変更、高速道路合流、緊急車両通過、二輪車並走、歩行者混雑、街路渋滞、暴風雨時走行等々の一つ又は複数の組み合わせで表され得る。
処理装置１７０は、例えば、道路地図上における車両１０２の現在の位置および走行方向、車両１０２の外部環境における他車両、道路設備（信号灯、道路標識、等）、及び又は天候等の状態に基づいて、車両１０２が遭遇している現在の交通シーンを特定する。ここで、上記道路地図上の位置および上記外部環境の状態は、例えば、ナビゲーション装置１１４から、及びカメラ制御装置１１２を介して車外カメラから、取得されるものとすることができる。
処理装置１７０は、また、特定した交通シーンを評価し、当該交通シーンを標準的な運転者（標準運転者）が走行したならば当該標準運転者が受けるであろう運転負荷を数値で表した標準運転負荷を、算出して出力する。この標準運転負荷は、例えば、運転負荷が高いほど大きな値をとる数値で表現され得る。また、この標準運転負荷は、例えば、上述のようにカテゴライズされた交通シーンごとに予め定められて記憶装置１７２に記憶されているものとすることができる。交通シーン特定装置１０６は、記憶装置１７２を参照し、上記特定した交通シーンについて予め定められた標準運転負荷を読み出して出力することができる。
運転者評価装置１０８は、従来技術に従い、車両１０２の運転者の運転スキルを評価し、評価結果を記憶する。具体的には、運転者評価装置１０８は、例えばＣＰＵ等のプロセッサで構成されるコンピュータである処理装置１７４と、記憶装置１７６と、を備える。処理装置１７４は、車両１０２の現在の交通シーンを、交通シーン特定装置１０６から取得する。そして、処理装置１７４は、例えば、取得した現在の交通シーンと同様の交通シーンにおいて標準的な運転者が行う標準操縦フローと、車両１０２の現在の運転者が行った実際の実行操縦フローとを比較して、当該現在の運転者の運転スキルを評価する。
これらの操縦フローは、一連の操縦における運転操作の種類、順序、開始タイミング、当該運転操作の速さ、及び又は当該運転操作の操作量の大きさ、等々のパラメータにより表現され得る。処理装置１７４は、現在の運転者の上記実行操縦フローにおける上記パラメータのそれぞれについて、上記標準操縦フローからの乖離の程度を評価し、当該評価の結果を、運転スキル評価点として記憶装置１７６に記憶する。この運転スキル評価点は、例えば、値１を上限として、運転スキルが低いほど（すなわち、上記乖離の程度が大きいほど）、より小さな値となるように算出され得る。
ここで、上記実行操縦フローを構成する各パラメータ値は、車両情報取得装置１１０から取得されるものとすることができる。また、上記標準操縦フローについての各パラメータ値は、交通シーン毎に、予め定められて記憶装置１７６に記憶されているものとすることができる。
処理装置１７４は、所定の時間間隔で（例えば、半年毎に）、所定長さの運転期間（例えば、３か月間）における運転操作のデータに基づき、上記運転スキル評価点を算出するものとすることができる。また、処理装置１７４は、例えば、車両１０２が複数のユーザにより利用される場合には、上記運転スキル評価点をユーザ毎に算出して、記憶装置１７６に記憶する。車両１０２の現在の運転者がいずれのユーザであるかは、従来技術に従い、例えば各ユーザが用いるスマートキーや携帯端末から取得されるＩＤ情報、あるいは車室内カメラ１３２から取得される運転者の顔画像を用いた認証処理等により、特定され得る。
ナビゲーション装置１１４は、例えばＣＰＵ等のプロセッサを備えるコンピュータである処理装置を備え、従来技術に従って経路案内を行う。すなわち、ナビゲーション装置１１４は、ＧＰＳ受信装置（不図示）から受信される情報から車両１０２の現在位置を特定し、運転者が指定する目的地までの経路を探索して経路案内を行う。
運転者は、目的地等の情報の入力および経路探索の指示等を、例えばマイク１２０を介した音声指示により行う。ナビゲーション装置１１４は、ＵＩ制御装置１００を介して上記音声指示の音声認識結果を受信し、当該音声指示が指定する動作を実行する。また、ナビゲーション装置１１４は、車両１０２の現在位置及びまたは上記探索した経路を示す地図情報を、ＵＩ制御装置１００を介して表示装置１２４に表示する。
ここで、ナビゲーション装置１１４は、従来技術に従い、運転者との複数回のインタラクションを通じて目的地を設定し得る。例えば、ナビゲーション装置１１４は、運転者からの経路探索指示を、当該運転者からのマイク１２０を介した音声指示または表示装置１２４が備えるタッチパネルを介した指示入力により受信する。ナビゲーション装置１１４は、経路探索指示を受信したことに応じて、「目的地を指示してください」等の発信発話をＵＩ制御装置１００に指示し得る。その後、運転者から「近くのコンビニ」等の応答発話があると、ナビゲーション装置１１４は、ＵＩ制御装置１００を介して、この応答発話を受信する。
次に、ナビゲーション装置１１４は、現在位置周辺のコンビニを、例えば記憶装置（不図示）が記憶する地図情報から検索し、周辺のコンビニ店のリストを表示装置１２４に表示して、「リストからコンビニ店を選択してください」等の発信発話をＵＩ制御装置１００に指示する。そして、ナビゲーション装置１１４は、運転者の選択結果を、応答音声または表示装置１２４のタッチパネルを介した入力として受信する。応答音声は、たとえば、上記リストにおける行番号を示す「ナンバー３」等の発話であるものとすることができる。特に、本実施形態では、ナビゲーション装置１１４は、発信発話に対するユーザからの応答音声やタッチパネルへの入力を、ＵＩ制御装置１００の管理の下に待機する。
ＡＶ出力装置１１６は、例えばＣＰＵ等のプロセッサを備えるコンピュータである処理装置を備え、従来技術に従い、楽曲や動画の再生を行うと共に、ウェブブラウザを備えて、現在ユーザに対し情報検索及び又は情報閲覧の機能を提供する。
ＡＶ出力装置１１６は、ナビゲーション装置１１４と同様に、ＵＩ制御装置１００を介して運転者とのインタラクションを行う。例えば、運転者は、楽曲や動画の再生の指示、あるいは情報検索等の指示を、マイク１２０を介した音声指示により行うことができる。ＡＶ出力装置１１６は、ＵＩ制御装置１００を介して上記音声指示の音声認識結果を受信し、当該音声指示が指定する動作を実行する。また、ＡＶ出力装置１１６は、ＵＩ制御装置１００を介して、再生した音声や動画をスピーカ１２２や表示装置１２４に出力し、及び又は検索した情報を表示装置１２４に表示する。
また、ＡＶ出力装置１１６は、ナビゲーション装置１１４と同様に、従来技術に従い、運転者との複数回のインタラクションを通じて一つの指示を取得し得る。例えば、ＡＶ出力装置１１６は、運転者から、特定のアーティストの曲の再生を指示する「＊＊＊の曲を再生して」（＊＊＊はアーディスト名）という音声指示を受信する。ＡＶ出力装置１１６は、当該指示に応じて、対応するアーティストの曲を、例えば記憶装置（不図示）が記憶する楽曲の中から検索し、そのリストを表示装置１２４に表示して、「再生する曲を選択してください」等の発信発話を、ＵＩ制御装置１００に指示する。そして、ＡＶ出力装置１１６は、運転者の選択結果を、応答音声または表示装置１２４のタッチパネルを介した入力として受信する。特に、本実施形態では、ＡＶ出力装置１１６は、ナビゲーション装置１１４と同様に、発信発話に対するユーザからの応答音声やタッチパネルへの入力を、ＵＩ制御装置１００の管理の下に待機する。
ＵＩ制御装置１００は、ナビゲーション装置１１４およびＡＶ出力装置１１６と運転者との間に入ってユーザ応答を取得するホストとして動作する。すなわち、ＵＩ制御装置１００は、クライアント装置であるナビゲーション装置１１４およびＡＶ出力装置１１６からの指示により運転者へ発信発話を出力すると共に、当該出力した発信発話に対する運転者からのユーザ応答を取得する。特に、ＵＩ制御装置１００は、発信発話を出力したあとの、ユーザ応答を取得するための待機時間を管理する。なお、ナビゲーション装置１１４およびＡＶ出力装置１１６から指示された発信発話がユーザ応答を必要とするものであるか否かは、当該発信発話の指示と共にナビゲーション装置１１４およびＡＶ出力装置１１６が指定し得る。
具体的には、ＵＩ制御装置１００は、処理装置１４０と、記憶装置１４２と、を備える。記憶装置１４２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。
処理装置１４０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置１４０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、処理装置１４０は、機能要素又は機能ユニットとして、ＵＩ（ユーザインタフェース）制御部１４４と、応答管理部１４６と、を備える。ＵＩ制御部１４４は、機能要素又は機能ユニットである発話出力部１５０と、音声認識部１５２と、表示制御部１５４と、入力処理部１５６と、で構成される。また。応答管理部１４６は、機能要素又は機能ユニットである運転負荷推定部１６０と待機管理部１６２とで構成されている。
処理装置１４０が備えるこれらの機能要素は、例えば、コンピュータである処理装置１４０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置１４０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
ＵＩ制御部１４４は、ユーザインタフェースであるマイク１２０、スピーカ１２２、表示装置１２４、及びタッチパネル１２６を制御して、クライアント装置であるナビゲーション装置１１４及びＡＶ出力装置１１６とユーザとの間の、指示及び又はデータの授受を仲介する。特に、ＵＩ制御部１４４は、ユーザと音声対話を行う機能を有し、ユーザからの音声指示およびタッチパネル１２６を介した指示入力を取得する。
発話出力部１５０は、クライアント装置であるナビゲーション装置１１４およびＡＶ出力装置１１６からの指示により、運転者への発信発話をスピーカ１２２から出力する。音声認識部１５２は、従来技術に従い、運転者からの発話をマイク１２０により取得し、取得した発話の音声認識処理を行って、ナビゲーション装置１１４およびＡＶ出力装置１１６へ出力する。これに代えて、音声認識部１５２は、従来技術に従い、音声認識処理結果の意味解析を更に行い、その解析結果をナビゲーション装置１１４およびＡＶ出力装置１１６へ出力してもよい。
表示制御部１５４は、表示装置１２４を制御して、ナビゲーション装置１１４およびＡＶ出力装置１１６が指示する画像又は映像を出力する。また、入力処理部１５６は、従来技術に従い、操作パネルである例えばタッチパネル１２６から運転者の入力を取得し、当該取得した入力の処理結果を、ナビゲーション装置１１４およびＡＶ出力装置１１６へ出力する。
応答管理部１４６は、ＵＩ制御部１４４が運転者に対し発信発話を出力したあとの、ユーザ応答のための待機時間を管理する。特に、応答管理部１４６は、運転者の現在の運転負荷に応じて、上記待機時間を調整する。
運転負荷推定部１６０は、運転者の現在の運転負荷を推定する。運転負荷推定部１６０は、車両１０２が遭遇している現在の交通シーンと、現在の運転者の運転技量の程度と、に基づいて、当該運転者の現在の運転負荷を算出する。具体的には、運転負荷推定部１６０は、車両１０２が遭遇している現在の交通シーンに基づく標準的な運転者の標準運転負荷を、交通シーン特定装置１０６から、所定の時間間隔で繰り返し取得する。上記所定の時間間隔は、例えば交通シーン特定装置１０６が現在の交通シーンを特定する時間間隔と同じであるものとすることができる。また、運転負荷推定部１６０は、車両１０２の現在の運転者の運転技量を表す運転スキル評価点を、運転者評価装置１０８から取得する。
そして、運転負荷推定部１６０は、交通シーン特定装置１０６から標準運転負荷を取得する毎に、当該取得した標準運転負荷と、運転スキル評価点と、を用いて運転者の現在の運転負荷である現在運転負荷を算出する。例えば、運転負荷推定部１６０は、運転負荷が大きいほど大きな値をとる標準運転負荷を、運転スキルが低いほど値の小さい運転スキル評価点で除算することにより、運転者の現在の運転負荷量を算出する。
すなわち、上記現在の運転負荷量は、現在の運転者の運転スキルが低いほど、標準運転負荷に比べて大きな値となるように算出される。同じ交通シーンであっても、運転スキルの低い運転者は、運転スキルの高い運転者に比べて運転負荷がより高くなると考えられるためである。
そして、運転負荷推定部１６０は、上記算出した運転負荷量に基づき、現在の運転者の現在運転負荷を、例えば５段階の負荷レベルとして算出する。この負荷レベルは、運転負荷量の範囲を段階的に示したものであり、例えば、レベル５が最も大きな運転負荷範囲を示し、レベル１が最も小さい運転負荷範囲を示す。
待機管理部１６２は、発話出力部１５０が、ユーザ応答を必要とする発信発話を出力した後の、ユーザ応答を待機する待機時間を設定する。特に、待機管理部１６２は、待機時間を予め定められた時間に設定したのち、上記算出した現在運転負荷が所定のレベル以上であるときに、上記待機時間を延長する。
具体的には、待機管理部１６２は、発信発話が出力されたときに、上記待機時間を、予め定められたデフォルト値Δｔｄｅｆに設定する。その後、待機管理部１６２は、現在設定している待機時間の経過中または満了時に、現在運転負荷を所定の閾値レベルと比較し、現在運転負荷が所定の閾値レベル以上であるときは、上記待機時間を所定の時間Δｔｅｘｔだけ延長する。
図２は、待機管理部１６２が行う、ユーザ応答のための待機時間延長動作の一例を示す図である。図示縦軸は運転負荷を示し、図示横軸は時間を示している。図示上部の下向き太線矢印の列は、現在運転負荷が繰り返し算出されるタイミングを表している。図示の例では、所定の時間間隔Δｔｃで、現在運転負荷が繰り返し算出されている。このΔｔｃは、例えば交通シーン特定装置１０６における交通シーン検知の繰返し周期に等しい。
ライン２００は、現在運転負荷の時間推移を表している。ライン２００は、例えば、車両１０２が、直線道路を走行して交差点にさしかかり、当該交差点を左折して走行を続ける場合の現在運転負荷の時間変化を表している。ライン２００の、時刻ｔ１０１を含む図示左のレベル１の範囲は、直線道路を走行する際の現在運転負荷を示し、その後の時刻ｔ１０２からｔ１０４におけるレベル４の範囲は、交差点を走行する際の現在運転負荷を示している。また、時刻ｔ１０４からｔ１０５におけるレベル３の範囲は、交差点を左折して新たな道路へ進入する際の現在運転負荷を示し、時刻ｔ１０５以降のレベル１の範囲は、左折後の新たな道路を直線走行する際の現在運転負荷を示している。
図２において、まず、時刻ｔ１００において発信発話が出力される。これにより、待機管理部１６２は、待機時間をデフォルト値Δｔｄｅｆに設定する。その後、待機管理部１６２は、現在設定されている待機時間が満了する時刻ｔ１０３において、取得した現在運転負荷と、予め定められた閾値レベル２０２（図示破線）とを比較する。図示の例では、閾値レベル２０２は、レベル２とレベル３の中間に設定されている。
時刻ｔ１０３において、ライン２００が示すレベル４の現在運転負荷は、閾値レベル２０２を超えていることから、待機管理部１６２は、待機時間を所定時間Δｔｅｘｔだけ延長する。その後、待機管理部１６２は、延長した待機時間が満了する時刻ｔ１０６に、再び、その直前の時刻ｔ１０５で取得した現在運転負荷と、閾値レベル２０２とを比較する。ここでは、上記取得した現在運転負荷であるレベル１は閾値レベル２０２より低いことから、待機管理部１６２は、所定時間Δｔｅｘｔを用いた延長を終了し、最後に待機時間を所定時間Δｔｄｅｆだけ延長する。このとき、動作管理部１６４は、発話出力部１５０に対し、リマインダ発話を出力するよう指示する。このリマインダ発話は、その前の（時刻ｔ１００で行った）発信発話の内容を運転者に思い出させる思い出し発話であり、例えば、当該発信発話の文言の一部を含む発話であり得る。
そして、待機管理部１６２は、延長した待機時間が満了する時刻ｔ１０８までに、運転者の応答動作（本実施形態では、応答発話またはタッチパネル１２６への入力）がなければ、時刻ｔ１００での発信発話を指示したクライアント装置（本実施形態では、ナビゲーション装置１１４またはＡＶ出力装置１１６）へ関連動作の中止を指示して、待機時間を終了する。
なお、上記の動作では、現在運転負荷が閾値レベル２０２を下回って減少する際の、現在運転負荷と閾値レベル２０２との比較が、当該減少の直前で行われるか直後に行われるかで、当該減少後の待機時間の長さは最大Δｔｅｘｔだけ異なるものとなる。例えば、図１の例において、仮に、現在運転負荷がレベル３からレベル１へ変化する時刻ｔ１０５の直前に現在運転負荷と閾値レベル２０２との比較が行われる場合には（すなわち、時刻ｔ１０６がｔ１０５より先に到来する場合には）、待機時間は更にΔｔｅｘｔだけ延長されることとなる。
この場合、値Δｔｅｘｔがあまり大きいと、上記比較の実行が時刻ｔ１０５の直前か直後かの僅かなタイミングの違いで、その後の待機時間に大きな差を生じることとなり、運転者において違和感を生じさせる結果となり得る。このため、Δｔｅｘｔは、例えば、交通シーン特定装置１０６における交通シーン検知の繰返し周期Δｔｃに１秒程度の処理時間を加えた値にすることが好ましい。
図３は、待機管理部１６２が行う、ユーザ応答のための待機時間延長動作の他の一例を示す図である。図示の縦軸、横軸、閾値レベル２０２、および図示上部の太線矢印の列は、図２と同様である。
ライン３００は、現在運転負荷の時間推移である。ライン３００は、例えば、車両１０２が、直線道路を走行して交差点にさしかかったのち、交差点付近で緊急車両が通過し、その後、当該交差点を左折して走行を続ける場合の、現在運転負荷の時間変化を表している。ライン３００の、時刻ｔ２０１を含む図示左のレベル１の範囲は、直線道路走行時の現在運転負荷を示し、その後の時刻ｔ２０２からｔ２０４におけるレベル４の範囲は交差点への進入時の現在運転負荷を示している。
また、時刻ｔ２０４からｔ２０７おけるレベル５の範囲は、交差点における緊急車両の通過時の現在運転負荷を示している。さらに、時刻ｔ２０７からｔ２０８のレベル３の範囲は、交差点を左折して新たな道路へ進入する際の現在運転負荷を示し、時刻ｔ２０８以降のレベル１の範囲は、左折後の新たな道路を直線走行する際の現在運転負荷を示している。
待機管理部１６２は、時刻ｔ２００における発信発話の出力に応じて、待機時間をデフォルト値Δｔｄｅｆに設定する。その後、待機管理部１６２は、上述した図２における動作と同様に、設定した待機時間が完了する時刻ｔ２０３、ｔ２０６、ｔ２０９のそれぞれにおいて、現在運転負荷と閾値レベル２０２とを比較する。これにより、待機管理部１６２は、現在運転負荷が閾値レベル２０２より高い時刻ｔ２０３およびｔ２０６において、待機時間を、所定時間Δｔｅｘｔ分延長する。また、待機管理部１６２は、現在運転負荷が閾値レベル２０２を下回った時刻ｔ２０９において、リマインダ発話を発話出力部１５０に指示すると共に、待機時間をデフォルト値Δｔｄｅｆだけ延長する。そして、待機時間が満了する時刻ｔ２１１に、当該待機時間を終了する。
なお、図２、図３に示す例は、待機時間の終了までユーザ応答が受信されない場合の例である。図２、図３において、待機時間が終了する時刻ｔ１０８、ｔ２１１までに、ＵＩ制御部１４４がユーザ応答を受信したときは、当該受信のときに待機時間が終了する。
上記の構成を有するＵＩ制御装置１００は、車両１０２の運転者に発信発話を出力した後の、当該運転者からユーザ応答を取得するための待機時間を、運転者の現在の運転負荷に基づいて延長する。これにより、ＵＩ制御装置１００では、運転負荷の状況に応じて、運転者がユーザ応答を行うための時間的余裕が確保されるので、運転者の運転負荷が過大となる場合にも、運転操作への注意力を散逸させることなく、且つユーザ応答を要するクライアント装置の動作を固定的な待機時間で中止させることなく、ユーザ応答を効率的に取得することができる。
例えば、具体的な動作指示を確定するまでに複数回の応答発話を必要とするような音声対話指示において、対話途中で運転負荷が増大するような場合であっても、それまでの対話の状態を維持しつつ（すなわち、クライアント装置の動作を中止させることなく）、その後の交通シーンの展開によって運転負荷が減少したタイミングで、運転者がユーザ応答を行えるようにすることができる。
次に、ＵＩ制御装置１００の応答管理部１４６が行う待機時間延長処理について説明する。図４は、待機時間延長処理の手順を示すフロー図である。この処理は、クライアント装置であるナビゲーション装置１１４又はＡＶ出力装置１１６のいずれかからの指示に基づき、ＵＩ制御部１４４の発話出力部１５０から、ユーザ応答を必要とする発信発話が運転者に対して出力されたことに応じて開始する。
なお、図４に示す処理と並行して、応答管理部１４６の運転負荷推定部１６０は、所定の時間間隔で、現在運転負荷を算出するものとする。また、ＵＩ制御装置１００のＵＩ制御部１４４は、図４に示す処理と並行して、運転者からユーザ応答があったときは、当該ユーザ応答についての処理結果を、クライアント装置であるナビゲーション装置１１４又はＡＶ出力装置１１６へ送信するものとする。ユーザ応答は、本実施形態では、運転者からの応答音声またはタッチパネル１２６を介した運転者からの入力である。ＵＩ制御部１４４は、入力処理部１５６及び音声認識部１５２により、上記入力があればその入力処理の結果、及び又は上記応答発話があればその音声認識処理の結果（及び又は意味解析処理の結果）を、上記クライアント装置へ送信する。
また、本実施形態では、ナビゲーション装置１１４およびＡＶ出力装置１１６は、ＵＩ制御装置１００のＵＩ制御部１４４から、自身への有効なユーザ応答を受信したときは、ユーザ応答を受信した旨の応答受信通知を、車載ネットワークバス１０４へ送信する。この送信は、例えば、受信装置を指定しないブロードキャスト通信であり得る。
図４の処理を開始すると、応答管理部１４６の待機管理部１６２は、待機時間を最初のデフォルト値Δｔｄｅｆから延長したか否かを示すフラグＦを０にリセットする（Ｓ１００）。そして、待機管理部１６２は、待機時間を、まず、デフォルト値Δｔｄｅｆに設定したのち（Ｓ１０２）、運転者への発進発話の出力後の経過時間の計測を開始する（Ｓ１０４）。これにより、ユーザ応答を取得するための待機時間が開始される。
次に、待機管理部１６２は、ユーザ応答があったか否かを判断する（Ｓ１０６）。ユーザ応答があったか否かは、例えば、ナビゲーション装置１１４またはＡＶ出力装置１１６から応答受信通知を受信したか否かにより判断することができる。
そして、待機管理部１６２は、ユーザ応答があったときは（Ｓ１０６、ＹＥＳ）、本処理を終了する。一方、ユーザ応答がないときは（Ｓ１０６、ＮＯ）、待機管理部１６２は、ステップＳ１０４により開始した経過時間を参照し、現在設定されている待機時間が満了したか否かを判断する（Ｓ１０８）。そして、満了していないときは（Ｓ１０８、ＮＯ）、ステップＳ１０６に戻って処理を繰り返す。
一方、待機時間が満了したときは（Ｓ１０８、ＹＥＳ）、待機管理部１６２は、運転負荷推定部１６０が算出した最新の現在運転負荷を取得する（Ｓ１１０）。続いて、待機管理部１６２は、取得した現在運転負荷が、所定の閾値レベルを超えているか否かを判断する（Ｓ１１２）。そして、現在運転負荷が閾値を超えているときは（Ｓ１１２、ＹＥＳ）、待機管理部１６２は、待機時間を所定値Δｔｅｘｔ分延長する（Ｓ１１８）。続いて、待機管理部１６２は、フラグＦを１にセットしたのち（Ｓ１２０）、ステップＳ１０６に戻って処理を繰り返す。
一方、ステップＳ１１２において現在運転負荷が閾値レベルを超えていないときは（Ｓ１１２、ＮＯ）、待機管理部１６２は、フラグＦｅｘｔが１にセットされているか否かを判断する（Ｓ１１４）。
そして、フラグＦｅｘｔが１にセットされているとき（すなわち、待機時間が少なくとも１回延長されているとき）は（Ｓ１１４、ＹＥＳ）、待機管理部１６２は、現在待機しているユーザ応答を運転者に思い出させるためのリマインダ発話を、発話出力部１５０に指示してスピーカ１２２から出力する（Ｓ１２２）。
続いて、待機管理部１６２は、待機時間を更にデフォルト値Δｔｄｅｆ分延長して（Ｓ１２４）、運転者が上記リマインダ発話に応じてユーザ応答を返す時間を確保する。次に、待機管理部１６２は、運転者からユーザ応答があったか否かを判断する（Ｓ１２６）。この判断は、ステップＳ１０６と同様に行うことができる。
そして、待機管理部１６２は、ユーザ応答があったときは（Ｓ１２６、ＹＥＳ）、本処理を終了する。一方、ユーザ応答がないときは（Ｓ１２６、ＮＯ）、待機管理部１６２は、待機時間が満了したか否かを判断する（Ｓ１２８）。そして、待機時間が満了したときは（Ｓ１２８、ＹＥＳ）、待機管理部１６２は、待機時間を終了したのち（Ｓ１３０）、本処理を終了する。
待機管理部１６２は、ステップＳ１３０において待機時間を終了するときは、その旨を示す待機終了通知を、現在のクライアント装置であるナビゲーション装置１１４又はＡＶ出力装置１１６へ送信する。待機終了通知を受信した現在のクライアント装置は、当該待機に係る動作を中止する。ここで、当該待機に係る動作とは、図４の動作フローの開始トリガとなった、ユーザ応答を必要とする発信発話に係る動作である。当該動作は、例えば、ナビゲーション装置１１４の場合には経路探索のための目的地についてのユーザ応答の取得動作、ＡＶ出力装置１１６の場合には再生すべき楽曲名についてのユーザ応答の取得動作であり得る。
一方、ステップＳ１２８において待機時間が満了していないときは（Ｓ１２８、ＮＯ）、待機管理部１６２は、ステップＳ１２６へ戻って処理を繰り返す。
また一方、ステップＳ１１４においてフラグＦｅｘｔが１にセットされていないときは（Ｓ１１４、ＮＯ）、待機管理部１６２は、リマインダ発話を行うことなく、待機時間を終了する（Ｓ１１６）。フラグＦｅｘｔが１にセットされていないとき、すなわちフラグＦｅｘｔが０にリセットされたままであるときは、待機時間は一度も延長されておらず、最初のデフォルト値Δｔｄｅｆの期間のみで終了するので、運転者にリマインダ発話を出力する必要はないためである。
また、待機管理部１６２は、ステップＳ１１６において待機時間を終了するときは、ステップＳ１３０と同様に、待機時間が終了したことを示す待機終了通知を、現在のクライアント装置であるナビゲーション装置１１４又はＡＶ出力装置１１６へ送信する。
なお、上述した第１の実施形態では、図２および図３に示すように、待機管理部１６２は、運転負荷推定部１６０から次の現在運転負荷を取得するまで、直前に取得した現在運転負荷のレベルが継続するものとして、待機時間の延長処理を行う。ただし、待機時間の延長処理の態様は、これには限られない。第１の実施形態の変形例として、例えば、現在運転負荷のレベルは、算出時のレベルを起点として時間と共に減少するものとして、待機時間の延長処理を行うものとすることができる。
図５は、ＵＩ制御装置１００における待機時間延長動作の変形例を示す図であり、上記のように現在運転負荷のレベルが時間と共に減少するものとした場合の、待機時間延長動作の一例を示す図である。
図５において、図示の縦軸、横軸、閾値レベル２０２、および図示上部の太線矢印の列は、図３と同様である。ライン５００は、図３に示すライン３００と同様の、交差点付近で緊急車両が通過する場合の、現在運転負荷の時間変化を表している。図５には、参考として、図３のライン３００と同じラインが一点鎖線で示されている。
図５に示す例では、ライン５００が示す現在運転負荷は、算出時のレベルを起点として一定の減衰率で減少する直線に沿って時間と共に減少する。ただし、上記一定の減衰率で減少する直線が示す運転負荷に比べて、次に算出された現在運転負荷のレベルが大きいときは、現在運転負荷は、当該次に算出された現在運転負荷のレベルまで上昇した後、当該レベルを起点として上記一定の減衰率で時間と共に直線的に減少する。時間と共に減少するこの現在運転負荷は、待機管理部１６２が、運転負荷推定部１６０から所定の時間間隔で取得される現在運転負荷に基づいて算出するものとしてもよいし、運転負荷推定部１６０自身が算出するものとしてもよい。
ライン５００が示す現在運転負荷は、具体的には、時刻ｔ２０２においてレベル１からレベル４に上昇した後、当該時刻ｔ２０２のレベル４を起点とする直線５０２－１（図示二点鎖線）に沿って一定の減衰率で減少する。その後、時刻ｔ２０４において、緊急車両の通過という新たな交通シーンに基づき、直線５０２－１が示すレベルよりも大きなレベル５の運転負荷が算出されると、ライン５００が示す現在運転負荷は、当該レベル５まで上昇したのち、再び一定の減衰率で減少する直線５０２－２に沿って減少する。同様に、時刻ｔ２０５においても、時刻ｔ２０４から継続する緊急車両の通過に基づいて、直線５０２－２より高いレベル５の運転負荷が再度算出されることから、ライン５００が示す現在運転負荷は、時刻ｔ２０５において当該レベル５まで再度上昇したのち、直線５０２－３に沿って一定の減衰率で減少していく。
これに対し、待機管理部１６２は、発信発話が出力された時刻ｔ２００の後、待機時間をΔｔｄｅｆに設定したのち、現在運転負荷が閾値レベル２０２を超えている間は、待機時間が満了する毎に当該待機時間をΔｔｅｘｔ分延長する。そして、現在運転負荷が閾値レベル２０２を下回ったあとの待機時間の満了時刻ｔ２１２に、リマインダ発話を指示すると共に、当該待機時間を更にデフォルト値Δｔｄｅｆ分延長する。そして、当該延長した待機時間が満了する時刻ｔ２１４に、当該待機時間を終了する。
一般に、運転者は、運転負荷を増加させるような交通シーンが出現して緊張感が高まったあとは、そのすぐ後に運転負荷のより少ない新たな交通シーンが出現しても、上記高まった緊張感のため、体感される運転負荷は急激には減少しない。
図５のライン５００により示す変形例では、現在運転負荷は、より高いレベルへと上昇した運転負荷のレベルを起点として、時間と共に一定の減衰率で減少していく値として算出されるので、運転者が一般的に体感する運転負荷の傾向に、より一致したものとなる。このため、上記変形例では、運転者が体感する運転負荷の状態をより精度よく反映して、運転者に対しユーザ応答のための時間的余裕をより的確に確保することができる。
［第２実施形態］
次に、本発明の第２の実施形態について説明する。図１に示す第１の実施形態では、クライアント装置と運転者との間の情報授受を仲介するＵＩ制御部１４４と、ユーザ応答の待機時間を管理する応答管理部１４６とが、一つのＵＩ制御装置１００の中に設けられている。これに対し、以下に示す第２の実施形態では、図１に示すＵＩ制御装置１００の応答管理部１４６に相当する部分が、一つの装置として実現されている。
図６は、本発明の第２の実施形態に係る応答管理装置６００の構成を示す図である。なお、図６において、図１に示す構成要素と同じ要素については、同じ符号を用いるものとし、上述した図１についての説明を援用するものとする。
この応答管理装置６００は、図１に示すＵＩ制御装置１００の応答管理部１４６に相当する機能を有する。応答管理装置６００は、車両１０２に搭載され、車載ネットワークバス１０４を介して、交通シーン特定装置１０６、運転者評価装置１０８、車両情報取得装置１１０、カメラ制御装置１１２、ナビゲーション装置１１４、ＡＶ出力装置１１６、およびＵＩ制御装置６０２と、通信可能に接続されている。
ＵＩ制御装置６０２は、図１に示す第１の実施形態に係るＵＩ制御装置１００の処理装置１４０が備えるＵＩ制御部１４４と同様の機能を有する。すなわち、ＵＩ制御装置６０２は、ナビゲーション装置１１４およびＡＶ出力装置１１６と運転者との間に入ってユーザ応答を取得するホストとして動作する。ＵＩ制御装置６０２は、ユーザインタフェースであるマイク１２０および、スピーカ１２２、表示装置１２４、及びタッチパネル１２６を制御して、クライアント装置であるナビゲーション装置１１４及びＡＶ出力装置１１６とユーザとの間の、指示及び又はデータの授受を仲介する。
具体的には、ＵＩ制御装置６０２は、クライアント装置であるナビゲーション装置１１４およびＡＶ出力装置１１６からの指示により運転者へ発信発話を出力すると共に、当該出力した発信発話に対する運転者からのユーザ応答を取得する。ＵＩ制御装置６０２は、特に、ユーザと音声対話を行う機能を有し、ユーザからの音声指示およびタッチパネル１２６を介した指示入力を取得する。
ＵＩ制御装置６０２は、処理装置６２０と、記憶装置６２２と、を備える。記憶装置６２２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置６２０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置６２０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、処理装置６２０は、機能要素又は機能ユニットとして、発話出力部６２４と、音声認識部６２６と、表示制御部６２８と、入力処理部６３０と、を有する。
処理装置６２０が備えるこれらの機能要素は、例えば、コンピュータである処理装置６２０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置６２０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
発話出力部６２４、音声認識部６２６、表示制御部６２８、および入力処理部６３０は、図１に示すＵＩ制御装置１００の発話出力部１５０、音声認識部１５２、表示制御部１５４、および入力処理部１５６と同様の構成を有するが、発話出力部１５０、音声認識部１５２、表示制御部１５４、および入力処理部１５６が待機管理部１６２との間で行っていたデータの授受を、車載ネットワークバス１０４を介して、応答管理装置６００の待機管理部６１６との間で行う点が異なる。
また、処理装置６２０は、クライアント装置であるナビゲーション装置１１４またはＡＶ出力装置１１６から発信発話の指示と共にユーザ応答を要する旨の指示を受信したときは、その旨を応答管理装置６００へ通知する。
応答管理装置６００は、図１に示すＵＩ制御装置１００の処理装置１４０が備える応答管理部１４６と同様の機能を有する。すなわち、応答管理装置６００は、ＵＩ制御装置６０２が運転者に対し発信発話を出力したあとの、ユーザ応答のための待機時間を管理する。特に、応答管理装置６００は、図１に示す応答管理部１４６と同様に、運転者の現在の運転負荷に応じて、上記待機時間を延長する。
具体的には、応答管理装置６００は、処理装置６１０と、記憶装置６１２と、を備える。記憶装置６１２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。
処理装置６１０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置６１０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、処理装置６１０は、機能要素又は機能ユニットとして、運転負荷推定部６１４と、待機管理部６１６と、を有する。
運転負荷推定部６１４は、図１に示すＵＩ制御装置１００の運転負荷推定部１６０と同様の構成を有し、現在運転負荷を所定の時間間隔で待機管理部６１６に送信する。待機管理部６１６は、図１に示すＵＩ制御装置１００の待機管理部１６２と同様の構成を有するが、ユーザ応答を求める発信発話が出力された旨の情報をＵＩ制御装置６０２から取得する点が異なる。
待機管理部６１６は、上記ユーザ応答を求める発信発話が出力された旨の情報をＵＩ制御装置６０２から受信したことをトリガとして、図４と同様の待機時間延長処理を実行し、上記発信発話の後の、ユーザ応答の待機時間の長さを調整する。なお、待機管理部６１６は、車載ネットワークバス１０４を介して、ナビゲーション装置１１４またはＡＶ出力装置１１６から上述の応答受信通知を受信することにより、ユーザ応答が行われたことを認識する。また、待機管理部６１６は、待機時間を終了するときは、待機終了通知を、車載ネットワークバス１０４を介してクライアント装置へ通知する。
なお、本発明は上述した実施形態および変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上述したＵＩ制御装置１００および応答管理装置６００は、一例として車両１０２の運転者からのユーザ応答の待機時間を管理するものとしたが、ユーザ応答の対象者は車両１０２の運転者には限られない。ＵＩ制御装置１００および応答管理装置６００は、任意の移動体に搭載されて、当該任意の移動体の運転者からのユーザ応答の待機時間を管理するものとすることができる。
また、上述したＵＩ制御装置１００および応答管理装置６００は、一例として、クライアント装置からの指示による発信発話に対するユーザ応答の待機時間を管理するものとしたが、待機時間管理の対象となるユーザ応答は、これには限られない。ＵＩ制御装置１００および応答管理装置６００は、スピーカ１２２および表示装置１２４を含む任意のユーザインタフェース装置を介してクライアント装置から示される任意の形態の出力に対するユーザ応答の待機時間を管理するものとすることができる。そのような出力は、発信発話のほか、例えば表示装置１２４に表示されるメッセージや、スピーカ１２２から出力される所定の音響（ビープ音等）であり得る。
また、上述した図２、図３、図５に示す例では、待機管理部１６２は、待機時間の満了時に、現在運転負荷が閾値レベル未満であるか否かを判断するものとしたが、当該判断のタイミングは、これには限られない。待機管理部１６２は、待機時間の経過中に、現在運転負荷が閾値レベル未満であるか否かを判断してもよい。
また、上述した図２、図３、図５に示す例では、待機管理部１６２は、現在運転負荷が閾値レベル以上である限り、待機時間を繰り返し延長するものとしたが、待機管理部１６２の動作は、これには限られない。例えば、待機管理部１６２は、現在運転負荷が閾値レベル以上である期間が継続する場合には、待機時間の延長を行った回数が所定の回数を超えないことを条件として（すなわち、所定の回数を超えない範囲において）、当該待機時間を延長するものとすることができる。
また、待機管理部１６２が待機時間の設定および延長に用いるデフォルト値Δｔｄｅｆは、対応するユーザ応答を取得するクライアント装置（上記実施形態ではナビゲーション装置１１４およびＡＶ出力装置１１６）ごとに異なる値であってもよい。また、待機時間の延長に用いられる所定値Δｔｅｘｔは、クライアント装置ごと、及び又は延長の回数ごとに、異なる値であってもよい。
また、上述した実施形態では、運転負荷推定部１６０が算出する現在運転負荷は５段階の負荷レベルであるものとしたが、算出される現在運転負荷の態様は、これには限られない。算出される現在運転負荷は、５以外の段階数を持つ多段階の負荷レベル、または連続値であるものとすることができる。
また、上述したＵＩ制御装置１００および応答管理装置６００は、ナビゲーション装置１１４およびＡＶ出力装置１１６をクライアント装置とし、これらクライアント装置が取得しようとするユーザ応答の待機時間を延長するものとしたが、クライアント装置は、ナビゲーション装置１１４およびＡＶ出力装置１１６には限られない。ＵＩ制御装置１００および応答管理装置６００は、ユーザ応答を必要とする任意の数の任意の種類の装置をクライアント装置として、当該ユーザ応答の待機時間を延長するものとすることができる。そのような任意の装置は、例えば、エアコン等の任意の車載電装装置の制御を行う制御装置や、運転者支援システム等々であるものとすることができる。
また、待機管理部１６２、６１６は、ナビゲーション装置１１４およびＡＶ出力装置１１６等の、ユーザ応答の取得を必要とする装置の中に、それぞれ備えられるものとしてもよい。これに加えて、そのような装置には、運転負荷推定部１６０、６１４も備えられるものとすることができる。
また、ＵＩ制御装置１００は、必ずしも単独の装置である必要はなく、例えば、ＡＶ出力装置１１６の一部を構成するか又はＡＶ出力装置１１６を構成要素の一部として含む装置であってもよい。そのような装置は、例えば、いわゆるディスプレイオーディオ（ＤＡ、Ｄｉｓｐｌａｙ Ａｕｄｉｏ）装置であるものとすることができる。
また、上述した応答管理装置６００は、クライアント装置が搭載される移動体、例えば車両１０２に備えられるものとしたが、応答管理装置６００の設置場所は、必ずしもクライアント装置が備えられる移動体内である必要はない。例えば、応答管理装置６００は、移動体に搭載されたクライアント装置と通信可能に接続された、当該移動体の外部に設けられたサーバ等において実現されるものとしてもよい。
以上説明したように、上述したＵＩ制御装置１００または応答管理装置６００は、ユーザ応答を待機する待機時間の長さを調整するため、図４に示すフロー図で示される待機時間調整方法を実行する。ここで、上記ユーザ応答は、移動体である例えば車両１０２の運転者からの応答である。この待機時間調整方法は、運転負荷推定部１６０が、車両１０２が遭遇している現在の交通シーンと、運転者の運転技量の程度と、に基づいて、運転者の現在運転負荷を算出するステップ（Ｓ１１０）と、待機管理部１６２、６１６が、上記待機時間を延長するステップ（Ｓ１１８）と、を有する。そして、上記延長するステップ（Ｓ１１８）では、上記待機時間の経過中または満了時に、上記算出した現在運転負荷が所定の閾値レベル以上であることを検知したときは、上記待機時間を所定時間Δｔｅｘｔ分延長する。
この構成によれば、車両１０２の運転者からのユーザ応答を取得する際に、運転者の状況に応じて当該運転者におけるユーザ応答のための時間的余裕を確保することができる。その結果、運転者の運転負荷が過大となる場合にも、運転操作への注意力を散逸させることなく、当該運転者からのユーザ応答を効率的に取得することができる。
また、上記ユーザ応答は、当該ユーザ応答を取得する装置が運転者に向けて出力した発信発話に対する当該運転者の応答であるものとすることができる。この構成によれば、運転者に応答を求める装置からの発信発話の後の、ユーザ応答のための待機時間を、当該運転者の現在の運転負荷に応じて適切に確保することができる。
また、上記ユーザ応答は、上記発信発話に対する運転者の応答発話であるものとすることができる。この構成によれば、音声対話の機能を有する装置に対する運転者の指示が、当該装置と運転者との間の複数回のインタラクションを通じて与えられるような場合にも、運転者における運転操作への注意力を散逸させることなく、効率的に取得され得る。
また、待機管理部１６２または６１６は、上記延長した待機時間の経過中または満了時に、現在運転負荷が所定の閾値レベル未満であることを検知したときは、上記延長した待機時間の満了時に、運転者に対し上記発信発話の内容を思い出させる思い出し発話（リマインダ発話）を出力して、上記待機時間をさらに所定の時間Δｔｄｅｆ分延長するものとすることができる。この構成によれば、現在運転負荷が閾値レベル２０２を超えて低下したときに、リマインド発話が発出されるので、運転者は応答途中であったユーザ応答に係る、装置からの質問ないし確認要請を思い出すことができ、その後のユーザ応答をスムーズに行うことができる。
また、待機管理部１６２または６１６は、上記延長を行った回数が所定の回数を超えないことを条件として、上記待機時間を延長するものとすることができる。この構成によれば、現在運転負荷が閾値レベルより低くなるまで待機時間の延長が延々と繰り返されるのを防止することができる。
また、上述したＵＩ制御装置１００および応答管理装置６００は、ユーザ応答を待機する待機時間の長さを調整する機能を有する装置であって、当該ユーザ応答は、移動体である車両１０２の運転者からの応答である。これらのＵＩ制御装置１００および応答管理装置６００は、車両１０２が遭遇している現在の交通シーンと運転者の運転技量の程度とに基づいて当該運転者の現在運転負荷を算出する運転負荷推定部１６０、６１４と、上記待機時間の長さを設定する待機管理部１６２、６１６と、を備え得る。そして、待機管理部１６２、６１６は、上記待機時間の経過中または満了時に、上記算出した現在運転負荷が所定の閾値レベル以上であることを検知したときは、上記待機時間を所定の時間Δｔｅｘｔ分延長する。
この構成によれば、車両１０２の運転者からのユーザ応答を取得する際に、運転者の状況に応じて当該運転者におけるユーザ応答のための時間的余裕を確保することができる。その結果、運転者の運転負荷が過大となる場合にも、運転操作への注意力を散逸させることなく、当該運転者からのユーザ応答を効率的に取得することができる。
また、ＵＩ制御装置１００は、マイク、スピーカ、表示装置、及び又は操作パネルを含むユーザインタフェース機器の入出力を処理する装置である。この構成によれば、運転者とのインタラクションを行うユーザインタフェース機器を制御する装置において、ユーザ応答の待機時間を直接的に調整することができる。
１００、６０２…ＵＩ制御装置、１０２…車両、１０４…車載ネットワークバス、１０６…交通シーン特定装置、１０８…運転者評価装置、１１０…車両情報取得装置、１１２…カメラ制御装置、１１４…ナビゲーション装置、１１６…ＡＶ出力装置、１２０…マイク、１２２…スピーカ、１２４…表示装置、１２６…タッチパネル、１３０…センサ群、１３２…車室内カメラ、１３４…車外カメラ、１４０、１７０、１７４、６１０、６２０…処理装置、１４２、１７２、１７６、６１２、６２２…記憶装置、１４４…ＵＩ制御部、１４６…応答管理部、１５０、６２４…発話出力部、１５２、６２６…音声認識部、１５４、６２８…表示制御部、１５６、６３０…入力処理部、１６０、６１４…運転負荷推定部、１６２、６１６…待機管理部。

Claims (7)

  1. ユーザ応答を待機する待機時間の長さを調整する待機時間調整方法であって、
    前記ユーザ応答は、移動体の運転者からの応答であり、
    運転負荷推定部が、前記移動体が遭遇している現在の交通シーンと、前記運転者の運転技量の程度と、に基づいて、前記運転者の現在の運転負荷を算出するステップと、
    待機管理部が、前記待機時間を延長するステップと、
    を有し、
    前記延長するステップでは、前記待機時間の経過中または満了時に、前記算出した現在の前記運転負荷が所定のレベル以上であることを検知したときは、前記待機時間を所定の時間分延長する、
    待機時間調整方法。
  2. 前記ユーザ応答は、前記ユーザ応答を取得する装置が前記運転者に向けて出力した発信発話に対する当該運転者の応答である、
    請求項１に記載の待機時間調整方法。
  3. 前記ユーザ応答は、前記発信発話に対する前記運転者の応答発話である、
    請求項２に記載の待機時間調整方法。
  4. 前記延長するステップでは、前記延長した前記待機時間の経過中または満了時に、現在の前記運転負荷が所定のレベル未満であることを検知したときは、前記延長した前記待機時間の満了時に、前記運転者に対し前記発信発話の内容を思い出させる思い出し発話を出力して、前記待機時間をさらに所定の時間分延長する、
    請求項２または３に記載の待機時間調整方法。
  5. 前記延長するステップでは、前記延長を行った回数が所定の回数を超えないことを条件として、前記待機時間を延長する、
    請求項１ないし４のいずれか一項に記載の待機時間調整方法。
  6. ユーザ応答を待機する待機時間の長さを調整する機能を有する装置であって、
    前記ユーザ応答は、移動体の運転者からの応答であり、
    前記移動体が遭遇している現在の交通シーンと、前記運転者の運転技量の程度と、に基づいて、前記運転者の現在の運転負荷を算出する運転負荷推定部と、
    前記待機時間の長さを設定する待機管理部と、
    を有し、
    前記待機管理部は、前記待機時間の経過中または満了時に、前記算出した現在の前記運転負荷が所定のレベル以上であることを検知したときは、前記待機時間を所定の時間分延長する、
    装置。
  7. 前記装置は、マイク、スピーカ、表示装置、及び又は操作パネルの入出力を処理するユーザインタフェース制御装置である、請求項６に記載の装置。
JP2020052223A 2020-03-24 2020-03-24 待機時間調整方法および装置 Active JP7388962B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020052223A JP7388962B2 (ja) 2020-03-24 2020-03-24 待機時間調整方法および装置
CN202110284269.7A CN113450787A (zh) 2020-03-24 2021-03-17 等待时间调整方法及等待时间调整装置
JP2023194704A JP2024009092A (ja) 2020-03-24 2023-11-15 待機時間調整方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020052223A JP7388962B2 (ja) 2020-03-24 2020-03-24 待機時間調整方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023194704A Division JP2024009092A (ja) 2020-03-24 2023-11-15 待機時間調整方法および装置

Publications (2)

Publication Number Publication Date
JP2021152566A JP2021152566A (ja) 2021-09-30
JP7388962B2 true JP7388962B2 (ja) 2023-11-29

Family

ID=77809102

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020052223A Active JP7388962B2 (ja) 2020-03-24 2020-03-24 待機時間調整方法および装置
JP2023194704A Pending JP2024009092A (ja) 2020-03-24 2023-11-15 待機時間調整方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023194704A Pending JP2024009092A (ja) 2020-03-24 2023-11-15 待機時間調整方法および装置

Country Status (2)

Country Link
JP (2) JP7388962B2 (ja)
CN (1) CN113450787A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348657A (ja) 2003-05-26 2004-12-09 Nissan Motor Co Ltd 車両用情報提供方法および車両用情報提供装置
WO2020031241A1 (ja) 2018-08-06 2020-02-13 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925056B2 (ja) * 2000-08-11 2007-06-06 三菱自動車工業株式会社 車両用音声操作装置
JP2003108191A (ja) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc 音声対話装置
JP4952205B2 (ja) * 2006-11-14 2012-06-13 トヨタ自動車株式会社 ハンズフリー装置
JP2008241309A (ja) * 2007-03-26 2008-10-09 Denso Corp 車両用サービス提示装置
JP5343666B2 (ja) * 2009-03-31 2013-11-13 日産自動車株式会社 情報提示装置および情報提示方法
JP2012194060A (ja) * 2011-03-16 2012-10-11 Denso Corp 情報提供装置
JP6413869B2 (ja) * 2015-03-23 2018-10-31 トヨタ自動車株式会社 車両環境情報提供システム
DE102016107321A1 (de) * 2015-04-22 2016-10-27 Ford Global Technologies, Llc Systeme und Verfahren zum Einteilen von Fahrerschnittstellentasks auf der Basis der Fahrerarbeitslast
JP6555646B2 (ja) * 2017-03-30 2019-08-07 マツダ株式会社 車両運転支援システム
JP6555648B2 (ja) * 2017-03-30 2019-08-07 マツダ株式会社 車両運転支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004348657A (ja) 2003-05-26 2004-12-09 Nissan Motor Co Ltd 車両用情報提供方法および車両用情報提供装置
WO2020031241A1 (ja) 2018-08-06 2020-02-13 日産自動車株式会社 音声対話装置、音声対話システム、及び音声対話装置の制御方法

Also Published As

Publication number Publication date
JP2021152566A (ja) 2021-09-30
JP2024009092A (ja) 2024-01-19
CN113450787A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
JP6027280B1 (ja) 提供システム
JP2019043495A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
WO2020035897A1 (ja) 車両の走行制御方法及び走行制御装置
US20150367861A1 (en) Vehicle-mounted device, server device and travel state control method
JP2019032681A (ja) デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
CN113696900A (zh) 驾驶技能评价系统
JP7388962B2 (ja) 待機時間調整方法および装置
JP2020050204A (ja) 車両の走行制御方法及び走行制御装置
JP2019175201A (ja) センサ共有システム、センサ共有サーバ、センサ共有サーバの動作方法、センサ装備装置、及びセンサ共有のためのコンピュータプログラム
CN113450788B (zh) 声音输出的控制方法和声音输出控制装置
JP7421948B2 (ja) 情報処理システムおよび情報処理方法
JP7018852B2 (ja) 判定装置、判定方法および判定プログラム
JP4789367B2 (ja) 運転心理判定装置及び運転心理判定方法、並びに運転支援装置及び運転支援方法
CN113516978B (zh) 声音输出的控制方法和声音输出控制装置
JP2019038287A (ja) 機器使用制限装置および機器使用制限方法
JP7421949B2 (ja) 情報処理システムおよび情報処理方法
JP7340481B2 (ja) コンテンツ再生システムおよびコンテンツ選択方法
WO2004008072A1 (ja) 車載用情報提供装置、車載用情報提供装置用プログラム、及び車載用情報提供装置用記録媒体
US20230260335A1 (en) Information processing system, information terminal, information processing method, and recording medium
JP2014146125A (ja) 運転状態判定システム
JP5355109B2 (ja) 経路情報案内装置及び方法
US20230017550A1 (en) Real time event triggered feedback for autonomous vehicles
WO2024218828A1 (ja) 運転支援装置及び運転支援処理方法並びに記録媒体
JP6371785B2 (ja) コンテンツ出力システム、コンテンツ配信サーバ及びコンテンツ出力方法
JP2021039503A (ja) コンテンツ提供装置、コンテンツ提供システムおよびコンテンツ提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7388962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150