JPWO2017125998A1 - 音声案内制御装置及び音声案内制御方法 - Google Patents

音声案内制御装置及び音声案内制御方法 Download PDF

Info

Publication number
JPWO2017125998A1
JPWO2017125998A1 JP2017546924A JP2017546924A JPWO2017125998A1 JP WO2017125998 A1 JPWO2017125998 A1 JP WO2017125998A1 JP 2017546924 A JP2017546924 A JP 2017546924A JP 2017546924 A JP2017546924 A JP 2017546924A JP WO2017125998 A1 JPWO2017125998 A1 JP WO2017125998A1
Authority
JP
Japan
Prior art keywords
time interval
audio data
margin value
time
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017546924A
Other languages
English (en)
Other versions
JP6272585B2 (ja
Inventor
辰彦 斉藤
辰彦 斉藤
伍井 啓恭
啓恭 伍井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2017125998A1 publication Critical patent/JPWO2017125998A1/ja
Application granted granted Critical
Publication of JP6272585B2 publication Critical patent/JP6272585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

音声案内制御装置(100)は、未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部(13)と、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部(14)と、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部(15)と、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定する再生時間区間設定部(16)とを備える。

Description

本発明は、ユーザに対する音声案内を制御する音声案内制御装置及び音声案内制御方法に関する。
従来、スピーカなどが出力した音声によりユーザに情報を提供する、いわゆる「音声案内」が普及している。音声案内による情報提供は、液晶ディスプレイなどの画面表示による情報提供と異なり、ユーザが画面を見る必要がない。このため、例えば車両の運転中、家電の操作中又は昇降機の点検中など、何らかの作業によりユーザの動作及び視線運動が制限された状況における情報提供に有用である。
従来の音声案内は、ユーザが当該音声案内の音声を聞く余裕があるか否かを判定せずに音声を再生していた。このため、音声を再生するタイミングによっては、ユーザが音声を聞き逃して案内の内容を理解できなかったり、案内の内容を理解するために作業への集中度が低下して作業の妨げになったりする問題があった。
このような問題に対し、ユーザの負荷を判断して音声案内のスケジューリングを行う技術が開発されている。例えば、特許文献1の情報提示制御装置は、将来の車両の走行位置の推定値に基づいて、運転者の運転状態と情報の評価値から、最適なタイミング及び順序で情報の提示を制御するようにしている。
特開2000−55691号公報
特許文献1の情報提示制御装置は、提示対象となるデータが複数ある場合、データの並び替えを行い、各々の並びに対する評価値を算出する。このとき、並びに含まれる複数のデータを連続して再生するものとして評価値を算出している(特許文献1の段落[0025]〜[0027]等参照)。
すなわち、特許文献1の情報提示制御装置は、複数のデータの提示順と、これらのデータ全体を提示するタイミングとを制御するものであり、個々のデータを提示するタイミングについては制御していない。このため、仮に並び全体の提示タイミングとして最適なタイミングを制御したとしても、このうち一部のデータはユーザの負荷が高いタイミングで提示されるなど、個々のデータについては提示タイミングが不適切なものとなる問題があった。
本発明は、上記のような課題を解決するためになされたものであり、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる音声案内制御装置及び音声案内制御方法を提供することを目的とする。
本発明の音声案内制御装置は、未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部と、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部と、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部と、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定する再生時間区間設定部とを備えるものである。
本発明の音声案内制御方法は、余裕度値算出部が、未来時間区間におけるユーザの余裕度値を算出するステップと、時間制約情報取得部が、未来時間区間にて再生対象となる複数の音声データのそれぞれについて、未来時間区間のうちの音声データを再生可能な時間区間を示す時間制約情報を取得するステップと、再生候補時間区間設定部が、時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の音声データごとに設定するステップと、再生時間区間設定部が、余裕度値を用いて、再生候補時間区間のうちの実際に音声データを再生する時間区間である再生時間区間を、個々の音声データごとに設定するステップとを備えるものである。
本発明の音声案内制御装置及び音声案内制御方法は、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる。
本発明の実施の形態1に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。 本発明の実施の形態1に係る音声案内制御装置の要部を示すハードウェア構成図である。 本発明の実施の形態1に係る音声案内制御装置の要部を示す他のハードウェア構成図である。 本発明の実施の形態1に係る音声案内制御装置の動作を示すフローチャートである。 本発明の実施の形態1に係る余裕度値算出部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る余裕度値算出部が算出した余裕度値を示す特性図である。 本発明の実施の形態1に係る時間制約情報取得部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る時間制約情報取得部が取得した時間制約情報を示す説明図である。 本発明の実施の形態1に係る再生候補時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る各音声データの再生可能時間区間を示す説明図である。 本発明の実施の形態1に係る再生候補時間区間設定部が設定した再生候補時間区間を示す説明図である。 本発明の実施の形態1に係る再生時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態1に係る再生時間区間設定部が算出したパスを示す説明図である。 本発明の実施の形態1に係る再生時間区間設定部が設定した再生時間区間を示す説明図である。 本発明の実施の形態2に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。 本発明の実施の形態2に係る音声案内制御装置の動作を示すフローチャートである。 本発明の実施の形態2に係る余裕継続時間区間算出部が算出した余裕継続時間区間を示す説明図である。 本発明の実施の形態2に係る再生候補時間区間設定部の詳細な動作を示すフローチャートである。 本発明の実施の形態2に係る各音声データの再生可能時間区間を示す説明図である。 本発明の実施の形態2に係る再生候補時間区間設定部が設定した再生候補時間区間を示す説明図である。 本発明の実施の形態2に係る再生時間区間設定部が設定した再生時間区間を示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本発明の実施の形態1に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。図2は、本発明の実施の形態1に係る音声案内制御装置の要部を示すハードウェア構成図である。図3は、本発明の実施の形態1に係る音声案内制御装置の要部を示す他のハードウェア構成図である。図1〜図3を参照して、実施の形態1の音声案内制御装置100について、車載情報システム200を制御対象とした例を中心に説明する。
まず、車載情報システム200について説明する。
車載情報機器21は、GPS(Global Positioning System)受信機22が図示しないGPS衛星から受信したGPS信号を用いて、車載情報システム200を搭載した車両(以下「自車両」という。)の現在位置を算出するものである。車載情報機器21は、地図情報記憶部23に記憶された地図情報を用いて、自車両の現在位置から、操作入力装置24の操作により設定された目的地までの走行経路を検索するものである。車載情報機器21は、検索結果の中から案内対象の走行経路を選択し、当該走行経路を案内する各種画像データを表示装置25に出力するとともに、当該走行経路を案内する各種音声データを音声出力装置26に出力するものである。
また、車載情報機器21は、道路交通情報記憶部27に記憶された道路交通情報を取得して、当該道路交通情報を案内する音声データを音声出力装置26に出力するものである。車載情報機器21は、天気予報情報記憶部28に記憶された天気予報情報を取得して、当該天気予報情報を案内する音声データを音声出力装置26に出力するものである。車載情報機器21は、ニュース情報記憶部29に記憶されたニュース情報を取得して、当該ニュース情報を案内する音声データを音声出力装置26に出力するものである。
操作入力装置24は、例えば、タッチパネル又は物理ボタンにより構成されており、自車両の運転者(以下「ユーザ」という。)及び助手席の搭乗者による操作の入力を受け付けるものである。表示装置25は、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイ又はブラウン管ディスプレイにより構成されており、車載情報機器21から入力された画像データを画像として表示するものである。音声出力装置26は、例えば、スピーカ、ヘッドホン又はイヤホンにより構成されており、車載情報機器21から入力された音声データを音声として出力するものである。
地図情報記憶部23、道路交通情報記憶部27、天気予報情報記憶部28及びニュース情報記憶部29により、記憶装置30が構成されている。記憶装置30は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)若しくはEEPROM(Electrically Erasable Programmable Read−Only Memory)その他の半導体メモリ、ハードディスクドライブ、フレキシブルディスク、光ディスク又は光磁気ディスクなどにより構成されている。
ここで、車載情報機器21は、自車両の走行経路を示す情報(以下「経路情報」という。)と、自車両の現在位置を示す情報(以下「自車位置情報」という。)とを音声案内制御装置100に出力する機能を有している。車載情報機器21は、車輪速センサ31の出力信号を用いて自車両の走行速度を算出し、この走行速度を示す情報(以下「車速情報」という。)を音声案内制御装置100に出力する機能を有している。
また、車載情報機器21は、地図情報記憶部23に記憶された地図情報などを用いて、自車両の走行経路上にある交差点の位置を示す情報(以下「交差点位置情報」という。)と、自車両の走行経路上にある信号機の位置を示す情報(以下「信号機位置情報」という。)とを生成し、音声案内制御装置100に出力する機能を有している。また、車載情報機器21は、道路交通情報記憶部27に記憶された道路交通情報などを用いて、自車両の走行経路上にある信号機の点滅間隔を示す情報(以下「点滅間隔情報」という。)と、自車両の走行経路上で発生している交通渋滞を示す情報(以下「渋滞情報」という。)とを生成し、音声案内制御装置100に出力する機能を有している。
さらに、車載情報機器21が音声出力装置26に出力する音声データ、すなわち車載情報システム200による再生対象となる音声データには、それぞれ固有の識別子(以下「ID」という。)が割り当てられている。車載情報機器21は、現在時刻に対する未来の時間区間(以下「未来時間区間」という。)にて再生対象となる音声データのそれぞれについて、当該音声データのIDと、当該音声データの再生時間と、未来時間区間における当該音声データを再生可能な時間区間(以下「再生可能時間区間」という。)とを示す情報(以下「時間制約情報」という。)を生成して、音声案内制御装置100に出力する機能を有している。ここで、音声データの「再生時間」とは、当該音声データに対応する音声の再生に要する時間のみならず、当該時間の前後に効果音又は無音などに対応する時間を付加したものであっても良い。
車載情報機器21、GPS受信機22、操作入力装置24、表示装置25、音声出力装置26、記憶装置30及び車輪速センサ31により、車載情報システム200が構成されている。
次に、音声案内制御装置100について説明する。
自車両には、ユーザを含む自車両の搭乗者が発した音声の入力を受け付けるマイク1と、ユーザの上半身又は全身を撮影するカメラ2とが設けられている。ユーザの身体には、ユーザの脳波を検出する脳波センサ3と、ユーザの心拍を検出する心拍センサ4とが取り付けられている。
第1余裕度値算出部10は、マイク1の出力信号を用いて、ユーザを含む自車両の搭乗者が発した音声の特徴量を抽出するものである。第1余裕度値算出部10は、カメラ2の出力信号を用いて、ユーザを撮影した画像の特徴量を抽出するものである。第1余裕度値算出部10は、脳波センサ3の出力信号を用いて、ユーザの脳波の特徴量を抽出するものである。第1余裕度値算出部10は、心拍センサ4の出力信号を用いて、ユーザの心拍の特徴量を抽出するものである。
第1余裕度値算出部10は、抽出した特徴量を用いて、未来時間区間におけるユーザの余裕度を示す値(以下「第1余裕度値」という。)を算出するものである。第1余裕度値は、例えば0から1までの実数値であり、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定されている。
第2余裕度値算出部11は、車載情報機器21から経路情報、自車位置情報、車速情報、交差点位置情報、信号機位置情報、点滅間隔情報及び渋滞情報を取得するものである。第2余裕度値算出部11は、車載情報機器21から取得した情報を用いて、未来時間区間におけるユーザの余裕度を示す値(以下「第2余裕度値」という。)を算出するものである。第2余裕度値は、第1余裕度値と同様の0から1までの実数値であり、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定されている。
余裕度値乗算部12は、第1余裕度値算出部10が算出した第1余裕度値と、第2余裕度値算出部11が算出した第2余裕度値とを乗算するものである。すなわち、この乗算による積の値(以下「余裕度値」という。)は、ユーザの状態を示す各種特徴量と、車載情報システム200から得られた各種情報とに基づき推定された、将来におけるユーザの余裕度を示している。余裕度値は、時間に対する余裕度値を示す特性図における特性線として表すことができる。
第1余裕度値算出部10、第2余裕度値算出部11及び余裕度値乗算部12により、余裕度値算出部13が構成されている。余裕度値算出部13による処理の詳細については、図5及び図6を参照して後述する。
時間制約情報取得部14は、車載情報機器21から、未来時間区間にて再生対象となる音声データの時間制約情報を取得するものである。時間制約情報取得部14による処理の詳細については、図7及び図8を参照して後述する。
再生候補時間区間設定部15は、時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間のうちの音声データを再生する時間区間の候補(以下「再生候補時間区間」という。)を設定するものである。ここで、未来時間区間にて再生対象となる音声データが複数ある場合、再生候補時間区間設定部15は、1つ又は複数の音声データごとに再生候補時間区間を設定するようになっている。再生候補時間区間設定部15による処理の詳細については、図9〜図11を参照して後述する。
再生時間区間設定部16は、余裕度値算出部13が算出した余裕度値を用いて、再生候補時間区間設定部15が設定した再生候補時間区間のうちの実際に音声データを再生する時間区間(以下「再生時間区間」という。)を設定するものである。ここで、未来時間区間にて再生対象となる音声データが複数ある場合、再生時間区間設定部16は、個々の音声データごとに再生時間区間を設定するようになっている。再生時間区間設定部16による処理の詳細については、図12〜図14を参照して後述する。
再生時間区間設定部16は、再生時間区間を示す情報を車載情報機器21に出力する機能を有している。車載情報機器21は、再生時間区間設定部16から入力された情報が示す再生時間区間に、当該再生時間区間に対応する音声データを音声出力装置26に出力するようになっている。
余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16により、音声案内制御装置100が構成されている。
図2に、音声案内制御装置100のハードウェア構成の一例を示す。図2に示す如く、音声案内制御装置100はコンピュータにより構成されており、プロセッサ40及びメモリ41を有している。メモリ41には、当該コンピュータを、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16として機能させるためのプログラムが記憶されている。プロセッサ40は、メモリ41に記憶されたプログラムを読み出して実行するものである。
または、図3に示す如く、音声案内制御装置100は専用の処理回路42により構成されている。処理回路42は、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)若しくはシステムLSI(Large−Scale Integration)又はこれらを組み合わせたものである。なお、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16の各部の機能それぞれを処理回路で実現しても良いし、各部の機能をまとめて処理回路で実現しても良い。
または、図1に示す余裕度値算出部13、時間制約情報取得部14、再生候補時間区間設定部15及び再生時間区間設定部16のうちの一部の機能を図2に示すプロセッサ40及びメモリ41により実現し、残余の機能を図3に示す処理回路42により実現したものであっても良い。
次に、図4のフローチャートを参照して、音声案内制御装置100の動作について説明する。
まず、ステップST1にて、余裕度値算出部13は、未来時間区間におけるユーザの余裕度値を算出する。次いで、ステップST2にて、時間制約情報取得部14は、未来時間区間にて再生対象となる音声データの時間制約情報を取得する。次いで、ステップST3にて、再生候補時間区間設定部15は、ステップST2で時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間のうちの再生候補時間区間を設定する。次いで、ステップST4にて、再生時間区間設定部16は、ステップST1で余裕度値算出部13が算出した余裕度値を用いて、ステップST3で再生候補時間区間設定部15が設定した再生候補時間区間のうちの再生時間区間を設定する。
ステップST4の後、再生時間区間設定部16は、ステップST4で設定した再生時間区間を示す情報を車載情報機器21に出力する。車載情報機器21は、再生時間区間設定部16から入力された情報が示す再生時間区間に、当該再生時間区間に対応する音声データを音声出力装置26に出力する。
次に、図5及び図6を参照して、余裕度値算出部13による処理(図4のステップST1)の詳細について説明する。
図5は、余裕度値算出部13の詳細な動作を示すフローチャートである。まず、ステップST11にて、第1余裕度値算出部10は、マイク1の出力信号を用いて、ユーザを含む自車両の搭乗者が発した音声の特徴量を抽出する。ステップST12にて、第1余裕度値算出部10は、カメラ2の出力信号を用いて、ユーザを撮影した画像の特徴量を抽出する。ステップST13にて、第1余裕度値算出部10は、脳波センサ3の出力信号を用いて、ユーザの脳波の特徴量を抽出する。ステップST14にて、第1余裕度値算出部10は、心拍センサ4の出力信号を用いて、ユーザの心拍の特徴量を抽出する。
次いで、ステップST15にて、第1余裕度値算出部10は、ステップST11〜ST14で抽出した特徴量を用いて、未来時間区間の各時刻における第1余裕度値を算出する。具体的には、例えば、以下のような処理を実行する。
すなわち、第1余裕度値算出部10には、各時刻における第1余裕度値の初期値(例えば0.5の一定値)が予め設定されている。第1余裕度値算出部10は、ステップST11で抽出した音声の特徴量を用いて、当該音声に対する音声認識処理を実行する。第1余裕度値算出部10は、いわゆる「パターン認識」などの音声認識処理により、ユーザの発話頻度を検出する。第1余裕度値算出部10は、ユーザの発話頻度が低いほど第1余裕度値を大きくし、発話頻度が高いほど第1余裕度値を小さくする。
また、第1余裕度値算出部10は、同様の音声認識処理により、ユーザと他の搭乗者との会話の流れを検出する。第1余裕度値算出部10は、会話が間もなく終了する流れであれば第1余裕度値を大きくし、会話が今後も継続する流れであれば第1余裕度値を小さくする。
また、第1余裕度値算出部10は、ステップST12で抽出した画像の特徴量を用いて、当該画像に対する画像認識処理を実行する。第1余裕度値算出部10は、パターン認識などの画像認識処理により、ユーザの表情又は仕草を検出する。第1余裕度値算出部10は、ユーザが運転に集中しているときの表情又は仕草を記憶しており、検出した表情又は仕草が記憶された表情又は仕草に該当する場合は第1余裕度値を小さくし、該当しない場合は第1余裕度値を大きくする。
また、第1余裕度値算出部10は、ステップST13にてユーザの心拍数を特徴量として抽出する。第1余裕度値算出部10は、心拍数の値との比較対象となる閾値が設定されており、心拍数の値が閾値よりも小さい場合は第1余裕度値を大きくし、心拍数の値が閾値よりも大きい場合は第1余裕度値を小さくする。
また、第1余裕度値算出部10は、ステップST14にてユーザの脳波に含まれるアルファ波を特徴量として抽出する。第1余裕度値算出部10は、アルファ波の値との比較対象となる閾値が設定されており、アルファ波の値が閾値よりも大きい場合は第1余裕度値を大きくし、アルファ波の値が閾値よりも小さい場合は第1余裕度値を小さくする。
第1余裕度値算出部10は、これらの処理結果を総合して、未来時間区間の各時刻における第1余裕度値を算出する。なお、これらの処理はいわゆる「ルールベース」によるものでも良く、いわゆる「機械学習」によるものでも良い。すなわち、音声認識処理又は画像認識処理にて認識対象となるパターンは、所定のルールに従い予め設定されたものでも良く、過去の処理内容に応じて第1余裕度値算出部10が学習したものであっても良い。また、心拍又は脳波の特徴量との比較対象となる閾値は、所定のルールに従い予め設定されたものでも良く、第1余裕度値算出部10が学習結果に基づき動的に設定するものであっても良い。
また、音声認識処理はパターン認識に限定されるものではなく、公知の如何なる音声認識処理を用いたものでも良い(例えば、古井貞煕『音声情報処理』森北出版、1998年、pp.79−132参照)。同様に、画像認識処理はパターン認識に限定されるものではなく、公知の如何なる画像認識処理を用いたものでも良い(例えば、谷口慶治編『画像処理工学――基礎編』共立出版、1996年、pp.133−159参照)。
次いで、ステップST16にて、第2余裕度値算出部11は、車載情報機器21から経路情報を取得する。以下同様に、第2余裕度値算出部11は、ステップST17にて自車位置情報を取得し、ステップST18にて車速情報を取得し、ステップST19にて交差点位置情報を取得し、ステップST20にて信号機位置情報を取得し、ステップST21にて点滅間隔情報を取得し、ステップST22にて渋滞情報を取得する。
次いで、ステップST23にて、第2余裕度値算出部11は、ステップST16〜ST22で取得した情報を用いて、未来時間区間の各時刻における第2余裕度値を算出する。具体的には、例えば、以下のような処理を実行する。
すなわち、第2余裕度値算出部11には、各時刻における第2余裕度値の初期値(例えば0.5の一定値)が予め設定されている。第2余裕度値算出部11は、経路情報、自車位置情報及び車速情報を用いて、未来時間区間の各時刻における自車両の位置を予測する。第2余裕度値算出部11は、交差点位置情報を用いて、自車両が交差点を通過する時間区間は第2余裕度値を小さくする。また、第2余裕度値算出部11は、信号機位置情報及び点滅間隔情報を用いて、自車両が点滅間隔の短い信号機に接近する時間区間は第2余裕度値を小さくする。
第2余裕度値算出部11は、これらの処理結果を総合して、未来時間区間の各時刻における第2余裕度値を算出する。なお、これらの処理はルールベースによるものでも良く、機械学習によるものでも良い。すなわち、各時刻における自車両の位置の予測は、予め設定されたルールに従い予測するものでもよく、第2余裕度値算出部11が過去の走行履歴から学習した内容を加味して予測するものでも良い。また、各時間区間において所定のルールに基づき第2余裕度値を補正するものでも良く、第2余裕度値算出部11が学習結果に応じて当該補正を行うか否かを判定したり、当該補正による第2余裕度値の変更幅を変えたりするものでも良い。
また、車載情報機器21から取得した情報を用いてユーザの余裕度を推定する処理については、種々の公知技術が存在する(例えば、特開2003−125454号公報参照)。第2余裕度値算出部11は、上記の処理に代えて又は加えて、これらの公知技術により第2余裕度値を算出するものであっても良い。
次いで、ステップST24にて、余裕度値乗算部12は、ステップST15で第1余裕度値算出部10が算出した第1余裕度値と、ステップST23で第2余裕度値算出部11が算出した第2余裕度値とを乗算して、余裕度値を算出する。
図6に、余裕度値算出部13が算出した余裕度値の一例を示す。図6に示す如く、未来時間区間Tは現在時刻(図中t=0)から100000ミリ秒(ms)に設定されている。図中、特性線Iが余裕度値を示しており、0から1までの実数値である。
次に、図7及び図8を参照して、時間制約情報取得部14による処理(図4のステップST2)の詳細について説明する。
図7は、時間制約情報取得部14の詳細な動作を示すフローチャートである。まず、ステップST31にて、時間制約情報取得部14は、車載情報機器21から、未来時間区間Tにて再生対象となる音声データのうち、走行経路を案内する音声データの時間制約情報を取得する。以下同様に、時間制約情報取得部14は、ステップST32にて天気予報情報を案内する音声データの時間制約情報を取得し、ステップST33にて道路交通情報を案内する音声データの時間制約情報を取得し、ステップST34にてニュース情報を案内する音声データの時間制約情報を取得する。
図8に、時間制約情報取得部14が取得した時間制約情報の一例を示す。図8に示す如く、時間制約情報は、各音声データの「ID」、「再生時間」及び「再生可能時間区間」を示している。なお、図中「音声の内容」は、説明を分かりやすくするために図示したものであり、実際の時間制約情報には含まれていなくとも良い。
ID01〜03は、走行経路を案内する音声データに対応している。具体的には、交差点での左折を案内する音声データであり、自車両が交差点に近づくにつれて順次再生対象となる。この交差点は、自車両が未来時間区間Tの経過直後(現在時刻から略100秒後)に通過する予定の地点にあるため、ID01の再生可能時間区間は現在時刻(t=0)を基準として0〜60000ms、ID02の再生可能時間区間は60001〜80000ms、ID03の再生可能時間区間は80001〜100000msに設定されている。
ID04は、道路交通情報を案内する音声データに対応している。具体的には、自車両の走行経路上で発生している渋滞を案内する音声データである。この渋滞は、自車両が未来時間区間Tよりも後に通過する予定の地点で発生しており、案内のタイミングに特段の制約はないため、ID04の再生可能時間区間は未来時間区間Tの全体、すなわち現在時刻(t=0)を基準として0〜100000msに設定されている。
ID05は、天気予報情報を案内する音声データに対応している。具体的には、雨の予報を案内する音声データである。この予報は、未来時間区間Tよりも後(30分後)の予報であり、案内のタイミングに特段の制約はないため、ID05の再生可能時間区間は未来時間区間Tの全体、すなわち現在時刻(t=0)を基準として0〜100000msに設定されている。
なお、図8の例では、ニュース情報を案内する音声データは未来時間区間Tにおいて再生対象となっていない。
次に、図9〜図11を参照して、再生候補時間区間設定部15による処理(図4のステップST3)の詳細について説明する。
図9は、再生候補時間区間設定部15の詳細な動作を示すフローチャートである。まず、ステップST41にて、再生候補時間区間設定部15は、時間制約情報取得部14が図7のステップST31〜ST34で取得した時間制約情報を時間制約情報取得部14から取得する。次いで、ステップST42にて、再生候補時間区間設定部15は、時間制約情報が示す各音声データの再生可能時間区間に応じて、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめる処理を実行する。当該処理により、1つ又は複数の音声データごとの再生候補時間区間が設定される。
例えば、図8に示す時間制約情報において、各IDに対応する音声データの再生可能時間区間を図示すると図10のようになる。図10において、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめると、図11のようになる。図11に示す如く、再生候補時間区間設定部15は、ID01,04,05の3つの音声データに対応する再生候補時間区間Lc1(t=0〜60000)と、ID02,04,05の3つの音声データに対応する再生候補時間区間Lc2(t=60001〜80000)と、ID03,04,05の3つの音声データに対応する再生候補時間区間Lc3(t=80001〜100000)とを設定する。
なお、図11の例では3つの再生候補時間区間Lc1〜Lc3が連続しているが、時間制約情報の内容によっては、再生候補時間区間が連続せず、未来時間区間T内に再生候補時間区間とならない時間区間が生ずることもある。また、図11の例では、再生候補時間区間Lc1〜Lc3がいずれも複数の音声データに対応しているが、時間制約情報の内容によっては、一部又は全部の再生候補時間区間が1つの音声データのみに対応することもある。
次に、図12〜図14を参照して、再生時間区間設定部16による処理(図4のステップST4)の詳細について説明する。
図12は、再生時間区間設定部16の詳細な動作を示すフローチャートである。まず、ステップST51にて、再生時間区間設定部16は、図9のステップST42で再生候補時間区間設定部15が設定した各再生候補時間区間における、各音声データのパスを算出する。ここで、各音声データの「パス」とは、再生候補時間区間を所定長(例えば500ms)ごとに分割してなる単位時間区間αのそれぞれにおいて、当該音声データを再生するか否かを示す特性線により与えられる。
図13に、再生候補時間区間Lc1におけるパスの一例を示す。図11を参照して説明したように、再生候補時間区間Lc1にて再生可能な音声データはID01,04,05に対応する3つの音声データである。このため、図13には、ID01に対応する音声データのパスP01と、ID04に対応する音声データのパスP04と、ID05に対応する音声データのパスP05とが示されている。
図13に示すパスP01は、t=500にてID01の音声データの再生を開始し、3500ms後のt=4000にて再生を終了する状態に対応している。ID01の音声データの再生時間(3500ms)は、時間制約情報取得部14が図7のステップST31で取得した時間制約情報に示されている。再生時間区間設定部16は、ID01の音声データについて、時間制約情報を用いて、図13に示すパスP01を算出する。また、再生時間区間設定部16は、t=1000にてID01の音声データの再生を開始し、3500ms後のt=4500にて再生を終了するパスP01(不図示)を算出する。以下同様に、再生時間区間設定部16は、t=1500,2000,2500,……,56500にてID01の音声データの再生を開始し、3500ms後に再生を終了するパスP01(不図示)をそれぞれ算出する。
同様に、再生時間区間設定部16は、図13に示す如く、t=500にてID04の音声データの再生を開始し、3000ms後のt=3500にて再生を終了するパスP04を算出する。また、再生時間区間設定部16は、t=1000,1500,2000,……,57000にてID04の音声データの再生を開始し、3000ms後に再生を終了するパスP04(不図示)をそれぞれ算出する。
同様に、再生時間区間設定部16は、図13に示す如く、t=500にてID05の音声データの再生を開始し、3000ms後のt=3500にて再生を終了するパスP05を算出する。また、再生時間区間設定部16は、t=1000,1500,2000,……,57000にてID05の音声データの再生を開始し、3000ms後に再生を終了するパスP05(不図示)をそれぞれ算出する。
さらに、同様に、再生時間区間設定部16は、再生候補時間区間Lc2におけるID02,04,05の音声データのパスをそれぞれ算出し、再生候補時間区間Lc3におけるID03,04,05の音声データのパスをそれぞれ算出する。
全ての再生候補時間区間における全ての音声データのパスを算出すると、次いで、ステップST52にて、再生時間区間設定部16はいずれか1つのパスを選択する。次いで、ステップST53にて、再生時間区間設定部16は、ステップST52で選択したパスに対応する、各時刻における評価値を算出する。
このとき、再生時間区間設定部16は、以下の式(1)により評価値e(t)を算出する。式(1)において、iは各パスに割り当てられた通し番号、idは当該パスに対応する音声データのIDの番号、tは時刻を示している。
Figure 2017125998
ここで、時刻tにおけるgid(t)は、例えば、予め設定された基準値(例えば1)に対し、図5のステップST24で余裕度値算出部13が算出した、当該時刻tにおける余裕度値を乗じた値である。これにより、gid(t)は、時刻tにおけるユーザの余裕度が大きいほど大きい値が算出され、ユーザの余裕度が小さいほど小さい値が算出される。
次いで、ステップST54にて、再生時間区間設定部16は、ステップST43で算出した各時刻tにおける評価値e(t)を加算する。加算後の累積評価値Eは、以下の式(2)により表される。
Figure 2017125998
次いで、ステップST55にて、再生時間区間設定部16は、ステップST51で算出した全てのパスについて、累積評価値Eを算出したか否かを判定する。累積評価値Eを算出していないパスが存在する場合(ステップST55“NO”)、再生時間区間設定部16はステップST52の処理に戻り、累積評価値Eを未算出のパスを選択する。
他方、全パスの累積評価値Eが算出されている場合(ステップST55“YES”)、次いで、ステップST56にて、再生時間区間設定部16は、個々の音声データごとに、当該音声データに対応するパスのうちの累積評価値Eが最も大きいパスを選択する。再生時間区間設定部16は、選択したパスに基づき、当該音声データの再生時間区間を設定する。これにより、個々の音声データごとの再生時間区間が設定される。
なお、各音声データについて累積評価値Eが最も大きいパスをそれぞれ選択した結果、複数の音声データの再生時間区間が重なる場合がある。この場合、再生時間区間設定部16は、いずれかの音声データについて累積評価値Eが次に大きいパスを選択し直すものとしても良い。最終的に、各音声データの再生時間区間が重ならないようにパスを選択することで、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
図14に、再生時間区間設定部16が設定した再生時間区間の一例を示す。図14に示す如く、再生候補時間区間Lc1において、ID01に対応する音声データの再生時間区間L01と、ID04に対応する音声データの再生時間区間L04と、ID05に対応する音声データの再生時間区間L05とが設定されている。再生候補時間区間Lc2において、ID02に対応する音声データの再生時間区間L02が設定されている。再生候補時間区間Lc3において、ID03に対応する音声データの再生時間区間L03が設定されている。また、これらの再生時間区間L01〜L05は、未来時間区間Tにおける残余の時間区間よりも余裕度値が大きい時間区間に設定されている。
なお、パスを算出する際の単位時間区間αは、再生対象となる音声データのうちの再生時間が最も短い音声データの再生時間以下の値であれば良く、500msに限定されるものではない。再生時間区間設定部16は、図12のステップST51にてパスを算出するより先に、時間制約情報取得部14が図7のステップST31〜ST34で取得した時間制約情報を用いて、再生対象となる音声データの再生時間に応じた単位時間区間αを設定するものとしても良い。
また、再生時間区間設定部16は、図12のステップST52〜ST55にて、個々の音声データに対応するパスのうちの全てのパスの評価値を算出するのに代えて、一部のパスのみの評価値を算出するものであっても良い。例えば、いわゆる「DP(Dynamic Programming)マッチング」により不要なパスを評価値の算出対象から除外することで、再生時間区間設定部16による評価値の算出処理を高速化することができる。
また、再生時間区間設定部16が図12のステップST53で算出する各時刻の評価値は、ユーザの余裕度が大きい時間区間にて音声データを再生するパスほど累積評価値が大きくなるような値であれば良い。すなわち、基準値は1に限定されるものではなく、パスに対応する音声データのIDごとに異なる値でも良く、時刻ごとに異なる値でも良い。また、余裕度値の算出は基準値と余裕度値との乗算に限定されるものではなく、例えば加算でも良い。
また、第1余裕度値、第2余裕度値及び余裕度値は、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど大きくなるように設定された値、又は、ユーザが車載情報システム200により再生された音声を聞く余裕があるほど小さくなるように設定された値であれば良く、0から1までの実数値に限定されるものではない。また、余裕度値は、第1余裕度値及び第2余裕度値の設定に応じて、両値の乗算に代えて加算等により算出されるものであっても良い。
また、音声案内制御装置100は、図4に示すステップST1〜ST4の処理を所定の時間間隔(例えば100秒間隔)で繰り返し実行するものであっても良い。または、音声案内制御装置100は、ユーザの状態を示す特徴量を抽出する処理(図5のステップST11〜14)及び車載情報機器21から情報を取得する処理(図5のステップST16〜ST22)を所定の時間間隔で実行し、特徴量又は情報が変化した場合にのみ余裕度値の算出以降の処理(図5のステップST15,ST23,ST24及び図4のステップST2〜4)を実行するものであっても良い。
また、音声案内制御装置100は、車載情報機器21による検索結果に複数の走行経路が含まれる場合、走行経路ごとに図4のステップST1〜ST4の処理を実行し、案内対象となる音声データの累積評価値Eの合計値が最も大きい走行経路を推奨ルートとして表示装置25に表示させるように車載情報機器21を制御するものであっても良い。同様に、音声案内制御装置100は、自車両の走行中に車載情報機器21が走行経路を再検索した場合も走行経路ごとにステップST1〜ST4の処理を実行し、累積評価値Eの合計値が最も大きい走行経路にリルートするように車載情報機器21を制御するものであっても良い。
また、車載情報システム200による音声案内は、走行経路の案内、天気予報情報の案内、道路交通情報の案内及びニュース情報の案内に限定されるものではない。例えば、自車両が自動運転及び手動運転の両方に対応した車両である場合、車載情報システム200は、自動運転から手動運転への切り替えタイミングを音声により案内するものであっても良い。この場合、音声案内制御装置100により、ユーザの余裕度が大きいときに自動運転から手動運転への切り替えを促す音声が再生され、自動運転から手動運転にスムーズに移行することができる。
また、音声案内制御装置100は、車載情報機器21と別体に自車両に設けたECU(Electronic Control Unit)などにより構成されたものでも良く、自車両の外部に設けたサーバにより構成されたものでも良い。音声案内制御装置100をサーバに設けた場合、車載情報システム200は図示しない無線通信装置を有し、マイク1、カメラ2、脳波センサ3及び心拍センサ4の出力信号を示す情報、並びに、車載情報機器21が生成した経路情報、自車位置情報、車速情報、交差点位置情報、信号機位置情報、点滅間隔情報、渋滞情報及び時間制約情報をサーバに送信する。また、車載情報機器21は、この無線通信装置がサーバから受信した情報が示す再生時間区間に基づき音声データを音声出力装置26に出力する。
また、図1では音声案内制御装置100を車載情報システム200の外部に設けた例を示したが、音声案内制御装置100は車載情報システム200の内部に設けたものでも良い。この場合において、音声案内制御装置100は車載情報機器21と一体に構成されたものでも良く、又は自車両に持ち込まれたスマートフォン又はタブレットコンピュータなどの携帯情報端末により構成されたものであっても良い。
また、音声案内制御装置100の制御対象は、車載情報システム200に限定されるものではない。音声案内制御装置100は、音声案内を行うシステムであれば如何なるシステムの制御にも用いることができる。例えば、音声案内制御装置100を炊飯器などの家電システムに用いた場合、第2余裕度値算出部11は、ユーザによる家電の操作履歴を示す情報、及び、現在設定されている家電の動作モードを示す情報などをシステムから取得し、これらの情報を用いて第2余裕度値を算出する。また、音声案内制御装置100をエレベータなどの昇降機保守管理システムに用いた場合、第2余裕度値算出部11は、昇降機の動作モードを示す情報、及び、昇降機の点検により得られた値を示す情報などをシステムから取得し、これらの情報を用いて第2余裕度値を算出する。
以上のように、実施の形態1の音声案内制御装置100は、未来時間区間Tにおけるユーザの余裕度値を算出する余裕度値算出部13と、未来時間区間Tにて再生対象となる複数の音声データのそれぞれについて、未来時間区間Tのうちの音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部14と、時間制約情報を用いて、未来時間区間Tのうちの音声データを再生する時間区間の候補である再生候補時間区間Lc1〜Lc3を、1つ又は複数の音声データごとに設定する再生候補時間区間設定部15と、余裕度値を用いて、再生候補時間区間Lc1〜Lc3のうちの実際に音声データを再生する時間区間である再生時間区間L01〜L05を、個々の音声データごとに設定する再生時間区間設定部16とを備える。これにより、案内対象となる複数の音声データがある場合に、ユーザの余裕度に応じて個々の音声データの再生タイミングを制御することができる。この結果、ユーザが音声案内を聞く余裕がないときに音声が再生されるのを防ぎ、ユーザが案内の内容を理解できなかったり、案内が作業の妨げになるのを防ぐことができる。
また、余裕度値算出部13は、ユーザの状態を示す特徴量を用いて、未来時間区間Tにおける第1余裕度値を算出する第1余裕度値算出部10と、音声案内制御装置100の制御対象であるシステム(車載情報システム200)から得られた情報を用いて、未来時間区間Tにおける第2余裕度値を算出する第2余裕度値算出部11と、第1余裕度値と第2余裕度値との乗算により余裕度値を算出する余裕度値乗算部12とを備える。ユーザの状態を示す特徴量と、システム(車載情報システム200)から得られた情報との両方を用いて余裕度値を算出することで、未来時間区間Tにおけるユーザの余裕度の推定精度を向上することができる。
実施の形態2.
図15は、本発明の実施の形態2に係る音声案内制御装置及び車載情報システムの要部を示すブロック図である。図15を参照して、実施の形態2の音声案内制御装置100について、車載情報システム200を制御対象とした例を中心に説明する。なお、図1に示す実施の形態1の音声案内制御装置100及び車載情報システム200と同様のブロックには同一符号を付して説明を省略する。また、実施の形態2に係る音声案内制御装置100のハードウェア構成は、実施の形態1にて図2及び図3を参照して説明したものと同様であるため、図示及び説明を省略する。
音声案内制御装置100は、余裕継続時間区間算出部17を有している。余裕継続時間区間算出部17には、余裕度値算出部13が算出した余裕度値との比較対象となる基準値が予め設定されている。余裕継続時間区間算出部17は、未来時間区間のうちの余裕度値が連続して基準値を超える時間区間(以下「余裕継続時間区間」という。)を算出するものである。
再生候補時間区間設定部15は、余裕継続時間区間算出部17が算出した余裕継続時間区間の中から再生候補時間区間を設定するようになっている。再生時間区間設定部16は、未来時間区間にて再生対象となる音声データのうちの一部の音声データを再生対象から除外して、残余の音声データのみに再生時間区間を設定する機能を有している。このようにして、音声案内制御装置100が構成されている。
次に、図16のフローチャートを参照して、音声案内制御装置100の動作について説明する。
まず、ステップST61にて、余裕度値算出部13は、未来時間区間におけるユーザの余裕度値を算出する。ステップST61の詳細な処理内容は、実施の形態1で図5及び図6を参照して説明したものと同様であるため、説明を省略する。
次いで、ステップST62にて、余裕継続時間区間算出部17は、ステップST61で余裕度値算出部13が算出した余裕度値を基準値と比較して、未来時間区間のうちの余裕継続時間区間を算出する。図17に、余裕継続時間区間の一例を示す。図17に示す如く、基準値が0.5に設定されており、余裕継続時間区間算出部17は2つの余裕継続時間区間ΔL1,ΔL2を算出する。
次いで、ステップST63にて、時間制約情報取得部14は、未来時間区間にて再生対象となる音声データの時間制約情報を取得する。ステップST63の詳細な処理内容は、実施の形態1で図7及び図8を参照して説明したものと同様であるため、説明を省略する。
次いで、ステップST64にて、再生候補時間区間設定部15は、ステップST63で時間制約情報取得部14が取得した時間制約情報を用いて、未来時間区間における再生候補時間区間を設定する。このとき、再生候補時間区間設定部15は、ステップST62で余裕継続時間区間算出部17が算出した余裕継続時間区間の中から再生候補時間区間を設定する。
図18に、ステップST64の詳細な処理内容を示す。まず、ステップST71にて、再生候補時間区間設定部15は、時間制約情報取得部14が図16のステップST63で取得した時間制約情報を時間制約情報取得部14から取得する。次いで、ステップST72にて、再生候補時間区間設定部15は、ステップST62で余裕継続時間区間算出部17が算出した各々の余裕継続時間区間において、時間制約情報が示す各音声データの再生可能時間区間に応じて、同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめる処理を実行する。当該処理により、1つ又は複数の音声データごとの再生候補時間区間が設定される。
例えば、実施の形態1と同様のID01〜05に対応する音声データの再生可能時間区間と、余裕継続時間区間ΔL1,ΔL2とを図示すると図19のようになる。図19において、各々の余裕継続時間区間ΔL1,ΔL2における同一の音声データを再生可能な時間区間を1つの再生候補時間区間としてまとめると、図20のようになる。図20に示す如く、再生候補時間区間設定部15は、余裕継続時間区間ΔL1内であってID01,04,05の3つの音声データに対応する再生候補時間区間Lc4と、余裕継続時間区間ΔL2内であってID02,04,05の3つの音声データに対応する再生候補時間区間Lc5と、余裕継続時間区間ΔL2内であってID03,04,05の3つの音声データに対応する再生候補時間区間Lc6とを設定する。
次いで、図16のステップST65にて、再生時間区間設定部16は、ステップST61で余裕度値算出部13が算出した余裕度値を用いて、ステップST64で再生候補時間区間設定部15が設定した再生候補時間区間のうちの再生時間区間を設定する。再生時間区間設定部16による詳細な処理内容は、実施の形態1にて図12〜図14を参照して説明したものと同様であるため、説明を省略する。
ここで、例えば、ステップST62で算出された余裕継続時間区間の合計時間が、未来時間区間にて再生対象となる全ての音声データの再生時間の合計時間よりも短くなる場合があり得る。この場合、再生時間区間設定部16が各音声データの再生時間区間を設定する際(図12のステップST56)、如何なるパスに基づき各音声データの再生時間区間を設定しても当該再生時間区間同士が重なることになる。そこで、再生時間区間設定部16は、ステップST56にて再生時間区間を設定する際、一部の音声データを再生対象から除外して残余の音声データのみに再生可能時間区間を設定する。これにより、余裕継続時間区間の合計時間が短い場合であっても、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
また、再生時間区間設定部16は、音声データのIDごとに優先度が設定されおり、一部の音声データを再生対象から除外する際は優先度がより低いものを除外するものであっても良い。具体的には、例えば、走行経路又は道路交通情報を案内する音声データは、天気予報情報又はニュース情報を案内する音声データよりも優先度が高く設定されている。また、走行経路を案内する音声データにおいて、同一の交差点又は施設を複数回案内する音声データは、最初及び最後の音声データが中間の音声データよりも優先度が高く設定されている。この場合、ID01〜05の例では、ID01,03,04の音声データに対し、ID02,05の音声データの優先度が低くなる。
図21に、再生時間区間設定部16が設定した再生時間区間の一例を示す。図21に示す如く、再生候補時間区間Lc4において、ID01に対応する音声データの再生時間区間L01と、ID04に対応する音声データの再生時間区間L04とが設定されている。再生候補時間区間Lc6において、ID03に対応する音声データの再生時間区間L03が設定されている。また、ID02,05の音声データは再生対象から除外されており、再生時間区間が設定されていない。
このように、再生候補時間区間を余裕継続時間区間の中から設定することで、ユーザの余裕度が小さいときに音声が再生されるのを確実に防ぐことができる。また、自車両が自動運転及び手動運転の両方に対応した車両である場合、余裕継続時間区間に自動運転から手動運転に切り替えを音声により案内することで、余裕度の大きい(すなわち運転への集中度が低下している可能性がある)ユーザを覚醒させて手動運転に適した状態にしつつ、手動運転への切り替えを促すこともできる。
なお、再生時間区間設定部16は、音声データのIDごとに優先度を設定するのに代えて、音声データのIDごとに評価値の基準値を異なる値とし、累積評価値が小さい音声データを再生対象から除外するものであっても良い。
その他、実施の形態2の音声案内制御装置100は、実施の形態1にて説明したものと同様の種々の変形例を採用することができる。
以上のように、実施の形態2の音声案内制御装置100は、未来時間区間Tのうちの余裕度値が連続して基準値を超える時間区間である余裕継続時間区間ΔL1,ΔL2を算出する余裕継続時間区間算出部17を備え、再生候補時間区間設定部15は、余裕継続時間区間ΔL1,ΔL2の中から再生候補時間区間Lc4〜Lc6を設定する。再生候補時間区間を余裕継続時間区間の中から設定することで、ユーザの余裕度が小さいときに音声が再生されるのを確実に防ぐことができる。
また、再生時間区間設定部16は、一部の音声データを再生対象から除外して、残余の音声データに再生時間区間L01,L03,L04を設定する。これにより、余裕継続時間区間ΔL1,ΔL2の合計時間が短い場合であっても、複数種類の音声が同時に再生されてユーザが各音声の内容を聞き取れない状況を回避することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本発明の音声案内制御装置は、車載情報システム、家電システム又は昇降機保守管理システムなどの各種システムによる音声案内に用いることができる。
1 マイク、2 カメラ、3 脳波センサ、4 心拍センサ、10 第1余裕度値算出部、11 第2余裕度値算出部、12 余裕度値乗算部、13 余裕度値算出部、14 時間制約情報取得部、15 再生候補時間区間設定部、16 再生時間区間設定部、17 余裕継続時間区間算出部、21 車載情報機器、22 GPS受信機、23 地図情報記憶部、24 操作入力装置、25 表示装置、26 音声出力装置、27 道路交通情報記憶部、28 天気予報情報記憶部、29 ニュース情報記憶部、30 記憶装置、31 車輪速センサ、40 プロセッサ、41 メモリ、42 処理回路、100 音声案内制御装置、200 車載情報システム。

Claims (5)

  1. 未来時間区間におけるユーザの余裕度値を算出する余裕度値算出部と、
    前記未来時間区間にて再生対象となる複数の音声データのそれぞれについて、前記未来時間区間のうちの当該音声データを再生可能な時間区間を示す時間制約情報を取得する時間制約情報取得部と、
    前記時間制約情報を用いて、前記未来時間区間のうちの前記音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の前記音声データごとに設定する再生候補時間区間設定部と、
    前記余裕度値を用いて、前記再生候補時間区間のうちの実際に前記音声データを再生する時間区間である再生時間区間を、個々の前記音声データごとに設定する再生時間区間設定部と、
    を備える音声案内制御装置。
  2. 前記余裕度値算出部は、
    前記ユーザの状態を示す特徴量を用いて、前記未来時間区間における第1余裕度値を算出する第1余裕度値算出部と、
    当該音声案内制御装置の制御対象であるシステムから得られた情報を用いて、前記未来時間区間における第2余裕度値を算出する第2余裕度値算出部と、
    前記第1余裕度値と前記第2余裕度値との乗算により前記余裕度値を算出する余裕度値乗算部と、
    を備えることを特徴とする請求項1記載の音声案内制御装置。
  3. 前記未来時間区間のうちの前記余裕度値が連続して基準値を超える時間区間である余裕継続時間区間を算出する余裕継続時間区間算出部を備え、
    前記再生候補時間区間設定部は、前記余裕継続時間区間の中から前記再生候補時間区間を設定する
    ことを特徴とする請求項1記載の音声案内制御装置。
  4. 前記再生時間区間設定部は、一部の前記音声データを再生対象から除外して、残余の前記音声データに前記再生時間区間を設定することを特徴とする請求項3記載の音声案内制御装置。
  5. 余裕度値算出部が、未来時間区間におけるユーザの余裕度値を算出するステップと、
    時間制約情報取得部が、前記未来時間区間にて再生対象となる複数の音声データのそれぞれについて、前記未来時間区間のうちの当該音声データを再生可能な時間区間を示す時間制約情報を取得するステップと、
    再生候補時間区間設定部が、前記時間制約情報を用いて、前記未来時間区間のうちの前記音声データを再生する時間区間の候補である再生候補時間区間を、1つ又は複数の前記音声データごとに設定するステップと、
    再生時間区間設定部が、前記余裕度値を用いて、前記再生候補時間区間のうちの実際に前記音声データを再生する時間区間である再生時間区間を、個々の前記音声データごとに設定するステップと、
    を備える音声案内制御方法。
JP2017546924A 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法 Active JP6272585B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051236 WO2017125998A1 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法

Publications (2)

Publication Number Publication Date
JPWO2017125998A1 true JPWO2017125998A1 (ja) 2018-01-25
JP6272585B2 JP6272585B2 (ja) 2018-01-31

Family

ID=59361949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546924A Active JP6272585B2 (ja) 2016-01-18 2016-01-18 音声案内制御装置及び音声案内制御方法

Country Status (3)

Country Link
JP (1) JP6272585B2 (ja)
TW (1) TW201727592A (ja)
WO (1) WO2017125998A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082653A (ja) * 1996-09-06 1998-03-31 Matsushita Electric Ind Co Ltd ナビゲーション装置
WO2006070566A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声合成方法および情報提供装置
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082653A (ja) * 1996-09-06 1998-03-31 Matsushita Electric Ind Co Ltd ナビゲーション装置
WO2006070566A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声合成方法および情報提供装置
JP2015017856A (ja) * 2013-07-10 2015-01-29 本田技研工業株式会社 情報提供装置

Also Published As

Publication number Publication date
TW201727592A (zh) 2017-08-01
JP6272585B2 (ja) 2018-01-31
WO2017125998A1 (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
JP5921722B2 (ja) 音声認識装置および表示方法
JP5972372B2 (ja) 車載情報装置
JP4304952B2 (ja) 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム
US20140100847A1 (en) Voice recognition device and navigation device
EP1691343A1 (en) Audio device control device,audio device control method, and program
JP3322140B2 (ja) 車両用音声案内装置
JP5893217B2 (ja) 音声認識装置および表示方法
JP6604151B2 (ja) 音声認識制御システム
JP5005491B2 (ja) 車載機、その出力態様設定方法
JP2006012081A (ja) コンテンツ出力装置、ナビゲーション装置、コンテンツ出力プログラム、及びコンテンツ出力方法
JP5181533B2 (ja) 音声対話装置
US20190241196A1 (en) Information processing apparatus and information processing method
JP6272585B2 (ja) 音声案内制御装置及び音声案内制御方法
JP6691737B2 (ja) 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
JP4533696B2 (ja) 報知制御装置、報知制御システム、それらの方法、それらのプログラム、および、それらのプログラムを記録した記録媒体
JP2004233676A (ja) 対話制御装置
JP6741387B2 (ja) 音声出力装置
WO2016135921A1 (ja) 車載用音楽再生装置、音楽再生方法、及び、プログラム
WO2023062814A1 (ja) 音声出力装置、音声出力方法、プログラム及び記憶媒体
JP2016157082A (ja) 再生装置、再生方法、及び、プログラム
WO2023073912A1 (ja) 音声出力装置、音声出力方法、プログラム及び記憶媒体
JP2016157084A (ja) 再生装置、再生方法、及び、プログラム
JP2009086132A (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体
JP2023024738A (ja) 再生装置、再生方法、及び、プログラム
JP2016157088A (ja) 楽曲再生システム、端末装置、楽曲データ提供方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170905

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170905

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171128

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171228

R150 Certificate of patent or registration of utility model

Ref document number: 6272585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250