JP7240116B2 - 乗物の音声システム及び音声出力方法 - Google Patents

乗物の音声システム及び音声出力方法 Download PDF

Info

Publication number
JP7240116B2
JP7240116B2 JP2018169349A JP2018169349A JP7240116B2 JP 7240116 B2 JP7240116 B2 JP 7240116B2 JP 2018169349 A JP2018169349 A JP 2018169349A JP 2018169349 A JP2018169349 A JP 2018169349A JP 7240116 B2 JP7240116 B2 JP 7240116B2
Authority
JP
Japan
Prior art keywords
noise
vehicle
voice
audio
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018169349A
Other languages
English (en)
Other versions
JP2020042163A (ja
Inventor
昌範 衣畑
大輔 河合
昭平 寺井
久之輔 河田
拡俊 志村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Motors Ltd filed Critical Kawasaki Motors Ltd
Priority to JP2018169349A priority Critical patent/JP7240116B2/ja
Priority to PCT/JP2019/021572 priority patent/WO2020054141A1/ja
Priority to US17/269,149 priority patent/US11557275B2/en
Priority to EP19861086.7A priority patent/EP3852098A4/en
Publication of JP2020042163A publication Critical patent/JP2020042163A/ja
Application granted granted Critical
Publication of JP7240116B2 publication Critical patent/JP7240116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、運転者が車両外部に露出した状態で運転する乗物の音声システム及び音声出力方法に関する。
運転者に対する各種案内を音声で行うシステムにおいて、周囲の騒音レベルを実測し、その入力された騒音の周波数特性に応じて特定の周波数を強調した音声を生成することが提案されている(例えば、特許文献1参照)。
特開2015-215528号公報
しかし、運転者が車両外部に露出した状態で運転する車両、たとえば自動二輪車では、走行中に運転者が感じる騒音は比較的大きく、騒音の動的変化幅も激しい。騒音を実測する方法では、騒音の分析処理等が必要であるために音声生成に応答遅れが生じる。騒音の動的変化が激しい場合には、騒音取得に対する音声出力の遅延が生じることによって、運転者が聞き取りやすい音声の出力が遅れる場合がある。
そこで本発明は、騒音に対する音声生成の応答遅れによる音声不適合を防止し、運転者が音声を聞き取りやすくすることを目的とする。
本発明の一態様に係る乗物の音声システムは、運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、前記推定された騒音状態に応じて、運転者に向けて出力する音声の属性を変更する音声制御部と、を備える。
前記構成によれば、騒音発生要因に関する情報に基づいて騒音状態を推定するので、騒音自体を検出する場合に比べて、将来の騒音状態を予測的に知ることができる。そのため、騒音状態の動的変化が激しい運転者露出型の乗物(開放乗物)においても、騒音に対する音声生成の応答遅れによる音声不適合を防止できる。これによって、運転者が音声を聞き取り易くしたり、音声が表す情報を認識し易くすることができる。
前記騒音発生要因に関する情報は、乗物自体から発生する駆動音、乗物が走行することで生じる走行音、及び乗物周囲で生じる環境音の少なくとも1つの音の発生要因に関する情報であってもよい。
前記構成によれば、運転者露出型の乗物における騒音発生要因として影響の大きい音に基づく騒音の状態を予測的に推定することができ、他の種類の騒音に比べて、運転者の聞き取り易さ向上の効果を高めることができる。
前記騒音発生要因に関する情報は、前記駆動音、前記走行音及び前記環境音のうち、複数の音の発生要因に関する情報であってもよい。
前記構成によれば、運転者露出型の乗物における騒音発生要因として影響の大きい複数の音の発生要因に基づいて騒音状態を予測的に推定することができ、運転者の聞き取り易さ向上の効果を更に高めることができる。
前記騒音推定部は、前記騒音発生要因に関する情報に基づいて騒音レベルを推定し、前記音声制御部は、前記推定された騒音レベルに応じて前記音声の前記属性を変更する構成としてもよい。
前記構成によれば、運転者による音声の聞き取りに大きく影響する騒音レベルを考慮して音声の属性を変更することで、運転者の聞き取り易さ向上の効果を高めることができる。
前記騒音推定部は、前記騒音発生要因の時間変化に基づいて将来の騒音状態を推定し、前記音声制御部は、前記推定した将来の騒音レベルに応じて前記音声の前記属性を変更する構成としてもよい。
前記構成によれば、予測する将来の騒音状態に基づくことで、音声生成にかかる遅延の影響を抑えることができ、運転者の聞き取り易さ向上の効果を高めることができる。
前記騒音推定部は、運転者の車両操作に関する操作情報に基づいて前記騒音状態を推定する構成としてもよい。
前記構成によれば、運転者の操作情報に基づくことで、乗物自体から発生する駆動音、乗物が走行することで生じる走行音の騒音変化を推測することができ、音声生成にかかる遅延の影響を抑えることができ、運転者の聞き取り易さ向上の効果を高めることができる。
前記乗物が走行するロケーションの騒音発生情報を取得するロケーション騒音取得部を更に備え、前記騒音推定部は、前記ロケーションの騒音発生情報に応じて前記騒音状態を決定する構成としてもよい。
前記構成によれば、車両が走行するロケーションに起因する騒音変化を考慮することにより、騒音をより好適に推定できる。
前記音声制御部は、前記推定された騒音状態に応じて、前記属性としての前記音声のセンテンス長さを決定する構成としてもよい。
前記構成によれば、音質を変化させる場合に比べて自然な音を維持することができ、運転者による音声の認識し易さを高めることができる。
本発明の一態様に係る乗物の音声出力方法は、運転者が乗物外部に露出した状態で運転する乗物の音声出力方法であって、騒音発生要因に関する情報に基づいて、運転者に向けて出力する音声の属性を変更する。
本発明によれば、騒音に対する音声生成の応答遅れによる音声不適合が防止され、運転者が音声を聞き取りやすくなる。
実施形態に係る自動二輪車の音声システムのブロック図である。
以下、図面を参照して実施形態を説明する。
図1は、実施形態に係る自動二輪車の音声システム1のブロック図である。音声システム1は、運転者が外部に露出した状態で運転する乗物(即ち、運転者露出型の乗物)に適当されるものであり、本実施形態では当該乗物の好適例として自動二輪車を例示する。
音声システム1は、音声コントローラ2を備える。音声コントローラ2は、ハードウェア面において、プロセッサ、揮発性メモリ、不揮発性メモリ及びI/Oインターフェース等を有し、不揮発性メモリには所定の音声プログラムが保存されている。音声コントローラ2は自動二輪車に搭載された制御デバイスであってもよいが、本実施形態では、音声コントローラ2は自動二輪車に付随する携帯情報端末(例えば、スマートフォン)である。即ち、音声コントローラ2の前記プロセッサ、前記揮発性メモリ、前記不揮発性メモリ及び前記I/Oインターフェース等は、前記携帯情報端末に内蔵されたものであり、前記音声プログラムは、前記携帯情報端末にインストールされたアプリケーションプログラムである。前記携帯情報端末は、自動二輪車の運転者が所持してもよいし、自動二輪車のホルダに設置されてもよい。
音声コントローラ2の入力側には音声入力器3が接続され、音声コントローラ2の出力側には音声出力器4が接続されている。音声入力器3は、例えばマイクロフォンである。音声出力器4は、例えばスピーカー又はイヤフォンである。音声コントローラ2に対する音声入力器3及び音声出力器4の接続は、無線接続(例えば、Bluetooth(登録商標))でも有線接続でもよい。
音声コントローラ2は、ソフトウェア面において、音声認識部5、情報処理部6及び音声生成部7を有する。音声生成部7には、音源データ部8が接続される。音声認識部5、情報処理部6及び音声生成部7は、前記不揮発性メモリに保存された前記音声プログラムに基づいて前記プロセッサが前記揮発性メモリを用いて演算処理することで実現される。
音声認識部5は、音声入力器3から入力された運転者が発する音声を認識し、テキストとしてデジタル化するものである。音声認識部5の音声認識には、公知の音声認識技術が用いられる。即ち、音声認識部5は、音響モデルを用いることにより、音声入力器3から入力された音声の特徴(例えば、周波数特性等)を音素に変換し、言語モデル(例えば、単語辞書や文法辞書)を用いることにより、その音素の組合せをテキスト(入力テキスト)に変換する。
情報処理部6は、音声認識部5で認識された入力テキストに対して所定の処理を行い、出力テキスト(応答テキスト)を生成する。例えば、情報処理部6は、会話機能を提供する。具体的には、情報処理部6は、前記入力テキストに対して構文解析を行ってから意味解析を行い、入力テキストに対する出力テキストの決定ルールを有する会話エンジンを参照し、前記入力テキストの意味に最適な出力テキストを出力する。
情報処理部6は、後述のCAN情報又はCAN情報以外に車両に搭載されるセンサの情報に基づく車両情報、GPSセンサ14等の位置情報、ナビゲーション情報、地図情報、天気情報等に対して、所定の処理を行い、運転者の発話より先に出力テキストを生成してもよい。このように、情報処理部6による音声生成タイミングは、予め定める任意のタイミングによって実現されてもよい。
図1では情報処理部6が音声コントローラ2により実現される態様を図示したが、情報処理部6は、音声コントローラ2に通信ネットワーク(例えば、インターネット)を介して接続される外部コンピュータ(サーバ)により実現されてもよい。即ち、音声認識部5で認識された前記入力テキストを前記通信ネットワークを介して前記外部コンピュータに送信し、前記外部コンピュータが所定の処理を行って前記出力テキストを生成し、前記生成された出力テキストを前記通信ネットワークを介して音声コントローラ2に送信して音声生成部7に入力してもよい。また、音声認識部5及び/又は音声生成部7も同様に、音声コントローラ2により実現されてもよいし、外部コンピュータにより実現されてもよい。
音声生成部7は、情報処理部6から入力された出力テキストを音に変換することで音声を生成し、その生成された音声を音声出力器4に出力させる。このようにして、運転者が音声入力器3に対して発話(入力音声)すると、音声認識部5、情報処理部6及び音声生成部7を介して音声出力器4から応答音声(出力音声)が運転者の耳に向けて返される。そのため、音声入力器3への音声入力から音声出力器4での音声出力までには、音声認識部5及び情報処理部6での処理時間により時間を要し、音声生成に応答遅れが生じる可能性がある。例えば、運転者からの音声入力内容を分析・把握したり、音声出力すべき適切な情報を検索・抽出したりすることで、音声生成に応答遅れが生じる場合がある。
そこで以下詳述するように、音声コントローラ2は、運転者が音声及び/又は音声が表す情報を認識し易くするための機能を備える。
音声コントローラ2は、そのI/Oインターフェースによって、自動二輪車に搭載された図示しない車両制御装置(ECU)と情報通信可能に接続されている。本実施形態では、音声コントローラ2のI/Oインターフェースと前記車両制御装置との夫々に無線送受信機が設けられ、音声コントローラ2と前記車両制御装置とは前記無線送受信機を介して互いの情報を送受信できる。例えば、音声コントローラ2は、前記無線送受信機を介して、自動二輪車に設けた各種センサの検出値、自動二輪車に設けたアクチュエータの動作指令値を取得することができる。本実施形態では、自動二輪車に搭載される各種の電装部品(アクチュエータ、センサ、制御装置を含む)が、車内通信ネットワークであるCAN通信規格に従ったバス接続回路によって接続される。自動二輪車に搭載される無線送受信機は、前記バス接続回路に介在して接続される。これによって、自動二輪車のバス接続回路によって送受信される情報であるCAN情報を、音声コントローラ2へも伝達することができる。例えば、各無線送受信機は、Bluetooth(登録商標)に従った規格に従って構成されることで、互いに情報を送受信可能となる。
音声コントローラ2の入力側には、アクセルセンサ11、エンジン回転速度センサ12、車速センサ13、GPSセンサ14、地図情報データベース15及び天気情報取得器16が接続されている。アクセルセンサ11、エンジン回転速度センサ12及び車速センサ13は、自動二輪車に搭載されており、CANを介して音声コントローラ2に接続されている。GPSセンサ14は、自動二輪車に搭載されたものでもよいし、携帯情報端末(音声コントローラ2)に搭載されたものでもよい。地図情報データベース15及び天気情報取得器16は、自動二輪車に設けられたものでもよいし、携帯情報端末(音声コントローラ2)に設けられたものでもよいし、前記通信ネットワークを介して接続される外部コンピュータに設けられたものでもよい。
アクセルセンサ11は、運転者が操作する自動二輪車のアクセルの操作量を検出する。即ち、アクセルセンサ11は、運転者の車両操作に関する操作情報としてアクセル操作量を検出する。エンジン回転速度センサ12は、自動二輪車のエンジンの回転速度を検出する。なお、エンジン回転速度センサ12は、自動二輪車の原動機が電動モータである場合には、電気モータの回転速度を検出する回転速度センサとしてもよいし、音声コントローラ2が回転速度センサの検出信号を参照しないものとしてもよい。車速センサ13は、自動二輪車の走行速度を検出するもので、例えば、自動二輪車の従動輪の回転速度を検出する。
GPSセンサ14は、GPS(Global Positioning System)を利用して自動二輪車の位置を検出する。地図情報データベース15は、地図情報を有すると共に、地図上における位置と騒音関連物(例えば、高速道路、トンネル、石畳、砂利道等)の存在との関係を示す情報を有する。天気情報取得器16は、地図上の位置と天気の種類との関係を示す天気情報を外部情報源(例えば、天気情報サーバ)から通信ネットワークを介して取得する。
音声コントローラ2は、ソフトウェア面において、ロケーション騒音取得部17、騒音推定部18及び音声制御部19を更に有する。ロケーション騒音取得部17、騒音推定部18及び音声制御部19は、前記不揮発性メモリに保存された前記音声プログラムに基づいて前記プロセッサが前記揮発性メモリを用いて演算処理することで実現される。
ロケーション騒音取得部17は、GPSセンサ14、地図情報データベース15及び天気情報取得器16から受信した情報に基づいて、自動二輪車が走行するロケーションの騒音発生情報を求める。例えば、ロケーション騒音取得部17は、GPSセンサ14で検出される自車位置を地図情報データベース15に照合することで、地図上の自車位置及び自車位置からの進路上に前記騒音関連物が存在するか否かを判定する。ロケーション騒音取得部17は、前記騒音関連物が存在すると判定される場合には、前記騒音関連物(例えば、高速道路、トンネル、石畳、砂利道等)に起因する騒音状態(例えば、騒音のレベル及び周波数特性)を所定の規則(例えば、対応表等)に基づいて決定して騒音推定部18に出力する。
騒音推定部18は、自動二輪車自体から発生する駆動音の発生要因と、自動二輪車が走行することで生じる走行音の発生要因と、自動二輪車の周囲で生じる環境音の発生要因とに関する情報に基づき、自動二輪車の運転者が感じる騒音の状態(例えば、レベル及び周波数特性)を推定する。ここで、騒音の発生要因は、検出される騒音自体ではなく、騒音の発生に影響する要因を意味する。
自動二輪車自体から発生する駆動音の発生要因としては、運転者のアクセル操作量の増加、エンジン回転速度の増加等が挙げられる。自動二輪車が走行することで生じる走行音の発生要因としては、自動二輪車の走行速度の増加が挙げられる。自動二輪車の周囲で生じる環境音の発生要因は、自動二輪車の周囲環境の変化であり、例えば路面状態(例えば、石畳、砂利道等)の変化、トンネルや高速道路の存在、周囲走行する他の車両の音、雨音等が挙げられる。
具体的には、騒音推定部18は、アクセルセンサ11、エンジン回転速度センサ12、車速センサ13及びロケーション騒音取得部17から出力される情報に基づいて騒音状態を推定する。騒音推定部18は、アクセルセンサ11で検出されるアクセル操作量の時間変化(増加傾向又は減少傾向)を参照することで、近い将来に乗物駆動音(例えば、エンジンの吸気音、燃焼爆発音、排気音、歯車衝突音、エンジン振動に起因する車体振動音等)が大きくなるか小さくなるか、近い将来に自動二輪車が走行することで生じる走行音(風切り音)が大きくなるか小さくなるか等を推定してもよい。即ち、騒音推定部18は、運転者の操作情報に基づくことで、自動二輪車自体から発生する駆動音、自動二輪車が走行することで生じる走行音等の騒音変化を事前に推測できる。
前記乗物駆動音は、エンジンが駆動していれば走行停止状態でも乗物自体から発生する音であり、一般にエンジン回転速度に比例する。そのため、騒音推定部18は、所定の規則(例えば、エンジン回転速度と駆動音との対応関係を記述したテーブル等)に基づいて、エンジン回転速度センサ12で検出されるエンジン回転速度から現在のエンジンの駆動音を推定してもよい。具体的には、騒音推定部18は、エンジン回転速度が増加するにつれて、推定する騒音レベルを増加させてもよい。
自動二輪車が走行することで生じる走行音(風切り音、ロードノイズ、走行振動に起因する車体振動音等)は、走行中であればエンジン停止状態でも発生する音であり、一般に自動二輪車の走行速度に比例する。そのため、騒音推定部18は、所定の規則(例えば、走行速度と走行音との対応関係を記述したテーブル等)に基づいて、車速センサ13で検出される走行速度から現在の走行音を推定してもよい。具体的には、騒音推定部18は、自動二輪車の走行速度が増加するにつれて、推定する騒音レベルを増加させてもよい。
前記自動二輪車の周囲で生じる環境音は、自動二輪車の周囲環境の変化により発生する音である。そのため、騒音推定部18は、周囲環境(例えば、路面状態、トンネルや高速道路の存在、周囲走行する他の車両の音、雨音等)に関する情報に基づいて環境音を推定してもよい。具体的には、騒音推定部18は、環境音が大きくなる傾向に周囲環境が変化するにつれて、推定する騒音レベルを増加させてもよい。
音声制御部19は、騒音推定部18で推定された騒音状態に応じて、音声生成部7で生成される音声の属性を変更する。音声の属性としては、周波数特性、センテンス長さ、音声出力器4による音声出力タイミング等が挙げられる。騒音に応じて、音声の属性を適切に変化させることで、騒音が生じているなかでも、生成した音声の情報を運転者に聞き取りやすくすることができる。
例えば、音声制御部19は、騒音推定部18で推定される騒音レベルが大きくなるにつれて、音声生成部7に生成させる音声の周波数特性(例えば、音の高さ、音の長さ(スピード)、音色等)を変化させ、ロンバート効果に基づいて、運転者が聞き取り易い音声に調節する。また、音声制御部19は、騒音推定部18で推定される騒音の周波数特性に応じて、音声生成部7に生成される音声の周波数特性を変化させ、運転者が聞き取り易い音声に調節してもよい。
音声制御部19は、騒音推定部18で推定される騒音レベルが大きくなるにつれて、音声生成部7で生成される音声のセンテンス長さを短縮化するように調節してもよい。これによれば、音声のセンテンス長さが長い場合に比べ、音声が意味する内容を運転者が認識し易くなる。また、騒音推定部18が騒音レベルの急上昇を予測した場合には、騒音レベルの減少を予測するまで、音声制御部19は音声出力を抑えるようにしてもよい。これによって、騒音レベルが高い状態での音声出力が抑えられることで、聞き漏らしを防ぐことができる。
音声制御部19は、騒音推定部18で推定される騒音レベルが所定値よりも大きくなると、音声の出力タイミングを変更してもよい。即ち、音声制御部19は、騒音推定部18で推定される騒音レベルが所定値よりも大きくなると、音声生成部7に音声出力器4から音声を出力させるのを保留し、ロケーション騒音取得部17で求められた情報に基づいて近い将来に騒音レベルが所定値未満になると予測される時点を特定し、その時点に到達すると音声出力器4が保留していた音声を音声出力器4から出力させるようにしてもよい。これによれば、音質を自然な状態に維持しながらも、運転者が音声を認識し易くなる。
なお、音声の出力開始後であっても、騒音レベルが所定値以上になった場合には、音声出力の中止又は中断を行い、騒音レベルが所定値未満となった時点で音声出力を再生し直し又は再開させてもよい。また、前記所定値は、出力される音声の重要度に応じて変更されてもよい。即ち、前記出力される音声の重要度が低い場合には、前記所定値を大きく(閾値を緩和)し、前記出力される音声の重要度が高い場合には、前記所定値を小さく(閾値を厳しく)するように、前記所定値を変更してもよい。
以上に説明した構成によれば、騒音発生要因に関する情報に基づいて騒音状態を推定するので、騒音自体を検出する場合に比べて、騒音状態を予測的に知ることができる。そのため、騒音状態の動的変化が激しい自動二輪車等においても、騒音に対する音声生成の応答遅れによる音声不適合を防止できる。これによって、運転者が音声を聞き取り易くして、音声が表す情報を認識し易くすることができる。また、騒音レベルそのものを実測するのではなく騒音発生要因に関する情報に基づいて騒音レベルを推定するので、騒音を実測するための集音センサが無い場合も、運転者が音声情報を聞き取り易くすることができる。
上述したように、騒音発生要因に関する情報に基づいて、騒音状態の将来の変化が推定されることが好ましい。推定した騒音状態の将来の時間変化に基づいて、音声の属性が変更されるとよい。例えば、音声生成の応答遅れにより、音声生成後の将来の騒音状態が大きくなることが推定される場合には、その遅れを考慮して音声が聞き取りやすいように音声の属性を変更する。更に具体的には、音声生成を生成するための応答時間を予め把握(例えば、事前設定または計測)し、推定される騒音の単位時間当たりの増加幅が予め定める増加閾値を超える場合には、応答時間経過後の騒音状が大きくなると推定して、騒音があっても聞きやすいように出力音声のレベルを高めるよう音声属性を変更させてもよい。また、推定された騒音の単位時間当たりの減少幅が予め定める減少閾値を超える場合には、応答時間経過後の騒音が小さくなると推定して、騒音があっても聞きやすいように出力音声のレベルを下げるよう音声属性を変更させてもよい。
本実施形態では、騒音発生要因に関する情報は、運転者による出力音声の聞き取りやすさに影響するような時間的な騒音変化を生じる情報であるとよい。例えば、運転者の操作量を騒音発生要因に関する情報とすることで、騒音変化が実際の聞き取り易さに影響が生じる前に、騒音変化を予測することができる。例えば、アクセル操作量を変化させてから実際にエンジン回転数が変化するまでに時間的な遅れが生じることから、騒音(特に乗物の駆動音)として変化が生じる前に騒音変化を予測し、その予測に応じて音声属性を変化させることができる。また、運転者の操作量として、アクセル操作量のほか、ブレーキ操作、クラッチ操作、ギア操作などの操作開始・操作終了・操作の時間変化の情報を騒音推定に用いることができる。これらによっても、操作後の騒音変化を予測して、音声属性を変化させやすい。これらの運転者の操作量は、車両に設けられる既存のセンサによって検出することができる。
また例えば、車両状態の時間変化を騒音発生要因に関する情報とすることで、騒音変化が実際の聞き取り易さに影響が生じる前に、騒音変化を予測することができる。車両状態としては、例えば、エンジン回転数の時間変化を用いることができる。エンジン回転数の時間変化が急上昇して所定値を越えた場合には、騒音(特に乗物の駆動音、走行音)の急上昇を予測することができる。このようにして急な騒音変化を予測して、予測に応じて音声属性を変化させてもよい。車両状態の時間変化として、エンジン回転数の時間変化のほか、スロットル開度、車速、前輪回転数、後輪回転数、加減速度、変速比などの時間変化、即ち、時間微分値を用いることができる。これらによっても騒音変化を予測して、音声属性を変化させることができる。これらの車両状態は、車両に設けられる既存のセンサによって検出することができる。
また、走行経路と走行速度と予め記憶される路面状態とに基づいて、将来の騒音変化を予測し、予測に応じて出力音声の属性を変化させてもよい。トンネル進入が予測されたり、高速道路への進路変更が予測される場合には、予測される騒音変化に応じて、出力音声の属性を変化させてもよい。例えば、将来のトンネル進入、高速道路走行から騒音(特に環境音)が大きくなると予想して聞き取りやすく出力音声の属性を変化させてもよい。また天候の変化、例えば将来の雨天走行を予想して、予測に応じて出力音声の属性を変化させてもよい。
本実施形態では、騒音発生要因に基づいて、駆動音、走行音および環境音の将来の音を予測し、その予測した騒音に基づいて、出力音声の属性を変更したが、駆動音、走行音及び環境音の少なくとも1つに基づいて、出力音声の属性を変更してもよい。好ましくは、駆動音、走行音及び環境音のうち複数の音の騒音発生要因に基づいて出力音声の属性を変更することで、総合的に騒音に基づいて音声属性を変化させることができる。
また、将来の騒音の音圧レベルを対数値(デジベル)による騒音値に変換することで、運転者の認識する騒音として判断しやすい。更に、運転者の聞こえやすさを考慮して音の周波数ごとに補正した出力音声に変更することで、人間の聴覚として認識する騒音としてより判断しやすい。騒音レベルに応じて、音声の周波数特性を変化させることで、運転者の聞き取りやすい出力音声を生成することができる。なお、本実施形態では、騒音レベルに基づいて音声属性を変更したが、騒音レベル以外の音の指標に基づいて、音声属性を変更する場合も本発明に含まれる。
また、自動二輪車は、騒音レベルを測定する集音センサを更に備えてもよい。これによって騒音レベルの検出精度を高めることができ、さらに聞き取りやすい音声情報を提供することができる。音声コントローラ2は、予め定める条件を満足する場合に運転者への情報発信のための音声生成が可能であればよく、運転者の発した音声を認識する機能や、公衆回線への通信機能がない場合も、本発明に含まれる。運転者露出型の乗物は、少なくとも運転者の頭部が、車体のボディによって覆われていない乗物を意味する。自動二輪車のほか、バギー車、小型滑走艇、雪上車、ボート、オープンカーなどにも本発明を好適に適用することができる。
1 音声システム
17 ロケーション騒音取得部
18 騒音推定部
19 音声制御部

Claims (9)

  1. 運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、
    騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、
    前記推定された騒音状態に応じて、運転者に向けて出力する音声の出力タイミングを変更する音声制御部と、を備える、乗物の音声システム。
  2. 前記音声制御部は、前記騒音推定部で推定される騒音レベルが所定値よりも大きくなると、音声の出力を保留させる、請求項1に記載の乗物の音声システム。
  3. 前記音声制御部は、前記騒音推定部で推定される騒音レベルが所定値未満になると予測される時点に到達すると、前記保留していた音声を音声出力器から出力させる、請求項に記載の乗物の音声システム。
  4. 前記乗物が走行するロケーションの騒音発生情報を取得するロケーション騒音取得部を更に備え、
    前記音声制御部は、前記ロケーション騒音取得部で求められた情報に基づいて、騒音レベルが前記所定値未満になると予測される時点を特定する、請求項に記載の乗物の音声システム。
  5. 前記音声制御部は、前記騒音推定部で推定される騒音レベルが所定値以上になった場合には、音声出力の中止又は中断を行い、騒音レベルが前記所定値未満となった時点で音声出力を再生し直し又は再開させる、請求項1乃至のいずれかに記載の乗物の音声システム。
  6. 前記音声制御部は、出力される音声の重要度に応じて前記所定値を変更する、請求項に記載の乗物の音声システム。
  7. 運転者が乗物外部に露出した状態で運転する乗物の音声システムであって、
    騒音発生要因に関する情報に基づいて将来の騒音状態を推定する騒音推定部と、
    前記推定された騒音状態に応じて、運転者に向けて出力する音声の属性を変更する音声制御部と、を備え、
    前記音声制御部は、前記推定された騒音状態に応じて、前記属性としての前記音声のセンテンス長さを決定する、乗物の音声システム。
  8. 運転者が乗物外部に露出した状態で運転する乗物の音声出力方法であって、
    騒音発生要因に関する情報に基づいて、運転者に向けて出力する音声の出力タイミングを変更する、乗物用の音声出力方法。
  9. 運転者が乗物外部に露出した状態で運転する乗物の音声出力方法であって、
    騒音発生要因に関する情報に基づいて、運転者に向けて出力する音声のセンテンス長さを決定する、乗物用の音声出力方法。
JP2018169349A 2018-09-11 2018-09-11 乗物の音声システム及び音声出力方法 Active JP7240116B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018169349A JP7240116B2 (ja) 2018-09-11 2018-09-11 乗物の音声システム及び音声出力方法
PCT/JP2019/021572 WO2020054141A1 (ja) 2018-09-11 2019-05-30 乗物の音声システム及び音声出力方法
US17/269,149 US11557275B2 (en) 2018-09-11 2019-05-30 Voice system and voice output method of moving machine
EP19861086.7A EP3852098A4 (en) 2018-09-11 2019-05-30 AUDIO SYSTEM FOR VEHICLE AND AUDIO OUTPUT METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018169349A JP7240116B2 (ja) 2018-09-11 2018-09-11 乗物の音声システム及び音声出力方法

Publications (2)

Publication Number Publication Date
JP2020042163A JP2020042163A (ja) 2020-03-19
JP7240116B2 true JP7240116B2 (ja) 2023-03-15

Family

ID=69777790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018169349A Active JP7240116B2 (ja) 2018-09-11 2018-09-11 乗物の音声システム及び音声出力方法

Country Status (4)

Country Link
US (1) US11557275B2 (ja)
EP (1) EP3852098A4 (ja)
JP (1) JP7240116B2 (ja)
WO (1) WO2020054141A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230065A1 (ja) * 2018-05-31 2019-12-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US11615801B1 (en) * 2019-09-20 2023-03-28 Apple Inc. System and method of enhancing intelligibility of audio playback

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140800A (ja) 2000-11-02 2002-05-17 Yamaha Motor Co Ltd 自動二輪車の情報提供装置
JP2002314637A (ja) 2001-04-09 2002-10-25 Denso Corp 雑音低減装置
JP2005062713A (ja) 2003-08-20 2005-03-10 Alpine Electronics Inc 音声補正装置
JP2006090988A (ja) 2004-09-27 2006-04-06 Fujitsu Ten Ltd ナビゲーション装置
JP2008170980A (ja) 2006-12-12 2008-07-24 Mitsubishi Electric Corp 車載用ガイダンス装置
JP2009175558A (ja) 2008-01-25 2009-08-06 Kawasaki Heavy Ind Ltd 音響装置および音響制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265466A (ja) * 1992-03-18 1993-10-15 Nissan Motor Co Ltd 能動型振動制御装置及び能動型騒音制御装置
JPH0764594A (ja) * 1993-08-27 1995-03-10 Ricoh Co Ltd 音声認識装置
US6360187B1 (en) * 1999-06-28 2002-03-19 Ford Global Technologies, Inc. Ambient adjusted volume control for in-vehicles messages
JP2002091488A (ja) * 2000-01-31 2002-03-27 Matsushita Electric Ind Co Ltd 車載ナビゲーション装置
JP2002351485A (ja) * 2001-05-28 2002-12-06 Matsushita Electric Ind Co Ltd 電子メール読み上げ装置
JP3843956B2 (ja) * 2002-05-14 2006-11-08 トヨタ自動車株式会社 車載バッテリのファン制御方法およびファン制御装置
JP2005122042A (ja) * 2003-10-20 2005-05-12 Toyota Motor Corp 音声認識装置、音声認識方法、音声合成装置、音声合成方法、音声認識システム、音声合成システム、音声認識合成装置、およびナビゲーションシステム、ならびに移動体
DE102006001730A1 (de) * 2006-01-13 2007-07-19 Robert Bosch Gmbh Beschallungsanlage, Verfahren zur Verbesserung der Sprachqualität und/oder Verständlichkeit von Sprachdurchsagen sowie Computerprogramm
JP2008061113A (ja) * 2006-09-01 2008-03-13 Pioneer Electronic Corp 音響装置及び音量感補正方法
JP2009157065A (ja) * 2007-12-26 2009-07-16 Pioneer Electronic Corp 音声出力装置、音声出力方法、音声出力プログラムおよび記録媒体
EP2474974A1 (en) * 2009-09-02 2012-07-11 Fujitsu Limited Voice reproduction device and voice reproduction method
US20120268294A1 (en) * 2011-04-20 2012-10-25 S1Nn Gmbh & Co. Kg Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
KR101866774B1 (ko) * 2011-12-22 2018-06-19 삼성전자주식회사 휴대용 단말기에서 음량을 조절하기 위한 장치 및 방법
JP6282925B2 (ja) 2014-05-13 2018-02-21 日本電信電話株式会社 音声強調装置、音声強調方法及びプログラム
JP2016109498A (ja) * 2014-12-04 2016-06-20 三菱電機株式会社 環境予測システム及び環境予測方法
US10670417B2 (en) * 2015-05-13 2020-06-02 Telenav, Inc. Navigation system with output control mechanism and method of operation thereof
US20170004827A1 (en) * 2015-06-30 2017-01-05 Siemens Energy, Inc. Data Collection and Reporting System and Method
DE102015122245A1 (de) * 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
US10324683B2 (en) * 2016-12-27 2019-06-18 Harman International Industries, Incorporated Control for vehicle sound output
EP3605434A4 (en) * 2017-03-27 2020-02-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002140800A (ja) 2000-11-02 2002-05-17 Yamaha Motor Co Ltd 自動二輪車の情報提供装置
JP2002314637A (ja) 2001-04-09 2002-10-25 Denso Corp 雑音低減装置
JP2005062713A (ja) 2003-08-20 2005-03-10 Alpine Electronics Inc 音声補正装置
JP2006090988A (ja) 2004-09-27 2006-04-06 Fujitsu Ten Ltd ナビゲーション装置
JP2008170980A (ja) 2006-12-12 2008-07-24 Mitsubishi Electric Corp 車載用ガイダンス装置
JP2009175558A (ja) 2008-01-25 2009-08-06 Kawasaki Heavy Ind Ltd 音響装置および音響制御装置

Also Published As

Publication number Publication date
WO2020054141A1 (ja) 2020-03-19
EP3852098A1 (en) 2021-07-21
US20220114999A1 (en) 2022-04-14
JP2020042163A (ja) 2020-03-19
US11557275B2 (en) 2023-01-17
EP3852098A4 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
US11003414B2 (en) Acoustic control system, apparatus and method
US10818286B2 (en) Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system
US9230538B2 (en) Voice recognition device and navigation device
US7729911B2 (en) Speech recognition method and system
US11295735B1 (en) Customizing voice-control for developer devices
KR20180130672A (ko) 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
JP2016090681A (ja) 車両用音声対話装置
JP7240116B2 (ja) 乗物の音声システム及び音声出力方法
JP2002314637A (ja) 雑音低減装置
JP7178630B2 (ja) 音声操作方法、プログラム、音声操作システム、及び、移動体
CN110366852B (zh) 信息处理设备、信息处理方法和记录介质
JP7340943B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
KR101619257B1 (ko) 운전자 감성 제어 장치 및 그 방법
EP1531605A1 (en) Method and system for noise reduction of a sound signal
JP2000321080A (ja) 雑音抑圧装置,音声認識装置及び車両用ナビゲーション装置
US11542744B2 (en) Agent device, agent device control method, and storage medium
CN117425586A (zh) 声音体验发生器
KR20210073461A (ko) 에이전트 관리 장치, 프로그램, 및 에이전트 관리 방법
WO2023074655A1 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP2005122042A (ja) 音声認識装置、音声認識方法、音声合成装置、音声合成方法、音声認識システム、音声合成システム、音声認識合成装置、およびナビゲーションシステム、ならびに移動体
WO2023074654A1 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
JP7217209B2 (ja) 音声対話装置、音声対話方法、及びプログラム
JP4190735B2 (ja) 音声認識方法および装置とナビゲーション装置
JP7287291B2 (ja) 情報処理装置、プログラム、及び、情報処理方法
JP2006251544A (ja) 音声認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230303

R150 Certificate of patent or registration of utility model

Ref document number: 7240116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150