以下、本発明の第1〜第5の実施の形態について説明する。
本発明は、ドライバが通話を行う際に、発話に関してはドライバ自身でコントロールすることが可能である一方、通話相手による発話(すなわち、ドライバにとっての受話)を聴取することに関してはドライバ自身でコントロールすることが実質的に困難であり、それ故、通話相手からの発話(受話)を聴取する際に事故発生リスクが大きくなることを考慮するとともに、ドライバの通話に係る利便性が著しく損なわれないようにするものである。本発明では、ドライバの運転状態が高負荷状態となった場合に、通話相手からの受話音声が再生出力されないように制御を行う。
なお、以下の説明では、ドライバが運転する車両に搭載された車載システムと通話相手の通話端末との間は、音声及び画像の両方が伝送されるテレビ電話によって通話が可能な場合を一例として挙げるが、音声及び画像のいずれか一方が伝送される通話に対して本発明を適用することが可能である。また、ドライバによる運転の安全性を考慮し、音声及び画像の両方が伝送されるテレビ電話であっても、ドライバの運転中は音声による通話に制限し、画像の撮像、送受信、再生などを始めとする画像に関する処理が行われないようにすることも可能である。
また、以下の説明では、ドライバとその通話相手との間で行われる通話は、音声や画像がパケット形式で通信されるデータパケット通信を前提として説明を行うが、アナログ回線による通話に対して本発明を適用することも可能である。
<第1の実施の形態>
まず、本発明の第1の実施の形態について説明する。図1は、本発明の第1の実施の形態における車載システムの構成の一例を示す図である。図1に図示されている通信処理装置100は、ドライバが運転する車載システム10に実装されるものであり、通信処理装置100は、通話時にドライバから通話相手へ送られるデータの処理を行う送信処理装置110と、通話相手からドライバへ送られるデータ(ドライバが通話相手から受信するデータ)の処理を行う受信処理装置120とを有している。
図1において、送信処理装置110は、送信音声処理部111、送信画像処理部112、送信用キャッシュ113、送信処理部114を有している。
送信音声処理部111は、ドライバの発話を集音できるマイクロホン300によって取得された音声をデータ通信用に加工(例えば、符号化処理)する機能を有している。なお、マイクロホン300は、車載システムにあらかじめ設置されている集音機能やハンズフリーセットに備え付けられているマイクロホンなど、任意の集音手段を用いることが可能である。
また、送信画像処理部112は、ドライバの顔画像やドライバが通話相手に送信したい対象物の画像(例えば、通話相手に見せたい資料など)を撮像できるカメラ400によって取得された画像をデータ通信用に加工(例えば、符号化処理)する機能を有している。なお、カメラ400は、車載システムにあらかじめ設置されている撮像機能や車載システムに接続された撮像手段など、任意の撮像手段を用いることが可能である。
また、送信用キャッシュ113は、送信音声処理部111及び送信画像処理部112によって処理されたデータを一時的に蓄積するバッファ機能を有している。なお、送信用キャッシュ113は、パケットバッファや任意のメモリによって実現可能である。
また、送信処理部114は、送信用キャッシュ113に蓄積されたデータを加工し、通信モジュール200を介して通話相手が使用している通話端末へ送信する機能を有している。なお、通信モジュール200は、車載システムにあらかじめ設置されている無線通信機能や車載システムに接続された携帯電話機など、任意の通信手段を用いることが可能である。
なお、図1では、送信処理装置110において、送信音声処理部111及び送信画像処理部112がそれぞれ独立して存在しているが、相互の処理が関連付けられており、画像及び音声の同期処理が行われることが望ましい。また、本明細書における画像は、動画(映像)又は静止画を表すものであり、通話時に送受信される画像は動画及び静止画のいずれであってもよい。
一方、図1において、受信処理装置120は、受信処理部121、受信用キャッシュ122、受信音声処理部123、受信画像処理部124、音声再生出力部125、画像再生出力部126、運転負荷定量化部127、運転高負荷状態判定部128を有している。
受信処理部121は、通話時に通話相手の通話端末から送信されたデータを、通信モジュール200を介して通話相手が使用している通話端末から受信して処理する機能を有している。なお、通話相手の通話端末から受信するデータには、通話相手の通話端末へ受信するデータと同様に画像及び音声が含まれている。
また、受信用キャッシュ122は、受信処理部121によって処理されたデータを一時的に蓄積するバッファ機能を有している。本発明では、運転状態が高負荷状態の場合には、データ再生(データの読み出し)が行われずにデータが蓄積されていくことになる。したがって、高負荷状態に通話が遅延する際の上限時間(遅延許容時間)までに蓄積されるデータを十分格納できるだけの容量を有することが望ましい。なお、送信用キャッシュ113と同様、受信用キャッシュ122も、パケットバッファや任意のメモリによって実現可能である。
また、受信音声処理部123は、受信用キャッシュ122に蓄積された音声データを読み出し、音声出力用に加工(例えば、復号処理)する機能を有している。さらに、受信音声処理部123は、運転高負荷状態判定部128から指示される再生の可否(許可/不許可)に基づいて、音声データの処理(受信用キャッシュ122からの音声データの読み出し)を開始/中断することが可能である。すなわち、受信音声処理部123は、運転高負荷状態判定部128から再生の不許可の指示を受けた場合には、音声データの処理を一時的に中断し、その後、運転高負荷状態判定部128から再生の許可の指示を受けた場合には、音声データの処理を再開することが可能である。
また、受信画像処理部124は、受信用キャッシュ122に蓄積された画像データを読み出し、画像出力用に加工(例えば、復号処理)する機能を有している。さらに、受信画像処理部124は、運転高負荷状態判定部128から指示される再生の可否(許可/不許可)に基づいて、画像データの処理(受信用キャッシュ122からの画像データの読み出し)を開始/中断することが可能である。すなわち、受信画像処理部124は、運転高負荷状態判定部128から再生の不許可の指示を受けた場合には、画像データの処理を一時的に中断し、その後、運転高負荷状態判定部128から再生の許可の指示を受けた場合には、画像データの処理を再開することが可能である。
なお、受信音声処理部123や受信画像処理部124は、いったん受信用キャッシュ122に格納された音声データ/画像データの品質を向上する処理(例えば、サンプリングレートを向上する処理)を行ってから出力することも可能である。本発明に係る通話はリアルタイム通信によるものではなく受信用キャッシュ122にいったん蓄積されたデータを読み出して再生するものであり、ある程度の遅延が許容されるのであれば、品質向上処理を行ってから出力されるようにすることが可能である。なお、特に、ドライバの運転状態が高負荷状態の場合には、受信用キャッシュ122にデータが蓄積される状態となるので、この期間中にデータの品質向上処理を行うことが可能である。
また、音声再生出力部125は、受信音声処理部123によって処理された音声データを処理して音声信号を生成し、スピーカ500を介してドライバが聴取可能となるように報知する機能を有している。なお、スピーカ500は、車載システムにあらかじめ設置されている音声出力機能や、ハンズフリーセットに備え付けられているスピーカなど、任意の音声出力手段を用いることが可能である。
また、画像再生出力部126は、受信画像処理部124によって処理された画像データを処理して画像信号を生成し、モニタ600を介してドライバが視認可能となるように報知する機能を有している。なお、モニタ600は、車載システムにあらかじめ設置されている画像出力機能や車載システムに接続されたモニタなど、任意の画像出力手段を用いることが可能である。
また、運転負荷定量化部127は、ドライバの運転状態を検出する運転状態検出部700による検出結果を参照し、この検出結果からドライバの運転状態を定量化する機能を有している。
なお、運転状態検出部700はドライバの運転状態を表す任意の条件を検出する機能である。この条件として、例えば、車両の車速、自車位置や走行奇跡、操舵角(ハンドルの角度)、アクセルやブレーキ、ギアなどの状態、他の車両との車間距離、案内経路、事故多発地点を示す地図(事故多発地点との距離)などを用いることが可能である。また、特許文献1や特許文献2に記載されている各種条件を用いてもよい。
また、運転負荷定量化部127の計算に用いられる定量化のアルゴリズムも任意のアルゴリズムを用いることが可能である。例えば、特許文献2に記載されている余裕度を運転負荷定量化部127の定量化結果として援用するなど、特許文献1や特許文献2に記載されているアルゴリズムを用いてもよい。
また、運転高負荷状態判定部128は、運転負荷定量化部127によって算出された運転状態検出部700による検出結果の定量化値に基づいて、ドライバの運転状態が高負荷状態か否かを判定し、受信音声処理部123及び受信画像処理部124に対して、再生の可否(許可/不許可)を指示する機能を有している。運転高負荷状態判定部128は、ドライバの運転状態が高負荷状態であると判定した場合には、受信音声処理部123及び受信画像処理部124に対して、再生の不許可を指示する再生中断指示信号を送出する。
例えば、運転状態が高負荷状態であると判定される条件として、例えば、事故多発地点(合流地点や交差点など)を通過中である場合、ドライバによるハンドル操作が多い場合、車両の速度が高い場合やブレーキをかける回数が多い場合、前方や後方を走る車両との車間距離が狭い場合などが挙げられる。なお、運転高負荷状態判定部128による運転高負荷状態判定のアルゴリズムは、任意のアルゴリズムを用いることが可能である。例えば、運転高負荷状態判定のアルゴリズムにニューラルネットワークやベイジアンネットワークなどの学習アルゴリズムを用いてもよく、また、特許文献1や特許文献2に記載されているアルゴリズムを用いてもよい。
また、例えば、運転高負荷状態判定部128は、ドライバの運転状態が高負荷状態か否かに応じて、受信音声処理部123及び受信画像処理部124に対して再生の許可/不許可を指示してもよく、あるいは、受信音声処理部123及び受信画像処理部124は運転高負荷状態判定部128からの指示を受けていない場合には再生を行うよう構成されており、運転高負荷状態判定部128は、ドライバの運転状態が高負荷状態ではない場合においては受信音声処理部123及び受信画像処理部124に対して指示を行わず、ドライバの運転状態が高負荷状態の場合にのみ受信音声処理部123及び受信画像処理部124に対して再生の不許可を指示してもよい。
なお、図1には不図示だが、運転高負荷状態判定部128において判定されたドライバの運転状態が高負荷状態か否かの判定結果(あるいは、この判定結果を加工したプレゼンス情報)を、送信処理部114から通信モジュール200を通じて通話相手の通話端末へ送信することも可能である。
図1では、受信処理装置120において、受信音声処理部123及び受信画像処理部124がそれぞれ独立して存在しているが、相互の処理が関連付けられており、画像及び音声の同期処理が行われることが望ましい。
次に、上述の構成例に基づいて、本発明の第1の実施の形態における動作の一例について説明する。図2は、本発明の第1の実施の形態における車載システムを用いた通話時に行われる受信処理の一例を示すフローチャートである。
車載システムを利用した通話が始まると、通話相手との通話によるデータ通信が開始され、通信モジュール200が、ステップS201において、通話相手から送られてくるデータを受信する。通信モジュール200は、受信したデータを受信処理部121に送出し、受信処理部121で処理された後、ステップS202において、ステップS201で受信したデータが受信用キャッシュに格納される。
なお、ステップS203において通話が終了した場合には、受信処理も終了となる。一方、ステップS203において通話がまだ終了していない場合には、ステップS201に戻り、通話が終了するまで上記の受信処理を繰り返し行う。
また、図3は、本発明の第1の実施の形態における車載システムを用いた通話時に行われる再生処理の一例を示すフローチャートである。車載システムを利用した通話が始まると、通話相手との通話によるデータ通信が開始され、ステップS301において、運転高負荷状態判定処理を開始する。なお、運転高負荷状態判定処理は、運転高負荷状態判定部128が運転状態に応じて受信データの再生の可否を判定する処理である。運転高負荷状態判定処理の詳細に関しては、後で図4を参照しながら説明する。
通話相手から受信したデータの再生処理は、運転高負荷状態判定部128によって判定された判定結果(受信データの再生を許可するか否か)に基づいて制御される(ステップS302)。ステップS302において運転高負荷状態の判定結果が受信データの再生を許可しないものである場合には、受信データの再生(後述のステップS303、S304の処理)を行わずにステップS301の運転高負荷状態判定処理に戻る。すなわち、運転高負荷状態の判定結果が受信データの再生を許可しないものである場合には、運転高負荷状態の判定結果が受信データの再生を許可するものとなるまで(運転状態が低負荷となるまで)、運転高負荷状態判定処理が繰り返し行われる。
一方、ステップS302において運転高負荷状態の判定結果が受信データの再生を許可するものである場合には、ステップS303において、受信音声処理部123及び受信画像処理部124が受信用キャッシュ122からデータを取得し、ステップS304において、音声再生出力部125及び画像再生出力部126がそのデータをスピーカ500やモニタ600を通じて出力する。これにより、ドライバは、通話相手から送られてくる音声や画像を視聴する。なお、このとき受信用キャッシュ122にデータが格納されていない場合には、再生すべきデータ(すなわち、通話相手から受信したデータ)が存在せず、再生処理を行う必要はない。
なお、ステップS305において通話が終了した場合には、再生処理も終了となる。一方、ステップS305において通話がまだ終了していない場合には、ステップS301に戻り、通話が終了するまで上記の再生処理を繰り返し行う。
また、図4は、本発明の第1の実施の形態における車載システムを用いた通話時に行われる運転高負荷判定処理の一例を示すフローチャートである。なお、図4に示す運転高負荷判定処理は、図3に図示されているステップS301の運転高負荷状態判定処理における詳細な処理の一例を示すものである。
運転高負荷状態判定処理では、まずステップS3011において、運転状態検出部700がドライバの運転状態(ドライバが車両を運転している状態)を検出し、ステップS3012において、運転負荷定量化部127が、運転状態検出部700で検出された運転状態に基づいてドライバの運転状態を定量化する処理を行う。なお、運転状態検出部700で検出される条件(運転状態)や、その定量化のアルゴリズムは、上述のように任意の条件及びアルゴリズムを用いることが可能である。
そして、ステップS3013において、ステップS3012で得られた運転状態の定量化結果に基づいて、ドライバの運転状態が高負荷状態か否かを判定する。なお、ドライバの運転状態が高負荷状態か否かを判定する際に用いられるアルゴリズムは、上述のように任意のアルゴリズムを用いることが可能である。
ステップS3013でドライバの運転状態が高負荷状態ではない(すなわち、低負荷状態)と判定された場合には、ステップS3014において、運転高負荷状態判定部128が受信データの再生許可を決定し、受信音声処理部123及び受信画像再生部124に対して、受信データの再生(すなわち、図3におけるステップS303、S304の処理)を行うように制御する。
一方、ステップS3013でドライバの運転状態が高負荷状態であると判定された場合には、ステップS3015において、運転高負荷状態判定部128が受信データの再生不許可を決定し、受信音声処理部123及び受信画像再生部124に対して、受信データの再生(すなわち、図3におけるステップS303、S304の処理)を行わないように制御する。
運転高負荷状態判定部128による受信用キャッシュ122内のデータの再生制御によって、高負荷状態のときにはデータの再生が行われずに受信用キャッシュ122内に受信データが蓄積され、低負荷状態のときには受信用キャッシュ122内に蓄積された受信データが再生されるようになる。
なお、本発明の第1の実施の形態では、ドライバが車載システムを用いた通話を行う通話相手は、任意の通話端末を用いることが可能であり、通話相手の通話端末は、ドライバとの間で通話を行う機能が実装されていれば特別な機能を実装している必要はない。すなわち、通話相手の通話端末は既に広く普及している携帯電話機やIP電話アプリケーションを実装したPC(Personal Computer:パーソナルコンピュータ)であってもよい。
<第2の実施の形態>
次に、本発明の第2の実施の形態について説明する。図5は、本発明の第2の実施の形態における通信システムの一例を示す図である。図5において、車載システム20は、通話回線ネットワーク940を介して通話相手の通話端末950と通信を行うことが可能である。また、車載システム20と通話端末950との間で交換されるデータは、図5に矢印で示されているように、通話回線ネットワーク940上のセンタ900を経由して行われる。なお、通話回線ネットワーク940は任意の通信ネットワークである。例えば、通話回線ネットワーク940は、インターネットや電話回線ネットワークなどを表している。
また、図5における車載システムは、例えば図6に図示されている構成を有している。図6は、本発明の第2の実施の形態における車載システムの構成の一例を示す図である。図6に図示されている通信処理装置150は、ドライバが運転する車載システム20に実装されるものであり、通信処理装置150は、通話時にドライバから通話相手へ送られるデータの処理を行う送信処理装置160と、通話相手からドライバへ送られるデータ(ドライバが通話相手から受信するデータ)の処理を行う受信処理装置170とを有している。
図6において、送信処理装置160は、送信音声処理部111、送信画像処理部112、送信用キャッシュ113、送信処理部114、再送要求部161を有している。なお、送信音声処理部111、送信画像処理部112、送信用キャッシュ113、送信処理部114は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
再送要求部161は、受信処理装置170の再送依頼判断部171から、再送要求対象のデータの識別情報と共に再送要求の指示を受けた場合に、センタ900に対して、再送要求対象のデータの再送を要求する再送要求メッセージを生成し、送信処理部114へ渡す機能を有している。この再送要求メッセージは通信モジュール200を介してセンタ900へ送信され、再送要求対象のデータの再送をセンタ900に要求することが可能となる。
一方、図6において、受信処理装置170は、受信処理部121、受信用キャッシュ122、受信音声処理部123、受信画像処理部124、音声再生出力部125、画像再生出力部126、運転負荷定量化部127、運転高負荷状態判定部128、再送依頼判断部171を有している。なお、受信処理部121、受信用キャッシュ122、受信音声処理部123、受信画像処理部124、音声再生出力部125、画像再生出力部126、運転負荷定量化部127、運転高負荷状態判定部128は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
再送依頼判断部171は、受信用キャッシュ122に格納されたデータが欠落している場合や、ドライバが通話相手からの受話を再度視聴(再生)したいと所望した場合などが発生しているか否かを判断して、取得すべきデータがある場合には、そのデータの再送要求を行うよう再送要求部161へ指示する機能を有している。なお、再送要求対象のデータを識別する識別情報として、そのデータの通信が行われた時間やデータ(パケット)に含まれるシーケンスナンバーなどを利用することが可能である。
また、図7は、本発明の第2の実施の形態におけるセンタの構成の一例を示す図である。図7に図示されているセンタ900は、通信モジュール901、データ受信部902、キャッシュ903、データ送信部904、再送要求受付部905、保持期間決定部906を有している。
通信モジュール901は、通話回線ネットワーク940上で伝送されるデータを受信したり、通話回線ネットワーク940上へデータを送出したりすることが可能なネットワークインタフェースである。
また、データ受信部902は、通話回線ネットワーク940上から通信モジュール901を介して取得したデータの処理を行い、キャッシュ903へ格納する機能を有している。
また、キャッシュ903は、車載システム20と通話端末950との間で交換されるデータの格納を行う機能を有している。キャッシュ903は、データ受信部902から渡されたデータを格納するとともに、データ送信部904からの要求に応じてデータ送信部904へデータを渡すことが可能である。なお、キャッシュ903は、データ送信部904に対してデータを渡した場合であっても、保持期間決定部906によって定められた保持期間は、そのデータを保持し続けることが可能である。また、車載システム20へ伝送されるデータのみキャッシュ903に保持され続けるようにしてもよい。
また、データ送信部904は、キャッシュ903に格納されたデータを読み出して、通信モジュール901から通話回線ネットワーク940上へ送出する機能を有している。なお、通常の通話時においては、データ受信部902によってキャッシュ903へ格納されたデータは、即座に再び通話回線ネットワーク940上へ転送される。また、データ送信部904は、再送要求受付部905からの指示に応じて、再送要求対象のデータをキャッシュ903から読み出して車載システム20へ送信することが可能である。
また、再送要求受付部905は、車載システム20から受信した再送要求メッセージの処理を行う機能を有している。再送要求受付部905は、受信した再送要求メッセージに含まれている再送要求対象のデータの識別情報を参照して、再送要求対象のデータをキャッシュ903から読み出して車載システム20へ送信するようデータ送信部904へ指示することが可能である。
また、保持期間決定部906は、キャッシュ903内にデータを格納する保持期間を定めるとともに、例えば不図示のタイマを参照して、キャッシュ内に所定の保持期間だけ格納されているデータの削除を行う機能を有している。
なお、センタ900は、車載システム20と通話端末950との間で交換されるデータを中継することが可能な通話回線ネットワーク940上の任意のネットワークエンティティによって実現可能である。センタ900は、例えば、本発明に係るサービスを提供するために新たに設けられたサーバ、車載システム20のホームエージェント(車載システム20がモバイルIPを実装している場合)、通話回線ネットワーク940のゲートウェイや回線交換器などによって実現可能である。
次に、上述の構成例に基づいて、本発明の第2の実施の形態における動作の一例について説明する。車載システム20と通話端末950との間で伝送されるデータ(特に、通話端末950から車載システム20へ伝送されるデータ)はセンタ900のキャッシュ903に格納され、所定の保持期間だけセンタ900によって保持される。車載システム20はセンタ900に対して、再送要求メッセージ(再送要求対象のデータの識別情報を含むメッセージ)を送信し、センタ900は、この再送要求メッセージに応じた再送要求対象のデータを通話端末950へ送信する。この一連の動作によって、車載システム20は、通話端末950から受信したデータ(あるいは本来受信するはずであったが受信できなかったデータ)を取得して、そのデータの再生を行うことが可能となる。特に、通話データの送受信の場合には、基本的にUDP(User Datagram Protocol)が用いられるため、本発明の第2の実施の形態における再送機能は非常に有用である。
なお、図1に図示されている通信処理装置100や図6に図示されている通信処理装置150が通話相手の通話端末950においても実装されている場合には、通話端末950に再送可能なデータが残っているため、車載システム20は、通話端末950に対してデータの再送要求を直接行うことが可能である。この場合には、データのキャッシュ機能を有するセンタ900を通話回線ネットワーク940上に設けることなく、本発明の第2の実施の形態に係るデータ再送が実現可能となる。
また、本発明の第2の実施の形態では、センタ900や通話端末950に再送可能なデータが蓄積されるので、車載システム10の通信モジュール200においてハンドオーバ(接続基地局の変更)が行われる場合には、車載システム20におけるハンドオーバに影響されることなく、通話相手から送信されるデータは、センタ900や通話端末950に再送可能な状態で蓄積されることとなる。したがって、通話相手は車載システム20におけるハンドオーバによる切断(瞬断)とは無関係に発話を行い、車載システム20の通信処理装置150は、センタ900や通話端末950に蓄積されたデータを要求すればよく、会話が中断しないシームレスハンドオーバを実現することが可能となる。
また、本発明の第2の実施の形態に記載されているように、センタ900や通話端末950に再送可能なデータを蓄積することで、ドライバが降車後に携帯電話機などを利用して会話を継続して行うハードウェアシームレスを実現することが可能である。この場合には、通話相手の通話端末の通信アドレスを特定するためのSIP(Session Initiation Protocol)やDNS(Domain Name System)などのディレクトリサービス(辞書、アドレス帳の類)と連携することが望ましい。
<第3の実施の形態>
次に、本発明の第3の実施の形態について説明する。図8は、本発明の第3の実施の形態における通信システムの第1の例を示す図である。図8に図示されている通信処理装置180は、ドライバが運転する車載システム30に実装されるものであり、通信処理装置180は、通話時にドライバから通話相手へ送られるデータの処理を行う送信処理装置160と、通話相手からドライバへ送られるデータ(ドライバが通話相手から受信するデータ)の処理を行う受信処理装置185とを有している。
なお、図8において、送信処理装置160は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
一方、図8において、受信処理装置185は、受信処理部121、受信用キャッシュ122、受信音声処理部123、受信画像処理部124、音声再生出力部125、画像再生出力部126、運転負荷定量化部127、運転高負荷状態判定部128、ジングル出力部187を有している。なお、受信処理部121、受信用キャッシュ122、受信音声処理部123、受信画像処理部124、音声再生出力部125、画像再生出力部126、運転負荷定量化部127は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
運転高負荷状態判定部186は、上述の本発明の第1の実施の形態における運転高負荷状態判定部128の機能に加えて、さらに、ドライバの運転状態が低負荷状態から高負荷状態になったと判定された場合やドライバの運転状態が高負荷状態から低負荷状態になったと判定された場合に、ジングル出力部187に対してジングル(再生時間の短い音声)の出力を行うよう指示する機能を有している。
また、ジングル出力部187は、運転高負荷状態判定部186からジングルの出力を行うよう指示を受けた場合、あらかじめ定められたジングルを読み出して送信音声処理部111及び音声再生出力部125に渡す機能を有している。ジングル出力部187から送信音声処理部111へ渡されたジングルは、通信モジュール200を介して通話相手の通話端末へ送信され、ジングル出力部187から音声再生出力部125へ渡されたジングルは、スピーカ500を通じてドライバへ報知される。
上記の図8に図示されている構成によって、以下の動作が行われるようになる。ドライバの運転状態が高負荷状態となった場合には、運転高負荷状態判定部186はその高負荷状態を検出し、ジングルの出力を行うようジングル出力部187へ指示を行う。ジングル出力部187は、高負荷状態となったことを示すジングルを出力し、通話相手の通話端末へジングルを送信するとともに、ドライバが音声を聴取することができるスピーカからジングルを出力する。これにより、通話相手及びドライバは、ドライバの運転状態が高負荷状態になったこと(その結果、ドライバ側での再生が中断し、再生遅延が発生すること)をジングルの聴取によって把握可能となり、ドライバの運転状態が高負荷状態であることを考慮しながら会話を継続したり、あるいはドライバや通話相手の判断によって一時的に会話を控えたりすることが可能となる。
また、ドライバの運転状態が低負荷状態に戻った場合も同様に、ジングル出力部187は低負荷状態となったことを示すジングルを出力することにより、通話相手及びドライバは、ドライバの運転状態が低負荷状態になったこと(その結果、ドライバ側での再生が再開されること)をジングルの聴取によって把握可能となり、違和感無く元の会話状態に戻したり、ドライバの運転状態が一時的に高負荷状態であったことを考慮しながら(例えば、高負荷状態時に話した内容がお互いに把握できているかを確認するなど)会話を継続したりすることが可能となる。
なお、ドライバの運転状態が低負荷状態から高負荷状態になった場合に出力されるジングルと、ドライバの運転状態が高負荷状態から低負荷状態になった場合に出力されるジングルは、それぞれ異なる音声を用いることが望ましい。これにより、通話相手及びドライバは、ジングルの聴取によって高負荷状態及び低負荷状態のどちらの状態に移行したのかを容易に把握することが可能となる。
また、図9は、本発明の第3の実施の形態における通信システムの第2の例を示す図である。図8に図示されている通信処理装置190は、ドライバが運転する車載システム35に実装されるものであり、通信処理装置190は、通話時にドライバから通話相手へ送られるデータの処理を行う送信処理装置195と、通話相手からドライバへ送られるデータ(ドライバが通話相手から受信するデータ)の処理を行う受信処理装置120とを有している。
なお、図9において、受信処理装置120は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
一方、図9において、送信処理装置195は、送信音声処理部111、送信画像処理部112、送信用キャッシュ113、送信処理部114、無音検出部196、ジングル出力部197を有している。なお、送信音声処理部111、送信画像処理部112、送信用キャッシュ113、送信処理部114は、図1に図示されているものと同一の機能を有しており、ここでは説明を省略する。
無音検出部196は、通話相手の通話端末へ送信する音声データが所定の期間(例えば、数秒程度)無音状態となる場合を検出し、無音状態が検出された場合に、ジングル出力部197に対してジングルの出力を行うよう指示する機能を有している。
また、ジングル出力部197は、無音検出部196からジングルの出力を行うよう指示を受けた場合、あらかじめ定められたジングルを読み出して送信音声処理部111及び音声再生出力部125に渡す機能を有している。ジングル出力部197から送信音声処理部111へ渡されたジングルは、通信モジュール200を介して通話相手の通話端末へ送信される。なお、図9には不図示であるが、さらに、ジングル出力部197から音声再生出力部125へジングルが渡され、スピーカ500を通じてドライバへ報知されてもよい。
上記の図9に図示されている構成によって、以下の動作が行われるようになる。ドライバが会話を行う場合に、無音検出部196は、無音状態を検出することによってドライバからの発話の区切りを検出することが可能となり、発話の区切りを通話相手に伝えることが可能となる。これにより、通話相手は、ドライバによる発話の区切りを把握可能となり、例えば、無音状態が続くようなことがあっても、ドライバが意図的に発話を行っていない(例えば、運転状態が高負荷状態の場合)のか、あるいは、通信回線が不安定なことによってドライバの発話が途中で切断されてしまったのかを把握することが可能となる。
また、無音検出部196及びジングル出力部197の代わりに(あるいは、無音検出部196及びジングル出力部197に加えて)、ドライバが操作可能なPTT(Push To Talk)ボタン800を設けてもよい。ドライバは、自分が発話を行っている最中にPTTボタン800を押下し、発話を行わない場合にはPTTボタン800を話すことによって、自分の発話の区切りを示すことが可能である。ドライバがPTTボタン800を押下状態から離した場合(すなわち、発話を終了する場合)に、ジングル出力部197と同様にジングルが出力されるように構成されている。これにより、ドライバ自身が、発話の区切るとなるジングル(ジングル出力部197から出力されるものと同等のジングル)をPTTボタン800の操作によって通話相手に送ることが可能となる。なお、例えば、ドライバは、運転状態が高負荷状態の際に、PTTボタン800を押下して離すことによって通話相手にジングルを送り、運転状態が高負荷状態なので応答(発話)できない旨を通知することも可能である。
なお、ジングル出力部197から出力されるジングル(あるいは、PTTボタン800から出力されるジングル)は、上述の第1の例で通話相手に送られる2種類のジングル()と、2つの例におけるジングル(ドライバの運転状態が低負荷状態から高負荷状態になった場合に出力されるジングルと、ドライバの運転状態が高負荷状態から低負荷状態になった場合に出力されるジングル)とは異なる音声を用いることが望ましい。
上述の本発明の第3の実施の形態における第1及び第2の例の構成を組み合わせて通信処理装置を構築することも可能であり、この場合には、通話相手に対して、ドライバの運転状態が低負荷状態から高負荷状態になった場合に出力されるジングル、ドライバの運転状態が高負荷状態から低負荷状態になった場合に出力されるジングル、ドライバの発話の区切りを示すジングルの3種類のジングルが通知されることになる。通話相手は、これらのジングルを音声によって聞き分け、それぞれの状態を把握できるようにしてもよい。また、通話相手の通話端末に、各ジングルの種類を特定してそれぞれのジングルに応じた処理(例えば、各ジングルが示すドライバの状態を通話相手に報知する処理)を行う機能を実装してもよい。
<第4の実施の形態>
次に、本発明の第4の実施の形態について説明する。図10は、本発明の第4の実施の形態における通信システムの一例を示す図である。図10において、車載システム40は、複数の通話相手の通話端末1010、1020と通話回線ネットワーク(図10では不図示)を介して通信を行うことが可能であり、この構成によって多人数による同時通話が実現可能である。なお、図10には、ドライバのほかに2人の通話相手が存在しており、合計3人による通話が行われる場合のシステム構成が一例として図示されているが、より多くの人数による同時通話が行われてもよい。
図10に図示されているような多人数通話が行われる場合においても、本発明に係る車載システム40を用いた通話が可能である。なお、車載システム40は、上述の本発明の第1〜第3の実施の形態で説明した車載システム10、20、30、35のうちの任意の車載システムを利用することが可能である。このとき、例えば、車載システム40を利用しているドライバの運転状態が高負荷状態となった場合には、車載システム40における受信データの再生が一時的に停止されることになる。しかしながら、車載システム40における受信データの再生の一時的な停止は、他の通話端末の通話に影響を与えるものではなく、他の通話者の通話端末1010、1020間における通話(会話)は依然として可能な状態に維持される。そして、高負荷状態における車載システム40は、通話者の通話端末1010、1020間における通話に係るデータを受信して、受信用キャッシュ122に蓄積する。これにより、車載システム40を利用するドライバは、運転状態が高負荷状態から低負荷状態となった場合に、高負荷状態時に蓄積された通話者の通話端末1010、1020間における通話データを視聴することが可能となる。
なお、上述の本発明の第1〜第4の実施の形態のそれぞれに関して独立して説明を行ったが、各実施の形態に係る構成や処理を組み合わせて行うことも可能である。また、上述の本発明の第1〜第4の実施の形態では、模式的なブロック図を用いて説明を行ったが、これらのブロック図に記載されている各ブロックは、ハードウェア及び/又はソフトウェアによって実現可能である。また、フローチャートによって表されている動作は、ハードウェア及び/又は各処理を定めたプログラムをCPU(Central Processing Unit:中央演算処理装置)によって実行させることによって実現可能である。
また、上述の本発明の第1〜第4の実施の形態では、車載システムと通話端末との間に音声及び画像の両方が伝送されることを前提としているが、音声及び画像のいずれか一方のみが伝送される通話に対して本発明を適用することも可能である。また、例えば、停車中は画像・音声の両方を再生出力し(テレビ電話)、低負荷運転中は画像の再生を停止して音声のみを再生出力し(音声通話のみ)、高負荷運転中は画像・音声の両方の再生を停止する構成としてもよい。
また、上述の本発明の第1〜第4の実施の形態では、本発明を車載システムに適用しているが、適用対象のシステムは特に限定されるものではない。すなわち、上述の例では、車両の運転状態が高負荷状態か否かを判定して再生処理の可否を判定しているが、任意のシステムにおいて、通話者(上述の例におけるドライバに対応)の任意のステータスを取得し、そのステータスに基づいて、通話者の状態が通話を行うために適した状態か否かを判定してもよい。
また、上述の本発明の第1〜第4の実施の形態では、運転高負荷状態判定部128、186が受信音声処理部123及び受信画像処理部124へ再生の可否(再生の許可/不許可)を送出することで、再生処理の実行/停止の制御を行っているが、受信用キャッシュ122に蓄積されているデータが、最終的にドライバが視聴可能となるように出力される動作を中断できるのであれば任意の処理を停止させてもよい。例えば、運転高負荷状態判定部128は、ドライバの運転状態が高負荷状態のときには、音声再生出力部125や画像再生出力部126へ処理の一時的な中断を指示してもよい。
また、上述の本発明の第1〜第4の実施の形態では、受信用キャッシュ122に格納されたデータは再生出力によって読み出された場合にすぐに消去されてもよく、あるいは、消去されることなく受信用キャッシュ122に格納され続けてもよい。消去されることなく受信用キャッシュ122に格納され続ける場合、例えば、ドライバが聞き漏らしたなどの理由によってデータの再生を再度行えるようになる。さらに、消去されることなく受信用キャッシュ122に格納され続ける場合には、所定の時間以上格納され続けたデータの消去が行われるようにしてもよい。
また、上述の本発明の第1〜第4の実施の形態では、運転状態が高負荷状態から低負荷状態に戻った場合に、受信用キャッシュ122に蓄積されている通話相手からの受信データの再生が再び開始されるが、このとき、再生されるデータに関して、例えば無音部分のスキップや早送りによって無音部分を詰めて再生できるようにしたり、通常よりも速い再生速度(倍速再生)で再生できるようにしたり、ドライバ自身がデータの再生をスキップできるようにしたりすることも可能である。これにより、ドライバは、運転状態が高負荷状態であった場合に受信したデータをより早く聴取したり、選別したりすることが可能となり、ドライバと通話相手との間で行われていた元の会話の状態に迅速に戻すことが可能となる。
次に、本発明の第5の実施の形態として、受信用キャッシュ122に蓄積されている通話相手からの受信データを通常よりも速い再生速度で再生する倍速再生について説明する。
上述の本発明の第1〜第4の実施の形態において、運転状態が高負荷状態から低負荷状態に戻った場合に、受信用キャッシュ122に蓄積されている通話相手からの受信データを倍速再生した場合には、例えば、図12に図示されているように再生速度が変動されることが予想される。すなわち、通常再生時には再生速度が1.0倍で再生されていたが、運転状態が高負荷状態になると再生が抑止されて無音状態となり、運転状態が高負荷状態から低負荷状態に戻った場合には、一定の再生速度(図12では1.3倍)による倍速再生が行われ、受信データをリアルタイムで再生できる状態にまで追いつくと、再び、再生速度が1.0倍の通常再生に戻る。
図12に図示されているような単純な倍速再生を行うことも可能であるが、しかしながら、このような単純な倍速再生では、倍速再生時にドライバの運転に対する集中力が阻害されるなどの弊害が生じる可能性がある。本発明の第5の実施の形態では、以下に説明するような工夫を行うことによって、倍速再生時における運転の安全性が保たれるようにする。
本発明の第5の実施の形態における倍速再生システムでは、倍速再生の実用速度範囲として上限値(ピーク)が設定され、この上限値を超える速度での倍速再生は行われないようにする。既存の倍速再生システムではこのような上限値は設定されておらず、本発明に係る音声データの倍速再生に、既存の倍速再生システムをそのまま適用することは望ましくない。
一般的に、人間が聴取可能な倍速再生の速度には上限が存在し、運転中のドライバの運転に対する集中力が損なわれない倍速再生の速度の上限も存在する。また、倍速再生の速度の上限は、個々人の聴取能力によって異なっている。このような上限を超える速度の倍速再生がドライバの運転中に行われた場合、倍速再生による音声の聞き取りにドライバの意識が向いてしまい、ドライバの運転に対する集中力が阻害されてしまう可能性がある。こうした運転の安全性の低下を防ぐため、本発明では、倍速再生の速度に関して、安全運転を維持できる範囲(ドライバが十分に聞き取れる範囲)の上限値を定め、この上限値を超える速度での倍速再生は行われないようにする。
なお、既存の倍速再生システムでは倍速再生可能な最大速度は存在するかもしれないが、この値は、例えば、倍速再生システムの能力に依存して自ずと定まっているものであり、運転の安全性を考慮した本発明の上限値とは大きく異なっている。
また、本発明の第5の実施の形態における倍速再生システムでは、上記の上限値に基づいて基本値が設定される。基本値は、上記の上限値よりも低い再生速度(かつ、倍速再生を行わない場合の再生速度よりも高い再生速度)であり、この基本値を初期値として倍速再生が開始される。なお、基本値及び上限値に関して、ドライバが再生速度を手動で変動させながら倍速再生が行われる手動変速モードの基本値及び上限値(システム上の基本値及び上限値)と、倍速再生システムが再生速度を自動で変動させながら倍速再生が行われる自動変速モードの基本値及び上限値は、それぞれ別に設定されてもよく、また、後述のように、自動変速モードにおいて各音拍幅に対応した基本値及び上限値が設定されてもよい。
本発明の第5の実施の形態における倍速再生システムでは、上記の上限値によって決定される再生速度の範囲(実用速度範囲)の再生速度で倍速再生を行うことで、ドライバが聞き取りやすく、かつ運転の安全性を低下させない倍速再生を実現することが可能となる。倍速再生時に再生速度を変更する際においては(特に自動変速モードの場合においては)、この実用速度範囲から逸脱しないように再生速度が変動されることが望ましい。
また、本発明の第5の実施の形態における倍速再生システムでは、ドライバが上記の上限値を事前に設定することが可能である。また、上記の上限値を定めるためのテストを行ったり、手動変速モード時の手動操作から上限値の学習動作を行ったりすることも可能である。
図13は、本発明の第5の実施の形態において、倍速再生を行う倍速再生機能を有する受話音声処理部の構成の一例を示すブロック図である。図13に図示されている受話音声処理部123は、再生・停止制御部1231、倍速再生機構部1232によって構成されている。なお、受話音声処理部123における倍速再生機能は、コンピュータによって実行可能なプログラムによっても実現可能である。
再生・停止制御部1231は、外部からの指示(例えば、運転高負荷状態判定部128(図13には不図示)から指示される再生の可否)に基づいて、受信用キャッシュ122からの音声データの読み出しを開始/中断したり、同じく外部からの指示(例えば、ドライバによる入力)に基づいて、音声データの再生速度を変更したりすることが可能である。
また、倍速再生機構部1232は、受信用キャッシュ122に蓄積されている通話相手からの受信データを通常よりも速い再生速度で再生するための機能を有しており、自動変速制御部1233、音拍幅解析部1234、実用速度上限値学習部1235によって構成されている。
自動変速制御部1233は、音声データの再生速度を自動で調整する機能を有している。自動変速制御部1233は、上限値決定部1236、基本値決定部1237、変速指示部1238によって構成されている。
上限値決定部1236は、倍速再生を行う際に実用再生速度の上限値を決定する機能を有しており、基本値決定部1237は、倍速再生を行う際に実用再生速度の基本値を決定する機能を有している。上限値決定部1236で決定された上限値、及び、基本値決定部1237で決定された基本値は、変速指示部1238に通知される。
なお、倍速再生を行う際に用いられる上限値は、ドライバが聞き取ることが可能な再生速度(あるいは、運転に対する集中力が低下しない上限の再生速度)に依存して定められるものであり、基本値は、上限値に対して余裕を持った再生速度(上限値の倍速再生よりもゆっくりした倍速再生)である。実際の倍速再生における再生速度の変動範囲には、上限値によって再生速度の最大値が規定される。また、下限値としては上記の基本値が用いられてもよく、あるいは、特別な値が規定されなくてもよい(例えば、等倍速を下限値としてもよい)。また、本明細書では、倍速再生の速度を元の音声データの再生速度に対する倍率で表現し、上限値及び基本値も再生速度の倍率によって表現する。
また、変速指示部1238は、倍速再生を行う際に決定された実用再生速度の上限値及び基本値、さらには音拍幅解析部1234によって解析された音拍幅(話速を考慮)に基づいて、実際に倍速再生を行う際の再生速度を決定する機能を有している。変速指示部1238で決定された実際に倍速再生を行う際の再生速度は、音声再生出力部125に通知され、この再生速度に基づいて音声データの倍速再生処理が行われる。すなわち、変速指示部1238で決定された再生速度が、実際にドライバが体感する再生速度となる。
また、音拍幅解析部1234は、再生する音声データに含まれる音拍幅を解析する機能を有している。音拍幅解析部1234が、例えば、再生する音声データの音声認識結果(音声認識は、この音拍幅解析部1234で行われてもよく、あるいは、車載システムに実装されている音声認識システムで行われてもよい)から、その音声の音拍幅を解析する機能を有している。なお、音拍幅に関しては後で説明する。
また、実用速度上限値学習部1235は、特定のユーザ(すなわち、ドライバ)に適した上限値(実用再生速度の上限値)を学習によって決定する機能を有している。なお、上限値と同様に基本値に関しても、ドライバにとって適切な基本値を学習によって決定してもよい。さらに、初期テスト実施部1239、リアルタイム学習部1240を有している。初期テスト実施部1239は、特定のユーザ(すなわち、ドライバ)にとって適した再生速度を、初期テストを実施することで決定する機能を有している。また、リアルタイム学習部1240は、実際に倍速再生が行われている際にドライバによって設定された再生速度をリアルタイムで学習して、実用速度上限値を決定する機能を有している。
また、音声再生出力部125では、変速指示部1238で決定された再生速度に従って、音声データの倍速再生処理が行われる。本発明は、この倍速再生処理の方法に関しては特に限定するものではなく、音声再生出力部125は、例えば、通常のデジタル信号処理による倍速再生処理を行えばよい。通常の倍速再生処理では、元の音程を維持する(すなわち、話者の声質を変えない)音程変換処理が行われる。通例では、フーリエ変換をしかって音声部分の同類波形や無音部分の同類波形に対して時間軸に等比な加除算を行うことで音声伸長が実現される。
図14は、本発明の第5の実施の形態における倍速再生処理の倍速再生処理による処理の一例を示す音声波形のグラフである。図14に図示されているように、音声波形は通常いくつかの同類波形によって形成されており、元の音声波形の音声伸長をカットすることで音声の再生時間を短縮することが可能である。なお、図14には、一例として元の音声波形を2分の1にした2倍速の音声波形が図示されているが、N分の1にすることでN倍速の音声波形が実現される。
また、会話のスピード(話速)は、単位時間当たりに含まれる音拍数によって表すことが可能である。1音拍は、例えば1つの母音を含む音拍幅を有しており、例えば『やきにく』という単語は『や(YA)』、『き(KI)』、『に(NI)』、『く(KU)』の4音拍(4つの母音を含む4音拍の有声音)とみなすことができる。
例えば、図15に図示されているように、1.0倍(通常の再生速度)倍の『YAKINIKU』という単語は、1.1倍、1.3倍、1.5倍、2.0倍と再生速度を速くするにつれて各音拍幅が短くなり、単位時間当たりに含まれる音拍幅(音拍数の逆数、すなわち、話速の逆数)は大きくなる。会話の話速が速い場合(早口で話している場合など)には、単位時間当たりに含まれる音拍幅は小さくなり、会話の話速が遅い場合(ゆっくり話している場合など)には、単位時間当たりに含まれる音拍幅は大きくなる。なお、通常の会話では、音拍幅の異なる音拍が混在し、また、有音部分(話者が発生している状態)に加えて無音部分(話者が発生していない状態)も存在するため、ある一定時間に含まれる音拍数から得られる平均音拍数(逆数は平均音拍幅)が話速として考慮されることが望ましい。
また、ドライバが倍速再生を聞き取ることができる能力が音拍幅に依存していることも考えられる。この場合、ある音拍幅より小さくなるとその会話の内容を聞き取ることができなくなるのであれば、ドライバが会話の内容を聞き取ることができるかどうかの境界となる音拍幅(聞き取ることができる最小音拍幅)が存在することになる。この境界となる最小音拍幅は、単に再生速度(倍率)のみで決定されるのではなく、再生速度(倍率)に加えて話速が考慮される必要がある。
また、平均音拍幅の長さやその他の外乱(ノイズなど)によって、実際の実用再生速度の上限値は変動することが考えられる。例えば、図15に図示されている1.0倍の『YAKINIKU』という単語を1.3倍より大きな再生速度で再生すると聞き取りにくくなる場合、1.3倍が実用再生速度の上限値として定まる。しかしながら、元の発声がもっと早口であり、元の単語の音拍幅がより短い場合には、実用再生速度の上限値として定まる値はもっと小さくなることが予想される。
次に、本発明の第5の実施の形態における動作について説明する。
上記の上限値は、例えば、初期状態(工場出荷時)においては所定の初期値(デフォルト値)が設定される。なお、出願人は、統計による検証を行い、上限値として1.3倍に設定することが望ましいという結果を得ている。また、初期状態(工場出荷時)においては、基本値はこの上限値の初期値よりも低い値(例えば、1.2倍)が設定されてもよく、基本値が上限値と同一の値に設定されてもよい。
最も基本的な動作としては、これらデフォルトの初期値は変動できないようにし、デフォルトの上限値及び基本値に従った倍速再生を行う方法が可能である。例えば、図16に図示されているように、倍速再生を開始した場合には、開始時点における再生速度を基本値に設定する。なお、図16では、デフォルトの基本値として設定されている1.2倍に再生速度が設定されているが、デフォルトの基本値は任意の値であってよく、例えば、1.0倍とすることも可能である。このように、基本値が上限値よりも低い値に設定されている場合には、設定された基本値から倍速再生を開始して、いきなり高速の倍速再生が行われないようにすることで、耳障りな倍速再生が行われないようにし、ドライバの運転に対する集中力を低下させないようにすることが可能となる。
また、倍速再生の再生速度は、上限値を上限とする実用速度範囲(下限値として基本値が設定されてもよい)内で変動されるようにすることが望ましい。このとき、なるべく速い再生速度で倍速再生を行ったほうが通常再生に戻るまでの時間が短縮されるが、本発明の第5の実施の形態では、設定されている上限値を超える再生速度での倍速再生は行われないようにする。例えば、図16に図示されているように、段階的に上限値に近づくように再生速度を変動(増加)させ、上限値に到達した場合には、それ以上再生速度を上げずに倍速再生を行う。なお、ここでは、段階的に再生速度を上げる(再生速度を離散的な値で変動させる)ように図示されているが、再生速度を滑らかに上げてもよい。また、再生速度を上限値まで到達させずに、上限値に対して一定値だけ低い値を超えないよう再生速度を制御してもよい。これにより、上限値を超えた倍速再生が行われないようにすることで、聞き取りにくい倍速再生が行われないようにし、ドライバの運転に対する集中力を低下させないようにすることが可能となる。
また、再生速度の変動に関しては、ドライバが再生速度の変動を行えるようにしてもよく(手動変速モード)、倍速再生システムにおいて自動的に再生速度の変動が行われるようにしてもよい(自動変速モード)。また、手動変速モード及び自動変速モード共に、倍速再生の再生速度は、上限値を上限とする実用速度範囲内で変動されるようにすることが望ましいが、手動変速モードに関しては、ドライバが上限値を超えて再生速度を変動できるようにしてもよく、さらに、上限値を超えて再生速度が変動された場合には、次回の倍速再生時において、上限値を超えて設定された再生速度の値が新たな上限値に反映されるようにしてもよい。
(手動変速モード)
倍速再生時に、ドライバ自身がその倍速再生の再生速度を変更できるようにしてもよい。ドライバは、例えば、GUI(Graphocs User Interface)、ステアリングスイッチ(ステアリングホイール(ハンドル)に取り付けられた操作スイッチ)、音声入力(音声認識システムによる解析)などを始めとして、様々な入力インタフェースから再生速度の変更を行うことが可能である。なお、再生速度の変更入力に意識が傾くことによってドライバの運転に対する集中力が阻害されてしまわないようにするため、ドライバが運転中の場合(あるいは、車両が移動中の場合)には、ドライバによる再生速度の変更を禁止したり、特定の入力インタフェース(ステアリングスイッチや音声入力)経由でしか再生速度の変更が行えないようにしたりすることも可能である。
ドライバの手動設定を許す手動変速モードでは、ドライバによって、上限値を超えない範囲(あるいは、基本値と上限値との間の実用速度範囲内)での再生速度の変更が可能なようにしてもよく、例外的に実用速度範囲外においても再生速度の変更が可能なようにしてもよい。また、ドライバの運転状態を考慮し、例えば、車両が移動している場合(あるいは、一定速度以上で車両が移動している場合)には、上限値を超えない実用速度範囲で再生速度を変更できるようにした手動変速モードとし、停車中(あるいは、一定速度以下で車両が移動している場合)には、上限値を超える範囲まで再生速度を変更できるようにした手動変速モードとしてもよい。
ドライバが上限値を超えない実用速度範囲内でのみ再生速度を変更できるようにした場合には、ドライバがいくら再生速度を上げる操作を行っても、再生速度が上限値よりも大きくなることはない。このような構成とすることで、例えば、運転中のドライバが、再生速度を過度に上げてしまうような操作を誤って行ってしまった場合でも、再生速度は上限値を超えることはなく、常に聞き取ることが可能な再生速度の範囲(実用速度範囲)内での再生が行われる。また、誤った操作によって再生速度が上がってしまうことでドライバがあわててしまい、その結果、運転に対する集中力が低下してしまうといった事態を避けることが可能となる。
一方、ドライバが上限値を超える範囲まで再生速度を変更できるようにした手動変速モードでは、ドライバは、操作入力を行うことによって上限値を超える再生速度に設定することが可能となる。上限値は、システムにおいて保持されている値であって、そのときの会話の話速、あるいは、その他の外乱(ノイズ)などの要因は考慮されていない。したがって、上限値より高い再生速度で倍速再生が行われてもドライバは容易に聞き取れる場合もあり、このような場合に有効である。
また、ドライバはそれぞれ、倍速再生の会話を聞き取れる能力が異なっており、個々のドライバによって十分聞き取ることが可能な再生速度は異なっている。この要因によって、ドライバが上限値を超える再生速度に設定している可能性もある。すなわち、ドライバの倍速再生の会話を聞き取れる能力が、デフォルトの初期値よりも高い再生速度の倍速再生を聞き取ることができるものである可能性もある。このようなドライバ個々の能力は、上限値そのものを高くすることによって反映されることが望ましい。したがって、ドライバが、設定されている上限値そのものを変更できるようにしたり、あるいは、ドライバの倍速再生を聞き取る能力を反映した上限値に変更されるようにしたりすることが望ましい。
上限値そのものの変更方法(上限値の再設定方法)としては、上限値を直接ドライバが変更する方法、上限値を超える範囲でドライバ自身が再生速度を変更できるようにした手動変速モードにおいて、ドライバによる操作入力で設定された再生速度(上限値より高い再生速度)を反映して上限値を変更する方法、その他何らかのテスト(ここでは、初期テストと呼ぶ)によって上限値を変更する方法が考えられる。また、同様にして、基本値を変更することも可能である。
まず、上限値又は基本値を直接ドライバが変更する方法の一例について説明する。図17及び図18は、本発明の第5の実施の形態において、上限値及び基本値のそれぞれを直接ドライバが変更する方法の一例を示すフローチャートである。
図17において、上限値の変更操作が行われる場合、まず、現在設定されている再生速度の上限値(再生倍率)をGUIプロパティ上に表示する(ステップS2101)。ドライバは、このGUIプロパティ上に表示された上限値を増減(インクリメント/デクリメント)させることが可能である。
ドライバがGUIプロパティ上で上限値を下げる入力を行った場合には(ステップS2102)、この入力に応じて上限値がデクリメント(ダウン)される(ステップS2103)。また、上限値が基本値より小さい値となった場合には(ステップS2104)、基本値が上限値以下となるように基本値がデクリメントされる(ステップS2105)。さらに、倍速再生が行われている最中であれば、現在の倍速再生の再生速度(現在速度:再生中の倍速再生における倍率)が基本値より小さい値となった場合には(ステップS2106)、現在速度が上限値以下となるように現在速度のデクリメントを行ってもよい(ステップS2107)。また、ドライバがGUIプロパティ上で上限値を上げる入力を行った場合には(ステップS2108)、この入力に応じて上限値がインクリメント(アップ)される(ステップS2109)。
また、図18において、基本値の変更操作が行われる場合、まず、現在設定されている再生速度の基本値(再生倍率)をGUIプロパティ上に表示する(ステップS2201)。ドライバは、このGUIプロパティ上に表示された基本値を増減(インクリメント/デクリメント)させることが可能である。
ドライバがGUIプロパティ上で基本値を下げる入力を行った場合には(ステップS2202)、この入力に応じて基本値がデクリメント(ダウン)される(ステップS2203)。また、ドライバがGUIプロパティ上で基本値を上げる入力を行った場合には(ステップS2204)、この入力に応じて基本値がインクリメント(アップ)される(ステップS2205)。また、倍速再生が行われている最中であれば、基本値が現在速度より大きい値となった場合には(ステップS2206)、現在速度が基本値以上となるように現在速度がインクリメントされてもよい(ステップS2207)。また、基本値が上限値より大きい値となった場合には(ステップS2208)、上限値が基本値以上となるように上限値がインクリメントされる(ステップS2209)。
なお、このようにGUIプロパティ上で上限値や基本値の増減を簡単に行えるようにした場合、ドライバの設定によって、実際に聞き取ることのできる再生速度を大きく超えた再生速度で倍速再生が行われてしまう可能性がある。したがって、GUIプロパティ上で上限値や基本値の増減が行われる場合にはいったん警告を報知し、ユーザ責任で上限値や基本値の変動が行われるようにしてもよい。
次に、上限値を超える範囲でドライバ自身が再生速度を変更できるようにした手動変速モードにおいて、ドライバによる操作入力で設定された再生速度を反映して上限値を変更する方法の一例について説明する。図19及び図20は、本発明の第5の実施の形態において、ドライバによる操作入力で設定された再生速度を反映して上限値及び基本値のそれぞれを変更する方法の一例を示すフローチャートである。
図19において、倍速再生が行われている場合に、ドライバがステアリングスイッチを用いて現在速度を下げる入力を行った場合には(ステップS2301)、この入力に応じて現在速度がデクリメント(ダウン)される(ステップS2302)。このとき、現在速度が基本値より小さい値となった場合には(ステップS2303)、現在速度が基本値以上となるように基本値がデクリメントされる(ステップS2304)。また、ドライバがステアリングスイッチを用いて現在速度を上げる入力を行った場合には(ステップS2305)、この入力に応じて現在速度がインクリメント(アップ)される(ステップS2306)。このとき、現在速度が上限値よりも大きい値となった場合には(ステップS2307)、現在速度が上限値以下となるように上限値がインクリメントされる(ステップS2308)。
また、音声入力(音声認識による入力)を利用して、倍速再生中の再生速度が変更できるようにすることも可能である。この場合、図20において、ドライバによる音声入力を認識し(ステップS2401)、ドライバが音声入力によって現在速度を下げる入力を行った場合には(ステップS2402)、この入力に応じて現在速度がデクリメント(ダウン)される(ステップS2403)。このとき、現在速度が基本値より小さい値となった場合には(ステップS2404)、現在速度が基本値以上となるように基本値がデクリメントされる(ステップS2405)。また、ドライバが音声入力によって現在速度を上げる入力を行った場合には(ステップS2406)、この入力に応じて現在速度がインクリメント(アップ)される(ステップS2407)。このとき、現在速度が上限値よりも大きい値となった場合には(ステップS2408)、現在速度が上限値以下となるように上限値がインクリメントされる(ステップS2409)。
ドライバによる操作入力で設定された再生速度を反映して上限値及び基本値のそれぞれを変更する場合、例えば、図19のステップS2304、S2308や図20のステップS2405、S2409において即座に上限値や基本値を変更してもよいが、これらの結果を蓄積して、ドライバにとって適切と思われる上限値及び基本値の傾向を学習動作によって特定することで、適切な上限値や基本値への変更を行ってもよい。
また、例えば、図19や図20で行われる現在速度の変更入力そのものを蓄積して、ドライバにとって適切と思われる再生速度の変更方法(例えば、再生速度を段階的に上下させる場合にはその段階数や各段階における倍率、滑らかに上下させる場合にはその変動傾きなど)を学習動作によって特定することで、自動変速モードで倍速再生が行われる場合の再生速度の変更方法をドライバに適したものにすることが可能となる。
なお、図17及び図18では、ドライバによる上限値又は基本値の変更がGUIプロパティで行われており、図19及び図20では、ドライバによる再生速度の変更を反映した上限値又は基本値の変更がステアリングスイッチ又は音声入力によって行われているが、これらの入力インタフェースに限定されるものではなく、両方の方法において任意の入力インタフェースを用いることが可能である。ただし、運転の安全性を考慮した場合には、運転中にはGUIプロパティによる設定は行えないようにするなどの制限を設けることが望ましい。
次に、初期テストによって上限値や基本値を変更する方法の一例について説明する。図21は、本発明の第5の実施の形態において、初期テストを行う場合の再生速度と時間との関係の一例を示すグラフである。初期テストは、個々のドライバにとって適切な上限値や基本値を決定するためのテストである。例えば図21に示すように、初期テストでは、高い再生速度である会話(サンプル)の倍速再生を開始するとともに、この再生速度を徐々に下げていき、ドライバがその会話の内容を聞き取ることができた再生速度を上限値として決定する。なお、例えば、サンプルの倍速再生の再生速度をランダムに変更して、聞き取ることができる再生速度、及び、聞き取ることができない再生速度を計測していくことで、上限値の境界を決定するテストなどを始めとして、様々な初期テストの方法を採用することが可能である。
なお、上限値及び基本値は、再生速度(倍率)のみで定義されてもよく、この場合には、上限値及び基本値はそれぞれ再生速度(倍率)の値として規定される。一方、上述のように再生速度(倍率)に加えて話速(音拍幅)も考慮して定義されてもよく、この場合には、上限値及び基本値は、ある再生速度に対してどのくらいの話速の会話を聞き取ることができるかという関係(あるいは、ある話速に対してどのくらいの再生速度まで上げても聞き取ることができるかという関係)で規定される。平均音拍幅(話速の逆数)が大きければ(会話がゆっくりであれば)、高い再生速度(倍率)で倍速再生を行ってもドライバは会話の内容を聞き取ることが可能であり、例えば、図22に示すグラフあるいはテーブル(いくつかの再生速度(倍率)の段階それぞれに対する平均音拍幅の上限値や基本値を特定するテーブル)のような関係によって上限値及び基本値が保持されてもよい。このように再生速度と平均音拍幅との関係で上限値及び基本値が保持される場合には、上述した各フローチャートにおける上限値及び基本値は、そのとき倍速再生されている平均音拍幅と共に保持される。また、倍速再生システムが、再生速度(倍率)のみで定義された上限値及び基本値と、平均音拍幅によって異なる上限値及び基本値の両方を有するようにしてもよい。この場合、例えば、ゆっくりとした会話に対して高い再生速度で倍速再生できる場合であっても一定の絶対上限値を超える倍速再生は許可されないようにするなど、平均音拍幅と関連付けられた上限値が再生速度(倍率)のみで定義された上限値(絶対上限値)を超えないようにするといった制御が可能となる。
(自動変速モード)
また、倍速再生時に、ドライバが操作を行わなくても自動的に再生速度の変動が行われるようにしてもよい。この場合には、実用速度範囲内で倍速再生の再生速度が変動されるようにすることが望ましく、これによって、ドライバが聞き取ることができる(さらには、聞き取りやすい)再生速度による倍速再生が実現され、ドライバによる運転の安全性も実現される。
倍速再生システムによる自動変速の方法としては、あらかじめ定められた変動方法に従って再生速度の変動を行う方法(例えば、上述の図16に図示されているような変動を行う方法)に加えて、話速に適した再生速度の変動を行う方法が考えられる。
以下、図23を参照しながら、話速に適した再生速度に変更する処理の一例について説明する。図23は、本発明の第5の実施の形態において、話速に適した再生速度に変更する処理の一例を示すフローチャートである。
図23において、自動変速モードによる倍速再生が開始された場合(ステップS3001)、倍速再生システムは、まず、現在設定されている上限値を取得する(ステップS3002)。なお、倍速再生開始時に取得される上限値は、工場出荷時のデフォルト値、あるいは、ドライバの操作に基づいて設定(直接設定、あるいは再生速度変動に伴う再設定)が行われた上限値となる。また、倍速再生処理が進み、後述のように上限値の変更が行われると、ステップS3002で取得される上限値は、ステップS3005で一時的に記憶された上限値となる。
また、倍速再生の開始とともに、倍速再生システムは、倍速再生を行う音声データに含まれている会話の話速の解析処理を開始する(ステップS3003)。話速の解析は、例えば、再生対象の音声データ(受信用キャッシュ122に格納されている音声データ)の直近再生区間の会話に含まれている音拍数を解析することによって行われる。すなわち、具体的には、例えば、先読みの窓関数によって、この後再生される一定区間に含まれている音拍数をカウントして、その区間の話速(例えば、平均音拍幅として表現)を算定する。
そして、倍速再生システムは、話速に適した再生速度となるように再生速度の変更を行うべきか否かを判断する(ステップS3004)。具体的には、例えば、図22に図示されているような再生速度と平均音拍幅(話速に相当)との関係を定めたグラフ又はテーブルを参照して、上限値の変更を行うべきか否かの判断が行われる。図22に図示されているグラフ又はテーブルが上限値とそのときの平均音拍幅を表すものであるならば、ある区間の話速(平均音拍幅)対して設定すべき上限値が容易に求められる。例えば、前回の話速に対して設定すべき上限値と、今回算定された話速に対して設定すべき上限値とが異なる場合には、話速の変更が行われるべきと判断される。
上限値の変更を行うべきと判断された場合には、算定された話速に対応する上限値を一時的に記憶し(ステップS3005)、その上限値によって規定される実用速度範囲内の任意の値を、実際の倍速再生に用いられる再生速度として決定する(ステップS3006)。なお、ステップS3005で一時的に記憶された上限値は、次回のステップS3002で取得される上限値となる。また、ステップS3006で決定される再生速度は、実用速度範囲内の値であればよく、単純に上限値を再生速度にしてもよく、あるいは、様々な要因(ノイズや倍速再生を開始してからの経過時間など)に基づいて再生速度が決定されてもよい。
上述の処理が、例えば、倍速再生中に所定の時間間隔で逐次行われることによって、話速に対応した再生速度の変動が可能となる。倍速再生が終了すると自動変速モードによる再生速度の決定処理も終了となり、ステップS3006で一時記憶される上限値も消去される。
なお、図23に図示されている先読みの窓関数を用いた処理では、前回の話速によって定められた上限値(ステップS3002)と、今回の話速の算定結果(ステップS3003)から、再生結果の変更を行うかどうかの判断が行われているが、これらの値を同期させてもよい。ただし、これらの値を同期させようとすると処理遅延が生じたり、処理負荷(同期アルゴリズムを実行できる高い処理能力)が発生したりする可能性があるので、特に同期処理を考慮しない簡単な構成としてもよい。また、自動変速モード中に手動変速モードへモード切り換えが行われてもよく、その逆に、手動変速モードから自動変速モードへのモード切り換えが行われてもよい。
また、ドライバの運転状態を考慮して、車両運転中(例えば、車両が移動している場合)には、手動変速モードで操作するインタフェースをGUI上から削除し、自動変速モードのみで倍速再生が行われるようにしてもよい。また、車両運転中の手動変速モードでは、車両運転中に操作が容易なステアリングスイッチや音声認識システムを用いた音声入力のみ使用可能としてもよい。
また、上述の本発明の第3の実施の形態ではジングルの報知が行われるが、倍速再生による再生音声の聴取にとってジングル(例えば、負荷状態の変化を示すジングルや倍速再生の開始を示すジングルなど)の報知が邪魔になり、倍速再生の聴取能力の低下や運転に対する集中力の低下が起こるおそれがあることを、出願人は試行によって知見している。したがって、倍速再生時には、ジングルの報知が行われないように制御することが望ましい。
また、本発明に係る技術思想は、特に以下の点において特許文献2に記載の技術と大きく異なっている。
特許文献2に記載の技術では、通話保留中に車載システムと通話相手の通話端末との間における音声の伝送が停止してしまうことになる。
一方、本発明に係る技術は、あくまでも車載システムにおける受信音声(及び受信画像)の再生を停止させるだけで、ドライバの発話(送信音声)の伝送及び通話相手の通話端末からの再生に関しては継続して行われるようにしている。すなわち、ドライバの運転状況が高負荷状態となった場合であっても、ドライバから通話相手に対する通話は依然として可能な状態となる。このように、ドライバから通話相手に対する通話を可能とすることで、例えば、ドライバの運転状況の高負荷状態が短時間であった場合には、通話相手は一時的にドライバの運転状況が高負荷状態になったことを感じずに通話を継続して行えるようになる。また、通話相手は、高負荷状態にあるドライバの状況を車載システムから送られてくる音声や画像で確認することが可能であり、あるいは、ドライバ自身が、運転状況が高負荷状態となったことやその状況を通話相手に説明することも可能である。
また、特許文献2に記載の技術では、リアルタイム通信中に通話保留状態となった場合に、中に車載システムと通話相手の通話端末との間における音声の伝送が停止してしまうことになる。
一方、本発明に係る技術は、あくまでも車載システムにおける受信音声(及び受信画像)の再生を停止させるだけで、ドライバの発話(送信音声)の伝送及び通話相手の通話端末からの再生に関しては継続して行われるようにしている。すなわち、ドライバの運転状況が高負荷状態となった場合であっても、ドライバから通話相手に対する通話は依然として可能な状態となる。このように、ドライバから通話相手に対する通話を可能とすることで、例えば、ドライバの運転状況の高負荷状態が短時間であった場合には、通話相手は一時的にドライバの運転状況が高負荷状態になったことを意識せずに通話を継続して行えるようになる。また、高負荷状態なったことを示すジングルを通話相手の通話端末に送信することも可能であり、ドライバの運転状況が高負荷状態になったことを通話相手に明示することも可能となる。また、通話相手は、高負荷状態にあるドライバの状況を車載システムから送られてくる音声や画像で確認することが可能でなり、あるいは、ドライバ自身が、運転状況が高負荷状態となったことやその状況を通話相手に説明することも可能である。
また、特許文献2に記載の技術では、通話保留中に通話相手の通話端末がメッセージを録音して蓄積し、通話保留状態が解除された場合に指示を受け、その指示に応じて蓄積されたメッセージを車載システム側に送信する必要がある。こうした制御を現在存在している通話端末全般が行うことは不可能である。すなわち、特許文献2に記載の技術は、ドライバの通話相手が使用する通話端末においても車載システムと同等の機能、あるいは少なくとも上記のような制御が可能な機能を設ける必要がある。
一方、本発明に係る技術は、基本的に、通話相手が利用する通話端末に対して特別な機能を実装させるものではなく、通話相手はレガシの通話端末を使用することが可能である。既に広く使われている数多くの通話端末との通話に関しても、本発明が動作可能であることは非常に有効であると言える。
また、特許文献2に記載の技術では、リアルタイム通信によって通話が行われ、通話保留状態となった場合に、通話相手の通話端末がメッセージを録音して蓄積する。
一方、本発明に係る技術では、通常の通話においては通話相手から受信したデータをいったん受信用キャッシュに格納して、受信用キャッシュに格納されているデータを読み出して再生出力を行い、一方、運転状態が高負荷状態となった場合においては受信用キャッシュに格納されているデータの再生出力処理を一時的に停止する。したがって、特許文献2に記載の技術では特別なメッセージ録音機能を設ける必要があるが、本発明に係る技術ではそのような特別なメッセージ録音機能を設ける必要はなく、受信用キャッシュに格納されているデータの再生出力タイミングを制御できればよい。
また、特許文献2に記載の技術を多人数による通話に適用した場合には、1通話者であるドライバの運転状況が高負荷状態となると通話が保留され、他の通話者間においても通話(会話)ができない状態となる。
一方、本発明は、上述のように、1通話者であるドライバの運転状況が高負荷状態となった場合であっても、他の通話者間における通話(会話)を停止させるものではなく、ドライバの運転状況に影響されることなく多人数の会話をスムーズに行わせることが可能となる。