JP5972372B2 - 車載情報装置 - Google Patents

Description

この発明は、搭乗者の発話内容を常に認識して車内の会話を支援する車載情報装置に関するものである。

一般に、車内における会話では、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らすという問題がある。そこで、従来からこの問題を改善するための技術が提案されている。例えば特許文献１には、車内の会話をマイクにより集音し、スピーカにより拡声音を聴取できるようにした車内会話支援システムが開示されている。

しかし、例えば特許文献１のような従来の車内会話支援システムでは、音声による会話支援であるため、スピーカにより出力された音声も聞き洩らした場合には解決できない、という問題があった。また、音声データであるため、後から再生しなければ内容を確認できないという問題もあった。さらに、マイクの集音とスピーカからの出力とによりハウリングを起こすおそれがある、という問題もあった。

そこで、車内の会話をマイクにより集音し、会話内容を文字列として提供することが考えられる。
これに関連する技術として、会議での発話内容をマイクにより集音し、議事録を自動的に作成する装置が種々提案されている。例えば特許文献２には、複数の話者ごとの発話内容を再現した議事録データを作成できる音声認識装置および会議システムが開示されている。

特開２００８−４２３９０号公報 特開２００８−２７５９８７号公報

しかしながら、例えば特許文献２のような従来の音声認識装置および会議システムは、音声を文字列として記録することはできるが、会議システムであるため、車内で使用することや車内の会話支援として使用することを想定していないので、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らすという、従来からあった車両走行中の問題については考慮されておらず、また、会話内容を聞き洩らした人のためのリアルタイムの会話支援、ということも考慮されていない。そのため、例えば特許文献２のような音声認識装置および会議システムを車載情報装置に適用したとしても、車両特有の問題が解決されない、という課題があった。

この発明は、上記のような課題を解決するためになされたものであり、車内での会話内容を常に認識して得られた認識結果に基づいて、リアルタイムに有効な会話支援を行うことができる車載情報装置を提供することを目的とする。

上記目的を達成するため、この発明は、車両に搭載され、搭乗者の会話を支援する情報を提供する車載情報装置において、前記車載情報装置が起動されている場合は常時、前記搭乗者の発話した音声を検知して取得する音声取得部と、前記音声取得部により取得した前記音声の発話内容を認識する音声認識部と、前記音声認識部が認識した発話内容を記憶する会話履歴記憶部と、前記音声認識部が認識した発話内容から、会話履歴記憶部に記憶された会話内容の画面表示の出力の開始または停止に関する所定のキーワードを抽出するキーワード抽出部と、前記車両の車室内の環境状態または前記車両周辺の環境状態または前記車両の運行状態を含む車両状態を検出する車両状態検出部と、前記車両状態検出部により検出された前記車両状態および前記キーワード抽出部により抽出されたキーワードに応じて前記音声認識部により認識された前記発話内容を表示データまたは音声データとして生成し、出力部への出力制御をする出力制御部とを備えたことを特徴とする。

この発明の車両情報装置によれば、車内での会話内容を常に認識して得られた認識結果に基づいて、リアルタイムに有効な会話支援を行うことができるばかりでなく、必要な時にだけ会話を提示してくれるので、会話の表示が不要な場合には、別のコンテンツを表示することができ、また、会話を提示するタイミングについても、必要なタイミングで会話を提示してくれたり、表示しないよう指示するキーワードが含まれていればその後は表示しないなど、制御することができる。

実施の形態１による車載情報装置の基本構成を示すブロック図である。 実施の形態１による車載情報装置の基本動作を示すフローチャートである。 実施の形態１による車載情報装置の構成を示す構成を示すブロック図である。 実施の形態１による車載情報装置の動作を示すフローチャートである。 会話内容が表示部に表示された表示例を示す図である。 実施の形態２による車載情報装置の構成を示すブロック図である。 実施の形態２における車載情報装置の動作を示すフローチャートである。 実施の形態３による車載情報装置の構成を示すブロック図である。 実施の形態３における車載情報装置の動作を示すフローチャートである。 実施の形態４による車載情報装置の構成を示すブロック図である。 実施の形態４における車載情報装置の動作を示すフローチャートである。 表示部の位置が助手席側である場合の表示例である。 表示部の位置が運転席側である場合の表示例である。 表示部の位置が助手席側である場合の別の表示例である。 実施の形態５による車載情報装置の構成を示すブロック図である。 実施の形態５による車載情報装置の動作を示すフローチャートである。 実施の形態６による車載情報装置の構成を示すブロック図である。 実施の形態７による車載情報装置の構成を示すブロック図である。 実施の形態７による車載情報装置の動作を示すフローチャートである。 実施の形態８による車載情報装置の構成を示すブロック図である。 実施の形態９による車載情報装置の構成を示すブロック図である。 実施の形態１０による車載情報装置の構成を示すブロック図である。 実施の形態１０による車載情報装置の動作を示すフローチャートである。 実施の形態１１による車載情報装置の構成を示すブロック図である。 実施の形態１１による車載情報装置の動作を示すフローチャートである。 実施の形態１２による車載情報装置の構成を示すブロック図である。 実施の形態１２による車載情報装置の動作を示すフローチャートである。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
この発明は、車載ナビゲーション装置、車載オーディオ装置、車載映像装置等の車載情報装置において、この車載情報装置が起動されている場合は常時、車両内の搭乗者の発話内容を認識し、その認識結果に基づいて、リアルタイムに会話支援を行うものである。また、以下の実施の形態についても同様である。
図１は、この発明の実施の形態１による車載情報装置の基本構成を示すブロック図である。この車載情報装置は、音声取得部１と、音声認識部２と、表示制御部（出力制御部）３と、表示部（出力部）４とを備えている。また、図示は省略したが、この車載情報装置は、キーやタッチパネル等による入力信号を取得するキー入力部も備えている。

音声取得部１は、車内のマイク等により集音された搭乗者発話、すなわち、車両内の搭乗者の発話により入力された音声をＡ／Ｄ変換して、例えばＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）形式で取得する。また、車内環境では車載オーディオやカーナビゲーション等から音楽やガイダンス音声等が出力されるので、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いた一般的なエコーキャンセル技術を用いて、それらの音については音声取得部１で取得されないような処理が施されているものとする。

音声認識部２は、認識辞書（図示せず）を有し、音声取得部１により取得された音声データから、搭乗者が発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて認識辞書を用いて認識処理を行い、音声認識結果の文字列を出力する。なお、認識処理としては、例えばＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）法のような一般的な方法を用いて行えばよい。また、音声認識部２は、ネットワーク上の音声認識サーバを使用してもよい。

ところで、カーナビゲーションシステム等に搭載されている音声認識機能においては、搭乗者が発話の開始をシステムに対して明示（指示）するのが一般的である。そのために、音声認識開始を指示するボタン等（以下、「音声認識開始指示部」と呼ぶ）が、タッチパネルに表示されたりハンドルに設置されたりしている。そして、搭乗者により音声認識開始指示部が押下された後に、発話された音声を認識する。すなわち、音声認識開始指示部が音声認識開始信号を出力し、音声認識部が当該信号を受けると、当該信号を受けた後に音声取得部により取得された音声データから、搭乗者が発話した内容に該当する音声区間を検出し、上述した認識処理を行う。

しかし、この実施の形態１における音声認識部２は、上述したような搭乗者による音声認識開始指示がなくても、常に、搭乗者が発話した内容を認識する。すなわち、音声認識部２は、音声認識開始信号を受けなくても、音声取得部１により取得された音声データから、搭乗者が発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて認識辞書を用いて認識処理を行い、音声認識結果の文字列を出力する処理を繰り返し行う。なお、以下の実施の形態においても同様である。

表示制御部３は、音声認識部２により音声認識された音声認識結果である搭乗者の発話内容を表示データとして生成するものであり、例えば時系列順等に並べて生成する。
表示部４は、表示制御部３により生成された表示データを表示するものであり、例えばナビの表示画面、ダッシュボード上の表示部、フロントガラス、後部座席エンターテイメント（ＲＳＥ（Ｒｅａｒ Ｓｅａｔ Ｅｎｔｅｒｔａｉｎｍｅｎｔ））などである。

次に、この車載情報装置の基本動作について説明する。図２は、実施の形態１による車載情報装置の基本動作を示すフローチャートである。なお、以下の処理は、自装置（車載情報装置）が起動されている間中、常時行われているものである。

まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ２）。そして、表示制御部３が、音声認識部２の音声認識結果の文字列を時系列順等に並べた表示データを生成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ３）。（後述の実施の形態４における図１２参照）

図３は、この発明の実施の形態１による車載情報装置の構成を示すブロック図である。なお、図１に示す基本構成で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態１では、図１に示した基本構成と比べると、車内に複数の搭乗者がいることを考慮して、マイクが搭乗者（Ｎ人）ごとに複数（Ｎ本）用意されており、搭乗者ごとの発話の位置を検出する車室内環境状態検出部（車両状態検出部）３０を備えている。
そして、この実施の形態１による車載情報装置は、搭乗者数（マイク本数）Ｎごとの音声取得部１（１−１，１−２，・・・，１−Ｎ）と、それぞれに対応する音声認識部２（２−１，２−２，・・・，２−Ｎ）と、車室内環境状態検出部（車両状態検出部）３０と、表示制御部（出力制御部）３と、表示部（出力部）４から構成されており、音声取得部１および音声認識部２の対を、車両内の搭乗者ごとに複数備えている。

この発明の実施の形態１における車室内環境状態検出部（車両状態検出部）３０は、車室内の環境状態として、搭乗者ごとに用意された音声取得部１（１−１，１−２，・・・，１−Ｎ）の配置状態を検出することにより、搭乗者ごとの発話の位置を検出することができるものである。
また、表示制御部３（出力制御部）は、音声認識部２により音声認識された音声認識結果を、車室内環境状態検出部（車両状態検出部）３０により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。

次に、この実施の形態１による車載情報装置の動作について説明する。図４は、実施の形態１における車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、各音声取得部１（１−１，１−２，・・・，１−Ｎ）が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ１１）。次に、各音声取得部１により取得された音声データを対応する各音声認識部２（２−１，２−２，・・・，２−Ｎ）が認識する（ステップＳＴ１２）。そして、車室内環境状態検出部３０が、各音声認識部２の音声認識結果の各文字列を各音声認識部２ごと、すなわち、各音声認識部２に対応する各音声取得部１の位置に応じて、搭乗者の位置ごとに検出し（ステップＳＴ１３）、表示制御部３が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ１４）。

図５は、このようにして会話内容が表示部４に表示された表示例を示す図である。この例では、運転者Ａと助手席の同乗者Ｂとの会話が、搭乗者の位置ごとの発話の位置を区別して整理して時系列順に並べられている。すなわち、発話した複数の搭乗者を識別可能なレイアウトで表示されている。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。

なお、ここでは図５に示すように、表示制御部（出力制御部）３が、搭乗者ごとに表示文字の画面内のレイアウトを変えることにより、発話した複数の搭乗者を識別可能な異なる態様の表示データを出力するようにしたが、異なる態様の表示データとしては、表示文字または表示画像の種類、形状、大きさ、色、濃度、明度、画面内のレイアウトのいずれかが異なる表示データを生成して表示するようにすればよい。以下の実施の形態においても同様とする。

以上のように、この実施の形態１によれば、搭乗者が意識しなくても車載情報装置が起動している場合には常時、音声取得および音声認識を行っており、何らかの発話があれば自動的に音声取得および音声認識を行ってその音声認識結果を文字列として時系列順等に並べて出力してくれるため、音声取得や音声認識開始のための搭乗者の手動操作や入力の意思などを必要とせず、騒音や運転操作への注力等で突発的に会話内容を聞き取れなかった場合であっても、会話内容を確認することができる。
また、常に車内の会話を搭乗者ごとに聞き取って音声認識を行い、搭乗者ごとの発話の位置を区別して検出し、それらを整理して提示するようにしたので、騒音や運転操作への注力等により会話が聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。また、搭乗者ごとに音声認識することができるので、同時に発話した場合の音声認識率を高めることができる。

実施の形態２．
図６は、この発明の実施の形態２による車載情報装置の構成を示すブロック図である。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態２では、図３に示した実施の形態１の構成と比べると、音声取得部１がＭ個のマイク（１−１，１−２，・・・，１−Ｍ）をアレイ状に配置したアレイマイクであり、信号処理部５が追加されている。すなわち、この実施の形態２による車載情報装置では、Ｍ個のマイクをアレイ状に配置した音声取得部１（１−１，１−２，・・・，１−Ｍ）が音声（音源）を取得し、信号処理部５がその音源をＮ個に分離して、Ｎ個の音声認識部が各搭乗者Ｎ人ごとに発話内容を音声認識するものである。

この実施の形態２では、搭乗者Ｎ人に対して、アレイマイクが備えるマイクの数はＭ個とし、発話する搭乗者ごとにマイクが設けられているわけではないが、Ｍ個のマイクをアレイ状に配置したアレイマイクから取得した音声データを、信号処理部５が、ビームフォーミング法などの一般的な音源分離手法を用いて、Ｎ個分（搭乗者の人数Ｎ分）の音源に分離する。この音源分離については周知の技術であるため、ここでは説明を省略するが、以降の実施の形態における「音源分離」は、このような一般的な音源分離手法により行われるものとする。

そして、この発明の実施の形態２における車室内環境状態検出部（車両状態検出部）３０は、車室内の環境状態として、信号処理部５により分離されたＮ個の音源から搭乗者（Ｎ人）ごとの発話の位置、すなわち、搭乗者の配置状態を検出するものである。
また、表示制御部３（出力制御部）は、音声認識部２により音声認識された音声認識結果を、車室内環境状態検出部（車両状態検出部）３０により検出された搭乗者ごとの発話の位置に対応づけた発話内容として、表示データを生成および出力制御するものであり、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成する。

次に、この実施の形態２による車載情報装置の動作について説明する。図７は、実施の形態２における車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１（１−１，１−２，・・・，１−Ｍ）が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ２１）。次に、音声取得部１により取得された音声データから、信号処理部５がＮ個（搭乗者の人数Ｎ分）に音源分離を行う（ステップＳＴ２２）。このＮ個に音源分離された会話の音声データを、各音声認識部２（２−１，２−２，・・・，２−Ｎ）が認識する（ステップＳＴ２３）。そして、車室内環境状態検出部３０が、各音声認識部２の音声認識結果の各文字列を搭乗者の位置ごとに検出し（ステップＳＴ２４）、表示制御部３が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを作成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ２５）。

このようにして表示された表示例としては、実施の形態１において示した図５と同様であり、運転者Ａと助手席の同乗者Ｂとの会話が、搭乗者の位置ごとに整理して時系列順に並べられている。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。

以上のように、この実施の形態２によれば、車内に複数のマイクをアレイ状に配置したアレイマイクが用意されており、常に車内の会話を聞き取って音声認識を行い、搭乗者ごとに整理して提示するようにしたので、実施の形態１と同様に、騒音や運転操作への注力等により会話が聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。また、搭乗者ごとに音声認識することができるので、同時に発話した場合の音声認識率を高めることができる。

実施の形態３．
図８は、この発明の実施の形態３による車載情報装置の構成を示すブロック図である。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態３では、図３に示した実施の形態１の構成と比べると、信号処理部５において分離したＮ個の音声データに対応させたＮ個の発話有無検出部６とＮ個の発話データ抽出部７と、発話データ順番整理部８と、音声認識待ち発話データ記憶部９とが追加されており、また、音声認識部２は１つのみの構成となっている。
なお、この実施の形態３では実施の形態２と同様、Ｍ個のマイクをアレイ状に配置したアレイマイクを用いる構成としているが、実施の形態１の図３に示した構成と同様に、搭乗者ごとにＮ本のマイクを備えるものとしてもよい。

発話有無検出部６は、信号処理部５から出力される搭乗者の位置毎に音声を分離した音声データに音声区間検出を行い、発話が検出された場合に、発話データ抽出部７に対して検出した音声区間の発話データを抽出するように指示を行う。
発話データ抽出部７は、信号処理部５から出力される搭乗者の位置毎に音声を分離した音声データに対して、発話有無検出部６で指示された音声区間を抽出し、抽出した発話データ（音声データ）を発話データ順番整理部８に送信する。

発話データ順番整理部８は、発話データ抽出部７から発話データを受け取ると同時に、その発話データをどの発話データ抽出部７から受け取ったかにより発話した搭乗者の位置を判断し、後段の音声認識部２に対しては発話データ（音声データ）を、また車室内環境状態検出部（車両状態検出部）３０に対しては搭乗者の位置情報を送信する。ただし、音声認識部２が前回の発話データに対する音声認識処理を完了していない場合は、一旦音声認識待ち発話データ記憶部９に発話データと発話した搭乗者の位置情報を送り、音声認識部２の前回の音声認識処理の完了後に音声認識待ち発話データ記憶部９から発話データ（音声データ）と発話した搭乗者の位置情報を取得し、これらを音声認識部２と車室内環境状態検出部（車両状態検出部）３０に送信する。

音声認識待ち発話データ記憶部９は、発話データ順番整理部８から送信されてくる発話データと発話した搭乗者の位置情報をキュー（ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ））に記憶し、発話データ順番整理部８から取得要求があれば発話データと発話した搭乗者の位置情報を返す。

そして、この発明の実施の形態３における車室内環境状態検出部（車両状態検出部）３０は、車室内の環境状態として、発話データ順番整理部８により取得・整理された発話データ（音声データ）を検出することにより、搭乗者（Ｎ人）ごとの発話の位置、すなわち、搭乗者の配置状態を検出するものである。
また、表示制御部３（出力制御部）は、車室内環境状態検出部（車両状態検出部）３０から受取った搭乗者の配置状態（発話位置情報）を元に、音声認識部２により認識された発話内容である音声認識結果を搭乗者の位置ごとに整理し、例えば搭乗者ごとに時系列順等に並べるなど、発話した複数の搭乗者を識別可能な態様の表示データを生成し、表示部４に対して提示内容の出力制御を行う。

次に、この実施の形態３による車載情報装置の動作について説明する。図９は、実施の形態３における車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１（１−１，１−２，・・・，１−Ｍ）が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ３１）。次に、音声取得部１により取得された音声データから、信号処理部５がＮ個（搭乗者の人数Ｎ分）に音源分離を行う（ステップＳＴ３２）。このＮ個に音源分離された会話の音声データの中に、発話が含まれているか否かを、各発話有無検出部６（６−１，６−２，・・・，６−Ｎ）が検出する（ステップＳＴ３３）。この発話有無検出については、各音声データに対して音声量のレベルを検出する音声区間検出を行うことにより行えばよい。

ここで、発話が検出されなかった場合（ステップＳＴ３３のＮＯの場合）には、ステップＳＴ３１に戻って処理を行う。一方、発話が検出された場合（ステップＳＴ３３のＹＥＳの場合）には、信号処理部５から受け取ったＮ個の分離した音声データそれぞれに対して、発話有無検出部６から音声区間抽出の指示が発話データ抽出部７（７−１，７−２，・・・，７−Ｎ）に対してなされ、発話データ抽出部７にて抽出処理を行い、抽出した発話データを発話データ順番整理部８に送信する（ステップＳＴ３４）。

そして、音声認識部２にて音声認識処理中でなければ（ステップＳＴ３５のＮＯの場合）、音声認識部２で発話データの音声認識処理を行う（ステップＳＴ３８）。一方、音声認識部２にて前回の音声認識処理が行われていた場合（ステップＳＴ３５のＹＥＳの場合）には、発話データ順番整理部８から音声認識部２に送信予定の発話データと表示制御部３に送信予定の搭乗者の位置情報とを、一旦音声認識待ち発話データ記憶部９に保存する（ステップＳＴ３６）。
その後、音声認識部２の音声認識処理が終わるのを待ち、音声認識処理が終わり次第、発話データ順番整理部８が、音声認識待ち発話データ記憶部９に保存した発話データと搭乗者の位置情報を取得し、それぞれ音声認識部２と車室内環境状態検出部３０に送信する（ステップＳＴ３７）。そして、音声認識部２で発話データの音声認識処理を行う（ステップＳＴ３８）。

最後に、車室内環境状態検出部３０が、発話データ順番整理部８から受け取った搭乗者の位置情報を基に、音声認識部２の音声認識結果の各文字列を搭乗者の位置ごとに検出し（ステップＳＴ３９）、表示制御部３が、それらを整理して搭乗者の位置ごとおよび時系列順等に並べた表示データを生成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ４０）。

このようにして表示された表示例としては、実施の形態１において示した図５と同様であり、運転者Ａと助手席の同乗者Ｂとの会話が、搭乗者の位置ごとに整理して時系列順に並べられている。
これにより、エンジン音やタイヤノイズ、あるいは車外からの騒音により阻害されて会話内容を聞き洩らしたり、運転操作への注力等により突発的に聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。

以上のように、この実施の形態３によれば、実施の形態１，２と同様の効果に加え、音声認識部２を１つにすることができるため、音声認識部２が必要とするリソースを減らすことができ、また、その減ったリソース分を利用して音声認識部２の性能を向上させることができる、という効果もある。

実施の形態４．
図１０は、この発明の実施の形態４による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態４では、実施の形態１において説明した図１に示す基本構成と比べると、表示部４を複数（Ｎ個）備えており、各表示部４（４−１，４−２，・・・，４−Ｎ）の位置を検出する車室内環境状態検出部（車両状態検出部）３０を備えている。そして、認識した音声データを文字列として表示する際に、車室内環境状態検出部（車両状態検出部）３０において検出された各表示部４（４−１，４−２，・・・，４−Ｎ）の位置に応じて、表示形式（表示内容）を変えて表示するものである。

そして、この発明の実施の形態４における車室内環境状態検出部（車両状態検出部）３０は、車室内の環境状態として、表示部４（４−１，４−２，・・・，４−Ｎ）の配置状態を検出するものである。
また、表示制御部３（出力制御部）は、車室内環境状態検出部（車両状態検出部）３０により検出された表示部４（４−１，４−２，・・・，４−Ｎ）の配置状態に基づいて、すなわち、例えばその表示部４が運転席に位置するものであるか助手席に位置するものであるかに応じて、異なる表示態様の表示データを生成し、表示部４に対して提示内容の出力制御を行う。

次に、この実施の形態４による車載情報装置の動作について説明する。図１１は、実施の形態４による車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ４１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ４２）。一方、車室内環境状態検出部（車両状態検出部）３０が、各表示部４（４−１，４−２，・・・，４−Ｎ）の位置を検出する（ステップＳＴ４３）。そして、表示制御部３が、音声認識部２の音声認識結果の文字列を時系列順に並べ、車室内環境状態検出部（車両状態検出部）３０において検出された各表示部４（４−１，４−２，・・・，４−Ｎ）の位置に応じて表示形式（表示内容）を変えて表示データを生成し、それぞれの表示部４へその表示データを送信することにより、各表示部４に会話内容が文字列で表示される（ステップＳＴ４４）。

図１２および図１３は、このようにして表示された表示例を示す図である。図１２は、表示部４の位置が助手席側である場合の表示例であり、図１３は、表示部４の位置が運転席側である場合の表示例である。この例では、図１２に示す助手席側の表示部４には、すべての会話が時系列順に複数（この例では、発話時間とともに同時に５行くらい）表示されている。一方、図１３に示す運転席側の表示部４には、画面いっぱいに大きく、２行のみ（発話時間もなく）表示されている。運転者は、運転に集中しなければならないため、文字が大きくないと短時間で会話内容を確認することができないからである。

また、実施の形態１〜３のように、マイクが複数ある場合やアレイマイクを用いることにより、搭乗者の位置も取得できているような場合には、例えば助手席側の表示部４には、図１２に代えて図１４のような表示画面を表示するようにしてもよい。この場合には、助手席側の自分（Ｂ）の発話内容以外の他人の発話内容を大きく表示することにより、他人の会話をよりわかりやすく認識することができる。

以上のように、この実施の形態４によれば、常に車内の会話を聞き取って音声認識を行い、例えば運転席側にある表示部では短時間で文字の視認が可能で注視しなくてもよいように表示したり、助手席側にある表示部では運転手のような制約はなくより多くの情報を表示するなど、表示部の位置ごとに最適な表示をするようにしたので、表示内容をよりわかりやすくすることができる。また、搭乗者の位置も加味して表示することにより、自分より他人の会話をよりわかりやすく認識することができる。

実施の形態５．
図１５は、この発明の実施の形態５による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜４で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態５では、実施の形態１において説明した図１に示す基本構成と比べると、車室内環境状態検出部（車両状態検出部）３０、音声のＳ／Ｎ取得部３１、音響機器動作状態取得部３２、空調機器動作状態取得部３３、車室内の騒音状態取得部３４、窓またはルーフの開閉状態取得部３５を備えている。

音声のＳ／Ｎ取得部３１は、音声取得部１から取得した音声データを基に音声区間検出を行い、音声区間の信号レベルとそれ以外の区間の信号レベルの比を計算する。
音響機器動作状態取得部３２、空調機器動作状態取得部３３は、車室内のオーディオ機器等の音響機器や、エアコン等の空調機器の動作状態をそれぞれ取得する。
車室内の騒音状態取得部３４は、車室内の騒音レベルが所定の閾値を超えているか否かという騒音状態を取得する。
窓またはルーフの開閉状態取得部３５は、車両の窓またはルーフの開閉状態を車両からのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）信号等から取得する。

ここで、実施の形態１〜４における車室内環境状態検出部３０は、車室内における話者（搭乗者）、音声取得部１、表示部（出力部）４のいずれかの配置状態を検出するものであったが、この実施の形態５における車室内環境状態検出部３０は、音声取得部１が取得した音声のＳ／Ｎ比、車室内の音響機器（オーディオ機器等）または空調機器（エアコン等）の動作状態、車室内の騒音状態、窓またはルーフの開閉状態のいずれかを検出するものである。
そして、この実施の形態５では、車室内環境状態検出部３０により車室内の環境状態が騒がしいと判断される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式（表示内容）を変えて表示するものである。

次に、この実施の形態５による車載情報装置の動作について説明する。図１６は、実施の形態５による車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ５１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ５２）。

その後、車室内環境状態検出部３０により、車室内の環境状態が騒がしいと判断されたか否かに基づいて、会話内容の表示が必要か否かが判断される（ステップＳＴ５３）。すなわち、音声のＳ／Ｎ取得部３１により取得された音声のＳ／Ｎ比が所定の閾値を超えている、音響機器動作状態取得部３２により取得された車室内の音響機器動作状態が動作中である、空調機器動作状態取得部３３により取得された車室内の空調機器動作状態が動作中である、車室内の騒音状態取得部３４により取得された車室内の騒音レベルが所定の閾値を超えている、窓またはルーフの開閉状態取得部３５により取得された車両の窓またはルーフの開閉状態が開である、のいずれかの状態である場合に、車室内環境状態検出部３０は車室内の環境状態が騒がしいと判断し、会話の提示が必要であると判断する。

そして、会話の提示が不要であると判断された場合（ステップＳＴ５３のＮＯの場合）には、ステップＳＴ５１に戻って処理を行う。
一方、会話の提示が必要であると判断された場合（ステップＳＴ５３のＹＥＳの場合）には、表示制御部３が、ステップＳＴ５２で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ５４）。

以上のように、この実施の形態５によれば、常に車内の会話を聞き取って音声認識を行い、車室内の環境状態が騒がしくて、搭乗者が会話を聞き逃す可能性が高いと判断された場合には、会話内容を提示するようにしたので、騒音等により会話が聞き取れなかった場合であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。

実施の形態６．
図１７は、この発明の実施の形態６による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜５で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態６では、実施の形態１において説明した図１に示す基本構成に比べると、車室内環境状態検出部（車両状態検出部）３０、音声特徴情報取得部３６を備えている。

この実施の形態６では、音声取得部１が取得した音声の種類、音量、音程、音質、音色、声色、テンポ、周波数特性のいずれかを含む音声特徴情報を音声特徴情報取得部３６で取得し、車室内環境状態検出部３０は、その音声特徴情報に基づく推定により、音声を発話した搭乗者の感情状態を車両状態として検出するものである。
そして、この実施の形態６では、車室内環境状態検出部３０により搭乗者の感情状態が明るい／暗い等と推定される車両状態が検出された場合に、その検出された車両状態に基づいて、表示形式（表示内容）を変えて表示するものである。

次に、この実施の形態６による車載情報装置の動作について説明する。この実施の形態６における車載情報装置の動作を示すフローチャートについては、実施の形態５における図１６に示すフローチャートと同じであるため、図示を省略する。ただし、ステップＳＴ５３における判断の処理が、実施の形態５とは異なっている。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ５１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ５２）。

その後、車室内環境状態検出部３０により、車室内における搭乗者の感情状態が明るいか暗いかに基づいて、会話内容の表示が必要か否かが判断される（ステップＳＴ５３）。すなわち、車室内環境状態検出部３０が、音声特徴情報取得部３６により取得された音声特徴情報に基づいて、車室内における搭乗者の感情状態が明るいか暗いかを推定し、搭乗者の感情状態が暗い場合には、会話が聞き取りにくい状態である可能性が高く、会話の提示が必要であると判断する。

そして、車室内における搭乗者の感情状態が明るいと推定され、会話の提示が不要であると判断された場合（ステップＳＴ５３のＮＯの場合）には、ステップＳＴ５１に戻って処理を行う。
一方、車室内における搭乗者の感情状態が暗いと推定され、会話の提示が必要であると判断された場合（ステップＳＴ５３のＹＥＳの場合）には、表示制御部３が、ステップＳＴ５２で認識された音声データを整理して時系列順等に並べた表示データを作成し、表示部４へその表示データを送信することにより、表示部４に会話内容が文字列で表示される（ステップＳＴ５４）。

以上のように、この実施の形態６によれば、常に車内の会話を聞き取って音声認識を行い、車室内における搭乗者の感情状態が暗く、会話を聞き取りにくい状態である可能性が高いと判断された場合には、会話内容を提示するようにしたので、騒音や運転操作への注力等により会話が聞き取りにくい状態であっても、会話内容を確認することができるとともに、会話の流れもわかりやすくなる。

実施の形態７．
図１８は、この発明の実施の形態７による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜６で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態７では、実施の形態４において説明した図１０に示すブロック図に比べると、車室内環境状態検出部（車両状態検出部）３０に代えて車両周辺環境状態検出部（車両状態検出部）４０を備え、さらに時刻取得部４１、天候状態取得部４２を備えている。

この実施の形態７の車両周辺環境状態検出部４０は、現在の日付、時刻、曜日などの情報を取得する時刻取得部４１、現在の自車位置の天候情報を通信機器を介して取得する天候状態取得部４２により取得された、車両周辺の現在の年月日、時刻、曜日、天候状態のいずれかに基づいて、車両周辺の環境状態を車両状態として検出するものである。
そして、この実施の形態７では、車両周辺環境状態検出部４０により車両周辺の環境状態から運転手が運転操作に注力しなければならない状況であることが検出された場合に、その検出された車両状態に基づいて、表示形式（表示内容）を変えて表示したり、運転席側の表示部４では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。

次に、この実施の形態７による車載情報装置の動作について説明する。図１９は、実施の形態７による車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ７１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ７２）。

そして、表示制御部３は、運転席側（運転手から見える位置）の表示部４に表示を行うわけではない場合（ステップＳＴ７３のＮＯの場合）は、ステップＳＴ７２で音声認識部２により認識された音声認識結果の文字列を整理して時系列順等に並べ、各表示部４（４−１，４−２，・・・，４−Ｎ）の位置に応じて表示形式（表示内容）を変えて表示データを生成し、それぞれの表示部４へその表示データを送信することにより、各表示部４に会話内容が文字列で表示される（ステップＳＴ７４）。

一方、表示制御部３が運転席側（運転手から見える位置）の表示部４に表示を行う場合（ステップＳＴ７３のＹＥＳの場合）は、さらにステップ７５において、車両周辺環境状態検出部４０により、現在の車両周辺の年月日、時刻、曜日、天候のいずれかに基づいて、運転操作に注力が必要か否かが判断される（ステップＳＴ７５）。すなわち、時刻取得部４１により取得された現在の車両周辺の年月日、時刻、曜日がいつであるか、また、天候状態取得部４２により取得された現在の車両周辺の天候がどのような天候であるか、に基づいて、車両周辺環境状態検出部４０が、日付や曜日が混雑する時期である場合、時間帯が夜間である場合、天候が雨である場合などに、運転手が運転操作に注力しなければならない状態であると判断する。

そして、運転操作への注力が不要であると判断された場合（ステップＳＴ７５のＮＯの場合）には、運転席側の表示部４を表示状態にする（ステップＳＴ７６）。ただし、既に表示状態の場合には何もしない。
一方、運転操作への注力が必要であると判断された場合（ステップＳＴ７５のＹＥＳの場合）には、運転席側の表示部４を非表示状態にする（ステップＳＴ７７）。ただし、既に非表示状態の場合には何もしない。

以上のように、この実施の形態７によれば、常に車内の会話を聞き取って音声認識を行い、表示部の位置および車両周辺の環境状態が、運転手が運転操作に注力しなければならない状態である場合には、運転席側の表示部には音声認識結果を表示させないようにしたので、実施の形態４と同様の効果に加え、運転中に運転手がわき見をすることを防ぐことができる。

実施の形態８．
図２０は、この発明の実施の形態８による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜７で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態８では、実施の形態５において説明した図１０に示すブロック図に比べると、車室内環境状態検出部（車両状態検出部）３０に代えて車両運行状態検出部（車両状態検出部）５０を備え、さらにステアリング状態取得部５１、シフトレバー使用状態取得部５２、ブレーキ使用状態取得部５３、ウィンカー使用状態取得部５４、照明状態取得部５５、ワイパー使用状態取得部５６を備えている。

ステアリング状態取得部５１、シフトレバー使用状態取得部５２、ブレーキ使用状態取得部５３、ウィンカー使用状態取得部５４、照明状態取得部５５、ワイパー使用状態取得部５６は、車両からのＣＡＮ信号等から、ステアリング状態、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーの使用有無信号をそれぞれ取得する。

この実施の形態８における車両運行状態検出部５０は、車両のステアリング、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーなどの使用状態を検出するものである。
そして、この実施の形態８では、車両運行状態検出部５０により上記の車両設備が使用されている状態であると検出された場合に、その検出された車両状態に基づいて、表示形式（表示内容）を変えて表示したり、運転席側の表示部４では表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うものである。

次に、この実施の形態８による車載情報装置の動作について説明する。この実施の形態８における車載情報装置の動作を示すフローチャートについては、実施の形態７における図１９に示すフローチャートと同じであるため、図示を省略する。ただし、ステップＳＴ７５における判断の処理が、実施の形態７とは異なっている。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ７１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ７２）。

そして、表示制御部３が運転席側（運転手から見える位置）の表示部４に表示を行うわけではない場合（ステップＳＴ７３のＮＯの場合）は、音声認識部２の音声認識結果の文字列を時系列順に並べ、各表示部４（４−１，４−２，・・・，４−Ｎ）の位置に応じて表示形式（表示内容）を変えて表示データを生成し、それぞれの表示部４へその表示データを送信することにより、各表示部４に会話内容が文字列で表示される（ステップＳＴ７４）。

一方、表示制御部３が運転席側（運転手から見える位置）の表示部４に表示を行う場合（ステップＳＴ７３のＹＥＳの場合）は、さらにステップ７５において、車両運行状態検出部５０により、車両のステアリング、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーなどが使用されているか否かに基づいて、運転操作に注力が必要か否かが判断される（ステップＳＴ７５）。すなわち、ステアリング状態取得部５１、シフトレバー使用状態取得部５２、ブレーキ使用状態取得部５３、ウィンカー使用状態取得部５４、照明状態取得部５５、ワイパー使用状態取得部５６により取得された、車両のステアリング状態、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーのいずれかの使用有無信号が使用中（使用有）である場合に、車両運行状態検出部５０は、運転手が運転操作に注力しなければならない状態であると判断する。

そして、運転操作への注力が不要であると判断された場合（ステップＳＴ７５のＮＯの場合）には、運転席側の表示部４を表示状態にする（ステップＳＴ７６）。ただし、既に表示状態の場合には何もしない。
一方、運転操作への注力が必要であると判断された場合（ステップＳＴ７５のＹＥＳの場合）には、運転席側の表示部４を非表示状態にする（ステップＳＴ７７）。ただし、既に非表示状態の場合には何もしない。

以上のように、この実施の形態８によれば、常に車内の会話を聞き取って音声認識を行い、表示部の位置および車両のステアリング状態、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーのいずれかの操作状態が使用中であって、運転手が運転操作に注力しなければならない状態である場合には、運転席側の表示部には音声認識結果を表示させないようにしたので、実施の形態４と同様の効果に加え、運転中に運転手がわき見をすることを防ぐことができる。

実施の形態９．
図２１は、この発明の実施の形態９による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜８で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態９では、実施の形態４において説明した図１０に示すブロック図と比べると、車室内環境状態検出部（車両状態検出部）３０に代えて車両運行状態検出部（車両状態検出部）５０を備え、さらに自車位置取得部６１、車速信号取得部６２、加速度取得部６３、方位取得部６４、走行継続時間取得部６５、走行継続距離取得部６６、走行道路種別取得部６７、走行道路路面状態取得部６８、走行道路渋滞状況取得部６９、走行経路設定状態取得部７０、走行経路誘導状態取得部７１を備えている。

この実施の形態９における車両運行状態検出部５０は、車両の現在の位置、速度、加速度、方位、走行継続距離、走行継続時間、走行道路種別、走行道路路面状態、走行道路渋滞状況、走行経路設定状態、走行経路誘導状態のいずれかの車両の運行状態を検出するものである。
そして、この実施の形態９では、車両運行状態検出部５０により検出された車両状態に基づいて、表示形式（表示内容）を変えて表示するものである。
なお、実施の形態４，７，８に示すように、表示部４を複数備えている場合には、車両運行状態検出部５０により検出された車両状態に基づいて、表示形式（表示内容）を変えて表示したり、運転席側の表示部４では車両運行中は表示を非表示にするなど、表示データを出力する表示部または出力しない表示部を選択、変更、切り換える等の制御を行うこともできる。

自車位置取得部６１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機やジャイロスコープなどから取得した情報を用いて、現在の自車位置を取得する。
車速信号取得部６２は、車両からのＣＡＮ信号等から車両の速度情報を取得する。
加速度取得部６３は、ジャイロスコープや、車両のアクセル・ブレーキ・ハンドル操作から、車両の加速度を取得する。
方位取得部６４は、自車位置の移動方向や電子コンパスから車両の方位を取得する。
走行継続時間取得部６５、走行継続距離取得部６６は、カーナビゲーションや車両からのＣＡＮ信号等から、走行継続時間、走行継続距離をそれぞれ判断して取得する。

走行道路種別取得部６７、走行道路路面状態取得部６８は、自車位置取得部６１により取得された現在の自車位置情報と、後述する地図データ記憶部７２等に記憶されている地図データとに基づいて、現在走行中の走行道路種別、走行道路路面状態をそれぞれ取得する。取得できる情報としては「トンネル内か否か」「舗装済か未舗装か」等の騒音状況や運転操作に影響を与える道路の状態である。また、例えば自車位置がまだトンネル内でなくてもこのまま進むとトンネル内に入る場合等は「まもなくトンネル内に入る」という情報を取得するようにしてもよい。
走行道路渋滞状況取得部６９は、通信機器を介して自車位置の渋滞情報を取得したり、電波・光ビーコンからＶＩＣＳ（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ／登録商標）情報（道路交通情報）を取得したりする。

走行経路設定状態取得部７０、走行経路誘導状態取得部７１は、ナビゲーション装置から現在の走行経路設定状態、走行経路誘導状態の情報をそれぞれ取得する。
地図データ記憶部７２には、例えば道路データ、トンネルデータ等の地図データが記憶されている。この地図データ記憶部７２は、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＤカードなど、どのような形態のものでもよい。またネットワーク上に存在し、通信ネットワークを介して道路データなどの情報を取得できる構成としてもよい。

車両運行状態検出部５０は、自車位置取得部６１と車速信号取得部６２、加速度取得部６３、方位取得部６４、走行継続時間取得部６５、走行継続距離取得部６６等から取得した情報を基に、走行中か停車中かを判定したり、走行道路種別取得部６７、走行道路路面状態取得部６８、走行道路渋滞状況取得部６９から取得した情報を元に、走行中の道路の騒音状況や運転操作に影響を与える道路の状態であるか否かを判定したり、走行経路がナビゲーション装置により設定、誘導されている状態であるか否かを判定する。
そして表示制御部３は、車両運行状態検出部５０が走行中と判断した場合や、運転操作に影響を与える道路の状態であると判断した場合には、運転席側（運転手から見える位置）の表示部４の表示内容を非表示にする。

次に、この実施の形態９による車載情報装置の動作について説明する。この実施の形態９における車載情報装置の動作を示すフローチャートについては、実施の形態７における図１９に示すフローチャートと同じであるため、図示を省略する。ただし、ステップＳＴ７５における判断の処理が、実施の形態７とは異なっている。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ７１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ７２）。そして、表示制御部３が運転席側（運転手から見える位置）の表示部４に表示を行うわけではない場合（ステップＳＴ７３のＮＯの場合）は、音声認識部２の音声認識結果の文字列を時系列順に並べ、各表示部４（４−１，４−２，・・・，４−Ｎ）の位置に応じて表示形式（表示内容）を変えて表示データを生成し、それぞれの表示部４へその表示データを送信することにより、各表示部４に会話内容が文字列で表示される（ステップＳＴ７４）。

一方、表示制御部３が運転席側（運転手から見える位置）の表示部４に表示を行う場合（ステップＳＴ７３のＹＥＳの場合）は、さらにステップ７５において、車両運行状態検出部５０により、現在の自車位置、車速、加速度、方位、走行継続時間、走行継続距離のいずれかに基づいて走行中か停車中かを判定したり、現在走行中の道路種別、道路路面状態、道路渋滞状況のいずれかに基づいて走行中の道路の騒音状況や運転操作に影響を与える道路の状態であるか否かを判定したり、走行経路設定状態や走行経路誘導状態に基づいて走行経路のナビゲーション中であるか否か（走行経路がナビゲーション装置により設定、誘導されている状態であるか否か）を判定することにより、現在運転手にとって運転操作に注力が必要か否かが判断される（ステップＳＴ７５）。

そして、運転操作への注力が不要であると判断された場合（ステップＳＴ７５のＮＯの場合）には、運転席側の表示部４を表示状態にする（ステップＳＴ７６）。ただし、既に表示状態の場合には何もしない。
一方、運転操作への注力が必要であると判断された場合（ステップＳＴ７５のＹＥＳの場合）には、運転席側の表示部４を非表示状態にする（ステップＳＴ７７）。ただし、既に非表示状態の場合には何もしない。

以上のように、この実施の形態９によれば、常に車内の会話を聞き取って音声認識を行い、表示部の位置および車両の運行状態が、運転手が運転操作に注力しなければならない状態である場合には、運転席側の表示部には音声認識結果を表示させないようにしたので、実施の形態４と同様の効果に加え、走行中に運転手がわき見をすることを防ぐことができる。

実施の形態１０．
図２２は、この発明の実施の形態１０による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜９で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態１０では、実施の形態７において説明した図１８に示すブロック図と比べると、音声出力制御部１１および音声出力部１２をさらに備えており、運転席側の表示部４において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態７を元に説明するが、実施の形態８，９においても同様に、音声出力制御部および音声出力部を備えて同様の構成とすることができる。

音声出力制御部１１は、運転席側の表示部４を非表示とした場合に音声認識部２により認識した発話内容を音声合成して、音声出力部１２へ送信する。
なお、この実施の形態１０では合成音声を出力する構成としているが、音声認識部２で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部１２は、音声出力制御部１１から送信された音声データをスピーカ等により出力する。

次に、この実施の形態１０による車載情報装置の動作について説明する。図２３は、実施の形態１０による車載情報装置の動作を示すフローチャートである。
ステップＳＴ１０１〜ＳＴ１０７までの処理については、実施の形態７における図１９のフローチャートのステップＳＴ７１〜ＳＴ７７と同じであるため、説明を省略する。そして、この実施の形態１０では、ステップＳＴ１０７において運転席側の表示部４を非表示状態にした後に、音声出力制御部１１が音声認識部２により認識した発話内容の音声データを音声出力部１２に送信し、音声データを出力する（ステップＳＴ１０８）。

このように、この実施の形態１０では、実施の形態７と同様、走行中には運転席側の表示部を非表示とし、運転手への代わりの情報として音声出力により会話内容を提示することにより、運転手は音声により会話内容を認識することができる。

以上のように、この実施の形態１０によれば、走行中に運転席側の表示部を非表示にした場合には、音声出力部により音声認識結果を出力するようにしたので、実施の形態７と同様の効果に加え、走行中であっても、運転手は音声により会話内容を認識することができる。

実施の形態１１．
図２４は、この発明の実施の形態１１による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜１０で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態１１では、実施の形態８において説明した図２０に示すブロック図と比べると、音声出力保留判定部１０、音声出力制御部１１および音声出力部１２をさらに備えており、運転席側の表示部４において走行中は表示を非表示としたため、運転手への代わりの情報として音声出力により会話内容を提示するものである。なお、ここでは実施の形態８を元に説明するが、実施の形態９においても同様に、音声出力保留判定部、音声出力制御部および音声出力部を備えて同様の構成とすることができる。

この実施の形態１１は、実施の形態１０と比べると音声出力保留判定部１０を備えている点が異なるのみである。
音声出力保留判定部１０は、ステアリング状態取得部５１、シフトレバー使用状態取得部５２、ブレーキ使用状態取得部５３、ウィンカー使用状態取得部５４、照明状態取得部５５、ワイパー使用状態取得部５６からの情報により、右左折時や車線変更時など、特に運転に注意を払う必要がある場面であるか否かを判断し、それにより音声出力の保留の要否を判定し、音声出力制御部１１に通知する。

音声出力制御部１１は、運転席側の表示部４を非表示とした場合に音声認識部２により認識した発話内容を音声合成して、音声出力部１２へ送信する。ただし、音声出力保留判定部１０から音声出力の保留が通知された場合は直ちに出力を停止する。保留が解除された場合、保留した音声データの先頭から送信し直す。また、保留時間が長い場合は保留した音声データを破棄するようにしてもよい。
なお、この実施の形態１０では合成音声を出力する構成としているが、音声認識部２で音声区間検出した部分を合成音声の代わりに出力する構成としてもよい。
音声出力部１２は、音声出力制御部１１から送信された音声データをスピーカ等により出力する。

次に、この実施の形態１１による車載情報装置の動作について説明する。図２５は、実施の形態１１による車載情報装置の動作を示すフローチャートである。
ステップＳＴ１１１〜ＳＴ１１７までの処理については、実施の形態１０における図２３のフローチャートのステップＳＴ１０１〜ＳＴ１０７と同じであるため、説明を省略する。そして、この実施の形態１１では、ステップＳＴ１１７において運転席側の表示部４を非表示状態にした後に、音声出力保留判定部１０にて音声出力の保留の要否判断を行う（ステップＳＴ１１８）。音声出力の保留が必要であると判断された場合（ステップＳＴ１１８のＹＥＳの場合）は、音声出力の保留が解除されるまで音声出力部１２への音声データを保留する（ステップＳＴ１１９のＮＯの場合）。

ステップＳＴ１１８において音声出力の保留が不要であると判断された場合（ステップＳＴ１１８のＮＯの場合）または音声出力の保留が解除された場合（ステップＳＴ１１９のＹＥＳの場合）には、音声認識部２により認識した発話内容の音声データを音声出力部１２に送信し、音声データを出力する（ステップＳＴ１２０）。なお、音声出力中に保留が行われ、解除された場合には、保留した音声データの先頭から出力し直す。

ここで、ステップＳＴ１１８において、音声出力保留判定部１０が音声出力の保留の要否を判断する処理について説明する。例えば、ウィンカー使用状態取得部５４によりウィンカーが使用されていることが検知され、車両運行状態検出部５０により車両の運行状態が右左折中や車線変更中であると検出された場合に、音声出力保留判定部１０は、その右左折中や車線変更中であることから、特に運転に注意を払う必要がある場面であると判定し、音声出力の保留が必要であると判断し、音声出力制御部１１に「音声出力の保留必要」と通知を行う。また逆に、ステアリング状態取得部５１、シフトレバー使用状態取得部５２、ブレーキ使用状態取得部５３、ウィンカー使用状態取得部５４、照明状態取得部５５、ワイパー使用状態取得部５６からいずれも使用されていないと検知された場合には、音声出力の保留は不要であると判断し、音声出力制御部１１に対して「音声出力の保留不要」と通知を行う。

このように、この実施の形態１１では、実施の形態１０と同様、走行中には運転席側の表示部を非表示とし、運転手への代わりの情報として音声出力により会話内容を提示することにより、運転手は音声により会話内容を認識することができる。また、右左折時や車線変更時など、特に運転に注意を払う必要がある場面であるかどうかを検出し、そのように運転に注意を払う必要がある場面であると判断された場合には、音声出力も行わない（保留する）ようにすることにより、運転手はより運転に集中することができる。

以上のように、この実施の形態１１によれば、走行中に運転席側の表示部を非表示にした場合には、音声出力部により音声認識結果を出力するようにしたので、実施の形態１０と同様の効果に加え、走行中であっても、運転手は音声により会話内容を認識することができる。また、その音声についても、右左折時や車線変更時などの特に注意を払う必要がある場合には提示しないようにしたことにより、運転手がより運転に集中することができる。

実施の形態１２．
図２６は、この発明の実施の形態１２による車載情報装置の構成を示すブロック図である。なお、実施の形態１〜１１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。以下に示す実施の形態１２では、実施の形態１において説明した図１に示す基本構成と比べると、実施の形態５〜１０において説明した各種取得部３１〜３６，４１〜４２，５１〜５６，６１〜７２のいずれかと、車両状態検出部３０，４０，５０に加え、キーワード抽出部１３および会話履歴記憶部１４をさらに備えており、車両状態検出部３０，４０，５０により検出された車両状態またはキーワード抽出部１３により抽出された所定のキーワードに基づいて、発話内容の全部または部分の出力要否を判断し、出力要と判断された発話内容の全部または部分の表示データのみを生成したり、表示開始または表示停止のタイミングを判断し、表示するタイミングを変えたりするものである。

キーワード抽出部１３は、音声認識部２で認識した会話文字列の中に、「えっ、何？」「会話をテロップで表示」「会話をテロップに表示しない」「このテロップ邪魔」等の所定のキーワードが含まれていたら、これらを抽出する。
会話履歴記憶部１４は、音声認識部２により認識した発話内容をすべて記憶しておくものであり、表示制御部３からの指示により直前の会話が必要とされた場合に、記憶されている会話内容の直前の会話を送信する。

表示制御部３は、各種取得部３１〜３６，４１〜４２，５１〜５６，６１〜７２から取得した情報を基に、音声認識部２により認識した発話内容を表示部４へ提示内容として送信するが、例えば下記のような判定を組み合わせることにより、会話内容の表示／非表示を切り替えたり、表示する場合でも提示する会話の直前から表示をしたり、逆に会話の直後から提示したりという制御を行う。なお、直前の会話から提示する場合には、会話履歴記憶部１４から直前の会話を取得して表示する。また、下記ａ）〜ｈ）の判定はあくまでも一例にすぎず、各種取得部３１〜３６，４１〜４２，５１〜５６，６１〜７２から取得した情報により他の条件を組み合わせてもよいことは言うまでもない。

ａ）車速がある閾値以上であれば提示し、ある閾値未満であれば提示しない。
ｂ）窓が開いたら提示し、閉まったら提示しない。
ｃ）トンネル内を走行していれば提示し、トンネル外であれば提示しない。
ｄ）まもなくトンネル内に入ると通知された場合、その直後の会話から提示する。
ｅ）入力音声のＳ／Ｎ比がある閾値以下であれば提示し、ある閾値より大きければ提示しない。
ｆ）音声認識結果に「えっ、何？」等の会話を聞き取れなかったことを意味するキーワードが含まれていれば、その直前の会話から提示する。
ｇ）音声認識結果に「会話をテロップで表示」等の表示を指示するキーワードが含まれていれば、その直後の会話から提示する。
ｈ）音声認識結果に「会話をテロップに表示しない」「このテロップ邪魔」等の表示しないよう指示するキーワードが含まれていれば、会話を提示しない。

次に、この実施の形態１２による車載情報装置の動作について説明する。図２７は、実施の形態１２による車載情報装置の動作を示すフローチャートである。
まず初めに、何らかの発話入力があると、音声取得部１が入力された音声を取得し、Ａ／Ｄ変換して、例えばＰＣＭ形式の音声データとして取得する（ステップＳＴ１２１）。次に、音声取得部１により取得された音声データを音声認識部２が認識する（ステップＳＴ１２２）。そして、音声認識部２で認識した発話内容を表示制御部３が後から参照することができるよう、認識した会話の文字列を会話履歴として会話履歴記憶部１４に保存する（ステップＳＴ１２３）。

その後、表示制御部３により、前述の判定ａ）〜ｈ）を組み合わせて会話内容の表示が必要か否かが判断される（ステップＳＴ１２４）。会話の提示が必要であると判断された場合（ステップＳＴ１２４のＹＥＳの場合）であって、提示するタイミングがその認識の直後だと通知された場合（ステップＳＴ１２５のＹＥＳの場合）には、ステップＳＴ１２１に戻って処理を行う。
なお、会話の提示が不要であると判断された場合（ステップＳＴ１２４のＮＯの場合）にも、ステップＳＴ１２１に戻る。

一方、会話の提示が必要であると判断され、提示するタイミングがその認識の直前だと通知された場合（ステップＳＴ１２６のＹＥＳの場合）には、表示制御部３が会話履歴記憶部１４に記憶された会話履歴から直前の会話内容を取得して表示データを生成して表示部４へ送信し（ステップＳＴ１２７）、それに続けて音声認識部２で認識した発話（現在の発話内容）の文字列から生成した表示データを表示部４に送信して表示する（ステップＳＴ１２８）。
また、提示するタイミングがその認識の直前でも直後でもない場合（ステップＳＴ１２６のＮＯの場合）には、音声認識部で認識した会話の文字列から生成した表示データを表示部４に送信して表示する（ステップＳＴ１２８）。

このように、この実施の形態１２は、実施の形態１と同様に、常に車内の会話を聞き取って音声認識を行い、会話を提示してくれるものであるが、車両状態検出部により検出された車両状態またはキーワード抽出部により抽出された所定のキーワードに基づいて、発話内容の全部または部分の出力要否を判断し、出力要と判断された発話内容の全部または部分の表示データのみを生成することにより、必要な時にだけ会話を提示してくれるので、会話の表示が不要な場合には、別のコンテンツを表示することができる。また、会話を提示するタイミングについても、車両状態検出部により検出された車両状態またはキーワード抽出部により抽出された所定のキーワードに基づいて、例えばトンネル内に入る直後から、会話が聞き取れなかったことを意味するキーワードの直前から、表示を指示するキーワードの直後から、など、表示開始または表示停止のタイミングを判断し、必要なタイミングで会話を提示してくれたり、表示しないよう指示するキーワードが含まれていればその後は表示しないなど、制御してくれる。

なお、キーワード抽出部１３が抽出するキーワードの中に、所定の語句が含まれていた場合に、当該所定の語句を、所定の異なる語句または所定の画像に変換した表示データ（または、所定の語句を、所定の異なる語句または所定の音声に変換した音声データ）を生成したり、所定の略語または言い換え語または方言が含まれていた場合には、当該所定の略語または言い換え語または方言を、所定の標準語句に変換した表示データ（または音声データ）を生成するようにしてもよい。具体的には、例えば、ブランド名をそのブランドの記号に置き換えたり、「やったー」等の感情的な語彙を絵文字や記号に置き換えたり、「おめでとう」等のキーワードについては拍手等の効果音を出力したりする。
これにより、わかりにくい語句なども明確に提示されるので、会話内容を明確に確認することができる。

以上のように、この実施の形態１２によれば、常に車内の会話を聞き取って音声認識を行い、車両状態検出部により検出された車両状態またはキーワード抽出部により抽出された所定のキーワードに基づいて、必要な時にだけ、また、必要なタイミングで会話が提示されるので、必要に応じて会話内容を確認することができ、不要な場合には別のコンテンツを表示することができる。

この発明の車載情報装置は、搭乗者と装置との音声対話を行うことが可能な車載用ナビゲーション装置、車載オーディオ装置、車載映像装置などに適用することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 音声取得部、２ 音声認識部、３ 表示制御部（出力制御部）、４ 表示部（出力部）、５ 信号処理部、６ 発話有無検出部、７ 発話データ抽出部、８ 発話データ順番整理部、９ 音声認識待ち発話データ記憶部、１０ 音声出力保留判定部、１１ 音声出力制御部（出力制御部）、１２ 音声出力部（出力部）、１３ キーワード抽出部、１４ 会話履歴記憶部、３０ 車室内環境状態検出部（車両状態検出部）、３１ 音声のＳ／Ｎ取得部、３２ 音響機器動作状態取得部、３３ 空調機器動作状態取得部、３４ 車室内の騒音状態取得部、３５ 窓またはルーフの開閉状態取得部、３６ 音声特徴情報取得部、４０ 車両周辺環境状態検出部（車両状態検出部）、４１ 時刻取得部、４２ 天候状態取得部、５０ 車両運行状態検出部（車両状態検出部）、５１ ステアリング状態取得部、５２ シフトレバー使用状態取得部、５３ ブレーキ使用状態取得部、５４ ウィンカー使用状態取得部、５５ 照明状態取得部、５６ ワイパー使用状態取得部、６１ 自車位置取得部、６２ 車速信号取得部、６３ 加速度取得部、６４ 方位取得部、６５ 走行継続時間取得部、６６ 走行継続距離取得部、６７ 走行道路種別取得部、６８ 走行道路路面状態取得部、６９ 走行道路渋滞状況取得部、７０ 走行経路設定状態取得部、７１ 走行経路誘導状態取得部、７２ 地図データ記憶部。

Claims (15)

1. 車両に搭載され、搭乗者の会話を支援する情報を提供する車載情報装置において、
   前記車載情報装置が起動されている場合は常時、前記搭乗者の発話した音声を検知して取得する音声取得部と、
   前記音声取得部により取得した前記音声の発話内容を認識する音声認識部と、
   前記音声認識部が認識した発話内容を記憶する会話履歴記憶部と、
   前記音声認識部が認識した発話内容から、前記会話履歴記憶部に記憶された会話内容の画面表示の出力の開始または停止に関する所定のキーワードを抽出するキーワード抽出部と、
   前記車両の車室内の環境状態または前記車両周辺の環境状態または前記車両の運行状態を含む車両状態を検出する車両状態検出部と、
   前記車両状態検出部により検出された前記車両状態および前記キーワード抽出部により抽出されたキーワードに応じて前記音声認識部により認識された前記発話内容を表示データまたは音声データとして生成し、出力部への出力制御をする出力制御部とを備えた
   ことを特徴とする車載情報装置。
2. 前記車両状態検出部は、車室内の環境状態として、搭乗者、音声取得部、出力部のいずれかの配置状態を検出することを特徴とする請求項１記載の車載情報装置。
3. 前記車両状態検出部は、車室内の環境状態として、音声取得部が取得した音声のＳ／Ｎ比、車室内の音響機器または空調機器の動作状態、車室内の騒音状態、窓またはルーフの開閉状態のいずれかを検出することを特徴とする請求項１記載の車載情報装置。
4. 前記車両状態検出部は、車室内の環境状態として、音声取得部が取得した音声の種類、音量、音程、音質、音色、声色、テンポ、周波数特性のいずれかを含む音声特徴情報に基づく推定により、前記音声を発話した搭乗者の感情状態を検出することを特徴とする請求項１記載の車載情報装置。
5. 前記車両状態検出部は、車両周辺の環境状態として、車両周辺の現在の年月日、時刻、曜日、天候状態のいずれかを検出することを特徴とする請求項１記載の車載情報装置。
6. 前記車両状態検出部は、車両の運行状態として、ステアリング、シフトレバー、ブレーキ、ウィンカー、照明、ワイパーのいずれかの操作状態を検出することを特徴とする請求項１記載の車載情報装置。
7. 前記車両状態検出部は、車両の運行状態として、車両の現在の位置、速度、加速度、方位、走行継続距離、走行継続時間、走行道路種別、走行道路路面状態、走行道路渋滞状況、走行経路設定状態、走行経路誘導状態のいずれかを検出することを特徴とする請求項１記載の車載情報装置。
8. 前記出力制御部は、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、異なる態様の表示データまたは音声データを生成することを特徴とする請求項１記載の車載情報装置。
9. 前記異なる態様の表示データまたは音声データとしては、表示文字または表示画像の種類、形状、大きさ、色、濃度、明度、画面内のレイアウトのいずれかが異なる表示データ、または、音声の種類、音量、音程、音質、音色、声色、テンポ、音像、残響、チャンネル数、周波数特性のいずれかが異なる音声データであることを特徴とする請求項８記載の車載情報装置。
10. 前記出力制御部は、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、前記発話内容の全部または部分の出力要否を判断し、前記発話内容の全部または部分の表示データまたは音声データを生成するまたは生成しないことを特徴とする請求項１記載の車載情報装置。
11. 前記出力制御部は、前記キーワードに所定の語句が含まれるか否かを判断し、前記所定の語句が含まれると判断した場合には、前記所定の語句を、所定の異なる語句または所定の画像または所定の音声に変換した表示データまたは音声データを生成することを特徴とする請求項１記載の車載情報装置。
12. 前記出力制御部は、前記キーワードに所定の略語または言い換え語または方言が含まれるか否かを判断し、前記所定の略語または言い換え語または方言が含まれると判断した場合には、前記所定の略語または言い換え語または方言を、所定の標準語句に変換した表示データまたは音声データを生成することを特徴とする請求項１記載の車載情報装置。
13. 前記出力制御部は、前記搭乗者が複数いる場合には、発話した前記複数の搭乗者を識別可能な態様の表示データまたは音声データを生成することを特徴とする請求項１記載の車載情報装置。
14. 前記出力制御部は、前記出力部が複数ある場合には、前記車両状態検出部により検出された車両状態または前記キーワード抽出部により抽出されたキーワードに応じて、表示データまたは音声データを出力する出力部または出力しない出力部を選択または変更または切り換えることを特徴とする請求項１記載の車載情報装置。
15. 前記車載情報装置は、車載ナビゲーション装置、車載オーディオ装置、車載映像装置のいずれかであることを特徴とする請求項１記載の車載情報装置。

Images