JP5986468B2 - 表示制御装置、表示システム及び表示制御方法 - Google Patents

Description

本発明は、ユーザの音声の認識結果を用いる技術に関する。

従来より、車両に搭載されるナビゲーション装置などの車載表示システムにおいては、ユーザ（代表的にはドライバ）の音声の認識結果に応じた動作を実行する音声アシスト機能が採用されている（例えば、特許文献１参照。）。例えば、ユーザが「オーディオ消音」と発声した場合には、車載表示システムは、音声認識処理の認識結果に基いてオーディオを消音するコマンドが与えられたと判断し、出力する音の音量を０にする。

このような音声アシスト機能を用いることで、ユーザは、車両の運転中であっても、ボタン等の物理的な操作部を頻繁に操作することなく、車載表示システムに所望の動作を実行させることができる。

特開２００８−１５２４１７号公報

ところで、上記のような音声アシスト機能を円滑に実行するためには、発声のタイミングや音声認識処理の認識結果など音声アシスト機能に係る各種の案内情報を、ユーザへ報知することが望ましい。このような案内情報は、車両の車室内に設けられた表示装置において表示される。

一般的な車両では、表示装置は、ユーザが比較的大きく視線を動かす必要がある位置（例えば、ダッシュボードの左右中央）に配置される。このため、音声アシスト機能を実行する際には、案内情報が報知されるごとにユーザは視線を動かすことが必要となるため、煩雑に感じる可能性があった。

また、車載表示システムが、音声アシスト機能の処理結果として施設の情報などの案内情報以外の情報をユーザに報知する場合は、案内情報以外の情報と案内情報とが同一の表示装置の画面に表示される。このため、表示装置が同時に表示する情報量が多くなり、ユーザは必要とする情報を速やかに把握することが難しくなる可能性があった。

本発明は、上記課題に鑑みてなされたものであり、ユーザが視線を大きく動かすことなく案内情報を容易に確認できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両の外部に配置されるサーバとネットワークを介したデータの送受信を行い、前記車両に設けられた表示装置に情報を表示させる表示制御装置であって、前記サーバは、音声に基づく音声認識処理と、前記音声認識処理の認識結果に基づく検索対象の検索とを行い、前記表示制御装置は、前記車両のユーザが着座する座席の正面中央までの距離が相対的に小さい第１表示装置と、前記距離が相対的に大きい第２表示装置とのそれぞれに情報を表示させる表示制御手段と、前記ユーザの音声を取得する音声取得手段と、前記ユーザの音声を対象とした前記音声認識処理の認識結果を前記サーバから取得する認識結果取得手段と、前記音声認識処理の認識結果に基づく前記検索対象の検索結果を前記サーバから取得する検索結果取得手段と、を備え、前記表示制御手段は、前記音声認識処理の認識結果を用いた処理に係る前記ユーザへの案内情報を前記第１表示装置に表示させ、前記検索結果のリストを前記第２表示装置に表示させ、前記表示制御手段は、前記検索結果取得手段が前記検索結果を取得する前に、前記認識結果取得手段が取得した前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させる。

また、請求項２の発明は、請求項１に記載の表示制御装置において、前記第２表示装置の画面サイズは、前記第１表示装置よりも大きく、前記表示制御装置は、前記リストを前記第２表示装置に表示させた場合に、前記音声認識処理の認識結果を用いた前記リストに関する音声操作が可能であり、前記表示制御手段は、前記音声操作が可能なときに、該音声操作を説明する操作説明を前記案内情報として前記第１表示装置に表示させる。

また、請求項３の発明は、請求項１または２に記載の表示制御装置において、前記第２表示装置に表示された前記リストに関するユーザの手動操作を受け付ける操作手段、を備え、前記表示制御手段は、前記リストを前記第２表示装置に表示させた場合に、前記手動操作を説明する操作説明を、前記案内情報として前記第１表示装置に表示させる。

また、請求項４の発明は、請求項３に記載の表示制御装置において、前記表示制御手段は、前記リストを前記第２表示装置に表示させた場合に、前記音声認識処理の認識結果を用いた前記リストに関する音声操作が可能なときに、該音声操作を説明する操作説明と前記手動操作を説明する操作説明との双方を同時に前記案内情報として前記第１表示装置に表示させる。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の表示制御装置において、前記表示制御手段は、前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させた場合に、前記音声認識処理を再実行する指示をユーザから受け付ける。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の表示制御装置において、前記音声認識処理の認識結果を用いた処理の処理状況を取得する状況取得手段、をさらに備え、前記案内情報は、前記処理状況を含む。

また、請求項７の発明は、表示システムであって、請求項１ないし６のいずれかに記載の表示制御装置と、前記表示制御装置の制御に基いて情報を表示する前記第１表示装置と、前記表示制御装置の制御に基いて情報を表示する前記第２表示装置と、を備えている。

また、請求項８の発明は、車両の外部に配置されるサーバとネットワークを介したデータの送受信を行い、前記車両に設けられた表示装置に情報を表示させる表示制御方法であって、前記サーバは、音声に基づく音声認識処理と、前記音声認識処理の認識結果に基づく検索対象の検索とを行い、前記表示制御方法は、（ａ）前記車両のユーザの音声を取得する工程と、（ｂ）前記ユーザの音声を対象とした前記音声認識処理の認識結果を前記サーバから取得する工程と、（ｃ）前記音声認識処理の認識結果を用いた処理に係る前記ユーザへの案内情報を、前記ユーザが着座する座席の正面中央までの距離が相対的に小さい第１表示装置に表示させる工程と、（ｄ）前記音声認識処理の認識結果に基づく前記検索対象の検索結果を前記サーバから取得する工程と、（ｅ）前記検索結果のリストを、前記距離が相対的に大きい第２表示装置に表示させる工程と、を備え、前記工程（ｃ）は、前記工程（ｄ）で前記検索結果を取得する前に、前記工程（ｂ）で取得した前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させる。

請求項１ないし８の発明によれば、ユーザへの案内情報がユーザの正面近傍にある第１表示装置に表示されるため、ユーザは視線を大きく動かすことなく、案内情報に従って音声認識処理の認識結果を用いた処理を実行させることができる。また、案内情報と検索結果のリストとが異なる表示装置に表示されるため、ユーザは必要とする情報を容易に確認できる。また、音声認識処理の認識結果がユーザの正面近傍にある第１表示装置に表示されるため、ユーザは視線を大きく動かすことなく音声認識処理の認識結果が正しいか否かを確認することができる。

また、特に請求項２の発明によれば、検索結果のリストを画面サイズが大きな第２表示装置に表示するため、一度に表示するリストの項目の数を増やすことができる。このため、ユーザはリストに含まれる項目を容易に把握できる。

また、特に請求項３の発明によれば、手動操作を説明する操作説明がユーザの正面近傍にある第１表示装置に表示されるため、ユーザは視線を大きく動かすことなくリストに関する手動操作の方法を把握できる。

また、特に請求項４の発明によれば、音声操作を説明する操作説明と手動操作を説明する操作説明との双方が同時に第１表示装置に表示されるため、ユーザは任意の操作手法を選択してリストに関する操作を行うことができる。

また、特に請求項６の発明によれば、処理状況がユーザの正面近傍にある第１表示装置に表示されるため、ユーザは視線を大きく動かすことなく処理状況を把握することができる。

図１は、音声処理システムの概要を示す図である。 図２は、音声アシスト処理の概要を示す図である。 図３は、サーバの構成を示す図である。 図４は、車載表示システムの概要を示す図である。 図５は、ステアリングホイールを拡大して示す図である。 図６は、車載表示システムの構成を示す図である。 図７は、音声アシスト処理の流れを示す図である。 図８は、音声アシスト処理の流れを示す図である。 図９は、２つのディスプレイの表示内容の例を示す図である。 図１０は、２つのディスプレイの表示内容の例を示す図である。 図１１は、２つのディスプレイの表示内容の例を示す図である。 図１２は、２つのディスプレイの表示内容の例を示す図である。 図１３は、２つのディスプレイの表示内容の例を示す図である。 図１４は、２つのディスプレイの表示内容の例を示す図である。 図１５は、２つのディスプレイの表示内容の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．音声処理システムの概要＞
図１は、本実施の形態に係る車載表示システム１を含む音声処理システム１０の概要を示す図である。音声処理システム１０は、車両９の外部に配置されるサーバ７と、車両９に搭載される車載表示システム１とを備えている。車載表示システム１は、目的地までのルートを案内するナビゲーション機能と、楽曲を再生するオーディオ機能とを備えている。サーバ７と車載表示システム１とは、インターネットなどのネットワーク８を介して相互にデータを送受信することが可能となっている。

音声処理システム１０は、車両９のユーザ（代表的にはドライバ）の音声を対象とした音声認識処理を行い、その認識結果に応じた動作を実行する音声アシスト処理を行う。この音声アシスト処理により、車両９のユーザは、様々な音声を発声することで車載表示システム１に所望の動作を実行させることができる。音声処理システム１０が対象とする音声の内容は「コマンド」「施設の条件」及び「楽曲の条件」のいずれかである。

図２は、音声処理システム１０が実行する音声アシスト処理の概要を示す図である。図２に示すように、サーバ７は、ユーザの音声を対象とした音声認識処理を実行する音声認識部７４と、ユーザの音声の意味を理解する意味理解処理を行う意味理解部７５とを備えている。

音声アシスト処理では、まず、車載表示システム１がユーザの音声を取得し、その音声を示す音声データをサーバ７に送信する（矢印Ｃ１）。次に、サーバ７の音声認識部７４が、受信した音声データを用いて音声認識処理を実行して、受信した音声データをユーザの音声を表す文字列（テキスト）に変換する。音声認識部７４は、音声認識処理の認識結果である文字列を車載表示システム１に送信する（矢印Ｃ２）。これとともに、音声認識部７４は、音声認識処理の認識結果である文字列を意味理解部７５に出力する。

意味理解部７５は、音声認識処理の認識結果の文字列に基いて意味理解処理を実行する。意味理解部７５は、まず、ユーザの音声の意味が「コマンド」「施設の条件」及び「楽曲の条件」のいずれであるかを判定する。意味理解部７５は、ユーザの音声の意味が「コマンド」と判定した場合は、判定した「コマンド」を車載表示システム１に送信する（矢印Ｃ３）。

また、意味理解部７５は、ユーザの音声の意味が「施設の条件」と判定した場合は、判定した「施設の条件」に該当する施設をデータベースから検索し、その検索結果を車載表示システム１に送信する（矢印Ｃ３）。また、意味理解部７５は、ユーザの音声の意味が「楽曲の条件」と判定した場合は、判定した「楽曲の条件」に該当する楽曲をデータベースから検索し、その検索結果を車載表示システム１に送信する（矢印Ｃ３）。

これにより、車載表示システム１は、意味理解部７５による意味理解処理の処理結果として、「コマンド」、「施設の検索結果」または「楽曲の検索結果」をサーバ７から受信する。そして、車載表示システム１は、受信した処理結果に応じた動作を実行する。

車載表示システム１は、意味理解部７５の処理結果として「コマンド」をサーバ７から受信した場合は、当該「コマンド」を実行する。例えば、ユーザが「オーディオを消して」と発声した場合は、車載表示システム１はオーディオの消音を指示する「コマンド」をサーバ７から受信する。そして、車載表示システム１は、この「コマンド」を実行し、車両９で出力される音の音量を０とする。また例えば、ユーザが「エアコンをつけて」と発声した場合は、車載表示システム１は、エアコン装置のオンを指示する「コマンド」をサーバ７から受信する。そして、車載表示システム１は、この「コマンド」を実行し、車両９のエアコン装置をオンとする。

また、車載表示システム１は、意味理解部７５の処理結果として「施設の検索結果」をサーバ７から受信した場合は、当該「施設の検索結果」のリストを表示する。例えば、ユーザが「近くのコンビニに行きたい」と発声した場合は、車載表示システム１は車両９の周辺に存在するコンビニエンスストアの検索結果をサーバ７から受信する。そして、車載表示システム１は、この検索結果のリストを表示する。ユーザは、このように表示された検索結果のリストの項目の一つを選択することで、当該項目の施設をナビゲーション機能の目的地に設定することができる。

また、車載表示システム１は、意味理解部７５の処理結果として「楽曲の検索結果」をサーバ７から受信した場合は、当該「楽曲の検索結果」のリストを表示する。例えば、ユーザが「アーティストＡの曲を聞きたい」と発声した場合は、車載表示システム１はアーティストＡに係る楽曲の検索結果をサーバ７から受信する。そして、車載表示システム１は、この検索結果のリストを表示する。ユーザは、このように表示された検索結果のリストの項目の一つを選択することで、当該項目の楽曲をオーディオ機能の再生対象にすることができる。

このように車載表示システム１は、サーバ７と協働することによって音声アシスト処理を実行し、車両９のユーザの音声に応じた様々な動作を実行することができる。音声アシスト処理は、ユーザの音声を対象とした音声認識処理の認識結果を用いた処理であるともいえる。以下、このような音声アシスト処理を実行する音声処理システム１０のサーバ７及び車載表示システム１のそれぞれについて詳細に説明する。

＜２．サーバの構成＞
図３は、サーバ７の構成を示す図である。サーバ７は、制御部７１と、データ通信部７２と、記憶部７３とを備えている。

データ通信部７２は、ネットワーク８に接続されており、ネットワーク８に接続可能な他の通信装置とのデータ通信が可能である。これにより、データ通信部７２は、車載表示システム１との間でネットワーク８を介してデータの送受信を行う。

制御部７１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。記憶部７３に記憶されたプログラム７３ｅに従ってＣＰＵが演算処理を行うことで、制御部７１の各種の機能が実現される。サーバ７が備える音声認識部７４及び意味理解部７５は、このようにプログラム７３ｅに従って演算処理を行うことで実現される機能部の一部である。

また、記憶部７３は、例えば、ハードディスクなどの不揮発性の記憶装置であり、各種の情報を記憶する。記憶部７３は、前述のプログラム７３ｅの他に、音声認識辞書７３ａ、意味判定辞書７３ｂ、施設データベース７３ｃ、及び、楽曲データベース７３ｄを記憶している。

音声認識辞書７３ａは、音声認識部７４がユーザの音声を認識する際に参照する辞書である。音声認識辞書７３ａは、音声の特徴量と文字との対応関係を示すデータを含んでいる。また、意味判定辞書７３ｂは、意味理解部７５がユーザの音声の意味を判定する際に参照する辞書である。音声認識辞書７３ａは、単語と意味（「コマンド」「施設の条件」または「楽曲の条件」）との対応関係を示すデータを含んでいる。

施設データベース７３ｃは、ユーザの音声の意味が「施設の条件」である場合に、意味理解部７５が検索対象とするデータベースである。施設データベース５２は、ナビゲーション機能の目的地の候補となる多数の施設のデータを含んでいる。施設データベース７３ｃに含まれるデータは、定期的に最新のものに更新される。

また、楽曲データベース７３ｄは、ユーザの音声の意味が「楽曲の条件」である場合に、意味理解部７５が検索対象とするデータベースである。楽曲データベース７３ｄは、オーディオ機能で再生可能な多数の楽曲のデータを含んでいる。楽曲データベース７３ｄに含まれるデータは、定期的に最新のものに更新される。

＜３．車載表示システムの構成＞
図４は、車載表示システム１の概要を示す図である。図４は、車両９の車室内の様子を示している。図４に示すように、車載表示システム１は、ユーザの指による操作（以下、「手動操作」という。）を受け付ける操作部３３と、ユーザが発声した音声を入力するマイク３４と、音を出力するスピーカ３５とを備えている。操作部３３及びマイク３４は車両９のステアリングホイール９３に配置され、スピーカ３５は車両９のドア９５に配置されている。

図５は、ステアリングホイール９３を拡大して示す図である。図５に示すように、マイク３４は、ユーザの音声を効率的に入力できるように、ステアリングホイール９３の中央部の近傍に設けられている。

また、操作部３３は、ステアリングスイッチとも呼ばれ、ユーザが手動操作するための物理的な複数のボタン３３ａ〜３３ｃを備えている。これらのボタン３３ａ〜３３ｃは、ユーザがステアリングホイール９３を握ったまま手動操作できるように、ステアリングホイール９３の左側と右側とに分散して配置されている。

ステアリングホイール９３の左側には、ホイールボタン３３ａとキャンセルボタン３３ｂとが設けられている。ホイールボタン３３ａは、上下方向に回転する操作と、押圧する操作とをユーザから受け付けることが可能である。また、ステアリングホイール９３の右側には、音声認識ボタン３３ｃが設けられている。ユーザは、この音声認識ボタン３３ｃを押圧することで、音声処理システム１０に音声アシスト処理を開始させることができる。

図４に戻り、車載表示システム１は、また、各種の情報を表示する表示装置として、メインディスプレイ３１とサブディスプレイ３２とを備えている。メインディスプレイ３１は、サブディスプレイ３２と比較して画面サイズが大きく、同時に多くの情報を表示することができる。また、メインディスプレイ３１は、タッチパネル機能を備えており、ユーザの手動操作を受け付けることも可能となっている。

メインディスプレイ３１は、車両９のダッシュボード９２の左右中央に設けられている。一方、サブディスプレイ３２は、ダッシュボード９２において、ユーザ（ドライバ）が着座する運転席９１の正面にあるメータパネル９４の上部に設けられている。このためサブディスプレイ３２は、運転席９１のほぼ正面中央に配置される。

サブディスプレイ３２は運転席９１の正面中央までの距離が相対的に小さく、メインディスプレイ３１は運転席９１の正面中央までの距離が相対的に大きいともいえる。したがって、運転中においてユーザ（ドライバ）は、視線を大きく動かすことなく、サブディスプレイ３２を確認することができる。これに対して、ユーザ（ドライバ）は、メインディスプレイ３１を確認するためには、視線を比較的大きく動かす必要がある。

また、車載表示システム１は、これらの２つのディスプレイ３１，３２を制御する表示制御装置２を備えている。２つのディスプレイ３１，３２はそれぞれ、この表示制御装置２の制御に基いて情報を表示する。表示制御装置２は、例えば、車両９のセンターコンソール９６に配置される。

図６は、表示制御装置２を含む車載表示システム１の構成を示す図である。表示制御装置２は、制御部２１と、データ通信部２２と、ナビゲーション部２３と、オーディオ部２４と、記憶部２５と、信号送信部２６とを備えている。

制御部２１は、表示制御装置２の全体を統括的に制御するマイクロコンピュータであり、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２１は、車載表示システム１が備えるメインディスプレイ３１、サブディスプレイ３２、操作部３３、マイク３４及びスピーカ３５のそれぞれと電気的に接続されている。これにより、制御部２１は、２つのディスプレイ３１，３２を制御して各種の情報を表示させることができる。また、制御部２１は、スピーカ３５を制御して各種の音を出力させることができる。さらに、制御部２１は、操作部３３が受け付けたユーザの手動操作の内容を示す操作信号や、マイク３４が入力したユーザの音声を示す音声信号を受け取り、これらの信号に応答して処理を行うことができる。

データ通信部２２は、ＷｉＭＡＸ（登録商標）や３Ｇなどの無線通信を利用したネットワーク８への接続機能を有している。したがって、データ通信部２２は、サーバ７との間でネットワーク８を介してデータの送受信を行うことが可能である。なお、データ通信部２２が、ネットワーク８への接続機能を有するスマートフォン等の他の通信装置を中継器として利用して、サーバ７との間でデータの送受信を行ってもよい。

ナビゲーション部２３は、目的地までのルートを案内するナビゲーション機能を実現する。ナビゲーション部２３は、ユーザにより目的地が設定された場合は、ＧＰＳにより取得される車両９の位置から目的地までのルートを導出し、導出したルートをユーザへ案内する。また、ナビゲーション部２３は、記憶部２５に記憶された地図データ２５ａを用いて、車両９の周辺の地図画像を生成する。この車両９の周辺の地図画像は、制御部２１の制御により、メインディスプレイ３１に表示される。

オーディオ部２４は、楽曲を再生するオーディオ機能を実現する。オーディオ部２４は、ユーザにより再生対象となる楽曲が設定された場合は、その楽曲の音響データをデコードして音響信号を生成する。この音響信号は制御部２１の制御によりスピーカ３５に出力され、スピーカ３５から音が出力される。

記憶部２５は、例えば、フラッシュメモリなどの不揮発性の記憶装置であり、各種の情報を記憶する。記憶部２５は、地図データ２５ａの他に、プログラム２５ｂを記憶している。

信号送信部２６は、車載表示システム１以外に車両９に設けられる装置に制御信号を送信する。信号送信部２６は、例えば、制御部２１の制御により、車両９に設けられるエアコン装置９７に制御信号を送信する。制御部２１は、このように信号送信部２６を介してエアコン装置９７に制御信号を送信することで、エアコン装置９７のオン／オフ、あるいは、設定温度の変更など、エアコン装置９７の動作を制御することができる。

また、制御部２１は、記憶部２５に記憶されたプログラム２５ｂに従ってＣＰＵが演算処理を行うことで実現される機能として、各種の機能を備えている。図中に示す表示制御部２１ａ、サーバ連携部２１ｂ、状況取得部２１ｃ、ナビ制御部２１ｄ、オーディオ制御部２１ｅ及びコマンド実行部２１ｆは、プログラム２５ｂに従って演算処理を行うことで実現される制御部２１の機能部の一部である。

表示制御部２１ａは、メインディスプレイ３１及びサブディスプレイ３２を制御し、これら２つのディスプレイ３１，３２のそれぞれに各種の情報を表示させる。表示制御部２１ａは、音声アシスト処理の実行中においては、音声アシスト処理に係るユーザへの各種の案内情報をサブディスプレイ３２に表示させる。このユーザへの案内情報は、例えば、発声のタイミング、音声認識処理の認識結果などである。このようにユーザへの案内情報がユーザの正面近傍にあるサブディスプレイ３２に表示されるため、ユーザは視線を大きく動かすことなく案内情報に従って音声アシスト処理を実行させることができる。

サーバ連携部２１ｂは、データ通信部２２を介してサーバ７と通信を行い、サーバ７と連携して音声アシスト処理に必要な処理を実行する。例えば、サーバ連携部２１ｂは、ユーザの音声を取得して、ユーザの音声を示す音声データをサーバ７に送信する。また、サーバ連携部２１ｂは、音声認識部７４の認識結果、及び、意味理解部７５の処理結果（「コマンド」または「検索結果」）をサーバ７から取得する。

状況取得部２１ｃは、サーバ連携部２１ｂの処理に基いて、音声アシスト処理の処理状況を取得する。具体的には、状況取得部２１ｃは、音声認識部７４による音声認識処理の実行中、あるいは、意味理解部７５による意味理解処理の実行中などの処理状況を取得する。

また、ナビ制御部２１ｄはナビゲーション部２３の動作を制御し、オーディオ制御部２１ｅはオーディオ部２４の動作を制御する。また、コマンド実行部２１ｆは、音声アシスト処理において「コマンド」をサーバ７から取得した場合に当該「コマンド」を実行する。これらの機能部２１ａ〜２１ｆの処理の詳細についてはさらに後述する。

＜４．音声アシスト処理の流れ＞
次に、音声処理システム１０による音声アシスト処理の流れを説明する。図７及び図８は、この音声アシスト処理の流れを示す図である。図７においては、図中の左側は車載表示システム１の処理の流れを示しており、図中の右側はサーバ７の処理の流れを示している。また、図８は、車載表示システム１のみの処理の流れを示している。また、図９から図１５はそれぞれ、メインディスプレイ３１及びサブディスプレイ３２それぞれの同一時点での表示内容の例を示している。

図９は、音声アシスト処理の開始前の２つのディスプレイ３１，３２の表示内容の例を示している。音声アシスト処理の開始前においては、表示制御部２１ａは、メインディスプレイ３１に車両９の周辺の地図画像ＭＰを表示させ、サブディスプレイ３２にその時点の時刻等を表示させる。このような状態において、車両９のユーザが音声認識ボタン３３ｃ（図５参照。）を押圧すると、音声アシスト処理が開始される。

音声アシスト処理が開始されると、まず、表示制御部２１ａが、音声アシスト処理に係る案内情報として、ユーザが発声すべきタイミングをサブディスプレイ３２に表示させる（図７のステップＳ１１）。これにより、図１０に示すように、「ピッとなったらお話ください」という案内情報Ｇ１がサブディスプレイ３２に表示される。

次に、サーバ連携部２１ｂが、スピーカ３５を制御してビープ音をスピーカ３５から出力させる。このビープ音の出力後、ユーザは任意の音声を発声し、マイク３４がユーザの音声を入力する。サーバ連携部２１ｂは、このマイク３４から出力される音声信号を受け取り、ユーザの音声を取得する。

ビープ音の出力後、所定時間（例えば１０秒間）ユーザが音声を発声せず、サーバ連携部２１ｂがユーザの音声を取得できなかった場合は（ステップＳ１２にてＮｏ）、表示制御部２１ａが音声アシスト処理を終了する旨のメッセージをサブディスプレイ３２に表示させ（ステップＳ１３）、音声アシスト処理が終了する。

また、サーバ連携部２１ｂがユーザの音声を取得できた場合は（ステップＳ１２にてＹｅｓ）、次に、サーバ連携部２１ｂは、受信した音声信号のうちユーザの音声が含まれる区間を抽出する区間抽出処理を実行する（ステップＳ１４）。サーバ連携部２１ｂは、例えば、音声信号のうち所定の閾値を超えるレベルの信号が連続する区間を抽出する。サーバ連携部２１ｂは、抽出した音声信号をＭＰ３などの所定形式の音声データに変換する。

次に、サーバ連携部２１ｂは、ユーザの音声を示す音声データを、データ通信部２２を介してサーバ７へ送信する（ステップＳ１５）（矢印Ｃ１）。サーバ７の音声認識部７４は、このように車載表示システム１から送信された音声データをデータ通信部７２を介して受信する（ステップＳ７１）。

音声認識部７４は、音声データを受信すると、音声データが示すユーザの音声を対象に音声認識処理を実行する（ステップＳ７２）。音声認識部７４は、音声認識辞書７３ａを参照し、ユーザの音声の特徴量に基づいてユーザの音声を文字に変換する。そして、音声認識部７４は、音声認識処理の認識結果としてユーザの音声を表す文字列を生成する。

また、このようなサーバ７における音声認識処理の実行（ステップＳ７２）に並行して、車載表示システム１の状況取得部２１ｃは、音声データの送信完了に基づき、サーバ７において音声認識処理が実行中であるという処理状況を取得する。そして、表示制御部２１ａが、音声アシスト処理に係る案内情報として、この音声アシスト処理の処理状況をサブディスプレイ３２に表示させる（ステップＳ１６）。これにより、図１１に示すように、処理状況を示す「音声認識中」という案内情報Ｇ２がサブディスプレイ３２に表示される。

その後、サーバ７の音声認識部７４が音声認識処理を完了すると、音声認識部７４は、音声認識処理の認識結果の文字列を車載表示システム１にデータ通信部７２を介して送信する（ステップＳ７３）（矢印Ｃ２）。

また、音声認識部７４は、音声認識処理の認識結果の文字列を意味理解部７５に出力する。意味理解部７５は、これに応答して、音声認識処理の認識結果の文字列を対象に意味理解処理を開始する（ステップＳ７４）。

一方、車載表示システム１のサーバ連携部２１ｂは、サーバ７から送信された音声認識処理の認識結果の文字列を、データ通信部２２を介して受信して取得する（ステップＳ１７）。車載表示システム１の状況取得部２１ｃは、この認識結果の受信完了に基づき、サーバ７において意味理解処理が実行中であるという処理状況を取得する。

そして、表示制御部２１ａが、音声アシスト処理に係る案内情報として、音声認識処理の認識結果の文字列と、音声アシスト処理の処理状況とをサブディスプレイ３２に表示させる（ステップＳ１８）。これにより、図１２に示すように、認識結果の文字列（図の例では「近くのコンビニに行きたい」）を示す案内情報Ｇ３と、処理状況を示す「意味理解中」という案内情報Ｇ４とがサブディスプレイ３２に表示される。ユーザは、このようなサブディスプレイ３２の表示内容を視認することで、音声認識処理においてユーザの音声が正しく認識されたか否かを確認することができる。

さらに、表示制御部２１ａは、図１２に示すように、コマンドボタンである「やり直し」ボタンＢ１を含むダイアログＤをサブディスプレイ３２に表示させる。「やり直し」ボタンＢ１には、音声認識処理を再実行する指示が割り当てられている。ユーザは、ホイールボタン３３ａを押圧することで、「やり直し」ボタンＢ１の指示を確定できる。なお、キャンセルボタン３３ｂを押圧することで、「やり直し」ボタンＢ１の指示を確定できてもよい。

「やり直し」ボタンＢ１の指示が確定された場合は（ステップＳ１９にてＹｅｓ）、処理はステップＳ１１に戻ることになる。ユーザは、音声が誤って認識された場合は、「やり直し」ボタンＢ１の指示を確定することで、発声をやり直して音声認識処理を再び実行させることができる。

また、このように車載表示システム１において音声認識処理の認識結果等が表示されている状況（ステップＳ１８）に並行して、サーバ７では、意味理解部７５が意味理解処理を進行する（ステップＳ７４）。

意味理解部７５は、音声認識処理の認識結果の文字列から、助詞や接続詞などの不用語を消去することで単語を抽出する。そして、意味理解部７５は、抽出した単語と、意味判定辞書７３ｂとに基いて、ユーザの音声の意味が「コマンド」「施設の条件」及び「楽曲の条件」のいずれに該当するかを判定する。

そして、意味理解部７５は、ユーザの音声の意味が「コマンド」と判定した場合は、意味認識処理の処理結果として、当該「コマンド」を車載表示システム１にデータ通信部７２を介して送信する（ステップＳ７５）（矢印Ｃ３）。「コマンド」は、例えば、「エアコンのオン」、「温度を下げる」等のエアコン装置９７に関わるものや、「消音」、「音量を上げる」等のオーディオ機能に係るものなどがある。

また、意味理解部７５は、ユーザの音声の意味が「施設の条件」と判定した場合は、判定した「施設の条件」を検索条件として用い、その検索条件を満足する施設を施設データベース７３ｃから検索する。「施設の条件」は、例えば、「近く」等の場所や「コンビニ」等の施設種別などである。この検索において、車両９の位置が必要な場合は、車載表示システム１のナビゲーション部２３から車両９の位置を取得すればよい。そして、意味理解部７５は、意味認識処理の処理結果として、その検索結果を車載表示システム１にデータ通信部７２を介して送信する（ステップＳ７５）（矢印Ｃ３）。

また、意味理解部７５は、ユーザの音声の意味が「楽曲の条件」と判定した場合は、判定した「楽曲の条件」を検索条件として用い、その検索条件を満足する楽曲を楽曲データベース７３ｄから検索する。「楽曲の条件」は、例えば、アーティスト名、アルバム名などである。そして、意味理解部７５は、意味認識処理の処理結果として、その検索結果を車載表示システム１にデータ通信部７２を介して送信する（ステップＳ７５）（矢印Ｃ３）。

車載表示システム１のサーバ連携部２１ｂは、サーバ７から送信された意味認識処理の処理結果を、データ通信部２２を介して受信して取得する（ステップＳ２０）。次に、サーバ連携部２１ｂは、サーバ７から取得した処理結果が、「コマンド」及び「検索結果」のいずれであるかを判定する（図８のステップＳ２１）。

処理結果が「コマンド」である場合（ステップＳ２１にてＮｏ）は、表示制御部２１ａが、音声アシスト処理に係る案内情報として、当該「コマンド」の内容をサブディスプレイ３２に表示させる（ステップＳ２２）。これにより、図１３に示すように「コマンド」の内容（図の例では「エアコンをオンにします」）を示す案内情報Ｇ５がサブディスプレイ３２に表示される。

次に、コマンド実行部２１ｆが、当該「コマンド」を実行する（ステップＳ２３）。これにより、音声アシスト処理が終了する。例えば、当該「コマンド」がエアコン装置９７に係るものである場合は、コマンド実行部２１ｆは、信号送信部２６を介してエアコン装置９７に制御信号を送信する。また例えば、当該「コマンド」がオーディオ機能に係るものである場合は、コマンド実行部２１ｆは、オーディオ制御部２１ｅに「コマンド」を与え、オーディオ部２４を制御させる。

また、処理結果が「検索結果」である場合（ステップＳ２１にてＹｅｓ）は、表示制御部２１ａは、図１４に示すように、「やり直し」ボタンＢ１とともに、コマンドボタンである「検索結果表示」ボタンＢ２を含むダイアログＤを、サブディスプレイ３２に表示させる（ステップＳ２４）。「検索結果表示」ボタンＢ２には、検索結果のリストを表示する指示が割り当てられている。

ユーザは、ホイールボタン３３ａを回転することで、「やり直し」ボタンＢ１及び「検索結果表示」ボタンＢ２のいずれかをカーソルＢＣで仮選択できる。そして、ユーザは、ホイールボタン３３ａを押圧することで、カーソルＢＣで仮選択したコマンドボタンの指示を確定できる。「やり直し」ボタンＢ１の指示が確定された場合は（ステップＳ２５にてＮｏ）、処理は図７のステップＳ１１に戻るため、ユーザは、発声をやり直して音声認識処理を再び実行させることができる。なお、キャンセルボタン３３ｂを押圧することで、カーソルＢＣの位置とは無関係に、「やり直し」ボタンＢ１の指示を確定できるようにしてもよい。

また、「検索結果表示」ボタンＢ２の指示が確定された場合は（ステップＳ２５にてＹｅｓ）、表示制御部２１ａは、図１５に示すように、検索結果のリストＬをメインディスプレイ３１に表示させる（ステップＳ２６）。

図１５に示すように、メインディスプレイ３１は、その画面が上下２つの領域に分割されて、上側の領域に地図画像ＭＰを表示し、下側の領域に検索結果のリストＬを表示する。図１５の例では、メインディスプレイ３１は、施設に係る検索結果を表示しており、検索結果のリストＬの各項目は一つの施設に対応している。また、リストＬに含まれる各項目の施設の位置は、地図画像ＭＰ上においてアイコンＴＰによって示されている。

このように検索結果のリストＬが、画面サイズが比較的大きなメインディスプレイ３１に表示されるため、一度に表示するリストＬの項目の数を増やすことができる。このため、ユーザはリストＬに含まれる項目を容易に把握することができる。

また、図１５のようにメインディスプレイ３１が検索結果のリストＬを表示している状態においては、ユーザは、手動操作あるいは音声操作によって、検索結果のリストＬに関する操作を行うことができる。

ユーザは、手動操作を行う場合は、ホイールボタン３３ａを回転することで、リストの項目のいずれかをカーソルＬＣで仮選択する。そして、ユーザは、ホイールボタン３３ａを押圧することで、カーソルＬＣで仮選択した項目の選択を確定する。

また、ユーザは、音声操作を行う場合は、音声認識ボタン３３ｃを押圧した後、項目を選択するための音声、あるいは、項目を絞り込むための音声を発する。これにより、この音声を対象とした音声認識処理の認識結果を用いた再度の音声アシスト処理が実行される。その結果、リストＬの項目の選択、あるいは、リストＬの項目の絞り込みがなされる。

具体的には、ユーザが、順番を示す単語を含む音声を発声した場合は、表示されているリストＬ中の当該順番の項目を選択できる。例えば、ユーザが「２番目」と発声した場合は、リストＬ中の上から２番目に表示されている項目が選択されることになる。

また、ユーザが、項目の絞込条件となる単語を含む音声を発声した場合は、表示されているリストＬ中の項目が、当該絞込条件を満足する項目のみに絞り込まれて表示される。例えば、コンビニエンスストアに係る検索結果を表示している場合に、ユーザが「ＡＴＭのあるところ」と発声した場合は、元の「施設の条件」に「ＡＴＭ」という絞込条件が加えられて再度の検索がなされる。そして、その検索結果のリストＬが、メインディスプレイ３１に表示されることになる。

このような手動操作及び音声操作をユーザに案内するため、表示制御部２１ａは、検索結果のリストをメインディスプレイ３１に表示させた場合は、音声アシスト処理に係る案内情報として、手動操作を説明する操作説明と、音声操作を説明する操作説明との双方を同時にサブディスプレイ３２に表示させる（ステップＳ２７）。これにより、図１５に示すように、手動操作に係る操作説明を示す案内情報Ｇ６と、音声操作に係る説明説明を示す案内情報Ｇ７とがサブディスプレイ３２に表示される。

手動操作に係る操作説明を示す案内情報Ｇ６は、図形を用いたホイールボタン３３ａの操作手法を含んでいる。また、音声操作に係る操作説明を示す案内情報Ｇ７は、絞込条件の候補となる単語を含んでいる。このような絞込条件に利用可能な単語は、検索結果のリストＬの各項目となるデータに予め関連付けておけばよい。

このように手動操作や音声操作を説明する操作説明がユーザの正面近傍にあるサブディスプレイ３２に表示されるため、ユーザは視線を大きく動かすことなくリストＬに関する操作の方法を把握できる。また、音声操作を説明する操作説明と手動操作を説明する操作説明との双方が同時にサブディスプレイ３２に表示されるため、ユーザは双方の操作手法を把握した上で、任意の操作手法を選択してリストＬに関する操作を行うことができる。

メインディスプレイ３１が検索結果のリストを表示している状態において、ユーザが音声認識ボタン３３ｃを押圧した場合（ステップＳ２８にてＹｅｓ）は、処理は図７のステップＳ１１に移行する。これにより、検索結果のリストＬに関する音声操作のための音声アシスト処理が実行されることになる。

また、ユーザが、検索結果のリストＬの項目の一つを選択した場合は（ステップＳ２９にてＹｅｓ）、選択された項目に応じた処理が実行される（ステップＳ３０）。これにより、音声アシスト処理が終了する。

例えば、ユーザが、施設に係る検索結果のリストＬの項目の一つを選択した場合は、ナビ制御部２１ｄが、当該項目の施設をナビゲーション機能の目的地に設定する。以降、ナビゲーション部２３は、この目的地までのルートを案内する。

また、ユーザが、楽曲に係る検索結果のリストＬの項目の一つを選択した場合は、オーディオ制御部２１ｅが、当該項目の楽曲をオーディオ機能の再生対象に設定する。以降、オーディオ部２４は、この楽曲を再生する。なお、オーディオ部２４は、再生対象に設定された楽曲の音響データを、表示制御装置２の内部の記憶部２５から取得してもよく、ネットワーク８に接続された外部サーバ等からダウンロードして取得してもよい。

以上のように、本実施の形態の車載表示システム１は、運転席９１の正面中央までの距離が相対的に小さいサブディスプレイ３２と、運転席９１の正面中央までの距離が相対的に大きいメインディスプレイ３１とを備えている。表示制御装置２の表示制御部２１ａは、これら２つのディスプレイ３１，３２を制御し、２つのディスプレイ３１，３２のそれぞれに各種の情報を表示させる。また、表示制御装置２のサーバ連携部２１ｂは、ユーザの音声を取得するとともに、そのユーザの音声を対象とした音声認識処理の認識結果に基づく検索対象の検索結果を取得する。そして、表示制御部２１ａは、音声認識処理の認識結果を用いた音声アシスト処理に係るユーザへの案内情報をサブディスプレイ３２に表示させる一方で、検索結果のリストＬをメインディスプレイ３１に表示させる。

このように、音声アシスト処理に係るユーザへの案内情報が運転席９１の正面近傍にあるサブディスプレイ３２に表示されるため、ユーザは視線を大きく動かすことなく、案内情報に従って音声アシスト処理を実行させることができる。また、音声アシスト処理に係るユーザへの案内情報がサブディスプレイ３２に表示される一方で、検索結果のリストＬがメインディスプレイ３１に表示される。このため、一つのディスプレイが同時に表示する情報量を少なくすることができることから、ユーザは必要とする情報を容易に確認することができる。

また、検索結果のリストＬが画面サイズが比較的大きなメインディスプレイ３１に表示されるため、一度に表示するリストの項目の数を増やすことができる。このため、ユーザはリストＬに含まれる項目を容易に把握できる。

また、音声アシスト処理に係る案内情報として音声認識処理の認識結果がサブディスプレイ３２に表示されるため、ユーザは視線を大きく動かすことなく音声認識処理の認識結果が正しいか否かを確認することができる。

また、音声アシスト処理に係る案内情報として音声アシスト処理の処理状況がサブディスプレイ３２に表示されるため、ユーザは視線を大きく動かすことなく処理状況を把握することができる。

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、車載表示システム１はサーバ７と協働することによって音声アシスト処理を実行するものであったが、車載表示システム１は単体で音声アシスト処理を実行可能となっていてもよい。この場合は、上記実施の形態でサーバ７が備えていた音声認識部７４及び意味理解部７５と同様の処理部を、車載表示システム１（例えば、表示制御装置２）が備えていればよい。また、車載表示システム１は、サーバ７との協働による音声アシスト処理と単体での音声アシスト処理とのいずれも実行可能とし、いずれを実行するかをサーバ７との通信状態等に応じて選択するようにしてもよい。

また、上記実施の形態では、サブディスプレイ３２はメータパネル９４の上部に配置されていたが、メータパネル９４の横や、メータパネル９４の内部などに配置されてもよい。すなわち、サブディスプレイ３２は、メインディスプレイ３１と比較してユーザの座席の正面中央までの距離が小さく、視線を大きく動かすことなく確認できる位置に配置すればよい。

また、上記実施の形態では、表示制御装置２は、車両９に搭載される車載装置であるものとして説明したが、携帯電話やスマートフォンなどの可搬性の通信装置であってもよい。

また、上記実施の形態では、車載表示システム１のユーザは、車両９のドライバであるものとして説明したが、ドライバ以外の同乗者であってもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。

１ 車載表示システム
２ 表示制御装置
９ 車両
１０ 音声処理システム
３１ メインディスプレイ
３２ サブディスプレイ
３３ｃ 音声認識ボタン
９１ 運転席

Claims (8)

1. 車両の外部に配置されるサーバとネットワークを介したデータの送受信を行い、前記車両に設けられた表示装置に情報を表示させる表示制御装置であって、
   前記サーバは、音声に基づく音声認識処理と、前記音声認識処理の認識結果に基づく検索対象の検索とを行い、
   前記表示制御装置は、
   前記車両のユーザが着座する座席の正面中央までの距離が相対的に小さい第１表示装置と、前記距離が相対的に大きい第２表示装置とのそれぞれに情報を表示させる表示制御手段と、
   前記ユーザの音声を取得する音声取得手段と、
   前記ユーザの音声を対象とした前記音声認識処理の認識結果を前記サーバから取得する認識結果取得手段と、
   前記音声認識処理の認識結果に基づく前記検索対象の検索結果を前記サーバから取得する検索結果取得手段と、
   を備え、
   前記表示制御手段は、
   前記音声認識処理の認識結果を用いた処理に係る前記ユーザへの案内情報を前記第１表示装置に表示させ、
   前記検索結果のリストを前記第２表示装置に表示させ、
   前記表示制御手段は、前記検索結果取得手段が前記検索結果を取得する前に、前記認識結果取得手段が取得した前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させることを特徴とする表示制御装置。
2. 請求項１に記載の表示制御装置において、
   前記第２表示装置の画面サイズは、前記第１表示装置よりも大きく、
   前記表示制御装置は、前記リストを前記第２表示装置に表示させた場合に、前記音声認識処理の認識結果を用いた前記リストに関する音声操作が可能であり、
   前記表示制御手段は、前記音声操作が可能なときに、該音声操作を説明する操作説明を前記案内情報として前記第１表示装置に表示させることを特徴とする表示制御装置。
3. 請求項１または２に記載の表示制御装置において、
   前記第２表示装置に表示された前記リストに関するユーザの手動操作を受け付ける操作手段、
   を備え、
   前記表示制御手段は、前記リストを前記第２表示装置に表示させた場合に、前記手動操作を説明する操作説明を、前記案内情報として前記第１表示装置に表示させることを特徴とする表示制御装置。
4. 請求項３に記載の表示制御装置において、
   前記表示制御手段は、
   前記リストを前記第２表示装置に表示させた場合に、前記音声認識処理の認識結果を用いた前記リストに関する音声操作が可能なときに、該音声操作を説明する操作説明と前記手動操作を説明する操作説明との双方を同時に前記案内情報として前記第１表示装置に表示させることを特徴とする表示制御装置。
5. 請求項１ないし４のいずれかに記載の表示制御装置において、
   前記表示制御手段は、前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させた場合に、前記音声認識処理を再実行する指示をユーザから受け付けることを特徴とする表示制御装置。
6. 請求項１ないし５のいずれかに記載の表示制御装置において、
   前記音声認識処理の認識結果を用いた処理の処理状況を取得する状況取得手段、
   をさらに備え、
   前記案内情報は、前記処理状況を含むことを特徴とする表示制御装置。
7. 請求項１ないし６のいずれかに記載の表示制御装置と、
   前記表示制御装置の制御に基いて情報を表示する前記第１表示装置と、
   前記表示制御装置の制御に基いて情報を表示する前記第２表示装置と、
   を備えることを特徴とする表示システム。
8. 車両の外部に配置されるサーバとネットワークを介したデータの送受信を行い、前記車両に設けられた表示装置に情報を表示させる表示制御方法であって、
   前記サーバは、音声に基づく音声認識処理と、前記音声認識処理の認識結果に基づく検索対象の検索とを行い、
   前記表示制御方法は、
   （ａ）前記車両のユーザの音声を取得する工程と、
   （ｂ）前記ユーザの音声を対象とした前記音声認識処理の認識結果を前記サーバから取得する工程と、
   （ｃ）前記音声認識処理の認識結果を用いた処理に係る前記ユーザへの案内情報を、前記ユーザが着座する座席の正面中央までの距離が相対的に小さい第１表示装置に表示させる工程と、
   （ｄ）前記音声認識処理の認識結果に基づく前記検索対象の検索結果を前記サーバから取得する工程と、
   （ｅ）前記検索結果のリストを、前記距離が相対的に大きい第２表示装置に表示させる工程と、
   を備え、
   前記工程（ｃ）は、前記工程（ｄ）で前記検索結果を取得する前に、前記工程（ｂ）で取得した前記音声認識処理の認識結果を前記案内情報として前記第１表示装置に表示させることを特徴とする表示制御方法。

Images