JP6910451B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

本発明は、車両とともに移動可能な第１表示部と、当該車両とともに移動可能な第２表示部とを制御可能な表示制御装置に関する。

近年、ユーザが発した音声を文字に変換し、当該文字を表示する表示装置が提案されている（例えば特許文献１）。このような表示装置によれば、ユーザの意思疎通先である相手は、ユーザの音声が聴き取れない場合でも、表示された文字を見ることによって当該音声の内容を確認することができる。

特開２０１６−０９０３６７号公報

しかしながら、ユーザと相手とが車両の前席及び後席にそれぞれ座っている場合などにおいては、相手が見ている表示画面をユーザが見ることが困難である場合がある。この場合、ユーザは、自身が発した音声に基づき表示画面に表示される文字の内容が正しいか否かを確認し難いという問題がある。また、ユーザは、表示画面のどの部分について音声を発したかを示すことができないという問題がある。以上の結果として、ユーザと相手との間の意思疎通に誤りが生じることがあった。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、ユーザと相手との間における意思疎通の誤りを抑制可能な技術を提供することを目的とする。

本発明に係る表示制御装置は、車両とともに移動可能な、車両に固定された運転者用の第１表示部と、当該車両とともに移動可能な、運転者の意思疎通先である相手用の第２表示部とを制御可能な表示制御装置であって、音声と、ジェスチャー操作とを取得する取得部と、第１表示部の第１表示画面のうち取得部で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示部の第２表示画面のうち取得部で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部で取得された音声から変換された文字を表示する制御を行う制御部とを備える。ジェスチャー操作は、第１表示画面または第２表示画面上に軌跡を描く軌跡操作を含み、制御部は、第１表示画面、及び、第２表示画面に、予め定められたコンテンツを表示する制御と、第１表示画面のうち取得部で取得された軌跡操作の軌跡に対応する部分、及び、第２表示画面のうち取得部で取得された軌跡操作の軌跡に対応する部分のそれぞれに、文字を表示する制御と、取得部で取得された軌跡操作の軌跡を第１表示画面及び第２表示画面に表示する制御とを行う。

本発明によれば、第１表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行う。このような構成によれば、ユーザと相手との間における意思疎通の誤りを抑制することができる。

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る表示制御装置の構成を示すブロック図である。 実施の形態１に係る表示制御装置の表示制御を説明するための図である。 実施の形態１に係る表示制御装置の表示制御を説明するための図である。 実施の形態２に係る表示制御装置の構成を示すブロック図である。 実施の形態２に係る表示制御装置の動作を示すフローチャートである。 実施の形態２に係る表示制御装置の表示制御を説明するための図である。 実施の形態２に係る表示制御装置の表示制御を説明するための図である。 実施の形態２に係る表示制御装置の表示制御を説明するための図である。 変形例３に係る表示制御装置の表示制御を説明するための図である。 変形例３に係る表示制御装置の表示制御を説明するための図である。 変形例３に係る表示制御装置の表示制御を説明するための図である。 変形例３に係る表示制御装置の表示制御を説明するための図である。 変形例４に係る表示制御装置の表示制御を説明するための図である。 変形例５に係る表示制御装置の構成を示すブロック図である。 変形例５に係る表示制御装置の表示制御を説明するための図である。 変形例６に係る表示制御装置の構成を示すブロック図である。 変形例６に係る表示制御装置の構成を示すブロック図である。 変形例６に係る表示制御装置の構成を示すブロック図である。 変形例６に係る表示制御装置の構成を示すブロック図である。 変形例６に係る表示制御装置の構成を示すブロック図である。 その他の変形例に係るナビゲーション装置のハードウェア構成を示すブロック図である。 その他の変形例に係るナビゲーション装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る表示制御装置１の構成を示すブロック図である。この表示制御装置１は、第１表示部２及び第２表示部３と有線または無線によって接続されており、第１表示部２及び第２表示部３を制御することが可能となっている。

第１表示部２は、車両とともに移動可能であり、第２表示部３は、当該車両とともに移動可能である。第１表示部２及び第２表示部３のそれぞれは、例えば、車両に固定された表示部、及び、車両外部から車両に持ち込まれた携帯端末の表示部などである。車両に固定された表示部は、例えば、液晶表示装置、及び、ＨＵＤ（ヘッドアップディスプレイ）などである。携帯端末は、例えば、携帯電話、スマートフォン及びタブレットなどである。

なお、第１表示部２は、１つの表示装置または複数の表示装置のそれぞれであってもよいし、第２表示部３は、１つの表示装置または複数の表示装置のそれぞれであってもよい。以下では、第１表示部２は、車両の運転者及び同乗者の一方の視認に用いられ、第２表示部３は、他方の視認に用いられる場合を例にして説明する。

図１の表示制御装置１は、取得部１１と制御部１２とを備える。

取得部１１は、音声を取得する。取得部１１は、例えば、マイクなどの音声入力装置であってもよいし、当該音声入力装置と通信可能なインターフェースであってもよい。

また取得部１１は、ジェスチャー操作も取得する。取得部１１は、例えば、第１表示画面及び第２表示画面のそれぞれに設けられたタッチパネルであってもよいし、当該タッチパネルと通信可能なインターフェースであってもよいし、車両室内の画像を取得するカメラと、当該画像を解析する画像解析装置との組み合わせた装置であってもよいし、当該装置と通信可能なインターフェースであってもよい。

なお、ジェスチャー操作は、第１表示部２の表示画面である第１表示画面の部分、または、第２表示部３の表示画面である第２表示画面の部分を指示する操作である。ジェスチャー操作は、第１表示画面及び第２表示画面をなぞる操作などのように第１表示画面及び第２表示画面に触れる操作であってもよいし、第１表示画面及び第２表示画面に触れない操作であってもよい。

制御部１２は、第１表示画面のうち取得部１１で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示画面のうち取得部１１で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部１１で取得された音声から変換された文字を表示する制御を行う。第１表示画面及び第２表示画面のうちジェスチャー操作によって指示された部分に対応する部分は、ジェスチャー操作によって指示された部分そのものであってもよいし、当該部分の周辺部分であってもよい。

図２及び図３は、本実施の形態１に係る表示制御装置１の表示制御を説明するための図である。なお、特に説明がない限り、図２以降の表示制御を説明するための図に示される表示画面は、第１表示部２の第１表示画面２ａ及び第２表示部３の第２表示画面３ａのそれぞれであるものとする。

図２の例では、取得部１１が、一点を指示するようなジェスチャー操作と、「×××」という音声とを取得した場合の表示画面が示されている。この場合、ジェスチャー操作によって指示された一点に付随して「×××」という文字が表示される。図３の例では、取得部１１が、線状の軌跡を描くようなジェスチャー操作と、「△△△」という音声とを取得した場合の表示画面が示されている。この場合、ジェスチャー操作によって描かれた軌跡に付随して「△△△」という文字が表示される。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る表示制御装置１は、第１表示画面及び第２表示画面のそれぞれに、音声から変換された文字を表示する制御を行う。このため、運転者及び同乗者などのユーザは、自身が発した音声に基づき表示画面に表示される文字の内容が正しいか否かを別々の表示画面で確認することができるので、その確認を容易に行うことができる。また本実施の形態１に係る表示制御装置１は、第１表示画面及び第２表示画面のそれぞれのうちジェスチャー操作によって指示された部分に対応する部分に、文字を表示する制御を行う。このため、ユーザは、表示画面のどの部分について音声を発したかを示すことができる。以上の結果、ユーザと、意思疎通先たる相手との間における意思疎通の誤りを抑制することができる。

＜実施の形態２＞
図４は、本発明の実施の形態２に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態２で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。なお、以下のブロック図においては、特に説明がない限り、表示制御装置１が備える構成要素を実線のブロックで示し、表示制御装置１が備えない構成要素を点線のブロックで示す。

まず、表示制御装置１の外部構成について説明する。図４の表示制御装置１は、第１表示部２及び第２表示部３に加えて、第１音声検出装置４、第１ジェスチャー検出装置５、及び、ナビゲーション装置６と、有線または無線によって接続されている。

第１音声検出装置４は、ユーザが発した音声を検出する。この第１音声検出装置４は、例えば、マイクなどの音声入力装置である。

第１ジェスチャー検出装置５は、ユーザのジェスチャー操作を検出する。この第１ジェスチャー検出装置５は、例えば、タッチパネルであってもよいし、車両室内の画像を取得するカメラと、当該画像を解析する画像解析装置との組み合わせた装置であってもよい。なお、ジェスチャー操作は、第１表示画面または第２表示画面上に軌跡を描く軌跡操作などを含む。

ナビゲーション装置６は、例えば地図を示す画像、音楽プレーヤを示す画像、ＤＶＤ（Digital Versatile Disk）の再生画像、車両情報を示す画像などの、予め定められたコンテンツの画像を表示制御装置１に出力する。

次に、表示制御装置１の内部構成について説明する。図４の表示制御装置１は、インターフェース１１ａ，１１ｂと、音声テキスト変換部１２ａと、コンテンツ表示制御部１２ｂとを備える。なお、インターフェース１１ａ，１１ｂは、図１の取得部１１の概念に含まれ、音声テキスト変換部１２ａ及びコンテンツ表示制御部１２ｂは、図１の制御部１２の概念に含まれる。

インターフェース１１ａは、第１音声検出装置４で検出された音声を取得し、インターフェース１１ｂは、第１ジェスチャー検出装置５で検出されたジェスチャー操作を取得する。

音声テキスト変換部１２ａは、インターフェース１１ａで取得された音声の情報を、テキストなどの文字に変換する。以下、音声から変換された文字を「音声文字」と記すこともある。

コンテンツ表示制御部１２ｂは、第１表示画面及び第２表示画面に、ナビゲーション装置６からのコンテンツの画像を表示する制御を行う。また、コンテンツ表示制御部１２ｂは、第１表示画面のうちインターフェース１１ｂで取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示画面のうちインターフェース１１ｂで取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、音声テキスト変換部１２ａによって変換された音声文字を表示する制御を行う。

例えば、コンテンツ表示制御部１２ｂは、インターフェース１１ｂで取得されたジェスチャー操作が軌跡操作である場合に、当該軌跡操作の軌跡を第１表示画面及び第２表示画面に表示する制御を行う。またこの場合に、コンテンツ表示制御部１２ｂは、第１表示画面のうち軌跡操作の軌跡に対応する部分、及び、第２表示画面のうち軌跡操作の軌跡に対応する部分のそれぞれに、音声文字を表示する制御を行う。

＜動作＞
図５は、本実施の形態２に係る表示制御装置１の動作を示すフローチャートである。

まずステップＳ１にて、音声テキスト変換部１２ａは、インターフェース１１ａで音声が取得され、かつ、インターフェース１１ｂでジェスチャー操作が取得されたか否かを判定する。音声及びジェスチャー操作が取得されたと判定された場合には処理がステップＳ２に進み、音声及びジェスチャー操作が取得されたと判定されなかった場合にはステップＳ１の処理が再度行われる。

ステップＳ２にて、音声テキスト変換部１２ａは、インターフェース１１ａで取得された音声を音声文字に変換する。

ステップＳ３にて、コンテンツ表示制御部１２ｂは、インターフェース１１ｂで取得されたジェスチャー操作に基づいて、第１表示画面及び第２表示画面のそれぞれのうち音声文字を表示すべき部分を決定する。

ステップＳ４にて、コンテンツ表示制御部１２ｂは、第１表示画面及び第２表示画面のそれぞれのうちのステップＳ３で決定した部分に、ステップＳ２の音声文字を表示する制御を行う。これにより、第１表示画面及び第２表示画面のそれぞれのうちステップＳ３で決定された部分に、ステップＳ２の音声文字が表示される。

ステップＳ５にて、音声テキスト変換部１２ａは、インターフェース１１ａで音声が取得されているか否かに基づいて、会話が継続しているか否かを判定する。会話が継続していると判定された場合には処理がステップＳ１に戻り、会話が継続していると判定されなかった場合には処理がステップＳ６に進む。

ステップＳ６にて、コンテンツ表示制御部１２ｂは、予め定められた条件が満たされたか否かを判定する。ここで、予め定められた条件は、例えば、音声文字を表示する制御を行ってから一定時間が経過したこと、及び、音声文字を消去する操作が行われたことなどである。予め定められた条件が満たされたと判定された場合には処理がステップＳ７に進み、予め定められた条件が満たされたと判定されなかった場合には処理がステップＳ５に戻る。

ステップＳ７にて、コンテンツ表示制御部１２ｂは、第１表示画面及び第２表示画面に表示されている音声文字を消去する。この際、消去された音声文字は履歴として、表示制御装置１の図示しない記憶装置などに記憶されてもよい。その後、図５の動作が終了する。なお、この図５の動作は適宜繰り返し行われてもよい。

図６、図７及び図８は、本実施の形態２に係る表示制御装置１の表示制御を説明するための図である。

図６の例では、線状の軌跡を描く軌跡操作と、「こちらの道から進んで下さい」という音声とが同乗者などから取得された場合の表示画面が示されている。この場合、第１表示画面２ａ及び第２表示画面３ａのそれぞれに、軌跡操作の軌跡２１が、当該軌跡操作の向きを示す矢印として表示され、かつ、「こちらの道から進んで下さい」という音声文字が軌跡２１に付随して表示される。

図７の例では、楕円状の軌跡を描く軌跡操作と、「この辺りを詳しく説明して下さい」という音声とが運転者などから取得された場合の表示画面が示されている。この場合、第１表示画面２ａ及び第２表示画面３ａのそれぞれに、軌跡操作の軌跡２１が表示され、かつ、「この辺りを詳しく説明して下さい」という音声文字が軌跡２１に付随して表示される。

図８の例では、一点を指示するようなジェスチャー操作と、「この辺りのケーキ屋に行きたいです」という音声とが同乗者などから取得された場合の表示画面が示されている。この場合、第１表示画面２ａ及び第２表示画面３ａのそれぞれに、当該ジェスチャー操作により指示された一点２２が表示され、かつ、「この辺りのケーキ屋に行きたいです」という音声文字が一点２２に付随して表示される。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る表示制御装置１によれば、ジェスチャー操作が軌跡操作である場合に、地図などのコンテンツを表示している第１表示画面及び第２表示画面のそれぞれのうち軌跡操作の軌跡に対応する部分に、音声から変換された文字を表示する制御を行う。このような構成によれば、ユーザと相手との間における意思疎通の誤りを抑制することができる。

また本実施の形態２によれば、第１表示画面及び第２表示画面に表示された音声文字を、予め定められた条件が満たされた場合に消去する。このような構成によれば、音声文字の表示が他の画像の表示を妨げてしまうことを抑制することができる。

＜変形例１＞
以上に説明した図１などの構成において、制御部１２は、取得部１１で取得されたジェスチャー操作の速度に基づいて、音声文字の表示態様を変更してもよいし、図６及び図７の軌跡２１の表示態様を変更してもよい。例えば、ジェスチャー操作の速度が速い場合には、音声文字及び軌跡２１を太くしたり、音声文字及び軌跡２１の色を赤色などの注意を惹きやすい色にしたりしてもよい。このような構成によれば、ユーザは、伝えたい情報の重要性を相手に知らせることができる。

＜変形例２＞
以上に説明した図１などの構成において、制御部１２は、図６及び図７の軌跡２１を表示するタイミングである軌跡表示タイミング、及び、音声文字を表示するタイミングである文字表示タイミングの一方に基づいて他方を調整するように構成されてもよい。これにより、表示制御装置１は、軌跡表示タイミングを、文字表示タイミングと同時にしたり、文字表示タイミングの前後にしたりすることができる。

軌跡表示タイミングが文字表示タイミングの前にされる場合としては、例えば、（１）ジェスチャー操作の取得後も音声の取得が継続して行われている場合、（２）ユーザが音声にすべき言葉を思い出せずに、ジェスチャー操作の取得後も依然として音声が取得されていない場合、（３）一定長を超えるテキストを要約するように構成されている場合において、要約処理によって文字表示タイミングが遅れる場合、（４）音声の言語と音声文字の言語とが異なるように翻訳する構成されている場合において、翻訳処理によって文字表示タイミングが遅れる場合、などがある。

なお、（２）の場合において、制御部１２は、取得部１１で軌跡操作が取得された場合に、図６及び図７の軌跡２１を表示する制御を行い、その後に取得部１１で軌跡２１へのタップ操作などの特定操作及び音声が取得された場合に、当該音声から変換された文字を軌跡２１に付随させて表示する制御を行なってもよい。

以上のような構成によれば、軌跡表示タイミングと、文字表示タイミングとを適切化することができる。

また、以上に説明した構成において、制御部１２は、第１表示部２の第１表示画面に音声文字を表示するタイミングである第１表示タイミング、及び、第２表示部３の第２表示画面に音声文字を表示するタイミングである第２表示タイミングの一方に基づいて他方を調整するように構成されてもよい。これにより、表示制御装置１は、第１表示タイミングを、第２表示タイミングと同時にしたり、第２表示タイミングの前後にしたりすることができる。

例えば、表示制御装置１または表示制御装置１を含むシステムにおいて、何らかの通信上の遅延が生じ、第１表示部２及び第２表示部３の一方が音声文字を表示できないけれども他方が音声文字を表示できる状態である場合には、制御部１２は、当該他方の表示を待機させるように制御してもよい。これにより、第１表示タイミングと第２表示タイミングとの差を低減することができる。なお、何らかの通信上の遅延には、例えば、クラウドソースの活用の際の通信及びサーバ側の処理の遅延、または、第１表示部２及び第２表示部３の一方が、携帯端末の表示部である場合の遅延などがある。

以上のような構成によれば、第１表示タイミングと、第２表示タイミングとを適切化することができる。

＜変形例３＞
以上に説明した図１などの構成において、制御部１２は、いずれか一方が音声文字を含む二画面を、第１表示画面及び第２表示画面の少なくともいずれか１つに表示する制御を行ってもよい。図９及び図１０には、第１表示画面２ａが運転者の視認に用いられる運転者用の表示画面である例が示され、図１１及び図１２には、第２表示画面３ａが同乗者の視認に用いられる同乗者の表示画面である例が示されている。

図９の運転者用の表示画面は、１つの全画面を区分してなる２つの半画面を含む二画面であり、当該二画面は、音声文字を含む地図画面、及び、運転者に渋滞を通知するための通知画面を含む。図１０の運転者用の表示画面は、１つの全画面であり、音声文字を含む地図画面である。制御部１２は、運転者用の表示画面に表示すべき内容に基づいて、運転者用の表示画面を全画面及び二画面のいずれにするかを決定する。

図１１の同乗者用の表示画面は、上述の二画面と同様の二画面であり、当該二画面は、音声文字を含む地図画面、及び、ＤＶＤの再生画面を含む。図１２の同乗者用の表示画面は、１つの全画面であり、音声文字を含む地図画面である。制御部１２は、同乗者用の表示画面に表示すべき内容に基づいて、同乗者用の表示画面を全画面及び二画面のいずれにするかを決定する。

以上のような構成によれば、第１表示画面及び第２表示画面に、音声文字を含む画面だけでなく、それ以外の画面も表示することができる。

＜変形例４＞
以上に説明した図１などの構成において、制御部１２は、第１表示画面及び第２表示画面におけるコンテンツ上に、音声文字を半透過で表示する制御を行ってもよい。このような構成によれば、音声文字の表示が他の画像の表示を妨げてしまうことを抑制することができる。

また以上に説明した図１などの構成において、表示されるコンテンツが地物情報を含む地図である場合には、制御部１２は、地図上の地物情報を避けて音声文字を表示する制御を行ってもよい。なお、地物情報は、地物に関する情報であり、例えば地図のＰＯＩ及び当該ＰＯＩの名称を含む情報である。図１３は、そのように構成された表示制御装置１の表示制御を説明するための図である。図１３の例では、音声文字が、公園を示すＰＯＩ２５を避けて表示されている。このような構成によれば、音声文字の表示が、ＰＯＩ２５などの地物情報の表示を妨げてしまうことを抑制することができる。なお、以上に説明した構成において、制御部１２は、ＰＯＩ２５のような、運転者が右左折を行うべき地点付近のＰＯＩを、ポップアップ表示する制御を行ってもよい。

＜変形例５＞
以上に説明した構成において、音声文字は、第１言語の音声の内容を示す第１言語の文字と、第１言語の音声の内容を第２言語に翻訳した内容を示す第２言語の文字とを含んでもよい。

図１４は、本変形例５に係る表示制御装置１の構成を示すブロック図である。図１４の表示制御装置１は、図４の構成に言語翻訳装置１２ｃを追加した構成と同様である。なお、言語翻訳装置１２ｃは、図１の制御部１２の概念に含まれる。

言語翻訳装置１２ｃは、第１言語の音声の内容を第２言語の内容に翻訳する。ここで、言語翻訳装置１２ｃは、インターフェース１１ａにて二種類の言語の音声が取得された場合に、当該二種類の言語を第１言語及び第２言語として決定してもよい。または、言語翻訳装置１２ｃは、ユーザが表示制御装置１に予め設定した言語を第２言語として決定し、インターフェース１１ａにて第２言語と別の言語の音声が取得された場合に、当該別の言語を第１言語として決定してもよい。

音声テキスト変換部１２ａは、インターフェース１１ａで取得された第１言語の音声の内容を、当該内容を示す第１言語の文字に変換する。また、音声テキスト変換部１２ａは、言語翻訳装置１２ｃで翻訳された第２言語の内容を、当該内容を示す第２言語の文字に変換する。

コンテンツ表示制御部１２ｂは、第１表示画面及び第２表示画面のそれぞれの、ジェスチャー操作によって指示された部分に対応する部分に、音声テキスト変換部１２ａで変換された第１言語の文字及び第２言語の文字を表示する制御を行う。図１５は、本変形例５に係る表示制御装置１の表示制御を説明するための図である。図１５の例では、第１言語及び第２言語は日本語及びドイツ語であり、第１言語及び第２言語の文字が並べて表示されている。

以上のような構成によれば、ユーザ及び相手が使用する言語が異なる場合に、ユーザと相手との間における意思疎通を容易に行うことができる。なお、図１４の構成では、表示制御装置１が言語翻訳装置１２ｃを備えたが、これに限ったものではない。例えば、表示制御装置１は、言語翻訳装置１２ｃを備えずに、言語翻訳装置１２ｃと同等の装置と接続可能なインターフェースを備えてもよい。

＜変形例６＞
以上に説明した図４の構成などでは、表示制御装置１は、第１音声検出装置４及び第１ジェスチャー検出装置５と接続されていたが、これに限ったものではない。例えば図１６に示すように、表示制御装置１は、実線のブロックで示される第１音声検出装置４及び第１ジェスチャー検出装置５を備えてもよい。

また以上に説明した構成において、図１７に示すように、表示制御装置１は、第２音声検出装置７及び第２ジェスチャー検出装置８とさらに接続されてもよい。この場合、第１音声検出装置４は、車両の第１座席における音声を、インターフェース１１ａで取得される音声として検出し、第１ジェスチャー検出装置５は、第１座席におけるジェスチャー操作を、インターフェース１１ｂで取得されるジェスチャー操作として検出する。一方、第２音声検出装置７は、車両の第２座席における音声を、インターフェース１１ａで取得される音声として検出し、第２ジェスチャー検出装置８は、第２座席におけるジェスチャー操作を、インターフェース１１ｂで取得されるジェスチャー操作として検出する。なお、第１座席及び第２座席の一方は、例えば運転座席であり、第１座席及び第２座席の他方は、例えば後部座席である。

また、表示制御装置１は、第１音声検出装置４及び第１ジェスチャー検出装置５と、第２音声検出装置７及び第２ジェスチャー検出装置８との少なくともいずれか１つを備えてもよい。また、表示制御装置１は、第１表示部２と第２表示部３との少なくともいずれか１つを備えてもよい。

図１８及び図１９のそれぞれは、これらの一例を示す図である。図１８には、表示制御装置１が、実線のブロックで示される第１表示部２、第１音声検出装置４及び第１ジェスチャー検出装置５を備えるが、第２表示部３、第２音声検出装置７及び第２ジェスチャー検出装置８を備えない構成例が示されている。図１９には、表示制御装置１が、実線のブロックで示される第１表示部２、第１音声検出装置４及び第１ジェスチャー検出装置５を備え、かつ、実線のブロックで示される第２表示部３、第２音声検出装置７及び第２ジェスチャー検出装置８を備える構成例が示されている。

以上のように、音声検出装置及びジェスチャー検出装置のそれぞれが複数設けられた構成によれば、例えば、第１座席と第２座席とが比較的離れている場合に、各席のユーザの音声及びジェスチャー操作の検出精度が低くなることを抑制することができる。

また図２０に示すように、表示制御装置１は、第１表示部２を制御する第１表示制御装置１ａ、及び、第２表示部３を制御する第２表示制御装置１ｂのうち、第１表示制御装置１ａに備えられてもよい。図２０では、表示制御装置１が備える構成要素、及び、表示制御装置１を備える構成要素が実線のブロックで示され、それ以外の構成要素が点線のブロックで示されている。なお、表示制御装置１は、図２０に示す構成に限ったものではなく、第２表示制御装置１ｂに備えられてもよいし、第１表示制御装置１ａ及び第２表示制御装置１ｂの両方に備えられてもよい。

＜変形例７＞
以上に説明した図１などの構成において、取得部１１は、ユーザを識別する識別情報をさらに取得し、制御部１２は、取得部１１で取得された識別情報に基づいて、変形例１と同様に音声文字の表示態様を変更してもよい。例えば、図６の同乗者の音声文字の太さは、図７の運転者の音声文字の太さと異なっている。なお、取得部１１は、車両室内の画像を取得し、当該画像を解析することによって識別情報を取得してもよいし、音声の特徴を解析することによって識別情報を取得してもよい。このような構成によれば、ユーザごとに音声文字の表示態様が変更されるので、各ユーザはどのユーザの音声文字であるかを容易に知ることができる。

また以上に説明した図２０などの構成において、制御部１２は、第１音声検出装置４で検出された音声、及び、第１ジェスチャー検出装置５で検出されたジェスチャー操作に基づいて表示される文字の表示態様と、第２音声検出装置７で検出された音声、及び、第２ジェスチャー検出装置８で検出されたジェスチャー操作に基づいて表示される文字の表示態様とを異ならせてもよい。このような構成によれば、座席ごとに音声文字の表示態様が変更されるので、各ユーザはどの座席のユーザの音声文字であるかを容易に知ることができる。

＜その他の変形例＞
上述した図１の取得部１１及び制御部１２を、以下「取得部１１等」と記す。取得部１１等は、図２１に示す処理回路８１により実現される。すなわち、処理回路８１は、音声と、ジェスチャー操作とを取得する取得部１１と、第１表示画面のうち取得部１１で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示画面のうち取得部１１で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得部１１で取得された音声から変換された文字を表示する制御を行う制御部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ８３に格納される。図２２に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１は、処理回路８１により実行されるときに、音声と、ジェスチャー操作とを取得するステップと、第１表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した表示制御装置１は、ＰＮＤ（Portable Navigation Device）などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

図２３は、本変形例に係るサーバ９１の構成を示すブロック図である。図２３のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のナビゲーション装置９３と無線通信を行うことが可能となっている。

取得部である通信部９１ａは、ナビゲーション装置９３と無線通信を行うことにより、ナビゲーション装置９３で取得された音声及びジェスチャー操作を受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の制御部１２と同様の機能を有している。つまり、制御部９１ｂは、第１表示部２の第１表示画面のうち通信部９１ａで取得されたジェスチャー操作によって指示された部分に対応する部分、及び、第２表示部３の第２表示画面のうち通信部９１ａで取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、通信部９１ａで取得された音声から変換された文字を表示する制御を行うための制御信号を生成する。そして、通信部９１ａは、制御部９１ｂで生成された制御信号をナビゲーション装置９３に送信する。

このように構成されたサーバ９１によれば、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

図２４は、本変形例に係る通信端末９６の構成を示すブロック図である。図２４の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７のナビゲーション装置９８と無線通信を行うことが可能となっている。このように構成された通信端末９６によれば、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１ 表示制御装置、１ａ 第１表示制御装置、１ｂ 第２表示制御装置、２ 第１表示部、２ａ 第１表示画面、３ 第２表示部、３ａ 第２表示画面、４ 第１音声検出装置、５ 第１ジェスチャー検出装置、７ 第２音声検出装置、８ 第２ジェスチャー検出装置、１１ 取得部、１２ 制御部。

Claims (16)

1. 車両とともに移動可能な、前記車両に固定された運転者用の第１表示部と、当該車両とともに移動可能な、前記運転者の意思疎通先である相手用の第２表示部とを制御可能な表示制御装置であって、
   音声と、ジェスチャー操作とを取得する取得部と、
   前記第１表示部の第１表示画面のうち前記取得部で取得されたジェスチャー操作によって指示された部分に対応する部分、及び、前記第２表示部の第２表示画面のうち前記取得部で取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、前記取得部で取得された音声から変換された文字を表示する制御を行う制御部とを備え、
   前記ジェスチャー操作は、前記第１表示画面または前記第２表示画面上に軌跡を描く軌跡操作を含み、
   前記制御部は、
   前記第１表示画面、及び、前記第２表示画面に、予め定められたコンテンツを表示する制御と、前記第１表示画面のうち前記取得部で取得された軌跡操作の軌跡に対応する部分、及び、前記第２表示画面のうち前記取得部で取得された軌跡操作の軌跡に対応する部分のそれぞれに、前記文字を表示する制御と、前記取得部で取得された軌跡操作の軌跡を前記第１表示画面及び前記第２表示画面に表示する制御とを行う、表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記取得部は、前記ジェスチャー操作の種類をさらに取得し、
   前記制御部は、前記取得部で取得された前記種類に対応する図形を前記第１表示画面及び前記第２表示画面に表示する制御を行う、表示制御装置。
3. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記第１表示画面及び前記第２表示画面に表示される前記軌跡操作の軌跡の屈曲部分に隣接するＰＯＩの表示態様を変更する、表示制御装置。
4. 請求項１に記載の表示制御装置であって、
   前記車両の第１座席における音声を、前記取得部で取得される音声として検出する第１音声検出装置、及び、前記車両の第２座席における音声を、前記取得部で取得される音声として検出する第２音声検出装置の少なくともいずれか１つと、
   前記第１座席におけるジェスチャー操作を、前記取得部で取得されるジェスチャー操作として検出する第１ジェスチャー検出装置、及び、前記第２座席におけるジェスチャー操作を、前記取得部で取得されるジェスチャー操作として検出する第２ジェスチャー検出装置の少なくともいずれか１つと、
   をさらに備える、表示制御装置。
5. 請求項１に記載の表示制御装置であって、
   前記第１表示部、及び、前記第２表示部の少なくともいずれか１つをさらに備える、表示制御装置。
6. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記取得部で取得された前記ジェスチャー操作の速度に基づいて、前記文字の表示態様を変更する、表示制御装置。
7. 請求項１に記載の表示制御装置であって、
   前記取得部は、前記車両の座席ごとにユーザを識別する識別情報をさらに取得し、
   前記制御部は、
   前記取得部で取得された識別情報に基づいて前記文字の表示態様を変更する、表示制御装置。
8. 請求項４に記載の表示制御装置であって、
   前記第１音声検出装置、前記第１ジェスチャー検出装置、前記第２音声検出装置、及び、前記第２ジェスチャー検出装置を備え、
   前記制御部は、
   前記第１音声検出装置で検出された音声、及び、前記第１ジェスチャー検出装置で検出されたジェスチャー操作に基づいて表示される前記文字の表示態様と、前記第２音声検出装置で検出された音声、及び、前記第２ジェスチャー検出装置で検出されたジェスチャー操作に基づいて表示される前記文字の表示態様とを異ならせる、表示制御装置。
9. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記第１表示画面及び前記第２表示画面に表示された前記文字を、予め定められた条件が満たされた場合に消去する、表示制御装置。
10. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記軌跡を表示するタイミング、及び、前記文字を表示するタイミングの一方に基づいて他方を調整し、
    前記制御部は、
    前記取得部が前記ジェスチャー操作を取得した後も前記音声を継続して取得している場合に、前記軌跡を表示するタイミングを前記文字を表示するタイミングの前にする制御と、前記取得部が前記ジェスチャー操作を取得した場合に前記軌跡を表示し、その後に前記取得部が特定のジェスチャー操作と前記音声とを取得した場合に前記文字を表示する制御との少なくともいずれか１つを行う、表示制御装置。
11. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記第１表示画面に前記文字を表示するタイミング、及び、前記第２表示画面に前記文字を表示するタイミングの一方に基づいて他方を調整する、表示制御装置。
12. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記第１表示画面及び前記第２表示画面に、前記第１表示画面及び前記第２表示画面における前記コンテンツ上に前記文字を半透過で表示する制御を行う、表示制御装置。
13. 請求項１２に記載の表示制御装置であって、
    前記コンテンツは地物情報を含む地図であり、
    前記制御部は、
    前記地図上の前記地物情報を避けて前記文字を表示する制御を行う、表示制御装置。
14. 請求項１に記載の表示制御装置であって、
    前記音声は、第１言語の音声を含み、
    前記文字は、
    前記第１言語の音声の内容を示す前記第１言語の文字と、前記第１言語の音声の内容を第２言語に翻訳した内容を示す前記第２言語の文字とを含む、表示制御装置。
15. 請求項１に記載の表示制御装置であって、
    前記表示制御装置は、前記第１表示部を制御する第１表示制御装置、及び、前記第２表示部を制御する第２表示制御装置の少なくともいずれか１つに備えられる、表示制御装置。
16. 車両とともに移動可能な、前記車両に固定された運転者用の第１表示部と、当該車両とともに移動可能な、前記運転者の意思疎通先である相手用の第２表示部とを制御可能な表示制御方法であって、
    音声と、ジェスチャー操作とを取得し、
    前記第１表示部の第１表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分、及び、前記第２表示部の第２表示画面のうち取得されたジェスチャー操作によって指示された部分に対応する部分のそれぞれに、取得された音声から変換された文字を表示する制御を行い、
    前記ジェスチャー操作は、前記第１表示画面または前記第２表示画面上に軌跡を描く軌跡操作を含み、
    前記制御は、
    前記第１表示画面、及び、前記第２表示画面に、予め定められたコンテンツを表示する制御と、前記第１表示画面のうち取得された軌跡操作の軌跡に対応する部分、及び、前記第２表示画面のうち取得された軌跡操作の軌跡に対応する部分のそれぞれに、前記文字を表示する制御と、取得された軌跡操作の軌跡を前記第１表示画面及び前記第２表示画面に表示する制御とを含む、表示制御方法。

Images