JP6620724B2 - 車両用会話支援装置 - Google Patents

Description

本発明は、自動運転車両に用いられる車両用会話支援装置に関する。

特許文献１に車室内会話支援装置が開示されている。この車室内会話支援装置は、ドライバーが後方席の搭乗者の様子を確認するための後席確認ミラーと、後席確認ミラーから所定距離の位置に設けられた音声用マイクと、音声用マイクで集音された音声を車室後方席に向かって出力する車載スピーカーとを備えている。

特開２０１４−１８１０１５号公報

しかしながら、上記した従来例は、後方席の乗員の様子を後席確認ミラーの反射により運転者から確認できるようにした構造であり、該乗員の様子以外の情報を提示できない。

本発明は、自動運転時に運転者が、モニターに表示された発話者の映像を確認しながら会話できるようにしつつ、該モニター上で自動運転から手動運転への切替えの注意を促すことを可能にすることを目的とする。

本発明に係る車両用会話支援装置は、周辺状況及び自車両の状況によって手動運転と自動運転を切替え可能な自動運転車両に設けられ、各々の乗員から目視確認可能なモニターと、前記乗員の姿をそれぞれ撮像するカメラと、前記乗員の音声をそれぞれ集音するマイクと、前記乗員に対して前記音声をそれぞれ出力可能とされた音声出力手段とを制御する制御手段を有し、前記制御手段により、自動運転時には、前記カメラにより撮像された発話者の映像が前記発話者以外に対応する前記モニターに表示されると共に、前記発話者以外に対応する前記音声出力手段から前記発話者の音声が出力され、手動運転時には、前記発話者以外に対応する前記音声出力手段から前記発話者の音声が出力され、運転席の乗員に対応する前記モニターに前記発話者の映像が表示されずに運転に必要な情報が表示され、運転席の前記乗員以外かつ前記発話者以外に対応する前記モニターに前記発話者の映像が表示され、周辺状況及び自車両の状況によって、自動運転から手動運転への切替えを行う場合には、運転席の前記乗員に対応する前記モニターに、前記発話者の映像が小さく表示されると共に運転切替えの案内が表示される。

この車両用会話支援装置では、制御手段により、モニター、カメラ及び音声出力手段が制御される。自動運転時には、カメラにより撮像された発話者の映像が、発話者以外に対応するモニターに表示される。発話者の音声は、マイクにより集音され、音声出力手段から出力される。これにより、自動運転時には、運転席の乗員が、モニターに表示された他の乗員の映像を確認しながら、該乗員と会話できる。

手動運転時には、発話者の音声が音声出力手段から出力される。運転席の乗員に対応するモニターには、発話者の映像は表示されず、運転に必要な情報が表示される。したがって、運転席の乗員は、手動運転時に発話者の映像を確認することはできないが、音声出力手段から出力される発話者の音声を聞いて、該発話者と会話することができる。一方、運転席以外の座席の乗員に対応するモニターには、発話者の映像が表示される。したがって、運転席以外の座席の乗員は、モニターに表示された発話者の映像を確認しながら、該発話者と会話できる。

周辺状況及び自車両の状況によって、自動運転から手動運転への切替えを行う場合には、運転席の乗員に対応するモニターの表示において、発話者の表示範囲が小さくされ、運転切替えの案内が追加表示される。したがって、運転者に対して運転切替えの要求が正確に伝えられる。

本発明によれば、自動運転時に運転者が、モニターに表示された発話者の映像を確認しながら会話できるようにしつつ、該モニター上で自動運転から手動運転への切替えの注意を促すことを可能にすることができる。

本実施形態に係る車両用会話支援装置が設けられた車両の車室内を示す斜視図である。 手動運転時における運転席のモニターの表示を示す正面図である。 （Ａ）は、自動運転時において、運転席のモニターに後席の乗員の映像が表示されている状態を示す正面図である。（Ｂ）は、後席のモニターに運転席の乗員の映像が表示されている状態を示す正面図である。 運転席のモニターに、後席の乗員の映像が小さく表示されると共に、運転切替えの案内が表示された状態を示す正面図である。

以下、本発明を実施するための形態を図面に基づき説明する。図面において、矢印ＦＲは車両前方を示し、矢印ＵＰは車両上方を示し、矢印ＲＨは車両右方向を示している。

図１において、本実施形態に係る車両用会話支援装置１０は、周辺状況及び自車両の状況によって手動運転と自動運転を切替え可能な自動運転車両（以下「自車両１２」とする。）に設けられている。

図１から図４において、車両用会話支援装置１０は、モニター１４，２４と、カメラ１５，２５と、マイク１６，２６と、音声出力手段としてのスピーカー１７，２７とを制御部する制御手段１８を有している。

モニター１４，２４は、各々の乗員１９，２９から目視確認可能な表示装置である。このうちモニター１４は、運転席２０の乗員１９に対応する位置、例えば運転席２０の車両前方のメーターフード２２の内側に配置されている。また、モニター２４は、後席３０の乗員２９に対応する位置、例えば助手席２８のヘッドレスト２８Ａの後面に配置されている。車両用会話支援装置１０を用いて、運転席２０の乗員１９と後席３０の乗員２９とが会話を行う場合、モニター１４には該乗員２９の映像２９Ａが表示され、モニター２４には乗員１９の映像１９Ａが表示されるようになっている。図示は省略するが、運転席２０のヘッドレスト２０Ａの後面にも、モニターが配置されている。

なお、助手席２８の乗員に対応するモニターが設けられていてもよい。また、座席が３列以上設けられた車両において、各座席の乗員に対応するモニターが設けられていてもよい。

カメラ１５，２５は、乗員１９，２９の姿をそれぞれ撮像する装置である。図１、図２、図３（Ａ）に示されるように、カメラ１５は、運転席２０の乗員１９に対応する位置、例えばモニター１４の車両後側でステアリングコラム３２の車両上方の部位に設けられている。また、図３（Ｂ）に示されるように、カメラ２５は、後席３０の乗員２９に対応する位置、例えばモニター２４の一部又は近傍に設けられている。

マイク１６，２６は、乗員１９，２９の音声をそれぞれ集音する装置である。このうち、マイク１６は、運転席２０の乗員１９に対応する位置、例えばカメラ１５の一部又は近傍に設けられている。また、マイク２６は、後席３０の乗員２９に対応する位置、例えばモニター２４の一部又は近傍に設けられている。

図１において、スピーカー１７，２７は、乗員１９，２９に対して音声をそれぞれ出力可能とされている。このうちスピーカー１７は、運転席２０の乗員１９に対応する位置、例えばフロントピラー３４の下部に設けられている。また、スピーカー２７は、後席３０の乗員２９に対応する位置、例えばリヤパッケージトレイ３６に設けられている。なお、スピーカー１７，２７を、モニター１４，２４の近傍等、他の位置に設けてもよい。また、音声出力手段はスピーカー１７，２７に限られず、イヤホン等を接続できる構造であってもよい。イヤホン等の接続手段は、有線でも無線でもよい。

制御手段１８は、少なくともモニター１４，２４及びスピーカー１７，２７を制御する装置であり、モニター１４，２４及びスピーカー１７，２７を含む車内通信網を制御している。なお、制御手段１８の制御対象は、モニター１４，２４及びスピーカー１７，２７に限られず、更にカメラ１５，２５やマイク１６，２６を制御する構成としてもよい。

この制御手段１８により、自動運転時には、カメラ２５により撮像された発話者（後席３０の乗員２９）の映像２９Ａが、発話者以外、例えば運転席２０の乗員１９に対応するモニター１４に表示されるようになっている。このとき、図１において、乗員１９に対応するスピーカー１７から発話者（乗員２９）の音声が出力されるようになっている。更に、図３（Ｂ）に示されるように、カメラ１５により撮像された発話者（運転席２０の乗員１９）の映像１９Ａが、発話者以外、例えば後席３０の乗員２９に対応するモニター２４に表示されるようになっている。このとき、図１において、乗員２９に対応するスピーカー２７から発話者（乗員１９）の音声が出力されるようになっている。なお、発話者とは、会話の相手となる者である。

また、制御手段１８により、手動運転時には、発話者以外に対応するスピーカーから発話者の音声が出力されるようになっている。発話者が後席３０の乗員２９である場合、例えば運転席２０の乗員１９に対応するスピーカー１７から、後席３０の乗員２９の音声が出力されるようになっている。また、発話者が運転席２０の乗員１９である場合、例えば後席３０の乗員２９に対応するスピーカー２７から、運転席２０の乗員１９の音声が出力されるようになっている。

また、手動運転時には、運転席の乗員１９に対応するモニター１４に、発話者（後席３０の乗員２９）の映像が表示されずに、運転に必要な情報が表示されるようになっている。運転に必要な情報とは、例えば図２に示されるような、速度計４０や回転計４２等の計器や各種インジケータ等である。図３（Ｂ）に示されるように、運転席２０の乗員１９以外かつ発話者（例えば乗員１９）以外に対応するモニター２４には、発話者（例えば乗員１９）の映像１９Ａが表示されるようになっている。

図４に示されるように、周辺状況及び自車両の状況によって、自動運転から手動運転への切替えを行う場合には、運転席２０の乗員１９に対応するモニター１４に、発話者（例えば乗員２９）の映像２９Ａが小さく表示されると共に、運転切替えの案内４４が表示されるようになっている。運転切替えの案内４４は、例えば、「ハンドルを握って下さい。」の文字と、ステアリングホイールを示す画像を用いて行われる。このとき表示される文字は、「運転を代わって下さい。」等でもよい。映像２９Ａを小さく表示するために、該映像２９Ａを縮小表示してもよいし、映像２９Ａの表示領域を狭めてもよい。また、映像２９Ａを縮小しつつ、その表示領域を狭めてもよい。

（作用）
本実施形態は、上記のように構成されており、以下その作用について説明する。図１から図４において、本実施形態に係る車両用会話支援装置１０では、制御手段１８により、少なくともモニター１４，２４及びスピーカー１７，２７が制御される。

自動運転時には、図３（Ａ）に示されるように、カメラ２５（図３（Ｂ））により撮像された例えば後席３０の乗員２９の映像２９Ａが、例えば運転席２０の乗員１９に対応するモニター１４に表示される。このとき、図１において、乗員１９に対応するスピーカー１７から発話者（乗員２９）の音声が出力される。

更に、図３（Ｂ）に示されるように、カメラ１５（図３（Ａ））により撮像された運転席２０の乗員１９の映像１９Ａが、例えば後席３０の乗員２９に対応するモニター２４に表示される。このとき、図１において、乗員２９に対応するスピーカー２７から発話者（乗員１９）の音声が出力される。これにより、自動運転時には、運転席２０の乗員１９が、モニター１４に表示された他の乗員（後席３０の乗員２９）の映像２９Ａを確認しながら、該乗員２９と会話できる。後席３０の乗員２９も、モニター２４に表示された運転席２０の乗員１９の映像１９Ａを確認しながら、該乗員１９と会話できる。つまり、運転席２０の乗員１９と、後席３０の乗員２９とが、互いの映像を確認しながら円滑に会話することができる。

手動運転時には、発話者以外に対応するスピーカーから発話者の音声が出力される。発話者が後席３０の乗員２９である場合、例えば運転席２０の乗員１９に対応するスピーカー１７から、後席３０の乗員２９の音声が出力されるようになっている。また、発話者が運転席２０の乗員１９である場合、例えば後席３０の乗員２９に対応するスピーカー２７から、運転席２０の乗員１９の音声が出力される。

また、手動運転時には、図２に示されるように、運転席の乗員１９に対応するモニター１４に、発話者（例えば後席３０の乗員２９）の映像が表示されずに、運転に必要な情報（速度計４０や回転計４２等）が表示される。したがって、運転席２０の乗員１９は、手動運転時に発話者の映像を確認することはできないが、スピーカー１７から出力される発話者の音声を聞いて、該発話者と会話することができる。一方、図３（Ｂ）に示されるように、運転席２０の乗員１９以外かつ発話者（例えば乗員１９）以外に対応するモニター２４には、該発話者の映像１９Ａが表示される。したがって、運転席２０以外の座席の乗員２９は、モニター２４に表示された発話者の映像１９Ａを確認しながら、該発話者と会話できる。

図４に示されるように、周辺状況及び自車両の状況によって、自動運転から手動運転への切替えを行う場合には、運転席２０の乗員１９に対応するモニター１４に、発話者（例えば乗員２９）の映像２９Ａが小さく表示されると共に、運転切替えの案内４４が表示される。一例として、映像２９Ａはモニター１４の左側に小さく表示され、運転切替えの案内４４はモニター１４の右側（映像２９Ａの右側）に表示される。したがって、自動運転時、例えば運転席２０の乗員１９が、後席３０の乗員２９の映像２９Ａを確認しながら該乗員２９と会話中に、運転席２０の乗員１９に対して運転切替えの注意を促すことができ、手動運転への切替えが円滑化される。なお、制御手段１８により、運転切替えの案内４４の表示と共に、音声やアラーム等による通知が行われてもよい。

手動運転への切替えが行われると、図２に示されるように、運転席の乗員１９に対応するモニター１４には、発話者（例えば後席３０の乗員２９）の映像が表示されなくなり、速度計４０や回転計４２等、運転に必要な情報が表示される。

このように、本実施形態によれば、自動運転時に運転席２０の乗員１９が、モニター１４に表示された発話者の映像を確認しながら会話できるようにしつつ、該モニター１４上で自動運転から手動運転への切替えの注意を促すことができる。

［他の実施形態］
以上、本発明の実施形態の一例について説明したが、本発明の実施形態は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

例えば、本実施形態では、自車両１２の乗員同士での会話支援について説明したが、車外通信設備に繋がっているスマートフォン等の通信機器を介して、自動運転中に車外の発話者とＴＶ電話を行うこともできる。この場合、スマートフォン等の通信機器が、制御手段１８と協働する。

また、自車両１２に設けられたモニター１４，２４、マイク１６，２６及びスピーカー１７，２７の代わりに、スマートフォン等の通信機器を用いてもよい。この場合、スマートフォンは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手段を用いて、制御手段１８と接続される。なお、この構成は、運転席２０の乗員１９のスマートフォンの通信状態、バッテリー状態、表示装置状態等の各種状態を、制御手段１８側で管理できることが前提である。

１０ 車両用会話支援装置
１２ 自車両（自動運転車両）
１４ モニター
１５ カメラ
１６ マイク
１７ スピーカー（音声出力手段）
１８ 制御手段
１９ 乗員
１９Ａ 映像
２０ 運転席
２４ モニター
２５ カメラ
２６ マイク
２７ スピーカー（音声出力手段）
４０ 速度計（運転に必要な情報）
４２ 回転計（運転に必要な情報）
４４ 運転切替えの案内

Claims (1)

1. 周辺状況及び自車両の状況によって手動運転と自動運転を切替え可能な自動運転車両に設けられ、
   各々の乗員から目視確認可能なモニターと、前記乗員の姿をそれぞれ撮像するカメラと、前記乗員の音声をそれぞれ集音するマイクと、前記乗員に対して前記音声をそれぞれ出力可能とされた音声出力手段とを制御する制御手段を有し、
   前記制御手段により、
   自動運転時には、前記カメラにより撮像された発話者の映像が前記発話者以外に対応する前記モニターに表示されると共に、前記発話者以外に対応する前記音声出力手段から前記発話者の音声が出力され、
   手動運転時には、前記発話者以外に対応する前記音声出力手段から前記発話者の音声が出力され、運転席の乗員に対応する前記モニターに前記発話者の映像が表示されずに運転に必要な情報が表示され、運転席の前記乗員以外かつ前記発話者以外に対応する前記モニターに前記発話者の映像が表示され、
   周辺状況及び自車両の状況によって、自動運転から手動運転への切替えを行う場合には、運転席の前記乗員に対応する前記モニターに、前記発話者の映像が小さく表示されると共に運転切替えの案内が表示される車両用会話支援装置。