JP7263992B2 - 車両制御装置 - Google Patents

Description

本開示は、車両の走行中等に、同乗者の映像を表示装置に表示できる車両制御装置に関する。

近年、自動車に幼い子供を乗せるために、チャイルドシートの設置が義務付けされており、このチャイルドシートは、後部座席に取り付けることが、各メーカーによって促されている。

ところで、自動車の運転中に、運転者が後部座席の子供の状況を把握するためには、後ろを振り返るかルームミラーを覗き込む動作が必要である。しかし、このような動作は、運転の注意が低下する恐れがある。

この対策として、運転中に後部座席の子供の状況を把握するために、例えば下記特許文献１に記載のように、後部座席の子供を撮影するカメラを配置し、そのカメラの画像をダッシュボードのナビゲーション装置の表示装置に表示する技術が提案されている。

特開２００８－２２１９８９号公報

しかしながら、上述の従来技術では、後部座席の子供を撮影して、その映像をナビゲーション装置の表示装置に表示するので、その表示の分だけ運転者に提示する運転に関する情報が抑制される。

一方、例えば、車両が住宅街等を走行している場合や周囲に障害物がある場合など、運転者が運転する際の負荷が大きな場合などには、運転者が視認可能な表示装置に、運転に関する多くの情報を提示することが望ましい。

つまり、同乗者の状態に不安がある場合などには、同乗者の画像を適切に表示できるとともに、周囲の状況など運転の負荷が大きな場合などには、運転に必要な情報を適切に提供することが望ましい。

本開示の一つの局面は、車両の周囲の状況などに応じて、同乗者の映像や運転に関する情報を適切に提示することが可能な技術を提供することにある。

本開示の一態様の車両制御装置（５）は、情報取得部（３１）と情報表示部（３３）と映像取得部（３５）と表示判定部（３７）とを備えている。
情報取得部は、車両（３）が走行する周辺の情報及び／又は車両の走行状態に関する情報を示す車両情報を取得するように構成されている。

情報表示部は、車両の運転者が視認できる位置に配置された表示装置（１７、１９）に、車両情報を表示することが可能なように構成されている。
映像取得部は、車両の運転席以外の座席に着座した同乗者を撮影する撮影装置（１１ｂ、１１ｃ、１１ｄ）から、同乗者の映像を取得するように構成されている。

表示判定部は、情報取得部によって取得された車両情報に基づいて、映像取得部によって取得された同乗者の映像を、表示装置に表示するか否かを判定するように構成されている。

このような構成によれば、車両が走行する周辺の状況や車両の走行の状態に応じて、同乗者の映像や運転に関する情報を適切に提示することができる。
詳しくは、本開示では、車両が走行する周辺の情報及び／又は車両の走行状態に関する情報を示す車両情報に基づいて、運転者が視認できる表示装置に同乗者の映像を表示するか否かを判定するので、同乗者の映像を表示するのに適切な場合には、表示装置に同乗者の映像を表示できる。一方、同乗者の映像を表示するのに適切でない場合には、表示装置に同乗者の映像を表示しないようにできる。

従って、例えば、通常は表示装置に車両情報等を表示するとともに、例えば、運転の負荷に応じて、同乗者の映像を表示するのに適当な場合には、同乗者の映像を表示装置に表示できる。

このように、本開示では、表示装置を用いて、運転に必要な情報を適切に提供することができるとともに、車両の周囲の状況などの車両情報に基づいて、同乗者の画像の表示の可否を判定できるので、運転の安全性と同乗者の状態の把握とを両立できるという顕著な効果を奏する。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

第１実施形態の車両制御装置を含む車両システムの概略を示す説明図。 第１実施形態の車両制御装置を含む車両システムを示すブロック図。 車室内を後方の上方から見た状態を示す斜視図。 第１実施形態の車両制御装置を機能的に示すブロック図。 第１実施形態の異常判定処理を示すフローチャート。 第１実施形態の後席側表示装置における表示状態を示す説明図。 第１実施形態の運転モード・表示処理を示すフローチャート。 ＨＵＤ装置における自動運転モードの表示を示す説明図。 ＨＵＤ装置における同乗者の表示と一旦停止の案内の問いかけの表示を示す説明図。 ナビ用表示装置における一旦停止の運転への切り替えの選択画面を示す説明図。 ＨＵＤ装置における一旦停止できる場所を案内する際の表示状態を示す説明図。 ナビ用表示装置における同乗者の表示と一旦停止の運転への切り替えの選択画面とを示す説明図。 第２実施形態の運転モード・表示処理を示すフローチャート。 ＨＵＤ装置における同乗者の表示と自動運転に切り替える問いかけの表示を示す説明図。 ナビ用表示装置における自動運転への切り替えの選択画面を示す説明図。 第３実施形態の運転モード・表示処理を示すフローチャート。

以下に、本開示の実施形態を、図面を参照しながら説明する。
［１．第１実施形態］
［１－１．全体構成］
まず、本第１実施形態の車両制御装置を備えた車両システムの全体構成について説明する。

図１に示すように、車両システム１は、自動車（以下、車両）３に搭載されたシステムであり、後述する車両制御装置５を備えている。なお、以下では、車両システム１を搭載した車両３を自車３と記すことがある。

図１及び図２に示すように、この車両システム１は、車両制御装置５に加え、周辺監視部７と、車挙動検知部９と、乗員状態検知部１１と、ナビゲーション装置１３と、マイク１５と、ヘッドアップディスプレイ（以下、ＨＵＤ）装置１７と、ナビ用表示装置１９と、後席用表示装置２１と、スピーカ２３と、を備えていてもよい。なお、ＨＵＤは、Head Up Displayの略である。

これらの車両システム１を構成する各部は、車載ＬＡＮを介して情報を送受信してもよい。なお、ＬＡＮは、Local Area Networkの略である。
また、この車両３は、運転者の操作による運転、即ち、自動運転ではない運転が可能であるとともに、自動運転による運転が可能である。なお、自動運転としては、レベル１～５の自動運転が可能である。つまり、運転者の操作が必要なレベル１、２の自動運転や、運転者の操作が不要なレベル３～５の自動運転が可能である。

詳しくは、運転者の操作による運転状態（即ち、第１モードの運転）と、運転者の操作が必要なレベル１、２の自動運転（即ち、第２モードの運転）と、運転者の操作が不要なレベル３～５の自動運転（即ち、第３モードの運転）とは、例えば運転者の指示により、互いに切り替え可能となっている。

なお、前記レベルとしては、アメリカの「自動車技術会」（即ち、ＳＡＥ）が示した2016年の第２版の基準が挙げられる。
［１－２．各構成］
次に、車両システム１の各構成について説明する。

周辺監視部７は、例えば、レーダセンサ及びカメラのうち少なくとも一方を備えている。レーダセンサは、赤外線、ミリ波、超音波などをレーダ波として使用し、レーダ波を反射した物標との距離や、その物標が存在する方向等を検出する。カメラは、可視光カメラや赤外線カメラ等が用いられる。

周辺監視部７は、自車３の走行経路上に存在する物標をレーダセンサやカメラで検知し、検知した物標の位置を含む物標情報等を生成する。なお、周辺監視部７は、後述する地図記憶部１３ａに記憶された地図情報に基づいて、物標の位置を含む物標情報を生成してもよい。

車挙動検知部９は、運転者による運転や自動運転による車両の挙動を検出する装置である。この車挙動検知部９としては、例えば、アクセルペダルセンサ、ブレーキペダルセンサ、舵角センサ、方向指示スイッチ、車速センサ、加速度センサ、ヨーレートセンサ等が挙げられる。

乗員状態検知部１１は、乗員の状態や乗員に関係する状態を検出する装置である。この乗員状態検知部１１は、第１カメラ１１ａと、第２カメラ１１ｂと、第３カメラ１１ｃと、第４カメラ１１ｄと、子供検出センサ１１ｅと、泣き声検出センサ１１ｆと、シートベルトセンサ１１ｇと、チャイルドシートセンサ１１ｈと、を備えている。

第１カメラ１１ａは、ダッシュボード１２において、運転席の前方に配置されて、運転者の顔を撮影するカメラである。
第２カメラ１１ｂは、室内の後部座席の天井に配置されて、下方を撮影するカメラである。この第２カメラ１１ｂによって、後部座席の全体を撮影することができる。従って、後部座席に配置されたチャイルドシート２５に載せられた幼児の顔等を撮影することができる。

第３カメラ１１ｃは、助手席の後側に配置されて、後方を撮影するカメラである。この第３カメラ１１ｃによって、後部座席の全体を撮影することができる。
第４カメラ１１ｄは、ダッシュボード１２において、助手席の前方に配置されて、助手席の同乗者の顔を撮影するカメラである。

なお、各カメラとしては、例えば赤外線カメラを採用できる。
また、各カメラ１１ａ、１１ｂ、１１ｃ、１１ｄのような撮影装置から得られた画像に基づいて、どの座席に運転者や同乗者が着座したかを検知することができるが、各座席に配置された図示しない着座センサによっても、どの座席に運転者や同乗者が着座したかを検知することができる。

さらに、各カメラ１１ｂ、１１ｃ、１１ｄによって撮影された同乗者の映像は、常時、車両制御装置５に入力されて記憶されてもよい。或いは、後述する各処理が実施される場合に、車両制御装置５に入力されて記憶されてもよい。

子供検出センサ１１ｅは、赤外線センサを用いて後部座席の温度の分布を監視するセンサである。子供検出センサ１１ｅでは、赤外線センサが出力する後部座席の温度分布情報に基づいて、後部座席に乗っている人の体型を推定し、後部座席に子供が乗っているか否か判定することができる。また、赤外線センサの出力に基づいて、子供の体温を検出することができる。

泣き声検出センサ１１ｆは、子供の泣き声を検出するセンサである。この泣き声検出センサ１１ｆでは、マイク１５により集音された音声を音声信号に変換し、音声信号を解析することにより、子供の泣き声が発生しているか否かを判定することができる。

シートベルトセンサ１１ｇは、シートベルトの張力を測定し、その測定結果を出力するセンサである。
チャイルドシート２５と後部座席のそれぞれが備える専用の機構を結合させることによりチャイルドシート２５を後部座席に固定させる場合がある。チャイルドシートセンサ１１ｈは、これらの機構の結合状態を監視し、これらの機構が正常に結合しているか否かを出力するセンサである。

ナビゲーション装置１３は、図２に示す地図記憶部１３ａと測位部１３ｂとを備えている。
地図記憶部１３ａには、地図情報やＡＲ情報等が記憶されている。地図情報はナビゲーション装置１３による経路案内や、実風景に矢印やアイコン等のＡＲ画像を重畳表示させるために用いられる。なお、ＡＲは、Augmented Reality（即ち、拡張現実）の略である。

測位部１３ｂは、自車３の現在位置を特定するための位置情報を生成する装置である。この測位部１３ｂは、例えば、ＧＮＳＳ受信機と、ジャイロスコープ及び距離センサ等の自立航法用のセンサとを備えている。なお、ＧＮＳＳは、Global Navigation Satellite Systemの略である。

ナビゲーション装置１３は、自車３の現在位置と地図情報とに基づいて経路案内を実施する装置である。つまり、ナビゲーション装置１３は、測位部１３ｂでの測位結果と、地図情報とを利用したマップマッチングにより、道路上における自車３の現在位置や進行方向を特定する。また、ナビゲーション装置１３は、自車３の現在位置及び進行方向、目的地までの経路、自車の周囲に存在する道路や施設に関する地図情報やＡＲ情報等を、ナビ用表示装置１９に提供する。

マイク１５は、周囲の音声等の音を収集する装置である。なお、車両制御装置５が周知の音声認識機能を有している場合には、このマイク１５から得られた運転者等の音声に音付いて、車両３の制御を指示することができる。

ＨＵＤ装置１７は、図３に示すように、運転者から見えるように、運転者の前方のダッシュボード１２上に配置されている。このＨＵＤ装置１７によって、各種の画像や文字等を透明の板材に投影して表示することができる。つまり、ＨＵＤ装置１７によって、運転者の視認領域中の実風景にＡＲ画像を重畳表示できる。なお、ＡＲ画像を、フロントガラスに表示するようにしてもよい。

なお、ＨＵＤ装置１７は、後述する表示の切り替えの制御時以外の通常時では、周知のように、進行方向の矢印等の簡易的な道案内や危険表示等の表示を行う。
ナビ用表示装置１９は、運転者等が視認可能なように、ダッシュボード１２に設けられたＬＣＤパネルである。このナビ用表示装置１９の表示画面には、ナビゲーション装置１３から送信された情報に基づいて、自車３の現在位置及び進行方向、目的地までの経路、自車３の周囲に存在する道路や施設に関する地図情報やＡＲ情報等を表示することができる。なお、ＬＣＤは、Liquid Crystal Displayの略である。

なお、ナビ用表示装置１９の表示画面には、タッチパネルが設けられているので、表示画面に表示された所定の領域に触れることにより、車両制御装置５に対して、所定の指示を入力することができる。

後席用表示装置２１は、後部座席の同乗者が視認可能なように、助手席の後側に設けられたＬＣＤパネルである。この後席用表示装置２１の表示画面には、例えば第１カメラ１１ａで撮影された運転者の映像を表示することができる。なお、後席用表示装置２１は、図示しないアームによって、その位置をずらすことができる。

スピーカ２３は、音声や音を出力する装置である。
［１－３．車両制御装置］
次に、車両制御装置５について説明する。

前記図２に示すように、車両制御装置５は、周知のＣＰＵ２７ａと、ＲＡＭ２７ｂ、ＲＯＭ２７ｃ、図示しないフラッシュメモリ等の半導体メモリと、を有する周知のマイクロコンピュータ（以下、マイコン）２７を中心に構成される。車両制御装置５の各種の機能は、ＣＰＵ２７ａが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。

なお、図４に機能的に示すように、車両制御装置５は、情報取得部３１と情報表示部３３と映像取得部３５と表示判定部３７と表示処理部３９とを備えている。
情報取得部３１は、車両３が走行する周辺の情報及び／又は車両３の走行状態に関する情報を示す車両情報を取得するように構成されている。

ここで、前記車両情報のうち、車両３が走行する周辺の情報は、例えば、車両３が走行している道路（例えば、道路の種類）、車両３の周囲の住宅地等の環境、車両３の周囲の自然環境（例えば、風雨や夜間）、車両３の周囲の例えば走行に応じて接近する障害物（例えば、他車や人工等の構造物）などの情報である。この車両３が走行する周辺の情報は、運転者が運転する際に、運転の負荷に影響を与える内容を示す情報である。

また、車両３の走行状態に関する情報は、例えば、加速度、車速、ヨーレート、ウインカーの情報を含む右左折や進路変更の情報、アクセルやブレーキが操作された情報などである。この車両３の走行状態に関する情報は、運転者が運転する際に、運転の負荷に影響を与える内容を示す情報である。

なお、運転の負荷とは、例えば、運転の際に周囲を監視する際の程度や、運転に際して注意を払う程度など、運転の際しての運転者の負担の程度を示している。
また、負荷の程度は、車両情報の程度の大小を判定値で区分したり、車両情報の種類によって区分することにより、負荷が大きな状態（即ち、第１状態）や第１状態より負荷の少ない状態（即ち、第２状態）に分けることができる。なお、負荷が大きなことを示す第１条件が満たされた場合が第１状態であり、負荷が第１状態より小さなことを示す第２条件が満たされた場合が第２状態である。

例えば、高速道路を走行している状態は負荷の小さな第２状態であり、高速道路ではない一般道路を走行している状態は、第２状態より負荷の大きな第１状態である。なお、一般道路でも、国道を走行している場合には、国道以外の道路を走行している場合に比べて負荷が少ないとみなすことができる。

また、例えば、ウインカーが作動している場合には、その前後等に、車両３の左右方向への移動がなされる。そのため、ウインカーが作動していない場合に比べて、運転に一層注意が必要であるので、負荷の大きな第２状態とみなすことができる。

情報表示部３３は、車両３の運転者が視認できる位置に配置された表示装置、例えばＨＵＤ装置１７やナビ用表示装置１９に、車両情報を表示することが可能なように構成されている。例えばＨＵＤ装置１７では、後述するように、簡易的な進路の案内表示や、自車の周辺における接触等の危険が予測される障害物などの車両情報を表示するように構成されている。なお、前記表示装置には、車両情報以外に、運転に係る各種の情報、即ち、運転者にとって運転の支援となる各種の表示することができる。

映像取得部３５は、車両３の運転席以外の座席に着座した同乗者を撮影する撮影装置、例えば、第２カメラ１１ｂ、第３カメラ１１ｃ、第４カメラ１１ｄで撮影した同乗者の映像を取得するように構成されている。

表示判定部３７は、情報取得部３１によって取得された車両情報に基づいて、映像取得部３５によって取得された同乗者の映像を、前記表示装置に表示するか否かを判定するように構成されている。

表示処理部３９は、表示判定部３７によって、同乗者の映像を前記表示装置に表示すると判定された場合には、前記表示装置に同乗者の映像を表示するように構成されている。
［１－４．処理］
次に、本第１実施形態の車両制御装置５にて実施される各処理について説明する。

＜異常判定処理＞
本処理は、運転者以外の同乗者（例えば、子供）の異常などを判定するための処理である。

図５に示すように、ステップ（以下、Ｓ）１００では、車両３の加速度が所定の値以上であるか否か、即ち、通常の好ましい加速度の範囲外か否かを判定する。例えば、運転者のアクセルペダルやブレーキペダルの操作によって、車両の運転状態が急激に変化している状態であるか否かを判定する。ここで肯定判断されるとＳ１８０に進み、一方否定判断されるとＳ１１０に進む。なお、この加速度の判定は省略してもよい。

Ｓ１８０では、異常検出フラグをセットし、一旦本処理を終了する。この異常検出フラグとは、後述するように、車両３の状態や同乗者等に関して、運転者に報知した方が良いと思われる異常が検出されたことを示すフラグである。

一方、Ｓ１１０では、泣き声検出センサ１１ｆからの信号に基づいて、子供の泣き声があるか否かを判定する。
ここで肯定判断されると前記Ｓ１８０に進んで異常検出フラグをセットし、一方否定判断されるとＳ１２０に進む。

Ｓ１２０では、シートベルトセンサ１１ｇからの信号に基づいて、シートベルトの張力が所定の値以上であるか否か、即ち、通常の好ましい張力の範囲外か否かを判定する。ここで肯定判断されるとＳ１８０に進んで異常検出フラグをセットし、一方否定判断されるとＳ１３０に進む。

Ｓ１３０では、チャイルドシートセンサ１１ｈからの信号に基づいて、チャイルドシートの結合状態に異常があるか否かを判定する。ここで肯定判断されるとＳ１８０に進んで異常検出フラグをセットし、一方否定判断されるとＳ１４０に進む。

Ｓ１４０では、子供検出センサ１１ｅからの信号に基づいて、子供の体温が異常（例えば、高温）か否を判定する。ここで肯定判断されるとＳ１８０に進んで異常検出フラグをセットし、一方否定判断されるとＳ１５０に進む。

Ｓ１５０では、第２カメラ１１ｂや第３カメラ１１ｃから得られた画像に基づいて、子供の動きが異常か否かを判定する。ここで肯定判断されるとＳ１８０に進んで異常検出フラグをセットし、一方否定判断されるとＳ１７０に進む。

例えば、各カメラ１１ｂ、１１ｃで撮影した画像から子供の画像を抽出し、子供がある時点の基準となる画像から異常に動いている場合、例えば、所定値異常の非常に大きく動いている場合や、逆に、基準となる画像から動きが異常に少ない場合、例えば５分以上動きがない場合などには、異常であると判定する。

なお、後部座席における同乗者等の異常を検知した場合には、音声によって、「後部座席の異常を検知しました」との報知を行う。また、ＨＵＤ装置１７又はナビ用表示装置１９に、「後部座席の異常を検知しました」との表示を行ってもよい。

また、後部座席における同乗者等の異常を検知した場合には、図６に示すように、後席用表示装置２１に、第１カメラ１１ａによって撮影された運転者の顔を含む映像を表示してもよい。なお、後席用表示装置２１における運転者の映像の表示は、異常を検出した場合以外でも、例えば運転者の操作によって、適宜表示してもよい。

Ｓ１７０では、上述したような異常が認められないので、異常検出フラグをリセット（即ち、クリア）し、一旦本処理を終了する。
＜運転モード・表示処理＞
本処理は、運転モードの切り替えや、ＨＵＤ装置１７やナビ用表示装置１９で表示を行う際の処理である。

図７に示すように、Ｓ２００では、上述した異常判定フラグがセットされているか否かを判定する。ここで肯定判断されるとＳ２１０に進み、一方否定判断されると一旦本処理を終了する。

Ｓ２１０では、同乗者の対応が緊急を要するか否かを判定する。ここで肯定判断されるとＳ２２０に進み、一方否定判断されるとＳ２４０に進む。
例えば前記Ｓ１４０で子供の体温が異常であると判定された場合や、前記Ｓ１５０で子供の動きが異常であると判定された場合には、同乗者の対応が緊急を要する場合であると判定できる。その他、各種の人の状態を検出するセンサ、例えば脈拍センサや呼吸センサ等を備えている場合には、そのセンサからの出力に応じて、同乗者の対応の緊急性を判定してもよい。

Ｓ２２０では、同乗者の対応が緊急を要するので、自動運転モードに設定し、自動運転を実施する。ここで、自動運転とは、上述した運転者の操作が不要なレベル３～５の自動運転、即ち、第３モードの自動運転である。

続くＳ２３０では、例えば、図８に示すように、ＨＵＤ装置１７とナビ用表示装置１９とに、「自動運転モード」の表示を行って、一旦本処理を終了する。また、この表示とともに、例えば、音声によって、「自動運転を開始します」との報知がなされる。

なお、「自動運転モード」の表示は、ＨＵＤ装置１７とナビ用表示装置１９との各表示画面の一部に表示し、表示画面の他の部分は、今までの表示を継続する。
一方、Ｓ２１０で否定判断されて進むＳ２４０では、ナビゲーション装置１３からの情報や、図示しないＥＴＣ装置からの情報（即ち、ＥＴＣ情報）に基づいて、現在、自車３が、運転の負荷が少ない高速道路を走行中であるか否かを判定する。なお、ＥＣＴとは、Electronic Toll Collection Systemの略であり、登録商標である。ここで肯定判断されるとＳ２８０に進み、一方否定判断されるとＳ２５０に進む。

Ｓ２８０では、運転の負荷が少ないので、図９に示すように、ＨＵＤ装置１７に、「一旦停止できる場所を安定しますか？」との表示を行う。それとともに、例えば、音声によって、「一旦停止できる場所を案内しますか」との出力がなされる。

なお、図９は、第２カメラ１１ｂを、車内の天井のやや運転席寄りに配置して、斜め後方を写すようにした場合の画像である。また、子供等の画像の右側の車両３等の画像は、車両３の進行方向に関する危険等を表示する画像である。

続くＳ２９０では、前記図９に示すように、ＨＵＤ装置１７に、各撮影装置で撮影した同乗者の映像を表示する。例えば、第２カメラ１１ｂによって撮影された後部座席の子供等の映像を表示する。なお、同乗者が複数ある場合には、予めどの同乗者の映像を表示するかを設定しておいてもよいし、順番に各同乗者の映像を表示するようにしてもよい。

それとともに、音声にて、「同乗者の映像を表示します」との報知を行う。なお、音声に代えて、信号音を出力してもよい。
続くＳ３００では、一旦停止を行うための道案内を開始するか否かを判定する。ここで肯定判断されるとＳ３１０に進み、一方否定判断されると一旦本処理を終了する。

つまり、上述した判定の際には、図１０に示すように、例えば、ナビ用表示装置１９のタッチパネルを兼ねる表示画面に、道案内への切り替えを選択できる例えばアイコン２０による表示がなされる。よって、運転者がそのアイコン２０にタッチすることで、道案内の制御への切り替えを指示することができる。

詳しくは、例えば「ＹＥＳ」のアイコン２０をタッチすれば、一旦停止の道案内への切り替えが指示される。一方、例えば「ＮＯ」のアイコン２０をタッチすれば、一旦停止の道案内への切り替えは実施されず、一旦本処理が終了する。なお、一定時間以上、アイコン２０の操作がされない場合には、一旦停止の道案内への切り替えは実施されず、一旦本処理が終了する。

また、前記選択用の表示画面の表示とともに、或いは、表示画面の表示をすることなく、音声によって、道案内の切り替えを行ってもよい。例えば、Ｓ３００では、音声によって、「一旦停止できる場所を案内しますか」との問いがなされ、運転者が、「案内して下さい」と返事すれば、道案内の処理に切り替えてもよい。

そして、Ｓ３１０では、音声にて、「一旦停止できる場所を案内します」と報知するとともに、一旦停止できる場所を案内する道案内の処理を実施し、一旦本処理を終了する。
道案内をする場合には、例えば、ＨＵＤ装置１７の表示画面を、例えば図１１に示すような表示に切り替えて、矢印等を用いて、一旦停止できる場所へ案内する。なお、図１１では、「一旦停止できる場所を案内します」との表示がなされる。このとき、周知の経路案内のように、音声にて道案内を行ってもよい。

一方、前記Ｓ２４０にて否定判断されて進むＳ２５０では、ナビゲーション装置１３からの情報やＥＴＣ装置からの情報に基づいて、現在、自車３が、運転の負荷の多い住宅地を走行中であるか否かを判定する。なお、住宅地であるか否かは、地図情報に基づいて判定することができる。ここで肯定判断されるとＳ３２０に進み、一方否定判断されるとＳ２６０に進む。

Ｓ２６０では、方向指示スイッチから得られるウインカー情報から、自車３が左折又は右折を行う状態であるか否か、或いは、進路変更（即ち、車線変更）を行う状態であるか否か、従って運転の負荷が多い状態か否かを判定する。ここで肯定判断されると前記Ｓ３２０に進み、一方否定判断されるとＳ２７０に進む。

Ｓ２７０では、例えば、周辺監視部７のレーダセンサやカメラからの情報に基づいて、自車３に接近する接近物（即ち、障害物）があるか否かを判定する。ここで肯定判断されると前記Ｓ３２０に進み、一方否定判断されると前記Ｓ２８０～Ｓ３１０に進んで、同様な処理を行う。

一方、前記Ｓ２５０、Ｓ２６０、Ｓ２７０のいずれかで肯定判断されて進むＳ３２０では、運転の負荷が大きな場合又は周囲に障害物がある場合であるので、まず、前記Ｓ２８０と同様に、前記図９に示すように、ＨＵＤ装置１７に、「一旦停止できる場所を安定しますか？」との表示を行う。それとともに、例えば、音声によって、「一旦停止できる場所を案内しますか」との報知がなされる。

続くＳ３３０では、図１２に示すように、ナビ用表示装置１９に、前記Ｓ２９０と同様に、各撮影装置で撮影した同乗者の映像を表示する。なお、ナビ用表示装置１９では、通常の経路案内等の表示を優先して、同乗者の映像を表示しないようにしてもよい。

それとともに、音声にて、「同乗者の映像を表示します」との報知を行う。なお、音声に代えて、信号音を出力してもよい。
続くＳ３４０では、前記Ｓ３００と同様に、一旦停止を行うための道案内を開始するか否かを判定する。ここで肯定判断されるとＳ３５０に進み、一方否定判断されると一旦本処理を終了する。

つまり、前記図１２に示すように、例えば、ナビ用表示装置１９の表示画面に、道案内への切り替えを選択できる例えばアイコン２０による表示がなされる。よって、運転者がそのアイコン２０にタッチすることで、前記Ｓ３００と同様に、道案内への切り替えを指示することができる。なお、上述のように、音声入力によって、道案内への切り替えを行ってもよい。

そして、Ｓ３５０では、前記Ｓ３１０と同様に、音声にて、「一旦停止できる場所を案内します」と報知するとともに、一旦停止できる場所を案内する道案内の処理を実施し、一旦本処理を終了する。

［１－５．効果］
上記第１実施形態では、以下の効果を得ることができる。
（１ａ）本第１実施形態の車両制御装置５では、車両３が走行する周辺の状況や車両３の走行の状態に応じて、同乗者の映像や運転に関する情報を適切に提示することができる。

詳しくは、本第１実施形態では、車両３が走行する周辺の情報及び／又は車両３の走行状態に関する情報を示す車両情報に基づいて、運転者が視認できるＨＵＤ装置１７やナビ用表示装置１９に、同乗者の映像を表示するか否かを判定する。そのため、同乗者の映像を表示するのに適切な場合に、ＨＵＤ装置１７やナビ用表示装置１９に同乗者の映像を表示できる。一方、同乗者の映像を表示するのに適切でない場合には、ＨＵＤ装置１７やナビ用表示装置１９に同乗者の映像を表示しないようにできる。

従って、例えば、通常はＨＵＤ装置１７やナビ用表示装置１９に車両情報を表示するとともに、運転の負荷に応じて、同乗者の映像を表示するのに適当な場合には、同乗者の映像をＨＵＤ装置１７やナビ用表示装置１９に表示できる。

このように、本第１実施形態では、ＨＵＤ装置１７やナビ用表示装置１９を用いて、運転に必要な情報を適切に提供することができるとともに、車両３の周囲の状況などの車両情報に基づいて、同乗者の画像の表示の可否を判定できる。よって、運転の安全性と同乗者の状態の把握とを両立できるという顕著な効果を奏する。

（１ｂ）本第１実施形態の車両制御装置５では、車両情報が、予め設定された所定の運転の負荷を示す条件を満たす場合には、ＨＵＤ装置１７やナビ用表示装置１９に同乗者の映像を表示する判定を行う。

詳しくは、所定の運転の大きな負荷を示す第１条件を満たす場合、例えばＳ２５０、Ｓ２６０、Ｓ２７０のいずれかでＹＥＳの場合には、ナビ用表示装置１９に同乗者の映像を表示する。一方、前記運転の大きな負荷より小さな負荷を示す第２条件を満たす場合、例えばＳ２４０でＹＥＳ、または、Ｓ２５０及びＳ２６０及びＳ２７０でＮＯの場合には、ＨＵＤ装置１７に同乗者の映像を表示する。

つまり、運転の負荷の大きな場合には、ＨＵＤ装置１７ではなくナビ用表示装置１９に同乗者の映像を表示するので、ＨＵＤ装置１７では、通常の簡易的な案内や障害物の表示等を継続して表示することができる。これにより、運転の安全性と同乗者の状態の把握とを一層好適に両立できる。

なお、運転の負荷が小さな場合には、目につきやすいＨＵＤ装置１７に同乗者の映像を表示するので、同乗者の状態をより一層好適に把握できる。
（１ｃ）本第１実施形態の車両制御装置５では、同乗者の異常が検出されたときには、つまり、同乗者の対応が緊急性を要する場合には、車両３の運転者の操作による運転状態又は運転者の操作が必要とされる自動運転による運転状態を、運転者の操作が不要な自動運転に切り替える。従って、運転者は、運転から解放されるので、同乗者の状態の把握や適切の対応等をとることができる。

（１ｄ）本第１実施形態の車両制御装置５では、各カメラ１１ｂ、１１ｃ、１１ｄを駆動して、常時又は上述した異常判定処理や運転モード・表示処理を行う場合に、同乗者の映像を取得する。従って、ＨＵＤ装置１７やナビ用表示装置１９に同乗者の映像を表示する場合には、上述のようにして取得した映像を用いて、同乗者の映像を表示することができる。

（１ｅ）本第１実施形態の車両制御装置５では、車両情報として、車両３が走行する道路（例えば、道路の種類）の情報、車両３が走行する道路の周辺の地域（例えば、周囲の住宅街）の情報、車両３の周囲の障害物（例えば、他者や人工等の構造物）の情報、車両３自身の右左折の情報、車両３の周囲の自然の状態を示す自然環境（例えば、風雨や夜間）の情報のうち、少なくとも１種を採用できる。

（１ｆ）本第１実施形態の車両制御装置５では、ＨＵＤ装置１７やナビ用表示装置１９に同乗者の映像を表示する場合には、当該同乗者の映像を表示することを音声又は音声以外の音で報知することができる。

従って、運転者は、運転に注意が向けられている場合でも、同乗者の映像が表示されたことを確実に把握できる。
（１ｇ）本第１実施形態の車両制御装置５では、後席用表示装置２１に運転者の顔を含む映像を表示することができる。なお、図示しないが、助手席の前方に、運転者の顔を含む映像を表示する表示装置を設けてもよい。

［１－６．文言の対応関係］
本第１実施形態と本開示との関係において、車両３が車両に対応し、車両制御装置５が車両制御装置に対応し、ＨＵＤ装置１７及びナビ用表示装置１９が表示装置に対応し、第２～第４カメラ１１ｂ～１１ｄが撮影装置に対応し、後席用表示装置２１が同乗者用の表示装置に対応し、情報取得部３１が情報取得部に対応し、情報表示部３３が情報表示部に対応し、映像取得部３５が映像取得部に対応し、表示判定部３７が表示判定部に対応する。

［２．第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

本第２実施形態では、運転モード・表示処理の一部が第１実施形態と異なるので、本第２実施形態における運転モード・表示処理について説明する。
本第２実施形態では、図１３に示すように、Ｓ４００～Ｓ４９０では、第１実施形態のＳ２００～Ｓ２９０と同様の処理を行う。

Ｓ５００では、前記Ｓ３００と同様に、一旦停止を行うための道案内を開始するか否かを判定する。ここで、「ＹＥＳ」が選択されて肯定判断されるとＳ５１０に進み、一方「ＮＯ」が選択されて否定判断されるとＳ５２０に進む。

Ｓ５１０では、前記Ｓ３１０と同様に、一旦停止できる場所を案内する道案内の処理を実施し、一旦本処理を終了する。
一方、Ｓ５００で否定判断されて進むＳ５２０では、図１４に示すように、ＨＵＤ装置１７に、「自動運転に切り替えますか？」との表示を行う。なお、この表示とともに、例えば、音声によって、「自動運転に切り替えますか」との出力がなされる。

続くＳ５３０では、運転者の操作が不要な自動運転に切り替えるか否かを判定する。ここで肯定判断されるとＳ５４０に進み、一方否定判断されると一旦本処理を終了する。
この判定の際には、図１５に示すように、ナビ用表示装置１９のタッチパネルを兼ねる表示画面に、「自動運転に切り替えますか？」との表示と、自動運転への切り替えを選択できる例えばアイコン２２による表示がなされる。よって、運転者がそのアイコン２２にタッチすることで、自動運転への切り替えを指示することができる。

そして、自動運転が選択された場合、即ち「ＹＥＳ」のアイコン２２がタッチされた場合には、Ｓ５５０にて、自動運転の制御を実施し、一旦本処理を終了する。
なお、自動運転が選択された場合には、例えばＨＵＤ装置１７に、「自動運転モード」との表示を行うとともに、音声にて、「自動運転を実施します」との報知を行う。

一方、前記Ｓ４５０、Ｓ４６０、Ｓ４７０のいずれかで否定判断されて進むＳ５５０、５６０では、前記第１実施形態のＳ３２０、Ｓ３３０と同様な処理を行う。
続くＳ５７０～６１０では、前記Ｓ５００～Ｓ５４０での処理と同様な処理を行った後に、一旦本処理を終了する。

本第２実施形態は、第１実施形態と同様な効果を奏する。また、本第２実施形態では、一旦停止の案内の選択だけでなく、自動運転への切り替えも選択できるという利点がある。

［３．第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。

本第３実施形態では、運転モード・表示処理の一部が第１実施形態と異なるので、本第３実施形態における運転モード・表示処理について説明する。
本第３実施形態では、図１６に示すように、Ｓ７００、Ｓ７１０では、第１実施形態のＳ２００、Ｓ２１０と同様な処理を行う。

そして、Ｓ７１０にて肯定判断されて進むＳ７２０では、ＨＵＤ装置１７とナビ用表示装置１９に、「同乗者への対応が緊急に必要です」との表示を行う。それとともに、音声にて、「同乗者への対応が緊急に必要です」との内容の報知を行い、一旦本処理を終了する。なお、このＳ７２０の処理の際に、ＨＵＤ装置１７又はナビ用表示装置１９に、同乗者の映像を表示してもよい。

また、Ｓ７１０にて否定判断されて進むＳ７３０～Ｓ８４０では、第１実施形態のＳ２４０～Ｓ３５０と同様な処理を行って、一旦本処理を終了する。
本第３実施形態では、第１実施形態と同様な効果を奏する。また、本第３実施形態は、運転者の操作が不要なレベル３～５の自動運転の機能を有しない車両３にも適用できるという利点がある。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）上述した第１、第２実施形態では、運転者の操作が不要なレベル３～５の自動運転が可能な車両について説明したが、本開示は、前記第３実施形態のように、運転者の操作が不要な自動運転を実施しない車両や、自動運転の機能を有しない車両に適用できる。

（４ｂ）前記第１実施形態では、同乗者の映像を、運転の負荷に応じて、ＨＵＤ装置又はナビ用表示装置に表示したが、どちらか一方の装置に表示するようにしてもよい。
例えば、ＨＵＤ装置を備えていない車両では、運転の負荷が多い場合には、ナビ用表示装置に同乗者の映像を表示せずに、車両の周辺情報等を優先して表示し、運転の負荷が少ない場合には、ナビ用表示装置に同乗者の映像を表示するようにしてもよい。

（４ｃ）前記実施形態では、後部座席の子供の異常を検出する例を挙げているが、異常を検出する対象は、子供限らず、高齢者や病弱な人など、特に限定はない。また、後部座席に限らず、助手席の同乗者の異常を検出してもよい。

（４ｄ）前記実施形態では、運転者がタッチパネルで運転の選択を入力した例を挙げているが、他のスイッチによって、運転の切り替えを行ってもよい。
（４ｅ）前記実施形態では、所定の条件が満たされた場合に、ＨＵＤ装置やナビ用表示装置に、同乗者の画像を自動的に表示するようにしたが、運転者の判断により、例えばスイッチ操作などによって、同乗者の映像を表示するようにしてもよい。例えばスイッチ操作などによって、ＨＤＤ装置に表示していた同乗者の画像を、ナビ用表示装置に表示するように切り替えてもよい。

（４ｆ）また、運転の負荷が大きい場合には、「一旦停止できる場所を案内しますか？」の表示を、ナビ用表示装置に表示することで、ＨＤＤ装置には、車両情報及び周辺情報を優先して表示するようにしてもよい。

（４ｇ）本開示に記載の車両制御装置での処理の手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の車両制御装置での処理の手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。

もしくは、本開示に記載の車両制御装置での処理の手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。

また、車両制御装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（４ｈ）前記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（４ｉ）また、上述した車両制御装置の他、当該車両制御装置を構成要素とするシステム、当該車両制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体など、種々の形態で本開示を実現することもできる。

１：車両システム、３：車両、５：車両制御装置、１７：ＨＵＤ装置、１９：ナビ用表示装置、２１：後席用表示部、 ３１：情報取得部、３３：情報表示部、３５：映像取得部、３７：表示判定部

Claims (9)

1. 車両制御装置（５）であって、
   車両（３）が走行する周辺の情報及び／又は前記車両の走行状態に関する情報を示す車両情報を取得するように構成された情報取得部（３１）と、
   前記車両の運転者が視認できる位置に配置された表示装置（１７、１９）に、前記車両情報を表示することが可能なように構成された情報表示部（３３）と、
   前記車両の運転席以外の座席に着座した同乗者を撮影する撮影装置（１１ｂ、１１ｃ、１１ｄ）から、前記同乗者の映像を取得するように構成された映像取得部（３５）と、
   前記情報取得部によって取得された前記車両情報に基づいて、前記映像取得部によって取得された前記同乗者の映像を、前記表示装置に表示するか否かを判定するように構成された表示判定部（３７）と、
   を備え、
   前記車両情報が、予め設定された所定の運転の負荷を示す条件を満たす場合には、
   前記車両の運転者の操作による運転状態又は前記運転者の操作が必要とされる自動運転による運転状態を、前記運転者の操作が不要な自動運転又は前記車両を一旦停止できる場所を案内する制御に切り替えることが可能なように構成された、
   車両制御装置。
2. 請求項１に記載の車両制御装置であって、
   前記表示装置を複数備え、運転の負荷によって前記同乗者の映像を表示する前記表示装置を変更するように構成された、
   車両制御装置。
3. 車両（３）が走行する周辺の情報及び／又は前記車両の走行状態に関する情報を示す車両情報を取得するように構成された情報取得部（３１）と、
   前記車両の運転者が視認できる位置に配置された表示装置（１７、１９）に、前記車両情報を表示することが可能なように構成された情報表示部（３３）と、
   前記車両の運転席以外の座席に着座した同乗者を撮影する撮影装置（１１ｂ、１１ｃ、１１ｄ）から、前記同乗者の映像を取得するように構成された映像取得部（３５）と、
   前記情報取得部によって取得された前記車両情報に基づいて、前記映像取得部によって取得された前記同乗者の映像を、前記表示装置に表示するか否かを判定するように構成された表示判定部（３７）と、
   を備えた車両制御装置（５）であって、
   前記表示装置は前記車両に複数配置されており、前記複数の前記表示装置を用いる場合には、運転の負荷によって前記同乗者の映像を表示する前記表示装置を変更するように構成された、
   車両制御装置。
4. 請求項１から請求項３までのいずれか１項に記載の車両制御装置であって、
   前記車両情報が、予め設定された所定の運転の負荷を示す条件を満たす場合には、
   前記表示装置に前記同乗者の映像を表示する判定を行うように構成された、
   車両制御装置。
5. 請求項１から請求項４までのいずれか１項に記載の車両制御装置であって、
   前記同乗者の異常が検出されたときには、前記車両の運転者の操作による運転状態又は前記運転者の操作が必要とされる自動運転による運転状態を、前記運転者の操作が不要な自動運転に切り替えるように構成された、
   車両制御装置。
6. 請求項１から請求項５までのいずれか１項に記載の車両制御装置であって、
   前記表示装置に前記同乗者の映像を表示する場合に又は常時、前記同乗者の映像を取得するように構成された、
   車両制御装置。
7. 請求項１から請求項６までのいずれか１項に記載の車両制御装置であって、
   前記車両情報は、前記車両が走行する道路の情報、前記車両が走行する道路の周辺の地域の情報、前記車両の周囲の障害物の情報、前記車両の周囲の自然環境の情報、前記車両自身の右左折の情報のうち、少なくとも１種である、
   車両制御装置。
8. 請求項１から請求項７までのいずれか１項に記載の車両制御装置であって、
   前記表示装置に前記同乗者の映像を表示する場合には、当該同乗者の映像を表示することを音声又は前記音声以外の音で報知するように構成された、
   車両制御装置。
9. 請求項１から請求項８までのいずれか１項に記載の車両制御装置であって、
   前記車両内の前記同乗者が視認できる位置に、当該同乗者用の表示装置（２１）を備えている場合には、
   前記同乗者用の表示装置に、前記運転者の顔を含む映像を表示するように構成された、
   車両制御装置。

Images