JP7439949B2 - 表示制御装置、表示システム、表示制御方法及び表示制御プログラム - Google Patents

Description

本開示は、自車両によって生じる死角における状況を示す死角画像を表示装置へ表示する際の制御を行う表示制御装置、表示システム、表示制御方法及び表示制御プログラムに関するものである。

自動車等の車両を運転している場合に、自車両が原因で自車両の周辺に存在する歩行者等の対象者にとって死角が生じることがある。

そこで、自車両の周辺をカメラで撮像し、自車両の存在により周辺の歩行者等の対象者にとって死角となる視野の情報を自車両の周辺に対して表示装置で表示する装置が、特許文献１に開示されている。特許文献１に開示された装置は、自車両に設けられ、自車両の周辺の画像を撮像する撮像手段と、自車両の少なくとも一部に設けられた画像表示手段に、撮像手段で撮像された画像表示手段が設けられた位置において死角となる視野の画像を表示させる表示制御手段とを備えている。

特開２００２－８７１８８号公報

しかしながら、上記した従来の表示制御装置では、歩行者に対して死角画像を表示しても、歩行者がどこの範囲を表示しているか認識しにくいという問題があった。

本開示は、上記のような問題を解決するためになされたものであって、死角画像を表示する際に、対象者にどこの死角画像であるのかを直感的にわかりやすく表示することができる表示制御装置、表示システム、表示制御方法及び表示制御プログラムを提供することを目的とする。

本開示に係る表示制御装置は、自車両の外に存在する対象者から見て自車両によって生じる死角を示す死角画像を取得する死角画像取得部と、自車両の画像を死角画像に重畳した表示画像を生成する表示画像生成部と、自車両の車体から外部に向けて取り付けられた表示装置に表示画像を表示する制御部とを備えるものである。

本開示に係る表示システムは、自車両の車体から外部に向けて取り付けられた表示装置と、自車両の外に存在する対象者から見て自車両によって生じる死角を示す死角画像を取得する死角画像取得部と、自車両の画像を死角画像に重畳した表示画像を生成する表示画像生成部と、表示装置に表示画像を表示する制御部とを備えるものである。

本開示に係る表示制御方法は、自車両の外に存在する対象者から見て自車両によって生じる死角を示す死角画像を取得するステップと、自車両の画像を死角画像に重畳した表示画像を生成するステップと、自車両の車体から外部に向けて取り付けられた表示装置に表示画像を表示するステップとを有するものである。

本開示に係る表示制御プログラムは、死角画像取得部が、自車両の外に存在する対象者から見て自車両によって生じる死角を示す死角画像を取得する処理と、表示画像生成部が、自車両の画像を死角画像に重畳した表示画像を生成する処理と、制御部が、自車両の車体から外部に向けて取り付けられた表示装置に表示画像を表示する処理とを実行させるものである。

本開示によれば、表示画像生成部が自車両の画像を死角画像に重畳した表示画像を生成し、制御部が自車両の車体から外部に向けて取り付けられた表示装置に表示画像を表示することにより、死角画像を表示する際に、対象者にどこの範囲の死角画像であるのかを直感的にわかりやすく表示することができる。

片側二車線の道路上に横断歩道がある状況の一例を示した図である。 実施の形態１に係る表示制御装置を含む表示システムのブロック図である。 実施の形態１に係る自車両の前面図である。 実施の形態１に係る自車両の後面図である。 実施の形態１に係る自車両の左側面図である。 実施の形態１に係る自車両の右側面図である。 実施の形態１に係る自車両の車載システムのハードウェア構成図である。 実施の形態１に係る表示システムの動作を示すフローチャートである。 実施の形態１に係る自車両の画像を加工する前の表示画像の一例である。 実施の形態１に係る自車両の画像を加工した後の表示画像の一例である。 実施の形態１に係る対象者から自車両を見たときの図の一例である。 実施の形態１に係る自車両を真正面から見たときの図の一例である。 実施の形態２に係る表示システムの動作を示すフローチャートである。

実施の形態１．
図１は、片側二車線の道路上に横断歩道４がある状況の一例を示した図である。実施の形態１では、一例として、図１に示した通り、自動車である自車両１が片側二車線の道路を走行している場合を考える。横断歩道４の前で自車両１が停車し、対象者として歩行者３が停車している自車両１の前を横切ろうとしている。さらに、歩行者３に対して自車両１の奥にあたる自車両１の隣の車線の後方から自動車である他車両２が自車両１を追い越そうとしている。歩行者３からは自車両１が原因で他車両２がいる範囲が死角になり、他車両２が見えない状況について、本開示を適用した場合を以下に説明する。

図２は、本実施の形態１に係る表示制御装置２０を含む表示システム３０のブロック図である。表示システム３０は、自車両１に設けられた報知装置３１と、自車両１の車両全体を制御する全体制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０から取得した車内外情報を用いて報知すべき情報である報知情報を判定し、報知情報を報知装置３１から報知するよう制御する表示制御装置２０とを備えている。ここで、車内外情報は、死角情報または死角画像を含んでいる。死角情報と死角画像については、後述する。

報知装置３１は、自車両１から自車両１の外に存在する対象者に報知情報を報知する装置である。報知装置３１は、例えば、自車両１の周囲の自車両１の外に存在する対象者に自車両１の状態、自車両１の現在または今後の動作の予告と意図、または警告等を報知する。報知装置３１は、表示装置３２～３５と、スピーカ３６とを備える。ただし、報知装置３１は、少なくとも１つの表示装置を備えていればいい。

図３は、本実施の形態１に係る自車両１の前面図である。本実施の形態１では、表示装置３２は自車両１の前面に設けられ、スピーカ３６は自車両１の前面の表示装置３２の上側に設けられている。

図４は、本実施の形態１に係る自車両１の後面図である。本実施の形態１では、表示装置３３は自車両１の後面に設けられている。

図５は、本実施の形態１に係る自車両１の左側面図である。本実施の形態１では、表示装置３４は自車両１の左側面に設けられている。

図６は、本実施の形態１に係る自車両１の右側面図である。本実施の形態１では、表示装置３５は自車両１の右側面に設けられている。

図２に戻って、全体制御ＥＣＵ１０は、自車両１の車内外の様々なセンサから死角情報または死角画像を含む車内外情報を取得し、取得した車内外情報に基づいて、自車両１内のハードウェアに指示を送り、ハードウェアを制御する。

表示制御装置２０は、全体制御ＥＣＵ１０から死角情報または死角画像を含む車内外情報を取得する車内外情報取得部２７を備えている。また、表示制御装置２０は、死角情報から死角画像を生成する際の画像のパーツが記憶されている死角画像ＤＢ（Ｄａｔａｂａｓｅ）２４ｂと、死角画像ＤＢ２４ｂを用いて死角情報から死角画像を生成する死角画像生成部２８とを備えている。

また、表示制御装置２０は、死角画像を取得する死角画像取得部２１と、死角画像、車内外情報等を報知装置３１から報知するか否か判定する判定部２２とを備えている。また、表示制御装置２０は、自車両１の画像が記憶されている自車両画像ＤＢ（Ｄａｔａｂａｓｅ）２４ａと、判定部２２で報知すると判定した場合、自車両画像ＤＢ２４ａから取得した自車両１の画像を死角画像に重畳した表示画像を含む報知情報を生成する表示画像生成部２３とを備えている。

また、表示制御装置２０は、車内外情報と報知装置３１とが対応付けられた報知装置情報と表示画像の加工情報等の報知パターン情報と報知する報知タイミング情報等の条件情報が記憶されている条件情報ＤＢ（Ｄａｔａｂａｓｅ）２５とを備えている。また、表示制御装置２０は、表示画像に条件情報ＤＢ２５から取得した条件情報を付与する条件付与部２９と、条件情報ＤＢ２５で対応付けられた報知装置３１に報知情報を報知させるように制御する制御部２６とを備えている。以下にそれぞれの構成について説明する。

車内外情報取得部２７は、全体制御ＥＣＵ１０から死角情報または死角画像を含む車内外情報を取得する。車内外情報とは、例えば、自車両１の位置情報、対象者３の位置情報、対象者３の目線情報、対象者３の死角情報、対象者３の死角画像、他車両２の位置情報、エンジンの回転量情報、エンジンＯＮとＯＦＦとの切り替え情報、シフトレバーによるギアの変更情報、ドアの開閉情報、自車両１の動作情報、ハンドルの舵角情報、ウィンカーの操作情報、周囲の混雑状況情報、周囲の人や他車両等のオブジェクトの検出情報および認識情報、自車両１の車内にいるユーザに関する情報等である。なお、車内外情報取得部２７は、対象者３の目線情報を取得する目線情報取得部に対応する。

ここで、死角情報とは、自車両１の外に存在する対象者３から見て自車両１によって生じる死角における状況を示す情報である。具体的には、例えば、死角情報は、超音波センサ、レーダセンサ、ミリ波レーダセンサ、ライダー、赤外線レーザーセンサからの情報等である。

死角画像とは、自車両１の外に存在する対象者３から見て自車両１によって生じる死角の画像である。具体的には、例えば、死角画像は、車外カメラ等の画像である。

死角画像ＤＢ２４ｂは、様々な角度から見た様々な他車両等のオブジェクトの画像を予め記憶している。また、死角画像ＤＢ２４ｂは、様々な角度から見た様々な背景の画像を予め記憶している。オブジェクトと背景等の画像は、写真等の実際の画像、イラスト等であり、死角情報から死角画像を生成する際の画像のパーツとなる。

死角画像生成部２８は、死角情報から死角画像ＤＢ２４ｂに記憶されている画像のパーツを用いて死角画像を生成する。また、死角画像生成部２８は、車内外情報取得部２７で取得した死角画像の範囲が広すぎる場合は、適切な範囲を抽出し、それを以降の死角画像とする。具体的には、死角画像生成部２８は、例えば、死角情報がレーダ情報等であった場合は、死角情報を用いて、死角画像ＤＢ２４ｂから画像のパーツを取得し、画像のパーツから死角画像生成する。また、死角画像生成部２８は、例えば、死角よりも広い範囲の車外カメラの画像である場合は、死角に合わせて死角画像を抽出する。

死角画像取得部２１は、車内外情報取得部２７が取得した死角画像または死角画像生成部２８で生成した死角画像を取得する。なお、死角画像は、自車両１の外に存在する対象者３から見て自車両１によって生じる死角を示す。

判定部２２は、車内外情報に基づいて、自車両１の車両の状態、自車両１の車外の交通環境等を判定する。判定部２２は、例えば、ギアの変更情報に基づいて、自車両１が停車したままなのか、前進しようとしているのか、後退しようとしているのかを判定する。また、判定部２２は、例えば、周囲の人や車等のオブジェクトの検出情報および認識情報に基づいて、対象者が危険な状態にあるか否かを判定する。

判定部２２は、判定した自車両１の車両の状態、自車両１の車外の交通環境等に基づき、対象者に報知情報を報知するか判定する。具体的には、判定部２２は、対象者３に表示画像を表示するか否か判定する。判定部２２は、例えば、図１のような場合、歩行者３に他車両２の存在を報知すると判定する。

自車両画像ＤＢ２４ａは、様々な角度から見た自車両１の画像を予め記憶している。自車両１の画像は、写真等の実際の画像、イラスト等である。

表示画像生成部２３は、判定部２２で報知すると判定した場合、車内外情報から報知情報を生成する。表示画像生成部２３は、報知情報を生成する際、少なくとも自車両画像ＤＢ２４ａから取得した自車両１の画像を死角画像に重畳した表示画像を含む報知情報を生成する。

条件情報ＤＢ２５は、条件情報が記憶されている。具体的には、例えば、条件情報ＤＢ２５は、表示装置３２～３５とスピーカ３６との装置の情報を記憶しており、車内外情報の識別子と報知装置３１の識別子とが対応付けられた報知装置情報を記憶している。また、条件情報ＤＢ２５は、車内外情報と対応付けられた報知パターン情報を記憶している。報知パターン情報とは、例えば、表示装置３２～３５に表示する画像の形状、色、大きさ、輝度、位置等の情報、スピーカ３６に報知させる音の大きさ、音の高低、音の種類等の情報である。さらに、条件情報ＤＢ２５は、車内外情報と対応付けられた報知タイミング情報を記憶している。報知タイミング情報とは、例えば、報知装置３１に報知させるタイミング、時間等の情報である。

条件付与部２９は、条件情報ＤＢ２５から報知する報知装置３１と報知パターンと報知するタイミング、時間等とを決定し、表示画像を含む報知情報に条件情報を付与する。具体的には、例えば、条件付与部２９は、報知パターン情報として表示画像の自車両の画像を縮小する加工情報を取得した場合、自車両の画像を縮小して表示画像を加工する。

制御部２６は、判定部２２で報知を行うと判定された場合に、条件情報ＤＢ２５で対応付けられた報知装置３１に表示画像を含む報知情報を報知させるように制御する。具体的には、制御部２６は、判定部２２が表示すると判定した場合に、条件情報ＤＢ２５で対応付けられた表示装置に表示画像を表示させるように制御する。

次に実施の形態１における自車両１の一部のハードウェア構成について説明する。

図７は、本実施の形態１に係る自車両１の車載システム１００のハードウェア構成図である。図７を用いて、本実施の形態１に係る表示制御装置２０を含む表示システム３０の構成について説明する。

車載システム１００は、一例として、通信線６５と、センサ４０と、通信装置６０と、全体制御ＥＣＵ１０と、報知制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１５と、運転装置７０と、報知装置８０とで構成される。

通信線６５は、各装置間及び機器間を電気的に接続し、データのやり取りを行う信号経路である。本実施の形態１では、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してデータのやり取りを行う。なお、車載システム１００の各装置をバスでつなげてもよい。車載システム１００の装置間及び機器間は通信を介して接続されており、用いる通信については、有線通信でも無線通信でもよい。

センサ４０は、車速センサ４１、舵角センサ４２、アクセルセンサ４３、ブレーキセンサ４４、シフトセンサ４５、ウィンカーセンサ４６、ハザードセンサ４７、ワイパーセンサ４８、ライトセンサ４９、ドア開閉センサ５０、ドライバカメラ５１、着座センサ５２、加速度センサ５３、角速度センサ５４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）デバイス５５、ナビゲーションシステム５６、車外カメラ５７、車外センサ５８、および照度センサ５９等の自車両１の車内外情報を検出するセンサである。

車速センサ４１は、自車両１の速度を検出するセンサであり、車輪速に応じた電気信号（車速パルス）を全体制御ＥＣＵ１０に出力する。車輪速に応じた電気信号が車速情報となる。

舵角センサ４２は、自車両１の操舵角を検出するセンサであり、操舵角に応じた電気信号を全体制御ＥＣＵ１０に出力する。操舵角に応じた電気信号が、舵角情報となる。

アクセルセンサ４３は、自車両１のアクセルの開度すなわちアクセルペダルの操作量を検出するセンサであり、アクセルペダルの操作量情報を全体制御ＥＣＵ１０に出力する。

ブレーキセンサ４４は、自車両１のブレーキペダルの操作量を検出するセンサであり、ブレーキペダルの操作量情報を全体制御ＥＣＵ１０に出力する。

シフトセンサ４５は、自車両１のシフトレバーの現在の状態または変化を検出するセンサであり、自車両１のユーザによるシフト変更等、シフトレバーの操作情報を全体制御ＥＣＵ１０に出力する。

ウィンカーセンサ４６は、自車両１のウィンカー（方向指示器）の操作を検出するセンサであり、ユーザがウィンカーを操作した場合、ウィンカー操作指示の情報を全体制御ＥＣＵ１０に出力する。

ハザードセンサ４７は、自車両１のハザードスイッチの操作を検出するセンサであり、ユーザのハザードスイッチの操作を検出し、操作情報を全体制御ＥＣＵ１０に出力する。

ワイパーセンサ４８は、自車両１のワイパー操作を検出するセンサであり、ユーザがワイパーを操作した場合、この操作指示情報を全体制御ＥＣＵ１０に出力する。

ライトセンサ４９は、ユーザの自車両１のライトレバーの操作を検出するセンサであり、ユーザのライトの操作情報を全体制御ＥＣＵ１０に出力する。

ドア開閉センサ５０は、自車両１のドアの開閉を検出するセンサであり、ドアの開閉情報を全体制御ＥＣＵ１０に出力する。

ドライバカメラ５１は、自車両１のドライバ席に対向して設けられたカメラ（撮像装置）であり、ドライバ席に座るユーザを撮像する機能を有している。ドライバカメラ５１は、ユーザの顔や上半身を撮像し、撮像した画像を全体制御ＥＣＵ１０に出力する。

着座センサ５２は、自車両１のシートに設けられ、ユーザの着座状況を検出するセンサであり、例えば押圧センサ等によって実現される。着座センサ５２は、ユーザが着座または離席すると、この情報を全体制御ＥＣＵ１０に出力する。着座センサ５２は、シートに複数設けられていてもよく、この複数の押圧センサの情報に基づいて、全体制御ＥＣＵ１０はユーザの姿勢等を推定する。

加速度センサ５３は、自車両１の加速度を検出するセンサであり、例えば３軸加速度センサにより構成される。加速度センサ５３は、自車両１の加速度情報を全体制御ＥＣＵ１０に出力する。

角速度センサ５４は、自車両１の角速度（ジャイロ）を検出するセンサであり、この角速度情報に基づいて全体制御ＥＣＵ１０は自車両１の旋回速度等を検出する。角速度センサ５４は、検出した角速度情報を全体制御ＥＣＵ１０に出力する。

ＧＰＳデバイス５５は、グローバルポジショニングシステム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて人工衛星が発信する電波を利用し、自車両１の位置情報を検出する装置であり、自車両１の位置情報である座標の情報を全体制御ＥＣＵ１０およびナビゲーションシステム５６に出力する。

ナビゲーションシステム５６は、地図情報を有しており、自車両１の位置情報と地図情報に基づいて、自車両１の目的地への推奨経路を算出する機能を有している。また、ナビゲーションシステム５６は、通信機能を有しており、渋滞情報や通行止め情報等の外部情報をサーバ（不図示）より取得し、これらに基づいた推奨経路を算出しても良い。または、ナビゲーションシステム５６は、自車両１の位置情報および目的地情報等をサーバに送る機能を有しており、サーバ側で推奨経路を算出し、この推奨経路の情報を受信するシステムとして構成されていてもよい。ナビゲーションシステム５６は、算出された経路情報を全体制御ＥＣＵ１０に出力する。

車外カメラ５７は、自車両１の車外を撮像するために設けられたカメラ（撮像装置）である。車外カメラ５７は、例えば自車両１の前方、後方および左右にそれぞれ設けられており、それぞれの撮像画像を全体制御ＥＣＵ１０に出力する。全体制御ＥＣＵ１０は、この入力された撮像画像に基づいて、対象者の検出や認識、また他車両と障害物等のオブジェクトの検出や認識を実行することができる。

車外センサ５８は、自車両１の車外の周囲の物体を検出することができるセンサであり、例えば超音波センサ、レーダセンサ、ミリ波レーダセンサ、ライダー、赤外線レーザーセンサ等により構成される。車外センサ５８は、この検出情報を全体制御ＥＣＵ１０に出力する。全体制御ＥＣＵ１０は、車外センサ５８から入力される車外の物体の検出情報に基づいて、その物体との距離情報や、物体の位置情報を検出する。距離情報及び位置情報の検出は、本実施の形態１のように全体制御ＥＣＵ１０が検出するものとしてもよいし、車外センサ５８が検出した情報に基づいて距離情報及び位置情報を算出し、全体制御ＥＣＵ１０にこの情報を出力するとしてもよい。

照度センサ５９は、自車両１の車外に向けて設けられており、車外の照度（明るさ）を検出するセンサである。照度センサ５９は、検出した照度の情報を全体制御ＥＣＵ１０に出力する。

通信装置６０は、自車両１の車外に存在する別の通信機器と無線通信を行う。通信装置６０は、特定の周波数帯域を用いて、他車両との車車間通信、路側機との路車間通信、または人が持つスマートフォン等の通信可能な電子機器との通信を行う。通信装置６０が行う通信は、特定の決められた周波数帯を用いた独自の通信、車内通信機器と外部通信機器との間の通信を実行するために規格化された通信規格を用いての通信であってもよいし、例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）等の既存の通信規格を用いての通信であってもよい。

通信装置６０は、アンテナ６１と、送信部６２と、受信部６３とを備えている。通信装置６０は、アンテナ６１を介して送信部６２より別の通信機器に無線信号を送信し、アンテナ６１を介して受信部６３より別の通信機器からの周囲の混雑状況情報等の無線信号を受信する。

例えば、全体制御ＥＣＵ１０は、車外カメラ５７、車外センサ５８等から自車両１の周囲に他車両２が存在しているかどうかの情報、及び周囲の他車両２の色、形状、型番等の特徴の情報を取得し、ＧＰＳデバイス５５、ナビゲーションシステム５６、通信装置６０等から自車両１の位置情報、速度規定、直線道路と車線数と曲線道路等の道路の形状情報とを取得し、車外カメラ５７から死角情報または死角画像を含む自車両１の周囲の状況を取得する。表示システム３０は、それらの情報を全体制御ＥＣＵ１０から取得する。なお、センサ４０と通信装置６０とのうち少なくとも一方は、死角情報または死角画像を取得し、全体制御ＥＣＵ１０に死角情報または死角画像を送信する。

全体制御ＥＣＵ１０は、自車両１の車両全体を制御する機能を有するＥＣＵである。センサ４０から検出した情報を取得し、この情報に基づいて自車両１の各部を適切に動作させるように指示や情報を送ることで自車両１の車両全体の制御を実行する。全体制御ＥＣＵ１０は、プロセッサ１１と、メモリ１２とを備えている。

プロセッサ１１は、メモリ１２に格納されるプログラムを読み込み実行することで、全体制御ＥＣＵ１０において計算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。具体的には、プロセッサ１１は、メモリ１２に記憶したＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の少なくとも一部をロードし、ＯＳを実行しながら、プログラムを実行する。プロセッサ１１は、通信線６５を介して各装置及び機器と接続し、各装置及び機器を制御する。プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であればいいので、計算処理回路、電気回路、コントローラ、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等、またはこれらを組み合わせたものであってもよい。

なお、全体制御ＥＣＵ１０の様々な機能を別のプロセッサで実現してもよいし、様々な機能をまとめて１つのプロセッサで実現しても良い。

メモリ１２は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアの組み合わせが記述されたプログラム、ＯＳ及び各種情報等を記憶する。メモリ１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等である。

なお、メモリ１２は、各部の機能をそれぞれ別々のメモリで実現してもよいし、各部の機能をまとめて１つのメモリで実現してもよい。

全体制御ＥＣＵ１０は、例えば、メモリ１２として、１以上のプログラムを格納する不揮発性記憶装置であるＲＯＭと、プロセッサ１１がプログラムと各種情報との展開領域として用いる揮発性記憶装置であるＲＡＭを有しており、プロセッサ１１はＲＯＭからプログラムを読み出し、読み出したプログラムをＲＡＭ上に展開して計算処理を実行する。

全体制御ＥＣＵ１０の機能は、ハードウェア、ソフトウェア、ファームウェア、またはハードウェアとソフトウェアとファームウェアとの組み合わせにより実現できる。全体制御ＥＣＵ１０の各部の機能は、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。例えば、全体制御ＥＣＵ１０の一部は専用のハードウェアとしての処理回路でその機能を実現し、残りの部分はＣＰＵがメモリに格納されたプログラムを読み出して実行することによってその機能を実現してもよい。

運転装置７０は、自車両１を運転するための装置である。運転装置７０は、ヘッドライトドライバ７１と、ヘッドライト７２と、エンジン７３と、変速機７４と、ブレーキアクチュエータ７５と、ステアリングアクチュエータ７６と、ウィンカー７７と、ＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）７８とを備えている。

ヘッドライトドライバ７１は、ヘッドライト７２を駆動させる駆動装置である。ヘッドライトドライバ７１は、全体制御ＥＣＵ１０からの指示に基づいて、ヘッドライド７２を駆動させ、ヘッドライト７２の点灯、消灯、ハイビームとロービームの切り替え等の動作を制御する。

ヘッドライト７２は、自車両１の車体の前側に設けられ、車体の前方に光を照射する照射装置である。ヘッドライト７２は、自車両１の車体の前側の左右にそれぞれ設けられており、ライトから照射された光を導く導光部の構造、または、複数のライトの切り替え等により、より遠くを照らすハイビームと、ハイビームより近距離を照らすロービームとを切り替えることができる。

エンジン７３は、自車両１を駆動させる動力を発生させる内燃機関である。エンジン７３は、ガソリン等の燃料を燃焼させることで、車輪を回転させるための動力を発生させる。エンジン７３は、全体制御ＥＣＵ１０からの指示に基づいて動作する。

変速機７４は、歯車や軸等によって構成され、動力を車輪へと伝達する機能を有している。変速機７４は、全体制御ＥＣＵ１０からの指示に基づいてギアを変更することで、自車両１の車輪に伝達するトルクを変更する。

ブレーキアクチュエータ７５は、自車両１を減速させるためのブレーキ（減速機）を動作させる機構である。ブレーキアクチュエータ７５は、全体制御ＥＣＵ１０からの指示に基づいてブレーキを動作させ、自車両１を減速させる。

ステアリングアクチュエータ７６は、自車両１の車輪の方向を変更し、自車両１の進行方向を制御するステアリング（操舵装置）を動作させる機構である。ステアリングアクチュエータ７６は、全体制御ＥＣＵ１０からの指示に基づいてステアリングを制御し、自車両１の進行方向を制御する。

ウィンカー７７は、自車両１の進行方向を発光によって車外に示すための方向指示器である。ウィンカー７７は、全体制御ＥＣＵ１０からの指示に基づいて点滅し、車外に自車両１の進行方向を示す。

ＨＵＤ７８は、自車両１のフロントガラスに重畳して設けられた透過型の映像表示装置である。ＨＵＤ７８は、全体制御ＥＣＵ１０からの指示に基づいて種々の映像を表示する。ＨＵＤ７８は、は映像を表示することで自車両１の車内のユーザに様々な情報を提示する。なお、ＨＵＤ７８は、ナビゲーションシステム５６のディスプレイとしてもよい。

報知制御ＥＣＵ１５は、自車両１の報知装置８０を制御する機能を有するＥＣＵである。報知制御ＥＣＵ１５は、全体制御ＥＣＵ１０から自車両１の車内外情報を取得し、取得した車内外情報に基づいて自車両１の状況及び状態を判定し、対象者に対して報知装置８０によって死角画像を含む報知情報を報知させる機能を有する装置である。報知制御ＥＣＵ１５は、プロセッサ１６と、メモリ１７とを備えている。

プロセッサ１６は、メモリ１７に格納されるプログラムを読み込み実行することで、報知制御ＥＣＵ１５において計算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。具体的には、プロセッサ１６は、メモリ１７に記憶したＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の少なくとも一部をロードし、ＯＳを実行しながら、プログラムを実行する。プロセッサ１６は、通信線６５を介して各装置及び機器と接続し、各装置及び機器を制御する。プロセッサ１６は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であればいいので、計算処理回路、電気回路、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等、またはこれらを組み合わせたものであってもよい。

図２における表示制御装置２０が備える車内外情報取得部２７と、死角画像生成部２８と、死角画像取得部２１と、判定部２２と、表示画像生成部２３と、条件付与部２９と、制御部２６とは、プロセッサ１６がメモリ１７にロードしたプログラムを読み込み、実行することにより実現する。

なお、報知制御ＥＣＵ１５の様々な機能を別のプロセッサで実現してもよいし、様々な機能をまとめて１つのプロセッサで実現しても良い。

メモリ１７は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアの組み合わせが記述されたプログラム、ＯＳ及び各種情報等を記憶する。メモリ１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等である。

図２における表示制御装置２０が備える車内外情報取得部２７と、死角画像生成部２８と、死角画像取得部２１と、判定部２２と、表示画像生成部２３と、条件付与部２９と、制御部２６とは、メモリ１７に記憶するプログラムによって実現する。また、死角画像ＤＢ２４ｂと、自車両画像ＤＢ２４ａと、条件情報ＤＢ２５とは、メモリ１７によって実現する。

なお、メモリ１７は、各部の機能をそれぞれ別々のメモリで実現してもよいし、各部の機能をまとめて１つのメモリで実現してもよい。

報知制御ＥＣＵ１５は、例えば、メモリ１７として、１以上のプログラムを格納する不揮発性記憶装置であるＲＯＭと、プロセッサ１６がプログラムと各種情報との展開領域として用いる揮発性記憶装置であるＲＡＭを有しており、プロセッサ１６はＲＯＭからプログラムを読み出し、読み出したプログラムをＲＡＭ上に展開して計算処理を実行する。

報知制御ＥＣＵ１５の機能は、ハードウェア、ソフトウェア、ファームウェア、またはハードウェアとソフトウェアとファームウェアとの組み合わせにより実現できる。報知制御ＥＣＵ１５の各部の機能は、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。例えば、報知制御ＥＣＵ１５の一部は専用のハードウェアとしての処理回路でその機能を実現し、残りの部分はＣＰＵがメモリに格納されたプログラムを読み出して実行することによってその機能を実現してもよい。

報知装置８０は、報知制御ＥＣＵ１５から少なくとも表示画像を含む報知情報を受信し、対象者に少なくとも表示画像を表示することを含む報知情報を報知する。報知装置８０は、外部ライトデバイス８１、プロジェクタデバイス８６、ボディライトデバイス８９、サウンドデバイス９２等である。ただし、報知装置８０は、外部ライトデバイス８１、プロジェクタデバイス８６、ボディライトデバイス８９等の画像が表示できるデバイスを少なくとも１つ備える。なお、報知装置８０は、図２の報知装置３１に対応する。

外部ライトデバイス８１は、自車両１の車体から外部に向けて取り付けられた照射装置である。外部ライトデバイス８１は、路面や近くの壁面に光を照射し、自車両１の周囲の自車両１の外に存在する対象者に自車両１の状態、現在または今後の自車両１の動作の意図、自車両１の今後の動作の予告、または警告等を報知する。外部ライトデバイス８１は、これらの報知情報を自車両１の外に存在する対象者に報知するために、これに適した形状、色、位置、大きさ、輝度、位置、タイミング、時間等で光を路面等に照射する。外部ライトデバイス８１は、外部ライトドライバ８２と、外部ライトセット８３とを備えている。

外部ライトドライバ８２は、外部ライトセット８３を駆動させる駆動装置である。外部ライトドライバ８２は、外部ライトセット８３に所定の光を照射させるように制御する。外部ライトドライバ８２は、外部ライトセット８３の中の外部ライト８４と外部ライト８５との照射タイミングや照射時間等の組み合わせを制御する。また、外部ライトドライバ８２は、外部ライト８４と外部ライト８５とに設けられたカラーフィルタ、シェード、導光機構等を動作させ、所定の自車両１の車体からの相対位置に、所定形状の、所定の色の、所定の大きさの、所定の輝度の光を所定のタイミング、所定の時間に照射する。

外部ライトセット８３は、複数の外部ライト（照射装置）を備えており、具体的には、本実施の形態１では、外部ライト８４と、外部ライト８５とを備えている。外部ライト８４と、外部ライト８５は、外部ライトドライバ８２に基づいて点灯する。

プロジェクタデバイス８６は、自車両１の車体から外部に向けて取り付けられた映像投射装置である。プロジェクタデバイス８６は、路面や近くの壁面に光を照射し、自車両１の周囲の自車両１の外に存在する対象者に自車両１の状態、現在または今後の自車両１の動作の意図、自車両１の今後の動作の予告、または警告等を報知する。プロジェクタデバイス８６は、これらの報知情報を自車両１の外に存在する対象者に伝えるために、これに適したこれに適した形状、色、位置、大きさ、輝度、位置、タイミング、時間等で光を路面等に照射（投影）する。プロジェクタデバイス８６は、プロジェクタドライバ８７と、プロジェクタ８８とを備えている。

プロジェクタドライバ８７は、プロジェクタ８８を駆動させる駆動装置であり、プロジェクタ８８に所定の光を照射させる。プロジェクタドライバ８７は、プロジェクタ８８の照射する光の形状、色、位置、大きさ、輝度、タイミング、時間等を制御する機能を有している。

プロジェクタ８８は、光（映像）を自車両１の車外に照射（投影）する照射（投影）装置である。プロジェクタ８８は、プロジェクタドライバ８７の動作に基づいて光（映像）を車外の路面または壁面等に照射する。

ボディライトデバイス８９は、自車両１の車体に設けられたディスプレイ、車体の輪郭に沿ってライン状に光る装置等の発光装置である。ボディライトデバイス８９は、自車両１の周囲の自車両１の外に存在する対象者に自車両１の状態、現在または今後の自車両１の動作の意図、自車両１の今後の動作の予告、または警告等を報知する。また、ボディライトデバイス８９は、自車両１の車体表面の所定の位置に、所定の形状の、所定の色の、所定の大きさの、所定の輝度の光を所定のタイミング、所定の時間で発光する。ボディライトデバイス８９は、ボディライトドライバ９０とボディライト９１とを備えている。

ボディライトドライバ９０は、ボディライト９１を駆動させる駆動装置である。ボディライトドライバ９０は、ボディライト９１に所定の光を照射させる。ボディライトドライバ９０は、ボディライト９１の照射する光の形状、色、位置、大きさ、輝度、タイミング、時間等を制御する。

ボディライト９１は、自車両１の車体の外側表面から発光する光が露光するように設けられた発光装置である。本実施の形態１におけるボディライト９１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で構成されており、ＬＥＤが発光した光がＬＣＤを透過することにより、所定の形状、色、位置、大きさ、輝度の光を自車両１の車外に照射する。本実施の形態１ではボディライト９１がＬＣＤ及びＬＥＤで構成される例を示したが、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）モニタ、ドットＬＥＤ、液晶モニタ、ＥＬパネル、リアプロジェクション方式の表示器等の他の発光装置や表示装置でもよい。また、発光させる場所についても、本実施の形態１では、表示装置３２は自車両１の前面に設けられ、表示装置３３は自車両１の後面に設けられ、表示装置３４は自車両１の左側面に設けられ、表示装置３５は自車両１の右側面に設けられているが、窓ガラスに表示する等してもよい。

図２における報知装置３１が備える表示装置３２～３５は、外部ライトデバイス８１、プロジェクタデバイス８６、ボディライトデバイス８９、または外部ライトデバイス８１とプロジェクタデバイス８６とボディライトデバイス８９との組み合わせによって実現する。本実施の形態１では、表示装置３２～３５は、それぞれボディライトデバイス８９であるとする。

サウンドデバイス９２は、自車両１の車体に設けられた音響装置である。サウンドデバイス９２は、自車両１の周囲の自車両１の外に存在する対象者に自車両１の状態、現在または今後の自車両１の動作の意図、自車両１の今後の動作の予告、または警告等を報知する。また、サウンドデバイス９２は、自車両１の車体の表面の所定の位置に、所定の大きさの、所定のタイミング、所定の時間で所定の音を出力する。サウンドデバイス９２は、サウンドドライバ９３と、サウンド機器９４とを備えている。

サウンドドライバ９３は、サウンド機器９４を駆動させる駆動装置である。サウンドドライバ９３は、サウンド機器９４に所定の位置に、所定の大きさの、所定のタイミング、所定の時間で所定の音を出力させる。サウンド機器９４は、自車両１の車体から自車両１の外に存在する対象者に向けて音を発生させる装置である。図２における報知装置３１が備えるスピーカ３６は、サウンドデバイス９２によって実現する。

次に、表示システム３０の動作について説明する。具体例として、図１に示したような状況について説明する。

図８は、本実施の形態１に係る表示システム３０の動作を示すフローチャートである。図８を用いて、表示システム３０の動作を以下に説明する。

ステップＳ１において、車内外情報取得部２７は、全体制御ＥＣＵ１０から死角情報または死角画像を含む車内外情報を取得する。具体的には、本実施の形態１では、車内外情報取得部２７は、車内外情報として自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、対象者３の死角情報または死角画像とを取得する。

ステップＳ２において、車内外情報取得部２７は、車内外情報に含まれる死角情報または死角画像はそのまま死角画像として使用できる否か判定する。車内外情報取得部２７は、車内外情報に含まれる死角情報または死角画像はそのまま死角画像として使用できると判定した場合、ステップＳ２：Ｙｅｓとなる。具体的には、例えば、車内外情報に含まれる死角情報または死角画像が、車外カメラから取得した抽出する必要のない、対象者３の目線にあった死角画像である場合、ステップＳ２：Ｙｅｓとなる。なお、車内外情報に含まれる死角情報または死角画像はそのまま死角画像として使用できるということは、車内外情報に含まれる情報は死角画像である。車内外情報取得部２７は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを死角画像取得部２１に送信し、ステップＳ４に進む。

一方、車内外情報取得部２７は、車内外情報に含まれる死角情報または死角画像はそのまま死角画像として使用できないと判定した場合、ステップＳ２：Ｎｏとなる。具体的には、例えば、車内外情報に含まれる死角情報または死角画像が、死角のレーダ情報である場合、ステップＳ２：Ｎｏとなる。また、例えば、車内外情報に含まれる死角情報または死角画像が、死角よりも広い範囲の車外カメラの画像である場合、ステップＳ２：Ｎｏとなる。例えば、車内外情報に含まれる死角情報または死角画像が、対象者３の目線に合っていない場合、ステップＳ２：Ｎｏとなる。車内外情報取得部２７は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、対象者３の死角情報または死角画像とを死角画像生成部２８に送信し、ステップＳ３に進む。

ステップＳ３において、死角画像生成部２８は、車内外情報取得部２７から自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、対象者３の死角情報または死角画像とを受信する。死角画像生成部２８は、対象者３の死角情報または死角画像から死角画像を生成または抽出する。

具体的には、例えば、死角画像生成部２８は、車内外情報に含まれる死角情報または死角画像が、死角のレーダ情報である場合、死角のレーダ情報から死角画像ＤＢ２４ｂの画像のパーツを用いて死角画像を生成する。また、例えば、死角画像生成部２８は、車内外情報に含まれる死角情報または死角画像が、死角よりも広い範囲の車外カメラの画像である場合、死角に合わせて死角画像を抽出する。例えば、死角画像生成部２８は、車内外情報に含まれる死角情報または死角画像が、対象者３の目線に合っていない場合、対象者３の目線に合った死角画像を生成する。死角画像生成部２８が対象者３の死角情報または死角画像から死角画像を生成または抽出する方法は従来技術を用いればよい。死角画像生成部２８は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを死角画像取得部２１に送信し、ステップＳ４に進む。

ステップＳ４において、死角画像取得部２１は、車内外情報取得部２７または死角画像生成部２８から自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを取得する。死角画像取得部２１は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを判定部２２に送信し、ステップＳ５に進む。

ステップＳ５において、判定部２２は、死角画像取得部２１から自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを受信する。判定部２２は、予め決められた範囲情報を記憶している。本実施の形態１では、範囲情報は、自車両１から５メートル以内の範囲とする。判定部２２は、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定する。具体的には、例えば、判定部２２は、自車両１の位置情報と、対象者３の位置情報とから、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定する。または、判定部２２は、予め決められた自車両１から５メートル以内の範囲の画像から予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定する。判定部２２が予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定する方法は従来技術を用いればよい。

判定部２２が予め決められた自車両１から５メートル以内の範囲に対象者３が存在すると判定した場合、ステップＳ５：Ｙｅｓとなり、ステップＳ６に進む。判定部２２が予め決められた自車両１から５メートル以内の範囲に対象者３が存在しないと判定した場合、ステップＳ５：Ｎｏとなり、動作を終了する。

ステップＳ６において、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定する。具体的には、例えば、判定部２２は、死角画像に他車両２等のオブジェクトが写っているか従来技術である画像判断をする。または、例えば、表示システム３０が他車両２の位置情報と地図情報とを取得し、死角画像に位置情報が含まれていた場合は、判定部２２は、他車両２の位置情報と地図情報と死角画像とから死角に他車両２等のオブジェクトが存在するか判定する。例えば、判定部２２は、表示システム３０が他車両２の位置情報と地図情報とを取得し、他車両２の位置情報と地図情報と自車両１の位置情報と、対象者３の位置情報とから死角に他車両２等のオブジェクトが存在するか判定する。判定部２２が対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定する方法は従来技術を用いればよい。

判定部２２が対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在すると判定した場合、ステップＳ６：Ｙｅｓとなる。判定部２２は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを表示画像生成部２３に送信し、ステップＳ７に進む。判定部２２が対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在しないと判定した場合、ステップＳ６：Ｎｏとなり、動作を終了する。

ステップＳ７において、表示画像生成部２３は、判定部２２から自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを受信する。表示画像生成部２３は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを用いて、自車両画像ＤＢ２４ａから対象者３の目線に合わせた自車両１の画像を取得し、ステップＳ８に進む。

ステップＳ８において、表示画像生成部２３は、自車両１の画像を死角画像に重畳した表示画像を生成する。表示画像生成部２３は、対象者３が実際に自車両１を見た際と同じ位置、同じ目線となるように表示画像を生成する。また、表示画像生成部２３は、対象者３と自車両１との距離に応じて表示画像を見やすい倍率に変更する。表示画像生成部２３が表示画像を生成する方法は、機械学習等の従来技術を用いればよい。

図９は、本実施の形態１に係る自車両１の画像８を加工する前の表示画像７の一例である。本実施の形態１では、表示画像生成部２３は、他車両２の画像である死角画像に自車両１の画像８を重畳して表示画像７を生成する。なお、死角画像は、他車両２の画像だけではなく、別の他車両、人等のオブジェクト、背景画像等を含んでいてもよい。ステップＳ８の段階では、自車両１の画像８に隠れて、他車両２の画像である死角画像は見えていない。

図８に戻って、表示画像生成部２３は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、表示画像とを条件付与部２９に送信し、ステップＳ９に進む。

ステップＳ９において、条件付与部２９は、表示画像生成部２３から自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、表示画像とを受信する。条件付与部２９は、自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、表示画像とを用いて、条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得する。

条件付与部２９は、条件情報ＤＢ２５から車内外情報である自車両１の位置情報の識別子と、対象者３の位置情報の識別子と、対象者３の目線情報の識別子と、表示画像の識別子とに対応する報知装置情報と報知パターン情報と報知タイミング情報とを取得する。または、条件付与部２９は、機械学習で、条件情報ＤＢ２５から自車両１の位置情報の識別子と、対象者３の位置情報の識別子と、対象者３の目線情報の識別子と、死角画像の識別子とに対応する報知装置情報と報知パターン情報と報知タイミング情報とを取得する。条件付与部２９が条件情報ＤＢ２５から報知装置情報と報知パターン情報と報知タイミング情報とを取得する方法は従来技術を用いればよい。なお、報知装置情報と報知パターン情報と報知タイミング情報とは１組である必要はなく、１組でも複数組でもよい。

本実施の形態１では、条件付与部２９は、条件情報ＤＢ２５から、自車両１の前方に設けられた表示装置３２の識別子に対応した報知装置情報と、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報と、表示装置３２がすぐに報知を開始する報知タイミング情報とを取得したとして、ステップＳ１０に進む。

ステップＳ１０において、条件付与部２９は、報知パターン情報は表示画像を加工するものであるか否か判定する。具体的には、例えば、報知パターン情報が自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報、自車両１の画像に透過処理を施す報知パターン情報、自車両１の画像を少しだけずらした視点から見たような画像にする報知パターン情報、自車両１の輪郭だけ実線もしくは点線とした画像とする報知パターン情報等であった場合、条件付与部２９は、報知パターン情報が表示画像を加工するものであると判定する。条件付与部２９は、報知パターン情報が表示画像を加工するものである場合、ステップＳ１０：Ｙｅｓとなり、ステップＳ１１に進む。本実施の形態１では、報知パターン情報が自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報であるため、条件付与部２９は、報知パターン情報が表示画像を加工するものであると判定し、ステップＳ１０：Ｙｅｓとなり、ステップＳ１１に進む。

一方、例えば、報知パターン情報が、制御部２６に表示装置に表示画像を強調するような表示をさせる表示装置３２の枠を赤色に点滅させる報知パターン情報、表示と共に警報音を出す報知パターン情報等であった場合、条件付与部２９は、報知パターン情報が表示画像を加工するものでないと判定する。報知パターン情報が表示画像を加工するものでない場合、ステップＳ１０：Ｎｏとなる。条件付与部２９は、報知装置情報と、報知パターン情報と、報知タイミング情報と、表示画像とを制御部２６に送信し、ステップＳ１２に進む。

ステップＳ１１において、条件付与部２９は、表示画像を加工する。具体的には、本実施の形態１では、条件付与部２９は、条件情報ＤＢ２５から、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報を取得したため、自車両１の画像を加工する。条件付与部２９は、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報を用いて、自車両画像ＤＢ２４ａから取得した対象者３の目線に合わせた自車両１の画像を縮小する。例えば、条件付与部２９は、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報に予め付与されていた縮小度に基づき、自車両１の画像を縮小する。または、条件付与部２９は、機械学習で縮小度を決め、当該縮小度に基づき自車両１の画像を縮小する。条件付与部２９が縮小度を決定する方法は従来技術を用いればよい。

図１０は、本実施の形態１に係る自車両１の画像８を加工した後の表示画像７の一例である。条件付与部２９が自車両１の画像８を縮小したことで、他車両２の画像９である死角画像が見えやすくなる。

図８に戻って、条件付与部２９は、報知装置情報と、報知タイミング情報と、表示情報とを制御部２６に送信する。本実施の形態１では、条件付与部２９は、表示装置３２の識別子に対応した報知装置情報と、表示装置３２がすぐに報知を開始する報知タイミング情報と、表示画像とを制御部２６に送信し、ステップＳ１２に進む。

なお、本実施の形態１では、条件付与部２９は、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報だけを取得したが、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報とともに、例えば表示と共に警報音を出す報知パターン情報を取得する場合がある。このような場合、条件付与部２９は、報知装置情報と、報知タイミング情報と、表示情報とともに、報知パターン情報も制御部２６に送信する。

また、例えば、条件付与部２９は、報知パターン情報は表示画像を加工するものであるか否かに関わらず、条件情報ＤＢ２５から自車両１の前方に設けられたスピーカ３６の識別子である報知装置情報と、スピーカ３６の音の報知パターン情報と、スピーカ３６がすぐに報知を開始する報知タイミング情報とを取得する場合がある。このような場合、条件付与部２９は、スピーカ３６から発生させる報知情報である音情報を生成し、制御部２６に送信する。報知情報は、表示画像、音情報等であり、１つでも複数でもよい。

ステップＳ１２において、制御部２６は、条件付与部２９から報知装置情報と、報知パターン情報と、報知タイミング情報と、表示情報とを受信する。必要であれば、制御部２６は、条件付与部２９から報知パターン情報と、例えば音情報等の表示画像以外の報知情報とを受信する。本実施の形態１では、制御部２６は、表示装置３２の識別子である報知装置情報と、表示装置３２がすぐに報知を開始する報知タイミング情報と、表示画像とを受信する。制御部２６は、表示装置３２の識別子である報知装置情報と、表示装置３２がすぐに報知を開始する報知タイミング情報と、ステップＳ１１で加工した表示画像とを用いて、当該情報を受信するとすぐに表示画像を表示装置３２に表示し始める制御をする。

図１１は、本実施の形態１に係る対象者３から自車両１を見たときの図の一例である。具体的には、図１１は、図１において、対象者３から自車両１を見たときの点線矢印５から見たときの図である。自車両１の表示装置３２は、制御部２６の制御ですぐに表示画像７を表示し始める。

図１２は、本実施の形態１に係る自車両１を真正面から見たときの図の一例である。具体的には、図１２は、図１において、真正面から自車両１を見たときの点線矢印６から見たときの図である。図１１と同様に、自車両１の表示装置３２は、制御部２６の制御ですぐに表示画像７を表示し始める。ただし、表示画像７は対象者３から自車両１を見たときの画像であるため、表示画像７は真正面から自車両１を見たときの風景と異なる。

図８に戻って、制御部２６が報知情報としてスピーカ３６の音情報を受信した場合は、表示と共に報知してもよい。例えば、他車両２が対象者３に接近してくる場合、制御部２６は、スピーカ３６から他車両２が近づいてくる走行音が強調されて出力されるように制御する。また、制御部２６が表示装置３２の枠を赤色に点滅させる報知パターン情報を受信した場合は、制御部２６は表示装置に表示画像を強調するような表示をさせるように、表示と共に表示装置３２の枠を赤色に点滅させる制御をしてもよい。

表示装置３２が制御部２６の制御によって表示画像を表示した後、表示システム３０は動作を終了する。

ステップＳ５：Ｎｏとなった場合と、ステップＳ６：Ｎｏなった場合と、ステップＳ１２を実行した後の場合、ステップＳ１に戻り、電源をＯＦＦにすること、または終了操作がなされる等の処理の終了のトリガーがあるまで上記のような処理を繰り返す。各ステップは、それぞれ独立した処理として、ステップ毎に処理を繰り返してもよい。

以上述べたように、実施の形態１の表示システム３０は、表示画像生成部２３が自車両１の画像に死角画像を重畳した表示画像を生成し、制御部２６が自車両１に設けられた表示装置に表示画像を表示する。そのため、実施の形態１の表示システム３０は、死角画像を表示する際に、対象者３にどこの範囲の死角画像であるのかを直感的に位置関係をわかりやすく表示することができる。

また、実施の形態１においては、条件付与部２９が自車両１の画像８を縮小したことで、他車両２の画像９である死角画像が見えやすくなり、死角に存在する他車両２等のオブジェクトの視認度を高めることができる。

実施の形態１においては、報知パターン情報が自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報であり、条件付与部２９は、自車両１の画像を縮小する加工を行った。しかし、条件付与部２９は、自車両１の画像に透過処理を施す報知パターン情報によって自車両１の画像に透過処理を施す加工、自車両１の画像を少しだけずらした視点から見たような画像にする報知パターン情報によって自車両１の画像をずらした視点から見たような加工、自車両１の輪郭だけ実線もしくは点線とした画像とする報知パターン情報によって自車両１の輪郭だけ実線もしくは点線とする加工等を行ってもよい。このようにしても、実施の形態１の効果と同様の効果を得ることができる。

実施の形態１においては、表示システム３０は、表示画像を生成した後に、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得し、自車両１の画像を加工した。しかし、表示システム３０は、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得し、自車両１の画像を加工した後に、表示画像を生成してもよい。このようにしても、実施の形態１の効果と同様の効果を得ることができる。

実施の形態２．
実施の形態１では、報知パターン情報が、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報であり、条件付与部２９は、表示画像の自車両１の画像を縮小した。実施の形態２では、報知パターン情報が、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報であり、条件付与部２９は、死角画像の他車両２の画像を拡大する。当該加工をすることにより、死角画像を表示する際に、対象者にどこの範囲の死角画像であるのかを直感的にわかりやすく表示することができるとともに、死角に存在する他車両２等のオブジェクトの視認度を高めることができる。それ以外は、実施の形態１と同様である。以下の説明において実施の形態１で説明した構成及び動作については、同一符号を付して、重複する説明を省略する。

なお、実施の形態２でも実施の形態１と同様に、一例として、図１に示した状況について、本開示を適用した場合を以下に説明する。

本開示の実施の形態２に係る表示制御装置２０を含む表示システム３０のブロック図は、実施の形態１の図２と同様である。また、本実施の形態２に係る自車両１の車載システム１００のハードウェア構成図は、図７と同様である。

次に、本実施の形態２に係る表示システム３０の動作について説明する。

図１３は、本開示の実施の形態２に係る表示システム３０の動作を示すフローチャートである。図１３を用いて、表示システム３０の動作を以下に説明する。

ステップＳ１～Ｓ８は、実施の形態１のステップＳ１～Ｓ８と同様である。

ステップＳ１９において、本実施の形態２では、条件付与部２９は、条件情報ＤＢ２５から、自車両１の画像を縮小して死角画像を見やすくさせる報知パターン情報ではなく、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報を取得する。それ以外は、ステップＳ１９は、実施の形態１のステップＳ９と同様である。

ステップＳ２０において、本実施の形態２では、報知パターン情報が他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報であるため、条件付与部２９は、報知パターン情報が表示画像を加工するものであると判定し、ステップＳ２０：Ｙｅｓとなり、ステップＳ２１に進む。それ以外は、ステップＳ２０は、実施の形態１のステップＳ１０と同様である。

ステップＳ２１において、本実施の形態２では、条件付与部２９は、条件情報ＤＢ２５から、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報を取得したため、他車両２の画像を加工する。条件付与部２９は、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報を用いて、死角画像である他車両２の画像を拡大する。例えば、条件付与部２９は、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報に予め付与されていた拡大度に基づき、他車両２の画像を拡大する。または、条件付与部２９は、機械学習で拡大度を決め、当該拡大度に基づき他車両２の画像を拡大する。条件付与部２９が拡大度を決定する方法は従来技術を用いればよい。

なお、本実施の形態２では、条件付与部２９は、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報だけを取得したが、他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報とともに、例えば表示と共に警報音を出す報知パターン情報を取得する場合がある。このような場合、条件付与部２９は、報知装置情報と、報知タイミング情報と、表示情報とともに、報知パターン情報も制御部２６に送信する。

このように、条件付与部２９が他車両２の画像を拡大したことで、他車両２の画像である死角画像が見えやすくなる。それ以外は、ステップＳ２１は、実施の形態１のステップＳ１１と同様である。

ステップＳ１２は、実施の形態１のステップＳ１２と同様である。

ステップＳ５：Ｎｏとなった場合と、ステップＳ６：Ｎｏなった場合と、ステップＳ１２を実行した後の場合、ステップＳ１に戻り、電源をＯＦＦにすること、または終了操作がなされる等の処理の終了のトリガーがあるまで上記のような処理を繰り返す。各ステップは、それぞれ独立した処理として、ステップ毎に処理を繰り返してもよい。

以上述べたように、実施の形態２の表示システム３０は、表示画像生成部２３が自車両１の画像に死角画像を重畳した表示画像を生成し、制御部２６が自車両１に設けられた表示装置に表示画像を表示する。そのため、実施の形態２の表示システム３０は、死角画像を表示する際に、対象者３にどこの範囲の死角画像であるのかを直感的に位置関係をわかりやすく表示することができる。

また、実施の形態２においては、条件付与部２９が他車両２の画像を拡大したことで、他車両２の画像である死角画像が見えやすくなり、死角に存在する他車両２等のオブジェクトの視認度を高めることができる。

実施の形態２においては、報知パターン情報が他車両２の画像を拡大して死角画像を見やすくさせる報知パターン情報であり、条件付与部２９は、死角画像である他車両２の画像を拡大する加工を行った。しかし、条件付与部２９は、死角画像中の少なくとも１部分について大きさを拡大させる報知パターン情報によって死角画像中の少なくとも１部分について大きさを拡大させる加工、死角画像中の少なくとも１部分について自車両１の画像との重なりが少なくなるように位置をずらす報知パターン情報によって死角画像中の少なくとも１部分について自車両１の画像との重なりが少なくなるように位置をずらす加工等を行ってもよい。このようにしても、実施の形態２の効果と同様の効果を得ることができる。なお、条件付与部２９は、他車両２等のオブジェクトの画像に矢印を付ける、他車両２等のオブジェクトの輪郭の色を赤色、黄色等の目立つ色を付けて強調する、他車両２等のオブジェクトの色を変更する等の死角画像である他車両２の画像を強調する加工を行ってもよい。

実施の形態２においては、表示システム３０は、表示画像を生成した後に、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得し、死角画像である他車両２の画像を加工した。しかし、表示システム３０は、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得し、他車両２の画像を加工した後に、表示画像を生成してもよい。このようにしても、実施の形態２の効果と同様の効果を得ることができる。

実施の形態１～２においては、制御部２６が表示装置に表示画像を強調するような表示をさせる例として、制御部２６が表示装置３２の枠を赤色に点滅させる報知パターン情報を受信した場合は、表示と共に表示装置３２の枠を赤色に点滅させる制御をする例を示した。しかし、制御部２６は、表示装置に表示画像を強調するような表示をさせるために、表示画像の少なくとも１部分を点滅させてもよい。表示と共に表示装置３２の枠を赤色に点滅させる制御をする例は、表示画像の少なくとも１部分を点滅させることの一例である。このように、制御部２６が、表示装置３２の枠を点滅させること、または、表示画像の少なくとも１部分を点滅させる制御をしたりするような表示装置に表示画像を強調するような表示をさせることにより、より対象者３の注意を惹くことができる。

実施の形態１～２においては、ステップＳ５で、判定部２２は、自車両１の予め決められた範囲に対象者３が存在するか否か判定し、自車両１の予め決められた範囲に対象者３が存在する場合、対象者３に表示画像を表示すると判定していた。このようにすることで、表示システム３０は、対象者３がいない場合は、表示をしないようにし、省エネルギーに貢献できる。また、表示システム３０は、対象者３がいない場合は、表示画像の表示の代わりに「お先に行ってください」、「ありがとう」、「一時停止します」等の対象者３へのコミュニケーションを図る文字表示、広告表示、自車両１がタクシーである場合は予約、空き等の表示をすることができる。また、表示システム３０は、自車両１が駐車または停車している場合、自車両１が原因となる死角をなくすために、各表示装置の反対側の映像を各表示装置に表示等してもよい。

実施の形態１～２においては、ステップＳ６で、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定し、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在する場合、対象者３に表示画像を表示すると判定していた。このようにすることで、対象者３は表示装置に表示画像が表示されたことにより、自車両１の方向に何かしらの交通環境の変化を予測することができる。具体的には、例えば、対象者３は表示が開始されたことが他車両２への注意喚起とそのまま認識できるため、より早く状況を把握することができる。

実施の形態１～２においては、表示システム３０は、報知パターン情報により、表示装置３２～３５に表示する画像の形状、色、大きさ、輝度、位置等、スピーカ３６に報知させる音の大きさ、音の高低、音の種類等の付加的な処理を行うことにより、対象者３の視覚と聴覚とにインパクトを与えることができるため、より早く状況を把握することができる。

なお、実施の形態１～２において、報知パターン情報が、表示装置３２の枠を赤色に点滅させる報知パターン情報を含む場合、表示画像生成部２３が表示画像を生成した後、制御部２６が表示装置３２に表示装置３２の枠を赤色に点滅させるが、報知パターン情報を死角画像の他車両２等のオブジェクトの画像を点滅させる等の報知パターン情報とし、表示画像生成部２３が表示画像を生成した後、制御部２６が死角画像の他車両２等のオブジェクトの画像を点滅させる等してもよい。

実施の形態１～２において、表示画像生成部２３は、対象者３の目線に合わせた自車両１の画像を取得し、対象者３の目線に合わせた死角画像に自車両１の画像を重畳し、表示画像を生成した。このようにすることで、表示システム３０は、対象者３によりどこの範囲の死角画像であるのかを直感的にわかりやすく表示することができる。しかし、車内外情報取得部２７が、対象者３の目の高さ情報を全体制御ＥＣＵ１０から取得できた場合は、表示画像生成部２３は、車内外情報である自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、対象者３の目の高さ情報、死角画像とを用いて、自車両画像ＤＢ２４ａから対象者３の目線に合わせ、かつ対象者３の目の高さから自車両１を見た自車両１の画像を取得してもよい。そして、表示画像生成部２３は、対象者３の目線に合わせ、かつ対象者３の目の高さから自車両１を見た死角画像に自車両１の画像を重畳し、対象者３の目線に合わせ、かつ対象者３の目の高さから自車両１を見た表示画像を生成してもよい。ここで、車内外情報取得部２７は、目の高さ情報取得部に対応する。

具体的には、例えば、自車両画像ＤＢ２４ａは対象者３の目線及び対象者３の目の高さごとの自車両１の画像を記憶しているとする。表示画像生成部２３は、車内外情報である自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、対象者３の目の高さ情報、死角画像とを用いて、自車両画像ＤＢ２４ａから対象者３の目線に合わせ、かつ対象者３の目の高さに合わせた自車両１の画像を取得する。

または、自車両画像ＤＢ２４ａは対象者３の目線及び対象者３の男性、女性、子供等の属性ごとの自車両１の画像を記憶しているとする。表示画像生成部２３は、対象者３の目の高さ情報から属性を判定し、車内外情報である自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像と、属性の情報とを用いて、自車両画像ＤＢ２４ａから対象者３の目線に合わせ、かつ対象者３の目の高さに合わせた自車両１の画像を取得する。

または、表示画像生成部２３は、車内外情報である自車両１の位置情報と、対象者３の位置情報と、対象者３の目線情報と、死角画像とを用いて、自車両画像ＤＢ２４ａから対象者３の目線に合わせた自車両１の画像を取得する。表示画像生成部２３は、取得した自車両１の画像を対象者３の目の高さ情報を用いて画像を加工等してもよい。このように、対象者３の目線だけでなく対象者３の目の高さに合わせた自車両１の画像を用いることで、対象者３は報知情報をより認識しやすくなるという効果がある。例えば、男性目線の表示画像が表示装置に表示されている場合、子供にとっては見たことのない高さからの表示画像となるため認識しにくい可能性があるが、目の高さを考慮することで、認識しやすくなる。

実施の形態１～２において、対象者３の目線情報は、車内外情報取得部２７が全体制御ＥＣＵ１０から取得したが、対象者３は自車両１を見ていると仮定して、判定部２２が自車両１の位置情報と、対象者３の位置情報とから対象者３の目線情報を算出してもよい。

実施の形態１～２において、判定部２２は、自車両１の位置情報と、対象者３の位置情報とから、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定するとしたが、５メートルでなくても、例えば３メートル、１０メートル等範囲はどのような範囲でもよい。また、予め決められた自車両１から５メートル以内の範囲としたが、表示装置３２から半径５メートル、自車両１を囲む予め決められた矩形等範囲の形はどのようなものでもよい。

実施の形態１～２において、ステップＳ５では、判定部２２は、自車両１の位置情報と、対象者３の位置情報とから、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定した。また、ステップＳ６では、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定し、判定部２２は対象者３に表示画像を表示するか否か判定していた。しかし、判定部２２は、ギアの変更情報、舵角情報等から自車両１の動作の予測をしたり、他車両２の速度情報、他車両２の位置情報、ウィンカーの操作情報等から他車両２の動作の予測をしたりし、判定部２２が対象者３に表示画像を表示するか否か判定してもよい。例えば、判定部２２は、他車両２の速度情報と進行方向の情報とを用いて、判定部２２は対象者３に表示画像を表示するか否か判定してもよい。判定部２２が対象者３に表示画像を表示するか否か判定する方法は従来技術を用いればよい。また、条件付与部２９は、車内外情報によって生成する表示画像を変化、または表示画像を加工してもよい。このようにすることで、対象者３は、死角の他車両２等のオブジェクトの状況とその変化とを認識しやすくなる。

実施の形態１～２において、ステップＳ５では、判定部２２は、自車両１の位置情報と、対象者３の位置情報とから、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定し、対象者３が存在する場合に、対象者３に表示画像を表示すると判定していた。しかし、判定部２２は、表示している途中で対象者３が予め決められた自車両１から５メートル以内の範囲から出て存在しなくなった場合、または対象者３が横断歩道４を渡らずに止まっている場合等では、表示を終了し、表示画像を表示しないと判定してもよい。制御部２６は、判定部２２が表示しないと判定した場合に、表示装置に表示画像を表示させない制御を行う。

実施の形態１～２において、ステップＳ５では、判定部２２は、自車両１の位置情報と、対象者３の位置情報とから、予め決められた自車両１から５メートル以内の範囲に対象者３が存在するか否か判定し、対象者３が存在する場合に、対象者３に表示画像を表示すると判定していた。しかし、判定部２２は、対象者３がいない場合でも、予め決められた目線に合わせた表示画像を表示してもよい。このようにすることで、判定部２２が対象者３の存在を判定できない位置に対象者３がいた場合でも、対象者３は早めに死角の状況を把握することができる。

実施の形態１～２において、ステップＳ６では、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定し、対象者３に表示画像を表示するか否か判定していた。しかし、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在したとしても、他車両２等のオブジェクトの行動の予測から対象者３にとって危険ではないと判定した場合は、表示画像を表示しないと判定してもよい。また、判定部２２は、表示画像を表示していた場合は、表示を終了し、表示しないと判定してもよい。例えば、他車両２が自車両１の後ろ、真横等で停車したり、他車両２が死角を出て、対象者３を通り過ぎた場合は、判定部２２は、表示を終了し、対象者３に表示画像を表示しないと判定する。制御部２６は、判定部２２が表示しないと判定した場合に、表示装置に表示画像を表示させない制御を行う。このようにすることで、対象者３は周囲に危険がないことを確認しやすくなり、対象者３の安心につながる。

実施の形態１～２において、ステップＳ６では、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定し、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在する場合に、対象者３に表示画像を表示すると判定していた。しかし、判定部２２は、対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在しない場合でも、表示画像を表示してもよい。このようにすることで、対象者３は周囲に危険がないことを確認しやすくなり、対象者３の安心につながる。

実施の形態１～２において、判定部２２は、ステップＳ５で対象者３の存在を判定してから、ステップＳ６で対象者３から見た自車両１の死角に他車両２等のオブジェクトが存在するか否か判定し、対象者３に表示画像を表示するか否か判定した。しかし、表示システム３０は、ステップＳ５とステップＳ６とはどちらを先にしてもよい。さらに、判定部２２は、ステップＳ１２で表示画像を表示装置に表示させるまでの間であれば、どこで判定してもよい。

実施の形態１～２において、ステップＳ４で、死角画像取得部２１は、死角画像を取得したが、ステップＳ５の後、ステップＳ６の後、ステップＳ７の後等に、死角画像取得部２１が死角画像を取得してもよい。なお、表示システム３０は、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得し、他車両２の画像の加工を行った後に、表示画像を生成する場合は、条件付与部２９が条件情報ＤＢ２５から表示装置を含む報知すべき報知装置３１の報知装置情報と、報知パターン情報と、報知タイミング情報とを取得した後に、死角画像取得部２１が死角画像を取得してもよい。

実施の形態１～２において、自車両１が停車している場合の表示システム３０を説明したが、自車両１が駐車している場合、移動している場合でも本開示は適用できる。例えば、表示システム３０は、自車両１が横断歩道４の数十ｍ手前から走行中に表示を開始してもよい。また、対象者として歩行者３が停車している自車両１の前を横切ろうとしている場合を説明したが、対象者３が移動している場合、対象者３が止まっている場合でも本開示は適用できる。例えば、歩行者３が横断歩道４を渡る気がなく止まっていても、他車両２が突っ込んでくる場合がある。その場合に、本開示の表示画像を表示することで対象者３に注意喚起ができる。

なお、当該場合に、車内外情報取得部２７は、死角に存在する他車両２の情報を示す他車両情報を取得し、条件付与部２９は、他車両情報によって加工を変更すれば、より対象者３に注意喚起ができる。具体的には、車内外情報取得部２７は、他車両情報である死角に存在する他車両２の速度情報と進行方向情報等を取得する。判定部２２は、速度情報と進行方向情報等から他車両２の今後の動作の予測をし、条件付与部２９は、他車両情報によって加工を変更する。なお、ここで、車内外情報取得部２７は、他車両情報取得部に対応する。

実施の形態１～２において、対象者３は歩行者１人である場合を説明したが、対象者３が複数人である場合も本開示は適用できる。例えば、実施の形態１～２のように自車両１が車体の前後左右に表示装置３２～３５を設けており、自車両１の前側に歩行者が１人、自車両１の右側にも別の歩行者が１人いた場合、判定部２２は、それぞれの歩行者に対して表示画像を表示するか否か判定する。判定部２２がそれぞれの歩行者に対して表示すると判断した場合、表示画像生成部２３は、それぞれの歩行者に対して表示画像を生成する。制御部２６は、自車両１の前面に設けられた表示装置３２に自車両１の前側にいる歩行者に対して生成された表示画像を表示させ、自車両１の右側面に設けられた表示装置３５に自車両１の右側にいる歩行者に対して生成された表示画像を表示させる。

また、例えば、実施の形態１～２のように自車両１が車体の前後左右に表示装置３２～３５を設けており、自車両１の前側に歩行者が複数人いた場合、判定部２２は、それぞれの歩行者に対して表示画像を表示するか否か判定する。判定部２は、表示画像を表示すると判定し、かつ死角に他車両２がいるにもかかわらず横断歩道４を渡ろうとした一番危険な行動を起こしそうな歩行者を１人決定する。表示画像生成部２３は、判定部２２が表示画像を表示すると判定し、かつ一番危険な行動を起こしそうな歩行者に対して表示画像を生成する。制御部２６は、自車両１の前面に設けられた表示装置３２に表示画像を表示させる。

なお、例えば、表示画像を表示すると判定し、かつ死角に他車両２がいるにもかかわらず横断歩道４を渡ろうとした一番危険な行動を起こしそうな歩行者が複数人いる場合は、判定部２２は、一番早く危険となる歩行者に対して表示画像を表示すると決定する。その場合は、一番早く危険となる歩行者の目線に合わせた表示画像が表示装置に表示されるが、表示自体は他の歩行者も確認できるため、他の歩行者に対しても注意喚起ができる。また、表示と共にスピーカ３６で報知を行えば、より注意喚起ができる。

また、自車両１の前側に歩行者が複数人いた場合、判定部２２は、例えば、機械学習で表示画像を表示する歩行者を決定する、それぞれの歩行者に対して優先度を判定して優先度が一番高い歩行者を表示の対象の歩行者に決定する等してもよい。さらに、表示システム３０は、自車両１の前側に歩行者が複数人いた場合、複数人の歩行者の平均位置の目線に合わせた表示画像を表示する、自車両１の真正面、真後ろ、左側面の真ん中、右側面の真ん中、真上等から見た表示画像を表示する等してもよい。

実施の形態１～２において、表示システム３０は、判定部２２は対象者３の目線情報から、対象者３が表示装置に表示されている表示画像に気づいているか判定し、対象者３が表示画像に気づいていない場合は、条件付与部２９は、表示画像の少なくとも１部を加工してもよい。制御部２６は、表示装置に加工した表示画像を表示するようにしてもよい。このようにすることで、対象者３が表示画像を確認する確率が高くなり、対象者３の視認性を高めることができる。

実施の形態１～２において、表示システム３０は、表示画像を表示する場合を説明したが、表示と共にクラクション（不図示）を出力したり、ヘッドライト７２から光を出力したり、スピーカ３６から音を出力したり、それらを１以上の表示装置と組み合わせてもよい。具体的には、例えば、表示システム３０が表示画像を表示した際に、対象者３が表示画像に気づいていない場合、判定部２２は、自車両に設けられたクラクションを出力するか否か、自車両に設けられたヘッドライト７２から光を出力するか否か、自車両に設けられたスピーカ３６から音を出力させるか否か等を判定する。制御部２６は、判定部２２がクラクションを出力すると判定した場合、ヘッドライト７２から光を出力すると判定した場合、スピーカ３６から音を出力させると判定した場合等、表示装置に表示画像を表示するとともに、クラクションを出力する、ヘッドライト７２から光を出力する、スピーカ３６から音を出力させる等する。さらに、表示システム３０は、対象者３が表示画像に気づくまでクラクションを出力する、ヘッドライト７２から光を出力する、スピーカ３６から音を出力する等し続けることにより、対象者３が表示画像を確認する確率が高くなり、対象者３の視認性を高めることができる。

また、例えば、表示システム３０が表示画像を表示した際に、表示したことの注意喚起を対象者３にしたい場合、表示システム３０は、表示とともに、クラクションを出力する、ヘッドライト７２から光を出力する、スピーカ３６から音を出力する等してもよい。このようにすることで、対象者３が表示画像を確認する確率が高くなり、対象者３の視認性を高めることができる。

なお、ヘッドライト７２の場合は、表示システム３０は、ヘッドライト７２の点灯と消灯とを表示と連動させ、例えばパッシングを行うことで対象者３に表示を気づかせる、注意喚起をする等してもよい。また、例えば、歩行者３から見て、ヘッドライト７２から光を出力していることで表示画像の表示が見えにくい場合は、表示システム３０は、ヘッドライト７２の光を弱めたり、消したりしてもよい。

実施の形態１～２において、自車両１が横断歩道周辺にいる場合を説明したが、混雑している駐車場、路肩での駐車等でも本開示を適用できる。

実施の形態１～２において、車内外情報取得部２１は、全体制御ＥＣＵ１１から車内外情報を取得したが、車内外情報取得部２１は、それぞれのセンサから直接車内外情報を取得してもよい。

実施の形態１～２において、自車両画像ＤＢ２４ａと死角画像ＤＢ２４ｂと条件情報ＤＢ２５とは、表示制御装置２０が備えていたが、自車両画像ＤＢ２４ａと死角画像ＤＢ２４ｂと条件情報ＤＢ２５とは、別のサーバ等に記憶されており、表示制御装置２０は通信装置６０等を用いて、別のサーバ等から取得してもよい。

実施の形態１～２において、自車両１は自動車としたが、自動運転車両でも人が運転をする自動車でもよい。なお、自動運転車両の場合は、ドライバが必ずしも運転状況を把握していない場合があるため、ドライバの代わりに対象者３に対して安全に行動ができるようにサポートできるようになる。また、自車両１は自動車に限らず、フォークリフト、船、飛行機、自転車、バイク等でもよい。

実施の形態１～２において、対象者３は歩行者としたが、自転車、バイク、自動車、フォークリフト等の車両のドライバ等でもよい。

ところで、上記した実施の形態に示した表示制御装置、表示システム、表示制御方法及び表示制御プログラムは一例に過ぎず、適宜、他の装置と組み合わせて構成することが出来るものであって、実施の形態単独の構成に限られるものではない。

１ 自車両、 ２ 他車両、 ３ 対象者、 ４ 横断歩道、
５ 対象者３から自車両１を見たときの点線矢印、
６ 真正面から自車両１を見たときの点線矢印、
７ 表示画像、 ８ 自車両１の画像、
９ 他車両２の画像である死角画像、
１０ 全体制御ＥＣＵ、 １１ プロセッサ、 １２ メモリ、
１５ 報知制御ＥＣＵ、 １６ プロセッサ、 １７ メモリ、
２０ 表示制御装置、 ２１ 死角画像取得部、 ２２ 判定部、
２３ 表示画像生成部、 ２４ａ 自車両画像ＤＢ、
２４ｂ 死角画像ＤＢ、 ２５ 条件情報ＤＢ、
２６ 制御部、 ２７ 車内外情報取得部、 ２８ 死角画像生成部、
２９ 条件付与部、 ３０ 表示システム、 ３１ 報知装置、
３２～３５ 表示装置、 ３６ スピーカ、 ４０ センサ、
４１ 車速センサ、 ４２ 舵角センサ、 ４３ アクセルセンサ、
４４ ブレーキセンサ、 ４５ シフトセンサ、
４６ ウィンカーセンサ、 ４７ ハザードセンサ、
４８ ワイパーセンサ、 ４９ ライトセンサ、
５０ ドア開閉センサ、 ５１ ドライバカメラ、
５２ 着座センサ、 ５３ 加速度センサ、 ５４ 角速度センサ、
５５ ＧＰＳデバイス、 ５６ ナビゲーションシステム、
５７ 車外カメラ、 ５８ 車外センサ、 ５９ 照度センサ、
６０ 通信装置、 ６１ アンテナ、 ６２ 送信部、
６３ 受信部、 ６５ 通信線、 ７０ 運転装置、
７１ ヘッドライトドライバ、 ７２ ヘッドライト、
７３ エンジン、 ７４ 変速機、 ７５ ブレーキアクチュエータ、
７６ ステアリングアクチュエータ、
７７ ウィンカー、 ７８ ＨＵＤ、 ８０ 報知装置、
８１ 外部ライトデバイス、 ８２ 外部ライトドライバ、
８３ 外部ライトセット、 ８４～８５ 外部ライト、
８６ プロジェクタデバイス、 ８７ プロジェクタドライバ、
８８ プロジェクタ、 ８９ ボディライトデバイス、
９０ ボディライトドライバ、 ９１ ボディライト、
９２ サウンドデバイス、 ９３ サウンドドライバ、
９４ サウンド機器、 ９５ 表示装置３２の枠、
１００ 車載システム。

Claims (19)

1. 自車両の外に存在する対象者から見て前記自車両によって生じる死角を示す死角画像を取得する死角画像取得部と、
   前記自車両の画像を前記死角画像に重畳した表示画像を生成する表示画像生成部と、
   前記自車両の車体から外部に向けて取り付けられた表示装置に前記表示画像を表示する制御部と
   を備えた表示制御装置。
2. 前記表示画像を加工する条件付与部を備え、
   前記制御部は、前記表示装置に加工した前記表示画像を表示する
   請求項１に記載の表示制御装置。
3. 前記条件付与部は、前記自車両の画像を加工する
   請求項２に記載の表示制御装置。
4. 前記条件付与部は、前記自車両の画像を縮小する加工、前記自車両の画像に透過処理を施す加工、前記自車両の画像をずらした視点から見たような加工、または、前記自車両の輪郭だけ実線もしくは点線とする加工、のうちの少なくとも１つの加工をする
   請求項３に記載の表示制御装置。
5. 前記条件付与部は、前記死角画像を加工する
   請求項２～４のいずれか１項に記載の表示制御装置。
6. 前記条件付与部は、前記死角画像中の少なくとも１部分について大きさを拡大させる加工、または、前記死角画像中の少なくとも１部分について前記自車両の画像との重なりが少なくなるように位置をずらす加工、のうちの少なくとも１つの加工をする
   請求項５に記載の表示制御装置。
7. 前記制御部は、前記表示装置に前記表示画像を強調するような表示をさせる
   請求項１～６のいずれか１項に記載の表示制御装置。
8. 前記表示画像を強調するような表示とは、前記表示装置の枠を点滅させること、または、前記表示画像の少なくとも１部分を点滅させることである
   請求項７に記載の表示制御装置。
9. 前記死角に存在する他車両の情報を示す他車両情報を取得する他車両情報取得部を備え、
   前記条件付与部は、前記他車両情報によって加工を変更する
   請求項２～６のいずれか１項に記載の表示制御装置。
10. 前記対象者の目線情報を取得する目線情報取得部を備え、
    前記表示画像生成部は、前記目線情報により前記対象者の目線に合わせた前記表示画像を生成する
    請求項１～９のいずれか１項に記載の表示制御装置。
11. 前記対象者の目の高さ情報を取得する目の高さ情報取得部を備え、
    前記表示画像生成部は、前記目の高さ情報により前記対象者の目の高さから前記自車両を見た前記表示画像を生成する
    請求項１０に記載の表示制御装置。
12. 前記対象者に前記表示画像を表示する否か判定する判定部を備え、
    前記制御部は、前記判定部が表示すると判定した場合に、前記表示装置に前記表示画像を表示する
    請求項２～６、９のいずれか１項に記載の表示制御装置。
13. 前記判定部は、予め決められた範囲に前記対象者が存在すると判定した場合、前記対象者に前記表示画像を表示すると判定し、前記予め決められた範囲に前記対象者が存在しないと判定した場合、前記対象者に前記表示画像を表示しないと判定する
    請求項１２に記載の表示制御装置。
14. 前記判定部は、前記死角にオブジェクトが存在する場合、前記対象者に前記表示画像を表示すると判定し、前記死角に前記オブジェクトが存在しない場合と、前記死角に前記オブジェクトが停止している場合とは、前記対象者に前記表示画像を表示しないと判定する
    請求項１２～１３のいずれか１項に記載の表示制御装置。
15. 前記判定部は、前記対象者が前記表示装置に表示されている前記表示画像に気づいているか否か判定し、
    前記条件付与部は、前記判定部が前記対象者が前記表示画像に気づいていないと判定した場合は、前記表示画像の少なくとも１部を加工し、
    前記制御部は、前記表示装置に加工した前記表示画像を表示する
    請求項１２～１４のいずれか１項に記載の表示制御装置。
16. 前記判定部は、前記自車両に設けられたスピーカから音を出力させるか否か判定し、
    前記制御部は、前記判定部が前記スピーカから前記音を出力させると判定した場合、前記表示装置に前記表示画像を表示するとともに、
    前記スピーカから前記音を出力させる
    請求項１２～１５のいずれか１項に記載の表示制御装置。
17. 自車両の車体から外部に向けて取り付けられた表示装置と、
    前記自車両の外に存在する対象者から見て前記自車両によって生じる死角を示す死角画像を取得する死角画像取得部と、
    前記自車両の画像を前記死角画像に重畳した表示画像を生成する表示画像生成部と、
    前記表示装置に前記表示画像を表示する制御部と、
    を備えた表示システム。
18. 自車両の外に存在する対象者から見て前記自車両によって生じる死角を示す死角画像を取得するステップと、
    前記自車両の画像を前記死角画像に重畳した表示画像を生成するステップと、
    前記自車両の車体から外部に向けて取り付けられた表示装置に前記表示画像を表示するステップと
    を有する表示制御方法。
19. 死角画像取得部が、自車両の外に存在する対象者から見て前記自車両によって生じる死角を示す死角画像を取得する処理と、
    表示画像生成部が、前記自車両の画像を前記死角画像に重畳した表示画像を生成する処理と、
    制御部が、前記自車両の車体から外部に向けて取り付けられた表示装置に前記表示画像を表示する処理と
    を実行させる表示制御プログラム。

Images