JP7128585B2 - 電子ミラーシステム - Google Patents

Description

本発明は、自動車に搭載された電子ミラーシステムにおいて自動車後方の映像を表示する技術に関するものである。

自動車に搭載された電子ミラーシステムにおいて自動車後方の映像を表示する技術としては、自動車後方を撮影するカメラとフロントウインドシールドの上方の位置に配置したルームミラー型のモニタを備えた電子ミラーシステムにおいて、カメラで撮影した映像をモニタに表示する技術が知られている（たとえば、特許文献１）。

また、自動車に搭載された電子ミラーシステムにおいて自動車後方の映像を表示する技術としては、自動車の側部から後方をカメラで撮影し、撮影した映像を車内に備えた表示装置に表示する技術も知られている（たとえば、特許文献２）。

また、自動車後方の映像を表示する技術としては、自動車の後進時に、カメラで撮影した自動車の後方の映像に、車体の幅方向の両端を進行方向に延長したガイドラインを合成して表示する駐車支援の技術も知られている（たとえば、特許文献３）。

特開２０１６-１９５３０１号公報 特開２０１１-２１３１８６号公報 特許４７２３７０３号公報

カメラで撮影した自動車の後方の映像を表示する電子ミラーシステムでは、カメラの取付位置等に起因して、伝統的な鏡によるルームミラーやサイドミラーと後方のようすの見え方が異なってしまい、車線の境界線が後方の映像に映り込んでいない場合などには、後方車両等の後方の物体と自車の位置関係が把握し難くなることがある。

そこで、上述した駐車支援の技術を応用し、自動車の後方の映像に車体の幅方向の両側を延長したガイドラインを合成して表示して、後方車両等の後方の物体と自車の位置関係の把握を容易化することが考えられるが、このようにすると通常の前進走行時に、モニタに表示される後方に流れていく後方の映像上に、静止したガイドラインが合成表示されることとなり、ユーザにとって不自然で違和感のある表示となってしまう。

そこで、本発明は、カメラで撮影した自動車の後方の映像を表示する電子ミラーシステムにおいて、より自然で違和感のない映像によって、後方の物体と自車の位置関係の把握を容易化することを課題とする。

前記課題達成のために、本発明は、自動車の後方の映像を表示する電子ミラーシステムに、自動車の後方の映像を撮影するカメラと、映像を表示するモニタと、前記カメラが撮影した映像に、前記自動車の軌跡と並行する軌跡上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示するガイド図形合成手段とを備えたものである。

ここで、このような電子ミラーシステムは、前記ガイド図形合成手段においえ、前記自動車の軌跡と並行する軌跡上を延びる、路面に固定された当該延びる方向について視覚的属性が一様でない仮想の路面標示を前記カメラで撮影したようすを表す図形を前記ガイド図形として生成するように構成してもよい。

また、以上の電子ミラーシステムは、当該電子ミラーシステムに、前記自動車の後方の、当該自動車の走行中の車線の境界線である車線境界線を検出する車線境界線検出手段を備え、前記ガイド図形合成手段において、前記車線境界線検出手段が前記車線境界線を検出しているときに前記ガイド図形の合成を行わず、前記車線境界線検出手段が前記車線境界線を検出していないときに前記ガイド図形の合成を行うように構成してもよい。

または、以上の電子ミラーシステムは、当該電子ミラーシステムに、前記自動車の後方の、当該自動車の走行中の車線の境界線である車線境界線の視覚的な明瞭度を検出する明瞭度検出手段を設け、前記ガイド図形合成手段において、前記明瞭度検出手段が前記車線境界線が明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行わず、前記明瞭度検出手段が前記車線境界線が不明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行うように構成してもよい。

また、前記課題達成のために、本発明は、自動車の後方の映像を表示する電子ミラーシステムに、自動車の後方の映像を撮影するカメラと、映像を表示するモニタと、前記自動車の後方の当該自動車の走行中の車線の境界線である車線境界線を検出する車線境界線検出手段と、前記車線境界線検出手段が検出した車線境境界線の視覚的な明瞭度を検出する明瞭度検出手段と、ガイド図形合成手段とを設けたものである。ここで、前記ガイド図形合成手段は、前記車線境界線検出手段が前記車線境界線を検出していないときに、前記カメラが撮影した映像に、前記自動車の軌跡と並行する軌跡上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示し、前記明瞭度検出手段が前記車線境界線検出手段が検出した前記車線境界線が不明瞭であることを表す明瞭度を検出しているときに、前記カメラが撮影した映像に、前記車線境界線検出手段が検出した前記車線境界線上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示し、前記明瞭度検出手段が前記車線境界線検出手段が検出した前記車線境界線が明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行わない。

ここで、以上の電子ミラーシステムは、当該電子ミラーシステムに、前記自動車の車速を検出する車速検出手段を設け、前記仮想の路面標示を、当該仮想の路面標示の延びる方向に、実線部分と実線部分間の隙間部分が交互に配置された破線形状を有するものとし、前記ガイド図形合成手段において、前記ガイド図形の合成を行う場合に、前記仮想の路面標示の破線形状の前記実線部分の長さと前記実線部分間の隙間部分の長さとを、前記車速検出手段が検出した車速に応じて、少なくとも車速が所定の速度より大きいときに、車速が前記所定の速度より小さいときよりも長くなるように変更するように構成してもよい。

また、以上の電子ミラーシステムにおいて、前記自動車の軌跡と並行する軌跡は、前記自動車の側部と自動車と反対方向に所定距離離れた位置の軌跡としてよい。
または、以上の電子ミラーシステムにおいて、前記カメラを、前記自動車の側部に配置された前記自動車の後方を撮影するカメラとし、前記自動車の軌跡と並行する軌跡を、前記自動車の前記カメラが配置された側部と自動車と反対方向に所定距離離れた位置の軌跡としてもよい。

以上のような電子ミラーシステムによれば、車線境界線がない場所を走行しているときでも、ユーザはモニタの映像中の、自動車の軌跡と並行する軌跡上を延びる仮想の路面標示を表すガイド図形を目安に後方車両などの後方の物体と自車の位置関係を把握することができる。また、このようにして表示されるガイド図形は、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように表示されるので、ガイド図形の表示によってユーザに不自然さや違和感を与えてしまうことを抑制することができる。

以上のように、本発明によれば、カメラで撮影した自動車の後方の映像を表示する電子ミラーシステムにおいて、より自然で違和感のない映像によって、後方の物体と自車の位置関係の把握を容易化することができる。

本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。 本発明の実施形態に係る各種カメラの配置を示す図である。 本発明の実施形態に係る各種モニタの配置を示す図である。 本発明の実施形態に係るガイド図形表示制御処理を示すフローチャートである。 本発明の実施形態に係る左サイドモニタに表示する映像の生成例を示した図である。 本発明の実施形態に係る左サイドモニタに表示する映像の生成例を示した図である。 本発明の実施形態に係るバックモニタに表示する映像の生成例を示した図である。 本発明の実施形態の応用例を示した図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されるシステムであり、図示するように、電子ミラーシステムは、左サイドカメラ１、右サイドカメラ２、バックカメラ３、左サイドモニタ４、右サイドモニタ５、バックモニタ６、自動車状態センサ７、表示制御装置８を備えている。

また、表示制御装置８は、左方ガイド図形合成部８１、右方ガイド図形合成部８２、後方ガイド図形合成部８３、ガイド図形表示制御部８４、境界線認識部８５、軌跡算出部８６を備えている。

このような電子ミラーシステムの構成において、自動車状態センサ７は、自動車の車速、舵角、加速度、角加速度などの各種状態を検出するセンサである。
また、図２ａ、ｂに示すように、左サイドカメラ１は自動車の左側部に位置するように車体に固定されており、当該位置から自動車の後ろ方向を撮影し、右サイドカメラ２は自動車の右側部に位置するように車体に固定されており、当該位置から自動車の後ろ方向を撮影する。また、バックカメラ３は、自動車の車内後部に固定されており、当該位置から自動車の後ろ方向を撮影する。

また、左サイドモニタ４と右サイドモニタ５とバックモニタ６は映像を表示するディスプレイであり、自動車の車内の運転者が視認可能な位置に配置される。また、たとえば、図３に示すように、左サイドモニタ４は運転席の左右方向中心より左側に位置するように配置され、右サイドモニタ５は運転席の左右方向中心より右側に位置するように配置され、バックモニタ６は、フロントウインドシールドの上方の左右方向について中央の位置に配置される。

図１に戻り、表示制御装置８の境界線認識部８５は、左サイドカメラ１、右サイドカメラ２、バックカメラ３が撮影した映像を画像解析し、走行中の車線の自動車の左方の境界線である左方境界線と、走行中の車線の自動車の右方の境界線である右方境界線を検出する。ここで、境界線認識部８５は、たとえば、各カメラが撮影した映像から、線状もしくは破線上に延びる形状であって、当該自動車の近傍における位置が自動車の左側端から左方向に１ｍ以内であり、当該自動車の近傍において延びている方向がほぼ自動車の前後方向である形状を認識できた場合に、当該形状の部分を左方境界線として検出し、線状もしくは破線上に延びる形状であって、当該自動車の近傍における位置が自動車の右側端から右方向に１ｍ以内であり、当該自動車の近傍において延びている方向がほぼ自動車の前後方向である形状を認識できた場合に、当該形状の部分を右方車線境界線として検出する。なお、車線の境界線には、車道中央線や車線境界線や車道外側線等が該当する。

また、表示制御装置８の境界線認識部８５は、認識した左方境界線や右方境界線の明瞭度を算出する。明瞭度は、左サイドカメラ１、右サイドカメラ２、バックカメラ３が撮影した映像中の左方境界線や右方境界線として認識した部分と、その背景となる路面部分の映像との輝度差が大きいほど明瞭度が大きくなるように算出したり、当該左方境界線や右方境界線として認識した部分の、当該左方境界線や右方境界線の延びる方向と垂直な方向の幅が大きいほど明瞭度が大きくなるように算出する。

次に、表示制御装置８の軌跡算出部８６は、自動車状態センサ７が検出した、自動車の車速、舵角、加速度、角加速度などから、自動車の走行軌跡を算出すると共に、算出した走行軌跡から、自動車の左サイドミラーから左方に所定距離（たとえば、６０ｃｍ）離れた位置の移動軌跡である左方基準点軌跡と、自動車の右サイドミラーから右方に所定距離（たとえば、６０ｃｍ）離れた位置の移動軌跡である右方基準点軌跡を算出する。

次に、左方ガイド図形合成部８１は、ガイド図形表示制御部８４の制御に従って、左サイドカメラ１が撮影した映像の左右を反転した映像に選択的に左方ガイド図形を合成して左サイドモニタ４に表示し、右方ガイド図形合成部８２は、ガイド図形表示制御部８４の制御に従って、右サイドカメラ２が撮影した映像の左右を反転した映像に選択的に右方ガイド図形を合成して右サイドモニタ５に表示し、後方ガイド図形合成部８３は、ガイド図形表示制御部８４の制御に従って、バックカメラ３が撮影した映像の左右を反転した映像に選択的に左方ガイド図形や右方ガイド図形を合成してバックモニタ６に表示する。

ここで、これらの左方ガイド図形合成部８１はや右方ガイド図形合成部８２や後方ガイド図形合成部８３が行う左方ガイド図形や右方ガイド図形の合成の詳細については後述する。

次に、ガイド図形表示制御部８４が行うガイド図形表示制御処理について説明する。
図４に、このガイド図形表示制御処理の手順を示す。
図示するように、ガイド図形表示制御処理では、まず、境界線認識部８５が左方境界線を認識しているかどうかを調べる（ステップ４０２）。
そして、境界線認識部８５が左方境界線を認識していない場合には（ステップ４０２）、左方ガイド図形合成部８１に、左サイドカメラ１が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成を開始させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成を開始させる（ステップ４０８）。そして、ステップ４１２に進む。

一方、左方境界線を認識していれば（ステップ４０２）、境界線認識部８５が算出している左方境界線の明瞭度が所定レベル以上、左方境界線が明瞭であることを表しているかどうかを調べる（ステップ４０４）。

そして、左方境界線が明瞭であることを表している場合には（ステップ４０４）、左方ガイド図形合成部８１に、左サイドカメラ１が撮影した映像を左右反転した映像への左方ガイド図形の合成を停止させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を左右反転した映像への左方ガイド図形の合成を停止させる（ステップ４０６）。そして、ステップ４１２に進む。

一方、ステップ左方境界線が明瞭であることを表していない場合には（ステップ４０４）、左方ガイド図形合成部８１に、左サイドカメラ１が撮影した映像を左右反転した映像中の、境界線認識部８５が認識した左方境界線に重畳する位置への左方ガイド図形の合成を開始させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を左右反転した映像中の、境界線認識部８５が認識した左方境界線に重畳する位置への左方ガイド図形の合成を開始させる（ステップ４１０）。そして、ステップ４１２に進む。

次に、以上のようにしてステップ４１２に進んだならば、境界線認識部８５が右方境界線を認識しているかどうかを調べる。
そして、境界線認識部８５が右方境界線を認識していない場合には（ステップ４１２）右方ガイド図形合成部８２に、右サイドカメラ２が撮影した映像を右右反転した映像中の、軌跡算出部８６が算出した右方基準点軌跡に重畳する位置への右方ガイド図形の合成を開始させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を右右反転した映像中の、軌跡算出部８６が算出した右方基準点軌跡に重畳する位置への右方ガイド図形の合成を開始させる（ステップ４１８）。そして、ステップ４０２に戻る。

一方、右方境界線を認識していれば（ステップ４１２）、境界線認識部８５が算出している右方境界線の明瞭度が所定レベル以上、右方境界線が明瞭であることを表しているかどうかを調べる（ステップ４１４）。

そして、右方境界線が明瞭であることを表している場合には（ステップ４１４）、右方ガイド図形合成部８２に、右サイドカメラ２が撮影した映像を右右反転した映像への右方ガイド図形の合成を停止させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を右右反転した映像への右方ガイド図形の合成を停止させる（ステップ４１６）。そして、ステップ４０２に戻る。

一方、ステップ右方境界線が明瞭であることを表していない場合には（ステップ４１４）、右方ガイド図形合成部８２に、右サイドカメラ２が撮影した映像を右右反転した映像中の、境界線認識部８５が認識した右方境界線に重畳する位置への右方ガイド図形の合成を開始させると共に、後方ガイド図形合成部８３に、バックカメラ３が撮影した映像を右右反転した映像中の、境界線認識部８５が認識した右方境界線に重畳する位置への右方ガイド図形の合成を開始させる（ステップ４２０）。そして、ステップ４０２に戻る。

以上、ガイド図形表示制御部８４が行うガイド図形表示制御処理について説明した。
以下、左方ガイド図形合成部８１、右方ガイド図形合成部８２、後方ガイド図形合成部８３の動作について説明する。
まず、左方ガイド図形合成部８１の動作について説明する。
左方ガイド図形合成部８１は、ガイド図形表示制御処理のステップ４０６で左方ガイド図形の合成が停止されると、以降、左サイドカメラ１が撮影した映像を左右反転した映像を左サイドモニタ４に表示する。ここで、ステップ４０６で左方ガイド図形の合成が停止されるのは、左方境界線が明瞭に表れているときであるので、ユーザは左サイドモニタ４に表示される映像中の左方境界線を明瞭に認識して、映像中の左方境界線を目安に後方車両などの後方の物体と自車の位置関係を把握することができる。

次に、左方ガイド図形合成部８１は、ガイド図形表示制御処理のステップ４０８で、左サイドカメラ１が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成が開始されると、以下に説明する、左方ガイド図形合成部８１の軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成の動作を行う。

すなわち、いま、左方基準点軌跡に重畳する位置への左方ガイド図形の合成が開始されたときに、左サイドカメラ１が撮影した映像を左右反転した映像が図５ａに示す左方境界線が映り込んでいない映像であり、軌跡算出部８６が図５ｂ１のように左方基準点軌跡５０１を算出しているときには、図５ｂ２に示すように、自動車の左サイドカメラ１より後方の路面上に、左方基準点軌跡５０１上を延びる破線状の仮想の路面標示である仮想路面標示５０２を設定する。ここで、この仮想路面標示５０２の破線を形成する実線部分や実線部分間の隙間の長さは予め定めておく。

そして、その時点の左サイドカメラ１の位置から、左サイドカメラ１で、仮想路面標示５０２を撮影したときに得られる図形を左右反転した図形を左方ガイド図形として生成し、図５ｂ３に示すように、生成した左方ガイド図形５０３をサイドカメラが撮影した映像を左右反転した映像上に合成し、左サイドモニタ４に表示する。

また、その後は、繰り返し、図５ｃ１、ｄ１に示すような軌跡算出部８６で算出された左方基準点軌跡５０１の延長に追従するように、仮想路面標示５０２を図５ｃ２、ｄ２に示すように延長した上で、その時点の左サイドカメラ１の位置から、左サイドカメラ１で、仮想路面標示５０２を撮影したときに得られる図形を左右反転した図形を左方ガイド図形として生成し、図５ｃ３、ｄ３に示すように、生成した左方ガイド図形５０３を、サイドカメラが撮影した映像を左右反転した映像上に合成し、左サイドモニタ４に表示する。

なお、以上の仮想路面標示５０２の延長の際には、前回設定した仮想路面標示５０２の破線を形成する実線部分や実線部分間の隙間の位置、形状、配置がそのまま維持されるように、仮想路面標示５０２を延長する。すなわち、前回設定した仮想路面標示５０２に、左方基準点軌跡５０１の延長分、実線部分や実線部分間の隙間を、予め定めた実線部分や実線部分間の隙間の長さに従って追加していくことにより仮想路面標示５０２を延長する。

このように、左方ガイド図形５０３を生成してサイドカメラが撮影した映像を左右反転した映像上に合成して表示することにより、車線境界線がない場所を走行しているときでも、ユーザは左サイドモニタ４の映像中の左方ガイド図形５０３を目安に後方車両などの後方の物体と自車の位置関係を把握することができる。また、図５ａ３、ｂ３、ｃ３の変化によって示されるように、このようにして表示される左方ガイド図形５０３は、自動車の進行に伴って仮想路面標示５０２が、自動車の進行方向と反対方向に自動車の車速と絶対値が同じ大きさの速度で移動していく表示、すなわち、仮想路面標示５０２が、後方の路面と共に移動していく表示となるので、ユーザの不自然さや違和感を抑制できる表示となる。

以上、左方ガイド図形合成部８１の軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成の動作について説明した。


次に、左方ガイド図形合成部８１は、ガイド図形表示制御処理のステップ４１０で、境界線認識部８５が認識した左方境界線に重畳する位置への左方ガイド図形の合成が開始されると、以降、左サイドカメラ１が撮影した映像を左右反転した図６ａに示すような左方境界線６１０が不明瞭に表れている映像上に、図６ｂに示すように左方ガイド図形６０１を合成し、左サイドモニタ４に表示する。

左方ガイド図形の生成や、合成は、上述した軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形６０１の合成の動作において、軌跡算出部８６が算出した左方基準点軌跡に代えて、図６ｃに示すような境界線認識部８５が認識した左方境界線６１０の中央を通る線６１１を用いるようにした動作によって行う。

ここで、このように境界線認識部８５が左方境界線を認識した場合であっても、左方境界線６１０が不明瞭である場合には、左方ガイド図形６０１を左サイドカメラ１が撮影した映像を左右反転した映像に合成表示することにより、ユーザは映像中の不明瞭な左方境界線６１０に代えて左方ガイド図形６０１を目安に後方車両などの後方の物体と自車の位置関係を把握することができる。

また、左方境界線６１０が不明瞭である場合にのみ、左方ガイド図形６０１を合成表示することにより、図６ｄ１に示すように左サイドカメラ１が撮影した映像を左右反転した映像から左方境界線６１０が明瞭に視認できるときに、図６ｄ２に示すように、表示された映像中に明瞭な左方境界線６１０と左方ガイド図形６０１の双方が表されて、却って映像が煩雑となってしまうことを抑止することができる。

次に、右方ガイド図形合成部８２の動作について説明する。
右方ガイド図形合成部８２の動作は、以上の左方ガイド図形合成部８１の動作の説明において「左」を「右」に、ステップ４０６をステップ４１６に、ステップ４０８をステップ４１８に、ステップ４１０をステップ４２０に読み替えた動作となる。

次に、後方ガイド図形合成部８３の動作について説明する。
後方ガイド図形合成部８３は、ガイド図形表示制御処理のステップ４０６で左方ガイド図形の合成が停止され、ステップ４１６で右方ガイド図形の合成が停止されている状態では、バックカメラ３が撮影した映像を左右反転した映像をバックモニタ６に表示する。

また、後方ガイド図形合成部８３は、ガイド図形表示制御処理のステップ４０８で、バックカメラ３が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成が開始され、その後停止されていないときには、バックカメラ３が撮影した映像を左右反転した映像に左方ガイド図形を合成しバックモニタ６に表示する。左方ガイド図形の合成は、以上の左方ガイド図形合成部８１の軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成の動作の説明において、左サイドカメラ１をバックカメラ３に読み替えた動作によって行う。

また、後方ガイド図形合成部８３は、ステップ４１８で、バックカメラ３が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した右方基準点軌跡に重畳する位置への右方ガイド図形の合成が開始され、その後停止されていないときには、バックカメラ３が撮影した映像を左右反転した映像に右方ガイド図形を合成しバックモニタ６に表示する。右方ガイド図形の合成は、以上の左方ガイド図形合成部８１の軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成の動作の説明において、「左」を「右」に、左サイドカメラ１をバックカメラ３に読み替えた動作によって行う。

また、後方ガイド図形合成部８３は、ステップ４１０で、バックカメラ３が撮影した映像を左右反転した映像中の、境界線認識部８５が認識した左方境界線に重畳する位置への左方ガイド図形の合成が開始され、その後停止されていないときには、バックカメラ３が撮影した映像を左右反転した映像に、左方ガイド図形を合成しバックモニタ６に表示する。左右方ガイド図形の合成は、後方ガイド図形合成部８３における軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成の動作において、軌跡算出部８６が算出した左方基準点軌跡に代えて、境界線認識部８５が認識した左方境界線の中央を通る線を用いるようにした動作によって行う。

また、後方ガイド図形合成部８３は、ステップ４２０で、バックカメラ３が撮影した映像を左右反転した映像中の、境界線認識部８５が認識した右方境界線に重畳する位置への右方ガイド図形の合成が開始され、その後停止されていないときには、バックカメラ３が撮影した映像を左右反転した映像に、右方ガイド図形を合成しバックモニタ６に表示する。右方ガイド図形の合成は、後方ガイド図形合成部８３における軌跡算出部８６が算出した右方基準点軌跡に重畳する位置への右方ガイド図形の合成の動作において、軌跡算出部８６が算出した右方基準点軌跡に代えて、境界線認識部８５が認識した右方境界線の中央を通る線を用いるようにした動作によって行う。

ここで、図７に、ステップ４０８で、バックカメラ３が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した左方基準点軌跡に重畳する位置への左方ガイド図形の合成が開始され、その後停止されておらず、かつ、ステップ４１８で、バックカメラ３が撮影した映像を左右反転した映像中の、軌跡算出部８６が算出した右方基準点軌跡に重畳する位置への右方ガイド図形の合成が開始され、その後停止されていないときに行われるックカメラが撮影した映像を左右反転した映像中への左方ガイド図形と右方ガイド図形の合成例を示す。

すなわち、いま、左方基準点軌跡に重畳する位置への左方ガイド図形の合成と右方基準点軌跡に重畳する位置への右方ガイド図形の合成が開始されたときに、バックカメラ３が撮影した映像を左右反転した映像が図７ａに示す左方境界線と右方境界線が映り込んでいない映像であり、図７ｂ１のように左方基準点軌跡７０１と右方基準点軌跡７０２を軌跡算出部８６が算出しているときには、図７ｂ２に示すように、自動車のバックカメラ３より後方の路面上に、左方基準点軌跡７０１上を延びる破線状の仮想の路面標示である左方の仮想路面標示７１１と、右方基準点軌跡７０２上を延びる破線状の仮想の路面標示である右方の仮想路面標示７１２とを設定する。

そして、その時点のバックカメラ３の位置から、バックカメラ３で左方の仮想路面標示７１１を撮影したときに得られる図形を左右反転した図形を左方ガイド図形として生成し、その時点のバックカメラ３の位置から、バックカメラ３で、右方の仮想路面標示７１２を撮影したときに得られる図形を左右反転した図形を右方ガイド図形として生成し、図７ｂ３に示すように、バックカメラ３が撮影した映像を左右反転した映像上に左方ガイド図形７２１、右方ガイド図形７２２を合成し、バックモニタ６に表示する。

また、その後は、繰り返し、図７ｃ１、ｄ１に示すような軌跡算出部８６で算出された左方基準点軌跡７０１の延長と右方基準点軌跡７０２の延長に追従するように、左方の仮想路面標示７１１と右方の仮想路面標示７１２を図７ｃ２、ｄ２に示すように延長し、その時点のバックカメラ３の位置から、バックカメラ３で、左方の仮想路面標示７１１を撮影したときに得られる図形を左右反転した図形を左方ガイド図形として生成し、その時点のバックカメラ３の位置から、バックカメラ３で、右方の仮想路面標示７１２を撮影したときに得られる図形を左右反転した図形を右方ガイド図形として生成し、図７ｃ３、ｄ３に示すように、バックカメラ３が撮影した映像を左右反転した映像上に左方ガイド図形７２１、右方ガイド図形７２２を合成し、バックモニタ６に表示する。

なお、以上の仮想路面標示７１１、７１２の延長の際には、上述のように前回設定した仮想路面標示７１１、７１２の破線を形成する実線部分や実線部分間の隙間の位置、形状、配置がそのまま維持されるように、仮想路面標示７１１、７１２を延長する。

このように、左方ガイド図形７２１や右方ガイド図形７２２を生成してバックカメラ３が撮影した映像を左右反転した映像上に合成して表示することにより、車線境界線がない場所を走行しているときでも、ユーザはバックモニタ６の映像中の左方ガイド図形７２１や右方ガイド図形７２２を目安に後方車両などの後方の物体と自車の位置関係を把握することができる。また、図７ａ３、ｂ３、ｃ３の変化によって示されるように、このようにして表示される左方ガイド図形７２１や右方ガイド図形７２２は、自動車の進行に伴って仮想路面標示７１１、７１２が後方に移動していく自然で違和感を与えることのない表示となる。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態におけるガイド図形表示制御処理は、ステップ４０４、４１４、４１０、４２０を無くして、ステップ４０２を、左方境界線を認識していればステップ４０６に進み、左方境界線を認識していなければステップ４０８に進む処理とし、テップ４１２を、右方境界線を認識していればステップ４１６に進み、右方境界線を認識していなければステップ４１８に進む処理としてもよい。

また、以上の実施形態は、左方ガイド図形や右方ガイド図形が表す破線状の仮想路面標示の実線部分や実線部分間の隙間の長さを自動車の車速に応じて変化させるようにしてもよい。

すなわち、たとえば、図８ａ１に示すように、自動車の車速が小さいときには、左方ガイド図形や右方ガイド図形が表す仮想路面標示８０１、８０２の実線部分や実線部分間の隙間の長さを短くし、図８ａ２に示すように、自動車の車速が大きいときには、左方ガイド図形や右方ガイド図形が表す仮想路面標示８０１、８０２の実線部分や実線部分間の隙間の長さを大きくするようにしてよい。

このようにすることにより、左サイドモニタ４や右サイドモニタ５やバックモニタ６に表示される、左方ガイド図形や右方ガイド図形が表す仮想路面標示の後方への移動のようすが、遅すぎる移動のようすや速すぎる移動のようすとなってしまうことを抑制することができると共に、左方ガイド図形や右方ガイド図形を、その時点の車速において望ましい車間距離の目安として用いることができるようになる。

また、以上の実施形態では、仮想路面標示として破線状の図形を用いたが、これは、仮想路面標示としては、形状や模様や色などの視覚的な属性が仮想路面標示の延びる方向に一様でないものであれば、任意の図形を仮想路面標示として用いるようにしてよい。

すなわち、たとえば、図８ｂ１に示すような、長い幅で並行する二つ破線と二つの破線の実線部分を左右方向に連結する線分を有する形状の仮想路面標示８１１を用いてもよい。但し、この場合には、左方ガイド図形の合成のみを行う場合には、左方の破線を、左方基準点軌跡や左方車線境界線の中央線の上を延びる破線とし、二つの破線の間隔は所定長さ（たとえば、３ｍ）とする。また、右方ガイド図形の合成のみを行う場合には右方の破線を、右方基準点軌跡や右方車線境界線の中央線の上を延びる破線とし、二つの破線の間隔は所定長さ（たとえば、３ｍ）とする。また、左方ガイド図形の合成と右方ガイド図形の合成の双方を行う場合には、左方の破線を左方基準点軌跡や左方車線境界線の中央線の上を延びる破線とし、右方の破線を右方基準点軌跡や右方車線境界線の中央線の上を延びる破線とする。

ここで、図８ｂ２は、図８ｂ１に示すような形状の仮想路面標示８１１を用いた場合に、左サイドモニタ４に表示される、左方ガイド図形８１２を合成した映像を示している。
また、たとえば、仮想路面標示としては、明るさや色相や再度などの色や模様が、仮想路面標示の延びる方向に沿って反復的に変化する図形を用いるようにしてよい。

１…左サイドカメラ、２…右サイドカメラ、３…バックカメラ、４…左サイドモニタ、５…右サイドモニタ、６…バックモニタ、７…自動車状態センサ、８…表示制御装置、８１…左方ガイド図形合成部、８２…右方ガイド図形合成部、８３…後方ガイド図形合成部、８４…ガイド図形表示制御部、８５…境界線認識部、８６…軌跡算出部。

Claims (8)

1. 自動車の後方の映像を表示する電子ミラーシステムであって、
   自動車の後方の映像を撮影するカメラと、
   映像を表示するモニタと、
   前記カメラが撮影した映像に、前記自動車の軌跡と並行する軌跡上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示するガイド図形合成手段とを有することを特徴とする電子ミラーシステム。
2. 請求項１記載の電子ミラーシステムであって、
   前記ガイド図形合成手段は、前記自動車の軌跡と並行する軌跡上を延びる、路面に固定された当該延びる方向について視覚的属性が一様でない仮想の路面標示を前記カメラで撮影したようすを表す図形を前記ガイド図形として生成することを特徴とする電子ミラーシステム。
3. 請求項１または２記載の電子ミラーシステムであって、
   前記自動車の後方の、当該自動車の走行中の車線の境界線である車線境界線を検出する車線境界線検出手段を有し、
   前記ガイド図形合成手段は、前記車線境界線検出手段が前記車線境界線を検出しているときに前記ガイド図形の合成を行わず、前記車線境界線検出手段が前記車線境界線を検出していないときに前記ガイド図形の合成を行うことを特徴とする電子ミラーシステム。
4. 請求項１または２記載の電子ミラーシステムであって、
   前記自動車の後方の、当該自動車の走行中の車線の境界線である車線境界線の視覚的な明瞭度を検出する明瞭度検出手段を有し、
   前記ガイド図形合成手段は、前記明瞭度検出手段が前記車線境界線が明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行わず、前記明瞭度検出手段が前記車線境界線が不明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行うことを特徴とする電子ミラーシステム。
5. 自動車の後方の映像を表示する電子ミラーシステムであって、
   自動車の後方の映像を撮影するカメラと、
   映像を表示するモニタと、
   前記自動車の後方の当該自動車の走行中の車線の境界線である車線境界線を検出する車線境界線検出手段と、
   前記車線境界線検出手段が検出した車線境境界線の視覚的な明瞭度を検出する明瞭度検出手段と、
   ガイド図形合成手段とを有し、
   前記ガイド図形合成手段は、
   前記車線境界線検出手段が前記車線境界線を検出していないときに、前記カメラが撮影した映像に、前記自動車の軌跡と並行する軌跡上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示し、
   前記明瞭度検出手段が前記車線境界線検出手段が検出した前記車線境界線が不明瞭であることを表す明瞭度を検出しているときに、前記カメラが撮影した映像に、前記車線境界線検出手段が検出した前記車線境界線上を延びる仮想の路面標示を表すガイド図形を、前記自動車の進行に伴い前記仮想の路面標示が路面と共に前記自動車に対して前記自動車の進行方向と逆方向に移動するようすを表すように合成して前記モニタに表示し、
   前記明瞭度検出手段が前記車線境界線検出手段が検出した前記車線境界線が明瞭であることを表す明瞭度を検出しているときに前記ガイド図形の合成を行わないことを特徴とする電子ミラーシステム。
6. 請求項１、２、３、４または５記載の電子ミラーシステムであって、
   前記自動車の車速を検出する車速検出手段を有し、
   前記仮想の路面標示は、当該仮想の路面標示の延びる方向に、実線部分と実線部分間の隙間部分が交互に配置された破線形状を有し、
   前記ガイド図形合成手段は、前記ガイド図形の合成を行う場合に、前記仮想の路面標示の破線形状の前記実線部分の長さと前記実線部分間の隙間部分の長さとを、前記車速検出手段が検出した車速に応じて、少なくとも車速が所定の速度より大きいときに、車速が前記所定の速度より小さいときよりも長くなるように変更することを特徴とする電子ミラーシステム。
7. 請求項１、２、３、４、５または６記載の電子ミラーシステムであって、
   前記自動車の軌跡と並行する軌跡は、前記自動車の側部と自動車と反対方向に所定距離離れた位置の軌跡であることを特徴とする電子ミラーシステム。
8. 請求項１、２、３、４、５または６記載の電子ミラーシステムであって、
   前記カメラは、前記自動車の側部から前記自動車の後方を撮影するカメラであり、
   前記自動車の軌跡と並行する軌跡は、前記自動車の前記カメラが配置された側部と自動車と反対方向に所定距離離れた位置の軌跡であることを特徴とする電子ミラーシステム。

Images