JP5445719B2

JP5445719B2 - 画像表示装置及び画像表示方法

Info

Publication number: JP5445719B2
Application number: JP2013513322A
Authority: JP
Inventors: 有華祖父江; 竜路岡村; 愛吉岡; 悠日栄
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2014-03-19
Anticipated expiration: 2031-09-29
Also published as: EP2763403A4; JPWO2013046409A1; EP2763403A1; WO2013046409A1; EP2763403B1

Description

本発明の一実施形態は、車両の周辺画像を表示する画像表示装置及び画像表示方法に関する。

微低速走行時において、自車両による死角及び壁や隣接する他車両等の遮蔽物による死角によって、ドライバーが見たい場所が目視によって見えない場合がある。そこで、自車両による死角や遮蔽物による死角をカメラで撮影し、撮影した画像をディスプレイとを用いて表示する装置が提案されている。例えば、特許文献１の装置では、１８０°の視角を有する広角カメラで撮影した画像について、通常時は１８０°の視角中の１２０°の範囲をディスプレイに表示して駐車支援画像とする。障害物が検出されたときは、この装置は１８０°の広角の範囲をディスプレイに表示して駐車支援画像とする。

特開２００９−６５４８３号公報

ところで、車両近傍の物体を検出する方法としては、レーダ、ライダ、ソナー及び画像認識が知られている。カメラにより撮影された画像を用いて障害物の存在をドライバーに知らせるシステムを考えると、画像認識は他のセンサ等の装置を取り付ける必要がない。

画像認識により物体を検出する方法としては、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出するパターンマッチングによる方法と、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出するオプティカルフローによる方法とが考えられる。しかし、パターンマッチングは数十ｍはなれた物体を検出することが困難である。また、オプティカルフローは静止物を検出することができない。したがって、従来の装置は、物体の位置、速度及び種類に応じて適切に物体を検出して表示する点で改善の余地がある。

本発明の一実施形態は、このような実情を考慮してなされたものであり、その目的は、物体の位置、速度及び種類に応じてより適切に物体を検出して表示することができる画像表示装置及び画像表示方法を提供することにある。

本発明の一実施形態は、車両の周辺画像を取得する画像取得ユニットと、画像取得ユニットが取得した周辺画像を表示する画像表示ユニットとを備え、画像表示ユニットは、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、中央画面の周辺画像について、周辺画像と所定のパターンとの照合を行うことにより周辺画像に写った物体を検出し、左側方画面及び右側方画面の周辺画像について、周辺画像中の点が時間の経過とともに動く方向と速さとを解析することにより周辺画像に写った物体を検出し、検出された物体の存在を示す運転支援表示を表示する画像表示装置である。

この構成によれば、車両の周辺画像を取得する画像取得ユニットと、画像取得ユニットが取得した周辺画像を表示する画像表示ユニットとを備えた運転支援表示装置において、画像表示ユニットは、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、中央画面の周辺画像について、周辺画像と所定のパターンとの照合を行うことにより周辺画像に写った物体を検出し、左側方画面及び右側方画面の周辺画像について、周辺画像中の点が時間の経過とともに動く方向と速さとを解析することにより周辺画像に写った物体を検出し、検出された物体の存在を示す運転支援表示を表示する。このため、車両正面近傍で停止している人、車両が移動しているときに車両正面近傍に存在する人等を周辺画像と所定のパターンとの照合を行うパターンマッチングの手法で検出し、検出した人等の存在をドライバーに報知することができる。また、車両側方の遠方から接近してくる人及び車両等を周辺画像中の点が時間の経過とともに動く方向と速さとを解析するオプティカルフローの手法により検出し、検出した人及び車両等の存在をドライバーに報知することができる。したがって、物体の位置、速度及び種類に応じてより適切に物体を検出して表示することができる。

この場合、画像表示ユニットは、中央画面の周辺画像に写った物体を検出したときは、物体を囲む枠を運転支援表示として表示し、左側方画面及び右側方画面のいずれかの周辺画像に写った物体を検出したときは、物体が検出された左側方画面及び右側方画面のいずれかの少なくとも一部を囲む枠を運転支援表示として表示することができる。

この構成によれば、画像表示ユニットは、中央画面の周辺画像に写った物体を検出したときは、物体を囲む枠を運転支援表示として表示し、左側方画面及び右側方画面のいずれかの周辺画像に写った物体を検出したときは、物体が検出された左側方画面及び右側方画面のいずれかの少なくとも一部を囲む枠を運転支援表示として表示する。これにより、ドライバーは、中央画面と、左側方画面及び右側方画面とで物体を検出する手法が異なることを認識することができる。

また本発明の一実施形態は、車両の周辺画像を取得する画像取得工程と、画像取得工程で取得した周辺画像を表示する画像表示工程とを含み、画像表示工程は、周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、中央画面の周辺画像について、周辺画像と所定のパターンとの照合を行うことにより周辺画像に写った物体を検出し、左側方画面及び右側方画面の周辺画像について、周辺画像中の点が時間の経過とともに動く方向と速さとを解析することにより周辺画像に写った物体を検出し、検出された物体の存在を示す運転支援表示を表示する画像表示方法である。

本発明の一実施形態によれば、速度及び種類に応じてより適切に物体を検出して表示することができる。

実施形態の運転支援表示装置の構成を示すブロック図である。実施形態の運転支援表示装置が適用される状況を示す平面図である。実施形態の運転支援表示装置の基本的な動作を示すフローチャートである。後方広角カメラが撮像した未処理の元画像を示す図である。実施形態の運転支援表示システムの作動時において接近してくる移動物が存在しないときの表示画像を示す図である。実施形態の運転支援表示システムの作動時において接近してくる移動物が存在するときの表示画像を示す図である。実施形態の運転支援表示システムの非作動時において接近してくる移動物が存在しないときの表示画像を示す図である。実施形態の運転支援表示システムの非作動時において接近してくる移動物が存在するときの表示画像を示す図である。実施形態の運転支援表示装置のオプティカルフローのエリアに物体が存在するときの状況を示す平面図である。実施形態の運転支援表示装置のオプティカルフローのエリアに物体が存在するときの運転支援の対象を示す平面図である。実施形態の運転支援表示装置のパターンマッチングのエリアに物体が存在するときの状況を示す平面図である。実施形態の運転支援表示装置のパターンマッチングのエリアに物体が存在するときの運転支援の対象を示す平面図である。実施形態の運転支援表示装置の各支援エリア及び各対象物に応じた動作を示すフローチャートである。実施形態の運転支援表示装置のオプティカルフローのエリアに移動物が存在し、パターンマッチングのエリアに人が存在するときの表示画像を示す図である。実施形態の運転支援表示装置のパターンマッチングのエリアに人が存在するときの表示画像を示す図である。別の実施形態の表示画像を示す図である。別の実施形態の表示画像を示す図である。

以下、図面を参照して本発明の実施形態に係る画像表示装置及び画像表示方法について説明する。図１に示すように、本実施形態の画像表示装置は運転支援表示装置１として構成されている。運転支援表示装置１は、後方広角カメラ１１、車速センサ１２、操舵角センサ１３、ＥＣＵ２０及びディスプレイ３０を備えている。本実施形態の運転支援表示装置１は、車両に備えられ、車両の後方の画像をドライバーに提供するものである。

後方広角カメラ１１は、車両の後方の画像を撮影するための１台のカメラである。後方広角カメラ１１は、視角が１８０°程度の広角カメラである。車速センサ１２は、車両の車速を検出するセンサである。例えば車速センサ１２は、車両の車軸の回転速度を検出することにより、車両の車速を検出する。操舵角センサ１３は、車両の操舵角を検出するセンサである。シフト位置センサは、車両のトランスミッションのシフト位置が後退（Reverse：Ｒ）の位置にあるか否かを検出するセンサである。

ＥＣＵ（Electronic Control Unit）２０は、運転支援表示１を統括的に制御する。ＥＣＵ２０は、ＣＰＵ（Central Processing Unit］、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などからなる電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにダウンロードし、ＣＰＵで実行することで、画像表示に係る各種演算処理を実行する。

ＥＣＵ２０は、その機能ごとに分類した場合には、移動物体検出部２１、移動物軌道検出部２２、移動物体位置・相対速度検出部２３、危険度推定部２４及び表示制御部２５を有している。

移動物体検出部２１は、後述するように、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出するパターンマッチングによる方法と、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出するオプティカルフローによる方法とにより、後方広角カメラ１１により撮影された画像中の物体を検出する。なお、後述するように、パターンマッチングにより物体を検出する場合には、移動物体検出部２１は静止物体を検出することもできる。

移動物軌道検出部２２は、移動物体検出部２１により検出された画像中の物体の位置及び動きと、車速センサ１２及び操舵角センサ１３により検出された車両の動きとから、画像中の物体の軌道を検出する。

移動物体位置・相対速度検出部２３は、移動物軌道検出部２２により検出された画像中の物体の軌道に基づいて、画像中の物体の位置及び車両との相対速度を検出する。

危険度推定部２４は、移動物体位置・相対速度検出部２３により検出された画像中の物体の位置及び相対速度に基づいて、画像中の物体の危険度を推定する。

表示制御部２５は、後述するように、移動物体位置・相対速度検出部２３により検出された物体の位置及び相対速度と、危険度推定部２４により推定された危険度と、車速センサ１２、操舵角センサ１３及びシフト位置センサ１４により検出された車両の状態とから、ドライバーの運転を支援するための運転支援表示をディスプレイ３０に表示する。

ディスプレイ３０は、後方広角カメラ１１により撮影された後方画像を表示する。ディスプレイ３０は、例えば、運転席近傍に設けられるモニタや、フロントガラス等に画像を表示するヘッドアップディスプレイを使用することができる。

なお、本実施形態では、運転支援表示装置１は、後方広角カメラ１１により撮影された画像に対する画像認識により車両近傍の物体を検出する。しかし、車両近傍の物体を検出するために、別途、レーダ、ライダ、ソナー等のセンサを備えていても良い。

以下、本実施形態の運転支援表示装置１の動作について説明する。図２に示すように、本実施形態の運転支援表示装置１は、自車両１００が後退しつつ駐車位置から道路に出る場合、及び自車両１００が後退しつつ駐車位置に駐車する場合に、自車両１００の後方を見ることが難しいドライバーの運転を支援するために適用される。運転支援表示装置１は、後方広角カメラ１１の撮像範囲である支援エリアＡ内の他車両Ｖ等を検出し、ドライバーに報知する。

まず、本実施形態の運転支援表示装置１の基本的な動作について説明する。図３に示すように、本実施形態の運転支援表示装置１は、シフト位置センサ１４が自車両１００のトランスミッションのシフト位置が後退の位置にある間に作動状態となる（Ｓ１０１）。

運転支援表示装置１のＥＣＵ２０の表示制御部２５は、車速センサ１２及び操舵角センサ１３の検出値が運転支援表示装置１の運転支援システムの内で側方からの移動物を報知するシステムの作動条件であるか否かを判定する（Ｓ１０２）。

移動物を検出する方法としては、レーダ、ライダ、ソナー及び画像認識等があるが、センサの性能や画像認識の精度により、自車両１００の速度や操舵角等の条件によっては誤検知又は未検知等の恐れがある。誤検出及び未検出はドライバーが運転支援表示装置１の運転支援システムに不信を抱く。そのため、本実施形態では、側方からの移動物を報知する運転支援システムを速度や舵角が所定の閾値以上になった場合は非作動とする。

例えば図２に示す状況のように自車両１００が発進するときにのみ、運転支援表示装置１が自車両１００側方の移動物体をドライバーに報知する場合は、速度が０ｋｍ／ｈ近傍である場合又は速度が０．１〜３ｋｍ／ｈ以下又は４ｋｍ／ｈ以下である場合を自車両１００側方の移動物体をドライバーに報知する運転支援システムの作動条件にできる。

側方の移動物体を報知する運転支援システムの作動条件である場合は（Ｓ１０２）、表示制御部２５はディスプレイ３０に、後方広角カメラ１１により撮影された画像を３分割して表示する（Ｓ１０３）。図４の表示画面２００に示すように、後方広角カメラ１１により撮影された元の画像は１８０°の視角を有する。画像の左右端部は広角レンズの収差により、左右端部に向かうほど小さく上方に見える歪みが生じている。

本実施形態では、図５に示すように、表示画面２００に、後方広角カメラ１１により撮影された画像を左右の後側方画面２０４及び中央の後方画面２０２に３分割して表示する。左右の後側方画面２０４及び中央の後方画面２０２の間は、後方広角カメラ１１により撮影された画像が分割されていることがドライバーに判り易いように所定の間隔が隔てられている。この場合の間隔は、２〜１０ｍｍ程度とすることができる。

表示制御部２５は、左右の後側方画面２０４の画像に対して広角レンズの収差による歪みを補正する歪み補正を施す。表示制御部２５は、左右の後側方画面２０４に施した歪み補正に対応して、左右の後側方画面２０４を画面の左右に垂直な対辺を有する台形に表示する。表示制御部２５は、左の後側方画面２０４の左側方及び右の後側方画面２０４の右側方ほど、後側方画面２０４の上下の幅が狭くなるように表示する。また、表示制御部２５は、左の後側方画面２０４の上下の辺は左上方を向き、右の後側方画面２０４の上下の辺は右上方を向くように表示する。

表示制御部２５は、中央の後方画面２０２を長方形となるように表示する。表示制御部２５は、左右の後側方画面２０４及び中央の後方画面２０２の画像が自車両１００のどの位置の画像であるのかを示す表示範囲シンボル２０６を表示する。また、表示制御部２５は、自車両１００の後退時にドライバーが運転の基準とするための車幅ライン２０８を中央の後方画面２０２に表示する。これにより、左右の後側方画面２０４及び中央の後方画面２０２の画像はそれぞれ異なる画像となる。

運転支援表示装置１のＥＣＵ２０の移動物体検出部２１が後述するオプティカルフローの手法により、他車両Ｖ等の移動物体を検出したときは（Ｓ１０４）、表示制御部２５は、図６に示すように、他車両Ｖが自車両１００に接近してくる側の後側方画面２０４及び後方画面２０２の一部を他車両Ｖが接近してくる方向から囲む移動物接近検出枠２１０を表示する（Ｓ１０５）。移動物接近検出枠２１０が囲む範囲は、後側方画面２０４及び後方画面２０２の画像中におけるオプティカルフローによる検知範囲を示している。なお、本実施形態では、自車両１００近傍に歩行者等の静止物体が存在する場合もドライバーに報知するがその際の動作については後述する。

車速又は舵角が所定の閾値を越えており、側方の移動物体を報知する運転支援システムの作動条件を満たさないときは（Ｓ１０２）、表示制御部２５は運転支援システムの一部を作動させず、図７に示すように中央の後方画面２０２のみを表示する（Ｓ１０６）。この場合、図８に示すように、ドライバーは、他車両Ｖ等の物体が自車両１００近傍に接近してきたことは、後方画面２０２により確認可能である。そのため、側方の移動物体を報知する運転支援システムの非作動時であっても、自車両１００の後退時の運転を支援するモニタとして運転支援表示装置１を利用することができる。さらに、側方の移動物体を報知する運転支援システムの非作動時であっても、後述するパターンマッチングによる手法により、中央の後方画面２０２の画像中の歩行者等は検出され、ドライバーに報知される。

以下、本実施形態の運転支援表示装置１の物体を検出する動作について説明する。図９に示すように、本実施形態では、後側方画面２０４に表示される範囲であるオプティカルフロー支援エリアＡｏｐでは、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出するオプティカルフローによる物体の検出が行われる。一方、後方画面２０２に表示される範囲であるパターンマッチング支援エリアＡｐｍでは、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出するパターンマッチングによる物体の検出が行われる。

図９の例では、オプティカルフロー支援エリアＡｏｐから自車両１００に他車両Ｖが接近しており、運転支援表示装置１のＥＣＵ２０の移動物体検出部２１は、オプティカルフローにより、他車両Ｖを検出する。図１０の例では、オプティカルフロー支援エリアＡｏｐから自車両１００に他車両Ｖ及び歩行者Ｐが接近しており、移動物体検出部２１は、オプティカルフローにより、他車両Ｖ及び歩行者Ｐを検出する。いずれの例でも、オプティカルフロー支援エリアＡｏｐでは、遠方から接近する移動物体を検出可能である。オプティカルフロー支援エリアＡｏｐでは静止物体は検出不可能である。しかし、自車両１００近傍でなければ、静止物体が自車両１００に接触する可能性は無いため、オプティカルフロー支援エリアＡｏｐでは、移動物体のみをオプティカルフローによる方法により検出する。

図１１の例では、パターンマッチング支援エリアＡｐｍから自車両１００に歩行者Ｐが接近しており、運転支援表示装置１のＥＣＵ２０の移動物体検出部２１は、パターンマッチングにより、歩行者Ｐを検出する。図１２の例では、パターンマッチング支援エリアＡｐｍから自車両１００に移動中の歩行者Ｐ及び静止中の歩行者Ｐが存在しており、移動物体検出部２１は、パターンマッチングにより、歩行者Ｐそれぞれを検出する。いずれの例でも、パターンマッチング支援エリアＡｐｍでは、自車両１００近傍の移動物体及び静止物体を検出可能である。パターンマッチング支援エリアＡｐｍでは、自車両１００が移動する範囲であり、静止物体が自車両１００に接触する可能性があるため、静止物体も検出する必要がある。パターンマッチング支援エリアＡｐｍでは、移動物体検出部２１は、照合するためのパターンとして主に人のパターンと画像中の物体との照合を行う。なお、自車両１００近傍についてはソナーによって静止物体を検出することでも対応可能である。

図１３に示すように、運転支援表示装置１のＥＣＵ２０の移動物体検出部２１がオプティカルフロー支援エリアＡｏｐ内であり且つ支援エリアＡ内に他車両Ｖ又は人等の移動物体が接近していることを検出した場合であって（Ｓ２０１）、移動物体検出部２１がパターンマッチング支援エリアＡｐｍ内であり且つ支援エリアＡ内に歩行者Ｐ等の物体が存在していることを検出した場合（Ｓ２０２）、ＥＣＵ２０の危険度推定部２４は、物体の位置及び相対速度から危険度を推定する（Ｓ２０３）。ＥＣＵ２０の表示制御部２５は、危険度を基に図１４に示すような他車両Ｖが接近する側の後側方画面２０４の一部を囲む移動物接近検出枠２１０と歩行者Ｐを囲む歩行者検出枠２１２とを後方画面２０２及び後側方画面２０４に点滅させつつ表示する（Ｓ２０４）。

危険度推定部２４は、物体の位置が自車両１００から近いほど、当該物体の危険度を高く推定する。危険度推定部２４は、物体の自車両１００との相対速度が大きいほど、当該物体の危険度を高く推定する。表示制御部２５は、危険度推定部２４が推定した危険度が高いほど、移動物接近検出枠２１０及び歩行者検出枠２１２を表示する時期を早くする。表示制御部２５は、危険度推定部２４が推定した危険度が高いほど、移動物接近検出枠２１０及び歩行者検出枠２１２を点滅させる間隔を短くする。

あるいは、表示制御部２５は、危険度推定部２４が推定した危険度が高いほど、移動物接近検出枠２１０及び歩行者検出枠２１２の輝度が高くなるように表示することができる。あるいは、表示制御部２５は、危険度推定部２４が推定した危険度が高いほど、移動物接近検出枠２１０及び歩行者検出枠２１２の色を変化させて表示することができる。例えば、表示制御部２５は、危険度推定部２４が推定した危険度が高くなるほど、青色、黄色から赤色に変化させて表示することができる。

移動物体検出部２１がオプティカルフロー支援エリアＡｏｐ内であり且つ支援エリアＡ内に他車両Ｖ又は人等の移動物体が接近していることを検出した場合であって（Ｓ２０１）、移動物体検出部２１がパターンマッチング支援エリアＡｐｍ内であり且つ支援エリアＡ内に歩行者Ｐ等の物体が存在していることを検出していない場合（Ｓ２０２）、危険度推定部２４は、物体の位置及び相対速度から危険度を推定する（Ｓ２０５）。表示制御部２５は、上述したように危険度を基にして、図６に示すような他車両Ｖが接近する側の後側方画面２０４の一部を囲む移動物接近検出枠２１０を後側方画面２０４に点滅させつつ表示する（Ｓ２０６）。

移動物体検出部２１がオプティカルフロー支援エリアＡｏｐ内であり且つ支援エリアＡ内に他車両Ｖ又は人等の移動物体が接近していることを検出した場合であって（Ｓ２０１）、移動物体検出部２１がパターンマッチング支援エリアＡｐｍ内であり且つ支援エリアＡ内に歩行者Ｐ等の物体が存在していることを検出した場合（Ｓ２０７）、危険度推定部２４は、物体の位置及び相対速度から危険度を推定する（Ｓ２０８）。表示制御部２５は、上述したように危険度を基にして、図１５に示すような他車両Ｖが接近する側の後側方画面２０４の一部を囲む移動物接近検出枠２１０と歩行者Ｐを囲む歩行者検出枠２１２とを後方画面２０２及び後側方画面２０４に点滅させつつ表示する（Ｓ２０４）。

本実施形態によれば、後方広角カメラ１１と、後方広角カメラ１１が撮影した後方画像を表示するＥＣＵ２０及びディスプレイ３０とを備えた運転支援表示装置１において、ＥＣＵ２０の表示制御部２５及びディスプレイ３０は、後方画像を左右の後側方画面２０４及び中央の後方画面２０２に分割して表示するため、ドライバーはどこを表示しているのかが判り易くなる。また、表示制御部２５及びディスプレイ３０は、左右の後側方画面２０４及び中央の後方画面２０２で同じ画像を表示しなくなるため、ドライバーは後方画像中の物体と自車両１００との距離が判り易くなる。また、表示制御部２５は、左右の後側方画面２０４に表示される後方画像の歪みを補正する歪み補正を施すため、ドライバーは歪曲を補正した見易い後方画像を見ることができる。また、表示制御部２５は、左右の後側方画面２０４の形状を歪み補正に応じた形状とするため、ドライバーは後方画像中の物体がどこから接近しているのかが判り易くなる。

また、表示制御部２５は、左右の後側方画面２０４に表示される周辺画像の広角レンズの収差による歪みを補正する歪み補正を施し、左の後側方画面２０４の左側方及び右の後側方画面２０４の右側方ほど後側方画面２０４の上下の幅を狭くし、左の後側方画面２０４の上下の辺は左側上方を向いた形状とし、右の後側方画面２０４の上下の辺は右側上方を向いた部分を有する台形とする。このため、そのため、ドライバーは後方画像がどこを写しているのかが判り易くなる。また、ドライバーは、後方画像中の物体がどこから接近して来るのかが判り易くなる。

また、表示制御部２５は、左右の後側方画面２０４及び中央の後方画面２０２それぞれの間に間隔を空けて表示する。このため、ドライバーは、左右の後側方画面２０４及び中央の後方画面２０２それぞれが分割されていることが判り易い。

また、表示制御部２５は、左右の側方画面２０４のいずれかの後方画像に写った物体が自車両１００に接近するときは、物体の接近を示す移動物接近検出枠２１０を表示する。このため、ドライバーは中央の後方画面２０２を注視していたとしても、側方から接近する物体に気付き易い。

すなわち、本実施形態では、中央の後方画面２０２を大きくすることにより、表示画面２００をバックガイドモニターとして使用しやすい。後方画面２０２を大きくし、後側方画面２０４を小さく表示することにより、側方から接近する物体は画面で小さくなる。しかし、ドライバーが中央の後方画面２０２を注視していたとしても、ドライバーは側方から接近する物体を移動物接近検出枠２１０により気付き易い。また、本実施形態では、画面を通常から広角へ切り替える煩わしさがない。

また、本実施形態によれば、後方広角カメラ１１と、後方広角カメラ１１が撮影した後方画像を表示するＥＣＵ２０及びディスプレイ３０とを備えた運転支援表示装置１において、ＥＣＵ２０の表示制御部２５及びディスプレイ３０は、後方画像を複数の画面に分割して表示しつつ、自車両１００のドライバーの運転を支援する移動物接近検出枠２１０及び歩行者検出枠２１２を表示することが可能であり、移動物接近検出枠２１０を表示するときと、移動物接近検出枠２１０を表示しないときとで、表示する画面の数を変更する。このため、ドライバーは、移動物接近検出枠２１０を表示するシステムの作動時と非作動時とをより認識し易くなる。

また、表示制御部２５は、後方画像を左右の後側方画面２０４及び中央の後方画面２０２に分割して表示することが可能であり、移動物接近検出枠２１０及び歩行者検出枠２１２を表示するときは、左右の後側方画面２０４及び中央の後方画面２０２を表示し、移動物接近検出枠２１０を表示しないときは、中央の後方画面２０２のみを表示する。このため、ドライバーは、移動物接近検出枠２１０を表示するシステムの作動時と非作動時とを認識し易い。また、移動物接近検出枠２１０を表示するシステムの非作動時にも、中央の後方画面２０２は表示されるため、中央の後方画面２０２を後方監視のために用いることができる。

また、表示制御部２５は、左右の後側方画面２０４に写った物体が自車両１００に接近するときに物体の接近を示す移動物接近検出枠２１０を表示する。このため、ドライバーは中央画面を注視していたとしても、側方から接近する物体に気付き易い。

また、表示制御部２５は、自車両１００の速度及び舵角のいずれかが所定の閾値以上のときは、移動物接近検出枠２１０を表示しない。物体の接近を検知する手法としては、レーダ、ライダ、ソナー及び画像認識等があるが、車両の速度や舵角が大きい場合は誤検知や未検知等の恐れがある。誤検知や未検知はドライバーのシステムへの不信にもつながる。そのため、自車両１００の速度及び舵角が閾値以上のときに移動物接近検出枠２１０を表示しないことにより、自車両１００に接近する物体の誤検知や未検知を防止することができる。

また、本実施形態によれば、後方広角カメラ１１と、後方広角カメラ１１が撮影した後方画像を表示するＥＣＵ２０及びディスプレイ３０とを備えた運転支援表示装置１において、ＥＣＵ２０の表示制御部２５及びディスプレイ３０は、後方画像を左右の後側方画面２０４及び中央の後方画面２０２に分割して表示し、中央の後方画面２０２の画像について、画像と所定のパターンとの照合を行うことにより画像に写った物体を検出し、左右の後側方画面２０４の画像について、画像中の点が時間の経過とともに動く方向と速さとを解析することにより画像に写った物体を検出し、検出された物体の存在を示す移動物接近検出枠２１０又は歩行者検出枠２１２を表示する。このため、自車両１００正面近傍で停止している人、自車両１００が移動しているときに自車両１００正面近傍に存在する人等を画像と所定のパターンとの照合を行うパターンマッチングの手法で検出し、検出した人等の存在をドライバーに報知することができる。また、自車両１００側方の遠方から接近してくる人及び車両等を画像中の点が時間の経過とともに動く方向と速さとを解析するオプティカルフローの手法により検出し、検出した人及び車両等の存在をドライバーに報知することができる。したがって、物体の位置、速度及び種類に応じてより適切に物体を検出して表示することができる。

また、表示制御部２５は、中央の後方画面２０２の画像に写った歩行者Ｐを検出したときは、歩行者Ｐを囲む歩行者検出枠２１２を表示し、左右の後側方画面２０４いずれかの画像に写った物体を検出したときは、物体が検出された左右の後側方画面２０４いずれかの少なくとも一部を囲む移動物接近検出枠２１０を表示する。これにより、ドライバーは、中央の後方画面２０２と、左右の後側方画面２０４とで物体を検出する手法が異なることを認識することができる。つまり、中央の後方画面２０２と、左右の後側方画面２０４とで枠の囲み方を変えることで、中央の後方画面では人しか検出しないことをドライバーに知らせることができる。

ドライバーは、側方は主に発進時に確認し、後方中央は発進時及び移動時に確認することが多い。移動時の場合、より素早く物体を確認する必要があるため、物体を歩行者検出枠２１２で囲むことによって、物体の位置も認識することができる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態での運転支援表示装置１の処理負荷が高い場合は、図１６に示すように、後側方画面２０４’の大きさを歪み補正に合せて小さくするだけでも良い。上述したように、移動物を検知したことをドライバーに報知する移動物接近検出枠２１０は、物体を検出した範囲によって変更する。後側方画面２０４’内の場合は後側方画面２０４’のみに移動物接近検出枠２１０を表示しても良い。

また、上記実施形態では、運転支援システムの非作動時に後側方画面２０４を消去した。しかし、運転支援システムの非作動時に後側方画面２０４を消去してしまうと、ドライバーによっては後側方画面２０４を見たいにも関わらず見れないと感じる場合もある。このため、図１７に示すように、運転支援システムの非作動時に、後側方画面２０４を表示しつつ、後側方画面２０４に非作動表示ライン２１４を表示することもできる。

上記の本発明の一実施形態の画像表示装置及び画像表示方法によれば、速度及び種類に応じてより適切に物体を検出して表示することができる。

１運転支援表示装置
１１後方広角カメラ
１２車速センサ
１３操舵角センサ
１４シフト位置センサ
２０ＥＣＵ
２１移動物体検出部
２２移動物軌道検出部
２３移動物体位置・相対速度検出部
２４危険度推定部
２５表示制御部
３０ディスプレイ
１００自車両
２００表示画面
２０２後方画像
２０４，２０４’ 後側方画像
２０６表示範囲シンボル
２０８車幅ライン
２１０移動物接近検出枠
２１２歩行者検出枠
２１４非作動表示ライン
Ａ…支援エリア
Ａｏｐ…オプティカルフローエリア
Ａｐｍ…パターンマッチングエリア
Ｖ…他車両
Ｐ…歩行者

Claims

車両の周辺画像を取得する画像取得ユニットと、
前記画像取得ユニットが取得した前記周辺画像を表示する画像表示ユニットと、
を備え、
前記画像表示ユニットは、
前記周辺画像を左側方画面、中央画面及び右側方画面に分割して表示し、
前記中央画面の前記周辺画像について、前記周辺画像と所定のパターンとの照合を行うことにより前記周辺画像に写った物体を検出し、
前記左側方画面及び前記右側方画面の前記周辺画像について、前記周辺画像中の点が時間の経過とともに動く方向と速さとを解析することにより前記周辺画像に写った物体を検出し、
前記中央画面の前記周辺画像に写った前記物体を検出したときは、前記物体を囲む枠を前記物体の存在を示す運転支援表示として表示し、
前記左側方画面及び前記右側方画面のいずれかの前記周辺画像に写った前記物体を検出したときは、前記物体が検出された前記左側方画面及び前記右側方画面のいずれかの少なくとも一部を囲む枠を前記運転支援表示として表示する、画像表示装置。