JP6307895B2

JP6307895B2 - 車両用周辺監視装置

Info

Publication number: JP6307895B2
Application number: JP2014010166A
Authority: JP
Inventors: 祥一早坂; 雄一熊井; 真一永田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2014-01-23
Filing date: 2014-01-23
Publication date: 2018-04-11
Anticipated expiration: 2034-01-23
Also published as: US9620009B2; CN106030679B; CN106030679A; WO2015111367A1; DE112014006255B4; US20160321920A1; DE112014006255T5; JP2015139128A

Description

本発明の一実施形態は、車両用周辺監視装置に関する。

自車両の外部の画像を撮像することにより、自車両の外部に存在する物体を監視する装置が提案されている。例えば、特許文献１の装置は、ユーザが自車両周辺の画像の切替を指示するためのアイコンを画面に重畳して表示する。

特開２００３‐１１６１２５号公報

ところで、自車両の外部の物体を監視する装置は、自車両の運転者に自車両の外部の物体をより認識させ易くすることが要求されている。

本発明の一実施形態は上記課題を考慮してなされたものであり、物体をより認識し易い車両用周辺監視装置を提供することが望まれている。

本発明の一実施形態は、自車両の外部の撮像データを取得する撮像データ取得部と、自車両の外部の物体を検出する物体検出部と、自車両の車速を検出する車速検出部と、撮像データから、自車両の周囲の第１俯瞰表示画像データを生成する第１俯瞰表示画像データ生成部と、物体検出部の検出結果から、物体をアイコンとして示す自車両の周囲の第２俯瞰表示画像データを生成する第２俯瞰表示画像データ生成部と、第１俯瞰表示画像データ及び第２俯瞰表示画像データに基づいて、自車両の周囲の俯瞰表示画像を生成する俯瞰表示画像生成部と、俯瞰表示画像を表示する表示部とを備え、俯瞰表示画像生成部は、車速が閾値以下のときは、俯瞰表示画像として、第１俯瞰表示画像データ及び第２俯瞰表示画像データを用いて、物体に対応する位置にアイコンが表示された撮像画像を生成し、車速が閾値を超えているときは、俯瞰表示画像として、第２俯瞰表示画像データを用いて、物体に対応する位置にアイコンが表示されたアイコン表示画像を生成する車両用周辺監視装置である。

この構成によれば、車速が閾値以下のときは、表示部は、物体に対応する位置にアイコンが表示された撮像画像を俯瞰表示画像として表示する。一方、車速が閾値を超えているときは、表示部は、物体に対応する位置にアイコンが表示されたアイコン表示画像を俯瞰表示画像として表示する。このため、車速の変動により、表示部に表示される俯瞰表示画像が撮像画像とアイコン表示画像との間で切り替えられたとしても、物体を示すアイコンは表示され続ける。したがって、物体をより認識し易い。

この場合、俯瞰表示画像生成部は、自車両の周囲にアイコンを表示しないアイコン非表示エリアを含む撮像画像を生成することができる。

自車両から近距離に物体が存在するときは、当該物体に対して細かな運転操作が必要なことがある。そこで、上記構成によれば、自車両から比較的に近距離であるアイコン非表示エリアの中の物体については、当該物体を示すアイコンが表示されない。そのため、アイコンにより俯瞰表示画像に映った物体の視認が妨げられることを防止することができる。

また、俯瞰表示画像生成部は、車速が閾値以下のときは、撮像画像の内で撮像データ取得部の撮像可能範囲の外の物体を示すアイコンを表示する撮像画像を生成することができる。

この構成によれば、撮像データ取得部の撮像可能範囲の外の物体については、当該物体を示すアイコンが表示される。そのため、撮像データ取得部の撮像可能範囲の外の物体をアイコンにより認識することができる。

この場合、俯瞰表示画像生成部は、車速が大きくなるほど、縮尺が小さい撮像画像を生成することができる。

車速が大きくなるほど、狭い範囲を細かく認識する必要性は低くなり、より広い範囲を認識する必要性が高くなる。上記構成によれば、車速が大きくなるほど、縮尺が小さい撮像画像が表示される。そのため、車速が大きくなるのに対応して、情報を取得する領域を拡げることができる。

本発明の一実施形態の車両用周辺監視装置によれば、物体をより認識し易い。

実施形態の車両用周辺監視装置の構成を示すブロック図である。実施形態の車両用周辺監視装置の動作を示すフロー図である。車速が閾値以下であって、アイコン非表示エリアの中に物体が存在するときに、ディスプレイに表示される俯瞰表示画像を示す図である。車速が閾値以下であって、図３のときよりも車速が大きく、アイコン非表示エリアの中に物体が存在しないときに、ディスプレイに表示される俯瞰表示画像を示す図である。車速が閾値以下であって、図４のときよりも車速が大きいときにディスプレイに表示される俯瞰表示画像を示す図である。車速が閾値を超える速度のときに、ディスプレイに表示される俯瞰表示画像を示す図である。

以下、図面を参照して、本発明の一実施形態に係る車両用周辺監視装置について説明する。図１に示すように、本実施形態の車両用周辺監視装置１０は、カメラ１２ａ〜１２ｄ、レーダ２２ａ〜２２ｄ、速度センサ２４、ＥＣＵ５０、ディスプレイ３６、ブレーキアクチュエータ４４及びステアリングアクチュエータ４６を備えている。車両用周辺監視装置１０は自車両に搭載される。車両用周辺監視装置１０は、自車両の外部の物体を監視する。また、車両用周辺監視装置１０は、自車両外部の物体に対して運転者の運転操作に介入する運転支援を行なう。

カメラ１２ａ〜１２ｄは、自車両の外部の撮像データを取得する撮像データ取得部として機能する。撮像データとは、カメラ１２ａ〜１２ｄ等の光学装置により所得された画像を当該画像に含まれる複数の画素それぞれの位置、濃淡及び色彩等で特定するデータである。カメラ１２ａ〜１２ｄは、ＣＣＤ又はＣＭＯＳ等の半導体素子を用いた単眼カメラである。カメラ１２ａ〜１２ｄには、広角レンズまたは魚眼レンズが装着されている。

本実施形態では、広角レンズ又は魚眼レンズが装着された４台のカメラ１２ａ〜１２ｄが、自車両の車体の前後左右側にそれぞれ一台ずつ設置されている。カメラ１２ａ〜１２ｄにより、自車両の外部の全周囲の画像を撮像することができる。カメラ１２ａ〜１２ｄの光軸は所定の角度で下方に向けられている。そのため、カメラ１２ａ〜１２ｄの撮像可能範囲は、自車両の前面、側面及び後面からそれぞれ２〜３ｍ程度の距離を置いた領域となる。

レーダ２２ａ〜２２ｄは、自車両の外部の物体を検出する物体検出部として機能する。本実施形態では、物体検出部により検出される自車両の外部の物体は、他車両、自動二輪車、自転車及び歩行者等の移動する可能性がある障害物である。本実施形態では、物体検出部により検出される自車両の外部の物体として、建物、ガードレール等の固定された障害物とすることもできる。

レーダ２２ａ〜２２ｄは、ミリ波レーダ又はレーザレーダとすることができる。レーダ２２ａ〜２２ｄは、自車両の外部の物体の距離、方向、位置、大きさ及び相対速度を検出することができる。本実施形態では、４台のレーダ２２ａ〜２２ｄが、自車両の車体の前後左右側にそれぞれ一台ずつ設置されている。レーダ２２ａ〜２２ｄにより、自車両の外部の全周囲に存在する物体を検出することができる。レーダ２２ａ〜２２ｄにより、カメラ１２ａ〜１２ｄの撮像可能範囲の外に存在する物体を検出することができる。なお、物体検出部は、自車両から近距離に存在する物体を検出するために、自車両の車体の前後左右側にそれぞれ一台ずつ設置された４台のソナーとすることができる。

速度センサ２４は、自車両の車速を検出する車速検出部として機能する。速度センサ２４は、自車両の車軸の回転速度から自車両の車速を検出する。

ＥＣＵ（Electronic Control Unit）５０は、レーダ２２ａ〜２２ｄ及び速度センサ２４により得られた情報に基づいて、ディスプレイ３６、ブレーキアクチュエータ４４及びステアリングアクチュエータ４６を制御する。ＥＣＵ５０は、画像入力部１４、撮像画像データ生成部１６、物体種別判定部２６、アイコン表示画像データ生成部２８、表示画像切替判断部３２、俯瞰表示画像生成部３４、ディスプレイ３６及び運転支援実行部４２を備えている。

画像入力部１４及び撮像画像データ生成部１６は、カメラ１２ａ〜１２ｄにより撮像された自車両の外部の撮像データから、自車両の周囲の第１俯瞰表示画像データである撮像画像データを生成する第１俯瞰表示画像データ生成部として機能する。第１俯瞰表示画像データは、自車両の外部の撮像データに基づいて生成された自車両の周囲の上方からの視点の画像のデータである。画像入力部１４は、カメラ１２ａ〜１２ｄにより撮像された撮像データを取得する。画像入力部１４は、ある一定のフレームの更新周期ごとに、カメラ１２ａ〜１２ｄにより撮像された４つの静止画像の撮像データを取得する。

撮像画像データ生成部１６は、画像入力部１４により取得された４つの水平方向の視点の静止画像の撮像データそれぞれを自車両の上方からの視点の撮像データに変換する。撮像画像データ生成部１６は、４つの上方からの視点の静止画像の撮像データをそれらの境界を修正しつつ連続した１つの画像の撮像画像データとなるように合成する。このようにして、撮像画像データ生成部１６は、画像入力部１４により取得された静止画像の撮像データから、自車両の周囲の第１俯瞰表示画像データである撮像画像データを生成する。

なお、例えば、撮像画像データは、地表面に対して垂直な方向に自車両を見下ろす視点の撮像画像データとすることができる。また、撮像画像データは、地表面に対して垂直以外の方向から自車両を見下ろす視点の撮像画像データとすることができる。

物体種別判定部２６及びアイコン表示画像データ生成部２８は、レーダ２２ａ〜２２ｄの検出結果から、物体をアイコンとして示す自車両の周囲の第２俯瞰表示画像データであるアイコン表示画像データを生成する第２俯瞰表示画像データ生成部として機能する。アイコンは、物体を表現する記号である。第２俯瞰表示画像データは、物体に対応する位置に物体を示すアイコンが表示された自車両の周囲の上方からの視点の図面のデータである。

物体種別判定部２６は、レーダ２２ａ〜２２ｄにより物体の大きさに関する情報を取得する。物体種別判定部２６は、レーダ２２ａ〜２２ｄにより検出された物体と自車両との相対速度と、速度センサ２４により取得された自車両の車速とに基づいて、物体の対地速度に関する情報を取得する。物体種別判定部２６は、取得した物体の対地速度と大きさとに関する情報から、他車両、自動二輪車、自転車及び歩行者等の物体の種別を判定する。また、物体種別判定部２６は、レーダ２２ａ〜２２ｄにより検出された物体の距離、方向及び位置に関する情報をアイコン表示画像データ生成部２８に送信する。また、物体種別判定部２６は、レーダ２２ａ〜２２ｄにより検出された物体と自車両との距離、相対速度及び方向に関する情報を運転支援実行部４２に送信する。

アイコン表示画像データ生成部２８は、他車両、自動二輪車、自転車及び歩行者等の物体の種別ごとに予め用意されたアイコンの中から、物体種別判定部２６によって判定された物体の種別に合致するアイコンを選択する。また、アイコン表示画像データ生成部２８は、物体種別判定部２６から送信された物体と自車両との距離及び方向に関する情報に基づいて、物体をアイコンとして示す自車両の周囲の第２俯瞰表示画像データであるアイコン表示画像データを生成する。

例えば、アイコン表示画像データは、地表面に対して垂直な方向に自車両を見下ろす視点のアイコン表示画像データとすることができる。また、アイコン表示画像データは、地表面に対して垂直以外の方向から自車両を見下ろす視点のアイコン表示画像データとすることができる。撮像画像データにおける自車両を見下ろす視点と、アイコン表示画像データにおける自車両を見下ろす視点とは、一致させることができる。

表示画像切替判断部３２及び俯瞰表示画像生成部３４は、撮像画像データ及びアイコン表示画像データに基づいて、自車両の周囲の俯瞰表示画像を生成する俯瞰表示画像生成部として機能する。俯瞰表示画像とは、第１俯瞰表示画像データ及び第２俯瞰表示画像データに基づいて生成された自車両の周囲の上方からの視点の撮像画像又は図面である。

表示画像切替判断部３２は、後述するように、速度センサ２４により検出された自車両の車速に基づいて、俯瞰表示画像として、撮像画像及びアイコン表示画像のいずれを表示するかを判断する。撮像画像とは、撮像画像データ及びアイコン表示画像データを用いて生成され、物体に対応する位置にアイコンが表示されている自車両の周囲の俯瞰表示画像である。アイコン表示画像とは、アイコン表示画像データを用いて生成され、物体に対応する位置にアイコンが表示されている自車両の周囲の俯瞰表示画像である。また、表示画像切替判断部３２は、レーダ２２ａ〜２２ｄにより検出された物体と自車両との距離、方向及び位置に基づいて、当該物体を示すアイコンを表示するか否かを決定する。

俯瞰表示画像生成部３４は、表示画像切替判断部３２から指令により、撮像画像データ及びアイコン表示画像データに基づいて、自車両の周囲の俯瞰表示画像を生成する。俯瞰表示画像は、地表面に対して垂直な方向に自車両を見下ろす視点の俯瞰表示画像とすることができる。また、俯瞰表示画像は、地表面に対して垂直以外の方向から自車両を見下ろす視点の俯瞰表示画像とすることができる。

運転支援実行部４２は、物体種別判定部２６が判定した物体の種別に関する情報と、物体種別判定部２６により送信された物体と自車両との距離、相対速度及び方向に関する情報とに基づき、運転者の運転操作に介入しつつ、自車両の制動力を増大させる指令信号又は自車両の舵角を変更させる指令信号を出す。運転支援実行部４２は、物体の種別に応じて、当該物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の制動力を増大させる指令信号又は自車両の舵角を変更させる指令信号を出す。

ディスプレイ３６は、俯瞰表示画像を表示する表示部として機能する。ディスプレイ３６は、俯瞰表示画像生成部３４が生成した表示画像を自車両の運転者に提示する。一般的には、表示部には、液晶モニタ又はナビゲーション用モニタを適用することができる。また、表示部には、ヘッドアップディスプレイを適用することができる。また、表示部には、自車両の運転者の身体に装着可能な表示装置を用いることができる。自車両の運転者の身体に装着可能な表示装置としては、例えば、運転者が装着可能な眼鏡に類似した形状を有し、眼鏡のレンズに俯瞰表示画像を投影するものとできる。

ブレーキアクチュエータ４４は、運転支援実行部４２からの指令信号に基づいて、物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の制動力を増大させる。ステアリングアクチュエータ４６は、運転支援実行部４２からの指令信号に基づいて、物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の舵角を変更させる。

以下、本実施形態の車両用周辺監視装置１０の動作について説明する。図２に示すように、レーダ２２ａ〜２２ｄは、自車両の外部の物体を検出する（Ｓ１０１）。撮像画像データ生成部１６は、カメラ１２ａ〜１２ｄにより撮像された画像から自車両を俯瞰表示する俯瞰画像データを生成する（Ｓ１０２）。速度センサ２４は、自車両の車速を検出する（Ｓ１０３）。

物体種別判定部２６及び表示画像切替判断部３２は、レーダ２２ａ〜２２ｄにより検出された物体との距離、方向、位置及び自車両との相対速度に関する情報を取得する（Ｓ１０４）。物体種別判定部２６は、取得した物体の対地速度と大きさとに関する情報から、他車両、自動二輪車、自転車及び歩行者等の物体の種別を判定する（Ｓ１０５）。アイコン表示画像データ生成部２８は、物体種別判定部２６によって判定された物体の種別に合致するアイコンを選択し、物体種別判定部２６から送信された物体と自車両との距離、方向及び位置に関する情報に基づいて、物体をアイコンとして示す自車両の周囲のアイコン表示画像データを生成する（Ｓ１０６）。

表示画像切替判断部３２は、速度センサ２４により検出された車速が車速閾値以下であるか否かを判定する（Ｓ１０７）。この車速閾値としては、例えば、自車両がオートマチックトランスミッションを搭載している場合に、アクセルペダルが踏まれていない状態で走行するクリープ走行での最大の速度とすることができる。具体的には、車速閾値を５〜２０ｋｍ／ｈとすることができる。車速閾値は固定された値とすることができる。また、車速閾値は、自車両の運転者により任意に設定することができる。また、車速閾値は、状況に応じて変動するものとできる。

速度センサ２４により検出された車速が車速閾値以下であるときは（Ｓ１０７）、表示画像切替判断部３２からの指令により、俯瞰表示画像生成部３４は、撮像画像データ及びアイコン表示画像データを用いて、俯瞰表示画像として、物体に対応する位置にアイコンが表示された撮像画像を生成する（Ｓ１０８）。具体的には、俯瞰表示画像生成部３４は、俯瞰表示画像として、車速が大きいほど縮尺を小さくしつつ、カメラ１２ａ〜１２ｄの撮像可能範囲の外の物体を示すアイコンを表示する撮像画像を生成する。

表示画像切替判断部３２は、自車両の周囲にアイコンを表示しないアイコン非表示エリアの中に物体が存在するか否かを判断する（Ｓ１０９）。アイコン非表示エリアとしては、例えば、俯瞰表示画像の中の長方形の領域であって、当該長方形の各辺が自車両の前面、側面及び後面からそれぞれ１〜２ｍ程度の距離を置いた領域とすることができる。あるいは、アイコン非表示エリアは、長方形以外の形状の領域とすることができる。アイコン非表示エリアは、固定された領域とすることができる。また、アイコン非表示エリアは、自車両の運転者により任意に設定することができる。また、アイコン非表示エリアは、状況に応じて変動するものとできる。

アイコン非表示エリアの中に物体が存在するときは（Ｓ１０９）、表示画像切替判断部３２の指令により、俯瞰表示画像生成部３４は、アイコン非表示エリアの中の物体を示すアイコンを表示しない撮像画像を生成する（Ｓ１１０）。また、アイコン非表示エリアの中に物体が存在するか否かに関わらず、俯瞰表示画像生成部３４は、アイコン非表示エリアの外の物体を示すアイコンを表示する撮像画像を生成する（Ｓ１１１）。ディスプレイ３６は生成された俯瞰表示画像を表示する（Ｓ１１３）。

Ｓ１０７に戻り、表示画像切替判断部３２は、速度センサ２４により検出された車速が車速閾値を超えているときは（Ｓ１０７）、表示画像切替判断部３２の指令により、俯瞰表示画像生成部３４は、アイコン表示画像データを用いて、俯瞰表示画像として、物体に対応する位置にアイコンが表示されたアイコン表示画像を生成する（Ｓ１１２）。ディスプレイ３６は生成された俯瞰表示画像を表示する（Ｓ１１３）。

以上のＳ１０７〜Ｓ１１３について詳述する。以下の例では、上記の車速閾値をｖ_ｔｈ＝１０ｋｍ／ｈと仮定する。また、以下の例では、アイコン非表示エリアは、俯瞰表示画像の中の長方形の領域であって、当該長方形の各辺が自車両の前面、側面及び後面からそれぞれ１ｍの距離を置いた領域であると仮定する。また、カメラ１２ａ〜１２ｄの撮像可能範囲は、自車両の前面、側面及び後面からそれぞれ２ｍの距離を置いた領域であると仮定する。

まず、図３に示すように、例えば、自車両が駐車場から出庫する場合又は自車両が駐車場に駐車する場合を想定する。この場合、自車両の車速は上記の車速閾値ｖ_ｔｈ以下であり、１〜３ｋｍ／ｈの極めて低い速度である。図３に示すように、俯瞰表示画像生成部３４は、自車両を俯瞰する自車両撮像画像Ｍ_ＰＶの周囲の撮像画像ＰＶを生成する（Ｓ１０７、Ｓ１０８）。

自車両の前面、側面又は後面から１ｍ以内の極めて近距離に物体が存在する場合は、当該物体に対して細かな運転操作が必要となる。しかし、自車両から極めて近距離の物体に対してアイコンを表示すると、アイコンにより撮像画像ＰＶに映った物体の視認が妨げられる場合がある。

そこで本実施形態では、図３に示すように、アイコン非表示エリアＮの中の距離ｄ_１＝０．７ｍに存在する他車両の他車両撮像画像Ｏ_ＰＶについては、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、アイコン非表示エリアＮにおいて、他車両撮像画像Ｏ_ＰＶのみを表示し、当該他車両を示すアイコンを表示しない撮像画像ＰＶを生成する（Ｓ１１０）。

一方、アイコン非表示エリアＮの外の距離ｄ_２＝１．１ｍに存在する他車両の他車両撮像画像Ｏ_ＰＶについては、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、アイコン非表示エリアＮの外の領域において、当該他車両を示すアイコンである他車両アイコンＯ_ＩＣを他車両撮像画像Ｏ_ＰＶに重畳させた撮像画像ＰＶを生成する（Ｓ１１１）。

さらに、アイコン非表示エリアＮの外であり、且つカメラ１２ａ〜１２ｄの撮像可能範囲Ｒの外に存在する距離ｄ_３＝４．５ｍに存在する他車両については、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、撮像可能範囲Ｒの外の領域において、当該他車両に対応する位置に他車両を示すアイコンである他車両アイコンＯ_ＩＣを表示する撮像画像ＰＶを生成する（Ｓ１０８）。

なお、上記の例では、自車両の外部の物体が他車両であるため、俯瞰表示画像生成部３４は、アイコン表示画像データ生成部２８が選択した他車両を示す他車両アイコンＯ_ＩＣを含む撮像画像ＰＶを生成する。しかし、物体の種別が自動二輪車、自転車及び歩行者等であることが物体種別判定部２６により判定されている場合は、アイコン表示画像データ生成部２８は、物体の種別に合ったアイコンを選択する。俯瞰表示画像生成部３４は、自動二輪車、自転車及び歩行者等の物体の種別に応じたアイコンを含む撮像画像ＰＶを生成する。

また、車速が上記の車速閾値ｖ_ｔｈ以下の範囲内でも低い、例えば１〜３ｋｍ／ｈの範囲であるときは、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、カメラ１２ａ〜１２ｄの撮像可能範囲Ｒ又はアイコン非表示エリアＮの中のみを表示する撮像画像ＰＶを生成することができる。

次に、図４に示すように、例えば、自車両が交差点での停止線から発進する場合を想定する。この場合、自車両の車速は上記の車速閾値ｖ_ｔｈ以下であるが、図３での速度よりも速い３〜７ｋｍ／ｈとなる。俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、図３に示した撮像画像ＰＶと比較して縮尺が小さい撮像画像ＰＶを生成する（Ｓ１０８）。

また、図４の例では、アイコン非表示エリアＮの外の距離ｄ_４＝１．３ｍに他車両が存在している。そのため、距離ｄ_４の他車両の他車両撮像画像Ｏ_ＰＶについては、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、アイコン非表示エリアＮの外の領域において、当該他車両を示すアイコンである他車両アイコンＯ_ＩＣを他車両撮像画像Ｏ_ＰＶに重畳させた俯瞰表示画像Ｖを生成する（Ｓ１１１）。

次に、図５に示すように、自車両が図４に示した状態からさらに加速した場合を想定する。この場合、自車両の車速は上記の車速閾値ｖ_ｔｈ以下であるが、図４での速度よりも速い７〜１０ｋｍ／ｈとなる。俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、図４に示した撮像画像ＰＶと比較して縮尺が小さい撮像画像ＰＶを生成する（Ｓ１０８）。

また、図５の例では、アイコン非表示エリアＮ及びカメラ１２ａ〜１２ｄの撮像可能範囲Ｒの外の距離ｄ_５＝２．１ｍに他車両が存在している。そのため、距離ｄ_５の他車両の他車両撮像画像Ｏ_ＰＶについては、俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、撮像可能範囲Ｒの外の領域において、当該他車両を示すアイコンである他車両アイコンＯ_ＩＣを含む俯瞰表示画像Ｖを生成する（Ｓ１１１）。

さらに、図６に示すように、例えば、自車両が自動車専用道路を走行している場合を想定する。この場合、自車両の車速は上記の車速閾値ｖ_ｔｈを超えている１１〜１００ｋｍ／ｈとなる。俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、アイコン表示画像ＩＶを生成する（Ｓ１１２）。俯瞰表示画像生成部３４は、俯瞰表示画像Ｖとして、アイコン表示画像ＩＶの領域において、アイコン表示画像ＩＶの中央に自車両を示す自車両アイコンＭ_ＩＣが表示され、他車両に対応した位置に他車両を示す他車両アイコンＯ_ＩＣが表示されたアイコン表示画像ＩＶを生成する。

なお、俯瞰表示画像生成部３４が、俯瞰表示画像Ｖとしてアイコン表示画像ＩＶを生成する場合でも、上述した俯瞰表示画像Ｖとして撮像画像ＰＶを生成する場合と同様に、俯瞰表示画像生成部３４は、自動二輪車、自転車及び歩行者等の物体の種別に応じたアイコンを含むアイコン表示画像ＩＶを生成する。

なお、自車両の車速が上記の車速閾値ｖ_ｔｈを超えているときは、撮像画像ＰＶが表示されないことに加えて、アイコン非表示エリアＮの中の近距離に物体が存在していても、当該物体に対して細かな運転操作は必要とされない。そのため、車速が車速閾値ｖ_ｔｈを超えているときは、俯瞰表示画像生成部３４は、アイコン非表示エリアＮの中に存在する物体であるか否かに関わらず、他車両を示す他車両アイコンＯ_ＩＣを含むアイコン表示画像ＩＶを生成する。

上述したように自車両の車速が車速閾値ｖ_ｔｈ以下の速度から車速閾値ｖ_ｔｈを超える速度に増加するときは、図３から図６に示すように俯瞰表示画像Ｖは連続的に変化する。一方、自車両の車速が車速閾値ｖ_ｔｈを超える速度から車速閾値ｖ_ｔｈ以下の速度に減少するときは、反対に図６から図３に示すように俯瞰表示画像Ｖは連続的に変化する。

なお、上述したようにディスプレイ３６が俯瞰表示画像Ｖを表示しているときに、運転支援実行部４２は、物体の種別に応じて、当該物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、ブレーキアクチュエータ４４に自車両の制動力を増大させる指令信号を出し、ステアリングアクチュエータ４６に自車両の舵角を変更させる指令信号を出す。

本実施形態では、車速が車速閾値ｖ_ｔｈ以下のときは、ディスプレイ３６は、物体に対応する位置にアイコンが表示された撮像画像ＰＶを俯瞰表示画像Ｖとして表示する。一方、車速が車速閾値ｖ_ｔｈを超えているときは、ディスプレイ３６は、物体に対応する位置にアイコンが表示されたアイコン表示画像ＩＶを俯瞰表示画像Ｖとして表示する。このため、車速の変動により、ディスプレイ３６に表示される俯瞰表示画像Ｖが撮像画像ＰＶとアイコン表示画像ＩＶとの間で切り替えられたとしても、物体を示すアイコンは表示され続ける。したがって、物体をより認識し易い。

自車両から近距離に物体が存在するときは、当該物体に対して細かな運転操作が必要なことがある。そこで、本実施形態によれば、自車両から比較的に近距離であるアイコン非表示エリアＮの中の物体については、当該物体を示すアイコンが表示されない。そのため、アイコンにより俯瞰表示画像Ｖに映った物体の視認が妨げられることを防止することができる。

また、本実施形態では、カメラ１２ａ〜１２ｄの撮像可能範囲Ｒの外の物体については、当該物体を示すアイコンが表示される。そのため、カメラ１２ａ〜１２ｄの撮像可能範囲Ｒの外の物体をアイコンにより認識することができる。

また、車速が大きくなるほど、狭い範囲を細かく認識する必要性は低くなり、より広い範囲を認識する必要性が高くなる。そこで、本実施形態では、車速が大きくなるほど、縮尺が小さい撮像画像ＰＶが表示される。そのため、車速が大きくなるのに対応して、情報を取得する領域を拡げることができる。

また、撮像画像ＰＶは、広角レンズ又は魚眼レンズを有するカメラ１２ａ〜１２により撮像された画像を視点変換することにより生成されている画像である。そのため、撮像画像ＰＶに映った物体が歪んでおり、物体を認識にし難い場合がある。しかし、本実施形態では、レーダ２２ａ〜２２ｄにより検出され、アイコン非表示エリアＮの外の物体については、当該物体を示すアイコンが表示されるため、当該物体をより認識し易くなる。

また、車両用周辺監視装置１０において、レーダ２２ａ〜２２ｄにより検出される対象ではない物体については、当該物体をついてのアイコンが表示されない。そのため、本実施形態では、自車両の運転者は、車両用周辺監視装置１０が認識する対象を把握することができる。さらに、レーダ２２ａ〜２２ｄにより検出されていない物体については、当該物体をついてのアイコンが表示されない。そのため、本実施形態では、自車両の運転者は、車両用周辺監視装置１０が認識していない物体を把握することができる。したがって、自車両の運転者の車両用周辺監視装置１０への過信を防止することができる。

尚、本発明の実施形態に係る車両用周辺監視装置は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、俯瞰表示画像Ｖとして、地表面に対して垂直な方向に自車両を見下ろす視点の俯瞰表示画像Ｖが表示される態様を中心に説明した。しかし、俯瞰表示画像Ｖとして、地表面に対して垂直以外の方向から自車両を見下ろす視点の俯瞰表示画像Ｖが立体的にディスプレイ３６に表示される態様も本発明の実施形態に含まれる。

１０…車両用周辺監視装置、１２ａ〜１２ｄ…カメラ、１４…画像入力部、１６…撮像画像データ生成部、２２ａ〜２２ｄ…レーダ、２４…速度センサ、２６…物体種別判定部、２８…アイコン表示画像データ生成部、３２…表示画像切替判断部、３４…俯瞰表示画像生成部、３６…ディスプレイ、４２…運転支援実行部、４４…ブレーキアクチュエータ、４６…ステアリングアクチュエータ、５０…ＥＣＵ、Ｖ…俯瞰表示画像、ＰＶ…撮像画像、ＩＶ…アイコン表示画像、Ｎ…アイコン非表示エリア、Ｒ…撮像可能範囲、Ｍ_ＰＶ…自車両撮像画像、Ｏ_ＰＶ…他車両撮像画像、Ｍ_ＩＣ…自車両アイコン、Ｏ_ＩＣ…他車両アイコン、ｄ_１〜ｄ_５…距離。

Claims

自車両の外部の撮像データを取得する撮像データ取得部と、
前記自車両の外部の物体を検出する物体検出部と、
前記自車両の車速を検出する車速検出部と、
前記撮像データから、前記自車両の周囲の上方からの視点の画像のデータである第１俯瞰表示画像データを生成する第１俯瞰表示画像データ生成部と、
前記物体検出部の検出結果から、前記物体に対応する位置に前記物体を示すアイコンが表示された前記自車両の周囲の上方からの視点の図面のデータである第２俯瞰表示画像データを生成する第２俯瞰表示画像データ生成部と、
前記第１俯瞰表示画像データ及び前記第２俯瞰表示画像データに基づいて、前記自車両の周囲の俯瞰表示画像を生成する俯瞰表示画像生成部と、
前記俯瞰表示画像を表示する表示部と、
を備え、
前記俯瞰表示画像生成部は、
前記車速が閾値以下のときは、前記俯瞰表示画像として、前記第１俯瞰表示画像データ及び前記第２俯瞰表示画像データを用いて、前記物体に対応する位置に前記物体を示す前記アイコンが表示された前記自車両の周囲の上方からの視点の前記画像を含む撮像画像を生成し、
前記車速が前記閾値を超えているときは、前記俯瞰表示画像として、前記第２俯瞰表示画像データを用いて、前記物体に対応する位置に前記物体を示す前記アイコンが表示された前記自車両の周囲の上方からの視点の前記図面であるアイコン表示画像を生成する、車両用周辺監視装置。
前記俯瞰表示画像生成部は、前記自車両の周囲に前記アイコンを表示しないアイコン非表示エリアを含む前記撮像画像を生成する、請求項１に記載の車両用周辺監視装置。
前記俯瞰表示画像生成部は、前記車速が前記閾値以下のときは、前記撮像データ取得部の撮像可能範囲の内の前記自車両の周囲の上方からの視点の前記画像と、前記撮像データ取得部の前記撮像可能範囲の外の前記自車両の周囲の上方からの視点の前記図面とを含み、前記撮像可能範囲の内及び外で前記物体に対応する位置に前記物体を示す前記アイコンが表示された前記撮像画像を生成する、請求項１又は２に記載の車両用周辺監視装置。
前記俯瞰表示画像生成部は、前記車速が大きくなるほど、縮尺が小さい前記撮像画像を生成する、請求項３に記載の車両用周辺監視装置。