JP5522067B2 - 周辺監視装置 - Google Patents

Description

本発明は、撮影した画像に対して画像処理を実行して表示する周辺監視装置に関する。

従来、自動車に搭載して用いられる周辺監視装置が知られている。この種の周辺監視装置では、自車に設置されたカメラで自車の周辺を撮影した撮影画像に対して、画像処理を実行して表示装置に表示することがなされている。そして、画像処理の一つとして、撮影画像を鳥瞰画像へと変換する視点変換処理がなされる（例えば、特許文献１参照）。

特開２００３−２５９３５９号公報

このような視点変換処理では、撮影画像に写り込んだ被写体は路面上に投影されている（即ち、被写体が路面上に描かれた模様であるもの）と仮定し、その投影された被写体を仮想視点から見た画像（即ち、鳥瞰画像）に変換することがなされる。

このため、道路上に存在する自動車などの立体物（即ち、物体）が被写体の一つである場合、視点変換処理によって生成された後に表示装置に表示される最終出力画像においては、その撮影画像に写り込んだ被写体が歪み、いびつなものとなるという問題があった。

そこで、本発明は、周辺監視装置の最終出力画像において、被写体が歪むことを抑制することを目的とする。

上記目的を達成するためになされた本発明は、自動車に搭載される周辺監視装置である。
この本発明の周辺監視装置では、自車の周辺を撮影領域とした撮影画像を撮像するように自車に設置された少なくとも一台のカメラから、画像取得手段が、その撮像された撮影画像を取得し、輪郭特定手段が、探査波を送受信する物体検出装置が探査波を送受信した結果に基づいて、該探査波を反射した物体を検出すると共に、該物体の輪郭を特定する。

そして、画像変換手段が、画像取得手段で取得した撮影画像を、自車の上方に設定した仮想視点から路面上を見た鳥瞰画像へと変換すると共に、輪郭特定手段にて物体の輪郭が特定されていれば、その特定した物体の輪郭によって囲まれた領域を少なくとも含むように輪郭を境界の一部とした鳥瞰画像の領域である対象領域を、該撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮した画像である最終出力画像を生成する。なお、ここで言う鳥瞰画像とは、自車の上方に設定した仮想視点から路面上を見た画像である。

さらに、画像表示手段が、画像変換手段で生成した最終出力画像を、自車に設置された表示装置に表示する。
つまり、自車の周辺に物体が検出された場合、本発明の周辺監視装置にて生成される最終出力画像は、鳥瞰画像における対象領域を、各撮影画像を撮影したときのカメラ中心へと向かう方向に圧縮したものとなる。
さらに、本発明における輪郭特定手段では、物体検出装置にて探査波を送受信した結果、探査波を反射した物体を検出すると、位置特定手段が、該物体の外郭における一つの地点を特定し、同一物体の外郭における地点を予め規定された規定数検出すると、輪郭決定手段が、同一物体の外郭における地点を接続してなる軌跡を、物体の輪郭として特定する。

したがって、本発明の周辺監視装置によれば、最終出力画像における物体（即ち、被写体）の歪みを抑制することができる。この結果、周辺監視装置の利用者に、自車の周囲の状況をより正確に把握させることができる。
本発明の周辺監視装置では、物体の外郭における地点を規定数以上接続してなる軌跡を、物体の輪郭として特定することができる。この結果、本発明の周辺監視装置によれば、物体の輪郭の特定に必要な処理の処理量が増加することを抑制しつつも、物体の輪郭の特定精度を高いものとすることができる。

本発明の周辺監視装置では、画像取得手段が時間軸に沿って連続する複数の撮影画像を取得する期間での自車の移動量を、移動量取得手段が取得しても良い。この場合、画像変換手段は、時間軸に沿った複数の撮影画像を、移動量取得手段にて取得した自車の移動量に応じて合成して、自車の周辺の状況を表す一枚の画像を鳥瞰画像にて生成すると共に、輪郭特定手段にて物体の輪郭が特定されると、該鳥瞰画像における対象領域を、個々の撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮することで、最終出力画像を生成しても良い（請求項２）。

つまり、本発明の画像変換手段は、時間軸に沿った複数の撮影画像から、一枚の鳥瞰画像、ひいては、最終出力画像を生成しても良い。
このように最終出力画像を生成することで、自車に設置されたカメラが一台であったとしても、自車周辺の範囲の中で、カメラが向けられた一つの撮影領域のみならず、複数の範囲を写した画像を最終出力画像として生成することができる。

このような周辺監視装置を実現するためには、本発明における画像変換手段を、請求項３に記載のようにしても良い。
すなわち、画像変換手段では、画像取得手段で撮影画像を取得する毎に、画像蓄積手段が、各撮影画像を鳥瞰画像へと変換して、個々の鳥瞰画像を蓄積し、画像合成手段が、画像蓄積手段に蓄積された個々の鳥瞰画像を、移動量取得手段にて取得した自車の移動量に応じて合成することで、一枚の鳥瞰画像を生成する。これと共に、輪郭特定手段にて物体の輪郭が特定されると、領域特定手段が、画像合成手段で生成した一枚の鳥瞰画像での対象領域を特定し、圧縮手段が、領域特定手段にて特定された対象領域を、個々の鳥瞰画像に対応する撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮する（請求項３）。

このような周辺監視装置によれば、自車に設置されたカメラが一台であったとしても、自車の周辺をより広範囲に渡って、当該周辺監視装置の利用者に認識させることができる。

これとは別に、本発明の画像変換手段は、視点変換手段が、画像取得手段で取得した撮影画像を、設定された画像変換定数に従って視点変換することで、最終出力画像を生成しても良い。この場合、画像変換手段では、輪郭特定手段にて物体の輪郭が特定されると、領域特定手段が、各撮影画像における対象領域を特定し、定数設定手段が、対象領域に対しては、鳥瞰画像、かつ、撮影画像を撮像したときのカメラ中心へと向かう方向に圧縮された画像となるように、画像変換定数を設定し、対象領域以外の領域に対しては、鳥瞰画像となるように、画像変換定数を設定しても良い（請求項４）。

このような本発明の周辺監視装置によれば、写り込んだ物体（即ち、被写体）の歪みが抑制された最終出力画像の生成を、撮影画像に写り込んだ対象物の内容に応じて、視点変換に用いる画像変換定数を変更することで実現できる。この結果、本発明の周辺監視装置によれば、物体（即ち、被写体）の歪みが抑制された最終出力画像の生成を、当該最終出力画像の生成に必要な処理の処理量が増加することを抑制しつつ実現できる。

なお、自車の周辺に物体が存在していない場合、本発明の周辺監視装置では、一つの撮影画像の全領域が対象領域以外の領域となり、最終出力画像は、撮影画像に対して視点変換が単独で実行された鳥瞰画像となる。このため、本発明の周辺監視装置によれば、自車の周辺に物体が存在していない場合であっても、当該周辺監視装置の利用者に、自車の周辺の状況を適切に認識させることができる。

さらに、本発明において、視点変換手段は、画像取得手段で撮影画像を取得する毎に、その取得した各撮影画像を視点変換しても良い（請求項５）。
このような本発明の周辺監視装置によれば、撮影画像それぞれを最終出力画像へと変換することができる。

さらに、本発明の周辺監視装置において、カメラは、互いに異なる撮影領域が設定された複数台設けられていても良い。この場合、視点変換手段は、複数のカメラから取得した個々の撮影画像を視点変換した複数の画像を、各撮影画像に対応する撮影領域に応じて合成することで、一つの最終出力画像を生成しても良い（請求項６）。

このような本発明の周辺監視装置によれば、複数のカメラそれぞれで撮影した撮影画像から、リアルタイムで最終出力画像を生成することができ、刻々と変化する自車の周辺の状況を、当該周辺監視装置の利用者に認識させることができる。

そして、本発明において、位置特定手段は、探査波の送信方向として規定された規定方向において、該探査波の送信から受信までの時間に基づいて検出した距離によって表される地点を、該物体の外郭における一つの地点として特定しても良い。

このような周辺監視装置によれば、物体の外郭における一つの地点を、簡易な手法で特定することができる。その上、このような特定方法であれば、探査波を送受信する送受信装置の数が単数で良いため、周辺監視装置を安価に構成することができる。

また、本発明の周辺監視装置は、物体検出装置を複数備えていても良い。この場合、本発明の位置特定手段は、個々の物体検出装置における探査波の送信から受信までの時間に基づいて検出した複数の距離から推定される一つの地点を、該物体の外郭における一つの地点として特定しても良い。

つまり、本発明の位置特定手段においては、三角測量の考えに従って、物体の外郭における一つの地点を特定しても良い。このような周辺監視装置によれば、物体の外郭における一つの地点を精度良く特定することができる。

なお、本発明の周辺監視装置において、カメラは、自車の後方を撮影領域とするように自車の後方に設置されていても良いし、自車の前方を撮影領域とするように自車の前方に設置されていても良い。

前者の場合、本発明の周辺監視装置を、いわゆるバックモニタ（リアビューモニタ）として構成することができる。この結果、周辺監視装置の利用者に、自車が後進する際の自車後方の状況を、適切に認識させることができる。

後者の場合、自車が前進する際の自車前方の状況を、周辺監視装置の利用者に、より適切に認識させることができる。
さらに、本発明の周辺監視装置において、カメラは、自車の側方を撮影領域とするように自車の側方に設置されていても良い。

特に、カメラが、自車の前方、または後方に加えて、自車の側方に設置されていれば、自車の周辺のより広い範囲の状況を、周辺監視装置の利用者に認識させることができる。

本発明が適用された周辺監視装置の概略構成を示すブロック図である。 第一実施形態の周辺監視装置におけるカメラ，障害部検出センサの設置場所を示す説明図である。 第一実施形態における画像表示処理の処理手順を示すフローチャートである。 物体の輪郭を特定する手法を説明する説明図である。 物体の輪郭を特定する手法を説明する説明図である。 第一実施形態において、一枚の鳥瞰画像を生成する手法を説明する説明図である。 第二実施形態の周辺監視装置におけるカメラ，障害部検出センサの設置場所を示す説明図である。 第二実施形態における画像表示処理の処理手順を示すフローチャートである。 対象領域として、勾配を有する道路を特定する対象領域特定処理の処理手順を示すフローチャートである。

以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈周辺監視装置について〉
図１は、本発明が適用された周辺監視装置の概略構成を示すブロック図である。

周辺監視装置１は、自動車に搭載される装置であり、自車の周辺を撮像した画像を画像処理した上で表示する装置（いわゆるバックモニタ（リアビューモニタ））である。
図１に示すように、周辺監視装置１は、自車の周辺を撮像した画像（以下、撮影画像とする）を生成するカメラ１０と、自車の周辺に存在する障害物を検出する障害部検出センサ１５と、自車の走行状態を検出するセンサ群２０と、センサ群２０での検出結果、及び障害部検出センサ１５での検出結果に従って、カメラ１０からの撮影画像を画像処理し、最終出力画像を生成する周辺監視電子制御装置（以下、周辺監視ＥＣＵと称す）３０と、周辺監視ＥＣＵ３０で生成された最終出力画像を表示する表示装置４０とを備えている。

このうち、カメラ１０は、画像を撮像する周知の装置であり、本実施形態においては、少なくとも一台が自車に設置されている。その少なくとも一台のカメラ１０が設置される位置は、図２に示すように、自車の後方を撮影領域とするように規定された自車の後方である。

また、障害部検出センサ１５は、探査波としての超音波を規定された範囲に放射し、その超音波の反射波を取得するまで（即ち、探査波の送受信）の時間を計測することで、超音波を反射した物体の有無を検出すると共に、該物体の外郭までの距離を計測する周知の車載ソナーである。本実施形態においては、８つの障害部検出センサ１５が自車に設置されている。

その障害部検出センサ１５が設置される場所は、図２に示すように、自車の前方（即ち、左前方，中央前方左，中央前方右，右前方）、及び自車の後方（左後方，中央後方左，中央後方右，右後方）である。なお、実施形態における障害部検出センサ１５は、それぞれ設置場所に応じて区別する必要がある場合には、左後方に設置されたものを障害部検出センサ１５Ａとし、中央後方左に設置されたものを障害部検出センサ１５Ｂとし、中央後方右に設置されたものを障害部検出センサ１５Ｃとし、右後方に設置されたものを障害部検出センサ１５Ｄとする。さらに、右前方に設置されたものを障害部検出センサ１５Ｅとし、中央前方右に設置されたものを障害部検出センサ１５Ｆとし、中央前方左に設置されたものを障害部検出センサ１５Ｇとし、左前方に設置されたものを障害部検出センサ１５Ｈとする。

ただし、障害部検出センサ１５は、少なくとも一つが自車に設置されていれば良く、例えば、左前方，右前方，左後方，右後方の４箇所に設置されていても良いし、左後方，右後方の２箇所に設置されていても良い。すなわち、同一物体の外郭における一つの地点を、単数の障害部検出センサ１５によって検出可能なように障害部検出センサ１５が設けられても良いし、同一物体の外郭における一つの地点を、複数の障害部検出センサ１５によって検出可能なように障害部検出センサ１５が設けられても良い。

さらに、センサ群２０は、自車の車速を検出する車速センサ２１と、自車の操舵角を検出する操舵角センサ２２と、自車のシフトポジションを検出するシフトスイッチ（以下、シフトＳＷとする）２３とを備えている。

また、表示装置４０は、周辺監視ＥＣＵ３０からの制御信号に従って画像を表示する周知の装置（例えば、液晶ディスプレイ）である。
さらに、周辺監視ＥＣＵ３０は、電源を切断しても記憶内容を保持する必要のあるデータやプログラムを記憶するＲＯＭ３１と、データを一時的に格納するＲＡＭ３２と、ＲＯＭ３１またはＲＡＭ３２に記憶されたプログラムに従って処理を実行するＣＰＵ３３とを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。

このような周辺監視ＥＣＵ３０では、プログラムに従って、センサ群２０にて検出した自車の走行状態、及び障害部検出センサ１５にて検出した自車の周辺に存在する物体の位置に基づいて、撮影画像を画像処理し、自車の上方に設定された仮想視点から路面上を見た画像（以下、鳥瞰画像とする）を最終出力画像として生成し、表示装置４０に表示する画像表示処理を実行する。
〈画像表示処理について〉
次に、周辺監視ＥＣＵ３０が実行する画像表示処理について説明する。

ここで、図３は、本実施形態における画像表示処理の処理手順を示したフローチャートである。
この画像表示処理は、イグニッションＳＷがオンされた後、規定条件を満たしている期間に、予め規定された間隔で順次実行される。なお、本実施形態における規定条件とは、例えば、センサ群２０からの検出信号に基づく自車の走行状態が後進であることである。

そして、画像表示処理は、起動されると、図３に示すように、センサ群２０からの検出信号に基づく、自車の走行状態を車両情報として取得する（Ｓ１１０）。ここで言う車両情報には、シフトＳＷ２３からのシフトポジションに基づく自車が前進しているか後進しているかといった情報や、車速センサ２１からの自車の車速、操舵角センサ２２からの自車の操舵角といった情報を含む。

続いて、カメラ１０で撮影した撮影画像を取得して（Ｓ１２０）、撮影画像を補正する（Ｓ１３０）。このＳ１３０で実行する撮影画像の補正は、例えば、エッジ強調や、濃度階調補正、シェーディング、レンズの歪みを除去するための補正といった周知の画像補正である。

さらに、Ｓ１１０で取得した車両情報から、自車が移動した方向、及び距離（すなわち、移動したベクトル）を表す移動量（以下、自車移動量とする）を導出する（Ｓ１４０）。この自車移動量を導出する方法としては、自車が前進しているか後進しているか、及び自車の操舵角に基づいて、自車の進行方向を特定し、自車の車速に基づいて、自車の進行方向に対して自車が移動した距離を求めることなどが考えられる。このＳ１４０で導出される自車移動量は、時間軸に沿って連続する撮影画像を取得する期間での自車の移動量となる。

続いて、画像表示処理を今回実行した際にＳ１２０にて取得した撮影画像を鳥瞰画像に変換すると共に、その変換した鳥瞰画像をＲＡＭ３２に記憶する（Ｓ１５０）。以下、Ｓ１５０にて記憶された鳥瞰画像それぞれを、履歴画像と称す。

続いて、時間軸に沿って生成された複数の履歴画像を、自車移動量に応じて合成し、自車の周辺の状況を表す一枚の画像（即ち、鳥瞰画像、以下、合成画像とする）を生成する（Ｓ１６０）。このＳ１６０における合成画像を生成する方法では、例えば、画像表示処理を今回実行した際に生成した鳥瞰画像の中で、自車の移動に伴って画像表示処理を先回実行した際に生成した鳥瞰画像から新たに撮影された領域を、自車移動量に従って特定する。そして、その特定した領域を、画像表示処理を先回実行した際までに生成された合成画像に合成することで新たな合成画像を生成する。

さらに、障害部検出センサ１５それぞれの検出結果を取得し（Ｓ１７０）、障害部検出センサ１５それぞれの検出結果に基づいて、自車の周辺に物体（即ち、例えば、他の車両や壁などの立体物（障害物））が存在するか否かを判定する（Ｓ１８０）。本実施形態のＳ１８０では、障害部検出センサ１５の検出結果、超音波を反射した物体が存在していれば、該物体を障害物として判断する。

そのＳ１８０での判定の結果、自車の周辺に障害物が存在していれば（Ｓ１８０：ＹＥＳ）、Ｓ１７０にて取得した各障害部検出センサ１５の検出結果に基づき、物体（即ち、障害物）の外郭における一つの地点を表す障害物情報をＲＡＭ３２に記憶する（Ｓ１９０）。実施形態のＳ１９０にて記憶する障害物情報は、障害物の外郭における一つの地点が、自車との相対座標によって表されたものである。

この相対座標は、同一物体の外郭における一つの地点を単数の障害部検出センサ１５にて検出可能な場合には、各障害部検出センサ１５から超音波が放射される方向として規定された規定方向（例えば、各障害部検出センサ１５の正面方向）において、障害部検出センサ１５にて検出した物体までの距離とする。一方、同一物体の外郭における一つの地点を複数の障害部検出センサ１５にて検出可能な場合には、相対座標は、周知の三角測量の考え方に基づいて、個々の障害部検出センサ１５にて検出した各距離から推定される一つの位置としても良い。

画像表示処理が繰り返し実行される過程において、Ｓ１９０が繰り返し実行されれば、障害物情報がＲＡＭ３２に蓄積されることになる。ただし、本実施形態のＳ１９０では、画像表示処理を先回実行したときまでに記憶された各障害物情報としての相対座標は、現時点での自車位置に対応するように、自車移動量に応じて再度求められる（即ち、相対座標が更新される）。

その後、Ｓ２００へと進む。
一方、Ｓ１８０での判定の結果、自車の周辺に障害物が存在していなければ（Ｓ１８０：ＮＯ）、Ｓ１９０を実行することなく、Ｓ２００へと進む。

そのＳ２００では、障害物の輪郭を特定可能であるか否かを判定する。本実施形態のＳ２００では、具体的に、一つの障害物について予め規定された規定数（例えば、規定数＝５）以上の障害物情報が、ＲＡＭ３２に記憶されていれば、当該障害物の輪郭を特定可能であるものとする。

そのＳ２００での判定の結果、障害物の輪郭を特定可能であれば（Ｓ２００：ＹＥＳ）、当該障害物の輪郭を特定する（Ｓ２１０）。このＳ２１０では、具体的に、障害物情報に基づいて、物体の外郭における各地点を接続してなる軌跡を、障害物の輪郭の少なくとも一部分として特定する。

続いて、合成画像において、障害物が占有する領域を含む対象領域を特定する（Ｓ２２０）。本実施形態のＳ２２０では、具体的には、Ｓ２１０で特定した障害物の輪郭に対応する合成画像での線を、対象領域と対象領域以外の領域との境界の一部として特定する。そして、合成画像において、自車に対応する領域から境界以遠を対象領域として特定する。なお、実施形態における対象領域は、一般的な自動車の大きさを表す領域よりも大きい領域として予め規定された領域サイズを有した領域（例えば、矩形の領域）である。

ここで、図４，図５は、本実施形態において、対象領域を特定するまでの手法を示す説明図である。
まず、図４（Ａ）に示すように、２つの障害物（図中、車両Ａ，Ｂ）に挟まれた領域（図中、駐車予定領域）に、自車を後進及び旋回させて駐車する状況を想定する。このような状況下において、自車が後進して障害物に接近すると、図４（Ｂ）に示すように、障害部検出センサ１５Ａからの超音波を反射した車両Ａの外郭における一つの地点が、障害部検出センサ１５Ａにて検出される。この障害部検出センサ１５Ａでの検出結果が、画像表示処理のＳ１７０にて取得され、Ｓ１９０にて障害物情報として求められて記憶される。

さらに、駐車予定領域に自車を収容するように自車が移動する過程で、障害部検出センサ１５Ａは、障害部検出センサ１５Ａからの超音波を反射した車両Ａの外郭における異なる地点を順次検出する。そして、画像表示処理では、その検出結果それぞれが、障害物情報として求められ蓄積される。そして、図５（Ａ）に示すように、駐車予定領域内に自車の一部が進入した時点で、車両Ａについての障害物情報が複数記憶される。これと共に、図５（Ａ）に示すような状況下では、障害部検出センサ１５Ｄからの超音波を反射した車両Ｂの外郭における一つの地点が、障害部検出センサ１５Ｄにて検出される。この障害部検出センサ１５Ｄでの検出結果が、画像表示処理のＳ１７０にて取得され、Ｓ１９０にて障害物情報として求められて記憶される。

そして、図５（Ｂ）に示すように、駐車予定領域内に収容された自車の部位が大きくなった時点で、障害物（車両Ａ）についての障害物情報が規定数以上となり、その障害物情報としての相対座標を接続してなる軌跡を、車両Ａの輪郭の一部として特定する。そして、その特定した輪郭の一部が、境界位置となるように、合成画像での対象領域を特定する。

ここで、画像表示処理（図３）の説明へと戻る。その画像表示処理では、続いて、合成画像における対象領域それぞれに対して画像処理を実行して、最終出力画像を生成する（Ｓ２３０）。

このＳ２３０にて実行される画像処理は、合成画像における対象領域について圧縮することがなされる。具体的には、図６に示すように、合成画像を形成する各撮影画像（図中履歴画像Ｐ１〜Ｐ６）の少なくとも一部の領域であって、合成画像上の対象領域に対応する領域を、各撮影画像を撮影した時点で位置していたカメラ１０の中心に向けて圧縮する。

なお、Ｓ２００での判定の結果、障害物の輪郭を特定不可能であれば（Ｓ２００：ＮＯ）、Ｓ１６０にて生成された合成画像を最終出力画像とする。
そして、最終出力画像を表示装置４０に出力表示する（Ｓ２４０）。これにより、表示装置４０には、最終出力画像が表示される。なお、表示装置４０に表示される最終出力画像は、自車を中心とした規定領域が写り込んだものとなるように、不要な領域がトリミングされたものであることが好ましい。また、合成画像における規定領域を抽出して最終出力画像としても良い。この場合、トリミングなどの処理は不要となる。

その後、本画像表示処理を終了し、次の起動タイミングまで待機する。
つまり、本実施形態の周辺監視装置１では、障害部検出センサ１５にて検出した同一障害物の外郭における地点の時間軸に沿った履歴から障害物の輪郭を推定し、その輪郭を境界とし、合成画像において、障害物が占有する領域よりも大きな領域である対象領域を特定する。そして、その特定した合成画像の対象領域について、該対象領域を構成する各撮影画像を撮影した時点に存在したカメラ１０の中心位置に向かう方向に沿って圧縮することで、最終出力画像を生成する。
［第一実施形態の効果］
以上説明したように、周辺監視装置１によれば、最終出力画像において、被写体として写り込んだ障害物の歪みを抑制することができる。

したがって、周辺監視装置１の利用者は、自車の周囲の状況、特に、自車が後進する際に、自車の後方の状況を、適切に認識することができる。
そして、周辺監視装置１では、自車の後方に設置された一台のカメラ１０が、時間軸に沿って撮像した複数の撮影画像から、自車周辺の状況を表す一枚の鳥瞰画像を最終出力画像として生成している。

周辺監視装置１によれば、このように最終出力画像を生成することで、自車に設置されたカメラ１０が一台であったとしても、自車周辺の広い範囲の状況が写り込んだ画像を最終出力画像として生成することができる。

また、周辺監視装置１では、同一物体の外郭における地点を規定数以上接続してなる軌跡を、物体の輪郭として特定している。このため、周辺監視装置１によれば、物体の輪郭の特定に必要な処理の処理量が増加することを抑制しつつも、物体の輪郭の特定精度を高いものとすることができる。

しかも、周辺監視装置１では、物体の外郭における一つの地点を、規定方向において、障害部検出センサ１５にて検出した物体までの距離とすれば、物体の外郭における一つの地点を、簡易な手法で特定することができる。物体の外郭における一つの地点を、このように特定すれば、障害部検出センサ１５の数が単数で良いため、周辺監視装置１の構成を簡易とすることができ、安価に構成することができる。

なお、周辺監視装置１では、物体の外郭における一つの地点を、周知の三角測量の考え方に基づいて、個々の障害部検出センサ１５にて検出した各距離から推定される一つの位置としても特定できる。この場合、物体の外郭における一つの地点を精度良く求めることができる。
［第一実施形態と特許請求の範囲との対応関係］
上記第一実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記第一実施形態の画像表示処理におけるＳ１２０が、本発明の画像取得手段に相当し、Ｓ１７０〜Ｓ２１０が、本発明の輪郭特定手段に相当し、Ｓ１５０，Ｓ１６０，Ｓ２２０，Ｓ２３０が、本発明の画像変換手段に相当し、Ｓ２４０が、本発明の画像表示手段に相当する。

さらに、画像表示処理におけるＳ１１０，Ｓ１４０が、本発明の移動量取得手段に相当する。また、画像表示処理におけるＳ１５０が、本発明の画像蓄積手段に相当し、Ｓ１６０が、本発明の画像合成手段に相当し、Ｓ２２０が、本発明の領域特定手段に相当し、Ｓ２３０が、本発明の圧縮手段に相当する。

なお、画像表示処理におけるＳ１８０，Ｓ１９０が、本発明の位置特定手段に相当し、Ｓ２００，Ｓ２１０が、本発明の輪郭決定手段に相当する。また、本実施形態における障害部検出センサ１５が、本発明の物体検出装置に相当する。
［第二実施形態］
次に、本発明の第二実施形態について説明する。

本実施形態の周辺監視装置５０（図１参照）は、第一実施形態の周辺監視装置１とは、カメラ１０の設置台数、及び周辺監視ＥＣＵ３０が実行する画像表示処理が異なるのみである。

このため、本実施形態では、第一実施形態の周辺監視装置１と同一の構成には、同様の符号を付して説明を省略し、第一実施形態の周辺監視装置１とは異なるカメラ１０の設置台数、及び周辺監視ＥＣＵ３０が実行する画像表示処理を中心に説明する。

まず、周辺監視装置５０は、カメラ１０と、障害部検出センサ１５と、センサ群２０と、周辺監視ＥＣＵ３０と、表示装置４０とを備えている。
このうち、カメラ１０は、図７に示すように、自車の後方を撮影領域とするように規定された自車後方と、自車の右側方を撮影領域とするように規定された自車右側方と、自車の左側方を撮影領域とするように規定された自車左側方との３箇所に設置されている。なお、実施形態におけるカメラ１０は、それぞれ設置場所に応じて区別する必要がある場合には、自車後方に設置されたものをカメラ１０Ａとし、自車右側方に設置されたものをカメラ１０Ｂとし、自車左側方に設置されたものをカメラ１０Ｃと称す。
〈画像表示処理について〉
次に、周辺監視装置５０の周辺監視ＥＣＵ３０が実行する画像表示処理について説明する。

図８は、本実施形態の画像表示処理の処理手順を示したフローチャートである。
図８に示すように、センサ群２０からの検出信号に基づく、自車の走行状態を車両情報として取得する（Ｓ３１０）。

続いて、各カメラ１０で撮影した個々の撮影画像を取得して（Ｓ３２０）、撮影画像それぞれを補正する（Ｓ３３０）。このＳ３３０で実行する撮影画像の補正は、第一実施形態の画像表示処理におけるＳ１３０と同様、周知の画像補正である。

さらに、Ｓ３１０で取得した車両情報から、自車移動量を導出し（Ｓ３４０）、障害部検出センサ１５それぞれの検出結果を取得する（Ｓ３５０）。そして、障害部検出センサ１５それぞれの検出結果に基づいて、自車の周辺に障害物（即ち、物体）が存在するか否かを判定する（Ｓ３６０）。

そのＳ３６０での判定の結果、自車の周辺に障害物が存在していれば（Ｓ３６０：ＹＥＳ）、Ｓ３５０にて取得した各障害部検出センサ１５の検出結果に基づき、物体（即ち、障害物）の外郭における一つの地点を表す障害物情報を求め、障害物情報それぞれをＲＡＭ３２に記憶する（Ｓ３７０）。その後、Ｓ３８０へと進む。

一方、Ｓ３６０での判定の結果、自車の周辺に障害物が存在していなければ（Ｓ３６００：ＮＯ）、Ｓ３７０を実行することなく、Ｓ３８０へと進む。
そのＳ３８０では、障害物の輪郭を特定可能であるか否かを判定する。本実施形態のＳ３８０では、具体的には、一つの障害物について予め規定された規定数（例えば、規定数＝５）以上の障害物情報がＲＡＭ３２に記憶されていれば、当該障害物の輪郭を特定可能であるものとする。

そのＳ３８０での判定の結果、障害物の輪郭を特定不可能であれば（Ｓ３８０：ＮＯ）、撮影画像それぞれを視点変換するための画像変換定数を、通常定数に設定する（Ｓ３９０）。このＳ３９０にて設定される通常定数とは、路面上に投影された被写体を、仮想視点から見た画像（即ち、鳥瞰画像）へと変換する視点変換定数である。なお、Ｓ３９０では、全ての撮影画像の全領域について通常定数が適用される。

一方、Ｓ３８０での判定の結果、障害物の輪郭を特定可能であれば（Ｓ３８０：ＹＥＳ）、当該障害物の輪郭を特定する（Ｓ４００）。このＳ４００では、具体的には、同一障害物に対する障害物情報に基づいて、同一物体の外郭における各地点を接続してなる軌跡を、障害物の輪郭の少なくとも一部分として特定する。

そして、個々の撮影画像において、障害物が占有する領域を含む対象領域を特定する（Ｓ４１０）。具体的には、個々の撮影画像において、Ｓ４００で特定した障害物の輪郭に対応する線を、対象領域と対象領域以外の領域（以下、非対象領域とする）との境界の一部として特定する。そして、個々の撮影画像において、自車に対応する領域から境界以遠を対象領域として特定する。ただし、本実施形態における対象領域は、一般的な自動車の大きさを表す領域よりも大きい領域として予め規定された領域サイズを有した領域（例えば、矩形の領域）である。

続いて、撮影画像それぞれを視点変換する画像変換定数を、圧縮定数に設定する（Ｓ４２０）。
このＳ４２０にて設定される圧縮定数は、撮影画像における領域の種類に応じて、異なる定数が設定される。具体的には、撮影画像における非対象領域に対しては、通常定数を圧縮定数として設定する。一方、撮影画像における対象領域に対しては、路面上に投影された被写体を、仮想視点から見た画像（即ち、鳥瞰画像）へと変換する視点変換定数であり、かつ、当該撮影画像を撮像した時点で存在するカメラの中心に向かう方向に圧縮するように設定された定数を、圧縮定数として設定する。

そして、Ｓ３９０またはＳ４１０にて、各撮影画像に対して設定された画像変換定数を用いて、それぞれの撮影画像を視点変換処理して鳥瞰画像へと変換する（Ｓ４３０）。さらにＳ４３０では、生成した個々の鳥瞰画像を、カメラ１０Ａ〜Ｃの撮影領域に応じて自車の周辺の状況を表す一枚の画像（鳥瞰画像）となるように合成することで、最終出力画像を生成する。したがって、最終出力画像においては、非対象領域には、視点変換処理によって鳥瞰画像へと変換することが単独で実行され、対象領域には、視点変換処理によって鳥瞰画像へと変換することに加えて、撮影画像を撮像した時点で存在するカメラの中心に向かう方向に圧縮する処理が実行されることとなる。

なお、視点変換処理、及び複数の鳥瞰画像を合成して一枚の鳥瞰画像を生成する処理は、周知の処理であるため、詳しい説明は省略する。
続いて、Ｓ４３０で生成した最終出力画像を表示装置４０に出力する（Ｓ４４０）。これにより、表示装置４０には、最終出力画像が表示される。なお、表示装置４０に表示される最終出力画像は、自車を中心とした規定領域が写り込んだものとなるように、不要な領域がトリミングされたものであることが好ましい。また、一枚の鳥瞰画像における規定領域を抽出して最終出力画像としても良い。この場合、トリミングなどの処理は不要となる。

その後、本画像表示処理を終了し、次の起動タイミングまで待機する。
つまり、本実施形態の周辺監視装置５０では、障害部検出センサ１５にて検出した同一な障害物の外郭における一つの地点の時間軸に沿った履歴から障害物の輪郭を推定し、その輪郭を境界とし、個々の撮影画像において、障害物が占有する領域よりも大きな領域である対象領域を特定する。そして、撮影画像それぞれを鳥瞰画像へと視点変換処理すると共に、撮影画像における対象領域については、各撮影画像を撮像した時点に存在したカメラの中心位置に向かう方向に沿って圧縮する。

さらに、このようにして生成した個々の鳥瞰画像を、カメラ１０Ａ〜Ｃの撮影領域に応じて合成することで、最終出力画像を生成して、表示装置４０に表示する。
［第二実施形態の効果］
以上、説明したように、本実施形態の周辺監視装置５０によれば、第一実施形態の周辺監視装置１と同様、最終出力画像において、被写体として写り込んだ障害物の歪みを抑制することができる。

さらに、周辺監視装置５０では、複数のカメラ１０それぞれで撮影した（３枚の）撮影画像から、一枚の最終出力画像を生成しており、その最終出力画像の生成は、撮影画像を取得するとリアルタイムで実行する。このため、周辺監視装置５０によれば、最終出力画像に、刻々と変化する自車の周辺の状況をリアルタイムに反映することができ、そのリアルタイムな自車の周辺の状況を、周辺監視装置５０の利用者に認識させることができる。
［実施形態と特許請求の範囲との対応関係］
上記第二実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記第二実施形態の画像表示処理におけるＳ３２０が、本発明の画像取得手段に相当し、Ｓ３５０〜Ｓ３８０，Ｓ４００が、本発明の輪郭特定手段に相当し、Ｓ３９０，Ｓ４１０〜Ｓ４３０が、本発明の画像変換手段に相当し、Ｓ４４０が、本発明の画像表示手段に相当する。

さらに、画像表示処理におけるＳ４３０が、本発明の視点変換手段に相当し、Ｓ４１が、本発明の領域特定手段に相当し、Ｓ３９０，Ｓ４２０が、本発明の定数設定手段に相当する。なお、画像表示処理におけるＳ３６０，Ｓ３７０が、本発明の位置特定手段に相当し、Ｓ３８０，Ｓ４００が、本発明の輪郭決定手段に相当する。

なお、本実施形態における障害部検出センサ１５が、本発明における物体検出装置に相当する。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記第二実施形態では、最終出力画像を生成する際に、対象領域に対しては、撮影画像を鳥瞰画像へと変換する視点変換と、撮影画像を撮像した時点で存在したカメラ１０の中心位置へと向かう方向への圧縮とを同時に実行していたが、最終出力画像を生成する手順は、これに限るものではない。すなわち、個々の撮影画像を視点変換して鳥瞰画像に変換した後、その鳥瞰画像において、対象領域を、撮影画像を撮像した時点で存在したカメラ１０の中心位置へと向かう方向に向けて圧縮することで、最終出力画像を生成しても良い。

また、上記実施形態（ここでは、第一，第二実施形態を指す、以下同様）では、対象領域を、一般的な自動車の大きさを表す領域よりも大きい領域としていたが、この対象領域は、これに限るものではなく、一般的な自動車の大きさそのものとして規定された領域であっても良いし、障害物として特定した物体が占有する領域そのものでも良い。

さらに、上記実施形態では、自車周辺に存在する物体が占有する領域を含む領域を対象領域として特定していたが、対象領域として特定する領域は、これに限るものではない。例えば、自車の周辺において傾斜を有する道路であっても良い。

この場合、周辺監視装置１（５０）は、水平面に対する自車の傾きを検出する傾斜センサを備えている必要がある。そして、周辺監視ＥＣＵ３０が実行し、撮影画像における対象領域を特定する対象領域特定処理は、図９に示すように、傾斜センサの検出結果を取得し（Ｓ５１０）、その取得した傾斜センサの検出結果に基づいて、自車が存在する路面が傾斜（即ち、路面勾配）を有しているか否かを判定する（Ｓ５２０）。このＳ５２０では、傾斜センサでの自車の傾きが、水平面に対して予め規定された規定値以上であれば、路面が傾斜を有しているものとすればよい。

そのＳ５２０での判定の結果、路面が傾斜を有していれば（Ｓ５２０：ＹＥＳ）、Ｓ５１０にて取得した傾斜センサの検出結果に基づき、自車の位置を、傾斜を有した路面の位置を表す路面勾配情報としてＲＡＭ３２に記憶し（Ｓ５３０）、Ｓ５４０へと進む。一方、Ｓ５２０での判定の結果、路面が傾斜を有していなければ（Ｓ５２０：ＮＯ）、Ｓ５３０を実行することなく、Ｓ５４０へと進む。

そのＳ５４０では、傾斜を有している路面と、傾斜を有していない路面との境界（以下、勾配境界とする）を特定可能であるか否かを判定する。具体的には、予め規定された規定数（例えば、規定数＝５）以上の路面勾配情報が、ＲＡＭ３２に記憶されていれば、勾配境界を特定可能であるものとする。

そのＳ５４０での判定の結果、勾配境界を特定可能であれば（Ｓ５４０：ＹＥＳ）、路面勾配情報に基づき、時間軸に沿って最初に記憶された路面の位置にて、自車の進行方向と直交する方向の直線を勾配境界として特定する（Ｓ５５０）。そして、個々の撮影画像において、Ｓ５５０で特定した勾配境界に対応する線を基準として、予め規定された大きさの領域を対象領域として特定する（Ｓ５６０）。

つまり、傾斜を有する道路を対象領域として特定する周辺監視装置では、上記第一実施形態の画像表示処理におけるＳ１７０からＳ２２０に替えて、上記第二実施形態の画像表示処理におけるＳ３５０からＳ４１０に替えて、このような対象領域特定処理を実行すればよい。

ただし、傾斜を有する道路を対象領域として特定する方法は、これに限るものではなく、他の方法によって特定しても良い。
さらに、上記実施形態の周辺監視装置１（５０）における障害部検出センサ１５は、車載ソナーによって構成されていたが、この障害部検出センサ１５は、これに限るものではなく、例えば、ミリ波帯域の電波を探査波とする周知のミリ波レーダでも良いし、レーザ光を探査波とする周知のレーザレーダであっても良い。

なお、上記実施形態の周辺監視装置１，５０におけるカメラ１０は、自車後方，自車右側方，自車左側方に設けられていたが、カメラ１０の設置場所は、これに限るものではない。例えば、自車後方と、自車右側方との２箇所に設けられていても良いし、自車後方と自車左側方との２箇所に設けられていても良い。つまり、カメラ１０は、少なくとも一つ設けられていれば良い。このため、カメラ１０の設置場所としては、自車の前方を撮影領域とするように規定された自車前方であっても良い。

１，５０・・・周辺監視装置 １０・・・カメラ １５・・・障害部検出センサ ２０・・・センサ群 ２１・・・車速センサ ２２・・・操舵角センサ ２３・・・シフトＳＷ ３０・・・周辺監視ＥＣＵ ３１…ＲＯＭ ３２…ＲＡＭ ３３…ＣＰＵ ４０・・・表示装置

Claims (11)

1. 自動車に搭載される周辺監視装置であって、
   自車の周辺を撮影領域とした撮影画像を撮像するように自車に設置された少なくとも一台のカメラから、その撮像された撮影画像を取得する画像取得手段と、
   探査波を送受信する物体検出装置が探査波を送受信した結果に基づいて、該探査波を反射した物体を検出すると共に、該物体の輪郭を特定する輪郭特定手段と、
   前記画像取得手段で取得した撮影画像を、自車の上方に設定した仮想視点から路面上を見た鳥瞰画像へと変換すると共に、前記輪郭特定手段にて物体の輪郭が特定されていれば、その特定した物体の輪郭によって囲まれた領域を少なくとも含むように前記輪郭を境界の一部とした前記鳥瞰画像の領域である対象領域を、該撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮した画像である最終出力画像を生成する画像変換手段と、
   前記画像変換手段で生成した最終出力画像を、自車に設置された表示装置に表示する画像表示手段と
   を備え、
   前記輪郭特定手段は、
   前記物体検出装置にて探査波を送受信する毎に、前記探査波を反射した物体を検出すると、該物体の外郭における一つの地点を特定する位置特定手段と、
   前記位置特定手段にて、同一物体の外郭における地点を予め規定された規定数検出すると、該物体の外郭における地点を接続してなる軌跡を、前記物体の輪郭として特定する輪郭決定手段と
   を備えることを特徴とする周辺監視装置。
2. 前記画像取得手段が時間軸に沿って連続する複数の撮影画像を取得する期間での自車の移動量を取得する移動量取得手段を備え、
   前記画像変換手段は、
   時間軸に沿った複数の撮影画像を、前記移動量取得手段にて取得した自車の移動量に応じて合成して、自車の周辺の状況を表す一枚の画像を前記鳥瞰画像にて生成すると共に、前記輪郭特定手段にて物体の輪郭が特定されると、該鳥瞰画像における前記対象領域を、個々の撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮することで、前記最終出力画像を生成することを特徴とする請求項１に記載の周辺監視装置。
3. 前記画像変換手段は、
   前記画像取得手段で撮影画像を取得する毎に、各撮影画像を前記鳥瞰画像へと変換し、個々の鳥瞰画像を蓄積する画像蓄積手段と、
   前記画像蓄積手段に蓄積された個々の鳥瞰画像を、移動量取得手段にて取得した自車の移動量に応じて合成することで、一枚の鳥瞰画像を生成する画像合成手段と、
   前記輪郭特定手段にて物体の輪郭が特定されると、前記画像合成手段で生成した一枚の鳥瞰画像での前記対象領域を特定する領域特定手段と、
   前記領域特定手段にて特定された前記対象領域を、個々の鳥瞰画像に対応する撮影画像を撮像したときのカメラの中心へと向かう方向に圧縮する圧縮手段と
   を備えることを特徴とする請求項２に記載の周辺監視装置。
4. 前記画像変換手段は、
   前記画像取得手段で取得した撮影画像を、設定された画像変換定数に従って視点変換することで、前記最終出力画像を生成する視点変換手段と、
   前記輪郭特定手段にて物体の輪郭が特定されると、各撮影画像における前記対象領域を特定する領域特定手段と、
   前記対象領域に対しては、前記鳥瞰画像、かつ、撮影画像を撮像したときのカメラ中心へと向かう方向に圧縮された画像となるように、前記画像変換定数を設定し、前記対象領域以外の領域に対しては、前記鳥瞰画像となるように、前記画像変換定数を設定する定数設定手段と
   を備えることを特徴とする請求項１に記載の周辺監視装置。
5. 前記視点変換手段は、
   前記画像取得手段で撮影画像を取得する毎に、その取得した各撮影画像を視点変換することを特徴とする請求項４に記載の周辺監視装置。
6. 前記カメラは、互いに異なる撮影領域が設定された複数台設けられ、
   前記視点変換手段は、
   複数のカメラから取得した個々の撮影画像を視点変換した複数の画像を、各撮影画像に対応する撮影領域に応じて合成することで、一つの前記最終出力画像を生成することを特徴とする請求項４または請求項５に記載の周辺監視装置。
7. 前記位置特定手段は、
   探査波の送信方向として規定された規定方向において、該探査波の送信から受信までの時間に基づいて検出した距離によって表される地点を、該物体の外郭における一つの地点として特定することを特徴とする請求項１から請求項６までのいずれか一項に記載の周辺監視装置。
8. 前記物体検出装置を複数備え、
   前記位置特定手段は、
   個々の物体検出装置における探査波の送信から受信までの時間に基づいて検出した複数の距離から推定される一つの地点を、該物体の外郭における一つの地点として特定することを特徴とする請求項１から請求項６までのいずれか一項に記載の周辺監視装置。
9. 前記カメラは、
   自車の後方を撮影領域とするように自車の後方に設置されていることを特徴とする請求項１から請求項８までのいずれか一項に記載の周辺監視装置。
10. 前記カメラは、
    自車の前方を撮影領域とするように自車の前方に設置されていることを特徴とする請求項１から請求項９までのいずれか一項に記載の周辺監視装置。
11. 前記カメラは、
    自車の側方を撮影領域とするように自車の側方に設置されていることを特徴とする請求項１から請求項１０までのいずれか一項に記載の周辺監視装置。