JP6718295B2 - 周辺監視装置及び周辺監視方法 - Google Patents

Description

本発明は、周辺監視装置及び周辺監視方法に関し、詳しくは、車両の周囲を撮影領域とするカメラと、画像を表示する表示装置とが搭載された車両に適用される周辺監視装置及び周辺監視方法に関する。

従来、車両周囲の状況を車載カメラで撮影するとともに、その車載カメラで撮影した撮影画像を鳥瞰画像に変換して、車載の表示装置に表示させることが行われている（例えば、特許文献１参照）。特許文献１には、撮影画像を鳥瞰画像に変換するとともに、障害物検出センサによって物体の輪郭が特定されていれば、その特定した物体の輪郭によって囲まれた領域を少なくとも含むように物体の輪郭を境界の一部とした鳥瞰画像の領域である対象領域を、撮影画像を撮影したときのカメラの中心へと向かう方向に圧縮して最終出力画像として出力することが開示されている。これにより、撮影画像を鳥瞰画像に変換することによって歪んだ画像を修正し、自車の周囲の状況をより正確に把握させるようにしている。

特開２０１２−１５６６３２号公報

路面上に存在する車両等の立体物が被写体の一つである場合、バンパ部のように路面から浮いた部分については、車両の上方から路面上を見た鳥瞰画像に変換することにより、実際の位置よりも遠い位置にあるものとして画像が表示されてしまう。この場合、表示画像を見た運転者が、車両周囲に存在する物体との距離感に誤認を生じてしまうことが懸念される。

本発明は上記課題に鑑みなされたものであり、車両の周囲に存在する物体との距離感を運転者が正しく認識することができる周辺監視装置及び周辺監視方法を提供することを一つの目的とする。

本発明は、上記課題を解決するために、以下の手段を採用した。

本発明は、車両の周囲を撮影領域とするカメラ（１０）と、画像を表示する表示装置（１１）とが搭載された車両（５０）に適用され、前記カメラにより撮影した撮影画像を、前記車両の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して前記表示装置に表示させる周辺監視装置に関する。第１の構成は、前記路面上の物体と前記路面との接地部（５４）の周辺領域の画像を前記撮影画像又は前記鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることにより、前記表示装置に表示される画像上における前記物体の位置を、前記物体の実際の位置に整合させる補正を行う画像補正部を備えることを特徴とする。

上記構成では、路面上の物体と路面との接地部の周辺領域の画像を撮影画像又は鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることによって、表示画像上での物体の位置を実際の位置に整合させる補正を行う。路面上に存在する車両等の立体物を撮影した場合に、平面仮定で鳥瞰画像に変換すると、鳥瞰画像上において物体が実際よりも遠い位置に表示され、運転者が物体との距離を誤認識するおそれがある。この点に鑑み、上記構成とすることで、表示装置に物体を正しい位置で表示させることができる。これにより、車両の周囲に存在する物体との距離感を運転者が正しく認識することができる。

車載カメラの搭載位置を示す図。 第１実施形態の車両周辺監視システムの概略構成を示すブロック図。 視点変換に伴う表示ずれを説明するための図。 画像補正処理の具体的態様を説明する図。 画像補正処理の処理手順を示すフローチャート。 第２実施形態の車両周辺監視システムの概略構成を示すブロック図。 画像補正処理の具体的態様を説明する図。 画像補正処理の処理手順を示すフローチャート。 物体の反射面情報を求める手法を説明する図。

（第１実施形態）
以下、第１実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

まず、図１及び図２を参照して、本実施形態の車両周辺監視システムについて説明する。本実施形態の車両周辺監視システムは、図１に示すように、車両周辺を撮影領域Ａ１とする車載カメラ１０と、画像を表示する表示装置１１とが搭載された車両（以下、「自車両５０」という。）に適用される。当該システムでは、ＥＣＵ２０により、車載カメラ１０により撮影した撮影画像を、自車両５０の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して表示装置１１に表示させる制御が実施される。

車載カメラ１０は、例えばＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等の単眼カメラで構成されている。車載カメラ１０は、自車両５０の前部において車幅方向中央の所定高さ（例えば、前部バンパよりも上の位置）に取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を俯瞰視点から撮影する。表示装置１１は、運転者が視認可能な位置（例えばインストルメントパネル）に設けられている。

図２は、本実施形態の車両周辺監視システムの概略構成を示すブロック図である。当該システムには、図２に示すように、自車両５０の周囲に存在する物体までの距離を検出する測距センサとして、探査波を送信するとともに探査波の反射波を受信する超音波センサ１２が設けられている。

超音波センサ１２は、例えばソナーであり、所定の制御周期ごとに探査波を送波し、自車両５０の周囲に存在する物体で反射された反射波を受波する。この送波から受波までの時間である反射波時間に基づき、自車両５０の周囲に存在する物体と自車両５０との距離が算出される。本実施形態では、自車両５０の前部及び後部のバンパ部に、それぞれ複数個の超音波センサ１２が車幅方向に並べて所定間隔で取り付けられている。

ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することで、自車両５０の周辺の状況を表示装置１１に表示して運転者に把握させるための各機能を実現する。本実施形態のＥＣＵ２０は、画像取得部２１と、視点変換部２２と、距離演算部２３と、画像補正部２４と、画像出力部２５とを備えている。

画像取得部２１は、車載カメラ１０に接続されており、車載カメラ１０で撮影された撮影画像を一定周期で取得する。また、取得した撮影画像を視点変換部２２に出力する。視点変換部２２は、画像取得部２１で取得した撮影画像を、周知の座標変換式を用いることにより、自車両５０の上方に設定した仮想視点を視点位置として路面上を見た鳥瞰画像に変換する。本実施形態では、地上面を鉛直方向に見下ろした鳥瞰画像に変換する。視点変換部２２は、生成した鳥瞰画像を画像補正部２４に出力する。

距離演算部２３は、超音波センサ１２に接続されており、超音波センサ１２で検知された物体に関する位置情報として反射波時間を入力する。また、その入力した反射波時間に基づいて、探査波を反射した物体との実距離ｄを算出する。画像補正部２４は、視点変換部２２から鳥瞰画像を入力し、必要に応じた補正を行って画像出力部２５に出力する。画像出力部２５は、画像補正部２４から入力した鳥瞰画像を表示装置１１に出力し、表示装置１１に鳥瞰画像を表示させる。

ここで、路面上に存在する車両等の立体物が被写体の一つである場合、バンパ部のように路面から浮いた部分は、その撮影画像を鳥瞰画像に変換すると、バンパ部よりも遠い位置にあるはずの車両下の路面が自車両５０により近い位置にあるものとして、路面画像の上にバンパ画像が繋ぎ合わされる。そのため、表示装置１１には、実際よりも遠い位置にバンパ画像が表示されてしまい、表示画像を見た運転者が、車両周辺に存在する物体との距離感に誤認を生じるといったことが懸念される。

図３は、視点変換に伴う表示ずれを説明するための図であり、（ａ）は、自車両５０の前方に停車している他車両５１を車載カメラ１０で撮影した撮影画像であり、（ｂ）は、自車両５０と他車両５１との位置関係を側方及び上方から見た図である。（ｂ）の下段の図が鳥瞰画像に相当する。図３（ａ）の撮影画像中の白線５２は、他車両５１を地上面に向かって鉛直方向に見下ろしたときの他車両５１の後部バンパ後端部の位置を路面５３上にテープ等で示したものである。矢印Ａは画像の上下方向を表し、矢印Ｂは画像の左右方向を表す（以下同じ）。

撮影画像から鳥瞰画像への変換は、撮影画像中の下のピクセルから上に向かって順に、自車両５０からより遠くの位置の画像として変換される。ここで、図３（ａ）に示されるように、他車両５１の後部バンパの後端部上の点Ｐと、白線５２とは、自車両５０からの距離が実際には同じであるにも関わらず、撮影画像上では、点Ｐは白線５２よりも上の位置に表される。また、点Ｐは、撮影画像上では車両下の路面上の点Ｑ（例えば、他車両５１と路面５３との接地部）よりも上の位置に表される。そのため、図３（ａ）の撮影画像が鳥瞰画像に変換されると、他車両５１の後部バンパの後端部は、白線５２からバンパ下端部までのピクセル数に対応する分、自車両５０から遠い位置に表示される。すなわち、図３（ｂ）に示すように、他車両５１は、実距離ｄよりも表示ずれ量ｘだけ自車両５０から遠い位置にある障害物として表示装置１１に表示される。表示ずれ量ｘは、車載カメラ１０の搭載高さＣｈ、バンパ下端高さＢｈ、及び他車両５１との実距離ｄを用いて、下記式（１）により算出することができる。
ｘ＝（Ｂｈ／（Ｃｈ−Ｂｈ））×ｄ …（１）

こうした点に鑑み、画像補正部２４は、鳥瞰画像の一部、より具体的には、物体（図３では他車両５１）と路面５３との接地部５４の周辺領域の画像を切り出し、その切り出した後の残りの画像を繋ぎ合わせることにより、表示画像上における物体までの距離を実距離ｄに整合させる補正を実施することとしている。

図４は、本実施形態における、視点変換に伴う表示ずれを解消するための画像補正処理の具体的態様を説明する図である。図４中、（ａ）は、自車両５０の前方に停車している他車両５１を撮影した撮影画像であり、（ｂ）は、視点変換部２２で生成した鳥瞰画像である。画像補正部２４は、まず、視点変換部２２から鳥瞰画像を取得する。そして、その取得した鳥瞰画像上の他車両５１の接地部５４の周辺領域の画像を切り出す処理を実行する。

具体的には、画像補正部２４は、超音波センサ１２によって取得した物体の距離情報を用い、その距離情報を鳥瞰画像上の座標に変換することによってセンサ検知点を特定することにより、画像上における物体の実際の位置を推定する。また、センサ検知点の上部の所定領域の画像を切り出し領域に設定する（図４（ｃ）参照）。ここでは、センサ検知点列を基準に、センサ検知点列から画像の上方向に所定幅Ｈ１を有し、かつ画像の左右方向に典型的車幅に対応する所定幅Ｈ２を有する画像領域を切り出し領域に設定する。所定幅Ｈ１について本実施形態では、上記式（１）を用いて算出される表示ずれ量ｘに応じて設定する。なお、所定幅Ｈ１を、予め定めた一定値としてもよい。所定幅Ｈ１、Ｈ２について、他車両５１の車種に応じて設定してもよい。

切り出し領域を設定すると、その切り出し領域の画像を鳥瞰画像から切り出す。画像を切り出した後は、切り出し領域よりも上の画像を下にずらして画像を繋ぎ合わせ、その繋ぎ合わせた後の画像を表示装置１１に表示させる。なお、距離演算部２３及び画像補正部２４が位置推定部として機能する。

次に、画像補正処理の処理手順を図５のフローチャートを用いて説明する。この処理は、ＥＣＵ２０によって所定周期毎に実行される。

図５において、ステップＳ１１では、車載カメラ１０から撮像画像を取得し、ステップＳ１２で、撮像画像を視点変換して鳥瞰画像を生成する。続くステップＳ１３では、超音波センサ１２によって取得した物体の位置情報をメモリから読み込む。また、ステップＳ１４では、読み込んだ物体の位置情報から、鳥瞰画像上における物体の実際の位置を推定するとともに、その推定した位置の上の画像領域に切り出し領域を設定する。続くステップＳ１５では、その設定した切り出し領域の画像を鳥瞰画像から切り出し、ステップＳ１６では、切り出した領域よりも上の画像を下にずらして画像を繋ぎ合わせる。ステップＳ１７では、補正後の鳥瞰画像を表示装置１１に出力して処理を終了する。

以上詳述した本実施形態によれば、次の優れた効果が得られる。

路面上の物体と路面５３との接地部５４の周辺領域の画像を鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることによって、表示画像上での物体の位置を実際の位置に整合させる補正を行う構成とした。車両のように一部が浮いた構造の立体物を平面仮定で鳥瞰画像に変換すると、鳥瞰画像上において物体が実際よりも遠い位置に表示される。この点に鑑み、上記構成とすることで、表示装置１１に物体を正しい位置で表示させることができる。その結果、車両の周囲に存在する物体との距離感を運転者が正しく認識することができる。

車載カメラ１０で認識した物体の画像上での実際の位置を推定し、その推定した位置に基づいて、接地部５４の周辺領域に画像の切り出し領域を設定するとともに、該設定した切り出し領域の画像を鳥瞰画像から切り出す構成とした。こうした構成によれば、鳥瞰画像としたときの表示ずれ量ｘを正確に把握して画像を切り出すことができ、表示位置補正を精度良く行うことができる。

特に本実施形態では、測距センサの検知結果に基づいて、画像上における物体の実際の位置を推定し、その推定した位置に基づいて画像の切り出し領域を設定する構成とした。測距センサによれば、物体との実際の距離を精度良く検知することができ、表示ずれ量ｘを正確に把握することができる。

切り出し領域が大きすぎると、表示装置１１に表示したときに画像が不自然なものになったり、処理に時間がかかったりすることが考えられる。この点に鑑み、物体幅に応じて画像の切り出し領域を設定する構成とした。こうした構成とすることにより、物体の位置の表示ずれを解消しつつ、より自然な画像を運転者に提供することができる。

（第２実施形態）
次に、第２実施形態について、上記第１実施形態との相違点を中心に説明する。上記第１実施形態では、画像補正部２４は、接地部５４の周辺領域の画像を鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせる補正を実施した。これに対し、本実施形態では、接地部５４の周辺領域の画像を撮影画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせる補正を実施する。

図６は、本実施形態の車両周辺監視システムの概略構成を示すブロック図である。図６において、画像補正部２４は、車載カメラ１０の撮影画像を画像取得部２１から入力し、その入力した撮影画像につき、表示画像上の表示ずれを抑制するための補正処理を行う。視点変換部２２は、画像補正部２４から入力した補正後の撮影画像を、周知の座標変換式を用いて鳥瞰画像に変換し、生成した鳥瞰画像を画像出力部２５に出力する。画像出力部２５は、視点変換部２２から入力した鳥瞰画像を表示装置１１に出力し、表示装置１１に鳥瞰画像を表示させる。

次に、本実施形態の画像補正処理の具体的態様について図７を用いて説明する。図７の（ａ）は、自車両５０の前方に停車している他車両５１を車載カメラ１０で撮影した撮影画像である。画像補正部２４はまず、画像取得部２１から取得した撮影画像上の他車両５１の接地部５４の周辺領域の画像を切り出す処理を実行する。

具体的には、画像補正部２４は、超音波センサ１２によって取得した物体までの距離情報を鳥瞰画像上の座標に変換することによってセンサ検知点を特定するとともに、センサ検知点の下部の所定領域の画像を切り出し領域に設定する（図７（ｂ）参照）。ここでは、センサ検知点列を基準に、センサ検知点列から画像の下方向に所定幅Ｈ４を有し、かつ画像の左右方向に典型的車幅に対応する所定幅Ｈ３を有する画像領域を切り出し領域に設定する。そして、その切り出し領域の画像を撮影画像から切り出す。所定幅Ｈ４は、バンパ下端高さＢｈの典型的高さに基づき予め定めた一定値である。ただし、撮影画像からバンパ下端高さＢｈを推定した推定値を用いてもよい。画像を切り出した後は、切り出し領域よりも上の画像を下にずらして画像を繋ぎ合わせ（図７（ｃ）参照）、その繋ぎ合わせた後の画像を視点変換して鳥瞰画像を生成する（図７（ｄ）参照）。こうして生成された鳥瞰画像を表示装置１１に表示させる。なお、距離演算部２３及び画像補正部２４が位置推定部として機能する。

次に、画像補正処理の処理手順を図８のフローチャートを用いて説明する。この処理は、ＥＣＵ２０によって所定周期毎に実行される。

図８において、ステップＳ２１では、車載カメラ１０から撮像画像を取得し、ステップＳ２２では、超音波センサ１２によって取得した物体の位置情報（本実施形態では、物体の距離情報）をメモリから読み込む。ステップＳ２３では、読み込んだ物体の位置情報から、鳥瞰画像上における物体の実際の位置を推定するとともに、その推定した位置の下の画像領域に切り出し領域を設定する。続くステップＳ２４では、その設定した切り出し領域の画像を鳥瞰画像から切り出し、ステップＳ２５で、切り出した領域よりも上の画像を下にずらして画像を繋ぎ合わせる。その後、ステップＳ２６では、補正後の撮像画像を視点変換して鳥瞰画像を生成し、続くステップＳ２７で、補正後の鳥瞰画像を表示装置１１に出力して処理を終了する。

（他の実施形態）
本発明は上記の実施形態に限定されず、例えば以下のように実施されてもよい。

・上記実施形態では、超音波センサ１２によって検知された物体の位置情報を用いて、画像上における物体の実際の位置を推定し、画像の切り出し領域を設定する構成としたが、車載カメラ１０で認識した画像から物体の実際の位置を推定してもよい。例えば、物体の全体又は物体の一部の画像上での大きさに基づいて、画像上での物体の実際の位置を推定する。具体的には、車両のようにある程度決まった大きさの画像や、ナンバープレートのように規定の大きさの画像と、物体までの距離との対応関係を予め定めておき、今回の撮影画像上での物体の大きさから自車両５０との距離を推定する。

車載カメラ１０が単眼カメラの場合には、自車両５０の移動に伴う座標の履歴を用いて自車両５０に対する物体の座標を算出することにより、画像上での物体の実際の位置を推定してもよい。また、車載カメラ１０としてステレオカメラを備える場合には、ステレオカメラで撮影した複数の画像に基づいて、画像上における物体の実際の位置を推定してもよい。

・測距センサとして超音波センサ１２を用いる構成において、直接波により取得した距離情報と、間接波により取得した距離情報とを用い、三角測量の原理を利用して、自車両５０に対する物体の相対的な位置（座標）を算出するとともに、その座標を用いて画像の切り出し領域を設定してもよい。あるいは、自車両５０の移動に伴う反射点の履歴を用い、三角測量の原理を利用して自車両５０に対する物体の座標を算出し、その座標を用いて画像の切り出し領域を設定してもよい。

・測距センサの検知結果に基づいて物体の反射面情報を取得し、その取得した反射面情報を用いて、画像の切り出し領域を設定する構成としてもよい。こうした構成によれば、物体が自車両５０に対して正対していない場合にも、物体の向きに応じた適切な表示位置補正を行うことができる。具体的には、自車両５０の前方において、自車両５０の進行方向に対して斜め方向に傾いて停車している他車両５１がある場合、反射面情報を用いて、他車両５１における自車両５０から最も近い位置を推定し、その推定した位置を基準として画像の切り出し領域を設定する。例えば、他車両５１の後部の左端部が自車両５０から最も近い位置にある場合には、その左端部から後部バンパに対して平行になるように画像の切り出し領域を設定する。

なお、測距センサの検知結果を用いて物体の反射面情報を取得するには、直接波の反射点（以下、直接反射点という。）と、間接波の反射点（以下、間接反射点という。）とが同一平面上に存在することを前提として、物体表面の複数の反射点から面成分を検知する面モデルによって行う。より詳細には、図９において、物体６０の表面には直接反射点Ｓと間接反射点Ｔとが存在しており、反射波を直接波として受信する第１センサ６１ａと直接反射点Ｓとを通る直線と、反射波を間接波として受信する第２センサ６１ｂと間接反射点Ｔとを通る直線との交点がＸである。この交点Ｘは、直接波による計測距離Ｌ１と、間接波による計測距離Ｌ２とにより求めることができる。すなわち、直接反射点Ｓは、第１センサ６１ａと交点Ｘとの中点である。また、間接反射点Ｔは、直接反射点Ｓを通り、かつその直接反射点Ｓと第１センサ６１ａとを結ぶ直線に所定角度で交差する向きに延びる交差直線上に存在する。この場合、物体表面の平面成分の向きを示す交差直線を物体６０の反射面情報として取得することで物体６０の向きを把握できる。また、交差直線上の線分ＳＴにより、反射面の向き及び反射面の幅を把握できるため、その反射面の幅に応じて画像の切り出し領域の左右方向の幅を設定することもできる。

・撮影画像又は鳥瞰画像から抽出したエッジに基づいて、接地部５４の周辺領域に画像の切り出し領域を設定する構成としてもよい。具体的には、例えば、撮影画像から抽出したエッジを用いて、撮影画像上における他車両５１のバンパ下端部５５と、タイヤとの接地部５４とを検出する。そして、バンパ下端部５５から接地部５４までの画像領域を切り出し領域に設定し、その設定した切り出し領域の画像を撮影画像から切り出す。

また、別の態様としては、撮影画像から抽出したエッジを用いて、撮影画像上における他車両５１のバンパ下端部５５を検出し、バンパ下端部５５から画像の下方向に所定幅Ｈ５だけずれた位置を、画像上における物体の実際の位置と推定する構成としてもよい。この場合、例えば、バンパ下端部５５の位置を基準に、画像の下方向に所定幅Ｈ５を有し、かつ画像の左右方向に典型的車幅に対応する所定幅を有する画像領域を切り出し領域に設定する。

・車載カメラ１０で撮影した障害物が車両の場合、バンパ下端高さＢｈの典型的高さによって、視点変換に伴う画像の表示ずれの大きさをある程度特定することが可能である。この点に鑑み、他車両５１の接地部５４の周辺領域に、画像の上下方向に予め定めた所定の幅を有する切り出し領域を設定し、その設定した切り出し領域の画像を撮影画像又は鳥瞰画像から切り出す構成としてもよい。この構成によれば、測距センサなどの位置推定手段を用いなくても、車載カメラ１０で撮影した画像のみを用いて表示位置補正を行うことができる。このとき、切り出し領域における画像上下方向の幅は、車種（例えば、普通車と大型車）に応じて可変に設定することが好ましい。具体的には、バンパ下端高さＢｈが大きい車ほど、切り出し領域における画像上下方向の幅を大きくする構成にするとよい。

・切り出し後の残りの画像を繋ぎ合わせる際、明度の違いや路面の材質の違い等によっては、補正後の画像を表示装置１１の画面上に表示すると、画像同士を繋ぎ合わせた部分に違和感が生じる場合がある。例えば、他車両５１の路面５３との接地部の周辺にマンホール等の路面存在物があり、その路面存在物の一部が切り出し領域内に含まれている場合、切り出し後の残りの画像上に路面存在物の一部が残り、表示装置１１に表示すると不自然な画像になるおそれがある。こうした点に鑑み、切り出し後の残りの画像の繋ぎ合わせ部分において表示画面上で違和感が生じるか否かを判定し、違和感が生じると判定された場合には、その繋ぎ合わせ部分を含む所定領域の輝度値を補正する構成としてもよい。具体的には、切り出し後の残りの画像について、画像の繋ぎ合わせ部分にエッジの輝度値が急激に変化している部分があるか否かを判定し、急激に変化している部分があると判定された場合に、その繋ぎ合わせ部分を含む所定領域の輝度値を段階的に平均化する処理を行う。

・上記実施形態では、地上面を鉛直方向に見下ろした鳥瞰画像に変換し、その変換した鳥瞰画像を表示装置１１に表示する構成としたが、地上面を斜め上方から見下ろした鳥瞰画像に変換し、その変換した鳥瞰画像を表示装置１１に表示する構成としてもよい。この場合、地上面を斜め上方から見下ろす角度α（＜９０°）に応じて、画像の切り出し領域の上下方向の幅（Ｈ１、Ｈ３）を設定する構成とすることが望ましい。具体的には、地上面を斜め上方から見下ろす画像を表示する場合には、地上面を鉛直方向に見下ろす画像を表示する場合よりも、切り出し領域の上下方向の幅を小さく設定する。

・異なる位置から撮影した複数の画像から得られる視差情報に基づいて、物体の接地部５４の周辺領域に画像の切り出し領域を設定し、その設定した切り出し領域の画像を撮影画像又は前記鳥瞰画像から切り出す構成としてもよい。物体までの距離と視差とは相関があり、物体までの距離が遠いほど視差が小さくなることから、視差情報を用いることにより、画像中の物体における実際の奥行き位置を把握することが可能である。具体的には、例えば車載カメラ１０としてステレオカメラを備える車両において、２つのカメラのそれぞれで撮影された第１撮影画像及び第２撮影画像からピクセル毎に視差を算出する。そして、撮影画像中に、画像の下の領域よりも視差が大きいピクセルから構成される領域がある場合には、その領域を切り出し領域に設定する。こうした構成によれば、表示ずれを補正するための切り出し領域をピクセル単位で把握できるため、より正確に表示位置補正を行うことができる。また、画像の切り出し領域を最小限に抑えることができ、より自然な画像を表示させることができる。なお、単眼カメラの場合には、移動ステレオの原理によって上記構成を適用可能である。

・車載カメラ１０で認識した物体が車両か否かを判定し、車両と判定されたことを条件に、視点変換に伴う表示ずれを解消するための画像補正処理を実施する構成としてもよい。自車両５０の近くに存在する障害物の全てについて上記の画像補正処理を実施すると、画像の切り出し及び繋ぎ合わせを行う部分が多くなり、表示画像が見にくくなってしまうおそれがある。そこで、補正の対象を車両に限定することによって、表示画像が見にくくなることを抑制しつつ、正確な位置に他車両５１を表示することができる。

・上記実施形態では、物体の幅に応じて画像の切り出し領域を設定したが、画像の左端から右端までの領域を切り出す構成としてもよい。

・上記実施形態では、車載カメラ１０が自車両５０の前方に搭載されている場合について説明したが、車載カメラ１０の搭載位置は特に限定されず、自車両５０の後方や側方に搭載されている車載カメラ１０に適用してもよい。

・上記実施形態では、測距センサとして超音波センサ１２を備える構成としたが、例えばミリ波レーダやレーザレーダ等を備える構成に適用してもよい。

・上記の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散して実現したり、複数の構成要素が有する機能を一つの構成要素で実現したりしてもよい。

１０…車載カメラ、１１…表示装置、１２…超音波センサ、２０…ＥＣＵ（周辺監視装置）、２１…画像取得部、２２…視点変換部、２３…距離演算部、２４…画像補正部、５０…自車両、５１…他車両、５４…接地部。

Claims (9)

1. 車両の周囲を撮影領域とするカメラ（１０）と、画像を表示する表示装置（１１）とが搭載された車両（５０）に適用され、前記カメラにより撮影した撮影画像を、前記車両の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して前記表示装置に表示させる周辺監視装置であって、
   前記路面との接地部（５４）と、当該接地部よりも前記車両側に張り出しかつ前記路面から浮いた張り出し部分とを有する物体に対し、前記張り出し部分の前記車両側の端部と前記車両との距離に基づいて、画像上における前記張り出し部分の端部の実際の位置を推定する位置推定部と、
   前記位置推定部により推定した画像上における前記張り出し部分の前記車両側の端部の実際の位置を基準に、画像上下方向の幅が表示ずれ量に基づき決定される幅の画像領域を切り出し領域に設定し、該設定した切り出し領域の画像を前記撮影画像又は前記鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることにより、前記表示装置に表示される画像上における前記物体の位置を、前記物体の実際の位置に整合させる補正を行う画像補正部と、
   を備えることを特徴とする周辺監視装置。
2. 探査波を送信するとともに前記探査波の反射波を受信する測距センサが前記車両に設けられており、
   前記位置推定部は、前記測距センサの検知結果に基づいて、前記張り出し部分の前記車両側の端部の実際の位置を推定する、請求項１に記載の周辺監視装置。
3. 前記位置推定部は、前記測距センサの検知結果に基づいて前記物体の反射面情報を取得することにより前記張り出し部分の前記車両側の端部の実際の位置を推定し、
   前記画像補正部は、前記物体の反射面情報に基づいて前記切り出し領域を設定する、請求項２に記載の周辺監視装置。
4. 前記物体は車両であり、
   前記位置推定部は、前記物体の全体又は一部の画像上での大きさに基づいて推定した前記張り出し部分の端部と前記車両との距離に基づいて、画像上での前記物体の実際の位置を推定する、請求項１に記載の周辺監視装置。
5. 車両の周囲を撮影領域とするカメラ（１０）と、画像を表示する表示装置（１１）とが搭載された車両（５０）に適用され、前記カメラにより撮影した撮影画像を、前記車両の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して前記表示装置に表示させる周辺監視装置であって、
   前記路面との接地部（５４）と、当該接地部よりも前記車両側に張り出しかつ前記路面から浮いた張り出し部分とを有する物体に対し、異なる位置から撮影した複数の画像から得られる視差情報に基づいて、前記張り出し部分の前記車両側の端部の画像上における実際の位置を推定する位置推定部と、
   前記位置推定部により推定した画像上における前記張り出し部分の前記車両側の端部の実際の位置を基準に、画像上下方向の幅が表示ずれ量に基づき決定される幅の画像領域を切り出し領域に設定し、該設定した切り出し領域の画像を前記撮影画像又は前記鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることにより、前記表示装置に表示される画像上における前記物体の位置を、前記物体の実際の位置に整合させる補正を行う画像補正部と、
   を備えることを特徴とする周辺監視装置。
6. 前記画像補正部は、前記残りの画像の繋ぎ合わせ部分におけるエッジの輝度値の変化量が所定量よりも大きい部分があるか否かを判定し、前記エッジの輝度値の変化量が所定量よりも大きい部分があると判定された場合に、該繋ぎ合わせ部分を含む所定領域の輝度値を補正する、請求項１〜５のいずれか一項に記載の周辺監視装置。
7. 前記画像補正部は、前記物体の幅に応じて画像の切り出し領域を設定する、請求項１〜６のいずれか一項に記載の周辺監視装置。
8. 前記画像補正部は、前記仮想視点から前記路面を上方から見下ろす角度に応じて、画像の切り出し領域を設定する、請求項１〜７のいずれか一項に記載の周辺監視装置。
9. 車両の周囲を撮影領域とするカメラ（１０）と、画像を表示する表示装置（１１）とが搭載された車両（５０）に適用され、前記カメラにより撮影した撮影画像を、前記車両の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して前記表示装置に表示させる周辺監視方法であって、
   前記路面との接地部（５４）と、当該接地部よりも前記車両側に張り出しかつ前記路面から浮いた張り出し部分とを有する物体に対し、前記張り出し部分の前記車両側の端部と前記車両との距離に基づいて、画像上における前記張り出し部分の端部の実際の位置を推定し、
   前記推定した画像上における前記張り出し部分の前記車両側の端部の実際の位置を基準に、画像上下方向の幅が表示ずれ量に基づき決定される幅の画像領域を切り出し領域に設定し、該設定した切り出し領域の画像を前記撮影画像又は前記鳥瞰画像から切り出し、その切り出し後の残りの画像を繋ぎ合わせることにより、前記表示装置に表示される画像上における前記物体の位置を、前記物体の実際の位置に整合させる補正を行うことを特徴とする周辺監視方法。