WO2011158285A1

WO2011158285A1 - 車両周辺監視装置

Info

Publication number: WO2011158285A1
Application number: PCT/JP2010/003966
Authority: WO
Inventors: 三次達也; 井上悟; 鈴木涼太郎; 清水浩一
Original assignee: 三菱電機株式会社
Priority date: 2010-06-15
Filing date: 2010-06-15
Publication date: 2011-12-22
Also published as: US9064293B2; CN102918833A; DE112010005661B4; US20120320211A1; JPWO2011158285A1; CN102918833B; JP5052707B2; DE112010005661T5

Abstract

　障害物１００を検知する距離センサ２の検知範囲における位置関係を、車両周辺を撮像範囲とするカメラ部３によって撮像されたカメラ画像上の座標で表現する位置マッピングを行い、距離センサ２で検知された障害物の位置が、位置マッピングされたカメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出して、この変換パラメータを用いて、障害物の位置が所定の位置となるようにカメラ画像を画像変換する。

Description

車両周辺監視装置

　この発明は、車両周辺を撮像する広角カメラと、検知対象物までの距離を検知する複数の距離センサを用いて、車両周辺を監視する車両周辺監視装置に関するものである。

　特許文献１及び特許文献２に開示される装置は、障害物検知センサによる車両周辺の検知対象領域が車両を基準にして範囲が設定されており、当該検知対象領域内で検知された障害物までの距離に応じて当該検知対象領域が撮像されたカメラ画像の視野変換を施し、当該カメラ画像の俯角の大きさを変更することで、障害物の把握を容易にしている。

　しかしながら、上記特許文献１，２に代表される従来の技術では、障害物検知センサが検知した障害物までの距離に応じて、カメラ画像の視点変換を実行することから、障害物が当該カメラ画像内に存在しない場合であっても視点変換が実行されるという課題があった。また、距離では、当該障害物を把握し易い適切なカメラ画像を導けないという課題がある。

　この発明は、上記のような課題を解決するためになされたもので、障害物を把握し易いカメラ画像を提供できる車両周辺監視装置を得ることを目的とする。

特開２００５－３２４５９３号公報特開２００９－７１７９０号公報

　この発明に係る車両周辺監視装置は、障害物を検知する検知部の検知範囲における位置関係を、車両周辺を撮像範囲とするカメラ部によって撮像されたカメラ画像上の座標で表現する位置マッピングを行う位置マッピング部と、検知部で検知された障害物の位置が、位置マッピング部によって位置マッピングされたカメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出するマッピング変換部と、マッピング変換部によって得られた変換パラメータを用いて、障害物の位置が所定の位置となるようにカメラ画像を画像変換するカメラ画像変換部とを備えるものである。

　この発明によれば、障害物を検知する検知部の検知範囲における位置関係を、車両周辺を撮像範囲とするカメラ部によって撮像されたカメラ画像上の座標で表現する位置マッピングを行い、検知部で検知された障害物の位置が、位置マッピングされたカメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出して、この変換パラメータを用いて、障害物の位置が所定の位置となるようにカメラ画像を画像変換する。このようにすることで、障害物を把握し易いカメラ画像を提供することができるという効果がある。

この発明の実施の形態１による車両周辺監視装置の構成を概略的に示すブロック図である。カメラ部の取り付け形態を示す図である。距離センサの障害物検知範囲の一例を示す図である。カメラ部の撮像範囲及び距離センサの障害物検知範囲の一例を示す図である。図４（ａ）のカメラ部で撮像した距離センサの障害物検知範囲のカメラ画像を示す図である。カメラ部の撮像範囲及び距離センサの障害物検知範囲の他の例を示す図である。図６（ａ）のカメラ部で撮像した距離センサの障害物検知範囲のカメラ画像を示す図である。障害物検知範囲及び撮像範囲と障害物との位置関係を示す図である。カメラ画像を拡大縮小する画像変換を説明するための図である。カメラ画像の俯瞰画像変換を説明するための図である。カメラ画像の基準点を変更する画像変換を説明するための図である。歪み補正の画面モード及び俯瞰画像変換の画面モードによる画像変換を説明するための図である。この発明の実施の形態２による車両周辺監視装置の構成を概略的に示すブロック図である。障害物が撮像範囲に存在しないが、障害物検知範囲に存在する場合を示す図である。障害物が撮像範囲に存在しない場合の報知例を示す図である。この発明の実施の形態３による車両周辺監視装置の構成を概略的に示すブロック図である。この発明の実施の形態４による車両周辺監視装置の構成を概略的に示すブロック図である。画像重畳部による重畳画像の生成を説明するための図である。この発明の実施の形態５による車両周辺監視装置の主要構成を示すブロック図である。実施の形態５の画像重畳部による重畳画像の生成を説明するための図である。この発明の実施の形態６による車両周辺監視装置の主要構成を示すブロック図である。この発明の実施の形態７による車両周辺監視装置の主要構成を示すブロック図である。実施の形態８の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態９の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態１０の車両周辺監視装置によるカメラ画像表示の一例を示す図である。

　以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　本発明では、カメラの視野（画角）に水平方向で１８０度以上の画角を持つ、いわゆる魚眼レンズの射影方式の１個のカメラを用い、距離センサから得られた障害物までのベクトル情報に従って、煩雑なユーザ操作を伴わず、障害物を把握し易いカメラ画像を安価に提供し、安全に寄与するものである。

　図１は、この発明の実施の形態１による車両周辺監視装置の構成を概略的に示すブロック図である。図１において、実施の形態１の車両周辺監視装置１は、距離センサ２、カメラ部３、位置マッピング部４、マッピング変換部５、及びカメラ画像変換部６を備える。
　距離センサ（検知部）２は、車両周辺に検知波を照射し障害物からの反射信号に基づいて、障害物とのベクトル（距離と方向）を計測するセンサである。検知波としては、超音波やレーザー光、電波等が挙げられる。また、距離センサ２において、検知波が到達して障害物を検知できる範囲は有限である。この範囲を距離センサ２による障害物検知範囲（以下、単に障害物検知範囲と記載する）と呼ぶ。
　カメラ部３は、車両の周辺（例えば、車両後方）を撮像する撮像部としてのカメラ（図示せず）を有しており、位置マッピング部４にカメラで撮像したカメラ画像を送信する。

　位置マッピング部４は、距離センサ２の障害物検知範囲内の位置関係を、カメラ部３で撮像されたカメラ画像（撮像範囲に対応する画像）上の座標で表現する位置マッピングを実行する構成部である。なお、実施の形態１では、カメラ部３の撮像範囲が、距離センサ２の障害物検知範囲よりも広く、カメラ画像に障害物検知範囲の全てが含まれる場合を前提としている。
　マッピング変換部５は、位置マッピング部４によって位置マッピングされた障害物の位置（ベクトル）が、カメラ画像の所定の位置となるようにマッピング変換する構成部である。例えば、カメラ画像における障害物の位置が、カメラ画像の画面の各辺若しくは各角の近傍になるように、マッピング変換部５が、画像変換の変換パラメータを導出する。
　カメラ画像変換部６は、マッピング変換部５によって導出された変換パラメータを用いて、カメラ画像を画像変換してカメラ映像出力を得る構成部である。画像変換としては、拡大縮小、俯瞰画像変換、任意方向の出力サイズ変更、基準点移動、画面モード変更等が挙げられる。これらの詳細は、後述する。

　図２は、カメラ部の取り付け形態を示す図であり、図２（ａ）は側面図、図２（ｂ）は上面図である。カメラ部３におけるカメラの向きの被写体に対する角度によって、カメラ画像上の被写体の形が異なって表現される。つまり、カメラレンズの歪み及び射影変換方法を無視した場合、カメラの向きと被写体が正対していれば、正方形の被写体は、カメラ画像上で正方形となる。
　しかしながら、図２（ａ）及び図２（ｂ）に示すような車両２００の後部に設置されたリアカメラ（カメラ部３）が、水平方向の取り付け角度φが０度であり、垂直方向の取り付け角度θが任意の角度で設置されている場合、カメラ部３の撮像範囲２１０内の路面上にある正方形の被写体は、カメラ画像では台形となって出力される（後述する図１２の画面Ｂ２参照）。また、水平方向の取り付け角度φが任意の角度である場合は、カメラ部３の撮像範囲２１０内の路面上にある正方形の被写体は、カメラ画像では四角形（正方形か長方形）となって出力される（後述する図１２の画面Ｂ１参照）。ここでは、説明を簡略化するため、水平方向の取り付け角度φは０度とする。

　図３は、距離センサの障害物検知範囲の一例を示す図であり、車両２００の後部に設置された複数の距離センサ２（２－１～２－４）について示している。図３に示すように、距離センサ２（２－１～２－４）の障害物検知範囲２Ａ（２Ａ－１～２Ａ－４）は、例えば、１つの距離センサ２では、距離センサ２の検知波の照射部から、検知波が車両２００から遠ざかる方向に放射状に到達する特定の範囲に伝播拡散している。
　このような距離センサ２を複数個（距離センサ２－１～２－４）用意することで、車両幅方向を満足し、車両２００からの長さ方向のいわゆる車両２００から障害物までの距離と障害物の車両幅方向の位置とによる２次元での障害物のベクトル（距離と方向）を得ることができる。

　図４は、カメラ部の撮像範囲及び距離センサの障害物検知範囲の一例を示す図であり、図４（ａ）は車両２００のリアカメラであるカメラ部３の撮像範囲３Ａの上面図、図４（ｂ）は、車両２００の後部に設置した距離センサ２の障害物検知範囲２Ａの上面図を示している。また、図５は、図４（ａ）のカメラ部３で撮像した、距離センサ２の障害物検知範囲２Ａのカメラ画像Ａを示す図である。なお、図４及び図５では、説明の便宜上、障害物検知範囲を左右側面又は上下面からみて長方形となるように検知波の出力を調整した場合を示す。

　図４及び図５に示すように、車両２００の後部に設置したカメラ部３を広画角リアカメラとし、車両２００の後部に複数の距離センサ２を設置した場合、カメラ部３の水平画角が広く、距離センサ２の障害物検知範囲２Ａの車両幅方向の全てが含まれる撮像範囲３Ａを有している。なお、障害物検知範囲２Ａは、距離センサ２の選択によって一意に決まるものである。

　撮像範囲３Ａのカメラ部３に撮像されたカメラ画像に対する障害物検知範囲２Ａは、図５のように全体として台形として表現される。この台形化は、カメラのレンズに起因する歪み、射影方式、カメラの取り付け位置、カメラの画角に基づく計算によって導くことができる。これによって、障害物検知範囲２Ａは、位置マッピング部４によってカメラ画像の座標に位置マッピングされるので、距離センサ２で得られた障害物の位置は、撮像画面（カメラ画像面）の相当する位置の座標で表されて、撮像画像座標での一元表記が可能になる。

　図６は、カメラ部の撮像範囲及び距離センサの障害物検知範囲の他の例を示す図であり、図６（ａ）は車両２００のリアカメラであるカメラ部３の撮像範囲３Ａ１の上面図、図６（ｂ）は、車両２００の後部に設置した距離センサ２の障害物検知範囲２Ａの上面図を示している。また、図７は、図６（ａ）のカメラ部３で撮像した、距離センサ２の障害物検知範囲２Ａのカメラ画像Ａ１を示す図である。なお、図６及び図７においても、説明の便宜上、障害物検知範囲を左右側面又は上下面からみて長方形となるように検知波の出力を調整した場合を示す。

　図６及び図７に示す例は、車両２００の後部に設置したカメラ部３の水平画角が狭く、距離センサ２の障害物検知範囲２Ａの車両幅方向の一部を含まない撮像範囲３Ａ１を有している。なお、障害物検知範囲２Ａについては、図４と同様である。

　撮像範囲３Ａ１のカメラ部３に撮像されたカメラ画像に対する障害物検知範囲２Ａは、図５と同様に、図７のように全体として台形として表現されるが、一部が撮像範囲３Ａ１からはみ出している。この台形化は、カメラのレンズに起因する歪み、射影方式、カメラの取り付け位置、カメラの画角に基づく計算によって導くことができる。
　これによって、障害物検知範囲２Ａは、位置マッピング部４によってカメラ画像の座標に位置マッピングされるので、距離センサ２で得られた障害物の位置は、障害物検知範囲２Ａの撮像範囲３Ａ１に含まれる部分に存在する場合、撮像画面（カメラ画像面）の相当する位置の座標で表され、撮像範囲３Ａ１に含まれない部分に存在する場合は撮像範囲外として表される。従って、撮像画像座標での一元表記が可能になる。
　なお、図示はしていないが、画像変換後の画像範囲と障害物検知範囲２Ａとの位置マッピングも、図４～５と同様な方法で実施できる。

　障害物検知範囲及び撮像範囲と障害物との位置関係は、下記の４通りが考えられる。
（Ａ）障害物が撮像範囲にも障害物検知範囲にも存在しない場合
　この場合は、距離センサ２及びカメラ部３の双方において障害物が検知できないので、利用者に障害物の存在を報知できない。
（Ｂ）障害物が撮像範囲内に存在するが、障害物検知範囲には存在しない場合
　この場合、カメラ部３が障害物を撮像したカメラ画像を提示することで、利用者に障害物の存在を報知することができる。
（Ｃ）障害物が撮像範囲及び障害物検知範囲の双方に存在する場合
　例えば、図８（ａ）及び図８（ｂ）に示すように、撮像範囲Ａにも障害物検知範囲２Ａにも障害物１００が存在する場合、このとき、距離センサ２で検知された障害物１００のベクトル（距離と方向）を位置マッピングして撮像範囲の座標若しくは画像範囲の座標に変換することで、障害物１００の報知に対して有益な画像変換方法を提供できる。
（Ｄ）障害物が障害物検知範囲内に存在するが、撮像範囲には存在しない場合
　この場合（後述する図１４参照）においても、距離センサ２で検知された障害物１００のベクトル（距離と方向）を位置マッピングして撮像範囲の座標若しくは画像範囲の座標に変換することで、障害物１００の報知に対して有益な画像変換方法を提供できる。

　一方、位置マッピングを用いない場合、上記の（Ａ）及び（Ｂ）では、障害物が検知されない。また（Ｂ）では、障害物がカメラ画像の被写体として検知されるが、障害物検知範囲内の障害物と撮像範囲内の障害物との区別がつかない。
　さらに、上記の（Ｃ）及び（Ｄ）においては、障害物検知範囲内の障害物と撮像範囲内の障害物との区別がつかない。
　そこで、本発明では、障害物検知範囲内の障害物の位置をカメラ画像の座標に変換する位置マッピング部４を設けることで、カメラ画像の被写体として障害物を検知して適切な報知が可能である。

　次に動作について説明する。
　距離センサ２によって障害物の位置をベクトル（距離と方向）で計測し、カメラ部３で撮像範囲を撮像する。位置マッピング部４には、カメラ部３の撮像範囲を特定する情報が予め設定されており、距離センサ２による障害物の検知結果を入力すると、距離センサ２で検知された障害物の位置をカメラ画像上の座標位置に変換する。

　マッピング変換部５は、位置マッピング部４による位置マッピング結果を入力すると、カメラ画像上の座標に変換された障害物の位置が、カメラ画像の所定位置（例えば、画面の中央部、各辺若しくは各角の近傍など）になるように画像変換の変換パラメータを導出する。
　カメラ画像変換部６は、カメラ部３からカメラ画像データを入力し、マッピング変換部５から変換パラメータを入力すると、当該変換パラメータに従ってカメラ画像を画像変換し、カメラ映像出力する。

　ここで、カメラ画像変換を詳細に説明する。
　図９は、カメラ画像を拡大縮小する画像変換を説明するための図である。マッピング変換部５が、カメラ画像に障害物１００を拡大して表示する場合、図９に示すカメラ画像Ａからカメラ画像Ｂへの変換パラメータ（障害物１００の画像の拡大）を導出する。逆に、カメラ画像に障害物１００を縮小して表示する場合、図９に示すカメラ画像Ｂからカメラ画像Ａへの変換パラメータ（障害物１００の画像の縮小）を導出する。
　拡大縮小の変換パラメータとしては、元画像（Ａ又はＢ）の障害物を囲む四辺形のエリアを特定できる座標、例えば、当該四辺形の対角の座標のうち、左上の座標（ｘ１，ｙ１）と右下の座標（ｘ３，ｙ３）を指定し、拡大（縮小）の値を設定したものが考えられ、この変換パラメータに従って、障害物を囲む四辺形を画像出力の出力サイズ（Ｘ，Ｙ）の座標上に、拡大（縮小）を行う。

　図１０は、カメラ画像の俯瞰画像変換を説明するための図である。カメラ画像変換として、図１０に示すような俯瞰画像変換（視点変換、俯角の変更）がある。俯瞰画像変換の変換パラメータとしては、元画像の長方形の被写体（障害物１００）を囲む四辺形エリアを特定できる座標、例えば、四辺形の頂点の座標の左上の座標（ｘ１，ｙ１）、右上の座標（ｘ２，ｙ２）、右下の座標（ｘ３，ｙ３）、左下の座標（ｘ４，ｙ４）を指定して、
その四辺形を画像出力の出力サイズ（Ｘ，Ｙ）の座標上に設定するものが考えられる。
　この俯瞰画像変換の変換パラメータに従って上記四辺形の変形を行うことで、図１０に示すような俯瞰画像を得ることができる。

　また、俯瞰画像だけでなく、元画像のＸ方向の大きさを出力サイズＸに対応させるように変形させた変換画像としてもよい。

　さらに、図１０は、元画像Ａにおいて台形で表示された障害物１００を、長方形に変形する画像変換も示している。視点変換画像と同じく、変換パラメータとしては、元画像Ａの被写体（障害物１００）を囲む台形エリアを特定できる座標、例えば台形の頂点の座標の左上の座標（ｘ１，ｙ１）、右上の座標（ｘ２，ｙ２）、右下の座標（ｘ３，ｙ３）、左下の座標（ｘ４，ｙ４）を指定して、その四辺形を画像出力の出力サイズ（Ｘ，Ｙ）の座標上に設定するものが考えられる。この変換パラメータに従って変形を行うことで、画像Ｂのような四辺形を変形した画像が得られる。

　図１１は、カメラ画像の基準点を変更する画像変換を説明するための図である。カメラ画像変換には、図１１に示すような基準点移動がある。基準点移動とは、映像出力の範囲や被写体画像の変形を伴わない、元画像に対してカメラ画像表示窓を動かす画像変換である。元画像のうち、カメラ画像表示窓の枠内部分が、カメラ画像として映像出力される。
　元画像Ａには障害物１００が映っているが、カメラ画像表示窓を通した映像出力に障害物１００が映らない、若しくは一部が映っている場合に、カメラ画像表示窓の位置を変更して障害物１００が映っている範囲を映像出力とするものである。基準点移動の変換パラメータとしては、元画像の基準点（０，０）に対して、被写体が写る基準点の座標（ｘ５，ｙ５）を指定するものが考えられ、この変換パラメータに従って基準点移動することにより、画像Ｂのような映像出力が得られる。
　なお、上述した、拡大縮小、俯瞰画像変換、基準点移動を組み合わせて変換画像を得てもかまわない。

　図１２は、歪み補正の画面モード及び俯瞰画像変換の画面モードによる画像変換を説明するための図であり、各画面モードの推移を示している。カメラ画像変換には、図１２に示すような画面モードの変更がある。画面モードとして、撮像画像そのものの画面Ａ、カメラに起因する歪みの補正の画面Ｂ１、俯瞰画面Ｂ２を用意する。
　つまり、カメラ部３のカメラのレンズとして魚眼レンズを用いることで、画面Ａでは、障害物１００が歪んで表示される。この画面モードを特定する画面モードＩＤを、例えば“１”とする。画面Ａの画像に対してカメラに起因する歪み補正を施すと、画面Ｂ１のように、障害物１００の形状の歪みが補正される。この画面モードを特定する画面モードＩＤを、例えば“２”とする。画面Ａ又は画面Ｂ１を俯瞰画像変換すると、画面Ｂ２が得られる。この画面モードを特定する画面モードＩＤを、例えば“３”とする。
　画面モードの遷移は、位置マッピングの所定の範囲になった場合に、画面モードＩＤを指示して実施する。

　以上のように、この実施の形態１によれば、障害物１００を検知する距離センサ２の障害物検知範囲における位置関係を、車両周辺を撮像範囲とするカメラ部３によって撮像されたカメラ画像上の座標で表現する位置マッピングを行い、距離センサ２で検知された障害物の位置が、位置マッピングされたカメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出して、この変換パラメータを用いて、障害物の位置が所定の位置となるようにカメラ画像を画像変換する。このようにすることで、障害物を把握し易いカメラ画像を提供できるという効果が得られる。

実施の形態２．
　図１３は、この発明の実施の形態２による車両周辺監視装置の構成を概略的に示すブロック図である。図１３において、実施の形態２の車両周辺監視装置１Ａは、距離センサ２、カメラ部３、マッピング変換部５及びカメラ画像変換部６に加え、位置マッピング部４及び位置マッピング外判定部８を有するマッピング部７と障害物案内処理部９を備える。
　実施の形態２は、カメラ部３の撮像範囲が、距離センサ２の障害物検知範囲より狭く、カメラ画像に障害物検知範囲の一部が含まれない場合も想定している。

　マッピング部７の位置マッピング部４は、上記実施の形態１と同様に、距離センサ２で検知した障害物に対する位置（ベクトル）をカメラ画像上の座標に変換する。
　位置マッピング外判定部８は、位置マッピング部４の処理結果を調査して、障害物の位置が撮像範囲内（位置マッピング内）にあるか否かを判定する。このとき、撮像範囲外に障害物が存在すると判定した場合、位置マッピング外判定部８は、その旨を障害物案内処理部９へ通知する。
　障害物案内処理部９は、位置マッピング外判定部８から上記通知を受けると、障害物がカメラ画像上に無いことを利用者に報知する。この通知は、カメラ映像の画面に所定のマークを表示するか、音声で行う。
　これにより、距離センサ２で検知した障害物が、カメラ画像上にない場合でも障害物に対する報知が可能となり安全に寄与することができる。

　図１４は、障害物が撮像範囲に存在しないが、障害物検知範囲に存在する場合を示す図である。図１４に示すように、障害物１００が障害物検知範囲２Ａには存在するが、撮像範囲、すなわちカメラ画像面Ａから外れている場合、位置マッピング外判定部８が、撮像範囲外に障害物１００が存在すると判定し、障害物案内処理部９が、カメラ画像面Ａ上に障害物１００がないことを利用者に報知する。

　図１５は、障害物が撮像範囲に存在しない場合の報知例を示す図であり、利用者への表示画面Ｂを示している。障害物が、障害物検知範囲に存在するが、撮像範囲（画面Ｂ）に存在しない場合、図１５に示すように、障害物案内処理部９が、“障害物があります”というような音声報知１２ａを行ったり、画面Ｂ上に障害物を示す情報（障害物の位置を示すマーク１２ｂ）を付加する。

　以上のように、この実施の形態２によれば、位置マッピング部４によって位置マッピングされたカメラ画像上に障害物１００があるか否かを判定する位置マッピング外判定部８と、位置マッピング外判定部８によってカメラ画像上に障害物１００がないと判定されると、カメラ画像内に障害物１００がないことを案内する案内処理部９とを備えたので、距離センサ２で検知した障害物が、カメラ画像上にない場合でも障害物に対する報知が可能となり安全に寄与することができる。

実施の形態３．
　図１６は、この発明の実施の形態３による車両周辺監視装置の構成を概略的に示すブロック図である。図１６において、実施の形態３の車両周辺監視装置１Ｂは、上記実施の形態２と同様の構成部を備えるが、マッピング部７によって、距離センサ２の障害物検知範囲を、カメラ画像変換部６で画像変換されたカメラ画像上の座標に位置マッピングして、画像変換後の画面内に障害物があるか否かを判定する点で異なる。

　マッピング部７の位置マッピング部４は、上記実施の形態１と同様に、距離センサ２で検知した障害物に対する位置（ベクトル）を、カメラ画像変換部６からのカメラ画像上の座標に変換する。位置マッピング外判定部８は、位置マッピング部４の処理結果を調査して、障害物のマッピング位置があるか否かを判定する。
　このとき、障害物のマッピング位置があると判定されると、マッピング変換部５が、障害物の位置が画像上の所定位置になるようにカメラ画像を画像変換する変換パラメータを導出してカメラ画像変換部６へ出力する。これにより、カメラ画像変換部６が、カメラ画像に障害物の位置を上記所定位置にする画像変換を施してマッピング部７へ出力し、上記と同様の処理を行う。

　一方、マッピング位置がない場合には、マッピング変換部５が、障害物のマッピング位置が現れるまで、カメラ画像に対して所定の画像変換を施すための変換パラメータを導出してカメラ画像変換部６へ出力する。これにより、カメラ画像変換部６が、カメラ画像に障害物の位置を上記所定位置にする画像変換を施してマッピング部７へ出力し、上記と同様の処理を行う。画像変換の繰り返しが所定回数（画像変換が極限）になっても、障害物のマッピング位置が現れない場合には、位置マッピング外判定部８が、その旨を障害物案内処理部９へ通知する。
　障害物案内処理部９は、位置マッピング外判定部８から上記通知を受けると、障害物がカメラ画像上に無いことを利用者に報知する。この通知は、カメラ映像の画面に所定のマークを表示するか、音声で行う。

　なお、カメラ画像変換部６から初期の段階で出力されるカメラ映像出力は、撮像画像のまま、若しくは、前回の電源オフ前の変換画像のままを選択できるようにしてもよい。

　以上のように、この実施の形態３によれば、カメラ画像変換部６が、出力を位置マッピング部４へ戻して、距離センサ２で検知された障害物の位置が、カメラ画像上の所定の位置となるように画像変換を繰り返し、案内処理部９が、カメラ画像変換部６による画像変換を所定回数繰り返しても、障害物がカメラ画像上に現れない場合、カメラ画像上に障害物がないことを案内する。このようにすることで、障害物を報知する画像範囲に対して障害物の検知を行うことから、障害物が画像範囲から逸脱した場合の追従性が、上記実施の形態１，２の撮像範囲における検知より早いという効果が得られる。

実施の形態４．
　実施の形態４は、カメラ画像変換部６による変換後のカメラ画像上に、マッピング変換部５からの変換パラメータに従って、画像重畳部１０が、障害物の位置にマーカー等の画像を重畳するものである。

　図１７は、この発明の実施の形態４による車両周辺監視装置の構成を概略的に示すブロック図であり、実施の形態４の構成を上記実施の形態１に適用したもので、図１における距離センサ２、カメラ部３、位置マッピング部４の記載を省略している。図１７において、マッピング変換部５は、位置マッピング部４から位置マッピング結果を入力して、カメラ画像上の座標に変換された障害物の位置がカメラ画像の所定位置になるように画像変換の変換パラメータを導出し、カメラ画像変換部６及び画像重畳部１０へ出力する。

　カメラ画像変換部６は、カメラ部３からカメラ画像を入力し、マッピング変換部５によって導出された変換パラメータを用いて画像変換したカメラ画像を画像重畳部１０へ出力する。画像重畳部１０は、カメラ画像変換部６で変換された画像から、マッピング変換部５が導出した変換パラメータを用いて画像範囲（障害物の画像エリア）の座標を特定し、この画像範囲に予め設定された重畳用画像（マーカー画像等）を重畳してカメラ映像出力を得る。

　図１８は、実施の形態４の画像重畳部による重畳画像の生成を説明するための図である。図１８において、変換されたカメラ画像Ｂには、障害物１００が写っている。障害物１００の画像範囲における座標は、位置マッピングによって導かれ、マッピング変換部５が導出した変換パラメータで指定されている。画像重畳部１０は、障害物１００の画像範囲の座標によって重畳するマーカ画像１１０の座標位置を確定し、画像Ｃを得る。続いて、画像重畳部１０は、カメラ画像Ｂと画像Ｃを重畳して、最終的なカメラ映像出力である画像Ｄを得る。これにより、障害物の位置をマーカーで示す画像を表示して利用者に報知し、障害物の表示画面での発見を誘導する。

　なお、上記の説明では、実施の形態４を上記実施の形態１の構成に適用した場合を示したが、実施の形態４を上記実施の形態２，３の構成に適用して、上記実施の形態２，３のマッピング変換部５で得られる画像範囲の座標を用いて、重畳するマーカ画像１１０の座標位置を確定し、画像Ｃを得るようにしても構わない。

　以上のように、この実施の形態４によれば、カメラ画像変換部６で画像変換した画像に障害物の位置を示す画像を重畳する画像重畳部１０を備えたので、マーカー等の画像を重畳した画像で障害物の位置が利用者に報知されることから、障害物の表示画面での発見を誘導できる。

実施の形態５．
　図１９は、この発明の実施の形態５による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態５の構成を上記実施の形態１に適用したもので、図１における距離センサ２及び位置マッピング部４の記載を省略している。
　図１９に示す合成部１１は、カメラ部３で撮像された元画像（撮像範囲）と、カメラ画像変換部６で画像変換した変換画像（画像範囲）とを、同一の画面上に配置した合成画像を生成する構成部である。
　例えば、元画像と変換画像とを、表示装置の画面上で二画面表示する画像を生成する。また、実施の形態５の画像重畳部１０では、マッピング変換部５の変換パラメータから、元画像（撮像範囲）における障害物の画像エリアの座標と、変換画像（画像範囲）における障害物の画像エリアの座標とを特定し、元画像と変換画像とにおける障害物の画像エリアを、合成部１１で得られた合成画面における撮像範囲と画像範囲にそれぞれ重畳してカメラ映像出力を得る。

　図２０は、実施の形態５の画像重畳部による重畳画像の生成を説明するための図である。図２０に示すように、カメラ部３に撮像された画像Ａ（撮像範囲）には、障害物１６０が写っている。画像Ｂは、画像Ａにおける障害物１６０を特定する画像エリアを、カメラ画像変換部６によって画像変換した画像である。合成部１１は、カメラ部３で撮像された画像Ａと、カメラ画像変換部６で画像変換した変換画像（画像範囲）とを、同一の画面上に合成し、合成画面情報を画像重畳部１０へ出力する。

　画像重畳部１０は、マッピング変換部５から変換パラメータを入力すると、変換パラメータから、画像Ａにおける障害物１６０の画像エリアの座標と、変換された障害物１６０の画像エリア（変換画像Ｂ）の座標とを特定し、合成画像における変換画像（画像範囲）の座標から、変換された障害物１６０の画像エリア（変換画像Ｂ）の座標位置を確定し、重畳用画像Ｂ１として合成画像Ｅに重畳して、最終的なカメラ映像出力を得る。

　なお、上記の説明では、実施の形態５を上記実施の形態１の構成に適用した場合を示したが、実施の形態５を上記実施の形態２，３の構成に適用して、上記実施の形態２，３のマッピング変換部５で得られる画像範囲の座標を用いて上記処理を実行するようにしても構わない。

　以上のように、この実施の形態５によれば、カメラ部３とカメラ画像変換部６の両方の出力を同一の画面で表示する画像を生成する合成部１１と、合成部１１に生成された画像に対してカメラ部３で撮像したカメラ画像とカメラ画像変換部６で画像変換した画像を重畳する画像重畳部１０とを備えたので、画像変換された障害物１６０の画像エリア（変換画像Ｂ）が重畳用画像として合成画面上に重畳して報知されることから、利用者による障害物１６０の存在する範囲の空間的な把握を支援することができる。

実施の形態６．
　図２１は、この発明の実施の形態６による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態６の構成を上記実施の形態１に適用したもので、図１における距離センサ２、位置マッピング部４及びマッピング変換部５の記載を省略している。図２１において、注意喚起音発生部１２は、カメラ画像変換部６がカメラ画像を画像変換するにあたり、画像変換に対する案内を注意音として出力する。
　このように画像が変換されることを報知することで、画像範囲の変化に対しての離散性の緩和を行うことができる。なお、実施の形態６は、上記実施の形態２，３のカメラ画像変換部６に対しても適用することができる。

実施の形態７．
　図２２は、この発明の実施の形態７による車両周辺監視装置の主要構成を示すブロック図であり、実施の形態７の構成を上記実施の形態１に適用したもので、図１における位置マッピング部４、マッピング変換部５及びカメラ画像変換部６の記載を省略している。図２２に示すカメラ部３は、距離センサ２が障害物を発見したことを契機に起動する。このようにすることで、障害物が遠く安全である場合は、カメラ映像を表示せず、距離センサ２の障害物検知範囲に障害物が存在するときに、カメラ画像として障害物を報知することで、運転の安全性に寄与することができる。なお、実施の形態７は、上記実施の形態２～５のカメラ部３に対しても適用することができる。

実施の形態８．
　図２３は、実施の形態８の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態８では、マッピング変換部５及びカメラ画像変換部６が、障害物１００の画像上の位置が、出力画像Ｂの左辺、上辺、右辺近傍となるように画像変換する。また、画像Ｂの下辺には、車両２００のボディが位置するものとする。
　つまり、距離センサ２によって検知された障害物１００のカメラ画像上の位置が、画像変換後のカメラ画像の矩形における車両２００に最も近い辺（下辺）を除いたいずれかの辺（左辺、上辺、右辺）の近傍となるようにマッピング変換する。
　なお、実施の形態８は、上記実施の形態１～７に適用することができる。

　画像変換の規定方法として、カメラ画像を矩形画像として表示する場合に、障害物１００が、変換後の画像Ｂの右辺、上辺、左辺の近傍の範囲ｂ１に存在するように撮像範囲Ａ上の画像変換範囲ａを設定し、画像変換を施すことにより、障害物１００が、常に画像Ｂの特定の場所に表示され、車両２００のボディとの位置関係を把握し易くなる。

実施の形態９．
　図２４は、実施の形態９の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態９では、マッピング変換部５及びカメラ画像変換部６が、障害物１００の画像上の位置が、出力画像Ｂの上辺中央となるとなるように画像変換する。つまり、距離センサ２によって検知された障害物１００のカメラ画像上の位置が、画像変換後のカメラ画像の矩形における車両２００から最も離れた辺（上辺）の中央部となるようにマッピング変換する。なお、実施の形態９は、上記実施の形態１～７に適用することができる。

　画像変換の規定方法として、障害物１００が、カメラ画像を矩形画像として表示する場合に、変換後の画像Ｂの上辺の中央の範囲ｂ２に存在するように撮像範囲Ａ上の画像変換範囲ａを設定し、画像変換を施すことにより、障害物１００が、常に画像Ｂの特定の１箇所の場所に表示され、障害物１００の発見を把握し易くなる。

実施の形態１０．
　図２５は、実施の形態１０の車両周辺監視装置によるカメラ画像表示の一例を示す図である。実施の形態１０では、マッピング変換部５及びカメラ画像変換部６が、障害物１００の画像上の位置が、出力画像Ｂの画面中央となるとなるように画像変換する。なお、実施の形態１０は、上記実施の形態１～７に適用することができる。

　画像変換の規定方法として、障害物１００が、変換後の画像Ｂの画面の中央の範囲ｂ３に存在するように撮像範囲Ａ上の画像変換範囲ａ１を設定し画像変換を施すことにより、障害物１００が、常に画像Ｂの特定の１箇所の場所に表示され、障害物１００の発見と障害物周辺の状況を把握し易くなる。

　この発明に係る車両周辺監視装置は、障害物を把握し易いカメラ画像を提供することができることから、車両後方の駐車位置を撮像したカメラ画像を用いて駐車を支援する駐車支援装置に好適である。

Claims

　障害物を検知する検知部の車両周辺の検知範囲における位置関係を、前記車両周辺を撮像範囲とするカメラ部によって撮像されたカメラ画像上の座標で表現する位置マッピングを行う位置マッピング部と、
　前記検知部で検知された前記障害物の位置が、前記位置マッピング部によって位置マッピングされた前記カメラ画像上の所定の位置となるようにマッピング変換する変換パラメータを導出するマッピング変換部と、
　前記マッピング変換部によって得られた変換パラメータを用いて、前記障害物の位置が前記所定の位置となるように前記カメラ画像を画像変換するカメラ画像変換部とを備えた車両周辺監視装置。
　前記位置マッピング部によって位置マッピングされた前記カメラ画像上に障害物があるか否かを判定する位置マッピング外判定部と、
　前記位置マッピング外判定部によって前記カメラ画像内に前記障害物がないと判定されると、前記カメラ画像上に前記障害物がないことを案内する案内処理部とを備えたことを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部は、出力を前記位置マッピング部へ戻して、前記検知部で検知された前記障害物の位置が、前記カメラ画像上の所定の位置となるように画像変換を繰り返し、
　前記案内処理部は、前記カメラ画像変換部による画像変換を所定回数繰り返しても、前記障害物が前記カメラ画像上に現れない場合、前記カメラ画像上に前記障害物がないことを案内することを特徴とする請求項２記載の車両周辺監視装置。
　前記カメラ画像変換部は、カメラ画像を拡大縮小する画像変換を行うことを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部は、カメラ画像を俯瞰画像変換することを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部は、カメラ画像の基準点を変更する画像変換を行うことを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部は、前記カメラ画像の歪みを補正する画面モードと、前記カメラ画像を俯瞰画像変換する画面モードとを切り替えて画像変換を行うことを特徴とする請求項１記載の車両周辺監視装置。
　前記マッピング変換部は、前記カメラ画像を矩形画像として表示する場合、前記検知部で検知された障害物の位置が、前記矩形画像における車両に最も近い辺を除くいずれかの辺の近傍の位置となるようにマッピング変換することを特徴とする請求項１記載の車両周辺監視装置。
　前記マッピング変換部は、前記カメラ画像を矩形画像として表示する場合、前記検知部で検知された障害物の位置が、前記矩形画像における車両から最も離れた辺の中央部となるようにマッピング変換することを特徴とする請求項１記載の車両周辺監視装置。
　前記マッピング変換部は、前記検知部で検知された障害物の位置が、前記カメラ画像の中央部となるようにマッピング変換することを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部で画像変換した画像に障害物の位置を示す画像を重畳する画像重畳部を備えたことを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ部と前記カメラ画像変換部の両方の出力を同一の画面で表示する画像を生成する合成部と、
　前記合成部に生成された画像に対して前記カメラ部で撮像したカメラ画像と前記カメラ画像変換部で画像変換した画像を重畳する画像重畳部とを備えたことを特徴とする請求項１記載の車両周辺監視装置。
　前記カメラ画像変換部で画像変換を行う際、音声で当該画像変換に対する案内を行う注意喚起音発生部を備えたことを特徴とする請求項１記載の車両周辺監視装置。
　前記案内処理部は、前記カメラ画像上に前記障害物がないことを案内する画像を、前記カメラ画像変換部で画像変換した画像に重畳して報知することを特徴とする請求項２記載の車両周辺監視装置。
　前記案内処理部は、前記カメラ画像上に前記障害物がないことを案内音声で報知することを特徴とする請求項２記載の車両周辺監視装置。
　前記カメラ部は、前記検知部で障害物が検知されたことを契機として撮像動作を起動することを特徴とする請求項１記載の車両周辺監視装置。