JP5718920B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車載カメラを使用して、車両の外部に存在する物体を検出する車両周辺監視装置に関する。

車両の走行支援等を目的として、車載カメラによって車両周辺の撮像画像を取得し、その撮像画像を基に、車両の外部に存在する物体を監視する技術が従来より知られている。

例えば特許文献１には、２台の車載カメラによって取得した車両前方のステレオ画像を基に、車両前方に存在する物体の三次元的な位置を算出し、この三次元的な位置情報を基に、車両が走行している道路の白線や、側壁物の位置を検出する技術が開示されている。

また、例えば特許文献２には、車載カメラによって取得した撮像画像における物体の形状を基に、ドット・ボッツ、キャッツアイ等の鋲状のレーンマークを検出する技術が記載されている。

特許第３３２４８２１号 特許第４３５８１４７号

車両周辺の撮像画像を基に、車両の外部に存在する物体を監視する場合に、ある特定の（所定種類の）構造物を、他の物体と区別して検出する必要が生じる場合がある。

例えば、撮像画像から、白線等の走行区分線を検出する場合に、道路の工事領域等を示すために配列されるパイロンが走行区分線として検出されるのを防止するために、撮像画像中に含まれる物体がパイロンであるか否かを特定する必要が生じる場合がある。

この場合、前記特許文献１に見られる技術では、物体の高さに基づいて、路面上の白線と、側壁物との区別はしている。ただし、特許文献１に見られる技術は、側壁物がどのような種類の構造物によって構成されたものであるかを特定するものではない。

一方、撮像画像中の物体の種類を特定する場合、通常、特許文献２に記載されている如く、撮像画像中の物体の形状を検出し、この形状に基づいて物体の種類を特定することが行なわれる。

このように物体の形状を検出する場合、撮像画像の輝度成分に基づいて、その輝度の不連続的な変化部としての輝度エッジを抽出し、この輝度エッジにより物体の形状を認識する手法が一般に知られている。

しかるに、物体の外形線（物体とその周囲の背景との境界線）を示すものとしての輝度エッジは、撮像画像における物体とその周囲の背景との輝度差が顕著に発生する場合にのみ抽出し得るものである。このため、物体に対する光の当たり具合や、物体とのその背景との色合いによっては、物体の外形線の一部でしか、輝度エッジを抽出できない場合も多々ある。

例えば、物体の一側面に光が当たり、反対側の側面が影になっているような場合には、反対側の側面の外形線に対応する輝度エッジは抽出され難い。また、例えば、物体の色とその周囲の背景色とが共に暗めの色合いである場合には、それらの色の境界での輝度エッジは抽出され難い。

そして、このように物体の外形線の一部でしか、輝度エッジが抽出されない場合には、該物体の外形状を正しく認識することができない。このため、該物体の種別を正しく特定することができないという不都合がある。

本発明は、かかる背景に鑑みてなされたものであり、車載カメラにより取得された撮像画像中の物体の種類の特定精度を高めることができる車両周辺監視装置を提供することを目的とする。

本発明の車両周辺監視装置は、かかる目的を達成するために、車載カメラにより取得された車両周辺の撮像画像に基づいて、車両の外部に存在する物体を検出する車両周辺監視装置において、前記撮像画像の輝度成分に基づいて、該輝度成分の値の不連続的な変化部としての第１エッジを前記撮像画像から抽出し、その抽出された第１エッジにより構成される画像である第１エッジ画像を生成する第１エッジ画像生成手段と、前記撮像画像の色相成分又は彩度成分に基づいて、該色相成分又は彩度成分の値の不連続的な変化部としての第２エッジを抽出し、その抽出された第２エッジにより構成される画像である第２エッジ画像を生成する第２エッジ画像生成手段と、前記生成された第１エッジ画像と第２エッジ画像とを合成してなる合成エッジ画像を生成する合成エッジ画像生成手段と、前記生成された合成エッジ画像のうち、前記撮像画像に含まれる物体の外形線を構成する画像である物体外形画像により示される該物体の外形状が所定種類の構造物の外形状に合致するか否かを判定し、少なくとも該判定結果に基づいて、該物体が前記所定種類の構造物であるか否かを特定する物体種別特定手段とを備え、前記所定種類の構造物は、その外表面が、該外表面上で互いに平行に水平方向もしくは斜め方向に延在する複数の境界線によって複数の着色領域に区分けされていると共に各境界線を挟んで互いに隣合う着色領域が互いに異なる色で着色されている構造物であり、前記物体種別特定手段は、前記物体外形画像により示される物体の外形状が前記所定種類の構造物の外形状に合致し、且つ、該物体外形画像の内側に、互いに平行に水平方向もしくは斜め方向に延在する複数の前記第１エッジ又は第２エッジが存在する場合に、該物体が前記所定種類の構造物であると判定することを特徴とする。

かかる本発明において、前記第１エッジ画像生成手段が、前記撮像画像から抽出する前記第１エッジは、前記撮像画像の輝度成分の値の不連続的な変化部（輝度成分の値の大きさが比較的急激に変化する部分）として抽出されるエッジである。従って、該第１エッジは、前記撮像画像の輝度成分の分布に依存して抽出されるエッジである。

一方、前記第２エッジ画像生成手段が前記撮像画像から抽出する前記第２エッジは、前記撮像画像の色相成分又は彩度成分の値の不連続的な変化部（色相成分又は彩度成分の値の大きさが比較的急激に変化する部分）として抽出されるエッジである。従って、該第２エッジは、前記撮像画像の色相成分又は彩度成分の分布に依存して抽出されるエッジである。

この場合、前記撮像画像の色相成分又は彩度成分の分布は、一般には、該撮像画像の輝度成分の分布とは相違する。このため、撮像画像中の物体の外形線のうち、前記第１エッジとして抽出されない部分であっても、第２エッジとして抽出される確率が高まる。また、逆に、前記撮像画像中の物体の外形線のうち、第２エッジとして抽出されない部分が、第１エッジとして抽出される場合もある。

従って、前記第１エッジ画像と第２エッジ画像とを前記合成エッジ画像生成手段により合成してなる合成エッジ画像においては、前記撮像画像に含まれる物体の外形線の全体もしくは多くの部分が第１エッジ又は第２エッジとして含まれるようになる。

そこで、本発明では、前記物体種別特定手段は、前記生成された合成エッジ画像のうち、前記撮像画像に含まれる物体の外形線を構成する画像である物体外形画像により示される該物体の外形状が所定種類の構造物の外形状に合致するか否かを判定する。そして、物体種別特定手段は、少なくとも該判定結果に基づいて、該物体が前記所定種類の構造物であるか否かを特定する。

この場合、前記物体外形画像により示される物体の外形状の信頼性が高いものとなる。このため、物体外形画像により示される該物体の外形状が所定種類の構造物の外形状に合致するか否かの判定結果の信頼性が高まる。これにより本発明によれば、車載カメラにより取得された撮像画像中の物体の種類の特定精度を高めることができる。

かかる本発明においては、前記所定種類の構造物としては、その外表面が、該外表面上で互いに平行に水平方向もしくは斜め方向に延在する複数の境界線によって複数の着色領域に区分けされていると共に各境界線を挟んで互いに隣合う着色領域が互いに異なる色で着色されている構造物（例えばパイロン）が挙げられる。そして、この場合、前記物体種別特定手段は、前記物体外形画像により示される物体の外形状が前記所定種類の構造物の外形状に合致し、且つ、該物体外形画像の内側に、互いに平行に水平方向もしくは斜め方向に延在する複数の前記第１エッジ又は第２エッジが存在する場合に、該物体が前記所定種類の構造物であると判定する。

本発明によれば、前記物体外形画像により示される物体の外形状が前記所定種類の構造物の外形状に合致するものであることに加えて、該物体外形画像の内側に、互いに平行に水平方向もしくは斜め方向に延在する複数の前記第１エッジ又は第２エッジが存在する場合に、該物体が前記所定種類の構造物であると判定される。このため、該物体が前記所定種類の構造物であるか否かの特定精度をより一層高めることができる。
本発明の車両周辺監視装置において、前記物体種別特定手段は、前記生成された合成エッジ画像において、前記車載カメラの撮像領域内の物体までの検出距離がほぼ同一となる合成エッジ画像領域に含まれる合成エッジを抽出し、該抽出した合成エッジに基づいて、当該物体の外形状が所定種類の構造物の外形状に合致するか否かを判定することが好ましい。

本発明の実施形態における車両周辺監視装置の要部構成を示すブロック図。 所定種類の物体（パイロン）を含む撮像画像の例を示す図。 図２の撮像画像から得られる第１エッジ画像の例を示す図。 図２の撮像画像から得られる第２エッジ画像の例を示す図。 図３の第１エッジ画像と図４の第２エッジ画像とを合成してなる合成エッジ画像の例を示す図。 図２の物体とは異なる種類の物体（パイロン）を含む撮像画像の例を示す図。 図２の物体とは異なる種類の物体（パイロン）を含む撮像画像の例を示す図。

本発明の一実施形態を図１〜図５を参照して説明する。

図１を参照して、本実施形態の車両周辺監視装置１は、車両（図示省略）に搭載されたものであり、車載カメラ２と、画像処理ユニット３とを備える。

車載カメラ２は、車両の前部に搭載されている。そして、車載カメラ２は、車両前方の画像を撮像する。この車載カメラ２は、ＣＣＤカメラ等により構成される。この場合、車載カメラ２は、車両前方の画像をカラー画像として撮像するカメラである。従って、車載カメラ２は、カラー映像の画像信号を生成して出力する。なお、車載カメラ２は、車両の後方又は側方の画像を撮像するカメラであってもよい。

画像処理ユニット３は、図示を省略するＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットである。そして、画像処理ユニット３には、車載カメラ２で生成されたカラー映像の画像信号が入力される。

この画像処理ユニット３は、実装されたプログラムを実行することによって実現される機能として、画像取得部４、第１エッジ画像生成部５、第２エッジ画像生成部６、画像合成部７及び物体種別特定部８を備える。

以下に、画像処理ユニット３の各機能部の処理を含めて、該画像処理ユニット３の全体処理の詳細を説明する。

車載カメラ２で生成されるカラー映像の画像信号は、所定の演算処理周期で画像処理ユニット３の画像取得部４に取り込まれる。この画像取得部４は、車載カメラ２から入力されるアナログ信号である画像信号（各画素毎の画像信号）をデジタルデータに変換し、図示しない画像メモリに記憶保持する。

より詳しくは、画像取得部４は、入力されるカラー映像の画像信号のうちの輝度成分をデジタルデータに変換してなる輝度成分画像と、該画像信号のうちの色相成分及び彩度成分のいずれか一方、例えば色相成分をデジタルデータに変換してなる色相成分画像とを画像メモリに記憶保持する。これにより、車載カメラ２により取得された撮像画像のうちの輝度成分としての輝度成分画像（各画素の値が輝度成分の値となる画像）と、色相成分としての色相成分画像（各画素の値が色相成分の値となる画像）とが画像メモリに記憶保持される。

上記輝度成分画像と色相成分画像とは、それぞれ、第１エッジ画像生成部５、第２エッジ画像生成部６に与えられる。そして、これらの第１エッジ画像生成部５、第２エッジ画像生成部６の処理が次に実行される。これらの第１エッジ画像生成部５、第２エッジ画像生成部６は、それぞれ、本発明における第１エッジ画像生成手段、第２エッジ画像生成手段としての機能を有するものである。

輝度成分画像が与えられる第１エッジ画像生成部５は、該輝度成分画像に、微分フィルタ等の公知のエッジ抽出用フィルタの処理を施す。これにより、第１エッジ画像生成部５は、撮像画像における輝度成分の値の不連続的な変化部（輝度成分の値が比較的急激に変化する部分）としての第１エッジを抽出する。さらに、第１エッジ画像生成部５は、この第１エッジにより構成される画像（２値化画像）である第１エッジ画像を生成する。そして、第１エッジ画像生成部５は、この第１エッジ画像を図示しない画像メモリに記憶保持する。

また、色相成分画像が与えられる第２エッジ画像生成部６は、該色相成分画像に、上記エッジ抽出用フィルタと同様の処理を施す。これにより、第２エッジ画像生成部６は、撮像画像における色相成分の値の不連続的な変化部（色相成分の値が比較的急激に変化する部分）としての第２エッジを抽出する。さらに、第２エッジ画像生成部６は、この第２エッジにより構成される画像（２値化画像）である第２エッジ画像を生成する。そして、第２エッジ画像生成部６は、この第２エッジ画像を図示しない画像メモリに記憶保持する。

ここで、車載カメラ２により取得される撮像画像の一例と、この撮像画像から得られる上記第１エッジ画像及び第２エッジ画像の一例を図２〜図４に示す。

図２は、車載カメラ２により取得される撮像画像の一例を示している。この例では、道路５１上に設置されたパイロン５２とその周辺の画像が撮像されている。図示例のパイロン５２は、基台５３と、この基台５３上に突設された円錐状の本体部５４（コーン部）とを備える構造物である。なお、参照符号５１ａ，５１ｂを付した部分は、道路５１の白線を示している。

この場合、パイロン５２の本体部５４の外表面は、赤及び白の２色で着色されている。より詳しくは、本体部５４の外表面は、該外表面上で互いに平行に水平方向に延在する複数（図示例では２つ）の境界線５５ａ，５５ｂによって、上下方向に複数（図示例では３つ）の着色領域５６ａ，５６ｂ，５６ｃに区分けされている。境界線５５ａ，５５ｂは、本体部５４と同軸心の円環状の線である。

そして、図２において点描を付した着色領域である最上段の着色領域５６ａと最下段の着色領域５６ｃとが赤色に着色されていると共に、これらの着色領域５６ａ，５６ｃの間に位置する中段の着色領域５６ｂが白色に着色されている。従って、各境界線５５ａ，５５ｂを挟んで互いに隣合う着色領域（５６ａ，５６ｂ）、（５６ｂ，５６ｃ）が互いに異なる色で着色されている。なお、パイロン５２の基台５３の色は、黒もしくはそれに近い色である。

図３は、図２に示す撮像画像から前記第１エッジ画像生成部５により生成される第１エッジ画像の例を示している。この図３における白抜き部分が抽出された第１エッジを示している。この例では、図２の撮像画像中のパイロン５２の本体部５４の外形線の一部が、参照符号５７ａ，５７ｂ，５７ｃ，５７ｄで示す第１エッジとして抽出されている。さらに、パイロン５２の本体部５４の境界線５５ａ，５５ｂが、参照符号５７ｅ，５７ｆで示す第１エッジとして抽出されている。

この場合、パイロン５２の本体部５４の白色の着色領域５６ｂ（特に光が当たっている側）は、道路５１や、赤色の着色領域５６ａ，５６ｃとの輝度差が比較的顕著に生じやすい。そのため、その白色の着色領域５６ｂにおける本体部５４の外形線や境界線５５ａ，５５ｂの多くの部分が第１エッジ５７ａ〜５７ｆとして抽出される。

一方、パイロン５２の本体部５４の赤色の着色領域５６ａ，５６ｃや基台５３は、道路５１との輝度差が生じ難い。そのため、赤色の着色領域５６ａ，５６ｃにおける本体部５２の外形線や基台５３の外形線は、第１エッジとして抽出され難くなる。

なお、図３中で、参照符号５７ｇ，５７ｈで示す第１エッジは、道路５１の白線５１ａ，５１ｂに相当する第１エッジである。また、参照符号５７ｉで示す第１エッジは、道路５１の側方の草むら等の画像から抽出される第１エッジである。

図４は、図２に示す撮像画像から前記第２エッジ画像生成部６により生成される第２エッジ画像の例を示している。この図４における白抜き部分が抽出された第２エッジを示している。この例では、図２の撮像画像中のパイロン５２の本体部５４の外形線の一部が、参照符号５８ａ，５８ｂ，５８ｃ，５８ｄ，５８ｅ，５８ｆで示す第２エッジとして抽出されている。さらに、パイロン５２の本体部５４の境界線５５ａ，５５ｂが、参照符号５８ｇ，５８ｈで示す第２エッジとして抽出されている。

この場合、パイロン５２の本体部５４の赤色の着色領域５６ａ，５６ｃは、道路５１や、白色の着色領域５６ｂとの色相差が比較的顕著に生じやすい。そのため、その赤色の着色領域５６ｂにおける本体部５４の外形線や境界線５５ａ，５５ｂの多くの部分が第２エッジとして抽出される。

一方、パイロン５２の本体部５４の白色の着色領域５６ｂは、道路５１との色相差が生じ難い。そのため、白色の着色領域５６ｂにおける本体部５４の外形線は、第２エッジとして抽出され難くなる。

なお、図４中で、参照符号５８ｉで示す第２エッジは、パイロン５２の基台５３の外形線に相当する第１エッジである。また、参照符号５８ｊで示す第２エッジは、道路５１の側方の草むら等の画像から抽出される第２エッジである。

上記の如く生成・記憶保持された第１エッジ画像と第２エッジ画像とは、画像合成部７に与えられる。そして、この画像生成部７の処理が次に実行される。この画像合成部７は、本発明における合成エッジ画像生成手段としての機能を有するものである。

画像合成部７は、第１エッジ画像と第２エッジ画像とを合成する（より詳しくは、両エッジ画像の互いに対応する画素の値を合成する）ことによって、合成エッジ画像（２値化画像）を生成する。そして、画像合成部７は、その合成エッジ画像を図示しない画像メモリに記憶保持する。

具体的には、画像合成部７は、合成エッジ画像の各画素の値（エッジが存在するか否かを示す値）を、その画素に対応する第１エッジ画像の画素の値と、第２エッジ画像の画素の値とに応じて設定する。すなわち、画像合成部７は、合成エッジ画像の各画素に対して、該画素に対応する第１エッジ画像の画素の値が第１エッジの存在を示す値であるか、又は、該画素に対応する第２エッジ画像の画素の値が第２エッジの存在を示す値である場合には、合成エッジ画像の該画素の値を、該画素の位置にエッジが存在することを示す値に設定する。

また、画像合成部７は、合成エッジ画像の各画素に対して、該画素に対応する第１エッジ画像の画素の値が、第１エッジが存在しないことを示す値であり、且つ、該画素に対応する第２エッジ画像の画素の値が、第２エッジが存在しないことを示す値である場合には、合成エッジ画像の該画素の値を、該画素の位置にエッジが存在しないことを示す値に設定する。

これにより、第１エッジ画像と第２エッジ画像とを合成してなる合成エッジ画像が生成される。従って、該合成エッジ画像において、エッジとなる部分は、第１エッジ及び第２エッジのうちの少なくともいずれか一方が抽出された部分である。また、エッジとならない部分は、第１エッジ及び第２エッジの両方が抽出されない部分である。以降、合成エッジ画像におけるエッジを合成エッジという。

図５は、上記の如く生成される合成エッジ画像の一例を示している。この図示例は、図３及び図４にそれぞれ示した第１エッジ画像と第２エッジ画像とを合成してなる合成エッジ画像である。この場合、図２の撮像画像中のパイロン５２の本体部５４の外形線の一部が、参照符号５９ａ，５９ｂ，５９ｃ，５９ｄ，５９ｅ，５９ｆで示す合成エッジにより表される。また、パイロン５２の本体部５４の境界線５５ａ，５５ｂが、参照符号５９ｇ，５９ｈで示す合成エッジにより表される。

なお、図５中で、参照符号５９ｉで示す合成エッジは、パイロン５２の基台５３の外形線に相当する合成エッジである。また、参照符号５９ｊ，５９ｋで示す合成エッジは、道路５１の白線５１ａ，５１ｂに相当する合成エッジである。また、参照符号５９ｍで示す合成エッジは、道路５１の側方の草むら等の画像に相当する合成エッジである。

上記の如く生成・記憶保持された合成エッジ画像は、物体種別特定部８に与えられる。そして、この物体種別特定部８の処理が次に実行される。この物体種別特定部８は、本発明における物体種別特定手段としての機能を有するものである。該物体種別特定部８は、車載カメラ２により取得した撮像画像中に含まれる物体が、所定種類の構造物であるか否かを特定する。

この場合、本実施形態では、図２に示した構造のパイロン５２を、上記所定種類の構造物の１つとする。そして、物体種別特定部８は、車載カメラ２により取得した撮像画像中に含まれる物体が、図２に示した構造のパイロン５２と同一種類の物体であるか否かを特定する機能を有している。

この物体種別特定部８の処理は次のように行われる。すなわち、物体種別特定部８は、まず、与えられた合成エッジ画像から、同一物体の構成要素となる合成エッジ（以下、物体構成合成エッジという）を抽出する。

この場合、例えばステレオ画像やレーダ等を基に、車載カメラ２の撮像領域内の物体までの距離を検出することができる場合には、合成エッジ画像内において、当該距離がほぼ同一となる領域に含まれる合成エッジを抽出する。これにより、同一物体の構成要素となる合成エッジ（物体構成合成エッジ）を抽出することができる。

図５に示した合成エッジ画像の例では、合成エッジ５９ａ〜５９ｉが物体構成合成エッジとして抽出される。

次いで、物体種別特定部８は、抽出した物体構成合成エッジのうちの、物体の外形線に相当する物体構成合成エッジによって示さる物体の外形状（二次元的な外形状）が、パイロン５２の外形状に合致するか否かの判定（以下、形状判定という）を行なう。

この形状判定では、物体種別特定部８は、物体構成合成エッジのうちの物体の外形線に相当する物体構成合成エッジ（これは本発明における物体外形画像に相当する。以下、物体外形合成エッジという）をつなぎ合わせる。これにより、物体種別特定部８は、物体の外形状を示す画像を作成する。そして、物体種別特定部８は、この画像の形状を、パイロン５２の外形状を示すものとしてあらかじめ設定された形状パターンと比較することによって、該画像の形状が、パイロン５２の外形状に合致するか否かを判定する。

この場合、物体の外形状を示す画像が、例えば、ある角度範囲の頂角を有する二等辺三角形に近似する形状を有する場合に、該画像の形状が、パイロン５２の外形状に合致すると判定される。

図５に示した合成エッジ画像の例では、物体構成合成エッジ５９ａ〜５９ｉのうちの合成エッジ５９ａ〜５９ｆと、合成エッジ５９ｉの外周部とが物体外形合成エッジとされる。そして、これらの物体外形合成エッジをつなぎ合わせてなる画像の形状が、パイロン５２の外形状を示すものとしてあらかじめ設定された形状パターンと比較される。そして、この場合は、該画像の形状は、パイロン５２の外形状に合致するものと判定されることとなる。従って、前記形状判定の判定結果が肯定的となる。

さらに物体種別特定部８は、物体構成合成エッジのうちの物体外形合成エッジの内側（物体外形合成エッジにより囲まれた領域）に、互いに平行に水平方向に延在する複数の物体構成合成エッジ（以下、物体内水平合成エッジという）が存在するか否かの判定（以下、模様判定という）を行なう。なお、物体内水平合成エッジは、厳密に水平方向に延在するものである必要はない。該物体内水平合成エッジは、水平方向に対して、ゼロ近傍の所定角度範囲内で、傾斜した方向に延在するものであってもよい。

図５に示した合成エッジ画像の例では、物体構成合成エッジ５９ａ〜５９ｉのうちの合成エッジ５９ｇ，５９ｈが物体内水平合成エッジとして抽出される。そして、この場合には、物体外形合成エッジの内側に、互いに平行に水平方向に延在する複数の物体内水平合成エッジが存在するものと判定されることとなる。従って、前記模様判定の判定結果が肯定的となる。

なお、前記形状判定の判定結果が否定的となる場合には、前記模様判定を行なうことを省略してもよい。

物体種別特定部８は、上記の如く形状判定及び模様判定を行なった後、これらの判定結果に基づいて、撮像画像中の物体の種類が、前記パイロン５２と同一であるか否かを特定する。

すなわち、物体種別特定部８は、前記形状判定及び模様判定の両方の判定結果が肯定的となる場合に、撮像画像中の物体の種類がパイロン５２と同一であると特定する。また、物体種別特定部８は、前記形状判定及び模様判定のいずれかの判定結果が否定的となる場合に、撮像画像中の物体の種類がパイロン５２と異なるものであると特定する。

図５に示した合成エッジ画像の例では、前記した如く形状判定及び模様判定の両方の判定結果が肯定的となる。このため、図２に示す如く車載カメラ２により取得された撮像画像中の物体の種類がパイロン５２と同じであると特定されることとなる。

以上が本実施形態における画像処理ユニット３が実行する処理の詳細である。かかる本実施形態によれば、撮像カメラ２により取得した撮像画像の輝度成分に基づき生成した第１エッジ画像と、該撮像画像の色相成分に基づき生成した第２エッジ画像とを合成してなる合成エッジ画像を使用して、該撮像画像中の物体の種類がパイロン５２と同一であるか否かが特定される。

この場合、撮像画像の輝度成分と色相成分とは、一般には、互いに異なる分布パターンとなる。このため、第１エッジ画像に含まれないエッジが第２エッジとして第２エッジ画像に含まれたり、あるいは、第２エッジ画像に含まれないエッジが第１エッジとして第１エッジ画像に含まれるようになる。このため、これらの第１エッジ画像と第２エッジ画像とを合成することによって、第１エッジ画像生成部５及び第２エッジ画像生成部６のそれぞれの処理では抽出されないエッジを相互に補完してなる画像としての合成エッジ画像を生成することができる。すなわち、該合成エッジ画像は、撮像画像内の物体の外形線や着色領域の境界線の多くの部分を合成エッジとして含むような画像となる。

そして、かかる合成エッジ画像を使用して、前記した形状判定及び模様判定を行なうことにより、これらの判定結果の信頼性を高めることができる。ひいては、撮像画像内の物体の種類の特定を高い信頼性で行なうことができる。

また、撮像画像内の物体がパイロン５２と同一種類であるか否かの特定を高い信頼性で行なうことができる。そのため、パイロン５２の画像が、他の物体や道路の白線等と混同して認識してしまうようなことを防止することができる。ひいては、撮像画像から、パイロン５２以外の物体や道路の白線をパイロン５２と区別して検出することができる。

次に、以上説明した実施形態の変形態様をいくつか説明する。

前記実施形態では、第２エッジ画像生成部６は、車載カメラ２により取得された撮像画像のうちの色相成分としての色相成分画像から、前記第２エッジ画像を生成した。ただし、該撮像画像のうちの彩度成分としての彩度成分画像から、前記第２エッジ画像を生成するようにしてもよい。ここで、撮像画像の彩度成分は、色相成分の場合と同様に、一般には、該撮像画像の輝度成分と互いに異なる分布パターンとなる。このため、彩度成分画像から第２エッジ画像を生成するようにしても、色相成分画像から第２エッジ画像を生成する場合と同様の効果を得ることができる。

また、前記実施形態では、撮像画像中の物体が図２に示した構造のパイロン５２と同一の種類の構造物であるか否かを特定するようにした。ただし、該物体の種類が、パイロン５２と異なる構造の他の種類のパイロンと同一であるか否かを特定するようにすることもできる。

例えば、特定しようとする種類のパイロンが、図６に示す構造のパイロン７１や、図７に示す構造のパイロン８１であってもよい。

図６に例示するパイロン７１は、基台７２と、この基台７２上に突設された円柱状の本体部７３とを備える構造物である。このパイロン７１の本体部７３の外表面は、赤及び白の２色で着色されている。より詳しくは、本体部７３の外表面は、該外表面上で互いに平行に斜め方向に（螺旋状に）延在する複数（図示例では２つ）の境界線７５ａ，７４ｂによって、複数（図示例では２つ）の着色領域７５ａ，７５ｂに区分けされている。

そして、図６において点描を付した着色領域である着色領域７５ａが赤色に着色されていると共に、この着色領域７５ａに隣接する着色領域７５ｂが白色に着色されている。

車載カメラ２により取得された撮像画像中の物体が、図６に示すパイロン７１と同一種類であるか否かを特定する場合には、画像処理ユニット３は、前記実施形態と同様に、画像取得部４、第１エッジ画像生成部５、第２エッジ画像生成部６、画像合成部７の処理を実行する。

一方、物体種別特定部８の処理では、画像合成部７により生成した合成エッジ画像における物体構成合成エッジのうちの物体外形合成エッジをつなぎ合わせてなる画像（物体の外形状を示す画像）を、パイロン７１の外形状を示すものとしてあらかじめ設定された形状パターンと比較する。これにより、物体種別特定部８は、該画像の形状が、パイロン７１の外形状に合致するか否かの形状判定を行なう。

さらに、物体種別特定部８の処理では、物体構成合成エッジのうちの物体外形合成エッジの内側に、互いに平行に斜め方向に延在する複数の物体内水平合成エッジが存在するか否かの模様判定を行なう。

そして、前記実施形態と同様に、形状判定及び模様判定の両方の判定結果が肯定的となる場合に、撮像画像中の物体の種類がパイロン７１と同一であると特定する。また、形状判定及び模様判定のいずれかの判定結果が否定的となる場合に、撮像画像中の物体の種類がパイロン７１と異なるものであると特定する。

また、図７に例示するパイロン８１は、基台８２と、この基台８２上に突設された樽型の本体部８３とを備える構造物である。このパイロン８１の本体部８３の外表面は、赤及び白の２色で着色されている。より詳しくは、本体部８３の外表面は、該外表面上で互いに平行に水平方向に延在する複数（図示例では４つ）の境界線（環状線）８４ａ，８４ｂ，８４ｃ，８４ｄによって、複数（図示例では５つ）の着色領域８５ａ，８５ｂ，８５ｃ，８５ｄ，８５ｅに区分けされている。

そして、図６において点描を付した着色領域である着色領域８５ａ，８５ｃ，８５ｅが赤色に着色されている。さらに、この赤色の着色領域８５ａ，８５ｃの間に挟まれた着色領域８５ｂと、赤色の着色領域８５ｃ，８５ｅの間に挟まれた着色領域８５ｄとが白色に着色されている。

車載カメラ２により取得された撮像画像中の物体が、図７に示すパイロン８１と同一種類であるか否かを特定する場合には、画像処理ユニット３は、前記実施形態と同様に、画像取得部４、第１エッジ画像生成部５、第２エッジ画像生成部６、画像合成部７の処理を実行する。

一方、物体種別特定部８の処理では、画像合成部７により生成した合成エッジ画像における物体構成合成エッジのうちの物体外形合成エッジをつなぎ合わせてなる画像（物体の外形状を示す画像）を、パイロン８１の外形状を示すものとしてあらかじめ設定された形状パターンと比較する。これにより、物体種別特定部８は、該画像の形状が、パイロン８１の外形状に合致するか否かの形状判定を行なう。

さらに、物体種別特定部８の処理では、物体構成合成エッジのうちの物体外形合成エッジの内側に、互いに平行に水平方向に延在する複数の物体内水平合成エッジが存在するか否かの模様判定を行なう。

そして、前記実施形態と同様に、形状判定及び模様判定の両方の判定結果が肯定的となる場合に、撮像画像中の物体の種類がパイロン８１と同一であると特定する。また、形状判定及び模様判定のいずれかの判定結果が否定的となる場合に、撮像画像中の物体の種類がパイロン８１と異なるものであると特定する。

また、前記実施形態における物体種別特定部８の処理では、形状判定と模様判定とを行なうようにした。これに対して、形状判定だけを行い、該形状判定の判定結果が肯定的となる場合に、撮像画像中の物体がパイロン５２（又はパイロン７１又はパイロン８１）と同一種類であると特定するようにしてもよい。但し、パイロン５２，７１，８１のように複数の色で着色されている構造物を特定する場合には、その特定精度を高める上では、形状判定に加えて、模様判定を行なうことが望ましい。

本発明は、車載カメラによる撮像画像から車両の外部に存在する物体の種別を精度よく特定し得るものとして有用である。

１…車両周辺監視装置、２…車載カメラ、５…該１エッジ画像生成部（第１エッジ画像生成手段）、６…第２エッジ画像生成部（第２エッジ画像生成手段）、７…画像合成部（合成エッジ画像生成手段）、８…物体種別特定部（物体種別特定手段）、５２，７１，８１…パイロン（所定種類の構造物）。

Claims (2)

1. 車載カメラにより取得された車両周辺の撮像画像に基づいて、車両の外部に存在する物体を検出する車両周辺監視装置において、
   前記撮像画像の輝度成分に基づいて、該輝度成分の値の不連続的な変化部としての第１エッジを前記撮像画像から抽出し、その抽出された第１エッジにより構成される画像である第１エッジ画像を生成する第１エッジ画像生成手段と、
   前記撮像画像の色相成分又は彩度成分に基づいて、該色相成分又は彩度成分の値の不連続的な変化部としての第２エッジを抽出し、その抽出された第２エッジにより構成される画像である第２エッジ画像を生成する第２エッジ画像生成手段と、
   前記生成された第１エッジ画像と第２エッジ画像とを合成してなる合成エッジ画像を生成する合成エッジ画像生成手段と、
   前記生成された合成エッジ画像のうち、前記撮像画像に含まれる物体の外形線を構成する画像である物体外形画像により示される該物体の外形状が所定種類の構造物の外形状に合致するか否かを判定し、少なくとも該判定結果に基づいて、該物体が前記所定種類の構造物であるか否かを特定する物体種別特定手段とを備え、
   前記所定種類の構造物は、その外表面が、該外表面上で互いに平行に水平方向もしくは斜め方向に延在する複数の境界線によって複数の着色領域に区分けされていると共に各境界線を挟んで互いに隣合う着色領域が互いに異なる色で着色されている構造物であり、
   前記物体種別特定手段は、前記物体外形画像により示される物体の外形状が前記所定種類の構造物の外形状に合致し、且つ、該物体外形画像の内側に、互いに平行に水平方向もしくは斜め方向に延在する複数の前記第１エッジ又は第２エッジが存在する場合に、該物体が前記所定種類の構造物であると判定することを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記物体種別特定手段は、前記生成された合成エッジ画像において、前記車載カメラの撮像領域内の物体までの検出距離がほぼ同一となる合成エッジ画像領域に含まれる合成エッジを抽出し、該抽出した合成エッジに基づいて、当該物体の外形状が所定種類の構造物の外形状に合致するか否かを判定することを特徴とする車両周辺監視装置。

Images