JP4204708B2 - 対象物抽出装置 - Google Patents
対象物抽出装置 Download PDFInfo
- Publication number
- JP4204708B2 JP4204708B2 JP19959099A JP19959099A JP4204708B2 JP 4204708 B2 JP4204708 B2 JP 4204708B2 JP 19959099 A JP19959099 A JP 19959099A JP 19959099 A JP19959099 A JP 19959099A JP 4204708 B2 JP4204708 B2 JP 4204708B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined length
- extraction
- extracted
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば車両に搭載された撮像装置により得られる画像から、当該車両に衝突するおそれのある対象物を判定するために、前記画像から対象物を抽出する対象物抽出装置に関する。
【０００２】
【従来の技術】
テレビカメラなどの撮像装置により得られる画像から、衝突の可能性などを判定するために対象物を抽出する手法としては、例えば特開平９−２５９２８２号公報に記載されたものが知られている。この手法は、撮像装置によって得られる画像上のオプティカルフローを抽出し、自車両の走行に起因するオプティカルフロー以外のフローを持つ領域を、画像内の移動障害物領域、すなわち衝突の可能性の判定などの対象物として抽出するものである。
【０００３】
【発明が解決しようとする課題】
しかしながらこのようなオプティカルフローを用いた対象物の抽出は、演算量が多いため専用のＤＳＰなどを使用する必要があり、コストの上昇を招く。そこで、赤外線を検出可能な赤外線カメラを用いて、動物や走行中の車両など高温の対象物を容易に抽出できるようにすることが考えられるが、そのような赤外線カメラを使用した場合、抽出したい対象物としての動物の背景に、例えば太陽光によって温度が高くなったガードレールなどが存在すると、動物とガードレールとが重なった画像を対象物として抽出してしまうという問題があった。
【０００４】
本発明はこの問題を解決するためになされたものであり、比較的高温の対象物を容易にかつ正確に抽出することができる対象物抽出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、撮像手段により得られる画像から対象物を抽出する対象物抽出装置において、前記撮像手段は、赤外線を検出可能なものであり、前記対象物を含み、前記対象物に外接する外接四角形の前記画像上の面積に対する前記対象物の前記画像上の面積の比率を算出し、該面積比率が所定比率より小さいときは、前記対象物の画像の水平方向の長さが所定長さ以上の領域を前記対象物の画像から除くことにより、前記対象物を分割して抽出する抽出処理を行う抽出処理手段と、前記抽出処理手段により抽出された対象物について、自車両からの距離を算出する距離算出手段とを備え、前記抽出処理手段は、前記抽出処理を実行した後に前記所定長さを減少させる処理を行い、前記所定長さを減少させた後に前記抽出処理を前記所定長さが所定値に達するまで繰り返し実行することを特徴とする。
【０００６】
ここで「所定比率」は、実験的に最適の値に設定する。
この構成によれば、対象物を含む外接四角形の画像上の面積に対するその対象物の画像上の面積の比率が算出され、該面積比率が所定比率より小さいときは、対象物の画像の水平方向の長さが所定長さ以上の領域が対象物の画像から除かれて前記対象物が抽出される。さらに抽出された対象物について、自車両からの距離が算出され、前記抽出処理を実行した後に前記所定長さを減少させる処理が行われ、前記所定長さを減少させた後に前記抽出処理が前記所定長さが所定値に達するまで繰り返し実行される。このような処理により、例えば高温の対象物とガードレールとが重なって抽出されたような場合でも、その対象物を分離して抽出することが可能となる。したがって、このようにして抽出された対象物について、自車両からの距離の算出を行うことにより、衝突の可能性の判定を正確に行うことが可能となる。
請求項２に記載の発明は、請求項１に記載の対象物抽出装置において、前記所定値は、予め設定した距離における抽出したい対象物の、画像上での通常の水平方向の長さに設定されることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の対象物抽出装置において、前記所定長さの初期値は、前記撮像手段により撮像される全体画像の水平方向の幅の１／３程度に設定されることを特徴とする。
請求項４に記載の発明は、請求項１から３の何れか１項に記載の対象物抽出装置において、前記所定長さは、前回の所定長さの１／２に減少させることを特徴とする。
【０００７】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる対象物抽出装置を含む、車両の前方監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を抽出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【０００８】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【０００９】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１０】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）は、カメラ１Ｒによって得られるグレースケール画像を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。
【００１１】
図３のステップＳ１４では、画像信号の二値化、すなわち、後述するように決定される輝度閾値ｉＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図５（ｂ）に同図（ａ）の画像を二値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１２】
図４はステップＳ１４の二値化処理を詳細に示すフローチャートであり、ステップＳ２１では、図６（ａ）に示すように輝度値ｉを横軸とし、輝度値ｉをとる画素数、すなわち度数Ｈ［ｉ］を縦軸とするヒストグラムを算出する。通常は同図に示すように背景の平均的な輝度値の近傍に背景のピークがあり、高温の対象物に対応する対象物ピークは度数Ｈが低いため同図ではピークの特定が困難である。そこでステップＳ２２で同図（ａ）に示す度数Ｈ［ｉ］のヒストグラムを、同図（ｂ）に示すように対数変換した（Ｇ［ｉ］＝ｌｏｇ10Ｈ［ｉ］＋１）ヒストグラムを算出する。これにより、対象物ピークを特定し易くなる。
【００１３】
次いでこのヒストグラムに最急降下法を適用してピークを探索し、背景ピークに対応する輝度値ｉＰＥＡＫ１、及び対象物ピークに対応する輝度値ｉＰＥＡＫ２を得る（ステップＳ２３）。そして、下記式に輝度閾値ｉＴＨを算出する（ステップＳ２４）。
ｉＴＨ＝（ｉＰＥＡＫ２−ｉＰＥＡＫ１）×Ａ＋ｉＰＥＡＫ１
【００１４】
ここでＡは１より小さい定数であり、例えば０．５に設定される。
次いで輝度閾値ｉＴＨを用いてグレースケール画像データを二値化データに変換する演算を行い（ステップＳ２５）、本処理を終了する。
図４の処理では、ヒストグラムを用いて背景ピークに対応する輝度値と、対象物ピークに対応する輝度値とを求め、これらの輝度値の間に輝度閾値ｉＴＨを設定するようにしたので、対象物を正確に高輝度領域として検出することができる。
【００１５】
図３に戻りステップＳ１５では、二値化した画像データをランレングスデータに変換するとともに、対象物毎にラベルを付けるラベリングを行う。図７はこれを説明するための図であり、この図では二値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１６】
次に同図（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図５（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１７】
続くステップＳ１６では、抽出した対象物が背景または前景と一体化している場合にその背景または前景を分離するための処理（図８）を実行する。ここでは、図３のステップＳ１５でｎ個の対象物が抽出されているものとする。図９（ａ）は、ガードレールが太陽光のために高温となり、高温の対象物がガードレールと一体化して対象物１として抽出された例を示している。このような場合には、対象物１の外接四角形の面積ＳＲＥＣＴに対する対象物１の面積ＳＯＢＪの比率ＲＡＴＥ（＝ＳＯＢＪ／ＳＲＥＣＴ）が、高温の対象物のみを抽出した場合に比べて小さくなる。そこで、図８の処理では、この点に着目してガードレールに対応する領域を背景（または前景）として対象物から除くようにしている。
【００１８】
図８のステップＳ３１では、カウンタｊを「１」に初期化し、次いで対象物ｊ（カウンタｊの値に対応する対象物）の面積比率ＲＡＴＥを下記式（１）により算出する（ステップＳ３２）。
ＲＡＴＥ＝ＳＯＢＪ（ｊ）／ＳＲＥＣＴ（ｊ） （１）
ここで、ＳＯＢＪ（ｊ）は、対象物ｊの画像上の面積であり、ＳＲＥＣＴ（ｊ）は、対象物ｊの外接四角形の画像上の面積である。
【００１９】
次いで面積比率ＲＡＴＥが所定比率ＲＡＴＥＴＨより小さいか否かを判別し（ステップＳ３３）、ＲＡＴＥ≧ＲＡＴＥＴＨであるときは、直ちにステップＳ３５に進む一方、ＲＡＴＥ＜ＲＡＴＥＴＨであるとき、例えば図９（ａ）に示すような場合には、ランレングスが所定長さｍＴＨ以上であるデータを対象物から削除する処理を行う。これにより、対象物１として認識されていたものが３つに分割されて認識されることになる。なお、所定比率ＲＡＴＥＴＨは、種々の実測画像データに基づいて最適の値にし、また所定長さｍＴＨの初期値は、例えば画像（カメラ１Ｒまたは１Ｌにより撮像される全体画像）の水平方向の幅の１／３程度に設定する。
【００２０】
ステップＳ３５では、カウンタｊをインクリメントし、次いでカウンタｊの値が対象物数ｎを越えたか否かを判別する（ステップＳ３６）。ｊ≦ｎである間はステップＳ３２に戻り、ｊ＞ｎとなるとステップＳ３７で所定長さｍＴＨを１／２にし、ついで対象物ラベルの更新を行う（ステップＳ３８）。これにより、ステップＳ３４の処理で分割された対象物が例えば図９（ｂ）に示すように対象物１，２，３というようにラベリングされる。
【００２１】
続くステップＳ３９では、所定長さｍＴＨが所定値Ｍ以下となったか否かを判別し、ｍＴＨ＞Ｍである間はステップＳ３１の戻って同様の処理を繰り返し、ｍＴＨ≦Ｍとなると、本処理を終了する。ここで所定値Ｍは、予め設定した距離における抽出したい対象物の、画面上での通常の横幅（水平方向の幅であって画素数で定義される長さ）とする。
【００２２】
以上ように図８の処理によれば、面積比率ＲＡＴＥが所定比率ＲＡＴＥＴＨより小さいときは、水平方向の長さが所定長さｍＴＨ以上の領域が対象物から除かれるので、例えば高温となったガードレールなどと抽出したい対象物とが１つの対象物として抽出された場合でも、これらを分離して抽出することが可能となる。
【００２３】
抽出された対象物については、２つカメラ１Ｒ、１Ｌより得られる画像に基づいて自車両からの距離が算出され、衝突の可能性の判定が行われるので、対象物を正確に抽出することにより、衝突判定などを正確に行うことが可能となる。
また図９（ｂ）に示すように３つに分割された対象物１，２，３は、その後の追跡データに基づいて一体化して認識することも可能である。
本実施形態では、画像処理ユニット２が対象物抽出装置を構成する。
【００２４】
【発明の効果】
以上詳述したように本発明によれば、対象物を含む外接四角形の画像上の面積に対するその対象物の画像上の面積の比率が算出され、該面積比率が所定比率より小さいときは、対象物の画像の水平方向の長さが所定長さ以上の領域が対象物の画像から除かれて前記対象物が抽出される。さらに抽出された対象物について、自車両からの距離が算出され、前記抽出処理を実行した後に前記所定長さを減少させる処理が行われ、前記所定長さを減少させた後に前記抽出処理が前記所定長さが所定値に達するまで繰り返し実行される。このような処理により、例えば高温の対象物とガードレールとが重なって抽出されたような場合でも、その対象物を分離して抽出することが可能となる。したがって、このようにして抽出された対象物について、自車両からの距離の算出を行うことにより、衝突の可能性の判定を正確に行うことが可能となる。
【図面の簡単な説明】
【図１】図１は本発明の一実施形態にかかる対象物抽出装置を含む、車両の前方監視装置の構成を示す図である。
【図２】カメラの配置を説明するための図である。
【図３】対象物抽出の手順を示すフローチャートである。
【図４】図３の二値化処理のフローチャートである。
【図５】グレースケール画像及び二値化画像を説明するための図である。
【図６】輝度値のヒストグラムを示す図である。
【図７】ランレングスデータ及びラベリングを説明するための図である。
【図８】背景との分離処理のフローチャートである。
【図９】図８の処理を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（対象物抽出装置）
【発明の属する技術分野】
本発明は、例えば車両に搭載された撮像装置により得られる画像から、当該車両に衝突するおそれのある対象物を判定するために、前記画像から対象物を抽出する対象物抽出装置に関する。
【０００２】
【従来の技術】
テレビカメラなどの撮像装置により得られる画像から、衝突の可能性などを判定するために対象物を抽出する手法としては、例えば特開平９−２５９２８２号公報に記載されたものが知られている。この手法は、撮像装置によって得られる画像上のオプティカルフローを抽出し、自車両の走行に起因するオプティカルフロー以外のフローを持つ領域を、画像内の移動障害物領域、すなわち衝突の可能性の判定などの対象物として抽出するものである。
【０００３】
【発明が解決しようとする課題】
しかしながらこのようなオプティカルフローを用いた対象物の抽出は、演算量が多いため専用のＤＳＰなどを使用する必要があり、コストの上昇を招く。そこで、赤外線を検出可能な赤外線カメラを用いて、動物や走行中の車両など高温の対象物を容易に抽出できるようにすることが考えられるが、そのような赤外線カメラを使用した場合、抽出したい対象物としての動物の背景に、例えば太陽光によって温度が高くなったガードレールなどが存在すると、動物とガードレールとが重なった画像を対象物として抽出してしまうという問題があった。
【０００４】
本発明はこの問題を解決するためになされたものであり、比較的高温の対象物を容易にかつ正確に抽出することができる対象物抽出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、撮像手段により得られる画像から対象物を抽出する対象物抽出装置において、前記撮像手段は、赤外線を検出可能なものであり、前記対象物を含み、前記対象物に外接する外接四角形の前記画像上の面積に対する前記対象物の前記画像上の面積の比率を算出し、該面積比率が所定比率より小さいときは、前記対象物の画像の水平方向の長さが所定長さ以上の領域を前記対象物の画像から除くことにより、前記対象物を分割して抽出する抽出処理を行う抽出処理手段と、前記抽出処理手段により抽出された対象物について、自車両からの距離を算出する距離算出手段とを備え、前記抽出処理手段は、前記抽出処理を実行した後に前記所定長さを減少させる処理を行い、前記所定長さを減少させた後に前記抽出処理を前記所定長さが所定値に達するまで繰り返し実行することを特徴とする。
【０００６】
ここで「所定比率」は、実験的に最適の値に設定する。
この構成によれば、対象物を含む外接四角形の画像上の面積に対するその対象物の画像上の面積の比率が算出され、該面積比率が所定比率より小さいときは、対象物の画像の水平方向の長さが所定長さ以上の領域が対象物の画像から除かれて前記対象物が抽出される。さらに抽出された対象物について、自車両からの距離が算出され、前記抽出処理を実行した後に前記所定長さを減少させる処理が行われ、前記所定長さを減少させた後に前記抽出処理が前記所定長さが所定値に達するまで繰り返し実行される。このような処理により、例えば高温の対象物とガードレールとが重なって抽出されたような場合でも、その対象物を分離して抽出することが可能となる。したがって、このようにして抽出された対象物について、自車両からの距離の算出を行うことにより、衝突の可能性の判定を正確に行うことが可能となる。
請求項２に記載の発明は、請求項１に記載の対象物抽出装置において、前記所定値は、予め設定した距離における抽出したい対象物の、画像上での通常の水平方向の長さに設定されることを特徴とする。
請求項３に記載の発明は、請求項１または２に記載の対象物抽出装置において、前記所定長さの初期値は、前記撮像手段により撮像される全体画像の水平方向の幅の１／３程度に設定されることを特徴とする。
請求項４に記載の発明は、請求項１から３の何れか１項に記載の対象物抽出装置において、前記所定長さは、前回の所定長さの１／２に減少させることを特徴とする。
【０００７】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる対象物抽出装置を含む、車両の前方監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を抽出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【０００８】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【０００９】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１０】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）は、カメラ１Ｒによって得られるグレースケール画像を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。
【００１１】
図３のステップＳ１４では、画像信号の二値化、すなわち、後述するように決定される輝度閾値ｉＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図５（ｂ）に同図（ａ）の画像を二値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１２】
図４はステップＳ１４の二値化処理を詳細に示すフローチャートであり、ステップＳ２１では、図６（ａ）に示すように輝度値ｉを横軸とし、輝度値ｉをとる画素数、すなわち度数Ｈ［ｉ］を縦軸とするヒストグラムを算出する。通常は同図に示すように背景の平均的な輝度値の近傍に背景のピークがあり、高温の対象物に対応する対象物ピークは度数Ｈが低いため同図ではピークの特定が困難である。そこでステップＳ２２で同図（ａ）に示す度数Ｈ［ｉ］のヒストグラムを、同図（ｂ）に示すように対数変換した（Ｇ［ｉ］＝ｌｏｇ10Ｈ［ｉ］＋１）ヒストグラムを算出する。これにより、対象物ピークを特定し易くなる。
【００１３】
次いでこのヒストグラムに最急降下法を適用してピークを探索し、背景ピークに対応する輝度値ｉＰＥＡＫ１、及び対象物ピークに対応する輝度値ｉＰＥＡＫ２を得る（ステップＳ２３）。そして、下記式に輝度閾値ｉＴＨを算出する（ステップＳ２４）。
ｉＴＨ＝（ｉＰＥＡＫ２−ｉＰＥＡＫ１）×Ａ＋ｉＰＥＡＫ１
【００１４】
ここでＡは１より小さい定数であり、例えば０．５に設定される。
次いで輝度閾値ｉＴＨを用いてグレースケール画像データを二値化データに変換する演算を行い（ステップＳ２５）、本処理を終了する。
図４の処理では、ヒストグラムを用いて背景ピークに対応する輝度値と、対象物ピークに対応する輝度値とを求め、これらの輝度値の間に輝度閾値ｉＴＨを設定するようにしたので、対象物を正確に高輝度領域として検出することができる。
【００１５】
図３に戻りステップＳ１５では、二値化した画像データをランレングスデータに変換するとともに、対象物毎にラベルを付けるラベリングを行う。図７はこれを説明するための図であり、この図では二値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１６】
次に同図（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図５（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１７】
続くステップＳ１６では、抽出した対象物が背景または前景と一体化している場合にその背景または前景を分離するための処理（図８）を実行する。ここでは、図３のステップＳ１５でｎ個の対象物が抽出されているものとする。図９（ａ）は、ガードレールが太陽光のために高温となり、高温の対象物がガードレールと一体化して対象物１として抽出された例を示している。このような場合には、対象物１の外接四角形の面積ＳＲＥＣＴに対する対象物１の面積ＳＯＢＪの比率ＲＡＴＥ（＝ＳＯＢＪ／ＳＲＥＣＴ）が、高温の対象物のみを抽出した場合に比べて小さくなる。そこで、図８の処理では、この点に着目してガードレールに対応する領域を背景（または前景）として対象物から除くようにしている。
【００１８】
図８のステップＳ３１では、カウンタｊを「１」に初期化し、次いで対象物ｊ（カウンタｊの値に対応する対象物）の面積比率ＲＡＴＥを下記式（１）により算出する（ステップＳ３２）。
ＲＡＴＥ＝ＳＯＢＪ（ｊ）／ＳＲＥＣＴ（ｊ） （１）
ここで、ＳＯＢＪ（ｊ）は、対象物ｊの画像上の面積であり、ＳＲＥＣＴ（ｊ）は、対象物ｊの外接四角形の画像上の面積である。
【００１９】
次いで面積比率ＲＡＴＥが所定比率ＲＡＴＥＴＨより小さいか否かを判別し（ステップＳ３３）、ＲＡＴＥ≧ＲＡＴＥＴＨであるときは、直ちにステップＳ３５に進む一方、ＲＡＴＥ＜ＲＡＴＥＴＨであるとき、例えば図９（ａ）に示すような場合には、ランレングスが所定長さｍＴＨ以上であるデータを対象物から削除する処理を行う。これにより、対象物１として認識されていたものが３つに分割されて認識されることになる。なお、所定比率ＲＡＴＥＴＨは、種々の実測画像データに基づいて最適の値にし、また所定長さｍＴＨの初期値は、例えば画像（カメラ１Ｒまたは１Ｌにより撮像される全体画像）の水平方向の幅の１／３程度に設定する。
【００２０】
ステップＳ３５では、カウンタｊをインクリメントし、次いでカウンタｊの値が対象物数ｎを越えたか否かを判別する（ステップＳ３６）。ｊ≦ｎである間はステップＳ３２に戻り、ｊ＞ｎとなるとステップＳ３７で所定長さｍＴＨを１／２にし、ついで対象物ラベルの更新を行う（ステップＳ３８）。これにより、ステップＳ３４の処理で分割された対象物が例えば図９（ｂ）に示すように対象物１，２，３というようにラベリングされる。
【００２１】
続くステップＳ３９では、所定長さｍＴＨが所定値Ｍ以下となったか否かを判別し、ｍＴＨ＞Ｍである間はステップＳ３１の戻って同様の処理を繰り返し、ｍＴＨ≦Ｍとなると、本処理を終了する。ここで所定値Ｍは、予め設定した距離における抽出したい対象物の、画面上での通常の横幅（水平方向の幅であって画素数で定義される長さ）とする。
【００２２】
以上ように図８の処理によれば、面積比率ＲＡＴＥが所定比率ＲＡＴＥＴＨより小さいときは、水平方向の長さが所定長さｍＴＨ以上の領域が対象物から除かれるので、例えば高温となったガードレールなどと抽出したい対象物とが１つの対象物として抽出された場合でも、これらを分離して抽出することが可能となる。
【００２３】
抽出された対象物については、２つカメラ１Ｒ、１Ｌより得られる画像に基づいて自車両からの距離が算出され、衝突の可能性の判定が行われるので、対象物を正確に抽出することにより、衝突判定などを正確に行うことが可能となる。
また図９（ｂ）に示すように３つに分割された対象物１，２，３は、その後の追跡データに基づいて一体化して認識することも可能である。
本実施形態では、画像処理ユニット２が対象物抽出装置を構成する。
【００２４】
【発明の効果】
以上詳述したように本発明によれば、対象物を含む外接四角形の画像上の面積に対するその対象物の画像上の面積の比率が算出され、該面積比率が所定比率より小さいときは、対象物の画像の水平方向の長さが所定長さ以上の領域が対象物の画像から除かれて前記対象物が抽出される。さらに抽出された対象物について、自車両からの距離が算出され、前記抽出処理を実行した後に前記所定長さを減少させる処理が行われ、前記所定長さを減少させた後に前記抽出処理が前記所定長さが所定値に達するまで繰り返し実行される。このような処理により、例えば高温の対象物とガードレールとが重なって抽出されたような場合でも、その対象物を分離して抽出することが可能となる。したがって、このようにして抽出された対象物について、自車両からの距離の算出を行うことにより、衝突の可能性の判定を正確に行うことが可能となる。
【図面の簡単な説明】
【図１】図１は本発明の一実施形態にかかる対象物抽出装置を含む、車両の前方監視装置の構成を示す図である。
【図２】カメラの配置を説明するための図である。
【図３】対象物抽出の手順を示すフローチャートである。
【図４】図３の二値化処理のフローチャートである。
【図５】グレースケール画像及び二値化画像を説明するための図である。
【図６】輝度値のヒストグラムを示す図である。
【図７】ランレングスデータ及びラベリングを説明するための図である。
【図８】背景との分離処理のフローチャートである。
【図９】図８の処理を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（対象物抽出装置）
Claims (4)
- 撮像手段により得られる画像から対象物を抽出する対象物抽出装置において、
前記撮像手段は、赤外線を検出可能なものであり、
前記対象物を含み、前記対象物に外接する外接四角形の前記画像上の面積に対する前記対象物の前記画像上の面積の比率を算出し、該面積比率が所定比率より小さいときは、前記対象物の画像の水平方向の長さが所定長さ以上の領域を前記対象物の画像から除くことにより、前記対象物を分割して抽出する抽出処理を行う抽出処理手段と、
前記抽出処理手段により抽出された対象物について、自車両からの距離を算出する距離算出手段とを備え、
前記抽出処理手段は、前記抽出処理を実行した後に前記所定長さを減少させる処理を行い、前記所定長さを減少させた後に前記抽出処理を前記所定長さが所定値に達するまで繰り返し実行することを特徴とする対象物抽出装置。 - 前記所定値は、予め設定した距離における抽出したい対象物の、画像上での通常の水平方向の長さに設定されることを特徴とする請求項１に記載の対象物抽出装置。
- 前記所定長さの初期値は、前記撮像手段により撮像される全体画像の水平方向の幅の１／３程度に設定されることを特徴とする請求項１または２に記載の対象物抽出装置。
- 前記所定長さは、前回の所定長さの１／２に減少させることを特徴とする請求項１から３の何れか１項に記載の対象物抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19959099A JP4204708B2 (ja) | 1999-07-13 | 1999-07-13 | 対象物抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19959099A JP4204708B2 (ja) | 1999-07-13 | 1999-07-13 | 対象物抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001028100A JP2001028100A (ja) | 2001-01-30 |
| JP4204708B2 true JP4204708B2 (ja) | 2009-01-07 |
Family
ID=16410388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19959099A Expired - Fee Related JP4204708B2 (ja) | 1999-07-13 | 1999-07-13 | 対象物抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4204708B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3987057B2 (ja) | 2004-06-14 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP6254870B2 (ja) * | 2014-02-20 | 2017-12-27 | 株式会社Ｓｕｂａｒｕ | 車外環境認識装置 |
-
1999
- 1999-07-13 JP JP19959099A patent/JP4204708B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001028100A (ja) | 2001-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6690011B2 (en) | Infrared image-processing apparatus | |
| US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| WO2019026785A1 (ja) | 付着物検出装置、および、それを備えた車両システム | |
| WO2011108218A1 (ja) | 車両の周辺監視装置 | |
| WO2010047054A1 (ja) | 車両の周辺監視装置 | |
| JP4528283B2 (ja) | 車両周辺監視装置 | |
| JP4334686B2 (ja) | 車両の画像表示装置 | |
| JP3849505B2 (ja) | 障害物監視装置及びプログラム | |
| JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
| WO2010007718A1 (ja) | 車両周辺監視装置 | |
| JP2002314989A (ja) | 車両用周辺監視装置 | |
| Cualain et al. | Multiple-camera lane departure warning system for the automotive environment | |
| JP3910345B2 (ja) | 位置検出装置 | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| JP2002321579A (ja) | 警告情報生成方法及び車両側方映像生成装置 | |
| KR101620425B1 (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
| JP2001160146A (ja) | 画像認識方法および画像認識装置 | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JP4204708B2 (ja) | 対象物抽出装置 | |
| KR101865958B1 (ko) | 속도 제한 표지판 인식 장치 및 방법 | |
| JP3949628B2 (ja) | 車両の周辺監視装置 | |
| US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
| JP4162868B2 (ja) | 対象物抽出装置 | |
| JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081015 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |