JP4457077B2

JP4457077B2 - 障害物検出システム、及び障害物検出方法

Info

Publication number: JP4457077B2
Application number: JP2006031519A
Authority: JP
Inventors: 裕昭齋藤; 龍介宮本; 裕揮菅野
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-02-08
Filing date: 2006-02-08
Publication date: 2010-04-28
Anticipated expiration: 2026-02-08
Also published as: JP2007214806A

Description

本発明は、夜間に車両の外部を撮像する遠赤外線撮像装置及び近赤外線撮像装置で撮像した画像データに基づいて、精度良く障害物の存在を検出することができる障害物検出システム、及び障害物検出方法に関する。

自動車等の車両に、照度が低く可視光カメラでは撮像することが困難な夜間であっても周囲を撮像することが可能な赤外線撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。赤外線撮像装置は、近赤外線を用いるもの及び遠赤外線を用いるものの２種類に大別されている。

例えば遠赤外線撮像装置を用いた障害物検出システムは、撮像した画像に対してノイズ除去処理、及び二値化処理を施してから障害物が存在する可能性のある領域である障害物候補領域を抽出する。さらに道路を示す領域を抽出することにより、障害物候補領域を拡張することができ、該障害物候補領域から特徴量を抽出して、画像中に存在する歩行者、自転車等の障害物を検出している（非特許文献１参照）。

しかし、遠赤外線撮像装置で撮像した画像は、近赤外線撮像装置で撮像された画像に比較して輪郭情報が少ないことから、近赤外線撮像装置を用いた障害物検出システムも開発されている。近赤外線撮像装置を用いた障害物検出システムは、遠赤外線撮像装置を用いた障害物検出システムに比べて比較的輪郭情報が豊富であり、撮像された画像から同一の特徴量を抽出した場合、より精度良く画像認識処理を行うことができる（非特許文献２参照）。
H.Xu、他２名、「ナイトビジョンによる歩行者検出及び追尾（Pedestrian Detection and Tracking with Night Vision）」、ＩＥＥＥ知的車両シンポジウム、ｐ．６３−７１、２００５年３月 H.Sun、他２名、「移動車両に搭載した近赤外カメラを用いる夜間の歩行者検出アルゴリズムに基づく多段階分類器」、ＩＣＩＧ２００４、ｐ．１２０−１２３、２００４年１２月

上述した遠赤外線撮像装置で撮像された画像は、可視光を用いた画像とは異なり、撮像された対象物の境界が鮮明ではないという特徴を有する。したがって、遠赤外線撮像装置を用いた障害物検出システムは、境界抽出を利用した道路を示す領域の抽出が困難であった。また、映像の周波数分解能が低いため障害物判定時に使用できる特徴量が少なく、認識精度を高めることが困難であった。

一方、上述した近赤外線撮像装置で撮像された画像は、遠赤外線撮像装置で撮像された画像よりも鮮明であり、境界抽出を利用した道路を示す領域の抽出が比較的容易であり、障害物判定時に使用できる特徴量も多いことから、認識精度を高めることができる。しかし、温度情報に基づく遠赤外線撮像装置では障害物候補領域を容易に抽出することができるのに対して、近赤外線撮像装置では障害物候補領域を抽出することが困難であり、例えば対向車両のヘッドライトのような外乱光の影響を受けやすいことから、夜間に対向車両が走行する道路等の撮像領域に他の光源が存在する場合には、画像認識することが可能な画像を取得することが困難となるという問題点があった。

本発明は、斯かる事情に鑑みてなされたものであり、遠赤外線撮像装置及び近赤外線撮像装置を搭載することにより、遠赤外線撮像装置のみ、又は近赤外線撮像装置のみを用いる場合の問題点を相互に補完し、高い精度で障害物を検出することができる障害物検出システム、及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する特徴量抽出手段と、抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。

第２発明に係る障害物検出システムは、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、前記検出装置は、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する特徴量抽出手段と、抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。

第３発明に係る障害物検出システムは、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置とを備える障害物検出システムにおいて、周辺の光量を取得する光量取得手段を前記検出装置に、又は別個に備えており、前記検出装置は、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、前記光量取得手段で取得した光量が所定値より小さいか否かを判断する判断手段と、該判断手段で光量が所定値より小さいと判断した場合、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する第一の特徴量抽出手段と、前記判断手段で光量が所定値以上であると判断した場合、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する第二の特徴量抽出手段と、抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段とを備えることを特徴とする。

第４発明に係る障害物検出システムは、第１乃至第３発明のいずれか１つにおいて、前記路面領域検出手段は、画像のエッジに基づいて路面を示す領域を検出することを特徴とする。

第５発明に係る障害物検出システムは、第１乃至第３発明のいずれか１つにおいて、前記路面領域検出手段は、画像にハフ変換を施して路面を示す領域を検出することを特徴とする。

第６発明に係る障害物検出システムは、第１乃至第５発明のいずれか１つにおいて、前記遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置してあることを特徴とする。

第７発明に係る障害物検出方法は、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、路面を示す領域に基づいて、前記障害物候補領域を拡張し、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする。

第８発明に係る障害物検出方法は、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、路面を示す領域に基づいて、前記障害物候補領域を拡張し、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする。

第９発明に係る障害物検出方法は、車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、路面を示す領域に基づいて、前記障害物候補領域を拡張し、周辺の光量を取得し、取得した光量が所定値より小さいか否かを判断し、光量が所定値より小さいと判断した場合、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、光量が所定値以上であると判断した場合、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする。

第１０発明に係る障害物検出方法は、第７乃至第９発明のいずれか１つにおいて、画像のエッジに基づいて路面を示す領域を検出することを特徴とする。

第１１発明に係る障害物検出方法は、第７乃至第９発明のいずれか１つにおいて、画像にハフ変換を施して路面を示す領域を検出することを特徴とする。

第１２発明に係る障害物検出方法は、第７乃至第１１発明のいずれか１つにおいて、前記遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置することを特徴とする。

第１発明、及び第７発明では、車両の周辺を撮像する遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する一方、車両の周辺を撮像する近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する。検出した路面を示す領域に基づいて、障害物候補領域を拡張し、遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。これにより、近赤外線撮像装置で撮像された画像に基づいて路面を示す領域を検出することにより、遠赤外撮像装置で撮像された画像に基づいた場合よりも正確に路面を示す情報を取得することができ、遠赤外線撮像装置のみを用いる場合と比較して、より正確に障害物候補領域を特定することが可能となる。したがって、特徴量をより高い精度で抽出することができ、障害物の判定精度を高めることが可能となる。

第２発明、及び第８発明では、車両の周辺を撮像する遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、車両の周辺を撮像する近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する。検出された路面を示す領域に基づいて、障害物候補領域を拡張し、近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。これにより、特徴量の抽出を輪郭情報が豊富な近赤外撮像装置で撮像された画像に基づいて行うことにより、障害物の認識精度の高い特徴量を抽出することができ、より高い精度で障害物の存在を判定することが可能となる。

第３発明、及び第９発明では、車両の周辺を撮像する遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、車両の周辺を撮像する近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する。路面を示す領域に基づいて、障害物候補領域を拡張し、取得した周辺の光量が所定値より小さいか否かを判断する。光量が所定値より小さいと判断した場合、近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、光量が所定値以上であると判断した場合、遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。これにより、車両周辺の外乱光が少ない場合には、近赤外線撮像装置で撮像された画像に基づいて画像の特徴量を抽出し、車両周囲の外乱光が多い場合には、外乱光の影響を受けにくい遠赤外線撮像装置で撮像された画像に基づいて画像の特徴量を抽出することができ、周辺の光量に応じて障害物の判定に用いる特徴量の抽出精度を高く維持することができ、より高い精度で障害物の存在を判定することが可能となる。

第４発明、及び第１０発明では、画像のエッジに基づいて路面を示す領域を検出する。これにより、路面を示す領域をより正確に特定することができ、障害物が存在する障害物候補領域を適切に拡張することが可能となる。

第５発明、及び第１１発明では、画像にハフ変換を施して路面を示す領域を検出する。路面を示す領域をより正確に特定することができ、障害物が存在する障害物候補領域を適切に拡張することが可能となる。

第６発明、及び第１２発明では、遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置する。これにより、撮像対象物を遠赤外線撮像装置及び近赤外線撮像装置で撮像した場合、遠赤外線撮像装置及び近赤外線撮像装置で撮像した両画像の中で対象物の大きさ及び位置が略同一であり、障害物の判定精度をより高めることが可能となる。

第１発明、及び第７発明によれば、近赤外線撮像装置で撮像された画像に基づいて路面を示す領域を検出することにより、遠赤外線撮像装置で撮像された画像に基づいた場合よりも正確に路面を示す情報を取得することができ、遠赤外線撮像装置のみを用いる場合と比較して、より正確に障害物候補領域を特定することが可能となる。したがって、特徴量をより高い精度で抽出することができ、障害物の判定精度を高めることが可能となる。

第２発明、及び第８発明によれば、特徴量の抽出を輪郭情報が豊富な近赤外線撮像装置で撮像された画像に基づいて行うことにより、障害物の認識精度の高い特徴量を抽出することができ、より高い精度で障害物の存在を判定することが可能となる。

第３発明、及び第９発明によれば、車両周辺の外乱光が少ない場合には、近赤外線撮像装置で撮像された画像に基づいて画像の特徴量を抽出し、車両周囲の外乱光が多い場合には、外乱光の影響を受けにくい遠赤外線撮像装置で撮像された画像に基づいて画像の特徴量を抽出することができ、周辺の光量に応じて障害物の判定に用いる特徴量の抽出精度を高く維持することができ、より高い精度で障害物の存在を判定することが可能となる。

第４発明、第５発明、第１０発明、及び第１１発明によれば、路面を示す領域をより正確に特定することができ、障害物が存在する障害物候補領域を適切に拡張することが可能となる。

第６発明、及び第１２発明によれば、撮像対象物を遠赤外線撮像装置及び近赤外線撮像装置で撮像した場合、遠赤外線撮像装置及び近赤外線撮像装置で撮像した両画像の中で対象物の大きさ及び位置が略同一であり、障害物の判定精度をより高めることが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、夜間走行中に遠赤外線撮像装置及び近赤外線撮像装置で撮像された画像に基づいて車両の前方に障害物、例えば歩行者、自転車等の存在を検出する場合を例として説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態１では、夜間走行中に周辺の画像を撮像する遠赤外線撮像装置１及び近赤外線撮像装置２を、車両前方の中央近傍のフロントグリル内に搭載している。なお、遠赤外線撮像装置１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置であり、近赤外線撮像装置２は、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である。
前記遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置してあることを特徴とする。

図１において、遠赤外線撮像装置１及び近赤外線撮像装置２は、車両のフロントグリル内の中央近傍に、略上下方向に並置してある。遠赤外線撮像装置１及び近赤外線撮像装置２は、視野角及び焦点距離が略同一であり、光軸が略一致するように設置してあれば、上下方向に並置することに限定されるものではない。遠赤外線撮像装置１及び近赤外線撮像装置２で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１、近赤外線撮像装置２の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態１に係る障害物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をＲＧＢ信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。

近赤外線撮像装置２の構成は、遠赤外線撮像装置１と同様であり、撮像素子として用いるＣＣＤ、ＣＭＯＳ等の赤外線センサが検出可能な赤外光の波長が、０．８〜３マイクロメートルの近赤外光である点のみが相違している。

図３は、本発明の実施の形態１に係る障害物検出システムの検出装置３の構成を示すブロック図である。映像入力部３１ａは、遠赤外線撮像装置１及び近赤外線撮像装置２から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１及び近赤外線撮像装置２から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１及び近赤外線撮像装置２から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、障害物候補領域を特定する。一方、ＬＳＩ３３は、近赤外線撮像装置２から取得した画像データに基づいて、路面を示す領域を検出し、障害物候補領域を拡張する。路面を示す領域の検出方法は特に限定されるものではなく、画像にハフ（Ｈｏｕｇｈ）変換を施す方法であっても良いし、画像のエッジを抽出する方法であっても良い。

ＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある遠赤外線撮像装置１及び近赤外線撮像装置２から取得した画像データを読み出す（ステップＳ４０１）。図５は、遠赤外線撮像装置１及び近赤外線撮像装置２で同一の対象を撮像した場合の画像イメージを示す図であり、図５（ａ）は遠赤外線撮像装置１で撮像した画像イメージを、図５（ｂ）は近赤外線撮像装置２で撮像した画像イメージを、それぞれ示している。図５（ａ）及び（ｂ）を対比することで明らかなように、遠赤外線撮像装置１で撮像した画像イメージより、近赤外線撮像装置２で撮像した画像イメージの方が、撮像されている対象物の輪郭が明確になっている。

ＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データを二値化処理し（ステップＳ４０２）、二値化された画像データに基づいて障害物候補領域座標を取得する（ステップＳ４０３）。二値化処理は、遠赤外線撮像装置１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。

二値化処理は、例えば撮像素子ごとに所定の閾値Ｑより大きい輝度値を有するか否かを判断し、ＬＳＩ３３が、所定の撮像素子が所定の閾値Ｑより大きい輝度値を有すると判断した場合、ＬＳＩ３３は、該撮像素子の輝度値を‘１’に、所定の閾値Ｑ以下の輝度値を有すると判断した場合、該撮像素子の輝度値を‘０’に、それぞれ補正する。

二値化処理の実行時に用いる閾値Ｑは、特に限定されるものではない。例えば、画像内の平均輝度値Ｖ_AVE及び最大輝度値Ｖ_MAXを用いて、（数１）に従って算出しても良い。（数１）において、α、βは、０≦α≦１、０≦β≦１、α＋β＝１の値をとる係数である。

（数１）Ｑ＝α×Ｖ_AVE＋β×Ｖ_MAX

なお、二値化処理後の画像データでは、閾値近傍の輝度値を有する物体が、複数の候補領域に分離してしまう場合がある。したがって、Ｍｏｒｐｈｏｌｏｇｉｃａｌ処理等を用いることで分離した候補領域を結合し、障害物候補領域として抽出することが望ましい。Ｍｏｒｐｈｏｌｏｇｉｃａｌ処理は例えばＯｐｅｎｉｎｇ等を用いる。図６は、Ｍｏｒｐｈｏｌｏｇｉｃａｌ処理の一例を説明する画像イメージ図である。図６では、障害物として歩行者を画面右側の領域で検出しようとした場合に、二値化処理することで、図６（ａ）に示すように、画面右側にて障害物候補領域が複数の候補領域に分離している。この状態では、障害物として歩行者の存在を正しく認識することができない。そこで図６（ｂ）に示すように、Ｏｐｅｎｉｎｇ処理することにより、分離した候補領域を結合し、１つの障害物候補領域として抽出することにより、障害物候補領域の座標をより正確に取得することが可能となる。

一方、ＬＳＩ３３は、近赤外線撮像装置２から取得した画像データに基づいて、路面を示す領域を検出する（ステップＳ４０４）。なお、図５（ａ）より図５（ｂ）の方が輪郭情報が豊富であることから、路面を示す領域を検出する処理は、近赤外線撮像装置２で撮像した画像に基づいて行うことが好ましいが、遠赤外線撮像装置１で撮像した画像に基づいて行っても良い。また、路面を示す領域を検出する方法は特に限定されるものではなく、例えば画像のエッジ抽出による方法であっても良いし、画像にハフ（Ｈｏｕｇｈ）変換を施す方法であっても良い。

図７は、オペレータとして例えばＣａｎｎｙを用いた場合の画像のエッジ抽出状態を示す図である。図７に示すように、遠赤外線撮像装置１で撮像した画像データに基づいたエッジ抽出結果よりも多くの輪郭情報を有する結果となる。ＬＳＩ３３は、抽出されたエッジを明確にすべくノイズ除去処理を実行する。図８は、ノイズ除去後のエッジ抽出結果から得られた、路面を示す領域を示す図である。

図８に示すように、エッジが存在しない領域８１、８２が路面候補領域として検出されている。一般に路面は下方に存在することから、複数の候補領域が検出された場合、下方の候補領域を路面を示す領域として検出する。本実施の形態１では、領域８２を路面を示す領域として検出する。

ＬＳＩ３３は、検出された路面を示す領域に基づいて、障害物候補領域を拡張する（ステップＳ４０５）。具体的には、検出された路面を示す領域まで、障害物候補領域を拡張し、新たな障害物候補領域とする。図９は、障害物候補領域と路面を示す領域とを重ね合わせた状態を示す図である。図９に示すように、障害物候補領域を路面まで拡張して、新たな障害物候補領域９２、９２、・・・を矩形領域として特定している。

ＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する（ステップＳ４０６）。抽出する画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等を用いることができる。

ＬＳＩ３３は、障害物候補領域９２、９２、・・・から抽出された特徴量に基づいて障害物の存否を判定する（ステップＳ４０７）。例えば、障害物判定処理方法は特に限定されるものではなく、例えば学習機械を用いて判定しても良い。

この場合、特徴量に応じた判定基準を事前に学習機械に学習させておき、抽出された特徴量に応じて障害物の存否を判定することになる。学習機械とは、人工知能における研究の一分野で、人間が自然に行っている学習能力と同様の機能を持たせたコンピュータ・手法である。具体的には、ある程度の数のサンプルデータ集合を解析し、これらのデータから有用な規則、ルール、知識表現、判断基準などを抽出する。学習機械としては、サポートベクタマシン、ニューラルネットワーク、ブースティング等に基づくものを用いることができる。

以上のように本実施の形態１によれば、近赤外線撮像装置２で撮像された画像に基づいて路面を示す領域を検出することにより、遠赤外線撮像装置１で撮像された画像に基づいた場合よりも正確に路面を示す情報を取得することができ、遠赤外線撮像装置１のみを用いる場合と比較して、より正確に障害物候補領域を特定することが可能となる。したがって、特徴量をより高い精度で抽出することができ、障害物の判定精度を高めることが可能となる。

（実施の形態２）
以下、本発明の実施の形態２に係る障害物検出システムについて図面を参照しながら説明する。なお、実施の形態２に係る障害物検出システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、特徴量の抽出処理を近赤外線撮像装置２で撮像された画像データに基づいて実行する点において実施の形態１と相違する。

ＬＳＩ３３は、近赤外線撮像装置２から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１０は、本発明の実施の形態２に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出す（ステップＳ１００１）。ＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データを二値化処理し（ステップＳ１００２）、二値化された画像データに基づいて障害物候補領域座標を取得する（ステップＳ１００３）。二値化処理は、遠赤外線撮像装置１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。

一方、ＬＳＩ３３は、近赤外線撮像装置２から取得した画像データに基づいて、路面を示す領域を検出する（ステップＳ１００４）。なお、図５から明らかなように、近赤外線撮像装置２で撮像した画像の方が遠赤外線撮像装置１で撮像した画像よりも輪郭情報が豊富であることから、路面を示す領域を検出する処理は、近赤外線撮像装置１で撮像した画像に基づいて行うことが好ましいが、遠赤外線撮像装置１で撮像した画像に基づいて行っても良い。また、路面を示す領域を検出する方法は特に限定されるものではなく、例えば画像のエッジ抽出による方法であっても良いし、画像にハフ（Ｈｏｕｇｈ）変換を施す方法であっても良い。

ＬＳＩ３３は、検出された路面を示す領域に基づいて、障害物候補領域を拡張する（ステップＳ１００５）。具体的には、検出された路面を示す領域まで、障害物候補領域を拡張して、新たな障害物候補領域とする。

ＬＳＩ３３は、近赤外線撮像装置１から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する（ステップＳ１００６）。抽出する画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等を用いることができる。

ＬＳＩ３３は、障害物候補領域から抽出された特徴量に基づいて障害物の存否を判定する（ステップＳ１００７）。例えば、障害物判定処理方法は特に限定されるものではなく、例えば学習機械を用いて判定しても良い。

この場合、特徴量に応じた判定基準を事前に学習機械に学習させておき、抽出された特徴量に応じて障害物の存否を判定することになる。学習機械としては、サポートベクタマシン、ニューラルネットワーク、ブースティング等に基づくものを用いることができる。

以上のように本実施の形態２によれば、近赤外線撮像装置２で撮像された画像に基づいて路面を示す領域を検出することにより、遠赤外線撮像装置１で撮像された画像に基づいた場合よりも正確に路面を示す情報を取得することができ、遠赤外線撮像装置１のみを用いる場合と比較して、より正確に障害物候補領域を特定することが可能となる。また、特徴量の抽出を輪郭情報が豊富な近赤外線撮像装置２で撮像された画像に基づいて行うことにより、障害物の認識精度の高い特徴量を抽出することができ、より高い精度で障害物の存在を判定することが可能となる。

（実施の形態３）
以下、本発明の実施の形態３に係る障害物検出システムについて図面を参照しながら説明する。図１１は、本発明の実施の形態３に係る障害物検出システムの構成を示す模式図である。

本実施の形態３に係る障害物検出システムの構成は実施の形態１と実質同一である。したがって、同一の構成については、同一の符号を付することにより詳細な説明を省略する。本実施の形態３では、車両の周囲の光量を検出する光センサ９をフロントグリル内に搭載しており、特徴量の抽出処理を、光センサ９が検出した光量に応じて、遠赤外線撮像装置１で撮像された画像データに基づいて実行するか、近赤外線撮像装置２で撮像された画像データに基づいて実行するか、いずれかを判断する点において実施の形態１と相違する。

図１２は、本発明の実施の形態３に係る障害物検出システムの光センサ９の構成を示すブロック図である。光センサ９は、外部光を受光し電流を出力する光電素子９１と、出力された電流値を出力信号として検出装置３へ出力する出力インタフェース９３とで構成されている。外部光を電流値へ変換する光電素子９１は特に限定されるものではなく、本実施の形態３ではフォトダイオード９２を用いている。

ＬＳＩ３３での詳細な処理について以下に説明する。図１３は、本発明の実施の形態３に係る障害物検出システムの検出装置３のＬＳＩ３３の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出す（ステップＳ１３０１）。ＬＳＩ３３は、遠赤外線撮像装置１から取得した画像データを二値化処理し（ステップＳ１３０２）、二値化された画像データに基づいて障害物候補領域座標を取得する（ステップＳ１３０３）。二値化処理は、遠赤外線撮像装置１から取得した画像データのヒストグラム補正、いわゆるヒストグラム等化処理を行った後に二値化処理を実行する。

一方、ＬＳＩ３３は、近赤外線撮像装置２から取得した画像データに基づいて、路面を示す領域を抽出する（ステップＳ１３０４）。なお、図５から明らかなように、近赤外線撮像装置２で撮像した画像の方が遠赤外線撮像装置１で撮像した画像よりも輪郭情報が豊富であることから、路面を示す領域を検出する処理は、近赤外線撮像装置１で撮像した画像に基づいて行うことが好ましいが、遠赤外線撮像装置１で撮像した画像に基づいて行っても良い。また、路面を示す領域を検出する方法は特に限定されるものではなく、例えば画像のエッジ抽出による方法であっても良いし、画像にハフ（Ｈｏｕｇｈ）変換を施す方法であっても良い。

ＬＳＩ３３は、検出された路面を示す領域に基づいて、障害物候補領域を拡張する（ステップＳ１３０５）。具体的には、検出された路面を示す領域まで、障害物候補領域を拡張して、新たな障害物候補領域とする。

また、ＬＳＩ３３は、光センサ９からの光量を出力電流値として取得し（ステップＳ１３０６）、出力電流値が所定値より小さいか否かを判断する（ステップＳ１３０７）。ＬＳＩ３３が、出力値が所定値より小さいと判断した場合（ステップＳ１３０７：ＹＥＳ）、ＬＳＩ３３は、車両の周囲に外乱光が存在しないものと判断し、近赤外線撮像装置２から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する（ステップＳ１３０８）。抽出する画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等を用いることができる。

ＬＳＩ３３が、出力値が所定値以上であると判断した場合（ステップＳ１３０７：ＮＯ）、ＬＳＩ３３は、車両の周囲に外乱光が存在する、例えば対向車両のヘッドランプの照射を受けているものと判断し、遠赤外線撮像装置１から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する（ステップＳ１３０９）。抽出する画像の特徴量は、例えばＨａａｒ特徴、４方向面特徴、輪郭情報、Ｖｉｏｌａ−Ｊｏｎｅｓの手法により取得される特徴等を用いることができる。

このように、車両の周囲に外乱光が存在するか否かによって、近赤外線撮像装置２で撮像した画像データに基づいて特徴量を抽出するか、遠赤外線撮像装置１で撮像した画像データに基づいて特徴量を抽出するかを決定することにより、外乱光により撮像画像が影響を受けやすい近赤外線撮像装置２で撮像した画像データは外乱光が少ない場合にのみ用い、外乱光が存在する場合には影響を受けにくい遠赤外線撮像装置１で撮像した画像データを用いるように切り換えることができる。

ＬＳＩ３３は、障害物候補領域から抽出された特徴量に基づいて障害物の存否を判定する（ステップＳ１３１０）。障害物判定処理方法は特に限定されるものではなく、例えば学習機械を用いて判定しても良い。

以上のように本実施の形態３によれば、車両周囲の外乱光が少ない場合には、輪郭情報が比較的多量に存在する近赤外線撮像装置２で撮像された画像に基づいて画像の特徴量を抽出し、車両周囲の外乱光が多い場合には、外乱光の影響を受けにくい遠赤外線撮像装置１で撮像された画像に基づいて画像の特徴量を抽出することができ、周囲の状況に左右されることなく障害物が存在する候補領域をより確実に特定することができ、障害物の検出漏れ、誤検出等を未然に防止することが可能となる。

なお、上述した実施の形態３では、遠赤外線撮像装置１及び近赤外線撮像装置２とは別個独立した光センサ９を搭載した場合を例に挙げて説明しているが、光センサ９は、遠赤外線撮像装置１、近赤外線撮像装置２等の一体型であっても良い。また、光量を検出する手段は光センサ９に限定されるものではなく、例えば光センサ９を設けず、近赤外撮像装置２の画像の輝度情報に基づいて光量を検出して同様の処理を実行しても良い。この場合、所定値以上の輝度値を有する画素が、画面内で一定数以上存在するか否かに基づいて、周辺の光量を推定することができる。

また、上述した実施の形態１乃至３では、遠赤外線撮像装置１及び近赤外線撮像装置２を１個ずつ搭載した場合を例に挙げて説明しているが、遠赤外線撮像装置１及び近赤外線撮像装置２の個数、搭載位置等は特に上述した実施の形態に限定されるものではない。例えばステレオ視により障害物までの測距処理を実行することができるように、遠赤外線撮像装置１及び近赤外線撮像装置２を、車両前方の左右に並置するものであっても良い。

さらに、上述した実施の形態１乃至３では、検出装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本発明の実施の形態１に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。本発明の実施の形態１に係る障害物検出システムの検出装置の構成を示すブロック図である。本発明の実施の形態１に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。遠赤外線撮像装置及び近赤外線撮像装置で同一の対象を撮像した場合の画像イメージを示す図である。Ｍｏｒｐｈｏｌｏｇｉｃａｌ処理の一例を説明する画像イメージ図である。オペレータとしてＣａｎｎｙを用いた場合のエッジ抽出状態を示す図である。ノイズ除去後のエッジ抽出結果から得られた、路面を示す領域を示す図である。障害物が存在する候補領域と路面を示す領域とを重ね合わせた状態を示す図である。本発明の実施の形態２に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。本発明の実施の形態３に係る障害物検出システムの構成を示す模式図である。本発明の実施の形態３に係る障害物検出システムの光センサの構成を示すブロック図である。本発明の実施の形態３に係る障害物検出システムの検出装置のＬＳＩの障害物検出処理の手順を示すフローチャートである。

符号の説明

１遠赤外線撮像装置
２近赤外線撮像装置
３検出装置
４表示装置
５警報装置
６車載ＬＡＮケーブル
７映像ケーブル
８ケーブル
９光センサ
３１ａ映像入力部
３１ｂ映像出力部
３１ｃ映像出力部
３２画像メモリ
３３ＬＳＩ
３３１ＲＡＭ

Claims

車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、
該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、
路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、
前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、
該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
前記検出装置は、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、
路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、
前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置と、
該遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する検出装置と
を備える障害物検出システムにおいて、
周辺の光量を取得する光量取得手段を前記検出装置に、又は別個に備えており、
前記検出装置は、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出する路面領域検出手段と、
路面を示す領域に基づいて、前記障害物候補領域を拡張する障害物候補領域拡張手段と、
前記光量取得手段で取得した光量が所定値より小さいか否かを判断する判断手段と、
該判断手段で光量が所定値より小さいと判断した場合、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する第一の特徴量抽出手段と、
前記判断手段で光量が所定値以上であると判断した場合、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出する第二の特徴量抽出手段と、
抽出された特徴量に基づいて障害物が存在するか否かを判定する障害物判定手段と
を備えることを特徴とする障害物検出システム。
前記路面領域検出手段は、画像のエッジに基づいて路面を示す領域を検出することを特徴とする請求項１乃至３のいずれか一項に記載の障害物検出システム。
前記路面領域検出手段は、画像にハフ変換を施して路面を示す領域を検出することを特徴とする請求項１乃至３のいずれか一項に記載の障害物検出システム。
前記遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置してあることを特徴とする請求項１乃至５のいずれか一項に記載の障害物検出システム。
車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、
路面を示す領域に基づいて、前記障害物候補領域を拡張し、
前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、
抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする障害物検出方法。
車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、
路面を示す領域に基づいて、前記障害物候補領域を拡張し、
前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、
抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする障害物検出方法。
車両の周辺を撮像する遠赤外線撮像装置及び近赤外線撮像装置それぞれで撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出方法において、
前記遠赤外線撮像装置から取得した画像データに基づいて障害物候補領域を特定し、
前記近赤外線撮像装置から取得した画像データに基づいて、路面を示す領域を検出し、
路面を示す領域に基づいて、前記障害物候補領域を拡張し、
周辺の光量を取得し、
取得した光量が所定値より小さいか否かを判断し、
光量が所定値より小さいと判断した場合、前記近赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、
光量が所定値以上であると判断した場合、前記遠赤外線撮像装置から取得した画像データに基づいて、拡張された障害物候補領域から特徴量を抽出し、
抽出された特徴量に基づいて障害物が存在するか否かを判定することを特徴とする障害物検出方法。
画像のエッジに基づいて路面を示す領域を検出することを特徴とする請求項７乃至９のいずれか一項に記載の障害物検出方法。
画像にハフ変換を施して路面を示す領域を検出することを特徴とする請求項７乃至９のいずれか一項に記載の障害物検出方法。
前記遠赤外線撮像装置及び近赤外線撮像装置は、視野角及び焦点距離が略同一である場合、光軸が略一致するように設置することを特徴とする請求項７乃至１１のいずれか一項に記載の障害物検出方法。