JP4404047B2

JP4404047B2 - 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム

Info

Publication number: JP4404047B2
Application number: JP2005349877A
Authority: JP
Inventors: 政信西村; 裕昭齋藤
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2005-12-02
Filing date: 2005-12-02
Publication date: 2010-01-27
Anticipated expiration: 2025-12-02
Also published as: JP2007153087A

Description

本発明は、夜間に車両の外部を撮像する遠赤外撮像装置が撮像した画像データに基づいて、走行する道路が曲がっているか否かを考慮して検出した障害物との衝突可能性判定の精度を高める障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラムに関する。

自動車等の車両に周囲を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を認識し、障害物の動きを検出することにより自車両との衝突の可能性を判定する衝突判定システムが開発されている。

例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を抽出し、ステレオ視により該領域までの距離及び車両に対する相対移動ベクトルを算出することにより、障害物との衝突の可能性を判定している（非特許文献１参照）。

そして、衝突する可能性の算出精度を高めるため、例えば特許文献１では、撮像手段により取得した画像データに含まれる障害物との実際の相対位置を時系列的に算出し、算出した実際の相対位置を直線近似することにより、障害物の自車両との相対的な移動ベクトルを算出し、自車両と衝突する可能性の高低を判定していた。
特開２００１−００６０９６号公報「ホンダアールアンドディーテクニカルレビュー (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月

上述した従来の衝突判定システムでは、進行方向の道路が直線であることを前提として衝突判定を行っている。しかし、進行方向の道路が直線でない場合には、衝突するおそれがないときであっても衝突する可能性が高いものと判断される可能性がある。

例えば進行方向の道路が左右に曲がっている場合、正面に障害物が検出されたときには本来衝突するおそれはない。しかし、道路が直線であることを前提としていることから、衝突の可能性があるとの警告が運転者になされることにより、不要な警告がなされることになり、却って安全運転を阻害する。

また、本来は曲がっている道路上に障害物がある場合であっても、衝突するおそれがないものと判断され、衝突直前まで運転者へ警告を通知することができないおそれがあり、安全に走行することができないという問題点もあった。

本発明は、斯かる事情に鑑みてなされたものであり、白線を検出することなく、遠赤外光撮像装置で撮像した画像に基づいて前方の道路の曲がり具合を推定することにより、障害物との衝突可能性を精度良く判定することができる障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る障害物衝突判定システムは、車両の周辺を撮像する遠赤外撮像装置と、該遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、検出した障害物との衝突の可能性を判定する判定装置とを備える障害物衝突判定システムにおいて、前記判定装置は、前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段と、抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段と、前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段と、前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段とを備え、前記曲率半径算出手段は、所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とをさらに備え、該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とする。

また、第２発明に係る障害物衝突判定システムは、第１発明において、前記遠赤外撮像装置の所定の視野角、設置高さ、及び撮像する俯角を記憶しておき、記憶してある視野角、高さ及び俯角と、前記遠赤外撮像装置が設置された状態での視野角、高さ及び俯角とを比較して、画像内の縦長エッジの下端間距離及び下端位置データを更新する更新手段を備えることを特徴とする。

また、第３発明に係る障害物衝突判定システムは、第１又は第２発明において、車両のヨーイング角度を検出するヨーセンサを備え、前記ヨーセンサの検出値に基づいて、前記曲率半径算出手段で算出した前方の道路の曲率半径を補正するようにしてあることを特徴とする。
また、第４発明に係る判定装置は、遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、検出した障害物との衝突の可能性を判定する判定装置において、前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段と、抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段と、前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段と、前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段とを備え、前記曲率半径算出手段は、所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とをさらに備え、該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とする。

また、第５発明に係る障害物衝突判定方法は、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定する障害物衝突判定方法において、所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶しておき、前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出し、抽出した複数の縦長エッジの下端位置及び道路の左右端に相当する包絡線を算出し、抽出した縦長エッジの下端間距離を算出し、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断し、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいと判断した場合、前方の道路が曲率を有するものと判断して、前方の道路の曲率半径を算出し、算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出し、前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする。

また、第６発明に係るコンピュータプログラムは、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、検出した障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段、抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段、前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段、前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段として機能させ、さらに、前記曲率半径算出手段は、所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とを備え、該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とする。

第１発明、第４発明、第５発明及び第６発明では、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の歩行者が存在する可能性のある領域を検出して位置データを算出する。また、所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶しておき、遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出し、抽出した縦長エッジの下端位置、道路の左右端に相当する包絡線及び縦長エッジの下端間距離を算出し、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断し、算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいと判断した場合、前方の道路が曲率を有するものと判断して、前方の道路の曲率半径を算出する。算出した前方の道路の曲率半径に基づいて道路の相対位置データを算出し、障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、算出した道路の相対位置データ及び算出した相対移動ベクトルに基づいて、障害物が当該車両と衝突するか否かを判定する。

斯かる構成とすることで、例えば前方の道路の曲率半径を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の曲がり具合を確実に算出することが可能となる。また、障害物と衝突するか否かを、前方の道路の曲がり具合に基づいて判断することができ、道路が曲がっていることによる衝突判定の誤りを未然に防止することが可能となる。

第２発明では、遠赤外撮像装置の所定の視野角、設置高さ及び俯角を記憶しておき、記憶してある視野角、高さ及び俯角と、前記遠赤外撮像装置が設置された状態での視野角、高さ及び俯角とを比較して、画像内の縦長エッジの下端間距離及び下端位置データを更新する。これにより、搭載する遠赤外撮像装置の種類、及び遠赤外撮像装置の設置位置、取り付け角度が相違している場合であっても、正確に道路の曲率半径を算出することができ、道路が曲がっていることによる衝突可能性の誤判定を未然に防止することが可能となる。

第３発明では、車両のヨーレートに基づいて、算出した前方の道路の曲率半径を補正する。これにより、車両のヨーイングによる道路の曲がり具合の誤算出を未然に防止することができ、より正確に障害物との衝突判定を行うことが可能となる。

第１発明、第４発明、第５発明及び第６発明によれば、前方の道路の曲率半径を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の曲がり具合を確実に算出することが可能となる。また、障害物と衝突するか否かを、前方の道路の曲がり具合に基づいて判断することができ、道路が曲がっていることによる衝突判定の誤りを未然に防止することが可能となる。

第２発明によれば、搭載する遠赤外撮像装置の種類、及び遠赤外撮像装置の設置位置、取り付け角度が相違している場合であっても、正確に道路の曲率半径を算出することができ、道路が曲がっていることによる衝突可能性の誤判定を未然に防止することが可能となる。

第３発明によれば、車両のヨーイングによる道路の曲がり具合の誤算出を未然に防止することができ、より正確に障害物との衝突判定を行うことが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る障害物衝突判定システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置であるビデオカメラにより撮像された画像に基づいて車両の前方に障害物、例えば歩行者、自転車等が存在するか否かを判断し、道路の曲がり具合及び障害物の自車両に対する相対移動ベクトルに応じて衝突の可能性を判定する場合を例として説明する。なお、遠赤外撮像装置は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある判定装置３に送信される。

判定装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７、及び車両のヨーイング角度を検出するヨーセンサ８とも車載ＬＡＮケーブル６を介して接続されており、それぞれ車両の走行速度及びヨーイング角度の検出値が判定装置３へ入力される。

図２は、本発明の実施の形態に係る障害物衝突判定システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、通信インタフェースにおける伝送フォーマットに応じて、輝度信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号等に変換し、変換した信号を画像データとして画像メモリ１３へ記憶する。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して判定装置３とデータの送受信を行う。通信インタフェース部１４は、判定装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの判定装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力指示信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データをパターンマッチングすることにより、道路上に存在する電柱、水銀灯等の縦長の構造物を検出して前方の道路の曲がり具合を算出し、前方の道路の位置データ、すなわち前方の道路の左右端の位置データを算出する。なお、道路上に存在する縦長の構造物を検出する方法は、特にパターンマッチングに限定されるものではない。

ＬＳＩ３３が、パターンマッチングにより歩行者等の障害物が存在すると判断した場合、ＬＳＩ３３は、障害物の過去の位置データに基づいて、障害物の自車両に対する相対移動ベクトルを算出する。ＬＳＩ３３は、相対移動ベクトル及び前方の道路の曲がり具合に基づいて、障害物が走行車線に移動してくるか否か、すなわち自車両と衝突するか否かを判断し、ＬＳＩ３３が、自車両と衝突すると判断した場合、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の障害物及び前方の道路の検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。

ＬＳＩ３３は、電柱、水銀灯等が存在するか否かを判断するのに使用する特徴量、例えば縦長の直線分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ１を算出し（ステップＳ４０３）、相関値Ｒ１が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０４）。ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４０４：ＮＯ）、ＬＳＩ３３は、以下の処理を行うことなく、従来の障害物との衝突判定処理へと移行する（ステップＳ４０５）。

ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４０４：ＹＥＳ）、ＬＳＩ３３は、該領域が電柱、水銀灯等が存在する領域であると判断して、縦長エッジの下端の座標値、すなわち道路の左右端に相当する位置の座標値を算出し（ステップＳ４０６）、道路の左右端に相当する包絡線を算出する（ステップＳ４０７）。

ＬＳＩ３３は、算出した２本の包絡線間の画像内の水平距離を、画像の縦方向座標に対応付けて算出し、ＲＡＭ３３１に記憶する（ステップＳ４０８）。ＬＳＩ３３は、ＲＡＭ３３１に記憶してある２本の包絡線間の画像内の水平距離に基づいて、前方の道路の曲率半径を算出し（ステップＳ４０９）、衝突可能性の判定に使用する。

図５は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の前方の道路の曲率半径の算出処理の手順を示すフローチャートである。ＬＳＩ３３は、一般的な道路の車線幅に相当する直線道路を、車両に搭載したビデオカメラ１、２で撮像した場合の、画像内での道路左右端の座標値及び画像内縦方向の座標値に対応付けて算出した水平距離Ｌ１を、ＲＡＭ３３１に記憶しておく（ステップＳ５０１）。

図６は、一般的な道路の車線幅に相当する直線道路を、車両に搭載したビデオカメラ１、２で撮像した場合の、画像内での道路左右端の水平距離Ｌ１を求める方法を示す模式図である。図６（ａ）に示すような直線道路には、左右端に電柱、水銀灯等の縦長の構造物が存在する。図６（ｂ）は、図６（ａ）に示す直線道路を遠赤外用のビデオカメラ１、２で撮像した画像を示す図である。遠赤外用のビデオカメラ１、２で撮像した場合、図６（ｂ）に示すように、縦長のエッジ６１、６１、・・・として道路の左右端に存在する電柱、水銀灯等が検出される。

そこで、ＬＳＩ３３は、検出された縦長エッジの下端の座標値を、例えば画面左下隅を原点とするｘ−ｙ座標で算出し、該下端を包絡する２本の包絡線６２、６２を求める。ＬＳＩ３３は、求めた包絡線６２、６２の間の水平距離Ｌ１を、ｙ座標に対応付けて算出して、ＲＡＭ３３１に記憶する。

なお、求めた包絡線６２、６２をそのまま道路の曲がり具合、すなわち曲率半径の算出処理に用いても良いし、より精度を高めるべく、例えば図６（ｃ）に示すように包絡線６２、６２を互いの方向へ所定幅補正し、補正後包絡線６２’、６２’を算出して以下の曲率半径算出処理に用いても良い。ここで、補正する幅は、道路の左右端から電柱、水銀灯等が設置されている距離に相当する幅であり、画像内のｙ座標が大きくなるにつれて短くなっている。これにより、道路の左右端間の水平距離をより正確に算出することが可能となる。

ＬＳＩ３３は、ＲＡＭ３３１に記憶してある直線道路左右端の座標値に基づいて、画像内の縦座標ｙ０での水平距離Ｌ１を読み出し（ステップＳ５０２）、２本の包絡線間の画像内の縦座標ｙ０での水平距離Ｌ２を読み出す（ステップＳ５０３）。また、ＬＳＩ３３は、画像内の縦座標ｙ１（ｙ１＞ｙ０）での水平距離Ｌ３を読み出し（ステップＳ５０４）、２本の包絡線間の画像内の縦座標ｙ１での水平距離Ｌ４を読み出す（ステップＳ５０５）。

ＬＳＩ３３は、水平距離Ｌ２が水平距離Ｌ１より大きいか否かを判断する（ステップＳ５０６）。ＬＳＩ３３が、水平距離Ｌ２が水平距離Ｌ１以下であると判断した場合（ステップＳ５０６：ＮＯ）、ＬＳＩ３３は、前方の道路が曲がっていないと判断し、結果として曲率半径を無限大（曲率ゼロ）と出力する（ステップＳ５０７）。

ＬＳＩ３３が、水平距離Ｌ２が水平距離Ｌ１より大きいと判断した場合（ステップＳ５０６：ＹＥＳ）、ＬＳＩ３３は、水平距離Ｌ４が水平距離Ｌ３より大きいか否かを判断する（ステップＳ５０８）。ＬＳＩ３３が、水平距離Ｌ４が水平距離Ｌ３以下であると判断した場合（ステップＳ５０８：ＮＯ）、ＬＳＩ３３は、前方の道路が曲がっていないと判断し、結果として曲率半径を無限大（曲率ゼロ）と出力する（ステップＳ５０７）。

ＬＳＩ３３が、水平距離Ｌ４が水平距離Ｌ３より大きいと判断した場合（ステップＳ５０８：ＹＥＳ）、ＬＳＩ３３は、画像内の縦座標ｙ０での包絡線間の中点、すなわち水平距離Ｌ２の中心点Ｔ２が、画像内の縦座標ｙ０での直線道路左右端の中点、すなわち水平距離Ｌ１の中心点Ｔ１と略一致するか否かを判断する（ステップＳ５０９）。ＬＳＩ３３が、中心点Ｔ２が中心点Ｔ１と略一致すると判断した場合（ステップＳ５０９：ＹＥＳ）、ＬＳＩ３３は、前方の道路は単純に道路幅が増減しただけであるものと判断し、結果として曲率半径を無限大（曲率ゼロ）と出力する（ステップＳ５０７）。

ＬＳＩ３３が、中心点Ｔ２が中心点Ｔ１と一致しないと判断した場合（ステップＳ５０９：ＮＯ）、ＬＳＩ３３は、水平距離Ｌ２／水平距離Ｌ１及び水平距離Ｌ４／水平距離Ｌ３を算出して、画像内の縦座標に対する水平距離の変化率を算出する（ステップＳ５１０）。ＬＳＩ３３は、算出したＬ２／Ｌ１及びＬ４／Ｌ３の変化率に基づいて、前方の道路の曲率半径を推定する（ステップＳ５１１）。

曲率半径の推算方法は、例えばＬ２／Ｌ１、Ｌ４／Ｌ３の変化率に対応付けて、所定幅の道路の曲率半径を推定テーブルとしてＲＡＭ３３１に記憶しておき、算出した変化率をキー情報として推定テーブルを照会する。ただし、斯かる方法に限定されるものではなく、変化率に対して関数化しておく等、曲率半径を算出することさえできればどのような方法であっても良い。

図７は、前方の道路の曲がり具合を推定する方法の概念を示す図である。図７に示すように、直線道路の左右端を示す直線６２、６２間の任意のｙ座標ｙ０における水平距離Ｌ１（点Ｐ２Ｐ４間の距離）と、２本の包絡線７１、７１間の任意のｙ座標ｙ０における画像内の水平距離Ｌ２（点Ｐ１Ｐ３間の距離）とを比較する。例えば前方の道路が左へ曲がっている場合、点Ｐ１Ｐ２間の乖離率の方が、点Ｐ３Ｐ４間の乖離率よりも大きいことから、必ず水平距離Ｌ１より水平距離Ｌ２の方が大きくなる。

しかし、前方の道路の幅が大きくなっているにすぎない場合も、同様に水平距離Ｌ１より水平距離Ｌ２の方が大きくなる。したがって、水平距離Ｌ２と水平距離Ｌ１との大小判定だけでは、左右のいずれかへ前方の道路が曲がっていると断定することができない。

そこで、直線道路の左右端を示す直線６２、６２間の任意のｙ座標ｙ１（ｙ１＞ｙ０）における水平距離Ｌ３（点Ｐ６Ｐ８間の距離）と、２本の包絡線７１、７１間の任意のｙ座標ｙ１（ｙ１＞ｙ０）における画像内の水平距離Ｌ４（点Ｐ５Ｐ７間の距離）とについても大小を比較する。例えば前方の道路が左へ曲がっている場合、点Ｐ５Ｐ６間の乖離率の方が、点Ｐ７Ｐ８間の乖離率よりも大きいことから、必ず水平距離Ｌ３より水平距離Ｌ４の方が大きくなる。

そして、水平距離Ｌ１より水平距離Ｌ２の方が大きく、しかも水平距離Ｌ４より水平距離Ｌ３の方が大きい場合であって、水平距離Ｌ１の中心点Ｔ１と水平距離Ｌ２の中心点Ｔ２とが略一致している場合には、道路幅が左右均等に増加しているものと判断することができる。一方、水平距離Ｌ１より水平距離Ｌ２の方が大きく、しかも水平距離Ｌ４より水平距離Ｌ３の方が大きい場合であって、水平距離Ｌ１の中心点Ｔ１と水平距離Ｌ２の中心点Ｔ２とが一致していない場合には、左右のいずれかへ前方の道路が曲がっていると断定することができる。なお、中心点が一致しているか否かの比較は、水平距離Ｌ１の中心点Ｔ１と水平距離Ｌ２の中心点Ｔ２とを比較することに限定されるものではなく、水平距離Ｌ３の中心点と水平距離Ｌ４の中心点とを比較しても良い。

また、中心点が一致するか否かを判断する代わりに、直線道路の左右端を示す直線６２、６２の任意のｙ座標ｙ０におけるｘ座標Ｐ２、Ｐ４、２本の包絡線７１、７１間の任意のｙ座標ｙ０におけるｘ座標Ｐ１、Ｐ３を用いて、距離Ｐ１Ｐ２と距離Ｐ３Ｐ４との大小を比較するものであっても良い。この場合、距離Ｐ１Ｐ２が距離Ｐ３Ｐ４より大きい場合には、前方の道路が左へ曲がっていると判断することができ、距離Ｐ１Ｐ２が距離Ｐ３Ｐ４と略一致する場合には、前方の道路は曲がっていないと判断することができ、距離Ｐ１Ｐ２が距離Ｐ３Ｐ４より小さい場合には、前方の道路が右へ曲がっていると判断することができる。

次に、ＬＳＩ３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ２を算出し（ステップＳ４１０）、相関値Ｒ２が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４１１）。

なお、ＬＳＩ３３が、電柱、水銀灯等が存在するか否かを判断するのに使用する特徴量、例えば縦長の直線分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ１、又は歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒ２を用いる場合、相関値Ｒ１、Ｒ２は（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは縦長の直線分布を示すテンプレート又は人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４１１：ＮＯ）、ＬＳＩ３３は、ステップＳ４０１へ戻り、次の画像データを読み出す。ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４１１：ＹＥＳ）、ＬＳＩ３３は、該領域が歩行者を示す領域であると判断して、歩行者等の障害物との衝突判定処理を実行する。図８は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の障害物との衝突判定処理の手順を示すフローチャートである。

ＬＳＩ３３は、歩行者を示す領域、すなわち障害物が存在する領域の位置データを自車両の前部中央を原点とした座標値として算出する（ステップＳ８０１）。すなわち、ＬＳＩ３３は、上述した処理により歩行者と認識された障害物と自車両との距離、及び障害物の存在する方向を、車両前部の左右にステレオ配置されているビデオカメラ１、２の画像データをステレオ画像処理することにより算出する。これにより、障害物の位置データを、例えば自車両の前方中央を原点とした座標系における座標値として算出することができる。なお、別途レーダ装置を車両前方下部に装着しておき、直接的に障害物と自車両との距離、及び障害物の存在する方向を測定して、座標値を算出するものであっても良い。

ＬＳＩ３３は、所定のサンプリング間隔で、例えば３０ｍｓｅｃ間隔で障害物の位置データを算出し、ＲＡＭ３３１に時系列的に記憶する（ステップＳ８０２）。そして、例えば時刻ｔ１において位置データＱ１を算出した場合、所定の期間過去に遡って位置データを読み出す(ステップＳ８０３)。具体的には、１サンプリング時間前の時刻ｔ２、２サンプリング時間前の時刻ｔ３、・・・、（ｎ−１）サンプリング時間前の時刻ｔｎ（ｎは自然数）での位置データＱ２、Ｑ３、・・・、Ｐｎ（ｎは自然数）を読み出す。ＬＳＩ３３は、読み出した位置データＱ１、Ｑ２、・・・、Ｑｎ（ｎは自然数）を直線近似することにより自車両に対する相対移動ベクトルを算出する（ステップＳ８０４）。なお、ｎは任意であり、実用上は安全の観点から５乃至８の範囲内である。

ＬＳＩ３３は、算出した障害物の相対移動ベクトル、障害物の接近速度及び速度センサ７から受け付けた車両の速度に基づいて、車両と障害物とが衝突するか否かを判断する(ステップＳ８０５)。

一例として前方の道路が右に曲がっている場合、車両に対して正面に障害物を検出したときであっても、車両は道路に沿って右に旋回することから、ＬＳＩ３３は、車両と障害物とが衝突しないと判断する。また、車両に対して右前方に障害物を検出したときには、正面に存在しないとはいっても車両は道路に沿って右に旋回することから、ＬＳＩ３３は、車両と障害物とが衝突すると判断する。したがって、より実際の走行状態に適応した衝突判定を行うことが可能となる。

ＬＳＩ３３が、車両と障害物とが衝突しないと判断した場合(ステップＳ８０５：ＮＯ)、ＬＳＩ３３はステップＳ８０２へ戻って、次のサンプリング時間での位置データを取得し、上述した処理を繰り返す。ＬＳＩ３３が、車両と障害物とが衝突すると判断した場合(ステップＳ８０５：ＹＥＳ)、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して衝突の可能性が高い旨を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する(ステップＳ８０６)。運転者へ障害物との衝突の危険性が高い旨を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。

運転者に対して衝突の可能性が高い旨を報知する手段は、例えば表示手段４に対する警告表示を指示する指示信号の送出であり、警報手段５に対する鳴動を指示する鳴動指示信号の送出である。

なお、ビデオカメラ１、２を設置する位置は、車両ごとに相違する。従って、車両ごとにビデオカメラ１、２を設置した状態で前方の道路を撮像した場合、画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データは、ビデオカメラ１、２の設置位置によって相違する。したがって、前方の道路の曲率半径の算出精度、ひいては衝突可能性の判定精度をより向上させるためには、ビデオカメラ１、２の設置位置に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新する必要がある。

そこで、ビデオカメラ１、２の所定の視野角、標準的な設置高さ、及び撮像する俯角を記憶しておき、この状態と実際にビデオカメラ１、２を設置した場合のビデオカメラ１、２の視野角、設置高さ、及び撮像する俯角とを比較し、相違している程度に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新する。これにより、ビデオカメラ１、２の視野角、ビデオカメラ１、２の設置高さ、及び撮像する俯角に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新することができ、より正確に前方の道路の曲率半径を算出することができ、衝突可能性をより正確に判定することが可能となる。

なお、実際にビデオカメラ１、２を設置した場合のビデオカメラ１、２の視野角、設置高さ、及び撮像する俯角と、標準的な視野角、設置高さ、及び撮像する俯角との相違に応じて、撮像した画像から抽出した縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新することに限定されるものではなく、例えば、曲率半径を算出する基準となる直線道路を撮像した場合の直線道路の左右端の水平距離を更新するものであっても良い。

また、車両がヨーイングしている場合、正確に前方の道路の曲率半径を算出することが困難になる。そこで、ヨーセンサ８で検出された車両のヨーイング角度に基づいて、算出した前方の道路の曲率半径を補正することにより、より正確に前方の道路の曲がり具合を特定することができ、衝突判定精度の向上を図ることが可能となる。

以上のように本実施の形態によれば、前方の道路の曲率半径を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の曲がり具合を確実に算出することが可能となる。また、障害物と衝突するか否かを、前方の道路の曲がり具合に基づいて判断することができ、道路が曲がっていることによる衝突判定の誤りを未然に防止することが可能となる。

なお、上述した実施の形態では、判定装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態に係る障害物衝突判定システムの構成を示す模式図である。本発明の実施の形態に係る障害物衝突判定システムの遠赤外用ビデオカメラの構成を示すブロック図である。本発明の実施の形態に係る障害物衝突判定システムの判定装置の構成を示すブロック図である。本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの障害物及び前方の道路の検出処理の手順を示すフローチャートである。本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの前方の道路の曲率半径の算出処理の手順を示すフローチャートである。一般的な道路の車線幅に相当する直線道路を、車両に搭載したビデオカメラで撮像した場合の、画像内での道路左右端の水平距離を求める方法を示す模式図である。前方の道路の曲がり具合を推定する方法の概念を示す図である。本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの障害物との衝突判定処理の手順を示すフローチャートである。

符号の説明

１、２ビデオカメラ
３判定装置
４表示装置
５警報装置
７速度センサ
８ヨーセンサ
３１通信インタフェース部
３２画像メモリ
３３ＬＳＩ
３３１ＲＡＭ

Claims

車両の周辺を撮像する遠赤外撮像装置と、
該遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、
検出した障害物との衝突の可能性を判定する判定装置と
を備える障害物衝突判定システムにおいて、
前記判定装置は、
前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段と、
抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段と、
前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段と、
前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、
算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段と
を備え、
前記曲率半径算出手段は、
所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、
画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、
算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とをさらに備え、
該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とする障害物衝突判定システム。
前記遠赤外撮像装置の所定の視野角、設置高さ、及び撮像する俯角を記憶しておき、
記憶してある視野角、高さ及び俯角と、前記遠赤外撮像装置が設置された状態での視野角、高さ及び俯角とを比較して、画像内の縦長エッジの下端間距離及び下端位置データを更新する更新手段を備えることを特徴とする請求項１記載の障害物衝突判定システム。
車両のヨーイング角度を検出するヨーセンサを備え、
前記ヨーセンサの検出値に基づいて、前記曲率半径算出手段で算出した前方の道路の曲率半径を補正するようにしてあることを特徴とする請求項１又は２に記載の障害物衝突判定システム。
遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、
検出した障害物との衝突の可能性を判定する判定装置において、
前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段と、
抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段と、
前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段と、
前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、
算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段と
を備え、
前記曲率半径算出手段は、
所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、
画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、
算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とをさらに備え、
該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とする判定装置。
車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定する障害物衝突判定方法において、
所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶しておき、
前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出し、
抽出した複数の縦長エッジの下端位置及び道路の左右端に相当する包絡線を算出し、
抽出した縦長エッジの下端間距離を算出し、
算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断し、
算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいと判断した場合、前方の道路が曲率を有するものと判断して、前方の道路の曲率半径を算出し、
算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出し、
前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、
算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする障害物衝突判定方法。
車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、検出した障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
前記遠赤外撮像装置で撮像した画像データに基づいて、縦長の構造物に対応する画像内の縦長エッジを所定のテンプレートとの相関値を用いて複数抽出する縦長エッジ抽出手段、
抽出した複数の縦長エッジの下端位置から道路の左右端に相当する包絡線を算出して前方の道路の曲率半径を算出する曲率半径算出手段、
前記曲率半径算出手段で算出した前方の道路の曲率半径に基づいて道路左右端の当該車両に対する相対位置データを算出する道路位置データ算出手段、
前記障害物の過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び
算出した道路左右端の当該車両に対する相対位置データ及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段
として機能させ、
さらに、
前記曲率半径算出手段は、
所定幅の直線道路の縦長の構造物に対応する画像内の縦長エッジの下端間距離及び下端位置データを予め記憶する手段と、
画像内で抽出した縦長エッジの下端間距離及び下端位置を算出する手段と、
算出した縦長エッジの下端間距離が、記憶してある縦長エッジの下端間距離より大きいか否かを判断する手段とを備え、
該手段で大きいと判断した場合、前方の道路が曲率を有するものと判断して曲率半径を算出することを特徴とするコンピュータプログラム。