JP4807152B2

JP4807152B2 - 障害物検出システム及び障害物検出方法

Info

Publication number: JP4807152B2
Application number: JP2006166298A
Authority: JP
Inventors: 美和國井
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2006-06-15
Filing date: 2006-06-15
Publication date: 2011-11-02
Anticipated expiration: 2026-06-15
Also published as: JP2007336288A

Description

本発明は、外部を撮像する遠赤外線撮像装置の出力輝度値を補正することにより、視差画像間の輝度値を調整して障害物の検出精度を高く維持する障害物検出システム及び障害物検出方法に関する。

自動車等の車両の走行の安全を確保すべく、ナイトビジョン等の遠赤外線撮像装置により歩行者、自転車等の障害物の存在を検出する障害物検出システムが多々開発されている。通常、車両前方の所定の位置に、左右２基の遠赤外線撮像装置を設置し、ステレオ視により検出した障害物までの距離を算出している。

例えば左右の遠赤外線撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を検出し、ステレオ視により該領域までの距離を算出し、所定の距離内である場合に運転者へ通知することにより、車両走行の安全を確保している。

遠赤外線撮像装置は、複数の撮像素子で構成されており、撮像素子で出力された輝度値をＡ／Ｄ変換して、デジタル信号として出力する。左右別個に配置された遠赤外線撮像装置で撮像する場合、対象物が同一であっても検出する熱量が相違し、出力値が相違する。したがって、ステレオ視により検出した障害物までの距離を正確に算出するためには、同一の対象物であることを確実に検出することができるよう、同一の対象物の撮像データの輝度値が同一となるよう遠赤外線撮像装置の出力値を補正する必要がある。

例えば非特許文献１では、撮像素子ごとに相違している感度の非均一性を補正する方法の代表例であるＮＵＣ（Non-Uniformity Correction）について開示されており、撮像素子の応答特性が線形であることを前提として、撮像素子ごとの所定の温度に対する出力値を補正するオフセット補正値、及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、遠赤外線撮像装置からの出力値を補正している。
「ＩＲ−ＣＣＤ撮像データのリアルタイム２点補正(Real-time implementation of two-point non-uniformity correction for IR-CCD imagery)」、SPIE Proc. 、 Vol.2598、ｐ．４４−５０、１９９５年

しかし、従来の撮像装置の出力値の補正方法では、絶対温度を正確に把握してオフセット補正値を算出していないことから、同一の物体を撮像した場合であっても、周囲の環境に応じて出力値が異なり、障害物を示す領域である場合もあれば、障害物を示す領域ではない場合もある。したがって、車両の左右に配置されている撮像装置で同一の障害物を撮像した場合であっても、同一の物体であると判断されないおそれがあり、障害物の検出漏れ、又は誤検出のおそれがあるという問題点があった。

また、車両の左右に遠赤外線撮像装置が設置されている場合、一方の遠赤外線撮像装置でＮＵＣを行っている間は、該遠赤外線撮像装置で撮像することはできない。したがって、左右の遠赤外線撮像装置で同時にＮＵＣを行った場合には、撮像されるべき画像が存在せず、障害物の検出漏れが生じるおそれがあった。

本発明は、斯かる事情に鑑みてなされたものであり、ＮＵＣを行うタイミングを調整することにより、障害物の検出漏れを未然に防止することができる障害物検出システム及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出システムにおいて、前記遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子と、該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段とを備え、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ１フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、前記一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶するようにしてあることを特徴とする。

また、第３発明に係る障害物検出方法は、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出方法において、前記遠赤外線撮像装置にて、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ１フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする。

第１発明、及び第３発明では、車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する。遠赤外線撮像装置は、マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶しておき、撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する。一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ１フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始する。このようにすることで、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも１フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。

第２発明では、一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶する。ＮＵＣを実行している場合であっても少なくとも一方の遠赤外線撮像装置の画像を取得することができ、前の画像データに基づいて既に検出されている障害物の移動位置を追尾（トラッキング）することにより、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても検出された障害物を監視することができ、より安全な障害物検出システムを実現することが可能となる。

本発明によれば、一方の遠赤外線撮像装置にてオフセット補正値を更新してから、少なくとも１フレーム分の画像データを複数の遠赤外線撮像装置から取得することができ、ステレオ視による障害物までの測距が可能となる。また、一方の遠赤外線撮像装置にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像を取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。

図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、走行中に遠赤外線撮像装置で撮像された画像に基づいて車両の前方の障害物、例えば歩行者、自転車等の存在を検出する場合を例として説明する。なお、遠赤外線撮像装置は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外線撮像装置である。遠赤外線撮像装置１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。遠赤外線撮像装置１、２で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３は、遠赤外線撮像装置１、２の他、操作部を備えた表示装置４とは、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とは、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１（２）の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をＲＧＢ信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。

画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、ＬＳＩ基板である信号処理部１２へ送信する。図３は、本発明の実施の形態に係る遠赤外線撮像装置１（２）の信号処理部１２の構成を示すブロック図である。信号処理部１２は、ＬＳＩ１６が動作を制御するＡ／Ｄ変換部１２１、ＮＵＣ（Non-Uniformity Correction）処理部１２２、ＢＰＲ（Bad-Pixel Replacement）処理部１２３、及びフラッシュメモリ等の不揮発性メモリであるＲＡＭ１２５で構成されている。

信号処理部１２は、画像撮像部１１から受信した輝度信号をＡ／Ｄ変換部１２１でデジタル信号に変換し、ＮＵＣ（Non-Uniformity Correction）処理部１２２で撮像素子ごとに出力された輝度信号を補正する。

ＮＵＣ処理部１２２では、キャリブレーションによる補正係数として、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値、及び必要に応じて撮像素子ごとに所定の温度変化率に対する出力値の差異を補正するゲイン補正値を算出して、輝度信号を補正する。例えばｉ行ｊ列のマトリックス状に配列された撮像素子ごとの出力輝度値をＶ_ijとした場合、ＮＵＣ処理部では（数１）に示す演算を行うことにより撮像素子ごとの輝度値をＶ’_ijへ補正する。なお、本実施の形態で「キャリブレーション」とは、黒体炉等の温度分布が略均一で有る対象物を撮像することにより、撮像素子からの出力輝度値のばらつきを補正する処理を意味する。

（数１）において、Ｇ_ijはゲイン補正値を、Ｏ_ijはオフセット補正値を示しており、例えば黒体炉、シャッター等の温度分布が均一である物体を撮像した場合の撮像素子ごとの出力輝度値に基づいて算出した値である。

本実施の形態では、表面の温度分布が略均一である板状のシャッター７２を対物レンズ７１と画像撮像部１１との間に開閉することが可能に設けてあり、シャッター７２が閉じられた状態で撮像した場合の撮像素子ごとの出力輝度値に基づいて、オフセット補正値を随時補正する。なお、図２では、機械式のプレーンシャッターを例に挙げているが、表面の温度分布が均一であれば、どのような構成のシャッターであっても良い。

２つの遠赤外線撮像装置１、２の信号処理部１２のＬＳＩ１６は、検出装置３を介して、又は直接通信線を別途接続することにより、互いにデータ通信を行い、２つの遠赤外線撮像装置１、２でシャッター７２、７２を撮像した場合に出力される輝度値の平均値を両者で一致させる。例えば、遠赤外線撮像装置１を、オフセット補正値を更新する基準となるマスター装置とし、遠赤外線撮像装置２をマスター装置に依存してオフセット補正値を更新するスレーブ装置とした場合、遠赤外線撮像装置２のＬＳＩ１６は、キャリブレーション実行時にシャッター７２を閉じ、遠赤外線撮像装置２で撮像された輝度値の平均値を、遠赤外線撮像装置１で撮像された輝度値の平均値と一致させるようオフセット補正値を更新し、遠赤外線撮像装置２のＲＡＭ１２５に記憶させる。

なお、シャッター７２、７２の表面温度を検出するべく、シャッター７２、７２の画像撮像部１１側の表面に、表面温度を検出する手段、例えば熱電対、サーモパイル、ダイオード型温度センサ等のセンサを取り付け、表面温度の絶対値を揃えるようオフセット補正値及びゲイン補正値を算出しても良い。

信号処理部１２のＮＵＣ処理部１２２は、記憶してあるオフセット補正値及びゲイン補正値に基づいて撮像素子ごとに出力された輝度信号を補正する。なお、撮像素子には所定の割合で欠陥が生じている撮像素子が含まれる。したがって、ＬＳＩ１６は、ＢＰＲ（Bad-Pixel Replacement）処理部１２３にて、欠陥が生じている撮像素子の出力値を、周囲の撮像素子の出力値を代表する値、例えば欠陥が生じている撮像素子の出力値を除外した周囲の撮像素子の出力値の平均値へ補正する。

通信インタフェース部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に映像データを出力する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、通信インタフェース部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

図４は、本発明の実施の形態に係る障害物検出システムの検出装置３の構成を示すブロック図である。撮像装置インタフェース部３１ａは、遠赤外線撮像装置１、２から映像信号の入力を行うとともに、キャリブレーション実行時にはシャッター７２を撮像した画像の出力輝度値の平均値を遠赤外線撮像装置１、２間で転送する。なお、画像データがデジタル化された状態である場合にはデジタル対応の映像ケーブル７を介して転送され、アナログデータである場合には、別途通信線を接続して転送する。撮像装置インタフェース部３１ａは、遠赤外線撮像装置１、２から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力し、通信インタフェース部３１ｃは車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、撮像装置インタフェース部３１ａを介して遠赤外線撮像装置１から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、遠赤外線撮像装置１から取得した画像データに基づいて、障害物候補領域を特定する。ＬＳＩ３３は、障害物候補領域から特徴量を抽出し、抽出された特徴量に基づいて障害物が存在するか否かを判定する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。

以下、遠赤外線撮像装置１、２でのキャリブレーション処理のタイミング制御について説明する。図５は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置１（マスター装置）の信号処理部１２のＬＳＩ１６の処理の手順を示すフローチャートである。

遠赤外線撮像装置１（マスター装置）の信号処理部１２のＬＳＩ１６は、キャリブレーションの実行指示を発行、又は検出装置３から取得し（ステップＳ５０１）、前回のキャリブレーションの開始時から所定時間Ｔ１が経過したか否かを判断する（ステップＳ５０２）。所定時間Ｔ１は、遠赤外線撮像装置１でキャリブレーションを開始してから、キャリブレーションに要する時間ΔＴに、少なくとも画像データ１フレーム分に相当する時間αを加えた時間Ｔ２の倍以上の時間として設定する。

図６は、遠赤外線撮像装置１（マスター装置）での待ち時間（所定時間）Ｔ１及び後述する遠赤外線撮像装置２（スレーブ装置）での待ち時間Ｔ２を模式的に示す図である。図６の（１）、（２）は、それぞれ遠赤外線撮像装置１、２の処理の時間軸を示しており、ハッチング部分がキャリブレーションの実行時間帯を示している。マスター装置である遠赤外線撮像装置１でキャリブレーションの実行が開始されてから、キャリブレーションに要する時間ΔＴ及び１フレーム分に相当する時間αが経過するまでは、スレーブ装置である遠赤外線撮像装置２でのキャリブレーションを実行しないよう、遠赤外線撮像装置２のＬＳＩ１６が制御する。

すなわち、左右の遠赤外線撮像装置１、２で同時にキャリブレーションを実行する場合、シャッター７２、７２が閉じられることから、周辺の画像が途切れる。したがって、検出装置３による障害物の検出処理も中断することから、キャリブレーション実行時の安全を担保することができない。

そこで、本実施の形態では、交互にキャリブレーションを実行すると共に、遠赤外線撮像装置１でのキャリブレーション終了時から遠赤外線撮像装置２でのキャリブレーション開始時までに少なくとも画像データ１フレーム分の時間間隔を空ける。このようにすることで、検出装置３は、常時いずれか一方の画像データを取得することができる。

また、検出装置３は、一方の画像データのみを取得している期間には、既に検出された障害物の動向を追尾する、いわゆるトラッキング処理のみを実行することができる。したがって、検出装置３は、トラッキング処理に入る直前に必ず障害物の検出処理を実行しておく必要がある。そこで、本実施の形態では、遠赤外線撮像装置１でのキャリブレーション終了時から遠赤外線撮像装置２でのキャリブレーション開始時までに少なくとも画像データ１フレーム分の時間間隔を空けるよう制御することにより、検出装置３は、キャリブレーションを実行していない期間に必ず１フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することが可能となる。

同様に、遠赤外線撮像装置２でのキャリブレーション終了時から遠赤外線撮像装置１でのキャリブレーション開始時までにも、少なくとも画像データ１フレーム分の時間間隔を空けることにより、検出装置３は、キャリブレーションを実行していない期間に必ず１フレーム分以上の画像データを取得することができ、障害物の検出処理を実行することができる。したがって、遠赤外線撮像装置１では、一度キャリブレーションを実行してから再度キャリブレーションを実行するまでには、キャリブレーションに要する時間ΔＴに、少なくとも画像データ１フレーム分に相当する時間αを加えた時間Ｔ２の倍以上の時間間隔を設けることにより、キャリブレーションを交互に実行した場合であっても、検出装置３は、障害物の検出を続行することが可能となる。

ＬＳＩ１６は、前回のキャリブレーションの開始時から所定時間Ｔ１が経過するまで待ち状態となり（ステップＳ５０２：ＮＯ）、ＬＳＩ１６が、所定時間Ｔ１が経過したと判断した場合（ステップＳ５０２：ＹＥＳ）、ＬＳＩ１６は、内蔵するタイマ等の計時手段をリセットして計時を開始する（ステップＳ５０３）。ＬＳＩ１６は、遠赤外線撮像装置２（スレーブ装置）へ、キャリブレーションを開始した旨を示す情報を送信する（ステップＳ５０４）。

ＬＳＩ１６は、シャッター７２の動作を制御するアクチュエータ（図示せず）に対して、シャッター７２の閉止指示を送出する（ステップＳ５０５）。閉止指示を受け付けたアクチュエータは、シャッター７２を閉止する。

ＬＳＩ１６は、シャッター７２を閉止した状態で、シャッター７２の表面を撮像した画像データを取得し（ステップＳ５０６）、平均輝度値を算出する（ステップＳ５０７）。ＬＳＩ１６は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出して、ＲＡＭ１２５に記憶する（ステップＳ５０８）。

ＬＳＩ１６は、ＲＡＭ１２５に記憶したオフセット補正値を遠赤外線撮像装置２（スレーブ装置）へ送信して（ステップＳ５０９）、シャッター７２の動作を制御するアクチュエータ（図示せず）に対して、シャッター７２の開放指示を送出する（ステップＳ５１０）。開放指示を受け付けたアクチュエータは、シャッター７２を開放する。

図７は、本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置２（スレーブ装置）の信号処理部１２のＬＳＩ１６の処理の手順を示すフローチャートである。遠赤外線撮像装置２（スレーブ装置）の信号処理部１２のＬＳＩ１６は、キャリブレーションの実行指示を発行、又は検出装置３から取得し（ステップＳ７０１）、遠赤外線撮像装置１（マスター装置）からのキャリブレーションを開始した旨を示す情報を受信したか否かを判断する（ステップＳ７０２）。ＬＳＩ１６は、キャリブレーションを開始した旨を示す情報を受信するまで待ち状態となり（ステップＳ７０２：ＮＯ）、ＬＳＩ１６が、キャリブレーションを開始した旨を示す情報を受信したと判断した場合（ステップＳ７０２：ＹＥＳ）、ＬＳＩ１６は、内蔵するタイマ等の計時手段をリセットして計時を開始する（ステップＳ７０３）。

ＬＳＩ１６は、所定時間Ｔ２が経過したか否かを判断し（ステップＳ７０４）、ＬＳＩ１６は、所定時間Ｔ２が経過するまで待ち状態となる（ステップＳ７０４：ＮＯ）。ＬＳＩ１６が、所定時間Ｔ２が経過したと判断した場合（ステップＳ７０４：ＹＥＳ）、ＬＳＩ１６は、シャッター７２の動作を制御するアクチュエータ（図示せず）に対して、シャッター７２の閉止指示を送出する（ステップＳ７０５）。閉止指示を受け付けたアクチュエータは、シャッター７２を閉止する。

ＬＳＩ１６は、シャッター７２を閉止した状態で、シャッター７２の表面を撮像した画像データを取得し（ステップＳ７０６）、平均輝度値を算出する（ステップＳ７０７）。ＬＳＩ１６は、算出された平均輝度値に基づいて、撮像素子ごとのバラツキを均一化するオフセット補正値を算出する（ステップＳ７０８）。

ＬＳＩ１６は、遠赤外線撮像装置１（マスター装置）で算出されたオフセット補正値を受信し（ステップＳ７０９）、受信したオフセット補正値と、算出されたオフセット補正値とが略一致するか否かを判断する（ステップＳ７１０）。ＬＳＩ１６が、両者が一致しないと判断した場合（ステップＳ７１０：ＮＯ）、ＬＳＩ１６は、遠赤外線撮像装置１（マスター装置）から受信したオフセット補正値をＲＡＭ１２５に記憶する（ステップＳ７１１）。これにより、遠赤外線撮像装置１と遠赤外線撮像装置２とで出力される輝度値を略一致させることが可能となる。

ＬＳＩ１６が、両者が略一致すると判断した場合（ステップＳ７１０：ＹＥＳ）、ＬＳＩ１６は、算出したオフセット補正値をＲＡＭ１２５に記憶する（ステップＳ７１２）。ＬＳＩ１６は、シャッター７２の動作を制御するアクチュエータ（図示せず）に対して、シャッター７２の開放指示を送出する（ステップＳ７１３）。開放指示を受け付けたアクチュエータは、シャッター７２を開放する。

なお、遠赤外線撮像装置１、２のオフセット補正値を更新するタイミングは、一定時間間隔であっても良いし、周辺環境の温度変化が所定範囲を超えたことを検出装置３が温度センサ（図示せず）等を介して認識した場合に指示を送信するものであっても良い。

以上のように本実施の形態によれば、遠赤外線撮像装置１（マスター装置）にてオフセット補正値を更新してから、少なくとも１フレーム分の画像データを左右の遠赤外線撮像装置１、２から取得することができ、ステレオ視による障害物までの測距を含めて障害物の検出を行うことが可能となる。また、遠赤外線撮像装置１（マスター装置）又は遠赤外線撮像装置２（スレーブ装置）にてオフセット補正値を更新中であっても、他方の遠赤外線撮像装置で撮像された画像は確実に取得することができ、撮像された画像が途切れる状態が発生することを未然に回避することができ、安全な障害物検出システムを実現することが可能となる。

なお、上述した実施の形態では、遠赤外線撮像装置１、２の信号処理部１２のＬＳＩ１６がオフセット補正値の算出処理を行っているが、特にこれに限定されるものではなく、例えば検出装置３のＬＳＩ３３が算出処理を行っても良いことは言うまでも無い。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置の構成を示すブロック図である。本発明の実施の形態に係る遠赤外線撮像装置の信号処理部の構成を示すブロック図である。本発明の実施の形態に係る障害物検出システムの検出装置の構成を示すブロック図である。本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置（マスター装置）の信号処理部のＬＳＩの処理の手順を示すフローチャートである。遠赤外線撮像装置（マスター装置）での待ち時間Ｔ１及び遠赤外線撮像装置（スレーブ装置）での待ち時間Ｔ２を模式的に示す図である。本発明の実施の形態に係る障害物検出システムの遠赤外線撮像装置（スレーブ装置）の信号処理部のＬＳＩの処理の手順を示すフローチャートである。

符号の説明

１遠赤外線撮像装置（マスター装置）
２遠赤外線撮像装置（スレーブ装置）
３検出装置
４表示装置
５警報装置
１１画像撮像部
１２信号処理部
１３画像メモリ
１４通信インタフェース部
１５内部バス
１６ＬＳＩ
１２１Ａ／Ｄ変換部
１２２ＮＵＣ処理部
１２３ＢＰＲ処理部
１２５ＲＡＭ

Claims

車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出システムにおいて、
前記遠赤外線撮像装置は、
マトリックス状に配列された複数の撮像素子と、
該撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶する手段と、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する手段と
を備え、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ１フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始するようにしてあることを特徴とする障害物検出システム。
一の遠赤外線撮像装置が、オフセット補正値を更新している場合、他の遠赤外線撮像装置は、撮像された画像データから、前記一の遠赤外線撮像装置がオフセット補正値の更新を開始する前に検出された障害物を抽出し、抽出された障害物の位置の変化を時系列的に記憶するようにしてあることを特徴とする請求項１記載の障害物検出システム。
車両の周辺を時系列的に撮像する複数の遠赤外線撮像装置で撮像した視差画像を取得して、画像中の障害物の存在を検出する障害物検出方法において、
前記遠赤外線撮像装置にて、
マトリックス状に配列された複数の撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、
撮像素子へ入光させる開口を開閉するシャッターの表面を撮像した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新し、
一の遠赤外線撮像装置は、他の遠赤外線撮像装置がオフセット補正値を更新した後、画像データ１フレームに相当する時間以上経過した場合に、オフセット補正値の更新を開始することを特徴とする障害物検出方法。