JP3931885B2 - 障害物検知装置 - Google Patents

障害物検知装置 Download PDF

Info

Publication number
JP3931885B2
JP3931885B2 JP2004037949A JP2004037949A JP3931885B2 JP 3931885 B2 JP3931885 B2 JP 3931885B2 JP 2004037949 A JP2004037949 A JP 2004037949A JP 2004037949 A JP2004037949 A JP 2004037949A JP 3931885 B2 JP3931885 B2 JP 3931885B2
Authority
JP
Japan
Prior art keywords
resolution
detection target
obstacle
feature amount
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004037949A
Other languages
English (en)
Other versions
JP2005228195A (ja
Inventor
洋平 新垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004037949A priority Critical patent/JP3931885B2/ja
Publication of JP2005228195A publication Critical patent/JP2005228195A/ja
Application granted granted Critical
Publication of JP3931885B2 publication Critical patent/JP3931885B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、障害物の位置、挙動を検知する障害物検知装置に関し、特に1台のカメラで撮像した、解像度の異なる赤外画像を用いて障害物を検知する障害物検知装置に関する。
この種の分野においては、2台のカメラを用いて障害物を撮像し、ステレオ方式により距離を算出する車両周辺監視装置がある(特許文献1参照)。
しかしながら、2台のカメラの赤外画像に基づいて、ステレオ方式により距離を算出する手法は、計算コストが高いという問題があった。また、2台のカメラで撮像された赤外画像の対応点を設定するため、2台のカメラの設置位置や撮像方向を調整する作業コストが高いという問題があった。
特開2003−16429号公報
本発明は、以上の課題を鑑みてなされたものであり、1つのカメラで障害物の位置および挙動を検知することができる障害物検知装置を提供することを目的とする。
本発明によれば、自車両に搭載され、自車両周囲の赤外線像を撮像する撮像手段と、撮像手段により撮像された赤外線像に基づいて、解像度の異なる1又は2以上の画像を作成する画像作成手段と、撮像手段により撮像された赤外線像及び前記画像作成手段により作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域を抽出する領域抽出手段と、領域抽出手段により抽出された各検知対象領域の特徴量をそれぞれ算出する特徴量算出手段と、特徴量算出手段により算出された各検知対象領域の特徴量と、当該検知対象領域が含まれる画像の解像度との関係を導く関係導出手段と、関係導出手段により導出された特徴量と解像度との関係に基づいて前記障害物と自車両との相対位置関係を求める相対位置演算手段とを有する障害物検知装置が提供される。
本発明の障害物検知装置によれば、1つのカメラで、自車両と障害物の相対位置および自車両に対して障害物が接近するか否かなどの障害物の挙動を検知することができる。
以下、図面に基づいて、本発明に係る実施形態の障害物検知装置100を説明する。障害物検知装置100は、ユーザが搭乗する自車両に搭載され、障害物の相対位置、障害物の挙動を検知する。特に、本実施形態の障害物検知装置100は、1つのカメラで障害物の位置および挙動を検知する。
図1に障害物検知装置100のブロック構成を示した。図1に示すように、障害物検知装置100は、撮像手段1と、画像作成手段2、領域抽出手段3、特徴量算出手段4、関係導出手段5、検知手段6を有するCPU10と、CPU10がアクセス可能な、撮像画像記憶部71、作成画像記憶部72、特徴量記憶部73を有するメモリ7(RAM)とを有する。つまり、CPU10は、検知対象領域の特徴量を算出し、特徴量と解像度との関係に基づいて、障害物と自車両との相対位置関係を求めるプログラム、および/または特徴量と解像度との関係の経時的変化に基づいて、障害物が自車両に接近するか否かを判断するプログラムを実行することで、障害物検知処理を行う。
「撮像手段1」は、自車両周囲の障害物の赤外線像を撮像する。具体的には赤外線カメラ11を備えている。赤外線カメラ11は、タイマ制御部12の指令に従い、所定のタイミングまたは所定の周期で自車両周囲を撮像する。赤外線カメラ11は、車両のドアミラー部に設けられ、車両側後方の熱データを有する赤外線像(熱画像)を熱データの形式で取得する。赤外線カメラ11の設置場所を図2(A)および図2(B)に示した。赤外線カメラ11の設置位置、及び撮影方向は図2に示すものに限定されることなく、他の設置位置及び撮影方向であってもよい。図2に示した例では、側後方を監視できるように赤外線カメラ11を取り付けたが、車両前方を監視できるように赤外線カメラ11を設けてもよい。なお、本実施形態では、1台の赤外線カメラ11を設置した例を説明したが、精度向上を目的として、または撮像範囲の拡大を目的として複数の赤外線カメラ11を設置してもよい。
赤外線カメラ11が撮像した赤外線像(熱画像)の例を図3に示した。図3は、走行する車両の左側後方の歩行者A、自転車に乗っている人物B、及び電柱Cが存在する場面を撮像した赤外線像Pn(n=1)である。この赤外線像(熱画像)のデータは複数の画素データで構成され、各画素データには座標データ及び熱データが含まれる。赤外線カメラ11は、撮像した赤外線像をメモリ7の撮像画像記憶部71に記憶する。所定の周期で順次撮像した赤外線像は、撮像タイミングt1、t2、t3・・・tnの識別子を含ませて撮像画像記憶部72に記憶する。これにより撮像した赤外線像を時系列にソートすることができる。
「画像作成手段2」は、撮像手段1より撮像された赤外線像に基づいて解像度の異なる2以上の画像を作成する。本実施形態の画像作成手段2は、解像度を減少させた画像を作成する。つまり、撮像された赤外線像中の画素の数を減らした画像を作成する。図4(A)に基準となる画像を示し、図4(B)に解像度を減少させた作成画像を示した。図4(A)で示す画素1、画素2、画素3、画素4を含む領域が、図4(B)の画素5に対応する。解像度を減少させることにより、図4(A)の画素1〜4の各画素の熱データ量を加算して、対応する画素面積で除したものが図4(B)の画素5の熱データ量となり、1画素あたりの赤外線像の熱データは平均化される。低解像度の画像を作成する手法は特に限定されず、通常に用いられる他の手法であってもよい。画素を縦横それぞれ1/2のサイズとなるようにして、新たな低解像度の画像を作成してもよい。作成された複数の赤外線像は、基準となる撮像画像P(tn)と対応づけられ、逐次、時系列にメモリ7の作成画像記憶部72に、解像度(sx)が付記されて保存される。
「領域抽出手段3」は、撮像手段1により撮像された画像と画像作成手段2により作成された各画像に含まれる障害物の1又は2以上の検知対象領域を抽出する。具体的に、領域抽出手段3は、2値化処理などの画像処理手法を行い、検知対象候補となる領域を切り出し、切り出した対象領域の赤外線データの温度、所定温度以上の画素の積分面積、形状などに基づいて処理対象となる領域であるか否かを判定し、処理対象と判定された領域を検知対象領域として抽出する。
図3に示した赤外線画像について抽出した検知対象領域(E1〜E4)を図5(A)に示した。このE1〜E4は図5(B)に示すように障害物の各像に対応する。ちなみに、領域抽出処理は、撮像手段1により撮像された画像および画像作成手段2により作成された解像度の異なる複数の各画像のすべてについて、切り出し、判定、抽出の処理を行わずに、処理速度向上の観点から、これらのうちいずれか1つの画像について領域抽出処理を行い、それ以外の画像については抽出した領域の位置(画像上の座標値)と略同じ位置にある領域を検知対象領域として抽出してもよい。
「特徴量算出手段4」は、領域抽出手段3により抽出された各検知対象領域の特徴量をそれぞれ算出する。各検知対象領域についての特徴量の算出は、解像度の異なる複数の赤外線像に対してそれぞれ行われる。この特徴量は、検知対象領域を特徴づける熱データである。本実施形態では、特徴量は検知対象領域の最高輝度値、平均輝度値、または輝度分布である。本実施形態の最高輝度値は最高温度に対応し、平均輝度値は平均温度に対応し、輝度分布は温度分布に対応する。特徴量算出手段4は、算出した特徴量を検知対象領域および作成された画像と対応づけて特徴量記憶部73に記憶する。
「関係導出手段5」は、特徴量算出手段4により算出された検知対象領域の特徴量と、当該検知対象領域が含まれる画像の解像度との関係を導く。本実施形態の関係導出手段5は、検知対象領域ごとに、解像度の変化の対する特徴量の変化を導く。関係導出手段5は、検知対象領域を含む画像の解像度に対する当該検知対象領域の特徴量の変化率を導いてもよい。
「検知手段6」は、相対位置演算手段61と挙動判定手段62とを有している。以下、それぞれについて説明する。
「相対位置演算手段61」は、関係導出手段5により導出された特徴量と解像度との関係に基づいて障害物と自車両との相対位置関係を求める。本実施形態の相対位置演算手段6は、検知対象領域を含む画像の解像度に対する検知対象領域の特徴量の変化率に基づいて障害物と自車両との相対位置関係を求める。具体的には、変化率が所定範囲となる特徴量と解像度との関係、又は特徴量の変化に対する接線の傾きがゼロ近傍となる特徴量と解像度との関係から障害物と自車両との相対位置関係を求める
ここで、相対位置の算出手法について説明する。
図6に示すように、熱画像(赤外線像)の輝度値(温度)は、赤外線源(検知対象)から離れるほど減衰する傾向がある。この輝度値の減衰には2つの原因があり、1つは赤外線源(検知対象)からの距離に応じて赤外線自体が減衰するという理由であり、1つは解像度に起因し、計測値の平均化によって見かけ上、輝度値が減衰するという理由である。第1の理由に対応する「検知対象との距離と輝度値との関係」を図7(A)に示した。図7(A)に示すように、検知対象との距離が離れるほど輝度値は低下する。つまり、同じ解像度で相対距離の異なる検知対象を撮像した場合、検知対象までの距離に応じて見え方は異なり、検知対象が近くにあれば図4(A)のように、検知対象が遠くにあれば図4(B)のように見える。他方、第2の理由に対応する「解像度と輝度値との関係」を図7(B)に示した。図7(B)に示すように、解像度が低下するほど輝度値は低下する。これは、高解像度のカメラで見た場合、図4(A)のように見えるのに対して、低解像度のカメラで同じ被写体を撮像した場合、画素のデータ値が平均化されて、図4(B)の様に見えるためである。つまり、異なる解像度で相対距離の同じ検知対象を撮像した場合、解像度に応じて見え方は異なり、解像度が高ければ図4(A)のように、解像度が低ければ図4(B)のように見える。
このように、同じ解像度で撮像した検知対象が近くにある場合と遠くにある場合とでは見え方に違いが生じ、異なる解像度で撮像した場合も見え方に違いが生じる。
本実施形態ではこの現象に着目し、解像度の違いによる「輝度値と検知対象までの距離(相対位置)との関係」を導いた。この関係を図8に示した。図8に示すように、解像度が高くなるほど「輝度値(特徴量)と距離との関係1〜3」は座標右側にシフトする。解像度が低くなるほど「輝度値(特徴量)と距離との関係」は座標左側にシフトする。また、この注目点1〜3(所定範囲の変化率を示す点、又は接線の傾きがゼロ近傍となる)についても同様の傾向が見られる。つまり、解像度の高低によって、共通の検知対象に対する「輝度値(特徴量)と見かけ上の距離」の関係を変化させることができる。
このように、「検知対象までの距離と輝度値との関係」と「解像度と輝度値との関係」とから「解像度と検知対象との距離」を導くことができる。本実施形態では、このような解像度、距離によって検知対象の見え方が異なる現象を利用して、検知対象(障害物)との相対位置を求める。つまり、本実施形態では、作成した解像度の異なる画像における輝度値を求め、「輝度値(特徴量)と解像度との関係」に基づいて「検知対象との距離」を求める手法を提案する。
次に、「挙動判定手段62」について説明する。
「挙動判定手段62」は、特徴量と解像度との関係の経時的変化に基づいて障害物が自車両に接近しているか否かを判定する。本実施形態の挙動判定手段62は、解像度に対する特徴量の変化率に基づいて障害物が自車両に接近しているか否かを判定する。変化率が所定範囲となる場合の特徴量の経時的変化に基づいて、障害物が自車両に接近しているか否かを判定してもよい。また、挙動判定手段62は、特徴量の変化曲線に対する接線の傾きがゼロ近傍となる点に基づいて障害物が自車両に接近しているか否かを判定することもできる。特徴量は、最高輝度値、平均輝度値又は輝度分布のいずれでもよい。先述したように、同じ解像度で撮像した検知対象が近くにある場合と遠くにある場合とでは見え方に違いが生じ、異なる解像度で撮像した場合も検知対象の見え方に違いが生じる。検知対象、すなわち障害物が移動している場合は、経時的に撮像した検知対象領域の見え方が異なり、これに伴い解像度と特徴量との関係に変化を見出すことができる。本実施形態では、このような障害物の挙動に応じて検知対象の見え方が異なる現象を利用して、検知対象(障害物)が接近しているのか否かを判断する。つまり、本実施形態では、作成した解像度の異なる画像における輝度値を求め、「輝度値(特徴量)と解像度との関係の経時的変化」に基づいて「障害物が接近しているか否か」を判定する手法を提案する。ちなみに、本実施形態の挙動判定手段62は、撮像手段1が所定の周期で順次撮像した赤外線像に基づいて、障害物の挙動を判定する。撮像手段1が撮像した赤外線像は撮像画像記憶部71に時系列に記憶されている。
本実施形態の障害物検知装置100によれば、1のカメラで撮像した画像から、検知対象である障害物との距離、および/または障害物が自車両に接近するか否かといった障害物の挙動を検知することができる。
本実施形態によれば、2つのカメラを設置するために要する、部品コスト、作業コスト、さらに2つのカメラから取得した画像を処理するための処理コストを省き、安価な障害物検知装置を提供することができる。また、2つのカメラで撮像された画像から距離を求める処理よりも、計算コストを低減することができる。
また、従来の障害物検知装置で用いられている、対象領域の面積増減率を経時的に観察して検知対象物までの距離を求める手法に比べても、本実施形態の障害物検知装置は優れた効果を示す。つまり、従来の面積増減率を経時的に観察する手法は、対象領域の形状および距離が変化する場合又は障害物の一部が他の物体に隠れてしまう場合のように障害物が接近しても対象領域の面積が変らない場合、障害物を検出することができないという不都合があった。本実施形態の手法によれば、対象領域の形状および距離が変化しても、他の物体に隠れてしまう場合でも障害物を検出し、障害物までの距離および/または障害物の接近離隔といった挙動を正確に求めることができる。
以上のように構成された障害物検知装置100は、以下のように動作する。障害物検知装置100の処理手順を図9のフローチャートに基づいて説明する。
ステップ101において、撮像手段1の赤外線カメラ11は、自車両の周囲を所定の周期で撮像する。撮像周期は、目的(相対位置の算出又は障害物の挙動判定など)に応じて適宜決定する。撮像された赤外線像のデータはCPU20へ送出される。
ステップ102において、画像作成手段2は、取得した赤外線像に基づいて、解像度の異なる1又は2以上の画像を作成する。本実施形態では、赤外線カメラ11の解像度よりも低い解像度の画像を作成する。解像度の値、作成する画像数は、目的に応じて適宜決定できる。
ステップ103において、領域抽出手段3は、撮像された赤外線像および作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域を検出する。本処理では、作成された解像度の低い1枚の画像について検知対象領域を抽出し、他の画像については、抽出された検知対象領域の位置(画像座標)に相当する領域を検知対象領域として抽出する。もちろん、取得した赤外線像について検知対象領域を抽出してもよい。検知対象領域の抽出処理は、2値化処理などの画像処理手段により、図5(A)に示すような相対位置を算出する対象(障害物)に対応する領域を抽出する。
また、領域抽出手段3は、抽出された領域が検出対象として適当であるか否かを判定する(ステップ104)。検出対象として適当であるか否かは、所定の赤外線データ(温度等)を示す検知対象領域の形状や、所定の赤外線データ(温度等)を示す検知対象領域の面積に基づいて判断する。この検知対象領域の判定は、撮像した画像、作成した画像のうちのいずれか1枚の画像について行えば、すべてについて行わなくてもよい。
ステップ105において、領域抽出手段3は検知対象領域の画像に対する面積占有率を算出し、面積占有率が所定の閾値以上であるか否かを判断する。本実施形態では面積占有率が50%以上であるか否かを判断する。図10に画像Pと検知対象領域E0とを示した。ここでは検知対象領域E0の面積を、画像Pの面積で除して面積占有率を求める。検知対象(障害物)が接近しすぎているような場合、面積占有率は大きくなる。このような画像からは解像度に対する特徴量の変化を検知しにくくなる。このような場合、特徴量の変化が検出できず、相対位置および挙動の正確な判断ができないおそれがある。本実施形態では、障害物検知処理の正確性を優先する観点から、このような場合に本実施形態の手法を用いず、処理を中断し、ステップ101へ戻る。これにより、対象物体が近接しすぎて画像に対して高い占有率を占めてしまい、低画素化による輝度値(特徴量)の減衰関係を算出できない場合であっても、対象領域までの相対位置を算出することができる。
また、本実施形態の手法を用いず、他の処理手法を適用することもできる。具体的には、相対位置演算手段61は、面積占有率が所定値以上である場合(105でYes)、特徴量と障害物までの距離とを予め対応づけたモデルを参照して(120)、検知対象領域の特徴量に基づいて、障害物と自車両との相対位置関係を算出する(121)。さらに、挙動判定手段62は、面積占有率が所定値以上である場合(105でYes)、特徴量と障害物までの距離とを予め対応づけたモデルを参照して(120)、検知対象領域の特徴量の変化に基づいて、障害物が自車両に接近しているか否かを判定する(122)。ここで特徴量と障害物までの距離とを予め対応づけたモデルは、図7(A)に示したような特徴量と障害物との関係である。このように、本実施形態の手法では正確に判断できないような場合であっても、障害物の相対位置および障害物の挙動を判定することができる。
ステップ105に戻り、ステップ105において面積占有率が所定値未満である場合はステップ106へ進む。
ステップ106において、特徴量算出手段4は、抽出された各検知対象領域について特徴量の算出を行う。特徴量の算出は、撮像された赤外線像および作成された画像において抽出された検知対象領域のすべてについて行う。特徴量は、最高輝度値、平均輝度値、または輝度分布のいずれであってもよい。最高輝度算出部41は検知対象領域の最高輝度値を算出し、平均輝度算出部42は検知対象領域の平均輝度を算出し、輝度分布算出部43は検知対象領域の輝度分布を算出する。本例では、最高輝度算出部41が検知対象領域の最高輝度値を算出する。
ステップ107において、関係導出手段5は、算出された各検知対象領域の特徴量と、その検知対象領域が含まれる画像の解像度との関係を導く。本実施形態の関係導出手段5は、検知対象領域を含む画像の解像度に対する検知対象領域の特徴量の変化率を導く。導かれた検知対象領域の特徴量と解像度との関係を図11に示した。図11に示すように、自車両に対して近い物体の特徴量と解像度との関係Lと、自車両に遠い物体の特徴量と解像度との関係Kとは異なり、解像度を変化させた場合の輝度値の変化率異なる。図11に示した特徴量(最高輝度値(領域中の最高温度))は、解像度の低下とともに低下する傾向があるが、最高輝度値が低下し始める解像度が異なる。具体的に、自車両に近い物体の関係Lの最高輝度値はある程度(解像度=α)まで減衰傾向を示さず、自車両から遠い物体の関係Kの最高輝度値は速い段階で(解像度=β)減衰する。つまり、関係Lにおいて最高輝度値が低下し始める値はαであり、関係Kにおいて最高輝度値が低下し始める値は、αよりも小さいβである。
ステップ108において、相対位置演算手段61は、解像度に対する特徴量の変化率の変化率が所定値以上となる解像度から、障害物と自車両との相対位置関係を求める。相対位置演算手段61は、解像度に対する特徴量の変化率が所定値以上となる解像度αとβとを比較し、高い解像度を示す関係Lに対応する検知対象領域にある障害物の方が、関係Kに対応する検知対象領域にある障害物よりも自車両に近い位置にあることを判断する
ステップ102で作成された画像は作成画像記憶部72に記憶され、算出された解像度と特徴量との値は特徴量記憶部73に記憶される(ステップ109)。
予め目的に応じて設定された所定数以上の画像について、ステップ101〜108までの処理を繰り返す(ステップ110)。所定数の画像について処理を行ったら、ステップ111に進む。
ステップ111において、関係導出手段5は、ここまでの手順で蓄積された情報に基づいて、検知対象領域の特徴量と、検知対象領域が含まれる画像の解像度との関係の経時的変化を導く。
ステップ112において、挙動判定手段62は、ステップ107で求めた解像度に対する特徴量の変化率の経時的変化に基づいて障害物が自車両に接近しているか否かを判断する。本例の挙動判定手段62は、変化率が所定値以上となる解像度の経時的変化に基づいて障害物が自車両に接近しているか否かを判断する。解像度と輝度値との関係の経時的変化を図12に示した。t1にて撮像された画像P(t1)が関係Qである場合、この関係が時間の経過とともに関係Hに接近した場合、その検知対象(障害物)は自車両に接近していると判断できる。他方、この関係が時間の経過とともに関係Gに接近した場合、その検知対象(障害物)は自車両から離隔していると判断できる。同様に、変化率が所定値以上となる解像度を示すqが、関係Hのhに向かい座標右上にシフトした場合、その検知対象(障害物)は自車両に接近していると判断できる。他方、qが関係Gのgに向かい座標左下にシフトした場合、その検知対象(障害物)は自車両から離隔していると判断できる。このように検知対象領域の特徴量と解像度との関係の経時的変化から、検知対象領域に対応する障害物が接近しているのか又は離隔しているのかを判断することができる。本例において、挙動判定手段62は、図13(A)に示す検知対象領域E2が自車両に接近すると判断した。この検知対象領域E2は、図3に示した撮像画像の「自転車に乗っている人物B」に対応する。撮像された赤外線像との対応関係を図13(B)に示した。このように、本実施形態の挙動判定手段62によれば、撮像画像(図3)の中から近接してくる領域のみを検知することが可能となる。障害物の相対位置関係のみを知りたい場合には、ステップ108までの処理を行えばよい。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
本実施形態の障害物検知装置のブロック図である。 図2(A)(B)は赤外線カメラの設置位置を示す図である。 撮像した赤外線像の一例を示す図である。 図4(A)(B)は解像度の異なる画像について説明するための図である。 図5(A)(B)は検知対象領域を説明するための図である。 検知対象の相対位置と輝度値との関係を示す図である。 図7(A)は検知対象との距離と輝度値との関係を示す図、図7(B)は解像度と輝度値との関係を示す図である。 解像度の違いによる検知対象との距離と輝度値との関係を示す図である。 本実施形態の障害物検知装置の制御手順を示すフローチャート図である。 検知対象領域の占有率を説明するための図である。 距離の違いによる解像度と輝度値との関係を示す図である。 検知対象の挙動による解像度と輝度値との関係を示す図である。 図13(A)(B)は検知された対象領域を示す図である。
符号の説明
100…障害物検知装置
1…撮像手段
2…画像作成手段
3…領域抽出手段
4…特徴量算出手段
5…関係導出手段
6…検知手段
61…相対位置演算手段
62…挙動判定手段
7…メモリ
71…撮像画像記憶部
72…作成画像記憶部
73…特徴量記憶部

Claims (13)

  1. 自車両に搭載され、所定の周期で自車両周囲の赤外線像を撮像する一の撮像手段と、
    前記一の撮像手段により撮像された赤外線像に基づいて、解像度の異なる2以上の画像を作成する画像作成手段と、
    前記撮像手段により所定の周期で撮像された赤外線像及び前記画像作成手段により作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域を抽出する領域抽出手段と、
    前記領域抽出手段により抽出された各検知対象領域の特徴量をそれぞれ算出する特徴量算出手段と、
    前記特徴量算出手段により算出された各検知対象領域の特徴量の経時的な変化を前記検知対象領域が含まれる画像の解像度ごとに求めるとともに、当該解像度ごとに求められた特徴量の経時的な変化において、前記特徴量の経時的な変化の変化率が所定範囲となる場合の解像度ごとの特徴量を導く関係導出手段と、
    予め定義した特徴量と検知対象までの距離との関係を参照して、前記関係導出手段により導出された前記特徴量の変化率が所定範囲となる場合の各解像度における特徴量に基づいて、前記障害物と自車両との相対位置関係を求める相対位置演算手段とを有する障害物検知装置。
  2. 前記関係導出手段は、前記特徴量算出手段により算出された各検知対象領域の特徴量の経時的な変化を、前記検知対象領域が含まれる画像の解像度ごとに求めるとともに、当該解像度ごとに求められた特徴量の経時的な変化において、前記特徴量の経時的な変化曲線に対する接線の傾きがゼロ近傍となる場合の解像度ごとの特徴量を導き、
    前記相対位置演算手段は、予め定義した特徴量と検知対象までの距離との関係を参照して、前記関係導出手段により導出された前記特徴量の経時的な変化曲線に対する接線の傾きがゼロ近傍となる場合の各解像度における特徴量に基づいて、前記障害物と自車両との相対位置関係を求める請求項1に記載の障害物検知装置。
  3. 前記領域抽出手段は、抽出した検知対象領域の前記画像に対する面積占有率が所定値以上である場合、障害物検知処理を中止させる請求項1又は2に記載の障害物検知装置。
  4. 前記領域抽出手段は、抽出した検知対象領域の前記画像に対する面積占有率を算出し、
    前記相対位置演算手段は、前記面積占有率が所定値以上である場合、特徴量と障害物までの距離とを予め対応づけたモデルを参照して、前記特徴量算出手段により算出された各検知対象領域の特徴量に基づいて、前記障害物と自車両との相対位置関係を求める請求項1〜3のいずれかに記載の障害物検知装置。
  5. 自車両に搭載され、所定の周期で自車両周囲の赤外線像を所定の周期で順次撮像する一の撮像手段と、
    前記一の撮像手段により順次所定の周期で撮像された赤外線像に基づいて、解像度の異なる2以上の画像を作成する画像作成手段と、
    前記撮像手段により所定の周期で撮像された赤外線像及び前記画像作成手段により作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域を抽出する領域抽出手段と、
    前記領域抽出手段により抽出された各検知対象領域の特徴量をそれぞれ算出する特徴量算出手段と、
    前記特徴量算出手段により算出された各検知対象領域の特徴量と当該検知対象領域が含まれる画像の解像度との関係を撮像タイミングごとに求めるとともに、前記特徴量と解像度との関係において、前記解像度に対する特徴量の変化率が所定範囲となる場合の前記解像度に対する特徴量の経時的変化を各撮像タイミングごとに導く関係導出手段と、
    前記関係導出手段により導出された前記解像度に対する特徴量の変化率が所定範囲となる場合の特徴量と解像度との関係の経時的変化に基づいて前記障害物が自車両に接近しているのか否かを判定する挙動判定手段と、を有する障害物検知装置。
  6. 前記関係導出手段は、前記特徴量算出手段により算出された各検知対象領域の特徴量と当該検知対象領域が含まれる画像の解像度との関係を撮像タイミングごとに求めるとともに、前記特徴量と解像度との関係において、前記解像度に対する特徴量の変化曲線に対する接線の傾きがゼロ近傍となる場合の前記解像度に対する特徴量の経時的変化を各撮像タイミングごとに導き、
    前記挙動判定手段は、前記解像度に対する特徴量の変化曲線に対する接線の傾きがゼロ近傍となる場合の特徴量と解像度との関係の経時的変化に基づいて前記障害物が自車両に接近しているのか否かを判定する請求項に記載の障害物検知装置。
  7. 前記領域抽出手段は、抽出した検知対象領域の前記画像に対する面積占有率が所定値以上である場合、障害物検知処理を中止させる請求項5又は6に記載の障害物検知装置。
  8. 前記領域抽出手段は、抽出した検知対象領域の前記画像に対する面積占有率を算出し、
    前記挙動判定手段は、前記面積占有率が所定値以上である場合、特徴量と障害物までの距離とを予め対応づけたモデルを参照して、前記特徴量算出手段により算出された各検知対象領域の特徴量の経時的変化に基づいて、前記障害物が自車両に接近しているか否かを判定する請求項5〜7のいずれかに記載の障害物検知装置。
  9. 前記特徴量は、前記各検知対象領域の最高輝度値である請求項1〜8のいずれかに記載の障害物検知装置。
  10. 前記特徴量は、前記各検知対象領域の平均輝度値である請求項1〜8のいずれかに記載の障害物検知装置。
  11. 前記特徴量は、前記各検知対象領域の輝度分布である請求項1〜8のいずれかに記載の障害物検知装置。
  12. 自車両に搭載された一の撮像手段により所定の周期で撮像された赤外線像に基づいて、解像度の異なる2以上の画像を作成し、
    前記撮像された赤外線像及び作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域の特徴量をそれぞれ算出し、
    前記算出された各検知対象領域の特徴量の経時的な変化を前記検知対象領域が含まれる画像の解像度ごとに求めるとともに、当該解像度ごとに求められた特徴量の経時的な変化において、前記特徴量の経時的な変化の変化率が所定範囲となる場合の解像度ごとの特徴量を導き、
    予め定義した特徴量と検知対象までの距離との関係を参照して、前記導出された前記特徴量の変化率が所定範囲となる場合の各解像度における特徴量に基づいて、前記障害物と自車両との相対位置関係を求める障害物検知方法。
  13. 自車両に搭載された一の撮像手段により所定の周期で撮像された赤外線像に基づいて、解像度の異なる2以上の画像を作成し、
    前記撮像された赤外線像及び作成された各画像に含まれる障害物に対応する1又は2以上の検知対象領域の特徴量をそれぞれ算出し、
    前記算出された各検知対象領域の特徴量と当該検知対象領域が含まれる画像の解像度との関係を撮像タイミングごとに求めるとともに、前記特徴量と解像度との関係において、前記解像度に対する特徴量の変化率が所定範囲となる場合の前記解像度に対する特徴量の経時的変化を各撮像タイミングごとに導き、
    前記導出された前記解像度に対する特徴量の変化率が所定範囲となる場合の特徴量と解像度との関係の経時的変化に基づいて前記障害物が自車両に接近しているのか否かを判定する障害物検知方法。
JP2004037949A 2004-02-16 2004-02-16 障害物検知装置 Expired - Fee Related JP3931885B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004037949A JP3931885B2 (ja) 2004-02-16 2004-02-16 障害物検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004037949A JP3931885B2 (ja) 2004-02-16 2004-02-16 障害物検知装置

Publications (2)

Publication Number Publication Date
JP2005228195A JP2005228195A (ja) 2005-08-25
JP3931885B2 true JP3931885B2 (ja) 2007-06-20

Family

ID=35002848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004037949A Expired - Fee Related JP3931885B2 (ja) 2004-02-16 2004-02-16 障害物検知装置

Country Status (1)

Country Link
JP (1) JP3931885B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012122816A (ja) * 2010-12-07 2012-06-28 Nippon Telegr & Teleph Corp <Ntt> 3次元情報取得方法、3次元情報取得装置、および3次元情報取得プログラム
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US20220222946A1 (en) * 2019-03-22 2022-07-14 Honda Motor Co., Ltd. Traffic environment recognition device and vehicle control device

Also Published As

Publication number Publication date
JP2005228195A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
JP7025912B2 (ja) 車載環境認識装置
US9721460B2 (en) In-vehicle surrounding environment recognition device
JP6554169B2 (ja) 物体認識装置及び物体認識システム
JP4733756B2 (ja) 車両周辺監視装置
JP6786279B2 (ja) 画像処理装置
JP5075672B2 (ja) 対象物検出装置及び方法
EP3545464B1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017027220A (ja) 車載環境認識装置
JP2011065338A (ja) 対象物追跡装置及びプログラム
CN104512329B (zh) 倒车安全辅助方法、装置及汽车
JP3931885B2 (ja) 障害物検知装置
US20180268228A1 (en) Obstacle detection device
JP6396840B2 (ja) 物体検出装置
JP5903901B2 (ja) 車両位置算出装置
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP5493705B2 (ja) 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム
JP4842301B2 (ja) 歩行者検出装置及びプログラム
JP7180521B2 (ja) 物標検出装置、物標検出方法、及び運転支援システム
JPH11205663A (ja) 車両用撮像装置の露光量制御装置
JP5559121B2 (ja) 対象物種別判定装置
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP2017072914A (ja) 物体認識装置
JP6943092B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP2006107314A (ja) 画像処理装置、および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061110

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070305

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees