JP7204958B2 - 遠赤外線カメラによる物体認識 - Google Patents

Description

本発明は、一般に、車両の運転制御装置に関し、より詳細には、物体の相対温度から分類を判断する物体認識装置に関する。

従来技術では、物体認識システムおよび方法は、可視光カメラに反射された物体の色またはコントラストに基づいて、物体を認識するように構成されている。このような物体認識システムおよび方法は、物体の形状から物体の分類を判断することができる。

しかしながら、従来技術では、（例えば、物体が別の物体または画像の干渉／ノイズによって妨害されている場合）、物体の部分形状から、分類を判断することが困難な場合がある。また、個々の画像フレームに対して行われる認識は、信頼性が低い傾向がある。十分な信頼性を得るためには、数フレームの画像が必要とされるため、従来技術の認識技術は、重大な遅延を発生させず物体を発見する際には問題がある。

さらに、可視光カメラからの画像は、直射日光および対向車両のヘッドライトの影響を受ける可能性があり、可視光カメラを利用するシステムおよび方法の認識率を低下させる。さらに、可視光カメラよりも画素数が少ない遠赤外線カメラを用いると、可視光カメラに比べて物体の距離精度が悪くなる。

本明細書に記載の例示的な実装形態は、遠赤外線カメラを利用するか、または従来の感知技術と共に遠赤外線カメラを使用することによって、物体の認識率、認識速度、および距離精度を改善するためのシステムおよび方法に関する。

第１の例示的な実施態様では、物体の分類は、物体の形状から判断され、分類は、物体の相対温度の測定から判断された相対温度ゾーンに関連する。したがって、別の物体の相対温度が、以前に分類に関連付けられた相対温度ゾーンと一致する場合、同じ分類の物体を判断するための信頼性を向上できる。

第２の例示的な実施態様では、本明細書に記載のシステムおよび方法は、ステレオカメラ距離画像および視差のないカラー画像と共に、同期ＦＩＲカメラからの相対温度画像を重ね合わせることによって、ステレオカメラの距離画像を用いて、遠赤外線（ＦＩＲ）カメラの相対温度画像によりグループ化された物体の距離を抽出する。ステレオカメラと同期したＦＩＲカメラの相対温度画像と、ステレオカメラの距離およびカラー画像とを重ね合わせることで、物体の距離が、ＦＩＲカメラの相対温度画像とグループ化され、ステレオカメラの距離画像から検出され得る。

第３の例示的な実施態様では、ＦＩＲカメラ（ＦＩＲ－Ｆ）が車体の一部を占めるように設置され、撮影した本体温度を温度計で測定して、ＦＩＲカメラ（ＦＩＲ－Ｆ）の相対温度と絶対温度とを照合することにより、ＦＩＲカメラ（ＦＩＲ－Ｆ）の相対温度情報を絶対温度情報に変換する。ＦＩＲカメラ（ＦＩＲ－Ｆ）の画像の一部とＦＩＲカメラ（ＦＩＲ－Ｒ）の画像とが重なるようにＦＩＲカメラ（ＦＩＲ－Ｒ）が設置されている場合、ＦＩＲカメラ（ＦＩＲ－Ｆ）の絶対温度とＦＩＲカメラ（ＦＩＲ－Ｒ）の相対温度とを照合することにより、ＦＩＲカメラ（ＦＩＲ－Ｒ）の相対温度情報を絶対温度情報に変換する。

第４の例示的な実装形態では、物体の距離および絶対温度に関する情報を有する場合、物体が１秒間に放出するエネルギー量は、「Ｅ＝δＴ＾４＊４πＲ＾２」の関係式から得ることができる。物体のエネルギー範囲と物体の分類とを予め対応付けたテーブルを用意しておき、目標物体のエネルギーが各分類に対応付けられたエネルギー範囲内であれば、物体の信頼性が向上する。

第５の例示的な実施態様では、目標物体の分類が指定されると、物体のエネルギー範囲を表から取得できる。目標物体の絶対温度が既知であれば、関係式から距離の範囲を求めることができる。

本開示の態様は、車両システムを含むことができ、車両システムは、１つまたは複数の遠赤外線（ＦＩＲ）カメラと、プロセッサとを含み、プロセッサは、第１の物体の形状に基づいて、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体の物体分類を実行して第１の物体を分類することと、第１の物体の相対温度範囲を判断することと、第１の物体の相対温度範囲を第１の物体の分類に関連付けることと、第１の物体の相対温度範囲を有する１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、第２の物体を第１の物体の分類を有するものとして認識することとを、行うように構成されている。

本開示の態様は、コンピュータプログラムをさらに含み、コンピュータプログラムは、１つまたは複数の遠赤外線（ＦＩＲ）カメラを有する車両システムのためのプロセスを実行するための命令を記憶し、命令は、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類するステップと、第１の物体と一致する相対温度範囲を有する１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、第２の物体を第１の物体の分類を有するものとして認識するステップと、を含む。命令は、非一時的コンピュータ可読媒体に組み込まれてもよい。

本開示の態様は、１つまたは複数の遠赤外線（ＦＩＲ）カメラを有する車両システムのための方法をさらに含み、本方法は、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類するステップと、第１の物体と一致する相対温度範囲を有する１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、第２の物体を第１の物体の分類を有するものとして認識するステップと、を含む。命令は、非一時的コンピュータ可読媒体に組み込まれてもよい。

本明細書に記載の例示的な実装形態を通して、物体認識および検出は、先進運転者支援システム（ＡＤＡＳ）を支援する車両システムにおいて、より確実かつ正確に実装することができる。

例示的な実装形態による、車両制御装置を備えた車両の例示的な概略構成を示す図である。

例示的な実装形態による、車両の制御ユニットの例示的な処理および動作を示す図である。 例示的な実装形態による、車両の制御ユニットの例示的な処理および動作を示す図である。 例示的な実装形態による、各物体分類に対する位相関係の一例を示す図である。

例示的な実装形態による、車両システムの制御ユニットによる物体認識処理からの流れ図である。

例示的な実装形態による、画像を重ね合わせるための例示的な処理を示す図である。

例示的な実装形態による、物体の分類に適用されている可視光信頼性、形状信頼性、および温度信頼性の一例を示す図である。

例示的な実装形態による、車両システムで物体認識処理を実行する例を示す図である。

例示的な実装形態による、検出例を示す図である。

例示的な実装形態による、目標物体のエネルギーに基づいて物体分類を行うための例示的な流れ図である。

例示的な実装形態による、エネルギーおよび温度を使用して、車両からの物体の距離を判断するための例示的な流れ図である。

以下の詳細な説明は、本出願の図面および例示的な実施態様のさらなる詳細を提供する。図面間の冗長な要素の参照番号および説明は、明確にするために省略されている。説明全体を通して使用される用語は、例として提供されており、限定することを意図するものではない。例えば、「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態に応じて、実装形態の特定の態様に対するユーザまたは管理者の制御を含む完全自動または半自動の実装形態を含むことができる。選択は、ユーザ・インターフェースまたは他の入力手段を介して、ユーザにより行うことができ、または所望のアルゴリズムを介して実施できる。本明細書に記載の例示的な実装形態は、単独でまたは組み合わせて利用することができ、例示的な実装形態の機能は、所望の実装形態による任意の手段を介して実装できる。

図１は、例示的な実施態様による車両制御装置を備える車両形態の車両システムの概略構成を示す図である。図１の例では、車両は、動力源としてのエンジン１と、駆動系としての自動変速機２と、プロペラシャフト３と、デファレンシャルギヤ４と、ドライブシャフト５と、を含む一般的な構成の後輪駆動車であり、エンジン１が車輪６を駆動する、駆動輪を含む。

１つまたは複数のステレオカメラ７、および１つまたは複数の遠赤外線カメラ１３は、車両の前部に取り付けられ、これらのセンサは、所望の実装形態に従って、前方の先行車両、歩行者、車線、障害物、対向車両などの位置および相対速度を算出する。しかしながら、所望の実施態様に応じて、ステレオカメラ７の代わりに、またはステレオカメラ７に加えて、ライダー（ＬｉＤＡＲ、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、光検出と測距）、ソナー、レーダ、または単眼カメラなどの外界認識センサを使用して距離測定を行うこともできる。

電子制御ブレーキシステム１１は、車輪にそれぞれ加えられる個々の制動力を制御することができる油圧ブレーキシステムである。電子制御ブレーキシステムは、旋回要求に応答して右車輪または左車輪のいずれかに制動力を加えて、車両にヨーイング・モーメントを加える。

車両には、車両の動作状態を示すパラメータの値を測定するための動作パラメータ測定ユニットが設けられ、これには、車輪速度測定装置９、および車両挙動測定装置１０を含むことができる。これらの装置からの信号は、制御ユニット８に送られる。車両挙動測定装置１０は、前後加速度、横加速度、ヨー・レートを測定する。

車両には、情報出力ユニット１２が設けられている。情報出力ユニット１２は、運転支援動作の種別に応じて、画像を表示したり、音声を生成したり、支援動作の情報を示す警告灯を点灯させたりする。情報出力ユニット１２は、例えば、スピーカを内蔵したモニタである。車両には、複数の情報出力ユニットが設けることができる。

制御ユニット８は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などの専用ハードウェア、中央処理装置（ＣＰＵ）などのハードウェア・プロセッサ、および／またはハードウェア・プロセッサとソフトウェアプロセッサとの組み合わせの形態とすることができる。本明細書で説明するように、制御ユニット８は、１つまたは複数の遠赤外線（ＦＩＲ）カメラ７の１つまたは複数の画像から検出された第１の物体を分類し、第１の物体と一致する相対温度範囲を有する、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、第２の物体を、図２（ａ）および図２（ｂ）に示すように、第１の物体の分類を有するものとして認識するように、構成される。

例示的な実施態様では、本明細書で説明するように、制御ユニット８は、第１の物体の形状に基づいて１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類することによって、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類するように構成することができ、第１の物体の相対温度範囲を判断し、図３に示すように、第１の物体の相対温度範囲を第１の物体の分類に関連付ける。

例示的な実装形態では、本明細書で説明するように、車両システムはまた、画像情報および距離情報を提供するように構成されている追加のセンサシステムを含むことができ、制御ユニット８は、ＦＩＲカメラ７の１つまたは複数の画像をセンサシステムからの画像情報および距離情報と同期させ、図３～図５に示すように、画像情報および距離情報に基づいて第１の物体を分類するように構成される。そのようなセンサシステムは、所望の実装形態に従って、ステレオカメラ、ライダー（ＬｉＤＡＲ）、ソナー、レーダ、または単眼カメラを含むことができるが、これらに限定されない。

例示的な実施態様では、本明細書で説明するように、車両システムの近接点の温度を測定するように構成されている温度計もあり得る。そのような例示的な実施態様では、制御ユニット８は、車両システムの近接点の温度および第１の物体の相対温度範囲に基づいて、第１の物体の絶対温度範囲を判断するように構成される。１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、制御ユニット８は、１つまたは複数のＦＩＲカメラのうちの複数のＦＩＲカメラからの１つまたは複数の画像のうちの重ね合わせ画像を処理し、車両システムの近接点の温度、および第２の物体の相対温度範囲に基づいて、第２の物体の相対温度範囲を第２の物体の絶対温度範囲に変換し、第１の物体の絶対温度範囲を有する第２の物体について、第２の物体を、図６～図９に示すような第１の物体の分類を有するものとして認識するように、構成される。所望の実施態様に応じて、温度計は、基準点として使用されるべき近接点（例えば、車両システムの上または近く）を、測定することができる。例えば、センサの配置に応じて、温度計は、車両システムのボンネット、サイドミラー、ドアハンドル、またはトランクの温度を測定するように構成することができ、それゆえに、センサおよびＦＩＲカメラは、そのような温度点に対して相対温度読み取り値が生成されるときに、その中で測定された温度を基準点として使用することができる。別の例示的な実装形態では、絶対温度を判断するために車両システムの近接点を利用しない画像を取り込むセンサおよびＦＩＲカメラがある場合、追加のセンサまたはカメラを使用して車両システムの近接点を測定することができ、それらの追加のセンサ／カメラと他のセンサおよびカメラとの間の重ね合わせ画像を使用して、絶対温度を判断できる。

例示的な実施態様では、本明細書で説明するように、制御ユニット８は、温度および第１の物体までの距離に基づいて第１の物体のエネルギーを判断し、エネルギーに基づいて、１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類し、第１の物体と一致する相対温度範囲を有し、かつ第１の物体のエネルギー範囲内にある１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、図８に示されるように、第２の物体を第１の物体の分類を有するものとして認識するように、構成できる。

例示的な実施態様では、本明細書で説明するように、制御ユニット８は、第１の物体の分類に基づいて、第２の物体のエネルギー範囲を判断し、図９に示すように、第２の物体のエネルギー範囲および相対温度範囲に基づいて、第２の物体までの距離範囲を判断するように、構成できる。

例示的な実装形態では、本明細書で説明するように、制御ユニット８は、第１の物体と一致する相対温度範囲を有さない１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第２の物体について、図２（ａ）～図２（ｃ）に示すように、以前に検出された物体の相対温度範囲と比較した相対温度範囲に基づいて、第２の物体を認識するように、さらに構成できる。

本明細書に記載の例示的な実装形態は、物体検出のために他のセンサからの重ね合わせ画像と併せて温度範囲を利用し、それにより、視覚画像のみを使用するシステムよりも物体検出および分類を改善できる。所望の実装形態に応じて、車両システムはまた、制御ユニット８から提供される第１の物体および第２の物体の分類に従って、車両システムを制御するように構成されている先進運転者支援システム（ＡＤＡＳ）を含むことができる。例えば、ＡＤＡＳシステムは、検出された物体が閾値内の距離にあると判断された歩行者または動物である場合、車両システムを減速させることができる。

ここに示す車両は、例示的な実装形態を適用することができる車両の一例であるが、本開示はこれに限定されず、所望の実装形態に従って任意の車両構成を利用できる。例えば、動力源としてエンジンの代わりにモータを設けてもよいし、動力源としてエンジンとモータを設けてもよい。

次に、この車両制御装置の物体認識処理の内容について説明する。図２（ａ）および図２（ｂ）は、例示的な実装形態による、車両の制御ユニットの例示的な処理および動作を示す図である。具体的には、図２（ａ）は、図２（ｂ）で概説した処理に従って、物体認識のために処理される例示的な遠赤外線画像を示す。図２（ｂ）のフローチャートは、制御ユニット８の動作を示しており、所定の時間間隔で繰り返し実行される。

Ｓ１１では、遠赤外線カメラを介して、形状により物体を認識する認識処理を実行する。遠赤外線カメラの画像を用いて、物体Ｏ１の形状信頼度Ｒｓ０ｏ１が任意の閾値Ｒｔｈｓ０ｃ１より大きければ、物体Ｏ１を分類Ｃ１と判断する。

条件１：Ｒｓ０ｏ１＞Ｒｔｈｓ０ｃ１

このとき、分類Ｃ１に対応する相対温度は未知であるため、相対温度確信度Ｒｔ０は０である。そして、認識した物体Ｏ１の相対温度の最大値Ｔ’ｍａｘおよびＴ’ｍｉｎを測定する。

Ｓ１２では、制御ユニットは、物体の相対温度範囲を判断する。物体Ｏ１の分類Ｃ１に対応する相対温度オフセットＴ’ｏｍａｘｃ１およびＴ’ｏｍｉｎｃ１は、予め用意された各種類に対応する相対温度オフセットの表１（以下に示す）から求められ、相対温度帯域ｔ’ｃ１が、条件２として設定される。

条件２：Ｔ’ｍｉｎ＋Ｔ’’ｃ１ｏｍｉｎ＜ｔ’ｃ１＜Ｔ’ｍａｘ＋Ｔ’ｃ１ｏｍａｘ

Ｓ１３では、遠赤外線カメラの画像からｔ’ｃ１の温度幅に対応する画素群をグループ化し、その領域における物体Ｏ２の相対温度確信度Ｒｔ０ｏ２が、任意の閾値Ｒｔｈｔ０より大きい場合、物体Ｏ２を物体としてＣ１に分類する。

条件３：Ｒｔ０ｏ２＞Ｒｔｈｔ０ｃ１

ＲｓとＲｔｈｔについては、分類毎に図２（ｃ）に示すような位相関係があり、Ｒｓに対応するＲｔｈｔは、図２（ｃ）のデータである表２（以下に示す）から求めることができ、分類毎に条件１が成立すると、物体が認識されたことになる。

条件４：（Ｒｓ＞Ｒｔｈｓ）＆（Ｒｔ＞Ｒｔｈｔ）

したがって、形状だけでなく、相対温度からも物体の種別を判断することができ、物体の認識信頼性を向上できる。

次に、この車両制御装置の物体認識処理の内容について説明する。図３は、例示的な実装形態による、車両システムの制御ユニットによる物体認識処理からの流れ図である。図３のフローチャートは、制御ユニット８の動作を示しており、所定の時間間隔で繰り返し実行される。

Ｓ２１では、受信した画像を重ね合わせる。例示的な実装形態では、ステレオカメラ７の可視光画像、距離画像、遠赤外線カメラ１３の相対温度画像が重ね合わされる。重ね合わせ処理の一例を図４に示す。図４に示すように、ステレオカメラ７および遠赤外線カメラ１３から受信した画像は、４０１で同期され、カラー画像（例えば、可視光画像）、距離画像、および相対温度画像を、（例えば、タイムスタンプに基づいて）同期させることができる。４０２において、画像のタイムスタンプに基づいて、図４に示すように、画像を重ね合わせて合成画像を形成する。

Ｓ２２では、可視光画像に基づいて、物体認識の信頼性を算出する。これにより、可視光画像の情報に基づいて、目標物体Ｏ３の可視光確信度Ｒｖｏ３が算出される。

Ｓ２３では、相対温度画像に基づいて物体認識の信頼性を算出する。これにより、目標物体Ｏ３の形状信頼度Ｒｓｏ３および相対温度確信度Ｒｔｏ３が、相対温度画像の情報に基づいて算出される。図５は、例示的な実装形態による、物体の分類に適用されている可視光信頼性、形状信頼性、および温度信頼性の一例を示す図である。

Ｓ２４では、可視光確信度Ｒｖｏ３が、所望の実施態様に従って設定された閾値Ｒｖｔｈｃ２よりも大きいかどうか、比較が行われる。その場合（はい）、処理はＳ２７へ進み、物体は分類Ｃ２として認識される。

条件５：Ｒｖｏ３＞Ｒｖｔｈｃ２

そうでない場合には（いいえ）、処理はＳ２５に進み、形状信頼度Ｒｓｏ３がＲｓｔｈｃ２よりも大きいかどうかと、相対温度確信度Ｒｔｏ３がＲｔｔｈｃ２よりも大きいかどうかとが、判断される。その場合（はい）、処理はＳ２７に進み、目標物体Ｏ３を分類Ｃ２として、物体認識を行う。

条件６：（Ｒｓｏ３＞Ｒｓｔｈｃ２）＆（Ｒｔｏ３＞Ｒｔｔｈｃ２）

そうでない場合には（いいえ）、処理はＳ２６に進み、可視光確信度Ｒｖｏ３が所望の実施態様に従って設定された閾値Ｒ’ｖｔｈｃ２よりも大いかどうかと、形状信頼度Ｒｓｏ３がＲ’ｓｔｈｃ２よりも大きいかどうかと、相対温度確信度Ｒｔｏ３がＲ’ｔｔｈｃ２よりも大きいかどうかと、が判断される。その場合（はい）、処理はＳ２７に進み、目標物体Ｏ３を分類Ｃ２として認識する。そうでない場合には（いいえ）、システムが物体を認識しないため認識ができず、処理が終了する。

Ｓ２８では、距離画像に基づいて、物体の距離を算出する処理を行う。これにより、物体分類が行われ、車両と物体との距離を知ることができる。

次に、この車両制御装置の物体認識処理の内容について説明する。図６は、例示的な実装形態による、車両システムで物体認識処理を実行する例を示す図である。図６のフローチャートは、制御ユニット８の動作を示しており、所定の時間間隔で繰り返し実行される。図６のフローは、図７に示す検出例を参照して行われる。

Ｓ３１では、車両に搭載された温度計を用いて、図７のＡ点の絶対温度Ｔａを測定する。Ｓ３２では、図７に示すように、遠赤外線カメラ（ＦＩＲ－Ｆ）を用いて、点Ａの相対温度Ｔ’ｆａおよび点Ｂの相対温度Ｔ’ｆｂを測定する。Ｓ３３では、遠赤外線カメラ（ＦＩＲ－Ｒ）を用いて、点Ｂの相対温度Ｔ’ｒａおよび点Ｂの相対温度Ｔ’ｒｂを測定する。

Ｓ３４では、Ｂ点の絶対温度Ｔｂを以下の式１により算出する。

式１：Ｔｂ＝Ｔａ－（Ｔ’ｆａ－Ｔ’ｆｂ）

Ｓ３５では、Ｃ点の絶対温度Ｔｃを以下の式２により算出する。

式２：Ｔｃ＝Ｔｂ－（Ｔ’ｒｂ－Ｔ’ｒｃ）

したがって、形状や相対温度だけでなく、絶対温度によっても種別を判別することが可能となり、その結果、物体認識の信頼性が向上する。

図８は、例示的な実装形態による、目標物体のエネルギーに基づいて物体分類を行うための例示的な流れ図である。図８のフローチャートは、制御ユニット８の動作を示しており、所定の時間間隔で繰り返し実行される。

Ｓ４１では、以下の式３により目標物体Ｏ４のエネルギーを算出する。

式３：

Ｓ４２では、物体Ｏ４の分類Ｃｏ４が、物体の分類に対応するエネルギーの範囲を記述する表３（以下）から判断される。

したがって、そのような例示的な実施態様により、形状および温度だけでなく、そのエネルギーによっても物体の種別を判断することが可能になり、その結果、物体認識の信頼性が向上する。

図９は、例示的な実装形態による、エネルギーおよび温度を使用して、車両からの物体の距離を判断するための例示的な流れ図である。図９のフローチャートは、制御ユニット８の動作を示しており、所定の時間間隔で繰り返し実行される。

Ｓ５１では、物体Ｏ５の種別Ｃｏ５に対応するエネルギーを下記の表４（以下）から求めて、物体Ｏ５のエネルギーＥｏ５を判断する。あるいは、物体Ｏ５のエネルギーが過去に測定されている場合、その値を利用することができる。

Ｓ５２では、物体Ｏ５の種別がＣ１である場合、式４（以下）のＥにＥｃ１ａｖｅを入力し、Ｔに物体Ｏ５の絶対温度Ｔｏ５を入力して、物体Ｏ５の距離Ｒｏ５を算出する。

式４：

したがって、目標物体の絶対温度、およびエネルギーまたは種別のみが既知であっても、距離を算出することができ、距離の精度が向上する。

詳細な説明のいくつかの部分は、コンピュータにおける動作のアルゴリズムおよび記号表現に関して提示されている。これらのアルゴリズム記述および記号表現は、それらの革新の本質を他の当業者に伝えるために、データ処理分野の当業者によって使用される手段である。アルゴリズムは、所望の最終状態または結果をもたらす一連の定義されたステップである。例示的な実施態様では、実行されるステップは、有形の結果を達成するために有形の量の物理的操作を必要とする。

説明から明らかなように、特に明記しない限り、説明全体を通して、「処理する」、「計算する」、「算出する」、「判断する」、「表示する」などの用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶装置、伝送装置、または表示装置内の物理量として同様に表される他のデータに変換する、コンピュータシステムまたは他の情報処理装置の動作および処理を含み得ることが理解される。

例示的な実装形態はまた、本明細書の動作を実行するための装置に関し得る。この装置は、必要な目的のために特別に構成されてもよく、あるいは、１つもしくは複数のコンピュータプログラムによって、選択的に起動または再構成される１つもしくは複数の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に記憶されてもよい。コンピュータ可読記憶媒体は、限定はしないが、光ディスク、磁気ディスク、読み出し専用メモリ、ランダム・アクセス・メモリ、ソリッド・ステート・デバイスおよびドライブ、またはその他の有形種類などの有形媒体、あるいは、電子情報を記憶するのに適した非一時的媒体、を含むことができる。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書に提示されるアルゴリズムおよび表示装置は、いかなる特定のコンピュータまたは他の装置に本質的に関連しない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む純粋なソフトウェア実装形態を含むことができる。

様々な汎用システムは、本明細書の例によるプログラムおよびモジュールと共に使用されてもよく、または所望の方法ステップを実行するためのより特殊化された装置を構築することが好都合であることを実証してもよい。さらに、例示的な実装形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載の例示的な実装形態の教示を実施するために、様々なプログラミング言語を使用できることが理解されよう。プログラミング言語の命令は、１つまたは複数の処理装置、例えば、中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラによって実行されてもよい。

当技術分野で知られているように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。例示的な実装形態の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装されてもよく、他の態様は、機械可読媒体（ソフトウェア）に格納された命令を使用して実装されてもよく、これは、プロセッサによって実行されると、プロセッサに、本出願の実装形態を実行する方法を実行させる。さらに、本出願のいくつかの例示的な実装形態は、ハードウェアでのみ実行されてもよく、他の例示的な実装形態は、ソフトウェアでのみ実行されてもよい。さらに、説明された様々な機能は、単一のユニットで実行することができ、または任意の数の方法で複数の構成要素に分散することができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。必要に応じて、命令は、圧縮および／または暗号化された形式で媒体に格納することができる。

さらに、本出願の他の実施態様は、本明細書の考察および本出願の教示の実施から当業者には明らかであろう。記載された例示的な実装形態の様々な態様および／または構成要素は、単独で、または任意の組み合わせで使用することができる。本明細書および例示的な実施態様は、例としてのみ考慮されることが意図されており、本出願の真の範囲および主旨は、以下の特許請求の範囲によって示される。

Claims (11)

1. 車両システムであって、
   １つまたは複数の遠赤外線（ＦＩＲ）カメラと、
   プロセッサであって、
   前記１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類することと、
   前記第１の物体と一致する相対温度範囲を有する前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された第２の物体について、前記第２の物体を、前記第１の物体の前記分類を有するものとして認識することと、
   前記第１の物体の前記分類に基づいて、前記第２の物体のエネルギー範囲を判断することと、
   前記第２の物体の前記エネルギー範囲および前記相対温度範囲に基づいて、前記第２の物体までの距離範囲を判断することと、
   を行うように構成されているプロセッサと、
   を備える車両システム。
2. 前記プロセッサは、
   前記第１の物体の形状に基づいて、前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第１の物体を分類することと、
   前記第１の物体の相対温度範囲を判断することと、
   前記第１の物体の前記相対温度範囲を、前記第１の物体の前記分類に関連付けること、
   とによって、
   前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第１の物体を分類することを、
   行うように構成されている、請求項１に記載の車両システム。
3. 画像情報および距離情報を提供するように構成されているセンサシステムをさらに備え、前記プロセッサは、前記ＦＩＲカメラの前記１つまたは複数の画像を、前記センサシステムからの前記画像情報および距離情報と同期させることと、前記画像情報および距離情報に基づいて、前記第１の物体を分類することと、を行うように構成されている、請求項１に記載の車両システム。
4. 前記プロセッサは、
   温度および前記第１の物体までの距離に基づいて、前記第１の物体のエネルギーを判断することと、
   前記エネルギーに基づいて、前記１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された前記第１の物体を分類することと、
   前記第１の物体と一致する相対温度範囲を有し、かつ、前記第１の物体のエネルギー範囲内にある、前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第２の物体について、前記第２の物体を、前記第１の物体の前記分類を有するものとして認識することと、
   を行うようにさらに構成されている、請求項１に記載の車両システム。
5. 前記第１の物体および前記第２の物体の前記分類に従って、前記車両システムを制御するように構成されている先進運転者支援システム（ＡＤＡＳ）をさらに備える、請求項１に記載の車両システム。
6. 前記プロセッサは、
   前記第１の物体と一致する前記相対温度範囲を有さない前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第２の物体について、以前に検出された物体の相対温度範囲と比較した前記相対温度範囲に基づいて、前記第２の物体を認識することを、行うようにさらに構成されている、請求項１に記載の車両システム。
7. １つまたは複数の遠赤外線（ＦＩＲ）カメラを備える車両システムのためのプロセスを実行するための命令を記憶する非一時的コンピュータ可読媒体であって、
   前記命令は、
   前記１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された第１の物体を分類するステップと、
   前記第１の物体と一致する相対温度範囲を有する前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された第２の物体について、前記第２の物体を、前記第１の物体の前記分類を有するものとして認識するステップと
   前記第１の物体の前記分類に基づいて、前記第２の物体のエネルギー範囲を判断するステップと、
   前記第２の物体の前記エネルギー範囲および前記相対温度範囲に基づいて、前記第２の物体までの距離範囲を判断するステップと、
   を備える、非一時的コンピュータ可読媒体。
8. 前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第１の物体を分類する前記ステップは、
   前記第１の物体の形状に基づいて、前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第１の物体を分類するステップと、
   前記第１の物体の相対温度範囲を判断するステップと、
   前記第１の物体の前記相対温度範囲を、前記第１の物体の前記分類に関連付けるステップと、
   を備える、請求項７に記載の非一時的コンピュータ可読媒体。
9. 前記車両システムは、画像情報および距離情報を提供するように構成されているセンサシステムをさらに備え、前記命令は、前記ＦＩＲカメラの前記１つまたは複数の画像を、前記センサシステムからの前記画像情報および距離情報と同期させるステップと、前記画像情報および距離情報に基づいて、前記第１の物体を分類するステップと、をさらに備える、請求項７に記載の非一時的コンピュータ可読媒体。
10. 前記命令は、
    温度および前記第１の物体までの距離に基づいて、前記第１の物体のエネルギーを判断するステップと、
    前記エネルギーに基づいて、前記１つまたは複数のＦＩＲカメラの１つまたは複数の画像から検出された前記第１の物体を分類するステップと、
    前記第１の物体と一致する相対温度範囲を有し、かつ、前記第１の物体のエネルギー範囲内にある、前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第２の物体について、前記第２の物体を、前記第１の物体の前記分類を有するものとして認識するステップと、
    をさらに備える、請求項７に記載の非一時的コンピュータ可読媒体。
11. 前記命令は、
    前記第１の物体と一致する前記相対温度範囲を有さない前記１つまたは複数のＦＩＲカメラの前記１つまたは複数の画像から検出された前記第２の物体について、以前に検出された物体の相対温度範囲と比較した前記相対温度範囲に基づいて、前記第２の物体を認識することを
    さらに備える、請求項７に記載の非一時的コンピュータ可読媒体。

Images