WO2019069581A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

遠赤外線画像を処理する画像処理装置及び画像処理方法を提供する。　同一の対象の遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出し、特定温度領域のうち動きベクトルが近いもの同士を統合して統合領域を生成し、画像全体の動きを示すグローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を排除済統合領域全体の動きベクトルに基づいて位置補正してから、可視光動き領域を時間方向で合成する。

Description

画像処理装置及び画像処理方法

　本明細書で開示する技術は、遠赤外線画像を処理する画像処理装置及び画像処理方法に関する。

　近年、自動車運転技術の開発が盛んに行われてきている。例えば、可視光カメラや距離センサなどを用いて、自車前方の人や障害物を検出して、自動ブレーキをさせるなど障害物を回避する技術が開発されている。もちろん、自車の側方や後方の人や障害物も、同様の技術を適用して、自車との衝突可能性を推定することができる。

特許第５４９１２４２号公報 特許第４７３４８８４号公報 特許第３５９８７９３号公報

　本明細書で開示する技術の目的は、遠赤外線画像を処理する画像処理装置及び画像処理方法を提供することにある。

　本明細書で開示する技術の第１の側面は、
　可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定部と、
　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出部と、
　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合部と、
　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除部と、
　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成部と、
を具備する画像処理装置である。

　前記画像合成部は、可視光動き領域の画面上の位置が時間方向で変化しないように位置補正する。また、前記領域抽出部は、例えば、人の体温を含む前記温度範囲内の値の画素からなる特定温度領域を抽出する。

　画像処理装置は、前記画像合成部による合成画像から前記特定の対象が存在する領域を検出する検出部をさらに備えていてもよい。また、画像処理装置は、前記検出部が検出した前記領域の動きを推定する動き推定部をさらに備えていてもよい。

　また、画像処理装置は、排除済統合領域の動きベクトルに基づいて予測される一定時間後の前記特定の対象の位置と、同時刻に前記移動体が到着することが予定される位置との相対位置を比較する比較部をさらに備えていてもよい。また、画像処理装置は、前記相対位置に基づいて計算される、前記特定の対象と前記移動体が衝突する可能性に応じて、前記移動体の運転者に対して衝突の危険性を提示する警告部をさらに備えていてもよい。

　また、本明細書で開示する技術の第２の側面は、
　可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定ステップと、
　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出ステップと、
　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合ステップと、
　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除ステップと、
　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成ステップと、
を有する画像処理方法である。

　本明細書で開示する技術によれば、遠赤外線画像を処理する画像処理装置及び画像処理方法を提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、車両制御システム１００の概略的な機能の構成例を示すブロック図である。 図２は、画像処理装置２００の機能的構成例を示した図である。 図３は、可視光カメラ２０１で撮影した可視光画像の例を示した図である。 図４は、遠赤外線カメラ２０２で撮影した遠赤外線画像の例を示した図である。 図５は、可視光画像から推定したグローバルモーションベクトルの例を示した図である。 図６は、遠赤外線画像から抽出された人温度領域の例を示した図である。 図７は、動きベクトル付人温度領域が示された遠赤外線画像の例を示した図である。 図８は、動きベクトルが近い人温度領域同士を統合した統合領域と、統合領域毎の動きベクトルの例を示した図である。 図９は、統合領域の動きベクトルとグローバルモーションベクトルを比較する様子を例示した図である。 図１０は、グローバルモーションベクトルに似ている動きベクトルを持つ統合領域を排除した結果の例を示した図である。 図１１は、排除済統合領域とその動きベクトルの例を示した図である。 図１２は、可視光動き領域の例を示した図である。 図１３は、可視光動き領域を統合領域動きベクトルの逆ベクトルを使って位置補正する例を示した図である。 図１４は、位置補正して得られた複数フレームの画像を１枚に合成した結果の例を示した図である。 図１５は、図１４に示した合成画像から抽出された人候補領域の例を示した図である。 図１６は、人候補領域に対して推定された人候補領域動きベクトル１５０１の例を示した図である。 図１７は、警告装置１６００の機能的構成例を示した図である。 図１８は、自車走行比較部１６０２による衝突可能性の判定例を示した図である。 図１９は、車両と並走する歩道上の自転車が交差点で巻き込み事故を起こす様子を示した図である。 図２０は、同一の対象を観測する可視光画像及び遠赤外線画像用いて物体を検出するための処理手順を示したフローチャートである。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。

　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。

　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

　昼夜を問わず、車両と併走する歩道上のランナーや自転車などが、交差点で巻き込まれる事故が多発している。これは、車道と歩道が街路樹や柵で仕切られているような場合には、車両側から歩道上の人を検出するのが困難なためである。図１９に示すように、歩道が車道と歩道の間に街路樹で仕切られていると、歩道が街路樹によって隠れてしまうので、交差点など街路樹が途切れるまでは、歩道を歩いている歩行者や自転車を車両側から認知するのは難しい。特に、歩道上のランナーや自転車などが車両と並走している場合には、交差点に差し掛かるまでは車両側からランナーや自転車を認知し難く、巻き込みが発生し易い。

　このため、可視光カメラや距離センサを車両に搭載して、自車前方の人や障害物を検出して、自動ブレーキを指せるなど障害物を回避する技術が開発されている（前述）。

　しかしながら、道路側方の人を可視光カメラで検出する際、街路樹などが障害物となって人全体が見えないことがあり、人検出の精度は低下してしまう。特に、街路樹の密度が高く、人領域が自車から見え辛い状況下では、必ずしも人検出が成功するとも限らず、フレーム毎に検出できたりできなかったりするおそれがある。また、街路樹と人との関係により、同一人物の検出可能な領域がフレーム毎に変化するため、複数フレーム間での同一人物の対応関係を求めることが困難で、その人の動きの推定が難しく、そのため、自車との衝突の危険性の判別が困難となるおそれがある。

　一方、ミリ波レーダ、ＬｉＤＡＲ、超音波センサなどの距離センサは、対象までの距離を計測することはできるが、対象となる人と自車の間に街路樹のような障害物があった場合、街路樹と人との分離を行ったり、分離した対象のどちらが人領域であるかを判定したりすることは困難である。

　例えば、カメラと監視対象物との間に遮蔽物が存在する状況で、画像処理による監視対象物の誤検知を防止する車両周辺監視装置について提案がなされている（例えば、特許文献１を参照のこと）。この車両周辺監視装置は、レーダで認識した領域の物体を可視光カメラで撮影して認識する構成を備えているが、監視対象とカメラの間に壁などの遮蔽物があると、その遮蔽物を監視対象物と誤認識する可能性がある。そこで、この車両周辺監視装置は、カメラ画像の複雑度を求め、それが想定される対象の複雑度と異なっている場合には、遮蔽物が存在していると判断することで、誤認識を防いでいる。しかしながら、遮蔽物と監視対象物とを分別する手段として対象の複雑度を用いているため、壁のようにのっぺりした遮蔽物を分別することは可能であるが、街路樹のような複雑な遮蔽物に対しては有効とは言い難い。

　また、人の温度に相当する複数領域のうち、距離的に適切と思われる領域同士をグルーピングして、その領域の面積と形状から人かどうかを判定する人物検出装置についても提案がなされている（例えば、特許文献２を参照のこと）。この人物検出装置によれば、環境や服などの変化で、人体全体が適切な温度範囲内に入らない場合でも人検出を行うことが可能である。この人物検出装置は、一枚の遠赤外線画像内の複数の領域から人かどうかを判定するように構成されているが、遮蔽物の面積が大きく、人検出を行うのに十分な領域が確保できない場合には判定の精度が著しく低下することが懸念される。

　さらに、可視光カメラと遠赤外線カメラで同一対象を撮影し、それぞれの評価値で２値化を行い、その差分を求めることで、人の顔や手の領域を抽出する歩行者検出警報装置についても提案がなされている（例えば、特許文献３を参照のこと）。遠赤外線画像の温度情報だけで人領域を判定すると、車のテールライトのように人の温度に近い領域が含まれてしまうが、この歩行者検出警報装置は、可視光で人らしい領域を別途評価することで、正しく人領域を判別するように構成されている。この歩行者検出警報装置は、遠赤外線と可視光のそれぞれで人らしい領域を抽出する必要があるが、街路樹などの複雑なテクスチャの障害物がある場合には、どちらの方法でも人を検出するのが困難になることが懸念される。

　そこで、本明細書では、同一対象を観測する可視光カメラ及び遠赤外線カメラによる各撮像画像の処理を組み合わせて、街路樹などの複雑なテクスチャの障害物の中から人などの所望の物体を好適に検出する画像処理装置について、以下で開示する。

　図２には、本明細書で開示する技術を適用した画像処理装置２００の機能的構成を模式的に示している。画像処理装置２００は、図１に示した車両制御システム１００内に、例えば自動運転制御部１１２の一構成要素として組み込むことも可能である。以下、画像処理装置２００の各部の機能について、詳細に説明する。

　可視光カメラ２０１と遠赤外線カメラ２０２は、同一の対象を観測するように設置されている。可視光カメラ２０１が撮影した可視光画像２２０と遠赤外線カメラ２０２が撮影した遠赤外線画像２２１は、ともに画像処理装置２００に入力される。遠赤外線画像２２１は、例えば１０マイクロメートル付近の長波長で熱の情報を多く含む画像を撮影して、人の体温に近い温度領域を抽出することができる。

　可視光カメラ２０１と遠赤外線カメラ２０２は、例えば車両に搭載して用いられる。また、画像処理装置２００も車両に搭載して用いられることが想定される。図２に示す例では、可視光カメラ２０１と遠赤外線カメラ２０２は画像処理装置２００に外部接続されるが、可視光カメラ２０１と遠赤外線カメラ２０２の少なくとも一方が画像処理装置２００と一体となった装置構成も想定される。また、可視光カメラ２０１と遠赤外線カメラ２０２は、図１に示した車両制御システム１００のデータ取得部１０２の構成要素として組み込まれることが想定される。

　画像処理装置２００は、グローバルモーションベクトル推定部２０３と、人温度領域抽出部２０４と、領域毎動きベクトル推定部２０５と、領域統合部２０６と、動きベクトル比較排除部２０７と、蓄積処理部２０８と、蓄積装置２０９と、画像合成部２１０と、人検出部２１１と、人領域動きベクトル推定部２１２を備えている。

　グローバルモーションベクトル推定部２０３は、可視光カメラ２０１から入力された複数の連続するフレームの可視光画像２２０から、画像の主体的な動き（すなわち、画像全体が画面上でどのように動いたか）を示すグローバルモーションベクトル２２２を求める。

　一方、人温度領域抽出部２０４は、遠赤外線カメラ２０２から入力された遠赤外線画像２２１から、人が取り得る温度によってマスキングされた（すなわち、人がとり得る温度範囲内の）画素領域を、人温度領域として抽出する。なお、当該画像処理装置１００において、人以外の特定の対象について同様の処理を実施したい場合には、その特定の対象の特徴を表す温度範囲内の値の画素領域を抽出するように構成された特定温度領域抽出部を、人温度領域抽出部２０４に代えて画像処理装置１００に組み込めばよい。

　領域毎動きベクトル推定部２０５は、人温度領域が抽出された複数の連続するフレームの遠赤外線画像２２３から、人温度領域毎の動き（すなわち、各人温度領域が画面上でどのように動いたか）を示す動きベクトルを求めて、動きベクトル付人温度領域が示された遠赤外線画像２２４を出力する。

　領域統合部２０６は、遠赤外線画像２２４に含まれる複数の動きベクトル付人温度領域の各々の動きベクトルを比較し、一定以上近い動きベクトルを持つ人温度領域同士を統合して統合領域を生成する。なお、「一定以上近い」ベクトルとは、例えば２つのベクトルのなす角度が一定以下であることを意味する（以下、同様）。そして、領域統合部２０６は、統合領域に含まれる各人温度領域の動きベクトル群を統合して、統合領域毎の動きベクトルを計算し、動きベクトル付統合領域が示された遠赤外線画像２２５を出力する。例えば、動きベクトル群の平均を計算することで、動きベクトルを統合することができる。

　街路樹や柵などの障害物越しに人を観測した遠赤外線画像２２１内では、同じ人の身体が複数の人温度領域に断片化されていることが想定される。同じ人の身体の人温度領域であれば互いの動きベクトルは一定以上近くなるはずである。領域統合部２０６は、このような前提により、一定以上近い動きベクトルを持つ人温度領域同士を同じ人のものと同定して、統合する訳である。

　なお、領域統合部２０６は、動きベクトル同士が一定以上近いかどうかだけでなく、対応する人温度領域間の距離が近いことも、領域を統合する条件に加えるべきである。何故ならば、ある程度以上離れた人温度領域は、動きベクトルが一定以上近くても別の人物（例えば、歩道を並走している２人のランナー）である可能性が高く、統合すべきでないからである。

　動きベクトル比較排除部２０７は、領域統合部２０６から入力される遠赤外線画像２２５に含まれる動きベクトル付統合領域の領域毎の動きベクトルを、グローバルモーションベクトル推定部２０３から入力されるグローバルモーションベクトル２２２と比較する。そして、動きベクトル比較排除部２０７は、グローバルモーションベクトル２２２と一定以上近い動きベクトルを持つ統合領域を遠赤外線画像２２５内の動きベクトル付統合領域から排除して、グローバルモーションベクトル２２２とは異なる動きベクトルを持つ動きベクトル付統合領域のみを残す。そして、動きベクトル比較排除部２０７は、残った動きベクトル付統合領域全体の動きベクトル、すなわち統合領域動きベクトルを求める。

　グローバルモーションベクトル２２２と一定以上近い動きベクトルを持つ動きベクトル付統合領域は、画面上での画像全体の動きに追従している、すなわち静止している物体（人）の画像であり、衝突する可能性のある障害物となり得ない。したがって、動きベクトル比較排除部２０７は、グローバルモーションベクトル２２２と動きベクトルの比較結果に基づいて、静止している物体のものと推測される動きベクトル付統合領域を推定して、遠赤外線画像２２５から排除することにしている訳である。

　なお、可視光カメラ２０１及び遠赤外光カメラ２０２を搭載した車両とは反対方向に移動している物体（人）の人温度領域の動きベクトルも、グローバルモーションベクトル２２２と一定以上近いことが想定される。このような物体も、車両と衝突する可能性はないが、動きベクトル比較排除部２０７はグローバルモーションベクトル２２２との比較結果に基づいて同様に動きベクトル付統合領域から排除することができる。

　そして、動きベクトル比較排除部２０７は、残った統合領域をさらに統合して排除済統合領域を生成するとともに、残った統合領域の各動きベクトルを統合して排除済統合領域の動きベクトルを計算する。さらに動きベクトル比較排除部２０７は、可視光カメラ２０１で得られた可視光画像２２０を入力し、排除済統合領域内の各人温度領域に対応する可視光領域を可視光画像２２０から抽出して、可視光動き領域を生成する。動きベクトル比較排除部２０７は、例えば、可視光画像２２０を排除済統合領域の０でない領域（人温度領域）でマスクして、残った人温度領域に対応する可視光動き領域を抽出する（可視光動き領域は、排除済統合領域として残った人温度領域を、可視光画像の対応する可視光領域で置き換えたものに相当する）。排除済統合領域から可視光画像をマスクするのは、後段の人検出部２１１において、遠赤外線画像よりも情報量の多い可視光画像を用いることによって、人をより正確に検出できるようにするためである。

　このようにして、動きベクトル比較排除部２０７は、残った人温度領域の可視光画像からなる可視光動き領域と、残った人温度領域全体の統合領域動きベクトルから構成される動きベクトル付可視光動き領域２２６を最終的に得ることができる。

　蓄積処理部２０８は、可視光動き領域と統合領域動きベクトルから構成される、複数フレーム分の動きベクトル付可視光動き領域２２６を、蓄積装置２０９に蓄積していく。複数フレームの動きベクトル付可視光動き領域２２６を蓄積するのは、後段の画像合成部２１０において時間方向に画像合成するためである。

　なお、可視光画像ではなく遠赤外線画像と統合領域動きベクトルから構成される動きベクトル付排除済統合領域を蓄積装置２０９に蓄積していくようにしてもよい。昼間や対象に照明が当たる場合には、可視光画像にテクスチャや色などの多くの情報が含まれるが、夜間や照明が乏しい場合には、むしろ遠赤外線画像の方がより多くの情報を含む。したがって、蓄積処理部２０８は、可視光カメラ２０１及び遠赤外線カメラ２０２で撮影が行われた時間帯や車外の環境光などの情報に応じて、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかを選択的に蓄積装置２０９に蓄積するようにしてもよい。あるいは、蓄積処理部２０８は、動きベクトル付可視光動き領域及び動きベクトル付排除済統合領域の両方を蓄積装置２０９に蓄積していくようにしてもよい。

　また、可視光カメラ２０１で撮影された可視光画像（動画像）２２０も、蓄積装置２０９に蓄積（すなわち、ドライブレコーダとして録画）するようにしてもよい。蓄積装置２０９は、例えばＳＳＤやＨＤＤなどの大容量記憶装置で構成してもよい。蓄積装置２０９は、画像処理装置２００に内蔵される他、画像処理装置２００の外付け装置として構成されることも想定される。

　後半の画像合成部２１０、人検出部２１１、及び人領域動きベクトル推定部２１２では、時間方向に連続する複数フレームの動きベクトル付可視光動き領域２２７を蓄積装置２０９から取り出して、車両との衝突回避のための人検出並びに人の動き推定のための処理が実施される。

　なお、動きベクトル付可視光動き領域及び動きベクトル付排除済統合領域の両方が蓄積装置２０９に蓄積されている場合には、可視光カメラ２０１及び遠赤外線カメラ２０２で撮影が行われた時間帯や車外の環境光などの情報に応じて、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかを選択的に蓄積装置２０９から取り出して、後半の処理を実施するようにしてもよい。例えば、昼と判断された場合には動きベクトル付可視光動き領域を用い、夜と判断された場合には動きベクトル付排除済統合領域を用いる。また、人検出部２１１は、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかに対応する辞書に切り替えて使用する。但し、以下では説明の便宜上、動きベクトル付可視光動き領域２２７を用いる場合に限定して、後半の処理について説明する。

　画像合成部２１０は、時間方向に連続する複数フレーム分の動きベクトル付可視光動き領域２２７を蓄積装置２０９から取り出すと、各フレームの動きベクトル付可視光動き領域２２７の動きベクトル情報に基づいて、可視光動き領域の画面上の位置を補正してから、可視光動き領域を時間方向に合成して、合成画像２２８を生成する。具体的には、各フレームで得られた可視光動き領域を、その統合領域動きベクトルの逆ベクトルを使って、画面上の位置がフレーム間で（すなわち、時間方向で）変化しないように位置を補正する。そして、得られた複数フレームの画像を１枚に合成することによって、前景（街路樹などの障害物）を排除して、背景となる対象（人）の元の形状を復元して抽出することができる。画像合成部２１０は、生成した合成画像２２８を、後段の人検出部２１１に出力する他、表示装置２４０で画面表示するようにしてもよい。表示装置２４０は、画像処理装置１００に外部接続されていてもよいし、画像処理装置１００の構成要素であってもよい。表示装置２４０は、図１に示した車両制御システム１００の出力部１０６が備えていてもよい。

　人検出部２１１は、画像合成部２１０から入力される合成画像２２８に人検出処理を施して、人候補領域２２９を生成する。人検出部２１１は、例えば機械学習を利用して人検出処理を実施する（後述）。人検出部２１１は、生成した人候補領域２２９の情報を、後段の人領域動きベクトル推定部２１２に出力する他、画像処理装置２００の外部に出力してもよい。

　そして、人領域動きベクトル推定部２１２は、人検出部２１１から入力される人候補領域２２９と、蓄積装置２０９から取り出された複数フレームの動きベクトル付可視光動き領域２２７の動きベクトルから、人候補領域全体の動きを示す人候補領域動きベクトル２３０を推定する。例えば、人領域動きベクトル推定部２１２は、複数フレームにわたる排除済統合領域２２６や人候補領域２２９の動きベクトルの平均などから、人候補領域動きベクトルを算出する。もし、この人候補領域動きベクトルで推定される、一定時間後の人の位置と車両の位置が重なるおそれがある場合には、衝突の危険性があるとして、画像処理装置２００から警告を発するようにしてもよい。

　図３及び図４には、可視光カメラ２０１が撮影した可視光画像及び遠赤外線カメラ２０２が撮影した遠赤外線画像の例をそれぞれ示している。但し、可視光カメラ２０１と遠赤外線カメラ２０２は、同一の対象を観測したものとする。図３に示す例では、可視光画像に、街路樹と街路樹越しの人が写っている。この場合、街路樹が障害となり、人がどこに居るのかを判別することは困難である。一方、図４に示す遠赤外線画像では、人の体温に近い温度領域を抽出すると、人らしい複数の領域を明瞭に抽出することができている。図３に示すように街路樹越しに観測する場合、人の身体が街路樹によって部分的に遮られるので、図４から分かるように、１人の人の身体が複数の領域に断片化されて抽出される。

　図５には、グローバルモーションベクトル推定部２０３が、可視光画像から求めた、画像の主体的な動きを示すグローバルモーションベクトルを例示している。ここでは、グローバルモーションベクトル推定部２０３が、図３に示した可視光画像を含む複数の連続するフレームから推定したグローバルモーションベクトルを例示している。同図中、参照番号４０１で示す、白抜きの大きな矢印がグローバルモーションベクトルに相当し、画像全体が画面上でどのように動いたかを表している。

　図６には、人温度領域抽出部２０４が、図４に示した遠赤外線画像から抽出した人温度領域を例示している。人温度領域抽出部２０４は、遠赤外線カメラ２０２から入力された遠赤外線画像２２１から、人が取り得る温度によってマスキングされた人温度領域を求める。図６中、白い矩形で囲まれた複数の領域が、それぞれ人温度領域に相当する。図３に示すように街路樹越しに観測する場合、人の身体が街路樹によって部分的に遮られるので、１人の人の身体が断片化されて複数の人温度領域として抽出される。

　図７には、領域毎動きベクトル推定部２０５から出力される、動きベクトル付人温度領域が示された遠赤外線画像を例示している。領域毎動きベクトル推定部２０５は、人温度領域が抽出された複数の連続するフレームの遠赤外線画像から、各人温度領域が画面上でどのように動いたかを示す動きベクトルを求める。同図中、白い矩形で示される各人温度領域にそれぞれ付けられた斜線で塗り潰した小さな矢印が、人温度領域毎に推定された動きベクトルに相当する。

　領域統合部２０６は、遠赤外線画像２２４に含まれる複数の動きベクトル付人温度領域の各々の動きベクトルを比較し、一定以上近い動きベクトルを持つ人温度領域同士を統合して統合領域を生成するとともに、統合領域に含まれる人温度領域毎の動きベクトル群から統合領域毎の動きベクトルを計算して、動きベクトル付統合領域を得る。図８には、領域統合部２０６が図７に示した動きベクトル付人温度領域が示された遠赤外線画像に対して領域統合処理を実施して得られた動きベクトル付統合領域と、動きベクトル付統合領域毎の動きベクトルを例示している。同図中、参照番号７０１、７０２、７０３でそれぞれ示す、点線で囲まれた各領域が、それぞれ動きベクトル付統合領域に相当する。また、参照番号７０４で示す、動きベクトル付統合領域７０１に付されたドットで塗り潰された矢印は、動きベクトル付統合領域７０１に含まれる人温度領域の動きベクトル群を統合した動きベクトルに相当する。同様に、参照番号７０５、７０６でそれぞれ示す、各々の動きベクトル付統合領域７０２、７０３に付されたドットで塗り潰された矢印は、動きベクトル付統合領域７０２、７０３毎の動きベクトルに相当する。

　図３に示したように街路樹越しに観測する場合、人の身体が街路樹によって部分的に遮られるので、１人の人の身体が断片化されて複数の人温度領域として抽出される。同じ人の人温度領域はほぼ同じ動きをするので、一定以上近い動きベクトルを持つ人温度領域は同じ人のものであると推定することができる。そこで、図８に示すように、一定以上近い動きベクトルを持つ人温度領域毎に統合して、動きベクトル付統合領域７０１、７０２、７０３を生成できる訳である。

　動きベクトル比較排除部２０７は、動きベクトル付統合領域毎の動きベクトルを、グローバルモーションベクトル推定部２０３から入力されるグローバルモーションと比較して、一定以上近い領域を動きベクトル付統合領域から排除する。図９には、各動きベクトル付統合領域７０１、７０２、７０３の動きベクトル７０４、７０５、７０６とグローバルモーションベクトル４０１とを比較している様子を例示している。また、図１０には、グローバルモーションベクトルと一定以上近い動きベクトルを持つ動きベクトル付統合領域を排除した結果を示している。図１０から分かるように、グローバルモーションベクトル４０１と一定以上近い動きベクトル７０４を持つ動きベクトル付統合領域７０１に含まれる人温度領域が排除される一方、グローバルモーションベクトル４０１とは異なる動きベクトル７０５及び７０６をそれぞれ持つ動きベクトル付統合領域７０２及び７０３は残されたままである。

　そして、動きベクトル比較排除部２０７は、残った統合領域をさらに統合して排除済統合領域を生成するとともに、残った統合領域の各動きベクトルを統合して排除済統合領域の動きベクトルを計算する。図１１には、図１０中の残った統合領域７０２及び７０３を統合した排除済統合領域１００１と、統合領域７０２及び７０３の各動きベクトルを統合した、排除済統合領域１００１の動きベクトル１００２を例示している。

　さらに動きベクトル比較排除部２０７は、可視光カメラ２０１から入力した可視光画像を排除済統合領域１００１中の画素値が０でない領域（すなわち、排除済統合領域内の各人温度領域）でマスクして、排除済統合領域内の各人温度領域に対応する可視光領域からなる可視光動き領域を生成する。図１２には、排除済統合領域内の人温度領域に対応する可視光領域からなる可視光動き領域１１０１を例示している。排除済統合領域から可視光画像をマスクするのは、後段の人検出部２１１において、遠赤外線画像よりも情報量の多い可視光画像を用いることによって、人をより正確に検出できるようにするためである。

　蓄積処理部２０８は、図１２に示すような可視光動き領域と、図１１に示すような動きベクトルとで構成される動きベクトル付可視光動き領域を、複数フレーム分、蓄積装置２０９に蓄積していく。複数フレーム分の可視光動き領域を蓄積するのは、後段の画像合成部２１０において時間方向に画像合成するためである。また、昼間や対象に照明が当たる場合には、可視光画像にテクスチャや色などの多くの情報が含まれるが、夜間や照明が乏しい場合には、むしろ遠赤外線画像の方がより多くの情報を含む。そこで、蓄積処理部２０８は、可視光カメラ２０１及び遠赤外線カメラ２０２で撮影が行われた時間帯や車外の環境光などの情報に応じて、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかを選択的に蓄積装置２０９に蓄積していくように制御してもよい。あるいは、蓄積処理部２０８は、動きベクトル付可視光動き領域及び動きベクトル付排除済統合領域の両方を蓄積装置２０９に蓄積していくようにしてもよい。

　後半の画像合成部２１０、人検出部２１１、及び人領域動きベクトル推定部２１２では、時間方向に連続する複数フレームの動きベクトル付可視光動き領域を蓄積装置２０９から取り出して、車両との衝突回避のための人検出並びに人の動き推定のための処理が実施される。動きベクトル付可視光動き領域及び動きベクトル付排除済統合領域の両方が蓄積装置２０９に蓄積されている場合には、可視光カメラ２０１及び遠赤外線カメラ２０２で撮影が行われた時間帯や車外の環境光などの情報に応じて、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかを選択的に使用するようにしてもよい。例えば、昼と判断された場合には動きベクトル付可視光動き領域を用い、夜と判断された場合には動きベクトル付排除済統合領域を用いる。また、人検出部２１１は、動きベクトル付可視光動き領域又は動きベクトル付排除済統合領域のいずれかに対応する辞書に切り替えて使用する。但し、以下では説明の便宜上、動きベクトル付可視光動き領域２２７を用いる場合に限定して、後半の処理について説明する。

　画像合成部２１０は、時間方向に連続する複数フレームの動きベクトル付可視光動き領域を蓄積装置２０９から取り出し、その動きベクトル情報に基づいて、可視光動き領域の画面上の位置が時間方向で変化しないように位置を補正する。図１３には、各フレームで得られた可視光動き領域を、その統合領域動きベクトルの逆ベクトル１２０１を使って、画面上の位置が時間方向で変化しないように位置補正する様子を例示している。

　そして、画像合成部２１０は、位置補正が施された複数の可視光画像を合成した合成画像を生成する。図１４には、位置補正して得られた複数フレームの画像を１枚に合成した結果を示している。図１４から分かるように、位置補正した複数のフレームを合成することによって、前景を排除して、背景となる対象（人）の元の形状を復元して抽出することができる。すなわち、１フレームでは、街路樹などの障害物に阻まれて対象の一部しか観測できなくても、複数のフレームの画像を抽出して時間方向に合成することで、背景として撮影された対象の全体像が現れてくる。

　人検出部２１１は、画像合成部２１０から入力される合成画像に人検出処理を施して、人候補領域を生成する。図１５には、図１４に示した合成画像から抽出された人候補領域１４０１の例を示している。

　人領域動きベクトル推定部２１２は、人検出部２１１から入力される人候補領域と、蓄積装置２０９から取り出された複数フレームの動きベクトル付可視光動き領域の動きベクトルから、人候補領域全体の動きを示す人候補領域動きベクトルを推定する。例えば、人領域動きベクトル推定部２１２は、複数フレームにわたる排除済統合領域や人候補領域の動きベクトルの平均などから、人候補領域動きベクトルを算出する。図１６には、人検出部２１１によって検出された人候補領域１４０１に対して推定された人候補領域動きベクトル１５０１の例を示している。人候補領域動きベクトル１５０１で推定される、一定時間後の人の位置と車両の位置が重なるおそれがある場合には、衝突の危険性があるとして、画像処理装置２００から警告を発するようにしてもよい。

　なお、人検出部２１１において、画像から人検出を行う方法の一例として、機械学習による人検出処理が挙げられる。具体的には、大量の画像データ（可視光画像、並びに遠赤外線画像）を用いて、検出した被写体が人かそうでないかをあらかじめ学習させておく。そして、類似の画像が人検出部２１１に入力された際に、検出した被写体が人か自転車かなどを判別する。例えば、多層のニューラルネットワークによるディープラーニングを適用してもよい。

　付言すれば、機械学習による人検出では、学習に用いられる画像データが重要になる。遠赤外線画像の場合、環境温度によって輝度が変わる他、人の服装とそれに伴う温度分布などが変わる。そこで、環境温度によって最適な辞書を適応的に切り替える処理が人検出処理に含まれても良い。また、人の手足のように動きの大きい部位を外した（胴体を中心とした）辞書データを学習して、人の（手足の）動きに依存せず高精度に検出できるようにしてもよい。

　図２０には、画像処理装置２００において、可視光カメラ２０１で撮影した可視光画像と遠赤外線カメラ２０２で撮影した遠赤外線画像を用いて障害物の中から人などの所望の物体を検出するための処理手順をフローチャートの形式で示している。

　グローバルモーションベクトル推定部２０３は、可視光カメラ２０１から入力された複数の連続するフレームの可視光画像２２０から、グローバルモーションベクトル２２２を求める（ステップＳ２００１）。

　また、人温度領域抽出部２０４は、遠赤外線カメラ２０２から入力された遠赤外線画像２２１から、人が取り得る温度によってマスキングされた画素領域を、人温度領域として抽出する（ステップＳ２００２）。

　次いで、領域毎動きベクトル推定部２０５は、ステップＳ２００２で人温度領域が抽出された複数の連続するフレームの遠赤外線画像２２３から、人温度領域毎の動きを示す動きベクトルを求めて、動きベクトル付人温度領域が示された遠赤外線画像２２４を出力する（ステップＳ２００３）。

　次いで、領域統合部２０６は、遠赤外線画像２２４に含まれる複数の動きベクトル付人温度領域の各々の動きベクトルを比較し、一定以上近い動きベクトルを持つ人温度領域同士を統合して統合領域を生成するとともに、統合領域に含まれる各人温度領域の動きベクトル群を統合して、統合領域毎の動きベクトルを計算し、動きベクトル付統合領域が示された遠赤外線画像２２５を出力する（ステップＳ２００４）。

　動きベクトル比較排除部２０７は、ステップＳ２００４で得られた動きベクトル付統合領域の領域毎の動きベクトルを、ステップＳ２００１で得られたグローバルモーションベクトル２２２と比較して、グローバルモーションベクトル２２２と一定以上近い動きベクトルを持つ統合領域を遠赤外線画像２２５内の動きベクトル付統合領域から排除して（ステップＳ２００５）、グローバルモーションベクトル２２２とは異なる動きベクトルを持つ動きベクトル付統合領域のみを残す。

　次いで、動きベクトル比較排除部２０７は、残った統合領域をさらに統合して排除済統合領域を生成するとともに、残った統合領域の各動きベクトルを統合して排除済統合領域の動きベクトルを計算する（ステップＳ２００６）。

　さらに動きベクトル比較排除部２０７は、可視光カメラ２０１で得られた可視光画像２２０を入力し、排除済統合領域内の各人温度領域に対応する可視光領域を可視光画像２２０から抽出して、可視光動き領域を生成する（ステップＳ２００７）。動きベクトル比較排除部２０７は、例えば、可視光画像２２０を排除済統合領域の０でない領域（人温度領域）でマスクして、残った人温度領域に対応する可視光動き領域を抽出する。

　そして、可視光動き領域と統合領域動きベクトルから構成される、複数フレーム分の動きベクトル付可視光動き領域２２６を、蓄積装置２０９に蓄積していく（ステップＳ２００８）。

　画像合成部２１０は、時間方向に連続する複数フレーム分の動きベクトル付可視光動き領域２２７を蓄積装置２０９から取り出すと、各フレームの動きベクトル付可視光動き領域２２７の動きベクトル情報に基づいて、可視光動き領域の画面上の位置を補正してから、可視光動き領域を時間方向に合成して、合成画像２２８を生成する（ステップＳ２００９）。

　次いで、人検出部２１１は、ステップＳ２００９で生成された合成画像２２８に人検出処理を施して、人候補領域２２９を生成する（ステップＳ２０１０）。

　そして、人領域動きベクトル推定部２１２は、ステップＳ２０１０で生成された人候補領域２２９と、蓄積装置２０９から取り出された複数フレームの動きベクトル付可視光動き領域２２７の動きベクトルから、人候補領域全体の動きを示す人候補領域動きベクトル２３０を推定する（ステップＳ２０１１）。推定された人候補領域動きベクトル２３０と自車両に予定される移動経路を比較することによって、衝突の危険性を予測することができる。

　図１７には、本明細書で開示する技術を適用した警告装置１６００の機能的構成を模式的に示している。図示の警告装置１６００は、図２に示した画像処理装置２００から出力される合成画像、人候補領域、及び人候補領域動きベクトルなどの情報に基づいて、検出された人と車両との衝突可能性を判断して、車両のドライバに警告を促すように構成されている。図示の警告装置１６００は、画像処理装置２００に外部接続される他、画像処理装置２００内に警告装置１６００の機能が内蔵される（若しくは、警告層１６００内に画像処理装置２００の機能が内蔵される）、という装置構成も考えられる。

　警告装置１６００は、画像処理装置２００と、自車走行比較部１６０２と、警告部１６０３を備えている。

　画像処理装置２００は、図２に示したものと同一の構成からなるので、ここでは詳細な説明を省略する。画像処理装置２００は、同一の対象を観測するように設置された可視光カメラ２０１と遠赤外線カメラ２０２から可視光画像と遠赤外線画像を入力して、合成画像２２８と、人候補領域画像２２９と、人候補領域動きベクトル２３０を出力する。但し、画像処理装置２００を警告装置１６００の外部装置として構成して、画像処理装置２００からの合成画像２２８と、人候補領域画像２２９と、人候補領域動きベクトル２３０を外部入力するように警告装置１６００を構成することも可能である。

　自車走行情報取得部１６０１は、自車の走行状態を示す情報を取得する機能モジュールである。自車の走行状態を示す情報としても自車の速度、予定進路、地図上の予定到着時刻などが含まれる。自車走行情報取得部１６０１は、例えば、図１に示した車両制御システム１００内の状況予測部１５４から、上記のような自車の走行状態を示す情報を取得することができる。

　自車走行比較部１６０２は、自車走行情報取得部１６０１から得られた値と、画像処理装置２００から得られる人候補動きベクトル２３０と人候補領域２２９に基づいて、一定時間後の人候補と自車の相対位置関係を推定し、さらに衝突する可能性を計算して、警告部１６０３に渡す。自車走行比較部１６０２は、図１中の状況分析部１３３及び計画部１３４を利用して構成することも可能である。

　警告部１６０３は、一定時間後の人候補と自車が衝突する可能性が所定の閾値を超えるときには、自車のドライバに対して警告を発する。警告部１６０３の構成は任意である。例えば、警告画像を表示するドライバ用ディスプレイ、警告音声を出力する音声出力装置、警告ランプ、ドライバに対する振動や電気刺激を加える装置など、さまざまである。例えば警告部１６０３は、ドライバ用ディスプレイに、画像処理装置２００から入力される合成画像２２８を表示して、衝突の危険性があることをドライバに提示するようにしてもよい。

　警告部１６０３は、図１中の緊急事態回避部１７１として実装することも可能である。また、警告部１６０３は、図１に示した車両制御システム１００の出力制御部１０５及び出力部１０６を用いて警告を発することが想定される。

　図１８には、自車走行比較部１６０２による衝突可能性の判定例を示している。

　自車走行比較部１６０２は、過去の自車位置１７０２と、現在の自車位置１７０４と、自車走行情報取得部１６０１から入力される自車の速度、予定進路などの情報に基づいて、自車が次の交差点で左折すること、及び左折する予定の時刻とその予定時刻における自車位置１７０６を推定する。

　また、自車走行比較部１６０２には、画像処理装置２００から、人候補領域２２９と、人候補領域動きベクトル２３０の情報が入力される。そこで、自車走行比較部１６０２は、過去の自車位置１７０２で車載カメラ１７０１からその時刻の対象１７０３を観測したときの画像上の人候補領域の位置と、現在の自車位置１７０４で車載カメラからその時刻の対象１７０５を観測したときの画像上の人候補領域の位置の位置と、その人候補領域の動きベクトルに基づいて、自車が交差点を左折する予定の時刻における対象１７０７の位置を推測する。

　そして、自車走行比較部１６０２は、交差点を左折する予定の時刻において推定される自車位置１７０６と、同予定の時刻において推定される対象１７０７の位置関係から、衝突する可能性を計算する。

　警告部１６０３は、衝突の可能性がある場合、ドライバ用ディスプレイに、画像処理装置２００から入力される合成画像２２８を表示するなどの方法により、衝突の危険性があることをドライバに提示する。

　以上説明してきたように、本明細書で開示する技術を適用した画像処理装置２００によれば、目視、可視光カメラ、距離センサなどでは認識が難しい、街路樹のような障害物の先に居る人などを検出することが可能になる。そして、警告装置１６００が、画像処理装置２００から出力される情報に基づいて、ドライバに対して適切な警告を発することができ、これによって危険な巻き込み事故を未然に防ぐことができる。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で開示する技術は、自動車（ガソリン車及びディーゼル車を含む）、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両に適用することができる。さらには本明細書で開示する技術は、道路を走行する車両以外の形態の移動体に適用することができる。

　また、本明細書で開示する技術は、移動体以外にも適用することができる。例えば、本明細書で開示する技術を監視カメラに適用すれば、街路樹や柵、あるいはその他の障害物越しに身体の一部しか見えない不審者の動きを捕捉することができる。

　要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定部と、
　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出部と、
　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合部と、
　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除部と、
　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成部と、
を具備する画像処理装置。
（２）前記画像合成部は、可視光動き領域の画面上の位置が時間方向で変化しないように位置補正する、
上記（１）に記載の画像処理装置。
（３）前記領域抽出部は、人の体温を含む前記温度範囲内の値の画素からなる特定温度領域を抽出する、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）前記画像合成部による合成画像から前記特定の対象が存在する領域を検出する検出部をさらに備える、
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記検出部は、検出した領域内の対象を判別する、
上記（４）に記載の画像処理装置。
（６）前記検出部は、環境温度に適応した辞書を利用して検出処理を実施する、
上記（５）に記載の画像処理装置。
（７）前記検出部は、環境温度に適応した辞書を利用して検出処理を実施する、
上記（５）又は（６）のいずれかに記載の画像処理装置。
（８）前記検出部が検出した前記領域の動きを推定する動き推定部をさらに備える、
上記（４）乃至（６）のいずれかに記載の画像処理装置。
（９）前記動き推定部は、複数フレームにわたって検出された前記領域の動きベクトルの平均に基づいて、前記特定の対象の動きを推定する、
上記（８）に記載の画像処理装置。
（１０）前記可視光カメラ及び前記遠赤外線カメラは所定の移動体に搭載されている、
上記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）前記可視光カメラ及び前記遠赤外線カメラをさらに備える、
上記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）前記移動体に搭載される、
上記（１０）又は（１１）のいずれかに記載の画像処理装置。
（１３）排除済統合領域の動きベクトルに基づいて予測される一定時間後の前記特定の対象の位置と、同時刻に前記移動体が到着することが予定される位置との相対位置を比較する比較部をさらに備える、
上記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）前記相対位置に基づいて計算される、前記特定の対象と前記移動体が衝突する可能性に応じて、前記移動体の運転者に対して衝突の危険性を提示する警告部をさらに備える、
上記（１３）に記載の画像処理装置。
（１５）前記警告部は、前記画像合成部による合成画像を含んだ情報を提示する、
上記（１４）に記載の画像処理装置。
（１６）前記画像合成部は、排除済統合領域全体の動きベクトルに基づいて位置を補正した、遠赤外線画像からなる排除済統合領域を時間方向で合成する、
上記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）前記画像合成部は、前記可視光カメラ及び前記遠赤外線カメラで撮影が行われた時間帯又は撮影条件に応じて、可視光動き領域又は遠赤外線画像からなる排除済統合領域の合成を実施する、
上記（１６）に記載の画像処理装置。
（１８）前記画像合成部による合成画像を表示する表示部をさらに備える、
上記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定ステップと、
　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出ステップと、
　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合ステップと、
　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除ステップと、
　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成ステップと、
を有する画像処理方法。
（２０）可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定部、
　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出部、
　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合部、
　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除部、
　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータ・プログラム。

　１００…車両制御システム
　１０１…入力部、１０２…データ取得部、１０３…通信部
　１０４…車内機器、１０５…出力制御部、１０６…出力部
　１０７…駆動系制御部、１０８…駆動系システム
　１０９…ボディ系制御部、１１０…ボディ系システム、１１１記憶部
　１１２…自動運転制御部、１２１…通信ネットワーク
　１３１…検出部、１３２…自己位置推定部、１３３…状況分析部
　１３４…計画部、１３５…動作制御部
　１４１…車外情報検出部、１４２…車内情報検出部
　１４３…車両状態検出部
　１５１…マップ解析部、１５２…交通ルール認識部
　１５３…状況認識部、１５４…状況予測部
　１６１…ルート計画部、１６２…行動計画部、１６３…動作計画部
　１７１…緊急事態回避部、１７２…加減速制御部、１７３…方向制御部
　２００…画像処理装置
　２０１…可視光カメラ、２０２…遠赤外線カメラ
　２０３…グローバルモーションベクトル推定部
　２０４…人温度領域抽出部、２０５…領域毎動きベクトル推定部
　２０６…領域統合部、２０７…動きベクトル比較排除部
　２０８…蓄積処理部、２０９…蓄積装置、２１０…画像合成部
　２１１…人検出部、２１２…人領域動きベクトル推定部
　２４０…表示装置
　１６００…警告装置、１６０１…自車走行情報取得部
　１６０２…自車走行比較部、１６０３…警告部

Claims (19)

1. 　可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定部と、
   　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出部と、
   　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合部と、
   　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除部と、
   　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成部と、
   を具備する画像処理装置。
2. 　前記画像合成部は、可視光動き領域の画面上の位置が時間方向で変化しないように位置補正する、
   請求項１に記載の画像処理装置。
3. 　前記領域抽出部は、人の体温を含む前記温度範囲内の値の画素からなる特定温度領域を抽出する、
   請求項１に記載の画像処理装置。
4. 　前記画像合成部による合成画像から前記特定の対象が存在する領域を検出する検出部をさらに備える、
   請求項１に記載の画像処理装置。
5. 　前記検出部は、機械学習を利用して検出処理を実施する、
   請求項４に記載の画像処理装置。
6. 　前記検出部は、検出した領域内の対象を判別する、
   請求項５に記載の画像処理装置。
7. 　前記検出部は、環境温度に適応した辞書を利用して検出処理を実施する、
   請求項５に記載の画像処理装置。
8. 　前記検出部が検出した前記領域の動きを推定する動き推定部をさらに備える、
   請求項４に記載の画像処理装置。
9. 　前記動き推定部は、複数フレームにわたって検出された前記領域の動きベクトルの平均に基づいて、前記特定の対象の動きを推定する、
   請求項８に記載の画像処理装置。
10. 　前記可視光カメラ及び前記遠赤外線カメラは所定の移動体に搭載されている、
    請求項１に記載の画像処理装置。
11. 　前記可視光カメラ及び前記遠赤外線カメラをさらに備える、
    請求項１に記載の画像処理装置。
12. 　前記移動体に搭載される、
    請求項１０に記載の画像処理装置。
13. 　排除済統合領域の動きベクトルに基づいて予測される一定時間後の前記特定の対象の位置と、同時刻に前記移動体が到着することが予定される位置との相対位置を比較する比較部をさらに備える、
    請求項１に記載の画像処理装置。
14. 　前記相対位置に基づいて計算される、前記特定の対象と前記移動体が衝突する可能性に応じて、前記移動体の運転者に対して衝突の危険性を提示する警告部をさらに備える、
    請求項１３に記載の画像処理装置。
15. 　前記警告部は、前記画像合成部による合成画像を含んだ情報を提示する、
    請求項１４に記載の画像処理装置。
16. 　前記画像合成部は、排除済統合領域全体の動きベクトルに基づいて位置を補正した、遠赤外線画像からなる排除済統合領域を時間方向で合成する、
    請求項１に記載の画像処理装置。
17. 　前記画像合成部は、前記可視光カメラ及び前記遠赤外線カメラで撮影が行われた時間帯又は撮影条件に応じて、可視光動き領域又は遠赤外線画像からなる排除済統合領域の合成を実施する、
    請求項１６に記載の画像処理装置。
18. 　前記画像合成部による合成画像を表示する表示部をさらに備える、
    請求項１に記載の画像処理装置。
19. 　可視光カメラで撮影した可視光画像から画像全体の動きを示すグローバルモーションベクトルを推定するベクトル推定ステップと、
    　前記可視光カメラと同一の対象を撮影する遠赤外線カメラで撮影した遠赤外線画像から、ある特定の対象の特徴を表す温度範囲内の値の画素からなる特定温度領域を抽出する領域抽出ステップと、
    　前記抽出された特定温度領域のうち、動きベクトルが近いもの同士を統合して統合領域を生成する領域統合ステップと、
    　グローバルモーションベクトルと動きベクトルが近い統合領域を排除して排除済統合領域を求め、排除済統合領域内の特定温度領域に対応する可視光領域を前記可視光画像から抽出した可視光動き領域を生成する領域排除ステップと、
    　排除済統合領域全体の動きベクトルに基づいて位置を補正した可視光動き領域を時間方向で合成する画像合成ステップと、
    を有する画像処理方法。

Images