JP6390671B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、連続したフレームに含まれる物体を追跡する技術に関する。

監視システムなどにおいて、画像に含まれる物体を検知し、その動きを自動的に追跡する技術が知られている。物体の追跡は、例えば、追跡対象の物体が映っていない画像と映っている画像との差分を取得してテンプレートを生成し、当該テンプレートを用いて１フレームずつ画像内を探索することで実現することができる（特許文献１）。

物体の追跡を応用したシステムに、交通流計測システムがある。例えば路側に設置されたカメラを用いて道路上を撮影し、通過する車両を追跡することで、対象の地点を通過した車両の台数をカウントすることができる（特許文献２）。

特開２００１−０６０２６９号公報 特開２００９−０８７３１６号公報 特開２０１３−２５５０６２号公報

道路を撮影した画像（動画）に基づいて、当該道路上を通過する車両を追跡しようとした場合、画像上における車両の見え方が大きく変化すると、車両を追跡しきれなくなるという問題がある。例えば、車両が道路上で右左折した場合やＵターンした場合、車両の向きが変わってしまうため、パターンマッチングが失敗してしまう場合がある。また、監視カメラなど、姿勢の制御が可能なカメラによって撮影した画像を流用して車両を追跡しようとした場合、カメラの姿勢（パン、チルト、ズーム等）の変化に伴って車両の見え方（大きさなど）が変化するため、同様にパターンマッチングが失敗してしまう場合がある。
このように、画像上において追跡対象の車両の大きさや見え方が変化すると、パターンマッチングの精度が低下するという問題がある。

一方、特許文献３に記載の被写体追跡装置は、被写体のボケ度合いに基づいて当該被写体の動きを判定することで、被写体の見え方の変化に追従させるという特徴を有している。
しかし、道路上の車両を追跡する場合、カメラと車両との距離が離れているため、ボケの変化が把握しづらい。すなわち、当該技術を車両の追跡に応用することは困難である。

本発明は上記の課題を考慮してなされたものであり、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることを目的とする。

上記課題を解決するための、本発明に係る画像処理装置は、
連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有し、前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴とする。

本発明に係る画像処理装置は、複数のフレーム間における追跡対象物の移動を追跡する装置である。なお、移動とは、画像上における移動であり、追跡対象物そのものの移動と、撮影条件（カメラのパン、チルト、ズーム等）の変化の双方に起因して発生しうる。

追跡手段は、画像から追跡対象物をマッチングによって検出し、当該検出結果に基づいて追跡対象物の動き（フレーム間における移動方向や移動量）を取得する手段である。
追跡対象物の検出は、テンプレートによって行う。テンプレートには、特徴量を利用してもよいし、画像などを利用してもよい。例えば、車両を追跡する場合、車種（例えば、乗用車、貨物車、バス、オートバイ等）ごとの特徴量を用いてもよいし、既に追跡を行った結果がある場合、追跡結果に基づいて切り出した画像を用いてもよい。この結果、追跡対象物に対応する座標や領域を得ることができる。
また、追跡手段は、取得した画像に含まれる追跡対象物を、連続して取得した複数のフレーム間で追跡する。例えば、検出した追跡対象物の位置の変化を取得し、それぞれの動きを追跡対象物単位で取得する。

本発明では、追跡手段が、まず、第一のテンプレートを用いて第一のマッチングを行う。第一のテンプレートは、予め記憶されているものであってもよいし、前フレーム以前の画像において追跡対象物を追跡した結果がある場合は、当該画像から追跡対象物を切り出したものであってもよい。なお、テンプレートとは、前述したように特徴量であってもよいし、画像などであってもよい。

テンプレートを用いてマッチングを行う場合、フレーム間で追跡対象物の見え方が大きく変わった場合にヒットしにくくなってしまうという問題がある。例えば、カメラがズームした場合や、追跡対象物の進行方向が変わった場合、テンプレートに対応する領域と、実際に追跡対象物が存在する領域とが一致しなくなり、これに起因して、マッチングが失敗したり、マッチングスコアが低下してしまうおそれがある。
そこで、本発明では、第一のマッチングを行った結果のスコア（マッチングの確からしさ）を取得し、第一の閾値より低い場合に、第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて再マッチングを行う。
第二のテンプレートは、第一のテンプレートを拡大または縮小したものであってもよいし、アスペクト比を変更したうえで変形したものであってもよい。また、第二のテンプレートは、必ずしも第一のテンプレートを変形したものである必要はなく、新たに取得されたものであってもよい。例えば、処理対象の画像よりも前のフレームにおいて前記追跡対象物を検出した結果がある場合、当該結果に基づいて新たに取得されたものであってもよい。
かかる構成によると、画像上において追跡対象物の見え方が変わった場合であっても、これに追従させることができるようになる。

また、前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行うことを特徴としてもよい。

追跡対象物の進行方向が変化すると、例えば、車両の前面が側面に変わるなど、画像上における見え方自体が大きく変化する場合がある。また、画像内に交差点が存在するような場合、追跡対象物（車両）の移動方向が変わった場合、車両の向きが変わった（例えば右左折した）ことが推定できる。このような場合、変化後の向きに対応するテンプレート
（例えば特徴量やテンプレート画像）を用いて第二のマッチングを行うようにしてもよい。かかる構成によると、追跡の精度をより向上させることができる。

また、前記追跡手段は、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴とする。
また、前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了することを特徴としてもよい。

第二のマッチングを行っても期待するスコアが得られなかった場合、追跡を続行するか終了するかを判断する。このとき、マッチングによって特定された領域（すなわち、追跡対象物の存在が推定される領域）におけるエッジの強度に基づいて判断を行う。領域におけるエッジの強度とは、当該領域に含まれる画素が有するエッジ強度の和である。
例えば、マッチングによって特定された領域におけるエッジの強度が所定の閾値以下である場合、当該領域には、追跡中の物体ではなく背景が存在する可能性が高いため、追跡を終了する。このように、エッジの強度を併用することで、追跡を終了するか否かの判断を適切に行うことができるようになる。

また、前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴としてもよい。

複数の連続する画像に対してマッチングを行い、追跡対象物を追跡する場合、マッチングによって得られたスコアに基づいて、追跡を続行するか終了するか決定することができる。しかし、単一の画像に対するマッチング結果のみで判断を行った場合、スコアが一時的に低下し、その後回復したような場合であっても追跡が打ち切られてしまう。そこで、連続した複数の画像について、マッチングによって得られたスコアを合計し、合計値に基づいて判断を行うようにする。かかる構成によると、スコアの回復が見込めない場合にのみ追跡を終了させることができる。

また、前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得することを特徴としてもよい。

追跡対象物の位置を特定できている場合、当該情報を用いて第一のテンプレートを取得してもよい。かかる構成によると、テンプレートを更新しながら追跡対象物の追跡が行えるようになるため、追跡対象物の見え方が徐々に変化していくような場合に有効である。

また、前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとすることを特徴としてもよい。

画像上において追跡対象物の向きが変わり、見え方が徐々に小さくなるケースがある。
このようなケースにおいて、フレームごとにテンプレートを更新しながら処理を進める場合、テンプレートとなる領域を徐々に縮小する必要がある。そこで、追跡対象物の存在が推定される領域から、追跡対象物が存在しない部分領域をエッジの強度に基づいて検出し、当該部分領域を削除した後の領域を、次フレームにおいて利用するテンプレートとしてもよい。
かかる構成によると、画像上における追跡対象物のサイズに合わせて、テンプレートの大きさを適切に追従させることができる。

また、前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列されることを特徴としてもよい。車両を追跡する場合、主に車両の右左折に起因して、画面上における水平方向のサイズが変化するためである。

なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が実行する画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることができる。

実施形態に係る画像処理システムの配置図である。 実施形態に係る画像処理システムの構成図である。 カメラがズームした場合における影響を説明する図である。 車両が右折した場合における影響を説明する図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 ステップＳ３４で行う処理を説明する図である。 ステップＳ３４で行う処理を説明する図である。

（システム構成）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理システムは、道路上を走行する車両を撮影した画像を連続して取得し、取得した複数の画像に基づいて車両の動きを追跡するシステムである。

図１は、本実施形態に係る画像処理システムの配置図である。本実施形態に係る画像処理システムは、画像処理装置１００と、カメラ２００からなり、画像処理装置１００が、道路上に配置されたカメラ２００によって連続して撮影された複数の画像を処理することで、車両の動きを追跡する。

図２は、本実施形態に係る画像処理システムのシステム構成図である。
画像処理装置１００は、画像取得部１０１、車両検出部１０２、車両追跡部１０３、記憶部１０４から構成される。

画像取得部１０１は、道路上にマウントされたカメラ２００を用いて、道路を走行する車両が含まれた画像（以下、道路画像）を取得する手段である。画像取得部１０１は、所定のフレームレートで、連続して道路画像を取得することができる。画像取得部１０１が取得した道路画像は、時系列順に記憶部１０４に記憶され、以降で説明する各手段が行う処理に供される。
なお、実施形態の説明では、連続して取得される道路画像のうちの一枚という意味で、フレームという語を用いるが、フレームと道路画像は等価である。また、連続したフレー
ムにおいて、撮影範囲外から新規の車両（まだ追跡を行っていない車両）が現れることを流入、追跡中の車両が撮影範囲外に出て行くことを流出と称する。

車両検出部１０２は、現在追跡を行っていない新しい車両がカメラ２００の撮影範囲内に流入したことを検出する手段である。新しい車両の検出は、記憶部１０４に予め記憶された複数のテンプレートを用いて行うことができる。テンプレートは、車両を検出することができれば、どのようなものであってもよい。例えば、車種や車体の形状（乗用車、貨物車、バス、二輪車等）ごとに異なるものであってもよい。また、複数のテンプレートを用いる場合、どのように分類されていてもよい。また、車両を異なる方向（前後左右など）から見た場合のテンプレートをそれぞれ保持していてもよい。
車両検出部１０２は、追跡を行っていない新しい車両が現れたことを検出する手段であり、それ以降のフレームにおける車両の追跡は、車両追跡部１０３が行う。
なお、本実施形態では、カメラ２００の撮影範囲の全域において車両を追跡するものとするが、車両を追跡する範囲は別途定められていてもよい。

車両追跡部１０３は、車両検出部１０２が検出した車両の動きを複数のフレーム間で追跡する手段である。追跡は、車両が撮影範囲外へ流出するまで続けられる。車両の追跡は、追跡対象の車両（以下、追跡対象車両）に対応するテンプレートを用いて行われる。具体的には、マッチングによる探索を行う対象領域（以下、探索領域）をフレームごとに設定し、当該領域に対してテンプレートを用いたマッチングを行う。なお、テンプレートは特徴量であってもよいが、本実施形態ではテンプレート画像であるものとする。
探索対象領域は、車両を探索する領域であって、追跡対象車両の存在が推定される場所に設定される。例えば、過去のフレームにおいて車両を検出した結果がある場合、車両追跡部１０３は当該結果に基づいて探索領域を設定する。
テンプレートを用いたマッチング処理の具体的な内容については後述する。

記憶部１０４は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部１０４には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部１０４には、車両検出部１０２および車両追跡部１０３が利用するテンプレート、画像取得部１０１が取得した複数の画像などが一時的または恒久的に記憶される。

なお、画像取得部１０１、車両検出部１０２、車両追跡部１０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

カメラ２００は、道路上に配置された監視カメラである。本実施形態では、カメラ２００は、車両の追跡だけに利用されるカメラではなく、監視目的など他の目的にも利用される共用のカメラである。従って、車両の追跡とは無関係に、パン、チルト、ズームなどが発生する場合がある。

（従来技術における課題）
次に、マッチング対象領域と、従来技術において発生する問題について説明する。図３は、カメラ２００が撮影した画像を示した図である。
本実施形態に係る画像処理装置は、追跡対象車両に対応するテンプレートを取得したうえで、カメラ２００によって取得した画像に対してパターンマッチングを行い、追跡対象車両の位置を検出する。

例えば、異なる車種に対応する複数のテンプレートを用いて、カメラ２００が撮影した画像に対してパターンマッチングを行った結果、図３（Ａ）の符号１０Ａで示した領域に車両を検出した場合を考える。

このような手法を用いた場合、画像上における車両の大きさや向きが変化した場合に、追跡が失敗することがある。図３（Ｂ）は、カメラ２００がズームし、画角が小さくなった状態を示した図である。このような場合、図３（Ａ）で使用したテンプレートを引き続き使用すると、マッチングが失敗したり、マッチングスコアが著しく低下するといった問題が発生する。この問題を解決するためには、車両の見え方の変化に追従してテンプレートのサイズを変更する（本例では、符号１０Ｂで示したサイズに拡大する）必要がある。

別の例を示す。図４（Ａ）〜（Ｃ）は、車両が右折する場合の例を示した図である。例示したように、車両の進行方向が変化する場合、画像上における大きさが変化するため、テンプレートもこれに追従させて変形させる（本例では、符号２０Ａ，２０Ｂ，２０Ｃといったように順次拡大する）必要がある。また、図４の例では、車両の見え方自体が変化していくため、車両の進行方向に応じて、テンプレートのサイズだけでなく、テンプレートの内容自体を更新していく必要がある。

本実施形態に係る画像処理装置は、車両の追跡において、画像上における車両の大きさや向きが変化したことを検出し、次フレームにおけるテンプレートを適切なサイズで更新する。このようにすることで、画像上における車両の見え方が変化するような場合であっても、車両に対して適切なパターンマッチングを行うことができ、正確に追跡を行うことができる。テンプレートを更新する具体的な方法については後述する。

（処理フローチャート）
次に、画像処理装置１００が行う画像処理の詳細について、処理フローチャートである図５を参照しながら説明する。図５に示した処理は、画像取得部１０１が新規のフレームを取得するごとに実行される。例えば、フレームレートが１０ｆｐｓである場合、秒間１０回実行される。
まず、ステップＳ１１で、画像取得部１０１が、カメラ２００を介して道路画像を取得し、記憶部１０４に一時的に記憶させる。なお、取得された道路画像は、時系列順に記憶され、処理が完了すると削除される。

次に、ステップＳ１２で、車両追跡部１３が、現在追跡している車両が存在するか否かを判定し、ある場合に、追跡対象車両を追跡する処理を実行する。現在追跡している車両が存在するか否かは、後述するカウンタを用いて判断する。なお、ここでは、追跡中の車両が無いものとして説明を行い、ステップＳ１２の詳細については、図６を参照しながら後ほど説明する。

ステップＳ１３では、車両検出部１０２が、ステップＳ１１で取得した画像上に、現在追跡していない車両が存在するか否かを判定する。具体的には、記憶部１０４に予め記憶されているテンプレートに基づいて、車両の検出を試みる。本ステップにおける車両の検出には、テンプレートに基づく既知の物体検出手法を用いることができる。例えば、記憶された複数のテンプレートを用いてマッチングを試み、初期位置と範囲を特定する。なお、検出した車両が既に追跡中の車両であった場合、当該車両はスキップする。追跡中の車両についての情報は、記憶部１０４を介して、車両検出部１０２および車両追跡部１０３の間で共有される。
新しい車両が検出されると、処理はステップＳ１４へ遷移する。また、新しい車両が検出されなかった場合、当該フレームに対する処理は終了する。

車両を検出すると、ステップＳ１４で、車両検出部１０２が、検出した範囲を記憶部１０４に記憶させる。これにより、検出された車両が追跡中の状態となる。

次に、ステップＳ１５で、車両検出部１０２が、現在追跡中である車両の数（以下、追跡中車両数）に、検出した車両の台数を追加する。ここで設定された台数は、ステップＳ１２で実行される車両追跡処理において利用される。

次に、ステップＳ１２で行われる処理について、図６に示したフローチャートを参照しながら説明する。なお、特に記載がない場合、各ステップは車両追跡部１０３が実行するものとする。
ステップＳ１２の処理は、設定されている「追跡中車両数」が１台以上である場合に実行される。すなわち、ステップＳ１２が実行されるタイミングでは、時系列順に二つ以上のフレームが記憶部１０５に記憶されている。

まず、ステップＳ２１で、カウンタｎに１を設定する。ｎは、画像に含まれる追跡対象車両に対して順次処理を行うためのカウンタである。

次に、ステップＳ２２で、ｎ番目の車両に対応するテンプレートを用いて、道路画像に対するパターンマッチングを行う。ここで用いるテンプレートは、例えば、ステップＳ１３で車両の検出に用いたテンプレートであってもよい。
本ステップでは、まず、画像に含まれるｎ番目の車両について、現在のフレームにおける大まかな位置を推定し、探索領域を設定する。例えば、過去の二つ以上のフレームにおいて、ｎ番目の車両の位置の変化が求まっている場合、当該位置の変化に基づいて、現在のフレームにおける位置を推定してもよい。例えば、２フレーム前における対象車両と、１フレーム前における対象車両との位置の変化を取得し、当該変化を用いて現在のフレームにおける当該対象車両の位置を推定してもよい。また、カルマンフィルタなどを用いて車両の位置を推定してもよい。
なお、推定を行うための十分な情報が無い場合、ステップＳ１３で検出した位置の近傍に当該対象車両がいるものと推定してもよいし、絞り込み自体を省略してもよい。
そして、対応するテンプレートを用いて第一のマッチングを行う。

ステップＳ２３では、第一のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値（第一の閾値）以上であるか否かを判定する。この結果、マッチングスコアが所定値に満たなかった場合、現在使用されているテンプレートでは追跡対象車両が正しく追跡できていないことを意味するため、以降のステップにおいて、テンプレートを変形して再度のマッチングを試みる。

ステップＳ２４では、追跡対象車両の進行方向が変化したことを推定する。進行方向の変化は、過去の追跡結果に基づいて推定してもよい。例えば、現在設定されている探索領域の付近において、車両の位置が大きく変化したという履歴がある場合、続けて変化したと推定することができる。また、カメラ２００が撮影する道路の形状に基づいて進行方向を推定してもよい。例えば、撮影対象が十字路や丁字路である場合、どちらかの方向に進行すると推定してもよい。この場合、推定結果は複数あってもよい。
なお、ステップＳ２４の処理は省略してもよい。

ステップＳ２５では、ステップＳ２２で使用したテンプレートを更新し、再度のパターンマッチング（第二のマッチング）を試みる。
テンプレートの更新方法として、次のような方法がある。
（１）使用したテンプレートを単純に拡大／縮小させる
カメラがズームイン（またはズームアウト）したり、追跡対象車両が画面手前方向（ま
たは画面奥方向）に向かって走行している場合に有効な方法である（図３参照）。
（２）車両の進行方向に応じたテンプレートに差し替える
画面手前方向（または画面奥方向）に向かって走行している車両が右左折した場合、または、脇道から出た車両が右左折し、画面手前方向（または画面奥方向）に向かって走行する場合に有効な方法である（図４参照）。この場合、ステップＳ２４で推定した進行方向の変化に基づいて、使用するテンプレートを更新する。例えば、ステップＳ２４にて、正面を向いていた車両が左斜め方向を向いた判定した場合、左斜め前に対応するテンプレートを用いてマッチングを行うようにする。なお、差し替えたテンプレートを適切な大きさ（例えば、直前に使用したテンプレートに基づいた大きさ）にリサイズしてもよい。

ステップＳ２６では、第二のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値（第二の閾値）以上であるか否かを判定する。この結果、マッチングスコアが所定値以上であった場合（ステップＳ２６−Ｙｅｓ）、追跡対象車両が正しく検出できたことを意味するため、第二のマッチング結果を追跡結果として採用する（ステップＳ２７）。

一方、ステップＳ２６でマッチングスコアが所定値に満たなかった場合（ステップＳ２６−Ｎｏ）、追跡対象車両を見失った可能性があるため、以降のステップで、さらなる追跡を続けるか、追跡を終了するかを判定する。

図７を参照し、説明を続ける。
ステップＳ３１では、マッチングによって特定された領域（すなわち、追跡対象車両の存在が推定される領域）を、縦１×横Ｎ個のブロックに分割する。図８は、分割の例を示した図である。本例では、図８に示したように、マッチングによって特定された領域を縦１個×横５個のブロックに分割している。
次に、ステップＳ３２で、全てのブロックのエッジ強度が所定値以下であるか否かを判定する。ブロックのエッジ強度とは、当該ブロックに含まれる画素が有するエッジ強度の和である。例えば、取得した画像に、特定の方向に存在するエッジを抽出するＳｏｂｅｌフィルタを適用し、得られた全ての値の絶対値の和を取得する。取得するエッジの強度は、縦方向であっても横方向であってもよい。また、両方の組み合わせであってもよい。これにより、ブロックごとのエッジ強度が得られる。
この結果、全てのブロックのエッジ強度が所定値以下であった場合、全てのブロックのいずれにも車両が存在しないことが推定されるため、ｎ番目の車両の追跡終了フラグを真にする（ステップＳ３８）。これは、車両が存在しないブロック（例えば道路のみが存在するブロック）に比べて、車両が存在するブロックには強いエッジが現れるためである。
エッジ強度が所定値以上であるブロックが一つでもある場合、処理はステップＳ３３に遷移する。

ステップＳ３３では、ｎ番目の車両に対するマッチングスコアの、過去ｋフレーム（ｋは任意の整数）ぶんの合計値を演算し、合計値が所定値以下であるか否かを判定する。ここで演算するマッチングスコアは、第一のマッチングに対応するスコアであってもよいし、第二のマッチングに対応するスコアであってもよい。ここで、合計値が所定値以下であった場合、マッチングスコアが恒久的に低下していることが推定されるため、ｎ番目の車両の追跡終了フラグを真にする（ステップＳ３８）。
合計値が所定値を上回っていた場合、処理はステップＳ３４に遷移する。

ステップＳ３４では、ステップＳ３２で分割したブロックのうち、エッジの強度が所定値以下であるブロックを削除する。本ステップは、車両の進行方向が変化したことをエッジの強度に基づいて推定し、車両が存在する領域を特定するステップである。例えば、図８の例の場合、領域８０５のエッジの強度が所定値以下となるため、領域８０５に車両は
存在しないと判定する。そして、領域８０１〜８０４に対応する画像を切り出して新たなテンプレートとする。ここで取得されたテンプレートは、次フレーム以降におけるマッチングで利用される。

図９を参照して、具体的な例を説明する。図９は、脇道から出てきた車両が右折し、画像手前方向に走ってくる場合の例である。
前述した方法によって処理を行うと、符号９０１および９０２で示した領域が削除され、残った領域に対応する画像が新たなテンプレートとなる。
以上で、ｎ番目の車両に対する追跡処理が終了する。

ステップＳ３４の処理終了後、または、ステップＳ２３で肯定判定だった場合や、ステップＳ２７の処理終了後、ステップＳ３８の処理終了後は、処理はステップＳ３５へ遷移する。
ステップＳ３５では、カウンタｎをインクリメントし、ステップＳ３６で、カウンタｎが、追跡中の車両数を超えたか否かを判定する。この結果、超えていない場合、処理はステップＳ２２に戻り、次の車両に対する追跡を開始する。超えていた場合、追跡中の車両数から追跡を終了した車両の数（追跡終了フラグが真である車両の数）を減算する。
なお、更新されたテンプレートは、次のフレームにおける処理で利用される。
また、本例ではステップＳ２２へ戻ったが、ステップＳ２４またはステップＳ２５へ戻り、第二のマッチングから処理を行うようにしてもよい。

以上説明したように、本実施形態に係る画像処理装置では、第一のテンプレートを用いたパターンマッチング結果で十分なスコアが得られなかった場合に、車両の見え方の変化を予測してテンプレートを更新し、パターンマッチングを再試行する。これにより、画像上における車両の見え方が急激に変化した場合であっても、これに追従させることができる。
また、追跡対象車両の存在が推定される領域を解析することで、追跡を終了するか続行するかを判断する。これにより、車両以外の物体を車両と誤認識し、追跡を続けてしまうことを防ぐことができる。
すなわち、車両の追跡精度を向上させることができる。

（変形例）
前述した実施形態では、ステップＳ２３で所定のスコアが得られなかった場合（またはマッチングが失敗した場合）に、追跡対象車両の進行方向の変化を推定したうえでテンプレートを更新し、再度のマッチングを行ったが、これ以外の処理を行ってもよい。
例えば、スコアは高くないがマッチングが成功したと言える場合に、追跡対象車両の見た目が徐々に変化している判断し、第一のマッチング結果を採用したうえで、次フレーム以降で使用するテンプレートを、変化後の見た目に応じたテンプレートに更新してもよい。
なお、変化後の見た目に応じたテンプレートを取得するために、ステップＳ２４で説明したような、進行方向の変化を推定する処理を併用してもよい。

なお、前述した実施形態と、本変形例を併用してもよい。例えば、ステップＳ２３で複数の閾値を設定し、得られたスコアに応じて、いずれの処理を実行するかを決定してもよい。例えば、ステップＳ２３で、閾値Ａおよび閾値Ｂ（Ａ＞Ｂとする）によってスコアを三段階に分け、スコアが閾値Ａ未満、閾値Ｂ以上であった場合に、本変形例で述べた処理を行い、スコアが閾値Ｂ未満であった場合に、ステップＳ２４〜Ｓ２７の処理を行うようにしてもよい。

（その他の変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

例えば、ステップＳ３１〜Ｓ３４のうちのいずれか一部を省略しても、本発明の効果は得ることができる。

また、実施形態の説明では、テンプレート画像を用いてマッチングを行ったが、マッチングは特徴量を用いて行ってもよい。また、テンプレート画像を用いる場合、一枚のテンプレート画像を用いてマッチングを行ってもよいし、テンプレート画像を複数のブロックに分割し、ブロックごとにマッチングを行ってもよい。例えば、複数のブロックにおける平均値を求めてもよいし、外れ値を削除したうえで平均値を求めてもよい。

また、実施形態の説明では、ステップＳ２５で更新後のテンプレートを取得したが、画像上における見え方の変化が複数パターン考えられる場合（例えば、車両が直進、左折、右折の三方向に進行可能であるような場合）、テンプレートを複数個取得し、それぞれについてマッチングを行うようにしてもよい。この場合、いずれの結果でも所定のスコアが得られなかった場合に、ステップＳ２６を否定判定とすればよい。
また、本発明に係る画像処理装置が追跡する対象物は、車両に限られない。

１００ 画像処理装置
１０１ 画像取得部
１０２ 車両検出部
１０３ 車両追跡部
１０４ 記憶部
２００ カメラ

Claims (9)

1. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、
   画像を取得する画像取得手段と、
   前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、
   を有し、
   前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
   前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、
   前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
   ことを特徴とする、画像処理装置。
2. 前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行う
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了する
   ことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
   ことを特徴とする、請求項１から３のいずれかに記載の画像処理装置。
5. 前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得する
   ことを特徴とする、請求項１から４のいずれかに記載の画像処理装置。
6. 前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとする
   ことを特徴とする、請求項５に記載の画像処理装置。
7. 前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列される
   ことを特徴とする、請求項６に記載の画像処理装置。
8. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置が行う画像処理方法であって、
   画像を取得する画像取得ステップと、
   前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡ステップと、
   を含み、
   前記追跡ステップでは、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
   前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、
   前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
   ことを特徴とする、画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるプログラム。