JP6554963B2 - 基準画像生成方法、画像認識プログラム、画像認識方法及び画像認識装置 - Google Patents

Description

本発明は、基準画像生成方法、画像認識プログラム、画像認識方法及び画像認識装置に関する。

従来より、車両にカメラを搭載し、搭載したカメラで撮像した動画像から、所定の物標（例えば、前方車両）を認識する認識システムが知られており、車両の走行制御等に用いられている。

このような認識システムに対する認識性能の検証は、例えば、所定の物標についての正解データ（例えば、所定の物標の領域を示す正解データ）を予め用意しておき、認識システムにおける認識結果（認識した物標の領域を示すデータ）と比較することにより行われる。ここで、認識性能の検証を正しく行うためには、動画像に含まれる各フレームから正解データを高精度に抽出しておくことが求められる。一方で、各フレームから正解データを精度よく抽出する方法として、例えば、物標の画像特徴が含まれるテンプレート画像を生成しておき、各フレームに対して、テンプレート画像を用いた照合処理を行うことで、物標の領域を特定する方法等が提案されている。

特開２００６−１７８６６９号公報

しかしながら、各フレームに含まれる物標の領域のうち、例えば、走行する車両の領域（車両部分）については、走行時の光の反射やランプ（例えば、ブレーキランプ）の点灯等により画像特徴が変化する（つまり、色変化が発生する）という特性がある。このような色変化は、各フレームにおいて車両部分を特定する際の誤差要因となるため、従来のテンプレート画像を用いた照合処理では、車両部分を精度よく抽出することができない場合があった。

一つの側面では、動画像における各フレームで対象の色変化がある場合であっても、対象部分の抽出精度を向上させることを目的としている。

一態様によれば、画像認識プログラムは、異なるタイミングで撮像された同じ対象の画像を取得し、それぞれの画像間を比較して、１又は複数の色の特徴が異なる部分を抽出し、前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成し、検出対象の画像における前記複数のテンプレート画像に類似する領域を前記対象部分として抽出する処理を、コンピュータに実行させることを特徴とする。

動画像における各フレームで対象の色変化がある場合であっても、対象部分の抽出精度を向上させることが可能になる。

認識性能検証システムの全体構成の一例を示す図である。 認識システムの機能構成の一例を示す図である。 性能検証装置の機能を説明するための図である。 正解生成装置のハードウェア構成の一例を示す図である。 正解生成装置の機能構成の一例を示す図である。 画像情報において指定されたフレーム及び領域を示す図である。 画像追跡部の詳細な機能構成の一例を示す図である。 指定領域画像情報の一例を示す図である。 正解情報生成処理のフローチャートである。 テンプレート画像生成要否判定処理のフローチャートである。 指定領域画像の正規化処理と画素値ベクトルの生成方法を説明するための図である。 指定領域画像の各画素を各グループへ分類する処理を説明するための図である。 最小照合度画像決定処理のフローチャートである。 最小照合度画像決定処理の具体例を示す図である。 照合度低下要因グループ決定処理のフローチャートである。 照合度低下要因グループ決定処理の具体例を示す図である。 テンプレート画像生成処理のフローチャートである。 テンプレート画像情報の一例を示す図である。 車両領域抽出処理のフローチャートである。

以下、実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。また、以下の実施形態では、車両に搭載されるカメラ等の撮像部で撮像した動画像から認識する対象（物標）の一例を、前方車両とするが、対象の一例は、前方車両に限定されるものではなく、例えば、人物、動物、建物等の物体であってもよい。

［本実施形態］
はじめに、車両に搭載される認識システムの認識性能を検証する認識性能検証システムの全体構成について説明する。図１は、認識性能検証システムの全体構成の一例を示す図である。

図１に示すように、認識性能検証システム１００は、車両１１０と、格納装置１２０と、正解生成装置１３０と、性能検証装置１４０とを有する。

車両１１０は、認識システム１１１を搭載する。認識システム１１１は、車両１１０の所定方向（例えば、前方）の車両を撮像し、画像情報（動画像）から前方車両を認識し、運転者に警告を行ったり車両の走行制御を行ったりする。認識システム１１１により得られた画像情報は、格納装置１２０の画像情報格納部１２１に格納される。また、認識システム１１１により認識された前方車両についての認識結果は、認識結果格納部１１２に格納される。

格納装置１２０は、画像情報格納部１２１を有し、車両１１０の認識システム１１１により得られた画像情報を格納する。なお、画像情報格納部１２１に格納された画像情報は、正解生成装置１３０や性能検証装置１４０によって読み出されて利用される。

正解生成装置１３０は、画像情報に含まれる各フレームの正解情報（正解データ）を生成する画像処理装置である。正解生成装置１３０には画像認識プログラムの一例である正解生成プログラムがインストールされており、正解生成装置１３０は、正解生成プログラムを実行することで、正解生成部１３１として機能する。

正解生成部１３１は、画像情報格納部１２１に格納された画像情報を読み出し、フレームごとに車両領域（車両部分）を特定し、正解情報を生成する。また、正解生成部１３１は、生成した正解情報を、認識システム１１１の認識結果を検証する際の検証用として、正解情報格納部１３２に格納する。

性能検証装置１４０は、性能比較部１４１を有する。性能比較部１４１は、画像情報格納部１２１より読み出した画像情報１５１に含まれる各フレームについて、認識結果格納部１１２より読み出した認識結果情報１５２と、正解情報格納部１３２より読み出した正解情報１５３との比較を行う。

また、性能比較部１４１は、比較結果に基づいて、認識システム１１１の認識性能を検証するとともに、性能比較結果を性能比較結果格納部１４２に格納する。

なお、図１に示す認識性能検証システム１００は、車両の台数を１台としているが、車両の台数は複数であってもよい。また、図１に示す認識性能検証システム１００は、格納装置１２０、正解生成装置１３０、性能検証装置１４０を別々の装置としているが、これらの装置が有する機能を集約し、例えば、１台のサーバ装置により実現するようにしてもよい。

次に、車両１１０に搭載された認識システム１１１の機能構成について説明する。図２は、認識システムの機能構成の一例を示す図である。図２に示すように、認識システム１１１は、撮像部２０１、認識部２０２、距離算出部２０３、警告部２０４、制御部２０５を有する。

撮像部２０１は、例えば、カメラであり、車両１１０の前方を走行する前方車両２１０を撮像する。撮像部２０１により撮像された画像情報は、格納装置１２０に送信され、画像情報格納部１２１に格納される。また、撮像部２０１により撮像された画像情報は、認識部２０２に入力される。

認識部２０２は、画像情報に含まれる各フレームについて画像認識処理を行い、各フレーム中の前方車両を認識する。また、認識部２０２は、認識結果（フレーム中の前方車両を示す領域の位置（座標）及び前方車両の大きさ）を認識結果格納部１１２に格納する。また、認識部２０２は、認識結果を距離算出部２０３に入力する。

距離算出部２０３は、認識部２０２による認識結果に基づいて、前方車両２１０までの距離を算出する。また、距離算出部２０３は、算出した距離を警告部２０４及び制御部２０５に出力する。

警告部２０４は、距離算出部２０３により算出された距離に応じて、車両１１０の乗員に情報を提示することで、乗員に対して警告を行う。また、制御部２０５は、距離算出部２０３により算出された距離に応じて、車両１１０の走行速度を制御する。

次に、性能検証装置１４０の機能について説明する。図３は、性能検証装置の機能を説明するための図である。

図３に示すように、性能検証装置１４０の性能比較部１４１は、画像情報１５１に含まれる各フレーム中の前方車両の描画領域（以下、単に「車両領域」と略す）についての認識システム１１１による認識結果情報１５２を、認識結果格納部１１２より読み出す。

上述したように、認識結果情報１５２には、フレーム中の前方車両３０１の領域の位置（座標）、前方車両３０１の領域の大きさが含まれる。図３の例は、前方車両３０１の領域の座標（Ｘ座標及びＹ座標）として（Ｘｅ，Ｙｅ）が読み出され、前方車両３０１の領域の大きさ（幅及び高さ）として（Ｗｅ，Ｈｅ）が読み出された場合を示している。

また、性能比較部１４１は、画像情報１５１に含まれる各フレーム中の前方車両３０１について、正解情報格納部１３２より、正解情報１５３を読み出す。図３の例では、性能比較部１４１は、正解情報１５３として、前方車両３０１の領域の座標である（Ｘｒ，Ｙｒ）を読み出し、前方車両３０１の領域の大きさである（Ｗｒ，Ｈｒ）を読み出している。

性能比較部１４１は、認識結果情報１５２と正解情報１５３とを比較し、前方車両３０１の領域の位置及び大きさの差分値を算出する。また、性能比較部１４１は、算出した差分値に基づいて、認識システム１１１の認識性能を検証するとともに、性能比較結果を性能比較結果格納部１４２に格納する。なお、性能比較部１４１は、性能比較結果を格納するにあたり、フレーム番号と対応付けて格納する。また、フレーム中に複数の前方車両が含まれていた場合には、それぞれの車両を示す車両識別子と対応付けて格納する。

次に、正解生成装置１３０の詳細について説明する。図４は、正解生成装置のハードウェア構成の一例を示す図である。

図４に示すように、正解生成装置１３０は、ＣＰＵ４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３、補助記憶部４０４、通信部４０５を備える。また、正解生成装置１３０は、表示部４０６、操作部４０７、ドライブ部４０８を備える。なお、正解生成装置１３０の各部は、バス４０９を介して相互に接続されている。

ＣＰＵ４０１は、補助記憶部４０４にインストールされた各種プログラム（例えば、正解生成プログラム）を実行するコンピュータである。ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶部４０４に格納された各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶部として機能する。ＲＡＭ４０３は、補助記憶部４０４に格納された各種プログラムがＣＰＵ４０１によって実行される際に展開される、作業領域を提供する。

補助記憶部４０４は、各種プログラムや、各種プログラムを実行したことで生成された情報（例えば、正解情報１５３）等を格納する。

通信部４０５は、正解生成装置１３０が格納装置１２０、性能検証装置１４０と通信するためのデバイスである。

表示部４０６は、格納装置１２０の画像情報格納部１２１より読み出した画像情報を表示したり、正解生成部１３１により生成された正解情報を表示したりする。

操作部４０７は、正解生成装置１３０の操作者が正解生成装置１３０に対して各種指示を入力するためのデバイスである。

ドライブ部４０８は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。

なお、本実施形態において、補助記憶部４０４に格納される各種プログラムは、例えば、配布された記録媒体４１０がドライブ部４０８にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ部４０８により読み出されることでインストールされる。あるいは、通信部４０５を介してネットワークからダウンロードされることでインストールされる。

次に、正解生成装置１３０の機能構成について説明する。図５は、正解生成装置の機能構成の一例を示す図である。図５に示すように、正解生成装置１３０の正解生成部１３１は、映像表示部５０１、フレーム指定受け付け部５０２、領域指定受け付け部５０３、画像追跡部５０４、修正部５０５を有する。

映像表示部５０１は、正解生成装置１３０の操作者により指定された画像情報を、画像情報格納部１２１より読み出し、表示部４０６に表示する。また、映像表示部５０１は、読み出した画像情報を画像追跡部５０４に送信する。

フレーム指定受け付け部５０２は、表示部４０６に表示された画像情報の各フレームの中から、操作者により選択された複数のフレーム（例えば、異なるタイミングで撮像されたフレーム）の指定を受け付ける。また、フレーム指定受け付け部５０２は、指定された複数のフレームを特定するそれぞれのフレーム番号を画像追跡部５０４に送信する。なお、本実施形態において、操作者は、表示部４０６に表示された画像情報の各フレームのうち、前方車両が含まれるフレームであって、フレーム内の車両領域において、局所的な色変化が発生しているフレームを複数選択して指定する。テンプレート画像を用いて画像情報の各フレームより正解情報を高精度に抽出するためには、様々な色変化に対応したテンプレート画像を生成しておくことが有効だからである。

なお、本実施形態において、テンプレート画像とは、画像情報に含まれる各フレームから、車両領域を抽出するための照合処理を行う際に用いられる照合用の画像である。

領域指定受け付け部５０３は、フレーム指定受け付け部５０２を介して指定されたフレームにおいて、操作者により車両領域の指定があった場合に、これを受け付ける。また、指定された領域の情報である指定領域情報（車両領域の位置を示すＸ座標、Ｙ座標及び車両領域の大きさ（幅、高さ））を画像追跡部５０４に送信する。

画像追跡部５０４は、フレーム指定受け付け部５０２において指定された複数のフレームについて、領域指定受け付け部５０３において指定されたそれぞれの領域の画像を用いて、テンプレート画像を生成する。

また、画像追跡部５０４は、生成したテンプレート画像を用いて、画像情報に含まれる各フレームに対して照合処理を行い、各フレームから照合領域（テンプレート画像に類似する領域）を抽出する。照合領域は、テンプレート画像が照合した位置及び照合したテンプレート画像の大きさ（Ｘｒ，Ｙｒ，Ｗｒ，Ｈｒ）に基づいて算出され、車両領域（車両部分）を表している。なお、抽出された照合領域は、正解情報として出力される。

修正部５０５は、画像追跡部５０４より出力された各フレームの正解情報について、修正が必要であると判定した場合に、操作者による修正操作を受け付ける。また、修正部５０５は、操作者による修正操作に基づいて修正した正解情報を、当該フレームと対応付けて正解情報格納部１３２に格納する。

次に、正解生成部１３１のフレーム指定受け付け部５０２及び領域指定受け付け部５０３の詳細について説明する。

図６は、画像情報において指定されたフレーム及び領域を示す図であり、フレーム指定受け付け部５０２による複数フレームの指定及び領域指定受け付け部５０３による、各フレームについての車両領域の指定について説明するための図である。図６に示すように、画像情報１５１は複数のフレームを含み、各フレームは時系列に配列されている。図６の例は、操作者が、画像情報１５１に含まれる複数のフレームの中から、５つのフレームを指定フレームとして指定した場合を示している。具体的には、フレーム番号＝ｎ_１、ｎ_２、ｎ_３、ｎ_４、ｎ_５により特定される指定フレーム６０１〜６０５を指定した場合を示している。

また、図６の例は、指定フレーム６０１において、操作者が領域６１１を車両領域として指定し、指定フレーム６０２において、領域６１２を車両領域として指定し、指定フレーム６０３において、領域６１３を車両領域として指定した場合を示している。更に、図６の例は、指定フレーム６０４において、操作者が領域６１４を車両領域として指定し、指定フレーム６０５において、領域６１５を車両領域として指定した場合を示している。

次に、正解生成部１３１の画像追跡部５０４の詳細について説明する。図７は、画像追跡部の詳細な機能構成の一例を示す図である。

図７に示すように、画像追跡部５０４は、指定領域画像取得部７０１、生成要否判定部７０２、テンプレート画像生成部７０３、指定フレーム間算出部７０４を有する。

指定領域画像取得部７０１は、映像表示部５０１より送信された画像情報の各フレームから、フレーム指定受け付け部５０２より送信された指定フレーム番号により特定される指定フレームを抽出する。また、指定領域画像取得部７０１は、抽出した指定フレームについて、領域指定受け付け部５０３より送信された指定領域情報により特定される領域の画像を抽出する。更に、指定領域画像取得部７０１は、抽出した領域の画像を、指定領域画像情報格納部７１１に格納する。以下、指定領域画像取得部７０１により抽出された領域の画像を、「指定領域画像」と称す。

生成要否判定部７０２は、指定領域画像情報格納部７１１に格納された指定領域画像に基づいて、新たにテンプレート画像を生成する必要があるか否かを判定する。必要がないと判定した場合には、テンプレート画像の生成は行われない。一方、テンプレート画像を生成する必要があると判定した場合には、テンプレート画像生成部７０３に通知される。

テンプレート画像生成部７０３は、生成要否判定部７０２により、テンプレート画像を生成する必要があると判定された場合に、テンプレート画像を生成する。テンプレート画像生成部７０３は、指定領域画像情報格納部７１１に格納された指定領域画像を用いてテンプレート画像を生成する。なお、テンプレート画像生成部７０３は、生成したテンプレート画像を、テンプレート画像情報格納部７１２に格納する。

指定フレーム間算出部７０４は、テンプレート画像情報格納部７１２に格納されたテンプレート画像を用いて、指定フレーム間の各フレームについて照合処理を行い、各フレームから、車両領域を抽出する。なお、指定フレーム間の各フレームとは、画像情報１５１において時系列に配列された複数のフレームのうち、２つの指定フレームの間に配列された各フレームのことをいう。

また、指定フレーム間算出部７０４は、画像情報１５１の各フレームから抽出した車両領域を、修正部５０５を介して正解情報格納部１３２に送信し、フレームと対応付けて正解情報として格納する。

次に、画像追跡部５０４の各部（指定領域画像取得部７０１、生成要否判定部７０２、テンプレート画像生成部７０３、指定フレーム間算出部７０４）の更なる詳細について、順に説明する。

まず、指定領域画像取得部７０１の詳細について説明する。図８は、指定領域画像取得部が指定フレームから抽出した指定領域画像を格納する、指定領域画像情報の一例を示す図である。図８に示すように、指定領域画像情報８００には、情報の項目として、"フレーム番号"、"指定領域画像"、"指定領域位置"、"画像サイズ"が含まれる。

"フレーム番号"には、指定領域画像取得部７０１により指定領域画像が抽出された指定フレームのフレーム番号が格納される。"指定領域画像"には、指定領域画像取得部７０１により抽出された指定領域画像が格納される。

"指定領域位置"には、指定領域画像取得部７０１により抽出された指定領域画像の指定フレーム内での位置（座標）が格納される。"画像サイズ"には、指定領域画像取得部７０１により抽出された指定領域画像の大きさ（幅×高さ）が格納される。

図８の例は、フレーム番号＝ｎ_１の指定フレームの場合、指定領域画像取得部７０１が、指定領域画像の位置として（ｘ_１，ｙ_１）を抽出し、指定領域画像の大きさとして、ｗ_１×ｈ_１を抽出したことを示している。

また、フレーム番号＝ｎ_２〜ｎ_５の指定フレームの場合、指定領域画像取得部７０１が、指定領域画像の位置として（ｘ_２，ｙ_２）〜（ｘ_５，ｙ_５）を抽出し、指定領域画像の大きさとして、ｗ_２×ｈ_２〜ｗ_５×ｈ_５を抽出したことを示している。

次に、生成要否判定部７０２、テンプレート画像生成部７０３、指定フレーム間算出部７０４による正解情報生成処理の流れについて説明する。図９は、正解情報生成処理のフローチャートである。

ステップＳ９０１において、生成要否判定部７０２は、指定領域画像情報格納部７１１に格納された指定領域画像群を読み出す。

ステップＳ９０２において、生成要否判定部７０２は、読み出した指定領域画像群に基づいて、テンプレート画像を生成する必要があるか否かを判定する。ステップＳ９０２における判定の結果、テンプレート画像の生成が必要であると判定した場合には（ステップＳ９０３においてＹｅｓ）、ステップＳ９０３からステップＳ９０４へと進む。

ステップＳ９０４において、テンプレート画像生成部７０３は、指定領域画像情報格納部７１１に格納された指定領域画像を用いてテンプレート画像を生成し、テンプレート画像情報格納部７１２に格納する。その後、ステップＳ９０２に戻る。

一方、ステップＳ９０２における判定の結果、テンプレート画像の生成が必要でないと判定した場合には（ステップＳ９０３においてＮｏ）、ステップＳ９０３からステップＳ９０５へと進む。

ステップＳ９０５において、指定フレーム間算出部７０４は、テンプレート画像情報格納部７１２に格納されたテンプレート画像を用いて、指定フレーム間の各フレームについて照合処理を行い、各フレームより車両領域を抽出する。

ステップＳ９０６において、指定フレーム間算出部７０４は、抽出した車両領域を正解情報として、修正部５０５に出力する。その後、正解情報生成処理を終了する。

次に、図９の正解情報生成処理に含まれる各工程（テンプレート画像生成要否判定処理（ステップＳ９０２）、テンプレート画像生成処理（ステップＳ９０４）、車両領域抽出処理（ステップＳ９０５））の詳細について説明する。

はじめに、テンプレート画像生成要否判定処理（ステップＳ９０２）の詳細について説明する。図１０は、テンプレート画像生成要否判定処理のフローチャートである。ステップＳ１００１において、生成要否判定部７０２は、読み出した指定領域画像それぞれについて、後述するステップＳ１００２からステップＳ１００４までの処理（画素グループ分類処理）を実行済みであるか否かを判定する。

ステップＳ１００１において、画素グループ分類処理を実行済みであると判定した場合には（ステップＳ１００１においてＹｅｓ）、ステップＳ１００５に進む。一方、ステップＳ１００１において、画素グループ分類処理を実行済みでないと判定した場合には（ステップＳ１００１においてＮｏ）、ステップＳ１００２に進む。

ステップＳ１００２において、生成要否判定部７０２は、読み出した指定領域画像それぞれについて、画像サイズを正規化する。図８において示したように、指定領域画像は、車両１１０から前方車両２１０までの距離によって、画像サイズが異なる。そこで、生成要否判定部７０２は、指定領域画像それぞれについて幾何変換処理を行うことで、画像サイズを正規化する。なお、画像サイズの正規化は、例えば、縦横各々において、画素数が最も多い画像に合わせるように幾何変換処理を行う。図８の例では、フレーム番号＝ｎ_４の指定フレーム６０４に含まれる指定領域画像の画像サイズが最も大きい。このため、生成要否判定部７０２は、フレーム番号＝ｎ_４の指定フレーム６０４に含まれる指定領域画像の画像サイズである、ｗ_４×ｈ_４に合わせるように、他の指定領域画像に対して幾何変換処理を行う。

ステップＳ１００３において、生成要否判定部７０２は、画素値ベクトルを生成する。画素値ベクトルとは、それぞれの指定領域画像から、対応する画素の画素値（例えば、ＲＧＢの各色成分値）を抽出して、指定領域画像の数だけ配列することで生成されるベクトルである。つまり、画素値ベクトルは、指定領域画像のそれぞれの画素の画素値が、指定フレーム間においてどのように変化していくかを示すベクトルである。したがって、画素値ベクトルは、正規化した指定領域画像の画素の数だけ生成される。なお、上述したステップＳ１００２〜Ｓ１００４の処理が画素グループの分類処理である。

ステップＳ１００４において、生成要否判定部７０２は、ステップＳ１００３において生成された画素ごとの画素値ベクトルを、類似性に応じて複数のグループに分類する。各画素の画素値ベクトルを類似性に応じて分類するには、例えば、一般的なクラスタリング手法を用いる。なお、クラスタリング手法の代表的な手法であるｋ−ｍｅａｎｓ法の場合、分類するグループの数を事前に決定しておく必要がある。本実施形態において、生成要否判定部７０２は、画像情報の性質（画像情報に含まれる各フレームのサイズ、内部の色数及びその変動傾向等）を参照することで、分類可能な範囲内でグループ数を決定する。

また、例えば、ｘ−ｍｅａｎｓ法のような、分類するグループの数を適切に決定するクラスタリング手法を用いる場合にあっては、クラスタリング手法において算出した数に基づいてグループ数を決定するものとする。

ステップＳ１００５において、生成要否判定部７０２は、最小照合度画像決定処理を行う。最小照合度画像とは、テンプレート画像情報格納部７１２に格納されたテンプレート画像と、複数の指定領域画像それぞれとの間で照合処理を行った場合に、照合度が最小となる指定領域画像である。なお、生成要否判定部７０２は、はじめに、複数の指定領域画像のうちの１つの指定領域画像を、テンプレート画像としてテンプレート画像情報格納部７１２に登録する。このため、はじめに最小照合度画像として決定されるのは、指定領域画像同士を照合処理した場合に照合度が最小となる指定領域画像である。

なお、はじめにテンプレート画像情報格納部７１２に登録される指定領域画像は、複数の指定領域画像のうち、正規化した際の幾何学変換で、拡大又は縮小の影響が最も小さい指定領域画像である。このことは、幾何学変換による画素値加工の影響が最も小さい指定領域画像が登録されることを意味する。

一方、はじめに１つの指定領域画像をテンプレート画像として登録して以降は、テンプレート画像生成処理（ステップＳ９０４）にて必要に応じてテンプレート画像が生成され、順次、テンプレート画像情報格納部７１２に格納されていく。このため、生成要否判定部７０２は、テンプレート画像が新たに生成されるごとに、最小照合度画像決定処理を行う。

ステップＳ１００６において、生成要否判定部７０２は、ステップＳ１００５において決定された最小照合度画像の最小照合度が、所定の閾値より大きいか否かを判定する。ステップＳ１００６において、最小照合度が所定の閾値より大きいと判定した場合には（ステップＳ１００６においてＹｅｓ）、テンプレート画像の生成が不要であるとして、図９のステップＳ９０３に戻る。

一方、ステップＳ１００６において、最小照合度が所定の閾値以下であると判定した場合には（ステップＳ１００６においてＮｏ）、新たなテンプレート画像の生成が必要であるとして、ステップＳ１００７に進む。複数の指定領域画像の中に、テンプレート画像との照合度が所定の閾値以下のものがあるということは、画像情報１５１の各フレームから車両領域を抽出するのに、十分な種類のテンプレート画像が未だ生成されていないということを表している。このため、最小照合度が閾値以下の場合には、新たなテンプレート画像を生成するのに必要な処理を実行すべく、ステップＳ１００７に進む。

ステップＳ１００７において、生成要否判定部７０２は、照合度低下要因グループ決定処理を実行する。照合度低下要因グループ決定処理において、生成要否判定部７０２は、ステップＳ１００４において指定領域画像の各画素が分類された複数のグループのうち、最小照合度画像とテンプレート画像との照合度に影響を与える画素を含むグループを判定する。

照合度判定要因グループ決定処理において、照合度に影響を与える画素を含むグループを判定することで、後述するテンプレート画像生成部７０３において当該グループに含まれる画素の画素値を反映させた、新たなテンプレート画像を生成できるからである。このようにして生成される新たなテンプレート画像を用いれば、指定領域画像との照合度が、所定の閾値以下になることを回避することができる。

次に、テンプレート画像生成要否判定処理の具体例について、図１１及び図１２を用いて説明する。図１１は、テンプレート画像生成要否判定処理のうち、画素グループ分類処理の具体例を示す図であり、指定領域画像の正規化処理と画素値ベクトルの生成方法を示したものである。

図１１に示すように、指定領域画像情報格納部７１１には、フレーム番号＝ｎ_１〜ｎ_５の指定フレーム６０１〜６０５より抽出された指定領域画像１１０１〜１１０５が格納されている。指定領域画像１１０１〜１１０５のうち、画像サイズが最も大きいのは、指定領域画像１１０４である。このため、生成要否判定部７０２は、指定領域画像１１０４の画像サイズに合うように、指定領域画像１１０１〜１１０３及び指定領域画像１１０５に対して幾何学変換処理を行い、画像サイズを正規化する。

これにより、指定領域画像情報格納部７１１には、正規化指定領域画像群として、正規化指定領域画像１１１１〜１１１５が格納される。なお、図１１の例では、正規化指定領域画像１１１１〜１１１５を特定するための番号として、正規化指定領域画像番号Ｎ１〜Ｎ５を付して格納している。

このようにして生成された正規化指定領域画像１１１１〜１１１５を用いて、生成要否判定部７０２は、画素値ベクトルを生成する。図１１の例は、正規化指定領域画像１１１１〜１１１５に含まれる各画素の座標（ｉ，ｊ）の画素についての画素値ベクトルＶｉｊを算出する様子を示している。

図１１に示すように、正規化指定領域画像１１１１の座標（ｉ，ｊ）の画素値は、（Ｒ_ｎ１＿ｉｊ，Ｇ_ｎ１＿ｉｊ，Ｂ_ｎ１＿ｉｊ）である。また、正規化指定領域画像１１１２の座標（ｉ，ｊ）の画素値は、（Ｒ_ｎ２＿ｉｊ，Ｇ_ｎ２＿ｉｊ，Ｂ_ｎ２＿ｉｊ）である。以下、同様に、正規化指定領域画像１１１３〜１１１５の座標（ｉ，ｊ）の画素値は、（Ｒ_ｎ３＿ｉｊ，Ｇ_ｎ３＿ｉｊ，Ｂ_ｎ３＿ｉｊ）〜（Ｒ_ｎ５＿ｉｊ，Ｇ_ｎ５＿ｉｊ，Ｂ_ｎ５＿ｉｊ）である。

生成要否判定部７０２は、正規化指定領域画像１１１１〜１１１５それぞれの座標（ｉ，ｊ）における画素値を配列することで、画素値ベクトルＶｉｊを生成する。図１１の画素値ベクトル１１２０は、このようにして生成した画素値ベクトルＶｉｊの一例である。なお、生成要否判定部７０２は、このような画素値ベクトルを、正規化指定領域画像のすべての座標の画素について算出する。

図１２は、算出した画素値ベクトルに基づいて、正規化指定領域画像の各画素を各グループへ分類する処理を説明するための図である。正規化指定領域画像１１１１〜１１１５の画素数が、それぞれｐ×ｑ画素であるとすると、生成要否判定部７０２は、画素値ベクトルＶ１１〜Ｖｐｑを生成することになる。このため、生成要否判定部７０２は、画素値ベクトルＶ１１〜Ｖｐｑをクラスタリングすることにより、正規化指定領域画像１１１１〜１１１５の各画素を複数のグループに分類する。

図１２の場合、生成要否判定部７０２が分類するグループとして、グループＩからグループＩＩＩまでを例示している。このうち、グループＩ、ＩＩは、前方車両のリアガラス部分に相当し、グループＩＩＩは、前方車両のブレーキランプ部分に相当するが、分類するグループの種類については、これに限定されるものではない。

図１２に例示した各グループに分類される画素値ベクトルは、正規化指定領域画像と画素値の変化（色変化）との関係を示したグラフ１２００に対応している。グラフ１２００において、横軸は正規化指定領域画像番号を示し、縦軸は画素値を示している（上述したように、画素値はＲＧＢの３次元からなるが、グラフ１２００では説明の簡略化のため、１次元への写像により示している）。

例えば、グループＩに分類される画素値ベクトルは、折れ線１２２１に対応している。また、グループＩＩに分類される画素値ベクトルは、折れ線１２２２に対応している。更に、グループＩＩＩに分類される画素値ベクトルは、折れ線１２２３に対応している。

折れ線１２２１によれば、グループＩに分類される画素値ベクトルは、正規化指定領域画像番号＝Ｎ３で画素値が小さくなり、正規化指定領域画像番号＝Ｎ４及びＮ５で再び画素値が大きくなる。

また、折れ線１２２２によれば、グループＩＩに分類される画素値ベクトルは、正規化指定領域画像番号＝Ｎ３及びＮ４で画素値が小さくなり、正規化指定領域画像番号＝Ｎ５で再び画素値が大きくなる。

このように、同じリアガラス部分に相当する画素であっても、画素値の変化が異なれば、異なるグループ（グループＩ、ＩＩ）に分類されることになる。

また、折れ線１２２３によれば、グループＩＩＩに分類される画素値ベクトルは、正規化指定領域画像番号＝Ｎ２〜Ｎ４で画素値が小さくなり、正規化指定領域画像番号＝Ｎ５で再び画素値が大きくなる。

このように、異なる時間の色成分を、１つの画素値ベクトルとして表現したうえで、当該画素値ベクトルをクラスタリングすることで、本実施形態におけるグループ分類では時間変化を含めた色類似性を画素単位で判定することが可能になる。

次に、テンプレート画像生成要否判定処理（図１０）に含まれる最小照合度画像決定処理（ステップＳ１００５）の詳細について説明する。図１３は、最小照合度画像決定処理のフローチャートである。

ステップＳ１３０１において、生成要否判定部７０２は、テンプレート画像情報格納部７１２にテンプレート画像が登録されているか否かを判定する。ステップＳ１３０１において、テンプレート画像が登録されていると判定した場合には（ステップＳ１３０１においてＹｅｓ）、ステップＳ１３１０に進む。

ステップＳ１３１０において、生成要否判定部７０２は、指定領域画像情報格納部７１１に格納された各正規化指定領域画像（Ｎ１〜Ｎ５）と、テンプレート画像情報格納部７１２に登録されているテンプレート画像との照合度を算出する。

なお、テンプレート画像情報格納部７１２に、テンプレート画像が複数登録されている場合には、それぞれのテンプレート画像を用いて、各正規化指定領域画像（Ｎ１〜Ｎ５）との照合度が算出される。例えば、テンプレート画像が２つ登録されている場合には、各正規化指定領域画像（Ｎ１〜Ｎ５）について、２つずつ照合度が算出されることになる。ここでは、正規化指定領域画像（Ｎ１）について算出された照合度を、Ｍ_Ｎ１＿１、Ｍ_Ｎ１＿２とし、正規化指定領域画像（Ｎ２）について算出された照合度を、Ｍ_Ｎ２＿１、Ｍ_Ｎ２＿２とする。同様に、正規化指定領域画像（Ｎ３〜Ｎ５）について算出された照合度を、Ｍ_Ｎ３＿１、Ｍ_Ｎ３＿２、Ｍ_Ｎ４＿１、Ｍ_Ｎ４＿２、Ｍ_Ｎ５＿１、Ｍ_Ｎ５＿２とする。

ステップＳ１３１１において、生成要否判定部７０２は、ステップＳ１３１０において算出した照合度のうち、最小照合度Ｍｍｉｎを算出したときの正規化指定領域画像を、最小照合度画像として決定する。

なお、ここでいう最小照合度Ｍｍｉｎは、例えば、各正規化指定領域画像（Ｎ１〜Ｎ５）について２つずつ照合度が算出されている場合にあっては、２つの照合度のうち大きい方の照合度について、各正規化指定領域画像間で比較した場合に最小となる照合度をいう。

具体的には、各正規化指定領域画像（Ｎ１〜Ｎ５）についての各照合度の大小関係が、Ｍ_Ｎ１＿１＞Ｍ_Ｎ１＿２、Ｍ_Ｎ２＿１＜Ｍ_Ｎ２＿２、Ｍ_Ｎ３＿１＜Ｍ_Ｎ３＿２、Ｍ_Ｎ４＿１＞Ｍ_Ｎ４＿２、Ｍ_Ｎ５＿１＜Ｍ_Ｎ５＿２であったとする。この場合、最小照合度Ｍｍｉｎは、Ｍ_Ｎ１＿１、Ｍ_Ｎ２＿２、Ｍ_Ｎ３＿２、Ｍ_Ｎ４＿１、Ｍ_Ｎ５＿２を比較することにより決定される。

一方、ステップＳ１３０１において、テンプレート画像が登録されていないと判定した場合には（ステップＳ１３０１においてＮｏ）、ステップＳ１３０２に進む。この場合、ステップＳ１３０２〜ステップＳ１３０９において、正規化指定領域画像群（Ｎ１〜Ｎ５）の中からいずれかの正規化指定領域画像をテンプレート画像として決定する。

具体的には、ステップＳ１３０２において、生成要否判定部７０２は、正規化指定領域画像をカウントするカウンタｋに初期値（＝１）を設定する。

ステップＳ１３０３において、生成要否判定部７０２は、指定領域画像情報格納部７１１に格納された正規化指定領域画像群より、正規化指定領域画像（Ｎｋ）を、テンプレート画像候補として読み出す。ここでは、正規化指定領域画像（Ｎ１）をテンプレート画像候補として読み出す。

ステップＳ１３０４において、生成要否判定部７０２は、正規化指定領域画像群の各正規化指定領域画像群（Ｎ１〜Ｎ５）と、テンプレート画像候補（正規化指定領域画像（Ｎ１））との照合度Ｍを算出する。

ステップＳ１３０５において、生成要否判定部７０２は、ステップＳ１３０４において算出した照合度Ｍが、最大照合度Ｍｍａｘより大きいか否かを判定する。この時点で、最大照合度Ｍｍａｘには値が代入されていないため、ステップＳ１３０４において算出した照合度Ｍが、最大照合度Ｍｍａｘより大きいと判定し（ステップＳ１３０５においてＹｅｓ）、ステップＳ１３０６に進む。

ステップＳ１３０６において、生成要否判定部７０２は、ステップＳ１３０４において算出した照合度Ｍを最大照合度Ｍｍａｘに代入し、最大照合度Ｍｍａｘを更新する。

ステップＳ１３０７において、生成要否判定部７０２は、すべての正規化指定領域画像群（Ｎ１〜Ｎ５）をテンプレート画像候補として読み出したか否かを判定する。ステップＳ１３０７において、テンプレート画像候補として読み出していない正規化指定領域画像があると判定した場合には（ステップＳ１３０７においてＮｏ）、ステップＳ１３０８に進む。

ステップＳ１３０８において、生成要否判定部７０２は、正規化指定領域画像カウンタｋをインクリメント（ｋ＝ｋ＋１）し、ステップＳ１３０３に戻る。

この場合、生成要否判定部７０２は、正規化指定領域画像（Ｎ２）をテンプレート画像候補として読み出し、各正規化指定領域画像（Ｎ１〜Ｎ５）との照合度Ｍを算出する。このようにして、各正規化指定領域画像（Ｎ１〜Ｎ５）を順次読み出し、すべての組み合わせについて照合度を算出することで、照合度が最も大きい組み合わせを判定する。

全ての正規化指定領域画像をテンプレート画像候補として読み出して、各正規化指定領域画像（Ｎ１〜Ｎ５）のすべての組み合わせについて照合度の算出が完了すると（ステップＳ１３０７においてＹｅｓ）、生成要否判定部７０２はステップＳ１３０９に進む。

ステップＳ１３０９において、生成要否判定部７０２は、最大照合度Ｍｍａｘを算出したときのテンプレート画像候補を、テンプレート画像に決定する。更に、生成要否判定部７０２は、決定したテンプレート画像をテンプレート画像情報格納部７１２に登録する。

ステップＳ１３１０において、生成要否判定部７０２は、指定領域画像情報格納部７１１に格納された各正規化指定領域画像（Ｎ１〜Ｎ５）と、テンプレート画像情報格納部７１２に登録されたテンプレート画像との照合度Ｍを算出する。

ステップＳ１３１１において、生成要否判定部７０２は、ステップＳ１３１０において算出した照合度Ｍのうち、最小照合度Ｍｍｉｎを算出したときの正規化指定領域画像を、最小照合度画像と決定する。

図１４は、最小照合度画像決定処理の具体例を示す図である。図１４の例は、正規化指定領域画像（Ｎ１〜Ｎ５）のうち、正規化指定領域画像（Ｎ４）をテンプレート画像候補としたときに照合度（Ｍ_Ｎ４＿１）が最大であったことを示している。

具体的には、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像１１１４同士の照合処理を行った際の照合度（Ｍ_Ｎ４＿１）が、他のいずれの組み合わせにおいて算出された照合度よりも大きかったことを示している。このため、生成要否判定部７０２は、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像１１１４をテンプレート画像として登録する。

また、図１４の例は、正規化指定領域画像１１１４をテンプレート画像として、他の正規化指定領域画像（Ｎ１〜Ｎ３、Ｎ５）と照合処理を行った結果、正規化指定領域画像（Ｎ５）との照合度（Ｍ_Ｎ５＿１）が最小であったことを示している。つまり、Ｍ_Ｎ１＿１、Ｍ_Ｎ２＿１、Ｍ_Ｎ３＿１＞Ｍ_Ｎ５＿１であったことを示している。このため、生成要否判定部７０２は、正規化指定領域画像番号＝Ｎ５の正規化指定領域画像１１１５を、最小照合度画像として決定する。

更に、図１４の例は、新たに生成されたテンプレート画像１４００についても同様の処理を行うことを示している。すなわち、テンプレート画像１４００と、正規化指定領域画像（Ｎ１〜Ｎ５）との間で照合処理を行うことで、照合度Ｍ_Ｎ１＿２〜Ｍ_Ｎ５＿２を算出する。なお、上述したように、テンプレート画像が複数になることで、正規化指定領域画像（Ｎ１〜Ｎ５）との照合度が複数算出される場合には、それぞれの正規化指定領域画像（Ｎ１〜Ｎ５）に対する照合度のうち、大きい方の照合度同士を比較する。

上述したように、各正規化指定領域画像（Ｎ１〜Ｎ５）についての各照合度の大小関係は、Ｍ_Ｎ１＿１＞Ｍ_Ｎ１＿２、Ｍ_Ｎ２＿１＜Ｍ_Ｎ２＿２、Ｍ_Ｎ３＿１＜Ｍ_Ｎ３＿２、Ｍ_Ｎ４＿１＞Ｍ_Ｎ４＿２、Ｍ_Ｎ５＿１＜Ｍ_Ｎ５＿２である。

したがって、生成要否判定部７０２は、Ｍ_Ｎ１＿１、Ｍ_Ｎ２＿２、Ｍ_Ｎ３＿２、Ｍ_Ｎ４＿１、Ｍ_Ｎ５＿２を比較することにより、最小の照合度を判定する。図１４の例は、Ｍ_Ｎ２＿２が最小照合度Ｍｍｉｎとなり、正規化指定領域画像（Ｎ２）が最小照合度画像として決定されたことを示している。

なお、最小照合度となったＭ_Ｎ２＿２が所定の閾値より大きければ、新たなテンプレート画像が生成されることはない。一方、Ｍ_Ｎ２＿２が所定の閾値以下であれば、画像追跡部５０４は、新たなテンプレートを生成するために、照合度低下要因グループ決定処理（ステップＳ１００７）を実行した後、テンプレート画像生成処理（ステップＳ９０４）を実行する。

次に、テンプレート画像生成要否判定処理（図１０）に含まれる照合度低下要因グループ決定処理（ステップＳ１００７）の詳細について説明する。図１５は、照合度低下要因グループ決定処理のフローチャートである。

ステップＳ１５０１において、生成要否判定部７０２は、グループカウンタｇに初期値（＝Ｉ）を設定する。

ステップＳ１５０２において、生成要否判定部７０２は、グループｇの領域をマスクするグループ画像マスクを生成する。ここでは、グループカウンタｇ＝Ｉであるため、グループＩの領域をマスクするグループ画像マスクを生成する。

ステップＳ１５０３において、生成要否判定部７０２は、テンプレート画像をグループ画素マスクを用いてマスク処理したうえで、最小照合度画像との照合度を算出する。ここでは、テンプレート画像として、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像が決定され、最小照合度画像として、正規化指定領域画像番号＝Ｎ５の正規化指定領域画像が決定されているものとする。

したがって、生成要否判定部７０２は、グループＩの領域をマスクするグループ画素マスクを用いて正規化指定領域画像（Ｎ４）をマスク処理して、正規化指定領域画像（Ｎ５）との照合度Ｍ_ｍａｓｋを算出する。

なお、生成要否判定部７０２は、照合度Ｍ_ｍａｓｋを算出するにあたり、下式を用いた重み付け照合処理を行う。下式において、Ｉは最小照合度画像を表し、Ｔはグループ画素マスクを用いてマスク処理されたテンプレート画像を表す。また、ｗ_ｉは重みを表す。

ステップＳ１５０４において、生成要否判定部７０２は、ステップＳ１５０３において算出したＭ_ｍａｓｋが、Ｍ_ｍａｓｋの最大値Ｍ_{ｍａｓｋ＿ｍａｘ}より大きいか否かを判定する。ステップＳ１５０４において、Ｍ_ｍａｓｋが、Ｍ_{ｍａｓｋ＿ｍａｘ}より大きいと判定した場合には（ステップＳ１５０４においてＹｅｓ）、ステップＳ１５０５に進む。一方、Ｍ_ｍａｓｋが、Ｍ_{ｍａｓｋ＿ｍａｘ}以下であると判定した場合には（ステップＳ１５０４においてＮｏ）、ステップＳ１５０６に進む。

ステップＳ１５０５において、生成要否判定部７０２は、ステップＳ１５０３において算出したＭ_ｍａｓｋにより、Ｍ_{ｍａｓｋ＿ｍａｘ}を更新する。

ステップＳ１５０６において、生成要否判定部７０２は、すべてのグループについてグループ画素マスクを生成したか否かを判定する。ステップＳ１５０６において、グループ画素マスクを生成していないグループがあると判定した場合には（ステップＳ１５０６においてＮｏ）、ステップＳ１５０７に進む。ステップＳ１５０７において、生成要否判定部７０２は、グループカウンタｇをインクリメント（ｇ＝ｇ＋１）し、ステップＳ１５０２に戻る。

この場合、生成要否判定部７０２は、グループＩＩについてグループ画素マスクを生成し、テンプレート画像である正規化指定領域画像（Ｎ４）をマスク処理して、最小照合度画像である正規化指定領域画像（Ｎ５）との照合度を算出する。以下、すべてのグループについて同様の処理を繰り返す。生成要否判定部７０２は、すべてのグループについてグループ画素マスクを生成したと判定すると（ステップＳ１５０６においてＹｅｓ）、ステップＳ１５０６からステップＳ１５０８に進む。

ステップＳ１５０８において、生成要否判定部７０２は、Ｍ_{ｍａｓｋ＿ｍａｘ}を算出したときのグループを照合度低下要因グループと判定する。Ｍ_{ｍａｓｋ＿ｍａｘ}を算出したグループの領域をマスクしたときの照合度が、他のグループの領域をマスクしたときの照合度より大きいということは、マスクの効果が大きいということである。つまり、マスクしなかったときの照合度低下の影響が大きいということである。

図１６は、照合度低下要因グループ決定処理の具体例を示す図である。図１６の例は、最小照合度画像として、正規化指定領域画像番号＝Ｎ５の正規化指定領域画像１１１５が決定され、テンプレート画像として、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像１１１４が決定された場合を示している。

図１６に示すように、生成要否判定部７０２は、正規化指定領域画像１１１４を、グループＩの領域をマスクするグループ画素マスクを用いてマスク処理したうえで、正規化指定領域画像１１１５との照合度を算出する。

また、生成要否判定部７０２は、正規化指定領域画像１１１４を、グループＩＩの領域をマスクするグループ画素マスクを用いてマスク処理したうえで、正規化指定領域画像１１１５との照合度を算出する。

更に、生成要否判定部７０２は、正規化指定領域画像１１１４を、グループＩＩＩの領域をマスクするグループ画素マスクを用いてマスク処理したうえで、正規化指定領域画像１１１５との照合度を算出する。

なお、図１６の例は、正規化指定領域画像１１１４を、グループＩＩＩの領域をマスクするグループ画素マスクを用いてマスク処理したうえで、正規化指定領域画像１１１５と照合処理した場合の照合度が最小であったことを示している。したがって、図１６の場合、生成要否判定部７０２は、グループＩＩＩを、照合度低下要因グループと判定する。

次に、正解情報生成処理（図９）に含まれるテンプレート画像生成処理（ステップＳ９０４）の詳細について説明する。図１７は、テンプレート画像生成処理のフローチャートである。

ステップＳ１７０１において、テンプレート画像生成部７０３は、最小照合度画像の各グループの代表画素値を取得する。最小照合度画像として、正規化指定領域画像番号＝Ｎ５の正規化指定領域画像が決定されている場合には、正規化指定領域画像（Ｎ５）に含まれる各グループ（例えば、グループＩ〜ＩＩＩ）から代表画素値を取得する。

ステップＳ１７０２において、テンプレート画像生成部７０３は、テンプレート画像の各グループの代表画素値を取得する。テンプレート画像として、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像が登録されている場合には、正規化指定領域画像（Ｎ４）に含まれる各グループ（例えば、グループＩ〜ＩＩＩ）から代表画素値を取得する。

ステップＳ１７０３において、テンプレート画像生成部７０３は、最小照合度画像とテンプレート画像との間で、グループごとに、代表画素値の差分を算出する。具体的には、正規化指定領域画像（Ｎ５）のグループＩの代表画素値と、正規化指定領域画像（Ｎ４）のグループＩの代表画素値との差分を算出する。また、正規化指定領域画像（Ｎ５）のグループＩＩの代表画素値と、正規化指定領域画像（Ｎ４）のグループＩＩの代表画素値との差分を算出する。更に、正規化指定領域画像（Ｎ５）のグループＩＩＩの代表画素値と、正規化指定領域画像（Ｎ４）のグループＩＩＩの代表画素値との差分を算出する。

ステップＳ１７０４において、テンプレート画像生成部７０３は、代表画素値の差分が最小となるグループを判定する。差分値が最小となるグループにおける色変化は、局所的に発生した色変化ではなく、フレーム全体に発生した色変化（例えば、自車両の周辺環境が全体的に暗くなった、又は明るくなったことに基づく色変化）である蓋然性が高い。そこで、ステップＳ１７０４において、テンプレート画像生成部７０３は、フレーム全体に発生した色変化を算出するために、代表画素値の差分値が最小となるグループを判定する。ここでは、グループＩＩの差分値が最小であったとする。

ステップＳ１７０５において、テンプレート画像生成部７０３は、代表画素値の差分値が最小となるグループについて、代表画素値の差分値を保持する。具体的には、正規化指定領域画像（Ｎ５）のグループＩＩの代表画素値と、正規化指定領域画像（Ｎ４）のグループＩＩの代表画素値との差分値を保持する。

ステップＳ１７０６において、テンプレート画像生成部７０３は、最小照合度画像における照合度低下要因グループの各画素の画素値から、ステップＳ１７０５において保持した差分値を減算する。具体的には、最小照合度画像である正規化指定領域画像（Ｎ５）のグループＩＩＩの領域の各画素の画素値から、ステップＳ１７０５において保持した差分値を減算する。これにより、最小照合度画像である正規化指定領域画像（Ｎ５）のグループＩＩＩの領域における色変化分から、フレーム全体に発生した色変化分を除くことができる。

ステップＳ１７０７において、テンプレート画像生成部７０３は、代表画素値の差分値が減算された照合度低下要因グループの各画素の画素値を、テンプレート画像に加算する。具体的には、正規化指定領域画像（Ｎ５）のグループＩＩＩの領域の各画素の画素値から、ステップＳ１７０５において保持した差分値を減算したものを、テンプレート画像である正規化指定領域画像（Ｎ４）に加算する。

ステップＳ１７０８において、テンプレート画像生成部７０３は、ステップＳ１７０７において加算されたテンプレート画像を、新たなテンプレート画像として、テンプレート画像情報格納部７１２に登録する。

これにより、照合度低下要因となっているグループで発生した色変化が反映されたテンプレート画像が新たに生成され、テンプレート画像情報格納部７１２に新たに登録されることになる。つまり、新たに登録されたテンプレート画像を用いれば、最小照合度画像である正規化指定領域画像（Ｎ５）との照合度（最小照合度）を向上させることが可能となる。

図１８は、テンプレート画像情報の一例を示す図である。図１８に示すように、テンプレート画像情報格納部７１２のテンプレート画像情報１８００には情報の項目として、"テンプレート画像番号"と"テンプレート画像"とが含まれる。

"テンプレート画像番号"には、テンプレート画像情報格納部７１２に登録されるテンプレート画像を識別するための番号が格納される。テンプレート画像生成部７０３が新たにテンプレート画像を生成し、テンプレート画像情報格納部７１２に登録する際に、テンプレート画像生成部７０３は、テンプレート画像番号を付与する。

"テンプレート画像"には、テンプレート画像生成部７０３により新たに生成されたテンプレート画像が格納される。本実施形態では、はじめに、正規化指定領域画像群（Ｎ１〜Ｎ５）のいずれかがテンプレート画像として登録される。図１８の例は、テンプレート画像番号＝１のテンプレート画像として、正規化指定領域画像番号＝Ｎ４の正規化指定領域画像が登録されたことを示している。

また、本実施形態では、最小照合度画像として正規化指定領域画像番号＝Ｎ５の正規化指定領域画像が決定され、照合度低下要因グループとしてグループＩＩＩが決定されている。図１８の例は、正規化指定領域画像（Ｎ５）のグループＩＩＩの領域の各画素の画素値（ただし、フレーム全体の色変化分を減算したもの）を、正規化指定領域画像（Ｎ４）に加算したものが、照合度画像として登録されたことを示している。

次に、正解情報生成処理（図９）に含まれる車両領域抽出処理（ステップＳ９０５）の詳細について説明する。図１９は、車両領域抽出処理のフローチャートである。

ステップＳ１９０１において、指定フレーム間算出部７０４は、開始・終了の指定フレームのペアを取得したか否かを判定する。開始・終了の指定フレームのペアとは、フレーム指定受け付け部５０２により指定された指定フレーム（本実施形態では、フレーム番号ｎ_１〜ｎ_５の指定フレーム６０１〜６０５）のうち、隣り合う指定フレームのペアをいう。

例えば、フレーム番号＝ｎ_１の指定フレーム６０１を開始の指定フレームとした場合、フレーム番号ｎ_２の指定フレーム６０２が終了の指定フレームとなる。同様に、フレーム番号＝ｎ_２の指定フレーム６０２を開始の指定フレームとした場合、フレーム番号ｎ_３の指定フレーム６０３が終了の指定フレームとなる。同様に、フレーム番号＝ｎ_３の指定フレーム６０３が開始の指定フレームの場合には、フレーム番号ｎ_４の指定フレーム６０４が終了の指定フレームとなる。同様に、フレーム番号ｎ_４の指定フレーム６０４が終了の指定フレームの場合には、フレーム番号ｎ_５の指定フレーム６０５が終了の指定フレームとなる。

なお、以下の説明では、はじめにフレーム番号ｎ_１の指定フレーム６０１を開始の指定フレームとして、処理を開始するものとする。

ステップＳ１９０１において、開始・終了の指定フレームのペアを取得できなかったと判定した場合には（ステップＳ１９０１においてＮｏ）、図９のステップＳ９０６に戻る。一方、ステップＳ１９０１において、開始・終了の指定フレームのペアを取得できたと判定した場合には（ステップＳ１９０１においてＹｅｓ）、ステップＳ１９０２に進む。

ステップＳ１９０２において、指定フレーム間算出部７０４は、開始・終了間フレームを画像情報１５１から抽出する。具体的には、フレーム番号ｎ_１＋１のフレームからフレーム番号ｎ_２−１のフレームまでを画像情報１５１から抽出する。

ステップＳ１９０３において、指定フレーム間算出部７０４は、幾何変換拘束条件を算出する。車両領域の画像は、時系列に配列されており、１フレーム間で急激な画像サイズの変化が発生することはない。このため、検出対象のフレームにおいて車両領域を抽出するには、例えば、開始フレーム（フレーム番号ｎ_１の指定フレーム６０１）における指定領域画像１１０１の画像サイズ（ｗ_１×ｈ_１）に基づいて、テンプレート画像の画像サイズを決定する。あるいは、終了フレーム（フレーム番号ｎ_２の指定フレーム６０２）における指定領域画像１１０２の画像サイズ（ｗ_２×ｈ_２）に基づいてテンプレート画像の画像サイズを決定してもよい。あるいは、検出対象のフレームの１フレーム前のフレームにおいて用いたテンプレート画像の画像サイズに基づいて、検出対象のフレームに用いるテンプレート画像の画像サイズを決定してもよい。

具体的には、開始フレームにおける指定領域画像の画像サイズに対して所定の割合で拡大又は縮小した画像サイズを幾何変換拘束条件として、検出対象のフレームにおいて車両領域を抽出する際に用いるテンプレート画像の画像サイズを決定する。

あるいは、終了フレームにおける指定領域画像の画像サイズに対して所定の割合で拡大又は縮小した画像サイズを幾何変換拘束条件として、検出対象のフレームにおいて車両領域を抽出する際に用いるテンプレート画像の画像サイズを決定してもよい。

あるいは、検出対象のフレームの１フレーム前のフレームにおいて用いたテンプレート画像の画像サイズを、所定の割合で拡大又は縮小した画像サイズを幾何変換拘束条件として、検出対象のフレームにおいて用いるテンプレート画像の画像サイズを決定してもよい。

なお、拡大又は縮小する際の割合は、例えば、撮像部２０１の光学特性から、物標（前方車両）までのおおよその距離を算出し、物標までの距離の変化（すなわち、自車両との相対速度）が、所定の範囲内に収まるように決定する。

ステップＳ１９０４において、指定フレーム間算出部７０４は、照合範囲拘束条件を算出する。車両領域の画像は、時系列に配列されており、１フレーム間で急激な位置の変化が発生することはない。このため、検出対象フレームにおいて車両領域を抽出するには、例えば、開始フレーム（フレーム番号ｎ_１の指定フレーム６０１）における指定領域画像１１０１の指定領域位置に基づいて、テンプレート画像の検出対象フレーム内での照合範囲を決定する。あるいは、終了フレーム（フレーム番号ｎ_２の指定フレーム６０２）における指定領域画像１１０２の指定領域位置に基づいて、テンプレート画像の検出対象フレーム内での照合範囲を決定する。あるいは、検出対象のフレームの１フレーム前のフレームにおいて用いたテンプレート画像の照合領域に基づいて、検出対象のフレームに用いるテンプレート画像の照合範囲を決定する。

ステップＳ１９０５において、指定フレーム間算出部７０４は、テンプレート画像情報格納部７１２に登録されたテンプレート画像を読み出し、幾何変換拘束条件に基づいてテンプレート画像を幾何変換する。更に、指定フレーム間算出部７０４は、幾何変換したテンプレート画像を用いて、照合範囲拘束条件に応じた照合範囲について、検出対象のフレームとの照合処理を行う。

ステップＳ１９０６において、指定フレーム間算出部７０４は、検出対象のフレームに対して、それぞれのテンプレート画像を用いて照合処理を行った際のそれぞれの照合度を比較する。指定フレーム間算出部７０４は、比較の結果、最大の照合度を算出したテンプレート画像を用いることで得た照合領域を、車両領域として抽出する。照合領域は、最大の照合度を算出したテンプレート画像が照合したフレーム内の位置及び当該テンプレート画像の大きさにより特定される。

ステップＳ１９０７において、指定フレーム間算出部７０４は、次のフレームがあるか否かを判定する。次のフレームが終了の指定フレームでなければ、次のフレームはあると判定し（ステップＳ１９０７においてＹｅｓ）、ステップＳ１９０８に進む。ステップＳ１９０８において、指定フレーム間算出部７０４は、次のフレームを、車両領域を抽出する検出対象フレームに設定し、ステップＳ１９０２に戻る。

一方、次のフレームが終了の指定フレームであった場合には、ステップＳ１９０７において、次のフレームがないと判定し（ステップＳ１９０７においてＮｏ）、ステップＳ１９０１に戻る。この場合、指定フレーム間算出部７０４は、フレーム番号ｎ_２の指定フレーム６０２を開始の指定フレーム、フレーム番号ｎ_３の指定フレーム６０３を終了の指定フレームとして、ステップＳ１９０２からステップＳ１９０８の処理を実行する。

なお、フレーム番号ｎ_４の指定フレーム６０４を開始の指定フレーム、フレーム番号ｎ_５の指定フレーム６０５を終了の指定フレームとして、ステップＳ１９０２からステップＳ１９０８の処理を行った後は、開始・終了の指定フレームのペアを取得できない。この場合、指定フレーム間算出部７０４は、図９のステップＳ９０６に戻る。

以上の説明から明らかなように、本実施形態に係る正解生成装置１３０は、操作者により指定された複数の指定領域画像から、照合処理時の照合度が最も高くなる指定領域画像を、テンプレート画像として登録する。また、正解生成装置１３０は、複数の指定領域画像の各画素を、色成分の時間変化を含めた色類似性によりグループ分類する。また、正解生成装置１３０は、指定領域画像内の各グループのうち、照合処理時の照合度の低下の要因となるグループを判定する。更に、正解生成装置１３０は、判定したグループの画素値を用いて、すでに登録されているテンプレート画像から新たなテンプレート画像を生成する。

これにより、本実施形態に係る正解生成装置１３０によれば、照合度の低下の要因が排除されたテンプレート画像を新たに登録することができる。この結果、新たに登録したテンプレート画像を用いれば、車両の色変化があるフレームであっても、車両領域の抽出精度を向上させることができる。

つまり、動画像における各フレームで対象の色変化がある場合であっても、対象部分の抽出精度を向上させることができるようになる。

［その他の実施形態］
上述した実施形態では、指定フレーム６０１〜６０５の指定及び指定フレーム内における領域６１１〜６１５の指定を、正解生成装置１３０の操作者が行うものとして説明したが、これに限定されるものではない。例えば、指定フレーム６０１〜６０５の指定及び指定フレーム内における領域６１１〜６１５の指定は、所定のアルゴリズムに基づいて自動で行うようにしてもよい。

また、上述した実施形態では、指定フレームとして、５つの指定フレームを指定する例を挙げて説明したが、これに限定されるものではなく、指定フレームの数は５つに限定されない。

また、上述した実施形態では、テンプレート画像生成処理（図１７）において、フレーム全体に発生した色変化を算出するにあたり、代表画素値の差分値が最小となるグループを判定したが、これに限定されるものではない。例えば、フレーム全体に発生した色変化の算出に用いるグループは、照合度低下要因グループ以外のグループであれば、代表画素値の差分値が最小のグループに限定されなくてもよい。

また、上述した実施形態では、車両領域抽出処理（図１９）において、はじめに指定フレーム６０１を開始の指定フレームとしたが、開始の指定フレームは、指定フレーム６０１でなくてもよい。例えば、指定フレーム６０５を開始の指定フレームとしてもよい。この場合、終了の指定フレームは、指定フレーム６０４となる。

また、上述した実施形態では、車両領域抽出処理（図１９）において、開始・終了の指定フレームのペアを取得することができなかった場合に（指定フレーム６０５を終了の指定フレームとして処理を実行した後は）、車両領域抽出処理を終了したが、これに限定されるものではない。例えば、指定フレーム６０５を終了の指定フレームとして処理を実行した後のフレーム（フレーム番号＝ｎ_５のフレームより後のフレーム）については、指定フレーム６０５に基づく拘束条件のもとで、車両領域抽出処理を継続してもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
異なるタイミングで撮像された同じ対象の画像を取得し、それぞれの画像間を比較して、１又は複数の色の特徴が異なる部分を識別し、前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成し、検出対象の画像における前記複数のテンプレート画像に類似する領域を対象部分として抽出する処理を、
コンピュータに実行させる画像認識プログラム。
（付記２）
前記抽出する処理は、
前記取得した画像の画像サイズを正規化し、正規化した前記画像サイズのそれぞれの画像間において、同じ位置の画素の画素値を配列したベクトルを生成し、生成した前記ベクトルを、類似したもの同士で分類することで、前記１又は複数の色の特徴が異なる部分を識別することを特徴とする付記１に記載の画像認識プログラム。
（付記３）
前記抽出する処理は、
前記複数の色の特徴が異なる部分のうち、前記対象部分の抽出に影響を与える部分を判定し、該判定した部分を前記対象の画像に組み合わせることを特徴とする付記１に記載の画像認識プログラム。
（付記４）
前記抽出する処理は、
前記複数の色の特徴が異なる部分を順次マスクした場合の、前記対象部分の抽出に与える影響の変化を比較し、該変化が最も大きくなったときにマスクしていた部分を、前記対象部分の抽出に影響を与える部分と判定し、該判定した部分を前記対象の画像に組み合わせることを特徴とする付記３に記載の画像認識プログラム。
（付記５）
前記抽出する処理は、
前記対象部分の抽出に影響を与える部分を前記対象の画像に組み合わせるにあたり、前記対象部分の抽出に影響を与える部分の画素値から、前記対象の周辺環境の変化に応じた画素値の変化分を減算することを特徴とする付記３に記載の画像認識プログラム。
（付記６）
前記抽出する処理は、
前記取得した画像それぞれの画像間で照合処理を行い、照合度が最大となる画像を、前記テンプレート画像とすることを特徴とする付記１に記載の画像認識プログラム。
（付記７）
前記抽出する処理は、
前記取得した画像間の各画像から、前記複数のテンプレート画像に類似する領域を対象部分として抽出する場合、前記取得した画像から前記対象部分を抽出した際に用いたテンプレート画像の位置及び大きさに基づいて、前記複数のテンプレート画像に類似する領域を抽出する際の前記各画像における処理範囲及び前記複数のテンプレート画像の大きさを決定することを特徴とする付記１に記載の画像認識プログラム。
（付記８）
異なるタイミングで撮像された同じ対象の画像を取得し、それぞれの画像間を比較して、１又は複数の色の特徴が異なる部分を識別し、前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成し、検出対象の画像における前記複数のテンプレート画像に類似する領域を対象部分として抽出する、
処理をコンピュータが実行することを特徴とする画像認識方法。
（付記９）
異なるタイミングで撮像された同じ対象の画像を取得する取得手段と、
それぞれの画像間を比較して１又は複数の色の特徴が異なる部分を識別する識別手段と、
前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成する生成手段と、
検出対象の画像における複数のテンプレート画像に類似する領域を対象部分として抽出する抽出手段と
を有することを特徴とする画像認識装置。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：認識性能検証システム
１１０ ：車両
１２０ ：格納装置
１３０ ：正解生成装置
１３１ ：正解生成部
１４０ ：性能検証装置
１５１ ：画像情報
１５２ ：認識結果情報
１５３ ：正解情報
５０１ ：映像表示部
５０２ ：フレーム指定受け付け部
５０３ ：領域指定受け付け部
５０４ ：画像追跡部
５０５ ：修正部
６０１〜６０５ ：指定フレーム
７０１ ：指定領域画像取得部
７０２ ：生成要否判定部
７０３ ：テンプレート画像生成部
７０４ ：指定フレーム間算出部
８００ ：指定領域画像情報
１１０１〜１１０５ ：指定領域画像
１１１１〜１１１５ ：正規化指定領域画像
１１２０ ：画素値ベクトル
１８００ ：テンプレート画像情報

Claims (7)

1. 異なるタイミングで撮像された複数の画像を取得し、
   取得した前記複数の画像のそれぞれから抽出した比較対象画像部分について比較処理を行い、
   前記比較対象画像部分における複数の部位について前記複数の画像間で異なる色が検出された場合に、前記複数の部位のそれぞれについて色が異なる複数の部位画像を抽出し、
   抽出した前記複数の部位画像に基づいて、前記複数の部位に関する部位画像の組み合わせパターンが異なる複数の基準画像を生成する、
   ことを特徴とする基準画像生成方法。
2. 生成した前記複数の基準画像のうち、いずれかの基準画像と類似する画像を探索する、
   ことを特徴とする請求項１に記載の基準画像生成方法。
3. 異なるタイミングで撮像された同じ対象の画像を取得し、それぞれの画像間を比較して、１又は複数の色の特徴が異なる部分を識別し、前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成し、検出対象の画像における前記複数のテンプレート画像に類似する領域を対象部分として抽出する処理を、
   コンピュータに実行させる画像認識プログラム。
4. 前記抽出する処理は、
   前記取得した画像の画像サイズを正規化し、正規化した前記画像サイズのそれぞれの画像間において、同じ位置の画素の画素値を配列したベクトルを生成し、生成した前記ベクトルを、類似したもの同士で分類することで、前記１又は複数の色の特徴が異なる部分を識別することを特徴とする請求項３に記載の画像認識プログラム。
5. 前記抽出する処理は、
   前記複数の色の特徴が異なる部分のうち、前記対象部分の抽出に影響を与える部分を判定し、該判定した部分を前記対象の画像に組み合わせる処理を、コンピュータに実行させる請求項３に記載の画像認識プログラム。
6. 異なるタイミングで撮像された同じ対象の画像を取得し、それぞれの画像間を比較して、１又は複数の色の特徴が異なる部分を識別し、前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成し、検出対象の画像における前記複数のテンプレート画像に類似する領域を対象部分として抽出する、
   処理をコンピュータが実行することを特徴とする画像認識方法。
7. 異なるタイミングで撮像された同じ対象の画像を取得する取得手段と、
   それぞれの画像間を比較して１又は複数の色の特徴が異なる部分を識別する識別手段と、
   前記対象の画像に１又は複数の前記色の異なる部分を組み合わせて、前記対象についての複数のテンプレート画像を生成する生成手段と、
   検出対象の画像における複数のテンプレート画像に類似する領域を対象部分として抽出する抽出手段と
   を有することを特徴とする画像認識装置。