JP5937823B2 - 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム - Google Patents

Description

この発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置、画像照合処理方法及び画像照合処理プログラムに関する。

従来、人物を撮像した画像データを用いて人物の照合処理を行う画像照合処理装置が知られている。例えば、特許文献１には、顔など本人の身体の所定の部位を取り込んだ入力画像データのサンプル点における局所的な特徴量と該部位に関する本人及び他人の複数の登録画像データの特徴量とを比較して本人確認を行う画像認識装置が開示されている。

また、動画像データに含まれる人物の全身像を用いて人物の照合を行う人物同定装置も知られている。例えば、特許文献２には、人の歩幅、歩調、歩速、身長、体の傾き、脚長、肥満度及び性別を特徴量として、時系列に得られる画像データ群に含まれる人物が同一人物であるか他人であるかを判定する人物同定装置が開示されている。

特許４１８７４９４号公報 特開２０１０−２３９９９２号公報

しかしながら、上記特許文献１に代表される従来の画像照合処理装置は、利用者が施設に入退室する際の入退室管理を行う場合に主として利用されるものであり、施設内に所在する人物の居場所を探索する場合に利用することが難しい。その結果、この特許文献１を用いたとしても、例えば遊園地やデパート等の施設において、親からはぐれた迷子や犯罪者の居場所を探索することはできない。

かかる特許文献１等では、顔をある一定以上の解像度（目の間に４５画素以上）で撮像できることが条件となるが、遊園地やデパート等の施設に設置した監視カメラでは良好な解像度の画像データを取得するのが難しいためである。加えて、この特許文献１等では、顔の角度が所定の範囲内であることが条件となるが、上記監視カメラでは所定の範囲内の角度で顔を撮影できない場合が多い。

一方、上記特許文献２に代表される人物同定装置は、人の行動を用いて人物を同定するため、良好な顔画像データを撮像できなくとも人物を特定することができるが、人の歩幅等を算定できる画像データを撮影できることが前提となるため、適用できる場面が大きく制限され、遊園地やデパート等の施設に設置した監視カメラで撮影した画像データに適用するのが難しいのが実情である。

これらのことから、遊園地やデパート等の施設において、親からはぐれた迷子や犯罪者の居場所をいかに効率良く探索できるようにするかが重要な課題となっており、このためには、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定できるようにすることが重要となる。なお、かかる判定を行うことができれば、各利用者が施設内でどのような経路を辿ったかというデータや、各利用者の入場から退場までの滞在時間に関するデータを入手することも可能となる。

本発明は、上記従来技術の課題を解消するためになされたものであって、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる画像照合処理装置、画像照合処理方法及び画像照合処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置であって、前記照合対象者に係る複数の登録画像データの特徴量を記憶する第１の記憶手段と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出手段と、前記第１の切出手段により切り出された入力画像データの特徴量を算出する第１の特徴量算出手段と、前記第１の特徴量算出手段により算出された入力画像データの特徴量と前記第１の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出手段と、前記第１の照合値算出手段により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記動画像データを形成する複数のフレームから前記照合対象者に係る複数の画像データをそれぞれ切り出す第２の切出手段と、前記第２の切出手段により切り出された前記照合対象者に係る複数の画像データから特徴量をそれぞれ算出する第２の特徴量算出手段と、前記第２の特徴量算出手段により算出された前記照合対象者に係る複数の画像データから特徴量を前記第１の記憶手段に格納するよう制御する制御手段とをさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記撮像装置により撮像された人物に係る画像データを補正用画像データとして記憶する第２の記憶手段と、前記第１の記憶手段に記憶された前記照合対象者に係る複数の登録画像データの特徴量と前記第２の記憶手段に記憶された補正用画像データから算出された特徴量との照合値を算出する第２の照合値算出手段と、前記第２の照合値算出手段により算出された照合値に基づいて各登録画像データの補正値を算出する補正値算出手段と、前記補正値算出手段により算出された補正値に基づいて、前記第１の照合値算出手段により算出された複数の登録画像データに対応する照合値を補正処理する補正処理手段とをさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記第２の切出手段により切り出される複数の画像データは、前記照合対象者の上半身部分を含む画像データであることを特徴とする。

また、本発明は、上記発明において、前記第１の記憶手段は、前記照合対象者に係る各登録画像データについて複数の異なる特徴量を記憶し、前記第１の特徴量算出手段は、前記第１の切出手段により切り出された入力画像データについて前記複数の異なる特徴量を算出することを特徴とする。

また、本発明は、上記発明において、前記複数の種類の特徴量は、前記画像データの濃淡に係る特徴量、色相に係る特徴量及びエッジに係る特徴量のうち、少なくとも１つを含むことを特徴とする。

また、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理方法であって、前記照合対象者に係る複数の登録画像データの特徴量を第１の記憶部に格納する格納工程と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出工程と、前記第１の切出工程により切り出された入力画像データの特徴量を算出する第１の特徴量算出工程と、前記第１の特徴量算出工程により算出された入力画像データの特徴量と前記第１の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出工程と、前記第１の照合値算出工程により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定工程とを含んだことを特徴とする。

また、本発明は、登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理プログラムであって、前記照合対象者に係る複数の登録画像データの特徴量を第１の記憶部に格納する格納手順と、前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出手順と、前記第１の切出手順により切り出された入力画像データの特徴量を算出する第１の特徴量算出手順と、前記第１の特徴量算出手順により算出された入力画像データの特徴量と前記第１の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出手順と、前記第１の照合値算出手順により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手順とをコンピュータに実行させることを特徴とする。

本発明によれば、照合対象者に係る複数の登録画像データの特徴量を第１の記憶手段に格納し、動画像データを形成する複数のフレームから人物に係る入力画像データを切り出し、切り出した入力画像データの特徴量を算出し、第１の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出し、算出した複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、照合対象者が動画像データ内に存在するか否かを判定するよう構成したので、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。

図１は、実施例１に係る画像照合処理システムのシステム構成図である。 図２は、図１に示した画像照合処理装置の内部構成を示す機能ブロック図である。 図３は、図２に示した画像切出部による画像データの切出処理を説明するための説明図である。 図４は、図２に示した特徴量算出部による特徴量の算出処理を説明するための説明図である。 図５は、図２に示した照合値算出部による照合値の算出処理を説明するための説明図である。 図６は、ブロック分割を用いた正規化相関の算出処理を説明するための説明図である。 図７は、照合値の算出処理の具体例を説明するための説明図である。 図８は、オフセットの算出処理を説明するための説明図である。 図９は、テンプレートの具体例を説明するための説明図である。 図１０は、図２に示した画像照合処理装置によるテンプレートの登録処理手順を示すフローチャートである。 図１１は、図１０に示したオフセット算出処理手順を示すフローチャートである。 図１２は、図２に示した画像照合処理装置による画像照合処理手順を示すフローチャートである。 図１３は、図１２に示した照合値算出処理手順を示すフローチャートである。 図１４は、実施例２に係る画像照合処理システムのシステム構成図である。 図１５は、図１４に示した画像照合処理装置の内部構成を示す機能ブロック図である。 図１６は、図１５に示した画像照合処理装置によるテンプレートの登録処理手順を示すフローチャートである。 図１７は、実施例３に係る画像照合処理システムのシステム構成図である。 図１８は、図１７に示した画像照合処理装置の内部構成を示す機能ブロック図である。 図１９は、登録用の監視カメラにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。 図２０は、照合用の監視カメラにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。

以下に、添付図面を参照して、本発明に係る画像照合処理装置、画像照合処理方法及び画像照合処理プログラムの好適な実施例を詳細に説明する。なお、以下に示す実施例１では、監視カメラで撮像された動画像データの中から特定の人物（例えば、迷子）を指定し、指定された人物が他の監視カメラのいずれに映るかを判定する場合について説明する。また、実施例２では、特定の人物を指定するのではなく、あらかじめ準備された人物のリスト（例えば、犯罪者リスト）に該当する人物が監視カメラに映るか否かを判定する場合について説明する。さらに、実施例３では、登録用として設けられた監視カメラで撮像した全ての人物の行動軌跡を他の監視カメラを用いて辿る場合について説明する。

まず、本実施例１に係る画像照合処理システムのシステム構成について説明する。図１は、本実施例１に係る画像照合処理システムのシステム構成図である。ここでは、遊園地の敷地内に複数の監視カメラ１０ａ〜１０ｄ（以下、「監視カメラ１０」と総称する場合がある）が設置されるとともに、各監視カメラ１０ａ〜１０ｄが遊園地内の迷子センタ等に設置された画像照合処理装置と接続された状況を示している。

迷子センタの係員が、保護者等から「子供が迷子になった」旨の相談を受けた場合には、各監視カメラ１０ａ〜１０ｄで過去に撮影した動画像データを表示部に表示して、この動画像データの中に子供が存在するか否かを保護者等に確認させる。その結果、子供が存在する場合には、該当する人物（子供）を指定して、人物の登録処理を行う。かかる登録処理を行うと、各監視カメラ１０ａ〜１０ｄに登録した人物が映った場合に、その旨が報知される。このため、迷子が現時点でどの設備に所在するかを特定し、迷子を効率的に保護することが可能となる。

具体的には、図１に示す遊園地には、遊園地に利用者が入場する際及び遊園地から利用者が退場する際に通過する入退場用のゲート１１と、遊技施設等からなる設備１２、設備１３及び設備１４が設けられている。ここで、監視カメラ１０ａは、ゲート１１を通過する人物を撮像可能な位置に設置されており、監視カメラ１０ｂ、１０ｃ及び１０ｄは、設備１２、１３及び１４をそれぞれ訪れる人物を撮像可能な位置に設置されている。なお、かかる監視カメラ１０は、カラー画像データを撮像できるＣＣＤカメラである。

画像照合処理装置２０は、監視カメラ１０により撮像された動画像データを受信すると、この動画像データを動画像データ２７ａとして動画像データベース２７に記憶する。そして、迷子センタの係員が、保護者から迷子の届出を受けたならば、この画像照合処理装置２０に対して所定の操作入力を行って、過去の動画像データ２７ａを表示部に表示し、迷子となった人物を保護者に特定させる。保護者が過去の動画像データ２７ａから迷子となった人物を特定する際に、顔や髪型、服装等の入力を受け付けて画像を絞り込む処理を行うことで迷子となった人物の特定を支援してもよい。表示部上でかかる人物が指定されたならば、画像照合処理装置２０は、指定された人物の特徴を示すテンプレート２４ｂを生成する。

かかるテンプレート２４ｂが生成されたならば、監視カメラ１０からリアルタイムで受信した動画像データに含まれる人物の画像データを切り出し、切り出した人物の画像データとテンプレートを照合処理して、テンプレートがいずれかの監視カメラ１０で撮影された画像データと一致する場合にはその旨を報知する。これにより、現時点での迷子の所在位置を特定することが可能となる。

次に、図１に示した画像照合処理装置の構成について説明する。図２は、図１に示した画像照合処理装置２０の内部構成を示す機能ブロック図である。同図に示すように、この画像照合処理装置２０は、入力部２１、表示部２２、通信インタフェース部２３、動画像データベース２７、記憶部２４及び制御部２５を有する。

入力部２１は、キーボードやマウスからなる入力デバイスであり、表示部２２は、液晶パネルやディスプレイ装置からなる表示デバイスである。通信インタフェース部２３は、監視カメラ１０と通信を行うためのインタフェース部である。

動画像データベース２７は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、通信インタフェース部２３を介して受信した動画像データ２７ａを記憶する。ここでは、この動画像データ２７ａが、連続する複数枚の静止画像データ（以下では、単に「フレーム」と言う）からなるものとする。

記憶部２４は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、参照画像特徴量２４ａ及びテンプレート２４ｂを記憶する。この参照画像特徴量２４ａは、あらかじめ撮像した複数人の参照画像データの特徴量であり、後述するオフセットを生成する際に使用される。テンプレート２４ｂは、迷子として指定された人物の画像データから算出された特徴量とオフセットを対応付けたデータである。なお、オフセットに関する説明については後述する。

制御部２５は、画像照合処理装置２０を全体制御する制御部であり、迷子となっている人物のテンプレートを登録する登録処理部２５Ａと、登録されたテンプレートと監視カメラ１０で撮像された動画像データ内の人物の画像データの照合処理を行う照合処理部２５Ｂとを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵにロードして実行することにより、登録処理部２５Ａ及び照合処理部２５Ｂにそれぞれ対応するプロセスを実行させることになる。

登録処理部２５Ａは、指定人物画像切出部２５Ａ１、特徴量算出部２５Ａ２、オフセット算出部２５Ａ３及びテンプレート生成部２５Ａ４を有する。指定人物画像切出部２５Ａ１は、動画像データベース２７に蓄積された撮像済みの動画像データ（当日分のもの）の中から、迷子として指定された人物の複数枚（例えば、５枚）の画像データを切り出す処理部である。

具体的には、遊園地の係員によって画像照合処理装置２０に対して所定の操作がなされると、動画像データベース２７に蓄積された撮像済みの動画像データ２７ａが表示部２２に表示制御される。ここで、入力部２１を用いて表示部２２の所定の位置が指示されると、指示された動画像データ２７ａ内のフレーム及び座標位置を特定し、特定されたフレーム内の座標位置に位置する人物の画像データを切り出すとともに、当該フレームの前後に位置する複数枚のフレームから同一人物の画像データを切り出し、その結果として複数枚の人物の画像データを切り出すことになる。

特徴量算出部２５Ａ２は、指定人物画像切出部２５Ａ１により切り出された複数枚の人物の画像データの特徴量を算出する処理部である。この特徴量算出部２５Ａ２は、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及びＧａｂｏｒフィルタを適用した方向成分をそれぞれ特徴量として抽出する。

オフセット算出部２５Ａ３は、特徴量算出部２５Ａ２により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像データの特徴量（以下、「参照画像特徴量」と言う）２４ａとを用いてオフセットを算出する処理部である。

ここで、このオフセットとは、人物の各画像データがどの程度その人物の特徴を表しているか否かを示す一種の重み付けデータであり、画像データがその人物の特徴を表している程高い値となる。例えば、画像データがその人物を背面から撮像したものである場合にはオフセットが小さくなり、画像データがその人物の正面顔を含んでいる場合にはオフセットが大きくなる。かかるオフセットは、複数の画像データの特徴量から照合値を算出する際の重み付けデータとして利用される。

テンプレート生成部２５Ａ４は、迷子として指定された人物の画像データの特徴量とオフセットからなるテンプレート２４ｂを生成する処理部であり、生成されたテンプレート２４ｂは記憶部２４に格納される。

次に、照合処理部２５Ｂについて説明する。照合処理部２５Ｂは、人物画像切出部２５Ｂ１、特徴量算出部２５Ｂ２、照合値算出部２５Ｂ３及び判定処理部２５Ｂ４を有する。人物画像切出部２５Ｂ１は、監視カメラ１０からリアルタイムに受信した動画像データの各フレームに含まれる人物の画像データをそれぞれ切出処理する処理部である。

特徴量算出部２５Ｂ２は、人物画像切出部２５Ｂ１により切り出された人物の画像データの特徴量を算出する処理部である。この特徴量算出部２５Ｂ２は、上記特徴量算出部２５Ａ２と同様に、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及び方向成分をそれぞれ特徴量として抽出する。

照合値算出部２５Ｂ３は、特徴量算出部２５Ｂ２により算出された人物の画像データの特徴量と、テンプレート２４ｂに含まれる特徴量との照合値を算出する処理部である。かかる照合値算出部２５Ｂ３による照合値の算出処理の詳細な説明については後述するが、各特徴量だけではなくオフセットについても照合値を算出する際に利用される。

判定処理部２５Ｂ４は、照合値算出部２５Ｂ３により算出された照合値に基づいて、指定人物に該当する人物が監視カメラ１０からリアルタイムに受信した動画像データに存在するか否かを判定する処理部である。なお、該当する人物が存在する場合には、その旨が表示部２２に表示される。この表示部２２に表示する情報は、どの監視カメラ１０が撮像した動画像データにテンプレート２４ｂに対応する人物が映っていたかを示す情報が含まれる。

次に、図２に示した人物画像切出部２５Ｂ１の切出処理についてさらに具体的に説明する。図３は、図２に示した人物画像切出部２５Ｂ１の切出処理を説明するための説明図である。人物画像切出部２５Ｂ１では、監視カメラ１０から受信した動画像データに人物が含まれているか否かを判定する。かかる判定に際しては、動画像データの一部を形成するフレームすなわち静止画の画像データに対して人物のテンプレートを適用する周知のテンプレートマッチング技術等で行うことができる。

図３に示すように、位置Ｐ１、Ｐ３及びＰ５を通過する人物の動画像データを監視カメラ１０で撮像した場合には、位置Ｐ１で人物を撮像したフレームＧ１、位置Ｐ３で人物を撮像したフレームＧ３、位置Ｐ５で人物を撮像したフレームＧ５からそれぞれ人物の画像データＡ１、Ａ３及びＡ５を切り出す。ここでは、画像データＡ１が人物の上半身（正面）を含む画像データであり、画像データＡ３が人物の上半身（側面）を含む画像データであり、画像データＡ５が人物の上半身（背面）を含む画像データである場合を示している。

このように、人物画像切出部２５Ｂ１では、同一人物を撮像した動画像データに含まれる複数のフレームから画像データを切り出すことで、同一人物を複数の時点で撮像した複数の画像データを切り出す。なお、これら同一人物に係る一連の画像データを入力画像データ群３１とする。

次に、図２に示した特徴量算出部２５Ａ２による特徴量の算出処理について説明する。図４は、図２に示した特徴量算出部２５Ａ２による特徴量の算出処理を説明するための説明図である。なお、図２に示した特徴量算出部２５Ｂ２についても同様の処理を行う。ここでは、入力画像データ群３１には、５枚の画像データＢ１〜Ｂ５が含まれており、濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタ（Gabor Filter）を適用した場合の振幅成分及び方向成分を特徴量とする場合を示している。

濃淡画像データは、カラー画像である画像データＢ１〜Ｂ５を白黒濃淡画像に変換することによって生成する。具体的には、画像データＢ１〜Ｂ５の各画素のＲ、Ｇ、Ｂ成分を加算した加算値を所定数で除算して正規化することにより濃淡画像データの画素値に変換する。ただし、かかる方法に限定されるものではなく、従来から周知な様々な変換方法を用いることができる。

色相ヒストグラムは、横軸を色相の値とし、縦軸を画素数としたヒストグラムである。具体的には、ＲＧＢ表色系の画素値を持つ画像データＢ１〜Ｂ５を、色相、明度、彩度からなるマンセル表色系に変換し、同じ色相を持つ画素をヒストグラム上に投票することで、色相ヒストグラムを生成することができる。かかる色相ヒストグラムは、画像データＢ１〜Ｂ５の色の特性を示す特徴量となる。

Ｇａｂｏｒフィルタを適用した場合の振幅成分及び方向成分は、画像データＢ１〜Ｂ５のエッジの大きさ及び方向をそれぞれ示す特徴量である。図４に示すように、ここでは、５×５画素のサイズからなるＧａｂｏｒフィルタ５と、７×７画素のサイズからなるＧａｂｏｒフィルタ７を適用した場合を示している。このため、Ｇａｂｏｒ５振幅、Ｇａｂｏｒ７振幅、Ｇａｂｏｒ５方向及びＧａｂｏｒ７方向が特徴量となる。なお、本実施例では、Ｇａｂｏｒフィルタを用いる場合について説明するが、ＳＯＢＥＬやラプラシアン等の他のエッジ検出オペレータを用いることもできる。

次に、図２に示した照合値算出部２５Ｂ３による照合値の算出処理について説明する。図５は、図２に示した照合値算出部２５Ｂ３による照合値の算出処理を説明するための説明図である。ここでは、入力画像データ群３１には画像データＢ１〜Ｂ５が含まれることとし、画像データＢ１〜Ｂ５の特徴量はすでに算出されているものとする。また、テンプレート２４ｂには、迷子として指定された人物の画像データＡ１〜Ａ５に対応する特徴量が含まれている。

図５に示すように、照合値算出部２５Ｂ３は、入力画像データ群３１に含まれる各入力画像データＢ１〜Ｂ５の特徴量と、テンプレート２４ｂに含まれる迷子として指定された人物の画像データＡ１〜Ａ５との全ての組み合わせについて照合値をそれぞれ算出し、複数の照合値の最大値を入力画像データ群３１とテンプレート２４ｂとの照合値とする。

このように、全ての組み合わせの照合値を算出して最大値を算出する理由は、入力画像データ群３１に対応する人物とテンプレート２４ｂに対応する人物が同一人物であれば、少なくともいずれかの組み合わせにおいて照合値が高くなることが期待できるからである。

ここで、すでに説明した通り、上記特徴量には、濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した場合の振幅成分及び方向成分という複数の種類のものが含まれる。このため、画像データ間の特徴量を算出する際には、特徴量の種類毎に照合値を算出し、種類毎に算出した照合値を合計する。例えば、画像データＢ１の特徴量と画像データＡ１の特徴量との間の照合値は、画像データＢ１の白黒濃淡画像データと画像データＡ１の白黒濃淡画像との照合値を算出し、画像データＢ１の色相ヒストグラムと画像データＡ１の色相ヒストグラムとの照合値を算出し、画像データＢ１のＧａｂｏｒ５振幅成分と画像データＡ１のＧａｂｏｒ５振幅成分の照合値を算出し、画像データＢ１のＧａｂｏｒ７振幅成分と画像データＡ１のＧａｂｏｒ７振幅成分の照合値を算出し、画像データＢ１のＧａｂｏｒ５方向成分と画像データＡ１のＧａｂｏｒ５方向成分の照合値を算出し、画像データＢ１のＧａｂｏｒ７方向と画像データＡ１のＧａｂｏｒ７方向成分の照合値を算出し、算出した照合値をそれぞれ重み付け加算したものを画像データＢ１の特徴量と画像データＡ１の特徴量との照合値とする。

なお、画像データＢ１の白黒濃淡画像データと画像データＡ１の白黒濃淡画像データの照合値を算出する場合には、図６に示すようにブロック分割を行ってブロックの位置をずらしながら正規化相関を取り、全ブロックの合計値を照合値とする。人物が動くことを考慮し、細かな位置あわせをするためである。

また、Ｇａｂｏｒ５振幅成分、Ｇａｂｏｒ７振幅成分、Ｇａｂｏｒ５方向成分及びＧａｂｏｒ７方向成分の照合値を算出する場合にも、白黒濃淡画像データの照合値を算出する場合と同様に、ブロック分割を行ってブロックの位置をずらしながら正規化相関を取り、全ブロックの合計値を照合値とする。色相ヒストグラムの照合値を算出する場合には、ヒストグラムの一致度合いを求める周知の技術を用いて照合値を算出する。

なお、照合値算出部２５Ｂ３は、テンプレート２４ｂが複数存在する場合には、各テンプレートの特徴量に対して入力画像データ群３１内の画像データの特徴量との照合値を算出する。

また、テンプレート２４ｂ及び入力画像データ群３１に含まれる画像データ数が多くなればなるほど、同一人物の場合に高い照合値が得られるため、処理負荷が過大とならない範囲で画像データ数を増やすことが望ましい。具体的には、２〜３秒分、フレーム数にして３０〜４０フレーム程度から画像データを切り出すことが好適である。ただし、入力画像データ群３１に含まれる画像データは、撮影環境によっては１枚であってもよい。

また、画像データには、上半身の画像が含まれていればよく、顔部分の解像度が顔のみによる画像照合処理には不足であっても人物の画像照合処理が可能である。また、後ろ向きなど顔が写っていなくてもよい。なお、上半身に加えて下半身も写っているならば画像照合処理の精度はさらに向上する。

次に、図２に示した照合値算出部２５Ｂ３による照合値の算出をさらに詳細に説明する。図７は、図２に示した照合値算出部２５Ｂ３による照合値の算出の具体例を示す図である。同図では、入力画像データ群３１ａの特徴量とテンプレート２４ｂに含まれる特徴量とを照合した場合と、入力画像データ群３１ｂの特徴量とテンプレート２４ｂに含まれる特徴量とを照合した場合を示している。ただし、入力画像データ群３１ａの特徴量とテンプレート２４ｂの特徴量は、同一人物を撮像した動画像データから生成したものであり、入力画像データ群３１ｂの特徴量とテンプレート２４ｂの特徴量は、異なる人物を撮像した動画像データから生成したものとする。

入力画像データ群３１ａの特徴量には、人物を前方から撮像した画像データＢ１ａの特徴量と、人物を斜め前方から撮像した画像データＢ２ａの特徴量と、人物を側方から撮像した画像データＢ３ａの特徴量と、人物を斜め後方から撮像した画像データＢ４ａの特徴量と、人物を後方から撮像した画像データＢ５ａの特徴量とが含まれる。また、テンプレート２４ｂの特徴量には、人物を前方から撮像した画像データＡ１の特徴量と、人物を斜め前方から撮像した画像データＡ２の特徴量と、人物を側方から撮像した画像データＡ３の特徴量と、人物を斜め後方から撮像した画像データＡ４の特徴量と、人物を後方から撮像した画像データＡ５の特徴量とが含まれる。

画像データＢ１ａの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ１ａの特徴量と画像データＡ１の特徴量との間で算出された照合値「０．６０」が最大値となる。また、画像データＢ２ａの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ２ａの特徴量と画像データＡ２の特徴量との間で算出された照合値「０．５６」が最大値となる。また、画像データＢ３ａの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ３ａの特徴量と画像データＡ３の特徴量との間で算出された照合値「０．５３」が最大値となる。また、画像データＢ４ａの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ４ａの特徴量と画像データＡ４の特徴量との間で算出された照合値「０．５９」が最大値となる。また、画像データＢ５ａの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ５ａの特徴量と画像データＡ５の特徴量との間で算出された照合値「０．６０」が最大値となる。

ここで、入力画像データ群３１ａの特徴量とテンプレート２４ｂの特徴量との照合値は、画像データＢ１ａの特徴量と画像データＡ１の特徴量との照合値「０．６０」、画像データＢ２ａの特徴量と画像データＡ２の特徴量との照合値「０．５６」、画像データＢ３ａの特徴量と画像データＡ３の特徴量との照合値「０．５３」、画像データＢ４ａの特徴量と画像データＡ４の特徴量との照合値「０．５９」及び画像データＢ５ａの特徴量と画像データＡ５の特徴量との照合値「０．６０」のうち最大の値である「０．６０」となる。

一方で、画像データＢ１ｂの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ１ｂの特徴量と画像データＡ１の特徴量との間で算出された照合値「０．３０」が最大値となる。また、画像データＢ２ｂの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ２ｂの特徴量と画像データＡ２の特徴量との間で算出された照合値「０．４７」が最大値となる。また、画像データＢ３ｂの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ３ｂの特徴量と画像データＡ３の特徴量との間で算出された照合値「０．３９」が最大値となる。また、画像データＢ４ｂの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ４ｂの特徴量と画像データＡ４の特徴量との間で算出された照合値「０．５１」が最大値となる。また、画像データＢ５ｂの特徴量と画像データＡ１〜Ａ５の特徴量とを照合すると、画像データＢ５ｂの特徴量と画像データＡ５の特徴量との間で算出された照合値「０．６０」が最大値となる。

ここで、入力画像データ群３１ｂの特徴量とテンプレート２４ｂの特徴量との照合値は、画像データＢ１ｂの特徴量と画像データＡ１の特徴量との照合値「０．３０」、画像データＢ２ｂの特徴量と画像データＡ２の特徴量との照合値「０．４７」、画像データＢ３ｂの特徴量と画像データＡ３の特徴量との照合値「０．３９」、画像データＢ４ｂの特徴量と画像データＡ４の特徴量との照合値「０．５１」及び画像データＢ５ｂの特徴量と画像データＡ５の特徴量との照合値「０．６０」のうち最大の値である「０．６０」となる。

この結果から分かるように、本来は、同一人物を照合した場合の照合値は、異なる人物を照合した場合の照合値よりも高くなる必要があるにも係わらず、上記の具体例では、同一人物の場合の照合値と異なる人物の場合の照合値が、ともに「０．６０」と同一の値となってしまっている。その理由は、前方から撮像した画像データや側方から撮像した画像データは人物の特徴を示す情報を多く含むのに対し、後方から撮像した画像データには人物の特徴を示す情報が少ないためである。

かかる問題を解決するために、本実施例では、テンプレート２４ｂ内の各画像データの特徴量に対して一種の補正データの役割を果たすオフセットを対応付けており、このオフセットを用いて、人物の特徴を示す情報が少ない画像データから算出された照合値を下げる処理を行う。これにより、テンプレート２４ｂの特徴量と入力画像データ群３１の特徴量との照合値は、人物の特徴を示す情報が多い画像データから算出した照合値が採用されることとなる。その結果、異なる人物を同一人物であると誤って判定することを防止し、画像照合処理の精度を高めることができる。

図８は、図２に示したオフセット算出部２５Ａ３によるオフセットの算出の概念を説明するための説明図である。ここでは、指定人物画像切出部２５Ａ１によって画像データＡ１〜Ａ５（以下、「登録用画像データ群３２」と総称する）が切り出されているとともに、オフセットを算出するために、あらかじめ複数の参照画像データ群２４ａ１及び２４ａ２が準備されているものとする。この参照画像データ群２４ａ１及び２４ａ２は、監視カメラ１０で撮像された人物に関する画像データであるが、指定人物とは無関係に選択されたものである。

同図に示すように、オフセット算出部２５Ａ３は、この画像データＡ１〜Ａ５について、複数の参照画像データ群２４ａ１及び２４ａ２に含まれる参照画像データとの間でそれぞれ照合値を算出する。具体的には、まず画像データＡ１と参照画像データ群２４ａ１に含まれる各参照画像データとの照合値をそれぞれ算出してその最大値を選択する。同様に、該画像データＡ１と参照画像データ群２４ａ２に含まれる各参照画像データとの照合値をそれぞれ算出してその最大値を選択する。そして、選択した２つの照合値の平均値を画像データＡ１の平均照合値とする。

同様の処理を画像データＡ２〜Ａ５に対して行い、画像データＡ１〜Ａ５の平均照合値を算出する。ここでは、画像データＡ１の平均照合値が「０．３０」となり、画像データＡ２の平均照合値が「０．３５」となり、画像データＡ３の平均照合値が「０．４２」となり、画像データＡ４の平均照合値が「０．５３」となり、画像データＡ５の平均照合値が「０．６０」となった状況を示している。

その後、かかる画像データＡ１〜Ａ５の平均照合値の平均値を算出し、これを基準値とする。ここでは、この基準値は、（０．３０＋０．３５＋０．４２＋０．５３＋０．６０）／５＝０．４４の算定式から算定される。

このため、オフセット算出部２５Ａ３は、上記基準値である「０．４４」から各画像データＡ１〜Ａ５の平均照合値を減算した値をオフセットとして算出する。ここでは、画像データＡ１のオフセットが「０．１４」であり、画像データＡ２のオフセットが「０．０９」であり、画像データＡ３のオフセットが「０．０２」であり、画像データＡ４のオフセットが「−０．０９」であり、画像データＡ５のオフセットが「−０．１６」である状況を示している。

すなわち、後方から撮像された画像データＡ５のように、人物の特徴を示す情報が少ない画像データは、たとえ他人の画像データであっても後方から撮像されたものであればその照合値が大きくなるため、他人との平均照合値が大きくなり、オフセットがマイナスの値となる。一方、前方から撮像された画像データＡ１のように、人物の特徴を示す情報が多い画像データは、他人の画像データとの平均照合値が小さくなり、オフセットがプラスの値となる。また、特徴を示す情報が多ければ多いほど、オフセットの値が大きくなる。

このようにして、オフセット算出部２５Ａ３により算出されたオフセットは、テンプレート２４ｂ内の特徴量に対応付けて記憶部２４に格納される。図９は、図２に示したテンプレート２４ｂの一例を説明するための説明図である。

同図に示すように、テンプレート２４ｂは、画像データＡ１〜Ａ５ごとに、白黒濃淡画像データ及びそのオフセット、色相ヒストグラム及びそのオフセット、Ｇａｂｏｒ５の振幅成分及びそのオフセット、Ｇａｂｏｒ７の振幅成分及びそのオフセット、Ｇａｂｏｒ５の方向成分及びそのオフセット並びにＧａｂｏｒ７の方向成分及びそのオフセットを有する。

次に、画像照合処理装置２０によるテンプレートの登録処理手順について説明する。図１０は、図２に示した画像照合処理装置２０によるテンプレートの登録処理手順を示すフローチャートである。

同図に示すように、まず登録人物の指定を行う（ステップＳ１０１）。すなわち、迷子センタの係員による所定の操作入力を受け付けたならば、動画像データベース２７に蓄積された過去の動画像データ２７ａ（当日分）を表示部２２に表示する。そして、入力部２１を用いて表示部２２の所定の位置が指示されると（ステップＳ１０１）、指示された動画像データ２７ａ内のフレーム及び座標位置を特定し、特定されたフレーム内の座標位置に位置する人物の上半身を含む画像データが切り出されるとともに、当該フレームの前後に位置する複数枚のフレームから同一人物の画像データを切り出し、その結果として複数枚の人物の画像データを含む登録用画像データ群が切り出される（ステップＳ１０２）。

その後、特徴量算出部２５Ａ２が、登録用画像データ群に含まれる各画像データの特徴量を算出する（ステップＳ１０３）。具体的には、特徴量算出部２５Ａ２は、ステップＳ１０２により切り出された複数枚の人物の画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及びＧａｂｏｒフィルタを適用した方向成分をそれぞれ特徴量として算出する。

オフセット算出部２５Ａ３は、ステップＳ１０３により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量とを用いてオフセット算出処理を行う（ステップＳ１０４）。このオフセット算出処理（ステップＳ１０４）の詳細については後述する。

ステップＳ１０４の後、特徴量算出部２５Ａ２は、全ての種類の特徴量が算出されたか否かを判定する（ステップＳ１０５）。算出されていない特徴量が残っているならば（ステップＳ１０５；Ｎｏ）、特徴量算出部２５Ａ２は、ステップＳ１０３に移行して特徴量の算出を行う。

全ての種類の特徴量が算出されたならば（ステップＳ１０５；Ｙｅｓ）、テンプレート生成部２５Ａ４は、算出された特徴量とオフセットとを対応付けてテンプレート２４ｂとして記憶部２４に登録し（ステップＳ１０６）、処理を終了する。

次に、図１０に示したオフセット算出処理について詳細に説明する。図１１は、図１０に示したオフセット算出処理手順を示すフローチャートである。同図に示すように、オフセット算出部２５Ａ３は、まず、変数ｉ及び基準値を「０」に初期化（ステップＳ２０１）する。また、変数ｊ及び最大照合値を「０」に初期化する（ステップＳ２０２）。

オフセット算出部２５Ａ３は、登録用画像データ群内の画像データ（ｉ）を読み出し（ステップＳ２０３）、参照画像データ群（ｊ）内に含まれる複数の参照画像データを読み出す（ステップＳ２０４）。

オフセット算出部２５Ａ３は、画像データ（ｉ）と参照画像データ群（ｊ）に含まれる各参照画像データとの照合値をそれぞれ算出して、その最大値を参照画像データ群（ｊ）の最大照合値とする（ステップＳ２０５）。

ステップＳ２０５の後、オフセット算出部２５Ａ３は、変数ｊの値をインクリメントし（ステップＳ２０６）、変数ｊの値が「２」に達したか否かを判定する（ステップＳ２０７）。変数ｊの値が「２」に達していなければ（ステップＳ２０７；Ｎｏ）、ステップＳ２０４に移行して、参照画像データ群（ｊ）内に含まれる複数の参照画像データを読み出す。

変数ｊの値が「２」に達したならば（ステップＳ２０７；Ｙｅｓ）、オフセット算出部２５Ａ３は、参照画像データ群（ｊ）の最大照合値を合計し、変数ｊの値である「２」で除算して画像データ（ｉ）の平均照合値を算出する（ステップＳ２０８）。

ステップＳ２０８の後、オフセット算出部２５Ａ３は、変数ｉの値をインクリメントし（ステップＳ２０９）、変数ｉの値が「５」に達したか否かを判定する（ステップＳ２１０）。変数ｉの値が「５」に達していなければ（ステップＳ２１０；Ｎｏ）、オフセット算出部２５Ａ３は、ステップＳ２０２に移行して、変数ｊ及び最大照合値を「０」に初期化する。

変数ｉの値が「５」に達したならば（ステップＳ２１０；Ｙｅｓ）、オフセット算出部２５Ａ３は、画像データ（ｉ）の平均照合値を合計し、変数ｉの値である「５」で除算して基準値を算出する（ステップＳ２１１）。

ステップＳ２１１の後、オフセット算出部２５Ａ３は、変数ｉの値を「０」に初期化する（ステップＳ２１２）。ステップＳ２１２の後、オフセット算出部２５Ａ３は、基準値から画像データ（ｉ）の平均照合値を減算して画像データ（ｉ）のオフセットを算出する（ステップＳ２１３）。

ステップＳ２１３の後、オフセット算出部２５Ａ３は、変数ｉの値をインクリメントし（ステップＳ２１４）、変数ｉの値が「５」に達したか否かを判定する（ステップＳ２１５）。変数ｉの値が「５」に達していなければ（ステップＳ２１５；Ｎｏ）、オフセット算出部２５Ａ３は、ステップＳ２１３に移行して、画像データ（ｉ）のオフセットを算出する。変数ｉの値が「５」に達したならば（ステップＳ２１５；Ｙｅｓ）、オフセット算出部２５Ａ３は、オフセット算出処理を終了する。なお、図１１は、登録用画像データ群に含まれる画像データの数が「５」、参照画像データ群の数が「２」である場合を示したため、変数ｉの最大値を「５」、変数ｊの最大値を「２」としたが、変数ｉ及びｊの最大値は、登録用画像データ群に含まれる画像データの数並びに参照画像データ群の数により適宜変更可能である。

次に、画像照合処理装置２０による画像照合処理手順について説明する。図１２は、図２に示した画像照合処理装置２０による画像照合処理手順を示すフローチャートである。同図に示すように、画像照合処理装置２０の人物画像切出部２５Ｂ１は、まず、監視カメラ１０からリアルタイムに受信した動画像データの各フレームに含まれる人物を検知し（ステップＳ３０１）、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す（ステップＳ３０２）。

特徴量算出部２５Ａ２は、入力画像データ群の各画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及び方向成分をそれぞれ特徴量として算出する（ステップＳ３０３）。

照合値算出部２５Ｂ３は、テンプレートと入力画像データ群との照合値を算出する照合値算出処理を実行する（ステップＳ３０４）。この照合値算出処理（ステップＳ３０４）の詳細については後述する。照合値算出部２５Ｂ３は、ステップＳ３０３により算出された特徴量（カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及び方向成分）のうち、照合値の算出処理が未処理の特徴量があるかを判定し（ステップＳ３０５）、未処理の特徴量があるならば（ステップＳ３０５；Ｙｅｓ）、照合値算出処理（ステップＳ３０４）に移行する。

全ての種類の特徴量について照合値算出処理を行って、未処理の特徴量が無いならば（ステップＳ３０５；Ｎｏ）、照合値算出部２５Ｂ３は、各特徴量について算出した照合値（後述の最大照合値）に重み係数を掛けて合計し（ステップＳ３０６）、判定処理部２５Ｂ４に出力する。

判定処理部２５Ｂ４は、ステップＳ３０６により算出された照合値の合計としきい値とを比較する（ステップＳ３０７）。照合値の合計がしきい値以上であるならば（ステップＳ３０７；Ｙｅｓ）、判定処理部２５Ｂ４は、選択したテンプレート２４ｂと入力画像データ群とが一致すると判定する（ステップＳ３０９）。選択したテンプレート２４ｂと入力画像データ群とが一致するのは、選択したテンプレートに対応する人物が監視カメラ１０からリアルタイムに受信した動画像データに存在する場合である。判定処理部２５Ｂ４は、どの監視カメラ１０が撮像した動画像データにテンプレート２４ｂに対応する人物が映っていたかを示す情報とともに判定結果を表示部２２に表示出力して（ステップＳ３１０）、画像照合処理を終了する。

判定処理部２５Ｂ４は、ステップＳ３０６により算出された照合値の合計がしきい値未満であるならば（ステップＳ３０７；Ｎｏ）、未処理のテンプレートが残っているか否かを判定する（ステップＳ３０８）。未処理のテンプレートが残っているならば（ステップＳ３０８；Ｙｅｓ）、照合値算出部２５Ｂ３は、ステップＳ３０４に移行する。未処理のテンプレートが残っていないならば（ステップＳ３０８；Ｎｏ）、画像照合処理を終了する。このフローでは、照合値の合計がしきい値以上のものがあれば判定結果を出力しているが、すべてのテンプレートについて、照合値の合計を算出し、照合値の合計が最大のものを判定結果としてもよい。また、しきい値以上のテンプレートが複数あった場合はエラーとしてもよい。

次に、図１２に示した照合値算出処理について詳細に説明する。図１３は、図１２に示した照合値算出処理の処理手順を示すフローチャートである。同図に示すように、照合値算出部２５Ｂ３は、まず、変数ｍ及び最大照合値を「０」に初期化する（ステップＳ４０１）。また、変数ｎを「０」に初期化する（ステップＳ４０２）。

照合値算出部２５Ｂ３は、入力画像データ群内の画像データ（ｍ）を読み出し（ステップＳ４０３）、テンプレート内の画像データ（ｎ）を読み出す（ステップＳ４０４）。照合値算出部２５Ｂ３は、画像データ（ｍ）と画像データ（ｎ）との照合値を算出し（ステップＳ４０５）、画像データ（ｎ）に対応するオフセットを加算する（ステップＳ４０６）。

照合値算出部２５Ｂ３は、オフセット加算後の照合値が最大照合値を超えているならば（ステップＳ４０７；Ｙｅｓ）、オフセット加算後の照合値を最大照合値とする（ステップＳ４０８）。

ステップＳ４０８の後若しくはオフセット加算後の照合値が最大照合値以下である場合には（ステップＳ４０７；Ｎｏ）、照合値算出部２５Ｂ３は、変数ｎの値をインクリメントし（ステップＳ４０９）、変数ｎの値が「５」に達したか否かを判定する（ステップＳ４１０）。変数ｎの値が「５」に達していなければ（ステップＳ４１０；Ｎｏ）、ステップＳ４０４に移行して、テンプレート内の画像データ（ｎ）を読み出す。

変数ｎの値が「５」に達したならば（ステップＳ４１０；Ｙｅｓ）、照合値算出部２５Ｂ３は、最大照合値を画像データ（ｍ）の照合値として（ステップＳ４１１）、最大照合値の値を「０」に初期化する（ステップＳ４１２）。

ステップＳ４１２の後、照合値算出部２５Ｂ３は、変数ｍの値をインクリメントし（ステップＳ４１３）、変数ｍの値が「５」に達したか否かを判定する（ステップＳ４１４）。変数ｍの値が「５」に達していなければ（ステップＳ４１４；Ｎｏ）、ステップＳ４０２に移行して、変数ｎを「０」に初期化する。変数ｍの値が「５」に達したならば（ステップＳ４１４；Ｙｅｓ）、照合値算出部２５Ｂ３は、照合値算出処理を終了する。なお、図１３は、入力画像データ群及びテンプレートに含まれる画像データの数がそれぞれ「５」である場合を示したため、変数ｍ及びｎの最大値を「５」としたが、変数ｍ及びｎの最大値は、入力画像データ群及びテンプレートに含まれる画像データの数により適宜変更可能である。

このようにして、入力画像データ群に含まれる各画像データの特徴量毎の最大の照合値を求め、前述したように、特徴量毎の最大の照合値に重み係数を掛けて合算し、テンプレートと入力画像データ群とが一致するか否かの判定を行う。

上述してきたように、本実施例１では、画像照合処理装置２０は、監視カメラ１０が撮像した動画像データを動画像データベース２７に蓄積し、蓄積した動画像データから登録人物を指定された場合には、動画像データを形成する複数のフレームから登録人物に係る複数の画像データをそれぞれ切り出し、切り出された登録人物に係る複数の画像データから特徴量をそれぞれ算定し、算定された複数の特徴量を登録人物のテンプレートとして記憶部２４に記憶する。そして、監視カメラ１０が撮像した動画像データを形成する複数のフレームから照合対象者に係る複数の画像データをそれぞれ切り出し、切り出された照合対象者に係る複数の画像データから特徴量をそれぞれ算定し、算定された複数の特徴量とテンプレートを形成する複数の特徴量との全ての組み合わせについての照合値をそれぞれ算定し、算定された複数の照合値のうちの最大の値となる最大照合値が所定の値以上である場合に、照合対象者が前記テンプレート内の登録人物と一致すると判定する。かかる構成により、画像照合処理装置２０は、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。

また、登録人物のテンプレートを登録する際に、テンプレートに含まれる複数の画像データに対し、登録人物の特徴を示す情報が多い画像データほど照合値が大きくなるようにオフセットを算定して画像データに対応付ける。このため、登録人物の特徴を示す情報が少ない画像データから算出された照合値が最大照合値となることを防止し、画像照合処理の精度を向上することができる。

具体的には、顔の画像の解像度が十分でない場合や、顔が映っていない場合でも人物の照合が可能である。また、体の一部が写っていない場合でも人物の照合が可能である。さらに、互いに相関の小さい複数の特徴量を組み合わせて照合を行うことで、画像照合処理の精度を向上している。

本実施例２では、あらかじめ準備された人物のリスト（例えば、犯罪者リスト）に該当する人物が監視カメラのいずれかに映るか否かを判定する場合について説明する。まず、本実施例２に係る画像照合処理システムのシステム構成について説明する。図１４は、実施例２に係る画像照合処理システムのシステム構成図である。

図１４に示すように、監視カメラ１０を設置する位置は実施例１と同様である。図１４に示す画像照合処理装置１２０は、登録の対象となる人物のリストを対象者リスト１２１としてあらかじめ記憶している。この対象者リスト１２１は、登録の対象となる人物を識別するデータを有する。この識別のためのデータには、任意のデータを用いることができるが、ここでは監視カメラ１０の撮像結果と比較可能な画像データを対象者リスト１２１として用いる場合を例に説明を行う。画像データとしては、登録の対象となる人物の顔画像データが好適である。

画像照合処理装置１２０は、監視カメラ１０から受信した動画像データと、対象者リスト１２１に登録された顔画像データとを比較することで登録判定処理を行う。画像照合処理装置１２０は、動画像データに対象者が含まれていると判定したならば、監視カメラ１０から受信した動画像データを用いて指定された人物の特徴を示すテンプレート２４ｂを生成する。

かかるテンプレート２４ｂが生成されたならば、監視カメラ１０からリアルタイムで受信した動画像データに含まれる人物の画像データを切り出し、切り出した人物の画像データとテンプレートを照合処理して、テンプレートがいずれかの監視カメラ１０で撮影された画像データと一致する場合にはその旨を報知する。これにより、対象者リスト１２１に含まれる人物の所在位置を特定することが可能となる。

次に、図１４に示した画像照合処理装置１２０の構成について説明する。図１５は、図１４に示した画像照合処理装置１２０の内部構成を示す機能ブロック図である。同図に示す画像照合処理装置１２０は、動画像データベース２７を有さず、記憶部２４に対象者リスト１２１をさらに記憶し、登録処理部２５Ａに登録判定処理部１２２をさらに有する点が図２に示した画像照合処理装置２０と異なる。

登録判定処理部１２２は、監視カメラ１０からリアルタイムで受信した動画像データと対象者リスト１２１に含まれる顔画像データとを比較し、動画像データに含まれる人物を登録するか否かを判定する。登録判定処理部１２２は、対象者リスト１２１に含まれる顔画像データと一致する人物が動画像データに含まれる場合には、該人物の複数枚（例えば、５枚）の画像データを指定人物画像切出部２５Ａ１に切り出させる。

その他の構成及び動作については実施例１に示した画像照合処理装置２０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

次に、実施例２に係る画像照合処理装置１２０によるテンプレートの登録処理手順について説明する。図１６は、図１５に示した画像照合処理装置１２０によるテンプレートの登録処理手順を示すフローチャートである。同図に示すように、画像照合処理装置１２０の登録判定処理部１２２は、まず、監視カメラ１０からリアルタイムに受信した動画像データの各フレームに含まれる人物を検知し（ステップＳ５０１）、対象者リスト１２１と比較して、登録対象者であるか否かを判定する（ステップＳ５０２）。

検知した人物が登録対象者でなければ（ステップＳ５０３；Ｎｏ）、画像照合処理装置１２０は登録処理手順を終了する。一方、検知した人物が登録対象者であるならば（ステップＳ５０３；Ｙｅｓ）、指定人物画像切出部２５Ａ１により、動画像データの複数のフレームから検知した人物の上半身を含む画像データが登録用画像データ群として切り出される（ステップＳ５０４）。

その後、特徴量算出部２５Ａ２が、登録用画像データ群に含まれる各画像データの特徴量を算出する（ステップＳ５０５）。具体的には、特徴量算出部２５Ａ２は、ステップＳ５０４により切り出された複数枚の人物の画像データについて、カラーの画像データをモノクロ濃淡画像に変換した濃淡画像データ、色相ヒストグラム、Ｇａｂｏｒフィルタを適用した振幅成分及びＧａｂｏｒフィルタを適用した方向成分をそれぞれ特徴量として算出する。

オフセット算出部２５Ａ３は、ステップＳ５０５により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量とを用いてオフセット算出処理を行う（ステップＳ５０６）。

ステップＳ５０６の後、特徴量算出部２５Ａ２は、全ての種類の特徴量が算出されたか否かを判定する（ステップＳ５０７）。算出されていない特徴量が残っているならば（ステップＳ５０７；Ｎｏ）、特徴量算出部２５Ａ２は、ステップＳ５０５に移行して特徴量の算出を行う。

全ての種類の特徴量が算出されたならば（ステップＳ５０７；Ｙｅｓ）、テンプレート生成部２５Ａ４は、算出された特徴量とオフセットとを対応付けてテンプレート２４ｂとして記憶部２４に登録し（ステップＳ５０８）、処理を終了する。

オフセット算出処理の詳細は、実施例１と同様であるので、説明を省略する。また、画像照合処理装置１２０は、登録処理手順の終了後若しくは登録処理手順と並行して、画像照合処理を行うが、画像照合処理手順についても実施例と同様であるので説明を省略する。

上述してきたように、本実施例２では、画像照合処理装置１２０は、登録の対象となる人物に関する対象者リスト１２１を用い、監視カメラ１０が撮像した動画像データに対象者が含まれる場合には、動画像データを形成する複数のフレームからテンプレート２４ｂを生成する。かかる構成においても実施例１と同様に、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。オフセットを算定して画像データに対応付けることにより、画像照合処理の精度を向上できる点も実施例１と同様である。

なお、本実施例２では、対象者リスト１２１として画像データを用い、監視カメラ１０の撮像結果と比較することで登録を行うか否かを判定する構成を例示したが、対象者リスト１２１としては任意のデータを用いることができる。例えば、ＩＤカード等を読み取って通行を制御するゲート装置の近傍に監視カメラを設置してもよい。この構成では、ＩＤカード等から読み取ったＩＤがあらかじめ用意した対象者ＩＤリストに含まれている場合には、ゲート装置を通過中の人物を登録人物として撮像し、テンプレートを生成・登録する。

本実施例３では、登録用として設けられた監視カメラに写った全ての人物が他の監視カメラのいずれに映るかを判定する場合について説明する。まず、本実施例３に係る画像照合処理システムのシステム構成について説明する。図１７は、実施例３に係る画像照合処理システムのシステム構成図である。

図１７に示すように、画像照合処理装置２２０は、ゲート１１の近傍に設置された監視カメラ１０ａをテンプレートの登録用に使用する。画像照合処理装置２２０は、監視カメラ１０ａより受信した動画像データに含まれる全ての人物についてテンプレート２４ｂを生成する。

テンプレート２４ｂの生成後、画像照合処理装置２２０は、監視カメラ１０ｂ、監視カメラ１０ｃ及び監視カメラ１０ｄより受信した動画像データに含まれる人物の画像とテンプレート２４ｂとを照合する画像照合処理を行う。この画像照合処理によって、監視カメラ１０ｂ、監視カメラ１０ｃ及び監視カメラ１０ｄより受信した動画像データに含まれる人物の画像とテンプレート２４ｂとが一致すると判定したならば、画像照合処理装置２２０は、登録した人物が映っていた監視カメラ１０の設置場所と動画像データの撮像時刻とを対応付けた行動ログを生成・更新する。この行動ログは、登録した人物毎に生成する。

次に、実施例３に係る画像照合処理装置の構成について説明する。図１８は、図１７に示した画像照合処理装置の内部構成を示す機能ブロック図である。同図に示す画像照合処理装置２２０は、動画像データベース２７を有さず、記憶部２４に行動ログ２２１をさらに記憶する。また、登録処理部２５Ａは、人物画像切出し部２２３、特徴量算出部２５Ａ２、オフセット算出部２５Ａ３、テンプレート生成部２５Ａ４及びテンプレート登録処理部２２４を有する。また、照合処理部２５Ｂの判定処理部２２２は、実施例１に示した判定処理部２５Ｂ４と処理が異なる。

行動ログ２２１は、テンプレート２４ｂに登録された人物が監視カメラ１０で撮像される度に、撮像された場所と時刻とを記録したデータである。この行動ログ２２１により、テンプレート２４ｂに登録された人物の行動軌跡を辿ることができる。

画像照合処理装置２２０が監視カメラ１０ａより動画像データを受信すると、登録処理部２５Ａの人物画像切出部２２３により動画像データの各フレームに含まれる人物の画像データが切り出され、特徴量算出部２５Ａ２による特徴量の算出が行われる。

オフセット算出部２５Ａ３は、実施例１と同様に、特徴量算出部２５Ａ２により算出された特徴量と、あらかじめ撮像された複数の参照画像データから算出された参照画像特徴量２４ａとを用いてオフセットを算出する。テンプレート生成部２５Ａ４は、特徴量算出部２５Ａ２により算出された特徴量とオフセットとを対応付けてテンプレートを生成する。

テンプレート登録処理部２２４は、テンプレート生成部２５Ａ４により生成されたテンプレートを記憶部２４に登録する処理部である。テンプレート登録処理部２２４は、テンプレート生成部２５Ａ４により生成されたテンプレートと、既に記憶部２４ｂに記憶されたテンプレート２４ｂとを照合処理する。かかる照合処理の結果、一致するテンプレート２４ｂが記憶部２４に登録されていなければ、テンプレート生成部２５Ａ４により生成されたテンプレートを新たな人物に対応する新規のテンプレートとして登録する。一方、一致するテンプレート２４ｂが記憶部２４に登録されているならば、テンプレート生成部２５Ａ４により生成されたテンプレートを既存の人物に対応する最新のテンプレートとしてテンプレート２４ｂを更新する。

テンプレート登録処理部２２４は、新規のテンプレートを登録した場合には、該テンプレートに対応する行動ログ２２１を生成し、記憶部２４に記憶させる。また、既存のテンプレートを更新した場合には、該テンプレートに対応する行動ログ２２１に監視カメラ１０ａの場所並びに撮像時刻を追加して更新する。

画像照合処理装置２２０が監視カメラ１０ｂ、監視カメラ１０ｃ及び監視カメラ１０ｄより動画像データを受信すると、実施例１と同様に、人物画像切出部２５Ｂ１が動画像データの各フレームに含まれる人物の画像データをそれぞれ切出処理する。特徴量算出部２５Ｂ２は、人物画像切出部２５Ｂ１により切り出された人物の画像データの特徴量を算出し、照合値算出部２５Ｂ３による照合値の算出が行われる。

判定処理部２２２は、照合値算出部２５Ｂ３により算出された照合値に基づいて、指定人物に該当する人物が監視カメラ１０からリアルタイムに受信した動画像データに存在するか否かを判定する。判定処理部２２２は、該当する人物が存在する場合には、どの監視カメラ１０が撮像した動画像データにテンプレート２４ｂに対応する人物が映っていたかを示す情報、及び該動画データの撮像時刻とを対応付けて、行動ログ２２１に登録する。

次に、実施例３に係る画像照合処理装置２２０による処理動作について説明する。図１９は、画像照合処理装置２２０が監視カメラ１０ａにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。図１９に示すように、画像照合処理装置２２０は、監視カメラ１０ａが撮像した動画像データから人物の存在を検知し（ステップＳ６０１）、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す（ステップＳ６０２）。

画像照合処理装置２２０は、入力画像データ群に含まれる各画像データについて特徴量を算出し（ステップＳ６０３）、照合処理を行う（ステップＳ６０４）。照合処理の結果、入力画像データ群と一致するテンプレートがある場合には（ステップＳ６０５；Ｙｅｓ）、該テンプレートを上書きして更新登録する（ステップＳ６０６）。一方、照合処理の結果、入力画像データ群と一致するテンプレートがない場合には（ステップＳ６０５；Ｎｏ）、画像照合処理装置２２０は、ステップＳ６０３により算出した特徴量を用いてテンプレートを新規登録する（ステップＳ６０８）。

テンプレートの更新登録（ステップＳ６０６）又は新規登録（ステップＳ６０８）を行った後、画像照合処理装置２２０は、監視カメラ１０の場所並びに撮像時刻を行動ログ２２１に登録して（ステップＳ６０７）処理を終了する。

図２０は、画像照合処理装置２２０が監視カメラ１０ｂ、監視カメラ１０ｃ及び監視カメラ１０ｄにより撮像された動画像データを処理する場合の処理手順を示すフローチャートである。

図２０に示すように、画像照合処理装置２２０は、監視カメラ１０ｂ、監視カメラ１０ｃ及び監視カメラ１０ｄが撮像した動画像データから人物の存在を検知し（ステップＳ７０１）、動画像データの複数のフレームに渡る人物の移動を追跡して、複数のフレームから人物の上半身を含む画像データを入力画像データ群として切り出す（ステップＳ７０２）。

画像照合処理装置２２０は、入力画像データ群に含まれる各画像データについて特徴量を算出し（ステップＳ７０３）、照合処理を行う（ステップＳ７０４）。この特徴量算出及び照合処理については、実施例１及び２と同様であるので、説明を省略する。

照合処理の結果、入力画像データ群と一致するテンプレートがある場合には（ステップＳ７０５；Ｙｅｓ）、画像照合処理装置２２０は、行動ログを登録して（ステップＳ７０６）処理を終了する。この行動ログの登録は、行動ログ２２１に監視カメラ１０の場所並びに撮像時刻を追加して更新することで行われる。また、表示部２２に判定結果を出力しても良い。一方、画像照合処理の結果、入力画像データ群と一致するテンプレートがない場合には（ステップＳ７０５；Ｎｏ）、画像照合処理装置２２０はそのまま処理を終了する。

上述してきたように、本実施例３では、画像照合処理装置２２０は、登録用の監視カメラ１０ａにより撮像された動画像データについては、テンプレートとの画像照合処理を行った後、照合結果に基づいてテンプレートの新規登録又は更新登録を行う。かかる構成においても実施例１と同様に、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定することができる。オフセットを算定して画像データに対応付けることにより、画像照合処理の精度を向上することができる点も実施例１と同様である。

また、登録した人物が監視カメラ１０に撮像される度に行動ログ２２１を更新することで、遊園地に入場した人物がどのような経路を辿ったかというデータや、各利用者の入場から退場までの滞在時間に関するデータを入手することも可能となる。

なお、上記実施例１、２及び３に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記実施例１、２及び３では、４台の監視カメラが撮像した動画像データを単一の画像照合処理装置により処理する構成を例示したが、画像照合処理装置を複数設けて、複数の画像照合処理装置がテンプレートを共有する構成として実施してもよい。

また、画像照合処理装置に接続する監視カメラは任意の数を用いることができる。膨大な監視カメラを設置しても良いし、１台の監視カメラであっても良い。一台の監視カメラで実施する場合には、該監視カメラに登録人物が写る度にその時刻を記憶することが好ましい。このように、本発明は、ある時刻及び場所の動画像データを登録に使用し、時刻と場所とのうち少なくとも一方が異なる動画像データを画像照合処理に使用する場合に広く適用可能である。

また、上記実施例１、２及び３では、監視カメラが撮像した動画像データをリアルタイムでテンプレートと照合する構成を例示して説明を行ったが、監視カメラが撮像した動画像データを所定の記憶部に記憶させて保存しておき、保存した動画像データを任意のタイミングで読み出してテンプレートと照合するように構成してもよい。このように監視カメラが撮像した動画像データを一旦保存する構成とすれば、保存により蓄積された過去の動画像データを対象として照合を行うことが可能である。

また、上記実施例３では、監視カメラ１０ａをテンプレートの登録専用に使用する構成について説明を行ったが、監視カメラ１０ａを登録と画像照合処理の双方に使用する構成としてもよい。

以上のように、本発明に係る画像照合処理装置、画像照合処理方法及び画像照合処理プログラムは、人物の顔等の身体的特徴部分を含む適正な画像データが撮像されていない場合であっても、該画像データに含まれる人物と登録された人物が一致するか否かを正確かつ効率的に判定するために有用な技術である。

１０、１０ａ、１０ｂ、１０ｃ、１０ｄ 監視カメラ
１１ ゲート
１２〜１４ 設備
２０、１２０、２２０ 画像照合処理装置
２１ 入力部
２２ 表示部
２３ 通信インタフェース部
２４ 記憶部
２４ａ 参照画像特徴量
２４ｂ テンプレート
２５ 制御部
２５Ａ 登録処理部
２５Ａ１ 指定人物画像切出部
２５Ａ２、２５Ｂ２ 特徴量算出部
２５Ａ３ オフセット算出部
２５Ａ４ テンプレート生成部
２５Ｂ 照合処理部
２５Ｂ１、２２３ 人物画像切出部
２５Ｂ３ 照合値算出部
２５Ｂ４、２２２ 判定処理部
２７ 動画像データベース
２７ａ 動画像データ
３１、３１ａ、３１ｂ 入力画像データ群
３２ 登録用画像データ群
１２１ 対象者リスト
１２２ 登録判定処理部
２２１ 行動ログ
２２４ テンプレート登録処理部

Claims (8)

1. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理装置であって、
   前記照合対象者に係る複数の登録画像データの特徴量を記憶する第１の記憶手段と、
   前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出手段と、
   前記第１の切出手段により切り出された入力画像データの特徴量を算出する第１の特徴量算出手段と、
   前記第１の特徴量算出手段により算出された入力画像データの特徴量と前記第１の記憶手段に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出手段と、
   前記第１の照合値算出手段により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手段と
   を備えたことを特徴とする画像照合処理装置。
2. 前記動画像データを形成する複数のフレームから前記照合対象者に係る複数の画像データをそれぞれ切り出す第２の切出手段と、
   前記第２の切出手段により切り出された前記照合対象者に係る複数の画像データから特徴量をそれぞれ算出する第２の特徴量算出手段と、
   前記第２の特徴量算出手段により算出された前記照合対象者に係る複数の画像データから特徴量を前記第１の記憶手段に格納するよう制御する制御手段と
   をさらに備えたことを特徴とする請求項１に記載の画像照合処理装置。
3. 前記撮像装置により撮像された人物に係る画像データを補正用画像データとして記憶する第２の記憶手段と、
   前記第１の記憶手段に記憶された前記照合対象者に係る複数の登録画像データの特徴量と前記第２の記憶手段に記憶された補正用画像データから算出された特徴量との照合値を算出する第２の照合値算出手段と、
   前記第２の照合値算出手段により算出された照合値に基づいて各登録画像データの補正値を算出する補正値算出手段と、
   前記補正値算出手段により算出された補正値に基づいて、前記第１の照合値算出手段により算出された複数の登録画像データに対応する照合値を補正処理する補正処理手段と
   をさらに備えたことを特徴とする請求項１又は２に記載の画像照合処理装置。
4. 前記第２の切出手段により切り出される複数の画像データは、前記照合対象者の上半身部分を含む画像データであることを特徴とする請求項２に記載の画像照合処理装置。
5. 前記第１の記憶手段は、前記照合対象者に係る各登録画像データについて複数の異なる特徴量を記憶し、
   前記第１の特徴量算出手段は、前記第１の切出手段により切り出された入力画像データについて前記複数の異なる特徴量を算出する
   ことを特徴とする請求項１〜４のいずれか一つに記載の画像照合処理装置。
6. 前記複数の種類の特徴量は、前記画像データの濃淡に係る特徴量、色相に係る特徴量及びエッジに係る特徴量のうち、少なくとも１つを含むことを特徴とする請求項５に記載の画像照合処理装置。
7. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理方法であって、
   前記照合対象者に係る複数の登録画像データの特徴量を第１の記憶部に格納する格納工程と、
   前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出工程と、
   前記第１の切出工程により切り出された入力画像データの特徴量を算出する第１の特徴量算出工程と、
   前記第１の特徴量算出工程により算出された入力画像データの特徴量と前記第１の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出工程と、
   前記第１の照合値算出工程により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定工程と
   を含んだことを特徴とする画像照合処理方法。
8. 登録された照合対象者に係る複数の登録画像データを所定の撮像装置により撮像された動画像データに含まれる入力画像データと照合処理する画像照合処理プログラムであって、
   前記照合対象者に係る複数の登録画像データの特徴量を第１の記憶部に格納する格納手順と、
   前記動画像データを形成する複数のフレームから人物に係る入力画像データを切り出す第１の切出手順と、
   前記第１の切出手順により切り出された入力画像データの特徴量を算出する第１の特徴量算出手順と、
   前記第１の特徴量算出手順により算出された入力画像データの特徴量と前記第１の記憶部に記憶された複数の登録画像データの特徴量との間の照合値をそれぞれ算出する第１の照合値算出手順と、
   前記第１の照合値算出手順により算出された複数の登録画像データに対応する照合値を、該登録画像データ及び所定の補正用画像データから得られる補正値に基づいてそれぞれ補正した補正後の各照合値の最大値に基づいて、前記照合対象者が前記動画像データ内に存在するか否かを判定する判定手順と
   をコンピュータに実行させることを特徴とする画像照合処理プログラム。

Images