JP6725381B2 - 画像照合装置および画像照合方法 - Google Patents

Description

本発明の実施形態は、画像照合装置および画像照合方法に関する。

撮像部によって部屋の入口等の所定位置を撮像して得られた動画像を構成する複数のフレームそれぞれについて、予め登録された人物等の対象物の画像と照合して、所定位置に存在する対象物が予め登録された対象物か否かを判定する技術がある。また、撮像部によって所定位置を高速に連写して得られる複数の画像から、目が閉じておらず、手振れの影響が無く、明るさが十分であること等の所定の条件を満たす画像を選択し、当該選択した画像を、予め登録された対象物の画像と照合する技術もある。

特許第５７５３９６６号公報 特許第５４５４２３３号公報

しかしながら、複数のフレームについて、予め登録された対象物の画像と照合する技術においては、当該複数のフレーム全てについて、予め登録された対象物の画像との類似度を算出する処理に時間がかかる。また、複数の画像のうち所定の条件を満たす画像を、予め登録された対象物の画像と照合する技術においては、当該所定の条件を満たす画像が、予め登録された対象物の画像との照合に適していない場合もある。

実施形態の画像照合装置は、撮像部と、検出部と、追跡部と、選択部と、照合部と、表示部と、記憶部と、作成部と、を備える。撮像部は、所定位置を撮像可能に設けられる。検出部は、撮像部の撮像により得られる動画像を構成する複数のフレームそれぞれから対象物の対象物画像を検出する。追跡部は、複数のフレーム間において、同一の対象物の対象物画像を追跡する。選択部は、同一の対象物の対象物画像毎に、所定の評価式に従って、対象物画像が予め登録された対象物の登録画像との照合に適する度合いを表す評価値を算出し、かつ検出した対象物画像のうち、評価値が所定値以上の対象物画像をベストショット画像として選択する。照合部は、ベストショット画像と登録画像とを照合して、所定位置に存在する対象物が予め登録された対象物か否かを判断する照合処理を実行する。表示部は、照合処理の実行結果を表示する。記憶部は、ベストショット画像のうち、予め登録された対象物と判断された対象物のベストショット画像を記憶する。作成部は、記憶部に記憶されたベストショット画像に基づいて、登録画像との照合に適する対象物画像の評価値が高くなるように、評価式を更新または再作成する。

図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。 図２は、第１の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。 図３は、第１の実施形態にかかる本人照合システムにおけるベストショット評価式の構築処理の流れの一例を示すフローチャートである。 図４は、第１の実施形態にかかる本人照合システムにおけるベストショット画像の選択処理の流れの一例を示すフローチャートである。 図５は、第１の実施形態にかかる本人照合システムにおける照合処理の結果の表示例を示す図である。 図６は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。 図７は、第２の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。 図８は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。 図９は、第３の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。

以下、本実施形態にかかる画像照合装置および画像照合方法を適用した本人照合システムの一例について説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。図１に示すように、本実施形態にかかる本人照合システムは、画像入力部１０１と、検出部１０２と、追跡部１０３と、ベストショット選択部１０４と、登録画像データベース１０５と、照合部１０６と、表示部１０７と、教示データベース１０８と、登録部１０９と、構築部１１０と、識別情報入力部１１１と、を有する。

画像入力部１０１は、建物や部屋の入口等の所定位置を撮像可能に設けられる撮像部である。検出部１０２は、画像入力部１０１により所定位置を撮像して得られる動画像を構成する複数のフレームそれぞれから人物（対象物の一例）の画像（以下、人物画像と言う。対象物画像の一例）を検出する。追跡部１０３は、動画像を構成する複数のフレーム間において、同一人物の人物画像を追跡する。ベストショット選択部１０４は、追跡部１０３によって追跡した同一人物の人物画像毎に、所定の評価式（以下、ベストショット評価式と言う）に従って、当該人物画像が、予め登録された人物の登録画像との照合に適する度合いを表す評価値（以下、ベストショット評価値と言う）を算出する。そして、ベストショット選択部１０４は、追跡部１０３によって追跡した同一人物の人物画像のうち、ベストショット評価値が所定値以上の人物画像を、ベストショット画像として選択する。登録画像データベース１０５は、予め登録された人物の画像である登録画像を記憶する記憶部である。

照合部１０６は、ベストショット選択部１０４により選択されたベストショット画像と、登録画像データベース１０５に記憶された登録画像とを照合して、所定位置を通過する人物が、予め登録された人物か否かを判断する照合処理を実行する。表示部１０７は、照合部１０６による照合処理の結果を表示する。教示データベース１０８は、ベストショット評価式の構築（生成）または更新に用いる人物画像を教示データとして記憶する。登録部１０９は、ベストショット画像のうち登録画像と一致すると判断された人物のベストショット画像を教示データとして教示データベース１０８に保存する。構築部１１０（作成部の一例）は、教示データベース１０８に記憶される教示データに基づいて、登録画像との照合に適する人物画像のベストショット評価値が高くなるように、ベストショット評価式を更新または再構築（再作成）する。識別情報入力部１１１は、所定位置を通過する人物のＩＤカード等から、当該人物を識別可能とする識別情報を読み取る読取部である。

次に、図１を用いて、本実施形態にかかる本人照合システムが有する各部の詳細について説明する。画像入力部１０１は、照合処理に用いる人物画像を取得するため、所定位置を通過する人物を正面から撮像可能な位置に設けられるカメラである。検出部１０２は、画像入力部１０１の撮像により得られる動画像を構成する各フレームから、人物画像を検出する。例えば、検出部１０２は、複数の顔の画像の平均でありかつ矩形状のテンプレート（以下、顔テンプレートと言う）を予め作成する。そして、検出部１０２は、フレーム上を、顔テンプレートを移動、回転、拡大、または縮小しながら走査して、フレームにおいて、顔テンプレートとの輝度値の差分が最も小さい領域を、人物画像（例えば、顔画像）として検出する。

追跡部１０３は、複数のフレーム間において、同一人物の人物画像を追跡する。例えば、追跡部１０３は、連続する複数のフレームそれぞれから検出された複数の人物画像同士が重なる面積が予め設定された面積以上である場合、当該複数の人物画像が、同一人物の人物画像と判断する。一方、追跡部１０３は、連続する複数のフレームそれぞれから検出された複数の人物画像が重なる面積が予め設定された面積より小さい場合、当該複数の人物画像が、異なる人物の人物画像と判断して、当該異なる人物の人物画像の追跡へと移行する。ただし、複数の人物画像間において、顔の位置が大きく変わらなかった場合、追跡部１０３は、異なる人物の人物画像であるにも関わらず、同一人物の人物画像として、当該人物画像の追跡を継続してしまう可能性がある。そのため、追跡部１０３は、同じ人物の人物画像を、予め設定された数、同一人物の人物画像と判断した場合には、当該人物の人物画像の追跡を終了する。

ベストショット選択部１０４は、追跡部１０３によって同一人物の人物画像と判断された人物画像毎に、ベストショット評価式に従って、ベストショット評価値を算出する。本実施形態では、ベストショット選択部１０４は、同一人物の人物画像と判断された人物画像の中から、算出されたベストショット評価値が所定値以上の１つまたは２つ以上の人物画像を選択する。登録画像データベース１０５は、所定位置の通過を許可された人物の画像である登録画像を、当該人物の識別情報と対応付けて記憶する。

照合部１０６は、登録画像データベース１０５に記憶される登録画像のうち識別情報入力部１１１により読み取られた識別情報と対応付けて記憶される登録画像（以下、対象人物画像と言う）と、ベストショット選択部１０４により選択されたベストショット画像とを照合する照合処理を実行する。表示部１０７は、液晶ディスプレイ等により構成され、照合部１０６による照合処理の結果を表示する。本実施形態では、表示部１０７は、対象人物画像、ベストショット選択部１０４により選択されたベストショット画像、および照合部１０６による対象人物画像とベストショット画像との照合結果を表示する。

教示データベース１０８（記憶部の一例）は、ベストショット画像を教示データとして、当該ベストショット画像について算出されたベストショット評価値とを対応付けて記憶する。また、教示データベース１０８は、ベストショット画像に代えて、当該ベストショット画像の特徴ベクトルを、ベストショット評価値と対応付けて記憶しても良い。また、教示データベース１０８は、ベストショット画像を、当該ベストショット画像について算出されたベストショット評価値が高い順に並べて記憶する。

登録部１０９は、ベストショット選択部１０４により選択されたベストショット画像のうち、人物対象画像との照合処理に成功したベストショット画像を教示データとして、当該ベストショット画像について算出されたベストショット評価値、および当該照合処理の結果と対応付けて、教示データベース１０８に保存する。

構築部１１０（作成部の一例）は、教示データベース１０８に記憶される教示データに基づいて、予め設定された機械学習のアルゴリズムを用いて、ベストショット評価式を更新または再構築する。これにより、画像入力部１０１により所定位置を撮像して得られる動画像を構成する全てのフレームに含まれる人物画像と、登録画像とを照合する必要がなくなるので、照合処理に要する時間を短縮できる。また、登録画像との照合に適した人物画像がベストショット画像として選択され易くなるので、登録画像との照合精度を向上させることができる。

識別情報入力部１１１は、登録画像データベース１０５から、対象人物画像を選択するために必要な情報を取得する。本実施形態では、識別情報入力部１１１は、所定位置を通過する人物の立ち位置から手の届く範囲に設けられた読取部により構成され、当該所定位置を通過する人物が所持するＩＤカード等から、当該人物を識別可能とする識別情報を読み取る。ここで、ＩＤカードは、旅券、運転免許証、マイナンバーカード、その他、識別情報を記録可能な記録媒体であれば良い。また、識別情報入力部１１１は、読取部に代えて、識別情報を入力可能な入力装置、または所定位置を通過する人物の指紋や静脈等の生体情報を識別情報として読取可能な生体情報読取装置であっても良い。

次に、図２〜５を用いて、本実施形態にかかる本人照合システムによる照合処理の流れの一例について説明する。図２は、第１の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。図３は、第１の実施形態にかかる本人照合システムにおけるベストショット評価式の構築処理の流れの一例を示すフローチャートである。図４は、第１の実施形態にかかる本人照合システムにおけるベストショット画像の選択処理の流れの一例を示すフローチャートである。図５は、第１の実施形態にかかる本人照合システムにおける照合処理の結果の表示例を示す図である。

本実施形態では、本人照合システムは、照合処理の実行に先立って、教示データベース１０８に対して、教示データを保存しておく必要がある。そこで、照合処理が未だ実行されておらず、教示データベース１０８に対して、教示データが記憶されていない場合、登録部１０９は、インターネット等のネットワーク上において公開されている人物画像、若しくは画像入力部１０１の撮像により得られる撮像画像のうち外部装置から指示された撮像画像を、教示データとして教示データベース１０８に保存する。

次いで、構築部１１０は、教示データベース１０８に記憶される教示データに基づいて、ベストショット評価式を構築する（ステップＳ２０１）。ただし、構築部１１０は、ベストショット評価式が予め設定されている場合には、ベストショット評価式を構築しなくても良い。

ここで、図３を用いて、ベストショット評価式の構築処理について詳細に説明する。構築部１１０は、教示データベース１０８から、教示データが入力されると、入力された全ての教示データから、特徴ベクトルを抽出する（ステップＳ３０１）。次いで、構築部１１０は、抽出した特徴ベクトルを、ベストショット評価式を構築するために用いるパラメータ（以下、評価式構築パラメータと言う）として用いて、予め設定された機械学習のアルゴリズムに従って、ベストショット評価式を構築（作成）する（ステップＳ３０２）。その後、構築部１１０は、構築したベストショット評価式を、ベストショット選択部１０４に出力する。

例えば、構築部１１０は、教示データベース１０８から入力される各教示データを、ｍピクセル×ｎピクセルの矩形状の画像に拡大または縮小し、当該矩形状の画像の輝度値を特徴ベクトルとして抽出する。次いで、構築部１１０は、当該特徴ベクトルを、線形回帰等を用いてベストショット評価値に回帰させるベストショット評価式を構築する。

図２に戻り、識別情報入力部１１１は、所定位置を通過する人物が所持するＩＤカードから、識別情報を読み取る（ステップＳ２０２）。画像入力部１０１は、識別情報入力部１１１によって識別情報が読み取られると、所定位置を通過する人物の撮像を開始する。検出部１０２は、画像入力部１０１の撮像により得られる動画像を構成するフレームを取得する（ステップＳ２０３）。検出部１０２は、取得されたフレームから、人物画像を検出する（ステップＳ２０４）。追跡部１０３は、取得されたフレームから、前のフレームから検出された人物画像と同一人物の人物画像を追跡する（ステップＳ２０４）。そして、追跡部１０３は、最後に検出された人物画像が、前のフレームから検出された人物画像と同一人物の人物画像であるか否かに応じて、人物画像の追跡を終了するか否かを判断する（ステップＳ２０５）。最後に検出された人物画像が、前のフレームから検出された人物画像と同一人物の人物画像である場合、追跡部１０３は、人物画像の追跡を終了しないと判断する（ステップＳ２０５：Ｎｏ）。そして、検出部１０２は、新たなフレームを取得する（ステップＳ２０３）。

一方、最後に検出された人物画像が、前のフレームから検出された人物画像とは異なる人物の人物画像である場合、人物画像の追跡を終了すると判断する（ステップＳ２０５：Ｙｅｓ）。次に、ベストショット選択部１０４は、追跡部１０３により同一人物の人物画像と判断された人物画像から、ベストショット評価式を用いて、ベストショット画像を選択する（ステップＳ２０６）。

ここで、図４を用いて、本実施形態にかかる本人照合システムによるベストショット画像の選択処理について詳細に説明する。図４は、第１の実施形態にかかる本人照合システムによるベストショット画像の選択処理の流れの一例を示すフローチャートである。

ベストショット選択部１０４は、１人の人物の人物画像の追跡が終了する度に、追跡した同一人物の人物画像を取得する。次いで、ベストショット選択部１０４は、取得した各人物画像の特徴ベクトルを抽出する（ステップＳ４０１）。そして、ベストショット選択部１０４は、ベストショット評価式を用いて、各人物画像から抽出した特徴ベクトルに基づいて、ベストショット評価値を算出する（ステップＳ４０２）。ベストショット選択部１０４は、追跡した同一人物の全ての人物画像について、ステップＳ４０１およびステップＳ４０２に示す処理を繰り返す。

ベストショット選択部１０４は、追跡した同一人物の全ての人物画像についてベストショット評価値を算出すると、追跡した同一人物の人物画像を、ベストショット評価値が大きいものから順に並べる（ステップＳ４０３）。次いで、ベストショット選択部１０４は、追跡した同一人物の人物画像のうち、ベストショット評価値が高い人物画像から順に、上位Ｎ個の人物画像をベストショット画像として選択する（ステップＳ４０４）。または、ベストショット選択部１０４は、上述したように、同一人物の人物画像と判断された人物画像のうち、ベストショット評価値が所定値以上の人物画像を選択しても良い。そして、ベストショット選択部１０４は、選択したベストショット画像を、照合部１０６に出力する。

図２に戻り、照合部１０６は、登録画像データベース１０５に記憶される登録画像のうち識別情報入力部１１１により読み取られた識別情報と対応付けて記憶される対象人物画像と、ベストショット選択部１０４により選択されたベストショット画像とを照合する照合処理を実行する（ステップＳ２０７）。例えば、照合部１０６は、対象人物画像およびベストショット画像それぞれから特徴ベクトルを抽出する。その際、照合部１０６は、対象人物画像およびベストショット画像を、ｍピクセル×ｎピクセルの矩形状の画像に拡大または縮小する。そして、照合部１０６は、矩形状の画像に拡大または縮小された対象人物画像またはベストショット画像の輝度値を、特徴ベクトルとして抽出する。

対象人物画像およびベストショット画像から特徴ベクトルが抽出されると、照合部１０６は、対象人物画像から抽出した特徴ベクトルと、ベストショット画像から抽出した特徴ベクトルとの類似度を算出する。対象人物画像およびベストショット画像が共に複数である場合、照合部１０６は、対象人物画像およびベストショット画像の全ての組合せについて、類似度を算出する。そして、照合部１０６は、算出した類似度が所定閾値を超えている場合、所定位置を通過する人物が、識別情報入力部１１１により読み取られた識別情報により識別される人物であると判断する。ここで、所定閾値は、所定位置を通過する人物が、読み取った識別情報により識別される人物と判断する類似度の閾値である。一方、照合部１０６は、算出した類似度が所定閾値以下である場合、所定位置を通過する人物が、識別情報入力部１１１により読み取られた識別情報により識別される人物とは異なると判断する。また、対象人物画像およびベストショット画像が共に複数ある場合、照合部１０６は、対象人物画像およびベストショット画像の全ての組合せについて算出した類似度の平均が所定閾値を超えたか否かによって、所定位置を通過する人物が、識別情報入力部１１１により読み取られた識別情報により識別される人物であるか否かを判断しても良い。

次いで、表示部１０７は、照合部１０６による照合処理の結果を表示する（ステップＳ２０８）。本実施形態では、表示部１０７は、ベストショット画像、対象人物画像、当該ベストショット画像と当該対象人物画像との類似度、所定閾値等、照合処理に関する情報を表示する。例えば、表示部１０７は、図５に示すように、ベストショット評価値が高い上位５位までのベストショット画像ＢＧ１〜ＢＧ５を、当該ベストショット画像それぞれについて算出された対象人物画像との類似度５０１と共に表示する。また、表示部１０７は、図５に示すように、対象人物画像Ｇと、照合処理の結果５０２、および所定閾値５０３を表示する。また、表示部１０７は、ベストショット画像ＢＧ１〜ＢＧ５が複数ある場合、図５に示すように、各ベストショット画像と対象人物画像Ｇとの類似度の平均である平均類似度５０４を表示する。

図２に戻り、登録部１０９は、ベストショット画像のうち対象人物画像との照合に成功したベストショット画像を教示データとして、当該ベストショット画像と対象人物画像との照合処理の結果（例えば、ベストショット画像と対象人物画像の類似度）と対応付けて教示データベース１０８に保存する（ステップＳ２０９）。次いで、構築部１１０は、教示データベース１０８に記憶される教示データに基づいて、ベストショット評価式を更新するか否かを判断する（ステップＳ２１０）。構築部１１０は、ベストショット評価式を最後に更新または再構築してから、教示データベース１０８に教示データとして保存されたベストショット画像の数が所定数を超えた場合、ベストショット評価式を更新すると判断する（ステップＳ２１０：Ｙｅｓ）。一方、ベストショット評価式を最後に更新または再構築してから、教示データベース１０８に教示データとして保存されたベストショット画像の数が所定数以下である場合、ベストショット評価式を更新しないと判断する（ステップＳ２１０：Ｎｏ）。

ベストショット評価式を更新すると判断した場合、構築部１１０は、ベストショット評価式を最後に更新または再構築してから、教示データベース１０８に教示データとして保存されたベストショット画像に基づいて、ベストショット評価式を更新または再構築する（ステップＳ２１１）。その際、構築部１０８は、図３に示すベストショット評価式の構築処理と同様にして、ベストショット評価式を構築するものとする。また、構築部１０８は、ベストショット評価式を更新する場合、例えば、最後に構築または更新されたベストショット評価式を初期値として、ベストショット評価式を構築する。また、構築部１０８は、最後に構築または更新されたベストショット評価式、および教示データベース１０８に教示データとして保存されたベストショット画像に基づいて構築したベストショット評価式の両方を記憶しておく。そして、ベストショット選択部１０４は、上述の２つのベストショット評価式それぞれを用いて算出されるベストショット評価値の平均（または重み付け平均）を、各人物画像のベストショット評価値としても良い。また、構築部１０８は、ベストショット評価式が最後に更新または再構築された後に画像入力部１０１の撮像条件（例えば、フレームレート、解像度、画角、照明条件）が変更された場合、若しくは、ベストショット評価式が最後に更新または再構築された後に照合処理が失敗した回数が所定回数を超えた場合にも、教示データベース１０８に教示データとして保存されたベストショット画像に基づいて、ベストショット評価式を更新または再構築しても良い。これにより、人物画像の照合状況に応じて、登録画像との照合に適した人物画像がベストショット画像として選択され易くなるように、ベストショット評価式を更新または再構築できるので、人物画像と登録画像との照合精度を向上させることができる。

このように、第１の実施形態にかかる本人照合システムによれば、画像入力部１０１により所定位置を撮像して得られる動画像を構成する全てのフレームに含まれる人物画像と、登録画像とを照合する必要がなくなり、照合処理の処理量を削減できるので、照合処理に要する時間を短縮できる。また、照合処理に要するメモリの容量を削減できる。また、登録画像との照合に適した人物画像がベストショット画像として選択され易くなるので、人物画像と登録画像との照合精度を向上させることができる。

また、本実施形態では、ベストショット選択部１０４は、識別情報入力部１１１により読み取られる識別情報により識別される人物、または照合処理を実行する日にちに応じて、ベストショット評価値の算出に用いるベストショット評価式を変更しても良い。具体的には、構築部１１０は、予め登録された人物、または日にち毎に、ベストショット評価式を構築しておく。そして、ベストショット選択部１０４は、識別情報入力部１１により読み取られる識別情報により識別される人物のベストショット評価式、または照合処理を実行する日にちのベストショット評価式に基づいて、ベストショット評価値を算出する。

また、本実施形態では、照合部１０６は、追跡部１０３により追跡した同一人物の人物画像のうち、ベストショット画像以外の人物画像でありかつベストショット評価値が最も高い人物画像を教示データベース１０８に保存する。そして、構築部１１０は、ベストショット画像以外の人物画像が、所定数以上、教示データベース１０８に保存された場合に、当該ベストショット画像以外の人物画像に基づいて、ベストショット評価式を更新または再構築しても良い。または、構築部１１０は、画像入力部１０１の撮像により得られる動画像の明るさが変わった場合、若しくは、外部装置から入力される更新指示に応じて、教示データベース１０８に記憶される、ベストショット画像以外の人物画像に基づいて、ベストショット評価式を更新または再構築しても良い。これにより、人物画像と登録画像との照合精度が低下した場合に、登録画像との照合に適した人物画像がベストショット画像としてより選択され易くすることができるので、人物画像と登録画像との照合精度を向上させることができる。

（第２の実施形態）
本実施形態は、本人照合システムが、通路等の通行する人物の人物画像と、登録画像とを照合する例である。以下の説明では、第１の実施形態と同様の箇所については説明を省略する。

図６は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。図６に示すように、本実施形態にかかる本人照合システムは、識別情報入力部１１１を有しない点において、第１の実施形態にかかる本人照合システムと異なる。本実施形態では、画像入力部１０１は、道路や建物内の監視対象の通路等（所定位置の一例）を通行する人物を撮像可能に設けられる。例えば、画像入力部１０１は、監視対象の通路から数十メートル離れた位置の天井に設置され、かつ監視対象の通路の床の中央付近を撮像可能に設けられている。

本実施形態では、登録画像データベース１０５は、指名手配されている人物の画像、行方不明となっている人物の画像、迷子の子供の画像など、検索対象となっている人物の画像を、登録画像として記憶する。そして、照合部６０１は、登録画像データベース１０５に記憶される全ての登録画像を、対象人物画像として、ベストショット選択部１０４により選択されたベストショット画像と照合する照合処理を実行する。さらに、照合部６０１は、登録画像データベース１０５に記憶される登録画像から、ベストショット画像との照合に成功した登録画像を検索する。表示部６０２は、照合部６０１による登録画像の検索結果を表示する。

図７は、第２の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。本実施形態では、照合部６０１は、上述したように、登録画像データベース１０５に記憶される全ての登録画像を対象人物画像として、ベストショット選択部１０４により選択されたベストショット画像と照合する照合処理を実行する。そして、照合部６０１は、登録画像データベース１０５に記憶される登録画像から、ベストショット画像との照合に成功した登録画像を検索する（ステップＳ７０１）。本実施形態では、照合部６０１は、登録画像データベース１０５に記憶される登録画像から、ベストショット画像との類似度が所定閾値を超えている登録画像を検索する。

そして、表示部６０２は、照合部６０１による登録画像の検索結果を表示する（ステップＳ７０２）。本実施形態では、表示部６０２は、ベストショット画像と、検索された登録画像とを表示する。また、ベストショット画像との照合に成功した登録画像が検索されなかった場合（ステップＳ７０３：Ｎｏ）、登録部１０９は、ベストショット画像を、教示データベース１０８への保存を行わない。一方、ベストショット画像との照合に成功した登録画像が検索された場合（ステップＳ７０３：Ｙｅｓ）、登録部１０９は、ベストショット画像を教示データとして、当該ベストショット画像と登録画像との照合処理の結果と対応付けて教示データベース１０８に保存する（ステップＳ２０９）。

このように、第２の実施形態にかかる本人照合システムによれば、監視対象の通路を通過する人物の人物画像と、登録画像とを照合する場合も、第１の実施形態と同様の作用効果を得ることができる。

（第３の実施形態）
本実施形態は、ベストショット画像と登録画像との照合に失敗した場合に、当該ベストショット画像を登録画像として、登録画像データベースに保存する例である。以下の説明では、第２の実施形態と同様の箇所については説明を省略する。

図８は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。図８に示すように、本実施形態では、ベストショット選択部８０１は、ベストショット画像が登録画像との照合に失敗した場合、ベストショット画像を登録画像として登録画像データベース１０５に保存する。これにより、画像入力部１０１により撮像された人物が、再度、所定位置を通過した場合に、当該人物を撮像して得られる人物画像（ベストショット画像）との照合に成功する登録画像を検索することができる。

図９は、第３の実施形態にかかる本人照合システムによる照合処理の流れの一例を示すフローチャートである。本実施形態では、ベストショット選択部８０１は、ステップＳ７０３において、ベストショット画像との照合に成功した登録画像が検索されなかった場合（ステップＳ７０３：Ｎｏ）、すなわち、ベストショット画像が登録画像との照合に失敗した場合、ベストショット画像を登録画像として登録画像データベース１０５に保存する（ステップＳ９０１）。

このように、第３の実施形態にかかる本人照合システムによれば、画像入力部１０１により撮像された人物が、再度、所定位置を通過した場合に、当該人物を撮像して得られる人物画像（ベストショット画像）との照合に成功する登録画像を検索することができる。

本実施形態では、教示データベース１０８および登録画像データベース１０５は、自システム内においてのみ使用されるが、これに限定するものではなく、他の本人照合ステムによっても使用されても良い。また、登録部１０９は、教示データベース１０８に記憶可能な教示データの数の上限を予め設定しておき、教示データベース１０８に記憶される教示データの数が上限を超えた場合、教示データベース１０８に記憶された日時が古い教示データから順に削除しても良い。

また、第１〜３の実施形態にかかる本人照合システムにおいては、人物画像と登録画像とを照合する例について説明したが、これに限定するものではなく、例えば、自動車の車体本体やナンバープレート、ブランド品等を対象物とし、当該対象物を撮像して得られる動画像を構成するフレームに含まれる対象物の画像と、登録画像とを照合する場合も、同様に行うことができる。

以上説明したとおり、第１から第３の実施形態によれば、画像入力部１０１により所定位置を撮像して得られる動画像を構成する全てのフレームに含まれる人物画像と、登録画像とを照合する必要がなくなり、照合処理の処理量を削減できるので、照合処理に要する時間を短縮できる。

なお、本実施形態の本人照合システムで実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。本実施形態の本人照合システムで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の本人照合システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の本人照合システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の本人照合システムで実行されるプログラムは、上述した各部（検出部１０２、追跡部１０３、ベストショット選択部１０４，８０１、照合部１０６，６０１、登録部１０９、および構築部１１０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、検出部１０２、追跡部１０３、ベストショット選択部１０４，８０１、照合部１０６，６０１、登録部１０９、および構築部１１０が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１ 画像入力部
１０２ 検出部
１０３ 追跡部
１０４，８０１ ベストショット選択部
１０５ 登録画像データベース
１０６，６０１ 照合部
１０７，６０２ 表示部
１０８ 教示データベース
１０９ 登録部
１１０ 構築部
１１１ 識別情報入力部

Claims (5)

1. 所定位置を撮像可能に設けられる撮像部と、
   前記撮像部の撮像により得られる動画像を構成する複数のフレームそれぞれから対象物の対象物画像を検出する検出部と、
   前記複数のフレーム間において、同一の対象物の前記対象物画像を追跡する追跡部と、
   同一の対象物の前記対象物画像毎に、所定の評価式に従って、前記対象物画像が予め登録された対象物の登録画像との照合に適する度合いを表す評価値を算出し、かつ検出した前記対象物画像のうち、前記評価値が所定値以上の前記対象物画像をベストショット画像として選択する選択部と、
   前記ベストショット画像と前記登録画像とを照合して、前記所定位置に存在する対象物が前記予め登録された対象物か否かを判断する照合処理を実行する照合部と、
   前記照合処理の実行結果を表示する表示部と、
   前記ベストショット画像のうち、前記予め登録された対象物と判断された対象物の前記ベストショット画像を記憶する記憶部と、
   前記記憶部に記憶された前記ベストショット画像に基づいて、前記登録画像との照合に適する前記対象物画像の前記評価値が高くなるように、前記評価式を更新または再作成する作成部と、
   を備える画像照合装置。
2. 前記照合部は、さらに、同一の対象物の前記対象物画像のうち、前記ベストショット画像以外の前記対象物画像でありかつ前記評価値が最も高い前記対象物画像を前記記憶部に保存し、
   前記作成部は、前記ベストショット画像以外の前記対象物画像が、所定数以上、前記記憶部に保存された場合に、前記ベストショット画像以外の前記対象物画像に基づいて、前記評価式を更新または再作成する請求項１に記載の画像照合装置。
3. 前記作成部は、前記評価式が最後に更新または再作成された後に前記記憶部に記憶された前記ベストショット画像の数が所定数を超えた場合、前記評価式が最後に更新または再作成された後に前記撮像部の撮像条件が変更された場合、または前記評価式が最後に更新または再作成された後に前記ベストショット画像と前記登録画像との照合に失敗した回数が所定回数を超えた場合、前記記憶部に記憶された前記ベストショット画像に基づいて、前記評価式を更新または再作成する請求項１または２に記載の画像照合装置。
4. 前記選択部は、前記ベストショット画像と前記登録画像との照合に失敗した場合、当該ベストショット画像を前記登録画像として登録する請求項１から３のいずれか一に記載の画像照合装置。
5. 撮像部により所定位置を撮像して得られる動画像を構成する複数のフレームそれぞれから対象物の対象物画像を検出し、
   前記複数のフレーム間において、同一の対象物の前記対象物画像を追跡し、
   同一の対象物の前記対象物画像毎に、所定の評価式に従って、前記対象物画像が予め登録された対象物の登録画像との照合に適する度合いを表す評価値を算出し、
   検出した前記対象物画像のうち、前記評価値が所定値以上の前記対象物画像をベストショット画像として選択し、
   前記ベストショット画像と前記登録画像とを照合して、前記所定位置に存在する対象物が前記予め登録された対象物か否かを判断する照合処理を実行し、
   前記照合処理の実行結果を表示し、
   前記ベストショット画像のうち、前記予め登録された対象物と判断された対象物の前記ベストショット画像を記憶部に保存し、
   前記記憶部に記憶された前記ベストショット画像に基づいて、前記登録画像との照合に適する前記対象物画像の前記評価値が高くなるように、前記評価式を更新または再作成する、
   ことを含む画像照合方法。

Images