JP6568476B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１３−１９００８１号（２０１３年９月１３日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。また、本発明は、時間差測定システム、時間差測定方法、画像処理装置、画像処理方法、及びプログラムに関する。特に、本発明は、顔の検出や認証（照合）を行う画像処理技術と、該画像処理技術を適用した時間差測定に関する。

サービスカウンターやＡＴＭ（Automated Teller Machine）等において、サービスの提供を受けるまでの待ち時間を測定することで、窓口数の増減判断に役立てたり、これからサービスを受けようとする利用者に待ち時間を報知したりすることが行われる。

待ち時間の測定に、顔の認証技術が使用されているものがある。具体的には、待ち時間の開始と終了の時点でカメラ画像から顔を抽出し、顔認証技術を使用して同一人物の判定を行うことで待ち時間を計測する。ここで、顔認証技術としては、様々な方式の公知のアルゴリズムが適用可能である。

特許文献１には、図１４（特許文献１の図３に相当）に示す待ち時間測定システムが開示されている。該待ち時間測定システムでは、自動取引装置の入口（地点Ａ）で第一回顔認証を行い、自動取引装置の前（地点Ｂ）で第二回顔認証を行う。そして、同一人物と認証された２つの時刻の差から待ち時間を算出する。

特開２０１２−１０８６８１号公報

上記特許文献の全開示内容は、本書に引用をもって繰り込み記載されているものとする。以下の分析は、本発明の観点から与えられる。

しかしながら、顔認証による待ち時間測定には、以下のような問題点が存在する。第１の問題点は、取得した画像に対して顔の特徴抽出を行う際に、多くのフレームに含まれる顔を対象とする必要があり、膨大な処理時間になってしまうということである。その理由は、顔の特徴抽出は比較的計算量の多い処理であり、顔の数が増えると処理量が増大するためである。また、顔の数が増えると、同一人物か否かを判定する照合処理にも時間がかかるためである。そのため、処理可能な画像データ量が減少してしまう。また、多くのフレーム画像を処理しようとすると、より高性能の処理装置が必要になり、高コストなシステムになってしまうという問題があった。

第２の問題点は、顔画像を保存するためのデータ保存領域が大量に必要になることである。その理由は、同一人物の顔が複数のフレームに亘って含まれており、顔の特徴抽出を行う際に、何度も顔画像が登録されるためである。そのため、大量のデータを保存する大容量の記憶装置が必要になるという問題があった。

特許文献１は、顔の特徴抽出及び照合における処理時間の問題については、触れていない。

そこで、本発明は、異なる地点で同一人物が撮影された時間差の測定を、低コストな装置で高速に行うことに貢献しうる時間差測定システムを提供することを課題とする。

本発明の第１の視点による時間差測定システムは、以下の構成要素を含む。即ち、該時間差測定システムは、第１のカメラと、前記第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出手段（部）と、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴抽出手段（部）と、前記第１の顔特徴量を撮影時刻と対応付けて保存する記憶部を含む。また、該時間差測定システムは、第２のカメラと、前記第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出手段（部）と、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴抽出手段（部）と、前記第２の顔特徴量を前記記憶部に保存された前記第１の顔特徴量と照合し、照合に成功した前記第１の顔特徴量に対応付けられて前記記憶部に保存された撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とする顔照合手段（部）と、前記第１及び第２の時刻の時間差を算出する時間差算出手段（部）と、を含む。さらに、該時間差測定システムは、前記第１の顔検出手段（部）により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴抽出手段（部）に供給する第１の重複削除手段（部）と、前記第２の顔検出手段（部）により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴抽出手段（部）に供給する第２の重複削除手段（部）と、の少なくとも一方を含む。

本発明の第２の視点による画像処理装置は、第１及び第２カメラで撮影された複数フレームの画像を処理する画像処理装置であって、以下の構成要素を含む。即ち、該画像処理装置は、前記第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出手段（部）と、前記顔画像から、第１の顔特徴量を抽出する第１の顔特徴抽出手段（部）と、前記第１の顔特徴量を保存する記憶部と、を含む。また、該画像処理装置は、前記第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出手段（部）と、前記顔画像から、第２の顔特徴量を抽出する第２の顔特徴抽出手段（部）と、前記第２の顔特徴量を前記記憶部に保存された前記第１の顔特徴量と照合する顔照合手段（部）と、を含む。さらに、該画像処理装置は、前記第１の顔検出手段（部）により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴抽出手段（部）に供給する第１の重複削除手段（部）と、前記第２の顔検出手段（部）により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴抽出手段（部）に供給する第２の重複削除手段（部）と、の少なくとも一方を含む。

本発明の第３の視点による時間差測定方法は、以下のステップを含む。即ち、該時間差測定方法は、第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出ステップと、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出ステップと、を含む。また、該時間差測定方法は、第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出ステップと、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出ステップと、を含む。また、該時間差測定方法は、前記第２の顔特徴量を前記第１の顔特徴量と照合し、照合に成功した前記第１の顔特徴量の撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とする顔照合ステップと、前記第１及び第２の時刻の時間差を算出する時間差算出ステップと、を含む。また、該時間差測定方法は、前記第１の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出ステップに供給する第１の重複削除ステップと、前記第２の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出ステップに供給する第２の重複削除ステップと、の少なくとも一方をさらに含む。

本発明の第４の視点による画像処理方法は、以下のステップを含む。即ち、該画像処理方法は、第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出ステップと、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出ステップと、を含む。また、該画像処理方法は、第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出ステップと、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出ステップと、を含む。また、該画像処理方法は、前記第２の顔特徴量を前記第１の顔特徴量と照合する顔照合ステップを含む。また、該画像処理方法は、前記第１の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出ステップに供給する第１の重複削除ステップと、前記第２の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出ステップに供給する第２の重複削除ステップと、の少なくとも一方をさらに含む。

本発明の第５の視点によるプログラムは、第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出処理と、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出処理と、第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出処理と、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出処理と、前記第２の顔特徴量を前記第１の顔特徴量と照合し、照合に成功した前記第１の顔特徴量の撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とする顔照合処理と、前記第１及び第２の時刻の時間差を算出する時間差算出処理と、をコンピュータに実行させる。さらに、該プログラムは、前記第１の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出処理に供給する第１の重複削除処理と、前記第２の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出処理に供給する第２の重複削除処理と、の少なくとも一方をコンピュータに実行させる。
本発明の第６の視点による情報処理装置は、第１及び第２カメラで撮影された複数フレームの画像を処理する情報処理装置であって、前記第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出手段と、前記顔画像から、第１の顔特徴量を抽出する第１の顔特徴抽出手段と、前記第１の顔特徴量を保存する記憶部と、前記第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出手段と、前記顔画像から、第２の顔特徴量を抽出する第２の顔特徴抽出手段と、前記第２の顔特徴量を前記記憶部に保存された前記第１の顔特徴量と照合する顔照合手段と、を備え、前記第１の顔検出手段により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴抽出手段に供給する第１の重複削除手段と、前記第２の顔検出手段により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴抽出手段に供給する第２の重複削除手段と、の少なくとも一方をさらに備えている。
本発明の第７の視点による情報処理方法は、第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出ステップと、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出ステップと、第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出ステップと、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出ステップと、前記第２の顔特徴量を前記第１の顔特徴量と照合する顔照合ステップと、を含み、前記第１の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出ステップに供給する第１の重複削除ステップと、前記第２の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出ステップに供給する第２の重複削除ステップと、の少なくとも一方をさらに含む。
本発明の第８の視点によるプログラムは、第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出処理と、前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出処理と、第２のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第２の顔検出処理と、前記顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出処理と、前記第２の顔特徴量を前記第１の顔特徴量と照合する顔照合処理と、をコンピュータに実行させ、さらに、前記第１の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出処理に供給する第１の重複削除処理と、前記第２の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出処理に供給する第２の重複削除処理と、の少なくとも一方をコンピュータに実行させる。なお、プログラムは、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）に記録されたプログラム製品として提供することもできる。

本発明によれば、異なる地点で同一人物が撮影された時間差の測定を、低コストな装置で高速に行うことに貢献しうる時間差測定システムを提供することができる。

一実施形態に係る時間差測定システムの構成を示すブロック図である。 一実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る時間差測定システムの構成を示すブロック図である。 第１の実施形態に係る時間差測定システムの動作を示すフローチャートである。 第１の実施形態に係る時間差測定システムにおける重複削除手段の動作を示すフローチャートである。 第１の実施形態に係る時間差測定システムにおける重複削除手段の説明図である。 第１の実施形態に係る時間差測定システムにおける顔画像検出情報の一例である。 第１の実施形態に係る時間差測定システムにおける照合結果データベースに登録されるデータの一例である。 第２の実施形態に係る時間差測定システムにおける重複削除手段の構成を示すブロック図である。 第２の実施形態に係る時間差測定システムにおける削除条件テーブルの一例である。 第２の実施形態に係る時間差測定システムにおける削除条件選択基準テーブルの一例である。 第３の実施形態に係る待ち時間測定システムを模式的に示した図である。 第４の実施形態に係る待ち時間測定システムを模式的に示した図である。 関連技術による顔認証を利用した現金自動取引装置の説明図である。

まず、本発明の一実施形態の概要について説明する。なお、一実施形態の概要の説明において付記した図面参照符号は専ら理解を助けるための例示であり、図示の態様に限定することを意図するものではない。

一実施形態における時間差測定システム１００は、図１に示すように、第１のカメラ１０１と第２のカメラ１０６で同一人物が撮影された時間差Δｔの測定を行うものである。該時間差測定システム１００は、第１のカメラ１０１と、第１のカメラ１０１で撮影された複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ１１として切り出す第１の顔検出手段（部）１０２と、顔画像から第１の顔特徴量Ｔ１を抽出する第１の顔特徴抽出手段（部）１０４と、第１の顔特徴量Ｔ１を撮影時刻と対応付けて保存する記憶部１０５とを含む。また、該時間差測定システム１００は、第２のカメラ１０６と、第２のカメラ１０６で撮影された複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ２１として切り出す第２の顔検出手段（部）１０７と、顔画像から第２の顔特徴量Ｔ２を抽出する第２の顔特徴抽出手段（部）１０９と、第２の顔特徴量Ｔ２を記憶部１０５に保存された第１の顔特徴量Ｔ１と照合し、照合に成功した第１の顔特徴量に対応付けられて記憶部１０５に保存された撮影時刻を第１の時刻ｔ１とし、第２の顔特徴量Ｔ２の撮影時刻を第２の時刻ｔ２とする顔照合手段（部）１１０と、第１及び第２の時刻（ｔ１、ｔ２）の時間差を算出する時間差算出手段（部）１１２と、を含む。さらに、該時間差測定システム１００は、第１の顔検出手段（部）１０２により切り出された複数の顔画像Ｋ１１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ１２を第１の顔特徴抽出手段（部）１０４に供給する第１の重複削除手段（部）１０３と、第２の顔検出手段（部）１０７により切り出された複数の顔画像Ｋ２１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ２２を第２の顔特徴抽出手段（部）１０９に供給する第２の重複削除手段（部）１０８と、の少なくとも一方を含む。

上記の構成により、第１の重複削除手段（部）１０３及び第２の重複削除手段（部）１０８の少なくとも一方を備えることで、顔特徴量の抽出を行う対象となる画像データ量を大幅に削減することができる。これにより、比較的計算量の多い処理である顔特徴抽出の処理に掛かる時間が削減され、顔の検出と照合を用いた時間差の測定を、低コストな装置で高速に行う時間差測定システムを提供することができる。

上記の時間差測定システムにおいて、第１及び第２の重複削除手段（部）（１０３、１０８）は、顔画像（Ｋ１１、Ｋ２１）の切り出し位置（例えば、図７の縦位置、横位置）及び顔画像の撮影時刻（例えば、図７の撮影時刻）を用いて同一人物の判定を行うことが好ましい。

上記の時間差測定システムにおいて、第１及び第２の重複削除手段（部）（１０３、１０８）は、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択するようにしてもよい。例えば、図７の顔画像検出情報２０に示すように、同一人物と判定された顔画像（人物ＩＤ（Identifier）が同じもの）から、撮影時間が最も早いものを残し、２番目以降の撮影時間のものを削除している（状態フラグが１になっている）。

上記の時間差測定システムにおいて、第１及び第２の重複削除手段（部）（１０３、１０８）は、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択するようにしてもよい。

上記の時間差測定システムにおいて、図９〜図１１に示すように、第１及び第２の重複削除手段（部）（図９の２３、２８）は、顔画像を削除する削除条件を１つ以上登録した削除条件テーブル３０３と、削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブル３０４と、を備えるようにしてもよい。

上記の時間差測定システムにおいて、上記顔照合手段（部）（図１の１１０、図３の１１）は、１つの第２の顔特徴量Ｔ２に対して、複数の第１の顔特徴量Ｔ１が照合に成功した場合に、照合に成功した複数の第１の顔特徴量Ｔ１のうちの１つを選択し、選択された第１の顔特徴量に対応する撮影時間を第１の時刻ｔ１とすることが好ましい。

一実施形態における画像処理装置２００は、図２に示すように、第１及び第２カメラ（１０１、１０６）で撮影された複数フレームの画像を処理する画像処理装置であって、以下の構成要素を含む。即ち、該画像処理装置２００は、第１のカメラ１０１で撮影された複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ１１として切り出す第１の顔検出手段（部）１０２と、顔画像から、第１の顔特徴量Ｔ１を抽出する第１の顔特徴抽出手段（部）１０４と、第１の顔特徴量Ｔ１を保存する記憶部２０５と、を含む。また、該画像処理装置２００は、第２のカメラ１０６で撮影された複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ２１として切り出す第２の顔検出手段（部）１０７と、顔画像から、第２の顔特徴量Ｔ２を抽出する第２の顔特徴抽出手段（部）１０９と、第２の顔特徴量Ｔ２を記憶部２０５に保存された第１の顔特徴量Ｔ１と照合する顔照合手段（部）２１０と、を含む。さらに、該画像処理装置２００は、第１の顔検出手段（部）１０２により切り出された複数の顔画像Ｋ１１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ１２を第１の顔特徴抽出手段（部）１０４に供給する第１の重複削除手段（部）１０３と、第２の顔検出手段（部）１０７により切り出された複数の顔画像Ｋ２１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ２２を第２の顔特徴抽出手段（部）１０９に供給する第２の重複削除手段（部）１０８と、の少なくとも一方を含む。

即ち、図２の画像処理装置２００は、図１の時間差測定システムのうち、第１カメラ１０１、第２カメラ１０６、時間差算出手段（部）１１２を含まない構成を有している。また、画像処理装置２００において、記憶部２０５は第１の特徴量Ｔ１のみを保存し（撮影時刻は保存しない）、顔照合手段（部）２１０は第２の特徴量Ｔ２と第１の特徴量Ｔ１との照合を行うことによって、同一人物の判定を行う。

一実施形態における時間差測定方法は、２つのカメラ（例えば、第１のカメラ１０１と第２のカメラ１０６）で同一人物が撮影された時間差Δｔの測定を行う方法である。該時間差測定方法は、図１、図４のいずれかに示すように、以下のステップを含む。即ち、該時間差測定方法は、第１のカメラ１０１で撮影された（Ｓ３０１）複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ１１として切り出す第１の顔検出ステップ（Ｓ３０２）と、顔画像から第１の顔特徴量Ｔ１を抽出する第１の顔特徴量抽出ステップ（Ｓ３０４）と、を含む。また、該時間差測定方法は、第２のカメラ１０６で撮影された（Ｓ３０６）複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ２１として切り出す第２の顔検出ステップ（Ｓ３０７）と、顔画像から第２の顔特徴量Ｔ２を抽出する第２の顔特徴量抽出ステップ（Ｓ３０９）と、を含む。また、該時間差測定方法は、第２の顔特徴量Ｔ２を第１の顔特徴量と照合し、照合に成功した第１の顔特徴量Ｔ１の撮影時刻を第１の時刻ｔ１とし、第２の顔特徴量Ｔ２の撮影時刻を第２の時刻ｔ２とする顔照合ステップ（Ｓ３１０）と、第１及び第２の時刻（ｔ１、ｔ２）の時間差Δｔを算出する時間差算出ステップ（Ｓ３１１）と、を含む。また、該時間差測定方法は、第１の顔検出ステップ（Ｓ３０２）で切り出された複数の顔画像Ｋ１１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ１２を第１の顔特徴量抽出ステップ（Ｓ３０４）に供給する第１の重複削除ステップ（Ｓ３０３）と、第２の顔検出ステップ（Ｓ３０７）で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像Ｋ２１を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ２２を第２の顔特徴量抽出ステップ（Ｓ３０９）に供給する第２の重複削除ステップ（Ｓ３０８）と、の少なくとも一方をさらに含む。

一実施形態における画像処理方法は、上記の時間差測定方法に含まれるステップのうち、時間差算出ステップ（Ｓ３１１）を含まず、また、顔照合ステップは、第２の特徴量Ｔ２と第１の特徴量Ｔ１の照合動作のみを行う。即ち、該画像処理方法は、図２、図４のいずれかに示すように、第１のカメラ１０１で撮影された（Ｓ３０１）複数フレームの画像から顔領域を検出し、顔領域を顔画像Ｋ１１として切り出す第１の顔検出ステップ（Ｓ３０２）と、顔画像から第１の顔特徴量Ｔ１を抽出する第１の顔特徴量抽出ステップ（Ｓ３０４）と、を含む。また、該画像処理方法は、第２のカメラ１０６で撮影された（Ｓ３０６）複数フレームの画像から顔領域を検出し、顔領域を顔画像として切り出す第２の顔検出ステップ（Ｓ３０７）と、顔画像から第２の顔特徴量Ｔ２を抽出する第２の顔特徴量抽出ステップ（Ｓ３０９）と、を含む。また、該画像処理方法は、第２の顔特徴量Ｔ２を第１の顔特徴量Ｔ１と照合する顔照合ステップ（Ｓ３１０の照合動作のみ）を含む。また、該画像処理方法は、第１の顔検出ステップ（Ｓ３０２）で切り出された複数の顔画像Ｋ１１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ１２を第１の顔特徴量抽出ステップ（Ｓ３０４）に供給する第１の重複削除ステップ（Ｓ３０３）と、第２の顔検出ステップ（Ｓ３０７）で切り出された複数の顔画像Ｋ２１のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像Ｋ２２を第２の顔特徴量抽出ステップ（Ｓ３０９）に供給する第２の重複削除ステップ（Ｓ３０８）と、の少なくとも一方をさらに含む。

以下、本発明の各実施形態について、図面を参照して詳しく説明する。

［第１の実施形態］
（第１の実施形態の構成）
第１の実施形態の構成について、図３を参照しながら詳細に説明する。図３は、第１の実施形態に係る時間差測定システム１０の構成を示すブロック図である。図３において、時間差測定システム１０は、監視カメラ（開始側）１、監視カメラ（終了側）６、及び画像処理装置３０により構成される。時間差測定システム１０は、監視カメラ（開始側）１、監視カメラ（終了側）６で取得された画像データから同一人物の画像データを抽出することによって、監視カメラ（開始側）１及び監視カメラ（終了側）６で同一人物が撮影された時間差を測定する機能を有している。

時間差測定システム１０は、例えば、待ち時間の測定に好適に使用することができる。その場合、監視カメラ（開始側）１を待ち時間の開始地点（地点Ａ）に設置する。例えば、開始地点（地点Ａ）は、行列の末尾、待合室の入口、受付、整理券発行機の周囲等である。一方、監視カメラ（終了側）６を待ち時間の終了地点（地点Ｂ）に設置する。例えば、終了地点（地点Ｂ）は、サービス窓口、ＡＴＭ等の機器、待合室の出口、サービスを受ける場所の入口の周囲等である。

監視カメラ１、６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）によるイメージセンサーを備え、所定のフレームレートで撮像された複数のフレーム画像を画像処理装置３０に出力する。

図３は、画像処理装置３０を機能単位で示したブロック図となっている。画像処理装置３０は、監視カメラ１から取得した画像データを処理する顔検出手段２、重複削除手段３、及び顔特徴抽出手段４を備えている。画像処理装置３０は、同様に、監視カメラ６から取得した画像データを処理する顔検出手段７、重複削除手段８、及び顔特徴抽出手段９を備えている。これらの詳細については後述する。

顔特徴データベース（顔特徴ＤＢ（Database））５は、顔特徴抽出手段４が算出した顔特徴量Ｔ１を顔特徴量Ｔ１の撮影時刻と対応付けて保存したものである。ここで、保存するためのデバイスには、ハードディスク、ＳＳＤ（Solid State Drive）、メモリ等が使用可能である。尚、以降、顔画像の撮影時刻、又は顔特徴量の撮影時刻と言った場合には、その顔画像又は顔特徴量の元となる画像の撮影時刻を意味するものとする。

また、画像処理装置３０は、顔特徴抽出手段９が出力する顔特徴量Ｔ２を受け取り、顔特徴量Ｔ２を顔特徴ＤＢ５に保存された顔特徴量Ｔ１と照合する顔照合手段１１を備えている。ここで、照合には、公知の顔認証処理の技術を適用することができる。

照合結果データベース（照合結果ＤＢ）１２は、照合に成功した場合に、顔照合手段１１に入力した顔特徴量（Ｔ１、Ｔ２）の撮影時刻を登録するものである。ここで、保存するためのデバイスには、顔特徴ＤＢ５と同様に、ハードディスク、ＳＳＤ（Solid State Drive）、メモリ等が使用可能である。

また、画像処理装置３０は、照合結果ＤＢ１２に登録されている照合に成功した顔特徴量（Ｔ１、Ｔ２）の撮影時刻（ｔ１、ｔ２）の時間差Δｔを算出する時間差算出手段１３を備えている。ここで、時間差測定システム１０を待ち時間の測定に使用する場合には、時間差Δｔは、待ち時間に相当する。

さらに、画像処理装置３０は、算出された時間差Δｔを、画像処理装置３０が備えるモニタ、記憶装置、或いは他のシステムに出力する結果出力手段１４を備えている。

以上に説明した画像処理装置３０に含まれる各処理機能は、画像処理装置３０が備えた図示しないＣＰＵ（Central Processing Unit）によって実行されるプログラムとして、図示しないメモリ等に格納され、ＣＰＵに呼び出されて実行される。尚、各処理機能の一部又は全部は、ハードウェアで実装するように構成してもよい。

（第１の実施形態の動作）
次に、図４を参照しながら、第１の実施形態の動作について説明する。図４は、第１の実施形態に係る時間差測定システム１０の動作を示すフローチャートである。図４（Ａ）は、開始側地点（地点Ａ）の映像処理のフローチャートである。

監視カメラ１が所定のフレームレートで映像を撮影することにより、カメラ画像を取得する（Ｓ３０１）。次に、顔検出手段２により、各フレームから顔画像を検出する（Ｓ３０２）。顔画像の検出は、各フレーム内で顔領域の部分を検出して顔画像として切り出す機能を有するものであり、公知の顔検出処理の技術を適用することができる。フレーム内に顔領域が全く検出されない場合もあれば、１つ以上の顔が検出される場合もある。顔領域が検出された場合には、例えば、図６のように、矩形枠の領域を顔画像として切り出して出力する（複数の顔が検出された場合には、１フレームから複数の顔画像を出力する）。ここで、顔検出処理は、後述する顔照合の処理に比べて演算負荷がかからない処理であり、撮影のフレームレートに対してリアルタイム処理することができる。

次に、重複削除手段３は、各フレームから切り出された複数の顔画像（図３のＫ１１）に対し、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定する。そして、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除する（Ｓ３０３）。そして、顔特徴抽出手段４は、削除せずに残った顔画像（図３のＫ１２）に対して顔特徴量（図３のＴ１）を抽出する（Ｓ３０４）。そして、顔特徴量（図３のＴ１）を、顔の位置及び撮影時刻と共に、顔特徴ＤＢ５に登録する（Ｓ３０５）。ここで、顔の位置には、例えば、図６の顔領域矩形枠の左上角の位置を使用する。但し、それに限定されず、フレーム画像内での顔の位置を示すものであればよく、例えば、顔領域矩形枠の重心位置を使用してもよい。

次に、図４（Ｂ）は、終了側地点（地点Ｂ）の映像処理のフローチャートである。監視カメラ６は、監視カメラ１と同様に、所定のフレームレートで映像を撮影することにより、カメラ画像を取得する（Ｓ３０６）。続いて行われるＳ３０７〜Ｓ３０９の処理は、それぞれ、図４（Ａ）のＳ３０２〜Ｓ３０４の処理と同様であるため、重複する説明を省略する。Ｓ３０７〜Ｓ３０９の処理により、監視カメラ６のカメラ画像から切り出した顔画像（図３のＫ２１）から、重複削除を行った後、残された顔画像（図３のＫ２２）から抽出された顔特徴量（図３のＴ２）が算出される。

次に、顔照合手段１１は、Ｓ３０９で抽出した顔特徴量（図３のＴ２）を、顔特徴ＤＢ５に保存された顔特徴量（図３のＴ１）と照合する。そして、照合に成功した場合、顔特徴ＤＢ５に顔特徴量（図３のＴ１）と共に登録された撮影時刻ｔ１と、顔特徴量（図３のＴ２）の撮影時刻ｔ２とを、照合結果ＤＢ１２に登録する（Ｓ３１０）。

次に、時間差算出手段１３は、照合結果ＤＢ１２に登録された撮影時刻（ｔ１、ｔ２）を読み出して、時間差Δｔ（＝ｔ２−ｔ１）を算出する（Ｓ３１１）。次に、結果出力手段１４は、算出された時間差Δｔを画像処理装置３０が備えるモニタ等に表示する。

次に、図５を参照しながら、重複削除手段３の動作（図４のＳ３０３）について、さらに詳しく説明する。

まず、重複削除手段３は、顔検出手段２から、顔画像（図３のＫ１１）、顔画像の位置、及び撮影時刻を受け取る（Ｓ４０１）。次に受け取った顔画像（図３のＫ１１）を過去フレームの顔画像の位置及び撮影時刻と比較して、顔画像の位置及び時刻の差が指定条件を満たすか否かを判定する。指定条件としては、例えば、以下のようなものが考えられる。
顔画像の左上の位置の差が指定ピクセル以内 （条件１）
、且つ、
撮影時刻の差が指定時間以内 （条件２）

ここで、条件１の「顔画像の左上の位置」とは、フレーム画像から顔画像を切り出す矩形枠の左上角の位置を意味する。

図６は、重複削除手段３に入力される顔画像の位置の変化を示している。図６において、時刻が０．２秒進むと顔の位置が左に移動している。図６に示す移動量５０（顔画像の左上の位置の差に相当）と時間差が指定値以内であれば、同一人物の顔であると判断する。尚、図６において、２つの顔は別フレームに出現するものであるが、説明のため重ねて示している。

図４に戻って、移動量５０と時間差が指定値以内（条件１、且つ条件２を満たす場合）となる顔画像が見つかった場合は、同一人物の顔と判定し（Ｓ４０３でＹｅｓの場合）、顔画像の位置と撮影時刻を人物ＩＤと紐付けて、顔画像検出情報２０として、重複削除手段３の内部の一時保存領域に登録する（Ｓ４０４）。ここで、人物ＩＤは、複数の顔画像が同一人物と判定された場合に、顔画像に同じ人物ＩＤを付与し、一方、同一人物でないと判定された場合に、顔画像に異なる人物ＩＤを付与するものである。Ｓ４０４では、同一人物と判定されているため、同一人物と判定された過去データの人物ＩＤが付与される。

そして、Ｓ４０４の後、どの顔画像を削除するかを判定する（Ｓ４０５）。ここで、Ｓ４０５の削除条件は、用途や撮影場所の状況に応じて変えることが望ましい。例えば、以下のような判定条件が考えられる。
（１）最初に撮影された顔画像１枚（或いは最初のほうから指定枚数）以外を削除する。
（２）最後に撮影された顔画像１枚（或いは最後のほうから指定枚数）以外を削除する。
（３）画像品質が最も良い画像（或いは画像品質の良いほうから指定枚数）以外を削除する。
（４）画像品質が指定値以上の画像を指定枚数だけ残し、それ以外を削除する。

ここで、画像品質は、顔特徴抽出に有利な画像であるか否かという基準であることが望ましく、例えば、顔画像の大きさ、顔らしさの度合いなどの基準が用いられる。画像品質の値は、最大値（最高画像品質）が１．０になるように正規化される。画像品質は、重複削除手段３内で測定するようにしてもよいし、重複削除手段３の外部で測定した測定結果を重複削除手段３に供給するようにしてもよい。

一方、同一人物の顔が見つからなかった場合（Ｓ４０３でＮｏの場合）は、取得した顔画像に新たに人物ＩＤを与えて（Ｓ４０６）、データ（顔画像の位置、撮影時刻、及び新人物ＩＤ）を顔画像検出情報２０として、一時保存領域に登録する（Ｓ４０７）。

次に、削除しないことが確定した顔画像（Ｓ４０５で決定された削除する顔画像以外；図３のＫ１２）を、顔特徴抽出手段４に出力する（Ｓ４０８）。

尚、図３では、重複削除手段３の後に、顔特徴抽出手段４による処理を行うようにしているが、他の形態として、重複削除手段３の処理の開始と同時に、顔特徴抽出手段４の処理を開始させるようにしてもよい。その場合、条件によっては、顔特徴抽出が処理済みの顔画像に対し遡って削除するか否かの判定が行われる場合もある。

図７は、一時保存領域に登録した顔画像検出情報２０の一例である。図７は、顔検出手段２で検出された各顔画像に対して、データ番号、人物ＩＤ、顔画像の位置（矩形枠の左上角の縦位置、横位置）及び大きさ（高さ、幅）、撮影時刻、データの状態を示す状態フラグが登録された状態を示している。図７の例では、同一人物と判定された複数の顔画像がある場合、最初に出現した顔画像を残し、２番目以降の顔画像を削除するという削除条件を設定している。例えば、人物ＩＤが００００１の３つの顔画像に対し、顔特徴抽出の対象として１２：００：０１．５に撮影された顔画像を残し、１２：００：０１．７と１２：００：０１．９に撮影された顔画像を削除している。

重複削除手段３により、削除されるデータの状態フラグは１に設定され、特徴抽出処理の対象となるデータの状態フラグは０に設定される。或いは、状態フラグを０に初期化した後、重複削除手段３により、削除すると判定されたデータの状態フラグを１に設定するようにしてもよい。また、設定条件によっては、処理が決まらない状態を示す状態フラグを付けてもよい。また、状態フラグを使わずにデータを削除するようにしてもよい。

尚、上述した図５、図７の説明は、重複削除手段３に関して行ったが、重複削除手段８も重複削除手段３と同様であるため、説明は省略する。但し、重複削除手段８の条件設定（例えば、削除条件の設定等）は、重複削除手段３と異なる設定にしてもよい。例えば、重複削除手段３及び重複削除手段８の条件設定は、それぞれ、監視カメラ１、６を設置する地点Ａと地点Ｂの状況に応じて設定することが好ましい。

次に、図８は、照合結果ＤＢ１２に登録された照合結果の一例である。図８に示すように、照合結果ＤＢ１２には、照合に成功した場合の情報が登録される。ここでは、照合時の類似度が、例えば、０．７５以上の場合を照合が成功したと判定している。図８において、１行目のデータは、監視カメラ１側の顔画像（人物ＩＤが００００１、撮影時刻が１２：００：０１．５）と監視カメラ６側の顔画像（人物ＩＤが０１００１、撮影時刻が１２：５０：１３．６）が類似度０．８０で照合に成功したことを示している。また、２行目のデータは、監視カメラ１側の顔画像（人物ＩＤが００００３、撮影時刻が１２：００：０１．５）と監視カメラ６側の顔画像（人物ＩＤが０１００５、撮影時刻が１２：５５：４０．１）が類似度０．９２で照合に成功したことを示している。

尚、顔照合手段１１で複数の顔特徴量が照合に成功した場合には、以下のような処理を行い、複数の顔特徴量のうちのいずれか１つを選択する。以下の処理のうち、どれを採用するかは、用途や撮影場所（地点Ａ、Ｂ）の状況によって判断することが望ましい。
（Ａ）人物ＩＤが異なる複数の顔画像が検索された場合、
（Ａ−１）顔特徴量の類似度が最も高い人物ＩＤの顔特徴量を選択する。
（Ａ−２）検索された中で撮影時刻が最も早い顔特徴量を選択する。
（Ａ−３）検索された中で撮影時刻が最も遅い顔特徴量を選択する。
（Ｂ）人物ＩＤが等しい複数の顔画像が検索された場合、
（Ｂ−１）顔特徴量の類似度が最も高い顔特徴量を選択する。
（Ｂ−２）検索された中で撮影時刻が最も早い顔特徴量を選択する。
（Ｂ−３）検索された中で撮影時刻が最も遅い顔特徴量を選択する。
（Ｃ）複数の顔特徴量が検索された場合、複数の組み合わせを照合結果ＤＢ１２に登録しておき、時間差算出手段１３においていずれか１つを選択する（尚、選択する際には、上記の（Ａ−１）〜（Ａ−３）、（Ｂ−１）〜（Ｂ−３）を適用する）。

以上説明したように、第１の実施形態の時間差測定システム１０によれば、以下に示す効果が得られる。

第１に、異なる地点で同一人物が撮影された時間差の測定を、低コストな装置で高速に行うことができるという効果が得られる。特に、同一人物が撮影された時間差を、待ち時間とした場合、待ち時間の測定を低コストな装置で高速に行うことができる。その理由は、比較的に演算時間の掛からない重複削除処理を用いて、演算時間の掛かる顔特徴抽出処理を実行する顔画像の数を減らすことができるためである。

第２に、顔特徴量のデータ（図３のＴ１、Ｔ２等）を一時保存する記憶デバイスの容量を減らすことができるという効果が得られる。その理由は、顔特徴抽出手段４、９が処理する顔画像の数が減ることで、顔特徴量のデータ（図３のＴ１、Ｔ２等）の量も減るためである。

尚、第１の実施形態の時間差測定システム１０を変形し、異なる地点Ａ、Ｂを同一人物が通過したことを認識する画像処理装置として提供することもできる。その場合、図３の画像処理装置３０を、撮影時間に係わる処理を行わない構成に簡易化すればよいだけである。即ち、時間差算出手段１３、及び照合結果ＤＢをなくし、顔特徴ＤＢ５は顔特徴量のみを保存する（撮影時間は保存しなくてよい）。また、顔照合手段１１は、顔特徴量の照合のみを行い、結果出力手段１４は照合に成功した場合にその結果を通知するだけでよい。図２の画像処理装置２００は、上記の画像処理装置に相当する。

（第２の実施形態）
次に、図９〜図１１を参照しながら、第２の実施形態について説明する。第２の実施形態の第１の実施形態に対する違いは、第１の実施形態の重複削除手段３、８を、重複削除手段２３、２８にそれぞれ置き換えている点である。

図９は、第２の実施形態における重複削除手段２３の構成を示すブロック図である。重複削除手段２３は、図９に示すように、同一人物判定部３０１、削除条件選択部３０２、削除処理部３０５、削除条件テーブル３０３、及び削除条件選択基準テーブル３０４を含んで構成される。尚、重複削除手段２８は、重複削除手段２３と同様であるため、以下の説明は重複削除手段２３について行い、重複削除手段２８の説明は省略する。

削除条件テーブル３０３には、１以上の顔画像の削除条件を記述することができる。図１０は、削除条件テーブル３０３の一例である。図１０において、削除条件番号１は、同一人物と判定された顔画像の画像品質が０．７以上の顔画像を出現順に４枚まで残し、他の顔画像を削除する。削除条件番号２は、同一人物と判定された顔画像の画像品質０．８以上の顔画像を出現順に１枚だけ残し、他の顔画像を削除する。図１０の例では、削除条件番号１よりも削除条件番号２のほうが削除される顔画像の枚数が多くなる。削除条件の要素としては、画像品質の他に、顔の出現位置、直前の顔画像との時間差等を使用することもできる。

削除条件選択基準テーブル３０４には、削除条件テーブル３０３に記載された複数の削除条件の中からいずれか１つを選択するための基準を記述する。図１１は、削除条件選択基準テーブル３０４の一例である。図１１において、選択基準番号１は、顔検出手段２から重複削除手段３に送られる顔画像の数がフレーム当たり１０枚以下の場合は削除条件テーブル３０３の削除条件番号１を選択することを示している。また、顔検出手段２から重複削除手段３に送られる顔画像の数がフレーム当たり１０枚を超える場合は削除条件テーブル３０３の削除条件番号２を選択することを示している。これにより、顔画像の枚数が増えた場合には削除する顔画像を増やすことで後段の処理負荷を減らすことができる。選択基準の要素としては、顔画像の数以外に、撮影時刻、リソース（ＣＰＵやメモリ）の使用状況等を使用することができる。

図９に戻って、同一人物判定部３０１は、図５のＳ４０２、Ｓ４０３に相当する処理を行う部分であり、過去データを検索して、取得した顔画像が同一人物の顔画像であるか否かを判定する。削除条件選択部３０２は、前述した削除条件テーブル３０３及び削除条件選択基準テーブル３０４を参照して、使用する削除条件を選択する。また、削除処理部３０５は、選択された削除条件に基づいて、重複削除手段２３に送られる複数の顔画像のうち、同一人物の顔画像と判定された複数の顔画像の一部を削除する。

以上説明したように、第２の実施形態に係る時間差測定システムによれば、以下に示す効果が得られる。第２の実施形態では、削除条件テーブル３０３及び削除条件選択基準テーブル３０４を用いて、重複削除手段２３、２８の削除条件を変えることができるように構成している。これにより、例えば、顔画像の処理負荷及びデータ量を、監視する場所（地点Ａ、Ｂ）やシステムの状態に応じて変えることが可能になる。

尚、第１及び第２の実施形態は、以下に示すような変形が可能である。第１に、２つの重複削除手段のうち、いずれか一方だけを備えるようにしてもよい。即ち、第１の実施形態の場合、重複削除手段３、８のうちの一方だけ、第２の実施形態の場合、重複削除手段２３、２８のうちの一方だけ、を備えるようにしてもよい。重複削除手段が一方だけの場合においても、演算時間の掛かる顔照合手段１１の負荷をある程度低減することが可能である。

第２に、顔特徴抽出手段９が出力する顔特徴量を一旦記憶デバイスに保存してから、照合処理や時間差算出処理を実行する構成にすることもできる。リアルタイム処理することが不要な場合、例えば、空き時間処理や夜間バッチ処理等により、処理を実行させるようにしてもよい。

第３に、顔検出手段２、７が、顔画像の画像品質（顔画像の大きさ、顔らしさの度合いなど）を算出し、顔画像と共に出力するようにしてもよい。この場合、重複削除手段（３、８、又は２３、２８）は、削除する顔画像を決定するのに、顔検出手段２、７が算出した画像品質を使用する。

第４に、図３の画像処理装置３０を、２つの装置に分割して構成するようにしてもよい。例えば、第１の装置に、監視カメラ１の画像を処理する機能（顔検出手段２、重複削除手段３、顔特徴抽出手段４、顔特徴ＤＢ５）を搭載する。一方、第２の装置に、監視カメラ６の画像を処理する機能（顔検出手段７、重複削除手段８、顔特徴抽出手段９）を搭載する。そして、上記以外の顔照合手段１１、照合結果ＤＢ１２、時間差算出手段１３、及び結果出力手段１４は、第１及び第２の装置のいずれか一方に搭載し、搭載した側の装置で、照合処理、時間差算出処理などを行うようにしてもよい。ここで、第１及び第２の装置は、互いに通信可能に接続され（無線又は有線）、照合処理、時間差算出処理等に必要な情報（抽出した顔特徴量、撮影時刻の情報など）は、それらの処理を実行する側の装置へ送信するように構成する。

第５に、図３の画像処理装置３０を、３つの装置に分割して構成するようにしてもよい。例えば、第１の装置に、監視カメラ１の画像を処理する機能（顔検出手段２、重複削除手段３、顔特徴抽出手段４、顔特徴ＤＢ５）を搭載する。また、第２の装置に、監視カメラ６の画像を処理する機能（顔検出手段７、重複削除手段８、顔特徴抽出手段９）を搭載する。そして、第３の装置に、上記以外の顔照合手段１１、照合結果ＤＢ１２、時間差算出手段１３、及び結果出力手段１４を搭載し、照合処理、時間差算出処理などを行うようにしてもよい。ここで、第１及び第２の装置は、それぞれ第３の装置と通信可能に接続され（無線又は有線）、抽出した顔特徴量、撮影時刻の情報などを第３の装置に送信するように構成する。

尚、第１の実施形態と同様に、第２の実施形態の時間差測定システムを変形し、異なる地点Ａ、Ｂに同一人物が通過したことを認識する画像処理装置として提供することもできる。

（第３の実施形態）
次に、第３の実施形態について、図１２を参照しながら説明する。図１２は第３の実施形態に係る待ち時間測定システムを模式的に示した図であり、サービスカウンター３１の待ち行列における待ち時間を測定するシステムの一例を示している。図１２において、順番待ちをする領域への入口３２を撮影する監視カメラ１と、サービスカウンター３１の近くを撮影するカメラ６とが設置されている。監視カメラ１、６のカメラ画像を処理する画像処理装置としては、第１の実施形態の画像処理装置（図３の３０）を使用する。

重複削除手段３に設定する削除条件は、同一人物と判定された複数の顔画像のうち、最初の顔画像を顔特徴抽出の対象として残し、それ以外を削除するように設定している。また、重複削除手段８に設定する削除条件は、同一人物と判定された複数の顔画像のうち、最後の顔画像を顔特徴抽出の対象として残し、それ以外を削除するように設定している。

上記のように顔特徴抽出の対象画像を選択することにより、待ち時間を過小に計測することを防ぐことができる。

（第４の実施形態）
次に、第４の実施形態について、図１３を参照しながら説明する。図１３は第４の実施形態に係る待ち時間測定システムを模式的に示した図であり、病院内で受付４３と待合室４２のある場所で、受付４３からサービス開始（例えば、診療室４１での診察開始）までの待ち時間を測定するシステムの一例を示している。図１３において、受付４３を撮影する監視カメラ１と、診療室４１の入口を撮影するカメラ６が設置されている。監視カメラ１、６のカメラ画像を処理する画像処理装置としては、第１の実施形態の画像処理装置（図３の３０）を使用する。

重複削除手段３に設定する削除条件では、受付待ち時間を除くため同一人物と判定された複数の顔画像のうち、最後の顔画像を顔特徴抽出の対象として残し、それ以外を削除するように設定している。また、重複削除手段８に設定する削除条件は、診療室４１の入口では停滞が少ないと見込まれるため、同一人物と判定された複数の顔画像のうちの最初の顔画像を顔特徴抽出の対象として残しそれ以外を削除する、処理の単純な設定にしている。

以上、第３及び第４の実施形態で示したように、待ち時間計測システムは、用途や撮影場所の状況に応じて、重複削除手段の設定を変えて、所望の待ち時間が精度良く測定できるようにすることができる。尚、第３及び第４の実施形態において、第２の実施形態の削除条件テーブル３０３及び削除条件選択基準テーブル３０４を用いるようにしてもよい。

尚、第３及び第４の実施形態では、待ち時間測定を行う場合について例示したが、本発明の時間差測定システムは待ち時間測定に限定されず、２つの異なる地点に設置されたカメラで同一人物の時間差を測定する様々な用途に適用することができる。

尚、各実施形態において、画像処理装置３０によって実行される各々の処理（例えば、図４のＳ３０２〜Ｓ３０５、Ｓ３０７〜Ｓ３１１等）は、画像処理装置３０が備えた図示しない記憶デバイスにプログラムとして格納され、画像処理装置３０が備えた図示しないＣＰＵによって呼び出されて実行される。また、そのプログラムは、ネットワークを介してダウンロードするか、或いは、プログラムを記憶した記憶媒体を用いて、更新することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）前述した第１の視点に係る時間差測定システムの通りである。

（付記２）前記第１及び第２の重複削除手段は、前記顔画像の切り出し位置及び前記顔画像の撮影時刻を用いて同一人物の判定を行う、ことを特徴とする付記１に記載の時間差測定システム。

（付記３）前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、ことを特徴とする付記１または２に記載の時間差測定システム。

（付記４）前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、ことを特徴とする付記１または２に記載の時間差測定システム。

（付記５）前記第１及び第２の重複削除手段は、
前記顔画像を削除する削除条件を１つ以上登録した削除条件テーブルと、
前記削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブルと、
を備えた、ことを特徴とする付記１乃至４のいずれか一に記載の時間差測定システム。

（付記６）前記顔照合手段は、１つの前記第２の顔特徴量に対して、複数の前記第１の顔特徴量が照合に成功した場合に、前記照合に成功した複数の第１の顔特徴量のうちの１つを選択し、選択された前記第１の顔特徴量に対応する撮影時間を前記第１の時刻とする、ことを特徴とする付記１乃至５のいずれか一に記載の時間差測定システム。

（付記７）前記第１のカメラは、待ち時間の開始の場面を撮影するカメラであり、
前記第２のカメラは、待ち時間の終了の場面を撮影するカメラであり、
前記時間差算出手段が算出する時間差は、待ち時間である、ことを特徴とする付記１乃至６のいずれか一に記載の時間差測定システム。

（付記８）前述した第２の視点に係る画像処理装置の通りである。

（付記９）前記第１及び第２の重複削除手段は、前記顔画像の切り出し位置及び前記顔画像の撮影時刻を用いて同一人物の判定を行う、ことを特徴とする付記８に記載の画像処理装置。

（付記１０）前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、ことを特徴とする付記８または９に記載の画像処理装置。

（付記１１）前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、ことを特徴とする付記８または９に記載の画像処理装置。

（付記１２）前記第１及び第２の重複削除手段は、
前記顔画像を削除する削除条件を１つ以上登録した削除条件テーブルと、
前記削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブルと、
を備えた、ことを特徴とする付記８乃至１１のいずれか一に記載の画像処理装置。

（付記１３）前記記憶部は、前記第１の顔特徴量と、撮影時刻とを対応付けて保存し、
前記顔照合手段は、前記第２の顔特徴量を前記記憶部に保存された前記第１の顔特徴量と照合し、照合に成功した前記第１の顔特徴量に対応付けられて前記記憶部に保存された撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とし、
前記第１及び第２の時刻の時間差を算出する時間差算出手段をさらに備えた、ことを特徴とする付記８乃至１２のいずれか一に記載の画像処理装置。

（付記１４）前述した第３の視点に係る時間差測定方法の通りである。

（付記１５）前記第１及び第２の重複削除ステップは、前記顔画像の切り出し位置及び前記顔画像の撮影時刻を用いて同一人物の判定を行う、ことを特徴とする付記１４に記載の時間差測定方法。

（付記１６）前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、ことを特徴とする付記１４または１５に記載の時間差測定方法。

（付記１７）前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、ことを特徴とする付記１４または１５に記載の時間差測定方法。

（付記１８）前記顔照合ステップは、１つの前記第２の顔特徴量に対して、複数の前記第１の顔特徴量が照合に成功した場合に、前記照合に成功した複数の第１の顔特徴量のうちの１つを選択し、選択された前記第１の顔特徴量に対応する撮影時間を前記第１の時刻とする、ことを特徴とする付記１４乃至１７のいずれか一に記載の時間差測定方法。

（付記１９）前述した第４の視点に係る画像処理方法の通りである。

（付記２０）前記第１及び第２の重複削除ステップは、前記顔画像の切り出し位置及び前記顔画像の撮影時刻を用いて同一人物の判定を行う、ことを特徴とする付記１９に記載の画像処理方法。

（付記２１）前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、ことを特徴とする付記１９または２０に記載の画像処理方法。

（付記２２）前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、ことを特徴とする付記１９または２０に記載の画像処理方法。

（付記２３）前述した第５の視点に係るプログラムの通りである。

本発明の時間差測定システムは、待ち時間を測定するのに適用することができる。具体的には、顧客にサービスを提供するまでの待ち時間を測定することにより、顧客の満足度を推定したり、顧客の満足度を向上させるためにサービスカウンター数の増減判断を行ったりするのに活用することができる。また、本発明は、２つの異なる地点を撮影する画像データから、同一人物である顔を効率良く照合する画像処理装置に適用することも可能である。

なお、本発明の全開示（請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１：監視カメラ（開始側）
２、７：顔検出手段（部）
３、８、２３、２８：重複削除手段（部）
４、９：顔特徴抽出手段（部）
５：顔特徴データベース
６：監視カメラ（終了側）
１０、１００：時間差測定システム
１１、１１０、２１０：顔照合手段（部）
１２：照合結果データベース
１３、１１２：時間差算出手段（部）
１４：結果出力手段（部）
２０：顔画像検出情報
３０、２００：画像処理装置
３１：サービスカウンター
３２、４４：入口
４１：診療室
４２：待合室
４３：受付
５０：移動量
１０１：第１のカメラ
１０２：第１の顔検出手段（部）
１０３：第１の重複削除手段（部）
１０４：第１の顔特徴抽出手段（部）
１０５、２０５：記憶部
１０６：第２のカメラ
１０７：第２の顔検出手段（部）
１０８：第２の重複削除手段（部）
１０９：第２の顔特徴抽出手段（部）
３０１：同一人物判定部
３０２：削除条件選択部
３０３：削除条件テーブル
３０４：削除条件選択基準テーブル
３０５：削除処理部
Ｋ１１、Ｋ１２、Ｋ２１、Ｋ２２：顔画像
Ｔ１：第１の顔特徴量
Ｔ２：第２の顔特徴量
ｔ１：第１の時刻（撮影時刻）
ｔ２：第２の時刻（撮影時刻）
Δｔ：時間差

Claims (14)

1. 第１及び第２のカメラで撮影された複数フレームの画像を処理する情報処理装置であって、
   前記第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出手段と、
   前記顔画像から、第１の顔特徴量を抽出する第１の顔特徴抽出手段と、
   前記第１の顔特徴量を保存する記憶部と、
   前記第２のカメラで撮影された複数フレームの画像から顔領域を検出し、当該顔領域を顔画像として切り出す第２の顔検出手段と、
   前記第２の顔検出手段によって切り出された顔画像から、第２の顔特徴量を抽出する第２の顔特徴抽出手段と、
   前記第２の顔特徴量を前記記憶部に保存された前記第１の顔特徴量と照合する顔照合手段と、
   を備え、
   前記第１の顔検出手段により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴抽出手段に供給する第１の重複削除手段と、
   前記第２の顔検出手段により切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴抽出手段に供給する第２の重複削除手段と、の少なくとも一方をさらに備え、
   前記第１及び第２の重複削除手段は、
   顔画像を削除する削除条件を１つ以上登録した削除条件テーブルと、
   前記削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブルと、
   を備え、
   前記削除条件テーブル及び前記削除条件選択基準テーブルに基づき、前記第１及び第２の重複削除手段は、顔画像の枚数が増えた場合には削除する顔画像を増やす、
   ことを特徴とする情報処理装置。
2. 前記記憶部は、前記第１の顔特徴量を撮影時刻と対応付けて保存し、
   前記顔照合手段は、照合に成功した前記第１の顔特徴量に対応付けられて前記記憶部に保存された撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とし、
   前記第１及び第２の時刻の時間差を算出する時間差算出手段をさらに備える、
   請求項１に記載の情報処理装置。
3. 前記第１及び第２の重複削除手段は、顔画像の切り出し位置及び当該顔画像の撮影時刻を用いて同一人物の判定を行う、
   請求項１または２に記載の情報処理装置。
4. 前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、
   請求項１乃至３のいずれか一に記載の情報処理装置。
5. 前記第１及び第２の重複削除手段は、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、
   請求項１乃至３のいずれか一に記載の情報処理装置。
6. 前記顔照合手段は、１つの前記第２の顔特徴量に対して、複数の前記第１の顔特徴量が照合に成功した場合に、前記照合に成功した複数の第１の顔特徴量のうちの１つを選択し、選択された前記第１の顔特徴量に対応する撮影時間を前記第１の時刻とする、
   請求項２に記載の情報処理装置。
7. 前記第１のカメラは、待ち時間の開始の場面を撮影するカメラであり、
   前記第２のカメラは、待ち時間の終了の場面を撮影するカメラであり、
   前記時間差算出手段が算出する時間差は、待ち時間である、
   請求項２に記載の情報処理装置。
8. 第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出ステップと、
   前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出ステップと、
   第２のカメラで撮影された複数フレームの画像から顔領域を検出し、当該顔領域を顔画像として切り出す第２の顔検出ステップと、
   前記第２の顔検出ステップにおいて切り出された顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出ステップと、
   前記第２の顔特徴量を前記第１の顔特徴量と照合する顔照合ステップと、
   を含み、
   前記第１の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出ステップに供給する第１の重複削除ステップと、
   前記第２の顔検出ステップで切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出ステップに供給する第２の重複削除ステップと、の少なくとも一方をさらに含み、
   顔画像を削除する削除条件を１つ以上登録した削除条件テーブル及び前記削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブルに基づき、顔画像の枚数が増えた場合には削除する顔画像を増やすステップをさらに含む、
   ことを特徴とする情報処理方法。
9. 照合に成功した前記第１の顔特徴量の撮影時刻を第１の時刻とし、前記第２の顔特徴量の撮影時刻を第２の時刻とする顔照合ステップと、
   前記第１及び第２の時刻の時間差を算出する時間差算出ステップと、含む、
   請求項８に記載の情報処理方法。
10. 前記第１及び第２の重複削除ステップは、顔画像の切り出し位置及び当該顔画像の撮影時刻を用いて同一人物の判定を行う、
    請求項８または９に記載の情報処理方法。
11. 前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の撮影時刻に基づいて、削除する顔画像を選択する、
    請求項８乃至１０のいずれか一に記載の情報処理方法。
12. 前記第１及び第２の重複削除ステップは、同一人物と判定された複数の顔画像の各々の画像品質に基づいて、削除する顔画像を選択する、ことを特徴とする請求項８乃至１０のいずれか一に記載の情報処理方法。
13. 前記顔照合ステップは、１つの前記第２の顔特徴量に対して、複数の前記第１の顔特徴量が照合に成功した場合に、前記照合に成功した複数の第１の顔特徴量のうちの１つを選択し、選択された前記第１の顔特徴量に対応する撮影時間を前記第１の時刻とする、
    請求項９に記載の情報処理方法。
14. 第１のカメラで撮影された複数フレームの画像から顔領域を検出し、前記顔領域を顔画像として切り出す第１の顔検出処理と、
    前記顔画像から第１の顔特徴量を抽出する第１の顔特徴量抽出処理と、
    第２のカメラで撮影された複数フレームの画像から顔領域を検出し、当該顔領域を顔画像として切り出す第２の顔検出処理と、
    前記第２の顔検出処理において切り出された顔画像から第２の顔特徴量を抽出する第２の顔特徴量抽出処理と、
    前記第２の顔特徴量を前記第１の顔特徴量と照合する顔照合処理と、
    をコンピュータに実行させ、
    さらに、
    前記第１の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第１の顔特徴量抽出処理に供給する第１の重複削除処理と、
    前記第２の顔検出処理で切り出された複数の顔画像のうち、互いに異なるフレームから切り出された複数の顔画像を比較して同一人物の顔画像であるか否かを判定し、同一人物の顔画像であると判定された複数の顔画像のうちの一部を削除し、削除せずに残された顔画像を前記第２の顔特徴量抽出処理に供給する第２の重複削除処理と、の少なくとも一方をコンピュータに実行させ、
    さらに、
    顔画像を削除する削除条件を１つ以上登録した削除条件テーブル及び前記削除条件テーブルに登録された削除条件の中から、使用する削除条件を選択する基準を設定した削除条件選択基準テーブルに基づき、顔画像の枚数が増えた場合には削除する顔画像を増やす処理をコンピュータに実行させる、
    ことを特徴とするプログラム。