JP6679373B2 - 顔検出装置、顔検出方法及び顔認識システム - Google Patents

Description

本開示は、顔検出装置、顔検出方法及び顔認識システムに関し、特に、入力された顔データと予め記憶している所定人物の顔データとを照合する顔認識装置に、通信路を介して、動画像から生成した顔データを送信する顔検出装置等に関する。

特許文献１は、類似した顔パターンが辞書に複数登録されている場合、類似した顔パターン同士を類似グループとしてグループ分けし、類似グループに属する顔パターンに対しては、通常の照合処理とは異なる特別処理によって照合の可否を判断する。これにより、顔認識用の辞書内に類似する顔パターンが存在する場合であっても、一定の照合性能及びセキュリティレベルを維持することが可能となる。

特開２００３−１４１５４２号公報

本開示は、顔認識の精度を落とすことなく、入力された顔データと予め記憶している所定人物の顔データとを照合する顔認識装置における処理負荷を軽減できる顔検出装置、顔検出方法及び顔認識システムを提供する。

本開示における顔認識装置は、顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置に、通信路を介して、動画像から生成した顔データを送信する顔検出装置であって、記憶部と、動画像を取得して前記記憶部に格納する動画像取得部と、前記顔認識装置と前記通信路を介して通信する通信部と、前記記憶部に格納された動画像に基づいて、前記顔認識装置に送信する顔データである代表顔データを生成し、生成した代表顔データを、前記通信部を介して前記顔認識装置に送信する制御部とを備え、前記制御部は、前記記憶部に格納された動画像から、前記動画像を構成する各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、前記特徴データを人物ごとに分類する分類部と、前記分類部で分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを前記代表顔データとして前記通信部を介して前記顔認識装置に送信する送信部とを有する。

本開示における顔検出装置、顔検出方法及び顔認識システムは、顔認識の精度を落とすことなく、入力された顔データと予め記憶している所定人物の顔データとを照合する顔認識装置における処理負荷を軽減するのに有効である。

実施の形態に係る顔認識システムの構成を示すブロック図である。 図１に示された顔検出装置の構成を示すブロック図である。 図１に示された顔認識装置の構成を示すブロック図である。 実施の形態に係る顔認識システムにおけるデータのやりとりの一例を示す通信シーケンス図である。 図４に示された分類サブステップの詳細を示すフローチャートである。 図５に示された分類処理において、探索窓を用いた場合の分類処理を説明する図である。 図４に示された送信サブステップの詳細を示すフローチャートである。 図７に示された送信部による送信処理の変形例を示すフローチャートである。 図４に示された分類サブステップにおける記憶部での顔データの格納方法を説明する図である。 図９に示された顔データの格納方法において、人物ごとに格納する顔データの最大個数を一定に維持する方法（圧縮処理）を説明する図である。 図４に示された送信サブステップにおける代表顔データの生成方法を説明する図である。 図１１に示される生成方法によって生成された代表顔データが顔認識装置に送信された後における顔データの圧縮方法を説明する図である。

（本開示の基礎となった知見）
特許文献１の技術では、同時に複数の人が含まれる動画像を撮影した場合の顔認識について言及がなく、その場合には、顔認識における照合時間が増大してしまうという課題、及び、顔認識装置に顔データを送信する顔検出装置と、送信されてきた顔データと辞書とを照合する顔認識装置との間の通信トラフィックが増大してしまうという課題が考えられる。なお、顔データとは、顔画像及び顔画像の特徴データの少なくとも一つである。

そこで、本開示では、顔認識の精度を落とすことなく、顔認識装置における処理負荷を軽減でき、さらに、顔検出装置と顔認識装置との間の通信トラフィックを軽減できる顔検出装置、顔検出方法及び顔認識システムを提供することを目的とする。言い換えると、本開示は、顔認識装置における処理負荷、及び、顔検出装置と顔認識装置との間の通信トラフィックを従来と変わらない状態で維持した場合には、顔認識装置においてより多くの顔認識が可能になり、その結果、顔認識装置においてより顔認識の速度又は精度を向上できる顔検出装置、顔検出方法及び顔認識システムを提供することを目的とする。

（実施の形態）
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。つまり、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

以下、図面を用いて、実施の形態を詳細に説明する。

［１．構成］
［１−１．顔認識システムの構成］
図１は、実施の形態に係る顔認識システム１０の構成を示すブロック図である。この顔認識システム１０は、街中等で撮影された動画像中に尋ね人や指名手配の犯人等の所定人物が含まれているか否かを判断するシステムであり、撮像装置１２、顔検出装置２０、通信路１４、及び、顔認識装置３０を備える。

撮像装置１２は、街中や建物内等に設置され、人物を撮影して動画像を生成するカメラであり、例えば、監視カメラとして設置されたデジタルビデオカメラである。

顔検出装置２０は、撮像装置１２で生成された動画像２３を取得して顔データを生成し、生成した顔データを代表顔データ３３として通信路１４を介して顔検出装置２０に送信する装置であり、例えば、コンピュータ装置で実現される。なお、「顔データ」とは、上述したように、顔画像及び顔画像の特徴データの少なくとも一つである。「顔画像」とは、フレームから人物の顔を切り出して得られる画像であり、典型的には、一人の人物の顔を示す画像である。「特徴データ」とは、顔画像の特徴を示すデータであり、例えば、所定次元の要素からなるベクトルで表現される。「代表顔データ」とは、顔認識装置３０に送信される顔データ、つまり、人物ごとに代表する顔データである。

通信路１４は、顔検出装置２０と顔認識装置３０とを接続する伝送路であり、例えば、無線／有線ＬＡＮ、インターネット等である。

顔認識装置３０は、通信路１４を介して入力された顔データ（つまり、代表顔データ３３）と、予め記憶している所定人物の顔データ（顔データ辞書）とを照合する装置であり、例えば、コンピュータ装置で実現される。

［１−２．顔検出装置の構成］
図２は、図１に示された顔検出装置２０の構成を示すブロック図である。顔検出装置２０は、動画像取得部２１、記憶部２２、制御部２６及び通信部２８を備える。

動画像取得部２１は、撮像装置１２から動画像２３を取得して記憶部２２に格納する入力インタフェースであり、例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）用の入出力回路等である。なお、動画像取得部２１によって取得された動画像２３は、直接、記憶部２２に格納されてもよいし、制御部２６を経て記憶部２２に格納されてもよい。

記憶部２２は、各種データを保持するメモリであり、例えば、ハードディスク、不揮発性又は揮発性の半導体メモリ等であり、本実施の形態では、動画像取得部２１で取得された動画像２３、及び、制御部２６で生成された顔データ２５を一時的に保持する。なお、動画像２３は、フレーム２４の並びで構成される。また、記憶部２２に保持される顔データ２５には、本実施の形態では、顔画像と特徴データとの組が含まれる。

通信部２８は、顔認識装置３０と通信路１４を介して通信するインタフェースであり、例えば、ＬＡＮ用インタフェースである。

制御部２６は、記憶部２２に格納された動画像２３に基づいて、顔認識装置３０に送信する顔データである代表顔データ３３を生成し、生成した代表顔データ３３を、通信部２８を介して顔認識装置３０に送信する処理部であり、例えば、プログラムを格納したり、一時的にデータを保持したりするメモリ、プログラムを実行するプロセッサ、周辺機器と入出力する入出力ポート等で実現される。制御部２６は、機能的に、分類部２６ａ及び送信部２６ｂを有する。

分類部２６ａは、記憶部２２に格納された動画像２３から、動画像２３を構成する各フレーム２４に含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、特徴データを人物ごとに分類（つまり、クラスタリング）する。より詳しくは、分類部２６ａは、記憶部２２に格納された動画像２３について、フレーム２４単位で、フレーム２４に含まれる顔画像を検出し、検出した顔画像を切り出し、切り出した顔画像の特徴を抽出することで特徴データを生成し、生成した特徴データと、既に分類された特徴データとの比較を行うことにより、生成した特徴データを既に分類された人物の特徴データに加える、又は、新たな人物の特徴データとして分類する。

なお、顔画像の検出は、例えば、予め作成された標準的な顔画像とのパターンマッチング等によって行われる。また、顔画像の切り出しは、例えば、顔の輪郭を抽出し、抽出された輪郭に沿って画像が切り出される。また、顔画像の特徴データは、例えば、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形等を示す数値等が用いられる。

このとき、予め高速化処理をする設定がされている場合には、分類部２６ａは、動画像について、フレーム単位で、検出した顔画像ごとに顔画像を囲む領域である探索窓を生成し、生成した探索窓の範囲内で比較を行う。なお、「設定」とは、オプション的な処理又は選択的な処理について、予め操作者等によって決定又は選択され、その結果を示す情報が制御部２６に保持されることをいう。

また、記憶容量を圧縮する設定が予めされている場合には、分類部２６ａは、生成した特徴データを既に分類された人物の特徴データに加える際に、加える前後において人物の特徴データの総数が変わらないようにするための圧縮処理を行う。圧縮処理には、その人物の特徴データのうち最も古く分類された特徴データを破棄する、生成した特徴データを加えた後の人物の特徴データについて相互の類似度が最も低い特徴データを破棄する、及び、生成した特徴データを加えた後の人物の特徴データを平均化することで得られる特徴データを加えたうえで最も古く分類された特徴データを破棄する、の少なくとも一つが含まれる。いずれの圧縮処理を行うかは、事前の設定による。

送信部２６ｂは、分類部２６ａで分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを代表顔データ３３として通信部２８を介して顔認識装置３０に送信する。代表顔データ３３として、特徴データ、顔画像、又は、それらの両方のいずれにするかは、事前の設定による。また、代表顔データ３３として送信される顔画像については、そのままの解像度を有する顔画像か、サムネイル化された顔画像のいずれにするかについても、事前の設定による。

このとき、記憶容量を圧縮する設定が予めされている場合には、送信部２６ｂは、代表顔データ３３を顔認識装置３０に送信した後に、送信した代表顔データ３３に対応する人物に分類されている特徴データを圧縮する。

また、追加の代表顔データ３３を顔認識装置３０に送信する設定が予めされている場合には、送信部２６ｂは、既に分類された全ての人物の特徴データについて代表顔データ３３を顔認識装置３０に送信し終えた場合に、既に分類された特徴データから、代表顔データ３３として用いられていない特徴データを選択し、選択した特徴データ及び選択した特徴データに対応する顔画像の少なくとも一つを追加の代表顔データ３３として顔認識装置３０に送信する。

なお、図２には示されていないが、顔検出装置２０は、操作者と対話するための入出力インタフェース、例えば、ボタン、ディスプレイ、操作端末との接続インタフェース等を備えてもよい。

［１−３．顔認識装置の構成］
図３は、図１に示された顔認識装置３０の構成を示すブロック図である。顔認識装置３０は、通信部３１、記憶部３２、制御部３６及び表示部３８を備える。

通信部３１は、顔検出装置２０と、通信路１４を介して通信するインタフェースであり、例えば、ＬＡＮ用インタフェースである。通信部３１は、顔検出装置２０から送信されてきた顔データ（つまり、代表顔データ３３）を受信して記憶部３２に格納する。なお、通信部３１によって受信された顔データは、直接、記憶部３２に格納されてもよいし、制御部３６を経て記憶部３２に格納されてもよい。

記憶部３２は、各種データを保持するメモリであり、例えば、ハードディスク、不揮発性又は揮発性の半導体メモリ等であり、本実施の形態では、通信部３１で取得された代表顔データ３３を一時的に保持したり、予め作成された顔データ辞書３４を保持したりする。なお、顔データ辞書３４は、入力された顔データの中から見つけ出したい所定人物の顔データを予め登録した辞書であり、例えば、尋ね人や指名手配の犯人等の所定人物の顔データである。なお、顔データ辞書３４として登録される顔データは、典型的には、所定人物の顔画像の特徴を示す特徴データである。

表示部３８は、顔認識装置３０における照合の結果等を表示するディスプレイであり、例えば、ＬＣＤ（liquid crystal display）等である。

制御部３６は、顔検出装置２０から送信されて記憶部３２に格納された代表顔データ３３が、顔データ辞書３４に登録された所定人物の顔データのいずれかであるか否かを照合し、照合の結果、あるいは、一致した場合における代表顔データについての情報を表示部３８に出力する処理部であり、例えば、プログラムを格納したり、一時的にデータを保持したりするメモリ、プログラムを実行するプロセッサ、周辺機器と入出力する入出力ポート等で実現される。制御部３６は、機能的に、特徴量抽出部３６ａ及び辞書比較部３６ｂを有する。

特徴量抽出部３６ａは、顔検出装置２０から送信されてきた顔データ（つまり、代表顔データ３３）が顔画像である場合には、その顔データから特徴量を抽出することで、特徴データを生成する。

辞書比較部３６ｂは、特徴量抽出部３６ａで生成された特徴データ、あるいは、顔検出装置２０から送信されてきた代表顔データ３３が特徴データである場合にはその特徴データと、記憶部３２に保持されている顔データ辞書３４に登録された顔データ（ここでは、所定人物の顔画像の特徴データ）とを比較し、比較の結果（例えば、算出した類似度）、あるいは、一定の閾値を超える類似度で類似した顔データについての情報を表示部３８に出力する。これによって、表示部３８を見ている人は、顔検出装置２０から送信されてきた代表顔データ３３の中に、顔データ辞書３４に登録された所定人物のものが検出された場合に、そのことを知ることができる。

［２．動作］
次に、以上のように構成された本実施の形態に係る顔認識システム１０の動作について、説明する。

［２−１．顔認識システムの動作］
図４は、本実施の形態に係る顔認識システム１０におけるデータのやりとりの一例を示す通信シーケンス図である。ここには、動画像から生成した顔データを送信する顔検出装置２０による顔検出方法を含む顔認識方法が示されている。

常時、撮影をしている撮像装置１２で得られた動画像（フレーム２４ａ〜２４ｃ）は、動画像が生成される度に、リアルタイムで、顔検出装置２０に出力される（Ｓ１０ａ〜Ｓ１０ｃ）。つまり、顔検出装置２０では、動画像が取得され、記憶部２２に格納される（動画像取得ステップ）。

顔検出装置２０では、動画像が取得される度に、リアルタイムで、記憶部２２に格納された動画像２３から、動画像２３を構成する各フレーム２４に含まれる顔画像の特徴データが生成され、生成された特徴データが比較されることにより、同一人物の特徴データが一つのグループになるように、特徴データが人物ごとに分類される（分類サブステップＳ１２ａ〜Ｓ１２ｃ）。

また、分類サブステップＳ１２ａ〜Ｓ１２ｃと並行して、顔検出装置２０の送信部２６ｂより、分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データが決定され、決定された特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つが代表顔データ３３ａ〜３３ｃとして通信部２８を介して顔認識装置３０に送信される（送信サブステップＳ１４ａ〜Ｓ１４ｃ）。

なお、上記分類サブステップＳ１２ａ〜Ｓ１２ｃ及び送信サブステップＳ１４ａ〜Ｓ１４ｃは、顔検出装置２０において、記憶部２２に格納された動画像に基づいて、顔認識装置３０に送信する顔データである代表顔データ３３ａ〜３３ｃを生成し、生成した代表顔データ３３ａ〜３３ｃを、通信部２８を介して顔認識装置３０に送信する制御ステップに相当する。

そして、顔認識装置３０では、代表顔データ３３ａ〜３３ｃのそれぞれが入力される度に、顔データ辞書３４との照合が行われ（Ｓ１６ａ〜Ｓ１６ｃ）、照合の結果、あるいは、一致した場合における代表顔データについての情報が表示部３８に出力される。

このように、本実施の形態の顔認識システム１０によれば、顔検出装置２０から顔データがそのまま顔認識装置３０に送信されるのではなく、顔検出装置２０において、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つが代表顔データとして顔認識装置３０に送信される。よって、顔認識の精度を落とすことなく、顔認識装置３０における処理負荷が軽減され、さらに、顔検出装置２０と顔認識装置３０との間の通信トラフィックが軽減される。言い換えると、顔認識装置３０における処理負荷、及び、顔検出装置２０と顔認識装置３０との間の通信トラフィックを従来と変わらない状態で維持した場合には、顔認識装置３０においてより多くの顔認識が可能になり、その結果、顔認識装置３０においてより顔認識の速度又は精度が向上される。

［２−２．顔検出装置の動作］
図５は、図４に示された分類サブステップＳ１２ａ、Ｓ１２ｂ及びＳ１２ｃの詳細（特に、特徴データを人物ごとに分類する顔検出装置２０での処理）を示すフローチャートである。

ここでは、既に、分類部２６ａによって、記憶部２２に格納された動画像２３について、フレーム２４単位で、フレーム２４に含まれる顔画像を検出し、検出した顔画像を切り出し、切り出した顔画像の特徴を抽出することで特徴データが生成され、生成された特徴データが顔データ２５として記憶部２２に格納されているとする。

まず、分類部２６ａは、記憶部２２から、分類対象の顔データ２５（ここでは、顔データＸと記す）を読み出して取得した後に（Ｓ２０）、人物の種類（数）に対応する変数ｎを初期化（０に）する（Ｓ２１）。

そして、分類部２６ａは、既に分類された第ｎ番目の人物に属する全ての顔データ［ｎ］（ここでは、特徴データ）を記憶部２２から読み込む（Ｓ２２）。なお、顔データ［ｎ］は、既に分類された第ｎ番目の人物に属する全ての顔データを指す。

続いて、分類部２６ａは、分類対象の顔データＸと、いま読み込んだ全ての顔データ［ｎ］との類似度を算出し、算出した類似度が所定値より大きいか否かを判断する（Ｓ２３）。類似度は、例えば、顔データがベクトルで表現されている場合には、顔データＸと、いま読み込んだ全ての顔データ［ｎ］それぞれとの距離の逆数の平均値等（類似度が大きいほど類似の度合が高い数値）で表現される。

その結果、類似度が所定値より大きいと判断した場合には（Ｓ２３でＹｅｓ）、分類部２６ａは、続いて、いま読み込んだ顔データ［ｎ］の代表顔データ（つまり、第ｎ番目の人物の代表顔データ）を顔認識装置３０に送信済みか否かを判断し（Ｓ２４）、送信済みの場合にのみ（Ｓ２４でＹｅｓ）、いま読み込んだ全ての顔データ［ｎ］を圧縮する（Ｓ２５）。そして、分類部２６ａは、分類対象の顔データＸを、顔データ［ｎ］と同じ人物の顔データ（つまり、第ｎ番目の人物に属する顔データ）として加えるように記憶部２２に格納する（Ｓ２６）。

一方、類似度の判定において（Ｓ２３）、類似度が所定値より大きくないと判断した場合には（Ｓ２３でＮｏ）、分類部２６ａは、変数ｎがＮ（既に分類を終えている人物の数（種類））と等しいか否かを判断し（Ｓ２７）、変数ｎがＮに等しくない、つまり、既に分類を終えている全ての人物についての判断を終えていない場合には（Ｓ２７でＮｏ）、変数ｎをインクリメント（ｎ＝ｎ＋１）した後に（Ｓ２９）、次の人物について同様の処理を繰り返し（Ｓ２２〜Ｓ２７）、一方、変数ｎがＮに等しい、つまり、既に分類を終えている全ての人物についての判断を終えた場合には（Ｓ２７でＹｅｓ）、分類対象の顔データＸがこれまでに分類していない新たな人物についての顔データとして記憶部２２に格納する（Ｓ２８）。

図６は、図５に示された分類処理において、探索窓を用いた場合の分類処理を説明する図である。図５に示された分類処理では、分類対象の顔データ２５を、既に分類された全ての人物を対象として類似度が判断されたが（ステップＳ２２、Ｓ２７、Ｓ２９）、探索窓を用いた分類処理では、探索窓の範囲内に限定される。

いま、図６の（ａ）に示されるように、一つのフレームにおいて、３人の顔画像（顔画像Ａ、顔画像Ｂ及び顔画像Ｃ）が検出されたとする。すると、分類部２６ａは、３人の顔画像Ａ、顔画像Ｂ及び顔画像Ｃのそれぞれについて、図６の（ａ）に示されるように、顔画像を中心とする所定の矩形領域を探索窓（探索窓４０ａ、探索窓４０ｂ及び探索窓４０ｃ）として設定する。

次のフレームでは、図６の（ｂ１）に示されるように、分類部２６ａは、顔画像Ａを中心とする探索窓４０ａを探索範囲として、このフレームで検出された顔画像（ここでは、顔画像Ａ）と直前のフレームで検出された顔画像Ａとを比較することで、このフレームで検出された顔画像Ａが直前のフレームで検出された顔画像Ａと同一人物（人物Ａ）に属するか否かを判断する。なお、顔画像の比較は、図５におけるステップＳ２３と同様であり、顔画像の特徴データどうしで比較される。

探索窓４０ｂについても同様に、分類部２６ａは、このフレームで検出された顔画像（ここでは、顔画像Ｂ）と直前のフレームで検出された顔画像Ｂとを比較することで、それらの顔画像が同一人物（人物Ｂ）に属するか否かを判断する。探索窓４０ｃについても同様に、分類部２６ａは、このフレームで検出された顔画像（ここでは、顔画像Ｃ）と直前のフレームで検出された顔画像Ｃとを比較することで、それらの顔画像が同一人物（人物Ｃ）に属するか否かを判断する。

これらの判断を終えると、図６の（ｂ２）に示されるように、分類部２６ａは、このフレームで検出された３人の顔画像Ａ、顔画像Ｂ及び顔画像Ｃのそれぞれについて、顔画像を中心とする新たな探索窓（探索窓４１ａ、探索窓４１ｂ及び探索窓４１ｃ）を設定する。

さらに次のフレームでは、図６の（ｃ１）に示されるように、分類部２６ａは、顔画像Ａを中心とする探索窓４１ａを探索範囲として、このフレームで検出された顔画像（ここでは、顔画像Ａ及び顔画像Ｂ）と直前のフレームで検出された顔画像Ａとを比較することで、このフレームで検出された顔画像Ａ及び顔画像Ｂが直前のフレームで検出された顔画像Ａと同一人物（人物Ａ）に属するか否かを判断する。探索窓４１ｂについても同様に、分類部２６ａは、このフレームで検出された顔画像（ここでは、顔画像Ａ及び顔画像Ｂ）と直前のフレームで検出された顔画像Ｂとを比較することで、それらの顔画像が同一人物（人物Ｂ）に属するか否かを判断する。探索窓４１ｃについても同様に、分類部２６ａは、このフレームで検出された顔画像（ここでは、顔画像Ｃ）と直前のフレームで検出された顔画像Ｃとを比較することで、それらの顔画像が同一人物（人物Ｃ）に属するか否かを判断する。

これらの判断を終えると、図６の（ｃ２）に示されるように、分類部２６ａは、このフレームで検出された３人の顔画像Ａ、顔画像Ｂ及び顔画像Ｃのそれぞれについて、顔画像を中心とする新たな探索窓（探索窓４１ａ、探索窓４１ｂ及び探索窓４１ｃ）を設定する。

このように、隣接するフレーム間では同一人物の顔が大きく動くことがまれであることを利用して、隣接するフレーム間で探索する同一人物の顔の探索範囲を探索窓に限定することで、特徴データが同一人物のものであるか否かの判断が高速化される。

図７は、図４に示された送信サブステップＳ１４ａ、Ｓ１４ｂ及びＳ１４ｃの詳細（人物ごとに代表顔データを顔認識装置３０に送信する顔検出装置２０での処理）を示すフローチャートである。

顔検出装置２０において、送信部２６ｂは、まず、顔検出装置２０が通信路１４を介して顔認識装置３０に代表顔データを送信できる通信状態にあるか否かを確認する（Ｓ３０）。具体的には、通信路１４が混雑していないか否か、及び、顔認識装置３０が代表顔データを受信できる状態にあるか否かを確認する。

確認の結果、送信できる通信状態にあると確認できた場合にだけ（Ｓ３１でＹｅｓ）、送信部２６ｂは、次の処理に進む。

まず、送信部２６ｂは、既に分類した全ての人物の顔データ（ここでは、特徴データ）について、まだ顔認識装置３０に代表顔データを送信していない人物があるか否かを判断し（Ｓ３２）、代表顔データを送信していない人物がある場合には（Ｓ３２でＹｅｓ）、代表顔データを送信していない人物がなくなるまで（Ｓ３２でＮｏ）、次の処理を繰り返す。

つまり、送信部２６ｂは、代表顔データを送信していない人物のうち、その人物に属する顔データの数が最も多い人物を選択し（Ｓ３３）、選択した人物に属する顔データの中から最適なものを代表顔データとして選択し（Ｓ３４）、顔認識装置３０に通信路１４を介して送信する（Ｓ３５）。

そして、送信を終えた送信部２６ｂは、いま送信を終えた人物及び顔データに、送信済みフラグを付与した後に（Ｓ３６）、その人物に属する顔データを圧縮して記憶部２２に格納する（Ｓ３７）。なお、送信を終えた人物に付与された送信済みフラグは、ステップＳ３２での判断に用いられる。

このように、代表顔データが顔認識装置３０に送信された後にその人物に分類された顔データが圧縮されるので、用済みとなったデータによって顔検出装置２０の記憶装置が圧迫されてしまうことが回避される。

図８は、図７に示された送信部２６ｂによる送信処理の変形例を示すフローチャートである。図７に示された送信処理では、既に分類された人物ごとに、１つの代表顔データだけが顔認識装置３０に送信されるが、この変形例では、２つ目、あるいは、それ以上の追加的な代表顔データが送信され得る。本図において、ステップＳ３０〜Ｓ３７は、図７と同じであるので、説明を省略し、新たなステップＳ４０〜Ｓ４２を説明する。

この変形例では、代表顔データを送信していない人物がなくなったと判断した場合に（Ｓ３２でＮｏ）、送信部２６ｂは、既に分類された全ての人物に属する顔データの中から、代表顔データとして送信してない顔データを１つ選択し（Ｓ４０）、追加の代表顔データとして、顔認識装置３０に通信路１４を介して送信する（Ｓ４１）。

送信を終えた送信部２６ｂは、いま送信を終えた顔データに、送信済みフラグを付与した後に（Ｓ４２）、再び、最初の処理から始める（Ｓ３０）。なお、送信を終えた顔データに付与された送信済みフラグは、ステップＳ４０での判断に用いられる。

このように、本変形例では、全ての人物について代表顔データが顔認識装置３０に送信された場合であっても、追加の代表顔データが顔認識装置３０に送信され、顔認識装置３０において追加の顔認識が行われ、顔検出装置２０と顔認識装置３０との間の通信路１４が有効活用される。

図９は、図４に示された分類サブステップＳ１２ａ、Ｓ１２ｂ及びＳ１２ｃにおける記憶部２２での顔データ２５の格納方法を説明する図である。

顔検出装置２０において、分類部２６ａは、図９に示されるように、人物ごとに、予め定めた個数（この例では、５個）を最大として、動画像２３から得られた顔データ（ここでは、顔画像及び特徴データのセット）を記憶部２２に保存する。この例では、ある時点において、人物Ａに属する顔データとして５個の顔データＡ１〜Ａ５が保存され（図９の（ａ））、人物Ｂに属する顔データとして５個の顔データＢ１〜Ｂ５が保存され（図９の（ｂ））、人物Ｃに属する顔データとして３個の顔データＣ１〜Ｃ３が保存され（図９の（ｃ））、人物Ｄに属する顔データとして１個の顔データＤ１が保存され（図９の（ｄ））、人物Ｅに属する顔データとして１個の顔データＥ１が保存されている様子が示されている（図９の（ｅ））。

図１０は、図９に示された顔データ２５の格納方法において、人物ごとに格納する顔データの最大個数を一定に維持する方法（圧縮処理）を説明する図である。

顔検出装置２０において、分類部２６ａは、図１０に示されるように、既に最大個数（ここでは、５個）の顔データ（ここでは、顔データＡ１〜Ａ５）が格納された人物（ここでは、人物Ａ）について、動画像から新たな顔データ（ここでは、顔データＡ６）が得られた場合に、事前の設定に応じて、次の３つの格納方法（図１０の（ａ）〜（ｃ））のいずれかにより、新たな顔データＡ６を反映したうえで人物Ａに属する顔データの総数が変わらないようにするための圧縮処理を行う。

具体的には、図１０の（ａ）に示される圧縮処理では、分類部２６ａは、その人物の特徴データのうち最も古く分類された顔データ（ここでは、顔データＡ１）を破棄する。また、図１０の（ｂ）に示される圧縮処理では、分類部２６ａは、生成した顔データ（ここでは、顔データＡ６）を加えた後の人物の顔データについて相互の類似度が最も低い顔データ（ここでは、顔データＡ３）を破棄する。また、図１０の（ｃ）に示される圧縮処理では、分類部２６ａは、生成した顔データ（ここでは、顔データＡ６）を加えた後の人物の顔データを平均化（例えば、特徴データを平均）することで得られる顔データ（ここでは、顔データＡｎ）を加えたうえで最も古く分類された顔データ（ここでは、顔データＡ１）を破棄する。

このような圧縮処理により、ある人物の特徴データとして新たな特徴データが加えられた場合であっても特徴データの総数が変わらないように圧縮処理が行われるので、限られた記憶容量で顔検出装置２０での処理が継続される。

なお、図９及び図１０に示される格納及び圧縮処理では、顔画像及び特徴データのセットを対象として行われたが、顔画像だけ、あるいは、特徴データだけを対象として行われてもよい。

図１１は、図４に示された送信サブステップＳ１４ａ、Ｓ１４ｂ及びＳ１４ｃにおける代表顔データの生成方法を説明する図である。

顔検出装置２０において、送信部２６ｂは、事前の設定に応じて、次の３つの生成方法（図１１の（ａ）〜（ｃ））のいずれかにより、人物ごとに代表顔データを決定して顔認識装置３０に送信する。

具体的には、図１１の（ａ）に示される生成方法では、送信部２６ｂは、代表顔データに用いられる顔データ（ここでは、特徴データ）として、同一人物に分類された顔データ（ここでは、特徴データＡ１〜Ａ５）から相互の類似度が最も高い顔データ（ここでは、特徴データＡ３）を選択し、選択した顔データ（ここでは、特徴データＡ３）に対応する顔画像を代表顔データとして顔認識装置３０に送信する。

また、図１１の（ｂ）に示される生成方法では、送信部２６ｂは、代表顔データに用いられる顔データ（ここでは、特徴データ）として、同一人物に分類された顔データ（ここでは、特徴データＡ１〜Ａ５）から、事前の設定によって定まる最も古く、若しくは、最新に分類された顔データ（ここでは、特徴データＡ５）を選択し、選択した顔データ（ここでは、特徴データＡ５）に対応する顔画像を代表顔データとして顔認識装置３０に送信する。

また、図１１の（ｃ）に示される生成方法では、送信部２６ｂは、代表顔データに用いられる顔データ（ここでは、特徴データ）として、同一人物に分類された顔データ（ここでは、特徴データＡ１〜Ａ５）に対して平均等の統計処理をして得られた顔データ（ここでは、特徴データＡｎ）を生成し、生成した顔データ（ここでは、特徴データＡｎ）を代表顔データとして顔認識装置３０に送信する。

このように、顔認識装置３０における顔認識の前置処置として、顔検出装置２０において、人物ごとに代表する代表顔データが決定され、顔認識装置３０に送信される。よって、顔認識の精度を落とすことなく、顔認識装置３０における処理負荷が軽減される。

図１２は、図１１に示される生成方法によって生成された代表顔データが顔認識装置３０に送信された後における顔データの圧縮方法を説明する図である。

顔検出装置２０において、送信部２６ｂは、事前の設定に応じて、次の２つの圧縮方法（図１２の（ａ）及び図１２（ｂ））のいずれかにより、代表顔データを顔認識装置３０に送信した後に、送信した代表顔データに対応する人物に分類されている、記憶部２２における顔データ２５を圧縮する。

具体的には、図１２の（ａ）に示される生成方法では、送信部２６ｂは、同一人物に属する全ての顔データ（ここでは、特徴データＡ１〜Ａ５）に対して平均等の統計処理をすることで、１個の顔データ（ここでは、特徴データＡｎ）に変換する。

また、図１２の（ｂ）に示される生成方法では、送信部２６ｂは、同一人物に属する全ての顔データ（ここでは、特徴データＡ１〜Ａ５）に対して相互に類似度を比較することで、最も類似度の高い顔データ（ここでは、特徴データＡ５）だけを残す。

このように、代表顔データが顔認識装置３０に送信された後にその人物に分類された特徴データが圧縮されるので、用済みとなったデータによって顔検出装置２０の記憶部２２が圧迫されてしまうことが回避される。

［３．効果等］
以上のように、本実施の形態の顔認識システム１０における顔検出装置２０は、顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置３０に、通信路１４を介して、動画像から生成した顔データを送信する装置であって、記憶部２２と、動画像を取得して記憶部２２に格納する動画像取得部２１と、顔認識装置３０と通信路１４を介して通信する通信部２８と、記憶部２２に格納された動画像に基づいて、顔認識装置３０に送信する顔データである代表顔データを生成し、生成した代表顔データを、通信部２８を介して顔認識装置３０に送信する制御部２６とを備える。制御部２６は、記憶部２２に格納された動画像から、動画像を構成する各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、特徴データを人物ごとに分類する分類部２６ａと、分類部２６ａで分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを代表顔データとして通信部２８を介して顔認識装置３０に送信する送信部２６ｂとを有する。

これにより、顔検出装置２０から顔データがそのまま顔認識装置３０に送信されるのではなく、顔検出装置２０において、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つが代表顔データとして顔認識装置３０に送信される。よって、顔認識の精度を落とすことなく、顔認識装置３０における処理負荷が軽減され、さらに、顔検出装置２０と顔認識装置３０との間の通信トラフィックが軽減される。言い換えると、顔認識装置３０における処理負荷、及び、顔検出装置２０と顔認識装置３０との間の通信トラフィックを従来と変わらない状態で維持した場合には、顔認識装置３０においてより多くの顔認識が可能になり、その結果、顔認識装置３０においてより顔認識の速度又は精度が向上される。

また、分類部２６ａは、動画像について、フレーム単位で、フレームに含まれる顔画像を検出し、検出した顔画像を切り出し、切り出した顔画像の特徴を抽出することで特徴データを生成し、生成した特徴データと、既に分類された特徴データとの比較を行うことにより、生成した特徴データを既に分類された人物の特徴データに加える、又は、新たな人物の特徴データとして分類する。

これにより、分類部２６ａは、顔画像の特徴に基づいて人物ごとに特徴データを分類するので、人物ごとに同じ判断基準で代表顔データを生成したり、人物ごとに保持する特徴データのデータ量を管理したりする等、人物ごとのデータ処理が容易となる。

また、分類部２６ａは、動画像について、フレーム単位で、検出した顔画像ごとに顔画像を囲む領域である探索窓を生成し、生成した探索窓の範囲内で比較を行う。

これにより、隣接するフレーム間では同一人物の顔が大きく動くことがまれであることを利用して、隣接するクレーム間で探索する同一人物の顔の探索範囲を探索窓に限定することで、特徴データが同一人物のものであるか否かの判断が高速化される。

また、分類部２６ａは、生成した特徴データを既に分類された人物の特徴データに加える際に、加える前後においてその人物の特徴データの総数が変わらないようにするための圧縮処理を行う。

具体的には、圧縮処理には、その人物の特徴データのうち最も古く分類された特徴データを破棄する、生成した特徴データを加えた後の人物の特徴データについて相互の類似度が最も低い特徴データを破棄する、及び、生成した特徴データを加えた後の人物の特徴データを平均化することで得られる特徴データを加えたうえで最も古く分類された特徴データを破棄する、の少なくとも一つが含まれる。

これにより、ある人物の特徴データとして新たな特徴データが加えられた場合であっても特徴データの総数が変わらないように圧縮処理が行われるので、限られた記憶容量で顔検出装置２０での処理が継続される。

また、送信部２６ｂは、代表顔データを顔認識装置３０に送信した後に、送信した代表顔データに対応する人物に分類されている特徴データを圧縮する。

これにより、代表顔データが顔認識装置３０に送信された後にその人物に分類された特徴データが圧縮されるので、用済みとなったデータによって顔検出装置２０の記憶部２２が圧迫されてしまうことが回避される。

また、送信部２６ｂは、既に分類された全ての人物の特徴データについて代表顔データを顔認識装置３０に送信し終えた場合に、既に分類された特徴データから、代表顔データとして用いられていない特徴データを選択し、選択した特徴データ及び選択した特徴データに対応する顔画像の少なくとも一つを追加の代表顔データとして顔認識装置３０に送信する。

これにより、全ての人物について代表顔データが顔認識装置３０に送信された場合であっても、追加の代表顔データが顔認識装置３０に送信され、顔認識装置３０において追加の顔認識が行われ、顔検出装置２０と顔認識装置３０との間の通信路１４が有効活用される。

また、送信部２６ｂは、代表顔データに用いられる特徴データとして、同一人物に分類された特徴データから相互の類似度が最も高い特徴データを選択する、同一人物に分類された特徴データから最も古く若しくは最新に分類された特徴データを選択する、又は、同一人物に分類された特徴データに対して統計処理して得られた特徴データを生成する。

これにより、顔認識装置３０における顔認識の前置処置として、顔検出装置２０において、人物ごとに代表する代表顔データが決定され、顔認識装置３０に送信される。よって、顔認識の精度を落とすことなく、顔認識装置３０における処理負荷が軽減される。

また、本実施の形態の顔検出装置２０による顔検出方法は、顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置３０に、通信路１４を介して、動画像から生成した顔データを送信する方法であって、動画像を取得して記憶部２２に格納する動画像取得ステップと、記憶部２２に格納された動画像に基づいて、顔認識装置３０に送信する顔データである代表顔データを生成し、生成した代表顔データを、通信部２８を介して顔認識装置３０に送信する制御ステップとを含む。制御ステップは、記憶部２２に格納された動画像から、動画像を構成する各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、特徴データを人物ごとに分類する分類サブステップと、分類サブステップで分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを代表顔データとして通信部２８を介して顔認識装置３０に送信する送信サブステップとを含む。

これにより、顔検出装置２０から顔データがそのまま顔認識装置３０に送信されるのではなく、顔検出装置２０において、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つが代表顔データとして顔認識装置３０に送信される。よって、顔認識の精度を落とすことなく、顔認識装置３０における処理負荷が軽減され、さらに、顔検出装置２０と顔認識装置３０との間の通信トラフィックが軽減される。言い換えると、顔認識装置３０における処理負荷、及び、顔検出装置２０と顔認識装置３０との間の通信トラフィックを従来と変わらない状態で維持した場合には、顔認識装置３０においてより多くの顔認識が可能になり、その結果、顔認識装置３０においてより顔認識の速度又は精度が向上される。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記実施の形態の顔検出装置２０による顔検出方法、及び、顔認識装置３０による顔認識方法は、コンピュータによって実行されるプログラムによって実現され得る。上述した顔検出方法であれば、動画像取得ステップ及び制御ステップを含むプログラムとして実現され得る。そのプログラムは、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体に記録されてもよいし、インターネット等の通信路で配信されてもよい。

また、上記実施の形態では、顔検出装置２０の制御部２６が有する分類部２６ａ及び送信部２６ｂは、プロセッサがプログラムを実行することによってソフトウェア的に実現されたが、このような実現方法に限られず、ゲートアレイ等を用いた専用の電子回路によってハードウェア的に実現されてもよい。

また、上記実施の形態では、顔認識システム１０は、１台の顔検出装置２０と１台の顔認識装置３０で構成されたが、顔検出装置２０及び顔認識装置３０の少なくとも一方が複数台で構成されてもよい。顔検出装置２０が複数台で構成される場合には、顔認識装置３０は、それら複数台の顔検出装置２０から送信されてくる代表顔データと辞書とを照合するサーバ装置として機能し、顔認識装置３０が複数台で構成される場合には、それら複数台の顔認識装置３０は、１台以上の顔検出装置２０から送信されている代表顔データと辞書とを照合するクラウドとして機能する。

また、上記実施の形態では、顔検出装置２０から、顔認識装置３０にデータを送信する方法について述べたが、顔認識装置３０の情報を顔検出装置２０に伝達して、顔検出装置２０に対して制御を加えるとしてもよい。例えば、顔認識装置３０で、照合が成立した場合に、さらに認証の精度を高めるために、顔検出装置２０に再送信要求を伝達した上で、別の代表顔データを送信させて、再度照合を確認するという方法も考えられる。さらには、顔認識装置３０での照合が成立しない場合に、顔検出装置２０に再送信要求を伝達した上で、別の代表顔データを送信させて、抜けを防ぐことにより認証の精度を高めることも考えられる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、顔認識の精度を落とすことなく、顔認識装置における処理負荷を軽減できる顔検出装置、顔検出方法及び顔認識システムに適用可能である。具体的には、カメラで撮影された画像から顔データを抽出し、抽出して顔データを、尋ね人等の所定人物が含まれているか否かを判断する顔認識装置に送信する顔検出装置等に、本開示は適用可能である。

１０ 顔認識システム
１２ 撮像装置
１４ 通信路
２０ 顔検出装置
２１ 動画像取得部
２２ 記憶部
２３ 動画像
２４、２４ａ〜２４ｃ フレーム
２５ 顔データ
２６ 制御部
２６ａ 分類部
２６ｂ 送信部
２８ 通信部
３０ 顔認識装置
３１ 通信部
３２ 記憶部
３３、３３ａ〜３３ｃ 代表顔データ
３４ 顔データ辞書
３６ 制御部
３６ａ 特徴量抽出部
３６ｂ 辞書比較部
３８ 表示部

Claims (10)

1. 顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置に、通信路を介して、動画像から生成した顔データを送信する顔検出装置であって、
   記憶部と、
   動画像を取得して前記記憶部に格納する動画像取得部と、
   前記顔認識装置と前記通信路を介して通信する通信部と、
   前記記憶部に格納された動画像に基づいて、前記顔認識装置に送信する顔データである代表顔データを生成し、生成した代表顔データを、前記通信部を介して前記顔認識装置に送信する制御部とを備え、
   前記制御部は、
   前記記憶部に格納された動画像から、前記動画像を構成する各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、前記特徴データを人物ごとに分類する分類部と、
   前記分類部で分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを前記代表顔データとして前記通信部を介して前記顔認識装置に送信する送信部とを有する
   顔検出装置。
2. 前記分類部は、前記動画像について、フレーム単位で、フレームに含まれる顔画像を検出し、検出した顔画像を切り出し、切り出した顔画像の特徴を抽出することで前記特徴データを生成し、生成した前記特徴データと、既に分類された特徴データとの比較を行うことにより、生成した前記特徴データを既に分類された人物の特徴データに加える、又は、新たな人物の特徴データとして分類する
   請求項１記載の顔検出装置。
3. 前記分類部は、前記動画像について、フレーム単位で、検出した顔画像ごとに前記顔画像を囲む領域である探索窓を生成し、生成した探索窓の範囲内で前記比較を行う
   請求項２記載の顔検出装置。
4. 前記分類部は、生成した前記特徴データを既に分類された人物の特徴データに加える際に、加える前後において前記人物の特徴データの総数が変わらないようにするための圧縮処理を行う
   請求項２記載の顔検出装置。
5. 前記圧縮処理には、前記人物の特徴データのうち最も古く分類された特徴データを破棄する、生成した前記特徴データを加えた後の前記人物の特徴データについて相互の類似度が最も低い特徴データを破棄する、及び、生成した前記特徴データを加えた後の前記人物の特徴データを平均化することで得られる特徴データを加えたうえで最も古く分類された特徴データを破棄する、の少なくとも一つが含まれる
   請求項４記載の顔検出装置。
6. 前記送信部は、前記代表顔データを前記顔認識装置に送信した後に、送信した前記代表顔データに対応する人物に分類されている特徴データを圧縮する
   請求項１〜５のいずれか１項に記載の顔検出装置。
7. 前記送信部は、既に分類された全ての人物の特徴データについて代表顔データを前記顔認識装置に送信し終えた場合に、既に分類された特徴データから、前記代表顔データとして用いられていない特徴データを選択し、選択した前記特徴データ及び選択した前記特徴データに対応する顔画像の少なくとも一つを追加の代表顔データとして前記顔認識装置に送信する
   請求項１〜６のいずれか１項に記載の顔検出装置。
8. 前記送信部は、前記代表顔データに用いられる特徴データとして、同一人物に分類された特徴データから相互の類似度が最も高い特徴データを選択する、同一人物に分類された特徴データから最も古く若しくは最新に分類された特徴データを選択する、又は、同一人物に分類された特徴データに対して統計処理して得られた特徴データを生成する
   請求項１〜７のいずれか１項に記載の顔検出装置。
9. 顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置に、通信路を介して、動画像から生成した顔データを送信する顔検出装置による顔検出方法であって、
   動画像を取得して記憶部に格納する動画像取得ステップと、
   前記記憶部に格納された動画像に基づいて、前記顔認識装置に送信する顔データである代表顔データを生成し、生成した代表顔データを、通信部を介して前記顔認識装置に送信する制御ステップとを含み、
   前記制御ステップは、
   前記記憶部に格納された動画像から、前記動画像を構成する各フレームに含まれる顔画像の特徴データを生成し、生成した特徴データを比較することにより、同一人物の特徴データが一つのグループになるように、前記特徴データを人物ごとに分類する分類サブステップと、
   前記分類サブステップで分類された人物ごとの特徴データに基づいて、人物ごとに代表する特徴データを決定し、決定した特徴データ及び決定した特徴データに対応する顔画像の少なくとも一つを前記代表顔データとして前記通信部を介して前記顔認識装置に送信する送信サブステップと
   を含む顔検出方法。
10. 顔画像及び顔画像の特徴データの少なくとも一つである顔データと、予め記憶している所定人物の顔データとを照合する顔認識装置と、
    前記顔検出装置に、通信路を介して、動画像から生成した顔データを送信する請求項１〜８のいずれか１項に記載の顔検出装置と
    を備える顔認識システム。

Images