JP6906973B2

JP6906973B2 - 顔検出装置、顔検出方法、顔検出プログラム、及び対象物検出装置

Info

Publication number: JP6906973B2
Application number: JP2017021866A
Authority: JP
Inventors: 雅典後藤; 中嶋　康博; 康博中嶋; 健森藤
Original assignee: Glory Ltd
Current assignee: Glory Ltd
Priority date: 2017-02-09
Filing date: 2017-02-09
Publication date: 2021-07-21
Anticipated expiration: 2037-02-09
Also published as: JP2018128885A

Description

本発明は、動画像から顔を検出する顔検出装置、顔検出方法、顔検出プログラム、及び動画像から対象物を検出する対象物検出装置に関する。

こうした顔検出装置の一例として、例えば特許文献１に記載の装置は、予め登録した背景画像と動画像を構成するフレームとの差分を算出し、差分が大きいエリアを顔検出対象領域として限定する。そして、こうした構成により、同じ場所を撮影した動画像から顔を検出する際の処理負荷の低減を図っている。

また、こうした顔検出装置の他の一例として、例えば特許文献２に記載の装置は、基準フレームと比較対象フレームとの差分値が閾値より大きいときにはフレーム全体で顔の検出を行う一方、差分値が閾値以下であるときには基準フレームにおいて顔が検出された顔領域を比較対象フレームにおいても顔領域として決定する。そして、こうした構成により、フレーム間で移動しなかった顔を検出できると共に、処理時間の短縮を図っている。

特開平９−９１４２９号公報特許第４３８０３０８号公報

しかしながら、上記特許文献１に記載の装置では、例えば道路に面している場所を撮影する場合、背景に登場した車が一時的に停車していても、車の領域が差分として検出される。その結果、顔検出対象領域を十分に限定することができず、動画像から顔を検出する際の処理負荷を適正に低減することができないという問題があった。

また、上記特許文献２に記載の装置では、基準フレームと比較対象フレームとの差分が閾値を上回るとフレーム全体で顔の検出が行われるため、両フレーム間の変化がフレーム全体に及ぶものでなくても、フレーム全体を顔検出対象領域として顔の検出が行われる。その結果、例えばフレーム内の一部で変化が頻繁に生じる撮影場所では、処理時間の短縮の効果が小さいという問題があった。

本発明は、このような実情に鑑みてなされたものであり、その目的は、同じ場所を撮影した動画像から顔を検出する際の処理負荷を低減することのできる顔検出装置、顔検出方法、顔検出プログラム、及び動画像から対象物を検出する際の処理負荷を低減することのできる対象物検出装置を提供することにある。

上記課題を解決するため、本発明は、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部とを備えることを特徴とする。

また、上記課題を解決するため、本発明は、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理とを含むことを特徴とする。

また、上記課題を解決するため、本発明は、コンピュータに、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理とを実行させることを特徴とする。

上記構成によれば、予め登録した背景画像ではなく、動画像を構成するフレーム同士の差分に基づいて動体領域を検出する。これにより、例えば道路に面している場所を撮影する場合、背景に登場した車が停車しているのであれば、車の領域が動体領域としては検出されない。すなわち、背景に物体が登場としたとしても、その物体が静止しているのであれば動体領域としては検出されない。また、動画像を構成するフレームの変化がフレームの一部のみで生じる場合には、当該変化を生じる部分のみが動体領域として設定される。そのため、背景の変化に起因して動体領域が必要以上に大きくなりにくい。したがって、こうした動体領域を対象として検出対象フレームから顔を検出することにより、動画像から顔を検出する際の処理負荷を低減することができる。また、上記構成によれば、動画像を構成するフレーム同士の差分に基づく動体領域に加え、検出対象フレームとは異なる時点で撮影されたフレームから顔が検出された顔領域を対象として検出対象フレームから顔を検出する。これにより、動画像に含まれる人物が静止しており、動画像を構成するフレーム同士の差分が得られにくいときであっても、動画像から顔を検出することができる。すなわち、動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。

また、本発明は、上記発明において、前記領域設定部は、前記顔領域及び前記動体領域のうち少なくとも一方が含まれる領域を、前記顔検出部により都度行われる顔の検出の際の前記対象領域として設定することを特徴とする。

一般に、動画像に含まれる人物の動きが比較的小さいときには、検出対象フレームと当該検出対象フレームとは異なる時点で撮影されたフレームとの差分に基づき検出される動体領域と、検出対象フレームとは異なる時点で撮影されたフレームから顔が検出された顔領域とは、部分的に重畳する可能性が高い。そこで、上記構成では、これら領域のうち少なくとも一方が含まれる領域を検出対象フレームにおいて顔を検出する対象領域として設定する。これにより、一回の処理によって、顔領域及び動体領域のうち少なくとも一方が含まれる領域を対象領域とした顔の検出が行われることとなる。そのため、これら領域ごとに検出対象フレームからの顔の検出を別々の処理として行う場合と比較して、その処理負荷をより一層低減することができる。

また、本発明は、上記発明において、前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、前記顔検出部は、第１の検出対象フレームから顔を検出したときには、前記第１の検出対象フレームと当該第１の検出対象フレームに続く第２の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、前記領域設定部は、前記第１の検出対象フレームから前記顔検出部により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定することを特徴とする。

上記構成によれば、検出対象フレームから顔が検出されたときには、動画像を構成するフレームのうち、時系列的に隣り合う検出対象フレームの間に撮影される中間フレームからも顔を検出する。そのため、所定のフレーム間隔で撮影された検出対象フレームのみから顔を検出する場合と比較して、検出対象フレームにおいて顔を検出する対象領域の設定に用いられる顔領域の更新の頻度が高まる。そのため、検出対象フレームからの顔の検出をより一層高い精度で行うことができる。その一方で、検出対象フレームから顔が検出されないときには、動画像を構成するフレームのうち、当該検出対象フレームから所定のフレーム間隔をあけて撮影された次の検出対象フレームからの顔の検出を実行する。すなわち、動画像に人物が含まれていないときには、フレームからの顔の検出を実行する頻度を抑えることにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。

また、本発明は、上記発明において、前記領域設定部は、前記第１の検出対象フレームの前記顔領域に基づき、前記中間フレームにおいて前記顔検出部により顔を検出する対象領域を設定することを特徴とする。

上記構成によれば、検出対象フレームから顔が検出されたときには、当該検出された顔領域に基づき設定される領域を対象として、時系列的に隣り合う検出対象フレームの間に撮影される中間フレームから顔を検出する。すなわち、検出対象フレームと中間フレームとは、時系列的に近接して撮影されたフレームであることから、検出対象フレームから顔が検出された顔領域に基づく領域を、中間フレームからの顔の検出の対象領域として適用する。これにより、顔を検出する際の処理負荷を低減しつつも、動画像からの顔の検出の精度を高めることができる。

また、本発明は、上記発明において、前記検出対象フレームは、複数のフレーム間隔をあけて撮影されるフレームであり、前記領域設定部は、前記第１の検出対象フレームから前記顔検出部により顔が検出されたときには、前記第１の検出対象フレームに続く複数の前記中間フレームのうち、時系列的に前記第２の検出対象フレームに最も近い時点で撮影された前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定することを特徴とする。

上記構成によれば、第２の検出対象フレームにおいて顔を検出する対象領域の設定に用いられる中間フレームと第２の検出対象フレームとが時系列的により一層近接する。これにより、顔の検出の精度を更に高めることができる。

また、本発明は、上記発明において、前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、前記動体検出部は、時系列的に連続する前記検出対象フレーム同士の差分に基づき前記動体領域を検出することを特徴とする。

上記構成によれば、動画像を構成するフレームのうち、時系列的に連続するフレーム同士を比較の対象として動体領域を検出する構成と比較して、比較の対象となるフレーム同士の撮影間隔が確保されやすい。そのため、動画像に含まれる人物がゆっくりと移動しているときであっても、比較の対象となるフレームに含まれる人物の位置が部分的に重なるような状況が発生しにくい。したがって、動画像を構成するフレームの中から、移動中にある人物の領域を動的領域としてより一層的確に検出することが可能となる。

また、本発明は、上記発明において、前記領域設定部は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサイズの小さい領域を、前記検出対象フレームにおいて前記顔検出部により顔を検出する対象領域から除外することを特徴とする。

一般に、動画像の背景が変化するときには、動画像に含まれる人物の領域の他に、動画像の背景自体の変化に起因して、動画像を構成するフレーム同士の差分が大きくなる領域が点在しやすくなる。そこで、上記構成によるように、こうした動画像の背景の変化に起因して点在した差分の大きい領域を検出対象フレームにおいて顔を検出する対象領域から除外することにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。

また、上記課題を解決するため、本発明は、動画像を構成するフレームのうち、対象物を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、対象物が存在する領域である対象物領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から対象物を検出する対象物検出部とを備えることを特徴とする。

上記構成によれば、予め登録した背景画像ではなく、動画像を構成するフレーム同士の差分に基づいて動体領域を検出する。これにより、例えば道路に面している場所を撮影する場合、背景に登場した車が停車しているのであれば、車の領域が動体領域としては検出されない。すなわち、背景に物体が登場としたとしても、その物体が静止しているのであれば動体領域としては検出されない。また、動画像を構成するフレームの変化がフレームの一部のみで生じる場合には、当該変化を生じる部分のみが動体領域として設定される。そのため、背景の変化に起因して動体領域が必要以上に大きくなりにくい。したがって、こうした動体領域を対象として検出対象フレームから対象物を検出することにより、動画像から対象物を検出する際の処理負荷を低減することができる。また、上記構成によれば、動画像を構成するフレーム同士の差分に基づく動体領域に加え、検出対象フレームとは異なる時点で撮影されたフレームから対象物が検出された対象物領域を対象として検出対象フレームから対象物を検出する。これにより、動画像に含まれる対象物が静止しており、動画像を構成するフレーム同士の差分が得られにくいときであっても、動画像から対象物を検出することができる。すなわち、動画像に含まれる対象物が移動と静止とを繰り返すときにも、動画像からの対象物の検出を継続して行うことができる。

本発明によれば、同じ場所を撮影した動画像から顔を検出する際の処理負荷を低減することができる。

顔検出装置の一実施の形態の概略構成を示すブロック図。顔領域の概要を説明するための模式図。（ａ）は、動画像を構成するフレームとしてのキーフレーム及び非キーフレームを説明するための模式図、（ｂ）、（ｃ）は、図３（ａ）に示したキーフレーム及び非キーフレームのうち、キーフレームにおける顔の検出結果に応じた顔検出の対象範囲を説明するための模式図。（ａ）〜（ｄ）は、時系列的に連続するキーフレーム及び非キーフレームにおける顔検出対象領域の設定処理に関する処理の流れを説明するための模式図。動画像に対する顔検出対象領域の設定態様の一例を示す模式図。同実施の形態の顔検出装置が実行する顔検出処理の処理内容を示すフローチャート。（ａ）、（ｂ）は、比較例の顔検出装置が動画像から顔検出を行うときの作用を説明するための図、（ｃ）は、同実施の形態の顔検出装置が動画像から顔検出を行うときの作用を説明するための図。（ａ）〜（ｃ）は、顔検出装置の他の実施の形態であって、時系列的に連続するキーフレームにおける顔検出対象領域の設定処理に関する処理の流れを説明するための模式図。

以下、本発明の実施の形態として、検出する対象物を顔とした対象物検出装置である顔検出装置及び該顔検出装置を用いた顔検出方法の一実施の形態について図面を参照して説明する。

本実施の形態の顔検出装置は、監視カメラにより入力される動画像から顔を検出するための装置であり、当該検出した顔を人物の照合に利用する顔照合装置の一部を構成している。この顔検出装置では、動画像から顔を検出する際に、検出の対象となる範囲となる対象物領域（以下、顔検出対象領域という）を限定することにより、動画像から顔を検出する際の処理負荷の低減を図っている。

具体的には、図１に示すように、顔照合装置１００は、動画像から顔を検出する機能部としての顔検出装置１１０と、顔検出装置１１０により検出した顔に基づき人物の照合を行う機能部としての照合部１６０とを備えている。

顔検出装置１１０は、例えばＣＰＵ（中央演算装置）、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、バックアップＲＡＭ、外部入力回路、及び外部出力回路等から構成された電子制御装置（コンピュータ）である。そして、顔検出装置１１０は、ＣＰＵがＲＯＭに格納された顔検出プログラムを実行することにより、動体検出部１３０、対象物検出部としての顔検出部１４０、及び、領域設定部１５０として機能する。

動体検出部１３０は、監視カメラ１０からインターフェース部１２０を通じて動画像をフレーム単位で取得する。また、動体検出部１３０は、こうして取得したフレーム同士の差分を算出し、当該算出した差分が所定の閾値以上となる領域を動体領域として検出する。ここで、動体領域とは、動画像の中で画素の輝度値が大きく変化する領域を意味している。そして、動画像に含まれる人物が移動しているときには、顔を含めた人物の身体全体の領域が動体領域に含まれる。

顔検出部１４０は、監視カメラ１０からインターフェース部１２０を通じて動画像をフレーム単位で取得する。また、顔検出部１４０は、こうして取得したフレームから、領域設定部１５０により事前に設定された顔検出対象領域ＴＡ（図５等参照）を対象として顔を検出し、当該検出した顔のデータを照合部１６０に出力する。

このとき、図２に示すように、顔検出部１４０は、事前に設定された顔検出対象領域ＴＡの中から所定の領域Ｓ１を選択し、当該選択した領域Ｓ１を複数の単位領域Ｓ２に区分する。そして、各単位領域Ｓ２から得られる画像のデータと、予め複数の人物の顔画像から作成した平均顔画像を単位領域Ｓ２と同様に区分した画像のデータとを単位領域毎に照合し、各単位領域毎の類似度の合計値に基づき、上述のように選択した領域Ｓ１に顔が含まれるか否かを検出する。そして、顔検出部１４０は、領域Ｓ１の位置や大きさを変更して照合を繰り返し、選択した領域Ｓ１に顔が含まれるときには、当該選択した領域Ｓ１を顔が存在する領域である顔領域として検出する。

照合部１６０は、顔検出部１４０から入力された顔のデータを、テンプレート記憶部１７０に事前に格納している複数のユーザの顔のデータと比較する。そして、照合部１６０は、それら比較した顔のデータの類似度に基づき人物の照合を行い、その照合結果を外部に出力する。

ここで、顔検出部１４０により顔を検出する対象となるフレームを検出対象フレームとするとき、検出対象フレームと、検出対象フレームよりも前に撮影されたフレームとの差分に基づく動体領域が動体検出部１３０から領域設定部１５０に出力される。そして、領域設定部１５０は、動体検出部１３０から入力された動体領域を動体マスクＭＭ（図５等参照）として設定する。また、動画像を構成するフレームのうち、上述した検出対象フレームよりも前に撮影されたフレームから検出された顔領域が顔検出部１４０から領域設定部１５０に出力される。そして、領域設定部１５０は、顔検出部１４０から入力される顔領域を顔マスクＦＭ（図５等参照）として設定する。

また、領域設定部１５０は、例えばフレームの周縁部等、フレームからの顔の検出が想定しにくい領域を除外した領域を初期マスクＰＭ（図５等参照）として設定する。そして、領域設定部１５０は、動体マスクＭＭ及び顔マスクＦＭのうち少なくとも一方が含まれる領域と初期マスクＰＭとが重なる領域を、検出対象フレームにおける顔検出対象領域ＴＡとして設定する。すなわち、領域設定部１５０は、動体マスクＭＭ及び顔マスクＦＭの双方を、検出対象フレームにおける顔検出対象領域ＴＡとして設定する。

なお、図３（ａ）に示すように、領域設定部１５０が動体マスクＭＭ及び顔マスクＦＭに基づき顔検出対象領域ＴＡを設定する対象となる検出対象フレームは、動画像を構成するフレームのうち、所定のフレーム間隔（同図に示す例では、２フレーム間隔）で撮影されたキーフレームに相当する。そして、図３（ｂ）に示すように、領域設定部１５０は、キーフレームから顔が検出されないときには、時系列的に隣り合うキーフレーム間の中間フレームである非キーフレームに対しては顔検出対象領域ＴＡを設定しない。その一方で、図３（ｃ）に示すように、領域設定部１５０は、キーフレームから顔が検出されたときには、当該キーフレームを第１の検出対象フレームとし、第１の検出対象フレームに続いて撮影されるキーフレームを第２の検出対象フレームとする。そして、領域設定部１５０は、第１の検出対象フレームと第２の検出対象フレームとの間に撮影される中間フレームである非キーフレームに対しても顔検出対象領域ＴＡを設定する。このとき、領域設定部１５０は、キーフレームから顔が検出された顔領域及びその周辺領域を、当該検出された顔領域に追随させるかたちでキーフレームに連続して撮影される非キーフレームにおける顔検出対象領域ＴＡとして設定する。これは、時系列的に隣り合うキーフレーム間では時間間隔が比較的短く、キーフレームにおいて顔が検出された位置から非キーフレームにおける顔の位置が大きく変化することが想定しにくいためである。

より詳細には、図４（ａ）に示すように、領域設定部１５０は、キーフレームから動体検出部１３０により検出された動体領域を動体マスクＭＭとして設定する。そして、領域設定部１５０は、こうしてキーフレームから設定した動体マスクＭＭと、直前の非キーフレーム（図示略）から設定された顔マスクＦＭとに基づき、キーフレームにおける顔検出対象領域ＴＡを設定する。そして、顔検出部１４０は、こうして設定された顔検出対象領域ＴＡを対象としてキーフレームから顔を検出する。

続いて、図４（ｂ）に示すように、領域設定部１５０は、こうしてキーフレームから顔が検出された顔領域及びその周辺領域を、キーフレームに連続して撮影された非キーフレームにおける顔検出対象領域ＴＡとして設定する。そして、顔検出部１４０は、こうして設定された顔検出対象領域ＴＡを対象として非キーフレームから顔を検出する。

また、図４（ｃ）に示すように、領域設定部１５０は、次の非キーフレームについても同様に、前の非キーフレームから顔が検出された顔領域及びその周辺領域を、次の非キーフレームにおける顔検出対象領域ＴＡとして設定する。そして、顔検出部１４０は、こうして設定された顔検出対象領域ＴＡを対象として非キーフレームから顔を検出する。また、領域設定部１５０は、こうして非キーフレームから顔が検出されたとき、当該検出された顔領域を顔マスクＦＭとして設定する。

そして次に、図４（ｄ）に示すように、領域設定部１５０は、非キーフレームに連続して撮影されたキーフレームから動体検出部１３０により動体領域を検出し、当該検出した動体領域を動体マスクＭＭとして設定する。そして、領域設定部１５０は、こうして設定した動体マスクＭＭと、上述のように非キーフレームから設定した顔マスクＦＭとに基づき、キーフレームにおける顔検出対象領域ＴＡを設定する。そして、顔検出部１４０は、こうして設定された顔検出対象領域ＴＡを対象としてキーフレームから顔を検出する。

そして以降、領域設定部１５０は、キーフレームにおける顔検出対象領域ＴＡの設定と、非キーフレームにおける顔検出対象領域ＴＡの設定とを繰り返す。
図５は、動画像に対する顔検出対象領域ＴＡの設定態様の一例を示す図である。同図においては、各フレームは撮影された順に左方向から右方向に時系列的に並んでいる。同図に示す例では、動画像には、時刻ｔ０の最初は何も映っていない状態から時刻ｔ１に人物が出現し、人物が監視カメラ１０に次第に近づいた後、時刻ｔ２から時刻ｔ３にかけて監視カメラ１０の前で立ち止まる様子が示されている。この場合、初期マスクＰＭは、フレームの内容に影響を受けるものではないため、全てのフレームに共通するかたちで、例えばフレームの周縁等、顔の検出が想定しにくい領域を除外した領域として事前に設定されている。

また、動体マスクＭＭは、動画像を構成する時系列的に連続するキーフレーム同士の差分が大きい動体領域として設定されている。この例では、時刻ｔ０と時刻ｔ１との間で動画像に最初に人物が出現した時点、並びに、時刻ｔ１と時刻ｔ２との間で出現した人物が監視カメラ１０に近付く過程でのキーフレーム間の差分が大きい領域として、人物の身体全体の領域が設定されている。その一方で、この例では、時刻ｔ２と時刻ｔ３との間で出現した人物が監視カメラ１０の前で立ち止まった後の過程では、キーフレーム間の差分が生じにくいことから動体マスクＭＭは設定されていない。

また、顔マスクＦＭは、一つ前の時点のキーフレームにおいて顔が検出されたときに、当該キーフレームに連続して撮影される非キーフレームのうち現時点のキーフレームの直前となる非キーフレームから顔が検出された顔領域として設定されている。

この例では、時刻ｔ２及び時刻ｔ３において動画像に出現した人物が監視カメラ１０の前で立ち止まっている状態のキーフレームにおける顔マスクＦＭとして、その直前の非キーフレームから顔が検出された顔領域が設定されている。そして、キーフレームにおける顔検出対象領域ＴＡとして、動体マスクＭＭ及び顔マスクＦＭのうち少なくとも一方が含まれる領域と初期マスクＰＭとが重なる領域が設定されている。また、同図に破線の四角形で示すように、非キーフレームにおける顔検出対象領域ＴＡとして、一つ前の時点のキーフレーム又は非キーフレームから顔が検出された顔領域及びその周辺領域が設定されている。なお、動体マスクＭＭ及び顔マスクＦＭは、必ずしも動体領域及び顔領域と一致する領域である必要はなく、少なくとも動体領域及び顔領域を含む領域であればよい。すなわち、動体マスクＭＭ及び顔マスクＦＭは、動体領域及び顔領域に加え、その周辺にマージンを持たせた領域であってもよい。

次に、上記実施の形態の顔照合装置１００が実行する顔検出処理について、その具体的な処理手順を説明する。なお、顔照合装置１００は、装置の電源がオンとなった時点で、図６に示す顔検出処理を開始する。

図６に示すように、この顔検出処理ではまず、顔照合装置１００は、初期マスクＰＭを設定する（ステップＳ１０）。
そして次に、顔照合装置１００は、監視カメラ１０から動画像を構成するフレームを取得する（ステップＳ１１）。

そして、顔照合装置１００は、こうして取得したフレームのうち、時系列的に隣り合うキーフレーム間の差分データに基づき、動体領域を検出する（ステップＳ１２、動体検出処理）。

また、顔照合装置１００は、先のステップＳ１２においてキーフレームから検出した動体領域を動体マスクＭＭとして設定する（ステップＳ１３）。
続いて、顔照合装置１００は、現時点のキーフレームの直前となる非キーフレームから顔が検出されたか否かを判定する（ステップＳ１４）。

そして、顔照合装置１００は、直前の非キーフレームから顔が検出されたと判定したときには（ステップＳ１４＝ＹＥＳ）、検出された顔領域を顔マスクＦＭとして設定する（ステップＳ１５）。

その一方で、顔照合装置１００は、直前の非キーフレームから顔が検出されていないと判定したときには（ステップＳ１４＝ＮＯ）、先のステップＳ１５の処理を経ることなく、その処理をステップＳ１６に移行する。

そして、ステップＳ１６において、顔照合装置１００は、先のステップＳ１０において設定した初期マスクＰＭと、先のステップＳ１３において設定した動体マスクＭＭ、及び、先のステップＳ１５において設定した顔マスクＦＭのうち少なくとも一方とが重なる領域を顔検出対象領域ＴＡとして設定する（ステップＳ１６、領域設定処理）。

また、顔照合装置１００は、先のステップＳ１６において設定した顔検出対象領域ＴＡを対象として現時点のキーフレームから顔を検出する（ステップＳ１７、顔検出処理）。
そして、顔照合装置１００は、現時点のキーフレームから顔が検出されたときには（ステップＳ１８＝ＹＥＳ）、顔の検出結果に基づき、動画像に含まれる人物を照合する（ステップＳ１９）。

また、顔照合装置１００は、先のステップＳ１７において顔が検出された顔領域に基づき、現時点のキーフレームに連続して撮影された非キーフレームの顔検出対象領域ＴＡを設定する（ステップＳ２０）。

そして、顔照合装置１００は、先のステップＳ２０において設定した顔検出対象領域ＴＡを対象として、非キーフレームから顔を検出する（ステップＳ２１、顔検出処理）。
その一方で、顔照合装置１００は、現時点のキーフレームから顔が検出されなかったときには（ステップＳ１８＝ＮＯ）、ステップＳ１９〜ステップＳ２１の処理を経ることなく、その処理をステップＳ２２に移行する。

そして以降、顔照合装置１００は、装置の電源がオンとなっている間は（ステップＳ２２＝ＮＯ）、その処理をステップＳ１１に戻し、ステップＳ１１〜ステップＳ２２の処理を繰り返す。そして、顔照合装置１００は、装置の電源がオフとなった時点で（ステップＳ２２＝ＹＥＳ），図６に示す顔検出処理を終了する。

次に、本実施の形態の顔照合装置１００の作用について説明する。
動画像から顔を検出する際、図７（ａ）に示すように、キーフレームにおける顔検出対象領域ＴＡとして顔マスクＦＭのみを設定する比較例の構成にあっては、時刻ｔ１に動画像に人物が登場したとしても、その人物の顔を検出するための顔マスクＦＭが時刻ｔ０において事前に設定されていない限りは、キーフレームから顔を検出することはできない。そして、こうして時刻ｔ１のキーフレームから顔が検出されないとすると、続いて撮影される時刻ｔ２及び時刻ｔ３のキーフレームにおいても顔を検出する対象が定まらない。そのため、時刻ｔ２から時刻ｔ３にかけてキーフレームに人物が含まれていたとしても依然として顔を検出することができない。そのため、時刻ｔ１に人物が最初に登場した段階で、例えばキーフレームの全体を対象として顔の検出を行う等、その他の方法を用いてキーフレームから顔マスクＦＭを事前に設定することが必要となる。

その一方で、図７（ｂ）に示すように、キーフレームにおける顔検出対象領域ＴＡとして動体マスクＭＭのみを設定する比較例の構成にあっては、時刻ｔ０と時刻ｔ１との間で動画像に人物が出現したり、及び、時刻ｔ１と時刻ｔ２との間で動画像に含まれる人物が移動したりするときには、その移動がキーフレーム間の差分として表れる。そのため、動画像から顔を検出することは可能である。しかしながら、この構成にあっては、時刻ｔ２と時刻ｔ３との間で動画像に含まれる人物が静止しているときには、人物の存在がキーフレーム間の差分として表れないため、動画像から顔を検出できない。

これに対し、図７（ｃ）に示すように、本実施の形態では、キーフレームにおける顔検出対象領域ＴＡとして顔マスクＦＭ及び動体マスクＭＭの双方を設定している。この場合、時刻ｔ１に人物が最初に登場した段階でキーフレームの全体を対象として顔の検出を行わなくても、動体マスクＭＭを対象とした顔の検出により時刻ｔ１のキーフレームから顔マスクＦＭを事前に設定することが可能となる。そして、こうしてキーフレームに対して顔マスクＦＭ及び動体マスクＭＭの双方が設定されると、時刻ｔ１から時刻ｔ２にかけて動画像に含まれる人物が移動している場合であっても、時刻ｔ２から時刻ｔ３にかけて動画像に含まれる人物が静止している場合であっても、動画像に含まれる人物の顔の位置と動体マスクＭＭ又は顔マスクＦＭの位置とが一致する。したがって、時刻ｔ１から時刻ｔ３にかけて動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。

以上説明したように、本実施の形態によれば、以下に列挙する効果を得ることができる。
（１）動画像を構成するキーフレーム同士の差分に基づく動体領域に加え、キーフレームよりも前に撮影された非キーフレームから顔が検出された顔領域を対象としてキーフレームから顔を検出するようにした。これにより、動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。

（２）動画像を構成するキーフレーム同士の差分に基づく動体領域、及び、キーフレームよりも前に撮影された非キーフレームから顔が検出された顔領域のうち少なくとも一方が含まれる領域をキーフレームにおいて顔を検出する対象領域として設定するようにした。これにより、一回の処理によって、顔領域及び動体領域のうち少なくとも一方が含まれる領域を対象領域としたキーフレームからの顔の検出が行われることとなる。そのため、これら領域ごとにキーフレームからの顔の検出を別々の処理として行う場合と比較して、その処理負荷をより一層低減することができる。

（３）キーフレームから顔が検出されたときには、動画像を構成するフレームのうち、時系列的に隣り合うキーフレームの間に撮影される非キーフレームからも顔を検出するようにした。これにより、キーフレームのみから顔を検出する場合と比較して、キーフレームにおいて顔を検出する対象領域の設定に用いられる顔領域の更新の頻度が高まる。そのため、キーフレームからの顔の検出をより一層高い精度で行うことができる。その一方で、キーフレームから顔が検出されないときには、動画像を構成するフレームからの顔の検出を実行する頻度を抑えることにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。

（４）キーフレームから顔が検出された顔領域に基づき、非キーフレームにおいて顔を検出する対象領域を設定するようにした。これにより、動画像からの顔の検出の精度を高めつつ、顔を検出する際の処理負荷をより一層低減することができる。

（５）キーフレームから顔が検出されたときには、キーフレームに続いて撮影される複数の非キーフレームのうち、時系列的に次のキーフレームに最も近い時点で撮影された非キーフレームから顔が検出された顔領域を顔マスクＦＭとして設定する。これにより、顔マスクＦＭの設定に用いられる非キーフレームと、顔の検出の対象となるキーフレームとが時系列的により一層近接する。これにより、動画像からの顔の検出の精度を更に高めることができる。

（６）時系列的に連続するキーフレーム同士の差分に基づき動体領域を検出する。これにより、動画像に含まれる人物がゆっくりと移動しているときであっても、比較の対象となるキーフレームに含まれる人物の位置が部分的に重なるような状況が発生しにくい。したがって、動画像を構成するキーフレームの中から、移動中にある人物の領域を動的領域としてより一層的確に検出することが可能となる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、顔検出装置１１０は、先の図４に示したように、キーフレームに基づき動体マスクＭＭを設定するとともに、非キーフレームに基づき顔マスクＦＭを設定するようにした。これに代えて、図８（ａ）〜（ｃ）に示すように、顔検出装置１１０は、キーフレームに基づき動体マスクＭＭ及び顔マスクＦＭの双方を設定するようにしてもよい。

・上記実施の形態において、顔検出装置１１０は、動体検出部１３０により検出された動体領域のうち、キーフレームよりも前に撮影された非キーフレームから顔検出部１４０により検出された顔領域よりもサイズの小さい領域を、キーフレームにおいて顔検出部１４０により顔を検出する対象領域から除外するようにしてもよい。この構成によれば、動画像の背景自体の変化に起因して、動画像を構成するフレーム同士の差分が大きくなる領域が点在しやすいときであっても、これら領域を検出対象フレームにおいて顔を検出する対象領域から除外することにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。

・上記実施の形態においては、動体検出部１３０は、時系列的に連続するキーフレーム同士の差分に基づき動体領域を検出するようにした。これに代えて、動体検出部１３０は、キーフレームと、該キーフレームよりも前に撮影された非キーフレームとの差分に基づき動体領域を検出するようにしてもよい。

・上記実施の形態においては、キーフレームから顔が検出されたときには、キーフレームに続いて撮影される複数の非キーフレームのうち、時系列的に次のキーフレームに最も近い時点で撮影された非キーフレームから顔が検出された顔領域を顔マスクＦＭとして設定するようにした。ただし、これら複数の非キーフレームの撮影途中で顔が検出されなくなったときには、これら非キーフレームの中で最後に顔が検出された顔領域を顔マスクＦＭとして設定するようにしてもよい。

・上記実施の形態においては、動画像を構成するフレームとして、キーフレームが複数のフレーム間隔で撮影される構成を例に挙げて説明した。ただし、動画像を構成するフレームとして、キーフレームと非キーフレームとが交互に撮影される構成であってもよい。

・上記実施の形態においては、領域設定部１５０は、キーフレームから顔が検出されたときに、キーフレームから顔が検出された顔領域に基づき、キーフレームに続いて撮影される非キーフレームにおける顔検出対象領域ＴＡを設定するようにした。これに代えて、領域設定部１５０は、キーフレームと当該キーフレームに続いて撮影される非キーフレームとの差分データ、あるいは、時系列的に連続して撮影される非キーフレーム同士の差分データに基づき、非キーフレームにおける顔検出対象領域ＴＡを設定するようにしてもよい。この構成であっても、時系列的に隣り合うキーフレーム間で動画像に含まれる人物が移動しているときに、この人物の移動に追随させるかたちで非キーフレームから顔を検出することが可能となる。

・上記実施の形態においては、領域設定部１５０は、動画像を構成するフレームに対してキーフレーム及び非キーフレームの区別をすることなく、顔検出部１４０により顔を検出する対象となる全てのフレームに対し、動体マスクＭＭ及び顔マスクＦＭに基づく顔検出対象領域ＴＡの設定を行うようにしてもよい。この場合、顔検出部１４０により顔を検出する対象となるフレームは、動画像を構成する全てのフレームであってもよいし、動画像を構成する複数のフレームのうち、所定のフレーム間隔で撮影されたフレームであってもよい。

・上記実施の形態においては、顔検出部１４０は、動画像を構成するフレーム同士の差分に基づく動体領域、及び、検出対象フレームよりも前に撮影されたフレームから顔が検出された顔領域の各々に対して検出対象フレームからの顔の検出を別々の処理として行うようにしてもよい。この構成であっても、フレーム全体から顔を検出する場合と比較すれば、フレームからの顔検出対象領域ＴＡの範囲が限定されることにより、動画像から顔を検出する際の処理負荷を低減することができる。

・上記実施の形態においては、顔検出部１４０が顔を検出する方法は、画像から顔を検出するものであれば、上述の方法に限定されない。例えば、目や鼻や口といった顔パーツ毎のテンプレートを作成し、顔検出対象領域ＴＡ内で移動させて照合を行い、検出された顔パーツの位置関係に基づき顔と判断された領域を顔画像として検出してもよい。あるいは、頭から肩上部の形状に着目し、同様の形状を探索して顔に相当する領域を顔画像として検出してもよい。

・上記実施の形態においては、動画像からの顔の検出結果を人物の照合に用いる場合を例に挙げて説明した。ただし、動画像からの顔の検出結果を、例えば動画像に含まれる人物の年齢、性別の推定、顔の追尾等といったその他の用途に適用してもよい。

・上記実施の形態においては、動画像を構成するフレームのうち、顔を検出する対象となる検出対象フレームと、検出対象フレームよりも前に撮影されたフレームとの差分に基づき動体マスクＭＭを設定するようにした。また、検出対象フレームよりも前に撮影されたフレームにおいて顔が存在する領域を顔マスクＦＭとして設定するようにした。これにより、動画像の撮影中にリアルタイムに顔検出処理を行うことが可能であった。これに代えて、動画像の撮影が一通り完了した後に、動画像を構成するフレームを時系列的に遡って解析することにより顔検出処理を行うようにしてもよい。この場合、動体マスクＭＭの設定基準となるフレーム、及び、顔マスクＦＭの設定基準となるフレームの双方が検出対象フレームよりも後に撮影されたフレームであってもよい。また、これらマスクＦＭ，ＭＭの設定基準となるフレームのうち、一方のフレームが検出対象フレームよりも前に撮影されたものであって、他方のフレームが検出対象フレームよりも後に撮影されたものであってもよい。

・上記実施の形態においては、動画像からの検出の対象が顔である場合を例に挙げて説明した。しかし、動画像からの検出の対象としてはその他にも、例えば車両に取り付けられたナンバープレート等、その他の対象物を動画像からの検出の対象としてもよい。

１０…監視カメラ、１００…顔照合装置、１１０…顔検出装置、１２０…インターフェース部、１３０…動体検出部、１４０…顔検出部、１５０…領域設定部、１６０…照合部、１７０…テンプレート記憶部。

Claims

動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、
前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部と、を備え、
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記顔検出部は、第１の検出対象フレームから顔を検出したときには、前記第１の検出対象フレームと当該第１の検出対象フレームに続く第２の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、
前記領域設定部は、前記第１の検出対象フレームから前記顔検出部により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定する
顔検出装置。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、
前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部と、を備え、
前記領域設定部は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサ
イズの小さい領域を、前記検出対象フレームにおいて前記顔検出部により顔を検出する対象領域から除外する
顔検出装置。
前記領域設定部は、前記顔領域及び前記動体領域のうち少なくとも一方が含まれる領域を、前記顔検出部により都度行われる顔の検出の際の前記対象領域として設定する
請求項１または２に記載の顔検出装置。
前記領域設定部は、前記第１の検出対象フレームの前記顔領域に基づき、前記中間フレームにおいて前記顔検出部により顔を検出する対象領域を設定する
請求項１に記載の顔検出装置。
前記検出対象フレームは、複数のフレーム間隔をあけて撮影されるフレームであり、
前記領域設定部は、前記第１の検出対象フレームから前記顔検出部により顔が検出されたときには、前記第１の検出対象フレームに続く複数の前記中間フレームのうち、時系列的に前記第２の検出対象フレームに最も近い時点で撮影された前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定する
請求項４に記載の顔検出装置。
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記動体検出部は、時系列的に連続する前記検出対象フレーム同士の差分に基づき前記動体領域を検出する
請求項１〜５の何れか一項に記載の顔検出装置。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と、を含み、
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記顔検出処理は、第１の検出対象フレームから顔を検出したときには、前記第１の検出対象フレームと当該第１の検出対象フレームに続く第２の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、
前記領域設定処理は、前記第１の検出対象フレームから前記顔検出処理により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域として設定する
顔検出方法。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を
対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と、を含み、
前記領域設定処理は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサイズの小さい領域を、前記検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域から除外する
顔検出方法。
コンピュータに、
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と
を実行させるための顔検出プログラムであって、
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記顔検出処理は、第１の検出対象フレームから顔を検出したときには、前記第１の検出対象フレームと当該第１の検出対象フレームに続く第２の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、
前記領域設定処理は、前記第１の検出対象フレームから前記顔検出処理により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第２の検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域として設定する
顔検出プログラム。
コンピュータに、
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と
を実行させるための顔検出プログラムであって、
前記領域設定処理は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサイズの小さい領域を、前記検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域から除外する
顔検出プログラム。