JP5924977B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に、画像データから人物の顔を検出し、検出した顔に対して個人の特定を行う認識処理のために用いて好適な技術に関する。

特許文献１に開示されているように、画像データから人物の顔を検出し、検出した顔に対して個人を特定する認識処理を行う構成が知られている。

また、高解像度の画像データを複数の画像データに分割し、得られた分割画像データを並列処理する画像処理装置が存在する。例えば、特許文献２に開示されているように、符号化におけるパラメータ制御を並列処理で行う構成が知られている。

これらの技術を組み合わせることで、高解像度の画像データを分割し、それぞれの分割画像データに対して個人の特定を行う認識処理を並列して行う構成が考えられる。このような画像処理装置を構成すれば、それぞれの分割画像データ間で異なる人物に対する認識処理を行うことができるため、分割前の画像データに含まれている全ての人物に対する認識処理に有する時間を短縮することが可能である。

特開２００８−２７１３１０号公報 特開２０００−２５３３９７号公報

しかしながら、分割された全ての画像データに対して認識処理を同じタイミングで実施してしまうと、認識処理に有する時間をさほど短縮できない場合がある。例えば、多数フレームの画像データからなる動画において、分割後のある画像データには、認識処理が開始される直前の顔検出処理に間に合うタイミングで人物が画像に現れたとする。

また、分割後の別の画像データには、認識処理が開始される直前の顔検出処理に間に合うタイミングよりも少し遅れて人物が現れたとする。この場合、先に現れた人物は、画像に現れるとすぐに顔検出処理と認識処理が行われるため、少ないタイムロスで個人が特定されることになる。しかしながら、後に現れた人物は、画像に現れてから１回目の認識処理が完了するのを待ってから、次の認識処理によって個人が特定されるため、１回目の認識処理を待つ間の時間が大きなタイムロスになってしまう。

このように、複数の分割画像データに対して同じタイミングで認識処理を適用すると、人物が現れてから認識処理が完了するまでの時間が、他の分割画像データに現れた人物よりも長くなってしまうことがある。
本発明は前述の問題点に鑑み、分割された画像データに対して顔検出処理と、検出した顔の個人を特定する認識処理を行う場合に、これらの処理を実行するタイミングを好適に制御できるようにすることを目的とする。

本発明の画像処理装置は、複数フレームの画像から構成される画像データに対して画像処理を実行する画像処理装置であって、前記画像データの第１フレームの画像を縮小し、縮小画像を生成する縮小手段と、前記画像データの第１フレームより後の第２フレームの画像を分割し、複数の分割画像を生成する分割手段と、画像から顔を検出する顔検出処理を実行する検出手段と、前記検出手段により検出された顔が登録済みの人物の顔であるか否かを判定する認識処理を実行する認識手段と、前記検出手段と認識手段を制御する制御手段と、を備え、前記制御手段は、前記縮小画像における顔の検出結果から、どの分割画像に顔が含まれるかを判定し、顔が含まれると判定された分割画像に対しては、前記認識手段に前記認識処理を実行させ、顔が含まれないと判定された分割画像に対しては、前記検出手段に前記顔検出処理を実行させることを特徴とする。

本発明によれば、分割された画像データに対して顔検出処理と、検出した顔の個人を特定する認識処理とを実行するタイミングを、好適に制御することができる。

本発明の実施形態における撮像装置の構成例を示すブロック図である。 動画の１フレームの画像データで、分割前の画像データを示す図である。 図３Ａは図２に示す画像データを４つの領域に分割した様子を示す図、図３Ｂは図３Ａに示す４つの領域に対応させて、画像データを４つの分割画像データＡ乃至Ｄに分割した様子を示す図、図３Ｃは図２に示す画像データを縮小した縮小画像データＥを示す図である。 表示装置に表示される顔検出処理および認識処理の結果を示す図である。 顔検出処理、および認識処理の制御手順を示すフローチャートである。 顔検出処理と認識処理の切り替え制御を示すフローチャートである。 図７Ａは、従来の顔検出処理および認識処理の実行タイミングを時間経過に沿って示した図、図７Ｂは、本発明の第１の実施形態における画像処理装置の認識処理を実行するタイミングを説明するための図、図７Ｃは、本発明の第２の実施形態における画像処理装置の認識処理を実行するタイミングを説明するための図である。 所定の期間に間に行われる顔検出処理と認識処理の回数を示す図である。 第２の実施形態の顔検出処理と認識処理の切り替え制御を示すフローチャートである。

＜第１の実施形態＞
以下、本発明の実施形態を説明する。図１は、本発明の第１の実施形態である画像処理装置の一例である撮像装置の構成例を示すブロック図である。
図１において、撮像素子１０２はＣＣＤやＣＭＯＳセンサで構成され、レンズ１０１を透過した被写体光を受けて画像データを生成する。多重化処理部１０３は、撮像素子１０２から読み出した画像データの縮小と分割を行い、縮小画像データと分割画像データを出力する。カメラ信号処理部１０４ａ、１０４ｂ、１０４ｃ、１０４ｄおよび１０４ｅはカメラ信号処理群を構成し、入力された縮小画像データと分割画像データのいずれかに対して後述する信号処理を行う。

画像処理部１０５は、入力された画像データに対しノイズ低減処理、ガンマ補正、輝度信号補正、あるいは、色差信号補正などの各種の処理を行う。顔検出部１０６は、画像データ内の顔を検出する顔検出処理を行い、特徴抽出部１０７は顔検出部１０６で検出した顔から特徴点を抽出する。認識部１０８は、特徴抽出部１０７で抽出した特徴点と予め一時メモリ１０９（カメラ信号処理用一時メモリ）に登録しておいた特徴点とを比較し、検出した顔の人物が登録済みの人物であるか否かを判定する。つまり、特徴抽出部１０７、認識部１０８、および一時メモリ１０９が、顔検出部１０６によって検出された顔に対して個人を特定する認識処理を行う。一時メモリ１０９は、認識部１０８が用いる特徴点のみならず、画像処理部１０５、顔検出部１０６、および特徴抽出部１０７によって行われる各処理で必要な画像データや処理の際に生成された情報を一時的に格納することができる。

カメラ信号処理部１０４ａ乃至１０４ｅはシステムコントローラ１１８と接続され、システムコントローラ１１８によって制御される（カメラ信号処理部１０４ｂ乃至１０４ｄとシステムコントローラ１１８の接続は不図示）。記録信号処理部１１０ａ、１１０ｂ、１１０ｃ、および１１０ｄは記録信号処理群を構成し、入力された画像データに対するエンコード処理と入力されたデータに対するデコード処理を行う。図１には、カメラ信号処理部１０４ａが画像処理部１０５、顔検出部１０６、特徴抽出部１０７、認識部１０８、一時メモリ１０９を備えている例が示されているが、カメラ信号処理部１０４ｂ乃至１０４ｅも同様に構成されている。

コーデック部１１１は、画像データを所定のフォーマットの記録データへ符号化するエンコード処理と、記録データを画像データへ復号化するデコード処理を行う。一時メモリ（記録信号処理用一時メモリ）１１２は、エンコード処理およびデコード処理の際に用いるデータを一時的に格納する。記録信号処理部１１０ａ乃至１１０ｄは、システムコントローラ１１８と接続され、システムコントローラ１１８によって制御されている（記録信号処理部１１０ｂ乃至１１０ｄとシステムコントローラ１１８の接続は不図示）。

表示データ生成部１１３は、画面上に機器の状態を示す各種情報の表示やグラフィカルユーザーインターフェースを実現するための表示データを生成し、ミキサー部１１４に出力する。ミキサー部１１４は、記録信号処理群から出力された画像データと表示データ生成部１１３からの表示データを合成する。表示装置１１５はＬＣＤや有機ＥＬなどのディスプレイパネルを備え、ミキサー部１１４から出力された画像データを表示する。

記録メディア１１７に格納された記録データは、記録メディアインターフェース１１６を介して、記録信号処理部１１０ａ乃至１１０ｄによって読み書きされる。システムコントローラ１１８は、カメラ信号処理群、記録信号処理群、表示データ生成部１１３、ミキサー部１１４の各々の制御を行う。

メモリ１１９は、登録済みの認識情報を始めとする撮像装置の各種情報を格納する。メモリ１１９に格納される認識情報は、顔の特徴点情報、人物に固有に割り当てられている人物識別情報、人物の名前あるいは愛称などの名称情報などから構成されており、人物ごとに別々の認識情報が用意されている。このメモリ１１９に格納された複数の人物の認識情報のうち、必要とされる人物に対応した認識情報が一時メモリ１０９に読み出されて、認識部１０８による認識処理に用いられる。

次に、撮像時の信号の流れを、図１乃至図３を用いて説明する。
図２は、多重化処理部１０３に入力される動画の１フレームの画像データであって、分割前の画像データを示す図である。

図３Ａは図２に示す画像データを４つの領域に分割した様子を示す図であり、図３Ｂは図３Ａに示す４つの領域に対応させて、画像データを４つの分割画像データＡ乃至Ｄに分割した様子を示す図である。図３Ｃは図２に示す画像データを縮小した縮小画像データＥを示す図である。

レンズ１０１を通過した光は撮像素子１０２で光電変換される。撮像素子１０２は、ＨＤＴＶ（High Definition Television）の４倍以上の画像データの出力に必要な画素数を備えており、生成した画像データを多重化処理部１０３へ出力する。多重化処理部１０３では、１フレームの画像データごとに処理が行われるものとする。

多重化処理部１０３では、入力された画像データのうち、まず有効画素である図２に示す水平４０９８画素、垂直２１９６画素の画像を、図３Ａに示すように４つの領域に分割する。さらに図３Ｂに示すようにこれら４つの領域に対応する４つの分割画像データを生成する。図３Ａに示すように、分割された画像データを、画面左上から時計回りに分割画像データＡ、Ｂ、Ｃ、およびＤとする。

分割画像データＡはカメラ信号処理部１０４ａ、分割画像Ｂはカメラ信号処理部１０４ｂ、分割画像Ｃはカメラ信号処理部１０４ｃ、分割画像Ｄはカメラ信号処理部１０４ｄにそれぞれ入力される。同時に多重化処理部１０３は、図２に示す水平４０９８画素、垂直２１９６画素の画像データを、分割画像データＡ乃至Ｄのそれぞれと同じサイズとなるように四分の一に縮小し、図３Ｃに示す縮小画像データＥを生成する。縮小画像データＥは、カメラ信号処理部１０４ｅに入力される。

カメラ信号処理群は分割画像データＡ乃至Ｄまたは縮小画像データＥに対し、ノイズ低減処理、ガンマ補正、輝度信号補正、あるいは、色差信号補正などの各種の信号処理を行う。分割画像データＡ乃至Ｄおよび縮小画像データＥは一時メモリ１０９に格納され、画像処理部１０５で画像処理される。

画像処理部１０５にて処理された画像データは、記録信号処理群へ入力される。画像処理後の分割画像データＡ乃至Ｄおよび縮小画像データは、一時メモリ１１２に一時格納され、コーデック部１１１で所定のフォーマットで符号化される。符号化された画像データは記録メディアインターフェース１１６を介し、記録メディア１１７へ書き込まれる。なお、記録信号処理部１１０ｂ乃至１１０ｄと記録メディアインターフェース１１６との接続は不図示である。

また、記録信号処理群から出力されたそれぞれの画像データはミキサー部１１４へ入力される。ミキサー部１１４では、記録信号処理群と同期を取った上で、４つの分割画像データＡ乃至Ｄを合成して、分割前の画像データと同じ画角の合成画像データを生成する。合成画像データは水平４０９８画素、垂直２１９６画素の画像となる。合成画像データは、表示装置１１５のディスプレイ解像度に適切な大きさおよびフォーマットに変換され、表示装置１１５による画像の表示に用いられる。

システムコントローラ１１８は、撮像装置の状態に応じた情報を表示データ生成部１１３に通知する。表示データ生成部１１３は、通知された情報に基づきユーザーに対し装置の状態を知らせる文字、アイコンから構成される表示データを生成する。ミキサー部１１４は合成画像データに表示データを重畳し、重畳後の合成画像データを表示装置１１５に出力する。

次に、顔検出処理および認識処理について説明する。
顔検出部１０６は、カメラ信号処理部１０４ａ乃至１０４ｅに入力された画像信号に含まれている人物の顔を検出する。顔が検出された場合は、その画像データにおける顔の領域の位置情報を生成する。特徴抽出部１０７は、検出された顔の領域から、個人の認識に必要な顔の特徴情報を生成する。この特徴情報としては、例えば、眉、目、鼻および口の形状や、それらの配置についての情報が抽出される。

認識部１０８は、生成された顔の特徴情報とメモリ１１９に格納されている登録済みの特徴情報を比較し、情報の類似度に基づいて、検出された顔が登録済みの顔であるか否かの認識結果を生成する。複数フレームの画像データに対して認識処理を行い、同一の登録済みの特徴情報に対する類似度が、所定のしきい値を所定の回数超えていた場合、その顔の人物がその登録済みの人物であると特定する。

システムコントローラ１１８は、顔検出部１０６、特徴抽出部１０７、認識部１０８の動作の制御も行う。例えば、システムコントローラ１１８は、撮影条件に応じて、登録済みの人物であると特定するためのしきい値の切り替えや、多数の人物に関する登録済みの特徴情報がある場合に、どの人物の特徴情報と比較するかの切り替えの制御を行う。例えば、システムコントローラ１１８は、登録済みの全ての特徴情報を用いて認識処理を行うと時間がかかるため、予めユーザーに誰の特徴情報を用いるのかを指定させ、指定された人物の特徴情報を用いて認識処理を行う。ユーザーから指定が無ければ、全ての登録済みの特徴情報を用いて認識処理を行うようにしてもよい。

さらに、システムコントローラ１１８は、登録済みの特徴情報の管理を行う。システムコントローラ１１８は、検出された顔の特徴情報が、全ての登録済みの特徴情報と類似しないことが判断できた場合には、この顔から抽出した特徴情報を、この人物のための登録済みの特徴情報として新規にメモリ１１９に記憶させる。また、システムコントローラ１１８は、長期間使用されておらず、不要と判断された登録済みの特徴情報を自動的に削除する。なお、情報保護のため、特徴情報の書き込み時は特徴情報の暗号化を行い、読み出し時は復号化を行うようにしてもよい。

次に、被写体を撮像した際のシステムコントローラ１１８の動作について、例を挙げて説明する。
図２に示す画像には、二人の人物２０１（以下、人物Ａとする）と人物２０２（以下、人物Ｂとする）が含まれている。人物Ａは人物Ｂよりも撮像装置に近い位置にいるため、大きく写っている。人物Ａと人物Ｂの認識するための特徴情報はメモリ１１９に登録済みである。

まず、カメラ信号処理部１０４ｅは縮小画像データＥに対して顔検出処理を行い、その結果を出力する。カメラ信号処理部１０４ａ乃至１０４ｅには、顔検出することができる顔の最小サイズを示す閾値が定められており、その閾値以下のサイズの顔を検出することができない。

人物Ａの顔は、縮小前の元の画像データにおいても縮小画像データＥにおいても、この閾値よりも大きくなるが、人物Ｂの顔は、元の画像データではこの閾値よりも大きくなるが、縮小画像データＥではこの閾値よりも小さくなる。そのため、縮小画像データＥからは、人物Ａの顔は検出されるが、人物Ｂの顔は検出されない。この結果、システムコントローラ１１８は、カメラ信号処理部１０４ｅから、縮小画像データＥには１つの顔が存在するという結果と、その顔のサイズと位置を示す情報を受け取る。さらに、システムコントローラ１１８は、顔のサイズと位置を示す情報から、その顔が分割画像データＡに含まれていることを判断する。

次に、システムコントローラ１１８は、分割画像データＡを処理するカメラ信号処理部１０４ａに対して、認識処理を行うよう指示する。カメラ信号処理部１０４ａの特徴抽出部１０７は、分割画像データＡのうち、縮小画像データＥで検出された顔領域に対応する領域に対して顔の特徴情報の抽出を行う。そして、認識部１０８が抽出された特徴情報と登録済みの特徴情報を比較することで、この人物が誰であるか特定を行う。

このように、システムコントローラ１１８は、縮小画像データＥで顔が検出されると、その顔の位置に対応する分割画像データが入力されるカメラ信号処理部には、顔検出処理を行わせずに認識処理を行わせる。つまり、縮小画像データＥで顔が連続して検出されている限り、その顔の位置に対応する分割画像データが入力されるカメラ信号処理部は、顔検出処理を省略して、認識処理を連続して行うことになる。

システムコントローラ１１８は、分割画像データＢ乃至Ｄを処理するカメラ信号処理部１０４ｂ〜１０４ｄの各々に対し、認識処理ではなく顔検出処理を行うよう指示する。縮小画像データＥでは人物Ｂの顔のサイズは閾値未満であったが、分割画像データＢでは人物Ｂの顔のサイズが閾値よりも大きくなる。そのため、カメラ信号処理部１０４ｂの顔検出部１０６は、分割画像データＢから顔の領域を検出することができる。したがって、カメラ信号処理部１０４ｂは、その後に得られたフレームの分割画像データＢにおいて、特徴抽出部１０７がこの検出された顔の領域に対して特徴情報の抽出を行い、認識部１０８が抽出された特徴情報と登録済みの特徴情報を比較する認識処理を行う。

このように、システムコントローラ１１８は、縮小画像データＥで顔が検出されなかった領域に対応する分割画像データが入力されるカメラ信号処理部に対しては、まず顔検出処理を行わせ、顔が検出されれば認識処理を行わせるという処理を繰り返す。もし、顔検出処理を行わせても顔が検出されなかった場合には、再び顔検出処理を行わせることになる。

なお、分割画像データＣおよびＤには人物が存在しないため、カメラ信号処理部１０４ｃおよび１０４ｄは、分割画像データＣおよびＤに人物が現れ、顔検出処理に成功するまで、顔検出処理を繰り返す。
また、縮小画像データＥの分割画像データＢ乃至Ｄのいずれかに対応する領域において、顔検出可能なサイズの顔が登場した場合には、その顔の位置に対応する分割画像データが入力されるカメラ信号処理部は、顔検出処理を省略して、認識処理を行うことになる。

認識部１０８が認識処理を行い、個人の特定に成功したのであれば、システムコントローラ１１８は特定された人物についての人物識別情報から対応する名称情報を取得する。そして、システムコントローラ１１８は、その取得した名称情報を表示データ生成部１１３に処理させ、表示装置１１５にて画像データとともに名称表示を行う。同時に、顔が検出されたことを示す情報として顔枠表示を表示する。

図４は、表示装置１１５に表示される顔検出処理の結果、および認識処理の結果を示す図である。顔検出に成功した人物Ａと人物Ｂには、検出された顔の位置とサイズを示す顔枠４０２が表示され、特定された個人の名称表示４０１が行われている。

その結果、ユーザーは現在画面に表示されているシーンにおいてどの人物が検出され、さらにその人物が誰であるのかを知ることができる。このように、システムコントローラ１１８は、まず縮小画像データＥに対して顔検出処理を行い、その検出結果に基づき分割画像データＡ乃至Ｄのそれぞれに対して、顔検出処理と認識処理のどちらを行うかを制御する。

次に、本実施形態におけるシステムコントローラ１１８の、カメラ信号処理部群に対する顔検出処理と認識処理のどちらを行わせるかの切り替え制御を、図５、図６のフローチャートを参照しながら説明する。
図５は、顔検出処理および認識処理の制御手順を示すフローチャートである。図６は本発明の第１の実施形態における画像処理装置の顔検出処理と認識処理の切り替え制御を示すフローチャートである。なお、本実施形態では、カメラ信号処理部１０４ａ乃至１０４ｅのそれぞれは、顔検出処理と認識処理を並行して行うことはできず、一方の処理を実施している場合には他方の処理は実施できないものとする。

図５において、処理が開始されると、まずステップＳ５０１では、システムコントローラ１１８は、カメラ信号処理部１０４ｅに対し、多重化処理部１０３で生成された縮小画像データＥを用いて顔検出処理を繰り返し行うよう指示を出す。カメラ信号処理部１０４ｅは１フレームの縮小画像データＥに対する顔検出処理が完了するたびに顔検出完了フラグをオンに設定する。
ステップＳ５０２では、システムコントローラ１１８は、顔検出完了フラグに基づいて、カメラ信号処理部１０４ｅによる縮小画像データＥに対する顔検出処理が完了しているか否かを判断する。システムコントローラ１１８は、顔検出処理が完了していればステップＳ５０３へ進み、完了していない場合は処理を終了する。

ステップＳ５０３では、システムコントローラ１１８は、カメラ信号処理部１０４ｅによる顔検出処理が完了したフレームを識別するためのフレーム識別情報（ＦＩＤ）を記憶する。新たに顔検出処理が完了した場合、そのフレームを示す情報をＦＩＤとして記憶するとともに、前回ＦＩＤとして記憶されていたフレームを示す情報を前回のフレーム識別情報（ＬＦＩＤ）として記憶する。システムコントローラ１１８は、カメラ信号処理部１０４ｅによる新たなフレームにおける顔検出処理が完了する度に、このＦＩＤを記憶するとともに、ＬＦＩＤを更新する。このフレーム識別情報の記憶と更新が終了すると、ステップＳ５０４へ進む。

ステップＳ５０４では、システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄそれぞれから、ＬＦＩＤで示されたフレームに対応付けられた各分割画像に対する顔検出処理または認識処理が実行中であるか否かを示す実行フラグの情報を取得する。この実行フラグの情報の取得が完了するとステップＳ５０５へ進む。

ステップＳ５０５では、システムコントローラ１１８は、ステップＳ５０３で記憶されたＦＩＤに対応する分割画像データＡ乃至Ｄが入力されるカメラ信号処理部１０４ａ乃至１０４ｄに対し、後述するステップＳ５０８における顔検出処理または認識処理の決定フラグがオンであるか否かを判断する。システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄの全ての決定フラグがオンになっていると判断すればステップＳ５０６へ進み、いずれかの決定フラグがオンになっていないと判断すればステップＳ５０７へ進む。

ステップＳ５０６では、システムコントローラ１１８は、後述するステップＳ５０８において下された決定に従って、カメラ信号処理部１０４ａ乃至１０４ｄに対して顔検出処理または認識処理を実行させる。そして、システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄの決定フラグをオフにし、カメラ信号処理部１０４ｅの顔検出完了フラグをオフにし、実行フラグをオンにする。実行フラグは、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれに対して設定されるものであり、対応するカメラ信号処理部が顔検出処理または認識処理を行っている間だけオンされる。

ステップＳ５０７では、システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄのうち、後述する決定フラグがオフになっているカメラ信号処理部を選択し、そのカメラ信号処理部の実行フラグをチェックする。そして、システムコントローラ１１８は、実行フラグがオフになっているカメラ信号処理部についてはステップＳ５０８の処理へ進み、実行フラグがオンになっているカメラ信号処理部についてはステップＳ５０９の処理へ進む。

ステップＳ５０８では、システムコントローラ１１８は、決定フラグがオフ、かつ、実行フラグがオフになっているカメラ信号処理部に対して、顔検出処理と認識処理のいずれの処理を実行するかを決定し、そのカメラ信号処理部の決定フラグをオンにする。そして、ステップＳ５０４へ進む。
ステップＳ５０９では、システムコントローラ１１８は、顔検出処理または認識処理を実行中のカメラ信号処理部に対して、実行中の処理を継続させて、ステップＳ５０４へ進む。

次に、ステップＳ５０８の処理について、図６のフローチャートを用いて説明する。システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれに対して、顔検出処理と認識処理のいずれの処理を実行するかを個別に決定する。ここでは、カメラ信号処理部１０４ａに対する処理を例にあげて説明を行うが、他のカメラ信号処理部１０４ｂ乃至１０４ｄにおいても、同様の処理を行う。

ステップＳ６０１では、システムコントローラ１１８は、カメラ信号処理部１０４ｅより顔のサイズと位置を示す情報を受け取り、縮小画像データＥの分割画像データＡに対応する領域から顔が検出されたか否かを判定する。顔が検出されていないと判定した場合はステップＳ６０６へ進み、顔が検出されたと判断した場合はステップＳ６０２へ進む。

ステップＳ６０２では、システムコントローラ１１８は、縮小画像データＥにて得られた顔のサイズを示す情報のうち、分割画像データＡに対応する領域の顔のサイズ（面積）を示す情報を選択する。そして、システムコントローラ１１８は、この選択した顔のサイズに対して縮小画像データＥの縮小率の逆数を乗算することで、分割画像データＡにおけるこの顔のサイズを求め、ステップＳ６０３へ進む。なお、分割画像データＡで複数の顔が検出されていれば、システムコントローラ１１８は、それらの顔のサイズの和に対して縮小画像データＥの縮小率の逆数を乗算する。

ステップＳ６０３では、システムコントローラ１１８は、ステップＳ６０２で算出した分割画像データＡに含まれる顔の面積と、分割画像データＡの面積の比を算出し、分割画像データＡにおける顔の面積の比率を得る。システムコントローラ１１８は、顔の面積の比率が閾値以上、つまり画面内に顔が占める割合が高い場合は、残りの領域に検出可能な他の顔が存在する可能性は低いと判断し、ステップＳ６０４へ進む。そうでない場合は、ステップＳ６０５へ進む。

ステップＳ６０４では、システムコントローラ１１８は、対象となる分割画像データＡに対して認識処理を行うようカメラ信号処理部１０４ａに指示を出し、図５のステップＳ５０４に進む。この対象となる分割画像データＡとは、動画の所定の周期に該当するフレームの画像データから生成された分割画像データであり、カメラ信号処理部１０４ｅによる顔検出処理が行われたＦＩＤで示されるフレームよりも、１周期後に得られる分割画像データである。システムコントローラ１１８は、この分割画像データＡとＦＩＤで示すフレーム情報を関連付ける。

カメラ信号処理部１０４ａは、ステップＳ６０３からステップＳ６０４に進んだ場合には、カメラ信号処理部１０４ｅが生成した顔のサイズと位置を示す情報を用いて、特徴情報を抽出する領域を決定する。これに対し、カメラ信号処理部１０４ａは、ステップＳ６０３から後述するステップＳ６０５を経由してステップＳ６０４に進んだ場合には、カメラ信号処理部１０４ａが直前に生成した顔のサイズと位置を示す情報を用いて、特徴情報を抽出する領域を決定する。

ステップＳ６０５では、システムコントローラ１１８は、分割画像データＡで直前に顔検出処理が行われていたか否かを判別し、直前に顔検出処理が行われていた場合はステップＳ６０４へ進み、行われていなかった場合はステップＳ６０６へ進む。
ステップＳ６０６では、システムコントローラ１１８は、対象となる分割画像データＡに対して顔検出処理を行うようカメラ信号処理部１０４ａに指示を出し、図５のステップＳ５０４に進む。カメラ信号処理部１０４ａは、顔検出に成功すると、その顔のサイズと位置を示す情報を生成する。

なお、図６に示すフローチャートはあくまで１つの例であって、例えば、ステップＳ６０２、ステップＳ６０３およびステップＳ６０５を省略してもよい。すなわち、縮小画像データＥで顔が検出された領域に対応する分割画像データにおいては、認識処理を実行させ、縮小画像データＥで顔が検出されなかった領域に対応する分割画像データにおいては、顔検出処理を実行させるようにしてもよい。

次に、本発明の第１の実施形態における認識速度について説明する。
図７Ａは、従来の顔検出処理および認識処理の実行タイミングを時間経過に沿って示した図である。図７Ｂは、本発明の第１の実施形態における顔検出処理および認識処理の実行タイミングを時間経過に沿って示した図である。顔検出処理、認識処理は所定の動作周期Ｔに同期して実行される。図８は、所定の期間に間に行われる顔検出処理と認識処理の回数を示す図である。

従来の方法では、図７Ａに示すように、入力された４つの分割画像データＡ乃至Ｄに対して、４つのカメラ信号処理部が同じ周期で顔検出処理と認識処理を切り替えて実行していた。

図７Ａでは、カメラ信号処理群は、最初の周期Ｔでは顔検出処理を実行し、次の周期Ｔでは顔検出に成功した分割画像データに対してのみ認識処理を実行する。そのため、図３Ｂに示すように、分割画像データＡと分割画像データＢにそれぞれ１人ずつ存在していれば、この二人の人物の特定は検出開始から２Ｔ後に完了する。また、顔検出処理と認識処理をあわせた一連の処理は常に２Ｔの周期で行われる。よって、図８に示すように、６Ｔの期間では、分割画像データＡおよびＢについては、顔検出処理と認識処理が３回行われ、分割画像データＣおよびＤについて顔検出処理のみが３回行われることになる。

これに対し、前述した第１の実施形態では、システムコントローラ１１８は、カメラ信号処理部１０４ｅによる顔検出処理の結果に基づき、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれに対して、顔検出処理と認識処理のどちらを実行させるかを決定する。図７Ｂに示すように、大きなサイズの顔が存在する分割画像データＡにおいては、初めのＴの期間だけ、カメラ信号処理部１０４ｅによる縮小画像データＥからの顔検出処理を待つことになる。しかしながら、それ以降は、カメラ信号処理部１０４ａは、それぞれの周期において、１周期前の縮小画像データＥから得られた顔のサイズと位置を示す情報を用いて認識処理を行うことが可能となるため、毎周期Ｔごとに認識処理が行うことができる。よって、図８に示すように、６Ｔの期間に、認識処理が５回行われることになる。

また、小さなサイズの顔が存在する分割画像データＢにおいては、縮小画像データＥの分割画像データＢに対応する領域からは顔が検出されないため、カメラ信号処理部１０４ｂは、分割画像データＢに対して顔検出処理と認識処理を交互に行うことになる。よって、初めのカメラ信号処理部１０４ｅによる縮小画像データＥからの顔検出処理を待つ期間を含めると、図８に示すように、６Ｔの期間の間に、顔検出回数が３回行われ、認識処理が２回行われることになる。

なお、分割画像データＣおよびＤには顔が存在しないために、カメラ信号処理部１０４ｃおよび１０４ｄは、初めのカメラ信号処理部１０４ｅによる縮小画像データＥからの顔検出処理を待つ期間以外は、常に顔検出処理を行うことになる。よって、図８に示すように、６Ｔの期間の間に、顔検出処理は５回行われることになる。

撮像装置からの距離が近く、顔のサイズが大きく撮影される人物Ａについては、従来例に比べて認識処理が実行される頻度が高くなる。また、撮像装置からの距離が遠く、顔のサイズが小さく撮影される人物Ｂについては、初めの１周期だけ縮小画像データＥにおける顔検出処理を待つことになるが、それ以降の周期は、従来例と同じ頻度で認識処理が実行される。もし、この人物Ｂが撮像装置に近づき、検出される顔のサイズが大きくなれば、人物Ａと同様に認識理処理が実行される頻度が高くなる。

また、顔が存在しない領域については、毎周期で顔検出処理が行われることになるため、従来に比較して顔検出処理が実行される頻度が高くなる。そのため、その領域に顔が登場した場合に、すぐさまその顔を検出することが可能となる。

また、従来は、顔が存在しない領域に対応する分割画像データについては、顔検出処理および認識処理ともに行われない周期もあるが、本実施形態では、かならずどちらかの処理を行っているため、従来に比較して効率的な制御を実現している。

＜第２の実施形態＞
以下、本発明の第２の実施形態を説明する。本発明の第２の実施形態である撮像装置は、第１の実施形態の撮像装置と同様の構成を有している。第２の実施形態の撮像装置は、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれの顔検出部１０６が検出する顔のサイズの上限に制限があること、および認識部１０８が認識可能な顔のサイズに下限があることで、第１の実施形態の撮像装置と異なる。さらに、第２の実施形態の撮像装置は、分割画像データＡ乃至Ｄに対して顔検出処理と認識処理を並行して実行させることができる点が、第１の実施形態の撮像装置と異なる。

カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれの顔検出部１０６は、縮小画像データＥからは検出できないサイズの顔を、それぞれの分割画像データＡ乃至Ｄから検出する処理を行う。つまり、これらの顔検出部１０６には、検出する顔のサイズに上限が設定されている。なお、この顔のサイズの上限は、認識部１０８が認識可能な顔のサイズの下限よりも大きく設定されている。そのため、縮小画像データＥからは検出できず、かつ、分割画像データＡ乃至Ｄからは検出可能なサイズの顔のうち、この下限よりも大きなサイズの顔であれば、認識部１０８によって認識を行うことが可能である。

また、システムコントローラは１１８、カメラ信号処理部１０４ａ乃至１０４ｄに、各周期で分割画像データＡ乃至Ｄに対する顔検出処理を実行させる。システムコントローラ１１８は、それとともに、１周期前の縮小画像データＥの顔検出結果に従って、分割画像データＡ乃至Ｄに対する認識処理を実行させるか否かを決定する。
システムコントローラ１１８は、図５に示すフローチャートに従って、顔検出処理および認識処理を制御する。ただし、ステップＳ５０８における、カメラ信号処理部に対してどの処理を実行させるかを決定する方法が、第１の実施形態とは異なる。

この、第２の実施形態におけるステップＳ５０８の処理について、図９のフローチャートを用いて説明する。システムコントローラ１１８は、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれに対して、顔検出処理のみを実行するのか、あるいは、顔検出処理と認識処理を並行して実行するのかを、個別に決定する。ここでは、カメラ信号処理部１０４ａに対する処理を例にあげて説明を行うが、他のカメラ信号処理部１０４ｂ乃至１０４ｄにおいても、同様の処理を行う。

ステップＳ９０１では、システムコントローラ１１８は、カメラ信号処理部１０４ｅより顔のサイズと位置を示す情報を受け取り、縮小画像データＥの分割画像データＡに対応する領域から顔が検出されたか否かを判定する。顔が検出されていないと判定した場合はステップＳ９０６へ進み、顔が検出されたと判断した場合はステップＳ９０２へ進む。

ステップＳ９０２では、システムコントローラ１１８は、縮小画像データＥにて得られた顔のサイズを示す情報のうち、分割画像データＡに対応する領域の顔のサイズを示す情報を選択する。そして、システムコントローラ１１８は、この選択した顔のサイズに対して縮小画像データＥの縮小率の逆数を乗算することで、分割画像データＡにおけるこの顔のサイズを求め、ステップＳ９０３へ進む。なお、分割画像データＡで複数の顔が検出されていれば、システムコントローラ１１８は、それらの顔のサイズの和に対して縮小画像データＥの縮小率の逆数を乗算する。

ステップＳ９０３では、システムコントローラ１１８は、ステップＳ９０２で算出した分割画像データＡに含まれる顔の面積と、分割画像データＡの面積の比を算出し、分割画像データＡにおける顔の面積の比率を得る。システムコントローラ１１８は、顔の面積の比率が閾値以上、つまり画面内に顔が占める割合が高い場合は、残りの領域に、認識部１０８が認識可能なサイズの顔が存在する可能性は低いと判断し、ステップＳ９０４へ進む。そうでない場合は、ステップＳ９０５へ進む。

ステップＳ９０４では、システムコントローラ１１８は、対象となる分割画像データＡに対して顔検出処理と認識処理を並行して行うようカメラ信号処理部１０４ａに指示を出し、図５のステップＳ５０４に進む。この対象となる分割画像データＡとは、動画の所定の周期に該当するフレームの画像データから生成された分割画像データであり、カメラ信号処理部１０４ｅによる顔検出処理が行われたＦＩＤで示されるフレームよりも、１周期後に得られる分割画像データである。システムコントローラ１１８は、この分割画像データＡとＦＩＤで示すフレーム情報を関連付ける。

カメラ信号処理部１０４ａは、ステップＳ９０３からステップＳ９０４に進んだ場合には、カメラ信号処理部１０４ｅが生成した顔のサイズと位置を示す情報を用いて、特徴情報を抽出する領域を決定する。これに対し、カメラ信号処理部１０４ａは、ステップＳ９０３からステップＳ９０５を経由してステップＳ９０４に進んだ場合には、カメラ信号処理部１０４ｅが生成した顔のサイズと位置を示す情報と、カメラ信号処理部１０４ａが生成した顔のサイズと位置を示す情報を用いて、特徴情報を抽出する領域を決定する。ただし、カメラ信号処理部１０４ａが生成した顔のサイズと位置を示す情報は、認識部１０８が認識処理を行うことができるサイズを満たす顔のサイズと位置を示す情報のみを用いるものとする。

ステップＳ９０５では、システムコントローラ１１８は、分割画像データＡで直前に顔検出処理が行われていたか否かを判別し、直前に顔検出処理が行われていた場合はステップＳ９０４へ進み、行われていなかった場合はステップＳ９０６へ進む。
ステップＳ９０６では、システムコントローラ１１８は、対象となる分割画像データＡに対して顔検出処理を行うようカメラ信号処理部１０４ａに指示を出し、図５のステップＳ５０４に進む。カメラ信号処理部１０４ａは、顔検出に成功すると、その顔のサイズと位置を示す情報を生成する。

次に、図７Ｃおよび図８を用いて、本発明の第２の実施形態における認識速度について説明する。図７Ｃは、本発明の第２の実施形態における顔検出処理および認識処理の実行タイミングを時間経過に沿って示した図である。顔検出処理、認識処理は所定の動作周期Ｔに同期して実行される。

システムコントローラ１１８は、カメラ信号処理部１０４ｅによる顔検出処理の結果に基づき、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれに対して、顔検出処理と認識処理を並行して実行させるのか、それとも、顔検出処理のみを実行させるのかを決定する。図７Ｃに示すように、大きなサイズの顔が存在する分割画像データＡにおいては、初めのＴの期間だけ、カメラ信号処理部１０４ｅによる縮小画像データＥからの顔検出処理を待つことになる。しかしながら、それ以降は、カメラ信号処理部１０４ａは、それぞれの周期において、１周期前の縮小画像データＥから得られた顔のサイズと位置を示す情報を用いて認識処理を行うことが可能となるため、毎周期Ｔごとに認識処理が行うことができる。よって、図８に示すように、６Ｔの期間に、認識処理が５回行われることになる。

また、小さなサイズの顔が存在する分割画像データＢにおいては、縮小画像データＥの分割画像データＢに対応する領域からは顔が検出されない。このため、カメラ信号処理部１０４ｂは、分割画像データＢから得られた顔検出処理の結果を待ってから認識処理を行うことになる。よって、初めのカメラ信号処理部１０４ｅによる縮小画像データＥからの顔検出処理を待つ期間を含めると、図８に示すように、６Ｔの期間の間に、認識処理が２回行われることになる。

このように、第１の実施形態と同様、撮像装置からの距離が近く、顔のサイズが大きく撮影される人物Ａについては、従来例に比べて認識処理が実行される頻度が高くなる。撮像装置からの距離が遠く、顔のサイズが小さく撮影される人物Ｂについては、初めの１周期だけ縮小画像データＥにおける顔検出処理を待つことになるが、それ以降の周期は、従来例と同じ頻度で認識処理が実行される。もし、この人物Ｂが撮像装置に近づき、検出される顔のサイズが大きくなれば、人物Ａと同様に認識理処理が実行される頻度が高くなる。

また、認識処理の有無によらずに毎周期で顔検出処理が行われることになるため、従来に比較して顔検出処理が実行される頻度が高くなる。そのため、その領域に顔が登場した場合に、すぐさまその顔を検出することが可能となる。
また、本実施形態では、カメラ信号処理部１０４ａ乃至１０４ｄのそれぞれの顔検出部１０６が、各周期において顔検出処理を行っているが、検出対象となる顔のサイズの上限が設定されているため、顔検出処理における負荷が軽減されている。

さらに、本実施形態では、それぞれの分割画像データＡ乃至Ｄにおいて、独立したタイミングで認識処理を開始することができるため、余分な認識処理を行わずに済む。これにより、その分割画像データに人物が登場してから認識結果を得るまでのタイムラグを小さくすることが可能となる。

以上、本発明をその好適な実施形態に基づき詳述してきたが、撮影時の顔検出処理と認識処理の動作についてだけでなく、記録済みの画像データの再生時に顔検出処理と個人認識処理を実行する場合も本発明に含まれる。また、前述の実施形態においては顔の有無の情報と、それらの顔の大きさ情報に基づき、認識処理の実行の要否を判断した。しかしながら、これに限られるものではなく、例えば、その顔までの距離情報や、年齢による顔の特徴情報の違いのように、顔検出で得られるその他の顔に関する情報を考慮して、顔検出処理と認識処理の要否の判断する方法も考えられる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ レンズ、１０２ 撮像素子、１０３ 多重化処理部、１０４ａ、１０４ｂ、１０４ｃ、１０４ｄ、１０４ｅ カメラ信号処理部、１０５ 画像処理部、１０６ 顔検出部、１０７ 特徴抽出部、１０８ 認識部、１０９ 一時メモリ、１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ 記録信号処理部、１１１ コーデック部、１１２ 一時メモリ、１１３ 表示データ生成部、１１４ ミキサー部、１１５ 表示装置、１１６ 記録メディアインターフェース、１１７ 記録メディア、１１８ システムコントローラ、１１９ メモリ

Claims (5)

1. 複数フレームの画像から構成される画像データに対して画像処理を実行する画像処理装置であって、
   前記画像データの第１フレームの画像を縮小し、縮小画像を生成する縮小手段と、
   前記画像データの第１フレームより後の第２フレームの画像を分割し、複数の分割画像を生成する分割手段と、
   画像から顔を検出する顔検出処理を実行する検出手段と、
   前記検出手段により検出された顔が登録済みの人物の顔であるか否かを判定する認識処理を実行する認識手段と、
   前記検出手段と認識手段を制御する制御手段と、を備え、
   前記制御手段は、前記縮小画像における顔の検出結果から、どの分割画像に顔が含まれるかを判定し、顔が含まれると判定された分割画像に対しては、前記認識手段に前記認識処理を実行させ、顔が含まれないと判定された分割画像に対しては、前記検出手段に前記顔検出処理を実行させることを特徴とする画像処理装置。
2. 前記制御手段は、前記縮小画像における顔の検出結果から、どの分割画像に顔が含まれるかを判定し、顔が含まれると判定された分割画像に対しては、該分割画像における前記顔の面積の比率を求め、前記比率が閾値以上であれば、前記認識手段に前記認識処理を実行させ、前記比率が閾値以上でなければ、前記検出手段に前記顔検出処理を実行させることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記縮小画像における顔の検出結果から、どの分割画像に顔が含まれるかを判定し、顔が含まれると判定された分割画像に対しては、該分割画像における前記顔の面積の比率を求め、前記比率が閾値以上であれば、前記認識手段に前記認識処理を実行させるとともに、前記検出手段に前記顔検出処理を実行させ、前記比率が閾値以上でなければ、前記認識手段に前記認識処理を実行させずに、前記検出手段に前記顔検出処理を実行させることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記縮小画像において検出された顔のサイズと位置を示す情報に基づいて、どの分割画像に顔が含まれるかを判定することを特徴とする請求項１から３の何れかに記載の画像処理装置。
5. 複数フレームの画像から構成される画像データに対して画像処理を実行する画像処理方法であって、
   前記画像データの第１フレームの画像を縮小し、縮小画像を生成する縮小工程と、
   前記画像データの第１フレームより後の第２フレームの画像を分割し、複数の分割画像を生成する分割工程と、
   画像から顔を検出する顔検出処理を実行する検出工程と、
   前記検出工程において検出された顔が登録済みの人物の顔であるか否かを判定する認識処理を実行する認識工程と、
   前記検出工程と認識工程を制御する制御工程と、を備え、
   前記制御工程は、前記縮小画像における顔の検出結果から、どの分割画像に顔が含まれるかを判定し、顔が含まれると判定された分割画像に対しては、前記認識工程において前記認識処理を実行させ、顔が含まれないと判定された分割画像に対しては、前記検出工程において前記顔検出処理を実行させることを特徴とする画像処理方法。

Images