JP5374612B2 - 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 - Google Patents

Description

本発明は、個人認証機能を備えた画像データの識別方法及び撮像装置、プログラム、及び記憶媒体に関する。

最近、撮像装置であるデジタルカメラに被写体の顔を認識させる技術が組み込まれているものがある。さらに、単に被写体の顔を認識させるのみならず、その被写体の顔をさらに識別して個人認証することで、その被写体が誰であるかの人物の個人認証が可能なデジタルカメラも提案されている。

たとえば、特許文献１に開示された発明では、被写体を個人認証する際に使用する特徴点候補の抽出方法を工夫することで、より高精度で高速に認証が可能な個人認証方法を提案している。また、特許文献２に開示された発明では、撮像時の被写体の照明条件が変化する場合の個人認証方法の工夫が提案されている。

特開平９−２５１５３４号公報 特開２０００−２２２５７６号公報

しかしながら、特許文献１で提案されている方法では、画像データに含まれる被写体である人物が１人のみの画像データを入力する必要がある。したがって、画像データの被写体として複数の人物が含まれる場合や、目標となる人物以外の被写体が同時に撮像される場合については考慮されていない。

また、特許文献２に提案されている方法では、画像データに含まれる被写体として複数の人物が含まれ、含まれている複数の人物を検出する方法が紹介されている。しかしながら、特許文献２に提案されている方法では、被写体である人物の動き量を検出して人物の人数を判定する方法であるため、撮像装置が固定されている必要がある。さらに、特許文献２に提案されている方法では、固定された同じ画角の、過去の撮像した画像データが必要とされている。

上記で説明したように、従来より提案されている方法では、複数の被写体である人物が含まれている場合や、複数の人物が画像フレーム毎に異なる画角で撮像されるデジタルカメラの様な撮像装置においては、個人認証が出来ない欠点がある。

また、従来の個人認証の方法では、撮像された複数の顔の全ての顔に対して個人認証処理を行うために多くの時間が必要となり、ＥＶＦを使用する表示動作に対して個人認証処理が間に合わなくなることが有った。逆にＥＶＦでの表示動作に間に合う時間内で個人認証処理を行うためには、ＥＶＦでの表示のフレームレートを落とす必要があった。このように、表示のフレームレートの低い状態でＥＶＦでの画面を見ながらでの撮像では、人物の位置や表情などが実時間で表示されないことになる。そのため、デジタルカメラとして最も重要なシャッタチャンスを逃す恐れが生じる。この問題は、個人を識別する個人認証のみならず、笑顔や目瞑りなどを識別する表情認識にも当てはめることができる。

したがって本発明の目的は、個人や表情の識別処理に要する時間を短縮することが可能な撮像装置を提供することにある。

上記の目的を達成するため、複数のフレームの画像データに含まれる顔画像データに対して、個人の識別と表情の識別のいずれかの識別処理を行う、本願発明にかかる画像データの識別方法は、

顔検出手段が、前記画像データに含まれる顔画像データを検出する顔検出工程と、

識別手段が、前記顔検出工程で検出された１つまたは複数の顔画像データに対して前記識別処理を行う識別工程とを有し、

前記識別工程では、前記識別処理を行うフレームの画像データに含まれる顔画像データと同じ人物を示す、前のフレームの画像データに含まれる顔画像データについて、前記識別処理に成功した場合に、失敗した場合よりも、高い数値を与えるものであって、該数値の高いものから予め設けた上限に達する数までの顔画像データに対して前記識別処理を行うことを特徴とする。

本発明によれば、個人や表情の識別に要する時間を短縮することができ、適切な撮影が可能な識別機能を備える撮像装置を提供することが可能となる。

本発明の実施形態に係る個人認証機能を備える撮像装置のブロック構成図である。 本発明の実施形態に係る個人認証機能を備える撮像装置の動作を説明するフローチャートである。

＜実施形態１＞
図１は、本発明の実施形態に係る個人認証機能を備える撮像装置１００の構成を示すブロック図である。図１において、１は撮像レンズ、２はフォーカスレンズである。フォーカスレンズ２を制御することで、撮像される被写体の合焦状態を制御することが可能に構成されている。

また、３は撮像レンズを通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳ等の撮像素子である。４は撮像素子３から出力されたアナログの画像信号にクランプ処理、ゲイン処理等を行い、デジタル信号である画像データに変換するＡ／Ｄ変換部である。

５は信号処理部であり、Ａ／Ｄ変換部４からの画像データに対して、予め定めた画素補間処理や色変換処理を実行する。また、信号処理部５は、撮像して得られた画像データを用いて予め定めた演算処理を実行し、得られた演算結果に基づいて自動白バランス処理等の信号処理を実行する。

信号処理部５で信号処理された画像データは、画像メモリ６に一時的に記憶される。また、画像メモリ６に一時的に記憶された画像データは、記録再生部７に供給され、ユーザの要求で取り外し可能な記録媒体８に記録される。また画像データは表示制御部９に送られ表示装置１０で画像データの表示を実行する。記録媒体８は、光デイスク記録媒体、半導体記録媒体等、各種の取り外し可能な記録媒体が使用できる。

システム制御部１１は、基本的に、撮像装置１００の全体の動作を制御するものであって、通常内部にＣＰＵを備える。たとえば、撮像して得られる画像データを用いて予め定めた演算処理を信号処理部５で実行し、その演算結果に基づいて、焦点制御部１２、及び露出制御部１３を制御する。すなわち、フォーカスレンズ２に対して、焦点制御部１２が制御を行ない自動焦点制御（ＡＦ）を実行する。また、撮像レンズ１内の絞り及びシャッタ、さらには撮像素子３の電子シャッタに対して、露出制御部１３が制御を行い自動露出制御（ＡＥ）を実行する。

システム制御部１１に接続されたＲＡＭ１４は、表示装置１０に表示する画像データを記憶してもよく、表示制御部９を介し表示装置１０に画像データを供給して表示する。また、このＲＡＭ１４は、システム制御部１１の作業領域としても使用することが可能である。

画像メモリ６は、撮像した静止画像データや動画像データを一時的に格納し、予め定めた枚数の静止画像データや、予め定めた時間分の動画像データを格納するのに十分に高速かつ大量の記憶容量を備える。これにより、複数枚の静止画像データを連続して撮像する連写撮像や複数枚の撮像画像データを合成するパノラマ撮像の場合にも、画像メモリ６を使用して実行することが可能となる。

表示装置１０は、撮像した画像データを逐次表示する事により電子ビューファインダ（以下ＥＶＦ）として使用する。また、表示装置１０は、システム制御部１１でのプログラムの実行にしたがって任意に表示をオン／オフすることが可能に構成される。更に、顔検出状態表示、個人認証状態表示、合焦枠表示、合焦表示、非合焦の警告の表示なども行う。

７はメモリカードやハードディスク等の取り外し可能な記録媒体８とのインタフェースである記録再生部である。この記録再生部７を用いて、画像データや画像データに付属した管理情報を、記録媒体８との間で転送し合うことができる。システム制御部１１は、撮像装置１００全体の動作を制御している。システム制御部１１に接続されたＲＡＭ１４及び／又はＲＯＭ１５に、このシステム制御部１１の動作用の定数、変数、プログラムと、個人認証又は識別処理用の登録された人物の顔画像データの特徴情報、顔検出に必要なデータ等を記憶している。

１６は顔検出部である。顔検出部１６においては、撮像する画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。この場合、ＲＡＭ１４及び／又はＲＯＭ１５に、記憶された、顔検出に必要なデータに基づいて検出が実行される。

すなわち、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。さらに顔検出部１６は、検出された顔画像データの数も同時に検出する。顔検出処理は、個人認証のように個人別に参照用データを蓄積しておく必要がないため、個人認証に比較して十分に早く処理を完了させることが可能である。

１７は特徴情報抽出部であり、顔検出部１６で検出された顔画像データから、個人認証の際に用いる特徴情報を抽出する。

１８は主顔率算出部、１９は主顔選択部である。これらについては、その詳細は後述する。２０は認証部であり、ＲＡＭ１４及びまたはＲＯＭ１５に記憶された個人認証用の登録された人物の顔画像データの特徴情報と、特徴情報抽出部１７で抽出された検出された顔画像データとに基づく、たとえばテンプレートマッチングによる個人認証を実行する。

なお、図１に示して説明した撮像装置の構成は１例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

次に、図２のフローチャートを参照して、本発明の実施形態に係る撮像装置１００の動作について詳細に説明する。先ず、処理の開始後、ステップＳ２０１で、撮像素子３から出力される画像信号を、Ａ／Ｄ変換部４及び信号処理部５により画像データを取得する。取得した画像データは、たとえば画像メモリ６に一時的に記憶される。

次にステップＳ２０２に進み、ステップＳ２０１で取得して画像メモリ６に記録された画像データに対して、顔検出部１６で顔検出処理を実行する。この顔検出部１６での顔検出処理の結果、撮像する画像データに含まれる被写体から、目、口等のエッジを検出して顔の特徴部分を検出する。そして被写体である人物の顔が占める画像データの領域（顔の位置「Ｓ」と顔の大きさ「Ｓ」）、顔の確からしさ（顔信頼度「Ｒ」）から顔画像データを検出するとともに、顔画像データの数が検出される。

次にステップＳ２０３に進み、顔検出部１６で検出された顔画像データの数が２または２より大きいかを判断する。この判断はたとえば、システム制御部１１で実行する。ステップＳ２０３の判断で、検出された顔画像データの数が２以上の場合には、ステップＳ２０５に進み、主顔率算出処理が主顔率算出部１８で実行される。なお、主顔率とは、画像データにおける各顔画像データの主要である割合い、即ち主要度合いを表す。

ステップＳ２０５の主顔率算出処理では、ステップＳ２０２の顔検出で得られた全ての顔画像データに関し、主要度合いを表す主顔率「Ｍ」を算出する。この場合、少なくとも画像データにおける顔画像データの中心からの距離「Ｄ」及び顔画像データの大きさ「Ｓ」、さらには顔信頼度「Ｒ」を使用して下記の計算式より主顔率「Ｍ」を算出する。この場合、画像データにおける顔画像データの中心からの距離「Ｄ」は、顔画像データの画像データ内での位置を意味する。距離「Ｄ」、大きさ「Ｓ」、顔信頼度「Ｒ」は、それぞれ顔画像データが画像データの中心に近いほど、顔画像データが大きいほど、顔画像データの顔信頼度が高いほど、主顔率「Ｍ」が大きくなるように設定される。

主顔率「Ｍ」の算出は、主顔率算出部１８で実行され、以下の計算式で主要度合いを表す主顔率「Ｍ」が算出される。

Ｍ＝（Dis=Ｗ×Ｄ）＋（Siz=Ｗ×Ｓ）＋（Rel=Ｗ×Ｒ）

上記の計算式での計算の結果、主顔率「Ｍ」が最大となる顔画像データの顔を主顔とする主顔選択処理をステップＳ２０６で実行する。主顔選択部１９は、この主顔選択処理を実行する。尚、距離重み係数「Dis=Ｗ」、顔大きさ重み係数「Siz=Ｗ」、および顔信頼度重み係数「Rel=Ｗ」は予めＲＯＭ１５に設定する。

上記した計算式は１例であり、ここで重要なことは、顔画像データの画像データ内での主要度合いの主顔率「Ｍ」を得ることである。したがって、ここで説明した以外の方法であっても、顔画像データの画像データ内での主要度合いの主顔率「Ｍ」が得られるのであれば、この実施形態におけるパラメータや計算式以外でも使用可能である。当然のことながら、主要度合いの定義の仕方によっても、パラメータや計算式は異なる場合がありうる。

ステップＳ２０６では、検出された複数の顔画像データから現在調べている画像データに含まれる顔画像データのなかで主要である、すなわち算出された主顔率「Ｍ」を調べて、たとえば主顔率「Ｍ」が最大である顔画像データを選ぶ主顔選択処理を実行する。ステップＳ２０６の主顔選択処理は、主顔選択部１９で実行される。

そして、ステップＳ２０７に進み、選択された１人の主顔とされた顔画像データについて認証部２０での個人認証を実行することにより、短時間での個人認証を行うことが可能となる。

ステップＳ２０３およびＳ２０４の判断で検出された顔の数が１であれば、主顔選択処理は不要であるので直接ステップＳ２０７に進み、１人の主顔とされた人物の顔画像データについて個人認証を行う事により、短時間での個人認証を行うことが可能となる。勿論、ステップＳ２０４でＮＯの場合は、ステップＳ２０２において、顔画像データが検出されなかった、すなわち、画像データに顔画像データがなく人物がいないことを意味し、個人認証処理を行うことなくステップＳ２０８に進むこととなる。

この時点で、ステップＳ２０８でシャッタＳＷ１が押されたと判断された場合には、ステップＳ２０９に進み、焦点制御部１２及び露出制御部１３を制御して自動焦点制御および自動露出制御を実行する。その後ステップＳ２１０でシャッタＳＷ２が押されているのを確認して、ステップＳ２１１で撮像動作、すなわち、顔画像データを含む画像データの記録媒体８への記録を実行し、処理を終了する。

また、顔画像データ位置、顔画像データの大きさ「Ｓ」及び主顔率「Ｍ」を画像フレーム毎に記憶する事により、画像フレーム間で画角の変化が少ないと判断できる場合には、以下のように補正して処理することもできる。

すなわち、前に撮像した画像データから得られた顔画像データの個人認証処理の結果に応じて、主顔率「Ｍ」に対して主顔率重み「Main=Ｗ」を乗算して補正し、その後に主顔率「Ｍ」が最大となる顔画像データを主顔としても良い。この場合のステップＳ２０６における主顔率「Ｍ」を補正する計算式を下記に示す。

Ｍ＝Main=ＷｘＭ

さらに、主顔率重み「Main=Ｗ」は、個人認証が出来た場合はその数値を大きくするように補正し、個人認証が出来なかった場合には数値を小さくするするように補正することにより、主顔選択処理の精度を高める事も可能である。

主顔率「Ｍ」が予め定めた閾値より大きい顔画像データが複数ある場合などは、複数の顔画像データに対して個人認証処理を実行することも考えられる。しかし、個人認証する顔画像データの数があまり多くならないように閾値を決めることが必要である。あるいは、個人認証処理する対象の数の上限を設け、主顔率「Ｍ」が高いものから上限に達する数までの顔画像データに対して個人認証処理をするようにしてもよい。

本発明によれば、１つの画角で撮像される画像データ内に、被写体として複数の人物の顔画像データが含まれる場合においても、ユーザの意図した人物の個人認証が可能である。また、効率的に個人認証を行なうため、高いフレームレートでのＥＶＦでの表示処理が可能となり、シャッタチャンスを逃す事無く撮像が可能な撮像装置を提供することができる。

また、笑顔や目瞑りなどを識別する表情認識処理も、目の動きや口角の形状等、顔検出処理よりも詳細な情報を必要とするため、蓄積すべき参照用データが顔検出処理よりも多いという点では共通している。したがって、表情認識処理についても、主顔率の高い顔に関してのみ識別処理を行うという構成にすることにより、識別に要する時間を短縮することができるという効果を得ることが可能となる。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行いこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

Claims (4)

1. 複数のフレームの画像データに含まれる顔画像データに対して、個人の識別と表情の識別のいずれかの識別処理を行う画像データの識別方法において、
   顔検出手段が、前記画像データに含まれる顔画像データを検出する顔検出工程と、
   識別手段が、前記顔検出工程で検出された１つまたは複数の顔画像データに対して前記識別処理を行う識別工程とを有し、
   前記識別工程では、前記識別処理を行うフレームの画像データに含まれる顔画像データと同じ人物を示す、前のフレームの画像データに含まれる顔画像データについて、前記識別処理に成功した場合に、失敗した場合よりも、高い数値を与えるものであって、該数値の高いものから予め設けた上限に達する数までの顔画像データに対して前記識別処理を行うことを特徴とする画像データの識別方法。
2. 複数のフレームの画像データに含まれる顔画像データに対して、個人の識別と表情の識別のいずれかの識別処理を行う撮像装置において、
   前記画像データに含まれる顔画像データを検出する顔検出手段と、
   前記顔検出手段で検出された１つまたは複数の顔画像データに対して前記識別処理を行う識別手段とを有し、
   前記識別手段は、前記識別処理を行うフレームの画像データに含まれる顔画像データと同じ人物を示す、前のフレームの画像データに含まれる顔画像データについて、前記識別処理に成功した場合に、失敗した場合よりも、高い数値を与えるものであって、該数値の高いものから予め設けた上限に達する数までの顔画像データに対して前記識別処理を行うことを特徴とする撮像装置。
3. 請求項１に記載の画像データの識別方法の各工程をコンピュータに実行させるためのプログラム。
4. 請求項１に記載の画像データの識別方法の各工程をコンピュータに実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。

Images