JP5044472B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に自動的に特定人物を判断することができる画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

従来、撮影した被写体像から被写体人物の顔を検出し、その顔に合わせてＡＥ（自動露出制御）、ＡＦ（自動合焦制御）などをすることで適切な露光、合焦で人物写真を撮ることができる撮像装置（例えばデジタルカメラ）が用いられている。しかしながら、撮影された被写体像にユーザにとって無関係な人物が含まれている場合には、ユーザにとって無関係な人物に対してＡＥ、ＡＦなどを行ってしまう恐れがある。

このような不具合を防止するため、特定人物（知人、親族などユーザがよく撮る人物）の顔を予め辞書に登録しておくことにより、撮影された被写体像の中から特定人物の顔を認識する技術が開示されている（特許文献１参照）。

しかしながら、特許文献１に記載の方法を用いる場合には、特定人物の顔を認織する為に、特定人物の顔を事前に辞書登録しておく必要がある。また、検出対象となる人物を変更する場合には、登録した顔の削除や、顔の追加登録などの作業が必要となる。このように、様々な作業をユーザが行う必要があるため、ユーザにとっては負担が大きい上、不便である。

これに対応して、画像に含まれる顔を認識し、認識された顔が辞書に登録されていない場合には、認識された顔を自動的に辞書に登録する技術が開示されている（特許文献２、３参照）。
特開平６―２５９５３４号公報 特開２００２―１５７５９６号公報 特表２００７―５２００１０号公報

しかしながら、特許文献２，３に記載された発明においては、辞書に登録されている顔の全てを検出すべき人物と見なすため、ユーザが撮影対象とした人物（特定人物）の顔（既知顔）と、被写体像に撮影された無関係な人物（未知顔）との区別ができず、撮像装置に顔を認識する技術を使用する意味がなくなってしまう。

本発明はこのような事情に鑑みてなされたもので、辞書に特定人物の顔の登録をすることなく、画像に含まれている顔の中から既知顔のみを自動的に分類することができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

前記目的を達成するために、本発明の第１の態様に係る画像処理装置は、同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書と、人物を含む画像を取得する画像取得手段と、前記画像取得手段により取得された画像から顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された顔の特徴とに基づいて同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別する判別手段と、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録する顔認識辞書修正手段と、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記画像取得手段により取得された画像中の人物の顔を既知顔として分類し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記画像取得手段により取得された画像中の人物の顔を未知顔として分類する分類手段と、を備えたことを特徴とする。

第１の態様に係る画像処理装置によれば、画像を取得し、画像から顔領域を検出し、検出された顔領域に基づいて、当該顔領域の顔の特徴（例えば、特徴ベクトル）を抽出し、抽出された顔の特徴と、顔認識辞書に登録された顔の特徴とに基づいて、抽出された顔と同一人物の顔の特徴が顔認識辞書に登録されているか否かを判別する。抽出された顔と同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、抽出された顔の特徴に基づいて顔認識辞書に登録されている顔の特徴を修正し、抽出された顔を既知顔として分類する。また、抽出された顔と同一人物の顔の特徴が顔認識辞書に登録されていないと判別されると、抽出された顔の特徴を新規の人物の顔の特徴として顔認識辞書に登録し、抽出された顔を未知顔と分類する。

このように、抽出された顔と同一人物の顔の特徴が顔認識辞書に登録されていない場合には、抽出された顔の特徴を新規の人物の顔の特徴として顔認識辞書に登録することにより、顔認識辞書への登録をすることなく、ユーザの負担が軽く、便利な画像処理装置を提供することができる。また、抽出された顔の特徴に基づいて顔認識辞書に登録されている顔の特徴を修正することにより、自動的に既知顔の検出をすることができる。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において、前記判別手段は、前記特徴抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された顔の特徴のうちの前記抽出された顔の特徴に最も類似する特徴との類似度を算出し、前記算出した類似度が所定の閾値を越えた場合に、前記特徴抽出手段により顔の特徴が抽出された顔と同一人物の顔の特徴が前記顔認識辞書に登録されていると判別することを特徴とする。

第２の態様に係る画像処理装置によれば、抽出された顔の特徴と顔認識辞書に登録された顔の特徴との類似度であって、顔認識辞書に登録された顔の特徴のうちの抽出された顔の特徴に最も類似する特徴との類似度、すなわち最も高い類似度を算出する。最も高い類似度が所定の閾値を越えた場合には、抽出された顔と同一人物の顔が顔認識辞書に登録されていると判別する。このように、類似度を用いることにより、顔認識辞書に登録された顔と、抽出された顔とが同一であるかどうかを精度よく判断することができる。したがって、抽出された顔と同一人物の顔が顔認識辞書に登録されていない場合に、抽出された顔が顔認識辞書に登録されていると間違って判別することを防止することができる。

第３の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において、前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を管理する出現頻度管理手段を備え、前記分類手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記出現頻度管理手段に管理された出現頻度が所定の閾値以上の場合に、前記画像取得手段により取得された画像中の人物の顔を既知顔として分類し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記出現頻度管理手段に管理された出現頻度が前記所定の閾値未満の場合に、前記画像取得手段により取得された画像中の人物の顔を未知顔として分類することを特徴とする。

第３の態様に係る画像処理装置によれば、抽出された顔と同一人物の顔が顔認識辞書に登録されていると判別され、かつ当該顔の特徴の出現頻度が所定の閾値以上の場合には、画像中の人物の顔を既知顔と分類する。また、抽出された顔と同一人物の顔が顔認識辞書に登録されていないと判別された場合、又は当該顔の特徴の出現頻度が所定の閾値未満の場合には、画像中の人物の顔を未知顔と分類する。これにより、既知顔と未知顔とを高い精度で分類することができる。

第４の態様に係る画像処理装置は、第１又は第２の態様に係る画像処理装置において、前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を管理する出現頻度管理手段を備え、前記分類手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記出現頻度管理手段に管理された出現頻度が上位の所定順位以内の場合に、前記画像取得手段により取得された画像中の人物の顔を既知顔として分類し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記出現頻度管理手段に管理された出現頻度が前記上位の所定順位以外の場合に、前記画像取得手段により取得された画像中の人物の顔を未知顔として分類することを特徴とする。

第４の態様に係る画像処理装置によれば、抽出された顔と同一人物の顔が顔認識辞書に登録されていると判別され、かつ当該顔の特徴の出現頻度が上位の所定順位以内の場合には、画像中の人物の顔を既知顔と分類する。また、抽出された顔と同一人物の顔が顔認識辞書に登録されていないと判別された場合、又は当該顔の特徴の出現頻度が上位の所定順位以外の場合には、画像中の人物の顔を未知顔と分類する。これにより、既知顔と未知顔とを高い精度で分類することができる。特に、顔認識辞書に多数の顔が登録されていない場合においても、既知顔と未知顔とを分類することができる。

第５の態様に係る画像処理装置は、第３又は第４の態様に係る画像処理装置において、前記出現頻度管理手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記同一人物の特徴の出現頻度に１を追加したものを該同一人物の特徴の新たな出現頻度とし、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記新規の人物の顔の特徴の出現頻度を１とすることを特徴とする。

第５の態様に係る画像処理装置によれば、抽出された顔と同一人物の顔が顔認識辞書に登録されていると判別された場合には、顔認識辞書に登録されている顔の特徴の出現頻度に１を追加し、抽出された顔と同一人物の顔が顔認識辞書に登録されていないと判別された場合には、新たに顔認識辞書に登録された新規の人物の顔の特徴の出現頻度を１とする。これにより、出現頻度に応じて既知顔と未知顔とを分類することができる。

第６の態様に係る画像処理装置は、第１から第５の態様のいずれかに係る画像処理装置において、顔認識辞書修正手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記顔認識辞書に登録された前記同一人物の顔の特徴に代えて、前記抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された前記同一人物の顔の特徴との重み付け平均値が前記同一人物の顔の特徴となるように、前記顔認識辞書を修正することを特徴とする。

画像処理装置によれば、抽出された顔と同一人物の顔の特徴が顔認識辞書に登録されていると判別されると、抽出された顔の特徴と、顔認識辞書に登録された特徴との重み付け平均値を、新たな顔の特徴として顔認識辞書を修正する。これにより、使用回数が増えるのに伴って、顔認識辞書に登録された顔の特徴を本来あるべき値に収束させることができる。したがって、使用回数が増えると共に、自動的に顔認識の精度を上げることができる。

第７の態様に係る撮像装置は、第１から第６の態様のいずれかに係る画像処理装置と、被写体像を撮像する撮像手段と、前記撮像手段により撮像された被写体像を表示する表示手段と、前記表示手段に表示された被写体像に、前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示する表示制御手段であって、前記既知顔と前記未知顔とを区別して表示する表示制御手段と、を備えたことを特徴とする。

第７の態様に係る撮像装置によれば、撮影された被写体像から自動的に既知顔と未知顔を分類し、既知顔、未知顔それぞれの顔領域に異なる枠を被写体像に重ねて表示する。これにより、ユーザは既知顔が自動的に検出されたことを確認することができる。

第８の態様に係る撮像装置は、第７の態様に係る撮像装置において、前記表示制御手段は、前記分類手段において前記画像取得手段により取得された画像中の人物の顔が既知顔として分類された場合には所定色の枠を表示し、前記分類手段において前記画像取得手段により取得された画像中の人物の顔が未知顔として分類された場合には前記所定色と異なる色の枠を表示することを特徴とする。

第８の態様に係る撮像装置によれば、既知顔の顔領域には所定色の枠を表示し、未知顔の顔領域には所定色と異なる色の枠を表示する。これにより、ユーザが既知顔を撮影する回数が増えることなどにより、未知顔と分類された顔が既知顔と分類されるようになると、顔領域に重ねて表示される枠の色が自動的に変化し、撮像装置が自動的に学習しているということをユーザに認識させることができる。

第９の態様に係る撮像装置は、第７または第８の態様に係る撮像装置において、前記分類手段により分類された既知顔に対して、自動露出制御、自動合焦制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う制御手段を備えたことを特徴とする。

第９の態様に係る撮像装置によれば、既知顔に対して自動露出制御、自動合焦制御及び自動ホワイトバランス制御等を行うことで、既知顔が適切に合焦、露出された被写体像を撮像することができる。

第１０の態様に係る画像処理方法は、人物を含む画像を取得するステップと、前記取得された画像から顔領域を検出するステップと、前記検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出するステップと、前記抽出された顔の特徴と、同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録するステップと、を含むことを特徴とする。

第１１の態様に係る画像処理方法は、第１０の態様に係る画像処理方法において、前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が所定の閾値以上の場合に、前記取得された画像中の人物の顔を既知顔として分類するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が前記所定の閾値未満の場合に、前記取得された画像中の人物の顔を未知顔として分類するステップと、を含むことを特徴とする。

第１２の態様に係る画像処理方法は、第１０の態様に係る画像処理方法において、前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が上位の所定順位以内の場合に、前記取得された画像中の人物の顔を既知顔として分類するステップと、前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が前記上位の所定順位以外の場合に、前記取得された画像中の人物の顔を未知顔として分類するステップと、を含むことを特徴とする。

第１３の態様に係るプログラムは、第１０から第１２の態様のいずれかに係る画像処理方法を演算装置に実行させる。

本発明によれば、辞書に特定人物の顔の登録をすることなく、画像に含まれている顔の中から特定人物の顔のみを自動的に分類することができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することができる。

以下、添付図面に従って本発明が適用された画像処理装置、撮像装置、画像処理方法及びプログラムを実施するための最良の形態について詳細に説明する。

図１は第１の実施の形態の撮像装置のデジタルカメラ１を示す正面斜視図である。図２は、上記デジタルカメラ１の一実施形態を示す背面図である。この撮像装置は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラである。

デジタルカメラ１のカメラボディ１２は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズ１４、ストロボ１６、ファインダ窓１８、セルフタイマランプ２０、ＡＦ補助光ランプ２２、ストロボ調光センサ２４等が配設されている。また、カメラボディ１２の上面にはシャッターボタン２６、電源／モードスイッチ２８、モードダイヤル３０等が配設されている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ３２、ファインダ接眼部３４、スピーカ３６、ズームボタン３８、十字ボタン４０、ＭＥＮＵ／ＯＫボタン４２、ＤＩＳＰボタン４４、ＢＡＣＫボタン４６等が配設されている。

なお、図示しないカメラボディ１２の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。

レンズ１４は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２８によってカメラのモードを撮影モードに設定することにより、カメラボディ１２から繰り出される。なお、レンズ１４のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ１６は、主要被写体に向けてストロボ光を照射できるように、その発光部が水平方向及び垂直方向に揺動できるように構成されている。なお、このストロボ１６の構成については、後に詳述する。

ファインダ窓１８は、撮影する被写体を決めるのぞき窓の部分である。

セルフタイマランプ２０は、たとえばＬＥＤ構成されており、後述するシャッターボタン２６を押した後、一定時間を経過した後で撮影を行うセルフタイマ機能を用いて撮影を行うときに発光される。

ＡＦ補助光ランプ２２は、たとえば高輝度ＬＥＤ構成されており、ＡＦ時に必要に応じて発光される。

ストロボ調光センサ２４は、後述するようにストロボ１６の発光量を調整するものである。

シャッターボタン２６は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１は、このシャッターボタン２６が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。

電源／モードスイッチ２８は、デジタルカメラ１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、デジタルカメラ１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。デジタルカメラ１は、電源／モードスイッチ２８をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２８をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル３０は、デジタルカメラ１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。例えば、絞り、シャッタースピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、動画撮影を行う「動画撮影モード」、人物撮影に適した「人物撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りをユーザが設定し、シャッタースピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタースピードをユーザが設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタースピード優先撮影モード」、絞り、シャッタースピード等をユーザが設定する「マニュアル撮影モード」等である。

モニタ３２は、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ３２は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。

ズームボタン３８は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３８Ｔと、広角側へのズームを指示するズームワイドボタン３８Ｗとからなる。デジタルカメラ１は、撮影モード時に、このズームテレボタン３８Ｔとズームワイドボタン３８Ｗとが操作されることにより、レンズ１４の焦点距離が変化する。また、再生モード時に、このズームテレボタン３８Ｔとズームワイドボタン３８Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン４０は、上下左右４方向の指示を入力する方向指示手段として機能し、たとえば、メニュー画面でメニュー項目の選択などに使用される。

ＭＥＮＵ／ＯＫボタン４２は、各モードの通常画面からメニュー画面への遷移を指示するボタン（ＭＥＮＵボタン）として機能するととともに、選択内容の確定、処理の実行等を指示するボタン（ＯＫボタン）として機能する。

ＤＩＳＰボタン４４は、モニタ３２の表示切り替えを指示するボタンとして機能し、撮影中、このＤＩＳＰボタン４４が押されると、モニタ３２の表示が、ＯＮ→フレーミングガイド表示→ＯＦＦに切り替えられる。また、再生中、このＤＩＳＰボタン４４が押されると、通常再生→文字表示なし再生→マルチ再生に切り替えられる。

ＢＡＣＫボタン４６は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

図３は、デジタルカメラ１内部の概略構成を示すブロック図である。

同図に示すように、デジタルカメラ１は、ＣＰＵ１１０、メモリ１１２、ＶＲＡＭ１１４、ＲＯＭ１１６、ＥＥＰＲＯＭ１１８、操作部（シャッターボタン２６、電源／モードスイッチ２８、モードダイヤル３０、ズームボタン３８、十字ボタン４０、ＭＥＮＵ／ＯＫボタン４２、ＤＩＳＰボタン４４、ＢＡＣＫボタン４６等）１２０、タイミングジェネレータ（ＴＧ）１２２、撮像素子１２４、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２、画像信号処理部１３４、圧縮伸張処理部１３６、ＡＦ検出部１４０、ＡＥ／ＡＷＢ検出部１４２、絞り駆動部１４４、レンズ駆動部１４６、ストロボ制御部１４８、メディア制御部１５０、ビデオエンコーダ１５２、記憶メディア３５、顔検出部１５４、顔認識辞書記憶部１５６、既知顔分類部１５８、顔認識辞書修正部１６０等で構成されている。

ＣＰＵ１１０は、操作部１２０から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１の全体を統括制御する。

バスを介してＣＰＵ１１０と接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ等が格納されており、ＥＥＰＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１の動作に関する各種設定情報等が格納されている。また、メモリ（ＳＤＲＡＭ）１１２は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データ等の一時記憶領域として利用され、ＶＲＡＭ１１４は、画像データ専用の一時記憶領域として利用される。

撮像素子１２４は、たとえば、所定のカラーフィルタ配列のカラーＣＣＤで構成されており、レンズ１４によって結像された被写体の画像を電子的に撮像する。タイミングジェネレータ（ＴＧ）１２２は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２４を駆動するためのタイミング信号を出力する。

アナログ処理部１２８は、撮像素子１２４から出力された画像信号に対して、画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅してＡ／Ｄ変換器１３０に出力する。

Ａ／Ｄ変換器１３０は、アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して出力する。

画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

画像信号処理部１３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

圧縮伸張処理部１３６は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

ＡＦ検出部１４０は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア検出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＥ／ＡＷＢ検出部１４２は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。

絞り駆動部１４４及びレンズ駆動部１４６は、ＣＰＵ１１０からの指令に応じて、撮影レンズ１４、絞り１５の動作を制御する。

ストロボ制御部１４８は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。

メディア制御部１５０は、ＣＰＵ１１０からの指令に従い、メディアスロットに装填された記憶メディア３５に対してデータの読み／書きを制御する。

ビデオエンコーダ１５２は、ＣＰＵ１１０からの指令に従い、モニタ３２への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ３２に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ３２に出力するとともに、必要に応じてＣＰＵ１１０で合成された、所定の文字、図形情報をモニタ３２に出力する。

顔検出部１５４は、ＣＰＵ１１０からの指令に従い、入力された画像データから画像内の顔領域を抽出し、その位置（たとえば、顔領域の重心）を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。

顔認識辞書記憶部１５６は、顔の特徴を示す指標と出現頻度とが関連付けて登録された顔認識辞書が記憶されたものである。顔の特徴を示す指標とは、例えば特徴ベクトルJi（i＝１…Ｎ、Ｎは顔認識辞書に登録された顔の数）であり、顔の大きさの正規化、雑音除去、方向性抽出フィルタなどの変換が行なわれた後で、主成分分析により算出される。

主成分分析により特徴ベクトルJiを算出する方法等は公知の技術であるため、ここでは特徴ベクトルJiについて簡単に説明する。複数枚の顔の画像I＝(I1,I2,I3…IN)に基づいて数式１に示す相関行列を計算し、数式２に示す固有値問題を解くことにより固有ベクトルΓを算出する。

上位ｋ個の固有ベクトルΓ1,Γ2,…Γkを用いたサブ空間行列Ｓ＝(Γ1,Γ2,…Γk)を用いて特徴ベクトルJiを作成する。

これにより、冗長成分が除去され、顔画像認識のために有効な特徴が抽出された特徴ベクトルJnが算出される。例えば、２０×２０画素の画像であるとすると、Iiは４００次元となるが、サブ空間行列Ｓ＝(Γ1,Γ2,…Γk)を用いることにより特徴ベクトルJiをｋ次元、例えば２０次元まで圧縮することができる。

なお、顔の特徴を示す指標として、特徴ベクトルJi以外に、目や口などの顔を構成する各部位の間の距離や位置関係を用いることもできる。

次に、出現頻度について説明する。出現頻度とは、既知顔分類部１５８（後で詳述）において、顔認識辞書記憶部１５６に登録された所定の顔（例えば、ａ番目の顔）が、被写体像から顔検出部１５４において検出された顔（以下、入力顔という）であると判断された頻度である。

例えば、過去に、顔検出部１５４で検出された顔が、顔認識辞書記憶部１５６に登録されたａ番目の顔であると判断された回数がｎ回である場合には、ａ番目の顔の出現頻度はｎ回である。次に顔検出部１５４で検出された顔が、顔認識辞書記憶部１５６に登録されたａ番目の顔であると判断された場合には、ａ番目の顔の出現頻度はｎ＋１回となる。

既知顔分類部１５８は、顔検出部１５４で検出された顔のなかから特定人物の顔（既知顔）を分類する。具体的には、まず顔検出部１５４で検出された顔の特徴ベクトルJ0を算出し、次に数式４を用いて、特徴ベクトルJ0と、顔認識辞書記憶部１５６に登録された顔の特徴ベクトルJiとの類似度Xiを算出する。なお、算出された類似度Xiは、１に近いほど顔検出部１５４で検出された顔と、顔認識辞書記憶部１５６に登録された顔とが類似しており、１の場合は顔検出部１５４で検出された顔と、顔認識辞書記憶部１５６に登録された顔とが一致していることを意味する。

顔認識辞書記憶部１５６に登録された全ての顔の特徴ベクトルとの類似度Xkのうちの最も高い類似度Xk（１≦Ｋ≦Ｎ）を求め、類似度Xkの値に基づいて顔検出部１５４で検出された顔が特定人物の顔（既知顔）であるかどうかを判断する。特定人物の顔（既知顔）を分類する方法については、後に詳述する。

なお、類似度としては、特徴ベクトルJ0、Ji間のユークリッド距離の２乗Ｅ＝‖Ji−J0‖2を用いることもできる。Ｅが０に近いほど類似度が高いことを意味し、１／Ｅが１に近いほど類似度が高いことを意味する。

顔認識辞書修正部１６０は、既知顔分類部１５８で算出された類似度に基づいて、顔認識辞書記憶部１５６に記憶された顔認識辞書を修正する。顔認識辞書修正部１６０において、顔認識辞書を修正する方法については、後に詳述する。

次に、以上のように構成された本実施の形態のデジタルカメラ１の作用について説明する。

電源／モードスイッチ２８を撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ１４が繰り出され、撮影スタンバイ状態になる。

この撮影モードの下、レンズ１４を通過した被写体光は、絞り１５を介して撮像素子１２４の受光面に結像される。撮像素子１２４の受光面には、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が二次元的に配置されている。レンズ１４を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１２２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。

アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。

撮影画像をモニタ３２に出力する場合は、画像入力制御部１３２からメモリ１１２に出力された画像信号より画像信号処理部１３４で輝度／色差信号が生成され、その信号がビデオエンコーダ１５２に送られる。ビデオエンコーダ１５２は、入力された輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、モニタ３２に出力する。これにより、撮像素子１２４で撮像された画像がモニタ３２に表示される。

撮像素子１２４から画像信号を定期的に取り込み、その画像信号から生成される輝度／色差信号によってＶＲＡＭ１１４内の画像データを定期的に書き換え、モニタ３２に出力することにより、撮像素子１２４で撮像される画像がリアルタイムに表示される。ユーザは、このモニタ３２にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。

スルー画像の表示と同時に、既知顔分類部１５８は、既知顔の分類を行う。既知顔分類部１５８が既知顔の分類を行う処理の流れについて、図４（ステップＳ１０〜Ｓ１８）を用いて説明する。

既知顔分類部１５８は、顔認識辞書に登録されている顔の特徴ベクトル及び出現頻度を顔認識辞書記憶部１５６から取得する（ステップＳ１０）。

ＣＰＵ１１０は、メモリ１１２から画像信号を取得し（ステップＳ１１）、顔検出部１５４に出力する。顔検出部１５４は、この画像信号に基づいて、画像に含まれる顔領域を検出する（ステップＳ１２）。ステップＳ１２で検出された結果は、既知顔分類部１５８に入力される。

既知顔分類部１５８は、顔検出部１５４において顔領域が検出されたか、すなわち画像に顔が含まれるかどうかを判断する（ステップＳ１３）。画像に顔が含まれていない場合には（ステップＳ１３でＮＯ）には、処理を終了する。

画像に顔が含まれている場合には（ステップＳ１３でＹＥＳ）には、既知顔分類部１５８は、入力顔の特徴抽出、すなわち入力顔の特徴ベクトルJ0の算出を行う（ステップＳ１４）。

既知顔分類部１５８は、入力顔の特徴ベクトルJ0と、ステップＳ１０で取得した特徴ベクトルJi（i＝１…Ｎ、Ｎは顔認識辞書に登録された顔の数）との類似度Xiを算出する（ステップＳ１５）。

顔認識辞書記憶部１５６には、Ｎ個の顔が登録されているため、Ｎ個の顔それぞれに対して類似度Xiが算出される。そして、既知顔分類部１５８は、Ｎ個の類似度Xiのうちの最も高い類似度Xk（１≦Ｋ≦Ｎ）を求める（ステップＳ１６）。これにより、入力顔の候補として、Ｋ番目の顔が求められる。

次に、ステップＳ１６で算出された類似度Xkに応じて顔認識辞書の修正を行う（ステップＳ１７）。図５は、顔認識辞書の修正処理（ステップＳ１７）の一連の処理の流れを示すフローチャートである。

既知顔分類部１５８は、ステップＳ１６で算出された類似度Xkが閾値Ａ（０から１の間の値、例えば０．９）より大きいかどうかを判断する（ステップＳ１７１）。類似度Xkが閾値Ａより大きい場合（ステップＳ１７１でＹＥＳ）には、既知顔分類部１５８は、顔検出部１５４で検出された顔はＫ番目の顔と判断し、顔認識辞書に登録されたＫ番目の顔の特徴ベクトルJkと出現頻度とを修正する（ステップＳ１７２）。このように、類似度を用いることにより、入力顔の候補としてあげられたＫ番目の顔が入力顔であるかどうかを精度よく、確実に判断することができる。したがって、入力顔が顔認識辞書に登録されていない場合に、入力顔が顔認識辞書に登録されていると間違って判別することを防止することができる。

図６は、Ｋ番目の顔の特徴ベクトルJkと出現頻度とを修正する処理（ステップＳ１７２）の一連の処理の流れを示すフローチャートである。まず、顔認識辞書修正部１６０は、入力顔の特徴ベクトルJ0と、顔認識辞書に登録されたＫ番目の顔の特徴ベクトルJkとの重み付け平均を、修正後の顔認識辞書の特徴ベクトルJkとして算出する（ステップＳ１７２１，Ｓ１７２２）。すなわち、顔認識辞書修正部１６０は、数式５を用いて重み付け係数を算出し（ステップＳ１７２１）、数式６を用いて重み付け平均を算出する（ステップＳ１７２２）。

このように、入力顔の特徴ベクトルJ0と顔認識辞書に登録された特徴ベクトルJkとの重み付け平均値を求めることにより、顔認識辞書に登録された特徴ベクトルJkを本来あるべき値に収束させることができる。したがって、使用回数が増えると共に、自動的に顔認識の精度を上げることができる。

次に、顔認識辞書修正部１６０は、数式７に示すように、顔認識辞書に登録された出現頻度に１を加えたものを、修正後の顔認識辞書の出現頻度として算出する（ステップＳ１７２３）。

〔数７〕
出現頻度（修正後）＝出現頻度（修正前）＋１
そして、顔認識辞書修正部１６０は、ステップＳ１７２２、Ｓ１７２３で算出された結果を、それぞれＫ番目の顔の修正後の特徴ベクトルJk、出現頻度として顔認識辞書記憶部１５６に記憶された顔認識辞書に再登録（上書き）する。これにより、顔認識辞書に登録されたＫ番目の顔の特徴ベクトルJk及び出現頻度を修正する処理（ステップＳ１７２）が終了する。

類似度Xkが閾値Ａより大きくない場合（ステップＳ１７１でＮＯ）には、既知顔分類部１５８は、顔検出部１５４で検出された顔は顔認識辞書に登録されていない新たな顔であると判断し、顔認識辞書に顔を新規登録する（ステップＳ１７３）。

図７は、顔認識辞書に顔を新規登録する処理（ステップＳ１７３）の一連の処理の流れを示すフローチャートである。現在、顔認識辞書には、Ｎ個の特徴ベクトル及び出現頻度が登録されているため、入力顔の特徴ベクトルJ0をＮ＋１番目の顔の特徴ベクトルとして顔認識辞書に登録し（ステップＳ１７３１）、Ｎ＋１番目の顔の出現頻度を１として顔認識辞書に登録し（ステップＳ１７３２）、顔認識辞書の登録数をＮからＮ＋１に修正する（ステップＳ１７３３）。このように、顔認識辞書に新しい顔が追加されることにより、ユーザが登録操作などを行う必要がないため、ユーザの負担が軽く、便利である。

以上により、顔認識辞書の修正処理（ステップＳ１７）が終了すると、既知顔分類部１５８は、顔検出部１５４で検出された顔を既知顔と未知顔（特定人物以外の顔）とに分類する（ステップＳ１８）。図８は、既知顔と未知顔との分類処理（ステップＳ１８）の一連の処理の流れを示すフローチャートである。

既知顔分類部１５８は、ステップＳ１６で算出された類似度Xkが閾値Ａ（０から１の間の値、例えば０．９）より大きいかどうかを判断する（ステップＳ１８１）。類似度Xkが閾値Ａより大きい場合（ステップＳ１８１でＹＥＳ）には、ステップＳ１７２３又はステップＳ１７３２で算出された出現頻度が所定の閾値Ｂより大きいかどうかを判断する（ステップＳ１８２）。

出現頻度が所定の閾値Ｂより大きい場合（ステップＳ１８２でＹＥＳ）には、入力顔は既知顔とし（ステップＳ１８３）、出現頻度が所定の閾値Ｂより大きくない場合（ステップＳ１８２でＮＯ）には、入力顔は未知顔とする（ステップＳ１８４）。

これにより、顔検出部１５４で検出された顔を既知顔と未知顔とに分類する処理（ステップＳ１８）を終了する。このように、出現頻度を用いて既知顔と未知顔とに分類することで、顔認識辞書に登録された顔全てを既知顔とすることなく、既知顔と未知顔とを分類することができる。

既知顔分類部１５８が既知顔の分類を行う処理（ステップＳ１０〜Ｓ１８）が終了したら、顔検出部１５４で検出された顔領域を示す枠をスルー画に重ねて表示する。この時、ステップＳ１８での分類結果に基づき、既知顔と未知顔とを区別して表示する（ステップＳ１９）。例えば、図９に示すように、ステップＳ１８において既知顔と分類された顔の顔領域には、色１（例えば赤色）の枠を画像に重ねて表示する。また、ステップＳ１８においてと分類された顔の顔領域には、色２（例えば緑色）の枠を画像に重ねて表示する。

これにより、ユーザは既知顔が自動的に検出されたことを確認することができる。また、ステップＳ１７において顔認識辞書の修正、追加をするため、ユーザが既知顔を撮影する回数が増えることで、枠の色が緑から赤に変化する。これにより、ユーザは、デジタルカメラ１が自動的に学習しているということを認識することができる。

撮影はシャッターボタン２６の押下によって行なわれる。シャッターボタン２６が半押しされると、Ｓ１ＯＮ信号がＣＰＵ１１０に入力され、ＣＰＵ１１０は、以下のようにしてＡＥ／ＡＦ処理及びＡＷＢ処理を実施する（ステップＳ２０）。

まず、画像入力制御部１３２を介して撮像素子１２４から取り込まれた画像信号がＡＦ検出部１４０並びにＡＥ／ＡＷＢ検出部１４２に入力される。

ステップＳ１８で既知顔に分類された顔が撮像素子１２４から取り込まれた画像信号に含まれる場合には、ＣＰＵ１１０は既知顔の領域に対してＡＥ／ＡＦ処理を実施する。

また、ステップＳ１８で既知顔に分類された顔が撮像素子１２４から取り込まれた画像信号に含まれない場合において、画像信号に未知顔が含まれる場合には、ＣＰＵ１１０は未知顔の領域（複数の未知顔が含まれる場合には画角中央付近にある最も大きさの大きい未知顔の領域）に対してＡＥ／ＡＦ処理を実施する。

なお、画像信号に未知顔が含まれない場合には、ＣＰＵ１１０は画角中央近辺の任意の領域に対してＡＥ／ＡＦ処理を実施する。

ＣＰＵ１１０は、ＡＦ検出部１４０で算出された積算値のデータに基づいて、レンズ駆動部１４６を制御してレンズ１４を含む撮影光学系のフォーカスレンズ群を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ群が移動するように、レンズ駆動部１４６を制御する。

ＣＰＵ１１０は、ＡＥ／ＡＷＢ検出部１４２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、求めた撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従い撮像素子１２４の電子シャッターと絞り駆動部１４４を制御して適正な露光量を得る。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。

また、ＡＥ／ＡＷＢ検出部１４２は、自動ホワイトバランス調整時、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１０に提供する。すなわち、ＡＥ／ＡＷＢ検出部１４２は、ステップＳ１８で既知顔に分類された顔が撮像素子１２４から取り込まれた画像信号に含まれる場合には、ＣＰＵ１１０は既知顔の領域に対して自動ホワイトバランス調整を実施する。

また、ステップＳ１８で既知顔に分類された顔が撮像素子１２４から取り込まれた画像信号に含まれない場合において、画像信号に未知顔が含まれる場合には、ＡＥ／ＡＷＢ検出部１４２は未知顔の領域（複数の未知顔が含まれる場合には画角中央付近にある最も大きさの大きい未知顔の領域）に対して自動ホワイトバランス調整を実施する。

なお、画像信号に未知顔が含まれない場合には、ＡＥ／ＡＷＢ検出部１４２は画角中央近辺の任意の領域に対して自動ホワイトバランス調整を実施する。

ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。

以上のように、シャッターボタン２６の半押しによって、ＡＥ／ＡＦ処理及びＡＷＢ処理が行なわれる。この間、ユーザは、必要に応じてズームボタン３８を操作し、レンズ１４をズーミングさせて画角を調整し、ＣＰＵ１１０は、ＡＥ／ＡＦ処理及びＡＷＢ処理を継続して行う。

この後、シャッターボタン２６が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力され、ＣＰＵ１１０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で撮像素子１２４を露光する。

この際、ストロボ１６を発光させる場合は、ストロボ制御部１４８を介してストロボ１６を発光させる。ストロボ制御部１４８は、ストロボ調光センサ２４での受光量が所定量に達すると、ストロボ１６への通電を遮断し、ストロボ１６の発光を停止させる。

撮像素子１２４から出力された画像信号は、アナログ処理部１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２を介してメモリ１１２に取り込まれ、画像信号処理部１３４において輝度／色差信号に変換されたのち、メモリ１１２に格納される。

メモリ１１２に格納された画像データは、圧縮伸張処理部１３６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１１２に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メディア制御部１５０を介して記憶メディア３５に記録される。

本実施の形態によれば、入力顔が顔認識辞書に登録された顔であると判断された場合に、顔認識辞書に登録された顔全てを検出すべき人物と見なすことなく、その顔の出現頻度に基づいて既知顔と未知顔とに分類するため、既知顔と未知顔とを精度よく分類することができる。

また、本実施の形態によれば、入力顔が顔認識辞書に登録されていない顔であると判断された場合に、入力顔が顔認識辞書に追加されるので、ユーザが登録操作などを行う必要がないため、ユーザの負担が軽く、便利な撮像装置を提供することができる。

さらに、本実施の形態によれば、入力顔が顔認識辞書に登録された顔であると判断された場合に、顔認識辞書に登録された特徴ベクトルJiを入力顔の特徴ベクトルJ0を用いて修正することにより、使用回数が増えるのに伴い、特徴ベクトルJiを本来あるべき値に収束させ、顔認識の精度を上げることができる。

また、検出された既知顔に対してＡＥ、ＡＦ、ＡＷＢ処理等を行うことにより、既知顔が適切に合焦、露出された被写体像を撮像することができる。

なお、本実施の形態では、既知顔／未知顔の分類処理（ステップＳ１８）として出現頻度が所定の閾値Ｂより大きい場合を既知顔とした（図８参照）が、既知顔／未知顔の分類処理（ステップＳ１８）の変形例として、図１０に示すような分類処理を行なってもよい。

既知顔分類部１５８は、ステップＳ１６で算出された類似度Xkが閾値Ａ（０から１の間の値、例えば０．９）より大きいかどうかを判断する（ステップＳ１８１）。類似度Xkが閾値Ａより大きい場合（ステップＳ１８１でＹＥＳ）には、ステップＳ１７２３又はステップＳ１７３２で算出された出現頻度が、顔認識辞書に登録されたＮ個の顔の出現頻度のうちの上位Ｃ番（例えば２０番）以内であるかどうかを判断する（ステップＳ１８５）。顔認識辞書は、特徴ベクトルJiと出現頻度とがカテゴリー分類されており、出現頻度が上位Ｃ番以内の顔はカテゴリー１に分類されており、それ以外の顔はカテゴリー２に分類されている。

出現頻度が所定の閾値Ｂより大きい、すなわち入力顔がカテゴリー１に分類されている場合（ステップＳ１８５でＹＥＳ）には、入力顔は既知顔とし（ステップＳ１８３）、出現頻度が所定の閾値Ｂより大きくない、すなわち入力顔がカテゴリー２に分類されている場合（ステップＳ１８２でＮＯ）には、入力顔は未知顔とする（ステップＳ１８４）。

それと共に、顔認識辞書修正部１６０は、顔認識辞書の出現頻度の修正と共にカテゴリー分類をしなおす。これにより、常に精度の高い既知顔／未知顔の分類をすることができる。

このように、顔認識辞書に登録されたＮ個の顔の出現頻度のうちの上位Ｃ番以内の場合のみ既知顔とすることにより、使い始めなど顔認識辞書に多数の顔が登録されていない場合においても、既知顔と未知顔とを区別することができる。

なお、上位Ｃ番以内の一例として２０番としたのは、顔の向き、照明の色などが原因で同一人物の顔が複数登録される可能性を考慮したためである。

更に、既知顔／未知顔の分類処理（ステップＳ１８）の変形例として、図８に示す方法と図１０に示す方法とを組み合わせて使用するようにしても良い。例えば、顔認識辞書に登録されている顔の数Ｎが所定の閾値より少ない場合には、図１０に示すような処理を使用し、顔認識辞書に登録されている顔の数Ｎが所定の閾値以上となった場合には、図８に示すような処理を使用しても良い。

また、本実施の形態では、顔認識辞書の修正処理（ステップＳ１７）、既知顔／未知顔の分類処理（ステップＳ１８）において、ステップＳ１６で算出された類似度Xkが閾値Ａ（０から１の間の値、例えば０．９）より大きいかどうかを判断した。この閾値Ａは、例えば０．９として予め設定しておいてもよいし、類似度Xkの値（例えば、Xkの平均値）に応じて０から１の間の値で変化させてもよい。閾値Ｂ（ステップＳ１８２で使用）についても、閾値Ａと同様に、予め設定された値を用いてもよいし、出現頻度等に応じて変化させてもよい。

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理をおこなうＰＣなどの画像処理装置にも同様に適用することができる。また、ＰＣなどの装置に適用するプログラムとして提供することもできる。

本発明が適用されたデジタルカメラ１の外観構成を示す正面斜視図である。 上記デジタルカメラ１の外観構成を示す背面斜視図である。 上記デジタルカメラ１の電気的構成を示すブロック図である。 上記デジタルカメラ１の処理の流れを示すフローチャートである。 顔認識辞書の修正処理（ステップＳ１７）の処理の流れを示すフローチャートである。 顔認識辞書の修正処理（ステップＳ１７）の処理の流れを示すフローチャートである。 顔認識辞書の修正処理（ステップＳ１７）の処理の流れを示すフローチャートである。 既知顔／未知顔の分類処理（ステップＳ１８）の処理の流れを示すフローチャートである。 既知顔／未知顔を分類して表示する表示例である。 既知顔／未知顔の分類処理（ステップＳ１８）の処理の流れを示すフローチャートである。

符号の説明

１：デジタルカメラ、１２：カメラボディ、１４：レンズ、１６：ストロボ、１８：ファインダ窓、３２：モニタ、３５：記憶メディア、１１０：ＣＰＵ、１１２：メモリ、１１４：ＶＲＡＭ、１１６：ＲＯＭ、１１８：ＥＥＰＲＯＭ、１２０：操作部、１２２：タイミングジェネレータ（ＴＧ）、１２４：撮像素子、１２８：アナログ処理部（ＣＤＳ／ＡＭＰ）、１３０：Ａ／Ｄ変換器、１３２：画像入力制御部、１３４：画像信号処理部、１３６：圧縮伸張処理部、１４０：ＡＦ検出部、１４２：ＡＥ／ＡＷＢ検出部、１４４：絞り駆動部、１４６：レンズ駆動部、１４８：ストロボ制御部、１５０：メディア制御部、１５２：ビデオエンコーダ、１５４：顔検出部、１５６：顔認識辞書記憶部、１５８：既知顔分類部、１６０：顔認識辞書修正部

Claims (11)

1. 同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書と、
   人物を含む画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像から顔領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別する判別手段と、
   前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録する顔認識辞書修正手段と、
   前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を管理する出現頻度管理手段と、
   前記画像取得手段により取得された画像中の人物の顔を既知顔又は未知顔のいずれかとして分類する分類手段であって、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記出現頻度管理手段に管理された出現頻度が所定の閾値以上の場合に、前記画像取得手段により取得された画像中の人物の顔を既知顔として分類し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記出現頻度管理手段に管理された出現頻度が前記所定の閾値未満の場合に、前記画像取得手段により取得された画像中の人物の顔を未知顔として分類する分類手段と、
   前記画像取得手段により取得された画像を表示する表示手段と、
   前記表示手段に表示された画像に、前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示する表示制御手段であって、前記既知顔と前記未知顔とを区別して表示する表示制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書と、
   人物を含む画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像から顔領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別する判別手段と、
   前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録する顔認識辞書修正手段と、
   前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を管理する出現頻度管理手段と、
   前記画像取得手段により取得された画像中の人物の顔を既知顔又は未知顔のいずれかとして分類する分類手段であって、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記出現頻度管理手段に管理された出現頻度が上位の所定順位以内の場合に、前記画像取得手段により取得された画像中の人物の顔を既知顔として分類し、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記出現頻度管理手段に管理された出現頻度が前記上位の所定順位以外の場合に、前記画像取得手段により取得された画像中の人物の顔を未知顔として分類する分類手段と、
   前記画像取得手段により取得された画像を表示する表示手段と、
   前記表示手段に表示された画像に、前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示する表示制御手段であって、前記既知顔と前記未知顔とを区別して表示する表示制御手段と、
   を備えたことを特徴とする画像処理装置。
3. 前記判別手段は、前記特徴抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された顔の特徴のうちの前記抽出された顔の特徴に最も類似する特徴との類似度を算出し、前記算出した類似度が所定の閾値を越えた場合に、前記特徴抽出手段により顔の特徴が抽出された顔と同一人物の顔の特徴が前記顔認識辞書に登録されていると判別することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出現頻度管理手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記同一人物の特徴の出現頻度に１を追加したものを該同一人物の特徴の新たな出現頻度とし、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記新規の人物の顔の特徴の出現頻度を１とすることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記顔認識辞書修正手段は、前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記顔認識辞書に登録された前記同一人物の顔の特徴に代えて、前記抽出手段により抽出された顔の特徴と、前記顔認識辞書に登録された前記同一人物の顔の特徴との重み付け平均値が前記同一人物の顔の特徴となるように、前記顔認識辞書を修正することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 請求項１から５のいずれかに記載の画像処理装置を備える撮像装置であって、
   前記画像取得手段は被写体像を撮像する撮像手段であり、
   前記表示手段は前記撮像手段により撮像された被写体像を表示し、
   前記表示制御手段は前記表示手段に表示された被写体像に前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示することを特徴とする、
   撮像装置。
7. 前記表示制御手段は、前記分類手段において前記画像取得手段により取得された画像中の人物の顔が既知顔として分類された場合には所定色の枠を表示し、前記分類手段において前記画像取得手段により取得された画像中の人物の顔が未知顔として分類された場合には前記所定色と異なる色の枠を表示することを特徴とする請求項６に記載の撮像装置。
8. 前記分類手段により分類された既知顔に対して、自動露出制御、自動合焦制御及び自動ホワイトバランス制御のうちの少なくとも１つを行う制御手段を備えたことを特徴とする請求項６又は７に記載の撮像装置。
9. 人物を含む画像を取得するステップと、
   前記取得された画像から顔領域を検出するステップと、
   前記検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出するステップと、
   前記抽出された顔の特徴と、同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップと、
   前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正するステップと、
   前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録するステップと、
   前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップと、
   前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が所定の閾値以上の場合に、前記取得された画像中の人物の顔を既知顔として分類するステップと、
   前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が前記所定の閾値未満の場合に、前記取得された画像中の人物の顔を未知顔として分類するステップと、
   前記取得された画像を表示するステップと、
   前記表示された画像に、前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示するステップであって、前記既知顔と前記未知顔とを区別して表示するステップと、
   を含むことを特徴とする画像処理方法。
10. 人物を含む画像を取得するステップと、
    前記取得された画像から顔領域を検出するステップと、
    前記検出された顔領域に基づいて、当該顔領域の顔の特徴を抽出するステップと、
    前記抽出された顔の特徴と、同一人物か否かを判別するための顔の特徴が人物ごとに登録される顔認識辞書に登録された顔の特徴とに基づいて、同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップと、
    前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別されると、前記抽出された顔の特徴に基づいて前記登録されている顔の特徴を修正するステップと、
    前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別されると、前記抽出された顔の特徴を新規の人物の顔の特徴として登録するステップと、
    前記顔認識辞書に登録された人物ごとに、前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップと、
    前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記同一人物の顔の特徴が前記顔認識辞書に登録されていると判別され、かつ前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が上位の所定順位以内の場合に、前記取得された画像中の人物の顔を既知顔として分類するステップと、
    前記同一人物の顔の特徴が前記顔認識辞書に登録されているか否かを判別するステップにおいて前記判別手段によって同一人物の顔の特徴が前記顔認識辞書に登録されていないと判別された場合、又は前記顔認識辞書に登録された人物の特徴の出現頻度を算出するステップにおいて算出された出現頻度が前記上位の所定順位以外の場合に、前記取得された画像中の人物の顔を未知顔として分類するステップと、
    前記取得された画像を表示するステップと、
    前記表示された画像に、前記顔領域検出手段により検出された顔領域を示す枠を重ねて表示するステップであって、前記既知顔と前記未知顔とを区別して表示するステップと、
    を含むことを特徴とする画像処理方法。
11. 請求項９又は１０に記載の画像処理方法を演算装置に実行させるためのプログラム。

Images