JP4772756B2 - 撮像装置及び撮像プログラム - Google Patents

撮像装置及び撮像プログラム Download PDF

Info

Publication number
JP4772756B2
JP4772756B2 JP2007171730A JP2007171730A JP4772756B2 JP 4772756 B2 JP4772756 B2 JP 4772756B2 JP 2007171730 A JP2007171730 A JP 2007171730A JP 2007171730 A JP2007171730 A JP 2007171730A JP 4772756 B2 JP4772756 B2 JP 4772756B2
Authority
JP
Japan
Prior art keywords
image
face
area
learning
undetected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007171730A
Other languages
English (en)
Other versions
JP2009010828A (ja
Inventor
文行 白谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007171730A priority Critical patent/JP4772756B2/ja
Priority to PCT/JP2008/060720 priority patent/WO2009004901A1/ja
Publication of JP2009010828A publication Critical patent/JP2009010828A/ja
Priority to US12/647,890 priority patent/US8643738B2/en
Application granted granted Critical
Publication of JP4772756B2 publication Critical patent/JP4772756B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像から顔領域を検出する技術に関する。
近年、顔検出処理の自動化が進み、顔検出器を搭載したデジタルカメラが増えてきている。デジタルカメラに顔検出器を搭載することにより、被写体となる人物の顔に対してピント、露出値を自動的に最適化する自動焦点制御・自動露出制御が可能になり、人物の顔を綺麗に撮影することができる。
顔検出器としては、複数の識別器をカスケード接続するViolaらが提案する顔検出器(特許文献1)の他、ニューラルネットワークを用いた顔検出器(特許文献)などが用いられている。
P. Viola and M. Jones. "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, ppp.511-518, December, 2001 特開2006-301779公報 特開2003-323615公報
デジタルカメラなどの製品には学習済みの顔検出器が製品に搭載される。しかしながら、顔検出器の学習は標準的な顔の画像を用いて所望の検出精度が得られるように行われるため、あらゆる人物の顔について高い検出精度が得られるわけではない。したがって、ユーザーによっては、家族や知人といった被写体となる頻度の高い人物の顔が検出されにくいといった場合も生じうる。
この点に関して特許文献では、被写体となる頻度が高い人物の特徴をユーザーに入力させることで、当該人物の顔の顔検出精度を向上させている。しかしながら、このような操作をユーザーに求める手法では手間がかかる。
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、ユーザーに負担をかけずに、被写体となる頻度の高い人物の顔の顔検出精度を向上させることを目的とする。
本発明に係る撮像装置は、被写体を撮影し、第1の画像を取得する第1の撮影手段と、前記第1の撮影手段と異なる撮影条件で前記被写体を撮影し、第2の画像を取得する第2の撮影手段と、前記第1の画像及び前記第2の画像から顔領域を検出する顔検出器と、前記第2の画像から検出された顔領域に対応する位置にある前記第1の画像の領域が顔領域として検出されていない場合は、前記第1の画像の前記領域を未検出領域として抽出する未検出領域抽出手段と、前記未検出領域に基づき、前記未検出領域が顔領域として検出されるように前記顔検出器の学習を行う学習手段と、を備える。
本発明によれば、撮影条件(ストロボ発光の有無、露出値、解像度等)の異なる第1及び第2の画像からそれぞれ顔領域を検出し、第2の画像から検出された顔領域に対応する位置にある第1の画像の領域が顔領域として検出されなかった場合、第1の画像の当該領域が未検出領域として抽出され、当該領域が顔領域として検出されるように顔検出器の学習が行われる。学習が進めば、被写体となる頻度の高い人物の顔であれば第1の画像からでも顔領域として検出できるようになり、被写体となる頻度の高い人物の顔の検出精度が向上する。
以下、添付図面を参照しながら本発明の実施形態について説明する。
図1は、本発明に係る顔検出装置が搭載されたデジタルカメラの概略構成図である。
光学系1はレンズ、絞りで構成され、撮像部2はCCDやCMOSなどの電荷撮像素子で構成される。光学系1を介して撮像部2で撮影された画像(以下、「スルー画像」という。)は、A/Dコンバータ3でリアルタイムにデジタル信号に変換され、制御部4に送られる。
制御部4は、マイクロプロセッサを中心として構成され、一時メモリ41、顔検出器42を備える。また、制御部4は、撮像部2で撮影された画像をスルー画像(第1の画像)として一時メモリ41に逐次記録するとともに、スルー画像をカメラの背面に設けられた液晶モニタ5に表示する。カメラの上面及び背面にはボタン、ダイヤル等からなる操作部9が設けられており、ユーザーは液晶モニタ5に表示されるメニュー画面、撮影された画像のサムネイル画像等を見ながら各種操作を行うことができる。
制御部4に接続される学習用画像データベース6には、複数の画像がそれぞれ顔画像、非顔画像のいずれかであることを示す教師信号と対応付けられた状態で格納されており、学習用画像データベース6は顔検出器42の学習を行う際に用いられる。顔検出器42の学習方法については後述する。
制御部4は、顔検出器42をスルー画像に対して適用し、スルー画像から顔領域を検出する。そして、制御部4は、検出された顔領域の位置(中心位置)、大きさに基づき、検出された顔領域に対してピント、露出値が最適になるように、自動焦点(AF)・自動露出(AE)制御部10に信号を送り、レンズの位置、絞りを調節する。
ユーザーがレリーズボタン7を押すと、スルー画像に基づき逆光判定を行い、逆光と判定した場合はストロボ装置11を発光させる。そして、制御部4は、撮像部2で撮影された画像を本撮影画像(第2の画像)としてフラッシュメモリ8に記録する。
制御部4は、ストロボ発光が行われた場合は、本撮影画像に対して顔検出器42を再度適用し、本撮影画像から顔領域を検出する。そして、制御部4は、スルー画像からの顔検出結果と本撮影画像からの顔検出結果とを比較し、本撮影画像から検出された顔領域に対応する位置にあるスルー画像の領域が顔領域として検出されていない場合は、スルー画像の当該領域を未検出領域として抽出し、抽出された未検出領域の画像を顔画像であることを示す教師信号の値1と対応づけて学習用画像データベース6に追加する。
制御部4は、学習用画像データベース6に追加された画像の数が所定数に達したところで、追加された未検出領域の画像が顔領域として検出されるよう、顔検出器42の学習を行う。
顔検出器42についてさらに説明すると、顔検出器42はViolaらが提案する方法を用いた顔検出器であり、Adaboostアルゴリズムによって生成される複数の識別器Hk(k=1〜S)を、図2に示すようにカスケード接続した構造を有している。
画像のある領域が顔領域か否かを判断するには、まず、1段目の識別器H1でその領域が顔領域か否か判定する。顔領域でないと判定した場合は処理を終了し、顔領域と判定した場合は2段目の識別器H2に進む。そして、2段目以降の識別器Hkでも顔領域か否かの判定を行い、顔領域でないと判定した場合は処理を終了し、顔領域と判定した場合のみ次の段へと進む。
したがって、顔検出42は、最終段の識別器HSまで顔領域であるとの判定が続いた場合のみその領域が顔領域であると判定するので、高い検出精度が得られる。その一方で、途中の段で顔領域でないと判定した場合は直ちに処理が終了するので、高い処理速度が得られる。
識別器Hkは、それぞれ複数の弱識別器を線形結合することによって構成される。弱識別器は図3に示すような黒矩形と白矩形からなる矩形フィルターと閾値θの組である。弱識別器は、矩形フィルターを顔検出の対象となる領域に重ね合わせ、黒矩形に対応する領域内の輝度値の和と白矩形に対応する領域内の輝度値の和との差が閾値θよりも大きいか判断し、閾値θよりも大きいときは顔であることを示す1、小さいときは非顔であることを示す0を出力する。
顔検出の対象となる領域が識別器Hkに入力されると、識別器Hkは、弱識別器の出力にその弱識別器の信頼度αを掛けた値の総和を算出し、その総和から所定の閾値ThTを減じた値を確信度Conv(k)として算出する。確信度Conv(k)は、その領域に顔が含まれていることの確かさを表す値である。そして、識別器Hkは、確信度Conv(k)が正の場合は当該領域が顔領域と判定して+1を出力し、負の場合は非顔領域であると判定して−1の値を出力する。
図4は識別器Hkを生成する処理の内容を示したフローチャートである。識別器Hkを構成する弱識別器の選出はAdaboostアルゴリズムにより行われ、識別器Hkが学習用画像データベース6に格納されている画像に対して所望の精度で顔、非顔の判断ができるようになるまで繰り返される。添え字tは識別器Hkの更新回数(弱識別器を識別器Hkに追加した回数)であり、初期値は1である。
これによると、まず、ステップS1では、次式(1)により、学習用画像データベース6に格納されている各画像の重みを初期値W1(i)に設定する。iは各画像に割り当てられる通し番号であり、Nは学習用画像データベース6に格納されている画像の総数である。
Figure 0004772756
ステップS2では、様々な弱識別器を全画像に対して適用し、次式(2)により誤り率εtを算出する。
Figure 0004772756
ステップS3では、誤り率εtが最小になる弱識別器を、識別器Hkを構成する弱識別器htとして選出する。そして、選出された弱識別器htを識別器Hkに追加し、識別器Hkを更新する。
ステップS4では、選出された弱識別器htの誤り率εtに基づき、次式(3)により選出された弱識別器htの信頼度αtを算出する。
Figure 0004772756
ステップS5では、選出された弱識別器htの信頼度αtに基づき、弱識別器htが判定を誤った画像の重みWt(i)を次式(4)により増加させ、逆に、判定が正しかった画像の重みWt(i)を次式(5)によって減少させる。さらに、更新後の重みWt(i)をそれらの総和で割って重みWt(i)を正規化する。
Figure 0004772756
Figure 0004772756
ステップS6では、次式(6)により、弱識別器htを全画像に適用し、その結果に対応する信頼度αtを掛けた値の総和を求め、その総和から閾値ThTを引いた値を確信度Conv(k)として算出する。xは画像の輝度情報である。確信度Conv(k)は、0から1の間に正規化されるように、シグモイド関数を施してもよく、最大値で割ってもよい。
Figure 0004772756
ステップS7では、全画像について確信度Conv(k)の符号の正負に応じて顔検出対象となる領域が顔領域か否かを判断する。そして、顔領域、非顔領域の判断が正しく行われた画像の数を学習用画像データベースに格納されている画像の総数Nで割って、検出精度を算出する。
ステップS8では、所望の検出精度が得られているか判断する。所望の検出精度が得られている場合はステップS9に進む。
ステップS9では、次式(7)により識別器Hkを構成する。
Figure 0004772756
識別器Hkは、画像のある領域の輝度情報が入力されると式(6)により確信度Conv(k)を算出し、確信度Conv(k)の符号が正の場合は当該領域が顔領域と判定して+1を出力し、負の場合は非顔領域と判定して−1を出力する。
なお、通常、カスケード処理では前段の情報を持ち越さない場合が多いが、識別器Hkにおいて1段目からk段目の確信度Conv(k)の総和を次式(8)により算出し、Convsumの符号によって顔領域、非顔領域を判断するようにしてもよい。このように確信度Conv(k)の総和をとり、以前の段で算出した確信度も反映させたほうが、経験上、高い検出精度を得ることができることがわかっている。
Figure 0004772756
一方、ステップS8で所望の検出精度が得られていないと判断された場合は、更新回数tに1が加算され、ステップS2に戻って新たな弱識別器の選出及び選出した弱識別器の識別器Hkへの追加が行われる。弱識別器の追加は所望の検出精度が得られるまで繰り返し行われる。
続いて撮影時のデジタルカメラの撮影時の処理内容について説明する。
図5は制御部4の処理内容を示したフローチャートである。この処理は、デジタルカメラが撮影モードにあるときに、制御部4において繰り返し実行される。
これによると、ステップS11では、撮像部2でスルー画像を撮影し、液晶モニタ5に撮影したスルー画像を表示する。
ステップS12では、一時メモリ41に格納されているスルー画像を消去し、新たに撮影されたスルー画像を一時メモリ41に保存する。
ステップS13では、一時メモリ41に保存されているスルー画像に対して顔検出器42を適用し、スルー画像から顔領域を検出する。顔領域が検出された場合は、液晶モニタ5に当該領域を囲む矩形の枠を表示し、ユーザーに顔領域が検出されたことを示す。
ステップS14では、検出された顔領域の位置、大きさ情報に基づき、AF・AE制御部10を介してレンズ位置、絞りを調節し、検出された顔領域についてピント、露出値を最適化する。
ステップS15ではレリーズボタン7が押されたか判断する。レリーズボタン7が押された場合はステップS16に進む。そうでない場合はステップS11に戻り、スルー画像の撮影及びスルー画像からの顔領域の検出を繰り返す。
ステップS16では逆光判定を行う。逆光か否かは、例えば、スルー画像における中心部と周辺部の輝度差に基づき行い、周辺部よりも中心部の方が暗いと逆光と判定する。逆光と判定した場合はステップS17に進み、逆光でないと判定した場合はステップS25に進む。
ステップS17ではストロボ装置11を発光させる。
ステップS18では本撮影を行う。このとき、顔検出器42で検出された顔領域について既にピント、露出値が既に最適化されているので、本撮影では被写体となっている人物の顔が綺麗に撮影される。
ステップS19では撮影された画像を本撮影画像としてフラッシュメモリ8に保存する。
ステップS20ではフラッシュメモリ8に保存されているストロボ発光ありの本撮影画像に対して顔検出器42を適用し、本撮影画像から顔領域を検出する。
ステップS21では、スルー画像からの顔検出結果と本撮影画像からの顔検出結果とを比較し、本撮影画像から検出された顔領域に対応する位置にあるスルー画像の領域が顔領域として検出されていない場合は、スルー画像の当該領域を未検出領域として抽出する。図6はそのときの様子を示したものである。この例では、被写体となっている3人の顔のうち、画面右下の人物の顔を囲む矩形領域が未検出領域として抽出される。
ステップS22では、抽出された未検出領域の画像が、顔画像であることを示す教師信号の値1と対応付けられ、学習用画像データベース6に格納される。
なお、未検出領域の画像を無条件に学習用画像データベース6に顔画像として格納するようにすると、本撮影画像における顔を含まない領域を顔検出器42が顔領域であると誤判定した場合に非顔画像が顔画像として学習用画像データベース6に格納されてしまい、その後の顔検出器42の学習結果に悪影響を及ぼす。
そこで、ステップS22では、抽出された未検出領域に対応する本撮影画像の領域が顔検出器42によって顔領域と判定されたときの確信度が所定値以上か否かを判断し、所定値以上である場合に抽出された未検出領域の画像を学習用画像データベース6に格納するようにしてもよい。
あるいは、抽出された未検出領域の画像を液晶モニタ5に表示し、ユーザーが当該画像に顔が含まれていることを確認した上で、ユーザーが操作部9を操作し、抽出された未検出領域の画像を顔画像として学習用画像データベース6に追加するようにしてもよい。このとき、未検出領域に顔が含まれていない場合は、当該画像を非顔画像であることを示す教師信号の値0と対応付け、非顔画像として学習用画像データベース6に追加するようにしてもよい。
ステップS23では、追加された画像の個数が所定数に達したか判断し、所定数に達している場合は顔検出器42の学習を行う。追加された画像の個数が所定数に達した場合に学習を行うのは、学習による演算負荷を考慮したものである。
顔検出器42の学習は、未検出領域の画像が追加された学習用画像データベース6を用い、図4に示した処理を再度実行して顔検出器42を作り直すことで行われる。学習は未検出領域が顔領域として検出されるように行われるので、作り直された顔検出器42では、それまで顔領域として検出されなかった未検出領域の画像が顔領域として検出されるようになる。
ステップ24では撮影を終了するか判断し、撮影を終了する場合は処理を終了し、終了しない場合はステップS11に戻る。
一方、ステップS16で逆光ではないと判定して進んだステップS25では、ストロボ装置11を発光させることなく本撮影を行い、ステップS26で本撮影画像をフラッシュメモリ8に保存する。このときスルー画像と本撮影画像の撮影条件には差がないため、顔検出器42の学習は行わない。
以上の構成によれば、スルー画像と本撮影画像からそれぞれ顔領域を検出し、本撮影画像では顔領域として検出されたがスルー画像の対応する領域が顔領域として検出されなかった場合に、スルー画像の当該領域を未検出領域として抽出し、当該領域が顔領域として検出されるように顔検出器42の学習が行われる。
逆光時のスルー画像からの顔検出は露出アンダーのため失敗することが多いが、ストロボ発光して撮影される本撮影画像からの顔検出は成功しやすい。このため、両画像からの顔検出の結果を比較すれば、スルー画像から検出できなかった領域を未検出領域として抽出することができ、これが顔領域として検出されるように顔検出器42の学習を行うことで、スルー画像からの顔検出の精度を向上させることができる。
学習は実際に撮影された人物の顔に基づき行われるので、学習が進むにつれ、被写体となる頻度の高い人物の顔の検出精度が向上する。また、顔検出器42の学習はユーザーが意識しないうちに行われ、ユーザーへの負担も少ない。
なお、上記実施形態では、逆光判定時にストロボ装置11を発光させるようにしているが、逆光判定を行うことなくストロボ装置11を強制的に発光させてストロボ発光ありの本撮影画像を撮影し、この画像からの顔検出結果とスルー画像からの顔検出結果を比較するようにしてもよい。あるいは、ストロボ発光ありとなしの場合についてそれぞれ本撮影を行い、両画像からの顔検出結果を比較するようにしてもよい。
また、撮影条件の異なる2つの画像としてストロボ発光なしのスルー画像とストロボ発光ありの本撮影画像を用いているが、そのような撮影条件の異なる2つの画像はこれに限らず、露出値、解像度等、撮影条件が何かしら異なる画像であればよい。
例えば、露出値が異なる複数の画像を撮影するオートブラケット撮影を行うデジタルカメラであれば、露出値の異なる複数の画像の顔検出結果に基づき顔検出器42の学習を行う。
図7は、オートブラケット撮影によって得られる複数の画像から顔検出器42の学習を行う場合のフローチャートであり、図5に示したフローチャートに代えて制御部4で実行される。
図5に示したフローチャートとはレリーズボタン7が押された後の処理が異なる。同一の処理には同一の参照符号を付して説明を省略し、異なる部分についてのみ説明すると、レリーズボタン7が押された後のステップS31では、オートブラケットモードでの撮影か否かを判断し、オートブラケットモードであるときにステップS32に進む。
ステップS32では、自動露出によって得られた露出値を基準として露出値をアンダー側及びオーバー側に変更するようAF・AE制御部10に指示を出し、撮像部2では露出値の異なる複数の画像を撮影する。
ステップS34では、露出値の異なる複数の画像それぞれに対して顔検出器42を適用し、複数の画像それぞれから顔領域を検出する。
ステップS35では、複数の画像からの顔検出結果を比較し、ある画像から検出された顔領域に対応する位置にある別の画像の領域が顔領域として検出されていない場合は、別の画像の当該領域を未検出領域として抽出する。
以後の処理は、図5に示したフローチャートと同じであり、ステップS22では、抽出された未検出領域の画像が学習用画像データベース6に格納され、ステップS23では、追加された画像の個数が所定数に達している場合に顔検出器42の学習を行う。
なお、上記学習により検出精度の向上が期待できる対象は特定の人物の顔に限らない。例えば、犬、猫等のペットの写真をよく撮影する場合でも、ペットの顔をストロボ発光ありのときに顔検出器42で検出することができれば、撮影されたペットの顔の画像が顔画像として学習用画像データベース6に追加され、顔検出器42の学習が行われるので、顔検出器42によるペットの顔の検出精度を向上させることも可能である。
また、ここでは顔検出器42を構成する識別器Hkを作り直すことで学習しているが、学習の方法はこれに限らない。例えば、非顔と判定された領域が正しく顔領域として検出されるように、誤った検出を行った弱識別器の閾値θや信頼度αの値を変更するようにしてもよい。この方法によれば、顔検出器42を作り直す学習方法にくらべ、演算負荷を下げることができる。
あるいは、識別器Hkを作り直す場合であっても、顔を含むにも関わらず非顔領域と判定された領域の画像に対する重みについては、他の画像に対する重みとは異なる制限を加える等の改変が可能である。例えば、非顔領域と判定されてしまった顔画像の重みについては、学習の途中で正しい判定を行った場合であっても、一定値よりも小さくならないような制限を加えたり、更新時には、常に、一定値より大きくなるような制限を加えたりする。こうすることで、この画像に対して正しい判定が行えるよう学習が進むことが期待される。
また、学習処理は制御部4の負担が大きいので、デジタルカメラの充電中等に学習させるようにしても良い。デジタルカメラの充電中等のユーザーが撮影を行わない時期に学習を行わせることで、学習による演算負荷が撮影動作に影響を及ぼすのを防止することができる。なお、学習のための演算は、制御部4ではなくデジタルカメラの充電器やクレードル側に設けられたプロセッサで行うようにしてもかまわない。
また、顔検出器をViolaらが提案する方法によらず他の方法によって構成してもかまわない。顔検出器は、例えば、ニューラルネットワークにより構成してもよく、この場合、学習は、顔を含むにも関わらず非顔画像と判定されてしまった画像を顔検出器に与え、正しく顔であるという判定値の+1が出力されるように、中間層等の重みパラメータを更新すればよい。
また、図8に示すように、デジタルカメラ外部のネットワークに接続するための無線LAN、Bluetooth等の通信装置からなる通信部12を設け、インターネット等のネットワークを通じて外部のサーバーから最新の学習結果を取り込み、最新の学習結果に基づき顔検出器42を更新するようにしてもよい。
顔検出器42の検出精度が向上すれば、スルー画像から検出できなかった顔領域がストロボ発時の本撮影画像から顔領域として検出できる可能性が高くなり、顔検出器42の学習がさらに進むので、結果として、被写体となる頻度の高い人物の顔の顔検出器42による検出精度をさらに上げることができる。
さらに、顔検出器42の未検出領域を、ネットワークを通じてサービスセンターに伝送するように構成し、サービスセンターのオペレータが顔領域、非顔領域の判定を行うようにしても良い。判定結果はネットワークを通じて教師信号としてデジタルカメラの制御部4に戻され、未検出領域の画像と対応付けられた状態で学習用画像データベース6に追加される。
この方法によれば、ユーザーの操作負担を増やすことなく、顔を含まない領域の画像が顔画像であるとして学習用画像データベース6に追加されるのを防止し、顔検出器の顔検出器42の学習に悪影響を及ぼすのを防止できる。
また、顔検出器42の学習が進みすぎると、普段撮影しない人物の顔の検出精度が下がるため、撮影シーンによっては顔検出が正しく行われない可能性がある。これを回避するには図9に示すように、2つの顔検出器42、43を用意しておき、一方の顔検出器42に対してのみ学習を行い、他方の顔検出器(第2の顔検出器)43に対しては学習を行わないようにする。そして、ユーザーが撮影シーンに応じて学習後の顔検出器42、未学習の顔検出器43のいずれかを操作部9を操作することで選択できるようにする。
この構成によれば、未学習の顔検出器43を選択するようにすれば、未学習の顔検出器43を用いてスルー画像から顔検出が行われるので、普段撮影しない人物を撮影する場合であっても所定レベル以上の検出精度が得られる。
また、学習用画像データベース6に格納されている画像をメンテナンスする機能をデジタルカメラに持たせるようにしてもよい。例えば、液晶モニタ5に学習用画像データベース6に格納されている画像を教師信号とともにサムネイル表示し、顔を含まない画像の教師信号の値が顔画像を示す1になっている場合は、ユーザーが操作部9を操作することで、当該画像の教師信号の値を0に書き換える(その逆も可)、あるいは、当該画像を学習用画像データベース6から削除できるようにしてもよい。これにより、被写体となる頻度の高い人物の顔の検出精度をさらに上げることが可能である。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
本発明に係るデジタルカメラの概略構成図である。 顔検出器を説明するための図である。 弱識別器を構成する矩形フィルターの例である。 識別器を生成する処理の内容を示したフローチャートである。 撮影時の制御部の処理内容を示したフローチャートである。 顔検出器による顔検出結果のイメージである。 撮影時の制御部の別の処理内容を示したフローチャートである。 本発明の一部変更例である。 同じく本発明の一部変更例である。
符号の説明
4 制御部
6 学習用画像データベース
11 ストロボ装置
42 顔検出器
43 顔検出器(第2の顔検出器)

Claims (8)

  1. 被写体を撮影し、第1の画像を取得する第1の撮影手段と、
    前記第1の撮影手段と異なる撮影条件で前記被写体を撮影し、第2の画像を取得する第2の撮影手段と、
    前記第1の画像及び前記第2の画像から顔領域を検出する顔検出器と、
    前記第2の画像から検出された顔領域に対応する位置にある前記第1の画像の領域が顔領域として検出されていない場合は、前記第1の画像の前記領域を未検出領域として抽出する未検出領域抽出手段と、
    前記未検出領域に基づき、前記未検出領域が顔領域として検出されるように前記顔検出器の学習を行う学習手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記第1の撮影手段は、ストロボ発光なしの条件で前記被写体を撮影し、
    前記第2の撮影手段は、ストロボ発光ありの条件で前記被写体を撮影する、
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記第2の撮影手段は、前記第1の撮影手段と異なる露出値で前記被写体を撮影する、
    ことを特徴とする請求項1に記載の撮像装置。
  4. 顔画像を複数格納する学習用画像データベースと、
    前記未検出領域の画像を前記学習用画像データベースに追加する画像追加手段と、
    を備え、
    前記学習手段は、前記未検出領域の画像が追加された前記学習用画像データベースを用いて前記顔検出器の学習を行う、
    ことを特徴とする請求項1から3のいずれか一つに記載の撮像装置。
  5. 前記未検出領域に顔が含まれることの確からしさを示す確信度を算出する確信度算出手段を備え、
    前記画像追加手段は、前記確信度が所定値よりも大きい場合に前記未検出領域の画像を前記学習用画像データベースに追加する、
    ことを特徴とする請求項4に記載の撮像装置。
  6. 前記未検出領域に顔が含まれるか否かを確認する確認手段を備え、
    前記画像追加手段は、前記未検出領域に顔が含まれることが確認された場合に前記未検出領域の画像を前記学習用画像データベースに追加する、
    ことを特徴とする請求項4に記載の撮像装置。
  7. 前記第1の画像及び前記第2の画像から顔領域を検出する第2の顔検出器と、
    前記顔検出器、前記第2の顔検出器のいずれを用いて顔検出を行うかを選択する選択手段と、
    を備えたことを特徴とする請求項1から6のいずれか一つに記載の撮像装置。
  8. 被写体を撮影し、第1の画像を取得する第1の撮影処理と、
    前記第1の撮影処理と異なる撮影条件で前記被写体を撮影し、第2の画像を取得する第2の撮影処理と、
    前記第1の画像及び前記第2の画像から顔領域を検出する顔検出処理と、
    前記第2の画像から検出された顔領域に対応する位置の前記第1の画像の領域が顔領域として検出されていない場合は、前記第1の画像の前記領域を未検出領域として抽出する未検出領域抽出処理と、
    前記未検出領域に基づき、前記未検出領域が顔領域として検出されるように前記顔検出器の学習を行う学習処理と、
    を含むことを特徴とする撮像プログラム。
JP2007171730A 2007-06-29 2007-06-29 撮像装置及び撮像プログラム Expired - Fee Related JP4772756B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007171730A JP4772756B2 (ja) 2007-06-29 2007-06-29 撮像装置及び撮像プログラム
PCT/JP2008/060720 WO2009004901A1 (ja) 2007-06-29 2008-06-05 顔検出装置、デジタルカメラ及び顔検出プログラム
US12/647,890 US8643738B2 (en) 2007-06-29 2009-12-28 Face detection device, digital camera, and computer readable storage medium which stores a face detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007171730A JP4772756B2 (ja) 2007-06-29 2007-06-29 撮像装置及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2009010828A JP2009010828A (ja) 2009-01-15
JP4772756B2 true JP4772756B2 (ja) 2011-09-14

Family

ID=40325424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007171730A Expired - Fee Related JP4772756B2 (ja) 2007-06-29 2007-06-29 撮像装置及び撮像プログラム

Country Status (1)

Country Link
JP (1) JP4772756B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
WO2013186906A1 (ja) * 2012-06-14 2013-12-19 トヨタ自動車株式会社 識別器生成装置およびパターン検出装置
JP7052546B2 (ja) * 2018-05-11 2022-04-12 トヨタ自動車株式会社 自律移動システム、自律移動体、充電ドック、制御方法、及びプログラム
JP7473886B2 (ja) 2020-04-13 2024-04-24 株式会社イーアイアイ 学習データ作成システム、学習データ作成方法、および学習済みモデル

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4431532B2 (ja) * 2005-09-16 2010-03-17 富士フイルム株式会社 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム

Also Published As

Publication number Publication date
JP2009010828A (ja) 2009-01-15

Similar Documents

Publication Publication Date Title
JP5144422B2 (ja) 撮影装置及び撮影方法
JP4324170B2 (ja) 撮像装置およびディスプレイの制御方法
US8036430B2 (en) Image-processing device and image-processing method, image-pickup device, and computer program
KR100944908B1 (ko) 촬상장치, 포커스 제어방법 및 포커스 제어프로그램을기록한 기록매체
CN101355652B (zh) 摄像装置和摄像装置的控制方法
US9258481B2 (en) Object area tracking apparatus, control method, and program of the same
US8411159B2 (en) Method of detecting specific object region and digital camera
JP2008070562A (ja) 撮像装置および露出制御方法
WO2009004901A1 (ja) 顔検出装置、デジタルカメラ及び顔検出プログラム
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
KR101710626B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
WO2017047012A1 (ja) 撮像装置および撮像装置とサーバとを含むシステム
JP4772756B2 (ja) 撮像装置及び撮像プログラム
JP4818997B2 (ja) 顔検出装置及び顔検出プログラム
JP7403995B2 (ja) 情報処理装置、制御方法およびプログラム
US8736693B2 (en) Digital photographing apparatus that corrects hand shake, method of controlling the same, and recording medium storing the method
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2020119322A (ja) 学習依頼装置および学習依頼方法
KR20120069548A (ko) 촬상 장치 및 합초 조건의 설정 방법
JP2009065450A (ja) 撮像装置
JP2004112487A (ja) 撮影条件判断装置
JP2017195442A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013135268A (ja) 画像処理装置及び画像処理方法
JP2021051611A (ja) 画像処理装置、端末、画像処理方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4772756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees