JP4702220B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、例えば顔検出を行って露出やフォーカスの自動調整を行うものに適用して好適な撮像装置及びその撮像方法に関する。

一般に、自動露出調整を行うカメラ（いわゆるＡＥ（Automatic Exposure）カメラ）では、被写体の輝度に基づいて適切な露出値が算出され、その露出値に基づいて自動的に絞りとシャッタスピードが調整されて撮像が行われる。

ところが、逆光の環境において撮像を行う場合には、背景の明るさを基準に露出が調整されてしまい、被写体が暗く撮像されてしまうという問題がある。このため、逆光環境下においても適切な露出調整を行えるよう、様々な手法が考案されている。

特許文献１には、ＧＰＳ（Global Positioning System）による測位と方位センサと日時情報を用いて逆光環境か否かを判断して、逆光であると判断した場合に警告を発生させるか、又は必要な露出補正を行うことについての開示がある。

特許文献２には、ＧＰＳによる測位と日時情報とを用いて太陽の方位と高度を算出し、露出値及びホワイトバランス値の補正を行って撮像を行うことについての開示がある。
特開平８−９５１４６号公報 特開２０００−４１８００号公報

一方、近年では、被写体が人物である場合に人物の顔部分を検出し、検出された顔を中心にフォーカスを合わせたり、ホワイトバランスを合わせたりするということが行われている。ところが、逆光環境下においては、顔検出を行うべき人物の顔自体が暗く撮像されてしまうため顔検出率が下がってしまい、顔に露出を合わせることができないという現象が起きてしまうことがあった。このように、せっかく顔検出による自動露出調整機能を備えていても顔検出自体ができないため、実際は自動露出調整ができないという問題が生じていていた。

本発明はかかる点に鑑みてなされたものであり、逆光環境下において撮像を行う場合に、顔検出の精度を向上させることを目的とする。

本発明は、レンズを介して結像された被写体光を光電変換して得た画像信号に対して、顔領域の検出を行い、検出された顔領域に合わせて撮像処理を行う場合に、撮影時点の日付及び時刻を計時し、撮影時の位置を算出し、撮像装置のレンズ光軸に対する方位を検出し、計時された日付及び時刻情報と、算出された現在位置情報を用いて撮像時点での太陽の位置を算出して、算出された太陽の位置がレンズ光軸上の方位の近傍にあると判断した場合に、画像信号の利得を所定量増幅し、利得が増幅された画像信号に対して顔領域の検出を行うようにしたものである。

このようにしたことで、太陽の位置が撮像装置のレンズ光軸上の方位にあると判断された場合、つまり逆光環境で撮像が行われた場合に、画像信号の利得が所定量増幅されるため、撮像された画像全体の輝度が向上する。

本発明によると、逆光環境で撮像が行われた場合に画像信号の利得が所定量増幅されるため、撮像された画像全体の輝度が向上し、併せて顔部分の輝度も向上する。

この場合、顔部分の輝度が向上した状態で顔検出を行えるようになるため、顔検出の検出精度が向上する。

以下、本発明の一実施の形態を、図１及び図２を参照して説明する。

図１は、本実施の形態例のデジタルスチルカメラの構成例を示したブロック図である。図１に示すデジタルスチルカメラ１００において、ＣＣＤ（charge-coupled device）又はＣＭＯＳ（complementary metal oxide silicon）を用いた固体撮像素子により構成される撮像素子１２の前面には、レンズ１が配置してある。被写体の光学像はレンズ１を介して、撮像素子１２の図示せぬ受光部に入射され、光電変換される。レンズ１と撮像素子１２との間の光路には、絞り２が配置してあり、絞り駆動部１１で開口量が調整される。絞り駆動部１１による駆動で、制御部１６からの指令に基づいて絞り２の開口量を調整することで、撮像素子１２に入射される光量を制御することができる。また、レンズ１内のフォーカスレンズは、フォーカス駆動部１０によりフォーカス調整ができる構成としてあり、フォーカス駆動部１０は、制御部１６からの指令に基づいてレンズ１内のフォーカスレンズの位置を変動させ、フォーカスが所望の位置の被写体に合うように調整する。

デジタルスチルカメラ１００内の各部は制御部１６により制御される。制御部１６は、ユーザからの操作部２７への操作を通して得られた操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及びデジタルカメラ１００を構成する各部に対する制御を行う。

撮像素子１２での撮像タイミングは、タイミングジェネレータ１７により制御される。タイミングジェネレータ１７は、制御部１６のクロック生成部（図示せず）から供給されるクロック信号に同期させてパルス信号を生成し、生成したパルス信号を撮像素子１２に供給する。撮像素子１２では、タイミングジェネレータ１７から入力されたパルス信号に従って、撮像素子１２の受光部に蓄積された信号電荷が走査され、画像信号として出力される。

撮像素子１２の出力は、アナログ信号処理部１３に供給する。アナログ信号処理部１３は、相関二重サンプリング回路やＡＧＣ（Automatic Gain Control）回路（いずれも図示せず）等で構成され、相関二重サンプリング回路は、入力された画像信号に含まれるリセットノイズの除去を行い、ＡＧＣ回路は入力された画像信号を増幅して一定の信号レベルに制御する。但し、後述するようにＡＧＣ回路内の増幅部で、通常とは異なる増幅を行う場合がある。アナログ信号処理部１３の出力は、アナログ／デジタル変換部１４に供給する。アナログ／デジタル変換部１４は、アナログ処理部１３から入力されるアナログの画像信号をデジタルの画像信号に変換する。変換した画像信号は、画像信号処理部１５に供給する。

画像信号処理部１５は、アナログ／デジタル変換部１４から供給された画像信号に対して種々の信号処理を行い、出力画像信号を生成する。例えば、画像信号のあるレベル以上を圧縮するニー補正、画像信号のレベルを予め設定されたγカーブに従って補正するγ補正、画像信号の信号レベルが所定範囲となるように制限するホワイトクリップ処理やブラッククリップ処理等を行う。また画像信号処理部１５では、ＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts Group）方式の画像信号に変換するエンコード処理を行い、そのエンコード処理された画像信号をメモリ２５に供給して記憶（記録）させる。或いは、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）等の標準テレビジョン方式の信号に変換するエンコード処理を行うようにしてもよい。表示部２６で表示させる画像信号についても、画像信号処理部１５から供給する。

また、画像信号処理部１５で処理された画像信号を処理する処理部として、ＡＥ検出部１８とＡＦ（Auto Focus）検出部１９と顔検出部２０とを備える。
ＡＥ検出部１８は、アナログ／デジタル変換部１４から入力される画像信号から被写体の輝度データを算出して、撮像に適した絞り値とシャッタスピードを算出する。画像信号を増幅させるゲインの調整が必要な場合には、ゲインの調整値（増幅量）についても算出する。輝度データの算出は、例えば１画面を複数の領域に分割して、それぞれの領域で重み付けをした上で各エリアの輝度を積分したり、輝度のピーク値を除外した上で積分するといった処理で行われる。ＡＥ検出部１８で求められた輝度データは制御部１６に供給され、制御部１６でその値に基づいた指令信号が生成された上で、指令信号が絞り駆動部１１に供給される。

ＡＦ（Auto Focus）検出部１９は、画像信号の高周波成分を取り出して、画面内の所定の設定エリア内に存在するこの高周波成分を積分したデータを生成する。この積分されたデータは、その設定エリア内にどれだけ高周波成分が存在するかを示すデータであって、この積分したデータを利用することによって、コントラストの高低が判断できる。一般にこのデータを評価値と呼んでおり、制御部１６は、評価値が最大となるように、即ち、コントラストが最大になるようにフォーカス駆動部１０に指令信号を供給して、レンズ１を駆動することにより、オートフォーカスを実現する。

顔検出部２０は、画像信号処理部１５から入力されたデジタル信号に対して、特徴点の抽出や肌色領域の抽出を行い、予めメモリ２５等に登録されている顔の主要な部位についてのパターンマッチングを行うことで顔領域の検出を行う。検出された顔領域の位置及び大きさは、制御部１６に供給される。なお、画面内に複数の顔を検出した場合は、複数の顔検出結果情報を制御部１６に送信する。

制御部１６での制御に必要なデータを供給する処理部としては、ＲＴＣ（Real Time clock）生成部２１とＧＰＳ（Global Positioning System）測位部２２と方位センサ２４とを備える。ＲＴＣ生成部２１は、時計用発振器とカウンタとを備え、時計用発振器が生成する信号を基に、カウンタが計時することによって日付及び時刻の計時を行う。

ＧＰＳ測位部２２は、ＧＰＳ衛星からの衛星信号を受信するＧＰＳ用アンテナ２３が接続してあり、ＧＰＳ用アンテナ２３が受信した衛星信号から現在位置（緯度・経度・高度）を算出し、算出結果の現在位置情報を制御部１６に供給する。制御部１６では、ＧＰＳ測位部２２から入力された現在位置情報を基に、その日時のその撮像位置における太陽の位置を算出する。

方位センサ２４は２軸の磁界センサであり、２軸は互いに直交する例えばＸ軸とＹ軸とで構成される。地磁気はＸ軸成分、Ｙ軸成分として出力され、その比を取ることでＸ軸Ｙ軸に対する地磁気ベクトルの方位を検出する。検出された地磁気ベクトルの方位は、制御部１６に出力される。本例では、デジタルスチルカメラ１００のレンズ光軸に対する地磁気ベクトル方向を検出し、太陽の位置がレンズの光軸の方向の近傍の方向にあると判断された場合に、撮像環境が逆光環境であると判断する。

メモリ２５は、制御部１６の制御で書き込み及び読み出しが可能な記憶媒体であり、上述した画像信号の記憶の他に、ＧＰＳ測位部２２により算出された現在位置情報や、顔検出部２０による顔検出情報、顔検出にあたって必要となる顔の特徴情報、方位センサ２４による方位情報等が記憶される。メモリ２５は、例えば不揮発性メモリで構成される。

表示部２６は、画像信号処理部１５から入力される画像信号に基づいて、液晶パネル等のディスプレイ（図示せず）を駆動し、ディスプレイに撮像画像を表示させる。
また、デジタルスチルカメラ１００は、操作部２７を備える。操作部２７は、シャッタボタン等の各種操作キーで構成される。シャッタボタン（図示せず）は、半押しと全押しの２段階で動作する構成としてあり、シャッタボタンを半押しすると露出及びフォーカスの自動調整機能が働き、全押しすると、撮像された画像信号をメモリ２５に記憶させる撮像動作が行われる。なお、本例ではシャッタボタンが半押し、全押しの２段階で動作する例を挙げたが、シャッタボタンの動作はこれに限られるものではない。

また本例においては、撮像の前段階で顔検出の精度向上処理を行うための「顔検出モード」を選択できるものとする。この「顔検出モード」の設定は、表示部２６に表示させたメニュー画面での操作などで設定させ、その設定を制御部１６が記憶する。なお、「顔検出モード」の選択はシャッタボタンに対する操作により行えるようにしてもよい。例えば、上述したように、シャッタボタンを半押しすることで、「顔検出モード」となって、顔検出が行われるようにしてもよい。

制御部１６と画像信号処理部１５、顔検出部２０、メモリ２５とのデータ伝送は、バス２８を介して行われる。

次に、図２のフローチャートを参照して、本例の撮像処理例について説明する。本例においては、顔検出精度向上処理を行うための例としてある。本例における顔検出精度向上処理は、通常の撮像の前段階で行うものであり、ユーザにより「顔検出モード」が予め選択されており、シャッタボタンの半押し等の操作により操作信号が入力されたことを制御部１６が検知した場合に行われる。まずステップＳ１では、逆光環境であるか否かの判断がされる。つまり、ＲＴＣ生成部２１による日時情報とＧＰＳ測位部２２による現在位置情報から、その日時のその撮像位置における太陽の位置が制御部１６で算出され、制御部１６は、方位センサ２４による測位によってデジタルスチルカメラ１００のレンズ光軸が太陽のある方向を向いている場合は、逆光環境であると判断し、レンズ光軸が太陽のある方向を向いていない場合には、逆光環境でないと判断する。

ステップＳ１で、逆光環境であると判断された場合は、アナログ信号処理部１３内の増幅部によって画像信号のアナログゲインが増幅される（ステップＳ２）。これにより、撮像された画像全体の輝度が上がり、同時に顔部分の輝度も向上するため、顔検出部２０における顔検出の精度が向上する。この場合のゲイン増幅は、メモリ２５に記憶（記録）させる画像信号又は表示部２６で表示させる画像信号のゲイン増幅とは異なり、顔検出が可能な程度まで輝度が上げられることを目的としている。よって、増幅率は固定値として予め設定しておいた率を使用してもよく、任意に変更させるようにしてもよい。

この状態で顔検出部２０による顔検出処理が行われ（ステップＳ３）、検出した顔の位置に合焦させるオートフォーカス制御が行われる（ステップＳ４）。つまり、顔を検出した領域でＡＦ検出部１９で算出される評価値が最大となるように、制御部１６よりフォーカス駆動部１０に指令信号が供給され、フォーカス駆動部１０による指令信号によりレンズ１が駆動されて、顔検出位置にフォーカスが調整される。

顔検出位置に合焦された後は、検出された顔を中心に自動露出制御が行われる（ステップＳ５）。この場合の露出制御は、アナログ信号処理部１３でアナログ信号に対するゲイン調整により行うようにしてもよく、画像信号処理部１５でデジタル信号に対するゲイン調整により行うようにしてもよい。または、電子シャッタスピードの調整により行うようにしてもよい。また、ここでの自動露出制御時には、ステップＳ２での顔検出用のゲイン増幅は行なわず、記憶（記録）や表示を適正に行なうためのゲイン増幅が行なわれる。

このように、逆光環境であると判断した場合に、画像信号自体を増幅することで、画像の全体的な輝度が向上し、顔検出の精度が上がる。そして、顔検出後に、検出された人物の顔に合わせて再度露出の調整がされることで、人物の顔に露出が合った状態での撮像が可能となる。

なお、上述した実施の形態では、アナログ信号処理部１３でアナログゲインを上げることにより顔検出の検出率を上げるようにしてあるが、画像信号処理部１５でデジタルゲインを上げることによっても、同様の効果を得られる。この場合の処理例について、図３のフローチャートを参照して説明する。

まず、逆光環境であるか否かの判断がされる（ステップＳ１１）。つまり、ＲＴＣ生成部２１による日時情報とＧＰＳ測位部２２による現在位置情報から、その日時のその撮像位置における太陽の位置が制御部１６で算出され、方位センサ２４による測位によってデジタルスチルカメラ１００のレンズ光軸が太陽のある方向をほぼ向いていると判断した場合は、制御部１６は逆光環境であると判断し、レンズ光軸が太陽のある方向を向いていない場合には、制御部１６は逆光環境でないと判断する。

ステップＳ１１で、逆光環境であると判断された場合は、画像信号処理部１５によって画像信号のデジタルゲインが増幅される（ステップＳ１２）。これにより、撮像された画像全体の輝度が上がり、同時に顔部分の輝度も向上するため、顔検出部２０における顔検出の精度も向上する。この場合のゲイン調整率は、固定値として予め設定しておいた率を使用してもよく、任意に変更させるようにしてもよい。

次に、顔検出部２０による顔検出処理が行われ（ステップＳ１３）、検出した顔に合わせてオートフォーカス制御が行われる（ステップＳ１４）。つまり、ＡＦ検出部１９で算出される評価値が最大となるように、制御部１６よりフォーカス駆動部１０に指令信号が供給され、フォーカス駆動部１０による指令信号によりレンズ１が駆動されることで、顔検出位置にフォーカスが調整される。

顔検出位置に合焦された後は、検出された顔を中心に自動露出制御が行われる（ステップＳ１５）。この場合の露出制御は、アナログ信号処理部１３でアナログ信号に対するゲイン調整により行うようにしてもよく、画像信号処理部１５でデジタル信号に対するゲイン調整により行うようにしてもよい。または、自動シャッタスピードの調整により行うようにしてもよい。

また、上述したように、顔検出精度向上処理を画像信号処理部１５でのデジタルゲイン増幅により行う場合には、画像信号処理部１５内のゲイン増幅回路を２系統に分離し、顔検出部２０用の信号にだけ、顔検出用に専用の増幅部でゲイン増幅を行うようにし、記憶（記録）や表示用の画像信号については、それとは異なる増幅部で通常のゲイン増幅を行なうようにしてもよい。この場合の構成例を図４に示してある。図４において、既に説明した図１に対応する部分には同一符号を付す。

図４において、撮像素子１２で撮像され、アナログ信号処理部１３でアナログ信号処理された画像信号は、アナログ／デジタル変換部１４に供給される。画像信号処理部１５は第１のデジタルゲイン回路３０ａと第２のデジタルゲイン回路３０ｂとを備え、第１のデジタルゲイン回路３０ａは記憶（記録）や表示用の画像信号に対する増幅を行う通常の増幅部として設けてあり、第２のデジタルゲイン回路３０ｂは、顔検出用に専用の増幅部として設けてある。通常の増幅部として設けられた第１のデジタルゲイン回路３０ａは、Ａ／Ｄ変換部１４から入力された画像信号に対して記憶（記録）や表示を適正に行なうための通常のゲイン調整を行い、ゲイン調整後の画像信号をそのままバス２８を介してメモリ２５や表示部２６に伝送する。これに対して顔検出用の増幅部として設けられた第２のデジタルゲイン回路３０ｂでは、Ａ／Ｄ変換部１４から入力された画像信号に対し、顔検出が可能な程度まで輝度を向上させるために一定量のゲイン増幅が行われ、ゲインが増幅された画像信号を顔検出部２０へ伝送する。

このように、画像信号処理部１５内での処理系統を２つに分割することで、メモリ２５に記憶させる画像信号や表示部２６で表示させる画像信号に対しては通常のゲイン増幅が行われ、顔検出部２０へ伝送される画像信号に対してのみ、顔検出の検出率を上げるための所定量のゲイン増幅がなされるようになるため、表示部２６で表示させる画像が、顔検出のためのゲイン増幅で見難い画像となることがない。つまり、顔検出用の画像信号のゲインのみを効率的に増幅させることができる。また、顔検出用のゲイン増幅と、記憶（記録）や表示を適正に行なうための通常のゲイン増幅とが並行して行われるため、撮像から記録又は表示までの全体の処理時間が短縮される。

また、上述した実施の形態では、本発明による撮像装置をデジタルスチルカメラに適用した例を説明したが、これに限らず、例えば、ビデオカメラ、又はそれらと同等の機能を有するその他の装置等であってもよく、様々な装置に広く適用可能である。

本発明の一実施の形態によるデジタルスチルカメラの構成例を示すブロック図である。 本発明の一実施の形態による顔検出精度向上処理例を示すフローチャートである。 本発明の他の実施の形態による顔検出精度向上処理例を示すフローチャートである。 本発明の他の実施の形態によるデジタルスチルカメラの構成例を示すブロック図である。

符号の説明

１…レンズ、２…絞り、１０…フォーカス駆動部、１１…絞り駆動部、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ／Ｄ変換部、１５…画像信号処理部、１６…制御部、１７…タイミングジェネレータ、１８…ＡＥ検出部、１９…ＡＦ検出部、２０…顔検出部、２１…ＲＴＣ、２２…ＧＰＳ、２３…ＧＰＳ用アンテナ、２４…方位センサ、２５…メモリ、２６…表示部、２７…操作部、２８…バス、３０…デジタルゲイン回路、１００…デジタルスチルカメラ

Claims (5)

1. レンズを介して結像された被写体光を光電変換して画像信号を生成する撮像部と、
   前記撮像部で生成された画像信号に対して顔領域の検出を行う顔検出部を備え、前記顔検出部で検出された顔領域に合わせて撮像処理を行うことが可能な撮像装置において、
   前記撮像部での撮像時点の日付及び時刻を計時する日時計時部と、
   前記撮像部での撮像時の位置を算出する位置算出部と、
   前記レンズの光軸に対する方位を検出する方位検出部と、
   前記撮像部が出力した画像信号を増幅する増幅部と、
   前記日時計時部が計時した日付及び時刻情報と、前記位置算出部が算出した位置情報を用いて撮像時点での太陽の位置を算出して、該算出された太陽の位置が前記方位検出部で検出したレンズ光軸上の方位の近傍にあると判断した場合に、前記増幅部で画像信号の利得を所定量増幅させ、該利得が増幅された画像信号を前記顔検出部に供給させる制御を行う制御部とを備えたことを特徴とする
   撮像装置。
2. 請求項１記載の撮像装置において、
   前記撮像処理は、前記利得が増幅された画像信号に対して前記顔検出部が検出を行った顔領域に合わせて、オートフォーカス調整又は露出調整を行うとを特徴とする
   撮像装置。
3. 請求項１記載の撮像装置において、
   前記増幅部での所定量の増幅は、顔検出部で画像信号から顔検出を行う期間だけ行い、
   顔検出処理が終了した後は、前記増幅部での所定量の増幅を終了させることを特徴とする
   撮像装置。
4. 請求項１記載の撮像装置において、
   前記顔検出用の画像信号増幅部とは別に、記録用又は表示用の画像信号に対して増幅処理を行う第２の画像信号増幅部を設け、
   前記第２の画像信号増幅部では、撮像の露出調整に応じた増幅を行うようにしたことを特徴とする
   撮像装置。
5. レンズを介して結像された被写体光を光電変換して得た画像信号に対して顔領域の検出を行い、検出された顔領域に合わせて撮像処理を行う撮像方法において、
   撮像時点の日付及び時刻を計時し、
   撮像時の位置を算出し、
   前記レンズの光軸に対する方位を検出し、
   前記計時された日付及び時刻情報と、前記算出された位置情報を用いて撮像時点での太陽の位置を算出して、該算出された太陽の位置がレンズの光軸上の方位の近傍にあると判断した場合に、前記画像信号の利得を所定量増幅し、該利得が増幅された画像信号に対して顔領域の検出を行うことを特徴とする
   撮像方法。

Images