JP5359150B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置および対象物領域抽出方法に関する。

画像解析により肌色領域を検出して顔領域候補を抽出するとともに、撮影光学系の距離情報を取得して実際に撮影される顔の最大の大きさを推定し、この最大の大きさを超える肌色領域は顔領域ではないとして顔領域候補から除外して真の顔領域を抽出するようにした撮像装置が知られている（例えば、特許文献１参照）。
特開２００４−１８５５５５号公報

しかしながら、従来の撮像装置では、抽出した顔領域内の焦点検出エリアで検出されたデフォーカス量により撮影光学系の焦点調節を行い、人物の顔領域に合焦させる場合、次のような問題がある。
例えば、人物の手前に障害物があり、かつ人物がその障害物に重なっているような撮影シーンにおいて、焦点検出エリアが人物と障害物との境界にかかっていると、至近優先ＡＦにより手前の障害物に合焦させてしまうという問題がある。

請求項１の発明による撮像装置は、複数の焦点検出エリアの焦点調節状態を検出し、前記焦点検出エリアのデフォーカス量を出力する焦点検出部と、撮像部から出力された画像を用いて人物の顔に対応する第１顔領域を抽出し、前記焦点検出部の出力を用いて前記第１顔領域から所定領域を除外した第２顔領域を抽出する領域抽出部と、前記第２顔領域に含まれる前記焦点検出エリアの焦点調節状態を用いて焦点調節光学系の駆動制御をする焦点調節制御部とを含み、前記領域抽出部は、前記第１顔領域に含まれる複数の前記焦点検出エリアのデフォーカス量の平均値から最も離れたデフォーカス量を出力する前記焦点検出エリアを除外するように前記所定領域を決定することを特徴とする。

本発明によれば、対象物の領域に対応する焦点検出位置で検出された焦点調節状態の中から、対象物に関わる焦点調節状態を正しく選別することができる。

本発明の撮像装置を自動焦点調節（ＡＦ）一眼レフレックス・デジタルスチルカメラに適用した一実施の形態を説明する。図１は一実施の形態の撮像装置の構成を示す断面図である。なお、図１では本願発明の撮像装置に係わる機器および装置以外については図示と説明を省略する。一実施の形態のカメラは、カメラボディ１にレンズ鏡筒２が着脱可能に装着され、レンズ鏡筒２は各種の交換レンズを内蔵したレンズ鏡筒に交換可能である。

カメラボディ１は、メインミラー１１、サブミラー１２、シャッター１３、撮像素子１４、焦点検出装置１５、拡散スクリーン１６、コンデンサーレンズ１７、ペンタダハプリズム１８、接眼レンズ１９、測光光学素子２０、回折光学素子２１、測光レンズ２２、測光センサー２３、ボディ駆動制御装置２４などを備えている。撮像素子１４はＣＣＤやＣＭＯＳなどから構成され、撮影レンズ３１により結像された被写体像を電気信号に変換して出力する。焦点検出装置１５は、撮影レンズ３１の焦点調節状態、すなわちデフォーカス量を検出する。ボディ駆動制御装置２４は不図示のマイクロコンピューター、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバーターなどから構成され、カメラの各種演算、シーケンス制御、撮像素子の駆動制御などを行う。

一方、レンズ鏡筒２は、撮影レンズ３１（ズーミングレンズおよびフォーカシングレンズを含む）、絞り３２、レンズ駆動制御装置３３などを備えている。レンズ駆動制御装置３３は不図示のマイクロコンピューター、ＲＯＭ、ＲＡＭ、レンズ駆動用アクチュエーター、絞り駆動用アクチュエーターなどから構成され、撮影レンズ３１の焦点調節や絞り３２の開口調節などを行う。なお、カメラボディ１のボディ駆動制御装置２４とレンズ鏡筒２のレンズ駆動制御装置３３は、レンズ鏡筒２のマウント部に設けられた電気接点（不図示）を介して電気的に接続されており、各種情報の授受を行う。

非撮影時には、図１に破線で示すように、メインミラー１１とサブミラー１２が撮影光路中に置かれ、撮影レンズ３１を透過した被写体光の一部はメインミラー１１で反射され、拡散スクリーン１６に導かれて被写体像が結像される。この被写体像は、コンデンサーレンズ１７、ペンタダハプリズム１８、接眼レンズ１９を介して撮影者の目へ導かれ、撮影者に視認される。また、拡散スクリーン１６上の被写体像は、コンデンサーレンズ１７、ペンタダハプリズム１８、測光光学素子２０、回折光学素子２１、測光レンズ２２を介して測光センサー２３へ導かれ、測光センサー２３により撮像される。

一方、被写体光の残りの一部はメインミラー１１の中央透過部を透過し、サブミラー１２で反射されて焦点検出装置１５へ導かれ、焦点検出装置１５により撮影レンズ３１の焦点調節状態、すなわちデフォーカス量が検出される。この焦点検出装置１５は瞳分割位相差検出方式の焦点検出装置であり、撮影画面内の複数の焦点検出エリアにおいてそれぞれデフォーカス量を検出する。

撮影時には、図中に実線で示すようにメインミラー１１とサブミラー１２が撮影光路中から待避され、撮像素子１４による被写体像の撮影が行われる。撮像素子１４から出力された被写体像信号は不図示の画像処理装置により処理され、被写体像が不図示のメモリカードなどの記録装置に記録される。

図２は、一実施の形態の測光、人物領域検出およびオートフォーカス（ＡＦ）の動作を示す制御ブロック図である。ボディ駆動制御装置２４は、マイクロコンピューター（不図示）のソフトウエア形態により測光センサー制御部２４ｂ、測光演算部２４ｃ、顔領域検出部２４ｄ、オートフォーカス部２４ｅ、ＡＷＢ（オートホワイトバランス）制御部２４ｆ、露出制御部２４ｇなどを構成するとともに、Ａ／Ｄコンバーター２４ａを備えている。

測光センサー制御部２４ｂは、被写界の測光を行う場合には、被写界の最大輝度が目標測光値となるように測光センサー２３の電荷蓄積時間とアンプゲインを設定し、測光センサー２３をフィードバック制御する。ＡＷＢ制御部２４ｆは、測光センサー２３の測光値に基づいてＡＷＢ制御用パラメーターを算出し、ＡＷＢ制御を行う。測光演算部２４ｃは、測光センサー２３による測光値に基づいて測光演算を行い、被写体輝度に応じたシャッター速度と絞り値を算出する。露出制御部２４ｇは、測光演算部２４ｃにより算出されたシャッター速度と絞り値に基づいてシャッター１３と絞り３２を制御する。

この一実施の形態では、画像中の人物領域（例えば、人物の顔の領域）の検出に撮像素子１４（図１参照）による撮像画像を用いず、測光センサー２３による撮像画像を用いる。測光センサー２３により撮像された被写体像の信号は、ボディ駆動制御装置２４のＡ／Ｄコンバーター２４ａによりデジタル信号に変換された後、人物領域抽出部２４ｄへ入力される。測光センサー制御部２４ｂは、人物領域を検出する場合には、被写界の平均輝度になるように測光センサー２３の電荷蓄積時間とアンプゲインを設定し、測光センサー２３をフィードバック制御する。これにより、例えば逆光下でも人物の顔が十分な明るさになる。

人物領域抽出部２４ｄは、測光センサー２３による撮像画像の色情報および輝度情報を検出し、これらの情報に基づいて画像中の人物領域候補（例えば、人物の顔領域候補）を抽出する。また、人物領域抽出部２４ｄは、オートフォーカス部２４ｅを介してレンズ駆動制御装置３３から撮影レンズ３１（図１参照）の距離情報（焦点距離、撮影距離（被写体距離）および距離誤差（焦点距離および撮影距離の誤差））を入力するとともに、焦点検出装置１５からデフォーカス量を入力し、距離情報に基づいて像の倍率（撮影倍率）を演算するとともに、デフォーカス量に基づいて像倍率を補正し、補正後の像倍率に基づいて人物領域候補が真の人物領域か否かを判定する。なお、人物領域の抽出の際に人物領域に複数のＡＦエリアが対応していた場合には、デフォーカス量の分散を算出してデフォーカス量の平均値からかけ離れているＡＦエリアを人物領域から除外する処理を行う。そして、真の人物領域と判定された領域に対応する焦点検出エリアのデフォーカス量をＡＦ部２４ｅへ出力する。

ＡＦ部２４ｅは、真の人物領域に対応する焦点検出エリアのデフォーカス量に基づいてレンズ駆動制御部３３を制御し、レンズ駆動制御部３３により撮影レンズ１のフォーカシングレンズを駆動して焦点調節を行う。

図３を参照してデフォーカス量により像倍率を補正する原理を説明する。図３(ａ)は一実施の形態の撮像装置の撮像光学系の概要を示す図であり、撮影レンズ３１（図１参照）が被写体に合焦しているときの被写体距離（撮影距離）と焦点距離を示す。レンズ駆動制御装置３３（図１および図２参照）は、撮影レンズ３１のズーミングレンズ（不図示）の位置をセンサー（不図示）により検出して焦点距離を取得するとともに、レンズ鏡筒２に設けられた距離環（不図示）の状態をエンコーダーにより検出して被写体距離を取得する。ボディ駆動制御装置２４は、レンズ駆動制御装置３３からこれらの距離情報（焦点距離および被写体距離（撮影距離））を入手し、次式により撮影倍率Ｍを演算する。
Ｍ＝(焦点距離)／(被写体距離) ・・・(１)

ここで、被写体距離（撮影距離）は、厳密には物体面（被写体面）から撮影光学系の前側焦点までの距離であるが、この明細書では単に被写体距離（撮影距離）として説明する。

図３(ｂ)は一実施の形態の撮像装置の焦点検出光学系の概要を示す図であり、撮影レンズが被写体に対し合焦状態にないときの被写体距離と焦点距離を示す。撮影レンズ３１を透過した被写体からの一対の焦点検出用光束は、焦点検出装置１５のセパレーターレンズ（不図示）を透過した後、一対のラインセンサー１５ａ、１５ｂ上に結像され、ラインセンサー１５ａ、１５ｂにより一対の像の位相差を検出してデフォーカス量を算出する。この一実施の形態では、次式によりデフォーカス量による像倍率Ｍのずれ分αを演算し、像倍率Ｍからずれ分αを減算して非合焦時の正確な像倍率Ｍ’を算出する。
α＝(デフォーカス量)／(焦点距離) ・・・(２)，
Ｍ’＝Ｍ−α ・・・(３)

図４は、測光センサー２３による撮像画像にＡＦエリアを重畳して表示した図であり、人物Ａの手前左側に壁Ａがある場合を示す。この図により、人物領域に複数のＡＦエリアが存在する場合における像倍率の補正方法を説明する。至近優先のＡＦ制御を行う場合には、人物の手前に壁Ａなどがあると、至近側の壁にピントを合わせるべくレンズ駆動が行われる。そして、ピント位置が所定のしきい値以内に入ると、人物領域抽出処理が行われ、デフォーカス量が検出される。このとき、壁Ａと人物Ａには距離差があるため、人物Ａのデフォーカス量は壁Ａのデフォーカス量よりも大きな値となる。

また、人物領域にはＡＦエリア１、２、５、７が存在する。この場合、ＡＦエリア１、２、５、７のデフォーカス量の平均値を求め、平均値に一番近いデフォーカス量を採用し、上記(２)〜(３)式により正確な像倍率を求めるものとする。また、図４の場合には、人物Ａと壁Ａとが重なっていないので、人物領域のＡＦエリアのデフォーカス量は概ね同じ値となる。

図５は、撮影対象の人物の手前に壁（障害物）がある場合の撮像画像例を示す。今、図５(ａ)に示すように人物Ａの左隣の手前に障害物となる壁Ｂがある場合の撮影シーンにおいて人物領域抽出処理を行うと、色情報および輝度情報に基づいて図５(ｂ)に示すような人物領域（(ｂ)図中央部のハッチング部参照）が抽出される。この状態において、撮影レンズ３１の焦点距離と被写体距離を入手し、それらの情報に基づいて像倍率を算出する。次に、抽出した人物領域に含まれるＡＦエリア１、５、７のデフォーカス量defocus[ｍ]（ｍ＝１，５，７）とそれらの平均値defAveを検出し、レンズ情報により求めた像倍率からデフォーカス量によるズレ分の像倍率の補正を行う。さらに、次式によりデフォーカス量の分散Ｖを算出する。
Ｖ＝Σ（defocus[ｍ]−defAve）２／ｎ ・・・(４)
(４)式において、ｎは抽出した人物領域に含まれるＡＦエリアの数であり、ｎ＝３である。

そして、ＡＦエリア１，５，７の中で、デフォーカス量平均値defAveを中央として、上記分散Ｖ以上または以下となるデフォーカス量を示すＡＦエリアを人物領域から除外する。除外判定に分散を用いることにより、人物の顔の凹凸の影響を受けにくくなるので好ましい。具体的には、次式に示す除外判定条件を満たすデフォーカス量のＡＦエリアを人物領域から除外する。
defocus[ｍ]≦defAve−√Ｖ または defAve＋√Ｖ≦defocus[ｍ]・・・(５)
図６に示すように、測光センサー２３は複数の画素が二次元平面上に配列されており、予め各ＡＦエリアに対して測光センサー２３の４個の画素が対応付けられている。図５(ｂ)に示す人物領域に含まれるＡＦエリア１，５，７の内、ＡＦエリア１が上記(５)式の除外判定条件を満たす場合には、図５(ｃ)に示すようにＡＦエリア１に対応する４個の画素を人物領域から除外して真の人物領域を決定する。なお、上記(５)式の(defAve−√Ｖ)または(defAve＋√Ｖ)に係数を掛けて、領域抽出の精度を設定可能にしてもよい。

図７は一実施の形態の撮像動作を示すフローチャートである。このフローチャートにより一実施の形態の撮像動作を説明する。ボディ駆動制御装置２４は、ステップ１１においてレリーズボタンの半押しスイッチ（不図示）がオンすると撮像動作を開始する。なお、ステップ２１において、撮像装置の電源が投入されてから所定時間レリーズ半押し操作がない場合には撮像動作を終了する。

ステップ１２で図８に示す測光処理サブルーチンを実行し、測光結果による露出制御と人物検出処理を実行する。この測光処理については詳細を後述する。ステップ１３でＡＦ処理を行い、焦点検出装置１５によるデフォーカス量検出結果に基づいて撮影レンズ３１のフォーカシングレンズ（不図示）の焦点調節を行う。ステップ１４でレリーズボタンの全押しスイッチ（不図示）がオンし、全押し操作が検出されるとステップ１５へ進み、メインミラー１１とサブミラー１２のミラーアップを行う。ステップ１６で撮像素子１４の初期化を行い、続くステップ１７で電荷蓄積と蓄積データの掃き出しを行う。撮像終了後のステップ１８でミラーダウンした後、ステップ１９で撮像画像を処理し、ステップ２０で撮像画像を記録媒体（不図示）に記録する。

図８は測光処理サブルーチンを示すフローチャートである。ステップ１０１において測光センサー２３により測光のための撮像、すなわち電荷の蓄積とその読み出しを行う。ステップ１０２では測光センサー２３の出力の最大値が所定レベルに達しているか否かを判別する。所定レベルに達していない場合はステップ１０１へ戻り、電荷蓄積時間とアンプゲインを再設定してふたたび電荷蓄積と読み出しを行う。測光値の最大値が所定レベルに達している場合はステップ１０３へ進み、測光演算を行う。この測光演算では測光センサー２３の出力に基づいて被写体の輝度を算出し、適正な露出値を演算する。

上述したように、この一実施の形態では撮像画像から人物領域を検出するために、被写界の平均輝度になるように測光センサー２３の電荷蓄積時間と出力アンプのゲインを設定し、測光センサー２３をフィードバック制御する。ステップ１０４において、ステップ１０１の測光結果に基づいて人物領域を検出するために被写界が平均輝度になるような電荷蓄積時間とアンプゲインを設定し、電荷蓄積と読み出しを行う。ステップ１０５で図８に示す人物領域検出処理サブルーチンを実行し、撮像画像中の人物領域を特定する。

図９は人物領域検出処理サブルーチンを示すフローチャートである。ステップ２０１において測光センサー２３の出力データにホワイトバランス補正を行う。ステップ２０２では撮像画像の色情報と輝度情報に基づいて人物と思われる領域（例えば、人物の顔の領域）を抽出する。続くステップ２０３では人物領域に対しグループ化処理を行う。このグループ化処理では複数の人物がいた場合に人物と思われる領域を個々に分類するために行う。ステップ２０４において、ＡＦ処理（図７のステップ１３参照）結果のデフォーカス量が所定のしきい値より小さくなったか否かを判別する。つまり、被写体にある程度ピントが合っている状態になったとき、人物と思われる領域のマスターデータを作成する。

デフォーカス量が所定のしきい値より小さい場合はステップ２０５へ進み、すべてのＡＦエリアのデフォーカス量を取得する。図７のステップ１１で説明したように、レリーズボタンの半押し操作後はＡＥ処理とＡＦ処理はループ処理となるため、最も近いタイミングで行われた、または直前に行われたＡＦ処理で取得したデフォーカス量を読み込む。ステップ２０６で、レンズ駆動制御装置３３から入手した距離情報（焦点距離と被写体距離、距離誤差）に基づいて上記（１）式により像倍率Ｍを算出する。ステップ２０７において、人物領域に対してＡＦエリアとの対応づけを行い、上記(２)式および(３)式により人物領域に対応するＡＦエリアで検出されたデフォーカス量により像倍率Ｍを補正し、補正後の像倍率Ｍ’を得る。なお、人物領域に複数のＡＦエリアが対応している場合には、それらのデフォーカス量の平均値を用いて像倍率Ｍを補正し、補正後の像倍率Ｍ’を得る。

ステップ２０８で上記(４)式により人物領域のデフォーカス量の分散Ｖを算出する。続くステップ２０９で人物の大きさや顔幅などの判定を行う。人物領域に対して補正後の像倍率Ｍ’に基づき人物領域、例えば人物の顔の大きさや形状を推定するとともに、距離誤差情報に基づいて人物の顔の大きさや形状の許容範囲を算出し、人物の顔の大きさや形状が許容範囲内にあるか否かを判定する。そして、許容範囲に入っていない人物領域を削除する。

ステップ２１０において人物領域の抽出結果の信頼度を算出する。この一実施の形態では、人物領域抽出の信頼度は、例えば、人物と同じ類似色が背景として点在しないかどうかに注目し、類似色の数が多いほど信頼度が低いとする。また、輝度差がしきい値を超える場合には信頼度が低いとする。あるいは、人物領域の大きさがしきい値を超える場合に信頼度が低いとする。ステップ２１１において、上述したように、デフォーカス量平均値defAveを中央として、上記分散Ｖ以上または以下となるデフォーカス量を示すＡＦエリアを人物領域から除外する。具体的には、上記(５)式に示す除外判定条件を満たすデフォーカス量のＡＦエリアを人物領域から除外する。

人物領域検出処理後の図７のステップ１３におけるＡＦ処理では、信頼度の高い真の人物領域に対応するＡＦエリアのうち、最も至近に被写体が存在することを示すＡＦエリアのデフォーカス量にしたがって撮影レンズ３１のフォーカシングレンズを駆動し、真の人物領域にピントを合わせる。

ステップ２１１の人物領域からのＡＦエリアの除外判定処理を、ステップ２０９の人物の大きさや顔幅などの判定、およびステップ２１０の人物領域の抽出結果の信頼度の演算の後で行うのは、除外前にＡＦエリアの数が少ない場合であっても、ＡＦエリアの除外処理の前に人物の大きさや顔幅などの正確な判定と、人物領域の信頼度を正確に算出するためである。なお、人物の大きさや顔幅などの判定後に人物領域からのＡＦエリアの除外判定処理を行い、その後で人物領域の抽出結果の信頼度の演算を行うようにしてもよい。

また、上述した焦点検出ではデフォーカス量の分散Ｖに基づいて人物領域からＡＦエリアを除外するか否かを判定する例を示したが、分散Ｖの代わりにデフォーカス量の平均値を用い、平均値からの乖離に基づいて人物領域からＡＦエリアを除外するか否かを判定するようにしてもよい。つまり、平均値からの乖離が所定値を超えるデフォーカス量が検出されたＡＦエリアを人物領域から除外する。

なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、撮影レンズ３１により結像された像を撮像し、この像に関する情報すなわち色情報や輝度情報などと、撮影レンズ３１の距離に関する情報すなわち焦点距離、撮影距離、距離誤差などとに基づいて像の中から人物の顔の領域を推定するとともに、撮影レンズ３１の画面内の複数のＡＦエリアで撮影レンズ３１のデフォーカス量を検出し、人物の顔の領域に対応するＡＦエリアで検出されたデフォーカス量が人物の顔に関わるデフォーカス量か否かを判定し、人物の顔に関わるデフォーカス量でないと判定されたＡＦエリアの部分を人物の顔の領域から除外する。そして、真の人物の顔の領域に対応するＡＦエリアで検出されたデフォーカス量に基づいて撮影レンズ３１の焦点調節を行い、人物の顔に正しくピントを合わせる。一実施の形態によれば、人物の顔の領域に対応するＡＦエリアで検出されたデフォーカス量の中から、人物の顔に関わるデフォーカス量を正しく選別することができ、撮影レンズ３１を人物の顔に正確に合焦させることができる。

一実施の形態の撮像装置の構成を示す横断面図 一実施の形態の測光、人物領域検出およびオートフォーカスの動作を示す制御ブロック図 デフォーカス量により像倍率を補正する原理を説明する図 測光センサーによる撮像画像にＡＦエリアを重畳して表示した図 撮影対象の人物の手前に壁（障害物）がある場合の撮像画像例を示す図 測光センサーの撮像画面とＡＦエリアの配置を示す図 一実施の形態の撮像動作を示すフローチャート 測光処理サブルーチンを示すフローチャート 人物領域検出処理サブルーチンを示すフローチャート

符号の説明

１５；焦点検出装置、２３；測光センサー、２４；ボディ駆動制御装置、３１；撮影レンズ

Claims (6)

1. 複数の焦点検出エリアの焦点調節状態を検出し、前記焦点検出エリアのデフォーカス量を出力する焦点検出部と、
   撮像部から出力された画像を用いて人物の顔に対応する第１顔領域を抽出し、前記焦点検出部の出力を用いて前記第１顔領域から所定領域を除外した第２顔領域を抽出する領域抽出部と、
   前記第２顔領域に含まれる前記焦点検出エリアの焦点調節状態を用いて焦点調節光学系の駆動制御をする焦点調節制御部とを含み、
   前記領域抽出部は、前記第１顔領域に含まれる複数の前記焦点検出エリアのデフォーカス量の平均値から最も離れたデフォーカス量を出力する前記焦点検出エリアを除外するように前記所定領域を決定することを特徴とする撮像装置。
2. 請求項１に記載された撮像装置であって、
   前記領域抽出部は、前記撮像部から出力された画像の色情報及び輝度情報に基づいて設定された領域から、被写体距離及び撮影距離の少なくとも一方と焦点距離とを用いて演算された像倍率を用いて推定した前記人物の顔の大きさ又は形状の範囲外の領域を除外することにより前記第２顔領域を抽出することを特徴とする撮像装置。
3. 請求項２に記載された撮像装置であって、
   前記領域抽出部は、被写体距離及び撮影距離の少なくとも一方と焦点距離とを用いて演算された仮像倍率を、前記焦点検出部の出力を用いて補正することにより前記像倍率を演算することを特徴とする撮像装置。
4. 請求項１乃至請求項３の何れか１項に記載された撮像装置であって、
   前記撮像部の出力を用いて測光演算を行う測光演算部と、
   記録画像を撮像する前記撮像部とは異なる記録画像撮像部とを有することを特徴とする撮像装置。
5. 請求項１乃至請求項４の何れか１項に記載された撮像装置であって、
   前記焦点調節制御部は、前記第２顔領域に含まれる前記焦点検出エリアのうち、最も至近に被写体が存在する焦点調節状態になっている前記焦点検出エリアを用いて焦点調節光学系の駆動制御をすることを特徴とする撮像装置。
6. 請求項１乃至請求項５の何れか１項に記載された撮像装置であって、
   前記焦点検出部は、結像光学系を通過する一対の光束による一対の像のズレ量に基づいて位相差検出方式により焦点調節状態を検出することを特徴とする撮像装置。
   

Images