JP6486098B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特に、特定色や顔を用いた自動合焦を行う撮像装置に用いて好適な技術に関する。

デジタルカメラやデジタルビデオカメラのような撮像装置では、顔等の主被写体に自動で合焦する技術が提案されている。例えば、特許文献１では、肌色を検知し、肌色の画素数が最も多い合焦エリアを検出し、検出された合焦エリアに合焦する技術が提案されている。

特開２００３−１２５２７４号公報

特許文献１に記載されたデジタルカメラは、測距と肌色検知を一つのイメージセンサで行っている。そのため、合焦エリアと、それに対応する肌色検知するエリアが一致する。
しかしながら、一眼レフカメラでは撮像用イメージセンサとは別に、測距センサと肌色検知を行う測光センサの２つのセンサを持つ構成が一般的である。

２つのセンサは、それぞれ撮影レンズに対して調整されるが、位置調整誤差がそれぞれ発生するので、相対的にずれが生じる。そのため、特許文献１のように合焦エリアと、それに対応する肌色検知するエリアを一致させることが困難である。

合焦エリアと、それに対応する肌色エリアにずれが生じると、測光センサで肌色エリア内の肌色の画素数を正確にカウントしても、測距センサの合焦エリアは肌色が存在しない位置に存在する場合がある。前述の合焦エリアに合焦すると、肌色に合焦できない問題点があった。
本発明は前述の問題点に鑑み、測光センサと測距センサの２つのセンサで特定色や顔に自動合焦する撮像装置において、センサの取り付け位置のずれによる合焦ばらつきを抑制した自動合焦を行うことを目的とする。

本発明の撮像装置は、測光センサと測距センサとを有する撮像装置であって、前記測光センサを用いて画像データを生成する画像データ生成手段と、前記画像データ生成手段により生成された画像データから、特定色を有する画素群を含む領域、あるいは、顔を含む領域を検出する検出手段と、前記画像データを、前記測距センサの離散的に配置された測距点に対応するブロックに分割し、ブロック毎に、前記検出手段によって検出された領域が占める面積を判定する判定手段と、前記判定手段の判定結果に基づいてフォーカスレンズを駆動する合焦手段と、を備え、前記合焦手段は、前記検出手段によって検出された領域が存在するブロックに対応する測距点のうち、前記検出手段によって検出された領域が占める面積が所定の割合以上でないブロックに対応する測距点を用いずに、前記検出手段によって検出された領域が占める面積が所定の割合以上であるブロックに対応する測距点を用いて、前記フォーカスレンズを駆動することを特徴とする。

本発明によれば、測光センサと測距センサの２つのセンサで特定色や顔に自動合焦する撮像装置において、センサの取り付け位置のずれによる合焦ばらつきを抑制した自動合焦を行うことができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置における撮影処理を説明するフローチャートである。 本発明の実施形態に係る撮像装置における測光センサと測距センサ駆動の詳細を説明するフローチャートである。 本発明の実施形態に係る撮像装置における図３のフローチャートを説明するための説明図である。 本発明の実施形態に係る撮像装置における図３のフローチャートを説明するための説明図である。 本発明の実施形態に係る撮像装置における撮影処理を説明するフローチャートである。 本発明の実施形態に係る撮像装置における図６のフローチャートを説明するための説明図である。 本発明の実施形態に係る撮像装置における図６のフローチャートを説明するための説明図である。 本発明の実施形態に係る撮像装置の構成例を示すブロック図である。

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の構成例を示すブロック図である。
図１において、１００はカメラ本体を、２００はレンズを示している。
まず、カメラ１００とレンズ２００内の構成について説明する。
１０１は、カメラ１００の各部を制御するカメラマイコン（以下、ＣＰＵ）である。
１０２は、ＣＰＵ１０１に接続されているRAMやROM等のメモリである。

１０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤ、ＣＭＯＳ等の撮像素子であり、レンズ２００によって撮影時に被写体の像が結像される。
１０４は、シャッターであり非撮影時には撮像素子１０３を遮光し、撮影時には開いて撮像素子１０３へ光線を導く。

１０５は、ハーフミラーであり非撮影時にレンズ２００より入射する光の一部を反射し１０６のピント板に結像させる。
１０７は、測光センサであり、各画素がＲ、Ｇ、Ｂのいずれかに対応する感度を有する画素を備えたＣＣＤ、ＣＯＭＳ等の撮像素子を使用することにより測光演算、顔検出演算や追跡演算等の被写体認識処理を行う。
１０８は、ペンタプリズムであり、ピント板１０６の被写体像を測光センサ１０７及び光学ファインダー１０９に導く。測光センサ１０７はペンタプリズムを介してピント板１０６に結像された被写体像を斜めの位置から見込んでいる。

１１０は、ＡＦミラーであり、レンズ２００より入射し、ハーフミラー１０５を通過した光線の一部を焦点検出回路内の測距センサ１１１に導き測距を行っている。
２０１は、レンズ２００内のＣＰＵ（以下ＬＰＵと呼ぶ）で、被写体との距離情報等をカメラマイコンであるＣＰＵ１０１に送る。
以上で、図１の本発明の実施例にかかわるカメラシステムの構成図の説明を終わる。

次に、図２及び図３に示すフローチャートを参照して、カメラ１００の動作を説明する。図２及び図３のフローチャートの処理は、ＣＰＵ１０１がメモリ１０２に記録されたプログラムをメモリ１０２のワークメモリ領域に展開して実行し、カメラ１００の各部を制御することで実現する。なお、本実施形態においてカメラ１００の電源がオンされ、撮像スタンバイの状態にあるものとする。

Ｓ２０１で、ＣＰＵ１０１はシャッタスイッチの第一ストローク（以下ＳＷ１と呼ぶ）がオンかオフか判別し、オンならばＳ２０２に処理を進める。
Ｓ２０２で、ＣＰＵ１０１は測光センサ１０７を駆動し、測光演算、顔検出演算や追跡演算等の被写体認識処理を行う。
Ｓ２０３で、ＣＰＵ１０１は測光センサ１０７と測距センサ１１１を用いて位相差方式のＡＦ（オートフォーカス）処理を行う。測光センサ１０７で特定色や顔を検知し、特定色や顔がある測距点のデフォーカス量を検出する。次に、ＬＰＵ２０１を通じてレンズ２００のフォーカスレンズを駆動させ、検出デフォーカス位置にフォーカスレンズを駆動させる。なお、ＡＦ処理方法の詳細は図５、図８を参照して後述する。

Ｓ２０４で、ＣＰＵ１０１はシャッタスイッチの第二ストローク（以下ＳＷ２と呼ぶ）がオンかオフか判別する。シャッタスイッチＳＷ２がオフならば、ＣＰＵ１０１はＳ２０５でシャッタスイッチＳＷ１の状態を確認し、オンのままならばＳ２０２に、オフになった場合はＳ２０１に、それぞれ処理を戻す。
Ｓ２０４でＳＷ２がオンであれば、ＣＰＵ１０１はＳ２０６で、Ｓ２０２の測光センサ駆動で演算した露出制御値に基づいて本撮影処理を実行する。

図３は、図２のＳ２０３のＡＦ処理における測光センサ１０７と測距センサ駆動の詳細を示すフローチャートである。図３のフローチャートを図４及び図５を参照して説明する。
図４（ａ）、図５（ａ）は撮影シーンの一例を示す図である。
図４及び図５の（ａ）撮影シーンに対して、図４及び図５の（ｂ）に測距センサ１１１の離散的に配置された測距点５１０を示す。

Ｓ３０１で、ＣＰＵ１０１は測光センサ１０７の蓄積を行い、画像データを生成し、メモリ１０２に保持する画像データ生成処理を行う。
Ｓ３０２で、ＣＰＵ１０１は測光センサ１０７の各画素がＲ、Ｇ、Ｂの感度に応じた信号を持つように補間処理の行い、画像データを、それぞれが複数の画素を含む複数の画素群に分割する。画素群毎にＲ、Ｇ、Ｂのそれぞれの平均値を求め、画素群毎のＲ、Ｇ、Ｂの平均値の比から画素群毎に肌色等の特定色を有しているか否かを判定する特定色判定処理を行う。なお、肌色等の特定色を判定する方法は本発明と直接関係がなく、また任意の方法を採用できるためその詳細を省略する。

図４、図５において、（ｃ）に画素群の分割、（ｄ）に特定色と判定した特定色画素群５２０を示す。
Ｓ３０３で、ＣＰＵ１０１は前記画素群を測距センサ１１１の測距点に対応するブロックに分割し、ブロック毎に特定色画素群の数をカウントする。なお、画素群のサイズは測距点に対応するブロックのサイズよりも十分に小さいものとする。

図４及び図５において、（ｅ）は前記画素群を測距センサ１１１の測距点に対応するブロックに分割したものである。１ブロック内に画素群が１６個入っている。（ｆ）はブロック内の特定色画素群をカウントしたものである。

Ｓ３０４で、ＣＰＵ１０１はＳ３０３で算出したカウント数と閾値とを比較して、特定色を有するブロックか否かを判定する、特定色ブロック判定処理を行う。この判定は、ブロック内で特定色画素群が占める面積が所定の割合以上であるか否かを判定して行う。
図５の（ｆ）では、カウント数が閾値１２以上（７５％）のブロックを、特定色を有する特定色ブロック５３０として検出する。

ここで、閾値１２（７５％）は以下のように算出される。
閾値８（５０％）以上に設定すれば、測距センサ１１１の測距点に肌色が掛かっている可能性が高い。
しかし、測光センサ１０７と測距センサ１１１の取り付け位置のずれが発生する場合は、位置ずれに応じて閾値を大きめに設定する必要がある。
例えば、図４（ｇ）のように測距センサが左に１画素群の位置ずれが生じる場合、面積では４（２５％）のずれ量となる。そこで、閾値８（５０％）に面積ずれ量４（２５％）を足した閾値１２（７５％）が算出される。

図４（ａ）、図５（ａ）のシーン共に、車体とナンバープレートの境界部の肌色と誤検知した画素群が、閾値判定を行うことにより特定色ブロックと判定されない。
また、図４（ａ）、図５（ａ）のシーン共に、左側の顔は閾値以下のため、特定色ブロックと判定されない。

ここで、図４（ａ）では中央から左上の測距点では、測距点に顔が掛かっているため顔に合焦できる。しかし、図４（ｇ）のように位置ずれが生じた場合には、測距点に顔が掛かっていないため合焦できない。このように、センサ取り付け位置のずれにより合焦できなくなるため、特定色ブロックと判定すべきではない。

図５（ａ）シーンでは、右側の顔を特定色ブロック５３０と判定される。
ここで、右側の顔は図５（ａ）に対して図５（ｇ）のように位置ずれが生じた場合にも、測距点に顔が掛かっているため合焦できる。このように、センサ取り付け位置がずれても安定して合焦できるため、特定色ブロックと判定すべきである。

Ｓ３０５で、ＣＰＵ１０１はＳ３０４で特定色を有するブロックに対する測距点のデフォーカス量を検出し、ＬＰＵ２０１を通じてレンズ２００のフォーカスレンズを駆動させ、検出デフォーカス位置にフォーカスレンズを駆動させる、特定色合焦処理を行う。
図５の（ａ）シーンに対して、図５の（ｈ）に特定色ブロックに対応する測距点５４０を示す。

図４（ｈ）では、顔に自動合焦することはできないが、センサの取り付け位置のずれによる合焦ばらつきが抑制できている。
図５（ｈ）では、右側の顔に自動合焦することができる。また、図５（ｇ）のように測距センサ１１１の取り付け位置が相対的に左に１画素群ずれた場合にも、右側の顔に測距点が掛かっているため、顔に合焦することができている。

前述の手法により、測光センサ１０７と測距センサ１１１の２つのセンサを用いて特定色に自動合焦する撮像装置において、センサの取り付け位置のずれによる合焦ばらつきを抑制した自動合焦を行うことが可能となる。
以上で第１の実施形態の説明を終わる。

［第２の実施形態］
第２の実施形態におけるカメラの構成は、図１に示すカメラと同様であり、撮影処理のフローは図２に示すフローチャートと同様である。

図６は、図２のＳ２０３のＡＦ処理における測光センサ１０７と測距センサ駆動の詳細を示すフローチャートである。
図６のフローチャートを、図７及び図８を参照して説明する。
図７（ａ）、図８（ａ）は撮影シーンの一例を示す図である。
図７、図８において、（ａ）撮影シーンに対して、測距センサ１１１の離散的に配置された測距点５１０を（ｂ）に示す。

Ｓ６０１で、ＣＰＵ１０１は測光センサ１０７の蓄積を行い、画像データを生成し、メモリ１０２に保持する。
Ｓ６０２で、ＣＰＵ１０１は顔検知を行う。例えば、ニューラルネットワークやサポートベクターマシンに代表される学習を用いた方法や、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングして抽出する手法などがある。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法などもある（例えば、特開平１０−２３２９３４号公報または特開２０００−４８１８４号公報を参照）。顔検知の結果は、画像データの画素に対して、顔が存在する顔領域として出力する。

図７、図８において、（ｃ）に画素の分割、（ｄ）に顔画素群５５０を示す。
Ｓ６０３で、ＣＰＵ１０１は画像データを測距センサ１１１の測距点に対応するブロックに分割し、各ブロック内の顔領域の画素数をカウントする。図７及び図８の（ｅ）は測距センサの測距点に対応するブロックに分割したものである。図７及び図８の（ｆ）はブロック内の顔領域をカウントしたものである。

Ｓ６０４で、ＣＰＵ１０１はＳ６０３で算出したカウント数と閾値と比較して、顔を有するブロックか否かを判定する、顔ブロック判定処理を行う。この判定処理は、ブロック内で顔が占める面積が所定の割合以上であるか否かを判定して行う。図８の（ｆ）では、カウント数が閾値１２以上（７５％）のブロックを、顔を有する顔ブロック５６０として検出する。
ここで、閾値１２（７５％）は第１の実施形態と同様に算出される。

図７（ａ）、図８（ａ）のシーン共に、左側の顔も閾値判定を行うことにより顔ブロックと判定されない。
図８（ａ）シーンでは、右側の顔を顔ブロック５６０と判定される。
Ｓ６０５で、ＣＰＵ１０１はＳ６０４で顔を有するブロックに対する測距点のデフォーカス量を検出し、ＬＰＵ２０１を通じてレンズ２００のフォーカスレンズを駆動させ、検出デフォーカス位置にフォーカスレンズを駆動させる、顔合焦処理を行う。

図８の（ａ）シーンに対して、図８の（ｈ）に顔ブロックに対応する測距点５７０を示す。
図７（ｈ）では、顔に自動合焦することはできないが、小さい主被写体のピント抜けや、センサの取り付け位置のずれによる合焦ばらつきを抑制できている。
図８（ｈ）では、右側の顔に自動合焦することができる。また、図８（ｇ）のように測距センサ１１１の取り付け位置が相対的に左に１画素群ずれた場合にも、右側の顔に測距点がかかっているため、顔に合焦することができている。

前述の手法により、測光センサ１０７と測距センサ１１１の２つのセンサを用いて顔に自動合焦する撮像装置において、センサの取り付け位置のずれによる合焦ばらつきを抑制した自動合焦を行うことが可能となる。
以上で第２の実施形態の説明を終わる。

なお、第１の実施形態と第２の実施形態は、図１に示した撮像装置の構成に限定されず、図９の構成でも実施可能である。
図９は、図１に対して、ペンタプリズム１０８、測光センサ１０７等を外し、ハーフミラー１０５、サブミラー１１０をハーフミラー３００に変更したものである。
ハーフミラー３００で非撮影時にレンズ２００より入射する光の一部を反射し、光線の一部を焦点検出回路内の測距センサ１１１に導き測距を行っている。また、光の一部を透過し、光線の一部を撮像素子１０３に導き被写体の像が結像される。
なお、図９と図１の共通する部分は説明を省略する。

図１の構成に対して、図９では一部部品をなくすことで軽量化が可能となる。測光センサ１０７の機能は撮像素子１０３で行う。測距センサ１１１は測距処理の高速化のために残している。
本構成の場合、測光センサ１０７の代わりに撮像素子１０３を使って特定色や顔を検知し、測距センサ１１１で合焦すればよい。
以上、本発明の好ましい２つの実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラ
１０１ カメラマイコン（ＣＰＵ）
１０２ メモリ
１０３ 撮像素子
１０４ シャッター
１０５ ミラー
１０６ ピント板
１０７ 測光センサ
１０８ ペンタプリズム
１０９ アイピース
１１０ サブミラー
１１１ 測距センサ
２００ レンズ
２０１ レンズマイコン（ＬＰＵ）
３００ ミラー
５１０ ＡＦ測距点
５２０ 特定色画素群
５３０ 特定色ブロック
５４０ 特定色ブロックに対応する測距点
５５０ 顔画素群
５６０ 顔ブロック
５７０ 顔ブロックに対応する測距点

Claims (5)

1. 測光センサと測距センサとを有する撮像装置であって、
   前記測光センサを用いて画像データを生成する画像データ生成手段と、
   前記画像データ生成手段により生成された画像データから、特定色を有する画素群を含む領域、あるいは、顔を含む領域を検出する検出手段と、
   前記画像データを、前記測距センサの離散的に配置された測距点に対応するブロックに分割し、ブロック毎に、前記検出手段によって検出された領域が占める面積を判定する判定手段と、
   前記判定手段の判定結果に基づいてフォーカスレンズを駆動する合焦手段と、を備え、
   前記合焦手段は、前記検出手段によって検出された領域が存在するブロックに対応する測距点のうち、前記検出手段によって検出された領域が占める面積が所定の割合以上でないブロックに対応する測距点を用いずに、前記検出手段によって検出された領域が占める面積が所定の割合以上であるブロックに対応する測距点を用いて、前記フォーカスレンズを駆動することを特徴とする撮像装置。
2. 前記検出手段は、特定色として肌色か否かを判定することを特徴とする請求項１に記載の撮像装置。
3. レンズより入射する光の一部を反射するハーフミラーを有し、
   前記測光センサは、前記ハーフミラーにて反射された光が入射し、前記測距センサは前記ハーフミラーを通過した光が入射することを特徴とする請求項１または２に記載の撮像装置。
4. 測光センサと測距センサとを有する撮像装置の制御方法であって、
   前記測光センサを用いて画像データを生成する画像データ生成工程と、
   前記画像データ生成工程において生成された画像データから、特定色を有する画素群を含む領域、あるいは、顔を含む領域を検出する検出工程と、
   前記画像データを、前記測距センサの離散的に配置された測距点に対応するブロックに分割し、ブロック毎に、前記検出工程において検出された領域が占める面積を判定する判定工程と、
   前記判定工程における判定結果に基づいてフォーカスレンズを駆動する合焦工程と、を備え、
   前記合焦工程では、前記検出工程において検出された領域が存在するブロックに対応する測距点のうち、前記検出工程において検出された領域が占める面積が所定の割合以上でないブロックに対応する測距点を用いずに、前記検出工程において検出された領域が占める面積が所定の割合以上であるブロックに対応する測距点を用いて、前記フォーカスレンズを駆動することを特徴とする撮像装置の制御方法。
5. 測光センサと測距センサとを有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記測光センサを用いて画像データを生成する画像データ生成工程と、
   前記画像データ生成工程において生成された画像データから、特定色を有する画素群を含む領域、あるいは、顔を含む領域を検出する検出工程と、
   前記画像データを、前記測距センサの離散的に配置された測距点に対応するブロックに分割し、ブロック毎に、前記検出工程において検出された領域が占める面積を判定する判定工程と、
   前記判定工程における判定結果に基づいてフォーカスレンズを駆動する合焦工程と、をコンピュータに実行させ、
   前記合焦工程では、前記検出工程において検出された領域が存在するブロックに対応する測距点のうち、前記検出工程において検出された領域が占める面積が所定の割合以上でないブロックに対応する測距点を用いずに、前記検出工程において検出された領域が占める面積が所定の割合以上であるブロックに対応する測距点を用いて、前記フォーカスレンズを駆動することを特徴とするプログラム。