JP5623589B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、例えば、デジタルビデオカメラなどの撮像装置及び撮像装置の制御方法に関する。

ディジタルカメラにおいては、静止画撮影の際に、被写体像の特定の領域、例えば人間の顔などの位置や大きさを被写体検出アルゴリズムにより検出する技術が実用化されている。

被写体像の特定の領域の位置や大きさの情報は、例えばオートフォーカス（ＡＦ）制御に利用されている。即ち、被写体像の特定の領域の位置や大きさに合わせた測距枠を設定してＡＦ用の評価データを生成してＡＦ制御を行うことで、被写体像の特定の領域に注目したＡＦ制御が可能となる。なお、被写体像の特定の領域の位置や大きさの情報は、ＡＦ制御だけでなく、ＡＥ制御にも利用され、また、位置や大きさの情報を記録データにメタデータとして付加して記録する等の記録系のアプリケーションとしても利用される。

このような被写体検出アルゴリズムを、動画撮影を行うデジタルビデオカメラに適用すると、例えばＡＦ制御、ＡＥ制御、メタデータ付加等の複数のアプリケーションでシェアして利用することが考えられる。

この場合、単純にシェアするだけであれば、被写体検出アルゴリズムにより得られた被写体の検出情報を各アプリケーションに供給するだけでよい。しかし、より効率良く、かつ精度の良い被写体の検出情報の供給を考慮した場合、アプリケーション毎に必要とされる被写体の検出情報がどのようなものかを考える必要がある。

まず、被写体の検出情報の頻度の面では、例えばＡＥ制御では、ＡＥ制御そのものの動作時定数が遅いので、被写体の検出情報は毎フィールド必要ではない。一方、ＡＦ制御では、ＡＥ制御より動作時定数が速いので、必要な被写体の検出情報の頻度はＡＥ制御より多い。このように、動画撮影を行うデジタルビデオカメラでは、被写体の検出情報を時分割に与えることで、被写体の検出情報の効率良い供給が可能となる。

被写体の検出情報の効率的な利用を実現するものとして、被写体検出を行うフレームと行わないフレームとを周期的に設定することにより、被写体検出アルゴリズムの動作の無駄を防ぐ技術が提案されている（例えば、特許文献１参照。）。

特開２００４−１７１４９０号公報

ところで、例えばＡＦ制御、特にＴＶ−ＡＦ制御では、フォーカスレンズを含む撮像光学系を通じて撮像素子上に結像された光学像を光電変換して得られた映像信号から、なるべく早くコントラスト評価情報が得られることが望ましい。すなわち、撮像素子出力の映像信号か、もしくは時間的になるべく撮像素子出力の映像信号に近い画像からコントラスト評価情報と、被写体の検出情報とが得られることが望ましい。

一方、記録映像へのメタデータ付加の場合は、記録映像との時間的同期がとれることが必要であるので、記録映像もしくは記録映像に時間的になるべく近い画像から被写体の検出情報が得られることが望ましい。

このように、利用するアプリケーション毎に最適な被写体の検出情報の供給という面から見ると、上記特許文献１では、被写体検出を行うフレームと行わないフレームとの設定しかできないため、対応することができない。

そこで、本発明は、利用するアプリケーションごとに最適な被写体像の特定領域の検出情報を供給することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、入力された画像から被写体像の特定の領域を検出する検出手段と、前記検出手段に対して、撮像素子にて生成された画像を入力させ、前記検出手段の第１の検出情報の検出頻度が、前記検出手段の第２の検出情報の検出頻度よりも高くなるように、前記第１の検出情報と前記第２の検出情報とを所定の周期で切り換えて前記検出手段に生成させる制御手段と、前記第１の検出情報を用いて、第１の処理を施す第１の処理手段と、前記第２の検出情報を用いて、前記第１の処理とは異なる第２の処理を施す第２の処理手段と、を備えることを特徴とする。

本発明によれば、利用するアプリケーションごとに最適な被写体像の特定領域の検出情報を供給することができる。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラを説明するためのブロック図である。 ＴＶ−ＡＦ評価値生成回路で設定する評価枠の一例を示す図である。 ＴＶ−ＡＦ評価値生成回路の構成例を示すブロック図である。 ＴＶ−ＡＦ評価値生成回路で生成した評価値とフォーカスレンズ位置との関係を示すグラフ図である。 セレクトコントローラの動作例を説明するための図である。 本発明の撮像装置の第２の実施形態であるデジタルビデオカメラを説明するためのブロック図である。 被写体検出回路での顔の位置情報の検出設定の切り換え例を示す図である。 被写体検出コントローラの動作例を説明するための図である。 被写体検出コントローラの他の動作例を説明するための図である。

以下、本発明の実施形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラを説明するためのブロック図である。

本実施形態のデジタルビデオカメラは、図１に示すように、被写体の光学像がフォーカスレンズを含む結像光学系１を介して撮像素子２の受光面に結像され、撮像素子駆動回路（ＴＧ）１６の駆動信号に従い、撮像素子出力映像信号が読み出される。

この撮像素子出力映像信号は、カメラ信号処理回路３により色分離、ガンマ補正、白バランス調整等の必要な信号処理を施されて、輝度・色差信号を形成し、フレームメモリ４に格納される。

フレームメモリ４に格納された輝度・色差信号は、可変画像変倍回路５により任意の画像範囲が読み出され、所定の画素補間処理により画像拡大・縮小を行うと共に、記録用の画像サイズに整形される。

可変画像変倍回路５により生成された記録用の画像は、表示装置７に表示されると共に、記録信号処理回路６で記録用画像データに変換されて記録手段８に記録される。

同期信号発生回路（ＳＳＧ）１５は、水平・垂直同期信号を生成し、撮像素子駆動回路１６及びＴＶ−ＡＦ評価値生成回路９のタイミング制御を行う。

ＴＶ−ＡＦ評価値生成回路９は、入力された水平・垂直同期信号に従い、図２に示すように、３種類の評価値生成枠（１）〜（３）を生成する。また、ＴＶ−ＡＦ評価値生成回路９は、各枠のタイミングで入力されてくる撮像素子２の出力映像信号から被写体のコントラストを表すＴＶ−ＡＦ評価値を生成してレンズ位置制御回路１０に出力する。第１セレクト１１、被写体（顔）検出回路１２、第２セレクタ１３、セレクトコントローラ１４については後述する。

図３は、ＴＶ−ＡＦ評価値生成回路９の構成例を示すブロック図である。

図３において、映像入力３０１は、撮像素子２の出力する映像信号であり、所定の周波数成分を抽出するバンドパスフィルタ３０２に入力される。同期信号入力３１３は、同期信号発生回路１５より供給され、水平同期信号が水平枠信号生成回路３１４に入力され、垂直同期信号が垂直枠信号生成回路３１５に入力される。

映像入力３０１から入力された撮像素子２の出力映像信号は、バンドパスフィルタ３０２において、被写体の特にエッジのコントラストをあらわす周波数成分のみが抽出され、絶対値算出回路３０３にて絶対値が算出される。これにより、被写体のエッジコントラスト強度の情報が得られる。

絶対値算出回路３０３で算出された絶対値は、ピークホールド回路３０４〜３０６に入力され、絶対値のピーク値が検出される。ピークホールド回路３０４〜３０６には、水平枠信号生成回路３１４により生成された第１の水平枠信号Ｓ３１４−１、第２の水平枠信号Ｓ３１４−２、第３の水平枠信号Ｓ３１４−３がそれぞれ入力される。

第１〜第３の水平枠信号Ｓ３１４−１〜３は、図２に示す評価値生成枠（１）〜（３）の水平方向の枠信号であり、撮像素子２により撮像される画角の左、中央、右の部分領域に各々対応する。また、ピークホールド回路３０４〜３０６における前記絶対値のピーク値検出は、第１の水平枠信号Ｓ３１４−１、第２の水平枠信号Ｓ３１４−２、第３の水平枠信号Ｓ３１４−３により検出範囲を限定される。この結果、ピークホールド回路３０４〜３０６の各検出値は、図２の各評価値生成枠（１）〜（３）における、１水平ラインの被写体のエッジコントラスト強度となる。

ピークホールド回路３０４〜３０６の各検出値は、それぞれ積分回路３０７〜３０９に入力されて積分され、第１のＴＶ−ＡＦ評価値３１０、第２のＴＶ−ＡＦ評価値３１１第３のＴＶ−ＡＦ評価値３１２が生成される。

ここで、積分回路３０７〜３０９には、垂直枠生成回路３１５により生成された垂直枠信号Ｓ３１５が入力され、垂直枠信号Ｓ３１５により積分範囲が限定される。従って、ピークホールド回路３０４〜３０６の各検出値は、図２の各評価値生成枠（１）〜（３）の垂直方向範囲においてのみ積分される。

図４は、ＴＶ−ＡＦ評価値生成回路９で生成した評価値とフォーカスレンズ位置との関係を示すグラフ図である。

上記のようにして得られた各枠（１）〜（３）の積分値（ＴＶ−ＡＦ評価値３１０〜３１２）は、図４に示すように、横軸のレンズ位置の変化に対して、被写体に合焦するレンズ位置で極大値をとるなだらかな変化の値となる。従って、レンズ位置制御としては、前記積分値（ＴＶ−ＡＦ評価値３１０〜３１２）が極大となる位置を探索するように動作させる。

ＴＶ−ＡＦ評価値３１０〜３１２は、レンズ位置制御回路１０に入力され、レンズ位置制御回路１０は、図４で示すように、フォーカスレンズの位置をＴＶ−ＡＦ評価値３１０〜３１２が極大値をとる位置に合わせるように自動制御する。ＴＶ−ＡＦ評価値３１０〜３１２が極大値になる位置は、被写体のコントラストが最も強くなる位置、即ち、合焦位置となる。

ここで、ＴＶ−ＡＦ評価値３１０〜３１２は、図２に示すように、画面の左、中央、右に配置した３つの評価値生成枠（１）〜（３）に対応する撮像素子２の出力映像信号から生成される。従って、３つの評価値生成枠（１）〜（３）を選択することにより、画面のどの位置に合焦させるかを変更することが可能である。

次に、図１の第１セレクト１１、被写体（顔）検出回路１２、第２セレクタ１３、セレクトコントローラ１４について説明する。

図１に戻って、被写体検出回路１２は、第１セレクタ１１を介して入力される撮像素子２の出力映像信号、又は記録手段８への記録用の画像に含まれる被写体像の特定の領域、例えば人物の顔の位置情報を検出する。被写体検出回路１２にて検出された顔の位置情報は、第２セレクタ１３を介してＴＶ−ＡＦ評価値生成回路（第１の処理手段）９、及び記録信号処理回路（第２の処理手段）６に入力される。

被写体検出回路１２にて検出された顔の位置情報は、ＴＶ−ＡＦ評価値生成回路９では、３つの評価値生成枠（１）〜（３）に対応したＴＶ−ＡＦ評価値３１０〜３１２の選択に利用され、記録信号処理回路６では、記録信号に混入させるメタデータに利用される。

第１セレクタ１１および第２セレクタ１３は、セレクトコントローラ１４により、図５に示すように、被写体検出回路１２の検出周期毎にＡ側及びＢ側の選択状態が交互に切り換え制御される。

セレクトコントローラ１４がＡ側を選択したときは、第１セレクタ１１では撮像素子２の出力映像信号（第１の被写体像）が選択され、第２セレクタ１３ではＴＶ−ＡＦ評価値生成回路９への顔の位置情報の供給となる。同様に、セレクトコントローラ１４がＢ側を選択したときは、第１セレクタ１１では記録手段８への記録用の画像（第２の被写体像） が選択され、第２セレクタ１３では記録信号処理回路６への顔の位置情報の供給となる。

このようにして供給された顔の位置情報は、ＴＶ−ＡＦ評価値生成回路９においては、撮像素子２の出力映像信号から検出されたものとなるので、撮像素子２に結像して得られた、時間的に最も早い顔の位置情報である。そのため、ＴＶ−ＡＦ制御によるフォーカスレンズの位置制御上、最も適した顔の位置情報とすることができる。

また、記録信号処理回路６においては、記録手段８の記録用の画像から検出された位置情報となるので、記録手段８へ記録する画像と時間的に一致した顔の位置情報とすることができる。

以上説明したように、本実施形態では、被写体検出回路１２で検出される顔の位置情報を、利用するアプリケーション毎、すなわち、ＴＶ−ＡＦ評価値生成回路９及び記録信号処理回路６にとって最適な顔の位置情報とすることができる。

（第２の実施形態）
次に、図６〜図９を参照して、本発明の撮像装置の第２の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１の実施形態に対して重複又は相当する部分については図に同一符号を付してその説明を省略する。

図６は、本発明の撮像装置の第２の実施形態であるデジタルビデオカメラを説明するためのブロック図である。

本実施形態のデジタルビデオカメラは、図６に示すように、被写体検出回路１２での顔の位置情報の検出設定をＴＶ−ＡＦ評価値生成回路９及び記録信号処理回路６に対応するように所定の周期ごとに切り換える被写体検出コントローラ１７を備える。

被写体検出コントローラ１７は、図７に示すように、被写体検出回路１２での検出入力画像の顔のうち、所定の大きさ以上の顔のみを検出する設定Ａ（図７（ａ））と、顔の大きさに制限を設けずに検出する設定Ｂ（図７（ｂ））とを切り換える。

その結果、被写体検出回路１２では、設定Ａにおいては所定の大きさの顔の位置情報しか得られないが、顔の位置情報を得るまでの時間を短縮することができる。一方、設定Ｂにおいては、被写体検出回路１２では、顔の位置情報を全て得るまでの時間がかかるが、様々な大きさの顔の位置情報を得ることができる。

また、被写体検出コントローラ１７は、図８に示すように、設定Ａと設定Ｂとを異なる検出周期で繰り返す。そして、被写体検出コントローラ１７は、設定Ａの検出周期での顔の位置情報をＴＶ−ＡＦ評価値生成回路９に供給し、設定Ｂの検出周期での顔の位置情報を記録信号処理回路６に供給するように第２セレクタ１３を制御する。図８では、設定Ａを２回続け、次いで設定Ｂを１回というパターンで周期的に繰り返す例を示している。

これにより、ＴＶ−ＡＦ評価値生成回路９においては、所定の大きさで写っている顔に対して、頻度良く位置を推定しながら評価値を生成し、ＡＦ動作が可能となる。なお、この場合、小さく写っている顔についてはＡＦ動作できないが、ＡＦ動作としては主被写体に対する追従が望ましいため、こうした状況は都合がよい。

また、記録信号処理回路６におけるメタデータ付加においては、頻度は低減するが、様々な大きさで写っている顔の全ての位置情報を付加することができることとなる。メタデータとしては、情報の欠落は望ましくないため、こうした状況は都合が良い。

図９は、被写体検出コントローラ１７、ＴＶ−ＡＦ評価値検出回路９、及びレンズ位置制御回路１０の動作を連動させる例を示す図である。

被写体検出回路１２では、図９のｔ１〜ｔ２においては、設定ＡでＴＶ−ＡＦ制御用の顔の位置情報が検出され、ｔ２〜ｔ５においては、設定Ｂでメタデータ用の顔の位置情報が検出される。

そして、レンズ位置制御回路１０は、前記メタデータ用の顔の位置情報の検出中のｔ３においてＴＶ−ＡＦ評価値検出回路９で生成したＴＶ−ＡＦ評価値を参照し、同メタデータ用の顔の位置情報の検出中のｔ４においてフォーカスレンズの位置を移動させる。これにより、ＴＶ−ＡＦ制御としては無駄なく顔の位置情報を利用することが可能となる。

以上説明したように、本実施形態では、被写体検出回路１２で検出される顔の位置情報を、利用するアプリケーション毎、すなわち、ＴＶ−ＡＦ評価値生成回路９及び記録信号処理回路６にとって最適な顔の位置情報とすることができる。

なお、本発明は上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

１ 結像光学系
２ 撮像素子
３ カメラ信号処理回路
４ フレームメモリ
５ 可変画像変倍回路
６ 記録信号処理回路
７ 表示装置
８ 記録手段
９ ＴＶ−ＡＦ評価値生成回路
１０ レンズ位置制御回路
１１ 第１セレクタ
１２ 被写体検出回路
１３ 第２セレクタ
１４ セレクトコントローラ
１５ 同期信号生成回路
１６ 撮像素子駆動回路
１７ 被写体検出コントローラ

Claims (5)

1. 入力された画像から被写体像の特定の領域を検出する検出手段と、
   前記検出手段に対して、撮像素子にて生成された画像を入力させ、前記検出手段の第１の検出情報の検出頻度が、前記検出手段の第２の検出情報の検出頻度よりも高くなるように、前記第１の検出情報と前記第２の検出情報とを所定の周期で切り換えて前記検出手段に生成させる制御手段と、
   前記第１の検出情報を用いて、第１の処理を施す第１の処理手段と、
   前記第２の検出情報を用いて、前記第１の処理とは異なる第２の処理を施す第２の処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記検出手段にて、前記第１の検出情報を検出するまでの時間は、前記第２の検出情報を検出するまでの時間よりも短いことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の処理手段は、前記検出手段によって第１の画像から検出された前記特定の領域におけるコントラストが最も強くなるように、フォーカスレンズの位置を制御し、前記第２の処理手段は、前記検出手段によって第２の画像から検出された前記特定の領域の位置を、前記第２の画像とともに記録手段に記録することを特徴とする請求項１または２に記載の撮像装置。
4. 前記被写体像の特定の領域とは、人物の顔領域であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 入力された画像から被写体像の特定の領域を検出する検出ステップと、
   前記検出ステップにおいて、撮像素子にて生成された画像を入力させ、前記検出ステップの第１の検出情報の検出頻度が、前記検出ステップの第２の検出情報の検出頻度よりも高くなるように、前記第１の検出情報と前記第２の検出情報とを所定の周期で切り換えて前記検出ステップにて生成させる切り換えステップと、
   前記第１の検出情報を用いて、第１の処理を施す第１の処理ステップと、
   前記第２の検出情報を用いて、前記第１の処理とは異なる第２の処理を施す第２の処理ステップと、
   を備えることを特徴とする撮像装置の制御方法。

Images