JP6289068B2

JP6289068B2 - 撮像装置、及びその制御方法

Info

Publication number: JP6289068B2
Application number: JP2013259304A
Authority: JP
Inventors: 博之古用
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-12-16
Filing date: 2013-12-16
Publication date: 2018-03-07
Anticipated expiration: 2033-12-16
Also published as: JP2015119205A

Description

本発明は、電子ビューファンダ機能を有する例えばデジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。

デジタルスチルカメラ等の撮像装置では、静止画の撮影前に被写体の画像（動画）を装置本体の画像表示部に表示する電子ビューファンダ機能（ＥＶＦ機能）を有するものがある。電子ビューファンダ機能の一般的な動作として、ユーザが撮像画像のレイアウトを画像表示部で確認し、レリーズボタンを全押しする等して静止画撮影を指示すると、オートフォーカス機能により焦点位置が調整された後、静止画が撮像され、記録される。

このような処理において、画像表示部に表示される動画像は、確認用であるので、フレームレートは、処理の負荷を低減させるために、例えば３０ｆｐｓのような比較的低いレートが望ましい。これに対し、オートフォーカス処理を実行する際には、ユーザの指示から静止画撮影が行われるまでの応答性を向上させるため、より高速に焦点位置を決定する必要があることから、フレームレートは、例えば２４０ｆｐｓのようなより高いレートが望ましい。

そこで、一般的には、静止画の撮影前に被写体の動画像を低フレームレートで画像表示部に表示し、ユーザ操作により静止画の撮影指示がされると、フレームレートを高レートに切り替えてオートフォーカス処理が実行される。しかし、この場合、フレームレートを切り替える際に、不要な待機時間が生じ、操作性が低下するおそれがある。

このような不要な待機時間を短縮する方法として、撮像素子に対して複数のフレームレートで同時に画像を読み出すことにより、ユーザ操作による撮影指示から静止画撮影が開始されるまでの操作性を向上させる技術が提案されている（特許文献１）。

また、撮像部における撮像を一時的に停止、再開するための、一時停止信号、再開信号を出力する操作部と、一時停止信号および再開信号に基づいて、撮像部における撮像を制御する制御部とを備える撮像装置が提案されている（特許文献２）。この提案では、ユーザ操作により撮像部による撮像を一時停止させることで、不要な被写体画像を記録することなく撮影を行うことができる。

特開２０１３−５５５８９号公報特開２００９−１７１００４号公報

しかし、上記特許文献１では、静止画の撮影前に被写体画像を画像表示部に表示している間は、常に複数のフレームレートで同時に画像を読み出すことになり、消費電力を増大させてしまう。また、レリーズボタンの押下操作で複数のフレームレートで同時に画像を読み出すようにすると、撮像素子の制御の切り替えに不要な待機時間が発生し、その間のタイムラグがカメラの操作性を低下させてしまう。

一方、上記特許文献２では、ユーザ操作による指示で撮像部における撮像の一時停止、再開を行うため、一時停止期間の必要な被写体情報を取得することができない。

そこで、本発明は、撮像素子による撮像を一時停止させることなく、撮像装置の操作性を向上させるとともに、省電力化を図る仕組みを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、前記制御手段は、前記第２の読み出し制御を行わずに前記第１の読み出し制御を行って得られた前記第１の画像データに基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする。
また、本発明の撮像装置は、撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、前記制御手段は、前記第２の読み出し制御を行わずに前記第１の読み出し制御を行っているときに、撮影モードが別の撮影モードに変更されたこと、および、ズーム倍率が変更されたことの少なくともいずれかが生じた場合に、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする。
また、本発明の撮像装置は、撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、前記制御手段は、前記第１の読み出し制御を行って得られた前記第１の画像データが複数の読み出し開始条件の一つを満たす場合に、前記第２の読み出し制御を行うことを開始し、前記複数の読み出し開始条件にそれぞれ対応した複数の読み出し停止条件のうち、前記一つの読み出し開始条件に対応した一つの読み出し停止条件を満たす場合に、前記第２の読み出し制御を停止することを特徴とする。

本発明によれば、撮像素子による撮像を一時停止させることなく、撮像装置の操作性を向上させることができるとともに、省電力化を図ることができる。

本発明の撮像装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。デジタルスチルカメラの動作例を示すフローチャート図である。ＥＶＦ表示中において、撮像素子のサブストリームの読み出しの開始と読み出し終了とを制御する条件を示す図である。図３の条件Ａ乃至Ｅに該当した場合の撮像素子の制御シーケンスを示すタイミングチャート図である。

以下、本発明の実施形態の一例を図面を参照して説明する。

図１は、本発明の撮像装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。

本実施形態のデジタルスチルカメラ１００は、図１に示すように、撮影レンズ１０、絞り機能を備える機械式のシャッタ１２、光学像を電気信号に変換する撮像素子１４、及び撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６等を有する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。なお、シャッタ１２以外にも、撮像素子１４のリセットタイミングの制御によって、電子シャッタとして、電荷の蓄積時間を制御することができ、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって、画像の切り出しや変倍処理を行うことで電子ズーム機能が実現される。さらに、画像処理回路２０では、画像データの画像識別や、前フレーム画像との変化量を検出する処理も行っている。

また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、フォーカス制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行う。更に、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介してメモリ３０に書き込まれる。メモリ３０には、撮影した静止画像データや動画像データが格納される。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

画像表示部２８は、ＴＦＴやＬＣＤ等で構成される。メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８に撮像した画像データを逐次表示すれば、静止画の撮影前に被写体の画像を画像表示部２８に表示する電子ビューファンダ機能を実現することが可能である。

システム制御回路５０は、デジタルスチルカメラ１００全体の制御を司る。システム制御回路５０が実行するプログラムコードは、フラッシュロム等の不揮発性メモリ３１に書き込まれて、逐次読み出される。また、不揮発性メモリ３１には、システム情報を記憶する領域や、ユーザ設定情報を記憶する領域が設けられ、各種情報や設定が次回起動時に読み出される。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、シャッタ１２を制御し、また、ストロボ４８と連動することによりストロボ調光機能も有する。フォーカス制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。ストロボ４８は、ストロボ調光機能の他に、ＡＦ補助光の投光機能も有する。露光制御部４０及びフォーカス制御部４２は、ＴＴＬ方式を用いて制御され，撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及びフォーカス制御部４２に対して制御を行う。

モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する。

シャッタスイッチ（ＳＷ１）６２は、シャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタスイッチ（ＳＷ２）６４は、シャッタボタンの操作完了でオンとなり、システム制御回路５０は、ストロボ撮影の場合、ＥＦ（調光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、システム制御回路５０は、この露光期間中にストロボ４８を発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。

また、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理を行う。

更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、画像処理回路２０やメモリ制御回路２２での演算による現像処理やメモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮する処理を行う。更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、記録媒体２００に画像データを書き込む記録処理を行う。

表示切替スイッチ６６は、画像表示部２８の表示を切替える。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から構成され、例えばメニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、動画記録スイッチ、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部７０には、電源スイッチ、サブメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ７２は、ユーザが撮像画像の倍率の変更指示を行うためのスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有する。ズームスイッチ７２は、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ７２は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等から構成される。Ｉ／Ｆ９０は、記録媒体２００とのインタフェースであり、コネクタ９２には、記録媒体２００が接続される。記録媒体２００は、メモリカードやハードディスク等で構成され、半導体メモリや磁気ディスク等の記録部２０２、デジタルスチルカメラ１００とのＩ／Ｆ（インタフェース）２０４、コネクタ９２に接続されるコネクタ２０６を備える。

光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用することなく、撮影を行うことを可能にする。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０によりデジタルスチルカメラ１００を他の機器と接続する際に用いるコネクタ、或いは無線通信の場合はアンテナである。

図２は、デジタルスチルカメラ１００の動作例を示すフローチャート図である。図２に示す処理は、システム制御回路５０のＣＰＵ等が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

ステップＳ１０１では、システム制御回路５０は、電池交換等の電源投入によりフラグや制御変数等を初期化し、ステップＳ１０２に進む。

ステップＳ１０２では、システム制御回路５０は、モードダイアル６０の設定位置を判断する。そして、システム制御回路５０は、モードダイアル６０が撮影モードに設定されている場合は、ステップＳ１０４に進み、モードダイアル６０が他のモード（再生等）に設定されている場合は、ステップＳ１０３に進む。

ステップＳ１０３では、システム制御回路５０は、設定されたモードに応じた処理を実行し、処理終了後にステップＳ１０２に戻る。

ステップＳ１０４では、システム制御回路５０は、撮像素子１４を起動させ、ステップＳ１０５に進む。撮像素子１４を起動させる場合、複数のフレームレート（取得速度）の読み出しモードで撮像素子１４を動作させる。この場合、静止画の撮影前に被写体の動画像を画像表示部２８に表示（以下、ＥＶＦ表示という。）する際のフレームレート読み出しを３０ｆｐｓとし、ＡＦ処理、ＡＥ処理及びＡＷＢ処理などに使用するフレームレート読み出しを２４０ｆｐｓとする。

以下の説明では、３０ｆｐｓのレートでのフレーム読み出しをメインストリームとし、メインストリームより高速な２４０ｆｐｓのレートでのフレーム読み出しをサブストリームとする。

ここで、メインストリームは、本発明の撮像素子から読み出し行を間引いて画像データを取得して出力する第１の読み出し手段の一例に相当する。また、サブストリームは、本発明の撮像素子の第１の読み出し手段と重複しない読み出し行から第１の読み出し手段より高速で画像データを取得して第１の読み出し手段と同時に出力する第２の読み出し手段の一例に相当する。

ステップＳ１０５では、システム制御回路５０は、メインストリームで読み出された画像データを画像表示部２８に逐次表示するＥＶＦ表示状態に設定し、ステップＳ１０６に進む。

ステップＳ１０６では、システム制御回路５０は、操作部７０の電源スイッチがオフ操作されたかを判断し、電源スイッチがオフ操作されると、ステップＳ１０７に進み、オフ操作されない場合は、ステップＳ１０５に戻ってＥＶＦ表示状態を継続する。

ステップＳ１０７では、システム制御回路５０は、カメラ動作を停止してステップＳ１０５のＥＶＦ表示状態を停止し、処理を終了する。

図３は、メインストリームで読み出された画像データをＥＶＦ表示中において、撮像素子１４のサブストリームの読み出しの開始と読み出し終了とを制御する条件を示す図である。ここで、図３におけるサブストリームの読み出し終了条件は、条件Ａ乃至Ｅの読み出し開始条件に応じてそれぞれの目的を達成するために予め定められた条件である。

図３の条件Ａは、ＥＶＦ表示中に、主被写体の状態に変化があった場合である。システム制御回路５０は、画像処理回路２０によって、主被写体の位置を判断し、主被写体を見失った場合、主被写体が画像表示部２８の表示画面の４隅に移動した場合、それぞれサブストリームの読み出しを開始する。また、主被写体が、ユーザの手動操作や所定のアルゴリズムに従って自動的に表示画面内の任意の位置に設定されるフレーム枠に近づいた場合も、サブストリームの読み出しを開始する。

その後、システム制御回路５０は、画像処理回路２０によって主被写体の検出を行い、主被写体に対して、ＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、ＡＦ処理、ＡＥ処理、ＡＷＢ処理が終了した場合に、サブストリームの読み出しを終了する。また、システム制御回路５０は、画像処理回路２０によって主被写体を数フレームの間、検出できなかった場合には、サブストリームの読み出しを終了する。

図３の条件Ｂは、ＥＶＦ表示中に、顔検出結果に変化があった場合である。システム制御回路５０は、画像処理回路２０によって顔検出を行い、顔の数が増減した場合に、サブストリームの読み出しを開始する。

その後、システム制御回路５０は、画像処理回路２０によって主被写体の検出を行い、どの顔にＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施すればいいかを高速に判断し、処理が終了した場合に、サブストリームの読み出しを終了する。

また、システム制御回路５０は、モードダイアル６０で撮影モードがスマイルシャッタモードに設定され、かつ画像処理回路２０によって顔を検出した場合には、サブストリームの読み出しを開始する。その後、システム制御回路５０は、画像処理回路２０によって顔が検出されなくなった場合、もしくはレリーズボタンの押下操作等で静止画撮影が完了した場合に、サブストリームの読み出しを終了する。なお、撮影モード、及び顔検出に関しては後述する。

図３の条件Ｃは、ＥＶＦ表示中に、被写体のシーン判別に変化があった場合である。システム制御回路５０は、モードダイアル６０で撮影モードがシーン判別モードに設定され、画像処理回路２０によるシーン判別が変化した場合に、サブストリームの読み出しを開始する。また、システム制御回路５０は、画像処理回路２０によるＡＦ処理、ＡＥ処理、ＡＷＢ処理に急激な変化があった場合、サブストリームの読み出しを開始する。

その後、システム制御回路５０は、画像処理回路２０によってＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施して、高速でシーンに合わせた画像処理を行い、ＡＦ処理、ＡＥ処理、ＡＷＢ処理が安定した場合に、サブストリームの読み出しを終了する。

図３の条件Ｄは、ＥＶＦ表示中に、被写体の動きが速い場合である。システム制御回路５０は、画像処理回路２０によって被写体の動作速度を判断し、動作速度が速い場合に、サブストリームの読み出しを開始する。

その後、システム制御回路５０は、画像処理回路２０によって、被写体に対してＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、被写体の動作が停止した場合に、サブストリームの読み出しを終了する。

図３の条件Ｅは、ＥＶＦ表示中に、操作部７０、モードダイアル６０、ズームスイッチ７２のユーザ操作に変化があった場合である。システム制御回路５０は、モードダイアル６０で再生モードから撮影モードに変更された場合は、サブストリームの読み出しを開始する。その後、システム制御回路５０は、画像処理回路２０によってＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、ＡＦ処理、ＡＥ処理、ＡＷＢ処理が安定した場合に、サブストリームの読み出しを終了する。

また、システム制御回路５０は、モードダイアル６０で撮影モードを変更された場合、例えば、夕焼け撮影モードからポートレートモードに切り替えられた場合等は、サブストリームの読み出しを開始する。その後、システム制御回路５０は、画像処理回路２０によってＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、ＡＦ処理、ＡＥ処理、ＡＷＢ処理が安定した場合に、サブストリームの読み出しを終了する。

また、システム制御回路５０は、ズームスイッチ７２でズーム倍率が変化した場合、サブストリームの読み出しを開始する。その後、システム制御回路５０は、画像処理回路２０によってＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、ＡＦ処理、ＡＥ処理、ＡＷＢ処理が安定した場合に、サブストリームの読み出しを終了する。

また、システム制御回路５０は、図３の条件Ａ乃至Ｅにおいて、メインストリームで画像処理回路２０により被写体が予め決められた閾値よりも低輝度と判断された場合は、サブストリームの読み出しを開始しないように撮像素子１４を制御する。これは、サブストリームは、フレームレートがメインストリームよりも高速であり各フレームの露光時間の上限が制限されるため、取得した画像データをＡＦ処理、ＡＥ処理、ＡＷＢ処理に利用できないことがあるからである。例えば、サブストリームのフレームレートが２４０ｆｐｓの場合、各フレームの露光時間は最長で１／２４０秒であり、低輝度の被写体に対して十分な露光時間を設定できず、取得した画像データが暗く主被写体の検出ができないことがあるからである。

図４は、図３の条件Ａ乃至Ｅに該当した場合の撮像素子１４の制御シーケンスを示すタイミングチャート図である。

図４に示すように、ＥＶＦ表示中に、図３の条件Ａ乃至Ｅにおけるサブストリームの読み出し開始条件の少なくともいずれか一つを満たした場合、撮像素子１４のサブストリーム読み出しを開始する。その後、サブストリームの読み出し終了条件を満たしたならば、撮像素子１４のサブストリーム読み出しを終了する。

次に、撮影モードについて詳細に説明する。撮影モードとしては、オートモードやマニュアルモード、複数のシーン別撮影モード、スマイルシャッタモードがある。オートモードは、カメラの各種パラメータが計測された露出値に基づいて不揮発性メモリ３１に格納されたプログラムにより自動的に決定されるモードである。

マニュアルモードは、カメラの各種パラメータをユーザが自由に変更可能なモードである。スマイルシャッタモードは、被写体の笑顔を検出し、笑顔が検出された場合に、自動的に静止画撮影を行うモードである。

シーン別撮影モードとは、撮影シーン別にその撮影シーンに適したシャッタ速度や絞り値、ストロボ発光状態、感度設定、ホワイトバランス設定等を組み合わせることによって実現される撮影モードである。本実施形態のカメラ１００は、例えば、次の（１）乃至（５）のシーン別撮影モードを有する。なお、これらのシーン別撮影モードに限定されるものではない。

（１）夜景撮影モード：人物にストロボ光を照射し、背景を遅いシャッタ速度で記録する、夜景シーンに特化したモード
（２）打ち上げ花火撮影モード：打ち上げ花火を最適な露出で鮮やかに撮影するためのモード
（３）夕焼け撮影モード：シルエットを強調し、赤を強調して撮影するモード
（４）ポートレート撮影モード：背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモード
（５）スポーツ撮影モード：動きの速い被写体を撮影するのに特化した設定とする撮影モード
次に、画像処理回路２０による顔検出について詳細に説明する。画像処理回路２０は、顔検出対象の画像データに対して、水平及び垂直方向のバンドパスフィルタを行うことで、画像データからエッジ成分を検出する。

画像処理回路２０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、画像処理回路２０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。

また、画像処理回路２０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）とを対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。そして、画像処理回路２０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量がメモリ３０に記憶される。

このように、画像処理回路２０は、ＥＶＦ表示あるいは再生表示される画像データを画像解析し、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では、被写体情報として、顔情報を例示したが、被写体情報には、他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔ＡＦと同時に、顔ＡＥ、顔ＷＢなどを行うことができる。顔ＡＥとは、検出された顔の明るさに合わせて、露出を制御することである。顔ＷＢとは、検出された顔の色に合わせて画面全体のホワイトバランスを制御することである。

以上説明したように、本実施形態では、サブストリームの読み出しの開始条件と終了条件とを設定することで、撮像素子１４による撮像を一時停止させることなく、カメラ１００の操作性を向上させることができるとともに、省電力化を図ることができる。

また、本実施形態では、サブストリームの読み出しの開始条件、終了条件を複数例示したが、すべての開始条件に従う必要はなく、少なくとも１つの開始条件及び終了条件に従って、サブストリームの読み出しを開始及び終了する構成であればよい。

なお、本発明は、上記実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０撮影レンズ
１４撮像素子
２０画像処理回路
５０システム制御回路
１００デジタルスチルカメラ

Claims

撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、
前記制御手段は、前記第２の読み出し制御を行わずに前記第１の読み出し制御を行って得られた前記第１の画像データに基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする撮像装置。
複数の前記第１の画像データに基づいて、被写体の状態が変化したかを判断する判断手段を有し、
前記制御手段は、前記判断手段により被写体の状態が変化したと判断した場合に、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記判断手段によって判断された被写体の位置の変化に基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする請求項２に記載の撮像装置。
前記判断手段は被写体の顔を検出し、
前記制御手段は、前記判断手段による前記顔の検出結果の変化に基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする請求項２に記載の撮像装置。
前記第１の画像データに基づいてシーン判別を行うシーン判別手段を有し、
前記制御手段は、前記シーン判別手段により判別されたシーンの変化に基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記第１の画像データに基づいて、被写体の動作速度を検出する検出手段を有し、前記制御手段は、前記検出手段により検出された被写体の動作速度に基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の読み出し制御と前記第２の読み出し制御を同時に行った後、所定の条件を満たしたら前記第２の読み出し制御を終了することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の画像データに基づく画像を画像表示部に表示させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記第２の画像データに基づいてオートフォーカス、自動露出、および、オートホワイトバランスの少なくとも１つの処理を行う処理手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の読み出し制御を行って得られた前記第１の画像データが複数の読み出し開始条件の一つを満たす場合に、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始し、前記複数の読み出し開始条件にそれぞれ対応した複数の読み出し停止条件のうち、前記一つの読み出し開始条件に対応した一つの読み出し停止条件を満たす場合に、前記第２の読み出し制御を停止することを特徴とする請求項１に記載の撮像装置。
撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、
前記制御手段は、前記第２の読み出し制御を行わずに前記第１の読み出し制御を行っているときに、撮影モードが別の撮影モードに変更されたこと、および、ズーム倍率が変更されたことの少なくともいずれかが生じた場合に、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする撮像装置。
撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行う制御手段を有し、
前記制御手段は、前記第１の読み出し制御を行って得られた前記第１の画像データが複数の読み出し開始条件の一つを満たす場合に、前記第２の読み出し制御を行うことを開始し、前記複数の読み出し開始条件にそれぞれ対応した複数の読み出し停止条件のうち、前記一つの読み出し開始条件に対応した一つの読み出し停止条件を満たす場合に、前記第２の読み出し制御を停止することを特徴とする撮像装置。
撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行うに際し、
前記第２の読み出し制御を行わずに前記第１の読み出し制御を行って得られた前記第１の画像データに基づいて、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする撮像装置の制御方法。
撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行うに際し、
前記第２の読み出し制御を行わずに前記第１の読み出し制御を行っているときに、撮影モードが別の撮影モードに変更されたこと、および、ズーム倍率が変更されたことの少なくともいずれかが生じた場合に、前記第１の読み出し制御と前記第２の読み出し制御を同時に行うことを開始することを特徴とする撮像装置の制御方法。
撮像素子の第１の領域から、第１のフレームレートで第１の画像データを読み出す第１の読み出し制御と、前記撮像素子の前記第１の領域を含まない第２の領域から、前記第１のフレームレートよりも高い第２のフレームレートで第２の画像データを読み出す第２の読み出し制御を行うに際し、
前記第１の読み出し制御を行って得られた前記第１の画像データが複数の読み出し開始条件の一つを満たす場合に、前記第２の読み出し制御を行うことを開始し、前記複数の読み出し開始条件にそれぞれ対応した複数の読み出し停止条件のうち、前記一つの読み出し開始条件に対応した一つの読み出し停止条件を満たす場合に、前記第２の読み出し制御を停止することを特徴とする撮像装置の制御方法。