JP6198600B2 - 画像処理装置、撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、動画記録が可能な例えばデジタルスチルカメラやデジタルビデオカメラ等の画像処理装置、撮像装置、その制御方法及びプログラムに関する。

動画記録が可能なデジタルスチルカメラ等の画像処理装置では、輝度変化に応じてフレームレートを切り替える技術が知られている。例えば、ＣＭＯＳ型やＣＣＤ型の撮像素子から取得した画像の輝度レベルを検出し、この輝度レベルをあらかじめ設定しておいた閾値と比較してフレームレートの切り替えを必要と判断したとき、フレームレートを増減させる撮像装置が知られている（特許文献１）。

また、動画記録中には、常に被写体の状態に適したＡＥ（自動露出）及びＡＷＢ（オートホワイトバランス）を維持するために、被写体の状態変化に合わせて撮像条件を調整する技術が知られている（特許文献２）。

これらの技術では、常に被写体の状態に適したＡＥやＡＷＢの条件を維持しながら動画記録ができるように、フレームレートを変化させて動画記録を行うことが可能となる。

特開２００３−８７６３０号公報 特開２０１２−１５１７０６号公報

しかし、上記特許文献１及び２では、被写体の様々な条件に応じて、動画記録のフレームレートを変更しなければならないため、固定フレームレートで動画記録を行う条件では対応することが困難である。また、固定フレームレートで動画記録を行う際には、被写体が低輝度の場合、被写体を露光する時間の上限が決められてしまうため、ＡＦ（オートフォーカス）、ＡＥ、及びＡＷＢなどの評価値を正しく取得することができない問題が発生する。

そこで、本発明は、固定フレームレートで動画記録を行う場合においても、正確なＡＦ、ＡＥ及びＡＷＢの評価値を取得する仕組みを提供することを目的とする。

上記目的を達成するために、本発明は、撮像素子の駆動を制御して動画を記録する画像処理装置であって、前記撮像素子の読み出し行を間引いて当該間引いた読み出し行から動画記録用の画像データを取得して出力する第１の読み出し手段と、前記撮像素子において、前記第１の読み出し手段が読み出した前記読み出し行と重複しない読み出し行から前記第１の読み出し手段よりも高速で画像データを取得して前記第１の読み出し手段と同時に出力する第２の読み出し手段と、前記第１の読み出し手段によって取得した前記画像データ及び前記第２の読み出し手段によって取得した前記画像データのそれぞれにおいて被写体の状態が変化したかを判断する判断手段と、前記判断手段が前記第２の読み出し手段によって取得した前記画像データの前記被写体の状態が変化したと判断した場合に、前記第１の読み出し手段による画像データの取得速度を固定した状態で、前記第２の読み出し手段による画像データの取得速度を前記被写体の状態変化に応じて変更する変更手段と、を備えることを特徴とする。
また、上記目的を達成するために、本発明の撮像装置は、２次元に配列された複数の画素を有する撮像素子と、前記撮像素子の異なる領域ごとに、読み出しレートを独立して制御する制御手段と、を備え、前記制御手段は、動画記録用に前記撮像素子の第１の領域から繰り返し画像信号を読み出している場合、前記第１の領域の読み出しレートは変更させずに前記第１の領域と異なる第２の領域の読み出しレートを被写体輝度に応じて変更することを特徴とする。

本発明によれば、固定フレームレートで動画記録を行う場合においても、正確なＡＦ、ＡＥ及びＡＷＢの評価値を取得することができる。

本発明の画像処理装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。 デジタルスチルカメラの動作例を示すフローチャート図である。 サブストリームの電子シャッタが各フィールド毎に同一の場合の動画記録動作時の撮像素子の駆動例を示すタイミングチャート図である。 サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。 図４とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。 メインストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。 サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合の動画記録動作時の撮像素子の駆動例を示すタイミングチャート図である。 サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子の駆動例を示すタイミングチャート図である。 図８とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。

以下、本発明の実施形態の一例を図面を参照して説明する。

図１は、本発明の画像処理装置の実施形態の一例であるデジタルスチルカメラの概略ブロック図である。

本実施形態のデジタルスチルカメラ１００は、図１に示すように、撮影レンズ１０、絞り機能を備える機械式のシャッタ１２、光学像を電気信号に変換する撮像素子１４、及び撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６等を有する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、 及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。

なお、シャッタ１２以外にも、撮像素子１４のリセットタイミングの制御によって、電子シャッタとして、電荷の蓄積時間を制御することができ、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって、画像の切り出しや変倍処理を行うことで電子ズーム機能が実現される。さらに、画像処理回路２０では、画像データの画像識別や、前フレーム画像との変化量を検出する処理も行っている。

また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、フォーカス制御部４２に対して制御を行う、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行う。更に、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介してメモリ３０に書き込まれる。メモリ３０には、撮影した静止画像データや動画像データが格納される。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

画像表示部２８は、ＴＦＴやＬＣＤ等で構成される。メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８に撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

システム制御回路５０は、デジタルスチルカメラ１００全体の制御を司る。システム制御回路５０が実行するプログラムコードは、フラッシュロム等の不揮発性メモリ３１に書き込まれて、逐次読み出される。また、不揮発性メモリ３１には、システム情報を記憶する領域や、ユーザ設定情報を記憶する領域が設けられ、各種情報や設定が次回起動時に読み出される。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、シャッタ１２を制御し、また、ストロボ４８と連動することによりストロボ調光機能も有する。フォーカス制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。ストロボ４８は、ストロボ調光機能の他に、ＡＦ補助光の投光機能も有する。露光制御部４０及びフォーカス制御部４２は、ＴＴＬ方式を用いて制御され，撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及びフォーカス制御部４２に対して制御を行う。

モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する。

シャッタスイッチ（ＳＷ１）６２は、シャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタスイッチ（ＳＷ２）６４は、シャッタボタンの操作完了でオンとなり、システム制御回路５０は、ストロボ撮影の場合、ＥＦ（調光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、システム制御回路５０は、この露光期間中にストロボ４８を発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。

また、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、及びメモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理を行う。

更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、画像処理回路２０やメモリ制御回路２２での演算による現像処理やメモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮する処理を行う。更に、シャッタスイッチ（ＳＷ２）６４がオンされると、システム制御回路５０は、記録媒体２００に画像データを書き込む記録処理を行う。

表示切替スイッチ６６は、画像表示部２８の表示を切替える。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等から構成され、例えばメニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、動画記録スイッチ、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部７０には、電源スイッチ、サブメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ７２は、ユーザが撮像画像の倍率の変更指示を行うためのスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有する。ズームスイッチ７２は、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなる。また、ズームスイッチ７２は、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等から構成される。Ｉ／Ｆ９０は、記録媒体２００とのインタフェースであり、コネクタ９２には、記録媒体２００が接続される。記録媒体２００は、メモリカードやハードディスク等で構成され、半導体メモリや磁気ディスク等の記録部２０２、デジタルスチルカメラ１００とのＩ／Ｆ（インタフェース）２０４、コネクタ９２に接続されるコネクタ２０６を備える。

光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用することなく、撮影を行うことを可能にする。通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０によりデジタルスチルカメラ１００を他の機器と接続する際に用いるコネクタ、或いは無線通信の場合はアンテナである。

図２は、デジタルスチルカメラ１００の動作例を示すフローチャート図である。図２に示す処理は、システム制御回路５０のＣＰＵ等が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

ステップＳ１０１では、システム制御回路５０は、電池交換等の電源投入によりフラグや制御変数等を初期化し、ステップＳ１０２に進む。

ステップＳ１０２では、システム制御回路５０は、モードダイアルスイッチ６０の設定位置を判断する。そして、システム制御回路５０は、モードダイアルスイッチ６０が撮影モードに設定されている場合は、ステップＳ１０４に進み、モードダイアルスイッチ６０が他のモード（再生等）に設定されている場合は、ステップＳ１０３に進む。

ステップＳ１０３では、システム制御回路５０は、設定されたモードに応じた処理を実行し、処理終了後にステップＳ１０２に戻る。

ステップＳ１０４では、システム制御回路５０は、撮像素子１４を起動させ、ステップＳ１０５に進む。撮像素子１４を起動させる場合、複数のフレームレート（取得速度）の読み出しモードで撮像素子１４を動作させる。この場合、例えば、画像表示部２８に使用するフレームレート読み出しを３０ｆｐｓとし、ＡＦ処理、ＡＥ処理及びＡＷＢ処理などに使用するフレームレート読み出しを２４０ｆｐｓとする。

ここで、以下の説明では、３０ｆｐｓでのフレーム読み出しをメインストリームとし、メインストリームより高速な２４０ｆｐｓでのフレーム読み出しをサブストリームとする。また、１ＶＤ（１垂直同期期間）でメインストリーム及びサブストリームを合わせると、９フィールド分の読み出しが行われ、メインストリームの読み出しを１／９フィールド読み出し、及びサブストリームの読み出しを２／９〜９／９フィールド読み出しとする。

また、サブストリームの電子シャッタは、各読み出しフィールド毎に別々に設定できる場合と、各フィールド毎に同一の場合が存在する。電子シャッタが各読み出しフィールド毎に別々に設定できる場合は、各フィールド専用の電子シャッタを発生させることができるため、他のフィールドの電子シャッタの影響を受けることがない。そのため、各フィールドの露光時間は、各フィールドの専用電子シャッタが発生してから各フィールドの読み出しを開始するまでが露光時間となる。電子シャッタが各フィールド毎に同一の場合、各フィールド専用の電子シャッタは存在せず、電子シャッタを発生させてから各フィールドの読み出しが開始されるまでが露光時間となる。

ステップＳ１０５では、システム制御回路５０は、メインストリームで読み出された画像データを画像表示部２８に逐次表示するＥＶＦ表示状態に設定し、ステップＳ１０６に進む。

ステップＳ１０６では、システム制御回路５０は、操作部７０の動画記録スイッチが動画記録の開始操作がされたかを判断し、開始操作された場合は、ステップＳ１０７に進み、開始操作されない場合は、ステップＳ１０９に進む。

ステップＳ１０９では、システム制御回路５０は、操作部７０の電源スイッチがオフ操作されたかを判断し、電源スイッチがオフ操作されると、ステップＳ１１０に進み、オフ操作されない場合は、ステップＳ１０５に戻ってＥＶＦ表示状態を継続する。

ステップＳ１１０では、システム制御回路５０は、カメラ動作を停止してステップＳ１０５のＥＶＦ表示状態を停止し、処理を終了する。

ステップＳ１０７では、システム制御回路５０は、動画記録スイッチが動画記録の開始操作されたことを受けて動画記録を開始し、ステップＳ１０８に進む。

ステップＳ１０８では、システム制御回路５０は、動画記録スイッチが動画記録の終了操作がされたかを判断し、終了操作された場合は、動画記録を終了して、ステップＳ１０５に戻る。

次に、図３乃至図９を参照して、図２のステップＳ１０７における動画記録動作時の撮像素子１４の制御例について説明する。

図３は、サブストリームの電子シャッタが各フィールド毎に同一の場合の動画記録動作時の撮像素子１４の駆動例を示すタイミングチャート図である。図３に示すように、動画記録動作時には、複数のフレームレートの読み出しモードで撮像素子１４を動作させる。本実施形態では、動画記録用には、メインストリームを使用し、ＡＦ、ＡＥ及びＡＷＢの評価値取得用には、サブストリームを使用する。なお、図３において「ＥＸＰ」は露光時間を表していて、サブストリームでは「ＥＸＰ」と記載されていないが、メインストリームと同様の部分が露光時間にあたる。

ここで、メインストリームは、本発明の撮像素子から読み出し行を間引いて動画記録用の画像データを取得して出力する第１の読み出し手段の一例に相当する。また、サブストリームは、本発明の撮像素子の第１の読み出し手段と重複しない読み出し行から第１の読み出し手段より高速で画像データを取得して第１の読み出し手段と同時に出力する第２の読み出し手段の一例に相当する。

図３では、サブストリームの電子シャッタが各フィールド毎に同一の場合であるため、サブストリームの露光時間は、約４ｍｓ（２４０ｆｐｓ＝約４ｍｓ）が最大露光時間となる。

また、メインストリームでもサブストリームとは別に評価値を取得する。本実施形態では、動画記録のフレームレートを３０ｆｐｓに固定する。通常、サブストリームで高速に取得された評価値とメインストリームで取得した評価値とを基に、ＡＦ処理、ＡＥ処理、ＡＷＢ処理を実施し、適切な被写体状態で動画記録を実施する。ここで、適切な被写体状態とは、被写体に焦点が合い、被写体の適正露出が算出された状態で、被写体の色が正確に判断できた状態をいう。

図４は、サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。ここで、ＡＥ評価値が低輝度と判断した場合とは、メインストリーム及びサブストリームで取得した画像データの被写体の状態変化により、システム制御回路５０が画像処理回路２０を介して被写体輝度があらかじめ定めた閾値より低いと判断した場合をいう。

図４では、サブストリームで取得したＡＥ評価値が低輝度と判断された場合、動画記録用に使用しているメインストリームを３０ｆｐｓに保持しつつ、サブストリームの読み出し方法を変更する。

具体的には、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を４ｍｓ以上にすることが可能となる。また、サブストリームの読み出しを１ＶＤ以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。

図５は、図４とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。

図５では、電子シャッタを発生させるタイミングと読み出しを開始するタイミングとを１フィールド毎に禁止することで、フレームレートを遅くして各フィールドの露光時間を延長する。具体的には、２／９フィールド、４／９フィールド、６／９フィールド、８／９フィールドの読み出しを禁止し、３／９フィールド、５／９フィールド、７／９フィールド、９／９フィールドの露光時間を延長させる。

また、電子シャッタを発生させるタイミングと読み出しを開始するタイミングとを１フィールド以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。

図６は、メインストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。

メインストリームで低輝度と判断された場合、図４と同様に、サブストリームの読み出しを１ＶＤ以上禁止することでサブストリームの露出が適切になるように露光時間を調整する。その後、サブストリームで適切な露光時間になった評価値をメインストリームの出力に反映させることで、メインストリームのＡＥ処理、及びＡＷＢ処理を適切に設定することが可能となる。

これは、メインストリームからの出力値が小さいため、評価値を正しく取得することができず、その評価値を用いてＡＦ処理、ＡＥ処理、ＡＷＢ処理を行うと、正確な処理を行うことができない場合があるためである。

図７は、サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合の動画記録動作時の撮像素子１４の駆動例を示すタイミングチャート図である。

図７に示すように、動画記録動作時には、複数のフレームレートの読み出しモードで撮像素子１４を動作させる。この場合も、動画記録用には、メインストリームを使用し、ＡＦ、ＡＥ、ＡＷＢの評価値取得用には、サブストリームを使用する。

図７では、サブストリームの電子シャッタを各読み出しフィールド毎に別々に設定できる場合であるため、サブストリームの露光時間は、約３３ｍｓ（３０ｆｐｓ＝約３３ｍｓ）が最大露光時間となる。

また、メインストリームでもサブストリームとは別に評価値を取得する。ここでは、動画記録のフレームレートを３０ｆｐｓに固定する。

図８は、サブストリームで取得したＡＥ評価値が低輝度と判断された場合の撮像素子１４の駆動例を示すタイミングチャート図である。

図８では、動画記録用に使用しているメインストリームを３０ｆｐｓに保持しつつ、サブストリームの読み出し方法を変更する。具体的には、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を３３ｍｓ以上の露光を可能とする。また、サブストリームの読み出しを１ＶＤ以上禁止することで、サブストリームの露出が適切になるように露光時間を調節することが可能である。

図９は、図８とは異なる手段でサブストリームの読み出し方法を変更する場合を示すタイミングチャート図である。

図９では、図８と同様に、サブストリームの読み出しを１ＶＤ禁止することで、サブストリームの露光時間を３３ｍｓ以上の露光を可能とするが、１ＶＤ期間で禁止するフィールドを偶数フィールドと奇数フィールドとで交互に行う。具体的には、ＶＤ期間Ａでは、２／９、４／９、６／９、８／９フィールドを読み出し、３／９、５／９、７／９、９／９フィールド読み出しを禁止する。ＶＤ期間Ｂでは、逆に３／９、５／９、７／９、９／９フィールドを読み出し、２／９、４／９、６／９、８／９フィールドの読み出しを禁止する。

なお、各フィールドでの読み出しフィールドの設定は偶数奇数フィールドに限定するものではなく、ＶＤ期間Ａで２／９、３／９、４／９、５／９フィールドを読み出し、ＶＤ期間Ｂで６／９、７／９、８／９、９／９フィールドを読み出すことも可能である。

以上説明したように、本実施形態では、動画記録中のフレームレートを保持した状態で、低輝度時でもＡＦ、ＡＥ及びＡＷＢの評価値を正しく取得することができるので、正確なＡＦ、ＡＥ及びＡＷＢ処理を行うことができる。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ 撮影レンズ
１４ 撮像素子
２０ 画像処理回路
５０ システム制御回路
１００ デジタルスチルカメラ

Claims (13)

1. 撮像素子の駆動を制御して動画を記録する画像処理装置であって、
   前記撮像素子の読み出し行を間引いて当該間引いた読み出し行から動画記録用の画像データを取得して出力する第１の読み出し手段と、
   前記撮像素子において、前記第１の読み出し手段が読み出した前記読み出し行と重複しない読み出し行から前記第１の読み出し手段よりも高速で画像データを取得して前記第１の読み出し手段と同時に出力する第２の読み出し手段と、
   前記第１の読み出し手段によって取得した前記画像データ及び前記第２の読み出し手段によって取得した前記画像データのそれぞれにおいて被写体の状態が変化したかを判断する判断手段と、
   前記判断手段が前記第２の読み出し手段によって取得した前記画像データの前記被写体の状態が変化したと判断した場合に、前記第１の読み出し手段による画像データの取得速度を固定した状態で、前記第２の読み出し手段による画像データの取得速度を前記被写体の状態変化に応じて変更する変更手段と、を備えることを特徴とする画像処理装置。
2. 前記判断手段が前記第２の読み出し手段によって取得した前記画像データの前記被写体の状態が低輝度に変化したと判断した場合、前記変更手段は、前記撮像素子に対する露光時間を延長するように、前記第２の読み出し手段による画像データの取得速度を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記判断手段が前記第１の読み出し手段によって取得した前記画像データの前記被写体の状態が低輝度に変化したと判断した場合、前記変更手段は、前記撮像素子に対する露光時間を延長するように、前記第２の読み出し手段による画像データの取得速度を変更し、 前記露光時間を延長した後、前記第２の読み出し手段によって取得された前記画像データに基づく前記被写体の状態の評価値を前記第１の読み出し手段の出力に反映させることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記変更手段は、前記第２の読み出し手段による画像データの取得速度を遅くすることを特徴とする請求項２又は３に記載の画像処理装置。
5. ２次元に配列された複数の画素を有する撮像素子と、
   前記撮像素子の異なる領域ごとに、読み出しレートを独立して制御する制御手段と、を備え、
   前記制御手段は、動画記録用に前記撮像素子の第１の領域から繰り返し画像信号を読み出している場合、前記第１の領域の読み出しレートは変更させずに前記第１の領域と異なる第２の領域の読み出しレートを被写体輝度に応じて変更することを特徴とする撮像装置。
6. さらに、前記第１の領域から読み出される第１の撮像信号及び前記第２の領域から読み出される第２の撮像信号の少なくとも一方に基づいて、前記被写体輝度を算出する算出手段を備え、
   前記制御手段は、前記算出手段により算出された前記被写体輝度に応じて前記第２の領域の読み出しレートを変更することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記被写体輝度が所定値以上のときよりも前記被写体輝度が前記所定値未満のときのほうが前記第２の領域の読み出レートを長くすることを特徴とする請求項５又は６に記載の撮像装置。
8. 前記制御手段は、前記第１の領域の露光時間を前記被写体輝度に応じて変更することを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記第２の領域の露光時間を前記被写体輝度に応じて変更することを特徴とする請求項５乃至８のいずれか１項に記載の撮像装置。
10. 撮像素子の駆動を制御して動画を記録する画像処理装置の制御方法であって、
    前記撮像素子の読み出し行を間引いて当該間引いた読み出し行から動画記録用の画像データを取得して出力する第１の読み出しステップと、
    前記撮像素子において、前記第１の読み出しステップにおいて読み出された前記読み出し行と重複しない読み出し行から前記第１の読み出しステップよりも高速で画像データを取得して前記第１の読み出しステップと同時に出力する第２の読み出しステップと、
    前記第１の読み出しステップで取得した前記画像データ及び前記第２の読み出しステップで取得した前記画像データのそれぞれにおいて被写体の状態が変化したかを判断する判断ステップと、
    前記判断ステップにおいて前記第２の読み出しステップで取得した前記画像データの前記被写体の状態が変化したと判断された場合に、前記第１の読み出しステップにおける画像データの取得速度を固定した状態で、前記第２の読み出しステップにおける画像データの取得速度を前記被写体の状態変化に応じて変更する変更ステップと、を備えることを特徴とする画像処理装置の制御方法。
11. ２次元に配列された複数の画素を有する撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子の異なる領域ごとに、読み出しレートを独立して制御する制御ステップを備え、
    前記制御ステップは、動画記録用に前記撮像素子の第１の領域から繰り返し画像信号を読み出している場合、前記第１の領域の読み出しレートは変更させずに前記第１の領域と異なる第２の領域の読み出しレートを被写体輝度に応じて変更することを特徴とする撮像装置の制御方法。
12. 撮像素子の駆動を制御して動画を記録する画像処理装置を制御するプログラムであって、
    前記撮像素子の読み出し行を間引いて当該間引いた読み出し行から動画記録用の画像データを取得して出力する第１の読み出しステップと、
    前記撮像素子において、前記第１の読み出しステップにおいて読み出された前記読み出し行と重複しない読み出し行から前記第１の読み出しステップよりも高速で画像データを取得して前記第１の読み出しステップと同時に出力する第２の読み出しステップと、
    前記第１の読み出しステップで取得した前記画像データ及び前記第２の読み出しステップで取得した前記画像データのそれぞれにおいて被写体の状態が変化したかを判断する判断ステップと、
    前記判断ステップにおいて前記第２の読み出しステップで取得した前記画像データの前記被写体の状態が変化したと判断された場合に、前記第１の読み出しステップにおける画像データの取得速度を固定した状態で、前記第２の読み出しステップにおける画像データの取得速度を前記被写体の状態変化に応じて変更する変更ステップと、をコンピュータに実行させることを特徴とするプログラム。
13. ２次元に配列された複数の画素を有する撮像素子を備えた撮像装置を制御するプログラムであって、
    前記撮像素子の異なる領域ごとに、読み出しレートを独立して制御する制御ステップをコンピュータに実行させ、
    前記制御ステップは、動画記録用に前記撮像素子の第１の領域から繰り返し画像信号を読み出している場合、前記第１の領域の読み出しレートは変更させずに前記第１の領域と異なる第２の領域の読み出しレートを被写体輝度に応じて変更することを特徴とするプログラム。

Images