JP6403479B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラを代表とする、撮影機能を有する電子機器は、様々な画像処理を複合的に実施することにより、一般的な静止画撮影や動画撮影を始めとして、撮影された画像の編集や補正など、様々な画像処理機能をユーザに提供している。

しかしながら、撮像素子の高画素化や、電子機器が提供する撮影機能の高度化により、画像処理が複雑化し、高い画像処理能力が要求されるようになってきている。しかし、処理能力を高めると、消費電力は増大する傾向にある。また、撮像素子の高画素化により、撮像素子を駆動するための消費電力も増大する傾向にある。従って、電力を効率よく消費するように画像処理回路や撮像素子の駆動回路を制御することが求められている。

特許文献１では、リアルタイム画像処理用に設けられているハードウェアを従来よりも活用できるようにして、ＣＰＵがソフトウェア的に実行する画像処理を減少させて、画像処理の高速化と低消費電力化とを両立させる構成が開示されている。

特開２０００−２３６４７３号公報

しかしながら、特許文献１では、撮像素子の消費電力について考慮していない。撮像素子で撮影された画像を画像処理回路で処理する構成において効率よく消費電力を低減するには、画像処理回路の動作だけではなく、撮像素子の駆動動作についても考慮する必要がある。

本発明はこのような従来技術の課題に鑑みなされたものであり、撮像装置およびその制御方法において、撮像素子と、撮像素子を用いて得られた画像データを処理する回路の消費電力を効率よく削減可能とすることを目的とする。

上述の目的は、撮像手段と、撮像手段から出力された画像データに所定の信号処理を施して出力する信号処理手段と、撮像手段の動作速度および信号処理手段の動作速度を制御する制御手段と、信号処理手段により処理された画像データを記録媒体に記録する記録手段と、を備え、制御手段は、記録手段が信号処理手段からの画像データを記録しておらず、信号処理手段が撮像手段から出力された画像データを表示装置に出力する第１状態において、信号処理手段の動作速度を表示装置の表示フレームレートに応じた動作速度に制御し、かつ、撮像手段の動作速度が信号処理手段の動作速度よりも速くなるように撮像手段の動作速度を制御し、記録手段が信号処理手段からの画像データを記録する第２状態において、撮像手段の動作速度および信号処理手段の動作速度を、記録手段により記録される画像データのフレームレートに応じた動作速度に制御する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、撮像装置およびその制御方法において、撮像素子と、撮像素子を用いて得られた画像データを処理する回路の消費電力を効率よく削減可能とすることができる。

本発明の第１の実施形態に係る電子機器の一例としてのデジタルカメラの機能構成例を示すブロック図 撮像センサの駆動速度と垂直ブランキング期間との関係例を示す模式図 本発明の第１の実施形態におけるライブビュー動作を説明するためのフローチャート 第２の実施形態に係るセンサＩＦおよび周辺機能ブロックを示す図 第２の実施形態におけるレート観測動作を説明するための図

以下、添付図面を参照しながら、本発明の例示的な実施形態について説明する。
●（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、本発明は撮影機器を有する任意の電子機器に適用可能であり、そのような電子機器の例には、デジタルビデオカメラ、カメラ付携帯電話機、ゲーム機、パーソナルコンピュータ、ドライブレコーダ、家電製品、自動車、ロボット等が含まれる。

図１において、撮像を行うための光学系１００は、撮像レンズ、シャッター兼絞り等で構成される。撮像部１０１は、光学系１００が結像する被写体像を光電変換して撮像信号を生成する撮像センサ（撮像素子）と、撮像素子の出力信号を処理するアナログフロントエンド（ＡＦＥ）と、Ａ／Ｄ変換器とを含んでいる。

ＡＦＥは例えば、撮像センサから出力される画像信号（撮像信号）に含まれるリセットノイズを除去する相関二重サンプリング（ＣＤＳ）回路と、撮像信号のレベルに応じた利得制御を行うＡＧＣ回路と、γ補正回路を有している。Ａ／Ｄ変換器はＡＦＥの出力するアナログ信号をデジタルデータ（デジタル画像データ）に変換する。

撮像部１０１はまた、動作速度（撮像センサの読み出し速度）が異なる複数の動作モードを有しており、ＣＰＵ１０６によって外部から切り替えが可能である。撮像部１０１の動作速度は、例えば撮像部１０１が有するクロック生成回路や他のクロック生成回路が出力するクロック信号の周波数によって制御することができる。

信号処理部１０２は、撮像部１０１が出力するデジタル画像データに対して予め定められた画像処理を適用する。信号処理部１０２は、例えば、ホワイトバランス調整処理、色補間処理を始めとするいわゆる現像処理や、焦点評価値の生成処理、符号化処理などを行う。また信号処理部１０２は、表示用画像データを生成したり、記録用の画像ファイルを作成したりもする。また、信号処理部１０２は一つの集積回路（ＩＣ）チップとして構成される。

例えば液晶ディスプレイである表示デバイス１１１は、信号処理部１０２が生成した表示用画像データを表示する。記憶部である画像メモリ（ＳＤＲＡＭ）１１０は、信号処理部１０２が処理過程のデータや記録用の画像ファイルを一時的に記憶するために用いられる。なお、画像メモリ１１０には、撮像部１０１や信号処理部１０２の動作クロックより十分に速いシステムクロックが動作クロックとして供給される。システムクロックは、不図示のクロック生成部、或いは、発振器１１３からの信号を用いて生成する構成としてもよい。また、画像メモリ及びメモリバス（不図示）に供給されるクロックの周波数は、ライブビュー動作時、及び、動画の記録時の何れにおいても同じであるとする。

記録部１１２は、信号処理部１０２が生成する記録用の画像ファイルを、例えば半導体メモリカードである記録媒体に記録する。なお、記録部１１２が通信機能を有し、画像ファイルを外部に出力してもよい。

発振器１１３は予め定めた基準周波数を有するパルス信号を出力する。発振器１１３は信号処理部１０２内にあってもよい。

次に、信号処理部１０２の機能構成例について、さらに図１を参照して説明する。同期制御回路１０３は、撮像部１０１と表示デバイス１１１のフレームレートやフレームのタイミングの制御を行う。受信部であるセンサインターフェイス回路（センサＩＦ）１０４は、撮像部１０１から出力される画像データを受け取り、後段の、信号処理回路１０７へ出力するためにデジタル画像データのフォーマット変換等を行う。センサＩＦ１０４は処理後のデジタル画像データを信号処理回路１０７を介さず直接、画像メモリ１１０へ出力することもできる。

クロック生成回路１０５は、所定の基準周波数を有するパルス信号を発振器１１３から受信し、所望の周波数を有するクロック信号を生成する回路である。クロック生成回路１０５は、ＣＬＫ１としてセンサＩＦ１０４用のクロックを、ＣＬＫ２として信号処理部１０２内の他の回路用のクロックをそれぞれ生成する。クロック生成回路１０５は、ＣＬＫ１とＣＬＫ２の周波数を変更することができる。また、クロック生成回路１０５の生成するクロック信号は、撮像部１０１に供給されてもよい

信号処理回路１０７は、入力された画像データに対してセンサの欠陥画素補正、光学補正等や、記録画像、表示画像用の適正な信号処理、フォーマット変換などの画像処理を行う。表示処理回路１０８は、同期制御回路１０３からの同期信号に基づき、表示デバイス１１１に応じたフォーマット変換を行い、表示デバイス１１１へ表示画像データを出力する。

圧縮処理回路１０９は、信号処理回路１０７で処理されたデジタル画像データに対し、予め定められた符号化処理を適用する。符号化処理は不可逆的であっても可逆的であってもよい。また、圧縮処理回路１０９は、符号化結果を含んだ記録用の画像ファイルを生成し、画像メモリ１１０に書き込む。この画像ファイルは記録部１１２によって記録媒体に記録もしくは外部装置に出力される。

ＣＰＵ１０６（制御部）は、不図示の操作部からの、ユーザの操作による指示に応じて信号処理部１０２を含むカメラ全体の動作を制御ならびに管理する。ＣＰＵ１０６は信号線１０６２によってシャッター速度、絞り等の制御パラメータを光学系１００に送信する。また、ＣＰＵ１０６は信号線１０６１によって、センサ駆動モードの切り替え信号、スタンバイモードと通常の動作モードとの切り替え信号などの撮像センサの制御パラメータを撮像部１０１に送信する。

次に、図１に示したカメラの、ライブビュー動作時における画像データの処理動作について説明する。なお、ここでは、撮像部１０１により得られた動画を記録部１１２に記録していない状態で、撮像部１０１からの動画を表示デバイス１１１に表示する状態をライブビュー動作とよぶ。光学系１００で結像された光学像は、撮像部１０１において撮像センサによって電気信号に変換され、その後の処理によってデジタル画像データにされて、センサＩＦ１０４に入力される。センサＩＦ１０４は、デジタル画像データのフォーマットや画素の並びを信号処理回路１０７での処理に適した状態に整えて、信号処理回路１０７もしくは画像メモリ１１０に出力する。

センサＩＦ１０４および信号処理回路１０７には、撮像部１０１からデータが入力されるタイミングが同期制御回路１０３から通知される。また、クロック生成回路１０５からは、センサＩＦ１０４（受信部）に対してはＣＬＫ１が、信号処理部１０２内で画像処理に関わる、センサＩＦ１０４以降の機能ブロック（画像処理部）にはＣＬＫ２がそれぞれ供給されている。後述するように、本実施形態においてクロック生成回路１０５は、ＣＬＫ１として、９０メガピクセル／秒（９０ＭＰ／ｓ）の処理に必要な周波数、ＣＬＫ２として、６０ＭＰ／ｓの処理に必要な周波数を有するクロック信号を生成する。

センサＩＦ１０４は、例えば撮像部１０１から出力されるデータレートが信号処理部１０２の処理レートより高い場合、信号処理回路１０７ではなく画像メモリ１１０にデジタル画像データを出力するように制御される。このように、画像メモリ１１０は、撮像部１０１と信号処理部１０２の処理速度の差を埋めるためのバッファとしても用いられる。

信号処理回路１０７は、センサＩＦ１０４または画像メモリ１１０から得られるデジタル画像データに対して予め定められた処理を実行し、画像メモリ１１０に保存する。表示処理回路１０８は、信号処理回路１０７が画像メモリ１１０に保存したデジタル画像データを読み出し、同期制御回路１０３から送信される同期信号に応じて、表示デバイス１１１へ送信する。

ここでライブビュー時の表示デバイス１１１が１秒に３０フレームの画像データを表示する、つまり、表示フレームレートが３０フレーム／秒（３０ＦＰＳ）であるとする。この場合、撮像部１０１からも３０ＦＰＳで出力されるように撮像センサの駆動速度などが制御される。

このとき、信号処理部１０２は、３０ＦＰＳで入力されるデジタル画像データを、３０ＦＰＳで表示デバイス１１１に出力可能な処理レートを保証する必要がある。例えば、撮像部１０１が１フレームあたり、横１９２０画素×縦１０８０画素、即ち２メガピクセル（２百万画素）の画像データを出力するものとする。この場合、信号処理部１０２は１秒間に２ＭＰ／Ｆ × ３０ＦＰＳ ＝ ６０ＭＰ／ｓ の処理性能（１秒間に６０ＭＰの画像を処理する）が必要となる。一般に、処理性能は動作クロック周波数に依存するため、６０ＭＰ／ｓを実現するために必要な周波数を有する動作クロックを信号処理部１０２内の機能ブロックに供給する必要がある。

図２は、撮像センサの読み出し動作と１フレーム周期との関係を模式的に示す図である。撮像センサは、矢印で示すように、画面の左上から１画素単位にラスタスキャン方式（点順次処理）で画素値を出力する。撮像センサのうち、記録や表示に用いられる画素の領域（有効画素領域）は、図で白抜きされている部分である。有効画素領域の周囲に存在する斜線が付された領域は、有効画素領域の画像を保証するための領域であり、遮光された画素などが存在する。ここでは、有効画素領域外に存在する画素を余分画素と呼ぶ。

画素データは、左上から水平右方向に、１画素ずつ出力され、余分画素の右端に達すると、次のラインの出力を準備するための無効画素を出力する期間があり、これを水平ブランキング期間（ＨＢＬＫ）と呼ぶ。この動作を繰り返し、最終的に、余分画素の右下端に達し、更に最終ラインのＨＢＬＫを出力し終えると、次のフレームのための準備期間として、ＨＢＬＫと同様に、無効画素を数ライン出力する。これを垂直ブランキング期間（ＶＢＬＫ）と呼ぶ。

ＶＢＬＫの長さは、撮像センサの読み出しスピードによって決まる。例えば、有効画素を２ＭＰ、読み出しスピード（撮像部１０１の動作速度）を９０ＭＰ／ｓとし、余分画素、ＨＢＬＫの出力時間を無視する（ＨＢＬＫ、余分画素の出力時間は、有効画素の出力時間に対して非常に短い）。この場合、図２（ａ）に示すように、１フレーム期間（３０ＦＰＳの場合は、約３３［ｍｓ］）の１／３の期間（３３／３＝１１［ｍｓ］）がＶＢＬＫとなる。一方、有効画素の読み出しスピードを６０ＭＰ／ｓとした場合、図２（ｂ）に示すようにＶＢＬＫはほとんど発生しない。

有効画素を出力しない期間であるＶＢＬＫでは撮像部１０１の消費電力が有効画素を出力する期間より小さくなるように制御することができる。ＣＰＵ１０６は例えばＶＢＬＫ期間では撮像センサを消費電力の少ない動作モード（スタンバイモード）に遷移させたり、撮像センサの動作を停止させたりすることができる。スタンバイモードに遷移させると、ＣＭＯＳセンサの場合では、画素アンプ等の回路を停止（画素アンプへの電力供給を停止）することができるため、撮像センサによる消費電力を削減することができる。先に説明したように、２ＭＰの画素を９０ＭＰ／ｓで読み出した場合は、約１１［ｍｓ］のＶＢＬＫができるが、６０ＭＰ／ｓで読み出すとＶＢＬＫがほとんどできない。また、画素アンプなどのアナログ回路は、デジタル回路に比べ、電力供給が停止されてから動作が完全に停止されるまでに要する時間が長い。従って、読み出し速度を６０ＭＰ／ｓとした場合には、撮像センサをスタンバイモードに遷移させても消費電力が削減されることが期待できない。

そのため、撮像部１０１を９０ＭＰ／ｓで読み出すモードとし、ＶＢＬＫ期間において撮像センサをスタンバイモードに設定すると、表示フレームレートに合わせた６０ＭＰ／ｓで読み出すモードとするよりも消費電力を削減することができる。しかし、信号処理部１０２が９０ＭＰ／ｓの処理能力を持たない（例えば上限が６０ＭＰ／ｓである）場合、撮像部１０１から９０ＭＰ／ｓの画像データが供給されると、信号処理部１０２の処理が追いつかなくなる。あるいは、信号処理部１０２が９０ＭＰ／ｓの処理能力を提供できる場合であっても、必要以上に高いクロックで動作することで信号処理部１０２の消費電力が増加してしまう。

１フレーム分の有効画素に対応する画像データが、信号処理部１０２がその画像データを処理可能な期間よりも短い期間で、撮像部１０１から出力される場合を考える。図１を用いて説明したように、本実施形態では信号処理部１０２において撮像部１０１から画像データを受け取るセンサＩＦ１０４を、画像メモリ１１０へ画像データを直接出力できるように構成している。そのため、センサＩＦ１０４を撮像部１０１の動作速度（画像データの出力スピード）に合わせて駆動し、画像データを画像メモリ１１０に一旦記憶しておくことが可能になる。そして、信号処理回路１０７など、信号処理部１０２の他の機能ブロックは、画像メモリ１１０に記憶された１フレームの画像データを、撮像部１０１が１フレームの画像データを出力する期間よりも長い期間で処理する。具体的には、表示デバイス１１１の表示フレームレートが３０ＦＰＳであれば、センサＩＦ１０４を除く信号処理部１０２の機能ブロックは、６０ＭＰ／ｓの処理能力を提供するクロックで動作すればよい。

このように、本実施形態では、信号処理部１０２において撮像部１０１の出力を受け取る受信部（センサＩＦ１０４）と、信号処理を適用する部分の動作クロックとを、独立して設定可能とした。そのため、撮像部１０１の動作クロックは撮像センサの垂直ブランキング期間が多くなるような周波数としつつ、信号処理部１０２の（センサＩＦ１０４以外の）動作クロックは表示（出力）フレームレートに応じた周波数とすることができる。そのため、撮像部１０１の動作速度に合わせるために信号処理部１０２を必要以上に高速に動作させる必要が無く、消費電力を低減できる。さらに、撮像センサの垂直ブランキング期間は撮像センサをスタンバイモードに設定することで、一層の電力消費低減が可能になる。

表示フレームレートに対応した処理能力を提供するクロックよりも高い周波数のクロックで撮像部１０１を動作させた場合、センサＩＦ１０４は撮像部１０１から受け取った画像データを信号処理回路１０７ではなく画像メモリ１１０に出力する。そして、信号処理回路１０７は画像メモリ１１０から画像データを読み出して処理する。

この場合、画像メモリ１１０に対するデータアクセス（センサＩＦ１０４による書き込みと信号処理回路１０７による読み出し）が画像メモリ１１０のバス帯域内に収まるようにする必要がある。バス帯域は単位時間あたりのデータアクセス量の上限値である。例えば画像メモリ１１０がＳＤＲＡＭのようなメモリで構成され、動作周波数４００ＭＨｚ、バスのビット幅が３２ｂｉｔ（４Ｂｙｔｅ）であるとすると、バス帯域は、４００ＭＨｚ × ４Ｂｙｔｅ ＝ ８００ＭＢ／ｓとなる。従って、撮像部１０１の動作クロックを信号処理回路１０７の動作クロックより高い周波数とする場合、信号処理回路１０７が表示フレームレートを実現するために必要な画像メモリ１１０へのデータアクセス量を確保できるような周波数を決定する必要がある。又は、信号処理回路１０７が表示フレームレートを実現するために必要な画像メモリ１１０へのデータアクセス量を確保可能か否かで、撮像部１０１の動作クロックを信号処理回路１０７の動作クロックより高い周波数に切り替え可能か否かを判断する必要がある。

なお、ライブビュー中に画像メモリ１１０にアクセスする他の処理があれば、それらの処理で使用されるバス帯域についても考慮する必要がある。このような他の処理の例には、顔検出や被写体追尾処理などが含まれる。

図３は、ライブビュー動作中にＣＰＵ１０６が行う、撮像部１０１の駆動速度の制御動作に係るフローチャートである。
Ｓ４０１でＣＰＵ１０６は、光学系１００、撮像部１０１、および信号処理部１０２をライブビューモードに初期化する。ここでは、ライブビュー表示画像のサイズが２ＭＰであり、表示フレームレートが３０ＦＰＳであるものとする。従って、ライブビュー動作を実現するために必要な処理能力は６０ＭＰ／ｓである。

ライブビュー動作の開始時点において、撮像部１０１は、６０ＭＰ／ｓで画像データを出力する速度（ＣＬＫ１の周波数）で駆動される。つまり、この時点では、信号処理部１０２と撮像部１０１はいずれも出力フレームレートに応じた速度で駆動される。

Ｓ４０２でＣＰＵ１０６は、予め定められたタイミングで、ライブビュー動作中に行われている処理の内容を確認する。具体的には、ＣＰＵ１０６は、ライブビュー動作中に行われる可能性のある、画像メモリ１１０のアクセスを伴う予め定められた処理が実行されているか否かを確認する。ここでは特に画像メモリ１１０に対するアクセス量がバス帯域に対して無視できない処理として予め定められた処理（例えば顔検出処理および被写体追尾処理）が行われているか否かを確認する。

Ｓ４０３においてＣＰＵ１０６は、Ｓ４０２で確認した処理の実施有無に従って、６０ＭＰ／ｓより高い所定の出力レート（９０ＭＰ／ｓとする）に対応した駆動速度で撮像部１０１を駆動できるかどうか（高速駆動できるかどうか）を判定する。つまり、ＣＰＵ１０６は、撮像部１０１の駆動速度を上げても、画像メモリ１１０に対するデータアクセスがバス帯域内に収まるかどうかを判定する。

この判定方法に特に制限はなく、任意の方法を用いることができる。例えばＳ４０２において実行有無の確認対象となっている処理のうち、実行されているものの組み合わせごとに高速駆動の可否を予め調べて対応付けたデータをテーブル等で保持しておき、Ｓ４０２の確認結果に応じてテーブルを参照すればよい。これは、ライブビュー時の表示フレームレートおよびライブビュー画像のサイズ（画素数）、および高速駆動時の駆動速度が予め定められている場合に有用である。

ライブビュー表示に必要な信号処理回路１０７によるアクセス量と、現在実行されている処理によるアクセス量との、所定期間の平均値を測定し、高速駆動時に発生するセンサＩＦ１０４によるアクセス量との合計がバス帯域を超えるか否かを判定してもよい。

撮像部１０１の駆動速度を９０ＭＰ／ｓに高速化しても画像メモリ１１０のバス帯域が破綻しない（バス帯域を超えるアクセス量が発生しない）と判定される場合、ＣＰＵ１０６は処理をＳ４０４へ進める。撮像部１０１を高速駆動すると画像メモリ１１０のバス帯域が破綻すると判定される場合、ＣＰＵ１０６は撮像部１０１の駆動速度を現在のままとし、処理をＳ４０７に進める。

Ｓ４０４でＣＰＵ１０６は、クロック生成回路１０５に対し、センサＩＦ１０４に供給するクロックＣＬＫ１を、９０ＭＰ／ｓに対応する周波数とするように指示する。

Ｓ４０５でＣＰＵ１０６は、センサＩＦ１０４の出力が信号処理回路１０７ではなく画像メモリ１１０となるように切り替えるとともに、画像データを画像メモリ１１０から取得するように信号処理回路１０７の動作を切り替える。これにより、センサＩＦ１０４から画像データが画像メモリ１１０へ直接出力されて保持され、保持された画像データを信号処理回路１０７が読み出すように、データ処理フローが変更される。

Ｓ４０６でＣＰＵ１０６は、Ｓ４０４，４０５で信号処理回路の準備が整ったので、ＣＰＵから撮像部１０１へ信号線１０６１によって、センサ駆動モードを９０ＭＰ／ｓの出力を行うモードへ切り替えることを通知する。これにより、撮像部１０１は撮像センサの駆動モードを切り替える。また、ＣＰＵ１０６は、センサＩＦ１０４へは、９０ＭＰ／ｓに対応した垂直及び水平の同期信号を出力し、信号処理回路１０７以降の処理を行う機能ブロックに対しては６０ＭＰ／ｓに対応した同期信号を出力するよう、同期制御回路１０３を制御する。そして、ＣＰＵ１０６は、図２に示す垂直ブランキング期間ＶＢＬＫにおいて、撮像センサをスタンバイモードに変更する。また、ＣＰＵ１０６は、図２の有効画素の読み出し期間において、撮像センサを動作させる。

Ｓ４０７でＣＰＵ１０６は、ライブビュー動作の停止指示の有無の判断（例えば、動画の記録指示が入力されたかどうかの判断）を行い、ライブビュー続行の場合は、処理をＳ４０２に戻し、ライブビュー停止指示があればライブビュー動作を終了する。
例えば、ライブビュー動作時に、操作部から動画記録の指示があった場合、ＣＰＵ１０６は、ＣＬＫ１、ＣＬＫ２共に、記録される動画のフレームレートに応じた周波数に変更する。このとき、ＣＬＫ１、ＣＬＫ２の周波数の最大値は、９０ＭＰ／ｓに対応した周波数となる。そして、撮像部１０１及び、信号処理部１０２の各部を、それぞれ、この記録される動画のフレームレートに対応した周波数のクロックで動作させる。また、ＣＰＵ１０６は、動画の記録が開始されると、センサＩＦ１０４からの動画データを信号処理回路１０７に出力する。信号処理部１０２は、センサＩＦ１０４からの動画データを処理した後、画像メモリ１１０に書き込む。その後、前述のように、画像メモリ１１０に記憶された動画データが読み出され、圧縮処理された後、記録部１１２により記録される。
また、動画記録の停止の指示があった場合、ＣＰＵ１０６は、記録部１１２による記録を停止させ、図３の処理を実行する。

以上説明したように本実施形態によれば、信号処理部において撮像部から画像データを受信する部分と、信号処理を適用する部分との動作速度を独立して設定可能とした。そのため、信号処理部全体の動作速度を撮像部の動作速度に合わせたり、撮像部の動作速度を信号処理部の動作速度に合わせる必要がなく、撮像部と信号処理部とをそれぞれ適切な速度で駆動することができる。そのため、処理能力を低下させることなく消費電力を効率よく低減することができる。

なお、本実施形態ではライブビュー動作時について説明したが、撮像センサを動作させて、動画を取得している状態であればライブビュー動作時に限らず本発明を適用可能である。ただし、動画を記録する場合には、圧縮処理回路による画像メモリのアクセスについても考慮して撮像部の駆動速度を上げるかどうかを判定するようにする。

また、撮像部１０１の出力レートが撮像センサの読み出し速度と同じであると見なせる場合、上述の説明における撮像部１０１の駆動速度を撮像センサの駆動速度と読み替えてよい。この場合、クロック生成回路１０５がＣＬＫ１を撮像部１０１のクロック信号として供給してもよい。

また、本実施形態では、クロック生成回路１０５は、ＣＬＫ１、ＣＬＫ２として、９０ＭＰ／ｓに対応した周波数、及び、６０ＭＰ／ｓに対応した周波数のクロックを生成した。これ以外にも、例えば、クロック生成回路１０５が、撮像センサが動作可能な最大の周波数である第１の周波数と、ライブビュー処理のための第２の周波数のクロックを生成するように構成してもよい。この場合、ライブビュー時においては、ＣＬＫ１として第１の周波数のクロックを生成し、ＣＬＫ２として第２の周波数のクロックを生成する。そして、ＣＰＵ１０６が、ＣＬＫ１を撮像部１０１とセンサＩＦ１０４に供給し、ＣＬＫ２を信号処理部１０２の残りの部分に供給するように制御する。一方、動画記録中においては、ＣＬＫ１、ＣＬＫ２共に、第１の周波数とする。

●（第２の実施形態）
第１の実施形態では、撮像部１０１の出力レートが６０ＭＰ／ｓから９０ＭＰ／ｓに切り替える場合、センサＩＦ１０４の出力先を信号処理回路１０７から画像メモリ１１０へ切り替える構成を説明した。しかしながら実際は、撮像センサの出力レートとセンサＩＦ１０４の受信レート（撮像部１０１の出力レート）は必ずしも一致しない。これは、ＣＭＯＳセンサの場合など、撮像センサから出力されたデータが信号処理部に到達するまでに行われる処理（データ並び替えなど）が存在することによる。従って、撮像部１０１の動作モードを高速読み出しモードに切り替えても、センサＩＦ１０４に少量のバッファを持たせるだけで対応可能な場合もある。

図４は、本実施形態に係るセンサＩＦ１０４に特徴的な構成を示している。センサＩＦ１０４は、撮像センサの有効画素１水平ライン分の容量を有する、例えばＦＩＦＯ形式のレート観測用バッファ１０４１と、データ残存検出回路１０４２とを有している。スイッチ１０４３は、ＣＰＵ１０６の制御に従い、センサＩＦ１０４の出力先を信号処理回路１０７と画像メモリ１１０との間で切り替える。

例えば、再生モードからライブビューモードに遷移した場合、ＣＰＵ１０６は最初の所定期間（例えば数フレーム）について、スイッチ１０４３を信号処理回路１０７側に切り替えるとともに、高速読み出しモードで撮像部１０１を動作させる。センサＩＦ１０４は、受信した画像データをレート観測用バッファ１０４１へ順次格納しながら、信号処理回路１０７に順次出力する。

データ残存検出回路１０４２は、水平ラインの開始時点で、レート観測用バッファ１０４１に画像データが残っているか確認する。図５は、レート観測用バッファ１０４１に存在するデータ量の時間変化を、水平１ライン期間について模式的に示した図である。撮像部１０１の出力レートが信号処理回路１０７の動作速度（処理レート）より高い場合、レート観測用バッファ１０４１にデータが蓄積していく。

しかしながら、ＨＢＬＫの間、撮像部１０１から信号処理部１０２へ画像データが出力されない。従って、ＨＢＬＫの開始時にレート観測用バッファ１０４１に画像データが残っていても、図５に示すようにＨＢＬＫが終了する前に全て信号処理回路１０７へ出力されれば問題ない。一方、次の水平ラインの有効画素を受信し始めた時点においてもレート観測用バッファ１０４１に画像データが残っている場合、そのままでは処理しきれない画像データが発生する。

データ残存検出回路１０４２は、同期制御回路１０３から通知される、水平ラインの開始タイミングにおいて、レート観測用バッファ１０４１に画像データが残存しているか調べる。画像データが残存している場合、ＣＰＵ１０６に通知する。ＣＰＵ１０６は例えば所定期間が終了するまでに通知がなければ、撮像部１０１を高速読み出しモードのまま駆動するとともに、センサＩＦ１０４の出力先を信号処理回路１０７のままとする。

一方、所定期間内に通知があれば、撮像部１０１を通常読み出しモードに切り替え、その後は第１の実施形態で説明したように処理を行う。

本実施形態によれば、実際に必要な場合にだけ画像データを画像メモリ１１０へ保存するようにするため、画像メモリ１１０のバス帯域を不必要な消費を抑制できるほか、画像メモリ１１０の読み書きに要する消費電力を削減することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００…光学系、１０１…撮像部、１０２…信号処理部、１０３…同期制御回路、１０５…クロック生成回路、１０７…信号処理回路、１０８…表示処理回路、１０９…圧縮処理回路、１１０…画像メモリ、１１１…表示デバイス、１１２…記録部、１１３…発振器

Claims (19)

1. 撮像手段と、
   前記撮像手段から出力された画像データに所定の信号処理を施して出力する信号処理手段と、
   前記撮像手段の動作速度および前記信号処理手段の動作速度を制御する制御手段と、
   前記信号処理手段により処理された画像データを記録媒体に記録する記録手段と、
   を備え、
   前記制御手段は、
   前記記録手段が前記信号処理手段からの前記画像データを記録しておらず、前記信号処理手段が前記撮像手段から出力された画像データを表示装置に出力する第１状態において、前記信号処理手段の動作速度を前記表示装置の表示フレームレートに応じた動作速度に制御し、かつ、前記撮像手段の動作速度が前記信号処理手段の動作速度よりも速くなるように前記撮像手段の動作速度を制御し、
   前記記録手段が前記信号処理手段からの前記画像データを記録する第２状態において、前記撮像手段の動作速度および前記信号処理手段の動作速度を、前記記録手段により記録される前記画像データのフレームレートに応じた動作速度に制御する、
   ことを特徴とする撮像装置。
2. メモリと、
   前記撮像手段から前記画像データを受信し、前記画像データを前記メモリおよび前記信号処理手段の少なくとも一方に出力する受信手段と、をさらに備え、
   前記制御手段は、
   前記受信手段の動作速度を、前記撮像手段の動作速度に対応する動作速度とするように制御し、
   前記第１状態においては前記画像データを前記メモリに出力し、前記第２状態においては前記画像データを前記信号処理手段に出力するように、前記受信手段を制御する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１状態において、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度にしても前記メモリに対する単位時間あたりのデータアクセス量が上限値を超えないと判断される場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度とし、そうでない場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度よりも速い動作速度としないように、前記撮像手段の動作速度および前記信号処理手段の動作速度を制御することを特徴とする請求項２に記載の撮像装置。
4. 撮像手段と、
   前記撮像手段から出力された画像データに所定の信号処理を施して出力する信号処理手段と、
   前記撮像手段の動作速度および前記信号処理手段の動作速度を制御する制御手段と、
   メモリと、を備え、
   前記制御手段は、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度にしても前記メモリに対する単位時間あたりのデータアクセス量が上限値を超えないと判断される場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度とし、そうでない場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度よりも速い動作速度としないように、前記撮像手段の動作速度および前記信号処理手段の動作速度を制御することを特徴とする撮像装置。
5. 前記撮像手段から前記画像データを受信し、前記画像データを前記メモリおよび前記信号処理手段の少なくとも一方に出力する受信手段、を備え、
   前記受信手段は、前記撮像手段の動作速度が前記信号処理手段の動作速度より速い場合に、前記画像データを前記メモリに出力し、そうでない場合に、前記画像データを前記信号処理手段に出力することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段は、前記制御手段によって制御された動作速度で画像データを出力する撮像センサを備え、
   前記制御手段は、前記撮像センサが有効画素領域の画像データを出力しない期間の少なくとも一部の期間において、前記撮像センサを、消費電力の少ない動作モードに設定することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記撮像手段は、前記制御手段によって制御された動作速度で画像データを出力する撮像センサを備え、
   前記制御手段は、前記撮像センサが有効画素領域の画像データを出力しない期間の少なくとも一部の期間において、前記撮像センサの動作を停止するように制御することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
8. 前記撮像センサが１フレームの前記画像データを出力する期間は、前記信号処理手段が１フレームの前記画像データを処理する期間よりも短いことを特徴とする請求項６または請求項７に記載の撮像装置。
9. 前記制御手段は、前記撮像手段の動作クロックおよび前記信号処理手段の動作クロックを制御することにより、前記撮像手段の動作速度および前記信号処理手段の動作速度を制御することを特徴とする請求項１乃至請求項８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記信号処理手段が毎秒ｎ画素の画像データを処理するために必要な動作速度を、前記信号処理手段の動作速度に設定し、前記撮像手段が毎秒ｍ画素（ｍ＞ｎ）の画像データを出力するために必要な動作速度を前記撮像手段の動作速度に設定することを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
11. 前記動作速度は、前記撮像手段および前記信号処理手段の動作クロックであることを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
12. 撮像手段と、
    前記撮像手段から出力された画像データに所定の信号処理を施して出力する信号処理手段と、
    前記信号処理手段により処理された画像データを記録媒体に記録する記録手段と、を有する撮像装置の制御方法であって、
    前記撮像装置の制御手段が前記撮像手段の動作速度および前記信号処理手段の動作速度を制御する制御工程を有し、
    前記制御工程において前記制御手段は、
    前記記録手段が前記信号処理手段からの前記画像データを記録しておらず、前記信号処理手段が前記撮像手段から出力された画像データを表示装置に出力する第１状態において、前記信号処理手段の動作速度を前記表示装置の表示フレームレートに応じた動作速度に制御し、かつ、前記撮像手段の動作速度が前記信号処理手段の動作速度よりも速くなるように前記撮像手段の動作速度を制御し、
    前記記録手段が前記信号処理手段からの前記画像データを記録する第２状態において、前記撮像手段の動作速度および前記信号処理手段の動作速度を、前記記録手段により記録される前記画像データのフレームレートに応じた動作速度に制御する、ことを特徴とする撮像装置の制御方法。
13. 前記撮像装置が、前記撮像手段から前記画像データを受信し、前記画像データを前記撮像装置が備えるメモリおよび前記信号処理手段の少なくとも一方に出力する受信手段をさらに備え、
    前記制御工程において前記制御手段は、
    前記受信手段の動作速度を、前記撮像手段の動作速度に対応する動作速度とするように制御し、
    前記第１状態においては前記画像データを前記メモリに出力し、前記第２状態においては前記画像データを前記信号処理手段に出力するように、前記受信手段を制御する、ことを特徴とする請求項１２に記載の撮像装置の制御方法。
14. 前記制御工程において前記制御手段は、
    前記第１状態において、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度にしても前記メモリに対する単位時間あたりのデータアクセス量が上限値を超えないと判断される場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度とし、そうでない場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度よりも速い動作速度としないように、前記撮像手段の動作速度および前記信号処理手段の動作速度を制御することを特徴とする請求項１３に記載の撮像装置の制御方法。
15. 撮像手段と、
    前記撮像手段から出力された画像データに所定の信号処理を施して出力する信号処理手段と、
    前記信号処理手段により処理された画像データを記録媒体に記録する記録手段と、を有する撮像装置の制御方法であって、
    前記撮像装置の制御手段が前記撮像手段の動作速度および前記信号処理手段の動作速度を制御する制御工程を有し、
    前記制御工程において前記制御手段は、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度にしても前記撮像装置が前記撮像装置が備えるメモリに対する単位時間あたりのデータアクセス量が上限値を超えないと判断される場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度より速い動作速度とし、そうでない場合に、前記撮像手段の動作速度を前記信号処理手段の動作速度よりも速い動作速度としないように、前記撮像手段の動作速度および前記信号処理手段の動作速度を制御することを特徴とする撮像装置の制御方法。
16. 前記撮像装置の受信手段が、前記撮像手段から前記画像データを受信し、前記画像データを前記撮像装置が備えるメモリおよび前記信号処理手段の少なくとも一方に出力する受信工程をさらに備え、
    前記受信工程において前記受信手段は、前記撮像手段の動作速度が前記信号処理手段の動作速度より速い場合に、前記画像データを前記メモリに出力し、そうでない場合に、前記画像データを前記信号処理手段に出力することを特徴とする請求項１５に記載の撮像装置の制御方法。
17. 前記撮像手段は、前記制御工程によって制御された動作速度で画像データを出力する撮像センサを備え、
    前記制御工程において前記制御手段は、前記撮像センサが有効画素領域の画像データを出力しない期間の少なくとも一部の期間において、前記撮像センサを、消費電力の少ない動作モードに設定することを特徴とする請求項１２乃至請求項１６のいずれか１項に記載の撮像装置の制御方法。
18. 前記撮像手段は、前記制御工程によって制御された動作速度で画像データを出力する撮像センサを備え、
    前記制御工程において前記制御手段は、前記撮像センサが有効画素領域の画像データを出力しない期間の少なくとも一部の期間において、前記撮像センサの動作を停止するように制御することを特徴とする請求項１２乃至請求項１６のいずれか１項に記載の撮像装置の制御方法。
19. 前記動作速度は、前記撮像手段および前記信号処理手段の動作クロックであることを特徴とする請求項１２乃至請求項１８のいずれか１項に記載の撮像装置の制御方法。

Images