JP5141324B2 - 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法 - Google Patents

Description

この発明は、各処理ブロックの電源が分離可能な撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法に関する。

近年、ＣＣＤ（Charge Coupled Devices）などの固体撮像素子の小型化や低消費電力化、さらには、ＬＳＩ（Large Scale Integration）の高集積化や高機能化、低消費電力化などの技術の進展に伴い、静止画像の撮影を主とするディジタルスチルカメラなどの電池で駆動可能な携帯型撮像装置が一般に利用されるようになっている。

このような電池で駆動される撮像装置では、電池による動作時間を確保し、撮影枚数を可能な限り増やすために、消費電力の低減が求められている。

一般に、撮像装置では、撮影される画像のフレームレートおよび解像度が高くなるにしたがって、単位時間あたりに処理する画像のデータ量が増大する。そのため、このような画像データを扱う回路では、高いクロック周波数が必要となる。

一方、回路の消費電力は、その回路を駆動するためのクロック周波数に比例して増大するため、画像データのフレームレートおよび解像度が高くなると、消費電力が増大してしまう。したがって、回路の消費電力を低減するためには、フレームレートおよび解像度を小さくする必要がある。

しかしながら、ディジタルスチルカメラなどの撮像装置では、その動作モードによって取り込む画像のフレームレートや解像度に対する要求が異なる。例えば、撮像装置に設けられたモニタなどの表示部に被写体を表示し、撮影前の画角合わせを行う動作モードであるモニタリングモードでは、表示部に可能な限りスムーズな動画像を表示できることが望ましいが、撮像装置に設けられた表示部は、小さな画面であることが多い。そのため、動画像のフレームレートは高いほど好ましいが、解像度はそれほど要求されない。

また、例えば、静止画像取り込みモードである撮影モードでは、連写の性能を最大とするために、処理レートや解像度を最大とすることが要求される。さらに、撮影した静止画像を再生する再生モードでは、撮像素子による画像信号の取り込みを行わず、静止画像を表示部に表示する際に、解像度を最大とすることが要求される。

このような撮像装置を構成する各種の処理ブロック、例えば、撮影ブロックや、画像処理ブロック、表示ブロックでは、その動作モードに応じて単位時間あたりに処理するデータ量が大幅に異なり、常に最大のクロック周波数で動作する必要がない。そのため、各処理ブロックが正常に動作すれば、可能な限り低いクロック周波数で動作させることによって、撮像装置の消費電力を低減させることができる。

そこで、従来の撮像装置では、完全に非動作状態となる処理ブロックに対するクロック信号の供給を停止したり、動作モードで必要とする処理レートに合わせてクロック周波数を切り換えたりすることにより、消費電力を低減させるようにしている。

従来の撮像装置１００は、図１４に示すように、光学系１１０を介して入射された光を撮像素子１１１で受光して撮像信号に変換する。そして、この撮像信号を信号処理部１２０で、信号処理部１２０に接続される外部メモリであるＲＡＭ(Random Access Memory)１３６を用いて所定に処理して記録媒体１３８に記録する。撮像装置１００は、撮像信号を、動画データとして記録媒体１３８に記録するとともに、撮影指示に応じたタイミングで取り込まれた静止画データとしても、記録媒体１３８に記録することができるようにされている。

光学系１１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、後述するＣＰＵ(Central Processing Unit)１３１の命令に基づく駆動部１１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御される。被写体からの光が光学系１１０を介して撮像素子１１１に入射される。撮像素子１１１は、例えばＣＣＤ(Charge Coupled Device)からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。なお、撮像素子１１１は、ＣＣＤに限らず、例えばＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャを用いてもよい。

フロントエンド（Ｆ／Ｅ）部１１２は、撮像素子１１１からアナログ信号として出力された撮像信号に対し、相関二重サンプリング処理を施すとともにゲインを制御し、ＲＡＷデータであるディジタル撮像信号に変換して出力する。

なお、後述するタイミングジェネレータ１１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されるとともに、フロントエンド部１１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部１２０は、センサインターフェース（Ｉ／Ｆ）１２２、検波補正部１２３、信号処理部１２４、解像度変換部１２５、拡張画像処理部１２６、静止画コーデック（ＣＯＤＥＣ）部１２７、動画コーデック（ＣＯＤＥＣ）部１２８、表示制御部１２９、ＣＰＵ１３１、外部インターフェース（Ｉ／Ｆ）１３４、メモリコントローラ１３５および記録再生制御部１３７の各処理ブロックを含み、これら各処理ブロックがそれぞれバス１２１を介して接続される。信号処理部１２０は、例えば１つのＬＳＩで構成されている。

センサＩ／Ｆ１２２は、フロントエンド部１１２から出力されたＲＡＷデータが入力され、ＲＡＷデータに対して、後段での補正処理や色変換処理に適したデータ配列への並び替え処理を行う。また、センサＩ／Ｆ１２２は、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。すなわち、センサＩ／Ｆ１２２に供給されるデータは、撮像素子１１１の出力であって、撮像素子１１１から電荷を読み出す際の駆動クロックに同期している。一方、センサＩ／Ｆ１２２から出力されるデータは、信号処理部１２０内部のクロックに同期している必要がある。センサＩ／Ｆ１２２は、バッファメモリを有し、センサ駆動系のクロックに従いバッファメモリに入力データを書き込んでいき、システム系のクロックに従いバッファメモリからデータを読み出す。

検波補正部１２３は、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施す。また、検波補正部１２３は、黒レベルやフォーカス、露出、ホワイトバランスなどの調整用との検波処理を行う。

信号処理部１２４は、ＲＡＷデータを後段の処理に適した形式の画像信号に変換する。例えば、信号処理部１２４は、ＲＡＷデータに対してデモザイク処理を施し、輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。信号処理部１２４は、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画像補正処理を施す。

なお、一般的に、動画像と静止画像とでは、求められる画質が異なると考えられている。そこで、信号処理部１２４は、例えばＣＰＵ１３１の制御により、動画データに対する処理を行う場合と、静止画データに対する処理を行う場合とで、これらの画質補正処理を行う際のパラメータを切り替えることができるようにされている。

解像度変換部１２５は、ベースバンドの動画データや静止画データの解像度を、後述する表示装置１３０に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１１から出力されたアナログ信号がフロントエンド部１１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

拡張画像処理部１２６は、例えば被写体認識処理や超高速連写など、拡張的な画像処理を行う。被写体認識処理は、例えば予め学習されたパターン辞書などを用いて、画像から顔らしき部分を抽出する。超高速連写は、通常の動画データのフレームレートの６０ｆｐｓ(frame per second)に対し、例えば２４０ｆｐｓといった非常に高いフレームレートで撮像素子１１１における電荷読み出しおよび撮像信号の出力を行うものである。超高速連写機能では、通常の動画データに比べて高速のデータ転送能力が要求されるため、処理部を別途、設けることが好ましい。

静止画コーデック部１２７は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式の種類は、特に問わないが、例えばＪＰＥＧ(Joint Photographic Experts Group)方式が適用される。静止画コーデック部１２７による圧縮静止画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

動画コーデック部１２８は、ベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式の種類は特に問わないが、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式を適用することができる。動画コーデック部１２８による圧縮動画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

表示制御部１２９は、供給された画像データを表示装置１３０に表示可能な形式の信号に変換する。表示装置１３０は、例えばＬＣＤ(Liquid Crystal Display)からなり、撮像装置１００におけるビューファインダとして用いられるとともに、記録媒体１３８から再生された画像のモニタとして用いられる。

ＣＰＵ１３１に、ＲＯＭ(Read Only Memory)１３２と入力デバイス１３３とが接続される。ＣＰＵ１３１は、図示されないＲＡＭ(Random Access Memory)をワークメモリとして用い、ＲＯＭ１３２に予め記憶されたプログラムに従いこの撮像装置１００の全体の動作を制御する。

例えば、ＣＰＵ１３１は、バス１２１を介して信号処理部１２０の各部とコマンドやデータのやりとりを行い、信号処理部１２０の各部を制御する。また、ＣＰＵ１３１は、上述した入力デバイス１３３に対する操作に応じた制御信号や撮像信号などに基づき、光学系１１０のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、駆動部１１３に供給する。駆動部１１３は、供給された制御信号に応じて光学系１１０の各部の制御を行う。また、ＣＰＵ１３１は、タイミングジェネレータ１１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

タイミングジェネレータ１１４は、ＣＰＵ１３１から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号をといった、撮像素子１１１から出力された撮像信号に対する処理に必要なタイミング信号を生成する。

入力デバイス１３３は、この撮像装置１００を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、電源部１４０による電源供給のＯＮ／ＯＦＦを切り替える電源キー、撮影モードや記録モードといった撮像装置１００における動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、入力デバイス１３３には、この撮像装置１００で静止画を撮影する際に用いられるシャッタボタンや、動画や静止画を撮影する際に光学系１１０のフォーカス、絞り、ズームなどを操作するための操作子なども設けられる。

外部Ｉ／Ｆ１３４は、この撮像装置１００と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ１３５に対して、ＲＡＭ１３６が接続される。ＲＡＭ１３６は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ(Synchronous Dynamic Random-Access Memory)であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ１３６は、バス１２１に接続される各部と共用して用いられる。メモリコントローラ１３５は、このＲＡＭ１３６に対するアクセス制御を行う。バス１２１に接続される各処理ブロックにおいて、ＲＡＭ１３６に対する転送要求が発生した場合には、バス１２１からメモリコントローラ１３５に対して転送要求が渡され、メモリコントローラ１３５は、この転送要求に従いＲＡＭ１３６へのアクセスを発生させる。

記録再生制御部１３７は、記録媒体１３８に対するデータの記録制御や、記録媒体１３８に記録されたデータの再生制御を行う。記録媒体１３８としては、例えば着脱可能な不揮発性メモリを用いることができる。

このような撮像装置に関して、例えば下記の特許文献１には、動作モードに応じて各機能ブロックに対応する回路に供給するクロック信号および電源電圧を制御することにより、消費電力を低減させる技術が記載されている。

特開２００１−２３８１９０号公報

ところで、最近では、プロセス技術が微細化し、ＬＳＩ内部で用いられているトランジスタの閾値電圧が従来よりも低下してきている。このように、閾値電圧が低下すると、トランジスタのリーク電流が増加するとともに、ＬＳＩの消費電力に占めるリーク電流の割合が大きくなる。そのため、回路の規模に比例して、リーク電流を無視することができなくなってしまうという問題点があった。

また、従来の撮像装置１００では、それぞれの動作モードに対する機能の拡張や処理性能を向上させるとともに回路の規模を削減するため、１つの処理ブロックで複数の機能を共有化できるように設計されていることが多い。しかしながら、この場合には、撮像装置の消費電力に支配的となるモニタリング動作を行っている間に、不要となる処理ブロックに対しても電力が供給されているため、機能拡張などの要因が冗長な存在となり、動作時の消費電力やリーク電流が増加してしまうという問題点があった。

したがって、この発明の目的は、消費電力を低減させることができる撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法を提供することにある。

上述した課題を解決するために、第１の発明は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、
撮像部から出力された撮像信号からＹ／Ｃ信号を生成する第１の信号処理部と、
撮像部から出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を生成する第２の信号処理部と、
第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御する制御部と
を有し、
制御部は、
モニタリングモードにおいては、第１の信号処理部に対して電源を供給し、第２の信号処理部に対する電源を遮断し、第１の信号処理部の出力を表示し、
静止画記録モードにおいては、第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、モニタリングモードにおける画像処理とを並列的に行うことを特徴とする撮像装置である。

また、第２の発明は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、
撮像ステップにより出力された撮像信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、
撮像ステップにより出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、
第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するステップと
を有し、
モニタリングモードにおいては、第１の信号処理部に対して電源を供給し、第２の信号処理部に対する電源を遮断し、第１の信号処理部の出力を表示するようにし、
静止画記録モードにおいては、第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、モニタリングモードにおける画像処理とを並列的に行う
ことを特徴とする撮像装置の制御方法である。

また、第３の発明は、撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を生成する第１の信号処理部と、
入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を生成する第２の信号処理部と、
第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御する制御部と
を有し、
制御部は、
モニタリングモードにおいては、第１の信号処理部に対して電源を供給し、第２の信号処理部に対する電源を遮断し、第１の信号処理部の出力を表示するようにし、
静止画記録モードにおいては、第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、モニタリングモードにおける画像処理とを並列的に行う
ことを特徴とする信号処理装置である。

また、第４の発明は、撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、
入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、
第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するステップと
を有し、
制御ステップは、
モニタリングモードにおいては、第１の信号処理部に対して電源を供給し、第２の信号処理部に対する電源を遮断し、第１の信号処理部の出力を表示するようにし、
静止画記録モードにおいては、第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、モニタリングモードにおける画像処理とを並列的に行う
ことを特徴とする信号処理方法である。

上述したように、第１および第２の発明では、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力し、撮像ステップにより出力された撮像信号からＹ／Ｃ信号を第１の信号処理部で生成し、撮像ステップにより出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を第２の信号処理部で生成し、第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するようにしているため、第１および第２の信号処理部に供給される電源が分離され、各種処理に不要な部分に対する電源の供給を抑えることができる。

また、第３および第４の発明では、撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を第１の信号処理部で生成し、入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を第２の信号処理部で生成し、第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するようにしているため、第１および第２の信号処理部に供給される電源が分離され、各種処理に不要な部分に対する電源の供給を抑えることができる。

この発明は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力し、撮像ステップにより出力された撮像信号からＹ／Ｃ信号を第１の信号処理部で生成し、撮像ステップにより出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を第２の信号処理部で生成し、第１および第２の信号処理部のそれぞれに供給する電源を分離することにより、各動作モードにおいて、不要である冗長な処理ブロックに対する電源を遮断し、消費電力を低減させることができるという効果がある。

また、この発明は、各動作モードにおいて、不要である冗長な処理ブロックに対する電源を遮断することにより、リーク電流を低減させることができるという効果がある。

以下に、この発明の最良の形態を説明するが、開示される発明と実施の一形態との対応関係を例示すると、次のようになる。

請求項１に記載の撮像装置は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部（例えば、図１の撮像素子１１）と、上記撮像部から出力された撮像信号からＹ／Ｃ信号を生成する第１の信号処理部（例えば、図１の信号処理部２４Ａ）と、上記撮像部から出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を生成する第２の信号処理部（例えば、図１の信号処理部２４Ｂ）と、上記第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御する制御部（例えば、図１のＣＰＵ３１）とを有することを特徴とする。

請求項８に記載の撮像装置の制御方法は、光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、上記撮像ステップにより出力された撮像信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、上記撮像ステップにより出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、上記第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するステップとを有することを特徴とする。

請求項１０に記載の信号処理装置は、撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を生成する第１の信号処理部（例えば、図１の信号処理部２４Ａ）と、上記入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を生成する第２の信号処理部（例えば、図１の信号処理部２４Ｂ）と、上記第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御する制御部（例えば、図１のＣＰＵ３１）とを有することを特徴とする。

請求項１７に記載の信号処理方法は、撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、上記入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、上記第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するステップとを有することを特徴とする。

以下、この発明の実施の第１の形態を、図面を参照しながら説明する。図１は、この発明の実施の第１の形態に適用可能な撮像装置１の一例の構成を示す。この撮像装置１は、光学系１０を介して入射された光を撮像素子１１で受光して電気信号に変換して撮像信号とし、この撮像信号を信号処理部２０で、信号処理部２０に接続される外部メモリであるＲＡＭ(Random Access Memory)３６を用いて所定に処理して記録媒体３８に記録する。また、撮像装置１は、撮影前の画角合わせを行う動作であるモニタリングや動画処理、静止画処理といった処理内容に応じて、各処理ブロックをそれぞれ階層的に分離して設け、電源分離可能な構成とされている。

光学系１０は、レンズ系、絞り機構、フォーカス機構、ズーム機構などを有し、後述するＣＰＵ(Central Processing Unit)３１の命令に基づく駆動部１３の制御やマニュアル操作などにより、絞りやフォーカス、ズームなどが制御されるようになっている。被写体からの光が光学系１０を介して撮像素子１１に入射される。撮像素子１１は、例えばＣＣＤ(Charge Coupled Device)からなり、入射された光を光電変換により電気信号に変換し、撮像信号としてライン順次で出力する。なお、撮像素子１１は、ＣＣＤに限らず、例えばＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージャを用いてもよい。

フロントエンド（Ｆ／Ｅ）部１２は、例えばノイズ抑圧部、自動利得制御部およびＡ／Ｄ変換部を有し、撮像素子１１からアナログ信号として出力された撮像信号に対し、ノイズ抑圧部で例えば相関二重サンプリング処理を施してノイズを抑圧し、自動利得制御部でゲインを制御する。そして、Ａ／Ｄ変換部でディジタル撮像信号に変換して出力する。このディジタル撮像信号は、撮像素子１１の各画素それぞれに直接的に対応するデータからなるＲＡＷデータである。

なお、後述するタイミングジェネレータ１４により出力されるタイミング信号（クロックパルス）に基づき、撮像素子１１が、例えばフレームタイミング毎に光電変換が行われ撮像信号が出力されるように制御されるとともに、フロントエンド部１２が、フレームタイミングに同期して処理が行われるように制御される。

信号処理部２０は、センサインターフェース（Ｉ／Ｆ）２２、検波補正部２３、信号処理部２４Ａおよび２４Ｂ、解像度変換部２５Ａおよび２５Ｂ、拡張画像処理部２６、静止画コーデック（ＣＯＤＥＣ）部２７、動画コーデック（ＣＯＤＥＣ）部２８、表示制御部２９、ＣＰＵ３１、外部インターフェース（Ｉ／Ｆ）３４、メモリコントローラ３５および記録再生制御部３７の各処理ブロックを含み、これら各処理ブロックがそれぞれバス２１を介して接続される。信号処理部２０は、例えば１つのＬＳＩ（Large Scale Integration）で構成され、センサＩ／Ｆ２２、検波補正部２３、信号処理部２４Ａおよび解像度変換部２５Ａは、例えば階層的に分離した構成とされている。

センサＩ／Ｆ２２は、フロントエンド部１２から出力されたＲＡＷデータが入力され、ＲＡＷデータに対して、後段での補正処理や色変換処理に適したデータ配列への並び替え処理を行う。また、センサＩ／Ｆ２２は、センサ駆動系のクロックをシステム系のクロックへの乗り換え処理を行う。すなわち、センサＩ／Ｆ２２に供給されるデータは、撮像素子１１の出力であって、撮像素子１１から電荷を読み出す際の駆動クロックに同期している。一方、センサＩ／Ｆ２２から出力されるデータは、信号処理部２０内部のクロックに同期している必要がある。センサＩ／Ｆ２２は、バッファメモリを有し、センサ駆動系のクロックに従いバッファメモリに入力データを書き込んでいき、システム系のクロックに従いバッファメモリからデータを読み出す。

検波補正部２３は、供給されたＲＡＷデータに対して欠陥補正やレンズ補正などの各種補正処理を施す。また、検波補正部２３は、黒レベルやフォーカス、露出、ホワイトバランスなどの調整を行うための検波処理を行う。

信号処理部２４Ａは、ＲＡＷデータを後段の動画像に対する処理に適した形式の画像信号に変換する。例えば、信号処理部２４Ａは、ＲＡＷデータに対してデモザイク処理を施し、輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。信号処理部２４Ａは、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画像補正処理を施す。

解像度変換部２５Ａは、ベースバンドの動画データの解像度を、後述する表示装置３０に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。ここで、ベースバンドのデータとは、例えばアナログ信号がディジタル信号に変換されたデータであり、圧縮符号化や変調などの各種処理が施されていない状態のデータを指す。この例では、撮像素子１１から出力されたアナログ信号がフロントエンド部１２によってディジタル信号に変換されたディジタル撮像信号のことをベースバンドのデータと適宜称する。

信号処理部２４Ｂは、ＲＡＷデータを後段の静止画像に対する処理に適した形式の画像信号に変換する。例えば、信号処理部２４Ｂは、ＲＡＷデータに対してデモザイク処理を施し、輝度信号Ｙと色差信号Ｃｂ／ＣｒとからなるＹ／Ｃ信号に変換する。信号処理部２４Ｂは、さらに、ＲＡＷデータが変換された画像信号に対してホワイトバランス処理、ガンマ補正処理、エッジ強調処理など所定の画像補正処理を施す。

解像度変換部２５Ｂは、静止画データの解像度を、後述する表示装置３０に表示するのに適した解像度に変換したり、記録モードに応じた解像度に変換する処理を行う。

なお、信号処理部２４Ｂおよび解像度変換部２５Ｂにより、静止画データに対して行われる信号処理は、リアルタイム性が要求されないため、例えば、ＣＰＵ３１におけるソフトウェア処理や、汎用ＤＳＰ(Digital Signal Processor)を用いて低速で信号処理することが可能である。

拡張画像処理部２６は、例えば被写体認識処理や超高速連写など、拡張的な画像処理を行う。被写体認識処理は、例えば予め学習されたパターン辞書などを用いて、画像から顔らしき部分を抽出する。超高速連写は、通常の動画データのフレームレートの６０ｆｐｓ(frame per second)に対し、例えば２４０ｆｐｓといった非常に高いフレームレートで撮像素子１１における電荷読み出しおよび撮像信号の出力を行うものである。超高速連写機能では、通常の動画データに比べて高速のデータ転送能力が要求されるため、処理部を別途、設けることが好ましい。

静止画コーデック部２７は、ベースバンドの静止画データに対する圧縮符号化処理と、圧縮符号化された静止画データに対する復号処理とを行う。圧縮符号化方式の種類は、特に問わないが、例えばＪＰＥＧ(Joint Photographic Experts Group)方式が適用される。すなわち、静止画コーデック部２７は、供給された静止画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。量子化されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。静止画コーデック部２５による圧縮静止画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

動画コーデック部２８は、ベースバンドの動画データに対する圧縮符号化処理と、圧縮符号化された動画データに対する復号処理とを行う。圧縮符号化方式の種類は特に問わないが、例えばＭＰＥＧ２(Moving Pictures Experts Group 2)方式や、ＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standarization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、Ｈ．２６４｜ＡＶＣと略称する）方式などを適用することができる。以下では、動画コーデック部２８は、圧縮符号化方式としてＭＰＥＧ２方式を適用するものとする。

動画コーデック部２８は、例えば、供給された動画データのフレームを例えば８×８画素といった所定サイズの符号化ブロックに分割し、この符号化ブロック毎にＤＣＴを行う。そして、ＤＣＴにより得られたＤＣＴ係数を所定の量子化スケールで量子化する。また、動画コーデック部２８は、供給された動画データについて、動き補償を用いた予測符号化によるフレーム間符号化も行う。フレーム内符号化およびフレーム間符号化を施されたデータは、ハフマン符号化などの可変長符号化によりさらに圧縮されて出力される。動画コーデック部２８による圧縮動画データの復号処理は、圧縮符号化処理の逆の処理を以て行われる。

表示制御部２９は、供給された画像データを表示装置３０に表示可能な形式の信号に変換する。表示装置３０は、例えばＬＣＤ(Liquid Crystal Display)からなり、撮像装置１におけるビューファインダとして用いられるとともに、記録媒体３８から再生された画像のモニタとして用いられる。また、表示制御部２９は、後述するＣＰＵ３１から供給される命令に基づき、表示装置３０に文字や図形を表示させるための表示信号を生成する。表示信号に応じた表示も、表示装置３０に表示される。例えば、撮像装置１に対する各種設定を行うための設定画面や、撮像装置１の各種状態を示す表示、カーソル表示などが表示装置２８に所定に表示される。

ＣＰＵ３１に、ＲＯＭ(Read Only Memory)３２と入力デバイス３３とが接続される。ＣＰＵ３１は、図示されないＲＡＭ(Random Access Memory)をワークメモリとして用い、ＲＯＭ３２に予め記憶されたプログラムに従いこの撮像装置１の全体の動作を制御する。

例えば、ＣＰＵ３１は、バス２１を介して信号処理部２０の各部とコマンドやデータのやりとりを行い、信号処理部２０の各部を制御する。また、ＣＰＵ３１は、上述した入力デバイス３３に対する操作に応じた制御信号や撮像信号などに基づき、光学系１０のフォーカス、絞り、ズームなどを制御するための制御信号を生成し、駆動部１３に供給する。駆動部１３は、供給された制御信号に応じて光学系１０の各部の制御を行う。また、ＣＰＵ３１は、タイミングジェネレータ１４に対して、所定のクロックパルスを出力するようにコマンドを出す。

タイミングジェネレータ１４は、ＣＰＵ３１から供給されたこのコマンドに応じて、例えばフレーム同期信号や水平同期信号、垂直同期信号といった、撮像素子１１から出力された撮像信号に対する処理に必要なタイミング信号を生成する。

入力デバイス３３は、この撮像装置１を操作するために用いられる各種の操作子が設けられ、各操作子に対する操作に応じた制御信号を出力する。例えば、電源部４０による電源供給のＯＮ／ＯＦＦを切り換える電源キー、撮影モードや記録モードといった撮像装置１における動作モードを切り換えるモード切り換えキー、カーソル移動のためのキーなどが設けられる。さらに、入力デバイス３３には、この撮像装置１で静止画を撮影する際に用いられるシャッタボタンや、動画や静止画を撮影する際に光学系１０のフォーカス、絞り、ズームなどを操作するための操作子なども設けられる。

外部Ｉ／Ｆ３４は、この撮像装置１と外部の機器との間でのデータのやりとりを制御する。

メモリコントローラ３５に対して、ＲＡＭ３６が接続される。ＲＡＭ３６は、例えばメモリバスクロックに同期して動作するＳＤＲＡＭ(Synchronous Dynamic Random-Access Memory)であって、データの入出力を所定のデータ長（バースト長）単位でバースト転送により行うことができる。ＲＡＭ３６は、バス２１に接続される各部と共用して用いられる。メモリコントローラ３５は、このＲＡＭ３６に対するアクセス制御を行う。バス２１に接続される各処理ブロックにおいて、ＲＡＭ３６に対する転送要求が発生した場合には、バス２１からメモリコントローラ３５に対して転送要求が渡され、メモリコントローラ３５は、この転送要求に従いＲＡＭ３６へのアクセスを発生させる。

記録再生制御部３７は、記録媒体３８に対するデータの記録制御や、記録媒体３８に記録されたデータの再生制御を行う。記録媒体３８としては、例えば着脱可能な不揮発性メモリを用いることができる。また、記録媒体３８として記録可能なタイプの光ディスクを用いることもできる。さらに、着脱可能または撮像装置１に内蔵されるハードディスクを記録媒体３８として用いることもできる。勿論、記録媒体３８は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。

このように、この発明の実施の一形態では、信号処理部２０内に設けられた信号処理部および解像度変換部を、撮影前の画角合わせを行う動作であるモニタリング動作や動画処理の際に用いられる信号処理部２４Ａおよび解像度変換部２５Ａと、静止画処理の際に用いられる信号処理部２４Ｂおよび解像度変換部２５Ｂとに分割している。

また、この発明の実施の一形態では、撮影前の画角合わせを行う処理であるモニタリング処理や動画処理、静止画処理といった各種処理内容に応じて、各処理ブロックを階層的に分離して設け、それぞれの処理ブロックに対して供給される電源が分離可能な構成とされている。例えば、図２に示すように、電源部４０から信号処理部２０に設けられた各処理ブロックに対して供給される電源を電源Ｖ１，Ｖ２，Ｖ３およびＶ４の４系統に分離する。そして、ＣＰＵ３１は、各種処理内容に応じてそれぞれの電源Ｖ１，Ｖ２，Ｖ３およびＶ４のＯＮ／ＯＦＦを制御する。

電源Ｖ１は、撮像素子１１を駆動させる必要がある動作モードの際に供給される電源である。すなわち、例えば静止画再生や動画再生など、撮像素子１１を用いて撮影する必要がない動作モードの場合には、電源Ｖ１を供給しない。電源Ｖ１は、センサＩ／Ｆ２２、検波補正部２３、信号処理部２４Ａおよび解像度変換部２５Ａに供給されている。

電源Ｖ２は、静止画記録や静止画再生など、静止画処理を行う動作モードの際に供給される電源であり、信号処理部２４Ｂ、解像度変換部２５Ｂおよび静止画コーデック部２７に供給されている。電源Ｖ３は、動画記録や動画再生など、動画処理を行う動作モードの際に供給される電源であり、動画コーデック部２８に供給されている。電源Ｖ４は、動作モードに依らず、常に供給される電源であり、表示制御部２９およびメモリコントローラ３５に供給されている。また、この例では、図示しないが、ＣＰＵ３１やＲＡＭ３６、表示装置３０などにも供給されている。

なお、各処理ブロックに供給される電源Ｖ１，Ｖ２，Ｖ３およびＶ４の電圧は、例えば、電源部４０から信号処理部２０に対してそれぞれ別の系統で供給されるようにしてもよい。この場合、それぞれの系統における電源電圧は、各動作モードに応じて異なる電圧となるようにしてもよいし、同一の電圧となるようにしてもよい。また、例えば、電源部４０から信号処理部２０に対して１つの系統で供給された電源を、信号処理部２０内で複数の系統に分離し、同一の電源を必要に応じて各処理ブロックに対して供給するようにしてもよい。

このような構成による撮像装置１における一例の動作について、概略的に説明する。ここでは、静止画記録の際の画角合わせを行う動作モードであるモニタリングモード時、静止画記録モード時および動画記録モード時の動作について説明する。

（１）モニタリングモード
先ず、この実施の一形態による撮像装置１におけるモニタリングモードの際の動作について説明する。モニタリングモード時には、図３に示すように、被写体からの光が光学系１０を介して撮像素子１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１２から出力されたＲＡＷデータは、信号処理部２０に入力され、センサＩ／Ｆ２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部２３で各種補正処理が施されて信号処理部２４Ａに供給され、ベースバンドの動画データに変換され、解像度変換部２５Ａに供給される。解像度変換部２５Ａに供給された動画データは、供給された動画データの解像度が、例えば表示装置３０に表示するのに適した解像度に変換される。そして、解像度変換部２５Ａで解像度が変換された動画データは、バス２１を介してメモリコントローラ３５に供給され、ＲＡＭ３６に書き込まれる。

ＲＡＭ３６に書き込まれた動画データは、所定にＲＡＭ３６から読み出され、バス２１を介して表示制御部２９に供給され、モニタリング画像として表示装置３０に表示される。

ここで、この発明の実施の一形態による撮像装置１におけるモニタリングモードの際の動作についての理解を容易とするため、従来の撮像装置１００におけるモニタリングモードの際の動作について、概略的に説明する。従来の撮像装置１００におけるモニタリングモードでは、図４に示すように、被写体からの光が光学系１１０を介して撮像素子１１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１１２から出力されたＲＡＷデータは、信号処理部１２０に入力され、センサＩ／Ｆ１２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ１２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出され、クロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部１２３で各種補正処理が施されて信号処理部１２４に供給され、ベースバンドの動画データに変換され、解像度変換部１２５に供給される。解像度変換部１２５に供給された動画データは、供給された動画データの解像度が、例えば表示装置１３０に表示するのに適した解像度に変換される。そして、解像度変換部１２５で解像度が変換された動画データは、バス１２１を介してメモリコントローラ１３５に供給され、ＲＡＭ１３６に書き込まれる。

ＲＡＭ１３６に書き込まれた動画データは、所定にＲＡＭ１３６から読み出され、バス１２１を介して表示制御部１２９に供給され、モニタリング画像として表示装置１３０に表示される。

この実施の一形態による撮像装置１におけるモニタリングモードでは、扱う画像サイズが水平６４０画素、垂直４８０画素を画枠とするＶＧＡ（Video Graphics Array）程度であるため、低いクロック周波数、例えば３０ＭＨｚ〜４０ＭＨｚ程度で動作させることができる。

一方、従来の撮像装置１００におけるモニタリングモードでは、信号処理部１２４および解像度変換部１２５が静止画データに対する処理にも対応可能なように共有化されているため、数１０ＭＢ（Mega Byte）程度の静止画データを扱う静止画処理を行うために必要なクロック周波数、例えば１００ＭＨｚ〜１５０ＭＨｚ程度で動作させる必要がある。

したがって、この実施の一形態による撮像装置１におけるモニタリングモードでは、従来の撮像装置１００と比較して低いクロック周波数で動作させることができる。そのため、従来の撮像装置１００と比較して、撮像装置１における回路規模を削減することができるとともに、回路の駆動電圧を下げて使用することができる。

また、各処理ブロックに対して供給される電源を分離し、モニタリングモードの際に使用しない処理ブロック、例えば静止画処理用の信号処理部２４Ｂ、解像度変換部２５Ｂ、静止画コーデック部２７および動画コーデック部２８に供給される電源Ｖ２およびＶ３を遮断することにより、不要な電力消費を抑制することができるとともに、ＬＳＩ内部で発生するリーク電流を抑制することができる。

（２）静止画記録モード
次に、この実施の一形態による撮像装置１における静止画記録モードの際の動作について説明する。静止画記録は、通常、モニタリング中に行われる。先ず、例えばモニタリング中に、静止画の記録を指示するために、入力デバイス３３として設けられたシャッタボタンが押下される。シャッタボタンの押下に応じた制御信号が入力デバイス３３からＣＰＵ３１に供給される。ＣＰＵ３１は、この制御信号に基づき、撮像装置１の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、図５に示すように、シャッタボタンが押下されたタイミングに対応するＲＡＷデータが、フロントエンド部１２から出力され、信号処理部２０に入力される。信号処理部２０に入力されたＲＡＷデータは、センサＩ／Ｆ２２に供給され、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、バス２１を介してメモリコントローラ３５に供給され、ＲＡＭ３６に格納される。

ＲＡＭ３６に格納されたＲＡＷデータは、所定のタイミングでＲＡＭ３６から読み出され、信号処理部２４Ｂに供給される。信号処理部２４Ｂに供給されたＲＡＷデータは、ベースバンドの静止画データに変換され、解像度変換部２５Ｂで解像度変換を施され、バス２１を介してメモリコントローラ３５に供給され、ＲＡＭ３６に書き込まれる。

ＲＡＭ３６に書き込まれたＲＡＷデータは、所定に読み出されてバス２１を介して静止画コーデック部２７に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。圧縮静止画データは、バス２１を介して記録再生制御部３７に供給され、記録媒体３８に記録される。

一方、従来の撮像装置１００における静止画記録モードでは、例えばモニタリング中に、静止画の記録を指示するために、入力デバイス１３３として設けられたシャッタボタンが押下された際に、シャッタボタンの押下に応じた制御信号が入力デバイス１３３からＣＰＵ１３１に供給される。ＣＰＵ１３１は、この制御信号に基づき、撮像装置１００の各部を、静止画記録を行うように制御する。

例えば、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データが取り込まれ記録される。すなわち、図６に示すように、シャッタボタンが押下されたタイミングに対応するＲＡＷデータが、フロントエンド部１１２から出力され、信号処理部１２０に入力される。信号処理部１２０に入力されたＲＡＷデータは、センサＩ／Ｆ１２２に供給され、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、バス１２１を介してメモリコントローラ１３５に供給され、ＲＡＭ１３６に格納される。

ＲＡＭ１３６に格納されたＲＡＷデータは、所定のタイミングでＲＡＭ１３６から読み出され、検波補正部１２３に供給される。検波補正部１２３に供給されたＲＡＷデータは、各種補正処理が施されて信号処理部１２４に供給される。信号処理部１２４に供給されたＲＡＷデータは、ベースバンドの静止画データに変換され、解像度変換部１２５で解像度変換を施され、バス１２１を介してメモリコントローラ１３５に供給され、ＲＡＭ１３６に書き込まれる。

ＲＡＭ１３６に書き込まれたＲＡＷデータは、所定に読み出されてバス１２１を介して静止画コーデック部１２７に供給され、例えばＪＰＥＧ方式に従って圧縮符号化される。圧縮静止画データは、バス１２１を介して記録再生制御部１３７に供給され、記録媒体１３８に記録される。

この実施の一形態による撮像装置１では、モニタリングモードの際の画像処理で用いられる信号処理部２４Ａと、静止画記録モードの際の画像処理で用いられる信号処理部２４Ｂとをそれぞれ設けるようにしているため、静止画記録モードにおける画像処理と、モニタリングモードにおける画像処理とを並列的に行うことができる。

例えば、モニタリング中にシャッタボタンが押下され、静止画撮影が行われる場合について考える。この発明の実施の一形態による撮像装置１では、図７Ａに示すように、モニタリング中にシャッタボタンが押下されると、光学系１０やフロントエンド部１１を介して静止画データの読み出しが行われ、信号処理部２４Ｂにより静止画処理が行われる。

このとき、読み出された静止画データに対する静止画処理は、信号処理部２４Ｂで行われるため、静止画処理が終了するのを待つことなく、信号処理部２４Ａを用いて並列的にモニタリング動作が再開される。

すなわち、この実施の一形態による撮像装置１では、静止画処理中であっても、表示部３０にモニタリング画像を表示して次の静止画撮影のための画角合わせを行うことができるため、ＲＡＭ３６の記憶領域に余裕があれば、次の静止画の撮影が可能となる。

一方、従来の撮像装置１００では、図７Ｂに示すように、モニタリング中にシャッタボタンが押下されると、光学系１１０やフロントエンド部１１１を介して静止画データの読み出しが行われ、信号処理部１２４により静止画処理が行われる。そして、静止画データに対する静止画処理が終了した後に、モニタリング動作が再開される。

すなわち、従来の撮像装置１００では、モニタリング動作および静止画記録の際に用いられる信号処理部１２４が共有化されているため、静止画処理が終了するまでは、表示部１３０にモニタリング画像を表示することができず、次の静止画の撮影を行うための画角合わせを行うことができない。

（３）動画記録モード
次に、この実施の一形態による撮像装置１における動画記録モードの際の動作について説明する。動画記録モード時には、図８に示すように、被写体からの光が光学系１０を介して撮像素子１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１２から出力されたＲＡＷデータは、信号処理部２０に入力され、センサＩ／Ｆ２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出されてクロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部２３で各種補正処理が施されて信号処理部２４Ａに供給され、ベースバンドの動画データに変換され、解像度変換部２５Ａに供給される。解像度変換部２５Ａに供給された動画データは、供給された動画データの解像度が、例えば表示装置３０に表示するのに適した解像度に変換される。そして、解像度変換部２５Ａで解像度が変換された動画データは、バス２１を介してメモリコントローラ３５に供給され、ＲＡＭ３６に書き込まれる。

ＲＡＭ３６に書き込まれた動画データは、所定にＲＡＭ３６から読み出され、バス２１を介して動画コーデック部２８に供給される。動画コーデック部２８は、例えばＭＰＥＧ２方式により圧縮符号化を行う。圧縮動画データは、バス２１を介してメモリコントローラ３５に供給され、ＲＡＭ３６に格納される。

なお、解像度変換部２５Ａで解像度変換された動画データをバス２１を介して拡張画像処理部２６に供給し、画像処理を施すようにしてもよい。

記録再生制御部３７は、ＲＡＭ３６に所定量以上の圧縮動画データが溜め込まれると、ＲＡＭ３６から、例えば記録媒体３８の記録単位毎に圧縮動画データを読み出し、記録媒体３８に記録する。

一方、従来の撮像装置１００における動画記録モードでは、図９に示すように、被写体からの光が光学系１１０を介して撮像素子１１１に入射され、光電変換により電気信号に変換され撮像信号としてフレームタイミング毎に出力される。撮像信号は、フロントエンド部１１２によりノイズ抑圧処理やゲイン制御などの所定の処理を施され、さらにＡ／Ｄ変換されてＲＡＷデータとしてフレームタイミング毎に出力される。フロントエンド部１１２から出力されたＲＡＷデータは、信号処理部１２０に入力され、センサＩ／Ｆ１２２に供給される。

ＲＡＷデータは、センサＩ／Ｆ１２２において、センサ駆動系クロックでバッファメモリに書き込まれ、システム系クロックでバッファメモリから読み出され、クロックの乗せ換えが行われる。クロックの乗せ換えが行われたＲＡＷデータは、検波補正部１２３で各種補正処理が施されて信号処理部１２４に供給され、ベースバンドの動画データに変換され、解像度変換部１２５に供給される。解像度変換部１２５に供給された動画データは、供給された動画データの解像度が、例えば表示装置１３０に表示するのに適した解像度に変換される。そして、解像度変換部１２５で解像度が変換された動画データは、バス１２１を介してメモリコントローラ１３５に供給され、ＲＡＭ１３６に書き込まれる。

ＲＡＭ１３６に書き込まれた動画データは、所定にＲＡＭ１３６から読み出され、バス１２１を介して動画コーデック部１２８に供給される。動画コーデック部１２８は、例えばＭＰＥＧ２方式により圧縮符号化を行う。圧縮動画データは、バス１２１を介してメモリコントローラ１３５に供給され、ＲＡＭ１３６に格納される。

記録再生制御部１３７は、ＲＡＭ１３６に所定量以上の圧縮動画データが溜め込まれると、ＲＡＭ１３６から、例えば記録媒体１３８の記録単位毎に圧縮動画データを読み出し、記録媒体１３８に記録する。

この発明の実施の一形態による撮像装置１では、動画記録モードの際の画像処理で用いられる信号処理部２４Ａと、静止画記録モードの際の画像処理で用いられる信号処理部２４Ｂとをそれぞれ設けるようにしているため、動画記録モードにおける画像処理と、静止画記録モードにおける画像処理とを並列的に行うことができる。

例えば、動画記録中にシャッタボタンが押下され、静止画撮影が行われる場合について考える。この発明の実施の一形態による撮像装置１では、図１０Ａに示すように、動画記録中にシャッタボタンが押下されると、光学系１０やフロントエンド部１１を介して静止画データの読み出しが行われ、信号処理部２４Ｂにより静止画処理が行われる。

このとき、読み出された静止画データに対する静止画処理は、信号処理部２４Ｂで行われるため、静止画処理が終了するのを待つことなく、信号処理部２４Ａを用いて並列的に動画記録が再開される。すなわち、この実施の一形態による撮像装置１では、静止画処理中であっても、動画記録を並列的に行うことができる。

一方、従来の撮像装置１００では、図１０Ｂに示すように、動画記録中にシャッタボタンが押下されると、光学系１１０やフロントエンド部１１１を介して静止画データの読み出しが行われ、信号処理部１２４により静止画処理が行われる。そして、静止画データに対する静止画処理が終了した後に、動画記録が再開される。

すなわち、従来の撮像装置１００では、動画記録および静止画記録の際に用いられる信号処理部１２４が共有化されているため、静止画処理が終了するまでは、動画記録を行うことができない。

次に、各動作モードにおける電源Ｖ１，Ｖ２，Ｖ３およびＶ４の制御シーケンスについて説明する。ここでは、例えば図１１に示すように、撮像装置１の電源が投入され、モニタリング中に静止画撮影が行われ、その後、記録媒体３８に予め記録された静止画および動画の再生が行われ、さらに、動画記録が行われる場合について考える。

時点ａにおいて、入力デバイス３３に設けられた電源キーが操作されて撮像装置１の電源がＯＮとされると、撮像装置１は、モニタリングモードで起動し、ＣＰＵ３１の制御に基づき電源Ｖ１および電源Ｖ４が供給される。そして、システム全体およびレンズ、センサ系など、モニタリング処理に必要な処理ブロックの初期化処理が行われる。初期化処理の後、表示部３０にモニタリング画像が表示され、撮影可能な状態となる。

時点ｂにおいて、入力デバイス３３に設けられたシャッタボタンが操作されると、動作モードが静止画記録モードに切り替わり、撮像素子１１の露光動作が開始されて静止画撮影が行われる。そして、シャッタボタンが押下された直後のフレームタイミングのＲＡＷデータに基づく静止画データの読み出しが行われ、ＣＰＵ３１の制御に基づき電源Ｖ２が供給されて静止画処理が開始される。また、静止画処理の開始と同時に、動作モードがモニタリングモードに復帰し、再度撮影が可能な状態となる。静止画処理が終了し、その時点で次の静止画撮影が行われていない場合には、電源Ｖ２が遮断される。こうすることにより、電源Ｖ２による待機電流の消費を防止することができる。

時点ｃにおいて、モニタリング処理動作中に、入力デバイス３３に設けられたモード切り換えキーが操作されて静止画再生モードが選択されると、ＣＰＵ３１の制御に基づき電源Ｖ１が遮断されるとともに、電源Ｖ２が供給される。そして、記録媒体３８に予め記録された静止画データのうち所定の静止画データが選択されると、選択された静止画データに対する静止画再生処理が開始され、表示部３０に表示される。

時点ｄにおいて、モード切り換えキーに対する操作により再生対象が静止画から動画へ切り替わった場合には、動作モードが動画再生モードに切り替わり、ＣＰＵ３１の制御に基づき電源Ｖ２が遮断されるとともに、電源Ｖ３が供給される。そして、記録媒体３８に予め記録された動画データのうち所定の動画データが選択されると、選択された動画データに対する動画再生処理が開始され、表示部３０に表示される。

時点ｅにおいて、モード切り替えキーが操作されて動画記録モードが選択されると、ＣＰＵ３１の制御に基づき電源Ｖ１が供給され、動画記録処理が開始される。時点ｆにおいて、電源キーが操作されて撮像装置１の電源がＯＦＦとされると、現在処理中の動作を終了させるとともに、必要なプログラムメモリのバックアップ処理を行い、ＣＰＵ３１の制御に基づき各電源Ｖ１，Ｖ２，Ｖ３およびＶ４が遮断される。

図１２は、各動作モードにおける電源Ｖ１，Ｖ２，Ｖ３およびＶ４の設定状態と、電源の駆動電圧およびクロック周波数との関係を示す。項目「Ｖ１」、「Ｖ２」、「Ｖ３」および「Ｖ４」は、各動作モードにおける電源Ｖ１，Ｖ２，Ｖ３およびＶ４のＯＮ／ＯＦＦ状態を示す。モニタリングモードでは、電源Ｖ１およびＶ４を「ＯＮ」、電源Ｖ２およびＶ３を「ＯＦＦ」に設定する。静止画記録モードにおける静止画データの読み出しの際には、電源Ｖ１およびＶ４を「ＯＮ」、電源Ｖ２およびＶ３を「ＯＦＦ」に設定し、静止画記録モードにおける画像処理の際には、電源Ｖ１、Ｖ２およびＶ４を「ＯＮ」、電源Ｖ３を「ＯＦＦ」に設定する。

また、静止画再生モードでは、電源Ｖ２およびＶ４を「ＯＮ」、電源Ｖ１およびＶ３を「ＯＦＦ」に設定する。動画記録モードでは、電源Ｖ１，Ｖ３およびＶ４を「ＯＮ」、電源Ｖ２を「ＯＦＦ」に設定する。動画再生モードでは、電源Ｖ３およびＶ４を「ＯＮ」、電源Ｖ１およびＶ２を「ＯＦＦ」に設定する。

項目「駆動電圧＃１」は、電源Ｖ１，Ｖ２，Ｖ３およびＶ４の電圧がそれぞれ異なる電圧として制御可能とした場合の、それぞれの電源Ｖ１，Ｖ２，Ｖ３およびＶ４の電圧の程度を示す。電源Ｖ１は、撮像素子を介して得られる撮像信号に対して各種処理を行うブロック（センサＩ／Ｆ２２、検波補正部２３、信号処理部２４Ａおよび解像度変換部２５Ａ）に対して供給される電源であるので、駆動電圧として「低」または「中」程度の電圧が必要となる。電源Ｖ２は、静止画処理を行う処理ブロック（信号処理部２４Ｂ、解像度変換部２５Ｂおよび静止画コーデック部２７）に対して供給される電源であるので、駆動電圧として「高」程度の電圧が必要となる。

電源Ｖ３は、動画処理を行う処理ブロック（動画コーデック部２８）に対して供給される電源であるので、駆動電圧として「中」程度の電圧が必要となる。電源Ｖ４は、常に電力が供給されている必要がある処理ブロック（例えば、ＣＰＵ３１、表示制御部２９およびメモリコントローラ３５）に対して供給される電源であるので、駆動電圧として「中」程度の電圧が必要となる。

項目「クロック周波数」は、電源Ｖ１，Ｖ２，Ｖ３およびＶ４のそれぞれの電圧が全て同一の電圧となるように制御した場合の、各動作モードにおいて必要とされるクロック周波数の程度を示す。モニタリングモードでは、扱う画像サイズがＶＧＡ程度であるため、クロック周波数として「低」程度の周波数が必要となる。

静止画記録モード（静止画データの読み出し）では、数１０ＭＢ程度の静止画データを読み出すため、クロック周波数として「中」程度の周波数が必要となる。また、静止画記録モード（画像処理）および静止画再生モードでは、数１０ＭＢ程度の静止画データに対して画像処理を施す必要があるため、クロック周波数として「高」程度の周波数が必要となる。動画記録モードおよび動画再生モードでは、動画データを扱うため、クロック周波数として「中」程度の周波数が必要となる。

項目「駆動電圧＃２」は、電源Ｖ１，Ｖ２，Ｖ３およびＶ４のそれぞれの電圧が全て同一の電圧となるように制御した場合の、各動作モードにおいて必要とされる電圧の程度を示す。モニタリングモードでは、扱う画像サイズがＶＧＡ（Video Graphics Array）程度であるため、駆動電圧として「低」程度の電圧が必要となる。

静止画記録モード（静止画データの読み出し）では、数１０ＭＢ程度の静止画データを読み出すため、駆動電圧として「中」程度の電圧が必要となる。また、静止画記録モード（画像処理）および静止画再生モードでは、数１０ＭＢ程度の静止画データに対して画像処理を施す必要があるため、駆動電圧として「高」程度の電圧が必要となる。動画記録モードおよび動画再生モードでは、動画データを扱うため、駆動電圧として「中」程度の電圧が必要となる。

なお、この場合における項目「駆動電圧＃２」の電圧は、クロック周波数に応じて決定するようにしてもよい。例えば、各動作モードに応じて必要とされるクロック周波数が高い場合には、駆動電圧も高くする必要がある。一方、必要とされるクロック周波数が低い場合には、駆動電圧も低く設定する。

ところで、この発明の実施の一形態では、各動作モードに応じて各処理ブロックに対する電源の供給を制御することに加え、各処理ブロックに対するクロックの供給を制御することによっても、消費電力を低減させることができる。例えば、動作モードが静止画再生モードや動画再生モードなどの再生モードに切り替わり、再生するデータが選択された後に、選択された再生データに対する画像処理等を行うと、再生を開始するのに時間がかかってしまう。そこで、一般には、動作モードが再生モードに変更された後、どのデータが選択されるかわからないので、再生されるデータが選択される前に、メモリから予めデータを読み出し、データの再生に必要な処理を事前に行うことで、選択されたデータの再生開始時間を短縮するようにしている。

しかしながら、上述のように、現在の動作モードにおいて不要なブロックに対する電源を遮断し、動作モードが再生モードに変更された後に、再生モードで必要な処理ブロックに対する電源を供給するようにした場合には、データの再生に必要な処理を事前に行うことができない。

そこで、例えば、再生処理を行う際に必要な処理ブロックに対する電源を常に供給しておき、この処理ブロックに対するクロックの供給を制御することで、再生開始時間を短縮することができる。

例えば、図１３に示すように、動画再生モードにおける電源Ｖ２と、静止画再生モードにおける電源Ｖ３とを「ＯＮ」に設定した状態とし、電源Ｖ２およびＶ３が供給されている処理ブロックへのクロックの供給を「ＯＦＦ」に設定しておく。そして、例えば動作モードが動画再生モードまたは静止画再生モードに切り替わった時点で、対応するクロックの供給を「ＯＮ」に設定する。

こうすることで、電源Ｖ２およびＶ３は供給されているため、再生されるデータが選択される前に、メモリから予めデータを読み出し、データの再生に必要な処理を事前に行っておくことが可能となる。そして、クロックを「ＯＮ」に設定した段階で、再生データに対する処理を行うことができ、選択されたデータの再生開始時間を短縮することができる。

このように、この発明の実施の一形態では、各処理ブロックに対して供給される電源を分離し、それぞれ異なる系統で電源を供給することにより、動作モードに応じて必要な処理ブロックのみに対して電源を供給することができるため、各動作モードにおいて不要となる冗長な処理ブロックによる電力消費やリーク電流を低減させることができる。

また、消費電力に対して支配的であるモニタリングモードにおいて、従来よりも低いクロック周波数で動作させるようにしているため、モニタリング動作に必要な処理ブロックに対する供給電源を下げることができ、消費電力を低減させることができる。

以上、この発明の実施の一形態について説明したが、この発明は、上述したこの発明の実施の一形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明の実施の一形態に適用可能な撮像装置の一例の構成を示すブロック図である。 撮像装置における各処理ブロックに対して供給される電源について説明するためのブロック図である。 この発明の実施の一形態に適用可能な撮像装置におけるモニタリングモード時の一例の動作について説明するための略線図である。 従来の撮像装置におけるモニタリングモード時の一例の動作について説明するための略線図である。 この発明の実施の一形態に適用可能な撮像装置における静止画記録モード時の一例の動作について説明するための略線図である。 従来の撮像装置における静止画記録モード時の一例の動作について説明するための略線図である。 静止画記録モードの際の動作について説明するための略線図である。 この発明の実施の一形態に適用可能な撮像装置における動画記録モード時の一例の動作について説明するための略線図である。 従来の撮像装置における動画記録モード時の一例の動作について説明するための略線図である。 動画記録モードの際の動作について説明するための略線図である。 電源の制御シーケンスを説明するための略線図である。 各動作モードにおける電源の設定状態と、電源の駆動電圧およびクロック周波数との関係を示す略線図である。 各動作モードにおける電源の設定状態と、電源の駆動電圧およびクロック周波数との関係を示す略線図である。 従来の撮像装置の一例の構成を示すブロック図である。

符号の説明

１ 撮像装置
１１ 撮像素子
２０ 信号処理部
２１ バス
２２ センサインターフェース
２３ 検波補正部
２４Ａ、２４Ｂ 信号処理部
２５Ａ、２５Ｂ 解像度変換部
２６ 拡張信号処理部
２７ 静止画コーデック部
２８ 動画コーデック部
２９ 表示制御部
３０ 表示装置
３１ ＣＰＵ
３２ ＲＯＭ
３３ 入力デバイス
３４ 外部インターフェース
３５ メモリコントローラ
３６ ＲＡＭ
３７ 記録再生制御部
３８ 記録媒体
３９ クロックジェネレータ
４０ 電源部

Claims (12)

1. 光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像部と、
   上記撮像部から出力された撮像信号からＹ／Ｃ信号を生成する第１の信号処理部と、
   上記撮像部から出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を生成する第２の信号処理部と、
   上記第１および第２の信号処理部のそれぞれに供給される電源を、上記撮像部を用いる動作モードに応じて制御する制御部と
   を有し、
   上記制御部は、
   モニタリングモードにおいては、上記第１の信号処理部に対して電源を供給し、上記第２の信号処理部に対する電源を遮断し、上記第１の信号処理部の出力を表示し、
   静止画記録モードにおいては、上記第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、上記モニタリングモードにおける画像処理とを並列的に行うことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   上記制御部は、
   上記第１および第２の信号処理部のそれぞれに供給されるクロックをさらに制御する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   上記制御部は、
   上記第１および第２の信号処理部のそれぞれに供給される電源の駆動電圧をさらに制御する
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   上記メモリから読み出したデータを静止画として処理する静止画処理部を有し、
   上記制御部は、
   上記モニタリングモードにおいて、上記静止画処理部に供給される電源を遮断する
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   上記メモリから読み出したデータを動画として連続的に処理する動画処理部を有し、
   上記制御部は、
   上記モニタリングモードにおいて、上記動画処理部に供給される電源を遮断する
   ことを特徴とする撮像装置。
6. 光を光電変換で電気信号に変換して撮像信号としてフレームタイミングで出力する撮像ステップと、
   上記撮像ステップにより出力された撮像信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、
   上記撮像ステップにより出力された撮像信号が書き込まれたメモリから読みだされた撮像信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、
   上記第１および第２の信号処理部のそれぞれに供給される電源を、撮像部を用いる動作モードに応じて制御するステップと
   を有し、
   モニタリングモードにおいては、上記第１の信号処理部に対して電源を供給し、上記第２の信号処理部に対する電源を遮断し、上記第１の信号処理部の出力を表示するようにし、
   静止画記録モードにおいては、上記第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、上記モニタリングモードにおける画像処理とを並列的に行う
   ことを特徴とする撮像装置の制御方法。
7. 撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を生成する第１の信号処理部と、
   上記入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を生成する第２の信号処理部と、
   上記第１および第２の信号処理部のそれぞれに供給される電源を、上記撮像部を用いる動作モードに応じて制御する制御部と
   を有し、
   上記制御部は、
   モニタリングモードにおいては、上記第１の信号処理部に対して電源を供給し、上記第２の信号処理部に対する電源を遮断し、上記第１の信号処理部の出力を表示するようにし、
   静止画記録モードにおいては、上記第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、上記モニタリングモードにおける画像処理とを並列的に行う
   ことを特徴とする信号処理装置。
8. 請求項７に記載の信号処理装置において、
   上記制御部は、
   上記第１および第２の信号処理部のそれぞれに供給されるクロックをさらに制御する
   ことを特徴とする信号処理装置。
9. 請求項７に記載の信号処理装置において、
   上記制御部は、
   上記第１および第２の信号処理部のそれぞれに供給される電源の駆動電圧をさらに制御する
   ことを特徴とする信号処理装置。
10. 請求項７に記載の信号処理装置において、
    上記外部のメモリから読み出したデータを静止画として処理する静止画処理部を有し、 上記制御部は、
    上記モニタリングモードにおいて、上記静止画処理部に供給される電源を遮断する
    ことを特徴とする信号処理装置。
11. 請求項７に記載の信号処理装置において、
    上記外部のメモリから読み出したデータを動画として連続的に処理する動画処理部を有し、
    上記制御部は、
    上記モニタリングモードにおいて、上記動画処理部に供給される電源を遮断する
    ことを特徴とする信号処理装置。
12. 撮像部から所定タイミング毎に入力される信号からＹ／Ｃ信号を第１の信号処理部で生成するステップと、
    上記入力される信号が書き込まれた外部のメモリから読みだされた信号からＹ／Ｃ信号を第２の信号処理部で生成するステップと、
    上記第１および第２の信号処理部のそれぞれに供給される電源を、上記撮像部を用いる動作モードに応じて制御するステップと
    を有し、
    上記制御ステップは、
    モニタリングモードにおいては、上記第１の信号処理部に対して電源を供給し、上記第２の信号処理部に対する電源を遮断し、上記第１の信号処理部の出力を表示するようにし、
    静止画記録モードにおいては、上記第１および第２の信号処理部に対して電源を供給することによって、静止画記録モードにおける画像処理と、上記モニタリングモードにおける画像処理とを並列的に行う
    ことを特徴とする信号処理方法。

Images