JP4695481B2 - 撮像装置及び撮像方法 - Google Patents

Description

高感度で高解像な撮像が可能な撮像装置及び撮像制御方法に関する・

デジタルカメラに撮像装置が用いられている。ところで、技術の進歩に伴い、デジタルカメラにおいて、センサーの画素数が多くなったことに加え、撮像装置の小型化が進み、センサーの各ピクセルが非常に微細になった。高画素により解像度の向上は得られたが、そのトレードオフとしてセンサーの感度が低くなってしまった。その結果、暗いところで手ぶれが発生しやすくなった。センサー出力が小さくなった分を電気的に増幅する方式は古くから用いられているが、この場合ノイズもいっしょに増幅してしまうために、あまり大きな増幅は行うことはできない。

そのため、次のように、多くの発明がなされている。

複数画素加算により感度を向上させる発明（特許文献１参照。）、また、感度が高い画素と感度が低い画素が混在する特殊な（ハニカム）ＣＣＤ（Charge Coupled Device）を使い、高感度データと低感度データを使って画素加算を行い、高ダイナミックレンジと高感度と高解像度を実現させた発明（特許文献２参照。）、静止画用に分割転送するＣＣＤのフィールド間を比較した場合に差が少ないときに、低輝度の被写体をフィールドを加算することで高感度化を行った発明（特許文献３参照。）、複数画素を加算して高感度を得るもので、読み出し時に読み出しタイミングを工夫することで、画素加算によって低下する解像度の低下を抑えた発明（特許文献４参照。）、高感度撮影時は複数画素加算を行い、高解像度撮影時は加算を行わない読み出しを行った発明（特許文献５参照。）、高感度撮影のため、明るさにあわせて水平画素加算の加算条件を変えた発明（特許文献６参照。）、複数回撮影した画面同士を加算することで高感度化を行う発明（特許文献７参照。）。

なお、感度とは、受光素子に所定時間Ｔ露光したときの感度を“１”とし、二つの受光素子の出力を加算した場合は、その感度は“２”と同等になる。また、同じ、受光素子に、２Ｔの時間露光した場合は、その感度は“２”と同等の露光量（蓄積データ量又は輝度）となる。
特開２００５−４５４３５公報 特開２００４−３３６４６８公報 特開２００４−２３５９０１公報 特開２００２−８４５４８公報 特開平１１−２９８８００公報 特許第３１２３４１５号公報 特開平５−３４４４１７公報

特許文献１、４、５及び６に記載された発明は、いずれも、後述する図３のような読み出し時に画素加算をして読み出す方式がある。この方式は２つ以上の画素の出力を加算して読み出すことにより、感度は加算した画素数分だけアップすることができるが、画素数が少なくなったことと等価であり、全画素を使った撮影よりも解像度が落ちるという問題がある。

また、特許文献２に記載された発明は、感度が高い画素と低い画素をセンサーの中に混在させて、ダイナミックレンジの拡大と高感度化を実現しようとしているものであるが、特殊なセンサーが必要になるとともに、後段の処理も複雑になり、回路規模拡大からコストアップと撮像装置の大型化という問題となってしまう。またセンサーを同サイズで同画素数とした場合、高感度画素の数は、全画素数よりも少なくなるため、暗くない場所で解像度が低下するという問題がある。

また、特許文献３に記載された発明は、読み出し後にライン間で加算をするものであるが、これも解像度が低下するという問題がある。

特許文献７に記載された発明は、連続的に撮影した静止画同士を加算することで感度を高める方法の発明である。この公報の方式では取り込んだ画面同士の時間差が問題となる。５００万画素などの高画素撮像装置では、全画素を読み出すために２００ｍｓｅｃ以上の時間がかかってしまう。そのため画像間の露光タイミングのずれは露光時間を考えると２５０ｍｓｅｃ程度となり（換言すれば、この発明では、２５０ｍｓｅｃ以上異なる時間の画像を加算することになる。）、手持ちでの撮影は困難になる。また、動いている物体の撮影もブレが生じてしまう。

また、手ブレを防ぐために機械的な機構を設ける撮像装置もあるが、これはブレを検出する装置と、レンズ又はセンサーなどを動かす装置が必要になり、コストアップにつながるという問題がある。また、この方式は被写体が動く、いわゆる物体ブレには対応できないという問題がある。

フラッシュの光量を大きくする方法もあるが、この場合は、電荷をためるコンデンサーの容量を大きくする必要があり、コストアップと大型化が問題である。また、遠近の両方に被写体がある場合に、手前が適正になるように発光量を調整すると、遠い側の被写体が暗くなってしまうという問題が発生ある。

以上のような問題の対策として、本発明は、画面間加算と画素間加算を組み合わせ、画面間加算の画面間タイムラグを小さくすることで、特殊なセンサーを用いることなく高感度と高解像度な撮像装置及び撮像方法を提供することを目的とするものである。

上記目的を達成するために、本発明の撮像装置は、マトリックス状に配置されたＮ個の受光素子と、該受光素子を駆動して撮像信号を読出す駆動手段とを有する撮像装置において、
前記駆動手段が、全部又は一部の前記受光素子から前記撮像信号を読出す際、所定の位置関係にある複数の前記受光素子からの撮像信号を、該受光素子の読取時に加算して得たＭ（Ｍ＜Ｎ）個の画素データを有する第１の画像データと、
前記駆動手段が、全部又は一部の前記受光素子から前記撮像信号を読出して得たＯ（Ｎ≧Ｏ＞Ｍ）個の画素データを有する第２の画像データと、
を合成して、第３の画像データを合成する合成手段と、
高域周波数通過フィルタとを有し、
前記合成手段は、前記第１の画像データと、前記高域周波数通過フィルタにより処理された第２の画像データとを合成することを特徴とする。

これにより、高感度低解像度画像である第１の画像データと低感度高解像度画像である第２の画像データとを加算することで、従来の高感度化の隣接画素加算することによって落ちてしまった解像度を高解像度画像によって補うことで、高感度で高解像度を実現することができる。
また、低感度高解像度画像である第２の画像データに対して高域周波数通過フィルタ処理を行った上で、高感度低解像度画像である第１の画像データとの合成を行うことにより、低感度高解像度画像である第２の画像データのエッジ成分を取り出して加算することで、加算による白とび（高輝度クリップ）の可能性を低くすることができる。

また、上記目的を達成するために、本発明の撮像装置は、前記受光素子を露光する露光手段を有し、前記駆動手段が、前記第１の画像データを読出す期間と、前記露光手段が、第２の画像データを得るために前記受光素子を露光する期間とが、一部重複するように構成することができる。

このように、高感度低解像度画像である第１の画像データを読出す期間と低感度高解像度画像である第２の画像データのための露光する期間とが、一部重複するようしたので、第１の画像データと第２の画像データのタイミングラグを小さくすることができる。

また、上記目的を達成するために、本発明の撮像装置は、前記受光素子を露光する露光手段と、前記第１の画像データ及び前記第２の画像データを、画像データの合成等の処理を行う信号処理部に転送する転送手段とを有し、前記露光手段が第１の画像データを得るために前記受光素子に対して露光を行い、さらに、前記転送手段が第１の画像データを転送した後に、前記露光手段が第２の画像データを得るために前記受光素子に対して露光を行い、さらに、前記転送手段が第２の画像データを転送するように構成することができる。

これにより、高感度低解像度画像である第１の画像データのために露光して読出す期間が、低感度高解像度画像である第２の画像データのために露光して読出す期間よりも、短いので、第１の画像データを得てから、第２の画像データを得るようにしても、第１の画像データと第２の画像データのタイミングラグを小さくすることができる。つまり、高感度で短い転送時間の高感度用データの露光と転送を先に行うことで、従来の２画面加算で発生していた露光開始タイミングのタイムラグを短くすることができ、手ブレを発生しにくくすることができる。

また、上記目的を達成するために、本発明の撮像装置は、画像サイズ変換手段を有し、前記合成手段は、前記画像サイズ変換手段により拡大された前記第１の画像データと、第２の画像データとを合成するように構成することができる。

これにより、高感度低解像度画像である第１の画像データと、低感度高解像度画像である第２の画像データの良い所を取って、画像データを合成することができる。つまり、大きいサイズにあわせることで、高解像度のデータの情報を削ることなく使用し、高画質な画像を得ることができる。

また、上記目的を達成するために、本発明の撮像装置は、前記第１の画像データ及び前記第２の画像データから、所定の値を減算する減算手段を有し、前記合成手段は、前記減算手段により、所定の値が減算された前記第１の画像データ又は前記第２の画像データを用いて、合成を行うように構成することができる。

これにより、一定の値を減算すること低輝度部のノイズを除去することができる。なお、この処理は、低感度高解像度画像に対して、より有効である。

また、上記目的を達成するために、本発明の撮像装置は、ホワイトバランス調整手段を有し、ホワイトバランス調整手段は、前記第１の画像データに基づいて、前記第２の画像データのホワイトバランスを調整するように構成することができる。

このように、信号レベルの大きい高感度低解像度画像である第１の画像データから静止画撮影時のＡＷＢ評価値（ＲＧＢ積算）を取得することで、ノイズの影響が少ない安定したＡＷＢ処理を行うことができる。

また、上記目的を達成するために、本発明の撮像装置は、前記第１の画像データから、所定の値を減算する減算手段を有し、前記ホワイトバランス調整手段は、前記減算手段が、前記第１の画像データから所定の値を減算する前の前記第１の画像データに基づいて、ホワイトバランスを調整するように構成することができる。

これにより、減算によりホワイトバランスがずれることを防ぐことができる。減算後にＡＷＢゲイン乗算を行うと、減算した効果が異なってしまう。例えば、Ｒ＝Ｂ＝１０、Ｇ＝２０として、Ｒゲインが２倍、Ｂゲインが２倍、減算する値を３だとする。減算を先に行うと、Ｒ：（１０−３）×２＝１４、Ｇ：（２０−３）＝１７、Ｂ：（１０−３）×２＝１４となりホワイトバランスが崩れてしまう。先にＡＷＢゲイン乗算を行うと、Ｒ：（１０×２）−３＝１７、Ｇ：（２０−３）＝１７、Ｂ：（１０×２）−３＝１７となりホワイトバランスは崩れない。

また、上記目的を達成するために、本発明の撮像装置は、前記駆動手段により読み出される受光素子数を切り換える読出し画素数切換手段を有するように構成することができる。

これにより、例えば、記録画素数により高感度用データの読み出し画素数を変更するものである。少ない画素数を記録するときは、転送する画素数を減らすことで、２回の露光開始タイミングのずれをさらに短くすることが可能となる。

また、上記目的を達成するために、本発明の撮像方法は、マトリックス状に配置されたＮ個の受光素子を駆動して撮像信号を読出す駆動ステップと、
画像データに対して高域周波数成分を通過させる高域周波数通過フィルタ処理を行う高域周波数通過フィルタステップとを有する撮像方法であって、
前記駆動ステップは、全部又は一部の前記受光素子から前記撮像信号を読出して、所定の位置関係にある複数の前記受光素子からの撮像信号の加算を行って、Ｍ（Ｎ＞Ｍ）個の画素データ得る第１の駆動ステップと、全部又は一部の前記受光素子から前記撮像信号を読出して、Ｏ（Ｎ≧Ｏ＞Ｍ）個の画素データを得る第２の駆動ステップとを有し、
当該撮像方法は、
前記第１の駆動ステップで得た第１の画像データと、前記第２の駆動ステップで得た第２の画像データとを合成して、第３の画像データを合成する合成ステップと、
前記合成ステップは、前記第１の画像データと、前記高域周波数通過フィルタステップにより処理された第２の画像データとを合成することを特徴とする。

また、上記目的を達成するために、本発明の撮像方法は、前記受光素子を露光して第２の画像データを得る露光ステップを有し、前記第１の駆動ステップにより前記第１の画像データを読出している期間と、前記露光ステップにより第２の画像データを得るために前記受光素子を露光する期間とが、一部重複するように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、前記第１の画像データを、画像データの合成等の処理を行う信号処理部に転送する第１の転送ステップと、前記第２の画像データを、前記信号処理部に転送する第２の転送ステップと、前記受光素子を露光して第１の画像データを得るための露光を行う第１の露光ステップと、前記受光素子を露光して第２の画像データを得るための露光を行う第２の露光ステップと、を有し、第１の露光ステップ及び第１の転送ステップの後に、第２の露光ステップ及び第２の転送ステップを有するように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、前記第１の画像データの画像サイズを変換する画像サイズ変換ステップを有し、前記合成ステップは、前記画像サイズ変換ステップにより拡大された前記第１の画像データと、第２の画像データとを合成するように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、前記第１の画像データから、所定の値を減算する第１の減算ステップと、前記第２の画像データから、所定の値を減算する第２の減算ステップと、を有し、前記合成ステップは、第１の減算ステップ又は第２の減算ステップにより、所定の値が減算された前記第１の画像データ又は前記第２の画像データに対して、合成を行うように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、ホワイトバランス調整ステップを有し、ホワイトバランス調整ステップは、前記第１の画像データに基づいて、ホワイトバランスを調整するように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、前記第１の画像データから、所定の値を減算する減算ステップを有し、前記ホワイトバランス調整ステップは、前記減算ステップにより前記第１の画像データから所定の値を減算する前の前記第１の画像データに基づいて、ホワイトバランスを調整するように構成することができる。

また、上記目的を達成するために、本発明の撮像方法は、前記駆動ステップにより読み出される受光素子数を切り換える画素数切換ステップを有するように構成することができる。

本発明は、画面間加算と画素間加算を組み合わせ、画面間加算の画面間タイムラグを小さくすることで、特殊なセンサーを用いることなく高感度と高解像度な撮像装置及び撮像方法を提供することができる。

以下にデジタルカメラを例として、図面により本発明の実施例を示す。
（システム構成）
図１は本実施形態に係わるデジタルカメラのブロック図であり、図２はカメラの外観図である。

最初に、図１に示されているデジタルカメラのブロック図の各部についての説明をする。

レンズユニット内にあるレンズ（ズーム及びフォーカスレンズ）は、モータドライバ１５によって駆動される。モータドライバ１５は、信号処理ＩＣの内部に含まれるＣＰＵ（Central Processing Unit）１３５によって制御される。

撮像部は、ＣＣＤ１１、ＣＣＤ１１を駆動するＴＧ（タイミング信号発生器）１２４、ＣＣＤからの出力データから画像信号をサンプリングするＣＤＳ１２１、ＡＧＣ（アナログゲインコントローラ）１２２、ＣＣＤ１１からの出力電気信号（アナログ画像データ）をデジタル信号に変換するＡ／Ｄ変換器１２３から構成されている。ここで、ＣＤＳ１２１、ＡＧＣ１２２、Ａ／Ｄ変換器１２３及びＴＧ１２４をＡＦＥ（アナログフロントエンド）１２と言う。

なお、ＴＧ１２４は、ＣＰＵ１３５の制御の元に、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）に基づいて、ＣＣＤ１１、ＣＤＳ１２１、ＡＧＣ１２２及びＡ／Ｄ変換器１２３にタイミング信号を供給している。ＴＧ１２４は、マトリックス状に配置された受光素子を駆動して撮像信号を読出す駆動手段に、受光素子の読出しの為のタイミングを発生して、駆動手段に供給する。駆動手段は、ＴＧ１２４が生成したタイミングに基づいて、受光素子に蓄積された電荷の転送を行う。つまり、ＴＧ１２４が生成したタイミングに基づいて、受光素子に蓄積された電荷は、垂直転送、水平転送が行われる。また、垂直転送、水平転送が行われる際に、ＴＧ１２４が生成したタイミングに基づいて、受光素子の間引き、電荷の加算等が行われる。

その結果、ＴＧ１２４は、受光素子数を切り換える機能を有していると言える。

また、ＴＧ１２４は、電子シャッタ出力を行うことができ、電子シャッタの出力本数を変更することで、受光素子の露光時間を制御する機能を有している。

また、撮像部からのデジタル信号は、信号処理ＩＣ１３に印加されて、信号処理される。図１の信号処理ＩＣ１３は、メモリコントローラ１３１、ＣＣＤＩ／Ｆ部１３２、画像処理部１３３、リサイズ・フィルタ部１３４、システム制御を行うＣＰＵ１３５、表示Ｉ／Ｆ部１３６、JPEGコーデック部１３７、画素間演算部１３８、カードコントローラ部１３９、通信Ｉ／Ｆ部１４０から構成されている。

ＣＣＤＩ／Ｆ部１３２は、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ変換器１２３から入力されるデジタルＲＧＢ信号を取り込む。

ここでは、画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）は、信号処理ＩＣ１３から出力される形式をとったが、ＴＧ１２４から出力されるような形式として同期をとるシステムとしてもよい。

モニタリング動作時は、ＲＧＢデータを画像処理部１３３に送り、画像処理部１３３では、ＲＧＢデータをＹＵＶデータに変換し、さらに、リサイズ・フィルタ部１３４で表示に適したサイズに変換した画像データがＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７のＹＵＶデータ領域１７３に出力される。

なお、ＳＤＲＡＭ１７は、ＹＵＶデータ領域１７３以外に、ＲＡＷ−ＲＧＢデータ領域１７２及びＪＰＥＧデータ領域１７４を有している。ＹＵＶデータ領域１７３には、ＹＵＶ形式の画像データが記憶され、ＲＡＷ−ＲＧＢデータ領域１７２には、撮像部からの生のＲＧＢ形式の画像データが記憶され、ＪＰＥＧデータ領域１７４には、ＪＰＥＧ形式のデータが記憶される。

モニタリング動作に続く、静止画撮影時は、ＣＣＤ１１の全画素を複数回に分けて転送が行われるため、各フィールドデータはメモリコントローラ１３１経由でＳＤＲＡＭ１７のＲＡＷ−ＲＧＢデータ領域１７２に記憶される。

画像処理部１３３は、システム制御を行うＣＰＵ１３５から設定された画像処理パラメータに基づき、ＣＣＤＩ／Ｆ１３２から送られてきたＲＧＢデータ、又は、ＳＤＲＡＭ１７に一時保管されたＲＧＢデータをＹＵＶデータに変換処理して出力する。

リサイズ・フィルタ部１３４は、ＹＵＶデータとＲＧＢデータを入力とし、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。このリサイズ・フィルタ部１３４は、空間フィルタ処理機能も有している、拡大や縮小をした時に発生するギザギザ感やモザイクなどの画質劣化を軽減するために、線形補間、バイキュービック補間などの複数の補間方式が選択可能で、必要な画質や速度に応じて、ＣＰＵ１３５によって設定が変更されて、フィルタ処理が行われる。例えば、モニタリング時は高速の処理速度が必要なため、水平のみの線形補間やフィルタＯＦＦ（単純間引き）が選択され、静止画撮影時は、解像度が必要なためバイキュービック補間が選択される。

また、リサイズ・フィルタ部１３４は、リサイズ倍率を１倍に設定することで、リサイズを行わず、フィルタ機能だけ動作させることができる。フィルタの設定としては、空間周波数が高い成分（画像のエッジ成分）だけを取り出すハイパスフィルタや、空間周波数が低い成分だけを取り出して平滑化をするローパスフィルタが設定可能である。

画素間演算部１３８は、２つの画像データの対応する各画素間の演算を行う。扱う画像データはＹＵＶ形式のデータとＲＧＢ形式のデータであり、各ＹＵＶ又は各ＲＧＢのデータのｂｉｔ数は８、１２，１６ｂｉｔから選択が可能である。入力画像をＡとＢとし、出力画像をＣとすると以下のような式で演算が行われる。

Clip[ α×Ａ（x,y） ＋ β×B（x,y） ] ＝ Ｃ（x,y） ・・・（１）
Clip[ α×Ａ（x,y） × β×B（x,y） ] ＝ Ｃ（x,y） ・・・（２）
Clip[ α×Ａ（x,y） ／ β×B（x,y） ] ＝ Ｃ（x,y） ・・・（３）
また、画素間演算部１３８は、その他、次の式（４）の演算を含む多様な演算が可能である。

Clip[ α×Ａ（x,y） ＋ β ] ＝ Ｃ（x,y） ・・・（４）
ただし、-１２８≦α≦１２７，-１２８≦β≦１２７
x,yは、各画像における水平(x)と垂直(y)の位置である。なお、原点は、画面の中央又は左上等に設定する。

Clip[ ]は、出力画像Ｃで選択された出力ｂｉｔ数でクリップを行う。
表示I/F部１３６はＳＤＲＡＭ１７に書き込まれた表示用データを表示装置（ＬＣＤ／ＴＶ等）１９に送り、撮影画像の表示を行う。この表示装置１９は、カメラが内蔵しているＬＣＤに表示することも、ＴＶビデオ信号として出力してテレビに表示することも可能である。

JPEGコーデック部１３７は、記録時はＳＤＲＡＭ１７のＹＵＶデータ領域１７３に書き込まれたＹＵＶ形式の画像データを圧縮して、JPEG符号化されたデータを出力し、再生時は、メモリカード２０より読み出したJPEG符号化データを、ＹＵＶ形式の画像データに伸張して出力する。

カードコントローラ部１３９は、ＣＰＵ１３５の指示により、メモリカード２０内データのＳＤＲＡＭへの読み出しと、ＳＤＲＡＭ１７上のデータのメモリカードへ２０の書き込みを行う。

全体制御部であるＣＰＵ１３５は、起動時に書き換え可能なＲＯＭ１８に格納されたプログラム及び制御データをＳＤＲＡＭ１７にロードし、そのプログラムコードに基づいて全体を制御する。ＣＰＵ１３５は、操作部１４のボタン等による指示、又は図示しないリモコン等の外部動作指示、又はパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像処理装置における画像処理パラメータの設定、メモリコントロール、表示制御を行う。

通信Ｉ/Ｆ部１４０は、ＵＳＢ（Universal Serial Bus）回線２１を介して、ＰＣ（Personal Computer）やプリンタなどとの通信によって、画像ファイルの送受信を行う。また、ＵＳＢ回線２１を介して、ＣＰＵ１３５の制御プログラムのバージョンアップも、ＰＣからプログラムを受信することで実現している。なお、通信Ｉ/Ｆ部１４０は、ＵＳＢ回線以外の回線と接続するようにしてもよい。

操作部１４は、図２にある各種ボタンやスイッチに相当し、撮影者が撮像装置の動作指示を行うためのものであり、撮影を指示するレリーズキー、光学ズーム及び電子ズーム倍率を設定するズームボタン、露光モード選択や記録サイズ選択やその他の各種設定を外部から行うための入力手段を備えている。
（通常モード）
静止画の撮影モードは、従来の通常モードの撮影と、高感度撮影モードがある。

最初に、５００万画素のデジタルカメラを例として、通常モードの撮影動作についての説明を行う。

図２の撮影/再生切り替えダイアル２５を撮影に設定し、電源釦２６によってカメラを起動すると、図１のモータドライバ１５によって、レンズが撮影可能位置に移動し、ＬＣＤ（図１の表示装置１９）には電子ファインダ機能であるモニタリング映像が表示される。

起動状態から、ズーム望遠釦２７を押すことで、ズームレンズが望遠側（以下テレ側）へ移動する。ズーム広角釦２８を押すと、ズームレンズが広角側（以下ワイド側）に移動する。

このときのＣＣＤの駆動形式は、図３（Ａ）（画素加算１/４ライン読み出し）である。図３（Ａ）において、白い画素が読み出され、黒い画素は読み出されない。また、読み出された画素は、垂直方向で２つの画素が加算され、「垂直方向で加算された」画素がさらに、水平方向の他の「垂直方向で加算された」画素と加算される。したがって、ラインは１／４に間引かれるが、データの大きさは、１画素のデータの大きさに対して４倍の大きさ（したがって、４倍の明るさとなる。）となっている。

記録画素が２５６０×１９２０ピクセルの５００万画素のＣＣＤの場合、図３（Ａ）のように、画素加算１/４ライン読み出しを行うことによって、水平画素数は半分になり、垂直画素数は１/８になるため、１２８０×２４０画素のデータが出力される。

この画素読み出しや加算転送の制御信号を出しているのが、図１のＴＧ１２４である。

ＴＧ１２４は信号処理ＩＣ１３からの画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）を動作の起点として、ＣＣＤ１１へ制御信号を出力している。ＡＦＥ１２もＴＧ１２４からのタイミング信号に同期して、ＣＤＳ１２１でＣＣＤ出力画像データをサンプリングし、ＡＧＣ１２２で増幅し、Ａ／Ｄ変換器１２３でＡ／Ｄ変換を行い、１２ｂｉｔのＲＧＢデータとして出力を行う。ＣＣＤＩ/Ｆ１３２もＴＧ１２４から出力される画像転送クロックに同期して、ＲＧＢ形式の画像データを信号処理ＩＣ１３の中に取り込む。信号処理ＩＣ１３では、最初に、ＣＣＤＩ/Ｆ１３２で黒レベル調整やホワイトバランス調整を行った後に、ガンマ変換を行って８ｂｉｔのＲＧＢ形式の画像データとして画像処理部１３３へ画像データを出力する。画像処理部１３３では、ＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換処理やエッジ強調処理が行われ、リサイズ・フィルタ部１３４へ出力する。リサイズ・フィルタ部１３４は、画像処理部１３３よりＣＣＤの駆動（走査）にほぼ同期して順次送られてくる１２８０×２４０画素のＹＵＶ形式の画像データに対して、線形補間を行った後にリサンプリングすることで、表示用の６４０×４８０画素にリサイズを行い、メモリコントローラ１３１を介してＳＤＲＡＭ１７に出力する。この動作はＣＣＤの読み出しサイクルである６０フレーム／秒のサイクルで繰り返される。

表示Ｉ/Ｆ部１３６は、上述したように、生成された６４０×４８０画素のＹＵＶ形式の画像データに、ＴＶ表示やＬＣＤ表示に必要な制御信号を付加した後に、表示装置であるＴＶやＬＣＤに出力する。
（オートホワイトバランス）
オートホワイトバランス（以下ＡＷＢ）制御について説明する。

図１におけるＣＣＤＩ／Ｆ部１３２は、図４のように画像を分割したそれぞれのブロック毎に、後述するＡＷＢ評価値であるＲＧＢ毎の積算値（ＲＧＢ積算値）を算出する。この積算値されたデータを用いてＡＷＢの制御値（Ｒゲイン、Ｂゲイン）を決定し、ホワイトバランスをあわせる。

図５は、そのＡＷＢ制御を行うためのＡＷＢ乗算回路である。この回路はＣＣＤＩ／Ｆ部１３２と、画像処理部１３３と、リサイズ・フィルタ部１３４によって、実現できる回路であり、このＡＷＢ乗算回路において、制御が必要な場合は適宜ゲインを設定し、必要ではない場合は、そのゲインを１倍に設定する。

次に、ＡＷＢにおけるゲイン算出例を説明する。ＣＣＤＩ／Ｆ部１３２で積算された各ブロックにおけるＲＧＢ毎の積算値は、ＣＣＤＩ／Ｆ部１３２内部のレジスタに保存されており、ＣＰＵ１３５はそれぞれの積算値を読み出すことができる。この積算値を各色毎にさらに加算したΣＲ、ΣＧ、ΣＢを算出する。白が白くなるということはＲ＝Ｇ＝Ｂとなる状態であるから、以下のようにＲゲインとＢゲインを算出する。

Ｒgain＝（ΣＧ／ΣＲ）
Ｂgain＝（ΣＧ／ΣＢ）・・・（５）
Ｇgain＝ １
この式（５）により、算出されたＲgain、Ｂgain及びＧgainが、図５におけるＲgain４５、Ｂgain４６及びＧgain４７となる。このＲgain４５、Ｂgain４６及びＧgain４７を、ホワイトバランスゲインアンプ４１、４２、４３に供給して、入力されたＲＧＢの制御を行う。その結果、ＡＷＢ乗算回路から、ホワイトバランスがなされた出力Ｒ’Ｇ’及びＢ’を得る
なお、図４及び図５を用いて、ホワイトバランスの基本機能を説明したが、本発明では、これ以外のホワイトバランスの機能を具備したものであってもよい。

モニタリングにおいては、画面垂直同期信号ＶＤに同期して各積算値を読み出し、ＲゲインとＢゲインを算出し、ＣＣＤＩ／Ｆ部１３２のＡＷＢ乗算回路にゲインを設定する。

この値は次のフレームで読み出されたデータに対して乗算される。スチルにおいては、インターレース転送される第１及び第２フレームからＲＧＢの積算を行う。この積算結果からＡＷＢゲインを算出し、画像処理部の入力部にあるＡＷＢ乗算回路によってＡＷＢ制御が行われる。
（通常モードのタイミングチャート）
図６が通常モードの静止画記録の動作を示すタイミングチャートである。垂直同期新信号Ａ、メカニカルシャッタＢ、露光制御Ｃの関係を示している。ｔ１までがモニタリング（電子ビューファイター、ライブビューともいう。）期間であり、ｔ１からｔ２が静止画露光期間（Ｔ１）であり、ｔ２からｔ３が静止画データ転送期間（Ｔ２）である。なお、図６では、実際の露光時間Ｔ３は、電子シャッタにより、静止画露光期間（Ｔ１）よりも、短縮されている。

レリーズ釦３０が押される（撮影要求）と、図１におけるＣＰＵ１３５の指令によって、モータドライブ１５が作動し、フォーカスレンズが移動し、例えば山登りＡＦを原理にしたＣＣＤ−ＡＦなどの合焦動作が行われる。続いて、ＣＰＵ１３５の指令により、ＴＧ１２４は、露光時間設定、静止画露光時間設定などの撮影準備処理が行われ、静止画露光期間Ｔ１において、画面垂直同期信号（ＶＤ）を起点として記録露光処理が行われる。露光時間Ｔ３が経過するとメカシャッタが閉じ（ｔ２）。その後、ＣＣＤ全画素分のＲＧＢデータは、静止画データ転送期間（Ｔ２）に、例えば、図７に示すように４フィールドに分解されてＣＣＤより読み出され（一垂直同期期間に一つのフィールドが転送されるので、４フィールドは、４垂直同期期間で転送される。）、一度、ＳＤＲＡＭ１７のＲＡＷ−ＲＧＢデータ領域１７２に取り込まれる。

なお、モニタリングでは、図３（Ａ）に示されているように、垂直が１/８に間引かれ（且つ、水平方向で他の対応する画素と加算され）て読み出されている。それに対して、静止画データ転送は、垂直１/４を４回に分けて転送する。転送される画素数は１６倍に増えているため、転送時間は約０．２６秒（１／６０秒×１６画素）となる。また、静止画データ転送期間に、ＣＣＤＩ／Ｆ部１３２は、図に示すように、オートホワイトバランスのための、ＲＧＢの積算処理を行う。

ＳＤＲＡＭ１７のＲＡＷ−ＲＧＢデータ領域１７２に取り込まれたＲＧＢ形式の（ＲＡＷ）データは、信号処理ＩＣ１３の画像処理部１３３に送られＹＵＶ形式の画像データに変換される。このＹＵＶ形式の画像データは、リサイズ・フィルタ部１３４で記録画素数に合わせたサイズに変換された後に、ＪＰＥＧ圧縮処理を行い、ヘッダ情報を付加してＪＰＥＧファイルとしてメモリカード２０に保存される。
（高感度モードのタイミングチャート）
つぎに本発明の高感度モード撮影の露光タイミングを、従来の画面加算を行う場合のタイミングチャート（図８）と本発明の高感度モード撮影のタイミングチャート（図９）を比較することで説明する。

図８は、従来の画面加算を行う場合における画面加算動作のタイミングチャートであり、垂直同期新信号Ａ、メカニカルシャッタＢ、露光制御Ｃの関係を示している。

図８の場合は、静止画露光と静止画転送とをそれぞれ２回行って、メモリ（ＳＤＲＡＭ）に取り込まれた２画面分のＲＧＢデータを加算するものである。画素数が少ないシステムにおいては、静止画の転送時間が短いために、２回の露光のタイムラグが大きな問題とはならなかった。しかし５００万画素では、静止画の転送時間だけで上述したように、約０．２６秒かかってしまうため、露光前準備など追加すると、約０．３秒の露光のタイムラグが発生してしまう。結果として長時間露光をしているときと同じようにぶれが発生してしまう。

本発明のタイミングチャートが図９である。高精細画である静止画用の露光を開始する前にまず高感度用の露光を行う。

図２のレリーズ釦３０で撮影者によって撮影要求が入力されると、ＡＦが行われる。次に図９の(1)の期間で高感度用の露光時間の設定が行われる（この設定は、ＣＰＵ１３５がＴＧ１２４に対して行い、ＴＧ１２４はこの設定にしたがって露光時間制御を行う。）。図９では、(2)の期間と(3)の期間が高感度用の露光時間と設定されている。(1)、(2)及び(3)の期間は、垂直同期期間であるので、高感度用の露光時間は、６０フレーム／秒の２フレーム転送期間分であり、約３３ｍｓｅｃが設定されている。ＶＤ信号の終了時点（ｔ１）から露光（電荷蓄積）が始まる。続いて(3)の期間にＣＰＵ１３５よりＴＧ１２４に対して高感度用転送モードの設定と静止画記録用の露光時間の設定が行われる。

(4)の期間では高感度用のデータ転送が行われる。このときの読み出しデータは、図３（Ｂ）の画素加算１/２ライン読み出しモードである。水平と垂直で画素を加算して読み出しているので、感度がほぼ４倍になっている。読み出し画素数は、水平画素数が半分（２画素が加算されるため半分となる。）になり、垂直画素数が１／４（画素の半分が間引かれ、さらに、２画素が加算されるので１／４となる。）になるため、１２８０×４８０画素が出力される。図３（Ａ）に示されている通常のモニタリングの場合よりも垂直ラインが２倍になっているため、読み出しの時間も２倍の約３３ｍｓｅｃとなる。このデータはＣＣＤＩ／Ｆ部１３２を介してＲＧＢデータとしてＳＤＲＡＭ１７に保存される。

この(4)の期間の高感度用読み出し時に、高感度用ＲＧＢデータからＣＣＤＩ／Ｆ部１３２でＡＷＢ用のＲＧＢ積算が行われている。(3)の期間にＲＧＢ積算開始時期の設定を行うことで次のフレームである(4)の期間に転送されるデータからＲＧＢの積算を行うことができる。この高感度用ＲＧＢデータからＡＷＢ用ＲＧＢ積算を作成することは、高感度用データの方が通常感度の静止画用データの値よりも大きいため、ノイズの影響が少なくなり、安定したＡＷＢ制御ができるようになるというメリットがある。さらに、このＡＷＢ制御用のＲゲインとＢゲインは、静止画用データ転送時にＣＣＤＩ/Ｆ部１３２で乗算することができるため、後段で加算前にＡＷＢゲインをかけるための処理が不要になり処理時間の短縮が図られる。

さらに、この(4)の期間の高感度用のデータ読み出しと平行して、(3)の期間で設定された高精細画である静止画用の露光時間によって露光が行われている。図９では、(4)の期間の１垂直同期期間（１ＶＤ期間）分の露光が行われている（同じ、１ＶＤ期間図であっても、(1)、(2)、(3)の期間に対して、(4)の期間は２倍である。）ので、約３３ｍｓｅｃとなっている。この期間にＣＰＵ１３５よりＴＧ１２４に対して静止画転送モード（図７）の設定が行われる。

(4)の期間の終了時にメカシャッタが閉じられ、(5)の期間から図７に示すような４分割インターレース転送が行われる。転送されたデータはＣＣＤＩ／Ｆ部１３２を介して順次ＳＤＲＡＭ１７に書き込まれる。転送が完了すると,メカシャッタが開かれ、ＴＧ１２４に対してモニタリング用の転送モードが設定され、次回撮影が可能になる。

以上のように、従来の複数画面加算（図８）では２回の露光間の時間的なずれ（タイムラグ）が大きいため、手ブレが発生してしまう問題や、動いているものを撮影できないなどの問題があった。しかし本発明のように読み出しが高速になるモードを最初の露光データに使うことで、タイムラグを短くすることが可能にすることができた。

図９では、高感度用露光時間と静止画用露光時間をいずれも約３３ｍｓｅｃとしているが、これに限ったものではない。

図１０のように、静止画用露光時間を１ＶＤ以上に設定することも可能であるし（(4)の期間に(5)の期間が付加されている。(5)の期間は、データ転送は行わない。）、同様に高感度用の露光時間をさらに長くすることも可能である。これは要求される画質によって切り換えてもよい。例えば高解像度が必要な場合は、静止画用のデータの割合を多くするために静止画用露光を長くすることができる。

図１１は、高感度用データ転送と静止画用露光を平行して行うことのできないシステムにおけるタイミングチャートである。つまり、露光手段が高感度用データを得るために受光素子に対して露光を行い、さらに、転送手段が高感度用データを転送した後に、高精細画像データを得るために受光素子に対して露光を行い、さらに、転送手段が高精細画像データを転送する場合である。この場合でも図８の従来システムに比べるとタイムラグは少なくなっていることが判る。また、(1)の期間は高感度用データの露光時間を設定するための時間であるため、通常の１ＶＤ期間分の時間は必要ない。そのため、ＴＧ設定変更、動作クロック変更、ＶＤ周期を変更できるシステムにおいては、この１ＶＤ期間を短くすることで、２回の露光タイミングのずれをより短くすることができる。
（画像データの加算）
ここでは、取り込まれた２つの画像データの加算処理について、３つの場合について説明する。ＲＧＢデータでの加算、静止画用ＲＧＢデータからエッジ情報を生成して行う加算及びＹＵＶ変換後のＹＵＶデータによる加算について、順次説明する。
（ＲＧＢデータでの加算）
高感度用ＲＧＢデータとして１２８０×４８０画素、静止画用データとして２５６０×１９２０画素の２画面分のＲＧＢデータがＳＤＲＡＭに保存されている。

２５６０×１９２０画素で静止画を記録する場合は、最初に高感度用データ（１２８０×４８０画素）を２５６０×１９２０画素に拡大する。ＳＤＲＡＭ１７に保存されている高感度用ＲＧＢデータを読み出して、リサイズ・フィルタ部１３４に送る。リサイズ・フィルタ部１３４では、入力部でＡＷＢ乗算回路（図５）によってＡＷＢのゲインが乗算される。このゲインは、上記高感度用データ転送時に取得したＲＧＢ積算値から算出した値を用いる。ＡＷＢゲインを乗算したＲＧＢデータは、ローパスフィルタをかけながら拡大処理を行い、結果をＳＤＲＡＭ１７に書き戻す。ここでローパスフィルタとしたのは、図３（Ｂ）のように、読み出しは一部のデータを間引いて読み出しており、ＹＵＶ変換時に偽色の発生や直線がぎざぎざになる問題が発生する可能性ある。そのため感度を高めるために用いるデータは、ローパスフィルタをかけるようにする。

なお、静止画用データは、高感度用データのＲＧＢ積算からＡＷＢゲインを算出し、静止画転送時にＣＣＤＩ／Ｆ部１３２においてＡＷＢゲイン乗算が行われている。ＡＷＢゲインの乗算が行われていない場合は、リサイズ・フィルタ部１３４でＡＷＢ乗算処理だけを行うこともできるが、この場合は処理時間が延びてしまうため、予めＣＣＤＩ/Ｆ部１３２で乗算しておくことが望ましい。

上述した処理の結果、高感度用ＲＧＢデータと静止画用ＲＧＢデータとは、いずれも２５６０×１９２０画素、１２ｂｉｔ、ＡＷＢゲインが乗算された状態にある。

次に２つの画像は、画素間演算部１３８に送られる。式（１）において、静止画用データを画像Ａ、高感度用データを画像Ｂ、加算結果と画像Ｃとして加算される。ここでは加算結果に対して１２ｂｉｔでクリップされる。画像Ｃは再びＳＤＲＡＭ１７に書き戻される。ここではα、βは１としたが、ローパスフィルタをかけたことによってノイズが少なくなった画像Ｂのβを１よりも大きくすることで、より感度アップをするようにしてもよい。

その後の処理は、通常撮影と同じプロセスで処理される。ＳＤＲＡＭ１７に書き戻された画像ＣのＲＧＢデータは、画像処理部１３３に送られてエッジ強調処理やカラー調整などを行った後に、ＹＵＶ形式の画像データに変換され、ＳＤＲＡＭ１７に書き戻される。ＹＵＶ形式の画像データはＪＰＥＧ圧縮され、ヘッダ情報付加などが行われた後にメモリカードに保存される。

ここで、例として、解像度を上げずに、感度だけを上げて静止画の記憶する方法を説明する。

６４０×４８０画素で静止画を記録する場合は、最初に、図７に示されている通常静止画（２５６０×１９２０画素）を、図３（Ｂ）に示されている高感度データと同じサイズ（１２８０×４８０画素）に縮小する。ＳＤＲＡＭ１７に保存されている静止画ＲＧＢデータを読み出して、リサイズ・フィルタ部１３４に送る。静止画用ＲＧＢデータは、ＣＣＤＩ／Ｆ部１３２ですでにＡＷＢゲインが乗算されているので、リサイズ・フィルタ部１３４ではゲインの乗算は行わない。入力されたＲＧＢデータは、各色ごとに例えば線形補間フィルタなどの補間フィルタをかけながらリサンプリングを行って縮小を行い、ＳＤＲＡＭ１７に書き戻す。

次に、高感度用データをリサイズ・フィルタ部１３４に読み込む。入力部でＡＷＢ乗算回路（図５）によってＡＷＢのゲインが乗算され、ローパスフィルタをかけ、リサイズ処理を行わずにＳＤＲＡＭ１７に書き戻す。

高感度用ＲＧＢデータと静止画用ＲＧＢデータとは、いずれも１２８０×４８０画素、１２ｂｉｔ、ＡＷＢゲインが乗算された状態のデータを画素間演算部１３８に送る。

式（１）において、静止画用データを画像Ａ、高感度用データを画像Ｂ、加算結果と画像Ｃとして加算される。ここでは加算結果に対して１２ｂｉｔでクリップされる。画像Ｃは再びＳＤＲＡＭ１７に書き戻される。

その後の処理は、通常撮影と同じプロセスで処理される。ＳＤＲＡＭ１７に書き戻された画像ＣのＲＧＢデータは、画像処理部に送られてエッジ強調処理やカラー調整などを行った後にＹＵＶデータに変換され、そのままリサイズ・フィルタ部１３４に送られ、ＹＵＶの６４０×４８０画素としてＳＤＲＡＭ１７に書き戻される。ＹＵＶはＪＰＥＧ圧縮され、ヘッダ情報付加などが行われた後にメモリカードに保存される。

この方式では、高感度用データと静止画用データの露光時間がいずれも３３ｍｓｅｃ(＝１/３０ｓｅｃ)だったとした場合、トータル露光時間は約６６ｍｓｅｃとなるが、高感度用データは感度が４倍になっているため、図６のような従来の撮影システムで６６ｍｓｅｃの露光をした場合の２．５倍の感度が得られている。手ブレしにくい高感度で高解像度の撮像が実現される。

また、感度をさらに高くするために、高感度用データの露光時間を長くすることがより効果的である。高感度用露光時間を６６ｍｓｅｃ、静止画用露光時間を３３ｍｓｅｃとすると、トータル露光時間は約１００ｍｓｅｃとなる。これは従来の撮影システムでは約３００ｍｓｅｃの露光量に相当する。つまり露光時間は１／３となり、感度は３倍が得られている。

また６４０×４８０画素で静止画を記録する場合は、高感度用データを図３（Ａ）の画素加算１/４ライン読み出しモードを使うようにしてもよい。この読み出しモードでの読み出し画素数は１２８０×２４０画素である。この場合は、高感度データを１２８０×４８０画素にリサイズし、通常静止画データを１２８０×４８０画素に縮小した後に加算処理をすることになる。

この画素加算１/４ライン読み出しモードは、１／６０ｓｅｃサイクルなので、図９の(4)の期間が短くでき、２回の露光開始タイミングのずれをさらに短くすることができる。
（静止画用ＲＧＢデータからエッジ情報を生成して行う加算）
この加算の方式は、静止画用ＲＧＢデータを、解像度を高めるためのエッジ情報として用いる方式である。最初に高感度用データ（１２８０×４８０画素）を２５６０×１９２０画素に拡大する。ＳＤＲＡＭ１７に保存されている高感度用ＲＧＢデータを読み出して、リサイズ・フィルタ部１３４に送る。リサイズ・フィルタ部１３４では、入力部でＡＷＢ乗算回路（図５）によってＡＷＢのゲインを乗算する。このゲインは、上記高感度用データ転送時に取得したＲＧＢ積算値から算出した値を用いる。ＡＷＢゲインを乗算したＲＧＢデータは、ローパスフィルタをかけながら拡大処理を行い、その結果をＳＤＲＡＭ１７に書き戻す。ここでローパスフィルタとしたのは、上記同様にＹＵＶ変換時に偽色の発生や直線がぎざぎざになる問題が発生する可能性を抑えるためである。

次に、静止画用ＲＧＢデータをリサイズ・フィルタ部１３４へ送る。静止画用ＲＧＢデータはすでにＡＷＢのゲイン乗算が済んでいるので、ここではゲインは１倍とする。この静止画用ＲＧＢデータに対して、ハイパスフィルタをかけてエッジ成分だけを取り出すし、リサイズを行わずにＳＤＲＡＭ１７に書き戻す。

２つの画像は画素間演算部に送られる。式（１）において、静止画用データを画像Ａ、高感度用データを画像Ｂ、加算結果と画像Ｃとして加算される。ここでは加算結果に対して１２ｂｉｔでクリップされる。画像Ｃは再びＳＤＲＡＭ１７に書き戻される。

その後の処理は、通常撮影と同じプロセスで処理される。ＳＤＲＡＭ１７に書き戻された画像ＣのＲＧＢデータは、画像処理部に送られてエッジ強調処理やカラー調整などを行った後にＹＵＶデータに変換され、ＳＤＲＡＭ書き戻される。ＹＵＶはＪＰＥＧ圧縮され、ヘッダ情報付加などが行われた後にメモリカード２０に保存される。

この方法は、高感度用データによって感度アップを行い、静止画用データで解像度をアップさせている。

高感度用データと静止画用データの露光時間がいずれも約３３ｍｓｅｃだったとした場合、トータル露光時間は約６６ｍｓｅｃとなるが、高感度用データは感度が４倍になっているため、図６のような従来の撮影システムでは約１６６ｍｓｅｃの露光量に相当する。解像度は静止画用のデータから得られ、露光時間は１／２．５（＝６６／１６６）の時間となり２倍の感度が得られている。手ブレしにくい高感度で高解像度の撮像が実現できる。

また、感度をさらに高くするために、高感度用データの露光時間を長くすることがより効果的である。高感度用露光時間を６６ｍｓｅｃ、静止画用露光時間を３３ｍｓｅｃとすると、トータル露光時間は約１００ｍｓｅｃとなる。これは従来の撮影システムでは約２６６ｍｓｅｃの露光量に相当する。露光時間は１/２.６となり、感度は２．６倍が得られている。

上記処理において、静止画データからハイパスフィルタ出力を得るため、静止画データにノイズがあった場合、そのノイズも取り出してしまう可能性がある。そのためリサイズ・フィルタ部１３４による処理の前に、ノイズ軽減を行うこともできる。ノイズ軽減処理は画素間演算部で行うことができる。ランダムノイズは通常レベルが小さい。そのため式（４）を用いて、βにマイナスの値を入れることで低輝度部のノイズを除去してしまう。ノイズの除去された画像により解像情報がフィルタ処理によって取り出され、より高画質な画像が得られる。
（ＹＵＶ変換後のＹＵＶデータによる加算）
高感度用ＲＧＢデータとして１２８０×４８０画素、静止画用データとして２５６０×１９２０画素の２画面分のＲＧＢデータがＳＤＲＡＭに保存されている。

最初に高感度用データ（１２８０×４８０画素）を画像処理部１３３に送り、ＣＣＤＩ/Ｆ部１３２のＲＧＢ積算データをもとに算出されたＡＷＢゲインによってＡＷＢ乗算処理が行われた後に、カラー調整などを行ってＹＵＶデータに変換を行う。ＹＵＶデータはそのままリサイズ・フィルタ部１３４に送られ、ローパスフィルタをかけながら２５６０×１９２０画素に拡大処理を行い、結果をＳＤＲＡＭ１７に書き戻す。ここでローパスフィルタとしたのは、図３（Ｂ）のように、読み出しは一部のデータを間引いて読み出しており、線がぎざぎざになる問題などが発生する可能性あるため、ローパスフィルタをかけるようにする。

次に、静止画用ＲＧＢデータを画像処理部１３３に送る。静止画用データは、高感度用データのＲＧＢ積算からＡＷＢゲインを算出し、静止画転送時にＣＣＤＩ／Ｆ部１３２においてＡＷＢゲイン乗算が行われているため、ここではＡＷＢ乗算処理は行わず、カラー調整やエッジ生成処理などを行ってＹＵＶデータに変換する。ＹＵＶデータは、リサイズ・フィルタ部１３４に送られ、ハイパスフィルタがかけられ、解像成分（エッジ成分）だけを取り出し、拡大縮小処理は行わずにＳＤＲＡＭ１７に書き戻す。

ここまでで、高感度用ＲＧＢデータと静止画用ＲＧＢデータとは、いずれも２５６０×１９２０画素のＹＵＶデータとなっている。

次に、２つの画像のＹデータだけを画素間演算部１３８に送られる。人間の目は、色情報の解像力が弱く、解像度に影響するのは輝度（Ｙ）データなので、Ｙデータだけを処理する。

式（１）において、静止画用Ｙデータを画像Ａ、高感度用Ｙデータを画像Ｂ、加算結果Ｙデータと画像Ｃとして加算される。ここでは加算結果に対して８ｂｉｔでクリップされる。画像Ｃは再びＳＤＲＡＭ１７に書き戻される。

その後の処理は、通常撮影と同じプロセスで処理される。ＳＤＲＡＭ１７に書き戻された画像ＣのＹデータと高感度用データから作成したＵＶデータを使って、リサイズ・フィルタ部で記録に必要なサイズにリサイズを行い、ＪＰＥＧコーデック部１３７でＪＥＰＧ圧縮、ヘッダ情報付加を行って後にＪＰＥＧ画像ファイルとしてメモリカード２０に保存される。

この方式は、第２の方式と同様に、高感度用データによって感度アップを行い、静止画用データで解像度をアップさせている。

高感度用データと静止画用データの露光時間がいずれも約３３ｍｓｅｃだったとした場合、トータル露光時間は約６６ｍｓｅｃとなるが、高感度用データは感度が４倍になっているため、図５のような従来の撮影システムでは約１６６ｍｓｅｃの露光量に相当する。解像度は静止画用のデータから得られ、露光時間は１／２．５（＝６６／１６６）の時間となり２倍の感度が得られている。手ブレしにくい高感度で高解像度の撮像が実現できる。

また、感度をさらに高くするために、高感度用データの露光時間を長くすることがより効果的である。高感度用露光時間を６６ｍｓｅｃ、静止画用露光時間を３３.ｍｓｅｃとすると、トータル露光時間は約１００ｍｓｅｃとなる。これは従来の撮影システムでは約２６６ｍｓｅｃの露光量に相当する。露光時間は１／２．６となり、感度は４倍が得られている。
（機能構成ブロック）
本発明の撮像装置は、例えば、図１２に示されているブロックを有している。つまり、露光手段５１、駆動手段・画素数切換手段５２、転送手段５３、信号処理部５４及びＳＤＲＡＭ１７である。また、信号処理部５４は、合成手段５４１、高域周波数通過フィルタ５４２、サイズ変換手段５４３、減算手段５４４及びホワイトバランス調整手段５４５を有している。

露光手段５１は、受光素子であるＣＣＤ１１の露光を行う。駆動手段・画素数切換手段５２は、ＣＣＤ１１を駆動して撮像信号を読出したり、ＣＣＤ１１から読み出す画素数を切り換える。転送手段５３は、読みとれた撮像信号を信号処理部５４に転送する。

また、信号処理部５４は、転送された画像データを処理する。例えば、合成手段５４１は、複数の画像データを合成する。高域周波数通過フィルタ５４２は、画像データに対して、高域周波数通過フィルタ処理を行う。サイズ変換手段５４３は、画像データのサイズを変換する。減算手段５４４は、画像データから所定の値を減算する。ホワイトバランス調整手段５４５は、画像データに対して、ホワイトバランスの調整を行う。

ＳＤＲＡＭ１７は、信号処理部５４が処理した結果の画像データを格納し、又は、信号処理部５４が処理する画像データを格納している。
（撮像方法）
本発明の撮像方法は、図１３に示されている処理フローを有している。

信号処理ステップＳ１５に至るまで、二つの処理フローのルートがある。一つは、高感度画像データを得るための処理であり、他方は、高精細画像データを得るための処理である。

高感度画像データを得るための処理は、高感度画像用画素切替ステップＳ１１、高感度画像用露光ステップＳ１２、高感度画像用駆動ステップＳ１３及び高感度画像用画像転送ステップＳ１４である。

高感度画像用画素切替ステップＳ１１は、高感度画像データを得るために、受光素子に対して、駆動手段により、間引かれる画素及び加算される画素を設定する（例えば、図３（Ａ））。この設定は、ＣＰＵ１３５により、ＴＧ１２４に設定される。

高感度画像用露光ステップＳ１２は、マトリックス状に配置された受光素子であるＣＣＤを露光するステップであり、高感度画像用駆動ステップＳ１３は、露光されたＣＣＤに対して、駆動手段が撮像信号を読出すステップであり、高感度画像用画像転送ステップＳ１４は、読み出した撮像信号を信号処理部に転送するステップである。

同様に、高精細画像データを得るための処理は、高精細画像用画素切替ステップＳ２１、高精細画像用露光ステップＳ２２、高精細画像用駆動ステップＳ２３及び高精細画像用画像転送ステップＳ２４である。

高精細画像用画素切替ステップＳ２１は、高精細画像データを得るために、受光素子に対して、駆動手段により、間引かれる画素及び加算される画素を設定する（例えば、図７）。この設定は、ＣＰＵ１３５により、ＴＧ１２４に設定される。

高精細画像用露光ステップＳ２２は、マトリックス状に配置された受光素子であるＣＣＤを露光するステップであり、高精細画像用駆動ステップＳ２３は、露光されたＣＣＤに対して、駆動手段が撮像信号を読出すステップであり、高精細画像用画像転送ステップＳ２４は、読み出した撮像信号を信号処理部に転送するステップである。

なお、高感度画像用画素切替ステップＳ１１は、全部又は一部の受光素子から撮像信号を読出して、所定の位置関係にある複数の前記受光素子からの撮像信号の加算を行って、Ｍ（Ｎ＞Ｍ）個の画素データ（高感度画像データ）得るように切り換える。一方、高精細画像用画素切替ステップＳ２１は、全部又は一部の前記受光素子から前記撮像信号を読出して、Ｏ（Ｎ≧Ｏ＞Ｍ）個の画素データ（高精細画像データ）を得るように切り換える。

なお、高感度画像用画像転送ステップＳ１４における転送処理の後に、高精細画像用画像２４における転送処理が行われる。

また、高感度画像用駆動ステップＳ１３の駆動処理と、高精細画像用露光ステップＳ２２における露光処理とは、一部重複するようにしてもよい。

また、高感度画像用画像転送ステップＳ１４の後に、高精細画像用露光ステップＳ２２における露光処理を行うようにしてもよい。

高感度画像用画素切替ステップＳ１１、高感度画像用露光ステップＳ１２、高感度画像用駆動ステップＳ１３及び高感度画像用画像転送ステップＳ１４で得られた高感度画像データと、高精細画像用画素切替ステップＳ２１、高精細画像用露光ステップＳ２２、高精細画像用駆動ステップＳ２３及び高精細画像用画像転送ステップＳ２４で得られた高精細画像データとは、それぞれ、信号処理ステップＳ１５で、必要に応じて、画像サイズ変換、減算及びホワイトバランス調整等の信号処理が行われる。

その後、高感度画像データ及び高精細画像データは、合成ステップＳ１６で合成される。

なお、ホワイトバランス調整は、高感度画像データにより行われるのが好ましい。

また、減算及びホワイトバランス調整が行われる場合は、ホワイトバランス調整後にホワイトバランス調整が行われる。

高感度画像データを拡大して、高精細画像データと同じサイズにして、合成するようにしてもよい。

以上の通り、本発明は、読み出し時間が短い高感度低解像度画像と、読み出し時間が相対的に低感度高解像度画像とを加算すること、及び読み出しタイミングの工夫することで、高感度で高解像度の撮影が可能となり、手ブレ機構などを追加しなくても手ブレしにくい撮像装置が実現できる。また高感度のデータからホワイトバランスのデータを取得することで、安定したホワイトバランスが実現できる。

撮像装置のブロック図を説明するための図である。 カメラの外観図である。 画素加算あり間引き転送読み出し図である。 分割された画像を説明するための図である。 ＡＷＢ乗算回路を説明するための図である。 通常モードの静止画記録のタイミングチャートである。 全画素フィールド転送読み出し図を説明するための図である。 従来の画面加算のタイミングチャートを説明するための図である。 高感度モードの静止画記録のタイミングチャート（その１）である。 高感度モードの静止画記録のタイミングチャート（その２）である。 高感度モードの静止画記録のタイミングチャート（その３）である。 機能ブロック構成図である。 撮像方法を説明するための図である。

符号の説明

１１ ＣＣＤ
１２ ＡＦＥ
１３ 信号処理ＩＣ
１４ 操作部
１５ モータドライバ
１６ ストロボモジュール
１７ ＳＤＲＡＭ
１８ ＲＯＭ
１９ 表示装置
２０ メモリカード
２１ ＵＳＢ
４４ ＡＷＢゲインアンプ
５１ 露光手段
５２ 駆動手段・画素数切換手段
５３ 転送手段
５４ 信号処理部
１２１ ＣＤＳ
１２２ ＡＧＣ
１２３ Ａ／Ｄ
１２４ ＴＧ
１３１ メモリコントローラ
１３２ ＣＣＤＩ／Ｆ部
１３３ 画像処理部
１３４ リサイズ・フィルタ部
１３５ ＣＰＵ
１３６ 表示Ｉ／Ｆ部
１３７ JPEGコーデック部
１３８ 画素間演算部
１３９ カードコントローラ部
１４０ 通信Ｉ／Ｆ部
５４１ 合成手段
５４２ 高域周波数通過フィルタ
５４３ サイズ変換手段
５４４ 減算手段
５４５ ホワイトバランス調整手段

Claims (16)

1. マトリックス状に配置されたＮ個の受光素子と、該受光素子を駆動して撮像信号を読出す駆動手段とを有する撮像装置において、
   前記駆動手段が、全部又は一部の前記受光素子から前記撮像信号を読出す際、所定の位置関係にある複数の前記受光素子からの撮像信号を、該受光素子の読取時に加算して得たＭ（Ｍ＜Ｎ）個の画素データを有する第１の画像データと、
   前記駆動手段が、全部又は一部の前記受光素子から前記撮像信号を読出して得たＯ（Ｎ≧Ｏ＞Ｍ）個の画素データを有する第２の画像データと、
   を合成して、第３の画像データを合成する合成手段と、
   高域周波数通過フィルタとを有し、
   前記合成手段は、前記第１の画像データと、前記高域周波数通過フィルタにより処理された第２の画像データとを合成することを特徴とする撮像装置。
2. 前記受光素子を露光する露光手段を有し、
   前記駆動手段が、前記第１の画像データを読出す期間と、前記露光手段が、第２の画像データを得るために前記受光素子を露光する期間とが、一部重複することを特徴とする請求項１記載の撮像装置。
3. 前記受光素子を露光する露光手段と、
   前記第１の画像データ及び前記第２の画像データを、画像データの合成等の処理を行う信号処理部に転送する転送手段とを有し、
   前記露光手段が第１の画像データを得るために前記受光素子に対して露光を行い、さらに、前記転送手段が第１の画像データを転送した後に、前記露光手段が第２の画像データを得るために前記受光素子に対して露光を行い、さらに、前記転送手段が第２の画像データを転送することを特徴とする請求項１記載の撮像装置。
4. 画像サイズ変換手段を有し、
   前記合成手段は、前記画像サイズ変換手段により拡大された前記第１の画像データと、第２の画像データとを合成することを特徴とする請求項１ないし３いずれか一項に記載の撮像装置。
5. 前記第１の画像データ及び前記第２の画像データから、所定の値を減算する減算手段を有し、
   前記合成手段は、前記減算手段により、所定の値が減算された前記第１の画像データ又は前記第２の画像データを用いて、合成を行うことを特徴とする請求項１ないし４いずれか一項に記載の撮像装置。
6. ホワイトバランス調整手段を有し、
   ホワイトバランス調整手段は、前記第１の画像データに基づいて、前記第２の画像データのホワイトバランスを調整することを特徴とする請求項１ないし５いずれか一項に記載の撮像装置。
7. 前記第１の画像データから、所定の値を減算する減算手段を有し、
   前記ホワイトバランス調整手段は、前記減算手段が、前記第１の画像データから所定の値を減算する前の前記第１の画像データに基づいて、ホワイトバランスを調整することを特徴とする請求項６記載の撮像装置。
8. 前記駆動手段により読み出される受光素子数を切り換える読出し画素数切換手段を有することを特徴とする請求項１ないし７いずれか一項に記載の撮像装置。
9. マトリックス状に配置されたＮ個の受光素子を駆動して撮像信号を読出す駆動ステップと、
   画像データに対して高域周波数成分を通過させる高域周波数通過フィルタ処理を行う高域周波数通過フィルタステップとを有する撮像方法であって、
   前記駆動ステップは、全部又は一部の前記受光素子から前記撮像信号を読出して、所定の位置関係にある複数の前記受光素子からの撮像信号の加算を行って、Ｍ（Ｎ＞Ｍ）個の画素データ得る第１の駆動ステップと、全部又は一部の前記受光素子から前記撮像信号を読出して、Ｏ（Ｎ≧Ｏ＞Ｍ）個の画素データを得る第２の駆動ステップとを有し、
   当該撮像方法は、さらに、
   前記第１の駆動ステップで得た第１の画像データと、前記第２の駆動ステップで得た第２の画像データとを合成して、第３の画像データを合成する合成ステップを有し、
   前記合成ステップは、前記第１の画像データと、前記高域周波数通過フィルタステップにより処理された第２の画像データとを合成することを特徴とする撮像方法。
10. 前記受光素子を露光して第２の画像データを得る露光ステップを有し、
    前記第１の駆動ステップにより前記第１の画像データを読出している期間と、前記露光ステップにより第２の画像データを得るために前記受光素子を露光する期間とが、一部重複することを特徴とする請求項９記載の撮像方法。
11. 前記第１の画像データを、画像データの合成等の処理を行う信号処理部に転送する第１の転送ステップと、
    前記第２の画像データを、前記信号処理部に転送する第２の転送ステップと、
    前記受光素子を露光して第１の画像データを得るための露光を行う第１の露光ステップと、
    前記受光素子を露光して第２の画像データを得るための露光を行う第２の露光ステップと、を有し、
    第１の露光ステップ及び第１の転送ステップの後に、第２の露光ステップ及び第２の転送ステップを有することを特徴とする請求項９記載の撮像方法。
12. 前記第１の画像データの画像サイズを変換する画像サイズ変換ステップを有し、
    前記合成ステップは、前記画像サイズ変換ステップにより拡大された前記第１の画像データと、第２の画像データとを合成することを特徴とする請求項９ないし１１いずれか一項に記載の撮像方法。
13. 前記第１の画像データから、所定の値を減算する第１の減算ステップと、
    前記第２の画像データから、所定の値を減算する第２の減算ステップと、を有し、
    前記合成ステップは、第１の減算ステップ又は第２の減算ステップにより、所定の値が減算された前記第１の画像データ又は前記第２の画像データに対して、合成を行うことを特徴とする請求項９ないし１２いずれか一項に記載の撮像方法。
14. ホワイトバランス調整ステップを有し、
    ホワイトバランス調整ステップは、前記第１の画像データに基づいて、前記第２の画像データのホワイトバランスを調整することを特徴とする請求項９ないし１３いずれか一項に記載の撮像方法。
15. 前記第１の画像データから、所定の値を減算する減算ステップを有し、
    前記ホワイトバランス調整ステップは、前記減算ステップにより前記第１の画像データから所定の値を減算する前の前記第１の画像データに基づいて、ホワイトバランスを調整することを特徴とする請求項１４記載の撮像方法。
16. 前記駆動ステップにより読み出される受光素子数を切り換える画素数切換ステップを有することを特徴とする請求項９ないし１５いずれか一項に記載の撮像装置。

Images