JP4925271B2 - 一眼レフデジタルカメラにおける連続撮像方法 - Google Patents

Description

本発明は、ミラーアップ操作の伴う一眼レフデジタルカメラにおいて、連続撮像を行う技術に関する。

デジタルカメラにおいて、被写体を連続的に撮像する機能（いわゆる連写機能）が利用されている。たとえば、１秒間に５コマなどの割合で、連続的に被写体の撮像が行われるのである。

デジタルカメラで撮像した画像データには、様々な画像処理が施される。その中に、露出を自動的に制御するオートエクスポージャ（以下、ＡＥと略す。）機能と、白色を適切な色に自動調整するオートホワイトバランス（以下、ＡＷＢと略す。）機能と、が存在する。

特開２００４−３０４３８７号公報

たとえば、１枚の画像を撮像する場合であれば、ＡＥやＡＷＢ処理を行う上で、大きな問題はない。撮像した画像のＲＡＷデータを一旦、メインメモリに格納し、ＡＥ評価値やＡＷＢ評価値を算出する。そして、画像データに対するデジタルゲインを調整したり、ガンマ変換におけるガンマカーブを調整したりすることで、露出を制御することが可能である。また、画像データに対するＷＢ（ホワイトバランス）ゲインを調整することで、ホワイトバランス調整を行うことが可能である。

ところが、連続撮像を行う場合には、メインメモリやバス帯域に大きな負荷が掛かるという問題がある。つまり、連続的に撮像される画像データを、全て一旦ＲＡＷデータのまま、メインメモリに格納し、ＡＥ評価値やＡＷＢ評価値を演算した後、メインメモリから読み出して画像処理を実行し、再び、メインメモリに格納する。さらに、メインメモリから画像処理後の画像データを読み出してＪＰＥＧなどの圧縮処理を実行するという手順を、連続撮像の中で実行することは困難である。

図１７は、上記の処理シーケンスを示す図である。つまり、撮像画像データを一旦ＲＡＷデータのままメインメモリに格納するタイプの処理シーケンス図である。具体的には、まず、センサーから出力された画像データは、ＳＰＵ（センサプロセシングユニット）１０４、メインバス１２５を経由してメインメモリ１２０にＲＡＷデータとして格納される。次に、メインメモリ１２０に格納されたＲＡＷデータが、メインバス１２５を経由してＲＰＵ（リアルタイムプロセシングユニット）１０５に読み出され、露出調整、ホワイトバランス調整、画素補間等を含む画像処理が施される。そして、画素補間が行われた画像データが、再び、メインメモリ１２０に格納される。さらに、メインメモリ１２０から読み出された画像データが、ＪＰＥＧ処理部１０７において圧縮処理され、ＪＰＥＧデータとして、メインメモリ１２０に格納される。そして、メインメモリ１２０に格納されたＪＰＥＧデータが、カードコントローラ１２１を介して、メモリカード１２２に格納されるのである。

このように、図１７で示したシーケンスで処理をした場合には、データがメインバス１２５を経由する頻度が非常に多く、また、メインメモリ１２０上に多くの処理バッファー領域が必要となる。ＣＰＵの負荷を軽減させるため、ＤＭＡによる制御で処理した場合であっても、図１７で示したシーケンスでは、
（１）．ＳＰＵからメインメモリへのＲＡＷデータの書き込み
（２）．ＲＰＵがメインメモリからＲＡＷデータの読み込み
（３）．ＲＰＵからメインメモリへのＹＵＶデータの書き込み
（４）．ＪＰＥＧ処理部がメインメモリからＹＵＶデータの読み込み
（５）．ＪＰＥＧ処理部からメインメモリへのＪＰＥＧデータの書き込み
（６）．カードコントローラがメインメモリからのＪＰＥＧデータ読み込み
というように、合計６回のＤＭＡ転送が必要となる。このため、メインメモリ１２０に多くのバッファー領域が必要となるとともに、メインバス１２５のバス帯域に大きな負荷が掛かっていた。

図１８は、図１７のシーケンスで処理した場合に必要となるメインメモリの容量やメインバスの帯域を示す図である。たとえば、８Ｍピクセルのセンサーを利用している場合であって、連写速度が５コマ／秒である場合を想定する。１ピクセルあたり２バイトのデータが必要であるとすると、まず、ＲＡＷデータの書き込みについて８Ｍ×２バイト×５コマ＝８０Ｍバイト／ｓの帯域が必要である。さらに、ＲＰＵによるＲＡＷデータの読み込み、ＲＰＵによるＹＵＶデータの書き込み、ＪＰＥＧ処理部によるＹＵＶデータの読み込みについても、同じ帯域が必要である。つまり、上記（１）〜（４）の処理で、８０×４＝３２０Ｍバイト／ｓの帯域が必要である。そして、ＪＰＥＧ圧縮率が１／４と仮定すると、上記（５）、（６）の処理では、それぞれ２０Ｍバイト／ｓの帯域が必要である。以上より、上記（１）〜（６）までの処理を実行するのに、３６０Ｍバイト／ｓの帯域が必要となる。これが図１８において示されている。

そして、センサーの画素数が、１０Ｍピクセル、１２Ｍピクセル・・というように増加していくと、それに伴い、必要なバス帯域が４５０、５４０Ｍバイト／ｓと増加していく。もし、メインメモリが、ＤＤＲ２−１６６ＭＨｚであり、３２ｂｉｔバスのバス効率が５０％と仮定すると、バスの転送速度は６４４Ｍバイト／ｓとなる。つまり、図から分かるように、画素数が１６Ｍピクセルを超えると処理ができないことなる。同様に、図に示すように、センサーの画素数が増加するにつれて、メインメモリとして必要な容量も非常に多くなる。

一眼レフデジタルカメラにとって連写速度は非常に重要な要素である。たとえば、スポーツのシーンなど被写体が高速で移動している場合であれば、３コマ／秒の連写に比較して、５コマ／秒の連写であれば、ベストショットの可能性が５／３倍に増えることになる。しかし、上記のような処理方法では、メインメモリ間のデータ転送がボトルネックとなり、連写スピードを向上させることができない。

ここで、本願出願人は、上記特許文献１において、センサーから出力された画像データを、ＲＡＷデータとしてメインメモリに格納することなく、そのままリアルタイムで、画像処理を施し、ＪＰＥＧデータを生成してから、初めてメインメモリにデータを格納するパイプライン処理を提案している。このように、センサーから出力されたデータをパイプライン処理して、ＪＰＥＧ圧縮するまでメインメモリに格納することなく、リアルタイムで処理することで、バス帯域への負荷を軽減させるとともに、メインメモリに必要なバッファー領域のサイズを小さくすることが可能である。

したがって、本願出願人が上記特許文献１で提案している方法を、連続撮像に適用させる方法が考えられる。これにより、バス帯域の節約と、メインメモリに必要となるバッファーサイズを大幅に削減できるからである。

しかし、この場合、別の問題が発生する。リアルタイムで処理する場合、ＡＥ処理やＡＷＢ処理のための評価値を取得するタイミングが得られないからである。連続撮像中に、２枚目以降の画像データについては、１枚目の画像データで得られた評価値を利用して、ＡＥ処理やＡＷＢ処理を実行すればよい。しかし、連続撮像の１枚目の画像データについては、利用できるＡＥ評価値やＡＷＢ評価値が存在しないからである。

デジタルカメラが一眼レフタイプではなく、コンパクトカメラタイプのものであれば、撮像動作に入る前から、センサーで画像を取得し、液晶モニタに画像を映し出しているので、連写動作に入る前から、ＡＥ評価値やＡＷＢ評価値を取得することが可能である。

しかし、可動ミラーがミラーアップして初めてセンサーに画像が蓄積される一眼レフタイプのデジタルカメラでは、連写動作に入って初めて画像データが得られるので、１枚目の画像データについては、事前にＡＥ評価値やＡＷＢ評価値を得ることができない。したがって、上記のようにパイプライン処理を実行すると、１枚目の画像データについては、ＡＥ処理やＡＷＢ処理が実行できないことになる。

ここで、ミラーアップ後に取得した画像データに基づいてＡＥ評価値やＡＷＢ評価値を算出し、その評価値に基づいて１枚目の画像データに対して露出制御やホワイトバランス調整を行うという方法も考えられる。しかし、この方法は、シャッターボタンを押してから、実際の撮像画像データが取り込まれるまでの時間（いわゆるシャッタータイムラグ）が長くなり、ハイアマチュアやプロカメラマン向けに製造される一眼レフタイプのデジタルカメラとしては、大きな問題である。

一眼レフタイプのデジタルカメラでも、ＡＥ処理やＡＷＢ処理を行うための、補助的なセンサーを設けているものもある。このようなセンサーは、ミラーアップ前の状態においても、画像データを取得できるようになっているので、事前にＡＥ評価値やＡＷＢ評価値を得ることが可能である。しかし、このようなセンサーはあくまでも簡易的なものであるので、詳細な露出制御やホワイトバランス調整を行うには物足りない。また、デジタルカメラに余分な部品を取り付ける必要がある。また、たとえば、一枚目の画像データについては、前半分の画像データを利用して、ＡＥ評価値やＡＷＢ評価値を求め、その演算結果を用いて後半の画像データの露出制御やホワイトバランスを行うという方法が考えられるが、この方法は、画面の途中で明るさや色味が変わってしまうため、採用できない。

そこで、本発明は前記問題点に鑑み、バス帯域に負荷を掛けることなく、一眼レフタイプのデジタルカメラにおいて連続撮像を可能とする技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、c)後続の画像データを撮像する工程と、d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、を備え、前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする。

請求項２記載の発明は、請求項１に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記一眼レフデジタルカメラの画像処理部は、センサーから入力した撮像画像データから最終処理データを生成するまで、中間データを前記メインメモリに格納することなく処理するパイプライン処理が可能であり、前記工程d)では、前記工程c)で撮像された画像データが、最終処理データとなるまで前記メインメモリに格納されることなくリアルタイム処理されることを特徴とする。

請求項３記載の発明は、請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記先頭画像データについては、連続撮像処理終了後に、少なくとも露出制御またはホワイトバランス調整が実行されることで、画像処理が完了することを特徴とする。

請求項４記載の発明は、請求項２または請求項３に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記工程a)において前記メインメモリに格納される前記先頭画像データは、ホワイトバランス調整の行われていないＲＡＷデータであることを特徴とする。

請求項５記載の発明は、請求項２ないし請求項４のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、前記最終処理データは、ホワイトバランス調整が行われたＲＡＷデータであることを特徴とする。

請求項６記載の発明は、請求項２ないし請求項４のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、前記最終処理データは、少なくとも画素補間処理が施された汎用画像フォーマットのデータであることを特徴とする。

請求項７記載の発明は、請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＪＰＥＧフォーマットであることを特徴とする。

請求項８記載の発明は、請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＲＧＢ非圧縮画像フォーマットであることを特徴とする。

請求項９記載の発明は、請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＹＵＶ非圧縮画像フォーマットであることを特徴とする。

請求項１０記載の発明は、請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理までを含むことを特徴とする。

請求項１１記載の発明は、請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理および画像圧縮処理までを含むことを特徴とする。

請求項１２記載の発明は、請求項１１に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記画像圧縮処理は、ＪＰＥＧ圧縮処理であって、前記画素補間処理を処理する処理ブロックと、前記ＪＰＥＧ圧縮処理を処理する処理ブロックの間には、２ストリップのＹＵＶバッファーが設けられていることを特徴とする。

請求項１３記載の発明は、一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、c)後続の画像データを撮像する工程と、d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、を備え、前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、所定回数連続撮像を行った後、再び、前記工程a)および工程b)を実行し、更新された露出調整値またはホワイトバランス調整値に基づいて、前記工程c)〜工程d)を繰り返し実行し、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記先頭画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする。

請求項１４記載の発明は、請求項１３に記載の一眼レフデジタルカメラにおける連続撮像方法において、連続撮像中に定期的に前記工程a)および工程b)が再実行され、更新された露出調整値またはホワイトバランス調整値に基づいて後続の画像データに対して前記工程c)および工程d)が実行され、定期的に前記工程a)で取得された画像データに対しては、当該画像データから得られた露出調整値またはホワイトバランス調整値に基づいて最終的に露出制御またはホワイトバランス調整が実行されることを特徴とする。

請求項１５記載の発明は、一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、c)後続の画像データを撮像する工程と、d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、を備え、前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、所定回数連続撮像を行った後、再び、前記工程a)および工程b)を実行し、更新前の露出調整値またはホワイトバランス調整値と更新後の露出調整値またはホワイトバランス調整値から、その後に取得される後続の画像データの露出調整値またはホワイトバランス調整値を予測して、露出制御またはホワイトバランス制御を実行し、連続撮像処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記先頭画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする。

請求項１６記載の発明は、請求項１５に記載の一眼レフデジタルカメラにおける連続撮像方法において、連続撮像中に定期的に前記工程a)および工程b)が再実行され、連続撮像中に取得された複数の露出調整値またはホワイトバランス調整値から、その後に取得される後続の画像データの露出調整値またはホワイトバランス調整値を予測し、露出制御またはホワイトバランス制御が実行され、定期的に前記工程a)で取得された画像データに対しては、当該画像データから得られた露出調整値またはホワイトバランス調整値に基づいて最終的に露出制御またはホワイトバランス調整が実行されることを特徴とする。

請求項１７記載の発明は、一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、前記一眼レフデジタルカメラの画像処理部は、センサーから入力した撮像画像データから最終処理データを生成するまで、中間データをメインメモリに格納することなく処理するパイプライン処理が可能であり、a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、c)後続の画像データを撮像する工程と、d)前記工程c)で得られた露出評価値またはホワイトバランス評価値から露出調整値またはホワイトバランス調整値を演算するとともに、前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程c)で連続撮像中１つ前の画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、を備え、前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して、次々にパイプライン処理の中で露出制御またはホワイトバランス調整を行い、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする。

請求項１８記載の発明は、請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記先頭画像データについては、連続撮像の処理終了後に、少なくとも露出制御またはホワイトバランス調整が実行されることで、画像処理が完了することを特徴とする。

請求項１９記載の発明は、請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記工程a)において前記メインメモリに格納される前記先頭画像データは、ホワイトバランス調整の行われていないＲＡＷデータであることを特徴とする。

請求項２０記載の発明は、請求項１７ないし請求項１９のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、前記最終処理データは、ホワイトバランス調整が行われたＲＡＷデータであることを特徴とする。

請求項２１記載の発明は、請求項１７ないし請求項１９のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、前記最終処理データは、少なくとも画素補間処理が施された汎用画像フォーマットのデータであることを特徴とする。

請求項２２記載の発明は、請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＪＰＥＧフォーマットであることを特徴とする。

請求項２３記載の発明は、請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＲＧＢ非圧縮画像フォーマットであることを特徴とする。

請求項２４記載の発明は、請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記汎用画像フォーマットは、ＹＵＶ非圧縮画像フォーマットであることを特徴とする。

請求項２５記載の発明は、請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理までを含むことを特徴とする。

請求項２６記載の発明は、請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理および画像圧縮処理までを含むことを特徴とする。

請求項２７記載の発明は、請求項２６に記載の一眼レフデジタルカメラにおける連続撮像方法において、前記画像圧縮処理は、ＪＰＥＧ圧縮処理であって、前記画素補間処理を処理する処理ブロックと、前記ＪＰＥＧ圧縮処理を処理する処理ブロックの間には、２ストリップのＹＵＶバッファーが設けられていることを特徴とする。

請求項２８記載の発明は、請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、連続撮像により生成された最終的な画像データのファイル名は、撮像された順序に従ったファイル名が付与されることを特徴とする。

請求項２９記載の発明は、請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、連続撮像により生成された最終的な画像データのタイムスタンプは、画像データが最終的に記憶媒体に格納されたタイミングではなく、画像データが取得されたタイミングであることを特徴とする。

請求項３０記載の発明は、請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、連続撮像動作の前に、撮像条件取得用センサーで取得した画像データに基づいて、露出調整値またはホワイトバランス調整値を算出し、さらに、連続撮像中に取得した露出調整値またはホワイトバランス調整値に基づいて、再度露出制御またはホワイトバランス調整を行うことを特徴とする。

本発明の一眼レフデジタルカメラは、バス帯域を圧迫することなく、少ないメモリバッファー領域を利用して、連続撮像処理を実行することができる。そして、画像撮像用のセンサー以外に補助的なセンサーを利用することなく、連続撮像中の１枚目の画像データについても、適切な露出制御とホワイトバランス調整を行うことが可能である。

｛一眼レフデジタルカメラの構成｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本実施の形態に係る一眼レフデジタルカメラ１の機能ブロック図である。一眼レフデジタルカメラ１は、ＡＦ（オートフォーカス）機能や自動絞り機能などを備えた光学機構２を備えており、この光学機構２を通じて取り込んだ被写体像は、可動ミラー３（レフレックスミラー）において反射し、ファインダ部４に送られる。

ファインダ部４は、ペンタプリズム４１とビューファインダ４２を備えており、可動ミラー３で反射した光は、ペンタプリズム４１において反射して、正立像としてビューファインダ４２に送られるのである。ユーザは、このビューファインダ４２を覗くことで、撮像範囲内の被写体像を光学的に確認することが可能である。

可動ミラー３は、図示せぬミラー駆動機構により回動可能に構成されており、ユーザによりシャッターボタンが押され、撮像操作が行われると、可動ミラー３が跳ね上がり、光学機構２を通じて入射した光が、シャッター１１を介してＣＣＤ１２に取り込まれる。このとき必要に応じて撮像タイミングに同期され光量を調節された光をストロボ５から発して被写体に照射してもよい。

ＣＣＤ１２は、入射した光を光電変換し、蓄積した電荷を電気信号として出力する撮像センサーである。本実施の形態において、ＣＣＤ１２は、プログレッシブ（順次走査）タイプのものが使用されている。ＣＣＤには、偶数ラインのフィールドと奇数ラインのフィールドとを異なるタイミングで出力するインタレースタイプのものも存在するが、本実施の形態においては、後述するように、画像処理をリアルタイム処理するために、プログレッシブタイプのＣＣＤを利用することとしている。なお、本実施の形態においては、撮像センサーとしてＣＣＤを利用しているが、ＣＭＯＳセンサを利用してもよい。

また、ＣＣＤ１２には、図２に示すようなＲＧＢベイヤ配列の色フィルタアレイが装着されている。したがって、ＣＣＤ１２から出力される画素信号は、１画素についてＲ，Ｇ，Ｂいずれか１つの色成分を持つ画素信号である。ＲＧＢベイヤ配列は図に示すような配列となっているため、ＣＣＤ１２から出力される信号列の１つは、Ｒ→Ｇ→Ｒ→Ｇ→のように、Ｒ信号とＧ信号が交互に出力される信号列であり、他の信号列は、Ｇ→Ｂ→Ｇ→Ｂ→のように、Ｇ信号とＢ信号が交互に出力される信号列である。

ＣＣＤ１２から出力されたアナログの画素信号は、アナログ信号処理回路１３に入力され、アナログの信号処理が施された後、Ａ／Ｄ変換される。

Ａ／Ｄ変換された後のデジタル画像信号は、センサプロセシングユニット（以下、ＳＰＵと略す。）１４に入力される。ＳＰＵ１４は、入力した画像データに対して欠陥画素補正や黒レベル差分演算などの処理を実行する。また、ＳＰＵ１４は、入力したデジタル画像信号から露出制御を行うための露出制御用評価値を取得する処理部や、ホワイトバランス調整を行うためのホワイトバランス調整用評価値を取得する処理部を備えている。

ＳＰＵ１４から出力されるデジタル画像信号は、未だ画素補間処理が行われていないＲＡＷデータである。上述したように、ＣＣＤ１２は、ＲＧＢベイヤ配列の色フィルタアレイを備えているので、ＳＰＵ１４から出力されるデジタル画像信号は、１画素がＲ，Ｇ，Ｂいずれか１つの色成分のみをもつ信号である。ＳＰＵ１４は、メインメモリ２０とともにメインバス２５に接続されており、このＲＡＷデータをそのままメインメモリ２０に格納することが可能である。

さらに、ＳＰＵ１４は、リアルタイムプロセシングユニット（以下、ＲＰＵと略す。）１５に接続されており、ＲＡＷデータをメインバス２５に出力することなく、そのままＲＰＵ１５に出力可能である。リアルタイムプロセシングユニット１５は、画素補間処理を含む一般的画像処理を行う処理部である。

図３は、ＲＰＵ１５の処理ブロック図である。ＲＰＵ１５は、単一画素処理部１５１、画素補間・ガンマ処理部１５２、色空間変換・色抑圧処理部１５３、空間フィルタ・コアリング処理部１５４、リサイズ処理部１５５を備えている。

単一画素処理部１５１は、入力画像データの各画素値を、例えば複数フレームに亘って平均化する経時的平均化処理や、画像中の明暗のムラを補正するシェーディング補正処理等を実行する。

また、単一画素処理部１５１は、デジタルゲイン値９１に基づき、デジタル画像のゲインを制御し、撮像画像の露出制御を行う処理部を備える。具体的には、上述したように、ＳＰＵ１４において取得された露出制御用評価値に基づいて、ＣＰＵ１８がデジタルゲイン値９１を求める。そして、ＣＰＵ１８により単一画素処理部１５１内のレジスタに格納されたデジタルゲイン値９１に基づいて、撮像画像の露出が制御されるのである。一眼レフシステムにおいては前記光学機構２およびシャッター１１によってセンサーへの蓄積光量が制御され、既にある程度ＡＥ制御は行われている。しかしデジタルカメラの特徴としてＡ／Ｄ変換後にも単一画素処理部１５１のデジタルゲイン値９１などを制御することでより詳細にＡＥ制御を行うことが可能である。

さらに、単一画素処理部１５１は、ホワイトバランス調整用演算値９２に基づき、デジタル画像の各画素のホワイトバランスを調整する処理部を備える。具体的には、上述したように、ＳＰＵ１４において取得されたホワイトバランス調整用評価値に基づいて、ＣＰＵ１８がホワイトバランス調整用演算値９２を求める。そして、ＣＰＵ１８により単一画素処理部１５１内のレジスタに格納されたホワイトバランス調整用演算値９２に基づいて、ホワイトバランスが調整されるのである。ホワイトバランス調整用演算値９２は、ＲＡＷデータである各画像データＲ，Ｇ，Ｂに、それぞれ適用されるＲ画素用ゲイン（Ｒ−Ｇａｉｎ）、Ｇ画素用ゲイン（Ｇ−Ｇａｉｎ）、Ｂ画素用ゲイン（Ｂ−Ｇａｉｎ）からなる。あるいは、Ｇ画素のゲインは固定しておき、Ｒ，Ｂの画素の比率を変更するようにしてもよい。

画素補間・ガンマ処理部１５２は、入力画像データに対して、画素毎に不足している色成分を、周辺画素を参照して補間する画素補間処理部と、画像のガンマ特性を補正するガンマ補正処理部とを備えている。画素補間処理部において、画素補間が行われることにより、各画素について、Ｒ，Ｇ，Ｂ全ての色成分を持つ画像データに変換される。

ガンマ補正処理は、入力画素の画素値をレジスタに格納されたガンマ変換特性値９３に従い変換する。上述したように、ＳＰＵ１４において取得された露出制御用評価値に基づいて、ＣＰＵ１８がガンマ変換特性値９３を求める。そして、ＣＰＵ１８により画素補間・ガンマ処理部１５２内のレジスタに格納されたガンマ変換特性値９３に基づいて、撮像画像の露出が制御されるのである。

色空間変換・色抑圧処理部１５３は、入力画像データに対して、例えばＲＧＢ色空間からＹＣｂＣｒ色空間への変換を行う色空間変換処理部と、ホワイトバランスが狂い易い画像中の明部と暗部における発色を抑制する色抑圧処理部とを備える。この実施の形態においては、色空間変換処理部において、ＲＧＢ色空間の画像データが、ＹＵＶ画像データに変換される。

空間フィルタ・コアリング処理部１５４は、入力画像データに対して、画像中の線やエッジの強調や、ノイズの除去等を行う空間フィルタリング処理部と、主に画像信号の高域成分を抑圧する非線形処理部とを備える。

リサイズ処理部１５５は、ユーザにより設定された保存画像のサイズに合わせて、入力画像データの解像度を変換する処理を行う。

ＲＰＵ１５は、以上のように、複数の処理ブロック１５１〜１５５を備えている。そして、ＲＰＵ１５は、ＳＰＵ１４から入力した画像データを、各処理ブロック１５１〜１５５において順に処理することで、ＣＣＤ１２から出力された画像データを、ＲＡＷデータとしてメインメモリ２０に格納することなく、そのままリアルタイムで処理することが可能である。このように、ＳＰＵ１４から入力した画像データを、メインメモリ２０に格納することなく、リアルタイムに処理するために、ＲＰＵ１５は、複数のラインメモリを備えている。このラインメモリに入力した画像データを複数ライン分保持しつつ、上記各処理ブロックにおいて、画像処理を実行可能としている。上述したように、この一眼レフデジタルカメラ１のＣＣＤ１２は、プログレッシブタイプのＣＣＤであるので、ＣＣＤ１２から出力された画像データを、複数のラインメモリに保持しつつ、リアルタイムに画像処理を実行可能としている。

また、ＲＰＵ１５が備える各処理ブロック１５１〜１５５は、それぞれメインバス２５に接続されている。したがって、上述したように、ＲＰＵ１５は、ＳＰＵ１４から入力した画像データを順にリアルタイム処理することが可能であるが、各処理ブロック１５１〜１５５がメインバス２５に接続されていることで、個別にメインメモリ２０に格納された画像データを読み込んで画像処理することが可能である。

これにより、ＲＰＵ１５で実行できない画像処理はＣＰＵ１８でソフトウェアを用いて適宜実行させ、再び、ＲＰＵ１５内の必要な処理ブロックにデータを転送して、一般的画像処理を継続させることも可能である。これにより、全ての画像処理をＣＰＵ１８でソフトウェア処理する場合と比べると、数倍ないし数十倍の処理速度の向上が可能となり、またＣＰＵ１８の処理負担が軽減するため消費電力を低減することが可能となる。

再び、図１を参照する。図に示すように、ＲＰＵ１５には、２ストリップのバッファー１６が接続されている。ＲＰＵ１５において、ＲＧＢ色空間からＹＵＶ色空間に変換された画像データは、このバッファー１６に対して出力される。バッファー１６は、２つのセレクタ１６１，１６２と、２つのセレクタ１６１，１６２の間に並列的に接続された２つのバッファー１６Ａ，１６Ｂから構成されている。バッファー１６Ａ，１６Ｂは、それぞれ８ライン分のラインメモリを備えている。セレクタ１６１，１６２は、一方のセレクタがバッファー１６Ａ側に切替えられている場合には、他方のセレクタがバッファー１６Ｂ側に切替えられる構成となっている。

たとえば、セレクタ１６１がバッファー１６Ａ側に切替えられているタイミングで、ＲＰＵ１５から出力された８ライン分のＹＵＶ画像データがバッファー１６Ａに格納され、このタイミングで、バッファー１６Ｂに格納されていた８ライン分のＹＵＶ画像データが後段のＪＰＥＧ処理部１７に出力されるのである。逆に、ＲＰＵ１５から出力された８ライン分のＹＵＶ画像データがバッファー１６Ｂに格納されるタイミングで、バッファー１６Ａに格納されている８ライン分のＹＵＶ画像データがＪＰＥＧ処理部１７に出力されるのである。

このようにして、ＪＰＥＧ処理部１７は、次々に、８ライン分のＹＵＶ画像データを入力し、８×８のマクロブロックを単位として、ＪＰＥＧ圧縮処理を実行することが可能である。これにより、一眼レフデジタルカメラ１は、ＣＣＤ１２から出力された画像データを、メインメモリ２０に格納することなく、リアルタイムでＲＰＵ１５で画像処理を施し、さらに、画素補間が行われたＹＵＶ画像データについても、メインメモリ２０に格納することなく、ＪＰＥＧ圧縮処理を完了することができる。ＪＰＥＧ処理部１７において、ＪＰＥＧ圧縮処理が行われると、ＪＰＥＧデータが、メインメモリ２０に格納されるのである。

メインメモリ２０に格納されたＪＰＥＧデータは、カードコントローラ２１を介して、フラッシュメモリなどのメモリカード２２に格納される。このようにして、画像処理が完了し、圧縮処理された画像データがメモリカード２２に格納されるのである。

本実施の形態の一眼レフデジタルカメラ１は、以上の通り構成されており、ＳＰＵ１４、ＲＰＵ１５、ＪＰＥＧ処理部１７、ＣＰＵ１８がメインバス２５に接続されている。また、メインメモリ２０は、ＭＩＵ（Memory Interface Unit）１９を介してメインバス２５に接続されている。また、カードコントローラ２１がメインバス２５に接続されており、このカードコントローラ２１を介してメモリカード２２にアクセス可能となっている。また、操作部２４がメインバス２５に接続されており、ユーザにより行われた操作指示命令がＣＰＵ１８に通知されるようになっている。操作部２４には、撮影モードなどを切替えるダイヤルや、シャッターボタン（レリーズボタン）など、一眼レフデジタルカメラ１に対する操作指示を行うための全ての操作子が含まれる。

さらに、メインバス２５には、ＤＭＡコントローラ２３が接続されている。ＤＭＡコントローラ２３は、各処理ブロック間のデータ転送を担当するＤＭＡチャンネルと、各ＤＭＡチャンネルの転送順序を調停する調停回路とを備えている。これにより、メインバス２５に接続された、ＳＰＵ１４、ＲＰＵ１５、ＪＰＥＧ処理部１７、カードコントローラ２１などは、ＣＰＵ１８に処理負荷を掛けることなく、ＤＭＡコントローラ２３の制御のもとで、メインメモリ２０に対するデータの書き込みやデータの読み出し処理を実行することができる。

そして、図１に示すように、メインバス２５と、メインバス２５に接続されたＳＰＵ１４、ＲＰＵ１５、ＪＰＥＧ処理部１７、ＣＰＵ１８、ＭＩＵ１９、カードコントローラ２１、ＤＭＡコントローラ２３、操作部２４、ＲＰＵ１５とＪＰＥＧ処理部１７の間に介在されるバッファー１６が、ＬＳＩチップ１０に収納される構成となっている。

以上のように構成された一眼レフデジタルカメラ１において連続撮像処理（連続撮像処理のことを適宜、連写処理とも呼ぶ。）を実行する各実施の形態について以下説明する。

｛実施の形態１｝
実施の形態１の連続撮像処理方法について説明する。図４は、一眼レフデジタルカメラ１において連続撮像処理に関わる処理ブロックを示す図である。図に示すように、ＳＰＵ１４、ＲＰＵ１５、ＪＰＥＧ処理部１７、ＣＰＵ１８などは、ＬＳＩチップ１０に収納されて構成されている。

まず、ユーザにより操作部２４が操作されて、一眼レフデジタルカメラ１が、連写モードに設定される。連写モードが設定されると、ユーザが、シャッターボタンを押し続けている間、１秒間に、たとえば５コマ〜１０コマの割合で、連続的に被写体の撮像が行われるのである。

連写モードに設定されている状態で、ユーザがシャッターボタンを押すと、可動ミラー３が跳ね上がり、シャッター１１が一定時間開かれ、被写体像がＣＣＤ１２に入射される。ＣＣＤ１２から出力された画像信号は、Ａ／Ｄ変換され、ＳＰＵ１４において処理された後、図４に示すように、ＲＡＷデータ５１としてメインメモリ２０に格納される。つまり、連続撮像の１枚目の画像については、ＳＰＵ１４で処理された後、ＲＰＵ１５を通過することなく（つまり、画素補間を含む一般画像処理が施されることなく）、ＲＡＷデータのままメインメモリ２０に格納される。

このように、１枚目の撮像画像データについては、ＲＡＷデータのままメインメモリ２０に格納されるが、この１枚目の撮像画像データを利用して、ＣＰＵ１８が、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する（この３つの調整値９１〜９３を以下の説明において、適宜パラメータと総称する。）。なお、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算するために用いる露出制御用評価値とホワイトバランス調整用評価値は、上述したように、ＲＡＷデータ５１がメインメモリ２０に格納される前に、ＳＰＵ１４において取得される。あるいは、メインメモリ２０にＲＡＷデータ５１が格納された後、ＣＰＵ１８が、このＲＡＷデータ５１を読み出して、露出制御用評価値とホワイトバランス用評価値を取得するようにしてもよい。ＳＰＵ１４において、露出制御用評価値とホワイトバランス用評価値を取得することで、ＣＰＵ１８の処理負荷を低減させることが可能である一方、ＣＰＵ１８において、ソフトウェア処理により、露出制御用評価値とホワイトバランス用評価値を取得することで、より詳細な（あるいはより適切な）評価値を取得することが可能である。露出制御用評価値は一般にＲＧＢベイヤ信号の輝度信号にもっとも近いＧ信号を画面内の複数ブロックごとに積算した値などが算出され使用される。ホワイトバランス用評価値としては、ＲＧＢベイヤ信号の各色信号を画面内の複数ブロック毎かつ色毎に積算した値などが算出され使用される。

ＣＰＵ１８は、前記露出制御用評価値およびホワイトバランス用評価値を使用して、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算すると、図５に示すように、これらのパラメータを、ＲＰＵ１５内のレジスタにセットする。これにより、連続撮像される後続の画像データに対しては、リアルタイムで露出制御やホワイトバランス調整が可能となるのである。

ここで、これまでに説明した評価値（露出制御用評価値およびホワイトバランス評価値）と調整値９１〜９３（パラメータ）の区別を明確にしておく。露出制御用評価値やホワイトバランス評価値は、あるブロック内でＲＧＢベイヤの各色毎に画素値を積算した値であり、ＡＥ、ＡＷＢ演算の計算の元となるデータである。この値は、上述したように、メモリ上のＲＡＷデータをＣＰＵで積算することにより得られる。あるいは、リアルタイム処理の中でＳＰＵ１４またはＲＰＵ１５内の単一画素処理部１５１でハードウェアで積算して得ることもできる。一方、デジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２などの調整値は、上記の評価値を使用して、ＡＥ、ＡＷＢ演算を行った結果得られたＡＥゲイン、ＡＷＢゲインである。

１枚目の撮像画像データについて、図４および図５の処理が行われると、一旦、可動ミラー３がダウンする。この瞬間、ユーザは、ビューファインダ４２から被写体を光学的に確認することができる。このように一眼レフシステムでは一般的に、連続撮像中であっても、１枚の撮像ごとに、可動ミラー３をダウンさせビューファインダ４２に被写体像を一瞬でも送ることで、ユーザが、被写体を追随しながら連写操作を行うことを可能としている。

続いて、可動ミラー３がアップし、シャッター１１が一定時間開かれ、２枚目の被写体像がＣＣＤ１２に入射される。２枚目の撮像画像データについては、ＳＰＵ１４で処理された後、メインメモリ２０に格納されることなく、ＲＰＵ１５に転送される。そして、２枚目の撮像画像データに対して、ＲＰＵ１５では、前記の様に１枚目の画像データより計算された露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３を利用して、露出制御が行われ、１枚目の画像データより計算されたホワイトバランス調整用演算値９２を利用してホワイトバランス調整が行われる。ＲＰＵ１５で、画素補間されたＹＵＶ画像データは、メインメモリ２０に格納されることなく、バッファー１６を介してＪＰＥＧ処理部１７に転送され、ＪＰＥＧ圧縮される。そして、圧縮された２枚目の撮像画像データが、ＪＰＥＧデータ５２としてメインメモリ２０に格納されるのである。この状態を図６に示す。

このように、連続撮像中、２枚目の画像データについては、１枚目の画像データの取得後に得られた露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を利用して、リアルタイムで露出制御およびホワイトバランス調整が行われる。そして、ＳＰＵ１４、ＲＰＵ１５、ＪＰＥＧ処理部１７と連続する処理ブロックは、ＲＰＵ１５が複数のラインメモリを保有していること、および、ＲＰＵ１５とＪＰＥＧ処理部１７との間に２ストリップのバッファー１６が介在されていることにより、完全パイプライン動作が可能である。つまり、ＣＣＤ１２から出力された画像データに対して、露出制御、ホワイトバランス調整、画素補間、ＪＰＥＧ圧縮処理までの処理をパイプライン動作で実行することにより、メインメモリ２０に中間データを格納することなく、最終的な生成データであるＪＰＥＧデータを生成してから、メインメモリ２０に格納することができるのである。

２枚目の撮像画像データについて、図６の処理が行われると、一旦、可動ミラー３がダウンし、再び、ユーザは、ビューファインダ４２から被写体を光学的に確認することができる。続いて、可動ミラー３がアップし、シャッター１１が一定時間開かれ、３枚目の被写体像がＣＣＤ１２に入射される。３枚目の撮像画像データについても、ＳＰＵ１４で処理された後、メインメモリ２０に格納されることなく、ＲＰＵ１５に転送される。そして、３枚目の撮像画像データに対して、ＲＰＵ１５では、１枚目の画像データより計算された露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３を利用して、露出制御が行われ、１枚目の画像データより計算されたホワイトバランス調整用演算値９２を利用してホワイトバランス調整が行われる。ＲＰＵ１５で、画素補間されたＹＵＶ画像データは、メインメモリ２０に格納されることなく、バッファー１６を介してＪＰＥＧ処理部１７に転送され、ＪＰＥＧ圧縮される。そして、圧縮された３枚目の撮像画像データが、ＪＰＥＧデータ５３としてメインメモリ２０に格納されるのである。この状態を図７に示す。

また、図７に示すように、３枚目の撮像画像データが、ＪＰＥＧデータ５３としてメインメモリ２０に格納されるタイミングで、２枚目の撮像画像データであるＪＰＥＧデータ５２が、カードコントローラ２１を介してメモリカード２２に格納される。

このように、２枚目の撮像画像データに続けて、３枚目の撮像画像データについても、１枚目の画像データの取得時に得られた露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を利用して、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる。

ここで、３枚目の撮像画像データが取得されたところで、ユーザが、シャッターボタンから指を離し、連続撮像指示を終了したとする。連続撮像処理が終了すると、図８に示すように、メインメモリ２０に格納されていた１枚目の撮像画像データであるＲＡＷデータ５１がＲＰＵ１５に転送される。ここで、ＲＰＵ１５の上流側のセレクタ１５０は、図４〜図７の処理タイミングでは、ＳＰＵ１４からの入力をＲＰＵ１５に出力するよう制御されているが、この図８に示す処理タイミングでは、メインバス２５からの入力をＲＰＵ１５に出力するよう制御される。

そして、１枚目の撮像画像データであるＲＡＷデータ５１に対して、ＲＰＵ１５では、２枚目、３枚目の画像と同様に露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３を利用して、露出制御が行われ、ホワイトバランス調整用演算値９２を利用してホワイトバランス調整が行われる。ＲＰＵ１５で、画素補間されたＹＵＶ画像データは、メインメモリ２０に格納されることなく、バッファー１６を介してＪＰＥＧ処理部１７に転送され、ＪＰＥＧ圧縮される。そして、圧縮された１枚目の撮像画像データが、ＪＰＥＧデータ５４としてメインメモリ２０に格納されるのである。

このように、１枚目の撮像画像データについては、画像取得時には、一旦、ＲＡＷデータのままメインメモリ２０に格納され、全ての連続撮像が終了した後、ＲＰＵ１５に読み込んで一般的画像処理を施すのである。そして、このとき、１枚目の撮像画像データについては、１枚目の撮像画像データから演算された露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３、ホワイトバランス調整用演算値９２を利用して、露出制御およびホワイトバランス調整が行われるのである。

また、１枚目の撮像画像データが、ＪＰＥＧデータ５４としてメインメモリ２０に格納されるタイミングで、図８に示すように、３枚目の撮像画像データであるＪＰＥＧデータ５３がメモリカード２２に格納される。

最後に、図９に示すように、メインメモリ２０に格納されていた１枚目の撮像画像データであるＪＰＥＧデータ５４がメモリカード２２に格納されるのである。

図１０は、以上説明した連続撮像処理の処理シーケンスを示す図である。図において、信号８１は、可動ミラー３のオープン／クローズを制御する信号である。可動ミラー３がオープンな状態とは、可動ミラー３がアップし、ＣＣＤ１２に被写体像が入射される状態を示している。信号８２は、ＣＣＤ１２の垂直同期信号を示している。

まず、最初のタイミングで、１枚目の被写体像がＣＣＤ１２に蓄積される（ステップＳ１０１）。次のタイミングで、１枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ１０２）、ＲＡＷデータとしてメインメモリ２０に格納される（ステップＳ１０３）。また、このタイミングで、２枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ１０４）。ここまでの処理は、図４の処理に対応している。

続いて、ＣＰＵ１８が、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する（ステップＳ１０５）。そして、演算したパラメータをＲＰＵ１５のレジスタにセットする。ここまでの処理は、図５の処理に対応している。なお、ＣＰＵ１８が、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算するために用いる露出制御用評価値とホワイトバランス調整用評価値は、ＳＰＵ１４で取得されていてもよいし、ＣＰＵ１８によるソフトウェア処理で取得されてもよい。

次のタイミングで、２枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ１０６）、２枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整、更に画素補間を含む一般画像処理が行われ、同時に２ストリップのＹＵＶバッファーを経由してＪＰＥＧ圧縮処理が行われる（ステップＳ１０７）。厳密には、露出制御およびホワイトバランス調整と画素補間を含む一般画像処理とＪＰＥＧ圧縮処理はパイプライン分および２ストリップＹＵＶバッファー分の時間差があるが、一枚の画像処理全体の時間に比べればそれぞれのディレイ時間は非常に小さいのでほぼ同時に処理されると考えて差し支えない。そして、２枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、３枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ１０８）。ここまでの処理は、図６の処理に対応している。

次のタイミングで、２枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ１０９）。また、このタイミングで、３枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ１１０）、３枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる（ステップＳ１１１）。そして、３枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。ここまでの処理は、図７の処理に対応している。

次に、１枚目の撮像画像データであるＲＡＷデータがＲＰＵ１５に読み込まれ、露出制御およびホワイトバランス調整が行われる（ステップＳ１１２）。そして、１枚目の撮像画像データが、ＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、３枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ１１３）。ここまでの処理が、図８の処理に対応している。

最後に、メインメモリ２０に格納されていた１枚目の撮像画像データであるＪＰＥＧデータが、メモリカード２２に格納されるのである（ステップＳ１１４）。ここまでの処理が、図９の処理に対応している。

このように、第１の実施の形態における一眼レフデジタルカメラ１によれば、１枚目の撮像画像データについては、ＲＡＷデータのまま一旦メインメモリ２０に格納し、その１枚目の撮像画像データに基づいて、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する。そして、これらパラメータがＲＰＵ１５のレジスタにセットされることにより、２枚目以降の撮像画像データについては、パイプライン処理を利用して、ＣＣＤ１２の出力からＪＰＥＧデータの生成までの間、中間データを一切メインメモリ２０に格納することなく、リアルタイムで画像処理を実行することができる。これにより、メインメモリ２０に必要とされるバッファー領域を大幅に削減するとともに、メインバス２５に対するバス帯域の負荷を大幅に縮小させることが可能である。また、これにより、連写撮像時の消費電力を大幅に削減することが可能である。

また、最終的に、メインメモリ２０に格納されていた１枚目のＲＡＷデータについては、最初に取得したパラメータに基づいて露出制御とホワイトバランス調整を行うので、パイプライン処理により連続撮像処理を可能としながら、また、補助的なセンサーなどを必要とすることなく、全ての撮像画像データについて、適切な露出制御とホワイトバランス調整を行うことが可能である。

図１５は、メインメモリ２０に必要となるバッファー領域とメインバス２５に掛かる負荷を表す図である。図１７で示した従来の方法に比べて、ＤＭＡの転送回数が６回から２回に減少していることが分かる。これにより、バス帯域の負荷を大幅に縮小することができる。また、メインメモリ２０には、ＪＰＥＧデータのみを格納すればよいので（ＲＡＷデータを格納するのは、１枚目の撮像画像データのみである。）、メインメモリ２０に必要とされるバッファー領域も大幅に削減することができる。

図１６は、図１５のシステム構成において、必要となるバス帯域やメインメモリのサイズを示す図である。つまり、従来のシステムにおける図１８に対応するものである。たとえば、８Ｍピクセルのセンサーを利用している場合であって、連写速度が５コマ／秒である場合を想定する。１ピクセルあたり２バイトのデータが必要であるとすると、このシステムの場合、必要となる帯域は、４０Ｍバイト／ｓのみである。つまり、「発明が解決しようとする課題」の項で（１）〜（６）までの処理を説明したが、本システムでは、その中で、メインメモリにアクセスする処理は、処理（５）、（６）のみであり、これらの処理では、それぞれ２０Ｍバイト／ｓの帯域が必要であったので、全体で必要な帯域は、４０Ｍバイト／ｓである。このように、本発明のシステムでは、バス帯域を大幅に節約できるのである。そして、センサーの画素数が、１０Ｍピクセル、１２Ｍピクセル・・というように増加していくと、それに伴い、必要なバス帯域は増加するが、例えセンサーの画素数が２４Ｍピクセルになったとしても、必要なバス帯域は１２０Ｍバイト／ｓである。したがって、メインメモリ２０が、ＤＤＲ２−１６６ＭＨｚであり、３２ｂｉｔバスのバス効率が５０％と仮定すると、バスの転送速度は６４４Ｍバイト／ｓとなるので、バス帯域に充分な余裕を持たせることが可能である。実際にはもっと低周波数動作のメモリを使用して大幅に消費電力を削減することも可能となる。

｛実施の形態２｝
次に、本発明の第２の実施の形態について説明する。第２の実施の形態における処理の流れは、第１の実施の形態と基本的には同じである。ただし、第１の実施の形態においては、先頭の１枚目の撮像画像データだけをＲＡＷデータとして、メインメモリ２０に格納し、２枚目以降の撮像画像データをリアルタイム処理したが、第２の実施の形態においては、１枚目を含む複数枚の撮像画像データを先頭画像データとして、ＲＡＷデータのままメインメモリ２０に格納する。

図１１は、１枚目と２枚目の撮像画像データをＲＡＷデータとしてメインメモリ２０に格納する処理を例として示している。

まず、最初のタイミングで、１枚目の被写体像がＣＣＤ１２に蓄積される（ステップＳ２０１）。次のタイミングで、１枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ２０２）、ＲＡＷデータとしてメインメモリ２０に格納される（ステップＳ２０３）。また、このタイミングで、２枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ２０４）。

続いて、ＣＰＵ１８が、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する（ステップＳ２０５）。そして、演算したパラメータをＲＰＵ１５のレジスタにセットする。

さらに、このタイミングで、２枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ２０６）、ＲＡＷデータとしてメインメモリ２０に格納される（ステップＳ２０７）。また、このタイミングで、３枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ２０８）。

次のタイミングで、３枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ２０９）、３枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる（ステップＳ２１０）。そして、３枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、４枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ２１１）。

次のタイミングで、３枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ２１２）。また、このタイミングで、４枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ２１３）、４枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる（ステップＳ２１４）。そして、４枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。

次に、１枚目の撮像画像データであるＲＡＷデータがＲＰＵ１５に読み込まれ、露出制御およびホワイトバランス調整が行われる（ステップＳ２１５）。そして、１枚目の撮像画像データが、ＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、４枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ２１６）。

次に、メインメモリ２０に格納されていた１枚目の撮像画像データであるＪＰＥＧデータが、メモリカード２２に格納される（ステップＳ２１７）。また、このタイミングで、２枚目の撮像画像データであるＲＡＷデータがＲＰＵ１５に読み込まれ、露出制御およびホワイトバランス調整が行われる（ステップＳ２１８）。そして、２枚目の撮像画像データが、ＪＰＥＧデータとしてメインメモリ２０に格納される。最後に、２枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ２１９）。

このように、第２の実施の形態においては、１枚目を含む複数の先頭画像データ（上記の例では１枚目および２枚目）を、一旦、ＲＡＷデータとして格納する。そして、第１の実施の形態と同様に、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を、先頭１枚目の撮像画像データに基づいて演算しておくのである。そして、この演算で求めたパラメータをＲＰＵ１５にセットしておくことにより、３枚目以降の撮像画像データについては、完全パイプライン処理により、中間データをメインメモリ２０に格納することなく、ＪＰＥＧデータを生成することができる。

このように、１枚目だけでなく、先頭の複数の撮像画像データをＲＡＷデータとして格納することにより、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する処理に長い時間が必要な場合にも適用可能である。たとえば、ＣＰＵ１８によるソフトウェア処理により、非常に詳細な露出制御やホワイトバランス調整を行いたい場合には、比較的長めの時間を掛けてパラメータを演算する必要がある。このため、２枚目などの後続の撮像画像データについては、パラメータの計算が間に合わない場合があるので、１枚目を含む複数の先頭画像データを一旦ＲＡＷデータとして保存するのである。そして、パラメータが演算され、ＲＰＵ１５のレジスタにセットされた後は、リアルタイム処理を行えばよい。

｛実施の形態３｝
次に、本発明の実施の形態３について説明する。実施の形態１においては、１枚目の撮像画像データをＲＡＷデータとしてメインメモリ２０に格納し、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算するようにした。そして、後続の撮像画像データについては、全て１枚目の撮像画像データから得られたパラメータを用いてリアルタイムに露出制御、ホワイトバランス調整を行った。

実施の形態３においては、定期的に、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を更新する。図１２は、実施の形態３に係る連続撮像方法を示す図である。この例では、撮像画像データを４枚取得するごとに、ＲＡＷデータをメインメモリ２０に格納し、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算するようにしている。

具体的には、１枚目の撮像画像データについて露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算して、ＲＡＷデータを格納し、２〜４枚目の撮像画像データについては、１枚目の撮像画像データから得られたパラメータに基づき露出制御およびホワイトバランス調整を行う。次に、５枚目の撮像画像データについて露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算して、ＲＡＷデータを格納し、６〜８枚目の撮像画像データについては、５枚目の撮像画像データから得られたパラメータに基づき露出制御およびホワイトバランス調整を行う。同様に、１０〜１２枚目の撮像画像データについては、９枚目の撮像画像データから得られたパラメータを利用するのである。

そして、連続撮像動作が終了した時点で、ＲＡＷデータとして格納されている１枚目、５枚目、９枚目の撮像画像データについて露出制御およびホワイトバランス制御を行うのである。１枚目の撮像画像データについては、１枚目の撮像画像データから得られたパラメータを利用して露出制御およびホワイトバランス調整を行えばよいし、５枚目、９枚目の撮像画像データについても、自己のデータから得られたパラメータを利用すればよい。

この実施の形態によれば、定期的に、露出制御およびホワイトバランス調整を行うためのパラメータが更新されるので、連続撮像動作中に、周辺の明るさや照明環境などが変化した場合であっても、その場に最適な露出値およびホワイトバランス調整を行うことが可能である。

なお、実施の形態２と同様、１枚目を含む複数の撮像画像データをＲＡＷデータで格納する処理を定期的に実行するようにしてもよい。たとえば、１枚目、２枚目の撮像画像データをＲＡＷデータとして格納し、３枚目、４枚目の撮像画像データについては、１枚目から得られたパラメータを利用する。次に、再び、５枚目、６枚目の撮像画像データをＲＡＷデータとして格納し、７枚目、８枚目については、５枚目のパラメータを利用するのである。これにより、実施の形態２と同様、時間をかけてパラメータを詳細に演算することが可能である。

｛実施の形態４｝
次に、本発明の実施の形態４について説明する。実施の形態３では、定期的に、露出制御およびホワイトバランス調整用のパラメータを更新した。実施の形態４では、過去に取得された複数のパラメータから後続の撮像画像データに適用するパラメータを予測して決定する。

図１３においては、３枚に１枚の割合で、撮像画像データをＲＡＷデータとして格納し、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算するようにしている。そして、５枚目の撮像画像データについては、１枚目の撮像画像データから得られたパラメータと、４枚目の撮像画像データから得られたパラメータから５枚目に適用するパラメータを推測するようにしている。たとえば、１枚目のパラメータから４枚目のパラメータの変化量から、周辺環境の変動を予測し、その変化量がそのまま継続するとの前提のもと、５枚目や６枚目の撮像画像データのパラメータを推測するのである。このような処理をすることで、連続撮像動作に伴い変動する周辺環境に追随した露光制御およびホワイトバランス調整を行うことが可能である。

なお、実施の形態４においても、実施の形態２と同様の方法を取り入れてもよい。つまり、定期的に、複数の撮像画像データをＲＡＷデータとしてメインメモリ２０に格納し、ＣＰＵ１８によって詳細にパラメータを演算するようにしてもよい。

｛実施の形態５｝
次に、本発明の実施の形態５について説明する。実施の形態１においては、１枚目の撮像画像データをＲＡＷデータとして格納し、そのデータから得られたパラメータを用いて、後続の全ての撮像画像データについてリアルタイムで露出制御、ホワイトバランス制御を行った。これに対して、実施の形態５では、連続撮像中、１枚前の撮像画像データから得られた露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を利用して、各撮像画像データの露出制御およびホワイトバランス調整を行う。つまり、２枚目は１枚目のパラメータを利用し、３枚目は２枚目のパラメータを利用し、４枚目は３枚目のパラメータを利用する、という方法を繰り返し行うのである。

ここで、露出制御用評価値あるいはホワイトバランス調整用評価値は、ＳＰＵ１４で取得してもよいし、ＣＰＵ１８によるソフトウェア処理で取得してもよいと先に説明した。しかし、この実施の形態において、２枚目以降の撮像画像データについては、メインメモリ２０に格納することなく、リアルタイム処理する過程で、これら評価値を得る必要がある。したがって、２枚目以降の撮像画像データについては、ＳＰＵ１４で露出制御用評価値およびホワイトバランス調整用評価値を得ることとする。

図１４は、実施の形態５における処理シーケンスを示す図である。まず、最初のタイミングで、１枚目の被写体像がＣＣＤ１２に蓄積される（ステップＳ３０１）。次のタイミングで、１枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ３０２）、
ＳＰＵ１４において、露出制御用評価値およびホワイトバランス調整用評価値が取得される（ステップＳ３０３）。そして、１枚目の撮像画像データが、ＲＡＷデータとしてメインメモリ２０に格納される（ステップＳ３０４）。また、このタイミングで、２枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ３０５）。

続いて、ＣＰＵ１８が、１枚目の撮像画像データから得られた評価値に基づき、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する（ステップＳ３０６）。そして、演算したパラメータをＲＰＵ１５のレジスタにセットする。

次のタイミングで、２枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ３０７）、ＳＰＵ１４において、露出制御用評価値およびホワイトバランス調整用評価値が取得される（ステップＳ３０８）。また、２枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる（ステップＳ３０９）。つまり、１枚目から得られたパラメータを利用して露出制御およびホワイトバランス調整が行われる。そして、２枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、３枚目の被写体像が、ＣＣＤ１２に蓄積される（ステップＳ３１０）。

続いて、ＣＰＵ１８が、２枚目の撮像画像データから得られた評価値に基づき、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算する（ステップＳ３１１）。そして、演算したパラメータをＲＰＵ１５のレジスタにセットする。

次のタイミングで、２枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ３１２）。また、このタイミングで、３枚目の撮像画像データが、ＣＣＤ１２から読み出され（ステップＳ３１３）、３枚目の撮像画像データに対して、ＲＰＵ１５において、リアルタイムで露出制御およびホワイトバランス調整その他の処理が行われる（ステップＳ３１４）。つまり、２枚目から得られたパラメータを利用して露出制御およびホワイトバランス調整が行われる。そして、３枚目の撮像画像データがＪＰＥＧデータとしてメインメモリ２０に格納される。３枚目の撮像が行われた時点で、ユーザが、シャッターボタンから指を離し、連続撮像指示が終了したものとする。

次に、１枚目の撮像画像データであるＲＡＷデータがＲＰＵ１５に読み込まれ、露出制御およびホワイトバランス調整が行われる（ステップＳ３１５）。このとき、１枚目の撮像画像データについては、１枚目の撮像画像データから演算されたパラメータが、再びＲＰＵ１５のレジスタにセットされ、そのパラメータに基づいて露出制御およびホワイトバランス調整が行われる。そして、１枚目の撮像画像データが、ＪＰＥＧデータとしてメインメモリ２０に格納される。また、このタイミングで、３枚目の撮像画像データであるＪＰＥＧデータがメモリカード２２に格納される（ステップＳ３１６）。

最後に、メインメモリ２０に格納されていた１枚目の撮像画像データであるＪＰＥＧデータが、メモリカード２２に格納されるのである（ステップＳ３１７）。

このように、実施の形態５によれば、各撮像画像データは、１つ前に撮像された撮像画像データから演算されたパラメータを利用して、露出制御およびホワイトバランス調整を行うので、連続撮像中に環境が変動した場合でも、最適な露出制御およびホワイトバランス制御を行うことが可能である。

なお、図１４で示したシーケンスでは、１枚目の撮像画像データについても、ＳＰＵ１４で露光制御用評価値およびホワイトバランス調整用評価値を得るようにしたが、１枚目の撮像画像データについては、ＲＡＷデータをメインメモリ２０に格納した後、ＣＰＵ１８のソフトウェア処理により、これら評価値を取得してもよい。この場合には、ハードウェアであるＳＰＵ１４で評価値を得る場合に比べて、より詳細な評価値を得ることが可能である。

そして、１枚目の撮像画像データにおいてＣＰＵ１８を利用して、より詳細な評価値を得た場合には、その評価値に基づき、より信頼性の高い露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算することができる。したがって、３枚目以降の撮像画像データについては、１枚前の撮像画像データから求めたパラメータと１枚目の撮像画像データから得られたパラメータとを比較して、最適なパラメータを利用して露出制御およびホワイトバランス調整を行うようにしてもよい。

たとえば、１枚目から得られたパラメータと３枚目から得られたパラメータが大きく変わっていれば、環境が大きく変動した可能性があるので、主に最新の３枚目のパラメータを利用して、４枚目の撮像画像データの露出制御およびホワイトバランス制御をおこなう。もし、１枚目と３枚目から得られたパラメータの差が小さい場合には、両者の平均をとるような方法も考えられる。

なお、実施の形態５においても、実施の形態２と同様の方法を取り入れてもよい。つまり、１枚目を含む複数の撮像画像データをＲＡＷデータとしてメインメモリ２０に格納し、１枚目の撮像画像データから時間をかけてパラメータを演算するようにしてもよい。

｛実施の形態６｝
次に、本発明の実施の形態６について説明する。実施の形態６は、実施の形態５を応用した連続撮像方法である。実施の形態６においては、シーンの連続性が失われた場合に、ＲＡＷデータをメインメモリに格納し、露出制御用およびホワイトバランス調整用のパラメータを更新するものである。

たとえば、操作部２４が操作され、連写モードに設定されていない場合であっても、シャッターボタンが連続的に押された場合には、上記実施の形態５の処理と同様の処理を行えばよい。つまり、各撮像画像データについては、１つ前の撮像画像データで得られたパラメータを利用して露出制御およびホワイトバランス調整を行えばよい。しかし、ユーザが、連続的に、シャッターボタンを押しているが、その一連の動作の中で、少しシャッターボタンを押す間隔が空いたとする。たとえば、０．５秒など予め設定された期間シャッターボタンが押されなかったとする。この場合、それ以前に取得されていたパラメータを利用して露出制御あるいはホワイトバランス制御を行うことは適切ではない。そこで、所定期間シャッターボタンが押されなかった場合には、再度初期状態に戻り、次に、シャッターボタンが押されたときは、１枚目の撮像画像と同じ扱いをする。つまり、ＲＡＷデータを格納し、露出制御およびホワイトバランス調整用のパラメータを再演算するのである。

また、ズーム操作が行われ、画角が変化した場合にもシーンの連続性が失われたと判定してもよい。たとえば、ユーザが、連続撮像中に、ズーム率を変更したとする。この様な場合、撮像範囲が大きく変化すれば、それ以前に取得されていたパラメータを利用して露出制御あるいはホワイトバランス制御を行うことは適切ではない。そこで、所定閾値を超えてズーム倍率が変更されたときには、再度、ＲＡＷデータを格納し、露出制御およびホワイトバランス調整用のパラメータを再演算するのである。

さらに、連続撮像処理中に連続する画像間（フレーム間）で、平均輝度のレベルが所定の閾値を超えて変化した場合にもシーンの連続性が失われたと判定してもよい。たとえば、ユーザが、連続撮像中に、被写体に追随してカメラの撮像方向を変更したとする。この様な場合、たとえば明るい場所から暗い場所へ被写体が移動した場合など、それ以前に取得されていたパラメータを利用して露出制御あるいはホワイトバランス制御を行うことは適切ではない。そこで、所定閾値を超えて平均輝度レベルが変更されたときには、再度、ＲＡＷデータを格納し、露出制御およびホワイトバランス調整用のパラメータを再演算するのである。

｛応用例｝
上記各実施の形態においては、連続撮像により得られたＪＰＥＧデータが、メモリカード２２に格納される順序は、画像の撮像順序と異なる。つまり、一旦、ＲＡＷデータとしてメインメモリ２０に格納される撮像画像データは、早いタイミングで撮像されたにも関わらず、連続撮像処理の最後にＪＰＥＧデータとして完成され、メインメモリ２０に格納される。

一般に、デジタルカメラにおいては、撮像された順序に従いシーケンシャルＮＯを含むファイル名が付与されるのが一般的である。この場合、上記各実施の形態において、ＪＰＥＧデータの生成タイミングあるいはメインカード２２への格納タイミングで、ファイル名を付与すると、最初に撮像された撮像画像データのファイル名が、２枚目以降に撮像された画像データよりも後の番号を含むことになる。そこで、本実施の形態においては、ＪＰＥＧデータの生成タイミングあるいはメインカード２２への格納タイミングではなく、ＣＣＤ１２から撮像画像データが出力された順序に基づいて、シーケンシャルＮＯを含むファイル名を付与するようにしているのである。これにより、ユーザは、ファイル名を見ることで、撮像順序を即座に判断することができる。

同様に、メモリカード２２に格納されるＪＰＥＧデータのタイムスタンプについても、メモリカード２２に格納されるタイミングを基準とすると、最初に撮像され、ＲＡＷデータとして一旦格納された撮像画像データに後のタイムスタンプが記録されることになる。そこで、本実施の形態においては、撮像画像データが得られたタイミング（たとえば、ＣＣＤ１２から撮像画像データが出力されたタイミング）でタイムスタンプを与えるようにしている。これにより、連続撮像された撮像画像データの実際の順序とタイムスタンプとの整合をとることができる。

上記実施の形態においては、ＣＣＤ１２から出力された撮像画像データを利用して、露出制御用評価値やホワイトバランス調整用評価値を得るようにした。これ以外の方法として、撮像条件取得用の補助センサーを設け、このセンサーから得られた画像データに基づいて、露出制御用評価値およびホワイトバランス用評価値を得て、これら評価値に基づいて、露出制御用のデジタルゲイン値９１、ガンマ変換特性値９３およびホワイトバランス調整用演算値９２を演算してもよい。たとえば、補助センサーを、ペンタプリズム４１で反射した光を受光可能な位置に配置しておけば、ミラーアップ動作前でも画像を得ることができる。この場合には、連続撮像動作に入る前に露出制御用およびホワイトバランス調整用のパラメータが得られることになる。

しかし、補助センサーとしては、コストの面、装置構成の面からも簡易的なものを使用することしかできないため、この補助センサーから取得した画像に基づくパラメータは、簡易的なものとして利用する。つまり、この簡易的なパラメータに基づいて、露出制御やホワイトバランス制御を行い、さらに、上記各実施の形態と同様の処理を実行することにより、さらに、最適な露出制御とホワイトバランス制御を行うのである。特に、露出制御については、連続撮像前にパラメータが得られることで、１枚目の撮像画像データについても、アナログゲインの調整を行うことができるというメリットがある。

なお、上記各実施の形態においては、ＲＰＵ１５でリアルタイム処理された撮像画像データは、最終的にＪＰＥＧデータとしてメインメモリ２０に格納された。しかし、この処理形態は一例であり、その他の汎用的な画像フォーマットであってもよい。たとえば、ＲＰＵ１５からＲＧＢの非圧縮画像データを出力し、このフォーマットを最終的な画像データとしてメインメモリ２０に格納してもよいし、ＹＵＶの非圧縮画像データを最終的な画像データとしてメインメモリ２０に格納してもよい。この場合であっても、上記各実施の形態の処理方法を実行すれば、同様の効果を奏する。最終生成データが、ＲＧＢ非圧縮画像データあるいはＹＵＶ非圧縮画像データである場合には、パイプライン処理は、センサー入力から画素補間処理までを含んでいればよい。さらに最終データとして、ホワイトバランス調整を行ったＲＡＷデータを格納するようにしても良い。

本実施の形態に係る一眼レフデジタルカメラのブロック図である。 ＲＧＢベイヤ配列を示す図である。 リアルタイムプロセシングユニットの処理ブロックを示す図である。 連続撮像処理中の１ステップを示す図である。 連続撮像処理中の１ステップを示す図である。 連続撮像処理中の１ステップを示す図である。 連続撮像処理中の１ステップを示す図である。 連続撮像処理中の１ステップを示す図である。 連続撮像処理中の１ステップを示す図である。 第１の実施の形態における連続撮像処理シーケンスを示す図である。 第２の実施の形態における連続撮像処理シーケンスを示す図である。 第３の実施の形態における連続撮像処理の処理イメージ図である。 第４の実施の形態における連続撮像処理の処理イメージ図である。 第５の実施の形態における連続撮像処理シーケンスを示す図である。 本発明におけるメインメモリへのアクセス頻度を示す図である。 本発明において必要とされるバス帯域とメモリサイズを示す図である。 従来システムにおけるメインメモリへのアクセス頻度を示す図である。 従来システムにおいて必要とされるバス帯域とメモリサイズを示す図である。

符号の説明

３ 可動ミラー（レフレックスミラー）
１２ ＣＣＤ（撮像素子）
１４ センサプロセシングユニット（ＳＰＵ）
１５ リアルタイムプロセシングユニット（ＲＰＵ）
１６ バッファー
１７ ＪＰＥＧ処理部
１８ ＣＰＵ
２０ メインメモリ
２５ メインバス
９１ デジタルゲイン値
９２ ホワイトバランス調整用演算値
９３ ガンマ変換特性値

Claims (30)

1. 一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、
   a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、
   b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、
   c)後続の画像データを撮像する工程と、
   d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、
   を備え、
   前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
2. 請求項１に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記一眼レフデジタルカメラの画像処理部は、センサーから入力した撮像画像データから最終処理データを生成するまで、中間データを前記メインメモリに格納することなく処理するパイプライン処理が可能であり、
   前記工程d)では、前記工程c)で撮像された画像データが、最終処理データとなるまで前記メインメモリに格納されることなくリアルタイム処理されることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
3. 請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記先頭画像データについては、連続撮像処理終了後に、少なくとも露出制御またはホワイトバランス調整が実行されることで、画像処理が完了することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
4. 請求項２または請求項３に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記工程a)において前記メインメモリに格納される前記先頭画像データは、ホワイトバランス調整の行われていないＲＡＷデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
5. 請求項２ないし請求項４のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記最終処理データは、ホワイトバランス調整が行われたＲＡＷデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
6. 請求項２ないし請求項４のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記最終処理データは、少なくとも画素補間処理が施された汎用画像フォーマットのデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
7. 請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記汎用画像フォーマットは、ＪＰＥＧフォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
8. 請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記汎用画像フォーマットは、ＲＧＢ非圧縮画像フォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
9. 請求項６に記載の一眼レフデジタルカメラにおける連続撮像方法において、
   前記汎用画像フォーマットは、ＹＵＶ非圧縮画像フォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
10. 請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理までを含むことを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
11. 請求項２に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理および画像圧縮処理までを含むことを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
12. 請求項１１に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記画像圧縮処理は、ＪＰＥＧ圧縮処理であって、前記画素補間処理を処理する処理ブロックと、前記ＪＰＥＧ圧縮処理を処理する処理ブロックの間には、２ストリップのＹＵＶバッファーが設けられていることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
13. 一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、
    a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、
    b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、
    c)後続の画像データを撮像する工程と、
    d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、
    を備え、
    前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、所定回数連続撮像を行った後、再び、前記工程a)および工程b)を実行し、更新された露出調整値またはホワイトバランス調整値に基づいて、前記工程c)〜工程d)を繰り返し実行し、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記先頭画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
14. 請求項１３に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    連続撮像中に定期的に前記工程a)および工程b)が再実行され、更新された露出調整値またはホワイトバランス調整値に基づいて後続の画像データに対して前記工程c)および工程d)が実行され、定期的に前記工程a)で取得された画像データに対しては、当該画像データから得られた露出調整値またはホワイトバランス調整値に基づいて最終的に露出制御またはホワイトバランス調整が実行されることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
15. 一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、
    a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、
    b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、
    c)後続の画像データを撮像する工程と、
    d)前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、
    を備え、
    前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して次々にリアルタイムで露出制御またはホワイトバランス調整を行い、所定回数連続撮像を行った後、再び、前記工程a)および工程b)を実行し、更新前の露出調整値またはホワイトバランス調整値と更新後の露出調整値またはホワイトバランス調整値から、その後に取得される後続の画像データの露出調整値またはホワイトバランス調整値を予測して、露出制御またはホワイトバランス制御を実行し、連続撮像処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記先頭画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
16. 請求項１５に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    連続撮像中に定期的に前記工程a)および工程b)が再実行され、連続撮像中に取得された複数の露出調整値またはホワイトバランス調整値から、その後に取得される後続の画像データの露出調整値またはホワイトバランス調整値を予測し、露出制御またはホワイトバランス制御が実行され、定期的に前記工程a)で取得された画像データに対しては、当該画像データから得られた露出調整値またはホワイトバランス調整値に基づいて最終的に露出制御またはホワイトバランス調整が実行されることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
17. 一眼レフデジタルカメラにおいて被写体を連続的に撮像する方法であって、
    前記一眼レフデジタルカメラの画像処理部は、センサーから入力した撮像画像データから最終処理データを生成するまで、中間データをメインメモリに格納することなく処理するパイプライン処理が可能であり、
    a)１または複数枚の先頭画像データを撮像し、メインメモリに格納する工程と、
    b)前記先頭画像データに基づき露出調整値またはホワイトバランス調整値を演算する工程と、
    c)後続の画像データを撮像する工程と、
    d)前記工程c)で得られた露出評価値またはホワイトバランス評価値から露出調整値またはホワイトバランス調整値を演算するとともに、前記工程c)で撮像された画像データを前記メインメモリに格納する前に、前記工程c)で連続撮像中１つ前の画像データから得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整をリアルタイムで実行する工程と、
    を備え、
    前記工程c)〜工程d)を繰り返し実行し、後続する画像データに対して、次々にパイプライン処理の中で露出制御またはホワイトバランス調整を行い、連続撮像の処理終了後に、前記工程a)でメインメモリに格納した前記先頭画像データに対して前記工程b)で得られた露出調整値またはホワイトバランス調整値に基づき露出制御またはホワイトバランス調整を実行することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
18. 請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記先頭画像データについては、連続撮像の処理終了後に、少なくとも露出制御またはホワイトバランス調整が実行されることで、画像処理が完了することを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
19. 請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記工程a)において前記メインメモリに格納される前記先頭画像データは、ホワイトバランス調整の行われていないＲＡＷデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
20. 請求項１７ないし請求項１９のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記最終処理データは、ホワイトバランス調整が行われたＲＡＷデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
21. 請求項１７ないし請求項１９のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記最終処理データは、少なくとも画素補間処理が施された汎用画像フォーマットのデータであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
22. 請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記汎用画像フォーマットは、ＪＰＥＧフォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
23. 請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記汎用画像フォーマットは、ＲＧＢ非圧縮画像フォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
24. 請求項２１に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記汎用画像フォーマットは、ＹＵＶ非圧縮画像フォーマットであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
25. 請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理までを含むことを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
26. 請求項１７に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記パイプライン処理は、センサーから出力された画像データの入力から画素補間処理および画像圧縮処理までを含むことを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
27. 請求項２６に記載の一眼レフデジタルカメラにおける連続撮像方法において、
    前記画像圧縮処理は、ＪＰＥＧ圧縮処理であって、前記画素補間処理を処理する処理ブロックと、前記ＪＰＥＧ圧縮処理を処理する処理ブロックの間には、２ストリップのＹＵＶバッファーが設けられていることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
28. 請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
    連続撮像により生成された最終的な画像データのファイル名は、撮像された順序に従ったファイル名が付与されることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
29. 請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
    連続撮像により生成された最終的な画像データのタイムスタンプは、画像データが最終的に記憶媒体に格納されたタイミングではなく、画像データが取得されたタイミングであることを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
30. 請求項１、請求項１３、請求項１５、請求項１７のいずれかに記載の一眼レフデジタルカメラにおける連続撮像方法において、
    連続撮像動作の前に、撮像条件取得用センサーで取得した画像データに基づいて、露出調整値またはホワイトバランス調整値を算出し、さらに、連続撮像中に取得した露出調整値またはホワイトバランス調整値に基づいて、再度露出制御またはホワイトバランス調整を行うことを特徴とする一眼レフデジタルカメラにおける連続撮像方法。
    

Images