JP5954623B2 - 撮像装置および画像処理方法 - Google Patents

Description

本発明は、撮像素子を用いてスティル画像等を撮像するいわゆるデジタルカメラ等に好適な撮像装置における画像処理に係り、特に複数の撮影画像を用いる画像合成機能を具備する撮像装置およびそのような画像合成にかかわる画像処理方法に関するものである。

近年、デジタルカメラに特有の撮影技法として、比較明合成などと称される合成画像の生成方法を用いた撮影が利用されつつある。
これは、同一の露出条件で且つ同一の構図で、時系列的に複数枚の連続画像を撮影して、基準画像（合成結果画像）と比較画像とについて対応する同一座標の画素の出力値を比較し、比較画像の方が出力値が高ければ、それに置き換えて複数枚の画像の画像合成を行うという技法である。この方法によって、例えば、夜景撮影において、背景を適正露出に保ちながら星の光跡を残すというような特徴的な撮影画像を生成することが可能となる。
また、逆に、同一の露出条件で且つ同一の構図で、時系列的に複数枚の連続画像を撮影して、基準画像（合成結果画像）と比較画像とについて対応する同一座標の画素の出力値を比較し、比較画像の方が出力値が低ければ、それに置き換えて複数枚の画像の画像合成を行う比較暗合成などと称される画像合成も利用されつつある。
既にいくつかのデジタルカメラにおいては、これらの、いわゆる比較明合成および比較暗合成のような、画像合成機能が内蔵されている。
ここで、上述したような、いわゆる比較明合成および比較暗合成等の画像合成機能をデジタルカメラ内で実行することによる主なメリットについて説明する。

まず、従来、いわゆる比較明合成および比較暗合成等の画像合成を行う場合には、素材となる連続画像の撮影を行い、ＰＣ（パーソナルコンピュータ）等において画像処理用のソフトウェアを用いて、比較明合成処理を行っていた。このような場合には、撮影時に、その場で合成後のイメージを得ることはできなかったが、この機能をカメラ内に搭載することによって、撮影時に直ちに合成画像を確認することが可能となった。
また、ＰＣ等を用いた従来の処理は、主として、いわゆるＪＰＥＧ画像（一般に、拡張子としてｊｐｇを用いるため、ＪＰＧ画像と称される場合もある）等の画像データを用いて行われていた。すなわち、ＰＣ等を用いた従来の処理においては、素材となる画像データが、ノイズ低減等の基本的な画像処理が施され必要に応じて圧縮された画像データであったため、撮影設定によっては、画質として充分でない場合があった。これに対して、カメラ内で処理を行うようにすれば、画像処理が施されていないＲＡＷ画像での合成処理が可能であるため、１枚ではノイズとして処理されがちな微小な星を色味と共に残すことができたり、合成処理によるランダムノイズの平均化により通常の画像処理では得られにくい画質向上の効果があったりするなどといったメリットがある。

しかしながら、その一方で、ＲＡＷ画像で比較明合成等の画像合成処理を行うと、ＪＰＥＧ画像の画像合成では生じにくいノイズ起因の問題が発生することがある。すなわち、ＲＡＷ画像は、基本的に何の画像処理も施されていない撮像素子の生出力データであるため、同一の被写体を同一の撮影設定で撮影してもショットノイズやランダムノイズ等の影響を受けて同一の出力にはならず、ある確率分布のような広がりを持って出力されてしまう。そのため、対応する座標の画素に注目して単純な比較明合成処理等をずっと続けてゆくと、この分布の最大値に向かって漸近してゆき、結果的に、画像として露出過多になったり、全体的にマゼンタがかったりした不具合画像になってしまうという問題がある。
ちなみに、ＪＰＥＧ画像は既に（適切なクランプ処理やノイズリダクション処理等の）一通りの画像処理が施されているため、そのまま合成処理を行っても画質に大きな影響を生じることはない。
上述したような画像処理における黒レベルの浮きや沈み等の不具合に関する技術は、例えば、特許文献１（特許４２４３０８４号）および特許文献２（特開２０１０−３４８４５号）等に開示されている。

特許文献１には、カメラ（撮像装置）から得られるＲＡＷ画像に対してクランプ処理を施すにあたって、黒レベルの浮きや沈み等の変動を、撮影条件に関連するパラメータに応じてクランプ処理を調整することによって抑制することが示されている。すなわち、特許文献１には、例えば、露光時間が長い場合や高温環境での撮影の場合に、これらの情報に対応して適切なクランプ信号を生成して黒浮きや黒沈みを軽減する技術が開示されている。
また、特許文献２には、固体撮像素子における複数画素の出力を加算的に混合して感度を向上させる、いわゆる画素混合駆動時に光学的黒レベルを規定するＯＢ信号を発生するＯＢ部から出力されるＯＢ信号を擬似的に複数回サンプリングしてクランプ処理に供し、黒レベルの早期安定化を図ることが示されている。すなわち、特許文献２には、クランプ処理における黒レベルを規定するＯＢ信号を擬似的に増加させて、クランプ処理における黒レベルの速やかに安定化させ黒沈みや黒浮き等による画質劣化を防止する技術が開示されている。
これら特許文献１および特許文献２に開示された技術は、いずれもクランプ処理における黒レベルを適正化して黒沈みや黒浮き等による画質劣化を防止するものであるが、ＲＡＷ画像で比較明合成や比較暗合成等の画像合成処理に起因する黒レベルの変動やムラに対処するものではない。

上述したように、いわゆる比較明合成および比較暗合成等の画像合成機能を、いわゆるデジタルカメラ等の撮像装置に内蔵させた場合、ＲＡＷ画像での画像合成に関連して、画像合成に供されるＲＡＷ画像の撮影条件や撮像に係る環境条件、あるいは合成枚数等の合成条件等に起因して、黒レベルの変動や黒レベルの分布ムラが生じる。このような黒レベルの変動や黒レベルの分布ムラは、黒浮きや黒沈みを招くため、適切な対処を施すことが望ましい。
本発明は、上述した事情に鑑みてなされたもので、ＲＡＷ画像による比較明合成および比較暗合成のような画像合成おける合成枚数に応じた黒レベルの変動に対処して、合成画像の画質低下を効果的に抑制することを可能とする撮像装置および画像処理方法を提供することを目的としている。

本発明に係る撮像装置は、上述した目的を達成するために、
被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
前記撮像手段により同一条件で且つ同一構図にて得た複数枚のＲＡＷ画像に対して比較明合成もしくは比較暗合成を画素単位で合成演算する画像合成手段と、
前記画像合成手段により得られる合成画像について、オフセット成分を除去するデジタルクランプ処理を施すデジタルクランプ処理手段と、
前記画像合成手段における撮影画像の合成枚数に基づいて、前記デジタルクランプ処理手段のデジタルクランプ量を制御するデジタルクランプ制御手段と
を具備することを特徴としている。

本発明によれば、ＲＡＷ画像による比較明合成および比較暗合成のような画像合成における合成枚数に応じた黒レベルの変動に対処して、合成画像の画質低下を効果的に抑制することを可能とする撮像装置および画像処理方法を提供することができる。
すなわち、本発明に係る撮像装置によれば、
被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
前記撮像手段により同一条件で且つ同一構図にて得た複数枚のＲＡＷ画像に対して比較明合成もしくは比較暗合成を画素単位で合成演算する画像合成手段と、
前記画像合成手段により得られる合成画像について、オフセット成分を除去するデジタルクランプ処理を施すデジタルクランプ処理手段と、
前記画像合成手段における撮影画像の合成枚数に基づいて、前記デジタルクランプ処理手段のデジタルクランプ量を制御するデジタルクランプ制御手段と
を具備することにより、ＲＡＷ画像による比較明合成および比較暗合成のような画像合成おける合成枚数に応じた黒レベルの変動に対処して、合成画像の画質低下を効果的に抑制することが可能となる。

本発明による撮像装置の一つの実施の形態に係るデジタルカメラの要部の構成を模式的に示すブロック図である。 図１のデジタルカメラにおける基準（合成）画像と比較画像との比較明合成処理を用い且つ合成枚数等に応じたデジタルクランプ処理を含む画像合成処理の一例を示すフローチャートである。 本発明の原理を説明するために、従来のデジタルカメラにおける基準（合成）画像と比較画像との符号付き差分値に対するノイズ分布特性の一例およびその場合の単純な比較明合成処理による問題を説明するための特性図である。 本発明の原理を説明するために、従来のデジタルカメラを遮光状態としてＲＡＷ画像を用いて単純な比較明合成処理を継続的に繰り返した場合の合成枚数に対する黒レベルの変動特性の一例を示す特性図である。 本発明の原理を説明するために、従来のデジタルカメラにおける環境温度および露光時間による遮光画像の黒レベルの相違の一例を示す特性図である。 本発明の原理を説明するために、従来のデジタルカメラにおける露光時間および撮影感度による遮光画像の黒レベルの相違の一例を示す特性図である。 本発明の原理を説明するために、従来のデジタルカメラにおける撮影画像中の異なる座標位置についての露光時間および撮影感度による遮光画像の黒レベルの相違の一例を示す特性図である。 本発明の原理を説明するために、従来のデジタルカメラにおける撮影画像中の異なる座標位置について、合成枚数による遮光画像の黒レベルの変動の一例を示す特性図である。 図８の場合のように従来のデジタルカメラを遮光状態としてＲＡＷ画像を用いて単純な比較明合成処理を行った場合の撮影画像の座標位置による遮光画像の黒レベルの分布ムラの一例を示す図（写真）である。

以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
本発明の実施の形態に係る撮像装置を説明する前に、本発明の実施の形態において用いられる画像処理の原理について説明する。
まず、画像合成技術のうちの比較明合成および比較暗合成について説明する。
比較明合成とは、例えば、典型的には同一露出条件で且つ同一構図で時系列的に連続して撮影されるなどした、複数枚のデジタル画像における同じ座標の画素、あるいは同じ領域の複数画素、の出力を、それぞれ比較して、出力値（輝度）が高いもので置き換える手法による画像合成である。このようにすることにより、在来の、いわゆる銀塩フィルムを用いたフィルムカメラでは撮影することが容易ではなかった星の光跡を残すような画像を比較的簡易に生成することができるなど、特徴のある撮影が可能となる。また、比較暗合成とは、例えば複数枚のデジタル画像における同じ座標の画素、あるいは同じ領域の複数画素、の出力を、それぞれ比較して、出力値（輝度）が低いもので置き換える手法による画像合成である。
従来、上述したような比較明合成および比較暗合成は、一般的に、基本的な画像処理および圧縮済みのＪＰＥＧ画像をＰＣのソフトウェアを用いて処理することが多かったが、最近では、デジタルカメラ内で一貫した処理を行う機能を搭載した製品が発表され始めている。

上述のように、デジタルカメラに比較明合成および比較暗合成等の画像合成機能を内蔵して、デジタルカメラ内で比較明合成および比較暗合成等の画像合成を行えるようにするメリットとしては、撮影時に直ちにその場で画像合成後の画像を見ることができる操作性の点でのメリットがある。さらに、それ以外にも、イメージセンサから出力されたＲＡＷ画像（ＲＡＷデータの画像：生データ、すなわちイメージセンサから出力されノイズ低減、データ圧縮等の処理が施されていない生のデータ、の画像）をそのまま用いて合成処理ができるので、暗い星や色味の薄い星等もきちんと残すことができるという画質の点でのメリットも重要である。
その一方では、ＲＡＷ画像を用いて比較明合成および比較暗合成等の画像合成を行う上での技術的な課題も存在する。ＲＡＷ画像は、ＪＰＥＧ画像とは異なり必要最低限の画像処理しか行われておらず、少なからずノイズ成分が含まれていることが多い。したがって、例えば、従来と同じように単純に出力値を比較して置き換えていくだけの比較明合成による画像合成処理を続けていった場合、ショットノイズやランダムノイズ等のノイズ成分の影響を受けて、全体的に画像の出力レベルが上がって、黒レベルが上昇し、いわゆる黒浮きを生じてしまったり、出力にオフセットが付くことによって全体的に色調としてマゼンタがかってしまったりするという不具合に繋がってしまう。

そこで、予めＲＡＷ画像の比較明合成または比較暗合成等の画像合成における合成枚数、さらには撮影条件や撮像に係る環境条件に対する合成画像における黒レベルの変動分布に関するデータを保持しておき、そのデータに応じて合成画像に対してデジタルクランプ処理を施すようにすれば、上述した不具合を抑制することができると考えられる。
要するに、ＲＡＷ画像の比較明合成および比較暗合成等の合成処理は、ＪＰＥＧ画像の場合とは異なり、ノイズ成分による影響をも考慮することが必要であり、このような処理を加えることによって、より好ましい合成画像を得ることが可能となる。
上述した原理に基づく本発明の撮像装置の一つの実施の形態に係るデジタルカメラについて、図面を参照して以下に詳細に説明する。
本発明の撮像装置の一つの実施の形態に係るデジタルカメラの要部の構成を図１に示している。図１は、撮像装置であるデジタルカメラの主として電子的な制御に係るシステム構成を示すブロック図である。
図１に示すデジタルカメラは、光学系１、アナログフロントエンド部２、信号処理部３、ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）４、液晶表示部（ＬＣＤ）５、メモリカード６、ＲＯＭ（リードオンリメモリ）７、操作部８およびドライバ９を具備している。

光学系１は、レンズ群１１、絞り１２、シャッタ１３および撮像素子１４を備えている。アナログフロントエンド部２は、タイミングジェネレータ２１、ＣＤＳ回路２２、ＡＧＣ回路２３およびＡ／Ｄ変換回路２４を備えている。そして、信号処理部３は、制御部（ＣＰＵ）３１、撮像素子インタフェース（撮像素子Ｉ／Ｆ）３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアインタフェース（メディアＩ／Ｆ）３８を備えている。
光学系１は、レンズ群１１、絞り１２、シャッタ１３および撮像素子１４から構成している。絞り１２、シャッタ１３および撮像素子１４の部分には、減光用のＮＤ（中間濃度）フィルタ等を内蔵していても良い。撮像素子１４は、ＣＣＤ（電荷結合素子）イメージセンサであっても、ＣＭＯＳ（相補型金属酸化物半導体）イメージセンサであっても良いが、撮像素子１４がＣＭＯＳイメージセンサである場合には、後段にあるアナログフロントエンド部２が実質的にＣＭＯＳイメージセンサに内蔵されることが多く、外部回路としては不要となる。

アナログフロントエンド部２は、タイミングジェネレータ２１、ＣＤＳ（相関２重サンプリング）回路２２、ＡＧＣ（自動利得制御）回路２３およびＡ／Ｄ（アナログ−デジタル）変換回路２４から構成される。ＣＤＳ回路２２は、相関２重サンプリングによりＣＣＤイメージセンサ等の撮像素子出力信号のノイズを除去し、ＡＧＣ回路２３は、必要に応じて信号を増幅し、Ａ／Ｄ変換回路２４は、文字通りアナログ撮像信号をデジタル画像データに変換し、そしてタイミングジェネレータ２１は、撮像素子１４およびアナログフロントエンド部２内の各部の駆動タイミング信号を生成する。
信号処理部３は、ＣＰＵ３１、撮像素子Ｉ／Ｆ３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアＩ／Ｆ３８等から構成されている。ＣＰＵ３１は、撮像素子Ｉ／Ｆ３２、メモリコントローラ３３、ＹＵＶ変換部３４、リサイズ処理部３５、表示出力制御部３６、データ圧縮部３７およびメディアＩ／Ｆ３８等に接続されて、相互に情報を授受するとともにこれらを制御し、メモリコントローラ３３は、ＳＤＲＡＭ４に接続され、表示出力制御部３６は、ＬＣＤ５に接続され、メディアＩ／Ｆ３８は、メモリカード６に接続される。ＣＰＵ３１は、動作プログラム等を格納するＲＯＭ７に接続されるとともに、押しボタンスイッチ等からなり操作情報を入力するための操作部８に接続されている。

さらにＣＰＵ３１は、光学系１のレンズ群１１、絞り１２およびシャッタ１３等を駆動するためのドライバ９を制御する。
次に、上述のように構成された本発明の一つの実施の形態に係るデジタルカメラにおける本発明の特徴となる動作について具体的に説明する。ここで説明している本発明に係る実施の形態は、それに限定されることはなく、当業者が容易に想到できる範囲内において、種々に修正または変形して実施することができる。
図２に示すフローチャートは、上述したデジタルカメラにおける黒レベルの変動分布を考慮したデジタルクランプ処理を含む比較明合成処理の画像合成処理の流れを示している。図２のフローチャートは、画像合成処理の一例を示しており、この画像合成処理は、図１における信号処理部３のＣＰＵ３１によって実行される。また、比較暗合成処理の場合もほぼ同様の画像合成処理によって実現することができる。
本発明に係る画像合成処理の特徴は、例えば、撮像手段により、同一条件で且つ同一構図にて時系列で連続撮影された複数のＲＡＷ画像を用いて比較明合成および比較暗合成等の画像合成を行うにあたり、合成画像の黒レベルを適切に補正制御するために、デジタルクランプ制御手段は、設定された合成枚数、さらには、環境温度または撮影設定等の条件を考慮して、適切なデジタルクランプ処理を行うものである。この実施の形態において、具体的には、合成枚数、さらには、環境温度および撮影設定に応じて、デジタルクランプ量を制御してデジタルクランプ処理を施した画像合成を行う。

図２は、この実施の形態における合成枚数、環境温度および撮影設定の条件に応じたデジタルクランプ処理を含む画像合成処理の流れを示しており、主として比較明合成を例にとって説明する。
この場合、前提として、連続撮影される画像は、絞りおよび露光時間等の露出設定、並びに撮影感度（例えばＩＳＯ感度）の設定等を含む撮影条件設定が同一、つまり同一の撮影条件設定で、且つ当該デジタルカメラを三脚等に固定して同一の構図によって時系列で複数の画像が撮影されるものとする。但し、この撮影画像の構図内に動被写体があるかどうかは問わない。
処理が開始されると、撮影のシーケンスに入る前に、まず、当該デジタルカメラ内に設けられた温度センサ（図示していない）を用いて環境温度を計測して、測定された温度を保持し（ステップＳ１０１）、そして、黒レベルの変動要因となる露出設定や撮影感度設定等の撮影条件設定の設定情報を得て、当該設定情報を保持する（ステップＳ１０２）。
次に、画像合成、例えば、この場合、比較明合成の処理シーケンスに入る。基準画像となる１枚目のＲＡＷ画像を取得（ステップＳ１０３）した後、比較画像となるＲＡＷ画像を取得して（ステップＳ１０４）、複数のＲＡＷ画像に対して、逐次、比較明合成処理を行う（ステップＳ１０５）。
ステップＳ１０５における比較明合成処理後に、合成処理に供すべき次の画像があれば、ステップＳ１０４に戻り、上述と同様の処理を繰り返す（ステップＳ１０６）。
ステップＳ１０６において、合成処理に供すべき画像がなくなった場合は、詳細は後述するように、ＲＡＷ画像の合成枚数もデジタルクランプのパラメータとして使用するので、その枚数もカウント（取得）しておく（ステップＳ１０７）。

なお、ノイズによる黒浮きや黒沈みを防ぐために、比較明（暗）合成処理に加重平均の要素を追加して、同じ被写体と判断されたものに対しては、比較明（暗）合成としての置き換えを行わないようにすることが考えられる。この場合、加重平均をどの範囲まで行うようにするかをパラメータにより決めることになるが、このようにすると、必然的に、比較明（暗）合成としての精度と、黒浮き・黒沈みとが、トレードオフの問題として残ることになる。すなわち、加重平均の要素を加えずに、厳密に単純な比較明（暗）合成を行う場合には、合成画像に対して黒レベルを適正化する処理が必要となる。そこで、本発明においては、画像データの明るさをシフトするデジタルクランプ処理を用いて合成画像に対して黒レベルを適正化するようにする。
また、単純な比較明（暗）合成等の画像合成に際して、合成に供される基準画像および比較画像にノイズリダクション処理を行うことにより、ノイズ自体の分布を小さくすることができると考えられるが、ノイズリダクション処理を施した場合、ノイズ成分の絶対値は小さくなるものの分布自体が残るため、合成枚数が多ければ多いほど、黒浮き・黒沈みが顕著になることになる。また、長時間露光時等においては、遮光画像を取得して撮影画像から減算するダーク減算が、しばしば用いられるが、このようなダーク減算を、比較明（暗）合成等の画像合成に供される個々のＲＡＷ画像に対して施しても、やはり、ノイズ分布自体が残ることになり、合成枚数が多ければ多いほど、黒浮き・黒沈みが顕著になり、充分な効果を期待することはできない。

次に、１枚目からＮ枚目（Ｎは２以上の整数）までのＲＡＷ画像を比較明合成した合成画像に対して、デジタルクランプ処理を施す（Ｓ１０８）。１枚目からＮ枚目までの合成画像の黒レベルは、環境温度、撮影条件設定（ＩＳＯ感度等の撮影感度および露光時間等）、合成枚数Ｎおよび画面内の座標位置等によって異なる。このため、組み合わせのテーブル数等を考慮すると、膨大な量のパラメータおよび演算が必要となってしまう。したがって、メモリ容量等も配慮しながら、ほぼ必要最低限の演算のみを実施する場合を例にとって説明する（ここでは、詳細を後述するような、実験や測定によって取得される黒レベルの振る舞いを前提条件としている）。
まず、環境温度については、低温０℃〜常温２０℃程度までは変化が見られず、それ以上となると、露光時間に応じて振る舞いが変化することが判っているものとする。このとき、環境温度に対する演算を行わないようにすれば、高温側では黒レベル補正の効果が（撮影条件設定によっては）多少低下するものの、パラメータおよび演算の組み合わせのテーブル数を大きく減らすことが可能となる。

また、撮影条件設定のうちの撮影感度、例えばＩＳＯ感度については、詳細を後述する通り、黒レベルとほぼ比例関係にある。すなわち、撮像素子のセンサゲインに対応するＩＳＯ感度が倍になれば、ランダムノイズもほぼ倍になると考えて差し支えない。したがって、任意のＩＳＯ感度における黒レベルをデータとして保持していれば、簡易な演算によってほぼ正確に求めることが可能である。
次に、撮影条件設定のうちの露光時間については、上述した通りであるが、例えば、画像中央部分で比較した場合には、ほぼ露光時間に依存せず一定と考えて良いと言えるが、例えば、画像左上部分について比較すると露光時間に比例して黒レベルが高くなっていく傾向にある。これは画面内における熱ノイズの分布が均一ではないことが原因であると思われる。
この実施の形態においては、各露光時間における画面内の各座標位置に対応する黒レベルのデータを保持しておき、そのデータに基づいてＩＳＯ感度による演算のみを施す。すなわち、この場合、環境温度はデータとして取得するが、上述した通り、演算には使用しないものとする。

また、合成枚数については、詳細を後述するように、こちらも画面内の各座標位置によって振る舞いが異なるのであるが、いずれも対数関数を用いて良く近似することができる。すなわち、画面内の１箇所について合成枚数をＸ、Ｎ枚目の黒レベルをＬ（Ｎ）とした場合、２つの係数ＡおよびＢを用いて、
Ｌ（Ｎ）＝（Ａ×Ｌｎ（Ｘ）＋Ｂ）×Ｌ（１）
としてあらわすことが可能である。
上述したように、メモリに保持しておくべき黒レベルの情報は、各露光時間における画面各所の１枚目の値および各々に対して合成枚数を重ねていった場合の振る舞いを求める係数（Ａ，Ｂ）である。画面内の座標位置は、１〔ｐｘ（ピクセル）〕単位が理想的ではあるが、メモリ容量を考慮してある程度間引いたものでも構わない。
このようにして、最後に求められたデジタルクランプ量を合成画像から減算して、ステップＳ１０８のデジタルクランプ処理を行い、いわゆるＩＳＰ（画像信号処理部）を構成する信号処理部３のメモリコントローラ３３を介してＳＤＲＡＭ４へ、あるいは信号処理部３の表示出力制御部３６を介して液晶表示部５へ、最終画像を出力する。

また、上述においては、主として比較明合成による画像合成処理を行う場合について説明したが、比較暗合成による画像合成処理を行う場合にも、比較明合成を比較暗合成に置き換えて、上述とほぼ同様にして実施することができる。
なお、ここで、本発明を適用せずにＲＡＷ画像を用いた単純な比較明合成を行った場合に生ずる不具合について説明する。
比較明合成は、複数画像の同一座標の画素の出力を比較して、より高輝度のもので置き換えていくという処理であり、比較暗合成は、その逆で、複数画像の同一座標の画素の出力を比較して、より低輝度のもので置き換えていくという処理である。一般的に、ＲＡＷ画像は、必要最低限の画像処理しか施されていないため、ショットノイズおよびランダムノイズ等の影響を受けて、同じ撮影条件の設定で同じ被写体を撮影しても出力は必ずしも同じにはならない。このため、単純な比較明合成を行うと、ノイズの分布の最大値に向かって漸近していくという現象が起きる。
このことを、図３を参照して説明する。例えば、ノイズ分布のモデルとして、σ^２＝５の正規分布を仮定する。

ある画素の出力が、ノイズの影響を受けてこの分布の中で撮影の度に変動するとした場合、単純な比較明合成処理を行うと、ノイズ分布の最大値に向かって漸近する一方であることが判る。これに対して、例えば、ノイズ分布の最大値を閾値としてそれ以上では比較明合成を行い、それ以下では何もしないという処理にすることによって、ノイズ分布の最大値に向かって漸近するという問題を改善することができる（比較暗合成処理の場合はその逆である）。
次に、実際にデジタルカメラを遮光状態として、ＲＡＷ画像に対する比較明合成処理を行い続けた実験の結果の一例を図４に示している。ここで、使用したデジタルカメラは、ＲＩＣＯＨ ＧＲ ＤＩＧＩＴＡＬ ＩＶ（リコー製）であって、撮影条件設定は、撮影感度がＩＳＯ４００、露光時間が１５〔ＳＥＣ（秒）〕、そしてＦ値がＦ９．０である。図４は、画像サイズが３６７２×２７４８〔ｐｘ〕の画面の中央の５０×５０〔ｐｘ〕の部分の黒レベルの平均値をプロットしたものである。すなわち、１枚目の黒レベルは、フルスケール１２〔ｂｉｔ〕に換算して約５〔ＬＳＢ〕であるが、合成枚数に応じて徐々に高くなっていき、１００枚目では約３０〔ＬＳＢ〕に近くなることを読み取ることができる。ここまで高い値となると視認できるレベルでの黒浮きとなり、例えば夜景を撮影していた場合には暗いはずの夜空がマゼンタがかって表現されるなどの不具合に繋がってしまう。

したがって、黒レベルが合成枚数に従ってどのように変動していくのかというデータをカメラ内に保持させることができていれば、比較明合成時には合成枚数に応じてデジタルクランプ量を調整することによって、先に述べた黒浮きを軽減することが可能となる。
但し、黒レベルが合成枚数に応じて変動していく現象については、先に述べた通り、
〔１〕 環境温度により黒レベルの変動の仕方が変わる
〔２〕 露光時間により黒レベルの変動の仕方が変わる
〔３〕 撮影画像における座標位置により黒レベルの変動の仕方が変わる
などにように、撮影環境や撮影設定、撮像素子の特性によって、振る舞いが大きく変わってくるので、これらの要素を踏まえてデジタルクランプ処理におけるデジタルクランプ量の大きさを制御調整する仕組みが必要となる。
また、環境温度による黒レベルの変動を図５に示している。ここで、使用したデジタルカメラは、ＲＩＣＯＨ ＧＲ ＤＩＧＩＴＡＬ ＩＶ（リコー製）で、撮影条件設定は、撮影感度がＩＳＯ４００、露光時間が１〜３０ 〔ＳＥＣ〕、そしてＦ値がＦ９．０である。図５は、いずれも画像合成における１枚目の画像サイズが３６７２×２７４８〔ｐｘ〕の画像の画面の中央の５０×５０〔ｐｘ〕の部分の黒レベルの平均値をプロットしたものである。

すなわち、高温環境下では、暗電流が増大するために常温環境に比べて黒レベルが高くなる傾向があるが、その程度は露光時間によっても相違することが判る。例えば露光時間が１〔ＳＥＣ〕であれば、黒レベルには、低温から高温まで変化がほとんど見られないが、露光時間が３０〔ＳＥＣ〕であると、高温では黒レベルの顕著な悪化が現れる。
さらに、露光時間による黒レベルの変動を図６に示している。ここで、使用したデジタルカメラは、ＲＩＣＯＨ ＧＲ ＤＩＧＩＴＡＬ ＩＶ（リコー製）で、撮影条件設定は、撮影感度がＩＳＯ１００〜ＩＳＯ３２００、露光時間が１〜３０〔ＳＥＣ〕、そしてＦ値がＦ９．０である。図６は、環境温度が常温２５℃において、いずれも画像合成における１枚目の画像サイズが３６７２×２７４８〔ｐｘ〕の画像の画面の中央の５０×５０〔ｐｘ〕の部分の黒レベルの平均値をプロットしたものである。すなわち、図６より、黒レベルは、露光時間に相関があり、またＩＳＯ感度等の撮影感度設定に対してもほぼ比例することを読み取ることができる。
さらにまた、撮影画像の画面上の座標位置による黒レベルの相違を図７に示している。ここで、使用したデジタルカメラは、ＲＩＣＯＨ ＧＲ ＤＩＧＩＴＡＬ ＩＶ（リコー製）で、撮影条件設定は、撮影感度がＩＳＯ１００〜ＩＳＯ４００、露光時間が１〜３０〔ＳＥＣ〕、そしてＦ値がＦ９．０である。

図７は、環境温度が常温２５℃において、いずれも画像合成における１枚目の画像サイズが３６７２×２７４８〔ｐｘ〕の画像の画面の中央の５０×５０〔ｐｘ〕の部分および当該画面の左上の５０×５０〔ｐｘ〕の部分の黒レベルの平均値をプロットしたものである。すなわち、図７においては、画面の中央部分の黒レベル値の特性は、実線でプロットし、画面の左上部分の黒レベル値の特性は、破線でプロットしているが、中央部分については露光時間による黒レベルの大きな変動が見られないのに対して、左上部分については露光時間が長くなるにつれて、それにほぼ比例して黒レベルが高くなっていることが判る。具体的には、例えば撮影感度がＩＳＯ４００で、且つ露光時間が３０〔ＳＥＣ〕の条件について比較をしてみると、画像中央では約６〔ＬＳＢ〕であるのに対して、画像左上では約６７〔ＬＳＢ〕もある。
そして、図４の場合と同様に、合成枚数によりどのように変動するのかを図８に示している。ここで、使用したデジタルカメラは、ＲＩＣＯＨ ＧＲ ＤＩＧＩＴＡＬ ＩＶ（リコー製）で、撮影条件設定は、撮影感度がＩＳＯ４００、露光時間が１５〔ＳＥＣ〕、そしてＦ値がＦ９．０である。図８は、環境温度が常温２５℃において、いずれも画像合成における１枚目の、画像サイズが３６７２×２７４８〔ｐｘ〕の画像の画面の中央の５０×５０〔ｐｘ〕の部分および当該画面の左上の５０×５０〔ｐｘ〕の部分の黒レベルの平均値をプロットしたものである。

すなわち、図８においては、仮に１枚目の画像の黒レベルを基準（１００％）とした場合であっても、画像の画面中央と画面左上の黒レベルの振る舞いが相違していることが判る。これは、画面内の場所に応じて、デジタルクランプ量の算出を変える必要があることを示している。
さらに、このときの遮光画像の一例を図９に示している（図９においては、黒レベルの相違を把握し易いように適宜なるトーン調整を行っている）。
この図９によれば、撮影画像の画面内では、黒レベルが均一にはなっていないことが明らかである。撮像素子１４としてＣＣＤ固体撮像素子を用いた機種の場合には、特にこの現象が顕著に現れるが、画像左上に対応する部分にはアンプ（増幅器）や周辺回路が位置しているため、これらが熱源となって画面内で熱ノイズが不均一に分布していることが原因の１つと考えられる。
いずれにせよ、上述したような特性を有する撮像素子を用いる場合には、デジタルクランプ処理は画面内で一律のパラメータで行っても充分に効果を得ることはできない。

１ 光学系
２ アナログフロントエンド部
３ 信号処理部
４ ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）
５ 液晶表示部（ＬＣＤ）
６ メモリカード
７ ＲＯＭ（リードオンリメモリ）
８ 操作部
９ ドライバ
１１ レンズ群
１２ 絞り
１３ シャッタ
１４ 撮像素子
２１ タイミングジェネレータ
２２ ＣＤＳ回路
２３ ＡＧＣ回路
２４ Ａ／Ｄ変換回路
３１ 制御部（ＣＰＵ）
３２ 撮像素子インタフェース（撮像素子Ｉ／Ｆ）
３３ メモリコントローラ
３４ ＹＵＶ変換部
３５ リサイズ処理部
３６ 表示出力制御部
３７ データ圧縮部
３８ メディアインタフェース（メディアＩ／Ｆ）

特許４２４３０８４号公報 特開２０１０−３４８４５号公報

Claims (10)

1. 被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段と、
   前記撮像手段により同一条件で且つ同一構図にて得た複数枚のＲＡＷ画像に対して比較明合成もしくは比較暗合成を画素単位で合成演算する画像合成手段と、
   前記画像合成手段により得られる合成画像について、オフセット成分を除去するディジタルクランプ処理を施すディジタルクランプ処理手段と、
   前記画像合成手段における撮影画像の合成枚数に基づいて、前記ディジタルクランプ処理手段のディジタルクランプ量を制御するディジタルクランプ制御手段と
   を具備することを特徴とする撮像装置。
2. 前記ディジタルクランプ制御手段は、設定された撮影感度、露光時間および環境温度の少なくともいずれかに応じて前記ディジタルクランプ量を制御する手段をさらに含むことを特徴とする請求項１に記載の撮像装置。
3. 前記ディジタルクランプ制御手段は、合成画像の座標に対応して前記ディジタルクランプ量およびその制御量の少なくともいずれかを制御する手段をさらに含むことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記ディジタルクランプ制御手段は、合成画像の座標に対応して前記ディジタルクランプ量を制御する手段をさらに含むことを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
5. 前記画像合成手段は、同一条件で且つ同一構図の複数枚の撮影画像を、逐次、対応する座標について画素毎に比較し、より明るい画素値に置換して合成する比較明合成およびより暗い画素値に置換して合成する比較暗合成の少なくともいずれかを行う合成処理手段を含むことを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像装置。
6. 被写体光学像を撮像素子により光電変換して電子的画像データからなる撮影画像を取得する撮像手段による撮影画像を処理する画像処理方法であって、
   前記撮像手段により同一条件で且つ同一構図にて得た複数枚のＲＡＷ画像に対して比較明合成もしくは比較暗合成を画素単位で合成演算する画像合成ステップと、
   前記画像合成ステップにて得られる合成画像について、オフセット成分を除去するディジタルクランプ処理を施すディジタルクランプ処理ステップと、
   前記画像合成ステップにおける撮影画像の合成枚数に基づいて、前記ディジタルクランプ処理ステップにおけるディジタルクランプ量を制御するディジタルクランプ制御ステップと
   を有することを特徴とする画像処理方法。
7. 前記ディジタルクランプ制御ステップは、設定された撮影感度、露光時間および環境温度の少なくともいずれかに応じて前記ディジタルクランプ量の制御量を制御するステップをさらに含むことを特徴とする請求項６に記載の画像処理方法。
8. 前記ディジタルクランプ制御ステップは、合成画像の座標に対応して前記ディジタルクランプ量およびその制御量の少なくともいずれかを制御するステップをさらに含むことを特徴とする請求項６または請求項７に記載の画像処理方法。
9. 前記ディジタルクランプ制御ステップは、合成画像の座標に対応して前記ディジタルクランプ量を制御するステップをさらに含むことを特徴とする請求項６〜請求項８のいずれか１項に記載の画像処理方法。
10. 前記画像合成ステップは、同一条件で且つ同一構図の複数枚の撮影画像を、逐次、対応する座標について画素毎に比較し、より明るい画素値に置換して合成する比較明合成およびより暗い画素値に置換して合成する比較暗合成の少なくともいずれかを行う合成処理ステップを含むことを特徴とする請求項６〜請求項９のいずれか１項に記載の画像処理方法。