JP4797949B2 - 撮像装置、画像処理装置、方法およびプログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、方法およびプログラムに関し、特に、入力画像データのノイズ成分を除去する機能を備えた撮像装置、画像処理装置、方法およびプログラムに関する。

デジタルスチルカメラなどのデジタル方式の撮像装置においては、その内部にさまざまなノイズ発生要因が存在するために、内部で伝送される画像データに対してデジタル演算によるＮＲ（ノイズリダクション）処理を施す機能を備えているものが多い。

また、撮像装置内で発生するノイズ成分には、画像データの入力レベルに依存して変化するものがあることが知られている。このようなレベル依存性を持つノイズ成分を除去するためには、画像データの入力レベルに応じてＮＲ処理の制御パラメータを変化させる必要がある。また、このようなレベル依存性を持つノイズ成分を効果的に除去するための一般的な手法として、画像データの入力レベルに応じてノイズ除去のためのしきい値を変化させる、いわゆるスレッショルド変調方式が知られている。

なお、上記に関連する技術として、医用Ｘ線画像の画像データを量子化する量子化器の前段に、ノイズ成分を入力画像データに対して均一化するような入出力信号変換器を設けた画像処理装置があった（例えば、特許文献１参照）。
特開昭６３−２９００２８号公報（第３頁、第１図）

ところで、上述したように、レベル依存性を持つノイズ成分を除去するためには、画像データの入力レベルに応じてＮＲ処理の制御パラメータを変化させる必要があり、処理が複雑化してしまうという問題があった。また、このようなノイズ成分の除去に上記のスレッショルド変調方式を用いた場合には、変調のための参照される画像データの入力レベルは、真の画像信号成分のレベルにノイズが加算されたものとなるので、その結果、スレッショルド変調の精度が悪化する、あるいは、真の画像信号成分のレベルを推定するための処理が複雑化するといった問題があった。

さらに、実際の撮像装置においては、様々な要因によりそれぞれ個別の特性を持つノイズ成分が発生し、レベル依存性を持つノイズ成分についても、発生要因に応じてそれぞれ異なる特性を持つものが存在する。このため、異なる特性を持つノイズ成分を除去するためには各ノイズ成分の特性に応じた制御が必要となり、その処理がさらに複雑になるという問題もあった。

本発明はこのような点に鑑みてなされたものであり、入力レベルに依存するノイズ成分を簡単な処理によって除去できるようにした撮像装置、画像処理装置、方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、画像データの入力レベルに略比例するノイズ成分に対応する定数ａと、入力レベルの平方根に略比例するノイズ成分に対応する定数ｂと、入力レベルに依存しないノイズ成分に対応する定数ｃとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅をモデル化したとき、少なくとも１種類以上のノイズ成分を入力レベルに対して均等化するように決定されるトーンカーブに従って、撮像により得られた画像データの入出力レベルを変換する変換処理部と、前記変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施すノイズ除去処理部と、前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、前記ノイズ除去処理部から出力された画像データの入出力レベルを変換する逆変換処理部とを有することを特徴とする撮像装置が提供される。

このような撮像装置において、変換処理部は、トーンカーブに従って、撮像により得られた画像データの入出力レベルを変換する。ノイズ除去処理部は、変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施す。逆変換処理部は、変換処理部で用いられたトーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、ノイズ除去処理部から出力された画像データの入出力レベルを変換し、これにより、画像信号成分の階調が、変換処理部に入力された画像データの階調に戻される。

本発明によれば、変換処理部での入出力レベルの変換処理により、入力画像データに含まれていた、入力レベルに依存する特性を持つ少なくとも１種類以上のノイズ成分が、入力レベルに対して均等化されるので、ノイズ除去処理部では、入力レベルに応じてノイズ除去処理の処理パラメータを算出・設定することなく、簡単な処理によって上記のノイズ成分を適切に除去することができる。また、逆トーンカーブ処理部での入出力レベル変換処理により、ノイズ除去後の画像データの階調が、変換処理部に入力された画像データの階調に戻され、既存の処理機能で何ら問題なく処理できるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、例えば、デジタルスチルカメラ、あるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、イメージセンサ１１、アナログフロントエンド（ＡＦＥ）回路１２、カメラ信号処理回路１３、表示処理部１４、ＬＣＤ（Liquid Crystal Display）１５、画像圧縮処理部１６、記録装置１７、およびシステム制御部１８を具備する。

イメージセンサ１１は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、レンズなどからなる図示しない光学ブロックを通じて被写体から入射された光を、電子信号に変換する。なお、本実施の形態では例として、ベイヤ配列などの配列方法でＲＧＢ（Red，Green，Blue）の各色フィルタを受光面に配置した１つのイメージセンサ１１により、被写体からの光を受光する構成とする。

ＡＦＥ回路１２は、イメージセンサ１１から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像データを出力する。

カメラ信号処理回路１３は、ＡＦＥ回路１２からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、各種画質補正処理を施す回路ブロックである。本実施の形態において、このカメラ信号処理回路１３は、黒バランス補正部２１、トーンカーブ処理部２２、ＮＲ処理部２３、逆トーンカーブ処理部２４、プログラマブルゲインアンプ（ＰＧＡ）２５、ホワイトバランス（ＷＢ）調整部２６、ガンマ（γ）処理部２７、および画素補間／ＹＣ（輝度信号／色差信号）処理部２８を具備する。

黒バランス補正部２１は、イメージセンサ１１の受光面の一部に設けられたＯＰＢ（Optical Black）領域からの出力信号レベルに基づくシステム制御部１８からの制御信号に応じて、ＡＦＥ回路１２からの画像データをクランプして、黒レベルを補正する。なお、本実施の形態では、この黒バランス補正部２１によって最も基本的な補正処理のみが施され、それより後段の各種デジタル処理が施されていない画像データを、ＲＡＷ（生）画像データと呼ぶ。

トーンカーブ処理部２２は、黒バランス補正部２１からのＲＡＷ画像データに対して、あらかじめ設定されたトーンカーブに従って入出力変換処理を施す。後述するように、このトーンカーブは、入力画像データに含まれる各種のノイズ成分の入力レベルに対する依存性を打ち消すように設定される。

ＮＲ処理部２３は、トーンカーブ処理部２２からの画像データに対して、システム制御部１８からの制御パラメータに従ってノイズ除去処理を施す。
逆トーンカーブ処理部２４は、トーンカーブ処理部２２で使用されたトーンカーブに対して逆の入出力特性を持つトーンカーブに従って、ＮＲ処理部２３からの画像データに対して入出力変換処理を施し、画像信号成分の階調をＡＦＥ回路１２からのＲＡＷ画像データの階調に戻す。なお、以上のトーンカーブ処理部２２、ＮＲ処理部２３、および逆トーンカーブ処理部２４の処理については、後に詳しく説明する。

ＰＧＡ２５は、逆トーンカーブ処理部２４からの画像データに対して、システム制御部１８からの制御信号に応じたゲインを印加する。
ＷＢ調整部２６は、ＰＧＡ２５からの画像データのＲＧＢ各成分に対して、システム制御部１８からの制御信号に応じた個別のゲインを印加して、ＷＢを調整する。

ガンマ処理部２７は、ＷＢ調整部２６からの画像データに対して、あらかじめ設定されたガンマ曲線に従った入出力変換処理を施し、表示デバイスの特性に適合した画像データに変換する。

画素補間／ＹＣ処理部２８は、ガンマ処理部２７からの画像データに対して画素補間（デモザイク）処理を施し、処理後の画像データを輝度（Ｙ）成分と色差（Ｃ）成分とに変換する。

表示処理部１４は、画素補間／ＹＣ処理部２８からの画像データを表示用の画像信号に変換し、ＬＣＤ１５に供給する。これにより、ＬＣＤ１５には、イメージセンサ１１によって現在撮像中の画像が表示される。

画像圧縮処理部１６は、画素補間／ＹＣ処理部２８からの画像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）などの静止画像圧縮方式、あるいはＭＰＥＧ（Moving Picture Experts Group）などの動画像圧縮方式に従って、圧縮符号化処理を施す。

記録装置１７は、画像圧縮処理部１６によって圧縮符号化された画像データをデータファイルとして記録媒体に記録する。また、ＰＧＡ２５から出力された非圧縮の画像データをデータファイルとして記録できるようにしてもよい。この記録装置１７は、例えば、磁気テープ、光ディスク、フラッシュメモリなどの可搬型記録媒体に対する書き込み装置、あるいはＨＤＤ（Hard Disk Drive）などの内蔵記録媒体に対する書き込み装置として実現される。

システム制御部１８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えたマイクロコンピュータであり、ＲＯＭあるいはＲＡＭに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。

次に、カメラ信号処理回路１３におけるトーンカーブ処理部２２、ＮＲ処理部２３、および逆トーンカーブ処理部２４について、詳しく説明する。
ＮＲ処理部２３では、イメージセンサ１１の動作やＡＦＥ回路１２などで発生されるノイズ成分が、入力画像データから除去される。ここでは、特に、画像データの入力レベルに依存するノイズ成分、さらには、入力レベルに対する特性の異なる複数のノイズ成分を除去することが可能になっている。

ここで、このようなレベル依存性を持つノイズ成分を除去するためには、入力画像レベルに応じてＮＲ処理の強度などの制御パラメータを変化させる必要があり、処理手順やそのための回路構成が複雑化することが問題となっていた。これに対して、本実施の形態では、ＮＲ処理の入力段に設けたトーンカーブ処理部２２において、ノイズレベルを入力レベルに対して均等化するようなトーンカーブを入力画像データに対して適用している。これにより、ＮＲ処理部２３の処理を簡略化する、すなわち、１フレーム分の入力画像データに対して一律の制御パラメータに従ってＮＲ処理を施すことが可能となる。

さらに、ＮＲ処理部２３の出力段に設けた逆トーンカーブ処理部２４では、トーンカーブ処理部２２で用いたトーンカーブと逆特性のトーンカーブに従って入出力変換を行うことで、画像信号成分の階調をＡＦＥ回路１２からのＲＡＷ画像データの階調に戻している。これにより、逆トーンカーブ処理部２４から出力される画像データに対しては、ＰＧＡ２５やＷＢ調整部２６などのカメラ信号処理回路１３内の各ブロックにおいて、従来と何ら変わらない信号処理を施すことが可能になる。

ところで、このようなトーンカーブの決定手法としては、以下のような例が知られていた。ノイズ成分をイメージセンサのショットノイズと定義した場合、そのショットノイズを入力画像レベルに対して均等化するためのトーンカーブは、一般的に、Ｙ＝Ａ√Ｘで求められる。ここで、Ｘは画像データの入力レベル（階調値）、Ａは比例係数である。また、上記の式では、Ｘ＝０の近傍におけるトーンカーブの傾きが無限大に近くなるという問題があることから、上記の式の代わりに、Ｘが所定値より小さいときは線形特性を用い、所定値以上のときはトーンカーブをＹ＝Ａ√Ｘ＋Ｃで求めることも考えられている。ここで、Ｃは、明部の変換特性を暗部階調変換領域の特性と連続させるためのオフセット値である。この後者の式によれば、ショットノイズの入力画像レベルに対する均等化と、暗部の階調性を残すこととが両立される。

しかし、上記の各式の適用対象は、主にイメージセンサのショットノイズであり、他のノイズ成分に対して特に考慮はされていない。すなわち、実際のイメージセンサに起因するノイズ成分にはショットノイズ以外に、例えば、感度ムラによるノイズ、フロアノイズなどがあるが、上記の各式ではショットノイズ以外のこれらのノイズ成分が持つレベル依存性を解消するような定義はなされていなかった。ショットノイズ以外のノイズ成分に対してＮＲ処理を施そうとした場合、これらのノイズ成分ごとの特性に応じて個別にＮＲ処理を制御する必要があり、ＮＲ処理が複雑化してしまうという問題があった。

そこで、本実施の形態では、複数種類のノイズ成分を含むノイズモデルを次の式（１）により定義し、そのノイズモデルに基づくトーンカーブをトーンカーブ処理部２２および逆トーンカーブ処理部２４において設定することで、ＮＲ処理部２３において簡単な処理で複数種類のノイズ成分を除去できるようにする。

この式（１）において、定数ａは、入力レベルに略比例するノイズ成分を定義するものであり、定数ｂは、入力レベルの平方根に略比例するノイズ成分を定義するものであり、定数ｃは、入力レベルに依存しないノイズ成分を定義するものである。また、式（１）のσ（ｘ）は、ＡＦＥ回路１２によってデジタル変換された画像データのデジタルコード値として表される。なお、正確には、このときのノイズモデル変数ｘは、ＡＦＥ回路１２の出力データに、黒バランス補正部２１による黒レベル補正を施した後のデータである必要がある。

このようなノイズモデルで使用される定数ａ，ｂ，ｃは、以下のように定義できる。
ａ≡ｖ_a ² ……（２）
ｂ≡ｇ_FD ²・ｇ_sig ² ……（３）
ｃ≡ｎ_ri ²・ｇ_sig ² ……（４）
式（２）の定数ｖ_aは、イメージセンサ１１における開口ムラ（感度ムラ）の特性を示す値であり、イメージセンサ１１の受光部に均一な光を入射させたときの画素ごとの出力の平均値のバラツキを、割合として示したものである。より具体的には、受光部に均一な光を入射させたときの出力値の分散から、光学ショットノイズとフロアノイズの分散を減算した値の平方根として算出される。この定数ｖ_aは、イメージセンサ１１を用いて個別に実測して得られる他、イメージセンサ１１の製品としての仕様から得ることもできる。

定数ｂは、イメージセンサ１１が発生する光学ショットノイズに対応している。式（３）の定数ｇ_FDは、イメージセンサ１１の電荷量を電圧値に変換する際に生じるゲイン値を示す。この定数ｇ_FDは、イメージセンサ１１の製品としての仕様から得ることが可能である。

定数ｃは、入力レベルに依存しないフロアノイズに対応している。式（４）の定数ｎ_riは、熱雑音、ダークショットノイズ、ダークムラなどのフロアノイズを、アナログ処理系入力部（すなわちＡＦＥ回路１２の入力部）における信号レベルに換算した換算雑音値を示す。具体的には、イメージセンサ１１の受光部への入射光を遮断したときに得られた画素ごとの出力値の分散の平方根として算出される。この定数ｎ_riは、撮像装置ごと（あるいはイメージセンサ１１とＡＦＥ回路１２との組み合わせごと）に個別に実測して得られる他、イメージセンサ１１およびＡＦＥ回路１２の製品としての仕様から得ることもできる。

式（３）および（４）の定数ｇ_sigは、アナログ画像信号の伝送系とＡ／Ｄ変換系における総合ゲインを示す。この定数ｇ_sigは、次の式（５）によって表される。

ここで、定数ｇ_CDSは、ＡＦＥ回路１２内のＣＤＳにおいて生じるゲインを示す。定数ｇ_aは、ＡＦＥ回路１２内のＡ／Ｄ変換器の前段に設けられたアナログアンプにおいて生じるゲインを示す。これらの定数ｇ_CDSと定数ｇ_aは、それぞれ、使用されるＡＦＥ回路１２における実測値として得られる他、ＡＦＥ回路１２の製品としての仕様から得ることが可能である。

定数ｎ_bitsは、Ａ／Ｄ変換器の出力データの最大ビット数を示す。定数Ｖ_fsは、Ａ／Ｄ変換器の入力電圧の許容最大値（フルスケール電圧）を示す。これらの定数ｎ_bitsと定数Ｖ_fsは、ともにＡＦＥ回路１２の仕様として決定される。

定数ｇ_dは、ＡＦＥ回路１２におけるＡ／Ｄ変換後の画像データに対して、その後の処理ブロックに設けられたデジタル乗算器によって演算が行われる際に生じるゲインを示す。この定数ｇ_dは、ＡＦＥ回路１２の製品としての仕様から得ることが可能である。なお、図１の構成の変形例として、ＰＧＡ２５を黒バランス補正部２１とトーンカーブ処理部２２との間に挿入した構成では、このゲインには、ＰＧＡ２５において印加されるゲインを含める必要がある。

なお、以上の各定数を実測により求める場合には、例えば、測定用の画像や、複数の色および明るさを持つチャートなどを撮像して、その撮像により得られたＲＡＷ画像データからのノイズ測定結果を基に、最小自乗近似法などによって求めることが可能である。

次に、上記のノイズモデルを用いてトーンカーブを求める手法について説明する。
まず、ａ≧０，ｂ＞０，ｃ＞０の条件で、上記の式（１）を基に次の式（６）を生成する。なお、式（６）の右辺は、定数ａの条件に応じた左辺を変形した式である。

上記の式（６）をｆ_tc（ｘ）と置くと、トーンカーブを次の式（７）で定義することができる。

ただし、式（７）によるトーンカーブでは、入力レベルによっては傾きが大きくなり過ぎたり、あるいは小さくなり過ぎたりし、ビット落ちが発生して階調が著しく失われる可能性がある。そこで、本実施の形態のトーンカーブ処理部２２では、このトーンカーブにおける任意の入力値ｘ_tにおける傾きが定数ｐ（ｐ＞０）となるように、次の式（８）に従ってトーンカーブを決定する。

ここで、図２は、式（８）に従ったトーンカーブの一例を示す図である。
この図２に示すように、式（８）によれば、トーンカーブにおける任意の入力値ｘ_tにおける傾きを定数ｐとなるように設定できる。最も一般的な例としては、入力値ｘ_tを入力レベルが比較的低い領域（例えば０の近傍）に設定して、傾きｐが大きくなり過ぎる（例えば無限大に近づく）ことを防止する。あるいは、入力値ｘ_tを入力レベルが比較的高い領域に設定して、傾きｐが小さくなり過ぎる（すなわち０に近づき過ぎる）ことを防止する。これによって、トーンカーブ処理部２２における入出力変換によるビット落ちの発生を抑制し、画質劣化を防止できる。

なお、上記の式（８）のｆ’_tc（ｘ）はｆ_tc（ｘ）の導関数であり、次の式（９）によって表される。

上記の式（８）に従ったトーンカーブをトーンカーブ処理部２２において適用することで、上述した各ノイズ成分のレベル依存性を打ち消すように入力画像データの階調を変換して、ＮＲ処理部２３に供給することができる。従って、ＮＲ処理部２３では、例えば、入力画像データ中の画像信号成分のレベルを推定したり、その入力レベルに応じて画素ごとにＮＲ処理用の制御パラメータを変化させるといった複雑な処理を行うことなく、入力される画像データに対して、システム制御部１８から１フレームごとに一律に設定される制御パラメータに従ってＮＲ処理を実行することで、上記の複数のノイズ成分を除去することが可能になる。すなわち、ＮＲ処理のためのパラメータ算出処理を簡略化して、処理の高速化や処理負荷の低減を実現しながらも、入力画像データに含まれる複数のノイズ成分をそれぞれ適切に除去して、出力画像の品質を向上させることができる。

トーンカーブ処理部２２における実際の入出力変換処理では、例えば、上記の式（８）に従って入力レベルと出力レベルとを対応付けたルックアップテーブル（ＬＵＴ）を不揮発性記録媒体にあらかじめ格納しておき、トーンカーブ処理部２２がこのＬＵＴを参照して入出力を変換することが実現できる。また、システム制御部１８がこのＬＵＴをトーンカーブ処理部２２にロードして利用させる構成とすることで、イメージセンサ１１やＡＦＥ回路１２など、撮像装置内部に搭載された部品の仕様に応じて、適切なトーンカーブを適用させることも可能となる。

また、逆トーンカーブ処理部２４では、上記の式（８）とは入出力が逆特性になる逆トーンカーブが適用され、これによって、ＮＲ処理後の画像データの階調がＡＦＥ回路１２からのＲＡＷ画像データの階調に戻される。この逆トーンカーブについては上記の式（８）を基に演算により求めることもできるが、上述したＬＵＴを用いた手法を利用した場合には、トーンカーブ処理部２２で適用されたＬＵＴのデータを基に、入出力の対応付けを逆にすることで、逆トーンカーブ用のＬＵＴを容易に生成できる。

次に、ＮＲ処理部２３の内部構成例について説明する。
図３は、ＮＲ処理部の第１の構成例を示すブロック図である。
図３に示すＮＲ処理部２３は、εフィルタ３１と、このフィルタ部に対するしきい値設定部３２とを備える。εフィルタ３１は、非線形性を有する空間フィルタであり、例えば、対象画素の周囲の画素を平均化対象とするか否か、すなわちノイズ成分であるか否かの判別を行う際のしきい値を変化させることで、ＮＲ強度が可変になる。しきい値設定部３２は、システム制御部１８からの制御信号に応じて、εフィルタ３１に対してしきい値を設定する。システム制御部１８では、設計者によってあらかじめ設定された固定的なしきい値を設定する制御信号が出力されてもよいし、このしきい値がユーザの操作入力に応じて可変とされていてもよい。これらのいずれの場合でも、ＮＲ処理部２３に入力される画像データに対して、その入力レベルに関係なく、１フレームごとにしきい値が設定されればよいので、ＮＲ処理部２３に対するＮＲ強度の算出・設定処理が簡略化されて高速化され、また、その処理負荷が軽減される。

図４は、ＮＲ処理部の第２の構成例を示すブロック図である。
図４に示すＮＲ処理部２３は、いわゆるウェーブレット変換を用いてＮＲ処理を実行するように構成されており、ウェーブレット変換部４１と、周波数帯域ごとにｎ個（ｎは１以上の整数）だけ設けられたＮＲ部４２−１〜４２−ｎと、逆ウェーブレット変換部４３と、ＮＲ部４２−１〜４２−ｎに対してＮＲ強度に対応するしきい値を設定するしきい値設定部４４とを備えている。

ウェーブレット変換部４１は、入力された画像データに対してウェーブレット変換を施して、周波数帯域ごとの成分に分離する。ＮＲ部４２−１〜４２−ｎのそれぞれは、分離された対応する帯域成分に対してＮＲ処理を施すが、このとき、しきい値設定部４４からのしきい値設定により、周波数帯域ごとに異なるＮＲ強度を設定して、ＮＲ処理のかけ方を適正化できる。例えば、除去可能な複数のノイズ成分の各特性を考慮して、各ＮＲ部４２−１〜４２−ｎに対して適切なＮＲ強度を設定できる。

なお、ウェーブレット変換を利用した一般的なＮＲ処理では、最低周波数帯域の信号には何も処理を施さないことが多い。従って、図４においては、最低周波数帯域の信号に対応する例えばＮＲ部４２−１を設けないようにし、この信号をウェーブレット変換部４１から逆ウェーブレット変換部４３に対してそのまま転送するように構成してもよい。

逆ウェーブレット変換部４３は、各ＮＲ部４２−１〜４２−ｎからのＮＲ処理後のデータに対して逆ウェーブレット処理を施し、変換前の周波数帯域を持つデータに戻される。しきい値設定部４４は、システム制御部１８からの制御信号に応じて、各ＮＲ部４２−１〜４２−ｎに対してノイズ成分であるか否かを判別するためのしきい値を設定する。

なお、図３の場合と同様に、各ＮＲ部４２−１〜４２−ｎに対するＮＲ強度は、しきい値設定部４４を通じてシステム制御部１８からあらかじめ決められた固定値が設定されてもよいし、これらの値をユーザの操作入力に応じて可変としてもよい。これらのいずれの場合でも、入力データに対して、その入力レベルに関係なく、１フレームごとにしきい値が設定されればよいので、ＮＲ処理部２３に対するＮＲ強度の算出・設定処理が簡略化されて高速化され、また、その処理負荷が軽減される。

ところで、以上の第１の実施の形態では、ＡＦＥ回路１２から出力された、各種画質補正などの信号処理（黒バランス補正を除く）が施されていないＲＡＷ画像データに対して、ＮＲ処理を施すように構成した例を示した。ここで、トーンカーブ処理部２２および逆トーンカーブ処理部２４での処理からなるノイズ均等化処理では、ＲＡＷ画像データにおけるノイズレベルと入力レベルとの関係が、式（１）のような比較的単純な式で表されることを利用してトーンカーブを決定しているため、このトーンカーブをＲＡＷ画像データに対して適用することで最大の効果が得られることは言うまでもない。

しかしながら、ＲＡＷ画像データに対していくつかの信号処理を施した後の画像データに対しても、上記の処理手順から大きな変更を加えることなく、ＮＲ処理のパラメータ設定処理を簡略化しつつ複数のノイズ成分を適切に除去できるという同様の効果を奏するようなノイズ均等化処理を適用することが可能である。

以下、上記の第１の実施の形態に対して、ＮＲ処理機能の位置を異なる位置とした場合の例を挙げて、これらの例に対してノイズ均等化処理を適用したときの処理手順の変形の仕方について補足説明する。以下の各実施の形態では代表例として、ＰＧＡ２５の後段でＮＲ処理を行う場合と、ＷＢ調整部２６の後段でＮＲ処理を行う場合について示す。

図５は、第２の実施の形態に係る撮像装置におけるカメラ信号処理回路の内部構成を示すブロック図である。なお、図５では、図１に対応するブロックには同じ符号を付して示し、その説明を省略する。

図５に示すカメラ信号処理回路１３ａでは、黒バランス補正部２１からのＲＡＷ画像データに対してＰＧＡ２５によってゲインが調整され、その調整後の画像データがトーンカーブ処理部２２ａに入力される構成になっている。トーンカーブ処理部２２ａでは、ノイズ成分のレベル依存性を打ち消すようなトーンカーブを用いた入出力変換が行われ、変換後の画像データに対してＮＲ処理部２３ａによってＮＲ処理が施され、さらに処理後の画像データが逆トーンカーブ処理部２４ａによって逆変換される。逆変換後の画像データは、ＷＢ調整部２６、ガンマ処理部２７、画素補間／ＹＣ処理部２８によって順次変換される。また、逆変換後の画像データを画像ファイルとして記録装置１７に記録できるようにしてもよい。

ここで、ＰＧＡ２５は、入力されるＲＡＷ画像データに対して、システム制御部１８から設定されるゲイン制御値に応じたゲインを１フレームごとに印加する。このため、ＰＧＡ２５では、ノイズ成分にも画像信号成分とともにフレームごとに一律のゲインが印加されることになるので、トーンカーブ処理部２２ａでは、上記の第１の実施の形態で用いられたゲインカーブによる出力値に対して、ＰＧＡ２５で印加されるゲイン量を乗算して適用することで、ノイズ成分のレベル依存性を打ち消すことができる。また、逆トーンカーブ処理部２４ａでは、第１の実施の形態で用いられた逆ゲインカーブによる出力値に対して、ＰＧＡ２５で印加されるゲイン量を除算して適用すればよい。

図５の例では、トーンカーブ処理部２２ａおよび逆トーンカーブ処理部２４ａではともに、入力値に対応する出力値をそれぞれＬＵＴ２０１および２０２から読み込むことで、入出力変換を行っている。ここで、ＬＵＴ２０１および２０２には、第１の実施の形態と同じトーンカーブおよび逆トーンカーブに従った情報を記述しておく。そして、ＬＵＴ２０１からの出力値に対しては、乗算器２０３によってＰＧＡ２５に対するゲイン制御値が乗算されて、トーンカーブ処理部２２ａに読み込まれる。また、ＬＵＴ２０２からの出力値は、除算器２０４によってゲイン制御値で除算されて、逆トーンカーブ処理部２４ａに供給される。これにより、ＮＲ処理部２３ａでは、入力レベルに関係なく入力画像データに対して１フレームごとに設定された制御パラメータが適用されることで、上記の複数のノイズ成分が除去されるようになる。

なお、図５のような構成以外に、例えば、トーンカーブ処理部２２ａおよび逆トーンカーブ処理部２４ａが、それぞれに対する入力レベルと、ＰＧＡ２５に対するゲイン制御値とから、それぞれの出力レベルが一意に決定されて読み出されるように構成されたＬＵＴを用いて、入出力レベルを変換するようしてもよい。

図６は、第３の実施の形態に係る撮像装置におけるカメラ信号処理回路の内部構成を示すブロック図である。なお、図６では、図１および図５に対応するブロックには同じ符号を付して示し、その説明を省略する。

図６に示すカメラ信号処理回路１３ｂでは、黒バランス補正部２１からのＲＡＷ画像データに対して、ＷＢ調整部２６によってＷＢ調整が施され、その調整後の画像データがトーンカーブ処理部２２ｂに入力される構成になっている。トーンカーブ処理部２２ｂでは、ノイズ成分のレベル依存性を打ち消すようなトーンカーブを用いた入出力変換が行われ、変換後の画像データに対してＮＲ処理部２３ｂによってＮＲ処理が施され、さらに処理後の画像データが逆トーンカーブ処理部２４ｂによって逆変換される。逆変換後の画像データは、ガンマ処理部２７および画素補間／ＹＣ処理部２８によって順次変換される。

ここで、ＷＢ調整部２６は、システム制御部１８から設定されるＲＧＢの色成分ごとの個別のゲイン制御値に基づいて、入力画像データの色成分に対してそれぞれフレームごとにゲインを印加する。このため、トーンカーブ処理部２２ｂでは、第１の実施の形態で用いられたゲインカーブによる各色成分に対応する出力値に対して、ＷＢ調整部２６に対する色成分ごとのゲイン量を個別に乗算して適用することで、ノイズ成分のレベル依存性を打ち消すことができる。また、逆トーンカーブ処理部２４ｂでは、第１の実施の形態で用いられた逆ゲインカーブによる各色成分に対応する出力値に対して、ＷＢ調整部２６に対する色成分ごとのゲイン量を除算して適用すればよい。

図６に示したトーンカーブ処理部２２ｂおよび逆トーンカーブ処理部２４ｂは、図５と同様のＬＵＴ２０１および２０２を用いて、色成分ごとに入力値に対応する出力値を読み込み、入出力変換を行っている。ここで、ＬＵＴ２０１からの色成分ごとの出力値に対しては、その色成分に対応する乗算器２１１〜２１３によってＷＢ調整部２６に対するゲイン制御値が乗算されて、トーンカーブ処理部２２ｂに読み込まれる。また、ＬＵＴ２０２からの色成分ごとの出力値は、その色成分に対応する除算器２１４〜２１６によってゲイン制御値で除算されて、逆トーンカーブ処理部２４ｂに供給される。これにより、ＮＲ処理部２３ｂでは、入力レベルに関係なく入力画像データに対して１フレームごとに設定された制御パラメータが適用されることで、上記の複数のノイズ成分が除去されるようになる。

なお、図６のような構成以外に、例えば、トーンカーブ処理部２２ｂおよび逆トーンカーブ処理部２４ｂが、それぞれに対する入力レベルと、ＷＢ調整部２６に対する色成分ごとのゲイン制御値とから、それぞれにおける色成分ごとの出力レベルが一意に決定されて読み出されるように構成されたＬＵＴを用いて、入出力レベルを変換するようしてもよい。

また、この図６において、例えば、ＷＢ調整部２６の前段において図５のＰＧＡ２５が設けられた場合には、ＬＵＴ２０１からの出力値には、ＷＢ調整用の色成分ごとのゲイン制御値が乗算されるとともに、ＰＧＡ２５に対するゲイン制御値も乗算される必要がある。また、ＬＵＴ２０２からの出力値も同様に、ＷＢ調整用の色成分ごとのゲイン制御値で除算されるとともに、ＰＧＡ２５に対するゲイン制御値によりさらに除算される必要がある。

また、カメラ信号処理回路においては、以上の構成の他に、例えば、ガンマ処理部２７の後段にトーンカーブ処理部、ＮＲ処理部、逆トーンカーブ処理部を配置することもできる。ガンマ補正は非線形であるが、特定のレベルの画像信号成分に重畳されたノイズ成分に対しては、その画像信号成分のレベルに対応するガンマカーブの傾きに相当するゲインが印加されるものと線形的に近似できる。従って、トーンカーブ処理部でのトーンカーブとしては、第１の実施の形態で用いたものに対して、ガンマカーブを一次微分したカーブに基づく値（すなわち傾き）を乗算したものを用いればよい。なお、このようなトーンカーブは、ガンマカーブの特性に応じてあらかじめトーンカーブ処理部に設定しておけばよく、これに対応する逆トーンカーブも逆トーンカーブ処理部にあらかじめ設定しておけばよい。

さらにこの他に、例えば、ローパスフィルタなどの空間フィルタ処理が施された画像データに対して、上記のノイズ均等化処理を適用することもできる。この場合には、空間フィルタを通過した画素ごとのノイズ成分の間に空間的な相関がないという条件下において、空間フィルタを通過後のノイズ成分の分散値には、正規化されたフィルタ係数（例えば、ＦＩＲフィルタのタップ係数。ＦＩＲ：Finite Impulse Response）の２乗和の平方根に相当するゲインが印加されることになる。換言すれば、このゲインは、正規化されたフィルタ係数のエネルギー積分から求められる補正係数である。従って、トーンカーブ処理部でのトーンカーブとしては、空間フィルタのフィルタ係数に応じた上記の補正係数を、第１の実施の形態で用いたトーンカーブの出力値に対して乗算することで求めることができる。

以上、デジタル変換後に各種の信号処理が施された画像データに対するノイズ均等化処理の適用手法について説明したが、言うまでもなく、上述したような処理ブロックのうちの複数を通過した画像データに対しても、それらの処理ブロックへの適用のために必要な変更をトーンカーブに複合的に加えることで、ノイズの均等化を達成可能である。これらを考慮すると、上記の手法を組み合わせることで、ＮＲ処理のためのパラメータ算出処理を簡略化しつつ、各種のノイズ成分を除去できるような撮像装置への適用例としては、以下のような場合が考えられる。

＜１＞白黒画像を撮像する装置におけるカメラ信号処理回路内の任意の位置に、上記のノイズ均等化処理手法を適用する場合。
＜２＞色補正マトリクス機能を備えない３板ＲＧＢカメラ（ＲＧＢの色成分ごとに撮像素子が設けられたカメラ）において、ＷＢ調整やガンマ補正などを施した後の画像データに対して、上記のノイズ均等化処理手法を適用する場合。

＜３＞色補正マトリクス機能（例えば、色再現性向上のためのマトリクス演算機能）を備えた３板ＲＧＢカメラにおいて、色補正用マトリクス係数の非対角要素の絶対値が、対角要素の値に対して比較的小さく、画像信号成分とノイズ成分との間に１対１の依存関係が近似的に成立すると見なしたときの誤差が所定の許容範囲内であるときに、色補正マトリクス適用後の画像データに対して上記のノイズ均等化処理手法を適用する場合。

＜４＞画素補間処理（デモザイク処理）が施される前の画像データにＷＢ調整やガンマ補正処理が施される構成の単板カメラにおいて、ＷＢ調整後やガンマ補正後の画像データに対して、上記のノイズ均等化処理手法を適用する場合。

なお、色補正時やＹＣ変換時などに用いられるマトリクス処理や、空間的な補間処理が行われる撮像装置では、それらの処理後の画像データに上記のノイズ均等化処理手法を適用すると、ノイズ均等化処理の誤差が大きくなってＮＲ性能が劣化する場合があり得る。例えば、マトリクス処理後の画像データに上記のノイズ均等化処理手法を適用する場合には、上述したように、マトリクス係数の非対角要素の絶対値が、対角要素の値に対して十分小さいといった条件下で行われることが望ましい。

なお、以上の実施の形態では、本発明をデジタルスチルカメラやビデオカメラといった撮像専用の装置に適用した場合について説明したが、同様な撮像機能を備えた携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。

また、撮像機能を外付けしたＰＣ（パーソナルコンピュータ）などの情報処理機器において、上記の機能をプログラムの実行によって実現することもできる。この場合、上記のトーンカーブ処理部、ＮＲ処理部、逆トーンカーブ処理部などの処理内容を記述したプログラムが提供される。すなわち、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。また、処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。 実施の形態で適用されるトーンカーブの一例を示す図である。 ＮＲ処理部の第１の構成例を示すブロック図である。 ＮＲ処理部の第２の構成例を示すブロック図である。 第２の実施の形態に係る撮像装置におけるカメラ信号処理回路の内部構成を示すブロック図である。 第３の実施の形態に係る撮像装置におけるカメラ信号処理回路の内部構成を示すブロック図である。

符号の説明

１１……イメージセンサ、１２……アナログフロントエンド（ＡＦＥ）回路、１３……カメラ信号処理回路、１４……表示処理部、１５……ＬＣＤ、１６……画像圧縮処理部、１７……記録装置、１８……システム制御部、２１……黒バランス補正部、２２……トーンカーブ処理部、２３……ＮＲ処理部、２４……逆トーンカーブ処理部、２５……プログラマブルゲインアンプ（ＰＧＡ）、２６……ホワイトバランス（ＷＢ）調整部、２７……ガンマ（γ）処理部、２８……画素補間／ＹＣ処理部

Claims (14)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   画像データの入力レベルに略比例するノイズ成分に対応する定数ａと、入力レベルの平方根に略比例するノイズ成分に対応する定数ｂと、入力レベルに依存しないノイズ成分に対応する定数ｃとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を、
   

   

   なる式でモデル化したとき、少なくとも１種類以上のノイズ成分を入力レベルに対して均等化するように、定数ｋ（ただし、ｋ＞０）を用いて、
   

   

   なる式により決定されるトーンカーブに従って、撮像により得られた画像データの入出力レベルを変換する変換処理部と、
   前記変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施すノイズ除去処理部と、
   前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、前記ノイズ除去処理部から出力された画像データの入出力レベルを変換する逆変換処理部と、
   を有することを特徴とする撮像装置。
2. 前記定数ａは、前記固体撮像素子の画素ごとの感度ムラを示すことを特徴とする請求項１記載の撮像装置。
3. 前記定数ｂは、前記固体撮像素子において発生される光学ショットノイズを示すことを特徴とする請求項１記載の撮像装置。
4. 前記定数ｃは、フロアノイズを示すことを特徴とする請求項１記載の撮像装置。
5. 前記定数ｋは、所定の入力レベルにおける前記トーンカーブの傾きを決定するためのものであることを特徴とする請求項１記載の撮像装置。
6. 撮像により得られた画像信号をデジタルデータに変換した画像データに対して画質補正のための１種類以上の信号処理を施す信号処理部をさらに有し、
   前記変換処理部は、前記信号処理部において前記信号処理が施された画像データを入力し、入力された画像データに施された前記信号処理に応じて前記トーンカーブを変形した第２のトーンカーブに従って、前記入力された画像データの入出力レベルを変換することを特徴とする請求項１記載の撮像装置。
7. 前記逆変換処理部は、前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに基づく出力変換値を、前記変換処理部に入力された画像データに施された前記信号処理に応じて変形することで第２の逆トーンカーブを生成し、前記第２の逆トーンカーブに従って前記ノイズ除去処理部から出力された画像データの入出力レベルを変換することを特徴とする請求項６記載の撮像装置。
8. 前記信号処理部は、前記画像データに対してフレームごとに一律のゲインを印加するゲイン処理部を備え、
   前記変換処理部は、前記ゲイン処理部から出力された画像データを処理するように構成され、前記トーンカーブに基づく出力変換値に対して、前記ゲイン処理部において印加されるゲイン量を乗算して得られる前記第２のトーンカーブに従って、前記ゲイン処理部からの画像データの入出力レベルを変換することを特徴とする請求項６記載の撮像装置。
9. 前記信号処理部は、入力された画像データに対して色成分ごとにゲインを印加してホワイトバランスを調整するホワイトバランス調整部を備え、
   前記変換処理部は、前記ホワイトバランス調整部から出力された画像データを処理するように構成され、前記ホワイトバランス調整部に入力されるまでに前記信号処理部において画像データに対して施された前記信号処理に応じて前記トーンカーブを変形した前段トーンカーブに基づく出力変換値に対して、前記ホワイトバランス調整部において印加される色成分ごとのゲイン量を乗算することで前記第２のトーンカーブを色成分ごとに生成し、生成された前記第２のトーンカーブに従って、前記ホワイトバランス調整部からの画像データの入出力レベルを変換することを特徴とする請求項６記載の撮像装置。
10. 前記信号処理部は、ガンマ曲線に従って画像データの入出力レベルを変換して表示デバイスの特性に適合させるガンマ処理部を備え、
    前記変換処理部は、前記ガンマ処理部から出力された画像データを処理するように構成され、前記ガンマ処理部に入力されるまでに前記信号処理部において画像データに対して施された前記信号処理に応じて前記トーンカーブを変形した前段トーンカーブに基づく出力変換値に対して、前記ガンマ曲線の一次微分値を乗算することで得られる前記第２のトーンカーブに従って、入出力レベルを変換することを特徴とする請求項６記載の撮像装置。
11. 前記信号処理部は、入力された画像データに対して空間フィルタを用いたフィルタ処理を施すフィルタ処理部を備え、
    前記変換処理部は、前記フィルタ処理部から出力された画像データを処理するように構成され、前記フィルタ処理部に入力されるまでに前記信号処理部において画像データに対して施された前記信号処理に応じて前記トーンカーブを変形した前段トーンカーブに基づく出力変換値に対して、前記空間フィルタにおける正規化された係数のエネルギー積分から求められる補正係数を乗算することで得られる前記第２のトーンカーブに従って、入出力レベルを変換することを特徴とする請求項６記載の撮像装置。
12. 画像データを処理する画像処理装置において、
    画像データの入力レベルに略比例するノイズ成分に対応する定数ａと、入力レベルの平方根に略比例するノイズ成分に対応する定数ｂと、入力レベルに依存しないノイズ成分に対応する定数ｃとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を、
    

    

    なる式でモデル化したとき、少なくとも１種類以上のノイズ成分を入力レベルに対して均等化するように、定数ｋ（ただし、ｋ＞０）を用いて、
    

    

    なる式により決定されるトーンカーブに従って、入力された画像データの入出力レベルを変換する変換処理部と、
    前記変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施すノイズ除去処理部と、
    前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、前記ノイズ除去処理部から出力された画像データの入出力レベルを変換する逆変換処理部と、
    を有することを特徴とする画像処理装置。
13. 画像データを処理するための画像処理方法において、
    変換処理部が、画像データの入力レベルに略比例するノイズ成分に対応する定数ａと、入力レベルの平方根に略比例するノイズ成分に対応する定数ｂと、入力レベルに依存しないノイズ成分に対応する定数ｃとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を、
    

    

    なる式でモデル化したとき、少なくとも１種類以上のノイズ成分を入力レベルに対して均等化するように、定数ｋ（ただし、ｋ＞０）を用いて、
    

    

    なる式により決定されるトーンカーブに従って、入力された画像データの入出力レベルを変換し、
    ノイズ除去処理部が、前記変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施し、
    逆変換処理部が、前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、前記ノイズ除去処理部から出力された画像データの入出力レベルを変換する、
    ことを特徴とする画像処理方法。
14. 画像データを処理するための画像処理プログラムにおいて、
    コンピュータを、
    画像データの入力レベルに略比例するノイズ成分に対応する定数ａと、入力レベルの平方根に略比例するノイズ成分に対応する定数ｂと、入力レベルに依存しないノイズ成分に対応する定数ｃとを用いて、画像データの入力レベルｘに対する平均ノイズ振幅を、
    

    

    なる式でモデル化したとき、少なくとも１種類以上のノイズ成分を入力レベルに対して均等化するように、定数ｋ（ただし、ｋ＞０）を用いて、
    

    

    なる式により決定されるトーンカーブに従って、入力された画像データの入出力レベルを変換する変換処理部、
    前記変換処理部から出力された画像データに対して、フレームごとに一律の処理パラメータを適用してノイズ成分を除去する処理を施すノイズ除去処理部、
    前記トーンカーブとは逆の入出力特性を有する逆トーンカーブに従って、前記ノイズ除去処理部から出力された画像データの入出力レベルを変換する逆変換処理部、
    として機能させることを特徴とする画像処理プログラム。

Images