JP5543616B2 - 色フィルタアレイ画像反復デノイズ - Google Patents

Description

本発明は、偏微分方程式(ＰＤＥ)法を用い色フィルタアレイ(ＣＦＡ)画像からデノイズ後ＣＦＡ画像を生成する技術に関する。

単一センサ型ディジタルカメラでは、二次元感光素子アレイ１個からフルカラー情報を得るべくＣＦＡが使用されることが多い。ＣＦＡは複数個の色フィルタで構成されており、各感光素子への入射光が対応する色フィルタで濾波されるようになっている。その結果、各感光素子で検知される光は単色光化(全整色(パンクロ)乃至透明フィルタの場合は全整色光化)となる。こうして生じた生ＣＦＡ画像からフルカラー画像を得るには、個々の画素位置における色値を一通りから三通りに増やさねばならない。これは、近隣画素群の画素値に基づき足りない色値を補うことで実現できる。一般に、この処理はＣＦＡ補間又はデモザイクと呼ばれている。

ＣＦＡ補間前の画像データは、色値が１画素当たり一通りしかない希薄なデータセット表現となっている。情報処理の観点からすると、画像データ内ノイズ除去即ちデノイズは、処理すべき色値が１画素当たり三通り以上あるＣＦＡ補間後の状態で行うよりも、ＣＦＡ補間前の状態で行う方が有利である。そのため、生ＣＦＡ画像データをデノイズする手法が従来から数多く提案されている。

多々ある周知のフルカラー画像デノイズ法も、適宜変形して生ＣＦＡ画像に適用することができる。その一例は、ＰＤＥ方式デノイズ法の一種であり非特許文献１を初出とする異方性拡散である。但し、非特許文献１での説明はフル解像度グレースケール(輝度)画像のデノイズに留まっており、フルカラー画像や生ＣＦＡ画像のデノイズに関する教示を欠いている。

非特許文献２では、非特許文献１記載の手法がフルカラー画像のデノイズへと拡張されているが、生ＣＦＡ画像に関する言及は見られない。

生ＣＦＡ画像内色成分それぞれに対する個別処理を以て独立したグレースケール(輝度)デノイズ操作とする、という単純な手法も数多くある。その例としては、特許文献１(発明者：Ａｃｈａｒｙａ ｅｔ ａｌ．，名称：「ノイズ除去アルゴリズムに基づくエッジ検出」(Edge-detection based noise removal algorithm))、特許文献２(発明者：Ｇｉｎｄｅｌｅ ｅｔ ａｌ．，名称：「可変ノイズ除去カーネルを用いた希薄分布カラーディジタル画像のノイズ除去及び補間」(Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel))、特許文献３(発明者：Ｂｏｓｃｏ ｅｔ ａｌ．，名称：「ベイヤパターン画像データ用ノイズフィルタ」(Noise filter for Bayer pattern image data))、特許文献４(発明者：Ｋｅｓｈｅｔ ｅｔ ａｌ．，名称：「ディジタル画像のエッジ反応デノイズ及び色補間」(Edge-sensitive denoising and color interpolation of digital images))、特許文献５(発明者：Ｔｓｕｒｕｏｋａｍ，名称：「画像撮影システム及び画像処理プログラム保存用コンピュータ可読媒体」(Image capturing system and computer readable recording medium for recording image processing program))等に記載のものがある。ただ、これらの手法には、生ＣＦＡ画像内の色ノイズを直に低減することができない、という問題がある。

生ＣＦＡ画像に現れる輝度，色両ノイズへの対策をうたう手法もある。同じ位置に係る成分同士の組合せで色差成分を発生させる手法である。その色差成分は、明示的又は暗黙的に、Ｒ−ＧとＢ−Ｇの組合せ又はＲ−ＹとＢ−Ｙの組合せという形態を採る(Ｒ：レッド，Ｇ：グリーン，Ｂ：ブルー，Ｙ：輝度)。この種の手法の例としては、特許文献６(発明者：Ａｄａｍｓ Ｊｒ． ｅｔ ａｌ．，名称：「希薄分布ディジタル画像のノイズ除去」(Noise cleaning sparsely populated color digital images))、特許文献７(発明者：Ｍａｔｓｕｓｈｉｔａ ｅｔ ａｌ．，名称：「撮像装置、画像処理装置、画像処理方法、画像処理方法用プログラム、並びにその上に画像処理方法用プログラムが保存された記録媒体」(Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon))等に記載のものがある。ただ、これらの手法には、Ｒ−Ｇ等の色差値を容易に算出できる反面、その色差値にエッジ、テキスト詳細等の輝度情報が含まれることとなりやすい、という問題がある。これは、画像に含まれる輝度情報を劣化させることなく色情報をデノイズするのが難しい、ということである。より好適な輝度ー色変換としては、特許文献８(発明者：Ｍｉｙａｎｏ ｅｔ ａｌ．，名称：「自動白バランス調整装置」(Automatic white balance adjusting device))に記載のものがある。この変換によれば、情報処理難度を抑えつつ輝度情報・色情報間の分離度を高めることができる。

米国特許第６２２９５７８号明細書 米国特許第６６２５３２５号明細書 米国特許第７３６９１６５号明細書 米国特許第７４１８１３０号明細書 米国特許出願公開第２００９／０２１９４１７号明細書 米国特許出願公開第２００６／０１５２５９６号明細書 米国特許出願公開第２００９／００５２７９７号明細書 米国特許第５６４４３５８号明細書 米国特許出願公開第２００７／０２６８５３３号明細書 米国特許出願公開第２００５／００２５３７８号明細書 米国特許出願公開第２００５／０２７６５０４号明細書 米国特許出願公開第２００７／０１７７８１６号明細書

Perona et al., "Scale-space and edge detection using anisotropic diffusion", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, pp. 629-639, 1990 Tschumperle' et al., "Diffusion PDEs on vector-valued images", IEEE Signal Processing Magazine, Vol. 19, Issue 5, pp. 16-25, September 2002 Leonid I.Rudin et al., "Nonlinear total variation based noise removal algorithms," Elsevier Science Publishers B.V., Physica E.60 (1992) 259-268 Bakalexis S. A. et al., "Edge Detection And Image Segmentation on Nonlinear Anisotropic Diffusion," Digital Signal Processing 2002, IEEE, Vol.2, 1 July 2002, Pages 1203-1206

従って、明示的乃至暗黙的なデモザイク操作を行わずに生ＣＦＡ画像内の輝度情報及び色情報をデノイズする手段が求められているといえよう。

ここに、本発明の一実施形態に係る方法は、二次元感光素子アレイを有するディジタルイメージセンサで撮影されており、三種類以上の色成分を含み、且つ色成分別の画素複数個の配列で方形の最小反復単位が形成されるカラー画像に関し、その画像に含まれるノイズを低減する方法であって、
(a)注目している色成分用の画素それぞれの第１デノイズ後画素値を
(i)その色成分用の画素のうち注目している画素用の第１群局所エッジ反応荷重値を方位毎に算出するサブステップと、
(ii)その画素の画素値と同一色成分用近隣画素群の画素値との間に存する画素値差分を方位毎に算出するサブステップと、
(iii)その画素値差分に同方位の第１群局所エッジ反応荷重値を結合させることで都合複数通りの加重画素値差分を算出するサブステップと、
(iv)注目している画素の画素値にそれら加重画素値差分を結合させることでその画素の第１デノイズ後画素値を算出するサブステップと、
を含む第１デノイズ手順で求めるステップと、
(b)その色成分用の画素のうち第１デノイズ後画素値が求まった画素の第２デノイズ後画素値を
(i)その色成分用の画素のうち注目している画素用の第２群局所エッジ反応荷重値を方位毎に算出するサブステップと、
(ii)その画素に対する同一最小反復単位内の他色成分用画素，近隣最小反復単位内の他色成分用画素それぞれの画素値差分を示唆する色差値を方位毎に算出するサブステップと、
(iii)同一最小反復単位内の他色成分用画素に係る色差値と近隣最小反復単位内の他色成分用画素に係る色差値との間に存する色差値差分を方位毎に算出するサブステップと、
(iv)それら色差値差分に同方位の第２群局所エッジ反応荷重値を結合させることで加重色差値差分を都合複数通り算出するサブステップと、
(v)注目している画素の第１デノイズ後画素値にそれら加重色差値差分を結合させることで同画素の第２デノイズ後画素値を算出するサブステップと、
を含む第２デノイズ手順で求めるステップと、
を有し、これらステップ(a)及び(b)がプロセッサ上で実行されるものである。

本発明によれば、デノイズ処理の一部又は前処理としてＣＦＡ補間等のデモザイク操作を実行することなく、生ＣＦＡ画像に含まれる輝度，色差ノイズ双方を低減することができる。

本発明によれば、個々の画素位置でデノイズされる色成分の個数が通例と異なり複数ではなく単一であるため、生ＣＦＡ画像をデノイズするのに必要な情報処理能力を軽減することもできる。

これらを含め、本発明の諸実施形態、目的、構成及び効果については、発明を実施するための形態の欄並びに別紙特許請求の範囲及び図面の記載を参照することで、より平易且つ円滑に理解することができよう。

本発明の実施に適したディジタルカメラの典型例を示すブロック図である。 本発明の好適な実施形態を示すブロック図である。 本発明の第１実施形態に係るデノイズブロックの詳細を示すブロック図である。 本実施形態に係る単色デノイズブロックの詳細を示すブロック図である。 本実施形態に係るＣＦＡ色差デノイズブロックの詳細を示すブロック図である。 生ＣＦＡ画像内２×２画素ブロックを示す図である。 生ＣＦＡ画像のデノイズに使用される近隣画素群を示す図である。 本発明の第２実施形態を示すブロック図である。 本発明の第３実施形態を示すブロック図である。 図９に示した実施形態における第１第２画素値差分利用デノイズブロックの詳細を示すブロック図である。

以下、通例に倣いソフトウェアプログラムとして実施される場合を例に、本発明の好適な実施形態に関し説明する。なお、本件技術分野で習熟を積まれた方々(いわゆる当業者)には自明な通り、本発明は、そうしたソフトウェアプログラムと等価なハードウェアで実施することもできる。また、画像操作アルゴリズム及びシステムが周知なことを踏まえ、以下の説明では、本発明に係るシステム及び方法の構成要素又は直接連携要素といえるアルゴリズム及びシステムに的を絞ることとする。そうしたアルゴリズム及びシステムの構成要素のうち本願中で具体的に記述や示唆がされていないもの、例えば随伴する画像信号生成・処理用ハードウェア・ソフトウェアとしては、本件技術分野で既知となっている任意のシステム、アルゴリズム、部材及び部品を使用することができる。いわゆる当業者であれば、本発明に係るシステムについての以下の説明を参照し、本願中に具体的な開示、示唆乃至記述がないが本発明の実施に当たり有用なソフトウェアを発見又は開発することができよう。

更に、本発明に係る方法を実行するためのコンピュータプログラムは様々なコンピュータ可読記録媒体、例えば磁気ディスク(ハードディスクドライブやフロッピーディスク(登録商標))、磁気テープ等の磁気記録媒体や、光ディスク、光テープ、機械可読バーコード等の光記録媒体や、ランダムアクセスメモリ(ＲＡＭ)、リードオンリメモリ(ＲＯＭ)等の固体電子記録デバイスをはじめ、コンピュータプログラムの保存に使用される様々な有形デバイス乃至媒体に保存することができる。

そして、ディジタルカメラで使用される撮像デバイスや、それに関連する信号捕捉回路、信号補正回路、露光制御回路等が周知であることを踏まえ、以下の説明では、本発明に係る方法及び装置の構成要素又は直接連携要素といえる要素に的を絞ることとする。本願中に記述や示唆がされていない要素としては、本件技術分野で既知となっている任意のものを使用することができる。また、これから説明する構成要素のうち幾つかはソフトウェアの形態を採っている。いわゆる当業者であれば、本発明に係るシステムについての以下の説明を参照し、本願中に具体的な開示、示唆乃至記述がないが本発明の実施に当たり有用なソフトウェアを発見又は開発することができよう。

図１に、本発明の実施に適した撮像装置のブロック構成を示す。ここではその撮像装置としてディジタルカメラが例示されている。ディジタルカメラでの説明が可能であるからだが、本発明は他種撮像装置にも同様に適用可能である。まず、この図のカメラでは、物空間からの光１０が撮像段１１に入射し、そこにあるレンズ１２で合焦され、そして固体ＣＦＡイメージセンサ２０上に結像する。センサ２０は、その入射光を感光素子毎の電気信号に変換する。センサ２０に適するのは電荷結合デバイス(ＣＣＤ)タイプや能動画素センサ(ＡＰＳ)タイプのセンサである。ＡＰＳタイプのセンサは、相補的金属−酸化物−半導体(ＣＭＯＳ)プロセスで製造可能なことからＣＭＯＳセンサと呼ばれることも多い。他種二次元感光素子アレイに本発明に係るパターンを適用したものをセンサ２０として使用することも可能である。本発明の実施に適するセンサ２０、特にその二次元感光素子アレイについては、図１を参照しての説明が済んだ後にまた説明することにする。

固体ＣＦＡイメージセンサ２０に到達する光の量は、開口率を変化させるアイリスブロック１４や、光路上に配置された幾つかの中性濃度(ＮＤ)フィルタからなるＮＤフィルタブロック１３によって調節される。シャッタ１８の開放時間でも総光量を調節可能である。露光コントローラ４０は、これら三種類の光量調節部材を、輝度センサブロック１６で検知される物空間内光量に基づき制御する。

カメラの具体的構成に関するこうした記述はいわゆる当業者にとり異論のないところであろうし、変形・部材追加の余地が多々あるのも自明なことであろう。例えば、オートフォーカスシステムの追加、レンズの着脱自在化等である。また、他のどのようなディジタルカメラにも本発明を適用可能なこと、そこで同様の機能が他部材で実現されていてもよいこともご理解頂けよう。例えば、かなり簡略なポイントアンドシュート型のディジタルカメラのように、そのシャッタ１８で複雑な合焦面配置ではなく至極簡略な可動ブレードが用いられるディジタルカメラにも適用可能である。本発明は、携帯電話、自動車等、カメラ以外のデバイスに組み込まれた撮像部材を用い実施することもできる。

固体ＣＦＡイメージセンサ２０から出力されたアナログ信号は、アナログ信号プロセッサ２２により処理され、アナログディジタル(Ａ／Ｄ)コンバータ２４に送られる。タイミング発生器２６は種々のロー選択、画素選択用クロック信号を発生させ、アナログ信号プロセッサ２２やＡ／Ｄコンバータ２４の動作をそれに同期させる。これらセンサ２０、アナログ信号プロセッサ２２、Ａ／Ｄコンバータ２４及びタイミング発生器２６はイメージセンサ段２８に属する部材である。イメージセンサ段２８内諸部材は、互いに別の集積回路で実現することも、ＣＭＯＳイメージセンサでの通例に倣い単一集積回路化することも可能である。Ａ／Ｄコンバータ２４から出力される画像データストリームはＤＳＰメモリ３２上に格納され、ディジタル信号プロセッサ(ＤＳＰ)３６にて参照される。

そのＤＳＰ３６は、この例で３個使用されているコントローラ類(プロセッサを含む)のうち１個であり、システムコントローラ５０や露光コントローラ４０と任を分かち合っている。このように複数個のコントローラ類間でカメラ機能制御を分かち合うのが原則ではあるが、コントローラ類同士を他の諸形態で連携させつつカメラの機能的動作及び本発明の手順を滞りなく実行させることも可能である。コントローラ類として使用乃至併用できるデバイスとしては、ＤＳＰ、マイクロコントローラ、プログラマブル論理デバイスその他のディジタル論理回路がある。説明中ではコントローラ類複数個を併用しているが、単一のコントローラ類に所要機能全てを担わせることも可能である。これらの変形例がいずれも同一の機能を果たし本発明の技術的範囲に包含されることに鑑み、本願では、図１中の処理段３８の如く、その機能を一言で表現する語「処理段」を必要に応じ使用することにする。

図示例においては、ＤＳＰ３６がＤＳＰメモリ３２上のディジタル画像データを操作する際に実行するソフトウェアプログラムが、その恒久保存先のプログラムメモリ５４から、撮影時の実行に当たりＤＳＰメモリ３２上にコピーされるようになっている。ＤＳＰ３６で実行されるソフトウェアプログラムのなかには、後述する画像処理に必要なものが含まれる。ＤＳＰメモリ３２としては任意種類のＲＡＭ、例えばＳＤＲＡＭを使用することができる。バス３０上のアドレス信号伝送路及びデータ信号伝送路は、ＤＳＰ３６を対応するＤＳＰメモリ３２、Ａ／Ｄコンバータ２４その他の関連部材に接続するのに使用されている。

システムコントローラ５０がカメラ全体の動作を制御する際実行するソフトウェアプログラムは、プログラムメモリ５４、例えばフラッシュＥＥＰＲＯＭ等の不揮発性メモリ上に格納されている。そこには、カメラがオフしている間も残しておくべきデータ、例えばイメージセンサ校正データやユーザ設定データも格納することができる。システムコントローラ５０による撮影手順制御は、露光コントローラ４０に指令することでレンズ１２、ＮＤフィルタブロック１３、アイリスブロック１４及びシャッタ１８を前述の如く動作させ、タイミング発生器２６に指令することで固体ＣＦＡイメージセンサ２０及びそれに関連する部材を動作させ、ＤＳＰ３６に指令することで画像データを処理させる、といった具合に実行される。こうした撮影及び処理を通じ作成された最終的な画像ファイルは、ＤＳＰメモリ３２上に保存された後、ホストインタフェース５７経由でホストコンピュータに転送され、着脱式メモリカード６４等の記録デバイス上に格納され、また画像ディスプレイ８８を用いユーザ向けに表示される。

システムコントローラバス５２上のアドレス信号伝送路、データ信号伝送路及び制御信号伝送路は、システムコントローラ５０をＤＳＰ３６、プログラムメモリ５４、システムメモリ５６、ホストインタフェース５７、メモリカードインタフェース６０その他の関連部材に接続するのに使用されている。それらのうちホストインタフェース５７は、パーソナルコンピュータ(ＰＣ)等のホストコンピュータに対する高速接続用のものであり、画像データの表示、保存、操作乃至印刷に当たり活用される。その役を担いうるインタフェースの例としては、ＩＥＥＥ(登録商標)１３９４、ＵＳＢ２．０等その他のディジタルインタフェースを挙げることができる。メモリカードインタフェース６０は、メモリカードソケット６２に装着されたメモリカード６４、例えばコンパクトフラッシュ(ＣＦ：登録商標)カードを、システムコントローラ５０に接続するのに使用されている。他種記録媒体、例えばＰＣカード、マルチメディアカード(ＭＭＣ)、セキュアディジタル(ＳＤ)カード等も使用可能である。

処理が済んだ画像データは、システムメモリ５６内のディスプレイバッファ上にコピーされた後、ビデオエンコーダ８０によって連続的に読み出されビデオ信号に変換される。この信号は、カメラから直ちに外部モニタへ、或いはディスプレイコントローラ８２による処理を経て画像ディスプレイ８８へと供給され、画像表示に使用される。そのディスプレイ８８としては、能動マトリクス液晶ディスプレイ(ＬＣＤ)をはじめ、様々なディスプレイを使用可能である。

ユーザインタフェース６８、例えばビューファインダディスプレイ７０、露光状態表示部７２、ステータス表示部７６、画像ディスプレイ８８、ユーザ入力子７４等の部材は、露光コントローラ４０やシステムコントローラ５０で実行されるソフトウェアプログラムに従い制御される。入力子７４としては、ボタン、ロッカスイッチ、ジョイスティック、ロータリダイアル、タッチスクリーン等を適宜併用すればよい。露光コントローラ４０は、光量計測、露光モード制御、オートフォーカスその他、露光に関連する諸機能を提供する。システムコントローラ５０は、グラフィカルユーザインタフェース(ＧＵＩ)を、画像ディスプレイ８８をはじめ幾台かのディスプレイ上に発現させる。そのＧＵＩ上では、例えば、幾通りかの選択肢を提示するメニューや、撮影済画像をチェック可能な閲覧モードが提供される。

露光コントローラ４０は、ユーザによる露光モード、レンズ開口率、露光時間(シャッタ速度)及び露光指数(ＩＳＯ(登録商標：以下注記省略)速度レーティング)の設定を受け付け、それに従いレンズ１２やシャッタ１８に指令し以後の撮影に備える。例えばマニュアル露光モード下では、輝度センサブロック１６で検知される物空間内輝度に基づきビューファインダディスプレイ７０上に露光計を表示させる。ユーザは、その露光計表示を見て露光がどの程度過剰・不足かを確かめつつ、ＩＳＯ速度レーティング、開口率及びシャッタ速度の設定を変更することができる。また、自動露光モード下では、コントローラ４０がユーザによる設定変更に応じ他の諸設定を自動修正して露光を適正化させる。例えば、ユーザが所与ＩＳＯ速度レーティング下でレンズ開口率を低下させると、コントローラ４０がそれに応じ露光時間を自動延長して露光量の帳尻を合わせる。

ＩＳＯ速度レーティングはディジタルスチルカメラにとり重要な属性の一つである。まず、ディジタルスチルカメラでは露光時間、レンズ開口率、レンズ透過率、物空間内照明レベル、物空間内スペクトル分布及び物空間内反射率で露光量が決定づけられる。撮影時の露光が不足だと、一般にはそのディジタルスチルカメラ内で電子利得乃至ディジタル利得が上昇し、階調再現は正確だがノイズ量が許し難いほど多い画像になってしまいがちである。撮影時の露光が適正ならば、利得がより低めになるため画像内ノイズ量が許容範囲内に収まる。撮影時の露光が過剰だと、画像中の高輝度領域での信号レベルが、そのイメージセンサ乃至カメラで処理可能な最大信号レベルよりも高くなることがある。その場合、画像中の明るい領域で打ち切りが生じ、画像の他領域に囲まれた均一輝度領域即ち「飛び」が発生する。従って、露光が適正設定されるようユーザを誘導することが重要である。その際の指針として役立つのがＩＳＯ速度レーティングである。撮影者にとりわかりやすい指針にするため、ディジタルスチルカメラ向けのＩＳＯ速度レーティングはフィルム式カメラ向けのそれと直に関連付けられている。例えば、そのＩＳＯ速度レーティングがいずれも２００なら、ディジタルスチルカメラでもフィルム式カメラでも同じ露光時間及び開口率が最適となる。

これは、ＩＳＯ速度レーティングに関しフィルム式カメラとの調和が求められる、ということである。しかしながら、電子式撮像システムとフィルム式撮像システムの間には、厳密に対等な扱いを妨げる相違点がある。ディジタルスチルカメラの利得が可変で、しかも撮影済画像のデータに対するディジタル処理が可能であるため、様々な露光量下で階調を再現できることである。即ち、ディジタルスチルカメラ向けのＩＳＯ速度レーティングには幅を持たせることができる。この幅のことをＩＳＯ速度幅と呼ぶ。混乱を避けるため、ＩＳＯ速度幅の上限と下限で挟まれた速度範囲内にある速度のうち一つを固有ＩＳＯ速度レーティング、同速度範囲内にあるそれ以外の様々な速度を実効ＩＳＯ速度レーティングと呼んでいる。固有ＩＳＯ速度レーティングの値は、このことを念頭に置き、そのカメラの出力信号特性が所定特性になるようディジタルカメラの合焦面で発生させた露光量から算出される。一般的には、そのカメラでありふれた諸場面を捉えたときの画質がピークになる露光指数値で表され、イメージセンサ上での露光量に反比例している。

ディジタルカメラに関するこうした記述はいわゆる当業者にとり異論のないところであろうし、上述した構成のカメラにコスト低減、構成追加及び性能向上を目的とした変形の余地が多々あることも自明なことであろう。以下の説明では、本発明に従いこのカメラで撮影を行う際の動作について詳細に述べることにする。ディジタルカメラを念頭に置いて説明を行うけれども、そのイメージセンサ上に色成分別の画素群がある撮像装置であればその種類を問わず本発明を適用できることを了解されたい。

また、図１に示した固体ＣＦＡイメージセンサ２０では、通例に倣い、シリコン基板上に形成された二次元感光素子アレイが、個々の感光素子への入射光を電気信号に変換して計測に供する手段として使用されている。こうしたセンサ２０に光を入射させると、入射先の感光素子で自由電子が発生し、その素子に備わる微視的構造内にその自由電子が捕獲される。所定期間内に捕獲された自由電子の個数を計測するか、自由電子の発生速度を計測することで、その感光素子への入射光量を計測することができる。前者の例としては、捕獲した自由電子を蓄積しシフト操作で感光素子アレイ外の電荷電圧変換回路へと送るＣＣＤセンサや、電荷電圧変換回路の構成要素を感光素子近傍領域に配した能動画素センサ例えばＡＰＳ乃至ＣＭＯＳセンサがある。

特に断りのない限り、以下の説明におけるイメージセンサは図１に示した固体ＣＦＡイメージセンサ２０のことであるので、その点を了解されたい。また、以下の説明で例示的又は示唆的に示す本発明のイメージセンサアーキテクチャ及び画素パターンはいずれもセンサ２０におけるそれであるので、その点も了解されたい。

そして、「感光素子」とはイメージセンサ上に設けられた個別的な感光領域及びそれと連携する電荷シフト回路乃至電荷計測回路のことである。「画素」とはディジタルカラー画像上で相応の位置を占める個別の発色単位のことである。

図２に、本発明の好適な実施形態に係る手順のあらましを示す。生ＣＦＡ画像１００は図１中の固体ＣＦＡイメージセンサ２０で生成されたものであり、デノイズ後ＣＦＡ画像１０４はその画像１００をデノイズブロック１０２で処理して発生させたものである。

図３に、図２中のデノイズブロック１０２に関し本発明の第１実施形態に係る構成の詳細を示す。単色デノイズブロック１０６は生ＣＦＡ画像１００に基づき第１デノイズ後ＣＦＡ画像１０８を発生させ、ＣＦＡ色差デノイズブロック１１０はその画像１０８を更に処理して第２デノイズ後ＣＦＡ画像１１２を発生させる。その画像１１２がデノイズ後ＣＦＡ画像１０４となる。

図４に、図３に示した単色デノイズブロック１０６の詳細を示す。画素値差分算出ブロック１１４は生ＣＦＡ画像１００に基づき画素値差分１１６を算出し、局所エッジ反応荷重値算出ブロック１１８は画素値差分１１６に基づき局所エッジ反応荷重値１２０を算出し、加重画素値差分算出ブロック１２２は荷重値１２０に基づき加重画素値差分１２４を算出し、そして第１デノイズ後画素値算出ブロック１２６は加重画素値差分１２４に基づき第１デノイズ後ＣＦＡ画像１０８を発生させる。

図４中の画素値差分算出ブロック１１４は次の要領で計算を行う。まず、図７に示すようにある生ＣＦＡ画像１００内画素群を想定し、そのうちの画素Ｇ_Eをデノイズ対象として想定する。次いで、画素値差分１１６を次の式
δ_N＝Ｇ₂−Ｇ_E (１)
δ_S＝Ｇ_R−Ｇ_E (２)
δ_E＝Ｇ_G−Ｇ_E (３)
δ_W＝Ｇ_C−Ｇ_E (４)
に従い四通り算出する。これらの画素値差分δ_N，δ_S，δ_E，δ_Wは、順に、デノイズ対象画素Ｇ_Eと、その画素Ｇ_Eから見て上下右左四通りの各方向、即ち北南東西(Ｎ，Ｓ，Ｅ，西)四通りの各方位にある同色の最近隣画素Ｇ₂，Ｇ_R，Ｇ_G，Ｇ_Cと、の間で求めた画素値の差分である。

画素値差分１１６が求まったら、局所エッジ反応荷重値算出ブロック１１８が局所エッジ反応荷重値１２０を算出する。その算出は次の式
ｃ＝１／[１＋(||δ||／ｋ_Y)²] (５)
但しｃ：局所エッジ反応荷重値１２０
δ：画素値差分１１６
ｋ_Y：定数
||・||：ベクトルノルム演算子
に従い実行する。ここでは、差分１１６の絶対値を求める演算子をベクトルノルム演算子として使用している。更に、定数ｋ_Yとしては、差分１１６の絶対値が大きい画素(生ＣＦＡ画像１００内の強い可視エッジに対応する画素)では荷重値１２０が小さくなり、小さい画素(同画像１００内の平板単調な領域に対応する画素)では大きくなるような値を使用している。差分１１６が前掲の通り四通りあるので、荷重値１２０も次の式
ｃ_N＝１／[１＋(|Ｇ₂ーＧ_E|／ｋ_Y)²] (６)
ｃ_S＝１／[１＋(|Ｇ_RーＧ_E|／ｋ_Y)²] (７)
ｃ_E＝１／[１＋(|Ｇ_GーＧ_E|／ｋ_Y)²] (８)
ｃ_W＝１／[１＋(|Ｇ_CーＧ_E|／ｋ_Y)²] (９)
の如く四通り求まる。

次いで、加重画素値差分１２４を画素値差分１１６及び局所エッジ反応荷重値１２０に基づき且つ次の式
ｗ＝δ・ｃ (１０)
但しｗ：加重画素値差分１２４
δ：画素値差分１１６
ｃ：局所エッジ反応荷重値１２０
に従い算出する。もとになる値が前掲の如く四通りあるので、加重画素値差分１２４も次の式
ｗ_N＝δ_N・ｃ_N＝(Ｇ₂ーＧ_E)／[１＋(|Ｇ₂ーＧ_E|／ｋ_Y)²] (１１)
ｗ_S＝δ_S・ｃ_S＝(Ｇ_RーＧ_E)／[１＋(|Ｇ_RーＧ_E|／ｋ_Y)²] (１２)
ｗ_E＝δ_E・ｃ_E＝(Ｇ_GーＧ_E)／[１＋(|Ｇ_GーＧ_E|／ｋ_Y)²] (１３)
ｗ_W＝δ_W・ｃ_W＝(Ｇ_CーＧ_E)／[１＋(|Ｇ_CーＧ_E|／ｋ_Y)²] (１４)
の如く四通り求まる。

そして、第１デノイズ後ＣＦＡ画像１０８内画素値を次の式
Ｘ’＝Ｘ＋λΣ_iｗ_i (１５)
但しＸ’：第１デノイズ後ＣＦＡ画像１０８内画素値(図３参照)
Ｘ：生ＣＦＡ画像１００内原画素値(図２参照)
λ：速度制御定数
ｗ_i：第ｉ方位(ｉ＝Ｎ，Ｓ，Ｅ，Ｗ)沿いの加重画素値差分１２４
Σ_i：全ての方位ｉに亘る総和
に従い算出する。定数λは、原則として、後述の如くデノイズ計算を反復した場合でもこの式による算出結果が安定且つ有効になるよう１未満の値に設定される。もとになる値が前掲の如く四通りあるので、画像１０８内画素Ｇ’_Eの画素値は所与画素Ｇ_Eの画素値から次の式
Ｇ’_E＝Ｇ_E＋(ｗ_N＋ｗ_S＋ｗ_E＋ｗ_W)／１６ (１６)
但しλ＝１／１６
の如く求まる。

なお、以上説明したのは図７中の画素Ｇ_Eをデノイズ対象にした計算の要領である。第１デノイズ後ＣＦＡ画像１０８の生成に際しては、これと同じ要領での計算を画素毎に実行する。個々の画素に係る画素値差分１１６及び局所エッジ反応荷重値１２０の算出に当たっては、処理すべき注目中の画素から見て互いに異なる方位にある同色の近隣画素を参照する。例えば、画素Ｒ_Fに係るデノイズ後画素値の算出では画素Ｒ₃，Ｒ_D，Ｒ_H，Ｒ_S、画素Ｂ_Kに係るそれの算出では画素Ｂ₈，Ｂ_I，Ｂ_M，Ｂ_Xを参照する。

本発明は、複数の色を参照するタイプのベクトルノルム演算子を局所エッジ反応荷重値算出ブロック１１８で使用する形態でも実施可能である。例えば、次の式
Ｃ_N＝１／[１＋[(|Ｒ₃−Ｒ_F|＋|Ｇ₂−Ｇ_E|＋|Ｂ₈−Ｂ_K|)／ｋ_Y]²] (１７)
Ｃ_S＝１／[１＋[(|Ｒ_S−Ｒ_F|＋|Ｇ_R−Ｇ_E|＋|Ｂ_X−Ｂ_K|)／ｋ_Y]²] (１８)
Ｃ_E＝１／[１＋[(|Ｒ_H−Ｒ_F|＋|Ｇ_G−Ｇ_E|＋|Ｂ_M−Ｂ_K|)／ｋ_Y]²] (１９)
Ｃ_W＝１／[１＋[(|Ｒ_D−Ｒ_F|＋|Ｇ_C−Ｇ_E|＋|Ｂ_I−Ｂ_K|)／ｋ_Y]²] (２０)
に示す如く、隣り合う画素間の画素値差分を求め、その絶対値を総和する計算を通じ、ベクトルノルムを求める形態である。いわゆる当業者にとり周知な他の複数色参照型ベクトルノルム演算子を用いてもかまわない。

本発明は、単色デノイズブロック１０６での計算を反復的に複数回実行する形態でも実施することができる。例えば、このブロック１０６での計算を３回反復して第１デノイズ後ＣＦＡ画像１０８を生成する形態である。速度制御定数λは、適正にデノイズされた画像１０８が得られるよう、その反復の回数に応じて調節するのが望ましい。

図５に、図３に示したＣＦＡ色差デノイズブロック１１０の詳細を示す。色差値算出ブロック１２８は第１デノイズ後ＣＦＡ画像１０８に基づき色差値１３０を算出し、色差値差分算出ブロック１３２は色差値１３０に基づき色差値差分１３４を算出し、局所色差値エッジ反応荷重値算出ブロック１３６は色差値差分１３４に基づき局所色差値エッジ反応荷重値１３８を算出し、加重色差値差分算出ブロック１４０は荷重値１３８に基づき加重色差値差分１４２を算出し、そして第２デノイズ後画素値算出ブロック１４４は加重色差値差分１４２に基づき第２デノイズ後ＣＦＡ画像１１２を発生させる。

図５中の色差値算出ブロック１２８は次の要領で計算を行う。まず、図６中の２×２画素ブロック１４６即ち生ＣＦＡ画像１００内最小反復単位を、その中心点１４８に所在しブロック１４６内画素それぞれの画素値を併有する単体の画素と見なす。次いで、図７に示した画素群にこの着想を適用し、グリーン画素及びレッド画素からなるロー上のグリーン画素例えばＧ_Eに係る色差値を次の式
Ｃ_E＝２Ｇ_EーＲ_F−Ｂ_K (２１)
に従い算出する。グリーン画素及びブルー画素からなるロー上のグリーン画素についても同様の式を使用する。例えば、グリーン画素Ｇ_Lに係る色差値を次の式
Ｃ_L＝２Ｇ_L−Ｒ_S−Ｂ_M (２２)
に従い算出する。ブルー画素例えばＢ_Kに係る色差値については次の式
Ｃ_K＝Ｂ_K−Ｒ_F (２３)
に従い算出する。そして、レッド画素例えばＲ_Fに係る色差値については上の式中のレッド画素値とブルー画素値を入れ替えた式
Ｃ_F＝Ｒ_F−Ｂ_A (２４)
に従い算出する。

色差値差分算出ブロック１３２は色差値差分１３４を次の要領で算出する。即ち、図７に示した画素Ｇ_Eに係る差分１３４を次の式
δ_N＝Ｃ₂−Ｃ_E＝(２Ｇ₂−Ｒ₃−Ｂ₈)−(２Ｇ_E−Ｒ_F−Ｂ_K) (２５)
δ_S＝Ｃ_R−Ｃ_E＝(２Ｇ_R−Ｒ_S−Ｂ_X)−(２Ｇ_E−Ｒ_F−Ｂ_K) (２６)
δ_E＝Ｃ_G−Ｃ_E＝(２Ｇ_G−Ｒ_H−Ｂ_M)−(２Ｇ_E−Ｒ_F−Ｂ_K) (２７)
δ_W＝Ｃ_C−Ｃ_E＝(２Ｇ_C−Ｒ_D−Ｂ_I)−(２Ｇ_E−Ｒ_F−Ｂ_K) (２８)
に従い算出し、画素Ｂ_Kに係る差分１３４を次の式
δ_N＝Ｃ₈−Ｃ_K＝(Ｂ₈−Ｒ₃)−(Ｂ_K−Ｒ_F) (２９)
δ_S＝Ｃ_X−Ｃ_K＝(Ｂ_X−Ｒ_S)−(Ｂ_K−Ｒ_F) (３０)
δ_E＝Ｃ_M−Ｃ_K＝(Ｂ_M−Ｒ_H)−(Ｂ_K−Ｒ_F) (３１)
δ_W＝Ｃ_I−Ｃ_K＝(Ｂ_I−Ｒ_D)−(Ｂ_K−Ｒ_F) (３２)
に従い算出し、そして画素Ｒ_Fに係る差分１３４を上の式中のレッド画素値とブルー画素値を入れ替えた式に従い算出する。

局所色差値エッジ反応荷重値算出ブロック１３６は局所色差値エッジ反応荷重値１３８を次の式
ｃ＝１／[１＋(||δ||／ｋ_C)²] (３３)
但しｃ：局所色差値エッジ反応荷重値１３８
δ：色差値差分１３４
ｋ_C：定数
||・||：ベクトルノルム演算子
に従い算出する。ここでは差分１３４の絶対値を求める演算子をベクトルノルム演算子として使用している。定数ｋ_Cとしては、差分１３４の絶対値が大きい画素(第１デノイズ後ＣＦＡ画像１０８内の強い可視エッジに対応する画素)では荷重値１３８が小さくなり、小さい画素(同画像１０８内の平板単調な領域に対応する画素)では大きくなるような値を使用するものとする。画素Ｇ_Eに係る差分１３４が前掲の通り四通りあるので、荷重値１３８は次の式
ｃ_N＝１／[１＋(|Ｃ₂−Ｃ_E|／ｋ_C)²] (３４)
ｃ_S＝１／[１＋(|Ｃ_R−Ｃ_E|／ｋ_C)²] (３５)
ｃ_E＝１／[１＋(|Ｃ_G−Ｃ_E|／ｋ_C)²] (３６)
ｃ_W＝１／[１＋(|Ｃ_C−Ｃ_E|／ｋ_C)²] (３７)
の如く四通り求まる。画素Ｂ_Kに関しては荷重値１３８が次の式
ｃ_N＝１／[１＋(|Ｃ₈−Ｃ_K|／ｋ_C)²] (３８)
ｃ_S＝１／[１＋(|Ｃ_X−Ｃ_K|／ｋ_C)²] (３９)
ｃ_E＝１／[１＋(|Ｃ_M−Ｃ_K|／ｋ_C)²] (４０)
ｃ_W＝１／[１＋(|Ｃ_I−Ｃ_K|／ｋ_C)²] (４１)
求まり、画素Ｒ_Fに関してもこれと同じ要領で荷重値１３８が求まる。

加重色差値差分算出ブロック１４０は加重色差値差分１４２を次の式
ｗ＝δ・ｃ (４２)
但しｗ：加重色差値差分１４２
δ：色差値差分１３４
ｃ：局所色差値エッジ反応荷重値１３８
に従い算出する。もとになる値が前掲の如く四通りあるので、画素Ｇ_Eに係る加重色差値差分１４２は次の式
ｗ_N＝δ_N・ｃ_N＝(Ｃ₂ーＣ_E)／[１＋(|Ｃ₂ーＣ_E|／ｋ_C)²] (４３)
ｗ_S＝δ_S・ｃ_S＝(Ｃ_RーＣ_E)／[１＋(|Ｃ_RーＣ_E|／ｋ_C)²] (４４)
ｗ_E＝δ_E・ｃ_E＝(Ｃ_GーＣ_E)／[１＋(|Ｃ_GーＣ_E|／ｋ_C)²] (４５)
ｗ_W＝δ_W・ｃ_W＝(Ｃ_CーＣ_E)／[１＋(|Ｃ_CーＣ_E|／ｋ_C)²] (４６)
の如く四通り求まる。画素Ｂ_Kに係る加重色差値差分１４２は次の式
ｗ_N＝δ_N・ｃ_N＝(Ｃ₈ーＣ_K)／[１＋(|Ｃ₈ーＣ_K|／ｋ_C)²] (４７)
ｗ_S＝δ_S・ｃ_S＝(Ｃ_XーＣ_K)／[１＋(|Ｃ_XーＣ_K|／ｋ_C)²] (４８)
ｗ_E＝δ_E・ｃ_E＝(Ｃ_MーＣ_K)／[１＋(|Ｃ_MーＣ_K|／ｋ_C)²] (４９)
ｗ_W＝δ_W・ｃ_W＝(Ｃ_IーＣ_K)／[１＋(|Ｃ_IーＣ_K|／ｋ_C)²] (５０)
の如く求まり、画素Ｒ_Fに係る加重色差値差分１４２もこれと同じ要領で求まる。

そして、第２デノイズ後画素値算出ブロック１４４は、第１デノイズ後ＣＦＡ画像１０８内画素値及び加重色差値差分１４２に基づき且つ係る次の式
Ｘ’＝Ｘ＋λΣ_iｗ_i (５１)
但しＸ’：第２デノイズ後ＣＦＡ画像１１２内画素値
Ｘ：第１デノイズ後ＣＦＡ画像１０８内画素値
λ：速度制御定数
ｗ_i：第ｉ方位(ｉ＝Ｎ，Ｓ，Ｅ，Ｗ)沿い加重色差値差分１４２
Σ_i：全ての方位ｉに亘る総和
に従い第２デノイズ後ＣＦＡ画像１１２を発生させる。定数λは、原則として、後述の如くデノイズ計算を反復した場合でもこの式による算出結果が安定且つ有効になるよう１未満の値に設定される。もとになる値が前掲の如く四通りあるので、グリーン画素Ｇ_Eに係る画像１１２内画素値は次の式
Ｇ’_E＝Ｇ_E＋(ｗ_N＋ｗ_S＋ｗ_E＋ｗ_W)／３２ (５２)
但しλ＝１／３２
の如く求まる。画素Ｂ_Kに係る画像１１２内画素値は次の式
Ｂ’_K＝Ｂ_K＋(ｗ_N＋ｗ_S＋ｗ_E＋ｗ_W)／１６ (５３)
但しλ＝１／１６
で求まり、画素Ｒ_Fに係る画像１１２内画素値も画素Ｂ_Kに係るそれと同じ要領で求まる。

本発明は、複数通りの色差値差分を参照するタイプのベクトルノルム演算子を局所色差値エッジ反応荷重値算出ブロック１３６で使用する形態でも実施することができる。例えば、次の式
Ｃ_N＝１／[１＋[(|Ｃ₂−Ｃ_E|＋|Ｃ₈−Ｃ_K|)／ｋ_C]²] (５４)
Ｃ_S＝１／[１＋[(|Ｃ_R−Ｃ_E|＋|Ｃ_X−Ｃ_K|)／ｋ_C]²] (５５)
Ｃ_E＝１／[１＋[(|Ｃ_G−Ｃ_E|＋|Ｃ_M−Ｃ_K|)／ｋ_C]²] (５６)
Ｃ_W＝１／[１＋[(|Ｃ_C−Ｃ_E|＋|Ｃ_I−Ｃ_K|)／ｋ_C]²] (５７)
に示す如く、隣り合う色差値差分間の差分を求め、その絶対値を総和する計算を通じ、ベクトルノルムを求める形態である。こうして求まる局所色差値エッジ反応荷重値は、複数通りの色成分に係る第２デノイズ後ＣＦＡ画像内画素値の算出、例えば画素Ｇ_E及びＢ_Kに係る算出に使用することができる。いわゆる当業者にとり周知となっている他の複数色差値差分参照型ベクトルノルム演算子を用いてもかまわない。

また、以上説明したのはＣＦＡ色差デノイズブロック１１０の適用１回分の計算である。本発明は、このブロック１１０での計算を反復的に複数回実行する形態でも実施することができる。例えば、ブロック１１０での計算を３回反復して第２デノイズ後ＣＦＡ画像１１２を生成する形態である。速度制御定数λは、適正にデノイズされた画像１１２が得られるよう、その反復の回数に応じて調節するのが望ましい。

図８に、図２中のデノイズブロック１０２に関し本発明の第２実施形態に係る構成を示す。図３に示した実施形態との違いは、ＣＦＡ色差デノイズブロック１５０が単色デノイズブロック１５４より前にあることである。ＣＦＡ色差デノイズブロック１５０は生ＣＦＡ画像１００に基づき第１デノイズ後ＣＦＡ画像１５２を発生させ、単色デノイズブロック１５４はその画像１５２に基づき第２デノイズ後ＣＦＡ画像１５６を発生させる。その画像１５６がデノイズ後ＣＦＡ画像１０４となる。ＣＦＡ色差デノイズブロック１５０での計算は図３に示したＣＦＡ色差デノイズブロック１１０でのそれ、単色デノイズブロック１５４での計算は図３に示した単色デノイズブロック１０６でのそれと同様である。

図９に、図２中のデノイズブロック１０２に関し本発明の第３実施形態に係る構成を示す。図３や図８に示した実施形態との違いは、デノイズブロック１０２内で実行されるデノイズ手順が二分割されておらず、第１第２画素値差分利用デノイズブロック１５８にて単色デノイズ及び色差デノイズが同時に実行されることである。

図１０に、図９に示した第１第２画素値差分利用デノイズブロック１５８で二種類の色成分(第１及び第２色成分)に関し実行される手順の詳細を示す。第１色成分の画素については、それぞれ、第１画素値差分算出ブロック１６０が生ＣＦＡ画像１００に基づき第１画素値差分１６２を算出し、局所エッジ反応荷重値算出ブロック１６４が画素値差分１６２に基づき局所エッジ反応荷重値１６６を算出し、第１加重画素値差分算出ブロック１６８が荷重値１６６及び画素値差分１６２に基づき第１加重画素値差分１７０を算出する。第２色成分の画素については、それぞれ、第２画素値差分算出ブロック１７２が生ＣＦＡ画像１００に基づき第２画素値差分１７４を算出し、第２加重画素値差分算出ブロック１７６が局所エッジ反応荷重値１６６及び画素値差分１７４に基づき第２加重画素値差分１７８を算出する。そして、デノイズ後画素値算出ブロック１８０は加重画素値差分１７０及び１７８に基づき第１デノイズ後ＣＦＡ画像１０８を発生させる。

図１０中の第１画素値差分算出ブロック１６０は次の要領で計算を行う。まず、図７に示すように図２に示した生ＣＦＡ画像１００内のある画素群を想定し、更にそのうちの画素Ｇ_Eをデノイズ対象として想定する。次いで、第１画素値差分を次の式
δ_N＝Ｇ₂−Ｇ_E (５８)
δ_S＝Ｇ_R−Ｇ_E (５９)
δ_E＝Ｇ_G−Ｇ_E (６０)
δ_W＝Ｇ_C−Ｇ_E (６１)
に従い算出する。デノイズ対象画素Ｇ_Eと同色の最近隣画素がＧ₂，Ｇ_R，Ｇ_G，Ｇ_Cの４個あるので、それらの間の差分たる第１画素値差分は都合四通り求まる。

第１画素値差分１６２が算出されたら、局所エッジ反応荷重値算出ブロック１６４が局所エッジ反応荷重値１６６を算出する。その算出は次の式
ｃ＝１／[１＋(||δ||／ｋ_Y)²] (６２)
但しｃ：局所エッジ反応荷重値１６６
δ：第１画素値差分１６２
ｋ_Y：定数
||・||：ベクトルノルム演算子
に従い行う。ここでは、差分１６２の絶対値を求める演算子をベクトルノルム演算子として使用している。また、定数ｋ_Yとしては、差分１６２の絶対値が大きい画素(生ＣＦＡ画像１００内の強い可視エッジに対応する画素)では荷重値１６６が小さくなり、小さい画素(同画像１００内の平板単調な領域に対応する画素)では大きくなるような値を使用している。差分１６２の値が前掲の如く四通りあるので、荷重値１６６は次の式
ｃ_N＝１／[１＋(|Ｇ₂ーＧ_E|／ｋ_Y)²] (６３)
ｃ_S＝１／[１＋(|Ｇ_RーＧ_E|／ｋ_Y)²] (６４)
ｃ_E＝１／[１＋(|Ｇ_GーＧ_E|／ｋ_Y)²] (６５)
ｃ_W＝１／[１＋(|Ｇ_CーＧ_E|／ｋ_Y)²] (６６)
に従い四通り求まる。

次いで、第１加重画素値差分１７０を第１画素値差分１６２及び局所エッジ反応荷重値１６６に基づき且つ次の式
ｗ＝δ・ｃ (６７)
但しｗ：第１加重画素値差分１７０
δ：第１画素値差分１６２
ｃ：局所エッジ反応荷重値１６６
に従い算出する。もとになる値が前掲の如く四通りあるので、加重画素値差分１７０は次の式
ｗ_N＝δ_N・ｃ_N＝(Ｇ₂ーＧ_E)／[１＋(|Ｇ₂ーＧ_E|／ｋ_Y)²] (６８)
ｗ_S＝δ_S・ｃ_S＝(Ｇ_RーＧ_E)／[１＋(|Ｇ_RーＧ_E|／ｋ_Y)²] (６９)
ｗ_E＝δ_E・ｃ_E＝(Ｇ_GーＧ_E)／[１＋(|Ｇ_GーＧ_E|／ｋ_Y)²] (７０)
ｗ_W＝δ_W・ｃ_W＝(Ｇ_CーＧ_E)／[１＋(|Ｇ_CーＧ_E|／ｋ_Y)²] (７１)
に従い四通り求まる。

他方、第２画素値差分算出ブロック１７２は第２画素値差分１７４を次の式
Ｄ_N＝Ｂ₈−Ｂ_K (７２)
Ｄ_S＝Ｂ_X−Ｂ_K (７３)
Ｄ_E＝Ｒ_H−Ｒ_F (７４)
Ｄ_W＝Ｒ_D−Ｒ_F (７５)
に従い算出する。画素値差分１７４は、デノイズ対象画素(例．グリーン画素Ｇ_E)と異なる色成分に係る画素のうちＣＦＡ内最小反復単位(例．図６中の２×２画素ブロック１４６)内でデノイズ対象画素の最近隣にある画素(例．非グリーン画素Ｂ_K及びＲ_F)の画素値と、それらの画素(例．非グリーン画素Ｂ_K及びＲ_F)と同じ色成分に係る画素のうち最近隣にある四個の画素(例．ブルー画素Ｂ_Kに対しては画素Ｂ₈及びＢ_X；レッド画素Ｒ_Fに対してはレッド画素Ｒ_H及びＲ_D)の画素値と、の間の差分であるので、都合四通り求まる。

次いで、第２加重画素値差分１７８を第２画素値差分１７４及び局所エッジ反応荷重値１６６に基づき且つ次の式
ｕ＝Ｄ・ｃ (７６)
但しｕ：第２加重画素値差分１７８
Ｄ：第２画素値差分１７４
ｃ：局所エッジ反応荷重値１６６
に従い算出する。もとになる値が前掲の如く四通りあるので、加重画素値差分１７８は次の式
ｕ_N＝Ｄ_N・ｃ_N＝(Ｂ₈−Ｂ_K)／[１＋(|Ｇ₂ーＧ_E|／ｋ_Y)²] (７７)
ｕ_S＝Ｄ_S・ｃ_S＝(Ｂ_X−Ｂ_K)／[１＋(|Ｇ_RーＧ_E|／ｋ_Y)²] (７８)
ｕ_E＝Ｄ_E・ｃ_E＝(Ｒ_H−Ｒ_F)／[１＋(|Ｇ_GーＧ_E|／ｋ_Y)²] (７９)
ｕ_W＝Ｄ_W・ｃ_W＝(Ｒ_D−Ｒ_F)／[１＋(|Ｇ_CーＧ_E|／ｋ_Y)²] (８０)
に従い求まる。

そして、デノイズ後画素値算出ブロック１８０が次の計算
Ｘ’＝Ｘ＋λΣ_i[ｗ_i＋(ｗ_i−ｕ_i)] (８１)
但しＸ’：デノイズ後ＣＦＡ画像１０４内デノイズ後画素値
Ｘ：生ＣＦＡ画像１００内原画素値
λ：速度制御定数
ｗ_i：第ｉ方位(ｉ＝Ｎ，Ｓ，Ｅ，Ｗ)沿い第１加重画素値差分１７０
ｕ_i：第ｉ方位(ｉ＝Ｎ，Ｓ，Ｅ，Ｗ)沿い第２加重画素値差分１７８
Σ_i：全ての方位ｉに亘る総和
を実行する。総和演算子内の第１項ｗ_iには単色ノイズ低減作用があるが、他色成分由来の情報が含まれないため色差ノイズ低減作用は期待できない。項ｗ_i−ｕ_iの追加は、得られる画像１０４にて第１・第２画素値差分間の差がなくなるよう解Ｘ’を制約することと等価である。もとの画像１００にて第１・第２画素値差分間にほとんど差がない場合は、その画像１０４は色差ノイズが少ない画像となる。従って、この項ｗ_i−ｕ_iの追加で、単色ノイズ，色差ノイズ双方を同時に低減することができる。

なお、以上説明したのは図７中の画素Ｇ_Eをデノイズ対象とした計算の要領である。いずれの画素、いずれの色成分についても画素値は同じ要領で処理される。また、本発明は、複数の色成分を参照するタイプのベクトルノルム演算子を局所エッジ反応荷重値算出ブロック１６４で使用する形態でも実施することができる。以上の説明では第１第２画素値差分利用デノイズブロック１５８の適用が１回に留まっていた。本発明は、このブロック１５８での計算を反復的に複数回実行する形態でも実施することができる。速度制御定数λは、適正なデノイズ後ＣＦＡ画像が得られるよう、その反復の回数に応じて調節するのが望ましい。

本発明の好適な実施形態との関連で説明したデノイズ後ＣＦＡ画像生成アルゴリズムは、様々な使用状況乃至環境にて採用可能である。そうした状況乃至環境の例としては、カメラ内処理(画像のセンサ使用読取、ディジタル処理並びに処理後媒体内ディジタル保存)、専門工場内ディジタル写真プリント(工場内設備でのデータ受信、ディジタル処理、ディジタル印刷等の処理工程乃至段階を含む)、店舗内ディジタル写真プリント(店舗内設備での画像データ受信、ディジタル処理及びディジタル印刷)、家庭内印刷(画像データの入力、ディジタル処理及び家庭内プリンタでの印刷)、デスクトップソフトウェア(改善乃至改変用のアルゴリズムを画像データに適用するソフトウェア)、ディジタル設備(画像データの媒体経由入力、ウェブ経由受信、ディジタル処理、媒体内保存及びインターネット経由ディジタル送信)、キオスク(画像データの入力、ディジタル処理、印刷乃至ディジタル媒体への出力)、モバイルデバイス(処理ユニット、表示ユニット又は処理指令発行ユニットとして使用可能なＰＤＡ、携帯電話等)、ワールドワイドウェブ経由受注サービス等がある。

いずれにせよ、上掲のデノイズ後ＣＦＡ画像生成アルゴリズムは、スタンドアロン環境で実行することも、より大規模なシステムソリューションの一構成要素とすることも可能である。更に、本アルゴリズムに対するインタフェース、例えば入力、ディジタル処理、ユーザ向け表示(省略可)、ユーザ指令／処理指令入力(省略可)、出力等のインタフェースを構成するデバイスやその所在位置は単一でも複数でもよく、またそれらデバイス乃至位置間の通信は公衆網経由通信、専用網経由通信及び媒体運搬のいずれでも行うことができる。本発明に関するこれまでの説明と両立しうる限り、本アルゴリズムは、全自動の形態にすることも、ユーザ入力を受け付ける半自動又は手動の形態にすることも、ユーザ乃至オペレータによる結果認否判断を受ける形態にすることも、或いはユーザ、（カメラ内）計測装置又は他のアルゴリズム等が定めたメタデータの支援を受ける形態にすることも可能である。そして、本アルゴリズムは、様々なユーザ側操作手順と組み合わせて使用することができる。

また、これまでの説明では、図６に示した最小反復単位を呈するＣＦＡパターンを例として用いていた。即ち、グリーン(Ｇ)画素２個、レッド(Ｒ)画素及びブルー(Ｂ)画素１個が最小反復単位内に並ぶことを想定していた。いわゆる当業者には自明な通り、本発明の方法は、他種パターンのＣＦＡとも遜色なく併用することができる。例えば、ＲＧＢ各色の画素がまた別の並びで発生するようなパターンのＣＦＡである。同様に、シアン(Ｃ)、マゼンタ(Ｍ)、イエロー(Ｙ)、全整色(Ｐ)等をはじめ他種画素を発生させるＣＦＡとも併用することができる。全整色画素とは全光波長に亘り感度を有する画素のことであり、一般には感光素子上に透明フィルタを重ねること又はフィルタを省くことで形成される。ＣＦＡパターンに関しては、感受スペクトル、空間配置等が異なる様々なものがいわゆる当業者にとり周知となっている。例えば、特許文献９(発明者：Ｋｉｊｉｍａ ｅｔ ａｌ．，名称：「光感度増強型イメージセンサ」(Image sensor with improved light sensitivity))には、全整色画素を含め様々な画素を発生させるＣＦＡパターンが記載されている。本発明の方法は、赤外(ＩＲ)輻射、紫外(ＵＶ)輻射等の不可視輻射に対し感受性を呈する画素を発生させるＣＦＡパターンとも併用可能である。

本発明に従い本願に開示したデノイズ後ＣＦＡ画像生成アルゴリズムによる計算には、顔検知、瞳検知、肌検知、フラッシュ検知等、様々なデータ検出／改変技術に基づくコンポーネントを組み込むことができる。

１０ 光、１１ 撮像段、１２ レンズ、１３ 中性濃度(ＮＤ)フィルタ、１４ アイリス、１６ 輝度センサ、１８ シャッタ、２０ 固体色フィルタアレイ(ＣＦＡ)イメージセンサ、２２ アナログ信号プロセッサ、２４ Ａ／Ｄコンバータ、２６ タイミング発生器、２８ イメージセンサ段、３０ バス、３２ ＤＳＰメモリ、３６ ディジタル信号プロセッサ(ＤＳＰ)、３８ 処理段、４０ 露光コントローラ、５０ システムコントローラ、５２ システムコントローラバス、５４ プログラムメモリ、５６ システムメモリ、５７ ホストインタフェース、６０ メモリカードインタフェース、６２ メモリカードソケット、６４ メモリカード、６８ ユーザインタフェース、７０ ビューファインダディスプレイ、７２ 露光状態表示部、７４ ユーザ入力子、７６ ステータス表示部、８０ ビデオエンコーダ、８２ ディスプレイコントローラ、８８ 画像ディスプレイ、１００ 生ＣＦＡ画像、１０２ デノイズブロック、１０４ デノイズ後ＣＦＡ画像、１０６，１５４ 単色デノイズブロック、１０８，１５２ 第１デノイズ後ＣＦＡ画像、１１０，１５０ ＣＦＡ色差デノイズブロック、１１２，１５６ 第２デノイズ後ＣＦＡ画像、１１４ 画素値差分算出ブロック、１１６ 画素値差分、１１８，１６４ 局所エッジ反応荷重値算出ブロック、１２０，１６６ 局所エッジ反応荷重値、１２２ 加重画素値差分算出ブロック、１２４ 加重画素値差分、１２６ 第１デノイズ後画素値算出ブロック、１２８ 色差値算出ブロック、１３０ 色差値、１３２ 色差値差分算出ブロック、１３４ 色差値差分、１３６ 局所色差値エッジ反応荷重値算出ブロック、１３８ 局所色差値エッジ反応荷重値、１４０ 加重色差値差分算出ブロック、１４２ 加重色差値差分、１４４ 第２デノイズ後画素値算出ブロック、１４６ ２×２画素ブロック、１４８ ２×２画素ブロックの中心点、１５８ 第１第２画素値差分利用デノイズブロック、１６０ 第１画素値差分算出ブロック、１６２ 第１画素値差分、１６８ 第１加重画素値差分算出ブロック、１７０ 第１加重画素値差分、１７２ 第２画素値差分算出ブロック、１７４ 第２画素値差分、１７６ 第２加重画素値差分算出ブロック、１７８ 第２加重画素値差分、１８０ デノイズ後画素値算出ブロック。

Claims (16)

1. 二次元感光素子アレイを有するディジタルイメージセンサで撮影されており、三種類以上の色成分を含み、且つ色成分別の画素複数個の配列で方形の最小反復単位が形成されるカラー画像に関し、その画像に含まれるノイズを低減する方法であって、
   (a)注目している色成分用の画素それぞれの第１デノイズ後画素値を
   (i)その色成分用の画素のうち注目している画素用の第１群局所エッジ反応荷重値を方位毎に算出するサブステップと、
   (ii)その画素の画素値と同一色成分用近隣画素群の画素値との間に存する画素値差分を方位毎に算出するサブステップと、
   (iii)その画素値差分に同方位の第１群局所エッジ反応荷重値を結合させることで都合複数通りの加重画素値差分を算出するサブステップと、
   (iv)注目している画素の画素値にそれら加重画素値差分を結合させることでその画素の第１デノイズ後画素値を算出するサブステップと、
   を含む第１デノイズ手順で求めるステップと、
   (b)その色成分用の画素のうち第１デノイズ後画素値が求まった画素の第２デノイズ後画素値を
   (i)その色成分用の画素のうち注目している画素用の第２群局所エッジ反応荷重値を方位毎に算出するサブステップと、
   (ii)その画素に対する同一最小反復単位内の他色成分用画素，近隣最小反復単位内の他色成分用画素それぞれの画素値差分を示唆する色差値を方位毎に算出するサブステップと、
   (iii)同一最小反復単位内の他色成分用画素に係る色差値と近隣最小反復単位内の他色成分用画素に係る色差値との間に存する色差値差分を方位毎に算出するサブステップと、
   (iv)それら色差値差分に同方位の第２群局所エッジ反応荷重値を結合させることで加重色差値差分を都合複数通り算出するサブステップと、
   (v)注目している画素の第１デノイズ後画素値にそれら加重色差値差分を結合させることで同画素の第２デノイズ後画素値を算出するサブステップと、
   を含む第２デノイズ手順で求めるステップと、
   を有し、これらステップ(a)及び(b)がプロセッサ上で実行される方法。
2. 請求項１記載の方法であって、第１デノイズ手順、第２デノイズ手順又はその双方を複数回実行する方法。
3. 請求項１記載の方法であって、局所エッジ反応荷重値が第１群，第２群間で同一の方法。
4. 請求項１記載の方法であって、局所エッジ反応荷重値が第１群，第２群間で異なる方法。
5. 請求項１記載の方法であって、第１群局所エッジ反応荷重値を、注目している色成分用の画素の画素値を頼りに算出する方法。
6. 請求項１記載の方法であって、第１群局所エッジ反応荷重値を、ある色成分用の画素の画素値と、他の色成分用の画素の画素値とを併用して算出する方法。
7. 請求項１記載の方法であって、第１及び第２群局所エッジ反応荷重値を次の式
   ｃ＝１／[１＋(||δ||／Ｋ)²]
   但しｃ：局所エッジ反応荷重値
   Ｋ：定数
   δ：画素値差分
   ||・||：ベクトルノルム演算子
   に従い算出する方法。
8. 請求項１記載の方法であって、ステップ(b)サブステップ(ii)でグリーン画素に係る色差値を次の式
   Ｃ₁＝２Ｇ−Ｒ−Ｂ
   但しＣ₁：色差値
   Ｒ：レッド画素値
   Ｇ：グリーン画素値
   Ｂ：ブルー画素値
   に従い算出する方法。
9. 請求項１記載の方法であって、ステップ(b)サブステップ(ii)でブルー画素に係る色差値を次の式
   Ｃ₂＝Ｂ−Ｒ
   但しＣ₂：色差値
   Ｒ：レッド画素値
   Ｂ：ブルー画素値
   に従い算出する方法。
10. 請求項１記載の方法であって、ステップ(b)サブステップ(ii)でレッド画素に係る色差値を次の式
    Ｃ₃＝Ｒ−Ｂ
    但しＣ₃：色差値
    Ｒ：レッド画素値
    Ｂ：ブルー画素値
    に従い算出する方法。
11. 請求項１記載の方法であって、加重画素値差分を次の式
    ｗ＝δ・ｃ
    但しｗ：加重画素値差分
    ｃ：局所エッジ反応荷重値
    δ：画素値差分
    に従い算出する方法。
12. 請求項１記載の方法であって、第１デノイズ後画素値を次の式
    Ｘ’＝Ｘ＋λΣ_iｗ_i
    但しＸ’：第１デノイズ後画素値
    Ｘ：注目している画素の画素値
    λ：速度制御定数
    ｗ_i：第ｉ方位に係る加重画素値差分
    Σ_i：全ての方位ｉに亘る総和
    に従い算出する方法。
13. 請求項１記載の方法であって、注目している画素に対し上、下、左及び右の方向を方位として使用する方法。
14. 請求項１記載の方法であって、三種類以上ある色成分のうち一種類がレッド、他の一種類がグリーン、更に他の一種類がブルーである方法。
15. 請求項１記載の方法であって、三種類以上ある色成分のうち一種類が全整色である方法。
16. 二次元感光素子アレイを有するディジタルイメージセンサで撮影されており、三種類以上の色成分を含み、且つ色成分別の画素複数個の配列で方形の最小反復単位が形成されるカラー画像に関し、その画像に含まれるノイズを低減する方法であって、
    (a)注目している色成分用の画素それぞれの第１デノイズ後画素値を
    (i)その色成分用の画素のうち注目している画素用の第１群局所エッジ反応荷重値を方位毎に算出するサブステップと、
    (ii)その画素に対する同一最小反復単位内の他色成分用画素，近隣最小反復単位内の他色成分用画素それぞれの画素値差分を示唆する色差値を方位毎に算出するサブステップと、
    (iii)同一最小反復単位内の他色成分用画素に係る色差値と近隣最小反復単位内の他色成分用画素に係る色差値との間に存する色差値差分を方位毎に算出するサブステップと、
    (iv)それら色差値差分に同方位の第１群局所エッジ反応荷重値を結合させることで加重色差値差分を都合複数通り算出するサブステップと、
    (v)注目している画素の第１デノイズ後画素値にそれら加重色差値差分を結合させることで同画素の第１デノイズ後画素値を算出するサブステップと、
    を含む第１デノイズ手順で求めるステップと、
    (b)その色成分用の画素のうち第１デノイズ後画素値が求まった画素の第２デノイズ後画素値を
    (i)その色成分用の画素のうち注目している画素用の第２群局所エッジ反応荷重値を方位毎に算出するサブステップと、
    (ii)その画素の画素値と同一色成分用近隣画素群の画素値との間に存する画素値差分を方位毎に算出するサブステップと、
    (iii)その画素値差分に同方位の第２群局所エッジ反応荷重値を結合させることで都合複数通りの加重画素値差分を算出するサブステップと、
    (iv)注目している画素の画素値にそれら加重画素値差分を結合させることでその画素の第２デノイズ後画素値を算出するサブステップと、
    を含む第２デノイズ手順で求めるステップと、
    を有し、これらステップ(a)及び(b)がプロセッサ上で実行される方法。

Images