JP5120441B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

例えば、Ｂａｙｅｒ配列のようなカラーフィルタ配列をもつ単板式カラー撮像素子で発生する白傷や黒傷のような欠陥画素（ｈｏｔ ｐｉｘｅｌｓ、ｃｏｌｄ ｐｉｘｅｌｓ）に対して、Ｂａｙｅｒ面上で直接、５×５画素の範囲に含まれる同色画素の周辺８点のＭａｘ、Ｍｉｎフィルタを掛けることにより欠陥画素の補正を行う補正方法が知られている（例えば、特許文献１）。

米国特許第７，２０２，８９４号明細書

しかしながら、このような方法によると、天体撮影したときの星のような孤立した輝点を消滅させ、更には星の周囲に実際にはあり得ぬ偽色を生み出す弊害を引き起こし、画像構造を破壊してしまう可能性があった。また、イルミネーションのような高輝度部の輝点が密に存在するような夜景を撮影すると、それらの輝点が同一輝度レベルに揃えられ、あたかもこれらの点像が連なったような奇妙な線構造として解像してしまい画像構造を破壊してしまう可能性があった。

請求項１の発明による画像処理装置は、画像データの画素値を補正する画像処理装置であって、複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、前記複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値との間の中から最大値を算出する算出手段と、前記処理対象画素の画素値と前記最大値とを比較して、前記処理対象画素の画素値が前記最大値よりも大きな値を示す場合、前記処理対象画素の画素値を前記最大値で置き換える補正手段とを備えることを特徴とする。
請求項２の発明による画像処理装置は、画像データの画素値を補正する画像処理装置であって、複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値を少なくとも含む複数の周囲画素の画素値の中から最大値を算出する算出手段と、前記処理対象画素の値と前記最大値を比較して、前記処理対象画素の値が前記最大値よりも大きな値を示す場合、前記処理対象画素の値を前記最大値で置き換える補正手段とを備えることを特徴とする。
請求項３の発明による画像処理装置は、画像データの画素値を補正する画像処理装置であって、複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、前記複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値との間の中から最小値を算出する算出手段と、前記処理対象画素の画素値と前記最小値とを比較して、前記処理対象画素の画素値が前記最小値よりも小さな値を示す場合、前記処理対象画素の画素値を前記最小値で置き換える補正手段とを備えることを特徴とする。
請求項４の発明による画像処理装置は、画像データの画素値を補正する画像処理装置であって、複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値を少なくとも含む複数の周囲画素の画素値の中から最小値を算出する算出手段と、前記処理対象画素の値と前記最小値を比較して、前記処理対象画素の値が前記最小値よりも小さな値を示す場合、前記処理対象画素の値を前記最小値で置き換える補正手段とを備えることを特徴とする。

本発明によれば、画像構造の破壊を抑えつつ欠陥画素を補正することができる。

カメラの一実施の形態の構成を示すブロック図である。 第１の実施の形態における処理の流れを示すフローチャート図である。 第１の実施の形態における白傷・黒傷補正フィルタを模式的に示した図である。 第１の実施の形態における補正対象画素とその周辺画素を模式的に示した図である。 第２の実施の形態における白傷・黒傷補正フィルタを模式的に示した図である。 第２の実施の形態における補正対象画素とその周辺画素を模式的に示した図である。 第３の実施の形態における処理の流れを示すフローチャート図である。 第４の実施の形態における白傷・黒傷補正の方法を模式的に示した図である。 第５、６の実施の形態における白傷・黒傷補正の方法を模式的に示した図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、撮像素子１０２と、制御装置１０３と、メモリカードスロット１０４と、モニタ１０５とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

撮像素子１０２は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、不図示のレンズにより結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０３へ出力する。なお、カメラ１００には、着脱可能なレンズ鏡筒が取り付けられ、レンズ鏡筒を構成する複数のレンズによって、被写体像が撮像素子１０２に結像する。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０３を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０３が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

メモリカードスロット１０４は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０３が撮影処理を行なうことによって生成された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０３は、メモリカードスロット１０４を介してメモリカード内に記憶されている画像ファイルを読み出すこともできる。

モニタ１０５は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０５には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０３は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０２から時系列で取得した画像の表示用画像データをモニタ１０５に出力する。これによってモニタ１０５にはスルー画が表示される。

本実施の形態におけるカメラ１００では、撮像素子１０２は、単板式カラー撮像素子であり、撮像面上にはＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがＢａｙｅｒ配列されているものとする。すなわち、撮像素子１０２から制御装置１０３に出力される画像データはＲＧＢ表色系で示されるものとし、この画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。

このような撮像素子１０２を長時間露光すると、蓄積時間に対して正比例せずに、周辺画素よりも突出して明るくなる画素や周辺画素よりも突出して暗くなる画素が多数現れてくる。これらは一般に白傷（ｈｏｔ ｐｉｘｅｌ）、黒傷（ｃｏｌｄ ｐｉｘｅｌ）と呼ばれ、露光時間が長くなるほど、また撮像感度が高くなるほど出現する画素の割合が多くなってくる性質をもつ。

これらの欠陥画素を補正するためには、一般的にデジタル・フィルタが用いられる。例えば、米国特許第５，３２７，２４６号明細書に開示されているように、単色の信号面に対して、３×３画素領域に含まれる周辺８画素のＭａｘ、Ｍｉｎを算出し、中心画素がそれらよりも所定の閾値を超えて突出している場合は、Ｍａｘ値やＭｉｎ値で置き換えるＭａｘ、Ｍｉｎフィルタが用いられる。また、この米国特許第５，３２７，２４６号明細書では、Ｂａｙｅｒ配列のようなカラーの単板撮像素子の入力信号に対しては、一旦デジタル・フィルタで輝度信号や色差信号の生成処理をした後に、それらの面に対して突出点の隣接画素への滲みの影響を加味しながら、Ｍａｘ、Ｍｉｎフィルタを掛けることが提案されている。

一方、米国特許第７，２０２，８９４号明細書では、Ｂａｙｅｒ面上で直接、５×５画素の範囲に含まれる同色画素の周辺８点のＭａｘ、Ｍｉｎフィルタを掛ける方法が開示されている。この方法は、ＲＧＢ色補間の前に行われるため、突出点の影響が補間処理によって周辺画素にも滲み成分として現れ、後からの対処が厄介になることを防止する有効性をもっている。しかしながら、このような方法によると、天体撮影したときの星のような孤立した輝点を消滅させ、更には星の周囲に実際にはあり得ぬ偽色を生み出す弊害を引き起こすという問題があった。また、クリスマスのイルミネーションのような高輝度部の輝点が密に存在するような夜景を撮影すると、それらの輝点が同一輝度レベルに揃えられ、あたかもこれらの点像が連なったような奇妙な線構造として解像してしまうというような問題が発生していた。

本実施の形態におけるカメラ１００では、このような問題を防ぐために、単板カラー撮像素子面上でＭａｘ、Ｍｉｎフィルタを掛けるときに、周辺の同色の画素信号のみならず、それらより内側により近接して存在する異色の画素信号も同時に参照するようにする。これによって、画像構造の破壊を最小限に抑えつつ、突出点状の欠陥画素を補正することが可能となる。なお、ここではカラーの単板撮像素子で説明するが、ＲとＢの２色をチェック状に配置した単板とＧの１色を全面に配置した単板を組み合わせた２板式の撮像素子やＢａｙｅｒ配列の３色からなる単板とＢａｙｅｒ配列の３色からなる単板を２つ組み合わせた２板式の撮像素子を用いる場合に本発明は適用できる。

具体的には、制御装置１０３は図２に示すフローチャートに従って処理を行う。ステップＳ１０において、制御装置１０３は、撮像素子１０２からＢａｙｅｒ画像データを読み出す。これによって、制御装置１０３には、光量に対して線型階調のＢａｙｅｒ画像データが入力される。

その後、ステップＳ２０へ進み、制御装置１０３は、ホワイトバランス補正を行う。例えば、制御装置１０３は、ＲＧＢ間のホワイトバランス・ゲインがＲ／Ｇ＝ｋ１、Ｂ／Ｇ＝ｋ２のとき、Ｂａｙｅｒ面のＲ画素にはｋ１倍のゲインを、Ｂ画素にはｋ２倍のゲインを掛ける。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０３は、上述した白傷と黒傷の補正を行う。具体的には、制御装置１０３は、以下の（Ａ）〜（Ｃ）の手順で白傷補正、および黒傷補正を行う。なお、以下の説明では、ホワイトバランス補正の済んだＢａｙｅｒ画像データにおける補正対象画素［ｉ,ｊ］の画素値をＳｉｎ［ｉ,ｊ］で表し、突出点除去フィルタを掛けて当該補正対象画素［ｉ,ｊ］の補正後の画素値Ｓｏｕｔ［ｉ,ｊ］を出力するものとする。また、以下の説明では、Ｂａｙｅｒ面上の色成分に無関係に共通のフィルタを定義して、簡便なフィルタ回路を組むことができる例を示す。

（Ａ）データコピー
制御装置１０３は、次式（１）によりデータコピーを行う。すなわち、元画像データをＳｉｎのバッファメモリに退避させておく。
Ｓｏｕｔ［ｉ,ｊ］＝Ｓｉｎ［ｉ,ｊ］ ・・・（１）

（Ｂ）ＭＡＸフィルタを用いた白傷補正
制御装置１０３は、次式（２）〜（５）により表される隣接画素の異色画素を含むＭａｘフィルタを画像データに掛けて白傷補正を行う。なお、本実施の形態では、画像データが正方格子配列の場合を想定し、ここで用いるＭａｘフィルタは、図３に示すように、「○」で表す補正対象画素を中心とした５×５画素の範囲に含まれる周辺画素１６点のＭａｘフィルタとする。このＭａｘフィルタは、補正対象画素がＲ画素、Ｂ画素、及びＧ画素の全ての場合に共通して使用される。

すなわち、図４（ａ）に示すように補正対象画素がＲ画素の場合には、図３においてフィルタの内側に位置する「＋」で表す異色画素（Ｂ画素及びＧ画素）８点と、フィルタの外側に位置する「×」で表す同色画素（Ｒ画素）８点とのＭａｘフィルタとする。同様に、図４（ｂ）に示すように補正対象画素がＢ画素の場合も、図３においてフィルタの内側に位置する「＋」で表す異色画素（Ｒ画素及びＧ画素）８点と、フィルタの外側に位置する「×」で表す同色画素（Ｂ画素）８点とのＭａｘフィルタとする。また、図４（ｃ）に示すように補正対象画素がＧ画素の場合には、図３においてフィルタの内側に位置する「＋」で表す異色画素（Ｒ画素及びＢ画素）と同色画素（Ｇ画素）とを含む８点と、フィルタの外側に位置する「×」で表す同色画素（Ｇ画素）８点とのＭａｘフィルタとする。

この図３に示すＭａｘフィルタを用いることにより、制御装置１０３は、補正対象画素を中心に５×５画素の範囲内に含まれる同色画素の画素値と、同色画素よりも補正対象画素に近接して存在する、補正対象画素を中心に３×３画素の範囲内に含まれる異色画素の画素値とを用いて補正対象画素を補正することができる。このときに用いる補正対象画素を中心とした３×３画素の範囲内には、図４に示したように、補正対象画素がＲ画素またはＢ画素である場合には縦方向、横方向、及び斜め方向に隣接して異色画素が存在している。また、補正対象画素がＧ画素である場合には、縦方向及び横方向に隣接して異色画素が存在し、斜め方向には同色画素が存在している。なお、次式（２）〜（５）において、大文字で示すＭＡＸは最大値を返す関数である。

ｍａｘ１＝ＭＡＸ｛Ｓｉｎ［ｉ-１,ｊ］,Ｓｉｎ［ｉ+１,ｊ］,Ｓｉｎ［ｉ,ｊ-１］,Ｓｉｎ［ｉ,ｊ+１］,Ｓｉｎ［ｉ-１,ｊ-１］,Ｓｉｎ［ｉ+１,ｊ+１］,Ｓｉｎ［ｉ-１,ｊ+１］,Ｓｉｎ［ｉ+１,ｊ-１］｝ ・・・（２）
ｍａｘ２＝ＭＡＸ｛Ｓｉｎ［ｉ-２,ｊ］,Ｓｉｎ［ｉ+２,ｊ］,Ｓｉｎ［ｉ,ｊ-２］,Ｓｉｎ［ｉ,ｊ+２］,Ｓｉｎ［ｉ-２,ｊ-２］,Ｓｉｎ［ｉ+２,ｊ+２］,Ｓｉｎ［ｉ-２,ｊ+２］,Ｓｉｎ［ｉ+２,ｊ-２］｝ ・・・（３）
ｍａｘ＝ＭＡＸ｛ｍａｘ１,ｍａｘ２｝ ・・・（４）
ｉｆ （Ｓｉｎ［ｉ,ｊ］＞ｍａｘ＋Ｔｈｍａｘ） → Ｓｏｕｔ［ｉ,ｊ］＝ｍａｘ ・・・（５）

（Ｃ）Ｍｉｎフィルタを用いた黒傷補正
制御装置１０３は、次式（６）〜（９）により表される隣接画素の異色画素を含むＭｉｎフィルタを画像データに掛けて黒傷補正を行う。なお、ここで用いるＭｉｎフィルタは、上記Ｍａｘフィルタと同様、図３に示すように、「○」で表す補正対象画素を中心とした５×５画素の範囲に含まれる周辺画素１６点、すなわち「＋」で表す異色画素８点と「×」で表す同色画素８点のＭｉｎフィルタである。ただし、ＭＡＸフィルタのときと同様にＧ画素が補正対象画素のときは「＋」で表す画素は異色画素４点と同色画素４点となる。なお、次式（６）〜（９）において、大文字で示すＭＩＮは最小値を返す関数である。

ｍｉｎ１＝ＭＩＮ｛Ｓｉｎ［ｉ-１,ｊ］,Ｓｉｎ［ｉ+１,ｊ］,Ｓｉｎ［ｉ,ｊ-１］,Ｓｉｎ［ｉ,ｊ+１］,Ｓｉｎ［ｉ-１,ｊ-１］,Ｓｉｎ［ｉ+１,ｊ+１］,Ｓｉｎ［ｉ-１,ｊ+１］,Ｓｉｎ［ｉ+１,ｊ-１］｝ ・・・（６）
ｍｉｎ２＝ＭＩＮ｛Ｓｉｎ［ｉ-２,ｊ］,Ｓｉｎ［ｉ+２,ｊ］,Ｓｉｎ［ｉ,ｊ-２］,Ｓｉｎ［ｉ,ｊ+２］,Ｓｉｎ［ｉ-２,ｊ-２］,Ｓｉｎ［ｉ+２,ｊ+２］,Ｓｉｎ［ｉ-２,ｊ+２］,Ｓｉｎ［ｉ+２,ｊ-２］｝ ・・・（７）
ｍｉｎ＝ＭＩＮ｛ｍｉｎ１, ｍｉｎ２｝ ・・・（８）
ｉｆ （Ｓｉｎ［ｉ,ｊ］＜ｍｉｎ−Ｔｈｍｉｎ) → Ｓｏｕｔ［ｉ,ｊ］＝ｍｉｎ ・・・（９）

ここで、式（５）および（８）において、閾値Ｔｈｍａｘ，Ｔｈｍｉｎの値は、その値を大きくすれば画像構造の破壊をより防止することができるが、フィルタ効果は低減してしまう。よって、本実施の形態では、閾値Ｔｈｍａｘ，Ｔｈｍｉｎの値は、例えばそれぞれ０に設定するとよい。なぜなら、Ｍａｘ、Ｍｉｎフィルタを構成する参照画素の参照距離が短くなったことにより画像構造の防護能力が高まったため、あえてこの閾値を用いて画像構造の破壊を防御する必要性がなくなったためである。

上記のように最隣接画素の異色画素を同色画素と共にＭａｘ、Ｍｉｎフィルタの中に組み込むと以下のような理由によって、上述した画像構造の破壊を防止することができる。すなわち、星のような点像は、ただ唯一１つの画素のみの光信号として捉えられることは通常、光学系のボケを考えればあり得ず、必ず隣接画素にも滲み出している。それはレンズの点像分布関数の特性のみならず、光学ローパスフィルタによる光線分離の特性によって合成した形で生み出される。例えば、撮像素子の画素ピッチと同じか、あるいは３／４倍程度の４点分離型の光学ローパスフィルタを挿入している場合は、必ず隣接４点画素にも同程度の光量が漏れている。

他方、白傷や黒傷等の欠陥画素は一画素単体のみで発生するのが普通である。したがって、星のような点像と重なる位置に存在する白傷・黒傷画素は、周辺に滲み出した星の点像の明るさレベルによって置き換えられることになる。こうして、天体の星を消滅させてしまう危険性が大きく排除される。この置き換え推定値の精度が、従来の同色画素のみによるＭａｘ、Ｍｉｎフィルタよりも近い距離に存在している画素を用いているため、極めて高くなる。したがって、画像の解像力に関する分解能の防御性能が高まり、推定間違いによる不本意な偽色発生を防ぎ、また、いびつな点像のつながりを生むことを防止する効果を発揮する。

実験的に、通常、画像の解像力を評価するために用いられるサーキュラーゾーンプレートを撮影した画像に対して、この異色画素込みのＭａｘ、Ｍｉｎフィルタを全面処理した結果、ほとんど完全に近いレベルで画像構造の非破壊性を保つことを確認している。また、コントラストの低下の度合いも従来の同色画素のみを用いるＭａｘ、Ｍｉｎフィルタに比べて遥かに少なくなる効果がある。

第１の実施の形態における単画素欠陥補正能力は、大雑把に見積もって５×５画素に１画素の割合で存在する欠陥画素比率、すなわち全画素のうち４％の画素が欠陥である状況までほぼ完璧に、その補正能力を有していると見積もることができる。それ以上の画素密度で白傷、黒傷の一方が存在している場合は、５×５画素の範囲で白傷２連画素、黒傷２連画素の条件の部分は欠陥が残留してしまうが、それ以外の欠陥画素はきれいに補正する能力を有する。なお、式（４）において最大値（Ｍａｘ）ではなく２番目に大きい値（第２Ｍａｘ）をとり、式（８）において最小値（Ｍｉｎ）ではなく２番目に小さい値（第２Ｍｉｎ）をとるようにすれば、白傷２連画素や黒傷２連画素にも対応することができる。

上述した白傷を補正するためのＭａｘフィルタ、および黒傷を補正するためのＭｉｎフィルタ（白傷・黒傷補正フィルタ）を使用するか否かの条件は、撮影条件に応じて予め決めておく。すなわち、ある露光時間以上の露出条件となるときは、白傷・黒傷補正フィルタの使用をオンとする。このとき、高ＩＳＯ感度になるほど使用条件の設定露光時間は短くなるようにする。

その後、ステップＳ４０へ進み、制御装置１０３は、色補間処理を実行する。すなわち、各画素にＲＧＢ３色を生成する色補間処理を公知の技術によって行う。その後、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、式（２）〜（５）により表されるＭａｘフィルタを用いて、補正対象画素に対し、該補正対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、複数の周囲の同色画素よりも補正対象画素に近接して存在する、補正対象画素とは異なる色成分を有する複数の周囲の異色画素の画素との中から最大値を算出し、補正処理対象画素の画素値が算出した最大値よりも大きな値を示す場合に、補正対象画素の画素値を算出した最大値で置き換えることによって、白傷を補正するようにした。これによって、画像構造の破壊を抑えつつ白傷を補正することができる。

（２）制御装置１０３は、式（６）〜（９）により表されるＭｉｎフィルタを用いて、補正対象画素に対し、該補正対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、複数の周囲の同色画素よりも補正対象画素に近接して存在する、補正対象画素とは異なる色成分を有する複数の周囲の異色画素の画素との中から最小値を算出し、補正処理対象画素の画素値が算出した最小値よりも小さな値を示す場合に、補正対象画素の画素値を算出した最小値で置き換えることによって、黒傷を補正するようにした。これによって、画像構造の破壊を抑えつつ黒傷を補正することができる。

（３）制御装置１０３は、異色画素の画素値として、画像データの色成分間で予め決まっているホワイトバランスの調整値を用いて、補正対象画素の色成分を基準としたゲイン調整が行われた後の値を用いるようにした。これによって、Ｒ、Ｇ、Ｂの信号レベルを揃えた上で白傷・黒傷補正フィルタを適用することができるため、補正値の推定精度が高まり、画像構造の破壊をより防止することができる。

（４）補正に用いるＭａｘフィルタ、およびＭｉｎフィルタは、複数の周囲の異色画素の画素値として、補正対象画素を中心に３×３画素の範囲内に含まれる異色画素の画素値を用いるものとした。これによって、空間解像の分解能が高まり、画像構造の破壊を最小限に抑えつつ、突出点状の欠陥画素を補正することができる。

―第２の実施の形態―
上述した第１の実施の形態では、図２に示したフローチャートのステップＳ３０において、図３に示したように、５×５画素の範囲に含まれる異色画素を含んだ周辺画素１６点のＭａｘフィルタを用いて白傷・黒傷補正を行う例について説明した。これに対して。第２の実施の形態では、図５に示すように、「○」で表す補正対象画素を中心とした９×９画素の範囲に含まれる異色画素を含んだ周辺画素２４点のＭａｘフィルタ、およびＭｉｎフィルタを用いて白傷・黒傷補正を行う。

すなわち、図６（ａ）に示すように補正対象画素がＲ画素の場合には、図５においてフィルタの内側に位置する「＋」で表す異色画素８点と、フィルタの外側に位置する「×」で表す同色画素１６点とのＭａｘフィルタとする。同様に、図６（ｂ）に示すように補正対象画素がＢ画素の場合も、図５においてフィルタの内側に位置する「＋」で表す異色画素８点と、フィルタの外側に位置する「×」で表す同色画素１６点とのＭａｘフィルタとする。また、図６（ｃ）に示すように補正対象画素がＧ画素の場合には、図５においてフィルタの内側に位置する「＋」で表す異色画素と同色画素とを含む８点と、フィルタの外側に位置する「×」で表す同色画素１６点のＭａｘフィルタとする。

この図５に示す白傷・黒傷補正フィルタを用いることにより、第１の実施の形態で用いた白傷・黒傷補正フィルタよりも、同色画素の参照方向の角度を増やすことができる。すなわち、図３と図５とを比較すると、図３において「×」で表した同色画素は、５×５画素の範囲の最も外側の画素に８点存在し、これらは補正対象画素から見て水平方向と垂直方向、及びその中間の斜め方向に存在していた。これに対して、図５において「×」で表した同色画素は、図３に示した８点に加えて、さらに９×９画素の範囲の最も外側の画素にも８点存在している。これにより、補正対象画素から見た同色画素は、図３の場合の水平方向、垂直方向、及びその中間の斜め方向に加えて、さらに細かい角度の方向に存在することになる。

このように、同色画素の参照方向の角度を増やすことよって、画像構造の非破壊性をより高めることができる。その一方で単画素欠陥の画素密度が高い場合には、９×９画素の中で連画素欠陥が現れる確率が第１の実施の形態の５×５画素のときよりも高まるため、第２の実施の形態で示す白傷・黒傷補正フィルタは、単画素欠陥の画素密度が低い撮影条件で用いるとよい。なお、第２の実施の形態では、図２に示したフローチャートのステップＳ３０以外の処理、および図１に示すブロック図は第１の実施の形態と同様のため、説明を省略する。

第２の実施の形態では、制御装置１０３は、図２に示したフローチャートのステップＳ３０における手順（Ｂ）で、次式（１０）〜（１４）により表される隣接画素の異色画素を含むＭａｘフィルタを画像データに掛けて白傷補正を行う。
ｍａｘ１＝ＭＡＸ｛Ｓｉｎ［ｉ−１，ｊ］，Ｓｉｎ［ｉ＋１，ｊ］，Ｓｉｎ［ｉ，ｊ−１］，Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］，Ｓｉｎ［ｉ＋１，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ＋１］，Ｓｉｎ［ｉ＋１，ｊ−１］｝ ・・・（１０）
ｍａｘ２＝ＭＡＸ｛Ｓｉｎ［ｉ−２，ｊ］，Ｓｉｎ［ｉ＋２，ｊ］，Ｓｉｎ［ｉ，ｊ−２］，Ｓｉｎ［ｉ，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ−２］，Ｓｉｎ［ｉ＋２，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ＋２］，Ｓｉｎ［ｉ＋２，ｊ−２］｝ ・・・（１１）
ｍａｘ３＝ＭＡＸ｛Ｓｉｎ［ｉ−４，ｊ−２］，Ｓｉｎ［ｉ−４，ｊ＋２］，Ｓｉｎ［ｉ＋４，ｊ−２］，Ｓｉｎ［ｉ＋４，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ−４］，Ｓｉｎ［ｉ＋２，ｊ−４］，Ｓｉｎ［ｉ−２，ｊ＋４］，Ｓｉｎ［ｉ＋２，ｊ＋４］｝ ・・・（１２）
ｍａｘ＝ＭＡＸ｛ｍａｘ１，ｍａｘ２，ｍａｘ３｝ ・・・（１３）
ｉｆ （Ｓｉｎ［ｉ,ｊ］＞ｍａｘ＋Ｔｈｍａｘ） → Ｓｏｕｔ［ｉ,ｊ］＝ｍａｘ ・・・（１４）

また、制御装置１０３は、図２に示したフローチャートのステップＳ３０における手順（Ｃ）で、次式（１５）〜（１９）により表される隣接画素の異色画素を含むＭｉｎフィルタを画像データに掛けて黒傷補正を行う。
ｍｉｎ１＝ＭＩＮ｛Ｓｉｎ［ｉ−１，ｊ］，Ｓｉｎ［ｉ＋１，ｊ］，Ｓｉｎ［ｉ，ｊ−１］，Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］，Ｓｉｎ［ｉ＋１，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ＋１］，Ｓｉｎ［ｉ＋１，ｊ−１］｝ ・・・（１５）
ｍｉｎ２＝ＭＩＮ｛Ｓｉｎ［ｉ−２，ｊ］，Ｓｉｎ［ｉ＋２，ｊ］，Ｓｉｎ［ｉ，ｊ−２］，Ｓｉｎ［ｉ，ｊ＋２］,Ｓｉｎ［ｉ−２，ｊ−２］，Ｓｉｎ［ｉ＋２，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ＋２］，Ｓｉｎ［ｉ＋２，ｊ−２］｝ ・・・（１６）
ｍｉｎ３＝ＭＩＮ｛Ｓｉｎ［ｉ−４，ｊ−２］，Ｓｉｎ［ｉ−４，ｊ＋２］，Ｓｉｎ［ｉ＋４，ｊ−２］，Ｓｉｎ［ｉ＋４，ｊ＋２］,Ｓｉｎ［ｉ−２，ｊ−４］，Ｓｉｎ［ｉ＋２，ｊ−４］，Ｓｉｎ［ｉ−２，ｊ＋４］，Ｓｉｎ［ｉ＋２，ｊ＋４］｝ ・・・（１７）
ｍｉｎ＝ＭＩＮ｛ｍｉｎ１，ｍｉｎ２，ｍｉｎ３｝ ・・・（１８）
ｉｆ （Ｓｉｎ［ｉ,ｊ］＜ｍｉｎ−Ｔｈｍｉｎ) → Ｓｏｕｔ［ｉ,ｊ］＝ｍｉｎ ・・・（１９）

以上説明した第２の実施の形態では、第１の実施の形態で用いた白傷・黒傷補正フィルタよりも、同色画素の参照方向の角度を増やすことができるため、画像構造の非破壊性をより高めることができる。

―第３の実施の形態―
上述した第１および第２の実施の形態では、画素欠陥補正、すなわち白傷・黒傷補正後にそのまま色補間処理が実行されるカメラ内部で行われるような例を示したが、色補間処理が外部アプリケーションで行われるような場合は、画素欠陥補正のみが行われたＲＡＷデータをホワイトバランスを掛けない状態で保存するのが一般的である。よって、第３の実施の形態では、このような場合に対応する処理について説明する。

図７は、第３の実施の形態における処理の流れを示したフローチャートである。この図７においては、第１の実施の形態で図２に示したフローチャートと同様の処理については同じステップ番号を付加して説明を省略し、図２との相違点を中心に説明する。なお、図７のステップＳ３０では、第１の実施の形態で上述した白傷・黒傷補正フィルタ、または第２の実施の形態で上述した白傷・黒傷補正フィルタを用いることとする。

ステップＳ５０では、制御装置１０３は、逆ホワイトバランス補正を行う。例えば、第１の実施の形態のステップＳ２０で上述した場合と同様に、ＲＧＢ間のホワイトバランス・ゲインがＲ／Ｇ＝ｋ１、Ｂ／Ｇ＝ｋ２であるときには、制御装置１０３は、Ｂａｙｅｒ面のＲ画素には１／ｋ１倍のゲインを、Ｂ画素には１／ｋ２倍のゲインを掛ける。その後、ステップＳ６０へ進む。

ステップＳ６０では、制御装置１０３は、入力画像データと同じビット精度を持つＢａｙｅｒ画像データを出力し、処理を終了する。

以上説明した第３の実施の形態によれば、画素欠陥補正のみが行われたＢａｙｅｒ画像データを出力することができるため、色補間処理を他の機器、例えばパソコン上で実行されるアプリケーションで行うことが可能となる。

―第４の実施の形態―
第１〜第３の実施の形態では、全ての画素に対して、周囲画素と比べて突出点が存在すれば、強制的に全て周囲の最大値ないしは最小値で置き換える例について説明した。この第１〜第３の実施の形態による方法は、従来技術に比べて、空間分解能が上がっているため、空間的な画像構造を破壊することを防止するという大きな目的を達成することができた。

すなわち、従来技術によれば、図８（ａ）に示すように、周辺の同色画素信号のみを用いて白傷・黒傷補正を行うため、上述したように、星の周囲に実際にはあり得ぬ偽色を生み出す弊害を引き起こしたり（星偽色）、輝点が同一輝度レベルに揃えられて、あたかもこれらの点像が連なったような奇妙な線構造として解像してしまう（点つながり）というような問題が発生していた。また、階調コントラストの低下が生じてしまう（階調ボケ）という問題もあった。これに対して、第１〜第３の実施の形態で説明した方法によれば、図８（ｂ）に示すように、周辺の同色の画素信号のみならず、それらより内側により近接して存在する異色の画素信号も同時に参照するようにしたので、上記星偽色や点つながりの発生を防止することができる。

しかしながら画像をよく分析すると、階調方向に対しては、白傷・黒傷とは異なる実画像構造の凹凸情報などのコントラストが低下するという問題が存在する。すなわち、上記階調ボケの問題を依然として解決できていなかった。画質の目標として、白傷・黒傷のみを適応的に判断して突出点除去し、一般の画像構造に対しては手を加えないという適応的処理が望まれる。そのための方法論として、第１〜第３の実施の形態では、突出点判断の基準として閾値を設けて零においた部分を、本実施の形態では、画像構造に応じて適応的に切り替わる閾値に変更する。

一般に、白傷・黒傷は、周囲画素に対して極めて突出して現れるときに目立つ信号である。したがって、周囲画素の画像信号の統計分布を調べて、それらの統計分布に対して突出して白点化、あるいは黒点化している場合に、その画素が統計異常を示している画素と捉えることができる。例えば、画像構造が平坦部に属しているような場合、第１の実施の形態における手法で用いた周囲１６点の画素値の分布は、１６点の画素値の平均値を中心に、１６点の画素値の標準偏差値σを幅とするガウス分布のような形をとっていると期待される。この標準偏差値σは、対象画像が撮影された撮像素子のＩＳＯ感度におけるノイズのゆらぎ値に一致する幅を持つ。一方、画像構造がエッジ部に属しているような場合、ガウス分布ではなくなり、周囲画素の信号値の分布は、エッジ構造の振幅の大きさを捉えた画像構造依存の分布となる。

このような状況の中で、閾値として既に算出済みの（ｍａｘ−ｍｉｎ）値にとってみると、図８（ｃ）に示すように、丁度この値は、平坦部では、およそ±３σの範囲を表していると考えられる。なぜなら、正規分布する信号値は、９９．７％の確率で±３σの範囲に収まるからである。一方のエッジ部では、（最大値−最小値）はその部分の画像構造のコントラスト値そのものを表している。したがって、周囲の画像構造のコントラストを加味して、突出点判断を行うことが可能となり、純粋に統計異常の白傷・黒傷のみを検知して、ＭａｘフィルタやＭｉｎフィルタを掛けることが可能になる。

白傷判定において、中心画素が周囲画素のｍａｘ＋Ｔｈ＝ｍａｘ＋（ｍａｘ−ｍｉｎ）値を超えて明るい場合、周囲画素のｍａｘ値で置き換える操作を行う場合、エッジ部では最大値に対して更に、画像構造のコントラスト値（ｍａｘ−ｍｉｎ）を超えて突出して白点化している場合、非常にその点は白傷として目立った存在になり、突出点除去を要する画素と判断する。

同様に黒傷判定において、中心画素が周囲画素のｍｉｎ−Ｔｈ＝ｍｉｎ−（ｍａｘ−ｍｉｎ）値を超えて暗い場合、周囲画素のｍｉｎ値で置き換える操作を行う場合、エッジ部では最小値に対して更に、画像構造のコントラスト値（ｍａｘ−ｍｉｎ）を超えて突出して黒点化している場合、非常にその点は白傷として目立った存在になり、突出点除去を要する画素と判断する。

一般に、閾値として採用する（ｍａｘ−ｍｉｎ）値は、平坦部ではノイズのゆらぎ幅σに対して６σの幅を表すので、（ｍａｘ−ｍｉｎ）値を定数倍して、１／２倍の３σの幅、１／３倍の２σの幅、１／６倍の１σの幅になるような調整項を設けてもよい。また、置き換え値として、白傷補正の場合は、周囲画素のｍａｘ値そのものではなく、突出点判断に用いたｍａｘ＋Ｔｈまでの範囲の値で置き換えてもよい。同様に、黒傷補正の場合は、周囲画素のｍｉｎ値そのものではなく、突出点判断に用いたｍｉｎ−Ｔｈまでの範囲の値で置き換えてもよい。

以下、図２のフローチャートを用いて、本実施の形態での処理について説明する。なお、第４の実施の形態では、図２に示したフローチャートのステップＳ３０以外の処理、および図１に示すブロック図は第１の実施の形態と同様のため、説明を省略する。第４の実施の形態では、制御装置１０３は、図２に示したフローチャートのステップＳ３０における手順（Ｂ）、（Ｃ）で、次式（２０）〜（２８）により表されるＭａｘフィルタとＭｉｎフィルタとを用いて、白傷補正および黒傷補正を行う。

ｍａｘ１＝ＭＡＸ｛Ｓｉｎ［ｉ−１，ｊ］，Ｓｉｎ［ｉ＋１，ｊ］，Ｓｉｎ［ｉ，ｊ−１］，Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］，Ｓｉｎ［ｉ＋１，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ＋１］，Ｓｉｎ［ｉ＋１，ｊ−１］｝ ・・・（２０）
ｍａｘ２＝ＭＡＸ｛Ｓｉｎ［ｉ−２，ｊ］，Ｓｉｎ［ｉ＋２，ｊ］，Ｓｉｎ［ｉ，ｊ−２］，Ｓｉｎ［ｉ，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ−２］，Ｓｉｎ［ｉ＋２，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ＋２］，Ｓｉｎ［ｉ＋２，ｊ−２］｝ ・・・（２１）
ｍａｘ＝ＭＡＸ｛ｍａｘ１，ｍａｘ２｝ ・・・（２２）
ｍｉｎ１＝ＭＩＮ｛Ｓｉｎ［ｉ−１，ｊ］，Ｓｉｎ［ｉ＋１，ｊ］，Ｓｉｎ［ｉ，ｊ−１］，Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］，Ｓｉｎ［ｉ＋１，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ＋１］，Ｓｉｎ［ｉ＋１，ｊ−１］｝ ・・・（２３）
ｍｉｎ２＝ ＭＩＮ｛Ｓｉｎ［ｉ−２，ｊ］，Ｓｉｎ［ｉ＋２，ｊ］，Ｓｉｎ［ｉ，ｊ−２］，Ｓｉｎ［ｉ，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ−２］，Ｓｉｎ［ｉ＋２，ｊ＋２］，Ｓｉｎ［ｉ−２，ｊ＋２］，Ｓｉｎ［ｉ＋２，ｊ−２］ ｝ ・・・（２４）
ｍｉｎ＝ＭＩＮ｛ｍｉｎ１，ｍｉｎ２ ｝ ・・・（２５）
Ｔｈ＝（ｍａｘ−ｍｉｎ）＊α ・・・（２６）
ｉｆ （Ｓｉｎ［ｉ，ｊ］≧ｍａｘ＋Ｔｈ） → Ｓｏｕｔ［ｉ，ｊ］＝ｍａｘ＋Ｔｈ´ ・・・（２７）
ｉｆ （Ｓｉｎ［ｉ，ｊ］≦ｍｉｎ−Ｔｈ） → Ｓｏｕｔ［Ｉ，ｊ］＝ｍｉｎ＋Ｔｈ´ ・・・（２８）

式（２６）において、定数倍αの値は０〜１の範囲の値をとるが、通常１に設定するとよい。それ以外の代表的設定値は、前述したように１／２、１／３、１／６である。また、Ｔｈ´＝０〜Ｔｈの範囲の値をとる。すなわちＴｈ´はＴｈの関数である。例えば０〜１の定数倍βを導入して、Ｔｈ´＝Ｔｈ×βとするとよい。通常Ｔｈ´＝０でよい。

このように、閾値として、置き換え値のために既に算出済みのｍａｘとｍｉｎ値を使って、ｍａｘ−ｍｉｎ値を採用することにより、極めて簡便に階調方向に対する統計的な判定処理を導入することが可能になる。すなわち、突出点の検出において、局所的な画像構造に依存して変化する（Ｍａｘ−Ｍｉｎ）値を採用することにより、適応的に統計異常を検知することが可能になり、フィルタリングによって階調方向のコントラストを低下させる弊害を防止しつつ、白傷、黒傷を的確に判定して取り除くことが可能になる。

これによって、実画像構造におけるテキスチャ領域のコントラスト低下を防止し、かつ、天の川銀河のような微光星が大量に集まるような画像のコントラストを保って真実の星の有無を再現しうることができる。更に、天体撮影では重要な長時間露光に伴う白傷・黒傷をきれいに取り除くことができる。上述の方法は、第２の実施の形態、第３の実施の形態で示した方法に対しても容易に同様の変更を加えることができるので、この場合の説明は省略する。

―第５の実施の形態―
第１〜第４の実施の形態では、周囲画素として、Ｂａｙｅｒ面上のＲ、Ｇ、Ｂのどの画素位置であっても、同色画素と異色画素の両方を使用する例を説明してきた。これらはソフトウェアでは難なく実現できる。しかしながら、ＡＳＩＣやＦＰＧＡなどのハードウェアに搭載するとき、回路規模の制約上、実施例１や実施例４で示した５×５の参照画素でさえ実装が困難な状況が発生する場合がある。第５の実施の形態では、そのときの対処法について説明する。

具体的には、図９に示すように、「○」で表す補正対象画素を中心とした３×３画素の最小範囲だけを参照する形にする。そうすると、Ｂａｙｅｒ面でＲ画素上とＢ画素上にあるときは、異色画素のみを参照することになる。Ｇ画素上にあるときは同色画素と異色画素の両方を参照する。したがって、画質的には第４の実施の形態よりもやや劣るが、回路規模を削減することができるようになる。この場合であっても、従来技術よりも空間分解能と階調分解能が改善することが保証される。

以下、図２のフローチャートを用いて、本実施の形態での処理について説明する。なお、ここでは、第４の実施の形態との相違点を中心に説明し、第４の実施の形態と同様の処理については、説明を省略する。第５の実施の形態では、図２に示したフローチャートのステップＳ３０における手順（Ｂ）、（Ｃ）で、次式（２９）〜（３３）により表される、３×３範囲内の少なくとも異色の隣接画素を含むＭａｘフィルタとＭｉｎフィルタとを用いて、白傷補正および黒傷補正を行う。
ｍａｘ＝ＭＡＸ｛Ｓｉｎ［ｉ−1，ｊ］，Ｓｉｎ［ｉ＋1，ｊ］，Ｓｉｎ［Ｉ，ｊ−1］，Ｓｉｎ［ｉ，ｊ＋1］，Ｓｉｎ［ｉ−1，ｊ−1］，Ｓｉｎ［ｉ＋1，ｊ＋1］，Ｓｉｎ［ｉ−1，ｊ＋1］，Ｓｉｎ［ｉ＋1，ｊ−1］｝ ・・・（２９）
ｍｉｎ＝ＭＩＮ｛Ｓｉｎ［ｉ−1，ｊ］，Ｓｉｎ［ｉ＋1，ｊ］，Ｓｉｎ［ｉ，ｊ−1］，Ｓｉｎ［ｉ，ｊ＋1］，Ｓｉｎ［ｉ−1，ｊ−1］，Ｓｉｎ［ｉ＋1，ｊ＋1］，Ｓｉｎ［ｉ−1，ｊ＋1］，Ｓｉｎ［ｉ＋1，ｊ−1］｝ ・・・（３０）
Ｔｈ＝（ｍａｘ−ｍｉｎ）＊α ・・・（３１）
ｉｆ （Ｓｉｎ［ｉ，ｊ］≧ｍａｘ＋Ｔｈ） → Ｓｏｕｔ［ｉ，ｊ］＝ｍａｘ＋Ｔｈ' ・・・（３２）
ｉｆ （Ｓｉｎ［ｉ，ｊ］≦ｍｉｎ−Ｔｈ） → Ｓｏｕｔ［ｉ，ｊ］＝ｍｉｎ＋Ｔｈ' ・・・（３３）
なお、式（３１）における定数倍α及び、式（３２）、（３３）におけるＴｈ'の取り方は第４の実施の形態と同様である。

―第６の実施の形態―
第４の実施の形態で上述した統計判断によるＭａｘ、Ｍｉｎフィルタの閾値の適応化は、Ｂａｙｅｒ画像に対する処理にとどまらず、通常の一般画像に対するＭａｘ、Ｍｉｎフィルタの改良としても使用することができる。すなわち、モノクロの撮像素子でとった長秒露光時の画像に対する白傷・黒傷補正としても利用することができるし、３板式カラー撮像素子でとった場合の白傷・黒傷補正としても利用することができる。さらには、単板式カラー画像の補間後のカラー画像に対しても同様の考えが成り立つ。カラー画像への適用は、モノクロ画像の処理をＲ、Ｇ、Ｂ面の各々に対して、あるいはＹＣｂＣｒ変換したＹ、Ｃｂ、Ｃｒ面の各面に対して、同じことを繰り返せばよいだけなので、モノクロ画像の場合の例だけをここに示す。

制御装置１０３は、まず、モノクロ画像データを取得する。具体的には、制御装置１０３には、光量に対して線型階調のモノクロ画像データが入力される。あるいは、ガンマ補正がなされていてもよい。本実施形態で導入した方法論による適応化の手法は、ガンマ補正の有無に関わらず、どちらの場合もうまく統計異常の判断を可能にすることを実験的に確認している。制御装置１０３は、入力されたモノクロ画像データに対して、以下の方法により白傷・黒傷補正を行う。

まず、制御装置１０３は、上述した式（１）によりデータコピーを行って、モノクロ画像データをＳｉｎのバッファメモリに退避させておく。その後、次式（３４）〜（３８）により表されるＭａｘフィルタとＭｉｎフィルタとを用いて、白傷補正および黒傷補正を行う。具体的には、図９に示すように、「○」で表す補正対象画素を中心とした３×３画素の範囲に含まれる周辺画素８点のＭａｘフィルタとＭｉｎフィルタとを用いて、白傷補正および黒傷補正を行う。なお、次式（３４）〜（３８）において、定数倍α及び、Ｔｈ´の取り方は、第４の実施の形態と同様である。

ｍａｘ ＝ ＭＡＸ｛ Ｓｉｎ［ｉ−１，ｊ］， Ｓｉｎ［ｉ＋１，ｊ］， Ｓｉｎ［ｉ，ｊ−１］， Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］， Ｓｉｎ［ｉ＋１，ｊ＋１］， Ｓｉｎ［ｉ−１，ｊ＋１］， Ｓｉｎ［ｉ＋１，ｊ−１］ ｝ ・・・（３４）
ｍｉｎ ＝ ＭＩＮ｛ Ｓｉｎ［ｉ−１，ｊ］， Ｓｉｎ［ｉ＋１，ｊ］， Ｓｉｎ［ｉ，ｊ−１］， Ｓｉｎ［ｉ，ｊ＋１］，Ｓｉｎ［ｉ−１，ｊ−１］， Ｓｉｎ［ｉ＋１，ｊ＋１］， Ｓｉｎ［ｉ−１，ｊ＋１］， Ｓｉｎ［ｉ＋１，ｊ−１］ ｝ ・・・（３５）
Ｔｈ＝（ｍａｘ−ｍｉｎ）＊α ・・・（３６）
ｉｆ（Ｓｉｎ［ｉ，ｊ］≧ｍａｘ＋Ｔｈ） → Ｓｏｕｔ［ｉ，ｊ］＝ｍａｘ＋Ｔｈ´ ・・・（３７）
ｉｆ（Ｓｉｎ［ｉ，ｊ］≦ｍｉｎ−Ｔｈ） → Ｓｏｕｔ［ｉ，ｊ］＝ｍｉｎ＋Ｔｈ´ ・・・（３８）

以上により、モノクロやカラーの一般画像の場合の白傷・黒傷補正においても、テキスチャや微光星のコントラスト低下を防止しつつ、正確に白傷・黒傷補正を可能にする。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）第１〜第４の実施の形態において、入力画像のビット精度と出力画像のビット精度を保つには、ホワイトバランスが掛かった処理の間は、最大ゲインの表現に必要なビット精度だけを余分に作業用ビットの深さとして持つ必要がある。このとき、一時的に作業用ビット精度を上げることが不都合な場合は、白傷・黒傷補正の段階でホワイトバランスのレベル調整を個別に組み込むことも可能である。具体的には、現在Ｇ画素を補正対象としている場合、周辺のＲ画素にはＲ／Ｇ＝ｋ１のホワイトバランスゲインを掛けた値に、周辺のＢ画素にはＢ／Ｇ＝ｋ２のホワイトバランスゲインを掛けた値に、それぞれ白傷・黒傷補正フィルタを適用すればよい。

他方、Ｒ画素を補正対象画素としている場合、周辺のＧ画素にはＧ／Ｒ＝１／ｋ１のホワイトバランスゲインを掛けた値に、周辺のＢ画素にはＢ／Ｒ＝ｋ２／ｋ１のホワイトバランスゲインを掛けた値に、それぞれ白傷・黒傷補正フィルタを適用すればよい。同様に、Ｂ画素を補正対象としている場合には、周辺のＧ画素にはＧ／Ｂ＝１／ｋ２のホワイトバランスゲインを掛けた値に、周辺のＲ画素にはＲ／Ｂ＝ｋ１／ｋ２のホワイトバランスゲインを掛けた値に、それぞれ白傷・黒傷補正フィルタを適用すればよい。

これにより、吐き出されたＳｏｕｔ［ｉ，ｊ］はそのまま、ホワイトバランスが掛かっていないＳｉｎ［ｉ，ｊ］と同じビット精度のＢａｙｅｒ画像データとして扱うことができる。したがって、作業用のビット拡張を回避した分、画像入力の方法は、Ｂａｙｅｒ配列の４種類の画素位置Ｒ、Ｇｒ、Ｇｂ、Ｂに応じて４つのパターンを用意しなければならなくなる。なお、ＧｒはＲが横方向に隣接するＧ画素を、ＧｂはＢが横方向に隣接するＧ画素を意味する。

（２）上述した第１〜第４の実施の形態では、撮像素子１０２は、Ｂａｙｅｒ配列の単板式カラー撮像素子であるものとし、出力される画像データが正方格子配列である例について説明した。しかしながら、撮像素子１０２がＢａｙｅｒ配列以外の単板撮像素子である場合にも本発明は適用可能である。例えばＢａｙｅｒ配列を４５度回転したハニカム配列では、第１〜第３の実施の形態で上述した白傷・黒傷補正フィルタをそのまま４５度回転すればよい。すなわち、異色画素を用いてフィルタを組むという考え方は、他の色配列であっても容易に構成することができる。他の色フィルタ配列の例として、GストライプRB市松配列や非正方格子のデルタ配列などが挙げられる。

（３）上述した第１、２、４の実施の形態では、白傷・黒傷補正後に色補間処理を行う例について説明した。この場合、色補間処理が完了したデータは、モニタ１０５への表示用データとして出力ガンマ補正が最終的に掛かっているのが普通である。色補間処理には種々の方法論があるが、その中でも最も簡易な方法論の１つとして色補間処理の前にＢａｙｅｒ画像データの状態で出力ガンマ補正を行い、色補間処理を通すという方法論がある。

上述した白傷・黒傷補正は光量に対して線型階調のＢａｙｅｒデータで行っていたが、Ｍａｘ，Ｍｉｎを比較する上での大小関係は、ガンマ補正の有無に無関係であるので、ガンマ補正の掛かったＢａｙｅｒデータに対して行ってもよい。すなわち、図２に示したフローチャートにおいて、制御装置１０３は、ステップＳ２０でホワイトバランス補正を行った後に、ガンマ補正を行ってからステップＳ３０の白傷・黒傷補正を行うようにしてもよい。

（４）上述した第１〜第４の実施の形態では、カメラ１００において図２または図７に示す処理を実行する例について説明した。しかしながら、入力されたＢａｙｅｒ画像データに対して図２または図７に示す処理を実行することができる他の機器、例えばパソコン等にも本発明は適用可能である。この場合、図２または図７に示す処理を実行するためのプログラムをパソコン等の機器に記録しておき、該機器でこのプログラムが実行されることにより、入力されたＢａｙｅｒ画像データに対して白傷・黒傷補正が施される。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ 撮像素子、１０３ 制御装置、１０４ メモリカードスロット、１０５ モニタ

Claims (8)

1. 画像データの画素値を補正する画像処理装置であって、
   複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、
   前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、前記複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値との間の中から最大値を算出する算出手段と、
   前記処理対象画素の画素値と前記最大値とを比較して、前記処理対象画素の画素値が前記最大値よりも大きな値を示す場合、前記処理対象画素の画素値を前記最大値で置き換える補正手段とを備えることを特徴とする画像処理装置。
2. 画像データの画素値を補正する画像処理装置であって、
   複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、
   前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値を少なくとも含む複数の周囲画素の画素値の中から最大値を算出する算出手段と、
   前記処理対象画素の値と前記最大値を比較して、前記処理対象画素の値が前記最大値よりも大きな値を示す場合、前記処理対象画素の値を前記最大値で置き換える補正手段とを備えることを特徴とする画像処理装置。
3. 画像データの画素値を補正する画像処理装置であって、
   複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、
   前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素の画素値と、前記複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値との間の中から最小値を算出する算出手段と、
   前記処理対象画素の画素値と前記最小値とを比較して、前記処理対象画素の画素値が前記最小値よりも小さな値を示す場合、前記処理対象画素の画素値を前記最小値で置き換える補正手段とを備えることを特徴とする画像処理装置。
4. 画像データの画素値を補正する画像処理装置であって、
   複数の色成分からなり、１つの画素に１つの色成分を有する複数の画素からなる画像データを入力する入力手段と、
   前記画像データの１つの処理対象画素に対し、該処理対象画素と同じ色成分を有する複数の周囲の同色画素よりも前記処理対象画素に近接して存在する、前記処理対象画素とは異なる色成分を有する複数の周囲の異色画素の画素値を少なくとも含む複数の周囲画素の画素値の中から最小値を算出する算出手段と、
   前記処理対象画素の値と前記最小値を比較して、前記処理対象画素の値が前記最小値よりも小さな値を示す場合、前記処理対象画素の値を前記最小値で置き換える補正手段とを備えることを特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置において、
   前記算出手段は、更に前記最大値の算出に参照した同じ画素の画素値の中から最小値を算出し、
   前記算出された最大値から最小値を差し引いた差分値を算出し、該差分値に対して定数倍した値を前記処理対象画素に対する閾値として設定する設定手段をさらに備え、
   前記補正手段は、前記処理対象画素の値と、前記最大値に対して前記閾値を加算した値を比較して、前記処理対象画素の値が該加算値を超えて大きな値を示す場合、前記処理対象画素の値を前記最大値で置き換えることを特徴とする画像処理装置。
6. 請求項３または４に記載の画像処理装置において、
   前記算出手段は、更に前記最小値の算出に参照した同じ画素の画素値の中から最大値を算出し、
   前記算出された最大値から最小値を差し引いた差分値を算出し、該差分値に対して定数倍した値を前記処理対象画素に対する閾値として設定する設定手段とを備え、
   前記補正手段は、前記処理対象画素の値と、前記最小値に対して前記閾値を減算した値を比較して、前記処理対象画素の値が該減算値を超えて小さな値を示す場合、前記処理対象画素の値を前記最小値で置き換えることを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記算出手段は、前記異色画素の画素値として、前記画像データの色成分間で予め決まっているホワイトバランスの調整値を用いて、前記処理対象画素の色成分を基準としたゲイン調整が行われた後の値を用いることを特徴とする画像処理装置。
8. 請求項１〜７のいずれか一項に記載の画像処理装置において、
   前記算出手段は、前記画像データが正方格子配列の場合には、前記複数の周囲の異色画素の画素値として、前記処理対象画素を中心に３×３画素の範囲内に含まれる異色画素の画素値を用いることを特徴とする画像処理装置。

Images