JP4677766B2 - 画像処理装置、および画像処理プログラム。 - Google Patents

Description

本発明は、画像からラインクローリングを除去する画像処理装置および画像処理プログラムに関する。

一般に、撮像素子の受光面は画素単位に区画され、これら画素には光電変換を実施する受光部が設けられる。このような画素には、近傍の画素（例えば隣接画素）から光や信号電荷が僅かながら混入し、撮像画像にラインクローリングと呼ばれる画質劣化が発生する。
特許文献１には、注目画素値と隣接画素値との信号レベル差（絶対値）が所定値以上の場合に、注目画素に平滑化フィルタを適用することによって、このラインクローリングを抑制する技術が開示されている。
米国特許第６，６８６，９６１号明細書（図１２参照）

上述したように、特許文献１では、注目画素に平滑化フィルタを適用することでラインクローリングを抑制する。
この従来技術では、注目画素の持つ本来の微細な画像情報まで平滑化により失われるため、画像本来のディテールが落ちたり、画像の輪郭部分が鈍るなどの問題が生じる。

また、撮像素子によっては、受光面上の画素位置によって信号混入率が変化する。この位置的な変化により、ラインクローリングには２次元的なレベル変動が生じる。このような２次元的なレベル変動は、なだらかに低域変動する成分を含む。そのため、特許文献１のような局所的な平滑化フィルタでは、この２次元的なレベル変動（特に低域変動）を十分に除去することができない。

さらに、ラインクローリングの原因である、近傍画素から混入する妨害成分は、その近傍画素への入射光の強さなどに依存して変化する。すなわち、この場合の妨害成分は、被写体像の絵柄の影響を受ける。しかし、特許文献１では、局所的な平滑化フィルタを等しく適用するため、このような絵柄の影響を受けたラインクローリングを正確に除去することができない。

そこで、本発明では、これら上述した問題点に鑑みて、画像からラインクローリングを適切に除去することを目的とする。

本発明は、撮像素子から得たＲＡＷデータに対し、ラインクローリングを抑制する画像処理装置であって、対応記憶部、クローリング算出部、クローリング算出部、および補正部を備える。
対応記憶部は、「撮像素子の第１の色成分の画素の画素位置」と「その画素位置における隣接する第２の色成分の画素からの信号混入率を示す伝搬係数」との対応関係を予め記憶する。
クローリング算出部は、ＲＡＷデータの第１の色成分の画素の画素位置を対応関係に照会して伝搬係数を取得し、隣接する第２の色成分の画素の画素値と伝搬係数とを乗じ、ラインクローリングの２次元的なレベル変動を算出する。
補正部は、第１の色成分の画素の画素値から、クローリング算出部が求めたラインクローリングの２次元的なレベル変動を除去する。

なお好ましくは、対応記憶部は、撮像素子から得た所定の被写体像を撮像した第１のＲＡＷデータおよび所定の被写体像を第２の色成分を低減して撮像した第２のＲＡＷデータに基づいて、対応関係を関数近似した近似式データを記憶する。クローリング算出部は、照会する第１の色成分の画素の画素位置と近似式データとに基づいて伝搬係数を算出する。
なお好ましくは、対応記憶部は、ラインクローリングの周期変動の位相に応じて第１のＲＡＷデータおよび第２のＲＡＷデータを複数のインタレースライン群に予め分類した上で、これらインタレースライン群毎に対応関係を関数近似した近似式データを記憶する。クローリング算出部は、照会する第１の色成分の画素の画素位置が属するインタレースライン群の近似式データを選択し、選択した近似式データに基づいて伝搬係数を算出する。

また好ましくは、第１の色成分の画素は、Ｇ画素であり、対応記憶部は、ＲＧＢベイヤ配列の第１のＲＡＷデータおよび第２のＲＡＷデータを、ＲＧライン群とＧＢライン群に予め分類した上で、これらライン群毎に対応関係を関数近似した近似式データを記憶する。クローリング算出部は、照会するＧ画素の位置が属するライン群の近似式データを選択し、選択した近似式データに基づいて伝搬係数を算出する。

なお好ましくは、対応記憶部は、撮像素子の画素領域を複数領域に分割し、これら領域ごとに対応関係を関数近似で記憶する。一方、クローリング算出部は、照会する第１の色成分の画素の画素位置が属する領域の関数近似により伝搬係数を算出する。

本発明の画像処理プログラムは、コンピュータを、本発明の対応記憶部、クローリング算出部、および補正部として機能させるための画像処理プログラムである。

上述した本発明では、「撮像素子の画素位置」と「その画素位置における近傍画素からの信号混入率を示す伝搬係数」との対応関係を予め記憶する。この対応関係は、特許文献１の局所的平滑化では除去しきれなかったラインクローリングの２次元的な低域変動を含む。
さらに、本発明では、この伝搬係数と近傍画素の画素値とを乗じる変調処理（伝搬のシミュレーション）により、被写体像の絵柄を反映したラインクローリングを求める。

したがって、本発明では、ラインクローリングの２次元的なレベル変動を精緻に求めることが可能になる。その結果、ＲＡＷデータ中に含まれ、かつ画質劣化の原因となるラインクローリングを適切に低減することが可能になる。

《実施形態の構成説明》
図１は、本実施形態における電子カメラ１１の構成を示す図である。
図２は、この電子カメラ１１のカラーフィルタアレイ（ベイヤ配列）を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この受光面には、図２に示すカラーフィルタアレイが設けられる。
このＲＡＷデータは、Ａ／Ｄ変換部１４を介して画素単位にデジタル化された後、画像処理装置１５に与えられる。
この画像処理装置１５は、下記の構成要件を備える。

（１）対応記憶部１６・・画素位置（Ｘ，Ｙ）と、その画素位置における信号混入率を示す伝搬係数ｍとの対応関係を記憶する。
（２）クローリング算出部１７・・伝搬係数ｍと隣接画素値Ｎとを乗じて、ラインクローリングの２次元的なレベル変動を求める。
（３）補正部１８・・ＲＡＷデータからラインクローリングの２次元的なレベル変動を除去する。

この画像処理装置１５の出力は、画像バッファ１９、画像記録部２０を経て処理された後、記録媒体２１に記録される。
なお、電子カメラ１１には、制御部２２および操作部材２３も設けられる。

《データ作成の準備作業》
対応記憶部１６は、上述したように対応関係のデータを保持する。この対応関係のデータは、電子カメラ１１をデータ作成モードに切り換えることによって、随時作成することができる。
図３は、この対応関係のデータ作成手順を示す図である。
以下、このデータ作成手順を説明する。

ステップＳ１： ユーザー（正確にはデータ作成の操作者）は、１８％グレー板のようなＲＧＢ成分がなるべく略均一に含まれる評価画像を、電子カメラ１１の撮影画角に合わせて設置する。
この状態で、ユーザーは、レリーズ操作を行い、第１ＲＡＷデータを得る。この第１ＲＡＷデータは、補正部１８を介して、画像バッファ１９に一時記録される。

ステップＳ２： 続いて、ユーザーは、撮影レンズ１２にＲＢ成分の波長帯を低減するフィルタを取り付ける。ユーザーは、この状態で２回目のレリーズ操作を行う。
このとき、撮像素子１３が出力する第２ＲＡＷデータは、ＲＢ画素（図２参照）の画素値がほぼゼロを示すデータとなる。したがって、第２ＲＡＷデータのＧ画素値は、ＲＢ画素からの信号混入を受けない値となる。

ステップＳ３： 補正部１８は、Ｇ画素位置ごとに下記の計算を実施し、求めた混入ＲＢ成分を、画像バッファ１９に一時記録する。
混入ＲＢ成分＝（第１ＲＡＷデータのＧ画素値）−（第２ＲＡＷデータのＧ画素値）

ステップＳ４： 補正部１８は、Ｇ画素位置ごとに下記の計算を実施し、求めた信号混入率を、画像バッファ１９に一時記録する。
信号混入率＝［混入ＲＢ成分］／［第１ＲＡＷデータの隣接画素値］
ただし、この隣接画素値は、主たる信号混入方向（以下、この方向を『ライン』と呼ぶ）に隣接するＲ画素またはＢ画素の画素値である。

ステップＳ５： 補正部１８は、ＲＧライン群（図２参照）の信号混入率Ｚｒｇを示す伝搬係数ｍｒを、Ｇ画素の画素位置（Ｘ，Ｙ）の関数として近似する。補正部１８は、求めた近似式データを対応記憶部１６に記録する。
なお、このような関数としては、信号混入率Ｚｒｇの大まかな２次元変化を近似できる関数を選択して、最小二乗法を用いて近似することが好ましい。
例えば、下記のような多項式に近似することが可能である。

この多項式を使用した場合、補正部１８は、係数ｋ１〜ｋ１０の値を近似式データとして、対応記憶部１６に記録する。
なお、複数の関数を予め準備してそれぞれに関数近似を実施し、その内で近似誤差が最小となる近似式を選択してもよい。

ステップＳ６： 補正部１８は、ＧＢライン群（図２参照）の信号混入率Ｚｇｂが示す伝搬係数ｍｂについてもステップＳ５と同一の処理を行う。
例えば、伝搬係数ｍｂを下記のような多項式に近似することが可能である。

この多項式を使用した場合、補正部１８は、係数ｈ１〜ｈ１０の値を近似式データとして、対応記憶部１６に記録する。
以上の動作により、対応関係のデータ作成が完了する。

《クローリング補正処理の動作説明》
図４は、撮像画像に対して施されるクローリング補正処理を説明する流れ図である。
以下、図４に示すステップ番号に沿って、このクローリング補正処理を説明する。

ステップＳ１１： 撮像素子１３から出力されるＲＡＷデータは、Ａ／Ｄ変換部１４で画素単位にデジタル化された後、補正部１８に走査順に入力される。

ステップＳ１２： クローリング算出部１７は、走査入力されるＧ画素の画素位置（Ｘ，Ｙ）を情報取得する。

ステップＳ１３： クローリング算出部１７は、図２に示す色配列に基づいて、Ｇ画素の画素位置（Ｘ，Ｙ）が、どのインタレースライン群に属するかを判定する。
ここで、画素位置（Ｘ，Ｙ）がＲＧライン群に属する場合、クローリング算出部１７はステップＳ１４に動作を移行する。
一方、画素位置（Ｘ，Ｙ）がＧＲライン群に属する場合、クローリング算出部１７はステップＳ１５に動作を移行する。

ステップＳ１４： クローリング算出部１７は、対応記憶部１６から情報取得したＲＧライン群の近似式データ（例えば、上述した係数ｋ１〜ｋ１０の値）を選択する。この動作の後、クローリング算出部１７は、ステップＳ１６に動作を移行する。

ステップＳ１５： クローリング算出部１７は、対応記憶部１６から情報取得したＧＢライン群の近似式データ（例えば、上述した係数ｈ１〜ｈ１０の値）を選択する。この動作の後、クローリング算出部１７は、ステップＳ１６に動作を移行する。

ステップＳ１６： クローリング算出部１７は、選択した近似式データを関数式（ステップＳ５，Ｓ６で使用した関数式）に代入して、画素位置（Ｘ，Ｙ）における伝搬係数ｍ（Ｘ，Ｙ）を近似計算する。

ステップＳ１７： クローリング算出部１７は、画素位置（Ｘ，Ｙ）の隣接画素から画素値Ｎを取得する。
ちなみに、画素位置（Ｘ，Ｙ）がＲＧライン群に属する場合、この隣接画素値ＮはＲ値となる。一方、画素位置（Ｘ，Ｙ）がＧＢライン群に属する場合、この隣接画素値ＮはＢ値となる。
なお、補正処理の遅延を防ぐためには、走査順で先行する隣接画素から隣接画素値Ｎを取得することが好ましい。
また、ライン上の右側隣接画素値Ｎrightと、左側隣接画素値Ｎleftとを平均化して、隣接画素値Ｎとしてもよい。（この平均化は、隣接画素値Ｎのノイズを低減するという点からも好ましい。）
また、左右からの信号混入比率が既知の場合には、その比率に応じて、左右の隣接画素値Ｎright，Ｎleftを加重平均して、隣接画素値Ｎとしてもよい。

ステップＳ１８： クローリング算出部１７は、隣接画素値Ｎと伝搬係数ｍを乗じることにより、画素位置（Ｘ，Ｙ）におけるラインクローリングのレベル変動ｍ（Ｘ，Ｙ）・Ｎを算出する。
補正部１８は、画素位置（Ｘ，Ｙ）のＧ画素値からレベル変動ｍ（Ｘ，Ｙ）・Ｎを下式に従って除去し、Ｇ画素の補正値Ｇ′を求める。
Ｇ′（Ｘ，Ｙ）＝Ｇ（Ｘ，Ｙ）−Ｑ・ｍ（Ｘ，Ｙ）・Ｎ
ただし、Ｑは、ラインクローリングの除去効果を調整する係数であり、例えば『１』に設定される。なお、係数Ｑの値については、画質の主観評価に基づいて適宜に調整設定することが好ましい。

ステップＳ１９： ＲＡＷデータの走査が完了するまで、画像処理装置１５は、上述したステップＳ１２〜Ｓ１８の動作を繰り返す。
上述した一連の動作により、ラインクローリングの補正処理が完了する。

《本実施形態の効果など》
以上説明した動作により、本実施形態では、伝搬係数ｍ（Ｘ，Ｙ）の２次元パターンと、近接画素値Ｎの２次元パターンとから、ラインクローリングのレベル変動を２次元的に緻密に算出することができる。そのため、ＲＡＷデータ中のラインクローリングを２次元的に精度良く除去することができる。

なお、本発明者は、ベイヤ配列における信号混入率が、ＲＧライン群とＧＢライン群とで、独立した傾向を示すことに気が付いた。
図５［Ａ］は、ＲＧライン群の信号混入率Ｚｒｇを、Ｇ画素の画素位置（Ｘ，Ｙ）ごとに模式的に示した図である。
図５［Ｂ］は、ＧＢライン群の信号混入率Ｚｇｂを、Ｇ画素の画素位置（Ｘ，Ｙ）ごとに模式的に示した図である。

これら信号混入率Ｚｒｇ，Ｚｇｂは、それぞれに高い空間連続性を示す。しかしながら、信号混入率Ｚｒｇ，Ｚｇｂとの間には相関性が低い。したがって、仮にこれら２つの信号混入率Ｚｒｇ，Ｚｇｂをラインの順番に織り交ぜると、信号混入率はライン毎に非連続な変動を示すようになる。この状態では、上述した関数近似の精度が全般に低くなる。

そこで、本実施形態では、ＲＡＷデータをＲＧライン群とＧＢライン群とにグループ分けして、それぞれに関数近似を行う。このようなグループ分けによって関数近似の精度を高め、ＲＡＷデータ中のラインクローリングを一段と精度良く除去することが可能になる。

《実施形態の補足事項》
なお、上述した実施形態では、画像全体について関数近似を行っている。しかしながら、本発明はこれに限定されるものではない。例えば、図６に示すように、ＲＡＷデータを複数領域（図６では領域１〜６）に分割し、領域毎に伝搬係数ｍの関数近似を行ってもよい。
また、上述した実施形態では、信号混入率をそのまま伝搬係数ｍに採用している。しかしながら、本発明はこれに限定されるものではない。一般的に、Ｇ画素のみにラインクローリング補正を行った場合、ＲＢ画素値とＧ画素値との間にレベルオフセットを生じることが懸念される。このような問題を回避するためには、信号混入率の交流分を抽出して、伝搬係数ｍとすればよい。

なお、上述した実施形態では、隣接画素値Ｎと伝搬係数ｍとの乗算結果をそのままＧ画素値から除去している。しかしながら、本発明はこれに限定されるものではない。一般的に、隣接画素値Ｎが大きくかつＧ画素値が小さい高彩度領域では、隣接画素値Ｎに含まれるノイズ分が、補正演算によってＧ画素に混入してしまう。この場合、高彩度領域のＳ／Ｎ低下が懸念される。このような問題を回避するため、隣接画素値Ｎと伝搬係数ｍとの乗算結果に対して、信号レベル（または振幅レベル）の制限処理を追加することが好ましい。このような制限処理により、高彩度領域のＳ／Ｎ低下を回避することができる。

また、上述した実施形態では、ＲＧライン群／ＧＢライン群に分けて、関数近似を行っている。しかしながら、本発明はこれに限定されるものではない。一般的には、ラインクローリングの周期変動の位相に応じて、ＲＡＷデータを複数のインタレースライン群に分ければよい。このようなグループ分けによって、信号混入率の空間連続性を高め、関数近似の精度を高めることが可能になる。

なお、上述した実施形態では、電子カメラ１１内において補正演算を実施する形態について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、電子カメラが、画素位置と伝搬係数ｍとの対応関係（近似式データなど）を、画像ファイル内に記録してもよい。この場合、図５と同様の画像処理プログラムをコンピュータで実行することによって、上述した補正を後処理で実施することができる。

また、上述した実施形態では、近似式データを対応関係としている。しかしながら、本発明はこれに限定されるものではない。例えは、画素位置（Ｘ，Ｙ）と伝搬係数ｍとの数値テーブルデータを対応関係としてもよい。

なお、上述した実施形態では、ＲＧライン群のＧ画素値を隣接するＲ画素値で補正し、ＧＢライン群のＧ画素値を隣接するＢ画素値で補正している。しかしながら、本発明はこれに限定されるものではない。一般的に、信号混入範囲の近傍画素（隣接ラインやＧ画素も含む）について伝搬係数をそれぞれ求めて、注目画素の画素位置（Ｘ，Ｙ）とこれら伝搬係数との対応関係を記憶することが可能である。これら近傍画素の値と伝搬係数とを乗じた補正項を追加することにより、ラインクローリングの２次元的なレベル変動を更に精緻に求めることが可能になる。このような補正項により、ライン上に限らず隣接ラインなどからの信号混入にも対応することが可能になる。また、近赤外光のように撮像素子の受光部の深部を経ることで数画素離れて生じる信号混入にも対応することが可能になる。

また、上述した実施形態では、Ｇ画素のみに補正処理を行っている。しかしながら、本発明はこれに限定されるものではない。同様にして、Ｒ画素やＢ画素に対して補正処理を行うことが可能である。

なお、上述した実施形態では、ＲＧＢベイヤ配列のケースについて説明した。しかしながら、本発明はＲＧＢベイヤ配列に限定されるものではない。本発明は、撮像素子の色配列パターンや信号混入経路に実態に応じて、適切かつ柔軟に実施することが可能である。

以上説明したように、本発明は、電子カメラ、画像処理装置、画像処理プログラムなどに利用可能な技術である。

本実施形態における電子カメラ１１の構成を示す図である。 この電子カメラ１１のカラーフィルタアレイを示す図である。 この対応関係のデータ作成手順を示す図である。 撮像画像に対して施されるクローリング補正処理を説明する流れ図である。 インタレースライン群毎の信号混入率を模式的に示す図である。 画像の領域区分を示す図である。

符号の説明

１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 画像処理装置
１６ 対応記憶部
１７ クローリング算出部
１８ 補正部
１９ 画像バッファ
２０ 画像記録部
２１ 記録媒体
２２ 制御部
２３ 操作部材

Claims (6)

1. 撮像素子から得たＲＡＷデータに対し、ラインクローリングを抑制する画像処理装置であって、
   「前記撮像素子の第１の色成分の画素の画素位置」と「その画素位置における隣接する第２の色成分の画素からの信号混入率を示す伝搬係数」との対応関係を予め記憶する対応記憶部と、
   前記ＲＡＷデータの前記第１の色成分の画素の画素位置を前記対応関係に照会して前記伝搬係数を取得し、隣接する前記第２の色成分の画素の画素値と前記伝搬係数とを乗じ、前記ラインクローリングの２次元的なレベル変動を算出するクローリング算出部と、
   前記第１の色成分の画素の画素値から、前記クローリング算出部が求めた前記ラインクローリングの２次元的なレベル変動を除去する補正部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記対応記憶部は、
   前記撮像素子から得た所定の被写体像を撮像した第１のＲＡＷデータおよび前記所定の被写体像を前記第２の色成分を低減して撮像した第２のＲＡＷデータに基づいて、前記対応関係を前記関数近似した近似式データを記憶し、
   前記クローリング算出部は、
   照会する前記第１の色成分の画素の画素位置と前記近似式データとに基づいて前記伝搬係数を算出する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記対応記憶部は、
   前記ラインクローリングの周期変動の位相に応じて前記第１のＲＡＷデータおよび前記第２のＲＡＷデータを複数のインタレースライン群に予め分類した上で、これらインタレースライン群毎に前記対応関係を関数近似した近似式データを記憶し、
   前記クローリング算出部は、
   照会する前記第１の色成分の画素の画素位置が属する前記インタレースライン群の前記近似式データを選択し、選択した前記近似式データに基づいて前記伝搬係数を算出する
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第１の色成分の画素は、Ｇ画素であり、
   前記対応記憶部は、
   ＲＧＢベイヤ配列の前記第１のＲＡＷデータおよび第２のＲＡＷデータを、ＲＧライン群とＧＢライン群に予め分類した上で、これらライン群毎に前記対応関係を関数近似した近似式データを記憶し、
   前記クローリング算出部は、
   照会する前記Ｇ画素の位置が属するライン群の前記近似式データを選択し、選択した前記近似式データに基づいて前記伝搬係数を算出する
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記対応記憶部は、
   前記撮像素子の画素領域を複数領域に分割し、前記領域ごとに前記対応関係を関数近似で記憶し、
   前記クローリング算出部は、
   照会する前記第１の色成分の画素の画素位置が属する領域の関数近似により前記伝搬係数を算出する
   ことを特徴とする画像処理装置。
6. コンピュータを、請求項１ないし請求項５のいずれか１項に記載の前記対応記憶部、前記クローリング算出部、および前記補正部として機能させるための画像処理プログラム。

Images