JP5359553B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

従来、撮像素子における欠陥画素や焦点検出用画素における画素値を、それらの周囲にある他の画素の画素値を用いて補正する様々な技術が開発されている。

例えば、特許文献１は、画像において、注目画素から１ライン分だけ離れた同色ライン上の縦横方向の画素の画素値を用いて、注目画素が欠陥画素か否か、ラインクロールの有無、及び斜め方向のエッジの有無を判定することにより、ラインクロールの影響を評価して注目画素の画素値を補正する技術を開示している。

特開２００６−３０４２３１号公報

しかしながら、特許文献１のような従来技術では、注目画素に対して１ライン分だけ離れた同色ライン上の縦横方向の画素の画素値を用いて、注目画素の画素値を算出することから、急峻な画像構造を有する画像の場合には演算精度が低下してしまう。

上記従来技術が有する問題に鑑み、本発明の目的は、補正精度を低下させることなく欠陥画素等における画素値を補正することができる技術を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、補正対象画素の周囲で補正対象画素と同じ色のカラーフィルタを有する画素のうち、補正対象画素及びその周囲の画素に分布するノイズのパターンとは異なるノイズのパターンが分布している画素の画素値を用いて、補正対象画素の第１の補間値を算出する第１の補間部と、補正対象画素の周囲で補正対象画素と同じ色のカラーフィルタを有する画素のうち、補正対象画素に分布するノイズのパターンと同じノイズのパターンが分布している画素の画素値を用いて、補正対象画素の第２の補間値を算出する第２の補間部と、第１の補間値と第２の補間値とから求めた修正値を、第１の補間値に加算して、補正対象画素の画素値を求める画素演算部と、を備える。

また、修正値は、所定範囲内にあっても良い。

また、画素演算部は、第１の補間値と第２の補間値との差分を所定範囲内にクリップすることにより修正値を算出する修正値算出部を備えても良い。

また、所定範囲は、画像の撮像時における光学条件に基づいて決定されても良い。

本発明の撮像装置は、撮像素子によって撮像された被写体像の画像を生成する撮像部と、本発明の画像処理装置と、を備える。

本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置として機能させる。

本発明によれば、補正精度を低下させることなく欠陥画素等における画素値を補正することができる。

本発明の一の実施形態に係る電子カメラ１０の構成を示すブロック図 撮像素子２によって撮像された画像データの一部を示す図 電子カメラ１０による画像処理のフローチャート 電子カメラ１０のＣＰＵ５における画像データのフローを示す図

図１は、本発明の一の実施形態に係る電子カメラ１０の構成図である。

電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、カードインタフェース（カードＩ／Ｆ）６、操作部材８、記憶部９及び表示部１１から構成される。そして、バッファメモリ４、ＣＰＵ５、カードＩ／Ｆ６、操作部材８、記憶部９及び表示部１１は、バス１２を介して情報伝達可能に接続されている。なお、図１は電子カメラ１０の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。

撮像素子２は、その受光面上にマトリックス状に配置された複数の画素の各々に、Ｒ（赤）、Ｇ（緑）又はＢ（青）のいずれかのカラーフィルタがベイヤ配列型に設けられたＣＣＤやＣＭＯＳ等の半導体イメージセンサであり、適宜選択して用いることができる。図２は、撮像素子２によって撮像された画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各カラーフィルタを有する画素を示し、これらの記号に続く２桁の数字は画素の位置を示す。なお、本実施形態の撮像素子２は、欠陥画素を有し、ラインクロールの現象を生ずるものとする。ここで、ラインクロールとは、ベイヤ配列型に設けられたＲ、Ｇ及びＢの各カラーフィルタのうち、特に、カラーフィルタＲを透過する波長の長い光が、隣接する他のカラーフィルタＧ又はＢを有する画素に漏れることにより、隣接する他のカラーフィルタＧ又はＢの画素が、カラーフィルタＧ又はＢを透過した光による画素値に、漏れてきた波長の長い光による画素値（ノイズ）を加算した値を出力する現象を言う。そして、そのノイズの分布は、カラーフィルタＲの分布及び被写体像からの入射光の方向に応じて決まる。

撮像素子２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ４に記録される。バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザによって操作部材８の電源釦が押され電子カメラ１０に電力が供給されると、記憶部９に記憶されている制御プログラムや画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、操作部材８を介してユーザからの指示の信号を受信し制御プログラムに基づいて、タイミングジェネレータ（不図示）に対して被写体像の撮像指令の出力を行ったり、撮像された画像の画像処理を行ったりする。さらに、ＣＰＵ５は、カードメモリ７や記憶部９への記録及び表示部１１への表示等の制御をも行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵを使用することができる。

カードＩ／Ｆ６には、カードメモリ７が着脱可能に装着される。バッファメモリ４に記録される画像は、ＣＰＵ５で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ７に記録される。

操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材８には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材８は、後述する表示部１１の画面の前面に設けられるタッチパネル式の釦であっても良い。

記憶部９は、電子カメラ１０が撮像した画像データや、ＣＰＵ５が電子カメラ１０を制御するための制御プログラム等の各種プログラム等を記憶する。さらに、記憶部９は、画像処理で用いる各種係数のデータも記憶する。記憶部９に記憶されるプログラムやデータは、バス１２を介して、ＣＰＵ５から適宜参照することができる。記憶部９は、一般的なハードディスク装置や光磁気ディスク装置、又は半導体メモリ等の記憶装置を適宜選択して用いることができる。

表示部１１は、構図確認用の低解像度画像（いわゆる、スルー画）や撮像した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。

次に、本実施形態に係る電子カメラ１０によって撮像された画像に対する補正の画像処理ついて、図３の画像処理のフローチャート及び図４のＣＰＵ５における画像データのフローを参照しながら説明する。

ユーザにより操作部材８の電源釦が押され電子カメラ１０に電力が供給されると、ＣＰＵ５は、記憶部９に記憶されている制御プログラム及び画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、ユーザからの被写体像の撮像指示が出されるまで待機する。

なお、以下の説明において、ユーザによる操作部材８のモード設定釦によって、ポートレートや風景等の静止画像の撮像モードが選択されているものとする。また、図２に示す画素Ｇ４５を欠陥画素である補正対象画素として、補正の画像処理について説明するが、他の欠陥画素に対しても同様の処理が行われる。

ステップＳ１０：ユーザによって操作部材８のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子２に発し、撮像素子２は撮像レンズ１によって結像された被写体像を撮像する。撮像された画像データは、Ａ／Ｄ変換部３によってデジタルの画像データに変換され、バッファメモリ４に記録される。

ステップＳ１１：ＣＰＵ５は、バッファメモリ４から画像データを読み込み、ＣＰＵ５の画像方向判定部１０１は、補正対象画素Ｇ４５での画素値を補間するために、補正対象画素Ｇ４５の周辺の画像構造を判定する。具体的には、画像方向判定部１０１は、補正対象画素Ｇ４５の周囲にある同色画素の画素値を用いて、４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、次式（１）〜（４）を用いてそれぞれ求める。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜ …（１）
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜ …（２）
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜ …（３）
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜ …（４）
ステップＳ１２：ＣＰＵ５の第１の補間部１０２は、ステップＳ１１で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある画素のうち、補正対象画素Ｇ４５に最も隣接するカラーフィルタＧを有する画素の画素値を用いて、補正対象画素Ｇ４５の位置での第１の補間値Ｇ１を、次式（５）〜（８）のうち選択した方向に対応する式を用いて求める。
方向変動Ｈ１が最小の場合
Ｇ１＝（Ｇ４３＋Ｇ４７）／２ …（５）
方向変動Ｈ２が最小の場合
Ｇ１＝（Ｇ２５＋Ｇ６５）／２ …（６）
方向変動Ｈ３が最小の場合
Ｇ１＝（Ｇ３６＋Ｇ５４）／２ …（７）
方向変動Ｈ４が最小の場合
Ｇ１＝（Ｇ３４＋Ｇ５６）／２ …（８）
ステップＳ１３：ＣＰＵ５の第２の補間部１０３は、補正対象画素Ｇ４５に対して、１ライン離れた水平走査方向又は垂直走査方向に位置するカラーフィルタＧの画素の画素値を用いて、補正対象画素Ｇ４５の位置における第２の補間値Ｇ２を、次式（９）〜（１２）のうち選択した方向に対応する式を用いて求める。
方向変動Ｈ１が最小の場合
Ｇ２＝（Ｇ４３＋Ｇ４７）／２ …（９）
方向変動Ｈ２が最小の場合
Ｇ２＝（Ｇ２５＋Ｇ６５）／２ …（１０）
方向変動Ｈ３が最小の場合
Ｇ２＝（Ｇ２７＋Ｇ６３）／２ …（１１）
方向変動Ｈ４が最小の場合
Ｇ２＝（Ｇ２３＋Ｇ６７）／２ …（１２）
ここで、第１の補間部１０２によって算出された第１の補間値Ｇ１は、補正対象画素Ｇ４５に最も隣接するカラーフィルタＧを有する画素の画素値を用いて、求められることから補正精度は高い。しかしながら、近くに位置するために、補正対象画素Ｇ４５に対するカラーフィルタＲの画素は垂直走査方向の両側に位置する。一方、例えば、画素Ｇ３４、Ｇ３６、Ｇ５４及びＧ５６のそれぞれに対するカラーフィルタＲの画素は、水平走査方向の両側に位置する。したがって、補正対象画素Ｇ４５と画素Ｇ３４、Ｇ３６、Ｇ５４及びＧ５６のそれぞれとでは、ラインクロールによるノイズのパターンが異なってしまい、ラインクロールの影響を正確に再現できない場合がある。一般にその影響は微小だが、画素値が一定の平坦な画像領域では、それが補正痕として目立つ場合がある。

一方、第２の補間部１０３によって算出された第２の補間値Ｇ２は、補正対象画素Ｇ４５に対して１ライン離れ、且つカラーフィルタＲの画素が垂直走査方向に隣接しているカラーフィルタＧの画素の画素値を用いることから、補正対象画素Ｇ４５におけるラインクロールの影響を正しく再現する。しかしながら、補正対象画素Ｇ４５に対して１ライン離れた画素の画素値を用いることから、補正対象画素Ｇ４５の画素位置において急峻な画像構造を有する場合、補正結果が劣化してしまう。そこで、算出された第１の補間値Ｇ１及び第２の補間値Ｇ２に対して、ステップＳ１４以降の補正処理を施すことによって、ラインクロールの影響や画像構造等を正確に再現した補正値を算出する。

ステップＳ１４：ＣＰＵ５の画素演算部における修正値算出部１０４は、次式（１３）に示すように、第１の補間値Ｇ１及び第２の補間値Ｇ２から修正値Ｃ０を算出する。
Ｃ０＝Ｇ２−Ｇ１ …（１３）
そして、修正値算出部１０４は、Ｃ０を−α〜＋αの値の範囲に値をクリップして、修正値Ｃを求める。なお、±αの値は、斜め隣接するカラーフィルタＧの画素が出力する画素値に、ラインクロールによって生じるノイズの最大値相当（例えば、１２ビット画像を処理する場合、α＝３２程度）に設定される。

ステップＳ１５：ＣＰＵ５の画素演算部は、ステップＳ１４で求めた修正値Ｃを補間値Ｇ１に加算して、補正された画素値を算出する。

ステップＳ１６：ＣＰＵ５の補正値代入部１０５は、ステップＳ１５で求めた補正された画素値を、補正対象画素Ｇ４５の新たな画素値として代入する。

ステップＳ１７：ＣＰＵ５は、補正された画像に対して、ラインクロール補正、彩度強調や輪郭強調等の画像処理を行う。ＣＰＵ５は、処理された画像を、ＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１２とカードＩ／Ｆ６とを介して、カードメモリ７又は記憶部９に記録して、一連の作業を終了する。

このように、本実施形態では、上述したような第１の補間値Ｇ１及び第２の補正値Ｇ２の有する特性に基づいて、第１の補間値Ｇ１に修正値Ｃを加算することにより、第２の補間値Ｇ２に近づけた値を補正された画素値とする。その結果、画素値が一定の平坦な画像領域であっても、補正された画素値は第２の補間値Ｇ２とほぼ等しくなることから、ラインクロールを正確に再現することができる。

また、第１の補間値Ｇ１に対する修正値Ｃは、±αの値の範囲内に抑制されるが、一般に±αの値は画像構造に比べて小さいので、急峻な画像構造における修正による劣化は小さく抑制できる。
≪実施形態の補足事項≫
本実施形態において、αの値はラインクロールによるノイズよりも大きくすることが望ましいが、必要以上に大きくすると急峻な画像構造における補正精度が劣化する。そこで、画像を撮像した際のＦ値やＰＯ値等の光学条件に応じて、αの値を決定して設定することが好ましい。例えば、Ｆ値が大きい、又はＰＯ値が大きいか小さい場合にはラインクロールによる影響が大きくなることが予想されることから、αの値を大きく設定し、それ以外の条件ではαの値を小さい値、或いは０に設定して、ステップＳ１４の処理を無効にしても良い。

なお、本実施形態では、画像方向判定部１０１による方向判定において、式（１）〜（４）を用いて、方向変動Ｈ１〜Ｈ４がそれぞれ求められたが、本発明はこれに限定されず、他の公知の手法による方向変動Ｈ１〜Ｈ４を求めても良い。

また、方向変動Ｈ１又はＨ２が選択された場合、第１の補間部１０２及び第２の補間部１０３における処理は同一であることから、共通化することが好ましい。

なお、本実施形態では、特定の画素Ｇ４５を補正対象画素として補正する場合について説明したが、本発明はこれに限定されず、例えば、線欠陥の補正等に適用しても良い。その場合、線欠陥上の画素を参照しないようにすることが好ましい。

なお、本実施形態では、補正対象画素として欠陥画素としたが、本発明はこれに限定されず、焦点検出用画素の補正に適用しても良い。その場合、焦点検出用画素を補正するための公知の技術と本発明とを組み合わせて実施しても良い。

なお、本実施形態では、電子カメラ１０によって撮像された静止画像に対して補正の画像処理を行ったが、本発明はこれに限定されず、動画やスルー画に対しても適用することができる。

なお、本発明に係る画像処理装置における処理をコンピュータで実現するための画像処理プログラムに対しても適用することができる。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１ 撮像レンズ、２ 撮像素子、３ Ａ／Ｄ変換部、４ バッファメモリ、５ ＣＰＵ、６ カードＩ／Ｆ、７ カードメモリ、８ 操作部材、９ 記憶部、１０ 電子カメラ、１１ 表示部、１２ バス、１０１ 画像方向判定部、１０２ 第１の補間部、１０３ 第２の補間部、１０４ 修正値算出部、１０５ 補正値代入部

Claims (6)

1. 補正対象画素の周囲で前記補正対象画素と同じ色のカラーフィルタを有する画素のうち、前記補正対象画素及びその周囲の画素に分布するノイズのパターンとは異なるノイズのパターンが分布している画素の画素値を用いて、前記補正対象画素の第１の補間値を算出する第１の補間部と、
   前記補正対象画素の周囲で前記補正対象画素と同じ色のカラーフィルタを有する画素のうち、前記補正対象画素に分布する前記ノイズのパターンと同じノイズのパターンが分布している画素の画素値を用いて、前記補正対象画素の第２の補間値を算出する第２の補間部と、
   前記第１の補間値と前記第２の補間値とから求めた修正値を、前記第１の補間値に加算して、前記補正対象画素の画素値を求める画素演算部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記修正値は、所定範囲内にあることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記画素演算部は、
   前記第１の補間値と前記第２の補間値との差分を前記所定範囲内にクリップすることにより前記修正値を算出する修正値算出部を備える
   ことを特徴とする画像処理装置。
4. 請求項２又は請求項３に記載の画像処理装置において、
   前記所定範囲は、画像の撮像時における光学条件に基づいて決定されることを特徴とする画像処理装置。
5. 撮像素子によって撮像された被写体像の画像を生成する撮像部と、
   請求項１ないし請求項４のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
6. コンピュータを、請求項１ないし請求項４のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images