JP5060535B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来、撮像装置には、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）を補正するためのキズ補正手段を備えるものがある。一般に知られるキズ補正としては、例えば、製品出荷時などにキズの位置を予め記憶させ、キズ補正の対象となる対象画素に対し、周辺画素の情報を補間する方法（静的補正）がある。静的補正では、完全に機能していない画素によるキズには対応可能である一方、温度やアナログゲイン等の条件によって態様が変化するようなキズへの対応が困難である。これに対しては、撮像装置の動作中にキズの有無をチェックし、検知されたキズを補正する（動的補正）技術が提案されている。

また、撮像装置には、ランダムノイズ等のノイズを低減させるためのノイズ低減処理手段を備えるものがある。キズ補正手段とノイズ低減処理手段とのそれぞれに専用のラインメモリを設ける構成とすると、回路規模が大きくなる。共有のラインメモリを設け、キズ補正の結果をノイズ低減処理手段へフィードバックさせる場合、キズ補正手段において誤った判断がなされた場合に、それ以降の数画素に対するノイズ低減処理へ影響が及ぶことで画質が劣化することが懸念される。キズ補正とノイズ低減とを並列処理とする場合は、キズ補正がなされた画素に対してノイズ低減効果が得られなくなることが課題となる。

そこで従来、対象画素及び周辺画素の信号値の最大値と最小値との差分に応じて、対象画素について採用する補正値を切り換える技術が提案されている（例えば、特許文献１参照）。補正値としては、対象画素及び周辺画素の信号値の平均値や中央値、信号値のうち最大値又は最小値に最も近い値などが採用される。この場合は、特に低照度によりアナログゲインを高くするような場合にノイズの影響が強められることでノイズ低減効果が薄れる場合や、周辺画素における出力バランスによっては値にずれが生じ、画質を劣化させる場合があることが問題となる。

特開２００８−２５８９０９号公報

本発明は、回路規模を抑制でき、キズ補正及びノイズ低減によって高品質な画像を得ることを可能とする画像処理装置を提供することを目的とする。

本願発明の一態様によれば、対象画素についてキズ補正を実行するキズ補正手段と、前記対象画素と、前記対象画素と同色用の画素であって前記対象画素の周辺に配置された複数の周辺画素と、についてノイズ低減処理を実行するノイズ低減処理手段と、前記キズ補正手段による出力と前記ノイズ低減処理手段による出力との選択をする選択手段と、を有し、前記キズ補正手段は、前記複数の周辺画素の信号値の最大値及び最小値の間の数値幅と所定の閾値とを比較することによりコントラストの高低を判定するコントラスト判定手段と、前記信号値の平均化処理を実行する平均化手段と、を備え、前記選択手段は、前記対象画素がキズであると判定された場合に前記キズ補正手段からの出力を選択し、前記キズ補正手段からの出力は、前記コントラスト判定手段による判定に応じて、前記複数の周辺画素の信号値に対する前記平均化処理を経た第１の補正値と、前記第１の補正値以外の第２の補正値とに切り換えられることを特徴とする画像処理装置が提供される。

本発明によれば、回路規模を抑制でき、キズ補正及びノイズ低減によって高品質な画像を得ることができるという効果を奏する。

第１の実施の形態に係る画像処理装置を備える固体撮像装置のブロック図。 キズ補正及びノイズ低減処理のための構成を示すブロック図。 対象画素及び周辺画素を説明する図。 キズ補正回路の詳細と、ノイズ低減回路とを示すブロック図。 キズ判定について説明する概念図。 第２の実施の形態に係る画像処理装置におけるキズ判定について説明する概念図。

以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置４を備える固体撮像装置のブロック図である。固体撮像装置は、撮像レンズ１、センサ部２、アナログデジタル変換器（ＡＤＣ）３、及び画像処理装置４を備える。撮像レンズ１は、被写体からの光を取り込む。センサ部２は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。センサ部２は、Ｒ、Ｇ、Ｂの信号値をベイヤー配列に対応する順序で取り込み、取り込んだアナログ画像信号を、外部から指定された撮像条件に応じたゲインにて順次増幅して出力する。ＡＤＣ３は、センサ部２から出力されるアナログ画像信号をデジタル画像信号に変換する。画像処理装置４は、ＡＤＣ３から出力されたデジタル画像信号に対して、種々の画像処理を施す。

画像処理装置４は、キズ補正回路（キズ補正手段）１１、ノイズ低減回路（ノイズ低減処理手段）１２、画素補間処理部１３、カラーマトリックス処理部１４、輪郭処理部１５、ガンマ補正部１６、エッジ抽出部１７、ＲＧＢ／ＹＵＶ変換部１８、ＡＥ／ＡＷＢ演算回路２１、デジタルＡＭＰ係数回路２２、及びラインメモリ１０、２０を備える。

キズ補正回路１１は、キズ補正の対象となる対象画素についてキズ補正を実行する。ノイズ低減回路１２は、対象画素と複数の周辺画素とについてノイズ低減処理を実行する。周辺画素とは、対象画素と同色用の画素であって、対象画素の周辺に配置されたものであるとする。

画素補間処理部１３は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理（デモザイク処理）を実行する。カラーマトリックス処理部１４は、色再現性を得るためのカラーマトリックス演算処理（色再現性処理）を実行する。輪郭処理部１５は、センサ部２における撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実行する。

ガンマ補正部１６は、画像の彩度や明るさを補正するためのガンマ補正を実行する。エッジ抽出部１７は、エッジ抽出をし、抽出結果をＲＧＢ／ＹＵＶ変換部１８へ出力する。ＲＧＢ／ＹＵＶ変換部１８は、画像補間処理部１３からガンマ補正部１６における各処理が実行された画像信号を、ＲＧＢ形式からＹＵＶ形式へ変換する。ＡＥ／ＡＷＢ演算回路２１は、ガンマ補正部１６によるガンマ補正の結果から、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）のための各係数を算出し、出力する。デジタルＡＭＰ係数回路２２は、ＡＥ／ＡＷＢ演算回路２１の出力と、シェーディング補正係数とを基にしてデジタルＡＭＰ係数を算出する。ラインメモリ１０、２０は、ベイヤー配列に対応する順序で伝達されてくるデジタル画像信号のデータを一時的に貯える。

画像処理装置４は、ラインメモリ１０に格納された画像信号に対して、キズ補正回路１１によるキズ補正、ノイズ低減回路１２によるノイズ低減を並列処理する。画像処理装置４は、キズ補正回路１１とノイズ低減回路１２とでラインメモリ１０を共有する構成とすることで、それぞれに対してラインメモリを設ける場合に比べて回路規模を抑制させることができる。キズ補正回路１１、ノイズ低減回路１２からの画像信号に対しては、デジタルＡＭＰ係数回路２２からのデジタルＡＭＰ係数により、ＡＥ、ＡＷＢ、及びレンズシェーディング補正のためのデジタルゲインＡＭＰ処理を行う。デジタルゲインＡＭＰ処理が施された画像信号は、ラインメモリ２０に格納される。

画像処理装置４は、ラインメモリ２０に格納された画像信号に対して、画像補間処理部１３からＲＧＢ／ＹＵＶ変換部１８までの各処理を順次実行し、ＲＧＢ／ＹＵＶ変換部１８でＹＵＶ形式へ変換された画像信号を出力する。なお、本実施の形態で説明する画像処理装置４の構成は一例であって、他の処理のための要素の追加や、省略可能な要素を省略するなどの変更を適宜しても良い。

図２は、キズ補正及びノイズ低減処理のための構成を示すブロック図である。ラインメモリ１０は、４ライン分のデジタル画像信号を保持する（４Ｈ）。キズ補正回路１１には、ラインメモリ１０に保持された４ラインと、ラインメモリ１０へ入力される直前の１ラインと、の計５ラインのデータが入力される。セレクタ２３は、キズ補正回路１１による出力とノイズ低減回路１２による出力との選択をする選択手段として機能する。

図３は、対象画素及び周辺画素を説明する図である。各画素は、互いに垂直なＨ方向及びＶ方向を含む二次元方向に並列されているとする。対象画素及び周辺画素は、Ｈ方向及びＶ方向においてベイヤー配列された画素のうちＨ方向へ５個、Ｖ方向へ５個のマトリックスに含まれる。対象画素は、５×５のマトリックスの中心に位置する画素である（図中の網掛け部分）。周辺画素は、対象画素に対して１画素を置いて上下左右斜めの各方向に位置する８個の画素である（図中の斜線部分）。対象画素がＲＧＢのいずれの場合も、対象画素と周辺画素とは同色用の画素となる。対象画素及び周辺画素の信号値は、Ｈ方向へ対象画素が移されるごとに順次入力され、１ラインについての入力を終えると、Ｖ方向へ１ライン移され、次の１ラインについての入力が開始される。

図４は、キズ補正回路１１の詳細と、ノイズ低減回路１２とを示すブロック図である。キズ補正回路１１は、最大値最小値検索手段３１、コントラスト判定手段３２、キズ判定手段３３、置き換え手段３４、ローパスフィルタ（ＬＰＦ）３５、及びセレクタ３６を備える。

最大値最小値検索手段３１は、８つの周辺画素の信号値の最大値及び最小値を検索する。コントラスト判定手段３２は、コントラストの高低を判定する。キズ判定手段３３は、対象画素及び周辺画素におけるキズの有無を判定する。置き換え手段３４は、ノイズ低減回路１２におけるノイズ低減処理の対象とするデータの置き換え処理を実行する。ＬＰＦ３５は、信号値の平均化処理を実行する平均化手段として機能する。セレクタ３６は、キズ判定手段３３からの出力と、ＬＰＦ３５からの出力との選択をする。なお、以下の説明において、「最大値」とは８つの周辺画素の信号値の最大値、「最小値」とは８つの周辺画素の信号値の最小値をそれぞれ指すものとする。

対象画素及び周辺画素である９画素の信号値のうち、最大値最小値検索手段３１には、８つの周辺画素の信号値が入力される。最大値最小値検索手段３１は、検索結果である最大値及び最小値を出力する。キズ判定手段３３は、対象画素の信号値と最大値との差分、対象画素の信号値と最小値との差分をそれぞれ算出し、キズ判定を行う。キズ判定手段３３は、（対象画素の信号値−最大値）、（最小値−対象画素の信号値）、をそれぞれ演算し、正負を含めた演算結果に基づいてキズ判定をする。

キズ判定の対象となるキズには、画素の輝度が正常に機能する場合より低くなる、いわゆる黒キズと、画素の輝度が正常に機能する場合より高くなる、いわゆる白キズと、がある。キズ補正回路１１には、キズ判定の基準とする閾値が予め設定されている。キズ判定のための閾値としては、黒キズの判定の基準とする黒キズ判定用閾値と、白キズの判定の基準とする白キズ判定用閾値とが設定されている。黒キズ判定用閾値、白キズ判定用閾値は、いずれもアナログゲインに連動させることとし、ゲイン変化に対応して数値を変化させることとする。

図５は、キズ判定について説明する概念図である。図５に示す（ａ）は、対象画素がキズと判定される場合、（ｂ）は、周辺画素がキズと判定される場合をそれぞれ表している。（ａ）、（ｂ）のいずれも、縦軸が信号値の出力レベルを表している。網掛けを付した四角形のうち縦軸方向中心が対象画素の信号値、ハッチングを付した四角形のうち縦軸方向中心が周辺画素の信号値をそれぞれ表している。

（対象画素の信号値−最大値）の演算結果が正であり、かつその絶対値が白キズ判定用閾値より大きい場合、キズ判定手段３３は、対象画素が白キズであると判定する。（最小値−対象画素の信号値）の演算結果が正であり、かつその絶対値が黒キズ判定用閾値より大きい場合、キズ判定手段３３は、対象画素が黒キズであると判定する。

（対象画素の信号値−最大値）の演算結果が負であり、かつその絶対値が白キズ判定用閾値より大きい場合、キズ判定手段３３は、周辺画素のうち最大値を示す一つが白キズであると判定する。（最小値−対象画素の信号値）の演算結果が負であり、かつその絶対値が黒キズ判定用閾値より大きい場合、キズ判定手段３３は、周辺画素のうち最小値を示す一つが黒キズであると判定する。（対象画素の信号値−最大値）の演算結果の絶対値が白キズ判定用閾値以下である場合、（最小値−対象画素の信号値）の演算結果の絶対値が黒キズ判定用閾値以下である場合、キズ判定手段３３は、対象画素及び周辺画素のいずれもキズではないと判定する。なお、キズ判定と演算結果の正負との関係は、減算の順序に応じて適宜設定されるものとする。

キズ補正回路１１には、コントラスト判定の基準とする閾値（コントラスト判定用閾値）が予め設定されている。対象画素が白キズ及び黒キズのいずれかであると判定された場合、コントラスト判定手段３２は、最大値及び最小値の間の数値幅と、コントラスト判定用閾値とを比較することにより、コントラストの高低を判定する。数値幅がコントラスト判定用閾値より大きい場合、コントラスト判定手段３２は、調整対象とする部分が高コントラストであると判定する。数値幅がコントラスト判定用閾値以下である場合、コントラスト判定手段３２は、調整対象とする部分が低コントラストであると判定する。コントラスト判定用閾値は、アナログゲインに連動させることとし、ゲイン変化に対応して数値を変化させることとする。

キズ判定手段３３は、周辺画素の信号値のうち対象画素の信号値に最も近い値を、置き換えデータとしてセレクタ３６へ出力する。コントラスト判定手段３２により高コントラストであると判定された場合、セレクタ３６は、キズ補正のための補正値として、キズ判定手段３３から出力された置き換えデータを選択する（第２の補正値）。高コントラストなシーンに対しては、周辺画素の信号値のうち対象画素の信号値に最も近い値を補正値として採用することとして、適切でないキズ補正があった場合における画像へのダメージをできるだけ抑制させることを重視している。

ＬＰＦ３５は、周辺画素の信号値（最大値、最小値、及びそれ以外の６画素の信号値）の平均化処理を実行する。コントラスト判定手段３２により低コントラストであると判定された場合、セレクタ３６は、キズ補正のための補正値として、ＬＰＦ３５から出力された平均化データを選択する（第１の補正値）。低コントラストなシーンに対しては、８つの周辺画素の平均化データを補正値として採用することで、ノイズ低減の効果を重視している。このように、キズ補正回路１１からの出力は、コントラスト判定手段３２による判定に応じて、８つの周辺画素の信号値に対する平均化処理を経た第１の補正値と、第１の補正値以外の第２の補正値とに切り換えられる。

周辺画素に白キズ及び黒キズのいずれかがあると判定された場合、置き換え手段３４は、周辺画素のうち白キズ或いは黒キズと判定されたものの信号値を、対象画素の信号値に置き換える。ノイズ低減回路１２は、対象画素と、かかる置き換えデータを含む周辺画素についてノイズ低減処理を実行する。周辺画素にキズがある場合は、置き換えデータへの置き換えを実行することにより、キズの影響を除外してノイズ低減処理を行うことが可能となる。対象画素及び周辺画素のいずれにもキズがないと判定された場合は、ノイズ低減回路１２は、対象画素及び周辺画素についてノイズ低減処理を実行する。ここで、セレクタ３６により選択されたデータの出力をＡ、キズ判定手段３３によるキズ判定結果をＢ、ノイズ低減回路１２からの出力をＣ、とする。

図２に戻って、セレクタ２３は、キズ補正回路１１内のキズ判定手段３３からのキズ判定結果Ｂに応じて、キズ補正回路１１内のセレクタ３６からの出力Ａと、ノイズ低減回路１２からの出力Ｃとの選択をする。対象画素がキズであるとするキズ判定結果Ｂに対して、セレクタ２３は、キズ補正回路１１からの出力Ａを選択する。周辺画素にキズがある、或いは、対象画素及び周辺画素のいずれにもキズがない、とするキズ判定結果Ｂに対して、セレクタ２３は、ノイズ低減回路１２からの出力Ｃを選択する。

このようにして、画像処理装置４は、キズ補正回路１１とノイズ低減回路１２とでラインメモリを共有し、キズ補正処理の結果によりノイズ低減処理を切り換えることで、ラインメモリの削減と、キズの影響が抑制されたノイズ低減処理とが可能となる。これにより、回路規模を抑制でき、キズ補正及びノイズ低減によって高品質な画像を得られるという効果を奏する。

なお、画像処理装置４は、周辺画素にキズがある旨の判定に対して、置き換え手段３４による置き換えデータを含めてノイズ低減処理を実行する場合に限られない。例えば、キズであると判定された画素を除いてノイズ低減処理を実行することとしても良い。この場合も、ノイズ低減処理へのキズの影響を除外することができる。

（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る画像処理装置におけるキズ判定について説明する概念図である。図６中の（ａ）は対象画素が白キズである場合、（ｂ）は対象画素が黒キズである場合を表している。対象画素が白キズであると判定され、かつ最大値及び最小値の数値幅Ｎがコントラスト判定用閾値より大きい場合、コントラスト判定手段３２（図４参照）は、調整対象とする部分が高コントラストであると判定する。ＬＰＦ３５は、数値幅Ｎのうち最大値側における一部の範囲Ｎ’に含まれる信号値に対する平均化処理を実行する。かかる例と同様のケースにおいて対象画素が黒キズである場合、ＬＰＦ３５は、数値幅Ｎのうち最小値側における一部の範囲Ｎ’に含まれる信号値に対する平均化処理を実行する。

このように、キズ補正回路１１は、第２の補正値として、数値幅Ｎのうち最大値又は最小値を含む一部に含まれる信号値を抽出して平均化処理がなされた値を採用する。範囲Ｎ’は、例えば、数値幅Ｎに対して所定比、例えば３０％に相当する数値幅とする。この他の処理については、実施の形態１と同様である。本実施の形態では、適切でないキズ補正があった場合における画像へのダメージをできるだけ抑制させるとともに、キズ補正処理によるノイズ低減効果を得ることが可能となる。

４ 画像処理装置、１１ キズ補正回路、１２ ノイズ低減回路、２３ セレクタ、３２ コントラスト判定手段、３３ キズ判定手段、３５ ＬＰＦ、３６ セレクタ。

Claims (2)

1. 対象画素についてキズ補正を実行するキズ補正手段と、
   前記対象画素と、前記対象画素と同色用の画素であって前記対象画素の周辺に配置された複数の周辺画素と、についてノイズ低減処理を実行するノイズ低減処理手段と、
   前記キズ補正手段による出力と前記ノイズ低減処理手段による出力との選択をする選択手段と、を有し、
   前記キズ補正手段は、
   前記複数の周辺画素の信号値の最大値及び最小値の間の数値幅と所定の閾値とを比較することによりコントラストの高低を判定するコントラスト判定手段と、
   前記信号値の平均化処理を実行する平均化手段と、を備え、
   前記選択手段は、前記対象画素がキズであると判定された場合に前記キズ補正手段からの出力を選択し、
   前記キズ補正手段は、前記コントラスト判定手段において前記数値幅が前記閾値より小さいと判定された場合、前記複数の周辺画素の信号値に対する前記平均化処理を経た第１の補正値を出力し、前記コントラスト判定手段において前記数値幅が前記閾値より大きいと判定された場合、前記複数の周辺画素の信号値のうち前記対象画素の信号値に最も近い値である第２の補正値を出力することを特徴とする画像処理装置。
2. 前記選択手段は、前記複数の周辺画素のいずれかがキズであると判定された場合に前記ノイズ低減処理手段からの出力を選択し、
   前記ノイズ低減処理手段は、キズであると判定された周辺画素の信号値が前記対象画素の信号値に置き換えられて、前記ノイズ低減処理を実行することを特徴とする請求項１に記載の画像処理装置。

Images