JP5701640B2

JP5701640B2 - 画像処理装置

Info

Publication number: JP5701640B2
Application number: JP2011033129A
Authority: JP
Inventors: 金光　史呂志; 史呂志金光; 好日川上; 和浩田淵
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-02-18
Filing date: 2011-02-18
Publication date: 2015-04-15
Anticipated expiration: 2031-02-18
Also published as: JP2012175241A; US8648937B2; US20120212653A1

Description

本発明の実施形態は、画像処理装置に関する。

デジタルカメラ等によるデジタル画像の生成において、色成分に発生するノイズ（以下、適宜「色ノイズ」と称する）が問題になっている。色ノイズを低減するためには、例えば、色差信号に対するローパスフィルタ（ＬＰＦ）処理が実施されている。

色ノイズは、信号レベルの変動が小さい低周波領域に発生することが多いため、色ノイズの効果的な除去にはＬＰＦの通過帯域を低くすることが望ましいとされる。ただし、ＬＰＦの通過帯域を低くすると、被写体に存在する高周波成分も除去されてしまうことで、色の境界の鈍り（色滲み）が発生し易くなる。

特開平１０−２００７８７号公報

本発明の一つの実施形態は、色成分に発生するノイズの低減と、色の境界に発生する色滲みの低減とを可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、信号変換部及び色差信号補正部を有する。信号変換部は、色成分ごとの信号を、色差信号及び輝度信号に変換する。色差信号補正部は、信号変換部からの色差信号の色ノイズを補正する。色差信号補正部は、平滑化処理部及び色エッジ抽出部を有する。平滑化処理部は、色差信号の平滑化処理により、平滑化色差信号を得る。色エッジ抽出部は、平滑化色差信号への加算対象とする色エッジ成分を抽出する。色エッジ抽出部は、エッジコアリング部を有する。エッジコアリング部は、平滑化処理が施される前の色差信号と、平滑化色差信号との差分に対するコアリング処理を実施する。

第１の実施形態にかかる画像処理装置の概略構成を示すブロック図。図１に示す画像処理装置を備えるカメラモジュールの概略構成を示すブロック図。図２に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図。ＣＳＨＰ処理部の構成を示すブロック図。第２の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図。第３の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図。第４の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図。第５の実施形態にかかる画像処理装置であるＤＳＰの概略構成を示すブロック図。パラメータ調整部におけるパラメータの調整について説明する図。パラメータ調整部におけるコアリング閾値及びエッジゲインの変換について説明する図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の概略構成を示すブロック図である。図２は、図１に示す画像処理装置を備えるカメラモジュールの概略構成を示すブロック図である。図３は、図２に示すカメラモジュールを備える電子機器であるデジタルカメラの構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２、記憶部３及び表示部４を有する。カメラモジュール２は、被写体像を撮像する。記憶部３は、カメラモジュール２により撮影された画像を格納する。表示部４は、カメラモジュール２により撮影された画像を表示する。表示部４は、例えば、液晶ディスプレイである。

カメラモジュール２は、被写体像の撮像により、記憶部３及び表示部４へ画像信号を出力する。記憶部３は、ユーザの操作等に応じて、表示部４へ画像信号を出力する。表示部４は、カメラモジュール２あるいは記憶部３から入力される画像信号に応じて、画像を表示する。

カメラモジュール２は、レンズユニット１１、イメージセンサ１２、アナログデジタル変換器（analog to digital converter；ＡＤＣ）１３及びデジタルシグナルプロセッサ（digital signal processor；ＤＳＰ）１４を有する。レンズユニット１１は、被写体からの光を取り込み、イメージセンサ１２にて被写体像を結像させる。イメージセンサ１２は、レンズユニット１１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ１２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ＡＤＣ１３は、イメージセンサ１２からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理装置であるＤＳＰ１４は、ＡＤＣ１３からのデジタル画像信号に対して種々の画像処理を施す。

ＤＳＰ１４に設けられているラインメモリ２１は、ＡＤＣ１３からのデジタル画像信号を一時的に貯える。キズ補正部２２及びノイズキャンセル部２３は、ラインメモリ２１を共用する。キズ補正部２２は、イメージセンサ１２において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を、ラインメモリ２１からのデジタル画像信号に対して実施する。ノイズキャンセル部２３は、ノイズを低減させるためのノイズキャンセル処理を実施する。シェーディング補正部２８は、被写体像のシェーディング補正を実施するためのシェーディング補正係数を算出する。

デジタルアンプ（ＡＭＰ）回路２４は、後述するＡＷＢ／ＡＥ演算部２９で算出された係数と、シェーディング補正部２８で算出されたシェーディング補正係数とを基にしてデジタルＡＭＰ係数を算出する。また、デジタルＡＭＰ回路２４は、キズ補正部２２及びノイズキャンセル部２３での処理を経たデジタル画像信号に、デジタルＡＭＰ係数を乗算する。

ラインメモリ２５は、デジタルＡＭＰ係数が乗算されたデジタル画像信号を一時的に貯える。画素補間部２６は、ラインメモリ２５からベイヤー配列の順序で伝達されてくるデジタル画像信号の補間処理（デモザイク処理）により、ＲＧＢの信号（感度信号）を生成する。カラーマトリクス部２７は、ＲＧＢの感度信号に対して、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。ＡＷＢ／ＡＥ演算部２９は、自動ホワイトバランス（auto white balance；ＡＷＢ）調整、自動露出（auto exposure；ＡＥ）調整のための各係数を、ＲＧＢの感度信号から算出する。

ガンマ補正部３０は、ＲＧＢの感度信号に対して、画像の階調を補正するためのガンマ補正を実施する。ＹＵＶ変換部３１は、ＲＧＢの感度信号から輝度（Ｙ）信号３４及び色差（ＵＶ）信号３５を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。ＹＵＶ変換部３１は、色成分ごとの感度信号を、Ｙ信号３４及びＵＶ信号３５に変換する信号変換部として機能する。

輪郭強調部３２は、イメージセンサ１２（図２参照）による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、Ｙ信号３４を対象とする輪郭強調処理を実施する。カラーシャープネス（color sharpness；ＣＳＨＰ）処理部３３は、ＵＶ信号３５を対象とする色ノイズ補正を実施する色差信号補正部として機能する。

なお、本実施形態で説明するＤＳＰ１４の構成は一例であって、適宜変形しても良い。ＤＳＰ１４は、例えば、本実施形態で示す要素とは別の要素の追加や、省略可能な要素の省略等の変更をしても良い。

図４は、ＣＳＨＰ処理部の構成を示すブロック図である。ＣＳＨＰ処理部３３は、ＬＰＦ４１、色エッジ抽出部４２及び加算器４３を有する。ＬＰＦ４１は、ＵＶ信号３５の平滑化処理により、平滑化色差信号４４を生成する平滑化処理部として機能する。ＣＳＨＰ処理部３３は、ＬＰＦ４１におけるＵＶ信号３５の平滑化処理により、色ノイズを低減させる。

色エッジ抽出部４２は、差分器４５及びエッジコアリング部４６を有する。色エッジ抽出部４２は、色エッジ成分を抽出する。差分器４５は、平滑化処理が施される前のＵＶ信号３５と、平滑化色差信号４４との差分信号４７を生成する。エッジコアリング部４６は、差分信号４７と、予め設定されたコアリング閾値Ｔｈ１との比較結果に応じて、差分信号４７に対するコアリング処理を実施する。

エッジコアリング部４６は、差分信号４７のうちコアリング閾値Ｔｈ１の絶対値より低いレベルの成分を抑制することで、ノイズ成分を除去する。エッジコアリング部４６は、差分信号４７のうちコアリング閾値Ｔｈ１より低いレベルの成分を一律にゼロとする。例えば、色エッジ抽出部４２は、予め設定されたコアリング閾値Ｔｈ１を格納する。

色エッジ抽出部４２は、エッジコアリング部４６でのコアリング処理を経たエッジ成分信号４８を出力する。加算器４３は、平滑化色差信号４４にエッジ成分信号４８を加算する。ＣＳＨＰ処理部３３は、加算器４３にてエッジ成分信号４８が加算された平滑化色差信号４４を、色ノイズ補正がなされたＵＶ信号４９として出力する。

このように、ＣＳＨＰ処理部３３は、平滑化処理の前の信号から色エッジ成分を抽出し、平滑化処理後の信号に加算することで、被写体に存在する高周波成分を残存させる。ＣＳＨＰ処理部３３は、被写体の高周波成分を残存させることで、色滲みを低減させるとともに、コアリング処理の適用により、色の境界の色ノイズを低減させる。ＤＳＰ１４は、ＣＳＨＰ処理部３３を適用することで、色ノイズ及び色滲みの効果的な低減が可能となる。なお、本実施形態で説明するＣＳＨＰ処理部３３の構成は一例であって、適宜変更しても良い。

（第２の実施形態）
図５は、第２の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ＣＳＨＰ処理部５０は、ＬＰＦ４１、色エッジ抽出部５１及び加算器４３を有する。

色エッジ抽出部５１は、差分器４５、エッジコアリング部４６及び乗算器５２を有する。乗算器５２は、エッジコアリング部４６でのコアリング処理を経た差分信号４７に、エッジゲインＥＧを乗算する。エッジゲインＥＧは、平滑化色差信号４４に対する色エッジ成分の重み付けを調整するための係数とする。例えば、色エッジ抽出部５１は、予め設定されたエッジゲインＥＧを格納する。

色エッジ抽出部５１は、乗算器５２でのエッジゲインＥＧの乗算を経たエッジ成分信号５３を出力する。加算器４３は、平滑化色差信号４４にエッジ成分信号５３を加算する。ＣＳＨＰ処理部５０は、加算器４３にてエッジ成分信号５３が加算された平滑化色差信号４４を、色ノイズ補正がなされたＵＶ信号５４として出力する。

画像処理装置は、ＣＳＨＰ処理部５０の適用により、第１の実施形態と同様、色ノイズ及び色滲みの効果的な低減が可能となる。また、画像処理装置は、エッジゲインＥＧに応じてエッジ成分を調整可能とすることで、階調性に優れた画像を得ることができる。なお、本実施形態で説明するＣＳＨＰ処理部５０の構成は一例であって、適宜変更しても良い。

（第３の実施形態）
図６は、第３の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ＣＳＨＰ処理部６０は、ＬＰＦ４１、色エッジ抽出部５１、加算器４３及び色差コアリング部６１を有する。色差コアリング部６１は、エッジ成分信号５３が加算された平滑化色差信号４４に対するコアリング処理を実施する。

色差コアリング部６１は、エッジ成分信号５３が加算された平滑化色差信号４４のうちコアリング閾値Ｔｈ２の絶対値より低いレベルの成分を抑制することで、ノイズ成分を除去する。色差コアリング部６１は、加算器４３から入力される信号のうちコアリング閾値Ｔｈ２より低いレベルの成分を一律にゼロとする。例えば、ＣＳＨＰ処理部６０は、予め設定されたコアリング閾値Ｔｈ２を格納する。ＣＳＨＰ処理部６０は、色差コアリング部６１からの信号を、色ノイズ補正がなされたＵＶ信号６２として出力する。

画像処理装置は、ＣＳＨＰ処理部６０の適用により、第２の実施形態と同様、色ノイズ及び色滲みの効果的な低減と、階調性に優れた画像を得ることが可能となる。色エッジ成分の加算は、色どうしの境界における鮮明さを強調させる一方で、無彩色の領域における色ずれを強調させる場合が起こり得る。画像処理装置は、エッジ成分信号５３が加算された平滑化色差信号４４についてさらにコアリング処理を適用することで、無彩色の領域に生じ得る色付きを抑制させることができる。

なお、本実施形態で説明するＣＳＨＰ処理部６０の構成は一例であって、適宜変更しても良い。ＣＳＨＰ処理部６０は、例えば、乗算器５２によるエッジゲインＥＧの乗算を省略しても良い。

（第４の実施形態）
図７は、第４の実施形態にかかる画像処理装置に適用されるＣＳＨＰ処理部の構成を示すブロック図である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ＣＳＨＰ処理部７０は、ＬＰＦ４１、色エッジ抽出部７１、色差コアリング部７２及び加算器４３を有する。色差コアリング部７２は、エッジ成分信号５３が加算される以前の平滑化色差信号４４に対するコアリング処理を実施する。

色差コアリング部７２と、色エッジ抽出部７１のエッジコアリング部４６とは、共通のコアリング閾値Ｔｈ１を使用する。色差コアリング部７２は、平滑化色差信号４４のうち、コアリング閾値Ｔｈ１の絶対値より低いレベルの成分を抑制することで、ノイズ成分を除去する。色差コアリング部７２は、平滑化色差信号４４のうちコアリング閾値Ｔｈ１より低いレベルの成分を一律にゼロとする。なお、色差コアリング部７２は、エッジコアリング部４６で使用されるコアリング閾値Ｔｈ１とは別に設定されたコアリング閾値を使用することとしても良い。

加算器４３は、色差コアリング部７２からの信号にエッジ成分信号５３を加算する。ＣＳＨＰ処理部７０は、加算器４３にてエッジ成分信号５３が加算された信号を、色ノイズ補正がなされたＵＶ信号７３として出力する。

画像処理装置は、ＣＳＨＰ処理部７０の適用により、第２の実施形態と同様、色ノイズ及び色滲みの効果的な低減と、階調性に優れた画像を得ることが可能となる。また、画像処理装置は、エッジ成分信号５３が加算される以前の平滑化色差信号４４に予めコアリング処理を適用することで、第３の実施形態と同様、無彩色の領域に生じ得る色付きを抑制させることができる。

なお、本実施形態で説明するＣＳＨＰ処理部７０の構成は一例であって、適宜変更しても良い。ＣＳＨＰ処理部７０は、例えば、乗算器５２によるエッジゲインＥＧの乗算を省略しても良い。また、ＣＳＨＰ処理部７０は、一つの回路構成をエッジコアリング部４６及び色差コアリング部７２とで共用することとしても良い。これにより、回路規模を削減することが可能となる。

（第５の実施形態）
図８は、第５の実施形態にかかる画像処理装置であるＤＳＰの概略構成を示すブロック図である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。ＤＳＰ８０に設けられているＣＳＨＰ処理部８１は、パラメータ調整部８２を有する。

ＡＷＢ／ＡＥ演算部２９は、ＡＥ調整係数の算出結果が反映された輝度情報８３を生成し、ＣＳＨＰ処理部８１へ出力する。パラメータ調整部８２は、輝度情報８３に応じて各種パラメータを調整する。

図９は、パラメータ調整部におけるパラメータの調整について説明する図である。パラメータ調整部８２は、ＡＷＢ／ＡＥ演算部２９から入力される撮像時の輝度情報８３に応じて、コアリング閾値Ｔｈ１及びエッジゲインＥＧの各パラメータをそれぞれ変換する。

図１０は、パラメータ調整部におけるコアリング閾値及びエッジゲインの変換について説明する図である。パラメータ調整部８２は、輝度情報８３から得られる輝度が低いほどコアリング閾値Ｔｈ１が大きい値となるように、コアリング閾値Ｔｈ１を変換する。パラメータ調整部８２は、コアリング閾値Ｔｈ１と輝度とが例えば線形関数の関係にあるものとして、コアリング閾値Ｔｈ１を変換する。パラメータ調整部８２は、変換により得たコアリング閾値Ｔｈ１を、図４等に示すエッジコアリング部４６へ出力する。

また、パラメータ調整部８２は、輝度情報８３から得られる輝度が低いほどエッジゲインＥＧが小さい値となるように、エッジゲインＥＧを変換する。パラメータ調整部８２は、エッジゲインＥＧと輝度とが例えば線形関数の関係にあるものとして、エッジゲインＥＧを変換する。パラメータ調整部８２は、変換により得たエッジゲインＥＧを、図５等に示す乗算部５２へ出力する。

画像処理装置は、パラメータ調整部８２の適用により、撮像時の輝度に応じた最適なパラメータを使用して、色ノイズを補正することが可能となる。パラメータ調整部８２は、例えば、撮像時の環境が低照度であるほどコアリング閾値Ｔｈ１を大きい値とすることで、色の境界における色ノイズの効果的な低減を可能とする。

また、パラメータ調整部８２は、撮像時の環境が低照度であるほどエッジゲインＥＧを小さい値として色エッジ成分を少なくすることで、低輝度な部分については、色の境界の強調度合いを抑制する。これにより、低輝度な部分については、不自然な色変化を低減できる。

パラメータ調整部８２は、第１から第４の実施形態のいずれの画像処理装置に適用しても良い。パラメータ調整部８２は、色差コアリング部６１（図６参照）で使用されるコアリング閾値Ｔｈ２を、輝度情報８３に応じて調整しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２カメラモジュール、１４、８０ＤＳＰ、３１ＹＵＶ変換部、３３、５０、６０、７０、８１ＣＳＨＰ処理部、４１ＬＰＦ、４２、５１、７１色エッジ抽出部、４６エッジコアリング部、６１、７２色差コアリング部、８２パラメータ調整部。

Claims

色成分ごとの信号を、色差信号及び輝度信号に変換する信号変換部と、
前記信号変換部からの前記色差信号の色ノイズを補正する色差信号補正部と、を有し、
前記色差信号補正部は、
前記色差信号の平滑化処理により、平滑化色差信号を得る平滑化処理部と、
前記平滑化色差信号への加算対象とする色エッジ成分を抽出する色エッジ抽出部と、を有し、
前記色エッジ抽出部は、
前記平滑化処理が施される前の前記色差信号と、前記平滑化色差信号との差分に対するコアリング処理を実施し、前記コアリング処理を経た前記差分である前記色エッジ成分を生成するエッジコアリング部と、
前記平滑化色差信号に対する前記色エッジ成分の重み付けを調整するためのエッジゲインを、前記コアリング処理を経た前記差分に乗算する乗算器と、を有することを特徴とする画像処理装置。
前記色差信号補正部は、前記色エッジ成分が加算された前記平滑化色差信号に対するコアリング処理を実施する色差コアリング部をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記色差信号補正部は、前記色エッジ成分が加算される以前の前記平滑化色差信号に対するコアリング処理を実施する色差コアリング部をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記エッジコアリング部は、前記差分と、予め設定されたコアリング閾値との比較結果に応じた前記コアリング処理を実施し、
前記色差信号補正部は、撮像時の輝度情報に応じて前記コアリング閾値を調整するパラメータ調整部をさらに有することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
前記色差信号補正部は、撮像時の輝度情報に応じて前記エッジゲインを調整するパラメータ調整部をさらに有することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
色成分ごとの信号を、色差信号及び輝度信号に変換する信号変換部と、
前記信号変換部からの前記色差信号の色ノイズを補正する色差信号補正部と、を有し、
前記色差信号補正部は、
前記色差信号の平滑化処理により、平滑化色差信号を得る平滑化処理部と、
前記平滑化色差信号への加算対象とする色エッジ成分を抽出する色エッジ抽出部と、を有し、
前記色エッジ抽出部は、
前記平滑化処理が施される前の前記色差信号と、前記平滑化色差信号との差分に対するコアリング処理を実施し、前記コアリング処理を経た前記差分である前記色エッジ成分を生成するエッジコアリング部を有し、
前記エッジコアリング部は、前記差分と、予め設定されたコアリング閾値との比較結果に応じた前記コアリング処理を実施し、
前記色差信号補正部は、撮像時の輝度情報に応じて前記コアリング閾値を調整するパラメータ調整部をさらに有することを特徴とする画像処理装置。