JP3893948B2

JP3893948B2 - 画像処理装置

Info

Publication number: JP3893948B2
Application number: JP2001348634A
Authority: JP
Inventors: 英康国場
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2001-11-14
Filing date: 2001-11-14
Publication date: 2007-03-14
Anticipated expiration: 2021-11-14
Also published as: JP2003153004A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ中のノイズを低減する画像処理装置に関する。
【０００２】
【従来の技術】
従来、画像データをライン単位に処理（黒レベル補正など）する際に、複数本の筋状パターンからなるノイズ（以下『筋状ノイズ』という）を生じる可能性があった。
この種の筋状ノイズは、画像データのシャープネスを上げたり、画像データを拡大表示する際に目立ちやすく、画像データの画質を低下させる要因になっていた。
【０００３】
【発明が解決しようとする課題】
そこで、本発明は、筋状ノイズを選択的に低減して、画像データの画質を高めることを目的とする。
【０００４】
【課題を解決するための手段】
以下、本発明について説明する。
《請求項１》
請求項１に記載の発明は、画像データから筋状ノイズを低減する画像処理装置であって、画像データを、筋状ノイズの筋方向に所定長さずつ平滑化し、筋方向の信号変動を抑制した第１信号を得る第１平滑化処理部と、筋方向とは異なる方向に第１信号を平滑化し、第１信号と同じ画素数で、かつ筋状ノイズを抑制した第２信号を得る第２平滑化処理部と、第１信号と第２信号との差分をとり、筋状ノイズを主として含む差分信号を得る差分処理部と、画像データから差分信号を差し引いて、画像データ中の筋状ノイズを低減するノイズ減算部とを備える。
《請求項２》
請求項２に記載の発明は、請求項１に記載の画像処理装置において、第１平滑化処理部は、筋方向の画素数を画像データよりも減数した第１信号を求める。
《請求項３》
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、差分処理部は、第１信号と第２信号との差分から、筋方向のメディアン値を求めて、筋状ノイズを主として含む前記差分信号を得る。
《請求項４》
請求項４に記載の発明は、請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、差分処理部は、筋状ノイズの振幅範囲を超える成分を差分信号から排除する。
【０００５】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
図１は、本実施形態における画像処理装置１１の構成を示す図である。
図１に示す画像処理装置１１では、記録媒体などに記録済みの画像ファイルと、電子カメラの撮像部から入力されるＲＡＷデータとを個別に取り扱うことができる。
【０００６】
この内、画像ファイルは、画像伸張および色座標変換を経た後、逆ガンマ変換部１２を介して入力される。一方、ＲＡＷデータについては、逆ガンマ変換部１２を迂回して直接入力される。
このように入力される画像データは、ノイズ減算部１４および第１平滑化部１５にそれぞれ与えられる。この第１平滑化部１５は、第１信号を生成し、第２平滑化部１６および差分処理部１７に出力する。さらに、第２平滑化部１６は、第２信号を生成し、差分処理部１７に出力する。差分処理部１７は、これら第１信号および第２信号に基づいて差分信号を生成し、ノイズ減算部１４に出力する。
【０００７】
ノイズ減算部１４は、画像データおよび差分信号に基づいて、筋状ノイズのノイズ低減された画像データを生成する。この画像データの内、色補間済みの画像データは、ガンマ変換部１８に直接出力される。一方、ＲＡＷデータについては、色補間部１９を介して色補間された後、ガンマ変換部１８に出力される。
このガンマ変換部１８によってガンマ変換を施された画像データは外部に出力される。
【０００８】
［発明との対応関係］
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の第１平滑化部は、第１平滑化部１５に対応する。
請求項記載の第２平滑化部は、第２平滑化部１６に対応する。
請求項記載の差分処理部は、差分処理部１７に対応する。
請求項記載のノイズ減算部は、ノイズ減算部１４に対応する。
【０００９】
［本実施形態の動作説明］
図２は、画像処理装置１１の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って、本実施形態の動作を説明する。
【００１０】
ステップＳ０：画像処理装置１１は、入力画像の種類に応じて、逆ガンマ変換を実行するか否かを決定する。
すなわち、ガンマ変換済みの入力画像の場合、画像処理装置１１は、ステップＳ１に動作を移行する。
一方、ガンマ変換が未処理の入力画像の場合、画像処理装置１１は、ステップＳ２に動作を移行する。
【００１１】
ステップＳ１：入力画像に非線形なガンマ変換が施されている場合、入力画像中の筋状ノイズは、重畳する画像信号のレベルに応じた振幅変調を生じている。このような筋状ノイズの振幅変調は、筋状ノイズを選別する上で障害となる。
そこで、逆ガンマ変換部１２は、このような入力画像に対して下式の逆ガンマ変換を施し、筋状ノイズの振幅変調を復調する。
Ｒlinear（ｘ，ｙ）＝Γ^-1［Ｒ（ｘ，ｙ）］
Ｇlinear（ｘ，ｙ）＝Γ^-1［Ｇ（ｘ，ｙ）］
Ｂlinear（ｘ，ｙ）＝Γ^-1［Ｂ（ｘ，ｙ）］
上式中のＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、画面上の位置（ｘ，ｙ）におけるＲＧＢ色成分にそれぞれ該当し、２５６ステップのダイナミックレンジを有する。
一方、Ｒlinear（ｘ，ｙ），Ｇlinear（ｘ，ｙ），Ｂlinear（ｘ，ｙ）は、逆ガンマ変換後のＲＧＢ色成分にそれぞれ該当し、４０９６ステップのダイナミックレンジを有する。
また、上式中のΓ^-1は、逆ガンマ変換の演算処理であり、具体的には、逆ガンマ特性の対応テーブルを参照することによって高速に実行される。
【００１２】
ステップＳ２：第１平滑化部１５は、逆ガンマ変換後の画像データから、筋方向（図３に示すＸ方向）のライン毎にＷ画素分を取り出す。第１平滑化部１５は、取り出したＷ画素分を、色成分の種類毎に平滑化する。
このような平滑化を、第１平滑化部１５は、図３に示す参照範囲をＷ／２画素分ずつずらして繰り返し、下式の第１信号を得る。
【数１】

ここで、Ｎは横方向の画素数である。
なお、本実施形態では、上式中の変数として、例えば、Ｗ＝４００，Ｎ＝２０００，０≦ｙ≦１３１２，０≦ｘ≦２０００を使用する。
このような第１の平滑化により、筋方向に変動する画像の信号成分は抑制される。一方、筋状ノイズは、筋方向にノイズレベルが略一様なため、殆ど抑制されない。そのため、第１信号中には、筋状ノイズの大部分が残存する。
【００１３】
ステップＳ３：第２平滑化部１６は、第１信号をＹ方向に平滑化し、下式の第２信号を得る。
【数２】

ここで、上式中のｋは、平滑化のタップ数を決める値であり、タップ数５個の場合はｋ＝２に設定される。また、上式中のｆｉは、平滑化の重み係数であり、例えば全て『１』に設定される。また、上式中のｄは、平滑化の除数であり、例えばｄ＝５に設定される。
なお、画面境界の近傍において、タップ数分の第１信号が揃わない場合は、境界近傍の第１信号を延長して、上式の演算を行う。
このような第２の平滑化により、筋状ノイズを抑制した第２信号が得られる。
【００１４】
ステップＳ４：差分処理部１７は、第１信号と第２信号との差分をとり、下式に示す差分信号の候補Nr(y,m)，Ng(y,m)，Nb(y,m)を得る。
【数３】

【００１５】
ステップＳ５：差分処理部１７は、下式に基づいて、差分信号の候補Nr(y,m)，Ng(y,m)，Nb(y,m)のメディアン値を求め、差分信号Nr(y)，Ng(y)，Nb(y)を得る。
【数４】

【００１６】
ステップＳ６：さらに、差分処理部１７は、差分信号Nr(y)，Ng(y)，Nb(y)の中から、筋状ノイズの振幅範囲を超えるものを選別し、『ゼロ』に置き換える。
例えば、このような筋状ノイズの振幅範囲としては、撮像素子の撮像感度に対応したノイズ振幅値と、ホワイトバランスによる各色の調整ゲインとを乗じた値を使用することが好ましい。
このような処理により、筋状ノイズ以外の振幅成分を、差分信号中から排除することが可能になる。
【００１７】
ステップＳ７：ノイズ減算部１４は、逆ガンマ変換後の画像データから、差分信号Nr(y)，Ng(y)，Nb(y)をライン単位に減算する。このとき、差分信号に所定係数Ｓ（０＜Ｓ≦１）を乗じることにより、差分信号の減算量を調整してもよい。
このような処理により、画像データに含まれる筋状ノイズを低減することが可能になる。
【００１８】
ステップＳ８：画像処理装置１１は、入力画像の種類に応じて、色補間処理を実行するか否かを決定する。
すなわち、色補間済みの入力画像の場合、画像処理装置１１は、ステップＳ１０に動作を移行する。
一方、色補間が未処理の入力画像の場合、画像処理装置１１は、ステップＳ９に動作を移行する。
【００１９】
ステップＳ９：色補間部１９は、画像データ（ＲＡＷデータ）に対して色補間処理を施し、ガンマ変換部１８に出力する。
【００２０】
ステップＳ１０：ガンマ変換部１８は、画像データに対してガンマ変換を施し、外部に出力する。
このような一連の動作により、画像処理装置１１による画像処理を完了する。
【００２１】
［本実施形態の効果など］
以上説明したように、本実施形態では、画像データから筋状ノイズを選択的に低減することが可能になる。
特に、本実施形態では、画面を複数の参照範囲に区分して、差分信号の候補Nr(y,m)，Ng(y,m)，Nb(y,m)を一旦求め、メディアン演算（または多数決演算など）により差分信号Nr(y)，Ng(y)，Nb(y)を最終的に決定している。このような処理により、画面内に局所的に存在する画像パターン（画面隅のバーコードなど）の影響を受けずに、適切な差分信号を求めることが可能になる。
【００２２】
また、本実施形態では、差分信号中から、筋状ノイズの振幅範囲を超える成分を排除している。このような処理により、画像データから余計な信号成分を減算するおそれがなくなり、画像データの劣化をなるべく避けつつ、筋状ノイズを低減することが可能になる。
【００２３】
さらに、本実施形態では、色補間前の画像データ（例えばＲＡＷデータ）から、筋状ノイズを低減している。通常、色補間処理を経た画像データは、筋状ノイズが空間的に拡散されているため、筋状ノイズの抽出が困難になる。しかしながら、色補間前の画像データについては、筋状ノイズが空間的に拡散されておらず、より的確に筋状ノイズを低減することが可能になる。
【００２４】
なお、色補間前の画像データについては、色成分が全面揃わず、虫食い状態を呈する。そのため、平滑化処理のサンプル数を確保するため、平滑化の参照範囲（上述したＷやｋなど）を若干広めに設定することが好ましい。
【００２５】
［実施形態の補足事項］
なお、上述した実施形態では、ＲＧＢなどの色成分の種類毎に、差分信号を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、色成分の種類に依らず、筋状ノイズが略一様に含まれているケースもある。このようなケースでは、色成分の種類を区別せずにひとまとめに扱って、差分信号を求めてもよい。この場合、平滑化処理のサンプル数を倍加できるので、筋状ノイズをより的確に抽出することが可能になる。
【００２６】
また、上述した実施形態では、画面の横方向に筋状ノイズが発生する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画面の縦方向や斜め方向に筋状ノイズが発生する場合には、この筋状ノイズの発生方向を筋方向として本発明を適用すればよい。
【００２７】
なお、上述した実施形態では、単体の画像圧縮装置１１として実現するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した動作をプログラムコード化することにより、画像処理プログラムを作成してもよい。この画像処理プログラムを実行することにより、コンピュータを、第１平滑化処理部１５、第２平滑化部１６、差分処理部１７、およびノイズ減算部１４として機能させることが可能になる。
また、本発明の画像処理装置を、画像処理機構の一部として、電子カメラに搭載しても勿論よい。
【００２８】
【発明の効果】
本発明では、第１平滑化処理部が、画像データを筋方向に所定長さずつ平滑化して、第１信号を得る。この第１の平滑化では、筋方向に変動する信号成分は抑制されるが、筋状ノイズ自体はさほど抑制されない。そのため、第１信号中には筋状ノイズが適切に保存される。
【００２９】
続いて、第２平滑化処理部は、筋方向とは異なる方向に第１信号を平滑化して、第２信号を得る。この第２の平滑化では、筋状ノイズの変動が抑制される。
【００３０】
差分処理部は、このような第１信号と第２信号の差分を取ることにより、主に筋状ノイズからなる差分信号を得る。
【００３１】
ノイズ減算部は、この差分信号の少なくとも一部を画像データから差し引く（同相除去する）ことにより、画像データ中の筋状ノイズを低減する。
【００３２】
このような処理により、本発明では、筋状ノイズを選択的に低減して、画像データの画質を高めることが可能になる。
【図面の簡単な説明】
【図１】本実施形態における画像処理装置１１の構成を示す図である。
【図２】画像処理装置１１の動作を説明する流れ図である。
【図３】第１の平滑化処理における参照範囲を説明する図である。
【符号の説明】
１１画像処理装置
１２逆ガンマ変換部
１４ノイズ減算部
１５第１平滑化部
１６第２平滑化部
１７差分処理部
１８ガンマ変換部
１９色補間部

Claims

画像データから筋状ノイズを低減する画像処理装置であって、
前記画像データを、前記筋状ノイズの筋方向に所定長さずつ平滑化し、前記筋方向の信号変動を抑制した第１信号を得る第１平滑化処理部と、
前記筋方向とは異なる方向に前記第１信号を平滑化し、前記第１信号と同じ画素数で、かつ前記筋状ノイズを抑制した第２信号を得る第２平滑化処理部と、
前記第１信号と前記第２信号との差分をとり、前記筋状ノイズを主として含む差分信号を得る差分処理部と、
前記画像データから前記差分信号を差し引いて、前記画像データ中の前記筋状ノイズを低減するノイズ減算部と
を備えたことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記第１平滑化処理部は、前記筋方向の画素数を前記画像データよりも減数した前記第１信号を求める
ことを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記差分処理部は、前記第１信号と前記第２信号との差分から、前記筋方向のメディアン値を求めて、前記筋状ノイズを主として含む前記差分信号を得る
ことを特徴とする画像処理装置。
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記差分処理部は、前記筋状ノイズの振幅範囲を超える成分を前記差分信号から排除する
ことを特徴とする画像処理装置。