JP6411816B2

JP6411816B2 - ノイズ低減装置

Info

Publication number: JP6411816B2
Application number: JP2014172498A
Authority: JP
Inventors: 文香横内
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2014-08-27
Filing date: 2014-08-27
Publication date: 2018-10-24
Anticipated expiration: 2034-08-27
Also published as: JP2016048821A

Description

本発明は、画像に含まれるノイズを低減するノイズ低減装置に関する。

撮像素子より出力される画像信号に対して画像の劣化を防止しつつノイズを低減することが可能なノイズ低減装置が知られている。例えば特許文献１に、この種のノイズ低減装置の具体的構成が記載されている。

特許文献１に記載のノイズ低減装置は、撮像素子の各画素を注目画素として順次選択し、注目画素を含む所定の画素領域において注目画素の画像信号と注目画素の周辺画素の画像信号から注目画素についての分散量を計算する。特許文献１では、計算されたノイズ分散量が小さい値を取る場合は、処理対象の画素領域内でノイズが発生しているとみなされ、計算されたノイズ分散量が大きい値を取る場合は、処理対象の画素領域内にエッジ部分が含まれているとみなされる。特許文献１に記載のノイズ低減装置は、計算された分散量に基づいて注目画素の画像信号に対するノイズ除去量を決定し、決定されたノイズ除去量に基づいて注目画素の画像信号からノイズを低減する。

特開２０１２−１９４２６号公報

しかし、例えば、注目画素についてのノイズ分散量が大きい値を取る場合は、処理対象の画素領域内にエッジ部分のみならずノイズが含まれていることがある。この場合、特許文献１に記載の計算処理では、処理対象の画素領域内にノイズが含まれているにも拘わらずエッジ部分のみ含まれているとみなされて、ノイズ低減処理が行われない。この結果、ノイズ低減処理の精度が劣化する。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、注目画素に対するノイズ低減処理による画質の改善に好適なノイズ低減装置を提供することである。

本発明の一実施形態に係るノイズ低減装置は、撮像素子の各画素を注目画素として順次選択する注目画素選択手段と、選択された注目画素を含む所定の複数の画素領域であって、互いに異なる画素領域を規定する画素領域規定手段と、規定された各画素領域及び注目画素の画像信号に基づいて、該注目画素との信号差分値を該画素領域毎に計算する差分値計算手段と、計算された画素領域毎の信号差分値のうちの最大値及び最小値に基づいて注目画素に対するノイズ低減処理を行うノイズ低減手段とを備える。

このように、画素領域規定手段により規定される画素領域毎の信号差分値のうちの最大値及び最小値に基づいて注目画素に対するノイズ低減処理を行うことにより、ノイズ低減処理による画質改善の効果が高くなる。

ノイズ低減手段は、差分値計算手段により計算された画素領域毎の信号差分値のうちの最大値をＭＡＸと定義し、最小値をＭＩＮと定義し、所定の第一の閾値をＰ１と定義した場合に、次式
ＭＡＸ−ＭＩＮ≦Ｐ１
が満たされるとき、注目画素に対するノイズ低減処理を行う構成であってもよい。

ノイズ低減手段は、差分値計算手段により計算された画素領域毎の信号差分値のうちの最大値をＭＡＸと定義し、所定の第二の閾値をＰ２と定義した場合に、次式
ＭＡＸ≦Ｐ２
が満たされるとき、注目画素に対するノイズ低減処理を行う構成であってもよい。

ノイズ低減手段は、
差分値計算手段により計算された画素領域毎の信号差分値のうちの最小値をＭＩＮと定義し、所定の第三の閾値をＰ３と定義した場合に、次式
ＭＩＮ≧Ｐ３
が満たされるとき、注目画素に対するノイズ低減処理を行う構成であってもよい。

例えば、注目画素及び該注目画素の周辺画素を含む領域を画素群領域と定義した場合に、画素領域規定手段により規定される各画素領域は、画素群領域よりも小さく且つ該画素群領域内に含まれる領域である。

差分値計算手段は、画素領域規定手段により規定された画素領域毎に、画素値の平均値を計算し、計算された平均値と注目画素の画素値との差分を信号差分値として計算する構成であってもよい。

ノイズ低減手段は、撮像素子より出力されるＲＡＷ画像データに対してノイズ低減処理を行う構成であってもよい。

本発明の一実施形態によれば、注目画素に対するノイズ低減処理による画質の改善に好適なノイズ低減装置が提供される。

本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。本発明の実施形態の電子内視鏡システムに備えられるノイズ低減回路によるノイズ低減処理をフローチャートで示す図である。図２の処理ステップＳ１２の説明を補助する説明補助図である。図２の処理ステップＳ１２の説明を補助する説明補助図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡システム１全体の構成］
図１は、本実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力されるユーザからの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。

ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。

ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、画像信号（ＲＡＷ画像データ）がフレーム周期で固体撮像素子１０８より入力される。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号（ＲＡＷ画像データ）をプロセッサ２００の信号処理回路２２０に出力する。

ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

信号処理回路２２０は、ノイズ低減回路２２０Ａ及び画像信号処理回路２２０Ｂを備えている。ノイズ低減回路２２０Ａには、ドライバ信号処理回路１１０より１フレーム周期で画像信号（ＲＡＷ画像データ）が入力される。ノイズ低減回路２２０Ａは、入力される画像信号（ＲＡＷ画像データ）に対してノイズ低減処理を施す。ノイズ低減回路２２０Ａは、ノイズ低減処理によるノイズ低減後の画像データを画像信号処理回路２２０Ｂに出力する。

画像信号処理回路２２０Ｂは、ノイズ低減回路２２０Ａによるノイズ低減後の画像データに対して色補間、マトリックス演算、Ｙ／Ｃ分離等の所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、被写体のカラー画像がモニタ３００の表示画面に表示される。

ノイズを含んだ状態のＲＡＷ画像データに対して色補間等の処理が施されてカラー画像データが生成されると、ノイズが強調されて（ノイズが広がって）画質が劣化することがある。そこで、本実施形態では、色補間等の各種信号処理が施される前のＲＡＷ画像データに対してノイズ低減処理が施される。本実施形態では、ノイズ低減後の画像データに対して色補間等の処理が施されるため、ノイズが広がることによる画質の劣化が抑えられる。

［ノイズ低減処理］
次に、ノイズ低減回路２２０Ａによるノイズ低減処理の詳細を説明する。図２に、ノイズ低減回路２２０Ａによるノイズ低減処理をフローチャートで示す。図２では、１フレームのＲＡＷ画像データに対するノイズ低減処理を示す。

［図２のＳ１１（注目画素の選択）］
本処理ステップＳ１１では、固体撮像素子１０８の有効画素領域の中から所定の順序に従い１つの注目画素が選択される。以下、説明の便宜上、本処理ステップＳ１１にて選択された注目画素に符号ＰＩＸを付す。

［図２のＳ１２（画素領域の規定）］
図３及び図４に、本処理ステップＳ１２の説明を補助する説明補助図を示す。便宜上、図３及び図４中、注目画素ＰＩＸにハッチングを付す。図３（ａ）は、処理ステップＳ１１（注目画素の選択）にて選択された注目画素ＰＩＸを中心とする５×５の画素群を示す。また、図３（ｂ）は、図３（ａ）に示される画素群の各画素の画素値を示す。例えば図３（ｂ）中、符号Ｘ_３３は、注目画素ＰＩＸの画素値を示す。

本処理ステップＳ１２では、注目画素ＰＩＸについて複数の画素領域が規定される。図４（ａ）〜図４（ｅ）に、本処理ステップＳ１２にて規定される複数の画素領域を例示する。図４（ａ）〜図４（ｅ）に例示されるように、本実施形態では、５×５の画素群領域内に３×３の画素群領域が５つ規定される。以下、説明の便宜上、図４（ａ）に例示される画素領域に符号Ｒ１を付し、図４（ｂ）に例示される画素領域に符号Ｒ２を付し、図４（ｃ）に例示される画素領域に符号Ｒ３を付し、図４（ｄ）に例示される画素領域に符号Ｒ４を付し、図４（ｅ）に例示される画素領域に符号Ｒ５を付す。画素領域Ｒ１〜Ｒ５は、互いに異なる領域でありつつも、何れも注目画素ＰＩＸを含む領域となっている。

［図２のＳ１３（各画素領域の平均画素値の計算）］
本処理ステップＳ１３では、処理ステップＳ１２（画素領域の規定）にて規定された画素領域Ｒ１〜Ｒ５の各画素領域について、ドライバ信号処理回路１１０より入力される画像信号（ＲＡＷ画像データ）の画素値の平均値（平均画素値）が計算される。例として、画素領域Ｒ１の平均画素値Ａｖｅ１は、次式により計算される。
Ａｖｅ１＝（Ｘ_１１＋Ｘ_１２＋Ｘ_１３＋Ｘ_２１＋Ｘ_２２＋Ｘ_２３＋Ｘ_３１＋Ｘ_３２＋Ｘ_３３）／９
画素領域Ｒ２〜５の平均画素値Ａｖｅ２〜Ａｖｅ５についても、同様の式を用いて計算される。

なお、注目画素が固体撮像素子１０８の有効画素領域の端に位置する場合は、注目画素を中心とする５×５の画素領域を規定することができない。この場合、例えば不足部分の画素（有効画素領域の外側に位置することになる画素）について規定の画素値が割り当てられた上で、平均画素値の計算が行われる。

［図２のＳ１４（信号差分値の計算）］
本処理ステップＳ１４では、注目画素ＰＩＸとの信号差分値が画素領域Ｒ１〜Ｒ５の画素領域毎に計算される。例として、画素領域Ｒ１と注目画素ＰＩＸとの信号差分値Ｓｔｄ１は、次式により計算される。
Ｓｔｄ１＝｜Ａｖｅ１−Ｘ_３３｜
画素領域Ｒ２〜５の各画素領域と注目画素ＰＩＸとの信号差分値Ｓｔｄ２〜５についても、同様の式を用いて計算される。

［図２のＳ１５（信号差分値の判定）］
本処理ステップＳ１５では、処理ステップＳ１４（信号差分値の計算）にて計算された信号差分値Ｓｔｄ１〜Ｓｔｄ５が所定の条件を満たすか否かが判定される。具体的には、信号差分値Ｓｔｄ１〜Ｓｔｄ５のうちの最大値をＭＡＸと定義し、最小値をＭＩＮと定義し、所定の第一の閾値をＰ１と定義した場合に、次式（１）
ＭＡＸ−ＭＩＮ≦Ｐ１・・・（１）
が満たされるか否かが判定される。

本処理ステップＳ１５にて式（１）が満たされないと判定された場合（Ｓ１５：ＮＯ）は、画素領域Ｒ１〜Ｒ５間での平均画素値のバラツキが大きいことから、注目画素ＰＩＸを中心とする５×５の画素領域内の全体ではなく局所的な位置にだけ（例えば画素領域Ｒ１〜Ｒ５のうちの１つにだけ）エッジ部分や極めて大きいランダムノイズが含まれているものと推定される。この場合、注目画素ＰＩＸに対するノイズ低減処理（平滑化処理）を行うと、却って画質の劣化を生じさせる虞がある。そのため、本フローチャートの処理は、次の処理ステップＳ１６（ノイズ低減処理）でのノイズ低減処理を実行することなく、処理ステップＳ１７（全画素に対する処理の実行完了判定）に進む。

このように、本実施形態では、注目画素ＰＩＸ周辺の局所的な位置にだけエッジ部分等が現れる場合にもエッジ部分が含まれていることを精度良く推定し、注目画素ＰＩＸに対するノイズ低減処理（平滑化処理）が実行されないことから、ノイズ低減処理による画質の劣化が少ない（画質の改善に好適である）。

［図２のＳ１６（ノイズ低減処理）］
処理ステップＳ１５（信号差分値の判定）にて式（１）が満たされると判定された場合（Ｓ１５：ＹＥＳ）、画素領域Ｒ１〜Ｒ５間での平均画素値のバラツキが小さいことから、注目画素ＰＩＸを含む周辺領域にはエッジ部分が含まれていないものと推定される。また、当該周辺領域には、極めて大きいラムダムノイズも含まれていないものと推定される。そのため、本処理ステップＳ１６では、注目画素ＰＩＸを含む周辺領域の画素値に基づいて注目画素ＰＩＸに対するノイズ低減処理（平滑化処理）が実行される。例として、本処理ステップＳ１６では、注目画素ＰＩＸを中心とする３×３の画素群の平均画素値が計算され、計算された平均画素値がノイズ低減後の注目画素ＰＩＸの画素値として適用される。

［図２のＳ１７（全画素に対する処理の実行完了判定）］
本処理ステップＳ１５では、現在処理されているフレームの全ての画素（有効画素領域の画素）に対して処理ステップＳ１５（信号差分値の判定）が実行されたか否かが判定される。

処理ステップＳ１５（信号差分値の判定）が実行されていない画素があると判定された場合（Ｓ１７：ＮＯ）、本フローチャートの処理は、処理ステップＳ１１（注目画素の選択）に戻り、次の注目画素が選択され、選択された注目画素に対して処理ステップＳ１２（画素領域の規定）以降の処理が実行される。一方、現在処理されているフレームの全ての画素に対して処理ステップＳ１５（信号差分値の判定）が実行されたと判定された場合（Ｓ１７：ＹＥＳ）、本フローチャートの処理は終了する。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

例えば、図２の処理ステップＳ１５（信号差分値の判定）において、所定の第二の閾値をＰ２と定義した場合に、式（１）に加えて次式（２）
ＭＡＸ≦Ｐ２・・・（２）
が満たされるか否かが判定されてもよい。

式（２）が満たされない場合、注目画素ＰＩＸを中心とする５×５の画素領域内の、少なくとも局所的な位置でハレーション（飽和寸前又は飽和している部分）が発生しているものと推定される。この場合、注目画素ＰＩＸに対するノイズ低減処理（平滑化処理）を行うと、却って画質の劣化を生じさせる虞がある。そのため、図２の処理ステップＳ１６（ノイズ低減処理）でのノイズ低減処理は実行されない。一方、式（２）が満たされる場合、画素領域Ｒ１〜Ｒ５の中でハレーション（飽和寸前又は飽和している部分）が発生していないものと推定される。この場合は、更に式（１）が満たされることを条件に、処理ステップＳ１６（ノイズ低減処理）でのノイズ低減処理が実行される。

また、図２の処理ステップＳ１５（信号差分値の判定）において、所定の第三の閾値をＰ３と定義した場合に、式（１）（及び式（２））に加えて次式（３）
ＭＩＮ≧Ｐ３・・・（３）
が満たされるか否かが判定されてもよい。

式（３）が満たされない場合、注目画素ＰＩＸ自体がノイズである可能性が低い。この場合、注目画素ＰＩＸに対するノイズ低減処理（平滑化処理）を行うと、却って画質の劣化を生じさせる虞がある。そのため、図２の処理ステップＳ１６（ノイズ低減処理）でのノイズ低減処理は実行されない。一方、式（３）が満たされる場合、注目画素ＰＩＸ自体がノイズである可能性が高い。この場合は、更に式（１）（及び式（２））が満たされることを条件に、処理ステップＳ１６（ノイズ低減処理）でのノイズ低減処理が実行される。

１電子内視鏡システム
１００電子スコープ
１０２ＬＣＢ
１０４配光レンズ
１０６対物レンズ
１０８固体撮像素子
１１０ドライバ信号処理回路
１１２メモリ
２００プロセッサ
２０２システムコントローラ
２０４タイミングコントローラ
２０６ランプ電源イグナイタ
２０８ランプ
２１０集光レンズ
２１２メモリ
２１４操作パネル
２２０信号処理回路
２２０Ａノイズ低減回路
２２０Ｂ画像信号処理回路

Claims

撮像素子の各画素を注目画素として順次選択する注目画素選択手段と、
選択された注目画素を含む所定の複数の画素領域であって、互いに異なる画素領域を規定する画素領域規定手段と、
規定された各前記画素領域及び前記注目画素の画像信号に基づいて、該注目画素との信号差分値を該画素領域毎に計算する差分値計算手段と、
計算された画素領域毎の信号差分値のうちの最大値及び最小値に基づいて前記注目画素に対するノイズ低減処理を行うノイズ低減手段と、
を備え、
前記ノイズ低減手段は、
前記差分値計算手段により計算された画素領域毎の信号差分値のうちの最大値をＭＡＸと定義し、最小値をＭＩＮと定義し、所定の第一の閾値をＰ１と定義した場合に、次式
ＭＡＸ−ＭＩＮ≦Ｐ１
が満たされるとき、前記注目画素に対するノイズ低減処理を行う、
ノイズ低減装置。
撮像素子の各画素を注目画素として順次選択する注目画素選択手段と、
選択された注目画素を含む所定の複数の画素領域であって、互いに異なる画素領域を規定する画素領域規定手段と、
規定された各前記画素領域及び前記注目画素の画像信号に基づいて、該注目画素との信号差分値を該画素領域毎に計算する差分値計算手段と、
計算された画素領域毎の信号差分値のうちの最大値及び最小値に基づいて前記注目画素に対するノイズ低減処理を行うノイズ低減手段と、
を備え、
前記ノイズ低減手段は、
前記差分値計算手段により計算された画素領域毎の信号差分値のうちの最大値をＭＡＸと定義し、所定の第二の閾値をＰ２と定義した場合に、次式
ＭＡＸ≦Ｐ２
が満たされるとき、前記注目画素に対するノイズ低減処理を行う、
ノイズ低減装置。
撮像素子の各画素を注目画素として順次選択する注目画素選択手段と、
選択された注目画素を含む所定の複数の画素領域であって、互いに異なる画素領域を規定する画素領域規定手段と、
規定された各前記画素領域及び前記注目画素の画像信号に基づいて、該注目画素との信号差分値を該画素領域毎に計算する差分値計算手段と、
計算された画素領域毎の信号差分値のうちの最大値及び最小値に基づいて前記注目画素に対するノイズ低減処理を行うノイズ低減手段と、
を備え、
前記ノイズ低減手段は、
前記差分値計算手段により計算された画素領域毎の信号差分値のうちの最小値をＭＩＮと定義し、所定の第三の閾値をＰ３と定義した場合に、次式
ＭＩＮ≧Ｐ３
が満たされるとき、前記注目画素に対するノイズ低減処理を行う、
ノイズ低減装置。
前記注目画素及び該注目画素の周辺画素を含む領域を画素群領域と定義した場合に、
前記画素領域規定手段により規定される各画素領域は、
前記画素群領域よりも小さく且つ該画素群領域内に含まれる領域である、
請求項１から請求項３の何れか一項に記載のノイズ低減装置。
前記差分値計算手段は、
前記画素領域規定手段により規定された画素領域毎に、画素値の平均値を計算し、計算された平均値と前記注目画素の画素値との差分を前記信号差分値として計算する、
請求項１から請求項４の何れか一項に記載のノイズ低減装置。
前記ノイズ低減手段は、
前記撮像素子より出力されるＲＡＷ画像データに対して前記ノイズ低減処理を行う、
請求項１から請求項５の何れか一項に記載のノイズ低減装置。