JP6630895B2 - 信号処理装置及び画像ノイズ低減方法 - Google Patents

Description

本発明は、信号処理装置及び画像ノイズ低減方法に関する。

内視鏡等に利用される画像センサの信号処理装置には、デジタル処理によって映像信号からノイズ成分を低減するＤＮＲ（Digital Noise Reduction：デジタルノイズ低減処理部）が搭載される。このＤＮＲでは、画像の色残像を低減するために、Ｒ,Ｇ,Ｂのリミッタ値を個別に設定するようにしている。この方法は、Ｒ,Ｇ,Ｂの各画素空間におけるノイズのリミッタ値を超える特性が同等であることを想定している。ところが、実際には、Ｒ,Ｇ,Ｂの各画素空間におけるノイズの特性はセンサのばらつきや撮像時の光量によって変動する。このため、全ての環境でＲ,Ｇ,Ｂの各画素空間において、ノイズレベルがリミッタ値を超えるように特性を揃える（管理する）ことは事実上困難である。

特開２００６−１９７４５５号公報

以上のように、従来の信号処理装置では、ＤＮＲにおいて、センサのＲ,Ｇ,Ｂの各画素空間におけるノイズ特性にばらつきがあるため、色残像の発生を十分に低減することが困難であった。

本発明の目的は、センサのＲ,Ｇ,Ｂの各画素空間におけるノイズ特性のばらつきの影響を受けずに色残像を低減することのできる信号処理装置とノイズ低減方法を提供することにある。

実施形態によれば、Ｒ画素，Ｇ画素，Ｂ画素がベイヤー配列の画像センサから出力される映像信号に対してＤＮＲ（Digital Noise Reduction：デジタルノイズ低減）の処理を実行する信号処理装置において、画素選択部と、ＤＮＲ処理部、制御部とを備える。前記画素選択部は、前記映像信号からＲ信号、Ｇ信号、Ｂ信号を画素ごとに選択する。前記ＤＮＲ処理部は、前記Ｒ信号、Ｇ信号、Ｂ信号それぞれのノイズレベルを、Ｒ用、Ｇ用、Ｂ用それぞれのリミット値に基づいて振幅制限するＤＮＲ処理を行う。前記制御部は、前記Ｇ信号について動き検出処理を行い、動きありと判定された場合は前記ＤＮＲ処理をオフ状態に制御し、動きなしと判定された場合は前記ＤＮＲ処理をオン状態に制御する。

実施形態に係る信号処理装置の構成を示すブロック図。 図１に示す信号処理装置に用いられるＤＮＲ処理部の構成を示すブロック図。 図２に示すＤＮＲ処理部の第１の実施例の構成を示すブロック図。 図３に示すＤＮＲ処理部の具体的な処理内容を示すフローチャート。 図２に示すＤＮＲ処理部において、色残像が発生する理由を説明するための撮像例を示す図。 図５に示した撮像例に基づいて色残像の発生要因を説明するための波形図。 図１に示す信号処理装置の入力画像を提供する画像センサのベイヤー配列によるＲＧＢ画素空間を示す図。 図２に示すＤＮＲ処理部において、リミッタ判定回路がＲ,Ｇ,Ｂの各画素空間のＤＮＲに与える判定結果を説明するための図。 図２に示すＤＮＲ処理部の第２の実施例の構成を示すブロック図。 図９に示すＤＮＲ処理部の具体的な処理内容を示すフローチャート。 第２の実施例においてエッジ着色が発生する理由を説明するための波形図。 第２の実施例において、画像センサのベイヤー配列によるＲＧＢ画素空間でのリミッタ判定処理を説明するための図。 図９に示すＤＮＲ処理部において、リミッタ判定回路がＲ,Ｇ,Ｂの各画素空間のＤＮＲに与える判定結果を説明するための図。

以下、図面を参照して実施形態を説明する。

図１は実施形態に係る信号処理装置の構成を示すブロック図である。この装置は、画素配列がベイヤー方式の撮像センサからのＲ，Ｇ，Ｂ画素空間における映像信号を入力し、前処理部１１でデジタル化した後、ＤＮＲ処理部１２でノイズ成分を低減する。続いて、色復調部１３でＲＧＢの色信号を復調し、高精細信号（高域輝度成分）ＹＨを分離した後、低域抽出・γ補正部１４で低域成分を抽出してγ補正を行い、色・色差変換部１５でＲＧＢ色信号をＹＰｂＰｒ色差信号に変換して色成分ＰｂＰｒと低域輝度成分ＹＬに分離する。色成分ＰｂＰｒについては色処理部１６で適正範囲に調整し、低域輝度成分ＹＬについては輝度処理部１７で適正範囲に調整した後、色差・色変換部１８に送り、色差信号に戻した後、ＲＧＢの色信号に変換する。そして、加算部１９において、高精細処理部２０を通して色復調部１３から分離出力される高精細信号ＹＨをＲＧＢの色信号に加算して映像信号出力とする。

図２は上記ＤＮＲ処理部１２の構成を示すブロック図である。図２において、端子１２１には画像センサ出力をデジタル化した映像信号が供給される。この映像信号は画素選択回路１２２によりＲ，Ｇ，Ｂの画素信号（以下、Ｒ信号、Ｇ信号、Ｂ信号と記す）に選択的に分割され、それぞれＲ−ＤＮＲ回路１２３Ｒ、Ｇ−ＤＮＲ回路１２３Ｇ、Ｂ−ＤＮＲ回路１２３Ｂに送られる。また、Ｇ信号はＬＭＴ（リミット）判定回路１２４にも送られる。

上記ＬＭＴ判定回路１２４は、Ｇ信号から動き検出を行い、その検出結果に基づいて上記Ｒ−ＤＮＲ回路１２３Ｒ、Ｇ−ＤＮＲ回路１２３Ｇ、Ｂ−ＤＮＲ回路１２３ＢのＮＲ処理を制御する。上記Ｒ−ＤＮＲ回路１２３Ｒ、Ｇ−ＤＮＲ回路１２３Ｇ、Ｂ−ＤＮＲ回路１２３Ｂは、それぞれＬＭＴ判定回路１２４からの判定（動き検出）結果に基づいてＲ信号、Ｇ信号、Ｂ信号にＮＲ処理を選択的に実施するもので、それぞれの出力は色復調部１３に送られる。

（第１の実施例）
図３は図２に示すＤＮＲ処理部１２の第１の実施例の構成を示すブロック図、図４は図３に示すＤＮＲ処理部１２の処理の流れを示すフローチャートである。なお、図３において、ＤＮＲ回路１２３は、図２に示したＲ−ＤＮＲ回路１２３Ｒ、Ｇ−ＤＮＲ回路１２３Ｇ、Ｂ−ＤＮＲ回路１２３Ｂそれぞれの機能を包括するものとする。

図３において、画素選択回路１２２は、フレームメモリ１２２１によって１フレーム前のＤＮＲ処理された映像信号を取得し、第１の減算器１２２２によって端子１２１に供給される映像信号とのフレーム間差分を演算すると共に、第２の減算器１２２３によってＧ信号のフレーム間差分を算出する。第１の減算器１２２２から出力されるＲ，Ｇ，Ｂのフレーム間差分信号はＤＮＲ回路１２３に送られ、第２の減算器１２２３から出力されるＧ信号のフレーム間差分信号はＬＭＴ判定回路１２４に送られる。

上記ＬＭＴ判定回路１２４では、入力されたＧのフレーム間差分信号を動き検出回路１２４１に供給する。この動き検出回路１２４１は、Ｇのフレーム間差分信号と予め設定されたリミッタ値ＬＭＴとを比較してＬＭＴ判定による動き検出処理を行う。すなわち、フレーム間差分＜リミッタ値の場合は、動きなしと判定してスイッチ１２３２を巡回ＯＮとする。これにより、ＤＮＲはＯＮ状態となる。また、フレーム間差分＞リミッタ値の場合には、動きありと判定してスイッチ１２３２を巡回ＯＦＦとする。このとき、ＤＮＲは動作しない。

上記ＤＮＲ回路１２３では、入力されたＲ，Ｇ，Ｂのフレーム間差分信号をリミッタ１２３１に供給する。このリミッタ１２３１は、リミッタレベルに達するまでは入力差分値をそのまま出力し、リミッタレベルを超えるときは規定値に制限する。リミッタ１２３１の出力は巡回オン・オフスイッチ（ＳＷ）１２３２を介して乗算器１２３３に送られ、この乗算器１２３３によって所定の係数が重み付けされた後、減算器１２３４に送られ、入力画素値から減算されることで、ノイズが低減される。この減算値は、フレームメモリ１２２１に記録されて次の画素処理に供されると共に、ＤＮＲ出力となって図１に示した色復調部１３に送られる。

上記ＤＮＲ処理部１２は、具体的には図４に示すフローチャートに従って処理を実行する。まず、入力映像信号について、順次、画素を指定する（ステップＳ１１）。この画素がＧであるか判定し（ステップＳ１２）、画素がＧならば、その画素Ｇのフレーム間差分を算出する（ステップＳ１３）。ステップＳ１２において、画素がＧでなければ（ＲまたはＢ）、左隣のＧのフレーム間差分を算出する（ステップＳ１４）。

次に、ステップＳ１４で算出されたＧのフレーム間差分と予め設定されたリミッタ値とを比較してＬＭＴ判定を行う（ステップＳ１５）。ここで、フレーム間差分＜リミッタ値の場合は、スイッチ１２３４を巡回ＯＮとする。これにより、ＤＮＲはＯＮ状態となる。また、フレーム間差分＞リミッタ値の場合には、スイッチ１２３４を巡回ＯＦＦとする。このとき、ＤＮＲは動作しない。

上記の処理について、図５乃至図８を参照して説明する。

まず、色残像が発生する理由を説明する。画像センサにおいて、ある画素のＲとＧに着目し、図５に示すように黒→白→黒と被写体が動いたときの残像とノイズの関係を図６に示す。Ｒ入力信号が被写体の動きに応じて図６（ａ）に示すように変化し、Ｒ差分信号が図６（ｂ）に示すように白黒境界部分でリミッタレベルＬＭＴを超えたとする。このとき、ＲのＤＮＲ出力には、図６（ｃ）に示すように、エッジ部分でＬＭＴを越えた現信号が現れる。

これに対して、Ｇ入力信号が被写体の動きに応じて図６（ｄ）に示すように変化し、Ｇ差分信号が図６（ｅ）に示すように白黒境界部分でリミッタレベルを超えなかったとする。このとき、ＧのＤＮＲ出力には、図６（ｆ）に示すように、エッジ部分で現信号がＬＭＴを超えず、残像となる。

最終的に、ＲとＧのＤＮＲ後の信号を図６（ｇ）に示すように重ね合わせてみると、黒から白に変化するときにＲ（マゼンダ）の残像が現れ、白から黒に変化するときにＧ（グリーン）の残像が現れる。このように、Ｒ，Ｇ，Ｂでノイズ量が異なるため、リミッタ境界付近での被写体の動きによる残像の出方が異なり、色の残像として現れる。ＢはＲと同様の特性を有するので、上記のような残像はＢについても同様に現れる。

以上のように、Ｒ（またはＢ）とＧのノイズ量が異なるため、ＬＮＴ判定（動き検出）が異なることが色残像の要因である。このことは、ＬＭＴ判定を統一すれば、色残像が発生しないことを意味する。ただし、Ｒ，Ｂはホワイトバランスによりゲインが変わる。そこで、本実施例では、Ｇを基準にＬＮＴ判定を行う。また、ベイヤー配列では、図７に示すように、Ｒ，Ｂ画素空間にＧ画素が存在しない。このため、本実施例では、図８に示すように、隣接するＧ画素のリミッタ判定結果を用いてＤＮＲをかけるようにしている。

ここで、上記ＤＮＲ処理部１２は、ベイヤー方式では高域、低域信号、色信号の全てに対してノイズ低減効果がある。また、回路配置は１か所（色復調前）で済み、フレームメモリの容量を少なくすることができる。さらに、信号処理前の信号に対して行うため、回路特性（ゲイン、γ、ＤＴＬ）に対して、ＤＮＲのパラメータ連動制御は基本的に不要となる。

（第２の実施例）
図９は上記ＤＮＲ処理部１２の第２の実施例の構成を示すブロック図、図１０は図９に示すＤＮＲ回路の処理の流れを示すフローチャートである。この実施例では、残像を低減するため、フィルタを通した信号にＤＮＲをかけるようにしている。なお、図９において、図３と同一部分には同一符号を付して示し、ここでは重複する説明を省略する。

図９において、画素選択回路１２２は、フレームメモリ１２２１によって１フレーム前のＤＮＲ処理された映像信号を取得し、中心画素抽出部１２２４によって順次中心画素を選択して端子１２１に供給される映像信号とのフレーム間差分を演算する。ここで得られたＲ，Ｇ，Ｂそれぞれのフレーム間差分信号は、ＤＮＲ回路１２３のリミッタ１２３１に送られる。また、中心画素・周囲４画素抽出部１２２５によって中心画素の周囲に存在する４画素Ｇのフレーム間差分を算出する。算出された４画素Ｇのフレーム間差分信号はＬＮＴ判定回路１２４に送られる。

上記ＬＭＴ判定回路１２４では、入力された４画素Ｇのフレーム間差分信号を相関判定回路１２４２に供給する。この相関判定回路１２４２は、４画素Ｇのフレーム間差分信号の相関をみて、最も相関の低い画素のフレーム間差分を選択し、動き検出回路１２４１に供給する。この動き検出回路１２４１は、選択されたＧのフレーム間差分信号と予め設定されたリミッタ値ＬＭＴとを比較してＬＭＴ判定による動き検出処理を行う。すなわち、フレーム間差分＜リミッタ値の場合は、動きなしと判定してスイッチ１２３２を巡回ＯＮとする。これにより、ＤＮＲはＯＮ状態となる。また、フレーム間差分＞リミッタ値の場合には、動きありと判定してスイッチ１２３２を巡回ＯＦＦとする。このとき、ＤＮＲは動作しない。

上記ＤＮＲ回路１２３では、第１の実施例と同様であり、入力されたＲ，Ｇ，Ｂのフレーム間差分信号をリミッタ１２３１に供給する。このリミッタ１２３１は、リミッタレベルに達するまでは入力差分値をそのまま出力し、リミッタレベルを超えるときは規定値に制限する。リミッタ１２３１の出力は巡回オン・オフスイッチ（ＳＷ）１２３２を介して乗算器１２３３に送られ、この乗算器１２３５によって所定の係数が重み付けされた後、減算器１２３６に送られ、入力画素値から減算されることで、ノイズが低減される。この減算値は、フレームメモリ１２３２に記録されて次の画素処理に供されると共に、ＤＮＲ出力となって図１に示した色復調部１３に送られる。

上記ＤＮＲ処理部１２は、具体的には図１０に示すフローチャートに従って処理を実行する。まず、入力映像信号について、順次、中心画素を指定する（ステップＳ２１）。この中心画素がＧであるか判定し（ステップＳ２２）、中心画素がＧならば、その中心画素Ｇのフレーム間差分を算出する（ステップＳ２３）。ステップＳ２２において、中心画素がＧでなければ（ＲまたはＢ）、中心画素と周囲４画素（Ｇ）の各フレーム間差分を算出し（ステップＳ２４）、中心画素と周囲４画素のフレーム間差分の相関をみて（ステップＳ２５）、最も相関の高い画素のフレーム間差分を選択し（ステップＳ２６）、選択されたフレーム間差分とリミッタ値とを比較してＬＭＴ判定を行う（ステップＳ２７）。ここで、フレーム間差分＜リミッタ値の場合は、巡回ＯＮとし、ＤＮＲをＯＮ状態とする。また、フレーム間差分＞リミッタ値の場合には、巡回量を０とし、ＤＮＲを動作させないようにする。

上記の処理について、図１１乃至図１３を参照して説明する。

第１の実施例のように、Ｒ／ＢのＬＭＴ判定を隣接Ｇ信号で行うと、Ｒ／ＢとＧとの空間的な位置ずれによりＬＭＴ判定が１フレーム遅れることがあり、その際に映像のエッジ部に着色が発生する。具体的には、図１１に示すように、映像のエッジが図中矢印で示す位置にある場合、左のＧ画素の判定結果によりＮＲがかかったままとなる。ＲまたはＢの判定が１フレーム遅れるため、黒→白で緑、白→黒でマゼンダのエッジ着色が発生する。すなわち、一方向のＧ信号（例えば左隣）のみ使用すると、被写体の動く方向により色がつく。

そこで、本実施例では、図１２に示すように、対象Ｒ／Ｂ画素に隣接する４つのＧ信号の相関をみて、一番相関の強いＧ信号のＬＭＴ判定結果を採用する。例えば、図１３に示すように、Ｂ２２を中心画素とするとき、対象画素Ｂ２２に隣接する４つの画素Ｇ１２，Ｇ２１，Ｇ２２，Ｇ３２について、フレームＦ１とフレームＦ２との差分を求め、その差分から一番相関の強いＧ信号のＬＭＴ判定を行う。これにより、エッジ部の色つきを抑制することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…前処理部、１２…ＤＮＲ処理部、１２１…映像信号入力端子、１２２…画素選択回路、１２２１…フレームメモリ、１２２２…第１の減算器、１２２３…第２の減算器、１２２４…中心画素抽出部、１２２５…中心画素・周囲４画素抽出部、１２３…ＤＮＲ回路、１２３Ｒ…Ｒ−ＤＮＲ回路、１２３Ｇ…Ｇ−ＤＮＲ回路、１２３Ｂ…Ｂ−ＤＮＲ回路、１２３１…リミッタ、１２３２…乗算器、１２３３…減算器、１２３４…巡回オン・オフスイッチ（ＳＷ）、１２４…ＬＭＴ（リミット）判定回路、１２４１…動き検出回路、１２４２…相関判定回路、１２５…映像信号入力端子、１２６…フィルタ回路、１２６１…帯域制限回路、１２６２…遅延回路、１２７…ＤＮＲ回路、１２８…減算回路、１２９…遅延回路、１２１０…加算回路、１３…色復調部、１４…低域抽出・γ補正部、１５…色・色差変換部、１６…色処理部、１７…輝度処理部、１８…色差・色変換部、１９…加算部、２０…高精細処理部。

Claims (5)

1. Ｒ画素，Ｇ画素，Ｂ画素がベイヤー配列の画像センサから出力される映像信号に対してＤＮＲ（Digital Noise Reduction：デジタルノイズ低減）の処理を実行する信号処理装置において、
   前記映像信号からＲ信号、Ｇ信号、Ｂ信号を画素ごとに選択する画素選択部と、
   前記Ｒ信号、Ｇ信号、Ｂ信号それぞれのノイズレベルを、Ｒ用、Ｇ用、Ｂ用それぞれのリミット値に基づいて振幅制限するＤＮＲ処理を行うＤＮＲ処理部と、
   前記Ｇ信号について動き検出処理を行い、動きありと判定された場合は前記ＤＮＲ処理をオフ状態に制御し、動きなしと判定された場合は前記ＤＮＲ処理をオン状態に制御する制御部と
   を具備する信号処理装置。
2. 前記ＤＮＲ処理部は、前記Ｒ信号、Ｇ信号、Ｂ信号それぞれについて入力信号とフレーム遅延信号との差分から第１のノイズ成分を検出するノイズ検出部と、
   前記Ｒ信号、Ｇ信号、Ｂ信号それぞれの第１のノイズ成分に対してＲ用、Ｇ用、Ｂ用それぞれのリミット値に基づいて振幅制限を与えて第２のノイズ成分を検出するリミッタ部と、
   前記入力信号から前記Ｒ信号、Ｇ信号、Ｂ信号それぞれの第２のノイズ成分を減算して出力信号を得る出力部と、
   前記出力信号を１フレーム遅延して前記フレーム遅延信号を生成する遅延部とを備える請求項１記載の信号処理装置。
3. 前記制御部は、前記ＤＮＲ処理部でＲ信号、Ｂ信号それぞれのＤＮＲ処理を行うとき、前記ベイヤー配列のＲ画素、Ｂ画素それぞれの隣接するＧ画素の動き検出結果に基づいて前記ＤＮＲ処理のオン・オフを切替制御する請求項１記載の信号処理装置。
4. 前記制御部は、前記ＤＮＲ処理部でＲ信号、Ｂ信号それぞれのＤＮＲ処理を行うとき、前記ベイヤー配列のＲ画素、Ｂ画素それぞれを中心画素として、その周囲４点のＧ画素の隣接するＧ画素の動き検出結果に基づいて前記ＤＮＲ処理のオン・オフを切替制御する請求項１記載の信号処理装置。
5. Ｒ画素，Ｇ画素，Ｂ画素がベイヤー配列の画像センサから出力される映像信号に対してＤＮＲ（Digital Noise Reduction：デジタルノイズ低減）の処理を実行する画像ノイズ低減方法において、
   前記映像信号からＲ信号、Ｇ信号、Ｂ信号を画素ごとに選択し、
   前記Ｒ信号、Ｇ信号、Ｂ信号それぞれのノイズレベルを、Ｒ用、Ｇ用、Ｂ用それぞれのリミット値に基づいて振幅制限するものとし、
   前記Ｇ信号について動き検出処理を行い、動きありと判定された場合は前記ＤＮＲ処理をオフ状態に制御し、動きなしと判定された場合は前記ＤＮＲ処理をオン状態に制御する画像ノイズ低減方法。

Images