JP5197414B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5197414B2
JP5197414B2 JP2009021813A JP2009021813A JP5197414B2 JP 5197414 B2 JP5197414 B2 JP 5197414B2 JP 2009021813 A JP2009021813 A JP 2009021813A JP 2009021813 A JP2009021813 A JP 2009021813A JP 5197414 B2 JP5197414 B2 JP 5197414B2
Authority
JP
Japan
Prior art keywords
filter
similarity
pixel
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009021813A
Other languages
English (en)
Other versions
JP2010178302A (ja
Inventor
佐々木  寛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009021813A priority Critical patent/JP5197414B2/ja
Priority to US12/696,133 priority patent/US8269862B2/en
Publication of JP2010178302A publication Critical patent/JP2010178302A/ja
Application granted granted Critical
Publication of JP5197414B2 publication Critical patent/JP5197414B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、画像信号に対してノイズ低減処理を行う画像処理装置及び画像処理方法に関するものである。
一般的に、CCDまたはCMOS等の撮像素子を備えた撮像装置は、レンズを経て撮像面上に光学的に結像された像を、各画素毎の微小領域において夫々光電変換することにより、電気信号としての画像信号を出力する。また、前述の画像信号は、増幅器により所定の輝度レベルとなるように増幅され、かつ、A/D変換器によりデジタル化されたデジタル画像として更なる処理が施される。
そして、前述のようにデジタル化されたデジタル画像においては、撮像素子に起因する種々のノイズが混入する。前述のノイズとしては、例えば、暗電流、各画素のバラツキに付随した増幅器のゲインのバラツキに起因する固定パターンノイズ、及び、光電変換時の統計的な性質に起因するショットノイズとしてのランダムノイズ等が挙げられる。また、前述のノイズの統計的な特性は、輝度レベルと共に変化することが知られている。特に、ショットノイズは、輝度レベルの平方根に比例する平均振幅を有している。
一方、撮像素子に起因するノイズが混入したデジタル画像のノイズレベルを低減させることによりSN比を向上可能な処理としては、例えば、画像信号の空間的な相関性とノイズの空間的な無相関性とを利用した、空間的な平滑化フィルタによる処理が広く知られている。しかし、空間的な平滑化フィルタは、画像のエッジ部分に対して悪影響を与える場合が多くある。そのため、画像のエッジ部とエッジ部以外の部分とにおいて適応的に平滑化フィルタの重み係数が変化するような、エッジ保存型のフィルタを用いたノイズ低減方法が特許文献1に記載されている。
特許文献1に記載のノイズ低減フィルタは、対象領域内の処理対象となる注目画素とその周辺画素との画素値の差分値に応じて、重みを適応的に変更するフィルタである。具体的には、特許文献1に記載のノイズ低減フィルタは、前述の差分値の絶対値が閾値SHより大きい場合においては重みを0にする一方、前述の差分値の絶対値が閾値SH以下の場合においては、前述の差分値の絶対値が0から大きくなるにしたがって所定値までは単調減少し、かつ、前述の差分値の絶対値が該所定値以上になると単調増加する関数を用いて重みに変換するフィルタ係数を利用して構成されている。このように、注目画素とその周辺画素との差分値に基づいて設計されたフィルタを利用することにより、画像のエッジ部を保存しつつ平坦部のノイズを抑えることができる。
また、画像の構造に応じて重みが適応変化する適応平滑化フィルタとしては、例えば、有理フィルタ、及び、下記数式(1)として示すバイラテラルフィルタと呼ばれるものがある。

F(x,y)=N・exp{−(|空間距離(x,y)|/σs)2 /2}・exp{−(|画素値差(x,y)|/σd)2 /2}
…(1)

バイラテラルフィルタは、上記数式(1)に示すように、空間距離に応じたガウスフィルタと画素値差に応じたガウスフィルタとを乗算したフィルタ係数を有している。上記数式(1)の右辺第1項は、画像の構造に依存しない固定した重みを与えることを示しており、また、上記数式(1)の右辺第2項は、画像の構造に依存して適応的に変化する重みを与えることを示している。
上記数式(1)として示すバイラテラルフィルタによれば、処理対象画素とその周辺画素との画素値の差が大きな画素を平滑化処理からできるだけ排除するように作用するため、画素値の差が大きいエッジ部を鈍らせることがない。その結果、上記数式(1)として示すバイラテラルフィルタによれば、解像度を保持しつつ多くのノイズを低減することができるため、効果的なノイズ低減結果を得ることができる。
ところで、上記数式(1)の右辺第2項によれば、平滑化に利用する画素の画素値の差が高々σd程度の差であることが示されている。そして、このσdの値を固定した場合、画像内において平滑化に利用される画素の選択基準が一定となる。しかし、撮像素子に起因するノイズの発生量は、前述のように輝度レベルに応じて変化するものである。そのため、σdの値を固定することは、実際に処理を行う場合においては都合が悪い。そして、このような事情を考慮し、上記数式(1)として示すバイラテラルフィルタにおいて、右辺第2項のσdの値を発生ノイズ量に応じて変更する技術が特許文献2に記載されている。
特許文献2には、輝度レベルに応じて決まる予め測定しておいたノイズ量である標準偏差値をテーブルとして保持し、処理対象画素の輝度レベルに対する推定ノイズ量を出力し、該推定ノイズ量に上記σdの値を対応させる、という技術が記載されている。特許文献2に記載のこのような技術によれば、画像の空間的な構造だけでなく輝度レベルにも適応してフィルタ重みを設計することができるので、より小さなエッジ構造についても潰すことなく、効果的なノイズ低減結果を得ることができる。
しかし、特許文献2に記載の技術によれば、σdの値を推定ノイズ量に対応させて変化させたとしても、微細構造の振幅がσdの値に近似したものになるにつれ、このような微細構造をノイズと共に潰してしまうという欠点があった。また、特許文献2に記載の技術によれば、微細構造を残すために更にσdの値を小さくするように制御すると、今度はノイズ低減効果が悪くなってしまうという問題があった。
このような問題は、他のエッジ保存型平滑化フィルタとしての、有理フィルタを利用する場合においても略同様に存在する。例えば下記数式(2)として示す有理フィルタによれば、前述のバイラテラルフィルタほどに微細構造を潰すことはない反面、ノイズ低減効果もバイラテラルフィルタ程には得られない。すなわち、下記数式(2)として示す有理フィルタにおいても、微細構造を残しつつ高いノイズ低減効果を得るという特性を十分に得ることができない。

F(x,y)=T/(|画素値差|+T) …(2)

なお、上記数式(2)として示す有理フィルタの場合においては、Tが上記σdに対応するパラメータとなる。そして、上記数式(2)として示す有理フィルタによれば、Tの値が|画素値差|の値に対して十分小さい場合にはノイズ低減効果が得られなくなり、また、|画素値差|の値をTの値に比べて小さくした場合には微細構造を消してしまうという特性しか得られなかった。
特許文献1及び特許文献2に記載のエッジ保存型の平滑化フィルタを用いた場合においては、微細構造を極力保持しつつ高いノイズ低減効果を得る、という特性を十分に得ることができない。
本発明は、前述した事情に鑑みてなされたものであり、画像信号に対するノイズ低減処理において、微細構造を極力保持しつつ高いノイズ低減効果を得ることが可能な画像処理装置及び画像処理方法を提供することを目的としている。
本発明における画像処理装置は、注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出手段と、前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出手段と、前記類似度に対してフィルタ処理を行う類似度フィルタ処理手段と、前記類似度フィルタ処理手段の前記フィルタ処理において用いられる第1のフィルタを、前記抽出領域の類似度の統計量に基づいて決定する第1のフィルタ決定手段と、前記類似度フィルタ処理手段により前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第2のフィルタを決定する第2のフィルタ決定手段と、前記第2のフィルタ決定手段により決定された前記第2のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理手段と、を有する。
本発明における画像処理装置は、好ましくは、前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値である。
本発明における画像処理装置は、好ましくは、前記第1のフィルタ決定手段は、前記抽出領域の類似度の前記統計量と、前記注目画素の推定ノイズ量とに基づいて前記第1のフィルタを決定する。
本発明における画像処理装置は、好ましくは、前記第2のフィルタ決定手段は、前記第1のフィルタ決定手段において決定された前記第1のフィルタに基づき、前記抽出領域に対して用いる前記第2のフィルタの特性パラメータを決定する。
本発明における画像処理装置は、好ましくは、前記第2のフィルタの特性パラメータは、前記類似度に対する正規化量である。
本発明における画像処理装置は、好ましくは、前記第2のフィルタ決定手段は、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第2のフィルタを決定する。
本発明における画像処理装置は、好ましくは、前記第2のフィルタ決定手段により決定される前記第2のフィルタは、バイラテラルフィルタである。
本発明における画像処理装置は、好ましくは、前記第1のフィルタ決定手段は、前記フィルタ処理に用いられる前記第1のフィルタとして複数のフィルタ候補を選択し、前記類似度フィルタ処理手段において前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、1種類の類似度を選択する類似度選択手段をさらに有する。
本発明における画像処理方法は、注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出ステップと、前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出ステップと、前記類似度に対してフィルタ処理を行う類似度フィルタ処理ステップと、前記類似度フィルタ処理ステップの前記フィルタ処理において用いられる第1のフィルタを、前記抽出領域の類似度の統計量に基づいて決定する第1のフィルタ決定ステップと、前記類似度フィルタ処理ステップにより前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第2のフィルタを決定する第2のフィルタ決定ステップと、前記第2のフィルタ決定ステップにより決定された前記第2のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理ステップと、を有する。
本発明における画像処理方法は、好ましくは、前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値である。
本発明における画像処理方法は、好ましくは、前記第1のフィルタ決定ステップは、前記抽出領域の類似度の前記統計量と、前記注目画素の推定ノイズ量とに基づいて前記第1のフィルタを決定する。
本発明における画像処理方法は、好ましくは、前記第2のフィルタ決定ステップは、前記第1のフィルタ決定ステップにおいて決定された前記第1のフィルタに基づき、前記抽出領域に対して用いる前記第2のフィルタの特性パラメータを決定する。
本発明における画像処理方法は、好ましくは、前記第2のフィルタの特性パラメータは、前記類似度に対する正規化量である。
本発明における画像処理方法は、好ましくは、前記第2のフィルタ決定ステップは、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第2のフィルタを決定する。
本発明における画像処理方法は、好ましくは、前記第2のフィルタ決定ステップにより決定される前記第2のフィルタは、バイラテラルフィルタである。
本発明における画像処理方法は、好ましくは、前記第1のフィルタ決定ステップは、前記フィルタ処理に用いられる前記第1のフィルタとして複数のフィルタ候補を選択し、前記類似度フィルタ処理ステップにおいて前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、1種類の類似度を選択する類似度選択ステップをさらに有する。
本発明における画像処理装置及び画像処理方法によると、画像信号に対するノイズ低減処理において、微細構造を極力保持しつつ高いノイズ低減効果を得ることが可能である。
本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図。 図1の画像処理装置におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図。 バイラテラルフィルタの周波数特性の一例を示す図。 輝度値に対して画素に重畳されるノイズ量の関係の一例を示す図。 画素値間の差分値に対して処理するフィルタ種の選択閾値とノイズ量の関係の一例を示す図。 画素値間の差分値のフィルタ処理前後の周波数特性の一例を示す模式図。 画素値間の差分値のフィルタ処理前後の周波数特性の、図6Aとは異なる例を示す模式図。 抽出領域における画素値間の差分値へのフィルタ処理を模式的に示す図。 抽出領域に対して処理を行う際のフィルタ係数の一例を示す図。 抽出領域に対して処理を行う際のフィルタ係数の、図7Bとは異なる例を示す図。 ノイズ低減処理部の具体的な構成の一例を示す機能ブロック図。 5×5画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図。 図9Aの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図。 図9Aの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図。 5×5画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図。 図10Aの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図。 図10Aの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図。 バイラテラルフィルタの画素値間の差分値を正規化する2種類の係数値の関係を示す図。 本発明の第2の実施形態に係る差分抽出領域フィルタ処理部の具体的な構成の一例を示す機能ブロック図。 図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の一例を示す図。 図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13Aとは異なる例を示す図。 図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A及び図13Bとは異なる例を示す図。 図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A、図13B及び図13Cとは異なる例を示す図。 図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A、図13B、図13C及び図13Dとは異なる例を示す図。 図12の差分抽出領域フィルタ処理部を具備した構成におけるノイズ低減処理の処理手順を示すフローチャート。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1から図11は、本発明の第1の実施形態に係るものである。図1は、本発明の実施形態に係る画像処理装置の要部の構成を示す機能ブロック図である。図2は、図1の画像処理装置におけるノイズ低減部の具体的な構成の一例を示す機能ブロック図である。図3は、バイラテラルフィルタの周波数特性の一例を示す図である。図4は、輝度値に対して画素に重畳されるノイズ量の関係の一例を示す図である。図5は、画素値間の差分値に対して処理するフィルタ種の選択閾値とノイズ量の関係の一例を示す図である。図6Aは、画素値間の差分値のフィルタ処理前後の周波数特性の一例を示す模式図である。図6Bは、画素値間の差分値のフィルタ処理前後の周波数特性の、図6Aとは異なる例を示す模式図である。図7Aは、抽出領域における画素値間の差分値へのフィルタ処理を模式的に示す図である。図7Bは、抽出領域に対して処理を行う際のフィルタ係数の一例を示す図である。図7Cは、抽出領域に対して処理を行う際のフィルタ係数の、図7Bとは異なる例を示す図である。
図8は、ノイズ低減処理部の具体的な構成の一例を示す機能ブロック図である。図9Aは、5×5画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図である。図9Bは、図9Aの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図である。図9Cは、図9Aの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図である。図10Aは、5×5画素の平坦領域に高周波ノイズが重畳された場合の画素値間の差分値を模式的に示す図である。図10Bは、図10Aの領域に対して用いられるフィルタにおいて、画素値間の差分値を用いて算出されたフィルタ係数を模式的に示す図である。図10Cは、図10Aの領域に対して用いられるフィルタにおいて、画素値間の差分値に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより得られたフィルタ係数を模式的に示す図である。図11は、バイラテラルフィルタの画素値間の差分値を正規化する2種類の係数値の関係を示す図である。
画像処理装置110は、図1に示すように、撮像部100と、色信号分離部101と、複数のノイズ低減部102と、補間処理部103と、色補正処理部104と、階調補正部105と、圧縮記録部106と、システム制御部107と、を有して構成されている。
撮像部100は、図示しないレンズ及び撮像素子を具備して構成されている。撮像部100の前記レンズを経て前記撮像素子上に結像した画像は、光電変換されつつアナログ信号として出力される。そして、前記アナログ信号は、図示しない増幅部により増幅され、図示しないA/D変換部によりデジタルデータに変換された後、色信号分離部101へ出力される。
なお、本実施形態においては、撮像部100の撮像素子は、CCDまたはCMOSセンサ等のチップ上にRGB原色カラーフィルタが市松状に各画素に1色配置された、ベイヤ配列の単板素子を前提に説明するが、特にこのような配列等に限定されるものではない。具体的には、撮像部100の撮像素子は、例えば、複数のモノクロ撮像素子とダイクロイックプリズムとを具備するとともに、該ダイクロイックプリズムを介して色分離した光を夫々の撮像素子に結像させるような、多板構成としても良い。この場合は、以下で示す色信号分離部101の分離する信号が異なり、また補間処理部103は不要となる。また、撮像部100の撮像素子は、前述の2種類の構成を組み合わせることにより、マルチバンドに対応可能な構成としても良い。
色信号分離部101は、撮像部100からのデジタルデータをR、Gr、Gb及びB画素信号毎に分離する。そして、色信号分離部101は、分離した各画素信号に対してホワイトバランス処理を施し、G信号に対するゲインをR信号及びB信号にかけた後、4つの色信号を夫々対応するノイズ低減部102へ出力する。
ノイズ低減部102は、色信号分離部101から出力される色信号毎にノイズ低減処理を施した後、該ノイズ低減処理後の各色信号を補間処理部103へ出力する。
補間処理部103は、一の画素に1色しかない色信号に対し、該一の画素の周辺画素における同色及び異色の画素値を用いることにより、該一の画素に存在しない2色の補間信号を作成する。このような処理により、補間処理部103は、1画素につき3色の色信号を具備する、同時化されたRGB信号を生成して色補正処理部104へ出力する。
色補正処理部104は、補間処理部103からの出力信号としての、撮像部100の特性に起因するデバイス色空間上のRGB信号を、出力先となるモニタ等の色域(例えばsRGB)に変換する処理を行う。そして、色補正処理部104は、前記処理を行った後のRGB信号を階調補正部105へ出力する。
階調補正部105は、出力先となるモニタ等の特性に応じた階調変換処理を色補正処理部104からのRGB信号に対して施した後、該階調変換処理後のRGB信号を圧縮記録部106へ出力する。
圧縮記録部106は、階調補正部105からのRGB信号を輝度色差信号であるYCbCr信号に変換し、JPEGまたはMPEG等の高能率圧縮処理を該YCbCr信号に対して施した後、該高能率圧縮処理後の信号を記録媒体に記録する。
システム制御部107は、前述の各部の処理を、画像処理装置110の全体で機能的に動作させるための制御信号を出力する。すなわち、画像処理装置110の各部は、システム制御部107から出力される制御信号に基づいて夫々動作する。
ここで、ノイズ低減部102の具体的な構成について説明を行う。
ノイズ低減部102は、図2に示すように、メモリ200と、領域抽出部201と、差分値算出部202と、統計量算出部203と、ノイズ量推定部204と、フィルタ係数テーブル205と、フィルタ係数選択部206と、差分抽出領域フィルタ処理部207と、重み係数変換用LUT208と、フィルタ係数算出部209と、ノイズ低減処理部210と、制御部211と、を具備して構成されている。
メモリ200には、色信号分離部101から出力される1種類の色信号が画像データとして入力される。前記画像データは、ノイズ低減処理の時間遅延を吸収するために、メモリ200において一時的に保持される。
領域抽出部201は、メモリ200に保持された画像データを読み込み、ノイズ低減処理を行う対象画素P(x0,y0)と、該対象画素Pを中央に具備する所定サイズの領域としての、例えば7×7画素の領域画像とを抽出する。そして、領域抽出部201は、抽出した前記領域画像を差分値算出部202及びノイズ量推定部204へ出力する。
差分値算出部202は、領域抽出部201からの領域画像に基づき、該領域画像の中央に位置する対象画素P(x0,y0)とその周辺領域の画素P(x,y)との類似度を示す、差分値D(x,y)を下記数式(3)により算出する。

D(x,y)=P(x,y)− P(x0,y0) …(3)

但し、上記数式(3)において、D(x0,y0)=0であるとする。また、本実施形態においては、類似度を差分値D(x,y)として以降の説明を行うが、これに限定する必要はない。例えば、前記類似度は、差分値D(x,y)の絶対値であっても良く、また、差分値D(x,y)の二乗の値であって良い。
そして、差分値算出部202は、算出した差分値D(x,y)を統計量算出部203及びノイズ量推定部204へ夫々出力する。
統計量算出部203は、差分値算出部202からの差分値D(x,y)に応じた標準偏差σDを算出してフィルタ係数選択部206へ出力する。なお、統計量算出部203は、統計量として標準偏差σDを算出するものに限らず、例えば、差分値D(x,y)の抽出領域内のダイナミックレンジを算出するものであっても良い。
一方、ノイズ量推定部204は、差分値算出部202からの差分値D(x,y)の抽出領域と、該抽出領域の対象画素P(x0,y0)に対応する1つの代表輝度値Rと、を算出する。なお、代表輝度値Rは、例えばD(x0,y0)=P(x0,y0)として算出されても良く、差分値D(x,y)の抽出領域内での平均値をP(x0,y0)に加えたものとして算出されても良く、または、下記数式(4)、(5)及び(6)として示すバイラテラルフィルタの処理結果として算出されても良い。

R=ΣxΣyexp{−S(x,y)2/(2σs 2)}exp{−(D(x,y)2 /(2σd 2)}}・{D(x,y)+P(x0,y0)}/No
…(4)
No=ΣxΣyexp{−S(x,y)2/(2σs 2)}exp{−(D(x,y)2 /(2σd 2)}} …(5)
S(x,y)2=(x−x0)2 + (y−y0)2 …(6)

ここで、上記数式(4)及び(5)におけるΣx及びΣyは、x及びyが取り得る値の範囲における総和を示すものとする。
ノイズ量推定部204は、例えば図4に示すような、事前の測定により求めておいたノイズモデルNm(R)に代表輝度値Rを適用することにより、該代表輝度値Rをノイズ推定量N(R)に変換する。
撮像装置におけるノイズモデルNm(R)は、特定の撮像装置にて予め均一輝度領域となる複数のパッチを撮影した後、その各パッチ内の所定領域の平均輝度値と標準偏差とを測定することにより得られる多項式近似曲線に対して最小二乗法を適用した関数として算出される。なお、このようなノイズモデルNm(R)は、多項式係数を保持したままのものであっても良く、また、複数点からなる折れ線データとしてLUT化されたものであっても良い。
ノイズ推定量N(R)は、例えば、撮像部100において指定されるゲイン量、ISO感度、露出時間、センサ自体の温度、及び、色信号分離部101のホワイトバランス処理に伴うゲイン量等の、ノイズ量を増大させるパラメータの関数P(ゲイン量,露出時間,温度,…)を、前述のノイズモデルNm(R)に対して乗算することにより算出される。
ノイズ量推定部204は、制御部211を介して入力される前述の各パラメータに基づき、前記関数Pを算出する。なお、前記関数Pは、例えば多項式またはLUTのような、関数値を求められるように表現されているものとする。
従って、ノイズ推定量N(R)は、下記数式(7)により求められる。

N(R)=Nm(R)×P(ゲイン量,露出時間,温度,…) …(7)

フィルタ係数選択部206には、統計量算出部203からの標準偏差σDと、ノイズ量推定部204からのノイズ推定量N(R)とが入力される。そして、フィルタ係数選択部206は、ノイズ推定量N(R)に基づいて閾値Th(R)を決定し、σDとTh(R)との大小判定に基づいてフィルタ係数テーブル205に格納されている複数のフィルタの中から1つのフィルタを選択する。
なお、閾値Th(R)は、下記数式(8)に示すように、ノイズ推定量N(R)と所定値α(R)との加算値として求められる。

Th(R)=N(R)+α(R) …(8)

図5に示すように、閾値Th(R)は、輝度値に応じてノイズ推定量N(R)が増えることに伴い、ノイズ推定量N(R)の増加に応じて値が大きくなるように設定されている。
フィルタ係数選択部206は、σD≧Th(R)であることを検出した場合には、エッジ強度が強い構造領域に対応した第1のフィルタを選択する。一方、フィルタ係数選択部206は、σD<Th(R)であることを検出した場合には、微細構造または平坦部の領域に対応した第2のフィルタを選択する。また、フィルタ係数選択部206は、選択したフィルタの係数値を差分抽出領域フィルタ処理部207に出力し、第1のフィルタまたは第2のフィルタのどちらを選択したかを示すフィルタ選択情報SWをフィルタ係数算出部209へ出力する。
ところで、閾値Th(R)と差分値D(x,y)の抽出領域の標準偏差σDとの比較判定は、処理対象となる抽出領域中にノイズ推定量N(R)に対して大きなエッジ成分が存在するかどうかを判定することを意味する。すなわち、フィルタ係数選択部206は、大きなエッジの有無に応じ、抽出領域の差分値D(x,y)に対して作用させるフィルタの種類を選択的に変更する。
そして、フィルタ係数テーブル205は、フィルタ係数選択部206による選択対象となるフィルタを夫々格納している。例えば、前述の第1のフィルタとしては図7Bの係数が対応し、また、前述の第2のフィルタとしては図7Cの係数が対応する。
前述の第1のフィルタは、全ての帯域を通過させるフィルタ特性を有している。一方、前述の第2のフィルタは、ローパスフィルタと同等の特性を有しており、空間的に高周波な成分の構造とともに高周波ノイズをカットする。
すなわち、閾値Th(R)と差分値D(x,y)の抽出領域の標準偏差σDとの比較判定において、大きなエッジがあると判定された場合には、抽出領域の差分値D(x,y)をそのままとすることにより、例えば図6Aに示すように空間周波数特性を維持するため、該抽出領域の差分値D(x,y)中に含まれるエッジ成分は保存される。一方、閾値Th(R)と差分値D(x,y)の抽出領域の標準偏差σDとの比較判定において、大きなエッジがないと判定された場合には、ローパスフィルタと同等の特性を有する第2のフィルタを作用させることにより、例えば図6Bに示すように空間周波数特性を変更する。
なお、フィルタ係数テーブル205に格納されている第1のフィルタ及び第2のフィルタが有するフィルタ特性は、図7B及び図7Cとして示したフィルタ係数に基づくものに限らない。具体的には、第1のフィルタは、周波数帯域をできるだけ残しつつ、ナイキスト周波数の近傍の周波数を減衰する急峻なローパスフィルタとして構成されていても良い。このような構成の場合、第1のフィルタにおいてもナイキスト周波数近傍のノイズ成分を除去することができるため、構造に対するノイズの影響を減らすことができる。但し、前述のような構成の場合、第1のフィルタのフィルタサイズを、差分値D(x,y)の抽出領域に比べて大きなサイズにする必要がある。
差分抽出領域フィルタ処理部207は、差分値算出部202から出力された抽出領域の差分値D(x,y)と、フィルタ係数選択部206から出力されたフィルタ係数とに基づき、抽出領域の差分値D(x,y)に対してフィルタ処理を施した後、処理結果をフィルタ係数算出部209へ出力する。
なお、図7Aは、抽出領域の差分値D(x,y)=Dxyへのフィルタ処理に対する模式図である。図7Aに示す7×7画素の抽出領域の差分値D(x,y)に対して、図7Bまたは図7Cに示す3×3のタップ数の2次元フィルタを1画素毎にコンボリューション処理することにより、差分抽出領域フィルタ処理部207による処理結果としてのD’(x,y)を得る。なお、D’(x,y)の領域は、例えば、図7Aに示す7×7画素の抽出領域から周辺1画素分のフィルタ処理できない部分を除いた領域である、D33の処理対象画素位置の周辺に存在する5×5画素からなる領域となる。
フィルタ係数算出部209は、差分抽出領域フィルタ処理部207から出力されたD’(x,y)と、フィルタ係数選択部206から出力されたフィルタ選択情報SWとに基づき、領域抽出部201において抽出された抽出領域に対する平滑化処理用フィルタ係数を算出する。
フィルタ係数算出部209により算出されるフィルタ係数は、下記数式(9)及び(10)として示されるバイラテラルフィルタに応じたものであり、また、D’(x,y)のサイズに対応した、5×5のタップ数を具備するものとなる。

F(x,y)=exp{−S(x,y)2/(2σs 2)}exp{−(D’(x,y)2 /(2σd(SW)2)} …(9)
S(x,y)2 =(x−x0)2+(y−y0)2 …(10)

上記数式(9)の右辺第1項のガウス関数exp{−S(x, y)2/(2σs 2)}は、空間距離に基づく重み係数であり、予め計算しておくことによりテーブルとして保持することが可能である。
一方、重み係数変換用LUT208は、フィルタ選択情報SWを、上記数式(9)の右辺第2項のガウス関数exp{−(D’(x, y)2/(2σd(SW)2)}に対応するガウス関数値へ変換するための変換テーブルを、複数個のルックアップテーブルLUTGとして予め保持している。このような構成によれば、例えば、ルックアップテーブルLUTG(SW)のアドレスがD’(x,y)となる格納場所の値を参照することにより、前述のガウス関数値を得ることができる。
そして、フィルタ係数算出部209は、重み係数変換用LUT208に保持されているルックアップテーブルLUTGと、上記数式(9)及び(10)とを用いて算出したフィルタ係数F(x,y)をノイズ低減処理部210へ出力する。なお、フィルタ係数算出部209により算出されたフィルタ係数F(x,y)の正規化処理については、ノイズ低減処理部210における積和演算処理後に行うものとする。
ノイズ低減処理部210は、領域抽出部201から出力される7×7画素の抽出領域のうち、該抽出領域の中心に位置する対象画素P(x0,y0)と、該対象画素P(x0,y0)の周辺5×5画素とを選択する。その後、ノイズ低減処理部210は、対象画素P(x0,y0)の周辺5×5画素とフィルタ係数算出部209から出力される5×5タップのフィルタ係数との間で積和演算処理を行い、さらにフィルタ係数の総和Noを算出して正規化処理を行うことにより、平滑化処理対象画素P’(x0,y0)を得る。そして、ノイズ低減処理部210は、処理結果としての平滑化処理対象画素P’(x0,y0)を、ノイズ低減処理出力画素値Po(x0,y0)として出力する。
なお、ノイズ低減処理部210は、前述した処理と略同等の処理を行うものとして、例えば図8として具体的に示すような構成を有しても良い。
ノイズ低減処理部210は、図8に示すように、積和演算処理部801と、正規化処理部802と、ノイズ推定量算出部803と、コアリング処理部804と、を有して構成されている。
積和演算処理部801は、抽出領域に含まれる対象画素P(x0,y0)と、該対象画素P(x0,y0)の周辺5×5画素からなるP(x,y)と、5×5タップのフィルタ係数F(x,y)との間において積和演算処理を行った後、積和演算処理結果P”(x0,y0)を正規化処理部802へ出力する。
正規化処理部802は、フィルタ係数F(x,y)の総和No(SW)=ΣxΣyexp{−S(x,y)2/(2σs 2)} exp{−(D’(x,y)2 /(2σd(SW)2)}を算出し、自身が保持するNo(SW)の逆数変換テーブルにより算出結果を逆数に変換した後、変換後の値に積和演算処理結果P”(x0,y0)を乗ずることにより、平滑化処理対象画素P’(x0,y0)を算出する。そして、正規化処理部802は、算出した平滑化処理対象画素P’(x0,y0)をノイズ推定量算出部803及びコアリング処理部804へ夫々出力する。
ノイズ推定量算出部803は、図4に示したノイズモデルNm(R)と制御部211から出力される撮影条件情報(露出時間、ゲイン量、ISO感度及びセンサ温度等)とに基づき、R=P’(x0,y0)としてノイズ推定量N(R)を算出する。ここで、ノイズ推定量算出部803におけるノイズ推定量は、ノイズ量推定部204の説明として既述の方法と同一の方法により算出される。そして、ノイズ推定量算出部803は、算出したノイズ推定量N(R)をコアリング処理部804へ出力する。
コアリング処理部804は、領域抽出部201から出力される対象画素P(x0,y0)と、正規化処理部802から出力される平滑化処理対象画素P’(x0,y0)と、ノイズ推定量算出部803から出力されるノイズ推定量N(P’(x0,y0))とに基づいてコアリング処理を行うことにより、最終的な出力画素値Po(x0,y0)を得る。
具体的には、コアリング処理部804は、|P(x0,y0)−P’(x0,y0)|<N(P’(x0,y0))の場合においては、P’(x0,y0)を最終的な出力画素値Po(x0,y0)とする。また、コアリング処理部804は、P(x0,y0)−P’(x0,y0)≧N(P’(x0,y0))の場合においては、P(x0,y0)−N(P’(x0,y0))を最終的な出力画素値Po(x0,y0)とする。一方、コアリング処理部804は、P(x0,y0)−P’(x0,y0)≦−N(P’(x0,y0))の場合においては、P(x0,y0)+N(P’(x0,y0))を最終的な出力画素値Po(x0,y0)とする。
ここで、以上に述べたノイズ低減部102の構成における作用的な面についての説明を行う。
ノイズ低減部102を構成するにあたって用いた、エッジ保存型平滑化フィルタとしてのバイラテラルフィルタは、例えば図3に示すように、適用する画像領域の構造に依存して異なる周波数特性を持つフィルタである。
このような周波数特性の変化は、輝度差により得られるバイラテラルフィルタの重みによって発生する。つまり、輝度差の絶対値をσdにより除した値(|輝度差|/σdの値)が1に対して大きい値となる画素が平滑化処理の対象となる抽出領域(フィルタタップ数により規定される領域であり、前述の説明においては5×5画素のサイズからなる領域)にある場合には、ガウス関数の値がゼロに近い値を取るため、平滑化処理の際に用いる画素からほぼ排除された状態となる。
このような性質により、処理対象画素がエッジ境界に存在したとしても、該処理対象画素の周辺画素との輝度差が大きなエッジである場合においては、エッジ方向と直交する方向に位置する画素が平滑化処理に加わらないため、エッジ部の空間的な周波数帯域を保存可能なフィルタを得ることができる。
一方、処理対象画素と該処理対象画素の周辺画素との輝度差が小さい微細構造領域の場合、つまり、輝度差の絶対値をσdにより除した値(|輝度差|/σdの値)が1に対して小さい値となる場合には、ガウス関数の値が1に近い値となるため、該微細構造領域を含む画素が全て平滑化処理に使用される。このような場合、平滑化フィルタの周波数特性は、バイラテラルフィルタの空間距離に関するもう一つのガウス関数により決定される特性のローパスフィルタに漸近することになる。
従って、画像の微細構造を保持できるか否かにおいては、バイラテラルフィルタの輝度差の絶対値に対するパラメータσdの大きさが支配的な要素となる。つまり、σdが比較的小さな値として設定されることにより、相対的に、輝度差の絶対値が小さい領域に対応する微細な構造を残すことが可能となる。但し、このような場合においては、輝度差の絶対値がノイズ量(ノイズが重畳されることにより得られる輝度差)に相当する大きさになると、ノイズによる変動が輝度差の絶対値をσdにより除した値(|輝度差|/σdの値)を大きく変化させるため、フィルタ係数に対して大きな影響を及ぼす。
図9A乃至図9C、及び、図10A乃至図10Cは、前述の説明を模式的に示した図である。なお、図9A及び図10Aにおける各マス毎の濃淡は、差分値の違いを可視的に表現したものである。(色が濃いほど差分値が大きくなる。)また、図9B、図9C、図10B及び図10Cにおける各マス毎の濃淡は、フィルタ係数の違いを可視的に表現したものである。(白い箇所の重みが大きくなる。)
図9Aは、5×5画素の平坦領域に高周波ノイズ(ノイズ量N)が重畳された場合の差分値D(x,y)を模式的に示している。
このような状態においてN≒σdとした場合、D(x,y)/σdの変動が大きくなるに伴い、例えば図9Bに示すように、算出したフィルタ係数が高周波ノイズのパターンに合わせて変動することとなり、平滑化に使用する画素が限定されてしまうため、結果的に十分なノイズ低減効果を得ることができない。
前述のように、微細構造を保持する目的においてノイズレベルに近い値までσdを小さくした場合、ノイズ低減効果が無くなってしまう。一方、σdを大きくした場合、ノイズ低減効果を十分に得ることができる反面、微細構造を保持することができない。
この相反性を克服するために、本実施形態のノイズ低減部102によれば、ノイズ低減処理を行う対象画素と、該対象画素の周辺領域画像とが微細構造領域であると判定された場合には、差分値D(x,y)に含まれる高周波ノイズをカットするためのローパスフィルタを作用させることにより、D’(x,y)を求めている。これにより、D’(x,y)/σdを1よりも小さな値とすることができるため、例えば図9Cに示すように、5×5タップの全てのフィルタ係数を均一な係数として得ることができる。
一方、図10Aは、空間的に縦方向に微細構造(小さなエッジ)を具備した抽出領域に高周波ノイズが重畳された場合の差分値D(x,y)を模式的に示している。
図10Aの微細構造領域に対する差分値D(x,y)からフィルタ係数を算出した場合、例えば図10Bに示すように、平滑化に使用する画素が限定されてしまうため、十分なノイズ低減効果が得られないフィルタ係数となる。一方、差分値D(x,y)に含まれる高周波ノイズをカットするローパスフィルタを作用させたD’(x,y)を用いることにより、例えば図10Cに示すように、縦方向の低周波の微細構造に沿った画素位置に存在する多くの画素を平滑化に利用可能なフィルタ係数を得ることができる。
つまり、σdを小さくしたとしても、画像構造の周波数成分に対してノイズ成分が多く含まれることが見込まれる周波数帯域を低減した差分値D’(x,y)を算出してからバイラテラルフィルタの係数を算出することにより、ノイズの影響を極力抑えた係数を得ることができる。
なお、画像の構造物として強調すべき周波数帯域が予め分かっている場合には、該周波数帯域を抽出するバンドパスフィルタを作用させても良い。この場合においても、画像構造を保存しつつ、効果的なノイズ低減結果を得ることができる。
また、差分値D(x,y)に作用させるローパスフィルタのタップ数を図7Cのように大きくできない場合においては、残しておきたい微細構造の振幅を得るために、D’(x,y)を所定倍する、あるいは、ローパスフィルタを作用させない場合のσdをローパスフィルタを作用させた場合のσdLに近づくように小さくすればよい。
図11は、σdとσdLの関係を示す図であり、ノイズ量N(R)に応じてσdが変化する場合の例を示している。そして、この例においては、前述の第2のフィルタに対応するローパスフィルタ処理時のσdL(N(R))をσdL(N(R))=βσd(N(R))とすればよい。(βは予め決められた1以下の所定の定数である。)これにより、微細構造領域のようなノイズの影響を相対的に受けやすい領域において、ノイズの影響を出来るだけ排除可能な、より適したバイラテラルフィルタの係数を算出できる。
一方、十分にエッジ強度がある構造領域と判定された場合、バイラテラルフィルタの係数は、ノイズの影響を相対的に受けない。そのため、本実施形態のノイズ低減部102は、差分値D(x,y)に対してフィルタ処理による帯域制限を施すことなくフィルタ係数を算出する。これにより、相関の無い構造に対応する画素を平滑化処理に加えることを排除できるため、エッジ保存性能を維持しつつノイズ低減を行うことができる。
また、前述のフィルタ係数算出処理は、バイラテラルフィルタに限定されず、例えば有理フィルタのような、差分値D(x,y)をフィルタ係数算出に利用するフィルタにおいても同様に利用できる。
以上に述べたように、本実施形態の画像処理装置110によれば、画像領域の構造に応じ、差分値D(x,y)に対してローパスフィルタまたはバンドパスフィルタによる処理を施した処理結果としての差分値D’(x,y)を用いつつ、バイラテラルフィルタのフィルタ係数を算出する。そのため、本実施形態の画像処理装置110によれば、微細構造を極力保持しつつ高いノイズ低減効果を得ることができる。
(第2の実施形態)
図12から図14は、本発明の第2の実施形態に係るものである。図12は、本発明の第2の実施形態に係る差分抽出領域フィルタ処理部の具体的な構成の一例を示す機能ブロック図である。図13Aは、図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の一例を示す図である。図13Bは、図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13Aとは異なる例を示す図である。図13Cは、図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A及び図13Bとは異なる例を示す図である。図13Dは、図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A、図13B及び図13Cとは異なる例を示す図である。図13Eは、図12の差分抽出領域フィルタ処理部において用いられるフィルタ係数の、図13A、図13B、図13C及び図13Dとは異なる例を示す図である。図14は、図12の差分抽出領域フィルタ処理部を具備した構成におけるノイズ低減処理の処理手順を示すフローチャートである。
なお、以降の説明において、第1の実施形態と同様の構成を持つ部分については、詳細な説明を省略する。また、本実施形態におけるノイズ低減部の構成は、第1の実施形態におけるノイズ低減部102と類似の構成を有している。そのため、本実施形態においては、第1の実施形態におけるノイズ低減部102と異なる部分について主に説明を行うものとする。具体的には、本実施形態においては、フィルタ係数選択部206及び差分抽出領域フィルタ処理部207の処理内容が第1の実施形態と異なるため、これについて主に説明を行うものとする。
差分抽出領域フィルタ処理部207は、図12に示すように、第1フィルタ処理部1201と、第2フィルタ処理部1202と、第3フィルタ処理部1203と、Dレンジ(ダイナミックレンジ)算出比較部1204と、類似度選択部1205と、を有して構成されている。
また、図12に示す差分抽出領域フィルタ処理部207によれば、差分値算出部202から出力される差分値D(x,y)が、第1フィルタ処理部1201、第2フィルタ処理部1202及び第3フィルタ処理部1203に夫々入力される。
一方、フィルタ係数選択部206は、例えば図13A乃至図13Eに示すような、フィルタ係数テーブル205に格納されている5種類のフィルタ係数群の中から所定のフィルタを選択する。そして、フィルタ係数選択部206は、選択した前記所定のフィルタを、第1フィルタ処理部1201、第2フィルタ処理部1202及び第3フィルタ処理部1203に夫々出力する。
第1フィルタ処理部1201、第2フィルタ処理部1202及び第3フィルタ処理部1203においては、並列的にフィルタ処理がなされる。ここで、差分値D(x,y)は、図7Aに示した7×7画素領域の差分値(D00乃至D66)を意味するものとする。
フィルタ係数選択部206がフィルタ係数テーブル205に格納されている5個のフィルタ係数群から所定のフィルタを選択する際には、具体的には、以下のような処理が行われる。
まず、フィルタ係数選択部206は、第1の実施形態において既述の判定方法により、エッジ強度が強い構造領域であるか、微細構造であるか、または、平坦部領域であるかの判定を行う。
そして、フィルタ係数選択部206は、エッジ強度が強い構造領域であると判定した場合には、図13Aのフィルタ係数を選択し、第1フィルタ処理部1201、第2フィルタ処理部1202及び第3フィルタ処理部1203へ夫々出力する。従って、この場合においては、3つのフィルタ処理部1201、1202及び1203は、同じ処理結果を出力する。そのため、無駄な処理を省く目的において、例えば第2フィルタ処理部1202及び第3フィルタ処理部1203の処理を停止することにより、この場合の出力をゼロとしても良い。
一方、フィルタ係数選択部206は、微細構造または平坦部領域である判定した場合には、図13Bのフィルタ係数を選択して第1フィルタ処理部1201へ出力し、図13Dのフィルタ係数を選択して第2フィルタ処理部1202へ出力し、図13A、図13B、図13C、図13D及び図13Eの5種類全てのフィルタ係数を第3フィルタ処理部1203へ出力する。
この場合、第1フィルタ処理部1201は、水平方向に平滑化処理を行うことになり、処理結果としてDh’(x,y)を出力する。また、第2フィルタ処理部1202は、垂直方向に平滑化処理を行うことになり、処理結果としてDv’(x,y)を出力する。さらに、第3フィルタ処理部1203は、中心位置に対して放射状の方向に対して平滑化処理を行うことになり、処理結果としてDr’(x,y)を出力する。
第1フィルタ処理部1201及び第2フィルタ処理部1202については、フィルタ処理位置に依存せず1種類のフィルタ係数をかけることになるため、詳細を示さずとも処理内容が明確である。一方、第3フィルタ処理部1203については、フィルタ処理位置によりフィルタ係数の種類を変更する必要があるため、処理内容の詳細を以下に示す。
まず、図13AのフィルタをF0(n,m)と定義し、図13BのフィルタをF1(n,m)と定義し、図13CのフィルタをF2(n,m)と定義し、図13DのフィルタをF3(n,m)と定義し、図13EのフィルタをF4(n,m)と定義する。このような場合、差分値D(x,y)=Dxyのフィルタ処理結果としてのDr’(x,y)=Dxy’は、下記数式(11)乃至数式(35)として夫々示す通りになる。

D11’=ΣnΣmF2(n,m)Dnm /4 …(11)
D12’=ΣnΣm{F2(n,m)+F3(n,m)}Dn(m+1)/8 …(12)
D13’=ΣnΣmF3(n,m)Dn(m+2)/4 …(13)
D14’=ΣnΣm{F3(n,m)+F4(n,m)}Dn(m+3)/8 …(14)
D15’=ΣnΣmF4(n,m)Dn(m+4)/4 …(15)
D21’=ΣnΣm{F1(n,m)+F2(n,m)}D(n+1)m/8 …(16)
D22’=ΣnΣmF2(n,m)D(n+1)(m+1)/4 …(17)
D23’=ΣnΣmF3(n,m)D(n+1)(m+2)/4 …(18)
D24’=ΣnΣmF4(n,m)D(n+1)(m+3)/4 …(19)
D25’=ΣnΣm{F1(n,m)+F4(n,m)}D(n+1)(m+4)/8 …(20)
D31’=ΣnΣmF1(n,m)D(n+2)m/4 …(21)
D32’=ΣnΣmF1(n,m)D(n+2)(m+1)/4 …(22)
D33’=ΣnΣmF0(n,m)D(n+2)(m+2) …(23)
D34’=ΣnΣmF1(n,m)D(n+2)(m+3)/4 …(24)
D35’=ΣnΣmF1(n,m)D(n+2)(m+4)/4 …(25)
D41’=ΣnΣm{F1(n,m)+F4(n,m)}D(n+3)m/8 …(26)
D42’=ΣnΣmF4(n,m)D(n+3)(m+1)/4 …(27)
D43’=ΣnΣmF3(n,m)D(n+3)(m+2)/4 …(28)
D44’=ΣnΣmF2(n,m)D(n+3)(m+3)/4 …(29)
D45’=ΣnΣm{F1(n,m)+F2(n,m)}D(n+3)(m+4)/8 …(30)
D51’=ΣnΣmF4(n,m)D(n+4)m/4 …(31)
D52’=ΣnΣm{F3(n,m)+F4(n,m)}D(n+4)(m+1)/8 …(32)
D53’=ΣnΣmF3(n,m)D(n+4)(m+2)/4 …(33)
D54’=ΣnΣm{F2(n,m)+F3(n,m)}D(n+4)(m+3)/8 …(34)
D55’=ΣnΣmF2(n,m)D(n+4)(m+4)/4 …(35)

上記数式(11)乃至数式(35)におけるn及びmは、夫々0、1または2のいずれかの値を取るものとする。また、上記数式(11)乃至数式(35)におけるΣn及びΣmは、n及びmが取り得る値の範囲における総和を示すものとする。
第1フィルタ処理部1201における処理結果としてのDh’(x,y)、第2フィルタ処理部1202における処理結果としてのDv’(x,y)、及び、第3フィルタ処理部1203における処理結果としてのDr’(x,y)は、図7Aの7×7画素領域に対してx=y=3を中心とする5×5画素の領域が抽出された状態として、Dレンジ算出比較部1204及び類似度選択部1205へ出力される。
Dレンジ算出比較部1204は、3種類の5×5画素のDh’(x,y)、Dv’(x,y)及びDr’(x,y)に対応する、最大値MaxH、MaxV及びMaxRと、最小値MinH、MinV及びMinRとを夫々求める。そして、Dレンジ算出比較部1204は、3種類の5×5画素のDh’(x,y)、Dv’(x,y)及びDr’(x,y)に対応する
ダイナミックレンジを、DRh=MaxH−MinH、DRv=MaxV−MinV、及び、DRr=MaxR−MinRの演算を行うことにより夫々算出する。さらに、Dレンジ算出比較部1204は、DRh、DRv及びDRrの3つのダイナミックレンジを比較することにより、ダイナミックレンジが最大となるフィルタ処理部(第1、第2または第3のいずれか)のフィルタ情報を類似度選択部1205へ出力する。
類似度選択部1205は、Dレンジ算出比較部1204からのフィルタ情報に基づき、Dh’(x,y)、Dv’(x,y)及びDr’(x,y)のうち、対応する一種類の5×5画素のフィルタ処理済み差分値を選択し、選択結果をフィルタ係数算出部209へ出力する。
前述の処理においては、3種類の方向依存のフィルタ処理を並列に行う構成としたが、その数をさらに増やすことにより、さらに多くのパターンの2次元微細構造にマッチした構成とすることも可能である。具体的には、例えば、F2(n,m)のみを処理する第4フィルタ処理、及び、F4(n,m)のみを処理する第5フィルタ処理を前述の3種類のフィルタ処理に加えることにより、合わせて5種類の方向依存のフィルタ処理を並列に行う構成としても良い。
第1の実施形態においては、差分値D(x,y)に作用させるフィルタを等方的なローパスフィルタまたはバンドパスフィルタとしていた一方、本実施形態においては、例えば図13A乃至図13Eに示すような、方向性を持った5種類の平滑化フィルタを用いた処理により複数方向の平滑化処理結果を取得した後、最もコントラストが得られる方向(微細構造のエッジ方向)の平滑化処理結果を、該複数方向の平滑化処理結果の中から1つ選択している。これにより、対象画素の微細構造が極力保存されつつ高周波ノイズが低減された状態のD’(x,y)を得ることができるため、結果的に、微細なエッジ構造にマッチしたバイラテラルフィルタのフィルタ係数を得ることができる。
ここで、前述のノイズ低減処理の処理手順について、図14のフローチャートを参照しつつ説明を行う。
まず、メモリに格納されている単色画像から処理対象画素P(x0,y0)と、該処理対象画素の所定周辺領域(例えば7×7画素)の画素P(x,y)とからなる画素領域を抽出する。(ステップ1401)
次に、抽出された7×7画素領域の中心に位置する処理対象画素P(x0,y0)と、該処理対象画素の周辺画素P(x,y)との間において差分値D(x,y)を算出する。(ステップ1402)
続いて、差分値D(x,y)の7×7画素の抽出領域に対して標準偏差σDを算出する。(ステップ1403)
その後、処理対象の画素P(x,y)に含まれるノイズ量を推定し、抽出領域の差分値D(x,y)が微細構造領域であるか否かを判定するために用いられる閾値Thを、推定した該ノイズ量に基づいて決定する。(ステップ1404)
ここで、前述のノイズ量は、予め撮像部100において発生するノイズ量を測定して得られた輝度レベルに対応するノイズ量(標準偏差)をノイズモデルとして保持した関数(または折れ線テーブル)と、撮影パラメータ(ゲイン量、露出時間及び温度等)とから求めることができる。
続いて、算出した抽出領域の標準偏差σDと、微細構造領域判定閾値Thとの比較を行う。(ステップ1405)
そして、ステップ1405の処理において、閾値Thが標準偏差σD以上であると判定された場合には、ステップ1402の処理により得られた差分値D(x,y)の抽出領域に対し、高周波成分まで周波数帯域を残す第1のフィルタを選択してフィルタ処理を行うことによりD’(x,y)を算出する。(ステップ1406)
一方、ステップ1405の処理において、閾値Thが標準偏差σD未満であると判定された場合には、ステップ1402の処理により得られた差分値D(x,y)の抽出領域に対し、M種類のフィルタを選択して夫々フィルタ処理を行うことにより、M種類のD’(x,y)を算出(ステップ1407)する。そして、前記M種類の差分値D’(x,y)に対応するM個のDレンジを夫々算出(ステップ1408)した後、Dレンジが最大となるフィルタ処理後の差分値D’(x,y)を選択(ステップ1409)する。
その後、ステップ1409において選択された差分値D’(x,y)に基づき、ノイズ低減処理を行う処理対象画素P(x0,y0)と、該処理対象画素の所定周辺領域(5×5画素)とに対するフィルタ係数を算出する。(ステップ1410)
そして、ステップ1410において算出されたフィルタ係数に基づいて処理対象位置の画素P(x0,y0)と、該処理対象画素の所定周辺領域(5×5画素)に対するフィルタ処理を行うことにより、画素P(x0,y0)に対してノイズが低減された状態の出力画素値Po(x0,y0)を得る。(ステップ1411)
ステップ1411の処理が完了すると、全ての処理対象画素が処理終了であるか否かを判定(ステップ1412)し、終了していない場合には、ステップ1401からの一連の処理を繰り返し行う。そして、全ての画素の処理が終了した時点において、一連のノイズ低減処理を終了する。
以上に述べた本実施形態の処理により、空間的な相関を利用した平滑化フィルタを用いて行うノイズ低減において、従来潰していた微細構造を残しつつ、十分なノイズ低減効果を得ることができる。
特に、以上に述べた本実施形態の処理は、予め被写体が限定される内視鏡画像等の医療画像のような、血管等の急峻でないエッジの微細構造を具備する画像に対して効果的に作用する。すなわち、以上に述べた本実施形態の処理によれば、空間周波数のうち重要となる中間帯域に重みが与えられ、かつ、高周波ノイズの影響を抑えたパラメータD’(x,y)を用いてフィルタ係数を算出するため、血管等の微細な構造物を残しつつノイズ低減を行うことができる。
なお、本発明は、上述した各実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
100 撮像部
101 色信号分離部
102 ノイズ低減部
103 補間処理部
104 色補正処理部
105 階調補正部
106 圧縮記録部
107 システム制御部
110 画像処理装置
200 メモリ
201 領域抽出部
202 差分値算出部
203 統計量算出部
204 ノイズ量推定部
205 フィルタ係数テーブル
206 フィルタ係数選択部
207 差分抽出領域フィルタ処理部
208 重み係数変換用LUT
209 フィルタ係数算出部
210 ノイズ低減処理部
211 制御部
801 積和演算処理部
802 正規化処理部
803 ノイズ推定量算出部
804 コアリング処理部
1201 第1フィルタ処理部
1202 第2フィルタ処理部
1203 第3フィルタ処理部
1204 Dレンジ算出比較部
1205 類似度選択部
特開2006−302023号公報 U.S. Patent Application Publication No.2007/0009175

Claims (16)

  1. 注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出手段と、
    前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出手段と、
    前記類似度に対してフィルタ処理を行う類似度フィルタ処理手段と、
    前記類似度フィルタ処理手段の前記フィルタ処理において用いられる第1のフィルタを、前記抽出領域の類似度の統計量に基づいて決定する第1のフィルタ決定手段と、
    前記類似度フィルタ処理手段により前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第2のフィルタを決定する第2のフィルタ決定手段と、
    前記第2のフィルタ決定手段により決定された前記第2のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理手段と、
    を有することを特徴とする画像処理装置。
  2. 前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1のフィルタ決定手段は、前記抽出領域の類似度の前記統計量と、前記注目画素の推定ノイズ量とに基づいて前記第1のフィルタを決定することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記第2のフィルタ決定手段は、前記第1のフィルタ決定手段において決定された前記第1のフィルタに基づき、前記抽出領域に対して用いる前記第2のフィルタの特性パラメータを決定することを特徴とする請求項3に記載の画像処理装置。
  5. 前記第2のフィルタの特性パラメータは、前記類似度に対する正規化量であることを特徴とする請求項4に記載の画像処理装置。
  6. 前記第2のフィルタ決定手段は、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第2のフィルタを決定することを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。
  7. 前記第2のフィルタ決定手段により決定される前記第2のフィルタは、バイラテラルフィルタであることを特徴とする請求項6に記載の画像処理装置。
  8. 前記第1のフィルタ決定手段は、前記フィルタ処理に用いられる前記第1のフィルタとして複数のフィルタ候補を選択し、
    前記類似度フィルタ処理手段において前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、1種類の類似度を選択する類似度選択手段をさらに有することを特徴とする請求項3に記載の画像処理装置。
  9. 注目画素と、該注目画素の近傍領域に含まれる複数の画素とからなる抽出領域を抽出する画素抽出ステップと、
    前記注目画素の画素値に対する前記近傍領域の各画素値の類似度を夫々算出する類似度算出ステップと、
    前記類似度に対してフィルタ処理を行う類似度フィルタ処理ステップと、
    前記類似度フィルタ処理ステップの前記フィルタ処理において用いられる第1のフィルタを、前記抽出領域の類似度の統計量に基づいて決定する第1のフィルタ決定ステップと、
    前記類似度フィルタ処理ステップにより前記フィルタ処理された類似度に基づいて、前記抽出領域に対して用いる第2のフィルタを決定する第2のフィルタ決定ステップと、
    前記第2のフィルタ決定ステップにより決定された前記第2のフィルタに基づき、前記注目画素に対するノイズ低減処理を行うノイズ低減処理ステップと、
    を有することを特徴とする画像処理方法。
  10. 前記類似度は、前記注目画素の画素値に対する前記近傍領域の各画素値の差分値であることを特徴とする請求項9に記載の画像処理方法。
  11. 前記第1のフィルタ決定ステップは、前記抽出領域の類似度の前記統計量と、前記注目画素の推定ノイズ量とに基づいて前記第1のフィルタを決定することを特徴とする請求項9または10に記載の画像処理方法。
  12. 前記第2のフィルタ決定ステップは、前記第1のフィルタ決定ステップにおいて決定された前記第1のフィルタに基づき、前記抽出領域に対して用いる前記第2のフィルタの特性パラメータを決定することを特徴とする請求項11に記載の画像処理方法。
  13. 前記第2のフィルタの特性パラメータは、前記類似度に対する正規化量であることを特徴とする請求項12に記載の画像処理方法。
  14. 前記第2のフィルタ決定ステップは、前記フィルタ処理された類似度の絶対量が大きい程、小さな重み係数値となるように前記第2のフィルタを決定することを特徴とする請求項9乃至13のいずれか一項に記載の画像処理方法。
  15. 前記第2のフィルタ決定ステップにより決定される前記第2のフィルタは、バイラテラルフィルタであることを特徴とする請求項14に記載の画像処理方法。
  16. 前記第1のフィルタ決定ステップは、前記フィルタ処理に用いられる前記第1のフィルタとして複数のフィルタ候補を選択し、
    前記類似度フィルタ処理ステップにおいて前記複数のフィルタ候補により前記フィルタ処理された複数種の類似度のうち、1種類の類似度を選択する類似度選択ステップをさらに有することを特徴とする請求項11に記載の画像処理方法。
JP2009021813A 2009-02-02 2009-02-02 画像処理装置及び画像処理方法 Expired - Fee Related JP5197414B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009021813A JP5197414B2 (ja) 2009-02-02 2009-02-02 画像処理装置及び画像処理方法
US12/696,133 US8269862B2 (en) 2009-02-02 2010-01-29 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009021813A JP5197414B2 (ja) 2009-02-02 2009-02-02 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2010178302A JP2010178302A (ja) 2010-08-12
JP5197414B2 true JP5197414B2 (ja) 2013-05-15

Family

ID=42397378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009021813A Expired - Fee Related JP5197414B2 (ja) 2009-02-02 2009-02-02 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US8269862B2 (ja)
JP (1) JP5197414B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20110048922A (ko) * 2009-11-03 2011-05-12 삼성전자주식회사 이미지 센서의 통합 노이즈 모델링 방법 및 이를 이용하는 노이즈 저감 방법
JP2011247872A (ja) * 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
WO2012014678A1 (ja) * 2010-07-26 2012-02-02 オリンパスメディカルシステムズ株式会社 内視鏡装置および内視鏡装置の制御方法
JP5535053B2 (ja) * 2010-11-26 2014-07-02 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
JP5575048B2 (ja) * 2011-04-14 2014-08-20 京セラドキュメントソリューションズ株式会社 画像処理装置および画像形成装置
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
JP5060643B1 (ja) * 2011-08-31 2012-10-31 株式会社東芝 画像処理装置および画像処理方法
JP5637117B2 (ja) * 2011-10-26 2014-12-10 株式会社デンソー 距離測定装置、および距離測定プログラム
JP2013115470A (ja) * 2011-11-25 2013-06-10 Sony Corp 固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器
JP5965638B2 (ja) * 2011-12-27 2016-08-10 オリンパス株式会社 画像処理システムを備えた顕微鏡システム
US9942534B2 (en) 2011-12-20 2018-04-10 Olympus Corporation Image processing system and microscope system including the same
JP6024107B2 (ja) * 2012-01-06 2016-11-09 株式会社リコー 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013229677A (ja) * 2012-04-24 2013-11-07 Olympus Corp 画像処理プログラム及び画像処理装置
WO2013183391A1 (ja) * 2012-06-05 2013-12-12 国立大学法人静岡大学 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
CN103578081B (zh) * 2012-08-08 2018-12-28 北京三星通信技术研究有限公司 用于提高图像质量的图像处理方法和系统
US9600867B2 (en) * 2012-12-21 2017-03-21 Koninklijke Philips N.V. Image processing apparatus and method for filtering an image
WO2014102798A1 (en) * 2012-12-31 2014-07-03 Given Imaging Ltd. System and method for displaying an image stream
CA2901847A1 (en) 2013-03-15 2014-09-18 Yale University Techniques for processing imaging data having sensor-dependent noise
IN2013MU01146A (ja) * 2013-03-26 2015-04-24 Tektronix Inc
JP6342360B2 (ja) * 2014-04-17 2018-06-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP6598660B2 (ja) * 2015-12-01 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法
WO2017132600A1 (en) * 2016-01-29 2017-08-03 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
US10121231B2 (en) * 2016-02-01 2018-11-06 Texas Instruments Incorporated Adaptive bilateral (BL) filtering for computer vision
JP6597912B2 (ja) * 2016-09-21 2019-10-30 株式会社島津製作所 画像処理装置
JP6982846B2 (ja) * 2017-06-21 2021-12-17 ノーリツプレシジョン株式会社 画像処理装置
JP2019036821A (ja) * 2017-08-14 2019-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN108460733B (zh) * 2018-01-31 2022-04-22 北京大学深圳研究生院 一种逐步精细化的图像去噪方法及系统
WO2024195212A1 (ja) * 2023-03-22 2024-09-26 浜松ホトニクス株式会社 画像処理方法、画像処理装置、及び画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2826018B2 (ja) 1992-08-07 1998-11-18 シャープ株式会社 ビデオ信号のノイズ低減システム
JP4097587B2 (ja) * 2002-10-16 2008-06-11 松下電器産業株式会社 画像処理装置および画像処理方法
JP2006229749A (ja) 2005-02-18 2006-08-31 Sharp Corp 画像処理装置および画像処理方法
JP4577565B2 (ja) * 2005-03-03 2010-11-10 ソニー株式会社 画像処理方法、画像処理装置、プログラム、および撮影装置
JP4780374B2 (ja) 2005-04-21 2011-09-28 Nkワークス株式会社 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
US7643699B2 (en) 2005-07-05 2010-01-05 Hewlett-Packard Development Company, L.P. Image processing based on local noise statistics
KR100627615B1 (ko) * 2005-12-29 2006-09-25 엠텍비젼 주식회사 조정 가능한 임계값을 이용한 노이즈 제거 장치
KR101225056B1 (ko) * 2006-01-27 2013-01-23 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
JP4653059B2 (ja) * 2006-11-10 2011-03-16 オリンパス株式会社 撮像システム、画像処理プログラム
JP2008165312A (ja) * 2006-12-27 2008-07-17 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
JP4858706B2 (ja) * 2007-03-27 2012-01-18 カシオ計算機株式会社 画像処理装置及びカメラ

Also Published As

Publication number Publication date
US8269862B2 (en) 2012-09-18
JP2010178302A (ja) 2010-08-12
US20100194933A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
JP5197414B2 (ja) 画像処理装置及び画像処理方法
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP5143038B2 (ja) 画像処理装置及び画像処理方法
JP5206850B2 (ja) 画像処理方法
JP6352617B2 (ja) 映像処理装置及びその方法
US8265409B2 (en) Edge preservation image processing device and image processing method
US8249341B2 (en) Image processing method for removing noise contained in an image
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP4869653B2 (ja) 画像処理装置
JP2006310999A (ja) 画像処理装置および方法、並びにプログラム
JP2010092461A (ja) 画像処理装置及び画像処理方法
US8737762B2 (en) Method for enhancing image edge
JP2012256202A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2010128578A1 (en) Image processing method and image processing apparatus
US10755399B2 (en) Image processing device, image processing method, and image processing program
JP2007188391A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
US8098308B2 (en) Image processing device and computer-readable storage medium
JP2009100302A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP5753437B2 (ja) 画像強調装置
JP5277388B2 (ja) 画像処理装置および撮像装置
JP5242750B2 (ja) 画像処理装置
US9055232B2 (en) Image processing apparatus capable of adding soft focus effects, image processing method, and storage medium
KR102265887B1 (ko) 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5197414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees