JP4051196B2 - ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ - Google Patents
ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ Download PDFInfo
- Publication number
- JP4051196B2 JP4051196B2 JP2001342729A JP2001342729A JP4051196B2 JP 4051196 B2 JP4051196 B2 JP 4051196B2 JP 2001342729 A JP2001342729 A JP 2001342729A JP 2001342729 A JP2001342729 A JP 2001342729A JP 4051196 B2 JP4051196 B2 JP 4051196B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- representative value
- noise reduction
- value
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009467 reduction Effects 0.000 title claims description 134
- 238000000034 method Methods 0.000 title claims description 69
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 16
- 238000000926 separation method Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000005336 cracking Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 54
- 230000008569 process Effects 0.000 description 45
- 238000011946 reduction process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 238000009499 grossing Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 1
- 230000001594 aberrant effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理技術に関し、特にデジタルデータで表現される画像からノイズを除去する技術に関する。
【0002】
【従来の技術】
従来、デジタルデータで表現される画像のノイズ除去処理においては、一般的に平滑化フィルタが用いられている。
例えば特開2000−069291号公報には、入力された画像データの特性に応じて、適用する平滑化フィルタの特性を変更することにより、画像の劣化を抑える技術が開示されている。
【0003】
また、例えば特許第3165225号公報には、輝度−濃度変換において輝度信号に加わる外来ノイズの影響が大きい、輝度レベルの小さい箇所に限定してノイズ除去フィルタ(平滑化フィルタ)を適用することにより、外来ノイズを除去する技術が開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、このような平滑化フィルタを使用したノイズ除去技術では、周辺画素のレベル値を平均化したものを注目画素のレベル値に置き換える、等といった処理によりノイズ除去が行われるために、その処理により得られた画像は、解像度が低下してしまい、いわゆる"ぼやけた"画像になってしまうという問題があった。
【0005】
本発明の課題は、上記実情に鑑み、解像度の低下を抑えてノイズを除去する、ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラを提供することである。
【0006】
【課題を解決するための手段】
請求項1記載の発明は、画像データを入力する入力手段と、該入力手段により入力された画像データのノイズを除去する処理を行うノイズリダクション手段とを備えたノイズリダクションシステムであって、前記ノイズリダクション手段は、前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、を備えたノイズリダクションシステムである。
【0007】
上記の構成によれば、ノイズを除去する処理において、注目画素のレベル値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、解像度の低下を抑えてノイズを除去することが可能になる。
【0008】
請求項2記載の発明は、請求項1記載の発明において、前記代表値算出手段は、前記複数の画素のレベル値の平均値又は中央値を代表値として算出する、構成である。
この構成によれば、算出される代表値は、注目画素を含む所定方向の複数の画素のレベル値の平均値又は中央値になる。
【0009】
請求項3記載の発明は、請求項1記載の発明において、前記代表値算出手段は、前記複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値を代表値として算出する、構成である。
この構成によれば、算出される代表値は、注目画素を含む所定方向の複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値になる。
【0010】
請求項4記載の発明は、請求項1記載の発明において、前記所定方向は、前記注目画素を中心とした放射状の方向である、構成である。
この構成によれば、注目画素を含む所定方向の複数の画素において、その所定方向は、その注目画素を中心とした放射状の方向になる。
【0012】
請求項5記載の発明は、請求項1記載の発明において、前記ノイズリダクション手段による処理を同一画像データに対し複数回適用させる、構成である。
この構成によれば、同一の画像データに対しノイズリダクション処理が複数回適用される。
【0013】
請求項6記載の発明は、請求項1記載の発明において、前記画像データの画像サイズが記憶される画像サイズ記憶手段と、前記注目画素の座標が記憶される注目画素座標記憶手段と、前記画像サイズ記憶手段に記憶された画像データの画像サイズと前記注目画素座標記憶手段に記憶された注目画素の座標に基づいて、該注目画素が該画像データに基づく画像の端部又は端部近傍にあるか否かを判定する端部判定手段と、該端部判定手段により前記注目画素が前記端部又は端部近傍にあると判定されたときに前記複数方向を変更する変更手段と、を更に備えた構成である。
【0014】
この構成によれば、前述の複数方向に対応する複数の代表値において、その複数方向は、画像データの画像サイズと注目画素の座標を基に、処理中の注目画素がその画像データに基づく画像の端部又は端部近傍にあると判定されたことに基づいて、変更される。
【0015】
請求項7記載の発明は、画像データを入力する入力ステップと、該入力ステップにて入力された画像データのノイズを除去するノイズリダクションステップとを含むノイズリダクション方法であって、前記ノイズリダクションステップには、前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、該注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、が含まれるノイズリダクション方法である。
【0016】
上記の方法によれば、ノイズリダクションステップにおいて、注目画素のレベル値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、解像度の低下を抑えてノイズを除去することが可能になる。
【0017】
請求項8記載の発明は、コンピュータに、画像データを入力する入力ステップと、該入力ステップにて入力された画像データのノイズを除去するノイズリダクションステップとを実行させるためのプログラムであって、前記ノイズリダクションステップには、前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、前記注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、が含まれるプログラムである。
【0018】
上記のプログラムをコンピュータに実行させれば、ノイズリダクションステップにおいて、注目画素のレベル値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、解像度の低下を抑えてノイズを除去することが可能になる。
【0019】
請求項9記載の発明は、撮影により画像データを記録する電子カメラであって、撮像素子と、該撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換手段と、該A/D変換手段の出力に基づく画像データから所定の色成分毎の複数の画像データを生成する色分解手段と、該色分解手段により生成された前記色成分毎の複数の画像データのうちの所定の色成分の画像データからノイズを除去する処理を行うノイズリダクション手段と、を備え、前記ノイズリダクション手段は、前記所定の色成分の画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、を備えた電子カメラである。
【0020】
上記の構成によれば、電子カメラによる撮影により得られた所定の色成分の画像データのノイズ除去処理では、注目画素のレベル値が、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、撮影により得られた画像データについて、解像度の低下を抑えてノイズを除去することが可能になる。
【0021】
請求項10記載の発明は、撮影により画像データを記録する電子カメラであって、撮像素子と、該撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換手段と、該A/D変換手段の出力に基づく画像データからエッジ成分を抽出して画像データを生成するエッジ分解手段と、該エッジ分解手段により生成された画像データからノイズを除去する処理を行うノイズリダクション手段と、を備え、前記ノイズリダクション手段は、前記エッジ分解手段により生成された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、を備えた電子カメラである。
【0022】
上記の構成によれば、電子カメラによる撮影により得られたエッジ成分が抽出された画像データのノイズ除去処理では、注目画素のレベル値が、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、撮影により得られた画像データについて、解像度の低下を抑えてノイズを除去することが可能になる。
【0023】
請求項11記載の発明は、請求項9又は10記載の発明において、前記代表値算出手段は、前記複数の画素のレベル値の平均値又は中央値を代表値として算出する、構成である。
この構成によれば、算出される代表値は、注目画素を含む所定方向の複数の画素のレベル値の平均値又は中央値になる。
【0024】
請求項12記載の発明は、請求項9又は10記載の発明において、前記代表値算出手段は、前記複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値を代表値として算出する、構成である。
この構成によれば、算出される代表値は、注目画素を含む所定方向の複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値になる。
【0025】
請求項13記載の発明は、請求項9又は10記載の発明において、前記所定方向は、前記注目画素を中心とした放射状の方向である、構成である。
この構成によれば、注目画素を含む所定方向の複数の画素において、その所定方向は、その注目画素を中心とした放射状の方向になる。
【0027】
請求項14載の発明は、請求項9又は10記載の発明において、前記ノイズリダクション手段による処理を同一画像データに複数回適用させる、構成である。
この構成によれば、同一の画像データに対しノイズリダクション処理が複数回適用される。
【0028】
請求項15記載の発明は、請求項12記載の発明において、ゲインに関する設定に応じて前記撮像素子の出力を増幅するゲインコントロール手段と、アパーチャ補正に関する設定に応じて前記ゲインコントロール手段の出力に基づく画像データからエッジ成分を抽出して強調するアパーチャ補正手段と、リサイズに関する設定に応じて画像データの画像サイズをリサイズするリサイズ手段と、を更に備え、前記ゲインに関する設定、前記アパーチャ補正に関する設定、又は前記リサイズに関する設定の何れかの設定に応じて、少なくとも前記複数方向又は前記係数の何れかを変更する、構成である。
【0029】
この構成によれば、少なくとも前述の複数方向又は係数は、ゲインに関する設定、アパーチャ補正に関する設定、又はリサイズに関する設定の何れかの設定に応じて変更される。
請求項16記載の発明は、請求項14記載の発明において、ゲインに関する設定に応じて前記撮像素子の出力を増幅するゲインコントロール手段と、アパーチャ補正に関する設定に応じて前記ゲインコントロール手段の出力に基づく画像データからエッジ成分を抽出して強調するアパーチャ補正手段と、リサイズに関する設定に応じて画像データの画像サイズをリサイズするリサイズ手段と、を更に備え、前記ゲインに関する設定、前記アパーチャ補正に関する設定、又は前記リサイズに関する設定の何れかの設定に応じて、前記ノイズリダクション手段による処理が適用される回数を変更する、構成である。
【0030】
この構成によれば、ノイズリダクション処理が適用される回数は、ゲインに関する設定、アパーチャ補正に関する設定、又はリサイズに関する設定の何れかの設定に応じて変更される。
請求項17記載の発明は、請求項15又は16記載の発明において、前記ゲインに関する設定に応じて、前記ノイズリダクション手段により行われる処理の実行を許可又は禁止する、構成である。
【0031】
この構成によれば、ゲインに関する設定に応じてノイズリダクション処理が実行又は禁止される。
請求項18記載の発明は、請求項9、10、15、16、17の何れか1項記載の発明において、前記画像データの画像サイズが記憶される画像サイズ記憶手段と、前記注目画素の座標が記憶される注目画素座標記憶手段と、前記画像サイズ記憶手段に記憶された画像データの画像サイズと前記注目画素座標記憶手段に記憶された注目画素の座標に基づいて、該注目画素が該画像データに基づく画像の端部又は端部近傍にあるか否かを判定する端部判定手段と、該端部判定手段により前記注目画素が前記端部又は端部近傍にあると判定されたときに、前記複数方向を変更する変更手段と、を更に備えた構成である。
【0032】
この構成によれば、前述の複数方向に対応する複数の代表値において、その複数方向は、画像データの画像サイズと注目画素の座標を基に、処理中の注目画素がその画像データに基づく画像の端部又は端部近傍にあると判定されたことに基づいて変更される。
【0033】
請求項19記載の発明は、撮影により画像データを記録する電子カメラのノイズリダクション方法であって、撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換ステップと、該A/D変換ステップにてA/D変換された画像データに基づいて所定の色成分毎の複数の画像データを生成する色分解ステップと、該色分解ステップにて生成された前記色成分毎の複数の画像データのうちの所定の色成分の画像データからノイズを除去するノイズリダクションステップと、を含み、前記ノイズリダクションステップには、前記所定の色成分の画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、前記注目画素のレベル値を前記代表値選択ステップにより選択された代表値に置き換える置き換えステップと、が含まれる電子カメラのノイズリダクション方法である。
【0034】
上記の方法によれば、電子カメラによる撮影により得られた所定の色成分の画像データからノイズを除去するノイズリダクションステップでは、注目画素のレベル値が、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、撮影により得られた画像データについて、解像度の低下を抑えてノイズを除去することが可能になる。
【0035】
請求項20記載の発明は、撮影により画像データを記録する電子カメラのノイズリダクション方法であって、撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換ステップと、該A/D変換ステップにてA/D変換された画像データに基づきエッジ成分を抽出して画像データを生成するエッジ分解ステップと、該エッジ分解ステップにて生成された画像データからノイズを除去するノイズリダクションステップと、を含み、前記ノイズリダクションステップには、前記エッジ分解ステップにて生成された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、前記注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、が含まれる電子カメラのノイズリダクション方法である。
【0036】
上記の方法によれば、電子カメラによる撮影により得られたエッジ成分が抽出された画像データからノイズを除去するノイズリダクションステップでは、注目画素のレベル値が、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から選択された1つに置き換えられる。また、選択される1つの代表値は、注目画素を含み所定方向に並ぶ複数の画素のレベル値から算出された複数方向に対応する複数の代表値の中から、注目画素のレベル値に最も近いものになる。これにより、撮影により得られた画像データについて、解像度の低下を抑えてノイズを除去することが可能になる。
【0037】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図1は、本発明の第一の実施の形態に係る電子カメラの構成例を示すブロック図である。
【0038】
同図に示したように、この電子カメラは、撮影レンズ1と、この撮影レンズ1により結像される光学的な被写体像を光電変換し、該被写体像に対応する電気信号を生成するCCD( Charge-Coupled Devices )2と、このCCD2の出力信号から画像信号成分を抽出するCDS(Correlated Double Sampling)回路(相関二重サンプリング回路)3と、このCDS回路3の出力信号レベルを所定のゲイン値に調整するAGC(Automatic Gain Control)回路4と、ユーザからの指示に応じてそのゲイン値を設定するゲイン設定手段5と、上記AGC回路4から出力されるアナログ画像信号をデジタルデータであるデジタル画像信号に変換するA/D変換器6と、該デジタル画像信号の色信号に対してホワイトバランス補正を行うホワイトバランス補正部(WB)7と、このホワイトバランス補正部7によりホワイトバランス補正処理が施された画像信号から高周波成分を除去して得られた画像信号をR0信号、G0信号、B0信号の三原色の各色信号に分離する色分離回路8と、色再現性を改善するための色補正を行う色マトリクス補正回路9と、色信号のガンマ(γ)補正処理を施す色γ補正回路10と、R,G,Bの各色信号を輝度信号YLと二つの色差信号Cr、Cbに変換するYC変換回路11と、YL及びCr、Cb各信号に対して色消しや色作成等の画像処理を行う画像処理回路12と、画像処理済みの色差信号Cr、Cbに対してノイズリダクション処理を行うノイズリダクション手段13と、を備えている。
【0039】
更に、上記A/D変換器6の出力であるデジタル画像信号から輝度信号(Y信号)のみを抽出し、該Y信号から低周波成分を除去して輪郭信号(以下、エッジ信号という)を抽出した後に所定のアパーチャ補正レベルのエッジ強調を行うエッジ信号抽出アバーチヤー補正回路14と、ユーザからの指示に応じてそのアバーチヤー補正レベルの設定を行うアバーチヤー補正設定手段15と、エッジ信号に対して上記ノイズリダクション手段13と同様のノイズリダクション処理を行うノイズリダクション手段16と、このノイズリダクション手段16から出力されるエッジ信号に上記画像処理済みの輝度信号YLを加算し輝度信号Yを作成する加算器17と、該加算器17の出力である輝度信号Yと上記ノイズリダクション手段13の出力である色差信号Cr、Cbとから得られる画像データを所定の記録画像サイズに変換する(リサイズする)画像サイズ変換手段18と、ユーザからの指示に応じてその記録画像サイズの設定を行う記録画像サイズ設定手段19と、該画像サイズ変換手段18によりサイズ変換された画像を図示しない記録媒体に記録する記録手段20と、を備えている。
【0040】
尚、加算器17と画像サイズ変換手段18の中間にあるブロック(構成要素)は輝度信号Yが確定されたことを、またノイズリダクション手段16と画像サイズ変換手段18の中間にあるブロックは色差信号Cr、Cbが確定されたことを示すものである。
【0041】
また、上記ノイズリダクション手段13及びノイズリダクション手段16は、上記ゲイン設定手段5、アバーチヤー補正設定手段15及び記録画像サイズ設定手段19により設定された設定条件に基づいて制御される。
また、不図示ではあるが、この電子カメラは、内部メモリに予め格納されているカメラプログラムを実行することにより電子カメラ全体の動作を制御するCPU(中央演算処理部)や、撮影準備及び撮影開始を指示するレリーズボタンや、その撮影準備が指示されたことによりONされる1stレリーズスイッチや、その撮影開始が指示されたことによりONされる2ndレリーズスイッチや、ノイズリダクション手段13,16にて行われる処理中の画像データ等が一時的に格納されるSDRAM( Synchronous DRAM )等も備えている。
【0042】
本構成例の電子カメラは以上のように構成されている。
次に、上述した構成を有する電子カメラにおけるCPUによって行われる電子カメラの制御処理について説明する。尚、この電子カメラの制御処理は、CPUが内部メモリに格納されているカメラプログラムを読み込んで実行することによって実現される。
【0043】
図2 は、この電子カメラの撮影処理の一例を示すフローチャートである。尚、同図に示したフローは、レリーズボタンの半押しにより1stレリーズスイッチがONとなり撮影準備指示がなされたときに開始される。
まず、S201では、フォーカスレンズの合焦位置を求め、その合焦位置へフォーカスレンズを移動する等といった、AF(Auto Focus:自動焦点調整)の制御処理が行われる。
【0044】
S202では、被写体光量を測光し、その測光結果に応じて絞り値やシャッタースピード値を設定する等といった、AE( Auto Exposure :自動露出調整)の制御処理が行われると共に、その測光結果に応じてストロボ発光を行うか否かを判定する処理が行われる。
【0045】
続くS203以降の処理は、レリーズボタンの全押しにより2ndレリーズスイッチがONとなり撮影開始指示がなされたときに開始される。
S203では、前述の被写体光量の測光結果に応じてストロボ発光量が算出される。但し、前ステップにおいて、ストロボ発光を行う判定がなされていないときには、本ステップは行われない。
【0046】
S204では、不図示の絞り機構が駆動され、前述の設定された絞り値に応じた位置へ絞りが移動される。
S205では、ストロボ発光及び露光が行われる。すなわち、前述のストロボ発光量に応じてストロボ発光が行われ、そのときの被写体像が撮影レンズ1によりCCD2に結像される。但し、S202の処理において、ストロボ発光を行う判定がなされていないときには、このストロボ発光は行われない。
【0047】
S206では、不図示のシャッター機構が駆動され、シャッターが閉じられる。
S207では、撮影画像の読み出しが行われる。すなわち、CCD2に結像されている被写体像に対応する電気信号が生成される。
【0048】
S208では、不図示のシャッター機構が駆動され、シャッターが開けられる。
S209では、前述のS207の処理にて得られた、被写体像に対応する電気信号(CCD2の出力信号)に対し、前述の図1を用いて説明した所定の構成要素を介したノイズリダクション処理等を含む所定の処理が施され、記録手段20に記録する形式の画像データが得られる。
【0049】
S210では、前ステップで得られた、記録手段20に記録する形式の画像データが記録手段20に記録され、本フローが終了する。
以上までの処理が撮影処理であり、この処理をCPUが行うことによって、撮影により得られた画像を表現する画像データが記録手段20に記録される。
【0050】
次に、前述のS209の処理で行われる、ノイズリダクション手段13又はノイズリダクション手段16における処理について説明する。
図3は、ノイズリダクション手段13又はノイズリダクション手段16における処理の一例を示すフローチャートである。尚、同図に示したフローは、ノイズリダクション手段13又はノイズリダクション手段16に、図1を用いて説明した、対応する所定形式の画像データが入力されたときに開始される処理である。また、ノイズリダクション処理13における処理及びノイズリダクション処理16における処理は並列して行われるようにしても良く、又は一方の処理が終了した後に他方の処理が開始されるようにしても良い。
【0051】
同図において、まず、S301では、ノイズリダクションの設定がOFFであるか否かが判定され、この判定結果がYesの場合には入力された画像データがそのままノイズリダクション手段13(又は16)から出力され、本フローが終了する。一方、Noの場合にはS302へ処理が進む。
【0052】
尚、ノイズリダクションのON/OFF設定は、ゲイン設定手段5、アパーチャ補正設定手段15、及び記録画像サイズ設定手段19により設定されている設定値に応じて設定されるものであり、詳しくは図7を用いて後述する。
S302では、カウンターの値が0に設定される( count =0)。
【0053】
S303では、カウンターの値がノイズリダクションの実行回数よりも少ないか否かが判定され、この判定結果がYesの場合にはS304へ処理が進み、Noの場合には、その時に得られている画像データがノイズリダクション手段13(又は16)から出力され、本フローが終了する。
【0054】
尚、ノイズリダクションの実行回数も、ゲイン設定手段5、アパーチャ補正設定手段15、及び記録画像サイズ設定手段19により設定されている設定値に応じて設定されるものであり、詳しくは図7を用いて後述する。
S304では、図5を用いて後述するノイズリダクション処理が行われる。
【0055】
S305では、カウンターの値がインクリメントされて処理がS303へ戻る。
以上までの処理がノイズリダクション手段13又はノイズリダクション手段16における処理であり、この処理をCPUが行うことによって、設定されているノイズリダクションの実行回数分、ノイズリダクション処理が行われる。
【0056】
尚、このノイズリダクション手段13,16における処理において、その処理中の画像データは、その都度SDRAMに格納される。
図4は、その処理中の画像データのSDRAMへの格納例を説明する図である。
【0057】
同図に示したように、SDRAMには2つの画像エリアとして画像1エリアと画像2エリアが確保され、ノイズリダクション手段13(又は16)に入力された画像データ(入力画像)は、まず画像1エリアに格納される。続いて、この画像1エリアに格納された画像データが読み出されて1回目のノイズリダクション処理(NR1回目)が施された画像データ(出力画像)は画像2エリアに格納される。続いて、この画像2エリアに格納された画像データ(入力画像)が読み出されて2回目のノイズリダクション処理(NR2回目)が施された画像データ(出力画像)は再び画像1エリアに格納される。
【0058】
以降同様に、一方の画像エリアに格納された画像データ(入力画像)が読み出されてノイズリダクション処理が施された画像データ(出力画像)は、他方の画像エリアに格納される。
以上のようにして、ノイズリダクション手段13(又は16)における処理中の画像データは、設定されたノイズリダクションの実行回数分、SDRAMに確保された2つの画像エリアに交互に格納される。
【0059】
次に、図3のS304に示したノイズリダクション処理について説明する。
図5は、そのノイズリダクション処理の一例を示すフローチャートである。
同図において、まずS501では、処理する画像データから画素数で表現される画像サイズを取得して、その取得した画像サイズをWin×Hinとする。また、画像データで表現される画像の左上の画素を注目画素として、注目画素座標を(0,0)に設定する。尚、この画像サイズWin×Hin と注目画素座標(x,y)は、その都度、前述のSDRAMの所定エリアに格納され、必要に応じて読み出される。
【0060】
S502では、注目画素のx座標が3より小さく、かつそのy座標が3より小さいか否かが判定され、その判定結果がYesの場合にはS503へ処理が進み、Noの場合にはS504へ処理が進む。
S503では、算出方向数が7に、このときの方向識別番号が18乃至23と0に設定され、その後処理がS519へ進む。
【0061】
尚、算出方向数とは算出する代表値の総数であり、方向識別番号の設定数を示す値でもある。また、方向識別番号とは注目画素を含む所定方向の4つの画素を特定するための番号であり、一つの方向識別番号に対して1つの方向が対応付けされている。これらについては図6を用いて後述する。
【0062】
S504では、注目画素のx座標がWin−4より大きく、かつそのy座標が3より小さいか否かが判定され、その判定結果がYesの場合にはS505へ処理が進み、Noの場合にはS506へ処理が進む。
S505では、算出方向数が7に、このときの方向識別番号が12乃至18に設定され、その後処理がS519へ進む。
【0063】
S506では、注目画素のx座標がWin−4より大きく、かつそのy座標がHin−4より大きいか否かが判定され、その判定結果がYesの場合にはS507へ処理が進み、Noの場合にはS508へ処理が進む。
S507では、算出方向数が7に、このときの方向識別番号が6乃至12に設定され、その後処理がS519へ進む。
【0064】
S508では、注目画素のx座標が3より小さく、かつそのy座標がHin−4より大きいか否かが判定され、その判定結果がYesの場合にはS509へ処理が進み、Noの場合にはS510へ処理が進む。
S509では、算出方向数が7に、このときの方向識別番号が0乃至6に設定され、その後処理がS519へ進む。
【0065】
S510では、注目画素のx座標が3より小さいか否かが判定され、その判定結果がYesの場合にはS511へ処理が進み、Noの場合にはS512へ処理が進む。
S511では、算出方向数が13に、このときの方向識別番号が0乃至6と18乃至23に設定され、その後処理がS519へ進む。
【0066】
S512では、注目画素のx座標がWin−4より大きいか否かが判定され、その判定結果がYesの場合にはS513へ処理が進み、Noの場合にはS514へ処理が進む。
S513では、算出方向数が13に、このときの方向識別番号が6乃至18に設定され、その後処理がS519へ進む。
【0067】
S514では、注目画素のy座標が3より小さいか否かが判定され、その判定結果がYesの場合にはS515へ処理が進み、Noの場合にはS516へ処理が進む。
S515では、算出方向数が13に、このときの方向識別番号が12乃至23と0に設定され、その後処理がS519へ進む。
【0068】
S516では、注目画素のy座標がHin−4より大きいか否かが判定され、その判定結果がYesの場合にはS517へ処理が進み、Noの場合にはS518へ処理が進む。
S517では、算出方向数が13に、このときの方向識別番号が0乃至12に設定され、その後処理がS519へ進む。
【0069】
S518では、算出方向数が24に、このときの方向識別番号が0乃至23に設定される。尚、本ステップにおいて、ゲイン設定手段5、アパーチャ補正設定手段15、及び記録画像サイズ設定手段19により設定されている設定値により、厳密にノイズを除去する必要がないと思われる画像データ、例えば設定されたゲイン値が低い場合や設定されたアパーチャ補正レベルが低い場合や設定された画像サイズが小さい場合等には、処理時間の短縮化を考慮して、算出方向数を少なく設定し、その算出方向数に対応する方向識別番号を設定するようにしても良い。例えば、算出方向数が16,そのときの方向識別番号が0・1・3・4・6・7・9・10・12・13・15・16・18・19・21・23に、或いは算出方向数が8,そのときの方向識別番号が0・3・6・9・12・15・18・21等に設定される。
【0070】
このように、S502乃至S518までの処理では、画像サイズWin×Hinとその時の注目画素座標(x,y)を基に、注目画素が画像データにより表現される画像の所定の端部又は端部近傍にあるか否かが判断され、その判断結果に応じて所定の算出方向数とそのときの方向識別番号が設定される。
【0071】
S519では、算出済み方向数が1に設定される。
S520では、算出方向が選択される。すなわち、設定されている方向識別番号の中から、その識別番号の小さい順に、未選択の方向識別番号が選択される。
S521では、選択中の方向識別番号に対応する、注目画素を含む4つの画素のレベル値の加重平均値が求められ、その値がその方向識別番号に対応する代表値として設定される。尚、本例における加重平均値の求め方は図6を用いて後述する。
【0072】
S522では、設定されている算出方向数と算出済み方向数が等しいか否かが判定され、この判定結果がYesの場合にはS524へ処理が進み、Noの場合にはS523へ処理が進む。
S523では、算出済み方向数がインクリメントされ、S520へ処理が戻る。
【0073】
S524では、S521の処理により求められた、設定されている方向識別番号に対応する複数の代表値(複数方向に対応する複数の代表値)の中から、注目画素のレベル値に最も近い代表値が選択される。但し、注目画素のレベル値と等しいレベル値の代表値が存在する場合には、その代表値が選択される。
【0074】
S525では、前ステップで選択された代表値が、注目画素のレベル値として置き換えられる。
S526では、画像データにかかる全ての画素について、注目画素として前述のS502乃至S525の処理を行ったか否かの判定が行われ、この判定結果がYesの場合には本フローが終了し、Noの場合にはS527へ処理が進む。
【0075】
S527では、注目画素を、次の座標に設定し、その後処理はS502へ戻る。
尚、S527のステップにおいて、注目画素の座標は、例えば次のような順番で設定される。まず、(0,0)からx座標が順にインクリメントされ、x座標がWin −1になった後はy座標がインクリメントされると共にx座標が0にされて再びx座標が順にインクリメントされ、x座標がWin −1になった後は再びy座標がインクリメントされると共にx座標が0にされて再びx座標が順にインクリメントされる、等といった具合に(Win −1,Hin −1)まで順に設定される。
【0076】
以上までの処理がノイズリダクション処理であり、この処理をCPUが行うことによって、解像度の低下の少ないノイズが除去された画像データが得られる。
次に、前述の算出方向数及び方向識別番号について説明する。
図6は、各方向識別番号に対応する、注目画素を含む所定方向の4つの画素の一例を示す図である。
【0077】
同図に示したように、本例では、注目画素を含む所定方向の4つの画素は、方向識別番号に対応して全部で24種類ある。すなわち、本例において適用可能な算出方向数は最大24になる。
また、各方向識別番号において、注目画素を含む4つの画素とは、K1、K2、K3、K4と付された画素であり、そのうちのK1と付された画素が注目画素である。同図に示したように、これら4つの画素は、注目画素を中心として放射状の方向に位置される。
【0078】
また、K1、K2、K3、K4は、各画素に対応する係数であり(但し、K1+K2+K3+K4=1)、ゲイン設定手段5、アパーチャ補正設定手段15、及び記録画像サイズ設定手段19により設定された設定値に応じて決定される値である。このK1、K2、K3、K4は、前述の図5のS521の処理で行われる加重平均値の算出の際に使用される。本例では、K1、K2、K3、K4と付された画素の各々のレベル値をG1、G2、G3、G4としたとき、加重平均値は、G1×K1+G2×K2+G3×K3+G4×K4により算出される。尚、加重平均値の小数点以下は四捨五入される。
【0079】
次に、前述の、ゲイン設定手段5、アパーチャ補正設定手段15、及び記録画像サイズ設定手段19により設定された設定値に応じて決定される、算出方向数、係数(K1,K2,K3,K4)、及びノイズリダクション回数の一例について説明する。
【0080】
図7は、その算出方向数、係数(K1,K2,K3,K4)、及びノイズリダクション回数の一例を示す図である。
同図に示したように、本例では、ゲイン設定手段5によりISO100又はISO400の何れかのゲイン設定が可能である。また、アパーチャ補正設定手段15により+1,0,−1の何れかのアパーチャ補正設定が可能である。また、記録画像サイズ設定手段19により1600×1200又は640×480の何れかの記録画像サイズ設定が可能である。
【0081】
このような設定手段により所定の設定値が設定されると、同図に示したような、対応する所定の算出方向数、係数(K1,K2,K3,K4)、ノイズリダクション回数が設定される。同図に示した例では、高いゲイン値や、高いアパーチャ補正レベルや、大きな画像サイズが設定されるほど、厳密なノイズ除去が行われるように、算出方向数及びノイズリダクション回数が多く設定されると共に、それに対応する係数が設定される。また、これとは逆に、低いゲイン値や、低いアパーチャ補正レベルや、小さな画像サイズが設定されるほど、厳密度の低いノイズ除去が行われるように、算出方向数及びノイズリダクション回数が少なく設定されると共に、それに対応する係数が設定される。
【0082】
例えば、ゲイン値としてISO100、画像サイズとして640×480が設定されていたときには、ノイズリダクション回数が0回、すなわちノイズリダクション処理が行われないように設定される。また、この場合には、算出方向数及び係数は設定されない。すなわち、ゲイン値がISO100、画像サイズが640×480に設定されていたときにはノイズリダクション処理の実行が禁止され、また、これ以外のものが設定されていたときにはその実行が許可されることになる。尚、このノイズリダクション処理の実行の許可/禁止を、設定されているゲイン値のみに基づいて行われるようにしても良い。
【0083】
また、本例では、ユーザにより、ゲイン値、アパーチャ補正レベル、画像サイズが設定されていないときには、デフォルト設定がなされる。このデフォルト設定では、例えばゲイン値がISO100、アパーチャ補正レベルが0、画像サイズが640×480になる。従って、この場合の設定では、ノイズリダクション処理は行われないことになる。
【0084】
次に、前述の図5のフローに示したノイズリダクション処理による処理結果を、従来のノイズリダクション処理による処理結果と比較して説明する。
図8(a),(b),(c),(d) は、それを説明するための図であり、同図(a) はノイズリダクション処理前の画像データ(入力データ)の一例、同図(b) は従来のノイズリダクション処理に使用されるLPF( Low Pass Filter )の一例、同図(c)は従来のノイズリダクション処理により得られた画像データ、同図(d) は図5に示したノイズリダクション処理により得られた画像データである。
【0085】
尚、図8(a) 及び同図(c),(d) に示した数字は、各画素のレベル値であり、また同図(b) に示した数字は、各画素に対応する係数である。また、同図(a),(c),(d) に示した画像データにおいて、左上の画素の座標(0,0)とし、同図(a) の矢印に示したように、水平方向と垂直方向をそれぞれx方向、y方向とする。また、同図(a) において、座標(5,3)から座標(11、3)までの画素には、いわゆる罫線のような線状のものが表されているものとし、座標(8,3)の画素のレベル値は、本来は2であるがノイズにより3になっているものとする。
【0086】
図8(a) 乃至(c) に示したように、従来のノイズリダクション処理では、同図(b) に示したようなLPFを用いて、同図(a) に示した画像データの所定の3×3の画素ブロックの加重平均値を算出し、この算出値を、その3×3の画素ブロックの注目画素である左上の画素のレベル値として置き換える、といった処理が繰り返される。尚、ここでは、その加重平均値は次のようにして算出される。すなわち、所定の3×3の画素ブロックにおいて、各画素のレベル値に同図(b) に示した各画素に対応する係数をそれぞれ乗算し、その乗算結果の合計を、係数の合計で除算することにより算出される。但し、この除算結果の小数点以下は四捨五入される。例えば、同図(a) の太線に示した3×3の画素ブロックの加重平均値は、(10×1+10×2+10×1+10×2+10×4+10×2+10×1+10×2+10×1)/(1+2+1+2+4+2+1+2+1)により10になる。従って、この場合の注目画素である左上の画素のレベル値は、同図(c) の太線に示した10に置き換えられる。このような3×3の画素ブロックを1画素づつずらし、同様にして処理が行われることにより、同図(c) に示したような画像データが得られる。例えば、同図(a) の画像データの座標(5,3)の画素(太線で示されたレベル値2の画素)を中心とした3×3の画素ブロックにより、同図(c) の画像データの座標(4,2)の注目画素(太線に示された画素)のレベル値が7に置き換えられる。また、同図(a) の画像データの座標(8,3)の画素(網掛けで示されたレベル値3の画素)を中心とした3×3の画素ブロックにより、同図(c) の画像データの座標(7,2)の注目画素(網掛けに示された画素)のレベル値が6に置き換えられる。但し、このような3×3の画素ブロックは、同図(a) に示した画像データの下側3画素分及び右側3画素分までにしか適用できないので、得られる画像データのサイズは、同図(c) に示したように、処理前の画像データの下側2画素分及び右側2画素分が省かれたサイズになる。
【0087】
このようにして得られた、従来のノイズリダクション処理による画像データ(同図(c) )は、処理前の画像データ(同図(a) )に対し、解像度の低下が著しいのが確認できる。例えば、処理前の画像データにおいて、座標(5,3)から座標(11,3)までの画素とその周辺の画素を比較すると、両者には大きなレベル値の差があるにもかかわらず、処理後の画像データの対応する画素においては、その差が少なくなり、更に広範囲の画素において処理前とは異なるレベル値に置き換えられてしまっており、解像度の低い、いわゆる"ぼやけた"画像(画像データ)が得られてしまっている。
【0088】
これに対し、同図(d) に示したように、図5に示したノイズリダクション処理により得られた画像データには、解像度の低下はほとんどなく、例えば、前述の処理前の画像データにおける座標(5,3)から座標(11,3)までの画素とその周辺の画素に対応する画素においては、処理前と同様のレベル値の差が得られており、解像度の低下は確認されない。また、処理前の画像データの座標(8,3)の画素のレベル値3が、図5に示した処理により、レベル値2に置き換えられ、ノイズが除去されているのも確認できる。
【0089】
このように、図5に示したノイズリダクション処理により得られた画像データは、従来のノイズリダクション処理により得られた画像データに比べて解像度の低下がほとんどないのが確認できる。
次に、本発明の第二の実施の形態について説明する。
【0090】
図9は、本発明の第二の実施の形態に係るノイズリダクションシステムの構成例を示すブロック図である。
同図に示したノイズリダクションシステム(以下、単にシステムという)は、入出力部25、CPU26、SDRAM27、及び操作部28等を備えて構成されている。
【0091】
入出力部25は、このシステムへの画像データ(デジタルデータ)の入力や、このシステムからの画像データの出力を行うものであり、例えば、このシステムとこれに装着されたメモリカード等の記録媒体との間や、このシステムとこれにケーブル等を介して接続された外部装置との間等での画像データの授受を可能にするインタフェースである。
【0092】
CPU26は、中央演算処理部であり、内部メモリに予め格納されているプログラムを実行することによって、このシステム全体の動作を制御する。例えば、操作部28を介して指示された設定に応じて入出力部25から入力された画像データのノイズ除去(ノイズリダクション)に係る制御等を行う。
【0093】
SDRAM27は、CPU26による制御処理の実行のためのワークエリアとして使用されるメモリであり、例えば処理中の画像データ等が一時的に格納される。
操作部28は、各種の動作・設定指示を行うために操作される各種設定スイッチやボタン等の総称である。この操作部28を介して、例えばゲイン値やアパーチャ補正レベルや画像サイズ等の設定指示がCPU26へ通知される。
【0094】
以上が本例のシステムの構成である。
上述した構成を有するシステムにおけるCPU26によって行われるシステムの制御処理は、CPU26が、内部メモリに格納されているプログラムを読み込んで実行することによって実現され、その制御処理は、前述の図3及び図5に示した処理と同様の処理が行われる。この場合、図3に示した処理中には、前述の図4に示したようにして画像データがSDRAMに格納される。また、図5に示した処理にて使用される算出方向数及び方向識別番号は、図6に基づくものであり、また、設定される算出方向数、係数、ノイズリダクション回数は、図7に基づいて設定されるものである。
【0095】
これにより、解像度の低下の少ないノイズが除去された画像データが得られる。
尚、上述した第一及び第二の実施の形態では、図6に示したように、各方向識別番号の代表値は、対応する4つの画素を基に算出されるものであったが、その画素の数は4に限定されるものではなく、その他の数であっても良い。また、全算出方向数を24としたが、その数は24に限定されるものではなく、その他の数であっても良い。また、K1と付された画素を注目画素としていたが、その他のK2、K3、K4の何れかを注目画素としても良い。
【0096】
また、第一及び第二の実施の形態では、図7に示した内容を基に、算出方向数、係数(K1,K2,K3,K4)、及びノイズリダクション回数が設定される例を示したが、例えば、その各々を、ゲイン設定手段5により設定されたゲイン値、アパーチャ補正設定手段15により設定されたアパーチャ補正レベル、又は記録画像サイズ設定手段19により設定された記録画像サイズの何れか1つに応じて設定されるようにしても良く、又はその組み合わせに応じて設定されるようにしても良い。
【0097】
また、第一及び第二の実施の形態では、代表値を、4つの画素のレベル値の各々に、対応する係数を乗算した値の合計値を代表値としたが、例えば、その4つの画素のレベル値の各々に、対応する係数を乗算した値の平均値又は中央値を代表値としても良く、又はその4つの画素のレベル値の各々の平均値又は中央値を代表値としても良い。尚、中央値とは、例えば、得られている4つの値の中から最小値及び最大値を抽出し(最小値+最大値)/2により求められる値である。又は、得られている4つの値の中で(最小値+最大値)/2により求められた値に最も近い値であるか、或いは得られている4つの値を小さい順又は大きい順に並べたときの2番目又は3番目の値であっても良い。
【0098】
また、第一及び第二の実施の形態では、図5のS524の処理に示したように、複数の代表値の中から、注目画素のレベル値に最も近い代表値が選択されるものであったが、その他の条件に基づいて1つの代表値を選択するようにしても良い。
【0099】
また、第一及び第二の実施の形態では、設定された方向識別番号毎に、対応する4つの画素の各々のレベル値に、対応する係数を乗算した値の合計値を代表値として求め、その各方向識別番号の代表値の中から注目画素のレベル値に最も近いものを、その注目画素のレベル値として置き換えるものであったが、例えば、設定された方向識別番号毎に、対応する4つの画素のレベル値から標準偏差を求め、その標準偏差が最も小さい方向識別番号の注目画素に隣接する画素のレベル値を、注目画素のレベル値として置き換えるようにしても良い。
【0100】
以上、本発明のノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【0101】
【発明の効果】
以上、詳細に説明したように、本発明によれば、解像度の低下を抑えてノイズを除去することが可能になり、ノイズ除去処理後に、いわゆる"ぼやけた"画像が得られてしまうのを防止することができる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態に係る電子カメラの構成例を示すブロック図である。
【図2】電子カメラの撮影処理の一例を示すフローチャートである。
【図3】S209の処理で行われる、ノイズリダクション手段における処理の一例を示すフローチャートである。
【図4】ノイズリダクション手段にて行われる処理において、その処理中の画像データのSDRAMへの格納例を説明する図である。
【図5】ノイズリダクション処理の一例を示すフローチャートである。
【図6】各方向識別番号に対応する、注目画素を含む所定方向の4つの画素の一例を示す図である。
【図7】ゲイン設定手段、アパーチャ補正設定手段、及び記録画像サイズ設定手段により設定された設定値に応じて決定される、算出方向数、係数、及びノイズリダクション回数の一例を示す図である。
【図8】 (a) はノイズリダクション処理前の画像データ(入力データ)の一例、(b) は従来のノイズリダクション処理に使用されるLPF( Low Pass Filter )の一例、(c) は従来のノイズリダクション処理により得られた画像データ、(d) は図5に示した処理により得られた画像データである。
【図9】本発明の第二の実施の形態に係るノイズリダクションシステムの構成例を示すブロック図である。
【符号の説明】
1 撮影レンズ
2 CCD
3 CDS回路(相関二重サンプリング回路)
4 AGC回路
5 ゲイン設定手段
6 A/D変換回路
7 ホワイトバランス(WB)補正
8 色分離回路
9 色マトリクス補正回路
10 色γ補正回路
11 YC変換回路
12 画像処理回路
13 ノイズリダクション手段
14 エッジ信号抽出アバーチヤー補正回路
15 アバーチヤー補正設定手段
16 ノイズリダクション手段
17 加算器
18 画像サイズ変換手段
19 記録画像サイズ投定手段
20 記録手段
25 入出力部
26 CPU
27 SDRAM
28 操作部
Claims (20)
- 画像データを入力する入力手段と、該入力手段により入力された画像データのノイズを除去する処理を行うノイズリダクション手段とを備えたノイズリダクションシステムであって、
前記ノイズリダクション手段は、
前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、
該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、
前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、
を備えたことを特徴とするノイズリダクションシステム。 - 前記代表値算出手段は、
前記複数の画素のレベル値の平均値又は中央値を代表値として算出する、
ことを特徴とする請求項1記載のノイズリダクションシステム。 - 前記代表値算出手段は、
前記複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値を代表値として算出する、
ことを特徴とする請求項1記載のノイズリダクションシステム。 - 前記所定方向は、
前記注目画素を中心とした放射状の方向である、
ことを特徴とする請求項1記載のノイズリダクションシステム。 - 前記ノイズリダクション手段による処理を同一画像データに対し複数回適用させる、
ことを特徴とする請求項1記載のノイズリダクションシステム。 - 前記画像データの画像サイズが記憶される画像サイズ記憶手段と、
前記注目画素の座標が記憶される注目画素座標記憶手段と、
前記画像サイズ記憶手段に記憶された画像データの画像サイズと前記注目画素座標記憶手段に記憶された注目画素の座標に基づいて、該注目画素が該画像データに基づく画像の端部又は端部近傍にあるか否かを判定する端部判定手段と、
該端部判定手段により前記注目画素が前記端部又は端部近傍にあると判定されたときに前記所定方向を変更する変更手段と、
を更に備えたことを特徴とする請求項1記載のノイズリダクションシステム。 - 画像データを入力する入力ステップと、該入力ステップにて入力された画像データのノイズを除去するノイズリダクションステップとを含むノイズリダクション方法であって、
前記ノイズリダクションステップには、
前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、
該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、
該注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、
が含まれることを特徴とするノイズリダクション方法。 - コンピュータに、画像データを入力する入力ステップと、該入力ステップにて入力された画像データのノイズを除去するノイズリダクションステップとを実行させるためのプログラムであって、
前記ノイズリダクションステップには、
前記入力された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、
該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、
前記注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、
が含まれることを特徴とするプログラム。 - 撮影により画像データを記録する電子カメラであって、
撮像素子と、
該撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換手段と、
該A/D変換手段の出力に基づく画像データから所定の色成分毎の複数の画像データを生成する色分解手段と、
該色分解手段により生成された前記色成分毎の複数の画像データのうちの所定の色成分の画像データからノイズを除去する処理を行うノイズリダクション手段と、
を備え、
前記ノイズリダクション手段は、
前記所定の色成分の画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、
該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、
前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、
を備えたことを特徴とする電子カメラ。 - 撮影により画像データを記録する電子カメラであって、
撮像素子と、
該撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換手段と、
該A/D変換手段の出力に基づく画像データからエッジ成分を抽出して画像データを生成するエッジ分解手段と、
該エッジ分解手段により生成された画像データからノイズを除去する処理を行うノイズリダクション手段と、
を備え、
前記ノイズリダクション手段は、
前記エッジ分解手段により生成された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出手段と、
該代表値算出手段により算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択手段と、
前記注目画素のレベル値を前記代表値選択手段により選択された代表値に置き換える置き換え手段と、
を備えたことを特徴とする電子カメラ。 - 前記代表値算出手段は、
前記複数の画素のレベル値の平均値又は中央値を代表値として算出する、
ことを特徴とする請求項9又は10記載の電子カメラ。 - 前記代表値算出手段は、
前記複数の画素のレベル値の各々に該画素に対応した係数を乗算した値の平均値又は中央値を代表値として算出する、
ことを特徴とする請求項9又は10記載の電子カメラ。 - 前記所定方向は、
前記注目画素を中心とした放射状の方向である、ことを特徴とする請求項9又は10記載の電子カメラ。 - 前記ノイズリダクション手段による処理を同一画像データに複数回適用させる、
ことを特徴とする請求項9又は10記載の電子カメラ。 - ゲインに関する設定に応じて前記撮像素子の出力を増幅するゲインコントロール手段と、
アパーチャ補正に関する設定に応じて前記ゲインコントロール手段の出力に基づく画像データからエッジ成分を抽出して強調するアパーチャ補正手段と、
リサイズに関する設定に応じて画像データの画像サイズをリサイズするリサイズ手段と、
を更に備え、
前記ゲインに関する設定、前記アパーチャ補正に関する設定、又は前記リサイズに関する設定の何れかの設定に応じて、少なくとも前記複数方向又は前記係数の何れかを変更する、
ことを特徴とする請求項12記載の電子カメラ。 - ゲインに関する設定に応じて前記撮像素子の出力を増幅するゲインコントロール手段と、
アパーチャ補正に関する設定に応じて前記ゲインコントロール手段の出力に基づく画像データからエッジ成分を抽出して強調するアパーチャ補正手段と、
リサイズに関する設定に応じて画像データの画像サイズをリサイズするリサイズ手段と、
を更に備え、
前記ゲインに関する設定、前記アパーチャ補正に関する設定、又は前記リサイズに関する設定の何れかの設定に応じて、前記ノイズリダクション手段による処理が適用される回数を変更する、
ことを特徴とする請求項14記載の電子カメラ。 - 前記ゲインに関する設定に応じて、前記ノイズリダクション手段により行われる処理の実行を許可又は禁止する、
ことを特徴とする請求項15又は16記載の電子カメラ。 - 前記画像データの画像サイズが記憶される画像サイズ記憶手段と、
前記注目画素の座標が記憶される注目画素座標記憶手段と、
前記画像サイズ記憶手段に記憶された画像データの画像サイズと前記注目画素座標記憶手段に記憶された注目画素の座標に基づいて、該注目画素が該画像データに基づく画像の端部又は端部近傍にあるか否かを判定する端部判定手段と、
該端部判定手段により前記注目画素が前記端部又は端部近傍にあると判定されたときに、前記複数方向を変更する変更手段と、
を更に備えたことを特徴とする請求項9、10、15、16、17の何れか1項記載の電子カメラ。 - 撮影により画像データを記録する電子カメラのノイズリダクション方法であって、
撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換ステップと、
該A/D変換ステップにてA/D変換された画像データに基づいて所定の色成分毎の複数の画像データを生成する色分解ステップと、
該色分解ステップにて生成された前記色成分毎の複数の画像データのうちの所定の色成分の画像データからノイズを除去するノイズリダクションステップと、
を含み、
前記ノイズリダクションステップには、
前記所定の色成分の画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、
該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、
前記注目画素のレベル値を前記代表値選択ステップにより選択された代表値に置き換える置き換えステップと、
が含まれることを特徴とする電子カメラのノイズリダクション方法。 - 撮影により画像データを記録する電子カメラのノイズリダクション方法であって、
撮像素子から出力されるアナログ画像信号をA/D変換するA/D変換ステップと、
該A/D変換ステップにてA/D変換された画像データに基づきエッジ成分を抽出して画像データを生成するエッジ分解ステップと、
該エッジ分解ステップにて生成された画像データからノイズを除去するノイズリダクションステップと、
を含み、
前記ノイズリダクションステップには、
前記エッジ分解ステップにて生成された画像データの注目画素を含み所定方向に並ぶ複数の画素のレベル値から代表値を算出する代表値算出ステップと、
該代表値算出ステップにて算出された複数方向に対応する複数の代表値の中から前記注目画素のレベル値に最も近い代表値を選択する代表値選択ステップと、
前記注目画素のレベル値を前記代表値選択ステップにて選択された代表値に置き換える置き換えステップと、
が含まれることを特徴とする電子カメラのノイズリダクション方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342729A JP4051196B2 (ja) | 2001-11-08 | 2001-11-08 | ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ |
US10/287,986 US7382406B2 (en) | 2001-11-08 | 2002-11-04 | Noise reduction system, noise reduction method, recording medium, and electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342729A JP4051196B2 (ja) | 2001-11-08 | 2001-11-08 | ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003141531A JP2003141531A (ja) | 2003-05-16 |
JP4051196B2 true JP4051196B2 (ja) | 2008-02-20 |
Family
ID=19156534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001342729A Expired - Fee Related JP4051196B2 (ja) | 2001-11-08 | 2001-11-08 | ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US7382406B2 (ja) |
JP (1) | JP4051196B2 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
US6753929B1 (en) | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
JP2003061105A (ja) * | 2001-06-07 | 2003-02-28 | Seiko Epson Corp | 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ |
JP3902492B2 (ja) * | 2002-03-13 | 2007-04-04 | 株式会社リコー | 撮像装置 |
JP2003304549A (ja) * | 2002-04-11 | 2003-10-24 | Olympus Optical Co Ltd | カメラ及び画像信号処理システム |
JP2004363853A (ja) * | 2003-06-04 | 2004-12-24 | Casio Comput Co Ltd | 画像信号のノイズ低減方法及びノイズ低減装置 |
JP2005130297A (ja) * | 2003-10-24 | 2005-05-19 | Olympus Corp | 信号処理システム、信号処理方法、信号処理プログラム |
US7711203B2 (en) * | 2004-06-09 | 2010-05-04 | Broadcom Corporation | Impulsive noise removal using maximum and minimum neighborhood values |
US20060077490A1 (en) * | 2004-07-13 | 2006-04-13 | Sheraizin Semion M | Automatic adaptive gamma correction |
US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
US7639892B2 (en) * | 2004-07-26 | 2009-12-29 | Sheraizin Semion M | Adaptive image improvement |
JP3965402B2 (ja) | 2004-08-23 | 2007-08-29 | 富士フイルム株式会社 | ノイズ低減装置および方法ならびにノイズ低減プログラム |
JP4822773B2 (ja) * | 2004-09-13 | 2011-11-24 | キヤノン株式会社 | 色ノイズ低減回路及びそれを用いた撮像装置 |
JP4244899B2 (ja) | 2004-09-30 | 2009-03-25 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4111181B2 (ja) * | 2004-09-30 | 2008-07-02 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP3918844B2 (ja) * | 2004-09-30 | 2007-05-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4305351B2 (ja) * | 2004-09-30 | 2009-07-29 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4165488B2 (ja) * | 2004-09-30 | 2008-10-15 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4265517B2 (ja) * | 2004-09-30 | 2009-05-20 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4244898B2 (ja) * | 2004-09-30 | 2009-03-25 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4305352B2 (ja) * | 2004-09-30 | 2009-07-29 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4075881B2 (ja) * | 2004-09-30 | 2008-04-16 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
JP4305369B2 (ja) * | 2004-11-10 | 2009-07-29 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置 |
US7526142B2 (en) * | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
JP2007129524A (ja) * | 2005-11-04 | 2007-05-24 | Seiko Epson Corp | 画像処理装置、画像処理方法及びそのプログラム |
EP1976268A1 (en) * | 2005-12-28 | 2008-10-01 | Olympus Corporation | Imaging system and image processing program |
US7565140B2 (en) * | 2005-12-29 | 2009-07-21 | Intel Corporation | Device, system and method of processing received wireless signals |
JP2007318630A (ja) * | 2006-05-29 | 2007-12-06 | Matsushita Electric Ind Co Ltd | 画像入力装置、撮像モジュール、及び固体撮像装置 |
JP4703504B2 (ja) * | 2006-07-21 | 2011-06-15 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2008124928A (ja) * | 2006-11-14 | 2008-05-29 | Toshiba Corp | オートホワイトバランスシステム |
US8218868B2 (en) * | 2007-06-13 | 2012-07-10 | Sensors Unlimited, Inc. | Method and apparatus for enhancing images |
JP2009071621A (ja) * | 2007-09-13 | 2009-04-02 | Panasonic Corp | 画像処理装置及びデジタルカメラ |
US8498499B2 (en) * | 2008-07-30 | 2013-07-30 | Mitsubishi Electric Corporation | Image processing apparatus and method and image display apparatus |
JP5347717B2 (ja) * | 2008-08-06 | 2013-11-20 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP5168056B2 (ja) * | 2008-09-29 | 2013-03-21 | 富士通セミコンダクター株式会社 | ノイズ除去装置及びノイズ除去方法 |
US9171361B2 (en) * | 2010-04-23 | 2015-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
JP5220677B2 (ja) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5387377B2 (ja) * | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2015097382A (ja) * | 2013-10-08 | 2015-05-21 | キヤノン株式会社 | 情報処理装置、撮像システム、情報処理方法、及びプログラム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS55133179A (en) | 1979-04-03 | 1980-10-16 | Ricoh Co Ltd | Picture processing system |
JP3165225B2 (ja) | 1991-03-27 | 2001-05-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
EP0529903B1 (en) * | 1991-08-23 | 2000-01-12 | Mitsubishi Denki Kabushiki Kaisha | Pixel Interpolation Circuit and its Applications |
JP3125124B2 (ja) * | 1994-06-06 | 2001-01-15 | 松下電器産業株式会社 | 欠陥画素傷補正回路 |
JP3462917B2 (ja) | 1994-12-09 | 2003-11-05 | 株式会社日立製作所 | 画像処理方式 |
FR2736741B1 (fr) * | 1995-07-11 | 1997-09-26 | Khiplus | Procede de traitement d'une sequence source d'images numeriques bruitees |
JPH10341447A (ja) * | 1997-04-11 | 1998-12-22 | Fuji Photo Film Co Ltd | 画像信号処理装置 |
JP2000069291A (ja) | 1998-08-26 | 2000-03-03 | Konica Corp | 画像処理方法及び画像処理装置 |
US6806902B1 (en) * | 1999-06-08 | 2004-10-19 | Chrontel, Inc. | System and method for correcting bad pixel data in a digital camera |
JP4626007B2 (ja) * | 1999-06-14 | 2011-02-02 | 株式会社ニコン | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
JP4317624B2 (ja) * | 1999-09-10 | 2009-08-19 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理装置 |
JP3855149B2 (ja) | 2000-03-21 | 2006-12-06 | 富士写真フイルム株式会社 | 画像送信装置及びプリントシステム |
JP2001307079A (ja) * | 2000-04-26 | 2001-11-02 | Seiko Epson Corp | 画像処理装置、画像処理方法および記録媒体 |
US6747697B1 (en) * | 2000-07-12 | 2004-06-08 | Koninklijke Philips Electronics, N.V. | Method and apparatus for digital image defect correction and noise filtering |
JP2002185862A (ja) * | 2000-12-15 | 2002-06-28 | Mega Chips Corp | 画像信号のノイズ除去方法 |
US6900836B2 (en) * | 2001-02-19 | 2005-05-31 | Eastman Kodak Company | Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor |
EP1246472A1 (fr) * | 2001-03-27 | 2002-10-02 | Koninklijke Philips Electronics N.V. | Appareil de prise de vue et procédé pour corriger des images prises par un tel appareil |
US7110612B1 (en) * | 2001-10-11 | 2006-09-19 | Pixelworks, Inc. | Weighted absolute difference based noise reduction method and apparatus |
JP2003283876A (ja) * | 2002-03-27 | 2003-10-03 | Sanyo Electric Co Ltd | ノイズ除去回路 |
-
2001
- 2001-11-08 JP JP2001342729A patent/JP4051196B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-04 US US10/287,986 patent/US7382406B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2003141531A (ja) | 2003-05-16 |
US7382406B2 (en) | 2008-06-03 |
US20030122969A1 (en) | 2003-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4051196B2 (ja) | ノイズリダクションシステム、ノイズリダクション方法、ノイズリダクションプログラム、及び電子カメラ | |
US8290263B2 (en) | Image processing apparatus | |
KR101267404B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
EP2536152B1 (en) | Image processing device and image processing method | |
US20130002936A1 (en) | Image pickup apparatus, image processing apparatus, and storage medium storing image processing program | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
WO2007077730A1 (ja) | 撮像システム、画像処理プログラム | |
JP2003061105A (ja) | 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP2006023959A (ja) | 信号処理システム及び信号処理プログラム | |
JP2006295582A (ja) | 画像処理装置と撮像装置、および画像処理プログラム | |
JP5291788B2 (ja) | 撮像装置 | |
JP4916341B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP2008288947A (ja) | 画像処理装置及びそのプログラム | |
US8786736B2 (en) | Image processing apparatus and method capable of suppressing image quality deterioration, and storage medium | |
JP4539299B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
US9007494B2 (en) | Image processing apparatus, method for controlling the same and storage medium | |
JP6631161B2 (ja) | 画像処理装置、撮像装置、制御プログラム | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5561389B2 (ja) | 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法 | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
JP2009253760A (ja) | 画像処理装置、画像処理方法及び電子機器 | |
JP5872011B2 (ja) | 画像処理装置及び方法、並びにプログラム及び記憶媒体 | |
US20090167903A1 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |