JP4566913B2 - 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム - Google Patents

平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム Download PDF

Info

Publication number
JP4566913B2
JP4566913B2 JP2005515089A JP2005515089A JP4566913B2 JP 4566913 B2 JP4566913 B2 JP 4566913B2 JP 2005515089 A JP2005515089 A JP 2005515089A JP 2005515089 A JP2005515089 A JP 2005515089A JP 4566913 B2 JP4566913 B2 JP 4566913B2
Authority
JP
Japan
Prior art keywords
value
spike noise
data
predetermined
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005515089A
Other languages
English (en)
Other versions
JPWO2005043085A1 (ja
Inventor
史彦 石崎
裕巳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Showa Denko Materials Co Ltd
Original Assignee
Hitachi Chemical Co Ltd
Showa Denko Materials Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Chemical Co Ltd, Showa Denko Materials Co Ltd filed Critical Hitachi Chemical Co Ltd
Publication of JPWO2005043085A1 publication Critical patent/JPWO2005043085A1/ja
Application granted granted Critical
Publication of JP4566913B2 publication Critical patent/JP4566913B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/028Indicating or recording apparatus with provision for the special purposes referred to in the subgroups mitigating undesired influences, e.g. temperature, pressure
    • G01D3/032Indicating or recording apparatus with provision for the special purposes referred to in the subgroups mitigating undesired influences, e.g. temperature, pressure affecting incoming signal, e.g. by averaging; gating undesired signals

Description

本発明は、データ波形に混入するスパイクノイズを、効果的に除去するスパイクノイズ除去方法及びスパイクノイズを効果的に除去するコンピュータプログラムに関する。
従来、物理測定、電磁測定、光学測定、ラマン分光測定等において、1次元、2次元又は3次元空間内でデータが計測されている。
計測により得られたデータ波形は、様々なノイズを含み、特に、近傍のデータ値に対して極端に大きな値あるいは小さな値のデータ(以下、スパイクノイズと称する)を含むことがある。スパイクノイズは、電気的衝撃、機械的衝撃、あるいはその他の外的要因により発生するが、データ波形の質を著しく低下させるため、除去すべき対象となる。スパイクノイズを除去する方法として、これまでに以下の単純平均化法、メディアンフィルター法、時系列法が提案されている。ここで、近傍とは、関心のあるデータ点から所定範囲内を言うものとする。
第一のスパイクノイズ除去方法として、特許第2629511号に記載された方法が挙げられる。この方法では、データ波形の1次微分値が閾値以上である場合にスパイクノイズを検出したと判断し、1次微分値の符号変化点をスパイクノイズ発生位置とみなす。次に、スパイクノイズ発生位置を挟む前後のデータ値の平均値で、スパイクノイズ発生位置のデータ値を1回だけ置換する。この方法を以下、単純平均化法と称する。
第二のスパイクノイズ除去方法として、メディアンフィルター法が挙げられる。この方法では、各データ点から所定範囲内にあるデータ点のデータ値の中央値で、前記各データ点の各データ値を置換する。この処理は、各データ点がスパイクノイズ点か否かとは無関係に行なわれ、処理対象にスパイクノイズ値を含むため、置換に用いる中央値が正常なデータ値であれば、スパイクノイズは効果的に除去される。この方法は2次元データ波形のほか、特に画像等の3次元データ波形において多用され、一般にメディアンフィルター法と呼ばれる。
第三のスパイクノイズ除去方法として、データの時間的相関性に着目する方法が挙げられる。高感度の電荷結合素子によりラマンスペクトルを計測するにあたり、データ波形に混入するスパイクノイズは、大気中を飛散する宇宙線が原因であることが知られており、その除去方法が、H.Takeuchi,S.Hashimoto,and I.Harada,Appl.Spectrosc.,47(1),129(1993)に記載されている。この方法では、データ波形を2回測定してデータ波形間の差を計算し、差が閾値以上となる箇所をスパイクノイズ発生位置とみなし、データ値の大きな方をスパイクノイズ、小さな方を真のデータと判断して、前者を後者で置換する。これが第三のスパイクノイズ除去方法であり、以下時系列法と称する。
前記の単純平均化法、メディアンフィルター法、時系列法は、いずれもスパイクノイズが少数で、 孤立して存在する場合は有効である。しかし実際には、スパイクノイズが多数混入したり2個以上連続することも多い。この場合、前記三つの方法では、実施例記載の通り、スパイクノイズが残存したり、元のデータ波形に歪みが発生する。スパイクノイズが多数混入したり、2個以上連続する場合に、生データ波形に歪みを発生させずにスパイクノイズを完全に除去することは、従来の技術では解決が困難であった。
本発明は、前述の実情に鑑みて提案されるものであって、2個以上連続したスパイクノイズを、データ波形に歪みを発生させずに、検出し除去するスパイクノイズ除去方法及びコンピュータプログラムを提供することを目的とする。
前記の課題は、スパイクノイズ範囲内の最大値あるいは最小値近傍の多数の点を除去対象とすること、除去対象となった個々の点の値を、除去対象データ近傍のデータの平均値で繰り返し置換することにより解決できる。このような、課題の解決手段となる本発明の方法を、平均化反復法と称する。
平均化反復法において、平均値の置換を繰り返すにあたり、除去対象のデータ点よりチャンネル番号の大きなデータ点のデータ値と、チャンネル番号の小さなデータ点のデータ値とを用いて平均値を計算する。これには、除去対象のデータ点よりチャンネル番号が1だけ大きいデータ点のデータ値と、チャンネル番号が1だけ小さいデータ点のデータ値と(2つの最隣接点)を用いて平均値を計算する場合も含まれる。
本発明に係るスパイクノイズ除去方法は、物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが正値でΔyg,g+1が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、(1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最大値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、(2)前記最大値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、(3)前記差が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差が、当該所定閾値以上であるとき、最大値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、を有する。
または、本発明に係るスパイクノイズ除去方法は、物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが負値で|Δyg,g+1|が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが正値でΔyh,h+1が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、(1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最小値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、(2)前記最小値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、(3)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、最小値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、を有する。
ステップ(3)で前記差の絶対値が、当該所定閾値以上であるとき、前記ステップ(1)(2)(3)の後に、(4)データ値ym−c,ym+d(ただしc,dは1≦a<c≦X2,1≦b<d≦X2を満たす特定の値、X2は所定の第2間隔)の平均値(ym−c+ym+d)/2を計算するステップと、(5)前記平均値(ym−a+ym+b)/2と前記平均値(ym−c+ym+d)/2との差を計算するステップと、(6)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、前記平均値(ym−a+ym+b)/2を前記平均値(ym−c+ym+d)/2で置換するステップと、(7)値aを値cで置換し、値bを値dで置換するステップと、(8)a<c≦X2,b<d≦X2の範囲の各c,各dに対して、前記(4)(5)(6)(7)を行うステップ(S33)と、をさらに有することが好ましい。
前記ステップ(1)(2)(3)(4)(5)(6)(7)(8)の後に、(9)前記スパイクノイズ点(m,ym)から所定第3間隔X1−1の範囲内に位置する各データ点に対して、前記スパイクノイズ点(m,ym)に対する、前記(1)(2)(3)(4)(5)(6)(7)(8)の処理と同様の処理を行い、当該スパイクノイズ範囲内のスパイクノイズが除去されたと判断するステップ(S32)と、をさらに有することが好ましい。
X2≧X1−1であることが好ましい。ここで、X2はデータ列の最大数である。これは、CCDのような検出器のチャンネル数に相当し、例えば512,1024のような値である。
各測定点の位置は、受光素子のチャンネル位置であることが好ましい。
前記スパイクノイズ範囲の終点を判断するステップは、前記始点から所定の第1間隔X1の範囲内において、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、前記閾値(Y1)以上にならないとき、当該範囲内に、スパイクノイズは存在しないとみなすステップ(S25a)を有することが好ましい。
または、前記スパイクノイズ範囲の終点を判断するステップは、前記始点から所定の第1間隔X1の範囲内において、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが正値でΔyh,h+1が、前記閾値(Y1)以上にならないとき、当該範囲内に、スパイクノイズは存在しないとみなすステップ(S25a)を有することが好ましい。
本発明に係るコンピュータプログラムは、前述のスパイクノイズ除去方法の計算方法をコンピュータに実行させるものである。
本発明に係るコンピュータプログラムは、物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが正値でΔyg,g+1が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、(1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最大値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、(2)前記最大値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、(3)前記差が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差が、当該所定閾値以上であるとき、最大値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、ステップ(3)で前記差が、当該所定閾値以上であるとき、前記ステップ(1)(2)(3)の後に、(4)データ値ym−c,ym+d(ただしc,dは1≦a<c≦X2,1≦b<d≦X2を満たす特定の値、X2は所定の第2間隔)の平均値(ym−c+ym+d)/2を計算するステップと、(5)前記平均値(ym−a+ym+b)/2と前記平均値(ym−c+ym+d)/2との差を計算するステップと、(6)前記差が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差が、当該所定閾値以上であるとき、前記平均値(ym−a+ym+b)/2を前記平均値(ym−c+ym+d)/2で置換するステップと、(7)値aを値cで置換し、値bを値dで置換するステップと、(8)a<c≦X2,b<d≦X2の範囲の各c,各dに対して、前記(4)(5)(6)(7)を行うステップ(S33)と、(9)前記スパイクノイズ点(m,ym)から所定第3間隔X1−1の範囲内に位置する各データ点に対して、前記スパイクノイズ点(m,ym)に対する、前記(1)(2)(3)(4)(5)(6)(7)(8)の処理と同様の処理を行い、当該スパイクノイズ範囲内のスパイクノイズが除去されたと判断するステップ(S32)と、をコンピュータに実行させる。
または、本発明に係るコンピュータプログラムは、物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが負値で|Δyg,g+1|が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが正値でΔyh,h+1が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、(1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最小値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、(2)前記最小値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、(3)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、最小値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、ステップ(3)で前記差の絶対値が、当該所定閾値以上であるとき、前記ステップ(1)(2)(3)の後に、(4)データ値ym−c,ym+d(ただしc,dは1≦a<c≦X2,1≦b<d≦X2を満たす特定の値、X2は所定の第2間隔)の平均値(ym−c+ym+d)/2を計算するステップと、(5)前記平均値(ym−a+ym+b)/2と前記平均値(ym−c+ym+d)/2との差を計算するステップと、(6)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、前記平均値(ym−a+ym+b)/2を前記平均値(ym−c+ym+d)/2で置換するステップと、(7)値aを値cで置換し、値bを値dで置換するステップと、(8)a<c≦X2,b<d≦X2の範囲の各c,各dに対して、前記(4)(5)(6)(7)を行うステップ(S33)と、(9)前記スパイクノイズ点(m,ym)から所定第3間隔X1−1の範囲内に位置する各データ点に対して、前記スパイクノイズ点(m,ym)に対する、前記(1)(2)(3)(4)(5)(6)(7)(8)の処理と同様の処理を行い、当該スパイクノイズ範囲内のスパイクノイズが除去されたと判断するステップ(S32)と、をコンピュータに実行させる。
本発明は、物理的測定、電磁測定、光学測定、ラマン分光測定に適用することが好ましい。また、本発明は、2次元又は3次元のデータの計測に適用することが好ましい。ここで、物理的測定とは、計測機器及び分析機器を用いて取得した信号等をいう。
本発明の方法(平均化反復法)によれば、データ波形中の2個以上連続したスパイクノイズを、データ波形に歪みを発生させずに、検出し除去することが可能である。
図1A及び1Bは、平均値による置換の反復で、スパイクノイズを除去してゆくプロセスを、データ列を例に示した図である。
図2は、本実施形態の計算方法(平均化反復法)を説明するフローチャートである。
図3は、閾値の決定の過程を説明するフローチャートである。
図4は、スパイクノイズの検出とスパイクノイズ範囲の決定の過程を説明するフローチャートである。
図5は、スパイクノイズの除去の過程を説明するフローチャートである。
図6A及び6Bは、アクリル板のラマンスペクトルと、各種スパイクノイズ除去方法の適用結果を示した図である。
図6C及び6Dは、アクリル板のラマンスペクトルと、各種スパイクノイズ除去方法の適用結果を示した図である。
図6E及び6Fは、アクリル板のラマンスペクトルと、各種スパイクノイズ除去方法の適用結果を示した図である。
図6G及び6Hは、アクリル板のラマンスペクトルと、各種スパイクノイズ除去方法の適用結果を示した図である。
図6Iは、アクリル板のラマンスペクトルと、各種スパイクノイズ除去方法の適用結果を示した図である。
以下、図面を参照して、本発明の実施形態を説明する。
本実施形態は、スパイクノイズ検出・除去に必要な閾値の決定、スパイクノイズの検出とスパイクノイズ範囲の決定、スパイクノイズの除去という3つの過程(ステップ)からなる。
より詳細には、本実施形態のスパイクノイズ除去方法は、物理的測定により得られた各点の上のデータについて、データ波形(i,yi)の(a)1次差分値又は1次微分値Δyg,g+1=yg+1−ygが正値でΔyg,g+1が、又は(b)Δyg,g+1が負値で|Δyg,g+1|が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、前記始点から所定の第1間隔X1の範囲内で、(a)1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、又は(b)Δyh,h+1が正値でΔyh,h+1が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、(1)前記始点から前記終点までのスパイクノイズ範囲における(a)最大値(ym)又は(b)最小値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、(2)(a)最大値(ym)又は(b)最小値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、(3)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、(a)最大値(ym)又は(b)最小値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、(4)データ値ym−c,ym+d(ただしc,dは1≦a<c≦X2,1≦b<d≦X2を満たす特定の値、X2は所定の第2間隔)の平均値(ym−c+ym+d)/2を計算するステップと、(5)前記平均値(ym−a+ym+b)/2と前記平均値(ym−c+ym+d)/2との差を計算するステップと、(6)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、前記平均値(ym−a+ym+b)/2を前記平均値(ym−c+ym+d)/2で置換するステップと、(7)文字aの値を文字cの値で置換し、文字bの値を文字dの値で置換するステップと、(8)a<c≦X2,b<d≦X2の範囲の各c,各dに対して、前記(4)(5)(6)(7)を行い、前記スパイクノイズ点(m,ym)に対する処理が終了したと判断するステップ(S33)と、(9)前記スパイクノイズ点(m,ym)から所定第3間隔X1−1の範囲内に位置する各データ点に対して、前記スパイクノイズ点(m,ym)に対する、前記(1)(2)(3)(4)(5)(6)(7)(8)の処理と同様の処理を行い、当該スパイクノイズ範囲内のスパイクノイズが除去されたと判断するステップ(S32)とを有する。
図1A及び1Bは、スパイクノイズの除去の過程の実施形態の考え方を示す。
図1Aは、スパイクノイズの除去の操作の説明のために作成した2次元データ波形であり、スパイクノイズ範囲を4≦i≦7とし、y5=50,y6=46を、バックグラウンドに混入した2本の連続したスパイクノイズと仮定する。図中折線(a1)は生データ、折線(a2)はスパイクノイズ除去後のデータを示す。
また、前記閾値X1−1を3、計算終了判定のための閾値(前記閾値Y2)として、NL(ノイズレベル)=4と仮定し、図1Bには、スパイクノイズを含む生データが、スパイクノイズの除去過程で変化してゆく様子を示した。
図1B第2列において、生データのスパイクノイズ範囲4≦i≦7内の最大値はy5=50であり、これが最初の除去対象となりうる。y5=50と平均値y51=(y4+y6)/2=25との差を計算すると|y5−y51|=25となり、この値は(ノイズレベル)=4よりも大きい。そこで、y5=50をy51=25で置換する。次に、y51=25と平均値y52=(y3+y7)/2=2との差を計算すると|y52−y51|=23となり、この値は(ノイズレベル)=4よりも大きい。そこで、y51=25をy52=2で置換する。さらに、y52=2と平均値y53=(y2+y8)/2=3との差を計算すると|y53−y52|=1となり、この値は(ノイズレベル)=4よりも小さい。そこで、スパイクノイズy5=50の除去が終了したと判断し、y52=2で置換した状態で計算を終了する。この段階でのデータ波形は、図1B第3列に示した通りである。上記と同様の処理を、i=5,5−1,5+1,5−2,5+2,5−3,5+3=5,4,6,3,7,2,8なるyiについて行う(図5のステップS22,S32において、X1=4とした場合に相当する)。y5に関する処理は終了したので、y5に隣接するy4に関する処理を説明する。
y4=5とy41=(y3+y5)/2=2.5との差を計算すると、|y4−y41|=2.5となり、この値は(ノイズレベル)=4よりも小さい。そこで、y4=5をスパイクノイズとはみなさずに、y4=5のまま計算を終了する。これにより、データ波形は図1B第3列の状態を保持し、図1B第4列のようになる。次に、y4と同様にy5に隣接するy6に関する処理を説明する。
y6=45と平均値y61=(y5+y7)/2=1.5との差を計算すると|y6−y61|=43.5となり、この値は(ノイズレベル)=4よりも大きい。そこで、y6=45をy61=1.5で置換する。次に、y61=1.5と平均値y62=(y4+y8)/2=5との差を計算すると|y62−y61|=3.5となり、この値は(ノイズレベル)=4よりも小さい。そこで、スパイクノイズy6=45の除去が終了したと判断し、y61=1.5で置換した状態で計算を終了する。これにより、データ波形は、図1B第5列のように変化する。
上記y5,y4,y6に関する処理と同様の処理を、y3,y7,y2,y8にも施すと、y4の場合と同様に個々の値は変化せず、最終的なデータ波形は図1B第6列のようになる。以上の過程により、生データにおいて連続する2本のスパイクノイズy5=50,y6=45が完全に除去され、平均値による置換を、範囲を拡大しながら反復することの利点が示された。
なお、単純平均化法(特許第2629511号の方法)では、生データは図1B第7列のように変化する。特許第2629511号の方法では、スパイクノイズ範囲は5≦i≦6となり、スパイクノイズ範囲を挟むy4=5,y7=1の平均値3でスパイクノイズ範囲内の値が全て置換されるためである。このように単純平均化法では、一部のデータを全て同一の値で置換するため、波形に歪みを発生することが予想される。また、メディアンフィルター法で3チャンネル内の中央値による置換を仮定すると、生データのy0,y1,y2,y3,y4,y5,y6,y7,y8は順に0,1,3,3,5,45,45,5,4,4,2に変化し、スパイクノイズが残存することになる。単純平均化法で発生が予想される波形の歪みは、図1のようにバックグラウンド上ではなく、シグナル波形上にスパイクノイズが混入した場合に顕著である。具体例として、特許第2629511号図8の測定時間3.2秒付近の波形に観測されるショルダーピークが挙げられる。本実施形態では、スパイクノイズ近傍のシグナルデータ値の平均値で置換を行う。このため置換後の波形には、スパイクノイズ近傍のシグナルデータの特徴が反映され、単純平均化法、メディアンフィルター法の場合よりも、置換後の波形の歪みが小さくなる。
図2〜図5は、本発明の実施形態を示すフローチャートである。図2に示すように、ステップS10でスパイクノイズの検出・除去で必要となる閾値の決定を行い、ステップS20でスパイクノイズの検出とスパイクノイズ範囲の決定を行い、ステップS30はスパイクノイズの除去を行う。
後述するように、オペレータは、パラメータとして、ステップS10で、バックグラウンド上の2点の位置、および認識パラメータ(RecogPA)、およびノイズ比パラメータ(RatioPA)を決定し、S20でスパイクノイズレンジ(CRR)を決定する。
バックグラウンド上の上記の2点の回帰直線とデータの差の標準偏差がSIGとして算出され、前記閾値Yに相当するのはNT=SIG×RecogPAとなり、前記閾値X−1に相当するのはCRRとなり、前記閾値Yに相当するのはNL=SIG×RatioPAとなる。なお、本発明の実施形態はこのような閾値の決定法に限定されるものではなく、別の方法により前記閾値YおよびYを指定することも可能である。
ステップS10、S20でパラメータが、一度指定されると、該パラメータはステップS20、S30で利用され、計算は自動的に進行する。
なお、図2〜図5において、オペレータによる指定が含まれる過程は平行四辺形で表示され、それ以外の過程は長方形あるいはひし形で表示されている。なお、ひし形は条件による分岐を意味している。また、連続するデータ間での1次微分値を差分と定義し、差分を用いて計算過程を説明してある。
以下、図3〜図5のフローチャートを図1のスパイクノイズ除去過程を参照して説明する。図3のステップS11〜S16は図2のステップS10を詳細に示し、図4のステップS21〜S26、S25aは図2のステップS20を詳細に示し、図5のステップS31〜S35、S35aは図2のステップS30を詳細に示す。
ここで、前記閾値をY=12(SIG×RecogPA=12),X=4(CRR=3),Y=4(SIG×RatioPA=4、図1Aにおけるノイズレベル),X=6(2×CRR=6)と仮定する。後述するように、これらの値は、図3のステップS15、S16、図4のステップS22で指定される。
まず、図3に示すスパイクノイズの検出・除去で必要となる閾値の決定について説明する。
ステップS11では、バックグラウンド上の2点を指定し、ステップS12では、2点間の回帰直線とデータ値の差の標準偏差を計算してSIGとする。ステップS13で認識パラメータRecogPAを指定し、ステップS14でノイズ比パラメータRatioPAを指定する。ステップS15では、NT=SIG×RecogPAを閾値(Y)として算出し、ステップS16では、NT=SIG×RatioPAを閾値(Y)として算出する。
次に、図4に示すスパイクノイズの検出とスパイクノイズ範囲の決定について説明する。
ステップS21では、検出するスパイクノイズピーク値の正負を指定する(以下、スパイクノイズピーク値が正の場合を仮定する)。ステップS22では、検出・除去の対象として許容するスパイクノイズ幅のチャンネル数の最大値より、2減じた値を、スパイクノイズレンジ(CRR)として指定する。ここで、CRR=X1−1とする。ステップS23では、データ(i,yi)の差分Δyi,i+1=yi+1−yiを計算する。
パラメータの指定および計算がステップS23まで進行した後、ステップS24において、Δyj,j+1=yj+1−yj>+NTのとき、jをスパイクノイズの始まるチャンネルとする。図1A及び1Bの例の場合、Δy4,5=y5−y4=45>12であるのでj=4である。
ステップS25においてΔyj,j+q+1=yj+q+1−yj<−NTのとき、j+q+1をスパイクノイズが終了するチャンネルとする。ただし、1≦q≦CRRとする。図1の例の場合、Δy6,7=y7−y6=−44<−12であり、j+q+1=7であるから、q=2となる。
ステップS26において、スパイクノイズ範囲はj≦i≦j+q+1であるから、スパイクノイズ幅はチャンネル数q+2(間隔q+1)である。ただし、1≦q≦CRRである。図1の例の場合、スパイクノイズ範囲は4≦i≦7、q=2となる。ここでCRR=3であるから、1≦q≦CRRが成立する。ここで、スパイクノイズ範囲は4〜7チャンネルであり、スパイクノイズ幅は4チャンネルである。
ステップS25aでは、1≦q≦CRRの範囲で差分がS25の条件を満たさないときは、スパイクノイズは存在しないとみなし、計算を終了する。このステップS25aの過程は、スパイクノイズ幅が過剰に大きくなることを防止するために設けた。
ステップS25aの過程を省略すると、スパイクノイズ幅が、正常な信号ピークのバンド幅に相当する値を持つ場合、正常な信号ピークを広範囲におよぶスパイクノイズと判断し、このピークを図5のステップS31以下の過程で除去してしまう可能性がある。
図1A及び1Bの例の場合、CRR=3であるからスパイクノイズ幅のチャンネル数q+2は5以下となる必要がある。実際にはq+2=4であり、上記制限内であることがわかる。このようにCRRの設定は、スパイクノイズ幅を制限し、連続したスパイクノイズと、正常な信号ピークとを区別する機能を持つ。
次に、図5に示すスパイクノイズの除去について説明する。
ステップS31において、スパイクノイズ範囲j≦i≦j+q+1内でyiが最大の点(p,yp)を特定する。図1の例の場合、スパイクノイズ範囲4≦i≦7内でyiが最大の点は(5,y5)であるので、p=5である。
ステップS32では、ステップS33〜S35、S35aをi=p,p−1,p+1,‥,p−CRR,p+CRRについて実行する。
ステップS33では、ステップS34、S35、S35aを0≦r≦2×CRRについて実行する。ここで、2×CRR=X2である。図1の例の場合、前記(5,y5)を処理するにあたり、rは2×CRR=6以下となる必要がある。本例では、前述の通り、r=0,1,2で(5,y5)の処理が完了しており、これは上記制限内であることがわかる。
ステップS34では、yir=(yi−r+yi+r)/2を計算する。
ステップS34の後処理は分岐し、|yir+1−yir|>NLの場合に処理はステップS35に進み、|yir+1−yir|<NLの場合に処理はステップS35aに進む。
このようにして(5,y5)の処理がステップS35aで完了した後、再度ステップS32に戻ることになる。図1A及び1Bの例の場合、ステップS32〜S35aで、上記と同様の処理を、i=5,5−1,5+1,5−2,5+2,5−3,5+3=5,4,6,3,7,2,8なるyiに施すことになる。そこで、y5に関する説明の次に、y5に隣接するy4に関する説明を行う。
ステップS33〜S35aで、(4,y4)を処理するにあたり、rは2×CRR=6以下となる必要がある。本例では、前述の通り、r=0で(4,y4)の処理が完了しており、これは上記制限内であることがわかる。このようにして(4,y4)の処理がステップS35aで完了し、再度ステップS32に戻ることになる。次にy4と同様にy5に隣接するy6の処理に関する説明を行う。
ステップS33〜S35aで、(6,y6)を処理するにあたり、rは2×CRR=6以下となる必要がある。本例では、前述の通り、r=0,1で(6,y6)の処理が完了しており、これは上記制限内であることがわかる。このようにして(6,y6)の処理がステップS35aで完了した後、再度ステップS32に戻ることになる。
y5,y4,y6に関する処理と同様の処理をy3,y7,y2,y8にも施すと、前述の通り、y4の場合と同様に個々の値は変化せずr=0で処理は完了し、rが2×CRR=6以下という制限内に収まっていることがわかる。このようにして、図1に示したように、連続した2本のスパイクノイズが除去されることになる。
本実施形態の本質は、平均値による置換の反復にあるが、これには二つの意味がある。第一は、図5のステップS32の過程で、スパイクノイズ範囲内の最大値のほか、最大値近傍の複数の点が除去処理対象となること、第二は、図5のステップS33の過程で、除去処理対象となった個々の点の値が、当該点周辺のベースラインに近似できるまで置換を繰り返すことである。
前記閾値Y1,X1−1,Y2,X2は、これまでの記述通り、SIG×RecogPA,CRR,SIG×RatioPA,2×CRRとするほか、別の方法でも指定できる。一例として、X2を1.5×CRR,3×CRR,4×CRRなどに設定してもよい。前記閾値Y1,X1−1,Y2,X2の指定法、あるいは上記のX2の指定法では、X2≧X1−1となる。特定のデータ値を平均値の置換で小さくする(ステップS33)にあたり、X2≧X1−1は、重要な意味を持つ。X2≧X1−1の持つ意味は、上記の特定のデータ値から許容されるスパイクノイズの幅のチャンネル数(より2を減じた値)以上の距離内のデータを用いて、平均値を算出することにある。許容されるスパイクノイズの幅のチャンネル数(より2を減じた値)を下回る距離内のデータのみを用い、平均値を算出しても、スパイクノイズ範囲内のデータ値の平均値を利用することになり、スパイクノイズの除去が不十分になる可能性が高い。従って、前述の方法とは異なる方法で閾値Y1,X1−1,Y2,X2を指定する場合も、X2≧X1−1となることが望ましい。
閾値X1−1(CRR)は、ステップS22の通り、スパイクノイズ幅のチャンネル数の最大値より2減じた値を意味する。スパイクノイズ幅のチャンネル数の最大値がX1+1となるから、スパイクノイズ範囲の始点から終点に至る間隔の最大値は、X1となる。X1は、請求項1記載の第1間隔に相当する。また、閾値X2(2×CRR)は、ステップS33の通り、除去処理対象となる特定のスパイクノイズのチャンネル番号と、平均値の算出に使用するデータのチャンネル番号との差の最大値を意味する。前記のデータのチャンネルと、前記のスパイクノイズのチャンネルとの差の最大値は、間隔にしてX2となる。X2は、請求項1、請求項2記載の第2間隔に相当する。さらにステップS32の通り、除去処理対象となるデータ値のチャンネル番号と、スパイクノイズ範囲内の最大値のチャンネル番号との差の最大値は、X1−1(CRR)である。これは、間隔にしてX1−1となり、請求項3記載の第3間隔に相当する。
前述の方法で閾値Y(SIG×RecogPA),X−1(CRR),Y(SIG×RatioPA),X(2×CRR)を指定するにあたり、除去処理後も連続したスパイクノイズが残存するときはX1−1(CRR)の値を大きくし、データ波形が歪むときはX1−1(CRR)の値を小さくすればよい。閾値X1−1(CRR)の値を大きくすること、ステップS32が示すように、より多数のデータ値が除去処理の対象となる。また同時に閾値X2(2×CRR)の値も大きくなり、ステップS33が示すように、平均値の算出でより広範囲のデータ値を利用できるので、除去処理対象となった特定のデータ値を、スパイクノイズ範囲のデータ値の影響を受けずに、当該点周辺のベースラインに近似した値に置換できる。このように、閾値X1−1(CRR)の値を大きくすることで、スパイクノイズのうち、高い連続性を示すもののを効果的に除去できる。上記の影響を考慮すれば、閾値X1−1(CRR)は四つの閾値の中で最も本質的である。一方でステップS32に代わり、i=p,p−1,p+1,…,p−X3,p+X3とし、スパイクノイズの連続性が高いとき、X1−1,X2とは独立にX3を大きな値に設定して計算を実施してもよい。
また、滑らかなバックグラウンド上のスパイクノイズを除去するにあたり、除去処理後もスパイクノイズが残存するときは、RecogPAの値を大きくするのがよい。その理由は、滑らかなバックグラウンド上では標準偏差SIGの値が小さいために閾値Y(SIG×RecogPA)の値が小さくなり、ステップS24、S25でのスパイクノイズ範囲の決定が困難となるためである。
前述の方法で閾値Y1,X1−1,Y2,X2を指定するにあたり、連続したスパイクノイズが、滑らかなバックグラウンド上に存在する場合も含めて完全に除去され、かつデータ波形に歪みが発生しないよう各閾値を指定する必要があるが、前述の通り、前記の指定は過度の実験を必要としない。
以下、図6A〜6Iに示した実施例により本実施形態を説明する。図6Aは、ポリメタクリル酸メチルからなる板(以下、アクリル板と称する)のラマンスペクトルを、電荷結合素子を用い、スパイクノイズ除去機能なし、計測時間600秒で計測した結果であり、宇宙線スパイクノイズが混入したスペクトルとなっている。図6B,6D,6E,6Fは、図6Aに対して各種のスパイクノイズ除去方法を適用した結果である。図6Hは測定と同時に、時系列法によるスパイクノイズ除去機能を動作させ、スパイクノイズ除去を試みた結果である。図6C,6G,6Iは、それぞれ図6B,6F,6Hの一部拡大図である。ラマンスペクトルは、試料にレーザー光を照射し、試料が発する散乱光のうち照射光よりも低エネルギーのものについて、エネルギーの損失量毎に、散乱光の強度をプロットした2次元データである。エネルギーの損失量は、化学結合の種類や状態に依存するため、ここで得られたラマンスペクトルは、アクリル板固有のスペクトルとなる。
図6A及び6Hのデータは、ダイオード励起可視レーザー(Spectra Physics Millenia)から発振する波長532nmのレーザー光(強度0.6mW,ビーム径約0.2mm)を、厚さ2mmのアクリル板に、アクリル板法線から約45°の角度で照射して測定した。アクリル板から発生するラマン散乱光とレイリー散乱光を、アクリル板法線方向に設置したF/1の集光レンズで集光して平行光とした後、ノッチフィルター(Kaiser Holographic Notch Filter HNPF−532.0−1.5)を通過させてレイリー散乱光をカットした。その後、F/7.5の集光レンズでシングルポリクロメータ(Jobin Yvon Ramanor T−64000,F/7.5)のスリット(スリット幅120μm、スペクトルの分解能10cm−1に対応)上にラマン散乱光の像を結像し、刻線数600grooves/mmの回折格子で分光して、電荷結合素子(Princeton Instruments,Inc.LN/CCD−1024EHRB)にてラマンスペクトルを計測した。計測にあたり、図6Aでは600sの露光を1回、図6Hでは100sの露光を6回行っている。なお、計測したデータの横軸は、電荷結合素子(1024個)のチャンネル番号であり、この状態でスパイクノイズを除去した後、横軸を波数に変換して図6A〜6Iに示している。
図2乃至図5のアルゴリズム(本実施形態の方法)に相当するプログラムをソフトウェアIgor(WaveMetrics,Inc.)上で動作するよう作成し、RecogPA,RatioPA,CRRを指定して、1024個のデータ列にスパイクノイズ除去処理を施した。図6A(の横軸がチャンネル番号のデータ)に除去処理を施し、図6B(の横軸がチャンネル番号のデータ)を得るにあたり、計算に要する時間は約10秒であった。なお、計算にはパーソナルコンピュータIBM Think Pad X20を用いた。
データを計測するにあたり、前述の電荷結合素子の制御にソフトウェアWinspec(Princeton Instruments,Inc.)を使用するが、必要に応じてスパイクノイズ除去機能を動作させることができる。図6Aは、ソフトウェアWinspecにおけるスパイクノイズ除去機能を停止させ、計測したデータである。図6Aでは、孤立したスパイクノイズあるいは2個以上連続したスパイクノイズが、多数観測されている。各種除去機能の比較のため、連続したスパイクノイズのうち2箇所に(#),(##)を施した。(#)は全体の幅が8チャンネル(84〜91チャンネル)であり、幅3チャンネル、幅3チャンネル、幅4チャンネルの三つのスパイクノイズからなる。(##)は全体の幅が8チャンネル(55〜62チャンネル)であり、幅4チャンネル、幅5チャンネルの二つのスパイクノイズからなる。なお、上記のスパイクノイズ幅の値は、図6A〜6Hの横軸がチャンネル(波数に変換する前)の状態で読み取った結果である。
図6Bは、平均化反復法(本実施形態の方法)においてRecogPA=8,RatioPA=0.8,CRR=4とし、図6Aのスパイクノイズ除去を試みた結果である。図6Bでは、波形が歪むことなく、全てのスパイクノイズが完全に除去されている。また図6Dは、本実施形態の方法(平均化反復法)においてRecogPA=8,RatioPA=0.8,CRR=1とし、図6Aのスパイクノイズ除去を試みた結果である。図6Dでは波形の歪みはないものの、スパイクノイズが残存している((#),(##)は、形状は変化するが、どちらも残存している)。ここで、閾値Y(SIG×RecogPA),X−1(CRR),Y(SIG×RatioPA),X(2×CRR)は、RecogPA,RatioPA,CRRで指定されるため、この3つのパラメータの値を示した。
CRR=4のとき、検出可能なスパイクノイズの幅は6チャンネルとなり(ステップS22,S26参照)、この値は(#),(##)を構成するスパイクノイズの幅より大きい。このため、(#),(##)を構成するスパイクノイズは、スパイクノイズとして検出され、除去処理の対象となる。その結果、(#),(##)も完全に除去されたと予想される。これに対しCRR=1のとき、検出可能なスパイクノイズの幅は3チャンネルとなり、この値は(#),(##)を構成する一部のスパイクノイズの幅より小さい。このため、これらのスパイクノイズが検出されず、除去処理の対象にならなかったため、(#),(##)が残存したと考えられる。CRR=4のときとCRR=1のときとの相違は、前述したCRRの重要性を裏付けている。
CRRには、(スパイクノイズ幅)〜(スパイクノイズ幅)+2を目安として指定するのが望ましい。(#),(##)を例にとれば、(#),(##)を構成するスパイクノイズの幅は最小3チャンネル、最大5チャンネルであるから、CRRは3〜7に指定することになる。RecogPA,RatioPAはRecogPA=10,RatioPA=1を目安として指定するのが望ましい。本例では、CRRを3〜7の範囲で変化させ、それに応じてRecogPA,RatioPAを調整した結果、連続したスパイクノイズを完全に除去し、かつデータ波形に歪みを発生しないような組み合わせとして、RecogPA=8,RatioPA=0.8,CRR=4を見出した。
図6Eは、単純平均化法により、図6Aのスパイクノイズ除去を試みた結果である。単純平均化法による計算を実現するにあたり、本実施形態の方法(平均化反復法)を示した図2において、ステップS10,S20の過程は変更せず、ステップS30の過程のみを変更した。スパイクノイズ範囲j≦i≦j+q+1(ステップS26参照)内のデータ値の全てを、スパイクノイズ範囲外のデータ値の平均値(yj−1+yj+q+2)/2で1回のみ置換することになる。単純平均化法の適用では、三つの閾値Y(SIG×RecogPA),X−1(CRR),Y(SIG×RatioPA)を設定することに変更はなく、本実施形態の方法(平均化反復法)とスパイクノイズの検出法やスパイクノイズ範囲の決定法は同一である。そこでこれらの三つの閾値を図6Bの場合と同一にして、単純平均化法を適用した。図6Eから、波形の歪みはなくともスパイクノイズは残存していること、また(#)は完全に除去されているが(##)は残存していることがわかる。
図6B及び6Eを得るにあたり、ステップS10,S20は共通であるため、残存スパイクノイズの相違は、ステップS30の変更の有無に起因する。図6B及び6Eの比較により、本実施形態の方法(平均化反復法)のスパイクノイズ除去過程において、平均化を1回で終了せず、複数のデータ値に対して平均化を反復することの意義が示された。
図6Fは、メディアンフィルター法を利用して、図6Aのスパイクノイズ除去を試みた結果である。メディアンフィルター法に相当するプログラムをソフトウェアIgor(WaveMetrics,Inc.)上で動作するよう作成し、スパイクノイズ除去を試みた。ここでは幅7チャンネル内の値全てを、幅7チャンネル内の中央値で置換した。図6Fは、スパイクノイズが残存していること、及び(#),(##)の両者が残存していることを示している。また一部拡大図6Gの波形は、一部拡大図6Cに比較して大きく歪んでいることがわかる。
(#),(##)はいずれも幅8チャンネルのスパイクノイズであり、幅7チャンネル内の中央値を利用しても、これらを完全には除去できないことが、図6Fからわかった。図6Fにおける波形の歪みは、前述の予想を裏付けるものである。
図6Hは、ソフトウェアWinspecにおいて、時系列法を利用したスパイクノイズ除去機能を動作させながら、計測した結果である。時系列法の性質上、複数回の計測を行う必要がある。このため100sの計測を6回行い、合計の計測時間を図1Aの計測時間と同一の600sとした。図6Hは、最終回の計測データであるが、このデータでは、1〜5回目の計測データの時間的相関性が考慮されている。図6Hは、スパイクノイズが完全に除去されたことを示している。一方で縦軸の値に注意し、一部拡大図6Iを一部拡大図6Cと比較すると、図6Iは図6Cに対して、信号雑音比が低下していることがわかる。
時系列法を適用したとき、スパイクノイズ除去効果は本実施形態の方法(平均化反復法)とほぼ同等であるが、本実施形態の方法(平均化反復法)に対し、信号雑音比が低下する。これは1回あたりの計測時間が短いためである。計測時間が短くなれば、混入するスパイクノイズの量は減少するが、シグナル強度も減少し、信号雑音比は低下する。
以上の詳説から、波形に歪みを発生させず、信号雑音比を確保して、連続したスパイクノイズを除去するにあたり、最も効果的な方法は、本実施形態の方法(平均化反復法)であることが示された。
本実施形態の方法(平均化反復法)は、第一にはスペクトルデータ等の2次元データ波形を処理するために考案されたが、これを、2次元の横軸に対して1価の縦軸を持つ3次元データ波形の処理に拡張することができる。すなわち、3次元データ波形に混入したスパイクノイズの除去に、本実施形態における1次微分値を1次偏微分値に変更してスパイクノイズ除去方法を適用することが可能である。その場合、ある1軸に沿った微分(偏微分)によってスパイクノイズ範囲を見出し、その近傍(2次元面内)で極値を探してスパイクノイズの中心位置を求める。その後、スパイクノイズ中心から距離11/2の点、21/2の点、41/2の点、51/2の点・・・とスパイクノイズの幅の2倍を超えない距離で、スパイクノイズ中心の周囲の縦軸の平均値を計算してゆき、ステップS35,S35aと同様に収束の判定を行い、収束した際の平均値でデータを置換する。上記のような、平均値の計算と平均値による置換を、スパイクノイズ中心からスパイクノイズ幅以内の距離の点について反復する。さらに3次元以上の横軸に対して1価の縦軸を持つ4次元以上のデータ波形ついても、原理的にはこの方法を拡張することが可能である。

Claims (9)

  1. 物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが正値でΔyg,g+1が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、
    前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、
    (1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最大値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、
    (2)前記最大値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、
    (3)前記差が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差が、当該所定閾値以上であるとき、最大値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、
    を有するスパイクノイズ除去方法。
  2. 物理的測定により得られた各点の上のデータyi(iは0以上の整数)について、データ波形(i,yi)の1次差分値又は1次微分値Δyg,g+1=yg+1−ygが負値で|Δyg,g+1|が、所定の正の第1閾値(Y1)以上の値となるとき、データ点(g,yg)をスパイクノイズ範囲の始点と判断するステップ(S24)と、
    前記始点から所定の第1間隔X1の範囲内で、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが正値でΔyh,h+1が、前記閾値(Y1)以上の値となるとき、データ点(h+1,yh+1)をスパイクノイズ範囲の終点と判断するステップ(S25)と、
    (1)前記始点から前記終点までのスパイクノイズ範囲における前記データ値の最小値(ym)を挟むデータ値ym−a,ym+b(ただしa,bは1≦a,b≦X2を満たす特定の値、X2は所定第2間隔)の平均値(ym−a+ym+b)/2を計算するステップと、
    (2)前記最小値(ym)と前記平均値(ym−a+ym+b)/2との差を計算するステップと、
    (3)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、最小値(ym)を平均値(ym−a+ym+b)/2で置換するステップと、
    を有するスパイクノイズ除去方法。
  3. ステップ(3)で前記差の絶対値が、当該所定閾値以上であるとき、前記ステップ(1)(2)(3)の後に、
    (4)データ値ym−c,ym+d(ただしc,dは1≦a<c≦X2,1≦b<d≦X2を満たす特定の値、X2は所定の第2間隔)の平均値(ym−c+ym+d)/2を計算するステップと、
    (5)前記平均値(ym−a+ym+b)/2と前記平均値(ym−c+ym+d)/2との差を計算するステップと、
    (6)前記差の絶対値が、所定の第2閾値(Y2)以下であるとき、処理を終了し、前記差の絶対値が、当該所定閾値以上であるとき、前記平均値(ym−a+ym+b)/2を前記平均値(ym−c+ym+d)/2で置換するステップと、
    (7)値aを値cで置換し、値bを値dで置換するステップと、
    (8)a<c≦X2,b<d≦X2の範囲の各c,各dに対して、前記(4)(5)(6)(7)を行うステップ(S33)と、
    をさらに有する請求の範囲第1項又は第2項に記載のスパイクノイズ除去方法。
  4. 前記ステップ(1)(2)(3)(4)(5)(6)(7)(8)の後に、
    (9)前記スパイクノイズ点(m,ym)から所定第3間隔X1−1の範囲内に位置する各データ点に対して、前記スパイクノイズ点(m,ym)に対する、前記(1)(2)(3)(4)(5)(6)(7)(8)の処理と同様の処理を行い、当該スパイクノイズ範囲内のスパイクノイズが除去されたと判断するステップ(S32)と、
    をさらに有する請求の範囲第3項に記載のスパイクノイズ除去方法。
  5. X2≧X1−1である請求の範囲第1項乃至第4項のいずれか1項に記載のスパイクノイズ除去方法。
  6. 各測定点の位置は、受光素子のチャンネル位置である請求の範囲第1項乃至第5項のいずれか1項に記載のスパイクノイズ除去方法。
  7. 前記スパイクノイズ範囲の終点を判断するステップが、前記始点から所定の第1間隔X1の範囲内において、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが負値で|Δyh,h+1|が、前記閾値(Y1)以上にならないとき、当該範囲内に、スパイクノイズは存在しないとみなすステップ(S25a)を有する請求の範囲第1項に記載のスパイクノイズ除去方法。
  8. 前記スパイクノイズ範囲の終点を判断するステップが、前記始点から所定の第1間隔X1の範囲内において、1次差分値又は1次微分値Δyh,h+1=yh+1−yhが正値でΔyh,h+1が、前記閾値(Y1)以上にならないとき、当該範囲内に、スパイクノイズは存在しないとみなすステップ(S25a)を有する請求の範囲第2項に記載のスパイクノイズ除去方法。
  9. 請求の範囲第1項乃至第8項のいずれか1項に記載の計算方法をコンピュータに実行させるコンピュータプログラム。
JP2005515089A 2003-10-31 2004-07-23 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム Expired - Fee Related JP4566913B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003372677 2003-10-31
JP2003372677 2003-10-31
PCT/JP2004/010881 WO2005043085A1 (ja) 2003-10-31 2004-07-23 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JPWO2005043085A1 JPWO2005043085A1 (ja) 2007-05-10
JP4566913B2 true JP4566913B2 (ja) 2010-10-20

Family

ID=34544044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005515089A Expired - Fee Related JP4566913B2 (ja) 2003-10-31 2004-07-23 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP4566913B2 (ja)
WO (1) WO2005043085A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301427A1 (en) * 2010-06-04 2011-12-08 Yongji Fu Acoustic physiological monitoring device and large noise handling method for use thereon
JP6885995B2 (ja) * 2019-09-13 2021-06-16 株式会社構造計画研究所 情報処理システム、情報処理方法及びプログラム
CN111259311B (zh) * 2020-01-14 2023-03-24 西安应用光学研究所 尖峰噪声处理方法
CN111274904B (zh) * 2020-01-14 2023-03-24 西安应用光学研究所 针对尖峰噪声的信号处理系统
CN111289489B (zh) * 2020-03-05 2023-06-02 长春长光辰英生物科学仪器有限公司 一种基于拉曼光谱的微生物单细胞生长检测方法
CN113376698B (zh) * 2021-06-23 2022-09-27 吉林大学 一种低漏检的地震数据尖峰噪声检测及压制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06137889A (ja) * 1992-10-22 1994-05-20 Yamatake Honeywell Co Ltd スパイクノイズフィルタ
JPH07103788A (ja) * 1993-09-30 1995-04-18 Nippon Seiko Kk 信号弁別装置
JPH08101042A (ja) * 1994-09-29 1996-04-16 Horiba Ltd 分析計出力の処理方法
JP2629511B2 (ja) * 1991-12-20 1997-07-09 住友金属工業株式会社 信号中のノイズ除去方法
JP2004020427A (ja) * 2002-06-18 2004-01-22 Saginomiya Seisakusho Inc ノイズ除去方法及びノイズ除去フィルタ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2629511B2 (ja) * 1991-12-20 1997-07-09 住友金属工業株式会社 信号中のノイズ除去方法
JPH06137889A (ja) * 1992-10-22 1994-05-20 Yamatake Honeywell Co Ltd スパイクノイズフィルタ
JPH07103788A (ja) * 1993-09-30 1995-04-18 Nippon Seiko Kk 信号弁別装置
JPH08101042A (ja) * 1994-09-29 1996-04-16 Horiba Ltd 分析計出力の処理方法
JP2004020427A (ja) * 2002-06-18 2004-01-22 Saginomiya Seisakusho Inc ノイズ除去方法及びノイズ除去フィルタ

Also Published As

Publication number Publication date
JPWO2005043085A1 (ja) 2007-05-10
WO2005043085A1 (ja) 2005-05-12

Similar Documents

Publication Publication Date Title
US9159119B2 (en) Method and system for super-resolution signal reconstruction
US7379192B2 (en) Optical metrology of single features
US9784621B2 (en) Spectroscopic apparatus and methods
US11143555B2 (en) Methods and devices for reducing spectral noise and spectrometry systems employing such devices
US9163988B2 (en) Detection systems and methods using coherent anti-stokes Raman spectroscopy
US8712184B1 (en) Method and system for filtering noises in an image scanned by charged particles
WO2014064447A1 (en) Spectroscopic apparatus and methods
KR102120524B1 (ko) 웨이퍼들 상의 결함들에 대한 정보의 결정
JP6023177B2 (ja) 多項式フィッティングによるスペクトルデータのバックグラウンド放射線推定
JP4566913B2 (ja) 平均化反復法を用いたスパイクノイズ除去方法及びコンピュータプログラム
KR102514136B1 (ko) 반도체 웨이퍼의 리피터 결함 포착
JP2007170941A (ja) 歪み測定装置、方法、プログラムおよび記録媒体
JP2019502097A (ja) 標的空間スペクトル検出を使用するタグ読み取り
CN113837032B (zh) 一种nv色心光探测磁共振曲线的极度欠采样重构方法
JP2007529721A (ja) スペクトルデータ拡張方法
JP2016080668A (ja) 表面処理状況モニタリング装置及び表面処理状況モニタリング方法
CN116754654B (zh) 一种基于图像分析模型的声音屏障检测方法及装置
US5942763A (en) Apparatus and method for identifying an identification mark of a wafer
JP6560909B2 (ja) プラズマ処理方法およびプラズマ処理装置
CN108051425B (zh) 一种拉曼光谱信噪比评估方法
EP2520914A1 (en) Estimation of background radiation in spectral data by polynomial fitting
US7379186B2 (en) Chirp indicator of ultrashort optical pulse
US7973937B1 (en) Near field suppression with a multi-aperture imaging system
JP2007187459A (ja) エッジ検出方法およびエッジ検出装置
WO2020203592A1 (ja) 光検出装置、光検出方法、光検出装置の設計方法、試料分類方法、及び、不良検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees