JP2746255B2 - 生体内等価電流双極子推定装置 - Google Patents
生体内等価電流双極子推定装置Info
- Publication number
- JP2746255B2 JP2746255B2 JP8112641A JP11264196A JP2746255B2 JP 2746255 B2 JP2746255 B2 JP 2746255B2 JP 8112641 A JP8112641 A JP 8112641A JP 11264196 A JP11264196 A JP 11264196A JP 2746255 B2 JP2746255 B2 JP 2746255B2
- Authority
- JP
- Japan
- Prior art keywords
- dipole
- potential distribution
- value
- unit
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001727 in vivo Methods 0.000 title claims description 26
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000008878 coupling Effects 0.000 claims description 37
- 238000010168 coupling process Methods 0.000 claims description 37
- 238000005859 coupling reaction Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 22
- 238000004070 electrodeposition Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 32
- 239000013598 vector Substances 0.000 description 29
- 230000014509 gene expression Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 16
- 210000004556 brain Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 210000004761 scalp Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008035 nerve activity Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- OCJBOOLMMGQPQU-UHFFFAOYSA-N 1,4-dichlorobenzene Chemical compound ClC1=CC=C(Cl)C=C1 OCJBOOLMMGQPQU-UHFFFAOYSA-N 0.000 description 1
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 241000661823 Canopus Species 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
れた電位分布の値から、その源泉を高速・高精度に推定
する生体内等価電流双極子推定装置に関する。特に、複
数でそれらの活動が時間的に重なる等価電流双極子とし
て、その源泉を高速・高精度に推定する生体内等価電流
双極子推定装置に関する。
10のフローチャートに示すような方法(例えば、特開
平3−99630号公報等)で行われて来た。以下、こ
の推定方法について説明する。まずステップST4にお
いて、頭部(頭皮、頭蓋骨、脳等)の導電率や頭部形状
等の頭部モデルを表現するパラメータの値を入力する。
次いで、ステップST5において、電極位置の3次元座
標値を獲得する。次に、ステップST6において、脳内
神経活動に基づく電位測定が行われる。次いで、ステッ
プST7において、神経活動の電位の内から1時間サン
プルの電位を取り出し、データ解析用に指定する。
極子を頭蓋内の所定位置に置いた時の指定した電極位置
の伝達行列を計算し、電流双極子が発生する各電極位置
の電位を計算する。ここで、神経活動電位の発生源を電
流双極子とし、その電流双極子により頭皮上に発生する
電位Vcを以下の数1に示すものと仮定する。
の位置、A(r)は(電極数)行3列の伝達行列(双極
子の位置rの関数)であり、導電率や頭部形状等によっ
て決まるものとする。
テップST6で測定した神経活動の測定電位(Vmとす
る)を利用して、以下のように電流双極子を求める。す
なわち、以下の数2で示す、上述の測定電位Vmと数1
で求めた電位Vcとの2乗誤差Sを最小にするような電
流双極子の位置rとベクトル成分pを求める。
した時、数2を最小にするベクトルpは以下の数3で求
められる。そして、このベクトル成分pを使って、2乗
誤差Sを、電流双極子の位置rだけの関数として以下の
数4で示すことにより求める。
極数が6ならIは6次の単位行列となる。
を求め、2乗誤差がある基準値以下であるか否かを調べ
る。この2乗誤差が基準値以上である場合には、シンプ
レックス法によって電流双極子の位置を移動させてから
ステップST8に戻り、2乗誤差の値が収束するまで以
上の手順を繰り返す。
た生体内等価電流双極子推定装置では、計算開始時点で
の双極子パラメータの初期値設定法が曖昧であり、初期
値によっては双極子の位置を間違って推定してしまうこ
とがあった。また、上述の方法では最終的な双極子パラ
メータの値を得るまでに多数回の繰り返し計算を必要と
した。さらに、仮定される双極子が複数でしかも時間的
に重なる場合には、誤差関数の極小点の数が増えて誤っ
た推定結果を与える危険性が非常に高くなると共に、膨
大な推定時間を必要としていた。
るためになされたものであり、複数の双極子でそれらの
活動が時間的に重なる場合でも、高精度で高速な推定が
できるようにすることを目的としている。
流双極子推定装置は、まず、生体上の電位分布を測定す
る電位分布測定手段と、学習データおよび電位分布測定
手段から電位分布の測定値を受け取って学習データおよ
び電位分布の測定値を正規化するデータ正規化手段と、
データ正規化手段から正規化された学習データまたは電
位分布の測定値の正規化された値を受け取ってこれらを
記憶する入力バッファ手段と、入力バッファ手段から正
規化された学習データまたは電位分布の測定値の正規化
された値を受け取ってこれらを記憶するユニット出力記
憶手段と、入力層,出力層,および1層以上の中間層か
ら成るニューラル・ネットワーク・システムの、各層の
ユニット間の結合係数が記憶されている結合係数記憶手
段とを備えるようにした。加えて、入力バッファ手段か
ら受け取った正規化された学習データ,ユニット出力記
憶手段から受け取ったユニット出力値,結合係数記憶手
段から受け取った結合係数により結合係数を修正する結
合係数修正手段と、入力バッファ手段から受け取った正
規化された学習データまたは電位測定値の正規化された
値,ユニット出力記憶手段から受け取ったユニット出力
値,結合係数記憶手段から受け取った結合係数によりユ
ニット出力値を更新するユニット出力更新手段と、ユニ
ット出力記憶手段から正規化された等価電流双極子の位
置,方向,強さ,個数の値を受け取り、これらを元の値
に変換する双極子情報変換手段とを備えるようにした。
加えて、電位分布測定手段から電位分布の測定値を(測
定点の数)×(時間サンプル数)の行列として受け取
り、その行列の特異値分解の結果に基づいて双極子の個
数を設定する電位データ行列解析手段と、頭部の形状や
構造に関する情報を受け取って頭部の形状や構造を特徴
付けるパラメータを推定する頭部モデル推定手段と、生
体上にある測定点の3次元的な位置を推定する電極位置
推定手段とを備えるようにした。加えて、双極子情報変
換手段から受け取った双極子の位置,方向,強さ,個数
の値、電位データ行列解析手段から受け取った双極子の
個数、頭部モデル推定手段から受け取った頭部の形状や
構造を特徴付けるパラメータ、電極位置推定手段から受
け取った電極の3次元的位置を記憶する双極子情報記憶
手段と、双極子の位置と方向が固定でその強さが時間的
に変化するスタグナント型双極子モデルを等価電流双極
子モデルとして設定するスタグナント型双極子モデル設
定手段と、スタグナント型双極子モデル設定手段で設定
された双極子モデルに基づいて、双極子の位置,方向,
個数,頭部の形状や構造を特徴付けるパラメータおよび
電極の3次元的位置により、電位分布の値を計算する電
位分布計算手段を備えるようにした。そして、記双極子
の位置,方向,強さ,個数の内のいずれか1つまたは2
つ以上を組み合わせて表示する双極子情報表示手段と、
双極子の位置,方向,強さ,個数、電位分布計算手段が
計算した電位分布の計算値、電位分布測定手段が測定し
た電位分布の測定値により、電位分布の計算値と測定値
の差異が小さくなるように双極子の位置,方向,強さを
修正する双極子情報修正手段とを備えるようにした。す
なわち、本発明の基本原理は、まず、等価電流双極子モ
デルとして、双極子の位置と方向が固定でその強さだけ
が時間的に変化するスタグナント型の双極子モデルを採
用したことにある。加えて、その双極子モデル・パラメ
ータの初期値設定に、ニューラルネットワークの学習機
能,測定された電位データ行列の特異値分解,情報量基
準を利用することにある。これらの要素技術の統合によ
り、高速・高精度の等価電流双極子推定が可能になる。
参照して説明する。 実施の形態1.図1は、この発明の第1の実施の形態に
おける生体内等価電流双極子推定装置の構成を示す構成
図である。図1に示されるように、電位分布測定部10
1は、生体上の電位分布を測定する。これは、電極キャ
ップ120を用いてなされる。データ正規化部102
は、学習データおよび電位分布測定部101から電位分
布の測定値を受け取り、学習データ,電位分布の測定値
を正規化する。なお、学習データは、後述する電位分布
計算部113からの電位分布の計算値に基づいて生成さ
れる。
102から正規化された学習データまたは電位分布の測
定値の正規化された値を受け取りこれらを記憶する。ユ
ニット出力記憶部104は、入力バッファ部103から
正規化された学習データまたは電位分布の測定値の正規
化された値を受け取りこれらを記憶する。結合係数記憶
部105は、ニューラル・ネットワーク・システムにお
ける各層のユニット間の結合係数を記憶する。ニューラ
ル・ネットワーク・システムは、入力層,出力層,およ
び,1層以上の中間層から構成される。
ファ部103から正規化された学習データを受け取る。
また、ユニット出力記憶部104からユニット出力値を
受け取る。そして、結合係数記憶部105から結合係数
を受け取り、これらのことにより結合係数を修正する。
ユニット出力更新部107は、まず、入力バッファ部1
03から正規化された学習データまたは電位測定値の正
規化された値を受け取る。また、ユニット出力記憶部1
04からユニット出力値を受け取る。そして、結合係数
記憶部105から結合係数を受け取り、これらのことに
よりユニット出力値を更新する。双極子情報変換部10
8は、ユニット出力記憶部104から正規化された等価
電流双極子の位置,方向,強さ,個数の値を受け取り、
これらを元の値に変換する。
構造に関する情報を受け取り、頭部の形状や構造を特徴
付けるパラメータを推定する。電極位置推定部110
は、生体上にある電極(測定点)の3次元的な位置を推
定する。双極子情報記憶部111は、まず、双極子情報
変換部108から双極子の位置,方向,強さ,個数の値
を受け取る。また、頭部モデル推定部109から頭部の
形状や構造を特徴付けるパラメータを受け取る。そし
て、電極位置推定部110から電極の3次元的位置を受
け取り、これらを記憶する。
は、まず、等価電流双極子モデルとして、双極子の位置
と方向が固定でその強さが時間的に変化するスタグナン
ト型双極子モデルを仮定する。そして、電極i、時間サ
ンプルjにおける電位分布の計算値rijを以下の数5に
示すように設定する。
は双極子パラメータベクトルplを有する双極子lによ
って惹き起こされた電極iにおける電位分布の計算値、
sljは双極子lのj番目の時間サンプルにおける電位振
幅値とする。また、「〜」を上に付けてあるものは、計
算値や推定値を示すものである。
報記憶部111から双極子の位置,方向,個数,頭部の
形状や構造を特徴付けるパラメータ、および、電極の3
次元的位置を受け取る。そして、電位分布計算部113
は、スタグナント型双極子モデル設定部112で設定さ
れた双極子モデルに基づいて電位分布の値を計算する。
双極子情報表示部114は、まず、双極子情報記憶部1
11から双極子の位置,方向,強さ,個数を受け取る。
そして、双極子情報表示部114は、双極子の位置,方
向,強さ,個数の内のいずれか1つまたは2つ以上を組
み合わせて表示する。
情報記憶部111から双極子の位置,方向,強さ,個数
を受け取る。また、電位分布計算部113から電位分布
の計算値を受け取る。そして、電位分布測定部101か
ら電位分布の測定値を受け取り、それらにより電位分布
の計算値と測定値の差異が小さくなるように双極子の位
置,方向,強さを修正する。
価電流双極子推定装置の動作について説明する。なお、
本発明の実施の形態すべてを通じて、「Visual
P300」と呼ばれる事象関連電位の脳内等価電流双極
子推定を例に取る。「Visual P300」とは、
「visual oddball paradigm」
と呼ばれる実験課題によって得られる事象関連電位であ
り、刺激提示から300msec後に現れる正の成分を
指す。
疾患や機能異常検査としての有用性については、例え
ば、臨床医,Vol.21,No.4,1995,45
2〜457頁に黒岩氏、王氏、須藤氏が「痴呆性疾患の
生理学」と題して発表した解説論文に記載されている。
図5に「visual oddball paradi
gm」に用いられる3種類の視覚刺激およびそれらの提
示条件の例を示す。図5(a)〜(c)はその3種類の
視覚刺激のための図形を示している。また、図5(d)
はそれらの提示条件の1例をタイムチャートで示してい
る。
adigm」とは、一般に、3種類の感覚刺激をランダ
ムに提示するものである。但し、「rare targ
et」と呼ばれる刺激,および「rare non−t
arget」と呼ばれる刺激は低頻度(例えば、20
%)で提示される。また、「frequent non
−target」と呼ばれる刺激は高頻度(例えば、6
0%)で提示される。
ては、「mental count」,ボタン押し,後
で提示回数を報告させる・・等により注意を向けさせる
ような実験課題を言う。例えば、被験者に、図5に示し
た「rare target」と呼ばれる刺激を認知し
た時のみ、できる限り速くかつ正確に右手でボタンを押
すように指示すれば、加算回数がわずか10数回程度で
「Visual P300」を得ることができる。
01は、「visual oddball parad
igm」において、視覚刺激が提示されてから1秒間、
エレクトロキャップの各電極を介して計測された脳電位
を増幅およびA/D変換する。そして、このデジタルデ
ータは、例えば、テキスト形式あるいはバイナリ形式で
記録・保持する。この電位分布測定部101としては、
例えば、ECI社製のエレクトロキャップ、日本電気三
栄(株)製の生体信号用アンプ6R12、カノープス電
子(株)製A/DコンバータボードADX−98E、日
本電気(株)製のパーソナルコンピュータPC−982
1Xtにより構成することができる。また、デジタルデ
ータは、そのパーソナルコンピュータの磁気ディスク装
置に記録・保持することができる。
れた脳電位データから「raretarget」が提示
された時のデータのみを抽出し、加算平均処理を施す。
この処理は、上述したパーソナルコンピュータ上で容易
に実行できる。以後、加算平均前の生データを101
0、加算平均後のデータを1011と表記する。次に、
データ正規化部102は、学習データおよび電位分布測
定部101から電位分布の測定値1011を受け取り、
学習データおよび電位分布の測定値を正規化する。な
お、このデータ正規化部102も、例えば、日本電気
(株)製のパーソナルコンピュータPC−9821Xt
により構成することができる。
なわち、i番目の電極位置における電位分布データの計
算値Vi(1時間サンプル)に対して、正規化された電
位分布データVi´を以下の数6で与える。
でその絶対値が最大の電位分布の値を表す。また、aは
正規化定数であり、例えば、0.8等の値が適切である
が、その他の正数を使っても差し支えない。正規化を定
義する式は上式に限らず、値が1以下になるようなもの
であれば良い。
3からの電位分布の計算値に基づいて、以下のように生
成される。なお、電位分布計算部113としては、例え
ば、日本電気(株)製のパーソナルコンピュータPC−
9821Xtで構成できる。まず初めに、学習データの
入力信号である電位分布データの計算に必要な双極子モ
デルのパラメータ(の値)を双極子情報記録部111で
生成する。なお、こおの双極子情報記録部111も、例
えば、日本電気(株)製のパーソナルコンピュータPC
−9821Xtで構成できる。
Nt組の異なる双極子モデルのパラメータを生成する。
双極子モデルのパラメータは、双極子の位置の3成分
(x,y,z)およびモーメントベクトル(Mx,My,
Mz)を1組とする。ここで、Ntは学習データの数であ
り、通常、5000〜10000個用意する。なお、乱
数を用いて双極子モデルのパラメータを生成する場合に
は、例えば、以下の数7および数8に示すような制約条
件を設ける。
場合の脳の半径、μはモーメントベクトルの最大値であ
り、頭皮上で計測される電位分布の値と双極子モデルの
パラメータから計算される電位分布の値が、ほぼ同じ大
きさとなるように定められる。
た双極子モデルのパラメータは、電位分布計算部113
へ送られ、以下に述べる電位分布の計算に用いられる。
電位分布計算部113では、図6に示すような同心球の
表面r=r1に生じる電位を以下のように計算する。図
6は、頭部モデルを示すものである。図6に示されるよ
うに、頭部のモデルとしては、まず、例えばN層の多層
導体同心球とする。また、それら各層の内部(rj+1<
r<rj,j=1,・・・,N)における「radia
l」方向の導電率ε’(r)と、「tangentia
l」方向の導電率η(r)は一定とする。そして、各境
界r=r1,・・・,rNにおいては、不連続に変化するこ
ととしている。すなわち、ここでは、関数ε’(r)と
η(r)は区分的に一定であるものを仮定している。
z0 2)1/2)に位置し、モーメントベクトルの「rad
ial」成分がMr、モーメントベクトルの「tang
ential」成分がMθで与えられる双極子によっ
て、頭皮表面(r,θ,φ’)に生じる電位は、以下の
数9で与えられる。
常微分方程式を満たす独立解である。
て、以下の数13で与えられる。
数15で示す境界条件の下で、以下の数16で示す漸化
式によって求められる。
ている。
φ’(α=0)あるいはsinmφ’(α=1)の積の
形となっている。
置は、以下に述べるように、電極位置推定部110で算
出される。これは、電位分布計算部113における電位
分布の計算に必要なものである。
の頭皮表面に装着された電極の3次元的な位置を推定す
る。位置推定には、例えば、以下に示す方法がある。 電極間の直線距離を計測し、三角測量の原理に基づい
て電極位置を推定する方法。 磁気センサーを利用した3次元デジタイザーを使っ
て、直接に電極位置を推定する方法。 の方法の場合、電極位置推定部110は、直線距離計
測のためのノギスと日本電気(株)製のパーソナルコン
ピュータPC−9821Xtによって実現可能である。
また、の方法の場合は、POLHEMUS社製の3次
元デジタイザー3SPACE ISOTRAK II、
および、日本電気(株)製のパーソナルコンピュータP
C−9821Xtによって実現可能である。
分布の計算に必要な頭部モデルを表すパラメータの値
は、頭部モデル推定部109で得られる。以下では、頭
部モデルを4層導体同心球で近似する場合を述べる。頭
部モデル推定部109は、電極位置推定部110で生成
された電極位置データと頭部の構造情報に基づいて頭部
モデルを推定する。例えば、頭部モデルを多層導体同心
球で近似する場合には、電極位置データを外挿する球が
頭部表面を表す球に対応する。この外挿球を求めるため
には、以下の数18で示す、評価関数を最小にする球の
中心ベクトルx0と球の半径Rを探し出せば良い。
ルとする。なお、Hheadの最小化には、例えば、「Si
mplex」法を利用することができる。
距離Rは、ヒトによって異なる。しかし、このRを1と
した時の頭蓋骨外側までの距離比,髄液までの距離比,
大脳皮質までの距離比は、ヒトによって変動が少ないこ
とが経験的に知られている。例えば、これらの比の値
を、それぞれ1.00(頭皮),0.94(頭蓋骨),
0.88(髄液),0.85(大脳皮質)と置くことが
できる。これらの値については、「C.J.Stok」
氏が「The inverse problem inEEG and MEG withapplic
ation to visual evoked presponses」と題して発表し
た学位論文(phD.-Thesis,Technical University of Tw
ente,TheNetherlands,1986)に詳しい。こうして、以下
の数19を得る。
は、例えば、「Anesthesiaand Anal
gesia,Vol.47,1968,717〜723
頁」に、「S.Rush」氏と「D.A.Drisco
ll」氏が「Currentdistribution
in the brain fromsurface
electrodes」と題して発表した論文に記載
されており、以下の数20および数21で示すように与
えることができる。
標系(r,θ,φ’)の間に以下の数22で示す関係を仮
定する。
ルのパラメータと双極子モデルのパラメータP(i)とを
用いて、以下の数24で示される頭皮表面上のNM個の
点で計算される電位分布の値の組が、学習データとして
求められる。
たデータ1021は、入力バッファ部103に送られ、
保持される。入力バッファ部103は、例えば、磁気デ
ィスク装置、半導体メモリ記憶装置、光磁気ディスク装
置等によって実現できる。
べきニューラルネットワークの結合係数を、乱数等を用
いて初期化する。結合係数記憶部105は、例えば、日
本電気(株)製のパーソナル・ニューロボード「Neu
ro−07」、磁気ディスク装置、半導体メモリ記憶装
置、光磁気ディスク装置等によって実現可能である。次
に、ユニット出力記憶部104に構築されているニュー
ラルネットワークの入力層に対して、入力バッファ部1
03に保持されていた学習データ1021を入力する。
ューラルネットワークを用いて双極子モデルのパラメー
タを出力する。このニューラルネットワークは、図7に
示すように、一般に、入力層,出力層,および,1層以
上の中間層と呼ばれる3種類の層から構成されている。
各層には、ユニットと呼ばれる処理単位系(図7中の白
丸印)が配置されている。各ユニットは、入力層に近い
側の隣接層ユニットから入力を受け取り、出力層に近い
側の層へ出力する。各ユニットの入出力関係は、例え
ば、以下の数25,26,27に示すように定義するこ
とができる。
ットからの出力値、Θはユニットが持つ閾値を表す。上
付き添字は入力層から数えた階層の数を表し、下付き添
字は層中のユニットの番号を表す。また、Wij (l)は第
(l−1)層のj番目のユニットと第l層のi番目のユ
ニットの間の結合係数、g(x)は入出力の応答関数で
ある。
まで順序良く計算して行けば、最終的に、出力層からの
出力値が得られる。この出力値が、ユニット出力記憶部
104に構築されたニューラルネットワークによって算
出される双極子モデルのパラメータである。応答関数g
(x)としては、数27以外にも、例えば、「tanh
(x)」を用いても良いし、これら以外の関数を用いて
も良い。
学習データ1021の値の差を計算する。双極子モデル
のパラメータの値は、ユニット出力記憶部104に構築
されたニューラルネットワークによって算出されたもの
である。以下では、この差を誤差Eと呼ぶ。この誤差E
は、例えば、以下の数28で与えることができる。
からの出力値、τiはそのユニットの正しい出力値であ
る。誤差Eは上式のように2乗誤差である必要はなく、
すべてのoi,τiが一致した時に0となるような非負値
関数であれば良い。以下では、ニューラルネットワーク
の正しい出力値を教師信号と呼ぶ。次に、誤差Eが予め
設定された基準値以下であるかどうかを調べる。ここ
で、基準値以下ならば、入力バッファ部103に保持さ
れている正規化された電位分布の測定値を、ユニット出
力記憶部104に構築されたニューラルネットワークの
入力層に入力する。
ーラルネットワークは双極子モデルのパラメータを算出
する。そして、このパラメータは、双極子情報変換部1
08に送られる。そして、変換後の値が、双極子情報記
憶部111に保持される。もし、誤差Eが基準値以上な
らば、結合係数修正部106において、誤差Eを小さく
するように結合係数が修正される。結合係数の修正方法
としては、例えば、誤差逆伝播学習法を用いる。
は、例えば、文献(D.E.Rumelhart,J.L. McClelland an
d the PDP Research Groupの著書「ParallelDistribute
d Processing」Vol.1,MIT Press,pp.318-362,1986)に
詳しく記載されている。この修正により誤差Eが基準値
以下になった時点で、上記のように、入力バッファ部1
03−ユニット出力記憶部104−双極子情報変換部1
08を介して、双極子情報記憶部111に双極子モデル
のパラメータ値が記憶される。このパラメータは、電位
分布の測定値を使って算出されたものである。
構築されたニューラルネットワークの学習を完了してお
き、適切な結合係数を固定磁気ディスク等の記憶装置に
保持しておくようにしてもよい。このようにしておけ
ば、ニューラルネットワークで双極子モデルのパラメー
タを、電位分布の測定値から推定することを省略するこ
とも可能である。従って、ひとたび学習が終了すれば、
ニューラルネットワークの出力値を算出するための計算
のみで双極子モデルのパラメータ推定を行うことが可能
となり、高速な双極子モデルのパラメータ推定の実現が
可能となる。
112は、双極子の位置と方向が固定でその強さが時間
的に変化するスタグナント型の双極子モデルを設定す
る。スタグナント型双極子モデル設定部112として
は、例えば、日本電気(株)製のエンジニアリングワー
クステーションEWS4800/210で構成できる。
スタグナント型双極子モデルとしては、例えば、電極
i,時間サンプルjにおける電位分布の計算値rijを以
下の数29とするような双極子モデルを利用することが
できる。
メータベクトルplを有する双極子lによって惹き起こ
された電極iにおける電位分布の計算値であり、例え
ば、以下の数30で示すようにすることができる。
による順問題の解に照らし合わせると、数9を以下の数
31で示すように変形し、μl,1=Mrとし、μl,2およ
びμl ,3についてはMθをθ成分とφ’成分に分解する
ことにより、スタグナント型の双極子モデルとして取り
込むことが可能となる。
れた双極子の位置,方向,強さ,個数を修正する。双極
子情報修正部115としては、例えば、日本電気(株)
製のエンジニアリングワークステーションEWS480
0/210で構成できる。その修正の方法は、電位分布
計算部113から出力された電位分布の計算値rijと、
電位分布測定部101から出力された電位分布の測定値
rijの差異が最小となるように、双極子の位置,方向,
強さ,個数を修正する。例えば、以下に示す数32が最
小となるように、双極子の位置,方向,強さ,個数を修
正する。
ベクトルpl(μl,λ,ベクトルql)の内、ベクトルql
のみが非線形で、残りがすべて線形パラメータであるこ
とから、以下に示す3つのステップに帰着される。
し、時間関数(slj)のみが可変であるとして、誤差関
数Hを最小化する。この時、以下の数33で示されるこ
とが成り立つから、以下の数34が得られる。
のみが可変であるとして誤差関数Hを最小化する。この
時、Hのベクトルμに関する偏微分を0と置くことによ
り、以下の数35が得られる。
字νは、便宜上、ν=3(l−1)+λと置く。
る。この問題は、「Marquardt」法を使って解
くことができる。すなわち、双極子の位置を1つのベク
トルq=(ベクトルq1 T,ベクトルq2 T,・・・・,ベ
クトルqL T)で表せば、そのガウス行列は以下の数37
で示すとおりとなる。
以下の数39で与えられる。
する。
の添字はベクトルqに関する偏微分によって形成され、
行列のトレースは添字iに関して取られる。以上のこと
により、双極子パラメータの修正アルゴリズムは、上記
3つのステップの組み合わせによって構成される。
誤差関数Hが有意に減少しなくなるまで、ステップ1と
ステップ2を繰り返し実行する。 2.次に、双極子の方向μと時間関数sを正規化する。
すなわち、μl,1 2 + μl,2 2 + μl,3 2=1(l=1,・
・・,L)を満たすようにパラメータを修正する。 3.最後に、ステップ3を実行する。アルゴリズム全体
は、線形パラメータを更新し、非線形パラメータに関す
るステップを実行することによって先に進むことにな
る。こうして、以下の数41で示すこととなったら、ア
ルゴリズムを停止させる。
正部114で最後の修正後に得られた双極子情報(各双
極子lについて、その位置ベクトルql、方向ベクトル
μ、強さslj)を保持する。そして、必要とあれば、双
極子情報表示部114へ出力する。なお、この双極子情
報表示部114は、例えば、日本電気(株)製のパーソ
ナルコンピュータPC−9821Xtで構成できる。そ
して、双極子情報表示部114は、双極子情報記憶部1
11から双極子情報を受け取り、その値に基づいて推定
結果を表示する。
get」に対する事象関連電位(VisualP30
0)のデータに、双極子の数を3と仮定して、脳内等価
電流双極子推定を適用し、推定された双極子の位置を頭
部モデルに投影して表示した結果を示している。データ
は、「stimulus onset」から218〜3
16msec、サンプリング周波数1kHz、電極数3
0等である。また、頭部モデルは、上面,前面,後面,
左側面,右側面の状態である。
実施の形態における生体内等価電流双極子推定装置の構
成を示す構成図である。なお、実施の形態1と重複する
部分については説明を省略する。図2に示されるよう
に、電位データ行列解析部216は、電位分布測定部1
01から電位分布の測定値を(測定点の数)×(時間サ
ンプル数)の行列として受け取る。そして、電位データ
行列解析部216は、その行列の特異値分解の結果に基
づいて双極子の個数を設定する。なお、この電位データ
行列解析部216は、例えば、日本電気(株)製のエン
ジニアリングワークステーションEWS4800/21
0により構成することができる。
や学習データの生成には、予め、双極子の個数をいくつ
かに設定しておかなければならなかった。これに対し
て、この実施の形態2では、電位データ行列解析部21
6が存在するので、電位分布の測定値から双極子数の初
期値を与えることが可能となる。電位データ行列解析部
216は、具体的には、以下の演算を実施する。まず初
めに、電位分布測定部101から電位分布の測定値を、
(電極数I)×(時間サンプル数J)の行列として受け
取る。次に、このデータ行列に特異値分解を施す。特異
値分解とは、電極数と時間サンプル数が一致する場合の
正方行列の固有値分解に相当する。一般に、電極数と時
間サンプル数が一致することは極稀なのでこの演算を行
う。
ータ行列(30ch×50サンプル、「stimulu
s onset」から218〜316msec、サンプ
リング周波数500Hz)に特異値分解を適用した結果
を示す。この表から、脳波データの変動に寄与する成分
が2つあるいは3つありそうな事が伺われる。
値分解を各時刻で実施することにより、主要成分の時間
的な推移を見る事が可能となる。図9はその結果をグラ
フ化した例である。すなわち、「rare targe
t」に対する事象関連電位(VisualP300)
を、「stimulus onset」から600ms
ecまでについて、30(電極数)×50(時間サンプ
ル数)のデータ行列として特異値分解を適用し、この脳
波データの「power」に対する特異値成分(1s
t,2nd,3rd,4thの上位4つ)の寄与率を、
「middle time」の関数としてプロットした
ものが図9である。
ング間隔を500Hzとしたので、例えば、「midd
le time」が100msecの時の値は、区間5
0−150msecの脳波データに特異値分解を適用し
た結果に相当する。なお、表1の結果は「middle
time」が268msecの場合に相当することに
なる。こうして、図9に示されるように、「stimu
lus onset」から300msec付近の脳波デ
ータを解析するとすれば、双極子の数を3に設定するこ
とが妥当であることが分かる。
態3における生体内等価電流双極子推定装置について図
3を参照して説明する。なお、実施の形態2と重複する
部分は説明を省略する。図3は、この実施の形態3にお
ける生体内等価電流双極子推定装置を示す構成図であ
り、同図において、前述の説明(図2)と同じまたは同
等の部分には同一符号を付してある。
317は、電位分布測定部101から電位分布の測定値
を受け取る。そして、信号・雑音抽出部317は、測定
値の信号成分と雑音成分を抽出し、測定値に対する信号
成分の比率(有意パワー率)を計算する。なお、この信
号・雑音成分抽出部317は、例えば、日本電気(株)
製のエンジニアリングワークステーションEWS480
0/210で構成できる。
音成分抽出部317から有意パワー率の値を受け取る。
また、電位データ行列解析部316は、電位分布測定部
101から電位分布の測定値を(測定点の数)×(時間
サンプル数)の行列として受け取る。そして、電位デー
タ行列解析部316は、その行列に特異値分解を施し、
特異値の累積寄与率が初めて有意パワー率を超える時の
特異値の数を双極子の個数を設定する。
解析部216において、データ行列の特異値分解によ
り、電位分布の測定値から双極子の個数を初期化した。
しかし、特異値成分をいくつまで採用するかは、経験的
にはその累積寄与率を80%〜90%としており、明確
ではなかった。これに対して、この実施の形態3では、
信号・雑音成分抽出部317が存在するので、電位分布
の測定値から設定すべき累積寄与率を決めることが可能
となる。
は、以下の演算を行う。なお、「rare targe
t」に対する事象関連電位のデータ(stimulus
onsetから218〜316msec、サンプリング
周波数500Hz、電極数30、「rare targ
et」の提示回数20)を例に取る。ここで、「rar
e target」に対する加算前の脳波データを以下
の数42に示すとおりとする。
数43により求められる。
r* ijと雑音成分nij から構成されていると仮定して以
下の数44と置く。
157,1967,92〜94頁、H.Schimmel氏「The (±) referen
ce: accuracy ofestimated mean components in averag
e response studies」)に記載されている「±aver
ages」を利用することができる。すなわち、雑音成
分の推定値nijは、以下の数45で与えることができ
る。
下の数46により求められる。
ijの比率(有意パワー率)は、以下の数47により推定
可能である。
位分布測定部101から電位分布の測定値を(電極数)
×(時間サンプル数)の行列として受け取り、そのデー
タ行列に特異値分解を施す。さらに、特異値を大きい方
から累積して行き、その累積寄与率が初めて有意パワー
率を越えた時の特異値の数を双極子の個数とする。こう
して、電位分布の測定値から、双極子数の初期値を自動
的に設定することが可能となる。
4の実施の形態における生体内等価電流双極子推定装置
について説明する。図4は、この生体内等価電流双極子
推定装置の構成を示す構成図である。なお、実施の形態
1と重複する部分の説明は省略する。図4に示されるよ
うに、情報量基準値計算部418は、双極子の個数をあ
る値に固定した後に、電位分布測定部101から電位分
布の測定値と電極数を、電位分布計算部113から電位
分布の計算値を受け取る。ついで、情報量基準値計算部
418は、所定の情報量基準を双極子の個数が最大[I
/6](Iは電極数、[]はガウス記号、すなわ
ち、[]内の値を超えない最大の整数)まで求める。所
定の情報量基準としては、赤池の情報量基準(Akaike's
Information Criterion、以後、AICと略す)や、記
述長最小(Minimum Description Length、以後、MD
Lと略す)基準の値などがある。
報量基準の値が最小となる双極子の個数を初期値として
設定する。なお、この情報量基準値計算部418として
は、例えば、日本電気(株)製のエンジニアリングワー
クステーションEWS4800/210により構成する
ことができる。情報量基準値計算部418は、具体的に
は、以下の演算を実施する。L個の双極子を仮定して脳
内等価電流双極子推定を行った場合、対応するAICは
以下の数48で求めることができる。
求めることができる。
の測定値であり、以下の数50により求めることができ
る。
る。
ばならないので、以下のように、複雑な手順を必要とす
る。まず初めに、各双極子数L毎に、双極子情報を出力
するユニット出力記憶部104を準備する。すなわち、
双極子の個数が1の場合に双極子情報を出力するユニッ
ト出力記憶部104−1、・・・、双極子の個数が[I
/6]の場合に双極子情報を出力するユニット出力記憶
部104−[I/6]の通りである。各ユニット出力記
憶部104−Lは、スタグナント型双極子モデル設定部
112,電位分布計算部113,データ正規化部10
2,入力バッファ部103,結合係数修正部106,結
合係数記憶部105,および,ユニット出力更新部10
7の構成によって実現可能である。
測定値φi (m)をデータ正規化部102に入力し、入力バ
ッファ部103,結合係数修正部106,結合係数記憶
部105,ユニット出力更新部107を介して、ユニッ
ト出力記憶部104−Lが双極子情報を出力する。この
出力された双極子情報を使って,電位分布計算部113
はφi (c)を算出する。情報量基準値計算部418で得ら
れた双極子の個数は、双極子情報記憶部111に保持さ
れる。そして、これらは、スタグナント型双極子モデル
設定部112や電位分布計算部113における演算に利
用される。
ば、高速・高精度な複数等価電流双極子推定が可能にな
る。すなわち、この発明では、ニューラルネットワーク
の学習機能,測定された電位データ行列の特異値分解,
情報量基準を利用するようにしたので、双極子パラメー
タ(双極子の位置、方向、強さ、個数)の適切な初期値
設定が可能になったからである。さらに、この発明で
は、双極子モデルとして、双極子の位置と方向が固定で
その強さだけが時間的に変化するスタグナント型双極子
モデルを採用するようにしたので、複数の双極子でそれ
らの活動が時間的に重なる場合でも高精度推定が可能に
なる。これらの技術を統合することにより、この発明に
よれば、複数の双極子でそれらの活動が時間的に重なる
場合でも、高精度で高速な推定ができるという効果を有
する。
等価電流双極子推定装置の構成を示す構成図である。
推定装置の構成を示す構成図である。
推定装置の構成を示す構成図である。
推定装置の構成を示す構成図である。
digm」に用いられる3種類の視覚刺激およびそれら
の提示条件の例を示す説明図である。
である。
位置を頭部モデルに投影して表示した結果を示す表示図
である。
成分の寄与率を、「middle time」の関数と
して示した特性図である。
ローチャートである。
03…入力バッファ部、104…ユニット出力記憶部、
105…結合計数器億部、106…結合係数修正部、1
07…ユニット出力更新部、108…双極子情報変換
部、109…頭部モデル推定部、110…電極位置推定
部、111…双極子情報記憶部、112…スタグナント
型双極子モデル設定部、113…電位分布計算部、11
4…双極子情報表示部、115…双極子情報修正部、1
20…電極キャップ。
Claims (4)
- 【請求項1】 生体に装着された複数の電極を使って測
定された電位測定値から、電位測定値の源泉として生体
内に複数のスタグナント型等価電流双極子の存在を仮定
し、生体内の等価電流双極子を推定する生体内等価電流
双極子推定装置において、 生体上の電位分布を測定する電位分布測定手段と、 学習データおよび前記電位分布測定手段から電位分布の
測定値を受け取り、前記学習データおよび電位分布の測
定値を正規化するデータ正規化手段と、 前記データ正規化手段から正規化された学習データまた
は電位分布の測定値の正規化された値を受け取り、これ
らを記憶する入力バッファ手段と、 前記入力バッファ手段から正規化された学習データまた
は電位分布の測定値の正規化された値を受け取り、これ
らを記憶するユニット出力記憶手段と、 入力層,出力層,および1層以上の中間層から成るニュ
ーラル・ネットワーク・システムの各層のユニット間の
結合係数が記憶されている結合係数記憶手段と、 前記入力バッファ手段から受け取った正規化された学習
データ,前記ユニット出力記憶手段から受け取ったユニ
ット出力値,前記結合係数記憶手段から受け取った結合
係数により結合係数を修正する結合係数修正手段と、 前記入力バッファ手段から受け取った正規化された学習
データまたは電位測定値の正規化された値,前記ユニッ
ト出力記憶手段から受け取ったユニット出力値,前記結
合係数記憶手段から受け取った結合係数により前記ユニ
ット出力値を更新するユニット出力更新手段と、 前記ユニット出力記憶手段から正規化された等価電流双
極子の位置,方向,強さ,個数の値を受け取り、これら
を元の値に変換する双極子情報変換手段と、 前記電位分布測定手段から電位分布の測定値を(測定点
の数)×(時間サンプル数)の行列として受け取り、そ
の行列の特異値分解の結果に基づいて双極子の個数を設
定する電位データ行列解析手段と、 頭部の形状や構造に関する情報を受け取り、頭部の形状
や構造を特徴付けるパラメータを推定する頭部モデル推
定手段と、 生体上にある測定点の3次元的な位置を推定する電極位
置推定手段と、 前記双極子情報変換手段から受け取った双極子の位置,
方向,強さ,個数の値、前記電位データ行列解析手段か
ら受け取った双極子の個数、前記頭部モデル推定手段か
ら受け取った頭部の形状や構造を特徴付けるパラメー
タ、前記電極位置推定手段から受け取った電極の3次元
的位置を記憶する双極子情報記憶手段と、 双極子の位置と方向が固定でその強さが時間的に変化す
るスタグナント型双極子モデルを、等価電流双極子モデ
ルとして設定するスタグナント型双極子モデル設定手段
と、 前記スタグナント型双極子モデル設定手段で設定された
双極子モデルに基づいて、前記双極子の位置,方向,個
数,頭部の形状や構造を特徴付けるパラメータおよび電
極の3次元的位置により、電位分布の値を計算する電位
分布計算手段と、 前記双極子の位置,方向,強さ,個数の内のいずれか1
つ、または2つ以上を組み合わせて表示する双極子情報
表示手段と、 前記双極子の位置,方向,強さ,個数、前記電位分布計
算手段が計算した電位分布の計算値、前記電位分布測定
手段が測定した電位分布の測定値により、電位分布の計
算値と測定値の差異が小さくなるように前記双極子の位
置,方向,強さを修正する双極子情報修正手段とを有す
ることを特徴とする生体内等価電流双極子推定装置。 - 【請求項2】 請求項1記載の生体内等価電流双極子推
定装置において、 前記電位分布測定手段から電位分布の測定値を(測定点
の数)×(時間サンプル数)の行列として受け取り、そ
の行列の特異値分解の結果に基づいて双極子の個数を設
定する電位データ行列解析手段を有することを特徴とす
る生体内等価電流双極子推定装置。 - 【請求項3】 請求項2記載の生体内等価電流双極子推
定装置において、 前記電位分布測定手段から電位分布の測定値を受け取
り、測定値の信号成分と雑音成分を抽出し、測定値に対
する信号成分の比率である有意パワー率を計算する信号
・雑音抽出手段と、 前記信号・雑音成分抽出手段から有意パワー率の値を受
け取り、前記電位分布測定手段から電位分布の測定値を
(測定点の数)×(時間サンプル数)の行列として受け
取り、その行列に特異値分解を施し、特異値の累積寄与
率が初めて有意パワー率を超える時の特異値の数を双極
子の個数を設定する電位データ行列解析手段とを有する
ことを特徴とする生体内等価電流双極子推定装置。 - 【請求項4】 請求項1記載の生体内等価電流双極子推
定装置において、 双極子の個数を所定の値とした状態で、前記電位分布測
定手段から受け取った電位分布の測定値と電極数および
前記電位分布計算手段から受け取った電位分布の計算値
により、所定の情報量基準を双極子の個数として前記電
極数をIとしたときI/6を超えない最大の整数まで求
め、その情報量基準の値が最小となる双極子の個数を初
期値として設定する情報量基準値計算手段を有すること
を特徴とする生体内等価電流双極子推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8112641A JP2746255B2 (ja) | 1996-05-07 | 1996-05-07 | 生体内等価電流双極子推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8112641A JP2746255B2 (ja) | 1996-05-07 | 1996-05-07 | 生体内等価電流双極子推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09294732A JPH09294732A (ja) | 1997-11-18 |
JP2746255B2 true JP2746255B2 (ja) | 1998-05-06 |
Family
ID=14591823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8112641A Expired - Fee Related JP2746255B2 (ja) | 1996-05-07 | 1996-05-07 | 生体内等価電流双極子推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2746255B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11319A (ja) | 1997-06-13 | 1999-01-06 | Nec Corp | 生体内部活動部位推定装置 |
-
1996
- 1996-05-07 JP JP8112641A patent/JP2746255B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09294732A (ja) | 1997-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Learning spatial–spectral–temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment | |
Batista et al. | Benchmarking of the BITalino biomedical toolkit against an established gold standard | |
Lenhardt et al. | An adaptive P300-based online brain–computer interface | |
Álvarez-Meza et al. | Time-series discrimination using feature relevance analysis in motor imagery classification | |
Wu et al. | A hierarchical Bayesian approach for learning sparse spatio-temporal decompositions of multichannel EEG | |
AlHinai | Introduction to biomedical signal processing and artificial intelligence | |
CN109965869B (zh) | 基于脑源域空间的mi-eeg识别方法 | |
CN114052668B (zh) | 一种基于脑磁图数据的脑功能分析方法 | |
Karthikeyan et al. | EMG signal based human stress level classification using wavelet packet transform | |
Quazi et al. | Artifacts removal from EEG signal: FLM optimization-based learning algorithm for neural network-enhanced adaptive filtering | |
CN109199376B (zh) | 基于oa-wmne脑源成像的运动想象脑电信号的解码方法 | |
CN114533086A (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
Ruiz et al. | EEG montage analysis in the blind source separation framework | |
CN104367306A (zh) | 生理心理职业测评系统及实现方法 | |
Saa et al. | Hidden conditional random fields for classification of imaginary motor tasks from EEG data | |
Giri et al. | Brain source localization in head harmonics domain | |
CN104951797A (zh) | 一种基于ar系数空间的elm运动想象脑电分类方法 | |
Kotas et al. | Averaging of nonlinearly aligned signal cycles for noise suppression | |
CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
JP2746255B2 (ja) | 生体内等価電流双極子推定装置 | |
CN111543983A (zh) | 一种基于神经网络的脑电信号通道选择方法 | |
Kim et al. | Development of person-independent emotion recognition system based on multiple physiological signals | |
Chen et al. | Bispectrum-based sEMG multi-domain joint feature extraction for upper limb motion classification | |
JP2560651B2 (ja) | 生体内部状態推定装置 | |
Falcon-Caro et al. | A diffusion adaptation approach to model brain responses in an EEG-based hyperscanning study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080213 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090213 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100213 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100213 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110213 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110213 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120213 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120213 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130213 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130213 Year of fee payment: 15 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140213 Year of fee payment: 16 |
|
LAPS | Cancellation because of no payment of annual fees |