JP4026953B2 - 健康診断用のデータ提示方法 - Google Patents

健康診断用のデータ提示方法 Download PDF

Info

Publication number
JP4026953B2
JP4026953B2 JP26545598A JP26545598A JP4026953B2 JP 4026953 B2 JP4026953 B2 JP 4026953B2 JP 26545598 A JP26545598 A JP 26545598A JP 26545598 A JP26545598 A JP 26545598A JP 4026953 B2 JP4026953 B2 JP 4026953B2
Authority
JP
Japan
Prior art keywords
data
image
inspection
test
presentation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26545598A
Other languages
English (en)
Other versions
JP2000099180A (ja
Inventor
輝夫 晝馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP26545598A priority Critical patent/JP4026953B2/ja
Publication of JP2000099180A publication Critical patent/JP2000099180A/ja
Application granted granted Critical
Publication of JP4026953B2 publication Critical patent/JP4026953B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被験者についての複数の検査データからなる検査データ群を基にして、被験者の健康状態を診断する健康診断方法に関する。
【0002】
【従来の技術】
健康診断においては、尿検査、血液検査などの生化学的検査をはじめとする定量的な検査が行われ、これらの検査結果を基にして診断が行われている。しかし、各検査結果と疾患は1対1に対応するものではなく、疾患に応じて複数の検査項目に異常が発生する一方、同一の検査項目に異常を引き起こす要因となる疾患もまた複数存在する。このため、検査データを個々に評価すると疾患を正しく評価することができない虞があり、従来は、専門家である医師等がそれぞれの検査結果をみながら、経験的かつ人為的に総合評価を行なっていた。
【0003】
【発明が解決しようとする課題】
しかしながら、このように経験的かつ人為的な評価では、精度良く安定した診断を行なうことができない。さらに専門的知識の差が評価結果を左右することになり、大量の検査結果を画一的に処理することは困難である。
【0004】
そこで、本発明は、上記問題点に鑑みて、検査データ群を基にして専門的知識や経験を必要とすることなく画一的に大量の検査データ群の処理が可能な健康診断方法を提供することを課題とする。
【0005】
【課題を解決するための手段】
上記課題を解決するため、本発明のデータ提示方法は、被験者についての健康診断で行われる複数の検査項目からなる検査データ群を基にして、被験者の健康診断用のデータを提示するデータ提示方法であって、データ処理装置が、検査データ群の各検査データを規格化して、色、輝度、位相、偏光状態のいずれか若しくはその組み合わせとして1次元あるいは2次元に配列された画素の所定位置の画素に表示することにより検査データ画像を生成する工程と、データ処理装置が、生成された検査データ画像と複数の検査項目に対応する標準データが配列された標準データ画像との間で光学的に画像相関演算を行い、演算結果を画像出力する工程と、データ処理装置が、演算結果の画像を直接あるいはさらに画像処理したうえで表示することによって検査データと標準データとの間の相関値に対応する画像を表示する工程と、を備えていることを特徴とする。
【0006】
本発明によれば、各検査データは規格化されて、1次元あるいは2次元に配列された画素の所定位置に色、輝度、位相、偏光状態のいずれか若しくはその組み合わせにより表示されることで、画像として表示される。生成された複数のデータ画像間で光学的に画像相関演算を行なうことで、高速かつ簡単な構成で各画素の情報間の相関演算を行なうことができる。演算結果は新たな画像として生成されるが、この画像を直接表示するか、あるいはこの画像を画像処理することで、さらに視覚的に認識しやすい画像に変更したうえで表示することで検査結果を誰でも認識しやすい状態で表示させることができる。
【0007】
この画像相関演算は、検査データ画像と各検査データの許容範囲を表すデータ画像との間で画像相関演算を行なってもよい。そして、この標準データ画像は、各検査データの許容範囲の上限値及び下限値のそれぞれについて前記検査データ画像と同一の手法で規格化して画像化したデータ画像であってもよい。あるいは、この標準データ画像は、各検査データの標準値を検査データ画像と同一の手法で規格化して画像化したデータ画像であり、各検査データの規格化は、標準値との分散に対応させたものであってもよい。これにより、検査データの各々が許容範囲に入っているかを一目で判定することができ、診断が容易である。
【0008】
また、本発明のデータ提示方法は、被験者についての健康診断で行われる複数の検査項目からなる検査データ群を基にして、被験者の健康診断用のデータを提示するデータ提示方法であって、データ処理装置が、検査データ群の各検査データを規格化して、色、輝度、位相、偏光状態のいずれか若しくはその組み合わせとして1次元あるいは2次元に配列された画素の所定位置の画素に表示することにより検査データ画像を生成する工程と、データ処理装置が、同一被験者の異なる時点での検査データ群のそれぞれから生成された複数の検査データ画像間で光学的に画像相関演算を行い、演算結果を画像出力する工程と、データ処理装置が、演算結果の画像を直接あるいはさらに画像処理したうえで表示することによって検査データ間の相関値に対応する画像を表示する工程と、を備えていることを特徴とする。これにより、被験者の健康状態の変化が容易に判定できる。
【0009】
さらに、特定の検査データについては他の検査データと関連づけて規格化を行なってもよい。これにより、検査データを多角的に判定することが可能となる。
【0010】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について説明する。なお、説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【0011】
図1は、本発明の健康診断方法を実施するためのデータ処理装置の全体構成図である。この装置は、大別すると、検査データ群の入力手段、演算手段、結果表示手段の3つから構成されている。入力手段は、入力データ処理用のパソコン10と、データ入力用のキーボード11と、バーコード読取装置12と、データ表示用のモニター13とを備えている。データ入力は、キーボード11あるいはバーコード読取装置12のみでもよく、あるいはOCR読取装置や、検査データをFD、MO等のパソコン10で読み取り可能な媒体若しくはLAN等を介して検査装置あるいはこれに接続された記憶装置から直接入力する形式としてもよい。
【0012】
演算手段は、光書き込み型の平行配向液晶型空間光変調器(PAL−SLM)27と電気アドレス型の2つの空間光変調器(SLM)24、25を用いたフーリエ変換光学系であり、PAL−SLM27の読み出し光、書き込み光の両方の光源となる半導体レーザ20の光路上に光を平行光に調整するレンズ21とレーザ光を分岐するビームスプリッタ22が配置されている。分岐された光のそれぞれの光路上には、ミラー23、28がそれぞれ配置されている。ミラー23に反射された書き込み光の光路上には、パソコン10によって制御され、入力された検査データ群に応じた画像を表示する並置されたSLM24、25とフーリエ変換レンズ26及びPAL−SLM27が配置されている。PAL−SLM27の反対側の読み出し光入射面側には、ミラー28と対向してハーフミラー29が配置され、PAL−SLM27とハーフミラー29を結ぶ軸線上にフーリエ変換レンズ30とCCDカメラ31が配置されている。この時に、読み出し光の偏光軸と液晶の配向方向が平行になるようにPAL−SLM1が配置されている。
【0013】
結果表示手段は、CCDカメラ31に接続された結果表示用のパソコン40とキーボード41とモニター42からなる。
【0014】
以下、この装置の動作、すなわち本発明の健康診断方法について説明する。
【0015】
被験者についての健康診断の検査データは、キーボード11からパソコン10に入力される。あるいは、検査結果をバーコード化しておき、バーコード読取装置12により入力を行なう。そのほか、OCR読取装置により、検査結果を読み取ったり、検査データをFD、MO等のパソコン10で読み取り可能な媒体若しくはLAN等を介することで、検査装置あるいはこれに接続された記憶装置から直接パソコン10に入力してもよい。検査データ群はモニター13に表示され、入力データを確認することができる。また、入力された検査データ群をパソコン10に内蔵あるいは外部接続された記憶装置に記録しておいてもよい。
【0016】
ここで、入力される検査データについて簡単に説明する。人間ドックなどの健康診断で行われる検査項目と因果関係のある疾患との対応を表1〜表5に示す。表1が血液検査、表2が血液生化学検査、表3が免疫血清学的検査、表4が尿検査、表5がその他の一般検査の検査項目を挙げたものである。
【0017】
【表1】
Figure 0004026953
【0018】
【表2】
Figure 0004026953
【0019】
【表3】
Figure 0004026953
【0020】
【表4】
Figure 0004026953
【0021】
【表5】
Figure 0004026953
【0022】
次に表6〜表10はこれらの検査の検査結果の標準範囲を示したものであり、表6が血液検査、表7が血液生化学検査、表8が免疫血清学的検査、表9が尿検査、表10がその他の一般検査であって、それぞれ表1〜表5に対応している。
【0023】
【表6】
Figure 0004026953
【0024】
【表7】
Figure 0004026953
【0025】
【表8】
Figure 0004026953
【0026】
【表9】
Figure 0004026953
【0027】
【表10】
Figure 0004026953
【0028】
表1〜表10より明らかなように、各検査項目は必ずしも特定の疾患のみに対応しているわけではなく、かつ複数の疾患により数値が変動するものが多い。また各検査結果も、少なすぎても多すぎても問題となる場合(赤血球数、GOT等)、多すぎると問題になる場合(ヘモグロビンA1C等)、陽性になると問題になる場合(尿タンパク、尿糖等)等正常範囲が必ずしも一様でなく、また、検査結果の数値、単位も区々であって同一レベルで評価することは困難である。
【0029】
このため、各データ数値をそのまま処理するのではなく、規格化して処理することが有効である。この規格化にあたっては、例えば、重度の疾患の場合をも考慮した数値範囲を0〜1に対応させて規格化する方法と、それぞれの標準範囲のうちの中間値を0.5とし、標準範囲の最大値、最小値をそれぞれ例えば0.7、0.3に対応させることで規格化する方法等が考えられる。ここでは、後者の方法を例に説明する。
【0030】
この場合、検査結果の数値xを規格化して得られるx’は以下の式により表される。
【0031】
【数1】
Figure 0004026953
【0032】
ここで、Xmax、Xminは、それぞれ前述の標準範囲の最大値、最小値であり、標準範囲が所定数値以下の場合は、Xmaxをその所定数値とし、Xminを0とする。なお、得られたx’が0以下あるいは1以上の場合は、それぞれ0、1として取り扱う。また、尿タンパク、尿糖のように検査結果を陽性、陰性で区分し、陽性の場合を異常と判断する項目の場合は、陽性を1、陰性を0.5で表し、ウロビリノーゲンのように検査結果が+、−いずれの場合も異常とする場合は、+の場合を1、−の場合を0、±の場合を0.5として規格化する。
【0033】
こうして規格化したデータ群の一例を表11に示す。ここでは、表2、表6に掲げた検査項目についてのみ規格化して示している。他の検査項目に付いても同様に規格化可能である。
【0034】
【表11】
Figure 0004026953
【0035】
表11から明らかなように標準範囲から大きく離れているデータがわかりやすくなっている。このようにして規格化されたデータ群の個々のデータを個々の画素位置に対応させて、これらの画素の輝度情報として表示することにより画像化する。具体的には、パソコン10からの指令により、SLM24、25の所定の画素位置に画像表示する。このとき、各画素位置とデータとの対応は、例えば、血液系疾患、感染症、肝臓疾患、消化器系疾患、腎臓疾患、循環器系疾患、糖尿病に対応する領域を設けてそれぞれの疾患に関係する検査データをこれらの領域にまとめて表示する。複数の疾患に対応する検査データは、対応する疾患の境界位置に配列するか、あるいは対応する疾患のそれぞれの領域に重複して表示すればよい。このとき、例えば、SLM24には、被験者のデータを表示し、SLM25には、標準データ(この場合は、輝度0.5の画像)を表示する。
【0036】
半導体レーザ20から出射されたレーザ光は、レンズ21を経てビームスプリッタ22で2つに分岐される。このうちミラー23で反射された書き込み光は、SLM24と25を通過する。このとき、前述したようにSLM24と25には、被験者のデータと標準データとが並べて表示されている。これらのデータを画像情報として有する光は、フーリエ変換レンズ26により第1のフーリエ変換を受けて、PAL−SLM27に入射する。一方、ミラー28で反射された読み出し光は、ハーフミラー29でさらに反射されて、PAL−SLM1に書き込み光と反対側から入射する。そして、PAL−SLM1の書き込み光入射面から入射された2つのデータ画像のフーリエ変換画像に応じて読み出し光は位相変調されて、フーリエ変換画像の位相相関画像を有する出力光として入射面から出射される。この出力光は、ハーフミラー29を透過してフーリエ変換レンズ30により第2のフーリエ変換を受けてCCDカメラ31で受光される。受光された画像はもとのSLM24、25に映し出された2つの画像の相関値に対応する画像を有している。位相変調を用いることで、強度変調を用いる場合と比較して高い回折効率が得られ、安定した画像間の相関演算が行える。この場合は、標準データと被験者データの相関が高い、すなわち検査データが標準範囲の中心にあるほど相関が高く、はずれているほど、つまり異常値が多いほど相関が低くなる。
【0037】
この相関画像はパソコン40に送られ、所定の画像処理が施されたうえで、モニター42に表示される。図2、図3はそれぞれ表示の一例を示している。図2に示されるように相関値を基にして各疾患ごとにグラフにより表示することで、個々の検査データより各疾患の危険性がわかりやすく表示される。あるいは、相関値を基にして各疾患群ごとに疾患の危険性が高い場合を赤、危険性のない場合を青とするカラースケールに変換して表示してもよい。もちろん、相関値に対応する数値を表示してもよい。図3に示すように人体を模式したマップの疾患に対応する位置上に結果を数値、あるいは色により表示してもよい。さらに、キーボード41を操作することでこれらの表示形式を切り替えてもよい。
【0038】
SLM25には、標準データに代えて、特定の疾患の場合の典型的症例における検査データを表示してもよい。この場合は、相関が高いほどこの特定の疾患に近い検査データが得られていることになり、疾患の判定が容易になる。また、同一被験者について異なる時点に採取したデータを表示すれば、時間的な変化が容易に分かり、健康状態の変化が確認できる。また、全検査データを一度に処理するのではなく、個々の疾患に関係するデータごとに相関をとってもよい。また、特定の疾患群に対応する複数の検査データ間についても相関をとれば、疾患の判定がさらに確実になる。このように、専門的な知識がなくても検査データをもとにした健康診断が可能となる。
【0039】
以上の説明では、規格化にあたって線形関数を用いたが、非線形関数を用いて規格化してもよい。この場合は、例えば、規格化した際に、正常範囲との境界部分での差を、正常範囲から大きくはずれた部分あるいは正常範囲の中間部分での差よりも大きな数値差となるよう規格化することで、正常範囲との境界部分での検査データの変動をより感度良く調べることが可能となる。
【0040】
また、規格化する際に標準範囲を表す数値を上述のように0.3〜0.7とするのではなく、さらに規格化後の標準範囲をさらに広げれば、標準範囲内での変動を捉えやすくなるし、一方、規格化後標準範囲をもっと狭めることで、検査結果が異常範囲にある場合の変動を捉えやすくなる。
【0041】
ここでは、各データの有する情報を画像を構成する画素の輝度として表す例について説明したが、輝度以外に色あるいは画素から発せられる光の位相あるいは偏光状態、またはそれらの組み合わせで表してもよい。
【0042】
ここで説明した検査項目は飽くまで例示であり、その他の定量的、定性的な検査データについても同様に適用可能である。
【0043】
また、以上の説明では、データ処理にフーリエ変換光学系を使用したが、その他の光学的画像処理により画像間の演算を行なってもよい。光学的に画像間の演算を行なうことで、多数のデータを有するデータ群間での演算を高速で行なうことが可能となる。
【0044】
【発明の効果】
以上、説明したように本発明によれば、検査データ群の個々のデータを規格化し、各画素が各データを表す画像に変換して、光学的に画像演算を行なうことにより画像間の相関、すなわち、検査データ群間、あるいは個々のデータ間の相関を求めることができる。したがって、所定の疾患に関するデータ群についての相関を求めて、疾患の判定をすることが容易であり、専門的な知識なしに画一的に大量の検査データ群を判定処理することが可能である。
【図面の簡単な説明】
【図1】本発明の方法を実施するデータ処理装置の全体構成図である。
【図2】図1の装置による処理結果の表示の一例を示す図である。
【図3】図1の装置による処理結果の表示の別の例を示す図である。
【符号の説明】
10、40…パソコン、20…光源用レーザ、24、25…SLM、27…PAL−SLM、26、30…フーリエ変換レンズ、31…CCDカメラ。

Claims (5)

  1. 被験者についての健康診断で行われる複数の検査項目からなる検査データ群を基にして、被験者の健康診断用のデータを提示するデータ提示方法であって、
    データ処理装置が、前記検査データ群の各検査データを規格化して、色、輝度、位相、偏光状態のいずれか若しくはその組み合わせとして1次元あるいは2次元に配列された画素の所定位置の画素に表示することにより検査データ画像を生成する工程と、
    データ処理装置が、生成された検査データ画像と前記複数の検査項目に対応する標準データが配列された標準データ画像との間で光学的に画像相関演算を行い、演算結果を画像出力する工程と、
    データ処理装置が、演算結果の画像を直接あるいはさらに画像処理したうえで表示することによって前記検査データと前記標準データとの間の相関値に対応する画像を表示する工程と、
    を備えていることを特徴とするデータ提示方法
  2. 前記標準データ画像は、各検査データの許容範囲の上限値及び下限値のそれぞれについて前記検査データ画像と同一の手法で規格化して画像化したデータ画像であることを特徴とする請求項記載のデータ提示方法
  3. 前記標準データ画像は、各検査データの標準値を前記検査データ画像と同一の手法で規格化して画像化したデータ画像であり、前記各検査データの規格化は、前記標準値との分散に対応させたものであることを特徴とする請求項記載のデータ提示方法
  4. 被験者についての健康診断で行われる複数の検査項目からなる検査データ群を基にして、被験者の健康診断用のデータを提示するデータ提示方法であって、
    データ処理装置が、前記検査データ群の各検査データを規格化して、色、輝度、位相、偏光状態のいずれか若しくはその組み合わせとして1次元あるいは2次元に配列された画素の所定位置の画素に表示することにより検査データ画像を生成する工程と、
    データ処理装置が、同一被験者の異なる時点での検査データ群のそれぞれから生成された複数の検査データ画像間で光学的に画像相関演算を行い、演算結果を画像出力する工程と、
    データ処理装置が、演算結果の画像を直接あるいはさらに画像処理したうえで表示することによって前記検査データ間の相関値に対応する画像を表示する工程と、
    を備えていることを特徴とするデータ提示方法
  5. 特定の検査データについては他の検査データと関連づけて前記規格化を行なうことを特徴とする請求項1又は4記載のデータ提示方法
JP26545598A 1998-09-18 1998-09-18 健康診断用のデータ提示方法 Expired - Fee Related JP4026953B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26545598A JP4026953B2 (ja) 1998-09-18 1998-09-18 健康診断用のデータ提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26545598A JP4026953B2 (ja) 1998-09-18 1998-09-18 健康診断用のデータ提示方法

Publications (2)

Publication Number Publication Date
JP2000099180A JP2000099180A (ja) 2000-04-07
JP4026953B2 true JP4026953B2 (ja) 2007-12-26

Family

ID=17417415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26545598A Expired - Fee Related JP4026953B2 (ja) 1998-09-18 1998-09-18 健康診断用のデータ提示方法

Country Status (1)

Country Link
JP (1) JP4026953B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002143140A (ja) * 2000-11-10 2002-05-21 Hitachi Medical Corp 画像表示装置
JP2020135310A (ja) * 2019-02-18 2020-08-31 富士フイルム株式会社 健康管理装置、健康管理装置の作動方法、健康管理装置の作動プログラム

Also Published As

Publication number Publication date
JP2000099180A (ja) 2000-04-07

Similar Documents

Publication Publication Date Title
JP7668942B2 (ja) スリットランプ顕微鏡
Pham et al. Real time blood testing using quantitative phase imaging
KR20200005404A (ko) 진단 보조 시스템
JP2002200050A (ja) 肌色測定装置および肌色診断装置ならびに顔画像処理装置
Lin et al. Automatic detection and characterization of quantitative phase images of thalassemic red blood cells using a mask region-based convolutional neural network
US8160331B2 (en) Image processing apparatus and computer program product
Zheng et al. Direct characterization of tissue dynamics with laser speckle contrast imaging
Yi et al. Single-shot temporal speckle correlation imaging using rolling shutter image sensors
EP1022980A1 (en) System and method for diagnosing vision disorders
JP4026953B2 (ja) 健康診断用のデータ提示方法
Taylor-Williams et al. Multispectral imaging of nailfold capillaries using light-emitting diode illumination
Priya A novel deep learning approach for diabetic retinopathy classification using optical coherence tomography angiography
CN112200726A (zh) 基于无透镜显微成像的尿沉渣有形成分检测方法及系统
Blanckenberg et al. Development of a mobile phone based ophthalmoscope for telemedicine
Rivera et al. Quasi-analytic solution for real-time multi-exposure speckle imaging of tissue perfusion
Alhasawi et al. Design of a mobile-app for non-invasively detecting high blood cholesterol using eye images
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
KR20080034579A (ko) 네트워크 방식의 디지털 카메라를 이용한 실시간 원격 진단및 검사 시스템
Zhang et al. Correcting the detrimental effects of nonuniform intensity distribution on fiber-transmitting laser speckle imaging of blood flow
Das Adhikari et al. Computer vision-aided diabetic retinopathy detection using cloud-deployed deep learning framework
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Jütte et al. High-resolution imaging system for integration into intelligent noncontact total body scanner
JP7579889B2 (ja) 画像処理方法、プログラム、画像処理装置、眼科システム
Ousman et al. Performance of FSG iridology in detecting all diseases, vitamins, and trace mineral in human body within one minute
KR20190102789A (ko) 홀로그래픽 머신비전 장치를 이용한 비 절제 생검 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees