JP4101392B2 - 画像定量方法および装置 - Google Patents

画像定量方法および装置 Download PDF

Info

Publication number
JP4101392B2
JP4101392B2 JP10178699A JP10178699A JP4101392B2 JP 4101392 B2 JP4101392 B2 JP 4101392B2 JP 10178699 A JP10178699 A JP 10178699A JP 10178699 A JP10178699 A JP 10178699A JP 4101392 B2 JP4101392 B2 JP 4101392B2
Authority
JP
Japan
Prior art keywords
image
statistical distribution
intensity
average intensity
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10178699A
Other languages
English (en)
Other versions
JP2000292542A (ja
JP2000292542A5 (ja
Inventor
啓司 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP10178699A priority Critical patent/JP4101392B2/ja
Priority to DE10017365A priority patent/DE10017365A1/de
Priority to US09/545,836 priority patent/US6687394B1/en
Publication of JP2000292542A publication Critical patent/JP2000292542A/ja
Publication of JP2000292542A5 publication Critical patent/JP2000292542A5/ja
Application granted granted Critical
Publication of JP4101392B2 publication Critical patent/JP4101392B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Description

【0001】
【発明の属する技術分野】
本発明は、2次元画像情報から定量を行う系において、2次元デジタル画像上に設定された注目領域内に含まれる画像の有意性を検定するための基準値を設定する画像定量方法および装置に関する。
【0002】
【従来の技術】
従来より、放射性標識を付与した物質が投与された生物体またはその生物体の組織の一部を試料として放射線フィルムなどに一定時間密着感光または露光し、試料中の放射性標識物質の位置情報を得るオートラジオグラフィ検出方法、化学発光を生じさせる標識物質により選択的に標識された蛋白質、核酸配列などの固定された高分子を、化学発光物質とを接触させて生ずる可視光波長域の化学発光を検出して、遺伝子情報などの高分子に関する情報を得る化学発光検出方法、金属あるいは非金属試料などに電子線を照射し、試料の回折像または透過像などを検出して、元素分析、試料の組成解析、試料の構造解析などを行ったり、生物体組織に電子線を照射して、生物体組織の画像を検出する電子顕微鏡による検出方法、および放射線を試料に照射し、得られた放射線回折像を検出して、試料の構造解析などを行う放射線回折画像検出方法等が知られている。これらの方法は、検出材料として高感度X線フィルムなどの写真フイルムを用い、写真フイルム上に、放射線画像、化学発光画像、電子顕微鏡画像、放射線回折画像等を記録し、目視によって、可視画像を検出するものである。
【0003】
これに対し、近年、従来の写真フイルムに代えて、放射線、可視光、電子線などが照射されると、そのエネルギーを吸収して、蓄積し、その後に、特定の波長域の電磁波や励起光を用いて励起すると、照射された放射線、可視光、電子線などのエネルギーの量に応じた光量の輝尽光を発する特性を有する輝尽性蛍光体を検出材料として用い、輝尽性蛍光体からの輝尽発光光を、光電的に検出して、ディジタル信号に変換し、得られた画像データに所定の画像処理を施した後に、画像を、CRT画面などの表示手段または写真フイルム上に再生するようにしたオートラジオグラフィ検出方法、化学発光検出方法、電子顕微鏡による検出方法、放射線回折画像検出方法が提案されている。この輝尽性蛍光体を用いた検出方法によれば、従来の写真フィルムを用いる方法に比べ、現像処理という化学的処理が不要であるだけでなく、高感度で、露光時間を大幅に短縮することができ、露光が容易であり、また、与えられた放射線、可視光、電子線等のエネルギと得られる画像強度との間の直線性が良く、かつその直線域が広く、すなわちダイナミックレンジが広く、定量性に優れているなどの利点を有し、さらに、画像強度をデジタル画像信号(データ)として得ることができ、ディジタル信号に変換された後に、画像が再生されるので、得られたデジタル画像データに信号処理を施すことによって、所望の画像を再生し、あるいはコンピュータによる定量解析が可能であるなどの好ましい利点を有する。
【0004】
このような蓄積性蛍光体シートを利用して画像データを生成し、生成された画像データに基づいて、画像を再生するオートラジオグラフィ検出方法、化学発光検出方法、電子顕微鏡による検出方法、放射線回折画像検出方法のための画像形成/解析装置が、例えば本出願人の出願に係る特開平7−334662号公報、同8−43538号公報および同8−247931号公報等に開示されている。これらに開示された画像形成/解析装置では、画像中の所望の領域間の比較をするために、画像データの所望の領域を注目領域として画定し、蓄積性蛍光体シートからの発光量を、画像データの注目領域に含まれる画像を構成する画素の強度(濃度)として数値化して、その総和を求めて、定量処理をし、さらに、複数の注目領域をグループ化して、グループに属する注目領域の各々の強度の比などを算出して、定量解析が可能なように構成されている。このため、このような画像形成/解析装置は、例えば表示装置などの表示された2次元画像中に注目領域を円、矩形、折れ線で囲まれた図形で画定し、これらの図形の座標データなど図形データを、画像データとは別個に記憶し、注目領域内の画素の強度の定量処理や定量解析を可能にしている。
【0005】
なお、このような蓄積性蛍光体シートを利用して得られる画像データには、各種の検出画像データの他に、種々のバックグラウンドノイズが含まれている。例えば、蓄積性蛍光体シートを感光または露光する際に、宇宙線または地中に含まれる放射線により、あるいは、例えば薬物代謝研究の分野においてしばしば用いられる薄層クロマトグラフィ(TLC:Thin Layer Chromatography)においてクロマトグラフィ展開のためのTLCプレートが有する固有の放射線により、蓄積性蛍光体シート上にほぼ均一に生じるノイズ成分や、蓄積性蛍光体シートから放射線画像情報を読み取る際に蓄積性蛍光体シート自体に起因するノイズ成分などがある。このため、蓄積性蛍光体シートから読み取られた画像の各画素の強度データをより正確に算出することができるように、ノイズ成分であるバックグラウンドに対応するデータを画像の各画素の強度データから取り除く必要がある。
【0006】
従って、これらの画像形成/解析装置は、表示手段に表示された画像上のその強度がゼロであるべき領域に図形を描いて、これらをバックグラウンド(背景領域)図形として、これらの図形の強度から基準バックグラウンド値、すなわち単位面積当たりの強度を算出している。特に、特開平8−43538号公報に開示された画像解析装置では、この基準バックグラウンド値を正確に求めるためにバックグラウンド図形として、注目領域の周辺に注目領域と大きさや形状が同じ図形を持つ背景領域をいくつか、すなわち複数個設定し、これらの背景領域の強度を求め、その統計的分布特性から、有意な領域とする基準バックグラウンド値を求めている。例えば、これらの複数の背景領域の強度から、その平均値である平均強度を求め、この平均強度を基準バックグラウンド値としている。
【0007】
【発明が解決しようとする課題】
このため、従来の画像形成/解析装置においては、1つのバックグラウンド図形の強度を基準バックグラウンド値するものでは、基準バックグラウンド値がバックグラウンド図形の設定位置に大きく依存するため、正確な基準バックグラウンド値を得ることができないという問題点があった。また、この問題点を解消することができる特開平8−43538号公報に開示された画像解析装置でも、複数の同じ大きさ、形状のバックグラウンド図形を持つ背景領域を設定してその平均強度の統計的分布特性から基準バックグラウンド値を求めているので、統計的に偏りを持った強度データで検定がなされてしまい、注目領域の正確な有意性の検定ができない、特に弱い強度を持つ注目領域の正確な有意性の検定ができないという問題があった。
【0008】
本発明の目的は、上記従来技術の問題点を解消し、たとえ弱い強度を持つ注目領域であっても、より合理的で正確な検定ができ、注目領域の画像を正確に定量処理および定量解析することができる画像定量方法および装置を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を解決するために、本発明の画像定量方法は、2次元デジタル画像情報から定量を行うに際し、入力手段による入力指示に応じて、この2次元デジタル画像情報に基づく2次元画像において定量の対象となる注目領域の周辺に、当該注目領域を含まない背景領域を設定し、この背景領域内の全ての画素について画素毎の強度の統計分布を求め、この統計分布から得られる統計量から前記注目領域を有意な領域とするための基準となる前記注目領域の平均強度を求め、得られた基準平均強度に基づいて前記注目領域の有意性を検定することを特徴とする。
【0010】
ここで、前記基準平均強度は、前記統計分布の統計量の中から選択される前記統計分布の代表値を用いて表され、前記統計分布は、前記背景領域の画素毎の強度のヒストグラムであるのが好ましい。
また、前記ヒストグラムは、前記代表値を求めるために平滑化されるのが好ましい。
また、前記代表値は、前記統計分布の平均値であり、前記基準平均強度であるのが好ましい。あるいは、前記統計分布の平均値Aおよび標準偏差Sであり、前記基準平均強度は、A+kS(但し、kは0以上5以下の正数)であるのが好ましい。もしくは、前記代表値は、前記統計分布の最頻値Mおよび標準偏差Sであり、前記基準平均強度は、M+kS(但し、kは0以上5以下の正数)であるのが好ましい。
【0011】
また、本発明の画像定量装置は、2次元デジタル画像情報から定量を行うための画像定量装置であって、入力手段と、前記2次元デジタル画像情報に基づく2次元画像を表示する手段と、前記入力手段による入力指示に応じて、表示された2次元画像において定量の対象となる注目領域の周辺に、当該注目領域を含まない背景領域を設定する手段と、この背景領域内の全ての画素について画素毎の強度の統計分布を求めるとともにこの統計分布から統計量を求める統計処理手段と、得られた統計量から前記注目領域を有意な領域とするための基準となる前記注目領域の平均強度を求める手段と、得られた基準となる平均強度に基づいて前記注目領域の有意性を検定する手段とを有することを特徴とする。
【0012】
ここで、前記基準平均強度を求める手段は、前記統計分布の統計量の中から選択される前記統計分布の代表値を用いて前記基準平均強度を求め、前記統計処理手段は、前記統計分布として前記背景領域の画素毎の強度のヒストグラムを求めるのが好ましい。
また、前記統計処理手段は、前記代表値を求めるために前記ヒストグラムを平滑化するのが好ましい。
また、前記基準平均強度を求める手段は、前記代表値として前記統計分布の平均値を選択し、前記基準平均強度をこの平均値とするか、あるいは、前記代表値として前記統計分布の平均値Aおよび標準偏差Sを選択し、前記基準平均強度をA+kS(但し、kは0以上5以下の正数)として求めるか、もしくは、前記代表値として前記統計分布の最頻値MおよびMに対する標準偏差Sを選択し、前記基準平均強度をM+kS(但し、kは0以上5以下の正数)として求めるのが好ましい。
【0013】
【発明の実施の形態】
本発明に係る画像定量方法および装置を添付図面に示す好適実施例に基づいて以下に詳細に説明する。
図1は、本発明の画像定量方法を実施する本発明の画像定量装置を適用するオートラジオグラフィシステムの一実施形態のブロック図である。
以下においては、本発明の画像定量方法および装置をオートラジオグラフィ画像を画像情報の解析の対象とするオートラジオグラフィシステムに適用した実施形態を代表例として説明するが、本発明はこれに限定されない。
【0014】
同図に示すように、本発明を適用するオートラジオグラフィシステム12は、オートラジオグラフィ画像の定量処理および定量解析を行う本発明の画像定量装置10と、この画像定量装置10にオートラジオグラフィ画像のデジタル画像データを供給する画像読取装置14とを有する。
【0015】
まず、本発明を適用するオートラジオグラフィ画像定量装置10に接続され、オートラジオグラフィ画像のデジタル画像データを供給する画像読取装置14について説明する。
図2に、蓄積性蛍光体シートZに蓄積記録されたオートラジオグラフィ画像をデジタル画像データとして読み取る画像読取装置14の一実施例の概略斜視図を示す。
まず、同図において、蓄積性蛍光体シートZには、試料(図示せず)に含まれる放射性標識物質の位置情報が、放射線エネルギーの形で、蓄積されている。ここで、放射性標識物質の位置情報とは、試料中における放射性標識物質もしくはその集合体の位置を中心とした各種の情報、例えば、試料中に存在する放射性標識物質の集合体の存在位置と形状、その位置における放射性標識物質の濃度、分布などからなる情報の一つもしくは任意の組み合わせとして得られる各種の情報を意味するものである。本実施形態においては、成分の異なる複数の種類の薬物を、複数の実験動物に投与し、所定時間経過後に、その尿を採取して、これをTLCプレート上に、クロマトグラフィー展開して得られた蛋白質の画像が、蓄積性蛍光体シートZに蓄積記録されている。
【0016】
こうして試料中の放射性標識物質の位置情報が蓄積記録された蓄積性蛍光体シートZを、画像読取装置14の読取部14aにおいて、レーザ光源16から射出されるレーザ光Lにより、走査して、励起し、輝尽光を発生させる。レーザ光Lは、レーザ光源16により発生され、フィルタ18を通過することにより、レーザ光Lによる励起によって蓄積性蛍光体シートZから発生する輝尽光の波長領域に対応する波長領域の部分がカットされる。次いで、レーザ光Lは、ビームエクスパンダ20により、そのビーム径が正確に調整され、ガルバノミラー等の光偏向器22に入射する。光偏向器22によって偏向されたレーザ光Lは、fθ(走査)レンズ24を介して、平面反射鏡26により反射され、蓄積性蛍光体シートZ上に、一次元的に入射する。fθレンズ24は、蓄積性蛍光体シートZ上を、レーザ光Lにより走査するときに、つねに、均一のビーム速度で、走査がなされることを保証するものである。このようなレーザ光Lによる走査と同期して、蓄積性蛍光体シートZは、図2において、矢印の方向に移動され、その全面が、レーザ光Lによって走査されるようになっている。蓄積性蛍光体シートZは、レーザ光Lが照射されると、蓄積記録していた放射線エネルギーに比例する光量の輝尽光を発光し、発光した輝尽光は、導光性シート28に入射する。
【0017】
導光性シート28は、その受光端部が直線状をなし、蓄積性蛍光体シートZ上の走査線に対向するように近接して配置され、また、その射出端部は、円環状をなし、フォトマルチプライアなどの光電変換型の光検出器30の受光面に接続されている。この導光性シート28は、アクリル系合成樹脂などの透明な熱可塑性樹脂シートを加工して作られており、受光端部から入射した光が、その内面で、全反射を繰り返しながら、射出端部を経て、光検出器30の受光面に伝達されるように、その形状が定められている。したがって、レーザ光Lの照射に応じて、蓄積性蛍光体シートZから発光した輝尽光は、導光性シート28に入射し、その内部で、全反射を繰り返しながら、射出端部を経て、光検出器30によって受光される。光検出器30の受光面には、蓄積性蛍光体シートZから発光される輝尽光の波長領域の光のみを透過し、レーザ光Lの波長領域の光をカットするフィルタが貼着されており、光検出器30は、蓄積性蛍光体シートZから発光された輝尽光のみを光電的に検出するように構成されている。なお、レーザ光源16、フィルタ18、ビームエクスパンダ20、光偏向器22、fθレンズ24、平面反射鏡26、導光性シート28および光検出器30は、読取部14aを構成する。
【0018】
光検出器30によって光電的に検出された輝尽光は、電気信号に変換され、読取信号変換処理部14bにおいて本発明の画像定量装置10への入力に適した信号に変換処理される。すなわち、この電気信号は、所定の増幅率を有する増幅器32によって、所定のレベルの電気信号に増幅された後、A/D(アナログ/デジタル)変換器34に入力される。電気信号は、A/D変換器34において、信号変動幅に適したスケールファクタで、ディジタル信号に変換され、ラインバッファ36に入力される。ラインバッファ36は、走査線1列分の画像データを一時的に記憶するものであり、以上のようにして、走査線1列分の画像データが記憶されると、そのデータを、ラインバッファ36の容量よりもより大きな容量を有する送信バッファ38に出力し、送信バッファ38は、所定の容量の画像データが記憶されると、画像データを、オートラジオグラフィ画像を定量処理および定量解析する本発明の画像定量装置10に出力するように構成されている。なお、増幅器32、A/D変換器34、ラインバッファ36および送信バッファ38は、読取信号変換処理部14bを構成する。
【0019】
図1において、オートラジオグラフィ画像の画像定量装置10は、蓄積性蛍光体シートZに蓄積記録され、画像読取装置14により読み取られて、ディジタル信号に変換された試料に含まれる放射性標識物質の位置情報を含む画像データを受理し、画像データに可視画像の再生に適した信号処理を施すとともに、画像データの一部分に所望の領域を注目領域やその周辺の背景領域として画定し、これらの領域内の画素毎の濃度(放射線強度に相当し、従って信号強度に相当するので、以下では強度という)などの種々の定量値や解析値を算出するすると共に、注目領域の有意性を検定する信号処理手段40と、画像読取装置14から信号処理手段40に入力された画像データを一時的に記憶する画像データ一時記憶部42aおよび信号処理後の画像データを記憶する画像データ記憶部42bとを備える画像データ記憶手段42と、試料に含まれる放射性標識物質の位置情報を含む画像データを画像として再生する画像表示装置(CRT)44とを備えている。
【0020】
ここで、信号処理手段40は、画像読取装置14の送信バッファ38からオートラジオグラフィ画像の画像データを受け取る受信バッファ46と、画像データ記憶手段42の画像データ一時記憶部42aからの一時記憶された画像データの読み出しおよび画像データ記憶手段42の画像データ記憶部42bからの読み出しおよび書き込みを制御するとともに、本発明の画像定量装置10の全体の制御等を行う制御部48と、本発明の画像定量装置10の最も特徴とする部分であって、制御部48によって画像データ記憶部42bから読み出された画像データに、例えば、濃度、色調、コントラストなどが適正で、観察解析特性および観察定量特性に優れた可視画像を再生し得るように信号処理を施すと共に、画像データの一部分に所望の領域を注目領域およびその周辺の背景領域として画定し、これらの領域内の画素毎の濃度(放射線強度に相当し、従って信号強度に相当するので、以下では強度という)などの種々の定量値や解析値を算出する、例えば注目領域ではその平均強度を算出し、背景領域では領域内の画素毎の強度の統計分布を求めて、本発明の特徴とする注目領域を有意な領域とする基準バックグラウンド値を算出し、この基準バックグラウンド値と注目領域の平均強度とから注目領域の有意性を検定する画像定量解析部50とを有する。
【0021】
画像読取装置14の送信バッファ38に、一時的に記憶された画像データは、オートラジオグラフィ画像定量装置10の信号処理手段40の受信バッファ46に入力されて、一時的に記憶され、受信バッファ46内に、所定量の画像データが記憶されると、記憶された画像データが、画像データ記憶手段42の画像データ一時記憶部42aに出力され、記憶される。このようにして、画像読取装置14の送信バッファ38から、信号処理手段40の受信バッファ46に送られ、一時的に記憶された画像データは、さらに、受信バッファ46から、画像データ記憶手段42の画像データ一時記憶部42aに記憶される。こうして、蓄積性蛍光体シートZの全面を、レーザ光Lによって走査して得られた画像データが、画像データ記憶手段42の画像データ一時記憶部42aに記憶されると、信号処理手段40の制御部48は、画像データ一時記憶部42aから所定の画像データを読み出し、画像データ記憶部42bに記憶する。
【0022】
図3は、本実施形態に係るオートラジオグラフィ画像の画像定量装置10の画像定量解析部50およびその周辺回路を詳細に示したブロック図である。
図3に示すように、画像定量解析部50は、操作者が入力装置(図示せず)を操作することにより、画像データ記憶部42bから読みだされた画像データに所定の処理を施し、CRT44に表示すべき画像の表示画像データを生成する表示画像データ生成部52と、CRT44の画面上に表示される画像の所定の領域、例えば注目領域および注目領域の周辺の背景領域を取り囲むための円、矩形、折れ線に囲まれた図形などの図形データを生成し、これを図形データ記憶部56に出力する図形データ生成部54と、図形データを記憶する図形データ記憶部56と、図形データ記憶部56に記憶された図形データと、表示画像データ生成部52により生成された表示画像データを比較して、CRT44の画面上に表示される図形に含まれる画像の強度などを示す定量データを生成する定量処理部58と、定量処理部58により生成された定量データを記憶する定量データ記憶部60と、図形データ記憶部56に記憶された図形データから、CRT44に表示すべき図形の表示図形データを生成する表示図形データ生成部62と、表示画像データと表示図形データとを合成する画像合成部64と、操作者によって注目領域の周辺の背景領域にいくつか設定され、図形データ生成部54で生成された図形データに基づいて定量処理部58で生成された定量データ、ここでは設定された全ての背景領域の全ての画素の強度データを用いて統計処理を行って、本発明の特徴とする基準バックグラウンド値を生成するとともに記憶するバックグラウンドデータ管理部66と、このバックグラウンドデータ管理部66で生成された基準バックグラウンド値を用いて注目領域の有意性を検定する検定部68と、検定部68によって有意であると認定された注目領域の検定結果や定量値や解析値等の結果データを、例えば表データとして、定量データ記憶部60、バックグラウンドデータ管理部66および検定部68に記憶されたデータに基づいて生成する結果データ生成部72と、画像合成部64により生成された合成画像データおよび結果データ生成部72により生成された結果データを、一時的に記憶し、これをCRT44に出力するウィンドウメモリ74とを備えている。
【0023】
表示画像データ生成部52は、操作者が入力装置を操作することにより、画像データ記憶部42bから選択されて読みだされた画像データを、操作者が入力した所定の拡大率に基づいて、拡大あるいは縮小された表示画像データを生成する。また、操作者が、CRT44の画面上に表示された画像の注目領域および注目領域の外側の周辺の背景領域を取り囲むために、マウス(図示せず)を操作して、メモリ(図示せず)に予め記憶された、図形データの形状を選択し、選択された形状の図形をCRT44の画面上に配置することによって、図形データが生成され、これが図形データ記憶部56に記憶される。図形データ記憶部56は、図形データベース76を記憶しており、図形データベース76には、操作者により選択された形状を有し、所望の位置に配置された各種図形の図形データを、図形ごとに記憶されている。図形データ生成部54は、操作者がCRT44の画面上に、所定の図形を配置すると、その図形の図形種を示す図形種データおよびその図形の画像データ記憶部42bに記憶された画像データ上の位置を示す座標データを、図形データベース76の所定の領域に記憶する。
【0024】
図形データ生成部54により、図形データベース76に記憶された図形データは、それぞれ、少なくとも、図形の種類を示す図形種データ、図形の基準点の位置を示す座標データを備えている。本実施形態においては、図形種には、例えば、円、矩形、折れ線により囲まれた図形などが含まれる。また、図形の基準点の座標データは、画像データ記憶部42bに記憶された画像データ上に存在する場合の図形の外接矩形の左上の座標、例えば座標(x,y)を示している。なお、注目領域および背景領域として設定され、選択される図形が複数ある場合には、それらの図形の各々に図形ナンバーを与え、与えられた図形ナンバーで管理するとともに、それらの図形が属すべきグループに分類して、グループ毎に管理するのが好ましい。このようなグループ管理の方法は、特に限定的ではなく、特開平8−43538号に記載の方法など従来公知の方法を適用することができる。
【0025】
図形データ記憶部56に記憶された図形データは、表示図形データ生成部62に読みだされ、所定の処理を施された後に、画像合成部64に出力されて、表示画像データと合成され、この合成されたデータが、ウィンドウメモリ74を介してCRT44に出力される。定量データ記憶部60は、定量データベース78を記憶しており、定量データベース78には、図形ごとに、CRT44の画面上に配置された図形に含まれる画像を構成する画素の強度に対応するPSL値データおよび図形の面積を示す面積データからなる定量データが記憶されている。ここに、PSL値データは、図形により囲まれた画像領域に対応する蓄積性蛍光体シートZの領域が受けた放射線の積算値を示すものである。操作者が、入力装置(図示せず)を操作して、所定の図形を指定し、図形に含まれる領域を定量処理する旨を指示すると、定量処理部58が、図形データベース76から、所定の図形データを読みだし、また、表示画像データ生成部52から、該図形データに対応する図形に含まれる画像データの領域を読みだし、図形の面積および図形に含まれる画像を構成する画素の強度を算出し、これらを定量データとして、定量データベース78内の所定の領域、すなわち、図形データベース76から読みだされた図形データに対応する領域に記憶する。
【0026】
バックグラウンドデータ管理部66は、操作者によって設定された背景領域、複数設定された場合には、全ての背景領域の全ての画素の強度データで統計処理を行う統計処理部80と、統計処理部80で得られた統計量から基準バックグラウンド値を生成する基準バックグラウンド(BG)値生成部(以下、基準値生成部という)82とを備える。
ここで、統計処理部80は、操作者によって注目領域の周辺の背景領域にいくつか設定され、図形データ生成部54で生成され、図形データ記憶部56の図形データベース76に記憶された図形データを読み出し、読み出された図形データに基づいて定量処理部58で生成され、定量データ記憶部60の定量データベース78に記憶された対応する図形内の定量データ、ここでは設定された全ての背景領域の全ての画素の強度データを読み出し、読み出された全ての強度データを用いて、統計分布、例えばヒストグラムを求める。次に、統計処理部80は、こうして得られたヒストグラムなどの統計分布から、平均値、標準偏差、最頻値、等の少なくとも1つの統計量を算出し、基準値生成部82に送る。この時、統計分布として求められるヒストグラムは、代表値となる統計量を算出するために、平滑化処理を施すのが好ましい。
【0027】
続いて、基準値生成部82は、受け取った統計量を統計処理部80で生成された統計分布の代表値として用い、基準バックグラウンド値を算出し、算出した基準バックグラウンド値を記憶するとともに、検定部68に送る。
ここで求める基準バックグラウンド値とは、操作者によって設定される注目領域が有意な領域であると認定される基準となる注目領域の平均強度、すなわち基準平均強度を意味する。すなわち、基準バックグラウンド値は、注目領域を有意な領域とすることができる注目領域の平均強度の下限値であるといえる。
ここで、基準値生成部82は、統計分布の代表値として、上述した統計量の中から平均値Aを選択し、この平均値Aを基準バックグラウンド値とするのが好ましい。
より好ましくは、基準値生成部82は、統計分布の代表値として、上述した統計量の中から平均値Aに加え、標準偏差Sを選択し、kを0以上5以下の正数、すなわち0、1、2、3、4および5のいずれかとするとき、A+kSを基準バックグラウンド値とするのが良い。
なお、基準値生成部82は、統計分布の代表値として、上述した統計量の中から平均値A代わりに最頻値Mを選択し、A+kSの代わりにM+kS(但し、同様にkは0以上5以下の正数)を基準バックグラウンド値としてもよい。
本発明の特徴とする背景領域の統計処理を行って、基準バックグラウンド値を生成し、記憶するバックグラウンドデータ管理部66は、基本的に以上のように構成される。
【0028】
次に、検定部68は、バックグラウンドデータ管理部66の基準値生成部82で生成された基準バックグラウンド値を用いて注目領域の有意性を検定する。すなわち、検定部68は、操作者によって注目領域として設定され、図形データ生成部54で生成され、図形データ記憶部56の図形データベース76に記憶された図形データを読み出し、読み出された図形データに基づいて定量処理部58で生成され、定量データ記憶部60の定量データベース78に記憶された対応する注目領域の図形内の定量データ、ここでは設定された注目領域の全ての画素の強度データの平均値、すなわち平均強度データを読み出し、この注目領域の読みだされた平均強度データと、基準値生成部82で生成された基準バックグラウンド値とを比較し、平均強度データが基準バックグラウンド値より大きい注目領域は有意な領域であると判定し、平均強度データが基準バックグラウンド値以下の注目領域は有意な領域ではないと判定する。
【0029】
この後、検定部68から検定結果が結果データ生成部72に送られる。結果データ生成部72は、有意な領域であると判定された注目領域においては、定量データ記憶部60の定量データベース78、バックグラウンドデータ管理部66および検定部68に記憶されたデータに基づいて検定結果や定量値や解析値等の結果データを、例えば表データとして生成する。
例えば、結果データ生成部72は、バックグラウンドデータ管理部66から、対応する基準バックグラウンド値を算出し、さらに、有意な注目領域の図形の面積と基準バックグラウンド値との積を算出し、注目領域の図形のPSL値と、算出された積との差分値、すなわち、補正されたPSL値を算出して、これらの値を用いて、結果データを生成し、これを、ウィンドウメモリ74の所定の領域に展開する。ウィンドウメモリ74は、所定のタイミングで、展開された結果データを、CRT44に出力する。
ここで、結果データとしては、上記検定結果の他、有意な注目領域のPSL値、面積、単位面積あたりのPSL値、基準バックグラウンド値と図形の面積との積、PSL値と積との差分値すなわち補正されたPSL値、および、単位面積当たりの補正されたPSL値などが挙げられ、これらの結果データをCRT44に表示することができるが、さらに、図形ナンバーやバックグラウンドナンバーを表示してもよい。
【0030】
さらに、結果データ生成部72は、複数の図形がグループに分類されているとき、操作者の指示にしたがって、定量解析を行うことができるように構成されている。すなわち、あるグループに属する図形のPSL値の合計値に対するこのグループに属する各図形のPSL値もしくは補正されたPSL値の割合、または、あるグループに属するある図形の単位面積当たりのPSL値もしくは単位面積あたりの補正されたPSL値に対するこのグループに属する他の各図形の単位面積当たりのPSL値あるいは単位面積あたりの補正されたPSL値の割合などの定量解析値を算出し、これをウィンドウメモリ74を介して、CRT44の画面に表示することができる。
【0031】
上述した実施形態では、バックグラウンドデータ管理部66において、背景領域も注目領域と同様に図形データ生成部54で生成され、図形データ記憶部56に図形データベース76として記憶された図形データと、表示画像データ生成部52で生成された画像データとから定量処理部58で生成され、定量データ記憶部60に定量データベース78として記憶された画素毎の強度データなどの定量データを用いているが、本発明はこれに限定されず、操作者は入力装置を操作して、バックグラウンドデータ管理部66を起動し、基準バックグラウンド値を算出するためのバックグラウンド、すなわち背景領域の図形を選択し、かつ設定し、設定された背景領域の図形内の画素の強度データを画像データ記憶部42bに記憶された画像データから算出して用いてもよい。なお、バックグラウンドとは、蓄積性蛍光体シートZを露光する際に、宇宙線あるいは地中に含まれる放射線などにより、ほぼ均一に、蓄積性蛍光体シートZ上に生じるノイズ成分や蓄積性蛍光体シートから放射線画像情報を読み取る際に蓄積性蛍光体シート自体に起因するノイズ成分などをいう。このような蓄積性蛍光体シートZに基づき生成された画像データに対して、定量処理をする際には、このノイズ成分を取り除いて、図形に含まれる画像を構成する画素の濃度を調べる必要がある。すなわち、蓄積性蛍光体シートから読み取られた画像の各画素の強度データをより正確に算出することができるように、ノイズ成分であるバックグラウンドに対応するデータを画像の各画素の強度データから取り除く必要があるのは上述した通りである。
【0032】
本発明は、以上の実施例に限定されることなく、本発明の要旨を逸脱しない範囲において種々の改良や変更が可能であり、それらも本発明の範囲内に包含されるものであることはもちろんである。例えば、上記実施形態においては、蛋白質の薄層クロマトグラフィ(TLC)により生成されるオートラジオグラフィ画像を2次元画像の代表例として説明しているが、本発明は、かかるオートラジオグラフィに限定されることなく、例えば、サザン・ブロッティング法によるハイブリタイゼーション法を利用した遺伝子のオートラジオグラフィ画像、ポリアクリルアミドゲル電気泳動法によって、蛋白質の分離、同定、あるいは、分子量、特性の評価などをおこなうオートラジオグラフィ画像、マウスなどの実験動物における投与物質の代謝、吸収、排泄の経路、状態などを研究するためのオートラジオグラフィ画像などのオートラジオグラフィ画像を解析する場合はもとより、サザン・ブロット・ハイブリダイゼーション法を用いた遺伝子の化学発光画像、蛋白質の薄層クロマトグラフィによって生成された化学発光画像、ポリアクリルアミドゲル電気泳動法によって、蛋白質の分離、同定、あるいは、分子量、特性の評価などをおこなうための化学発光画像などの化学発光法を利用した化学発光画像を解析する場合にも、電子顕微鏡を用いて生成された金属あるいは非金属試料の電子線透過画像や電子線回折画像、生物体組織などの電子顕微鏡画像、さらには、金属あるいは非金属試料などの放射線回折画像を解析する場合にも、広く適用することができ、さらに、一般的な2次元画像、例えば、一般的な放射線画像、電子顕微鏡画像、化学発光画像を始めとして、航空写真画像や、衛星写真画像、天体写真画像などのように画像中の注目領域内の画像の有意性を検定する必要のある2次元画像を対象とする画像情報解析システム(画像解析方法および装置)に適用可能なことはもちろんである。
【0033】
また、上記実施形態においては、定量処理部58では、表示画像データ生成部52で生成された表示画像データを定量データを算出する定量処理に用いているが、本発明は、これに限定されず、注目領域であっても、背景領域であっても、画像データ記憶部42bに記憶された画像データそのものを定量データ算出に用いてもよい。
さらに、上記実施形態においては、定量データベース78は、PSL値および面積を示すデータを記憶するように構成されているが、単位面積当たりのPSL値あるいは単位面積当たりの補正されたPSL値を記憶するように構成してもよい。また、上記実施形態においては、蓄積性蛍光体シートZを用いて、試料中の放射性標識物質の位置情報を電気信号に変換して得た画像データを、CRT44の画面上に、可視画像として表示しているが、蓄積性蛍光体シートZに代えて、写真フィルムを用いて、一旦、可視画像を形成し、この可視画像を光電的に読み取り、電気信号に変換した画像データに対して、同様の処理をおこなうことも可能である。
【0034】
さらに、本明細書において、手段とは、必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウエアによって実現される場合も包含する。また、一つの手段の機能が二以上の物理的手段により実現されても、二以上の手段の機能が一つの物理的手段により実現されてもよい。
【0035】
【発明の効果】
本発明によれば、注目領域の有意性をより合理的に、かつ正確に検定でき、注目領域により画定された図形に含まれる画像を、正確に、定量処理および定量解析することができる。その結果、本発明によれば、たとえより弱い強度を持つ注目領域であってもより合理的で正確な有意性を検定できるので、より弱い強度の領域まで有効に計測することができる。又、従前の方法では画像に検出されなかったバックグラウンドの影響による疑似画像をデータとして切り捨てる客観的基準を与えることにより定量全体の客観性を高め得る。
【図面の簡単な説明】
【図1】 本発明に係る画像定量方法を実施する本発明の画像定量装置を適用するオートラジオグラフィシステムの一実施形態のブロック図である。
【図2】 図1に示すオートラジオグラフィシステムに用いられる画像読取装置の一実施形態の概略斜視図である。
【図3】 図1に示すオートラジオグラフィシステムに用いられる画像定量解析部の一実施形態のブロック図である。
【符号の説明】
10 画像定量装置
12 オートラジオグラフィシステム
14 画像読取装置
40 信号処理手段
42 画像データ記憶手段
44 画像表示装置(CRT)
48 制御部
50 画像定量解析部
52 表示画像データ生成部
54 図形データ生成部
56 図形データ記憶部
58 定量処理部
60 定量データ記憶部
62 表示図形データ生成部
64 画像合成部
66 バックグラウンドデータ管理部
68 検定部
72 結果データ生成部
74 ウィンドウメモリ
80 統計処理部
82 基準バックグラウンド値生成部(基準値生成部)

Claims (12)

  1. 2次元デジタル画像情報から定量を行うに際し、入力手段による入力指示に応じて、この2次元デジタル画像情報に基づく2次元画像において定量の対象となる注目領域の周辺に、当該注目領域を含まない背景領域を設定し、この背景領域内の全ての画素について画素毎の強度の統計分布を求め、この統計分布から得られる統計量から前記注目領域を有意な領域とするための基準となる前記注目領域の平均強度を求め、得られた基準平均強度に基づいて前記注目領域の有意性を検定することを特徴とする画像定量方法。
  2. 前記基準平均強度は、前記統計分布の統計量の中から選択される前記統計分布の代表値を用いて表され、前記統計分布は、前記背景領域の画素毎の強度のヒストグラムであることを特徴とする請求項1に記載の画像定量方法。
  3. 前記ヒストグラムは、前記代表値を求めるために平滑化されることを特徴とする請求項2に記載の画像定量方法。
  4. 前記代表値は、前記統計分布の平均値であり、前記基準平均強度であることを特徴とする請求項2または3に記載の画像定量方法。
  5. 前記代表値は、前記統計分布の平均値Aおよび標準偏差Sであり、前記基準平均強度は、A+kS(但し、kは0以上5以下の正数)であることを特徴とする請求項2または3に記載の画像定量方法。
  6. 前記代表値は、前記統計分布の最頻値Mおよび標準偏差Sであり、前記基準平均強度は、M+kS(但し、kは0以上5以下の正数)であることを特徴とする請求項2または3に記載の画像定量方法。
  7. 2次元デジタル画像情報から定量を行うための画像定量装置であって、
    入力手段と、前記2次元デジタル画像情報に基づく2次元画像を表示する手段と、前記入力手段による入力指示に応じて、表示された2次元画像において定量の対象となる注目領域の周辺に、当該注目領域を含まない背景領域を設定する手段と、この背景領域内の全ての画素について画素毎の強度の統計分布を求めるとともにこの統計分布から統計量を求める統計処理手段と、得られた統計量から前記注目領域を有意な領域とするための基準となる前記注目領域の平均強度を求める手段と、得られた基準となる平均強度に基づいて前記注目領域の有意性を検定する手段とを有することを特徴とする画像定量装置。
  8. 前記基準平均強度を求める手段は、前記統計分布の統計量の中から選択される前記統計分布の代表値を用いて前記基準平均強度を求め、前記統計処理手段は、前記統計分布として前記背景領域の画素毎の強度のヒストグラムを求めることを特徴とする請求項7に記載の画像定量装置。
  9. 前記統計処理手段は、前記代表値を求めるために前記ヒストグラムを平滑化することを特徴とする請求項8に記載の画像定量装置。
  10. 前記基準平均強度を求める手段は、前記代表値として前記統計分布の平均値を選択し、前記基準平均強度をこの平均値とすることを特徴とする請求項8または9に記載の画像定量装置。
  11. 前記基準平均強度を求める手段は、前記代表値として前記統計分布の平均値Aおよび標準偏差Sを選択し、前記基準平均強度をA+kS(但し、kは0以上5以下の正数)として求めることを特徴とする請求項8または9に記載の画像定量装置。
  12. 前記基準平均強度を求める手段は、前記代表値として前記統計分布の最頻値MおよびMに対する標準偏差Sを選択し、前記基準平均強度をM+kS(但し、kは0以上5以下の正数)として求めることを特徴とする請求項8または9に記載の画像定量装置。
JP10178699A 1999-04-08 1999-04-08 画像定量方法および装置 Expired - Fee Related JP4101392B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP10178699A JP4101392B2 (ja) 1999-04-08 1999-04-08 画像定量方法および装置
DE10017365A DE10017365A1 (de) 1999-04-08 2000-04-07 Verfahren und Vorrichtung zur Bildquantifizierung
US09/545,836 US6687394B1 (en) 1999-04-08 2000-04-10 Method and apparatus for quantifying image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10178699A JP4101392B2 (ja) 1999-04-08 1999-04-08 画像定量方法および装置

Publications (3)

Publication Number Publication Date
JP2000292542A JP2000292542A (ja) 2000-10-20
JP2000292542A5 JP2000292542A5 (ja) 2005-06-09
JP4101392B2 true JP4101392B2 (ja) 2008-06-18

Family

ID=14309873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10178699A Expired - Fee Related JP4101392B2 (ja) 1999-04-08 1999-04-08 画像定量方法および装置

Country Status (3)

Country Link
US (1) US6687394B1 (ja)
JP (1) JP4101392B2 (ja)
DE (1) DE10017365A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1249501A3 (en) * 2001-04-09 2008-03-19 FUJIFILM Corporation Stimulable phosphor sheet and method for reading biochemical analysis data recorded in stimulable phosphor sheet
US7835559B1 (en) * 2007-04-27 2010-11-16 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for quantitative and comparative analysis of image intensities in radiographs
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5499384B2 (ja) * 2010-06-30 2014-05-21 独立行政法人日本原子力研究開発機構 放射能量測定方法及び装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630304A (en) * 1985-07-01 1986-12-16 Motorola, Inc. Automatic background noise estimator for a noise suppression system
US4975970A (en) * 1987-03-18 1990-12-04 General Electric Company Image display having automatic image adjustment
US5025480A (en) * 1987-03-23 1991-06-18 Eastman Kodak Company Background referencing
JPH02206882A (ja) * 1989-02-07 1990-08-16 Tech Res & Dev Inst Of Japan Def Agency 画像処理装置
US5046118A (en) * 1990-02-06 1991-09-03 Eastman Kodak Company Tone-scale generation method and apparatus for digital x-ray images
US5506917A (en) * 1990-07-13 1996-04-09 Nippon Telegraph And Telephone Corporation Thresholding method for segmenting gray scale image, method for determining background concentration distribution, and image displacement detection method
US5214744A (en) * 1990-12-14 1993-05-25 Westinghouse Electric Corp. Method and apparatus for automatically identifying targets in sonar images
US5181254A (en) * 1990-12-14 1993-01-19 Westinghouse Electric Corp. Method for automatically identifying targets in sonar images
US5268967A (en) * 1992-06-29 1993-12-07 Eastman Kodak Company Method for automatic foreground and background detection in digital radiographic images
JP3713302B2 (ja) * 1994-04-15 2005-11-09 富士写真フイルム株式会社 画像形成装置
JPH0843538A (ja) * 1994-05-25 1996-02-16 Fuji Photo Film Co Ltd 画像解析装置
US5588071A (en) * 1994-10-26 1996-12-24 Minnesota Mining And Manufacturing Company Identifying an area of interest using histogram data arranged in predetermined sequence
JPH08184599A (ja) * 1994-12-28 1996-07-16 Fuji Photo Film Co Ltd オートラジオグラフィ画像解析装置
JP3571819B2 (ja) * 1995-01-09 2004-09-29 富士写真フイルム株式会社 生化学画像解析装置
JPH09167227A (ja) * 1995-12-19 1997-06-24 Oki Electric Ind Co Ltd 画像処理装置
US5606587A (en) * 1996-03-21 1997-02-25 Eastman Kodak Company Determination of direct x-ray exposure regions in digital medical imaging
US5881166A (en) * 1996-11-21 1999-03-09 Xerox Corporation Method and system for generating a histogram of a scanned image
US6259807B1 (en) * 1997-05-14 2001-07-10 Applied Imaging Corp. Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images
US6353674B1 (en) * 1997-06-05 2002-03-05 Agfa-Gevaert Method of segmenting a radiation image into direct exposure area and diagnostically relevant area
US6198845B1 (en) * 1997-07-01 2001-03-06 Xerox Corporation Method for determining document background for adjusting the dynamic range of an image of the document
US5903660A (en) * 1997-07-16 1999-05-11 The Regents Of The University Of California Automatic background recognition and removal (ABRR) in projection digital radiographic images (PDRI)
US6415062B1 (en) * 1998-03-05 2002-07-02 Ncr Corporation System and process for repairing a binary image containing discontinuous segments of a character
US6363162B1 (en) * 1998-03-05 2002-03-26 Ncr Corporation System and process for assessing the quality of a signature within a binary image
US6222642B1 (en) * 1998-08-10 2001-04-24 Xerox Corporation System and method for eliminating background pixels from a scanned image
US6120445A (en) * 1998-10-02 2000-09-19 Scimed Life Systems, Inc. Method and apparatus for adaptive cross-sectional area computation of IVUS objects using their statistical signatures

Also Published As

Publication number Publication date
US6687394B1 (en) 2004-02-03
DE10017365A1 (de) 2000-10-12
JP2000292542A (ja) 2000-10-20

Similar Documents

Publication Publication Date Title
US4389670A (en) Electronic method for autofluorography of macromolecules on two-D matrices
JPH1021373A (ja) 画像解析装置
JPWO2020022038A1 (ja) 情報処理装置、情報処理方法、情報処理システム、およびプログラム
JP3571819B2 (ja) 生化学画像解析装置
JP4101392B2 (ja) 画像定量方法および装置
US20050219534A1 (en) Method and system for reading optical information
US6343142B1 (en) Image analyzing apparatus
JP3851699B2 (ja) 画像解析装置
JPH11352299A (ja) 蛍光板
JP3571801B2 (ja) 画像解析装置
JPH0843538A (ja) 画像解析装置
EP0677823B1 (en) Image analyzing apparatus
US5831275A (en) Image forming apparatus
US6256405B1 (en) Image forming apparatus
JP2000292543A (ja) 画像定量方法および装置
JP3330246B2 (ja) 画像解析装置
JPH0814862A (ja) 画像解析装置
JP3713302B2 (ja) 画像形成装置
JP2002189265A (ja) 放射線画像読取方法および装置
JP2000163591A (ja) 画像解析装置
JPH07320038A (ja) オートラジオグラフィ画像解析装置
JPH09212671A (ja) 画像処理装置
JPH1051639A (ja) 画像処理装置
JPH09212625A (ja) 画像処理装置
JPH09190540A (ja) 画像形成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040827

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees