JP3550203B2 - 画像解析装置 - Google Patents
画像解析装置 Download PDFInfo
- Publication number
- JP3550203B2 JP3550203B2 JP00201695A JP201695A JP3550203B2 JP 3550203 B2 JP3550203 B2 JP 3550203B2 JP 00201695 A JP00201695 A JP 00201695A JP 201695 A JP201695 A JP 201695A JP 3550203 B2 JP3550203 B2 JP 3550203B2
- Authority
- JP
- Japan
- Prior art keywords
- profile
- image
- data
- peak
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Conversion Of X-Rays Into Visible Images (AREA)
- Image Analysis (AREA)
Description
【産業上の利用分野】
本発明は、画像解析装置に関するものであり、さらに詳細には、表示された画像中に画定された領域の画素に対応する画像データのプロファイルを生成し、このプロファイル中のピークを認識する画像解析装置に関するものである。
【0002】
【従来の技術】
放射性標識を付与した物質を、生物体に投与した後、その生物体あるいはその生物体の組織の一部を試料とし、この試料を、高感度X線フィルムなどの放射線フィルムに一定時間重ね合わせることによって、放射線フィルムを感光させ或いは露光し、放射線フィルムの感光された部位に基づき、試料中の放射性標識物質の位置情報を得るようにしたオートラジオグラフィ検出方法や、蛋白質、核酸配列などの固定された高分子を、化学発光物質と接触して、化学発光を生じさせる標識物質により、選択的に標識し、標識物質によって選択的に標識された高分子と、化学発光物質とを接触させて、化学発光物質と標識物質との接触によって生ずる可視光波長域の化学発光を検出することによって、遺伝子情報などの高分子に関する情報を得るようにした化学発光検出方法、金属試料などに電子線を照射し、試料の回折像あるいは透過像などを検出して、元素分析、試料の組成解析、試料の構造解析などをおこなう電子顕微鏡による検出方法、放射線を試料に照射し、得られた放射線回折像を検出して、試料の構造解析などをおこなう放射線回折画像検出方法などが知られている。
【0003】
これらの方法においては、従来、得られたオートラジオグラフィ画像や、化学発光画像、電子顕微鏡画像、放射線回折画像などを、写真フイルムに記録し、観察をしていたが、写真フイルムの階調特性の問題もあり、写真フイルムに記録されたこれらの画像は、鮮明でないことが多く、所望の検出をなし得ない場合が多々あった。
そこで、従来の写真フイルムに代えて、放射線、電子線などが照射されると、そのエネルギーを吸収して、蓄積し、その後に、特定の波長域の電磁波を用いて励起すると、照射された放射線、可視光、電子線などのエネルギーの量に応じた光量の輝尽光を発する特性を有する輝尽性蛍光体を、放射線、電子線などの検出材料として用い、輝尽性蛍光体から発せられた輝尽光を、光電的に検出して、ディジタル信号に変換し、所定の画像処理を施した後に、CRT画面などの表示手段あるいは写真フイルム上に再生するようにしたオートラジオグラフィ検出方法、化学発光検出方法、電子顕微鏡による検出方法、放射線回折画像検出方法が提案されている(たとえば、特公平1−60784号公報、特公平1−60782号公報、特公平4−3952号公報、特開平3−205550号公報、特開平4−232864号公報、特開昭61−51738号公報、特開昭61−93538号公報、特開昭59−15843号公報など)。
【0004】
この輝尽性蛍光体を用いた検出方法によれば、写真フイルムの階調特性によって、得られる画像の階調が制限されることもなく、また、得られたディジタル信号に、所望のように、画像処理を施すことにより、観察適性の向上した画像を再生することができるという利点がある。
【0005】
【発明の解決しようとする課題】
オートラジオグラフィ検出方法の分野においては、輝尽性蛍光体を検出材料として用い、オートラジオグラフィ画像をディジタル化した画像信号の信号レベルに応じて、自動的に、CRT画面などの表示手段あるいは写真フイルム上に、所望の階調を有するオートラジオグラフィ画像を再生するようにしたオートラジオグラフィ画像表示/解析装置が知られている。
あるオートラジオグラフィ画像表示/解析装置は、CRTなどの表示装置に再生された画像中に所望の直線、矩形などの図形をマウスなどの入力装置を用いて指定し、この図形により画定される領域の画素に対応する画像データの値を、所定の方向に向かって一次元に展開し、展開された結果をグラフに表したプロファイルを生成し、このプロファイルを表示装置の画面中の所定のウィンドウに表示することができるように構成されている。このプロファイルは、特に、DNA、RNA、蛋白などを、一次元方向に展開し、或いは、泳動させたバンドの位置と量とを観察する際に有用である。
前述したバンドに対応する領域を定量するために、プロファイル上に存在するピークの量、すなわち、ピークを含む所定の領域のデータの積算値を求めることが多い。この際に、従来のオートラジオグラフィ画像表示/解析装置においては、マウスポインタ等を用いて、表示装置に表示されたプロファイル上に始点および終点が指定され、この範囲に含まれるデータが積算されて、ピークの量が求められていた。その一方、プロファイル上のピークを自動的に認識しようとする試みがなされているが、このような試みにおいては、プロファイルに対応するプロファイル曲線を微分して、微分により得られた曲線と、ゼロレベルとが一致する点、すなわち、ゼロクロス点を認識し、このゼロクロス点に基づいて、プロファイル曲線のピーク点および谷点を自動認識している。
【0006】
しかしながら、ノイズを多く含む画像に基づいて得られたプロファイル曲線は、微小な振動成分、すなわち、ノイズ成分を多く含むため、微分により得られた曲線も、多くのゼロクロス点を含み、その結果、ノイズ成分によって生じる微小なピーク点および谷点を認識する場合が多い。
したがって、プロファイル曲線を平滑化し、平滑化された曲線を微分して微分により得られた曲線から、プロファイル曲線のピーク点および谷点を認識する手法が提案されている。しかしながら、このような手法を用いたオートラジオグラフィ画像表示/解析装置においては、操作者が、平滑化のためのパラメータを、プロファイル曲線の性質にしたがって、プロファイルごとに設定する必要があり、手続きが煩雑化するという問題点があった。
オートラジオグラフィ画像や、化学発光画像、電子顕微鏡画像、放射線回折画像などを、一旦、写真フイルムに記録し、記録された画像を光電的に読み取り、ディジタル信号化し、得られた画像信号に、所望の信号処理を施すことにより、CRT画面などの表示手段や写真フイルム上に再生する場合にも、同様な問題が生ずる。
【0007】
【発明の目的】
本発明は、画像に含まれるノイズの量の多少にかかわらず、適切にプロファイルのピークを自動的に認識することができる画像解析装置を提供することを目的とする。
【0008】
【発明の構成】
本発明の目的は、画像データに所定の処理を施す画像データ処理手段と、前記画像データに基づく画像を表示する表示手段と、前記表示手段に表示された画像中の所望の位置に生成された図形領域に関するプロファイルを示すプロファイルデータを生成するプロファイル生成手段とを備え、前記プロファイルを、前記表示手段に表示するように構成された画像解析装置であって、前記プロファイル中に含まれるノイズの度合いを示すノイズレベルデータを生成するノイズレベルデータ生成手段と、前記ノイズレベルデータにしたがって前記プロファイルを平滑化し、得られた平滑化プロファイルに基づいて、前記プロファイル中のピークを示すピークデータを生成するピーク認識手段とを備え、前記ノイズレベルデータ生成手段が、前記プロファイルに対応するプロファイル曲線を微分した微分曲線を生成し、前記プロファイル中の所定の軸に対応する前記領域の所定の軸方向に存在するデータの数と、前記微分曲線に含まれるゼロクロス点の数とに基づいて、ノイズレベルデータを生成するように構成されている画像解析装置によって達成される。
【0009】
本発明のさらに好ましい実施態様においては、前記ピーク認識手段が、前記プロファイルに対応するプロファイル曲線に平滑化微分処理を施すように構成されている。
本発明のさらに好ましい実施態様においては、前記ピーク認識手段が、前記ノイズレベルデータにより示される値に基づいて、少なくとも、前記プロファイル曲線に関する微分曲線に基づいてピークを認識すべきか、或いは、前記プロファイル曲線に平滑化微分処理を施して得られた曲線に基づいてピークを認識すべきかを判断するように構成されている。
本発明のさらに好ましい実施態様においては、前記ピーク認識手段が、前記ノイズレベルデータにより示される値に基づいて、少なくとも、前記プロファイル曲線に平滑化微分処理を施す際に使用すべきポイント数を選択するように構成されている。
本発明のさらに好ましい実施態様においては、前記画像が、オートラジオグラフィ画像、放射線回折画像、電子顕微鏡画像および化学発光画像よりなる群から選ばれる画像により構成されている。
【0010】
本発明のさらに好ましい実施態様においては、オートラジオグラフィ画像、放射線回折画像または電子顕微鏡画像が、試料から発せられる放射線または電子線を、輝尽性蛍光体に蓄積、吸収させ、しかる後に、前記輝尽性蛍光体に、電磁波を照射して、該輝尽性蛍光体から発せられた光を光電変換することにより得ている。
本発明のさらに好ましい実施態様においては、化学発光画像が、試料から発せられる可視光を、輝尽性蛍光体に蓄積、吸収させ、しかる後に、前記輝尽性蛍光体に、電磁波を照射して、該輝尽性蛍光体から発せられた光を光電変換することにより得ている。
本発明において、オートラジオグラフィ画像、放射線回折画像または電子顕微鏡画像を生成するために使用することのできる輝尽性蛍光体としては、放射線または電子線のエネルギーを蓄積可能で、電磁波によって励起され、蓄積している放射線または電子線のエネルギーを光の形で放出可能なものであればよく、とくに限定されるものではないが、可視光波長域の光によって励起可能であるものが好ましい。具体的には、たとえば、特開昭55−12145号公報に開示されたアルカリ土類金属弗化ハロゲン化物系蛍光体(Ba1−x,M2+x)FX:yA(ここに、M2+はMg、Ca、Sr、ZnおよびCdからなる群より選ばれる少なくとも一種のアルカリ土類金属元素、XはCl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲン、AはEu、Tb、Ce、Tm、Dy、Pr、He、Nd、YbおよびErからなる群より選ばれる少なくとも一種の3価金属元素、xは0≦x≦0.6、yは0≦y≦0.2である。)、特開平2−276997号公報に開示されたアルカリ土類金属弗化ハロゲン化物系蛍光体SrFX:Z(ここに、XはCl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲン、ZはEuまたはCeである。)、特開昭59−56479号公報に開示されたユーロピウム付活複合ハロゲン物系蛍光体BaFX・xNaX’:aEu2+(ここに、XおよびX’はいずれも、Cl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲンであり、xは0<x≦2、aは0<a≦0.2である。)、特開昭58−69281号公報に開示されたセリウム付活三価金属オキシハロゲン物系蛍光体であるMOX:xCe(ここに、MはPr、Nd、Pm、Sm、Eu、Tb、Dy、He、Er、Tm、YbおよびBiからなる群より選ばれる少なくとも一種の三価金属元素、XはBrおよびIのうちの一方あるいは双方、xは、0<x<0.1である。)、特開昭60−101179号公報および同60−90288号公報に開示されたセリウム付活希土類オキシハロゲン物系蛍光体であるLnOX:xCe(ここに、LnはY、La、GdおよびLuからなる群より選ばれる少なくとも一種の希土類元素、XはCl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲン、xは、0<x≦0.1である。)および特開昭59−75200号公報に開示されたユーロピウム付活複合ハロゲン物系蛍光体MIIFX・aMI X’・bM’II X’’z2+cMIII X’’1 3・xA:yEu2+(ここに、MIIはBa、SrおよびCaからなる群より選ばれる少なくとも一種のアルカリ土類金属元素、MI はLi、Na、K、RbおよびCsからなる群より選ばれる少なくとも一種のアルカリ金属元素、M’II はBeおよびMgからなる群より選ばれる少なくとも一種の二価金属元素、MIII はAl、Ga、InおよびTlからなる群より選ばれる少なくとも一種の三価金属元素、Aは金属酸化物、XはCl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲン、X’、X’’およびX’’1 はF、Cl、BrおよびIからなる群より選ばれる少なくとも一種のハロゲンであり、aは、0≦a≦2、bは、0≦b≦10−2、cは、0≦c≦10−2で、かつ、a+b+c≧10−2であり、xは、0<x≦0.5で、yは、0<y≦0.2である。)が、好ましく使用し得る。
【0011】
本発明において、化学発光画像を生成するために、使用することのできる輝尽性蛍光体としては、可視光波長域の光のエネルギーを蓄積可能で、電磁波によって励起され、蓄積している可視光波長域の光のエネルギーを光の形で放出可能なものであればよく、とくに限定されるものではないが、可視光波長域の光によって励起可能であるものが好ましい。具体的には、たとえば、特開平4−232864号公報に開示された金属ハロリン酸塩系蛍光体、希土類元素付活蛍光体、アルミン酸塩系蛍光体、珪酸塩系蛍光体、フッ化物系蛍光体が、好ましく使用し得る。
【0012】
【作用】
本発明によれば、ノイズの度合いを示すノイズレベルデータにしたがって、プロファイルが平滑化され、得られた平滑化プロファイルに基づいて、ピークが認識されるため、画像に含まれるノイズの量、すなわち、プロファイルに含まれるノイズの量の多少にかかわらず、適切にプロファイルのピークを認識することが可能となる。更に、所定の軸方向に存在するデータの数と、微分曲線に含まれるゼロクロス点の数とに基づいて、ノイズレベルデータが決定されるため、比較的簡単な処理により、適切に、ノイズの度合いを判断することが可能となる。
【0013】
【実施例】
以下、添付図面に基づいて、本発明の実施例につき、詳細に説明を加える。
図1は、本発明の実施例にかかる画像表示/解析装置により、表示すべき画像データを生成する画像読み取り装置の略斜視図である。
図1において、蓄積性蛍光体シート1は、輝尽性蛍光体からなる輝尽性蛍光体層(図示せず)を有し、輝尽性蛍光体層には、試料(図示せず)の画像が、電子線エネルギーの形で蓄積されている。
本実施例においては、オートラジオグラフィの画像検出材料として、蓄積性蛍光体シート1が用いられおり、試料(図示せず)中の放射性標識物質から放出された放射性物質のエネルギーが、蓄積性蛍光体シート1の輝尽性蛍光体層に蓄積されている。
こうして、放射性物質のエネルギーが蓄積された蓄積性蛍光体シート1の輝尽性蛍光体層を、レーザ光2によって、走査して、輝尽性蛍光体を励起し、輝尽光を発光させる。
レーザ光2は、レーザ光源3により発生され、フィルタ4を通過することにより、レーザ光2による励起によって蓄積性蛍光体シート1から発生する輝尽光の波長領域に対応する波長領域の部分がカットされる。次いで、レーザ光2は、ビーム・エクスパンダ5により、そのビーム径が正確に調整され、ガルバノミラー等の光偏向器6に入射する。光偏向器6によって偏向されたレーザ光2は、fθレンズ7を介して、平面反射鏡8により反射され、蓄積性蛍光体シート1上に、一次元的に入射する。fθレンズ7は、蓄積性蛍光体シート1上を、レーザ光2により走査するときに、つねに、均一のビーム速度で、走査がなされることを保証するものである。
【0014】
このようなレーザ光2による走査と同期して、蓄積性蛍光体シート1は、図1において、矢印Aの方向に移動され、その全面が、レーザ光2によって走査されるようになっている。
蓄積性蛍光体シート1は、レーザ光2が照射されると、蓄積記録していた電子線エネルギーに比例する光量の輝尽光を発光し、発光した輝尽光は、導光性シート9に入射する。
導光性シート9は、その受光端部が直線状をなし、蓄積性蛍光体シート1上の走査線に対向するように近接して配置され、また、その射出端部は、円環状をなし、フォトマルチプライアなどの光電変換型の光検出器10の受光面に接続されている。この導光性シート9は、アクリル系合成樹脂などの透明な熱可塑性樹脂シートを加工して作られており、受光端部から入射した光が、その内面で、全反射を繰り返しながら、射出端部を経て、光検出器10の受光面に伝達されるように、その形状が定められている。
したがって、レーザ光2の照射に応じて、蓄積性蛍光体シート1から発光した輝尽光は、導光性シート9に入射し、その内部で、全反射を繰り返しながら、射出端部を経て、光検出器10によって受光される。
【0015】
光検出器10の受光面には、蓄積性蛍光体シート1から発光される輝尽光の波長領域の光のみを透過し、レーザ光2の波長領域の光をカットするフィルタが貼着されており、光検出器10は、蓄積性蛍光体シート1から発光された輝尽光のみを光電的に検出するように構成されている。
光検出器10によって光電的に検出された輝尽光は、電気信号に変換され、所定の増幅率を有する増幅器11によって、所定のレベルの電気信号に増幅された後、A/D変換器12に入力される。電気信号は、A/D変換器12において、信号変動幅に適したスケールファクタで、ディジタル信号に変換され、ラインバッファ13に入力される。ラインバッファ13は、走査線1列分の画像データを一時的に記憶するものであり、以上のようにして、走査線1列分の画像データが記憶されると、そのデータを、ラインバッファ13の容量よりもより大きな容量を有する送信バッファ14に出力し、送信バッファ14は、所定の容量の画像データが記憶されると、画像データを、画像表示/解析装置に出力するように構成されている。
図2は、本発明の実施例にかかる画像表示/解析装置および画像読み取り装置のブロックダイアグラムである。
【0016】
図2において、画像表示/解析装置30は、蓄積性蛍光体シート1に蓄積記録され、画像読み取り装置20により読み取られて、ディジタル信号に変換された試料のオートラジオグラフィ画像の画像データを受け、濃度、色調、コントラストなどが適正で、観察解析特性に優れた可視画像を再生し得るように、信号処理を施す信号処理手段40と、画像読み取り装置20から信号処理手段40に与えられた画像データを記憶する画像データ記憶手段50と、メインウィンドウおよび複数のサブウィンドウ上に画像を表示することができるように構成され、試料のオートラジオグラフィ画像の画像データを画像として再生するCRT60と、観察者が所望の情報を入力することができる入力装置70とを備えている。
画像読み取り装置20の送信バッファ14に、一時的に記憶された画像データは、画像表示/解析装置30の信号処理手段40の受信バッファ41に入力されて、一時的に記憶され、受信バッファ41内に、所定量の画像データが記憶されると、記憶された画像データが、画像データ記憶手段50の画像データ一時記憶部51に出力され、記憶される。このようにして、画像読み取り装置20の送信バッファ14から、信号処理手段40の受信バッファ41に送られ、一時的に記憶された画像データは、さらに、受信バッファ41から、画像データ記憶手段50の画像データ一時記憶部51に記憶される。こうして、蓄積性蛍光体シート1の全面を、レーザ光2によって走査して得られた画像データが、画像データ記憶手段50の画像データ一時記憶部51に記憶されると、信号処理手段40の制御部42は、画像データ一時記憶部51から画像データを読み出し、これに必要な信号処理を施した後、このような画像データのみを、画像データ記憶手段50の画像データ記憶部52に記憶させる。
【0017】
画像データ記憶手段50の画像データ記憶部52に記憶された画像データは、観察者が、画像を観察解析するために、制御部42の所定の指示にしたがって、信号処理部43により、読み出されて、CRT60の画面上に表示されるようになっている。
図3は、本発明の実施例にかかる画像表示/解析装置の信号処理部およびこれに関連する周辺部を示すブロックダイアグラムである。図3に示すように、信号処理部43は、画像記憶部52の所定の領域に記憶された画像データを読みだし、これを一時的に記憶するとともに、所定の処理を施してCRT60に表示可能な表示画像データを生成する表示画像生成部82と、操作者が入力装置を用いて設定する画像中の直線などの位置を示す位置データを含む図形データを生成する図形データ生成部84と、図形データ生成部84により生成された図形データを記憶する図形データ記憶部86と、図形データに含まれる位置データに基づいて、表示画像生成部82に一時的に記憶されている画像データから、所定の画像データを読みだし、これらのデータ値を一次元に展開したプロファイルに対応するプロファイルデータを生成するプロファイル生成部88と、プロファイル生成部88により生成されたプロファイルに基づくプロファイル曲線のピークを認識し、該ピークを示すピークデータを生成するピーク認識部90と、表示画像生成部82により生成された表示画像データおよび図形データ生成部84により生成された図形データとに基づき、第1の合成画像データを生成するとともに、プロファイル生成部88により生成されたプロファイルデータおよびピーク認識部90により生成されたピークデータとに基づき、第2の合成画像データを生成する画像合成部92と、画像合成部90からの合成画像データを展開するウィンドウメモリ94とを備えている。
【0018】
表示画像生成部82は、操作者が入力装置を用いて与えた指示にしたがって、画像記憶部52の所定の領域に記憶された画像データを読みだし、この画像データを一時的に記憶する。本実施例において、画像データを構成する単位画像データ、すなわち、一画素に対応するデータの値は、0ないし4095の何れかとなっている。その一方、CRTに表示可能な一画素に対応する単位表示画像データは、0から255の値の何れかであるような値(グレイレベル)から構成されている。したがって、表示画像生成部82は、データ変換テーブル(図示せず)にしたがって、その値が0ないし4095の何れかである単位画像データを、所定のグレイレベルから構成される単位表示画像データに変換し、単位表示画像データから構成される表示画像データを生成し、これを画像合成部92に出力する。後述するように、CRT60に画面上に表示された画像上に所望の図形がマウスなどにより設定され、それにしたがって図形データ生成部84などが作動する以前には、図形データ生成部84などから画像合成部92には、何も出力されていない。したがって、この場合には、画像合成部92からは、表示画像データが、第1の合成画像データとしてウィンドウメモリ94に出力され、CRT60の画面のメインウィンドウ上には、表示画像データに対応する画像が再生される。
【0019】
図形データ生成部84は、操作者がマウスなどの入力装置を使用して、CRT60の画面のメインウィンドウ上に表示された画像中の所望の位置に、所望の形状、大きさなどを有する図形を配置するときに、この図形に図形ナンバーを与え、図形種を示す図形種データおよび図形の配置された位置を示す位置データを含む図形データを、図形データ記憶部86の図形データベース中の与えられた図形ナンバーに対応する領域に記憶する。CRT60の画面のメインウィンドウ上に表示された画像に配置することができる図形には、少なくとも、直線および矩形が含まれる。また、図形データ生成部84により生成された図形データは、画像合成部92に出力される。
プロファイル生成部88は、図形データ記憶部86の図形データベースー中の所定の領域に記憶された図形データに基づいて、CRT60の画面のメインウィンドウ上に表示された画像中に配置された対応する図形により画定される領域の画素に対応する画像データを、表示画像生成部82に一時的に記憶された画像データから読みだし、この画像データを構成する単位画像データの値、すなわち、各画素の濃度値のプロファイルに対応するプロファイルデータを生成し、このプロファイルデータを、画像合成部92およびピーク認識部90に出力する。たとえば、画像中に配置された図形が直線である場合には、対応するプロファイルは、画像中で、この直線上に存在する画素に対応する単位画像データの値を、この直線に対応する軸上にプロットしたものとなる。これに対して、画像中に配置された図形が矩形である場合には、対応するプロファイルは、矩形により画定される領域の画素のうち、矩形の短辺方向に存在する画素に対応する単位画像データの値を、それぞれ積算し、得られた積算値を、長辺方向に対応する軸上にプロットしたものとなる。
【0020】
プロファイル生成部88により生成されたプロファイルデータは、画像合成部92に出力され、次いで、ウィンドウメモリ94に展開されて、CRT60の画面の所定のサブウィンドウ上に表示される。図4は、DNAの電気泳動に基づくオートラジオグラフィ画像の所定の領域に直線からなる図形を配置し、その結果、CRT60の画面のサブウィンドウ上に表示されるプロファイルの一例を示す図である。このように、プロファイルを表示することにより、観察者は、各画素の濃度値の大小を示すグラフを観察することができる。
ピーク認識部90は、図5に示すように、プロファイルデータに基づくプロファイル曲線を微分して、微分曲線を示す微分データを得る微分処理部100と、微分曲線に基づいて、プロファイルに含まれるノイズの程度を示すノイズレベルデータを生成するノイズレベル算出部102と、ノイズレベルデータに基づき、プロファイル曲線に、平滑化微分処理を施し、平滑化微分曲線を示す平滑化微分データを得て、これに基づいて、プロファイル曲線のピークを認識する認識処理部104から構成されている。
ノイズレベル算出部102は、画像中に配置された直線或いは矩形の長辺の方向に対応する軸上で、微分データに対応する微分曲線が、ゼロレベルと交差する点、すなわち、ゼロクロス点の数を算出するとともに、この軸上に存在する画素数を算出し、これらに基づいて、一画素あたりいくつのゼロクロス点が存在するかを示す単位ゼロクロス数を算出する。次いで、この単位ゼロクロス数が、予め定められたどのレベルに含まれるかを判断し、これに基づいて、生成されたノイズレベルデータを認識処理部104に与える。
【0021】
実施例においては、4段階のレベルが設けられており、単位ゼロクロス数に基づいて、第1レベルを示すノイズレベルデータ、第2レベルを示すノイズレベルデータ、第3レベルを示すノイズレベルデータ、或いは、第4レベルを示すノイズレベルデータが出力される。
認識処理部104は、ノイズレベルデータの示すレベルに基づき、プロファイル曲線を平滑化微分するためのレベルを決定する。本実施例においては、認識処理部104は、ノイズレベルデータが示す4つのレベルに対応して、4段階の処理ができるように構成されている。すなわち、第1レベルの場合には、プロファイル曲線に平滑化微分を施すことなく、微分処理部100により得られた微分曲線に基づいて、ピークの認識処理をおこない、第2レベルの場合には、プロファイル曲線に7点平滑化微分を施して、得られた平滑化微分曲線に基づいてピークの認識処理を行い、第3レベルの場合には、プロファイル曲線に13点平滑化微分を施して、得られた平滑化微分曲線に基づいてピークの認識処理を行い、第4レベルの場合には、プロファイル曲線に17点平滑化微分を施して、得られた平滑化微分曲線に基づいてピークの認識処理を行っている。
【0022】
さらに、認識処理部104は、ピークが現れる順に該ピークに番号を付与し、この番号およびピークの位置を示すピークデータを生成し、これを画像合成部92に出力する。
画像合成部92は、表示画像データと図形データとを合成した第1の合成画像データ、および、プロファイルデータとピークデータとを合成した第2の合成画像データを生成し、これらがウィンドウメモリ94に展開され、第1の合成画像データに対応する画像が、CRT60の画面のメインウィンドウ上に表示されるとともに、第2の合成画像データに対応する画像が、CRT60の画面のサブウィンドウ上に表示される。
以上のように構成された画像表示/解析装置の動作を説明する。観察者が、入力装置70を用いて所定の指令を与えると、画像記憶部52の所定の領域に記憶されていた画像データが、表示画像生成部82により読みだされ、一時的に記憶される。表示画像生成部82は、この画像データに基づき、表示画像データを生成し、これを画像合成部90に出力する。前述したように、この時点では、画像合成部90には、図形データ生成部84からの図形データが与えられていないため、画像合成部90は、表示画像データをウィンドウメモリ92に出力し、これに対応する画像が、CRT60の画面のメインウィンドウ上に再生される。
【0023】
次いで、観察者が、マウスなど入力装置70を用いて、CRT60の画面のメインウィンドウ上に再生された画像中の所望の位置に、所定の形状、大きさなどを有する図形を配置する旨の指示を与えると、図形データ生成部84は、この図形に所定の図形ナンバーを付与するとともに、この図形に関する図形種データおよび位置データを含む図形データを生成し、これを図形データ記憶部86の図形データベース中の与えられた図形ナンバーに対応する領域に記憶するとともに、図形データを、画像合成部90に出力する。画像合成部90は、表示画像データと図形データとを合成し、その結果、操作者により配置された図形が、CRT60の画面のメインウィンドウ上に再生された画像中に現れるとともに、図形データ生成部により付与された図形ナンバーも、この画像中に現れる。
さらに、観察者が、マウスなど入力装置70を用いて、所定の図形ナンバーを与えられた図形により画定される領域のプロファイルを求める旨の指示を与えると、プロファイル生成部88は、図形データ記憶部86の図形データベース中の図形ナンバーに対応する領域から、図形データを読みだし、この図形データに基づく図形により画定される領域の画素に対応する画像データを読みだし、これに基づいて、プロファイルデータを生成する。
【0024】
ここに、図6は、図4と同様に、DNAの電気泳動に基づくオートラジオグラフィ画像の所定の領域に直線からなる図形を配置し、その結果、CRT60の画面のサブウィンドウ上に表示されるプロファイルの他の例を示す図である。図4および図6から、図6に示すプロファイルの基礎となった画像のノイズのレベルは、図4に示すプロファイルの基礎となった画像のノイズのレベルよりも、著しく大きいことが理解されるであろう。
次いで、観察者が、マウスなど入力装置70を使用して、プロファイルのピークを認識するよう指示すると、ピーク認識部90は、プロファイル生成部88から、プロファイルデータを読みだし、ピーク認識部90の微分処理部100が、このプロファイルに基づくプロファイル曲線を微分して、微分曲線を示す微分データを得る。ここに、図4に示すプロファイルに対応する微分曲線を、図7に示し、これに対して、図6に示すプロファイルに対応する微分曲線を、図8に示す。
微分処理部100により生成された微分データは、ノイズレベル算出部102に与えられ、ノイズレベル算出部102は、この微分データに基づいて、ノイズレベルデータを生成する。たとえば、図7に示す微分曲線に対応する微分データに基づいて得られた単位ゼロクロス数に基づき、第1レベルを示すノイズレベルデータが生成され、図8に示す微分曲線に対応する微分データに基づいて得られた単位ゼロクロス数に基づき、第4レベルを示すノイズデータレベルデータが生成される。
【0025】
次いで、認識処理部104は、ノイズレベルデータの示すレベルに基づき、平滑化微分をするためのレベルを決定し、平滑化微分処理を施す。図7に示す微分曲線に対応するノイズレベルデータが、認識処理部104に与えられた場合には、認識処理部104は、微分処理部100により得られた微分曲線のゼロクロス点を検出し、これに基づいてピークを認識する。これに対して、図8に示す微分曲線に対応するノイズレベルデータが、認識処理部104に与えられた場合には、対応するプロファイル曲線に、17点平滑化微分を施して、得られた平滑化微分曲線のゼロクロス点を算出し、これに基づいてピークを認識する。
認識処理部104は、ピークに付与した番号およびピークの位置を示すピークデータを生成し、これを、画像合成部92に出力する。
画像合成部92は、プロファイルデータに対応するプロファイル中に、認識されたピークおよび該ピークの番号が含まれるように、プロファイルデータとピークデータとを合成し、第2の合成画像データを生成して、これをウィンドウメモリ94に展開する。したがって、CRT60の画面のサブウィンドウ上には、プロファイル中にピークおよびその番号が現れた画像が再生される。
【0026】
図9は、図4に示すプロファイルに基づいて、ピークが認識され、CRT60の画面のサブウィンドウ上に再生された認識されたピークおよびその番号が含まれる画像の一例を示している。その一方、図10は、図6に示すプロファイルに基づいて、ピークが認識され、CRT60の画面のサブウィンドウ上に再生された認識されたピークおよびその番号が含まれる画像の他の例を示している。図9および図10に示すように、ノイズの比較的少ないプロファイルおよびノイズの多いプロファイルの双方について、適切なピークが認識されている。
本実施例によれば、ピーク認識部90が、プロファイル曲線を微分した微分曲線を算出し、ノイズレベル算出部102が、微分曲線に基づいて、プロファイル曲線に含まれるノイズの程度を判断し、さらに、認識処理部104が、このノイズの程度にしたがって、プロファイル曲線に平滑化微分処理を施して、これに基づいて、プロファイル曲線のピークを認識するため、画像のノイズ量の多少にかかわらず、したがって、得られたプロファイルに含まれるノイズ量の多少にかかわらず、適切に、プロファイル曲線のピークを求めることができる。
本発明は、以上の実施例に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【0027】
たとえば、前記実施例においては、ピーク認識部90の微分処理部100が、プロファイル曲線を微分して、微分曲線を示す微分データを得るように構成されているが、これに限定されるものではなく、微分処理部が、プロファイル曲線に3点平滑化微分或いは5点平滑化微分などを施し、平滑化微分データを得て、これをノイズレベル算出部102に与えるように構成してもよい。
また、前記実施例においては、認識処理部104が、ノイズレベルデータに基づいて、平滑化微分を行なうように構成されているが、これに限定されるものではなく、たとえば、ノイズレベルデータに基づいて、平滑化する度合い、すなわち、積分する度合いを変更するように構成し、ピークを誤認識することがないように、この度合いに応じて、プロファイル曲線を積分し、その後、これを微分して、微分された曲線に基づき、ピークを認識するように構成してもよい。
また、前記実施例において、画像中に配置可能な図形として、矩形、直線が設けられているが、これに限定されるものではなく、たとえば、折れ線、曲線などが画像中に配置可能であり、これに基づき、図形データが生成されるように構成しても良いことは明らかである。
さらに、前記実施例においては、オートラジオグラフィ画像を表示する場合につき、説明を加えたが、本発明は、この場合のみならず、サザン・ブロット・ハイブリダイゼーション法を用いた遺伝子のオートラジオグラフィ画像、蛋白質の薄層クロマトグラフィによって生成されたオートラジオグラフィ画像、ポリアクリルアミドゲル電気泳動法によって、蛋白質の分離、同定、あるいは、分子量、特性の評価などをおこなうためのオートラジオグラフィ画像、マウスなどの実験動物における投与物質の代謝、吸収、排泄の経路、状態などを研究するためのオートラジオグラフィ画像などのオートラジオグラフィ画像を表示する場合にも、サザン・ブロット・ハイブリダイゼーション法を用いた遺伝子の化学発光画像、蛋白質の薄層クロマトグラフィによって生成された化学発光画像、ポリアクリルアミドゲル電気泳動法によって、蛋白質の分離、同定、あるいは、分子量、特性の評価などをおこなうための化学発光画像などの化学発光法を利用した化学発光画像を表示する場合にも、さらには、金属試料などの電子線回折画像またはX線回折画像を表示する場合にも、広く適用することができる。
【0028】
また、本発明は、観察者が、表示される画像の階調を調整することがある画像であれば、オートラジオグラフィ検出方法、化学発光検出方法、電子顕微鏡による検出方法、放射線回折画像検出方法以外の方法により、生成された画像を表示する場合にも、適用することができる。
さらに、本明細書において、手段とは、必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウエアによって実現される場合も包含する。また、一つの手段の機能が二以上の物理的手段により実現されても、二以上の手段の機能が一つの物理的手段により実現されてもよい。
【0029】
【発明の効果】
本発明によれば、画像に含まれるノイズの量の多少にかかわらず、適切にプロファイルのピークを自動的に認識することができる画像解析装置を提供することが可能となる。
【図面の簡単な説明】
【図1】図1は、本発明の実施例にかかる画像表示/解析装置により、表示すべき画像データを生成する画像読み取り装置の略斜視図である。
【図2】図2は、本発明の実施例にかかる画像表示/解析装置および画像読み取り装置のブロックダイアグラムである。
【図3】図3は、本発明の実施例にかかる画像表示/解析装置の信号処理部およびこれに関連する周辺部を示すブロックダイアグラムである。
【図4】図4は、オートラジオグラフィ画像の所定の領域に直線からなる図形を配置し、その結果、CRTの画面のサブウィンドウ上に表示されるプロファイルの一例を示す図である。
【図5】図5は、ピーク認識部の構成を示すブロックダイアグラムである。
【図6】図6は、図4と同様に、オートラジオグラフィ画像の所定の領域に直線からなる図形を配置し、その結果、CRTの画面のサブウィンドウ上に表示されるプロファイルの他の例を示す図である。
【図7】図7は、図4のプロファイルに対応する微分曲線を示す図である。
【図8】図8は、図6のプロファイルに対応する微分曲線を示す図である。
【図9】図9は、図4に示すプロファイルに対応するプロファイルデータに基づいて、ピークが認識され、CRTの画面のサブウィンドウ上に再生された認識されたピークおよびその番号が含まれる画像の一例を示す図である。
【図10】図10は、図6に示すプロファイルに対応するプロファイルデータに基づいて、ピークが認識され、CRTの画面のサブウィンドウ上に再生された認識されたピークおよびその番号が含まれる画像の他の例を示す図である。
【符号の説明】
1 蓄積性蛍光体シート
2 レーザ光
3 レーザ光源
4 フィルタ
5 ビーム・エクスパンダ
6 光偏向器
7 fθレンズ
8 平面反射鏡
9 導光性シート
10 光検出器
11 増幅器
12 A/D変換器
13 ラインバッファ
20 画像読み取り装置
30 オートラジオグラフィ画像形成/解析装置
40 信号処理手段
41 ラインバッファ
42 制御部
43 信号処理部
50 画像データ記憶手段
51 画像データ一時記憶部
52 画像データ記憶部
60 CRT
70 入力装置
82 表示画像生成部
84 図形データ生成部
86 図形データ記憶部
88 プロファイル生成部
90 ピーク認識部
92 画像合成部
94 ウィンドウメモリ
Claims (4)
- 画像を表示する表示手段と、前記表示手段に表示された画像中の所望の位置に生成された図形領域に関するプロファイルを示すプロファイルデータを生成するプロファイル生成手段とを備え、前記プロファイルを、前記表示手段に表示するように構成された画像解析装置であって、
前記プロファイル中に含まれるノイズの度合いを示すノイズレベルデータを生成するノイズレベルデータ生成手段と、前記ノイズレベルデータにしたがって前記プロファイルを平滑化し、得られた平滑化プロファイルに基づいて、前記プロファイル中のピークを示すピークデータを生成するピーク認識手段とを備え、
前記ノイズレベルデータ生成手段が、前記プロファイルに対応するプロファイル曲線を微分した微分曲線を生成し、前記プロファイル中の所定の軸に対応する前記領域の所定の軸方向に存在するデータの数と、前記微分曲線に含まれるゼロクロス点の数とに基づいて、ノイズレベルデータを生成するように構成された、
ことを特徴とする記載の画像解析装置。 - 前記ピーク認識手段が、前記プロファイルに対応するプロファイル曲線に平滑化微分処理を施すように構成された、
ことを特徴とする請求項1に記載の画像解析装置。 - 前記ピーク認識手段が、前記ノイズレベルデータにより示される値に基づいて、少なくとも、前記プロファイル曲線に関する微分曲線に基づいてピークを認識すべきか、或いは、前記プロファイル曲線に平滑化微分処理を施して得られた曲線に基づいてピークを認識すべきかを判断するように構成された、
ことを特徴とする請求項2に記載の画像解析装置。 - 前記ピーク認識手段が、前記ノイズレベルデータにより示される値に基づいて、少なくとも、前記プロファイル曲線に平滑化微分処理を施す際に使用すべきポイント数を選択するように構成された、
ことを特徴とする請求項3に記載の画像解析装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00201695A JP3550203B2 (ja) | 1995-01-10 | 1995-01-10 | 画像解析装置 |
US08/581,488 US5946413A (en) | 1995-01-10 | 1995-12-29 | Image analyzing apparatus for producing a profile of image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00201695A JP3550203B2 (ja) | 1995-01-10 | 1995-01-10 | 画像解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08189971A JPH08189971A (ja) | 1996-07-23 |
JP3550203B2 true JP3550203B2 (ja) | 2004-08-04 |
Family
ID=11517558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00201695A Expired - Lifetime JP3550203B2 (ja) | 1995-01-10 | 1995-01-10 | 画像解析装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5946413A (ja) |
JP (1) | JP3550203B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594380B2 (en) * | 1997-09-22 | 2003-07-15 | Canon Kabushiki Kaisha | Image discrimination apparatus and image discrimination method |
US6069982A (en) * | 1997-12-23 | 2000-05-30 | Polaroid Corporation | Estimation of frequency dependence and grey-level dependence of noise in an image |
US6240208B1 (en) | 1998-07-23 | 2001-05-29 | Cognex Corporation | Method for automatic visual identification of a reference site in an image |
US6690488B1 (en) * | 1999-09-30 | 2004-02-10 | Polaroid Corporation | Method and apparatus for estimating the spatial frequency response of a digital image acquisition system from the images it produces |
WO2005113021A2 (en) * | 2004-05-21 | 2005-12-01 | Given Imaging Ltd. | Device, system and method for in-vivo analysis |
JP6411044B2 (ja) * | 2014-03-20 | 2018-10-24 | 株式会社東芝 | 信号処理装置、放射線検出装置および信号処理方法 |
JP7342469B2 (ja) * | 2019-07-09 | 2023-09-12 | オムロン株式会社 | 埋設物検出装置および埋設物検出方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5915843A (ja) * | 1982-07-16 | 1984-01-26 | Fuji Photo Film Co Ltd | 放射線構造解析方法 |
JPH0616392B2 (ja) * | 1984-07-19 | 1994-03-02 | 富士写真フイルム株式会社 | 電子顕微鏡像記録再生方法及び装置 |
JPS6193538A (ja) * | 1984-10-12 | 1986-05-12 | Fuji Photo Film Co Ltd | 電子顕微鏡像記録再生装置 |
JPS6239842A (ja) * | 1985-08-15 | 1987-02-20 | Fuji Photo Film Co Ltd | 放射線画像情報読取方法 |
US5028793A (en) * | 1985-10-10 | 1991-07-02 | Quantex Corporation | Imaging screen for electrophoresis applications |
US4731863A (en) * | 1986-04-07 | 1988-03-15 | Eastman Kodak Company | Digital image processing method employing histogram peak detection |
JPS6460782A (en) * | 1987-08-28 | 1989-03-07 | Matsushita Refrigeration | Silencer for enclosed motor compressor |
JPS6460784A (en) * | 1987-08-28 | 1989-03-07 | Matsushita Refrigeration | Enclosed motor compressor |
TW197509B (ja) * | 1990-01-31 | 1993-01-01 | Hitachi Seisakusyo Kk | |
JPH043952A (ja) * | 1990-04-20 | 1992-01-08 | Matsushita Electric Ind Co Ltd | 表面解析方法および表面解析装置 |
JPH04232864A (ja) * | 1990-07-12 | 1992-08-21 | Bio Rad Lab Inc | リン光体スクリーンを用いての生化学的アッセイにおける検出及びイメージング |
JP3350822B2 (ja) * | 1992-08-04 | 2002-11-25 | アイシン精機株式会社 | 画像上のエッジ検出方法 |
-
1995
- 1995-01-10 JP JP00201695A patent/JP3550203B2/ja not_active Expired - Lifetime
- 1995-12-29 US US08/581,488 patent/US5946413A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5946413A (en) | 1999-08-31 |
JPH08189971A (ja) | 1996-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH1021373A (ja) | 画像解析装置 | |
JP2001283190A (ja) | 画像処理装置 | |
JP3550203B2 (ja) | 画像解析装置 | |
US6236058B1 (en) | Image recording and reading system | |
JP3851699B2 (ja) | 画像解析装置 | |
US6256405B1 (en) | Image forming apparatus | |
JP3453205B2 (ja) | 画像表示装置および画像中の領域画定方法 | |
JP3713302B2 (ja) | 画像形成装置 | |
US6415038B1 (en) | Image analyzing apparatus | |
JPH11283019A (ja) | 画像解析装置 | |
JPH09330393A (ja) | 画像処理装置 | |
JP3330246B2 (ja) | 画像解析装置 | |
US5831275A (en) | Image forming apparatus | |
JP3571801B2 (ja) | 画像解析装置 | |
JPH1051639A (ja) | 画像処理装置 | |
JPH0843538A (ja) | 画像解析装置 | |
JPH09212625A (ja) | 画像処理装置 | |
JPH09212647A (ja) | 画像処理装置 | |
JP2000163591A (ja) | 画像解析装置 | |
JPH07334667A (ja) | 画像形成装置 | |
JPH0814862A (ja) | 画像解析装置 | |
JPH0836639A (ja) | 画像解析装置 | |
JPH1039437A (ja) | 画像処理装置 | |
JPH09171558A (ja) | 画像処理装置 | |
JP2001216497A (ja) | 画像解析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040423 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080430 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |