JP4854832B2 - 細胞の画像解析方法,装置、及び記録媒体 - Google Patents

細胞の画像解析方法,装置、及び記録媒体 Download PDF

Info

Publication number
JP4854832B2
JP4854832B2 JP2000087505A JP2000087505A JP4854832B2 JP 4854832 B2 JP4854832 B2 JP 4854832B2 JP 2000087505 A JP2000087505 A JP 2000087505A JP 2000087505 A JP2000087505 A JP 2000087505A JP 4854832 B2 JP4854832 B2 JP 4854832B2
Authority
JP
Japan
Prior art keywords
nucleus
image
micronucleus
cell
micronuclei
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000087505A
Other languages
English (en)
Other versions
JP2001269195A (ja
Inventor
卓朋 佐藤
奨 菊地
邦彦 三浦
みどり 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000087505A priority Critical patent/JP4854832B2/ja
Publication of JP2001269195A publication Critical patent/JP2001269195A/ja
Application granted granted Critical
Publication of JP4854832B2 publication Critical patent/JP4854832B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Description

【0001】
【発明の属する技術分野】
本発明は、生物の有核細胞に対する画像解析に関し、特に、環境変異原により誘発された有核細胞中の染色体の異常を解析する細胞の画像解析方法、装置、及び記録媒体に関する。
【0002】
【従来の技術】
遺伝的要因または環境変異原の作用等により、有核細胞の分裂期の染色体に切断、交換、不分離等の構造的または数的異常が生じた場合には、その後の間期(interphase)の細胞中に微小な核が形成されることが知られている。このような微小な核を小核(micronucleus)と呼ぶ。これに対して、小核を生じた親の核を主核(main nucleus)と呼んで区別している。
【0003】
従って、小核の出現とその頻度は、何らかの遺伝的要素、環境変異原、ウイルス等の影響により、DNA損傷または細胞の非生理的状況が生じ、結果として染色体異常が誘発されたことを示す指標となる。この小核の出現は、特に、化学物質のヒトに対する変異原性の有無や程度を実験的に予測するための変異原性研究の分野において、重要視されている。
【0004】
従来は、小核と主核とを対応付けて計数し、小核を保有する細胞(小核保有細胞)の出現頻度を算出することで、細胞核におけるDNA損傷の度合いが評価されてきた。この場合、細胞中のDNAとRNAを同時に染め分ける蛍光色素として、アクリジンオレンジ(AO)染色を施したスライド標本が使用され、細胞質(赤色蛍光)中の主核・小核(緑色蛍光)が顕微鏡下で肉眼にて観察されてきた(Matsuoka A. et al., Mutation Res., 272: 223-236, 1993)。
【0005】
図9の(a)及び(b)は、小核を保有する細胞の識別を示す模式図である。図9の(a)は、AO染色を施した細胞中の核成分(主核および小核;DNA)と細胞質成分(RNA)について模式図で示したものである。ここでは、細胞質成分の存在により、主核・小核が一つの細胞中に存在することが識別可能である。図中、Aは1ケの主核A1と1ケの小核A2をもつ細胞(1nuc+1mn)、Bは1個の正常な核B1をもつ細胞(1nuc)、Cは1ケの主核C1と1ケの小核C2をもつ細胞(1nuc+1mm)と判断できる。
【0006】
さらに、近年では、fluorescence in situ hybridization (FISH)を施したスライド標本を観察することで、小核中の染色体情報を解析しようとする試みがなされている。例えば、染色体の動原体部位に対して特異的なDNAプローブを用いて、小核中のFISHシグナルの有無を観察すれば、分裂阻害性物質の影響を予測できる可能性がある(Minissi S., et. al. Mutagenesis 14:43-49, 1999)。また、染色体に対して特異的な着色プローブを用いて、小核を構成する染色体(DNA)の同定を行なえば、どの染色体にDNA損傷が生じたのかを予測できる可能性がある(Fauth E., et. al. Mutagenesis 13:235-241, 1998)。
【0007】
【発明が解決しようとする課題】
ただしこの手法では、ハイブリダイゼーションにおいて、細胞質の存在がDNAプローブの核(DNA)へのアクセスを妨げるため、スライドグラス上の細胞質の除去処理、すなわち蛋白質分解酵素やRNA分解酵素処理等を、前処理として行なうことが望ましい。従って、核と細胞質を同時に染め分けるAO染色が適用できず、細胞質情報を取得できない。
【0008】
すなわち、核(DNA)を第1の蛍光色素(PI,DAPI等)で染色するとともに、FISHに用いるDNAプローブを、第1の蛍光色素がもつ蛍光波長以外の蛍光波長特性を示す第2の蛍光色素(複数のプローブを同時に使用する場合は、第1,第2の蛍光以外の蛍光波長特性を示す第3,第4の蛍光色素等)で標識して観察することになる。
【0009】
従って、FISH等を施した標本において小核保有細胞を計数するためには、図9の(b)に示すように、核(DNA)を染色する第1の蛍光色素の蛍光像のみにより、小核と主核とを対応付けることが必要となる。しかし、細胞質が除去されてしまい、小核と主核との対応付けのための明確な指標が無いため、主核と小核が同一の細胞中に存在するか否かが判断できず、現状では、主核と小核とを対応付けて計数することができていない。
【0010】
よって、細胞質情報が得られないスライド標本上で、主核と小核を対応付けて計数し、かつ、小核中の染色体情報を客観的に解析できれば、DNA損傷性とその染色体特異性とを同時に評価可能となり、化学物質のヒトに対する変異原性の予測が質的に向上することが期待できる。
【0011】
上記の理由により、有核細胞の核(DNA)画像のみで、小核と主核の対応付けによる小核保有細胞の計数を可能とし、かつ、小核中の染色体情報の解析を同時に可能とする手法が必要となる。
【0012】
また従来では、小核といった微細構造体を肉眼で長時間に渡って観察することは、かなりの労力と工数を必要とし、観察者に対して大きな負担が生ずるといった課題があった。そのため、自動検出技術についてもこれまで考案されているが、それらは細胞質情報を利用した自動検出技術であるため、上述した理由によりFISH等を施した標本には適用できない。従って、FISH等を施した有核細胞の標本において、小核と主核の対応付けの客観的な指標を見出して、小核保有細胞の計数を可能とし、かつ、小核中のFISHシグナル等の有無の判定を同時に解析可能とする、客観的かつ効率的な小核の自動解析技術が必要とされている本発明の目的は、有核細胞中の染色体異常,すなわち間期細胞中のDNA損傷を、小核を指標として客観的かつ効率良く自動解析する細胞の画像解析方法,装置、及び記録媒体を提供することにある。
【0013】
【課題を解決するための手段】
上記課題を解決し目的を達成するために、本発明の細胞の画像解析方法,装置、及び記録媒体は以下の如く構成されている。
【0014】
(1)本発明の細胞の画像解析方法は、顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析方法において、前記有核細胞の核を当該核に対して特異的な色素で標識して観察対象とし、前記顕微鏡により得られた前記観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識し、前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する。
(2)本発明の細胞の画像解析方法は、上記(1)に記載の方法であり、前記有核細胞の前記核を前記色素以外の前記染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定する
(3)本発明の細胞の画像解析方法は、顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析装置において、前記顕微鏡により得られた前記有核細胞の核を当該核に対して特異的な色素で標識した観察対象の画像を取り込む画像入力手段と、前記画像入力手段により取り込まれた前記有核細胞の核を当該核に対して特異的な色素で標識した前記観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識し、前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する解析手段とを具備する
(4)本発明の細胞の画像解析装置は、上記(3)に記載の装置であり、前記有核細胞の核を上記色素以外の染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定する判定手段を備える
(5)本発明の記録媒体は、顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析装置のコンピュータに、解析手段により、前記顕微鏡により得られた前記有核細胞の核を当該核に対して特異的な色素で標識した観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識する機能と、判定手段により、前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する機能とを実現させるためのプログラムを記録している
(6)本発明の記録媒体は、上記(5)に記載の記録媒体であり、前記判定手段により、前記有核細胞の核を上記色素以外の染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定する機能を実現させるためのプログラムを記録している
【0029】
上記手段を講じた結果、それぞれ以下のような作用を奏する。
【0030】
(1)本発明の細胞の画像解析方法によれば、有核細胞中の核(DNA)損傷を、距離計測により主核と対応付けられた小核を基に、客観的かつ効率よく自動解析することができる。
【0031】
(2)本発明の細胞の画像解析方法によれば、核(DNA)画像のみから、同一細胞内に存在する主核と小核を対応付けて自動計測することができる。
【0032】
(3)本発明の細胞の画像解析方法によれば、小核の出現頻度のみならず、小核中の染色体情報をも自動解析可能とし、核(DNA)損傷性の評価を質的に向上させることができる。
【0033】
(4)本発明の細胞の画像解析方法によれば、単一の閾値により観察対象の形状を把握した場合に生ずる細胞間での蛍光輝度のバラツキの問題が解消され、主核と小核の判定をより正確に行なうことができる。
【0034】
(5)本発明の細胞の画像解析方法によれば、主核や小核が近接している場合でも、それらの輪郭形状の遷移パターンの特徴を基に、主核と小核の判定を正確に行なうことができる。
【0035】
(6)本発明の細胞の画像解析方法によれば、細胞間での蛍光輝度のバラツキを解消できるとともに、主核や小核が近接している場合でも、形状を正確に把握することができる。
【0036】
(7)本発明の細胞の画像解析装置によれば、有核細胞中の核(DNA)損傷を、距離計測により主核と対応付けられた小核を基に、客観的かつ効率よく自動解析することができる。
【0037】
(8)本発明の細胞の画像解析装置によれば、有核細胞中の核(DNA)損傷を、客観的に判定された小核を基に、客観的かつ効率よく自動解析することができる。
【0038】
(9)本発明の細胞の画像解析装置によれば、小核の出現頻度のみならず、小核中の染色体情報をも自動解析可能とし、核(DNA)損傷性の評価を質的に向上させることができる。
【0039】
(10)本発明の細胞の画像解析装置によれば、多量の解析対象細胞を効率よく検出することができる。
【0040】
(11)本発明の細胞の画像解析装置によれば、画像処理に最適な輝度を有する画像を効率よく入力することができる。
【0041】
(12)本発明の細胞の画像解析装置によれば、各色素に応じた画像を連続的に効率良く解析することができる。
【0042】
(13)本発明の記録媒体によれば、コンピュータを用いて、有核細胞中の各(DNA)損傷を、距離計測により主核と対応付けられた小核を指標として、客観的な判定と自動計測により、効率よく自動解析することができる。
【0043】
(14)本発明の記録媒体によれば、コンピュータを用いて、有核細胞中の各(DNA)損傷を、客観的に判定された小核を指標として、客観的な判定と自動計測により、効率よく自動解析することができる。
【0044】
(15)本発明の記録媒体によれば、コンピュータを用いて、小核の出現頻度のみならず、小核中の染色体情報をも自動解析可能とし、各(DNA)損傷性の評価を質的に向上させることができる。
【0045】
【発明の実施の形態】
図1は、本発明の実施の形態に係る画像解析装置の構成を示す図である。図1に示す画像解析装置は、顕微鏡で得られた、細胞周期が間期に相当する有核細胞の画像を基に、染色体に発生した異常を解析するものである。この装置は、主に、細胞を顕微鏡的に画像化する画像入力部をなす蛍光顕微鏡Aと画像解析部をなすパーソナル・コンピュータ(PC)Bとで構成されている。
【0046】
蛍光顕微鏡Aの本体1には、二次元上で自動的に走査されるステージ2が設けられており、このステージ2には蛍光標識(生物学的染色)を施された細胞からなる標本Sが載置されている。また、本体1とステージ2には、標本Sに焦点を合わせるようステージ2を観察光軸a方向へ駆動するオートフォーカス装置3が連結されている。
【0047】
蛍光顕微鏡Aの観察光軸a上には、標本Sが位置するとともに、レボルバー4に取り付けられた対物レンズ5、本体1内に設けられたダイクロイックミラー6、核(DNA)と核(DNA)の染色に用いた蛍光色素以外の色素で染色した染色体特異的な成分で発した蛍光を特異的に検出するために、観察光軸a上に配置されるフィルターを変換するフィルター変換部7、鏡筒8内に設けられたハーフミラー9、及び顕微鏡画像の入力用のCCDカメラ10が配置されている。鏡筒8には接眼レンズ11が取り付けられている。また、本体1には、標本S上に励起光を投射するための光源12が設けられている。
【0048】
パーソナル・コンピュータ(PC)Bは、制御部20と小核解析部30を備えており、小核解析部30は、閾値設定部31、ブロブ解析部32、輪郭形状解析部33、及び画像判定部34を有している。なお、小核解析部30はプログラムとして図示しないメモリーに記憶されており、制御部20により実行される。
【0049】
制御部20には、小核解析部30を記憶した上記メモリーが接続されているとともに、入力部21と表示部22が接続されている。また制御部20には、ステージ2、オートフォーカス装置3、フィルター変換部7、及びCCDカメラ10が接続されている。また、小核解析部30を記憶した上記メモリーはCCDカメラ10に接続されている。
【0050】
光源12から発した光がダイクロイックミラー6にて反射され、対物レンズ5を介して標本Sを励起すると、標本Sで発せられた蛍光が、対物レンズ5、ダイクロイックミラー6、及びハーフミラー9を介してCCDカメラ10に取込まれる。
【0051】
CCDカメラ10に取り込まれた細胞の画像情報は、小核解析部30に送られ、後に詳述する解析処理が実行される。閾値設定部31では基準閾値と多段階閾値の設定がなされ、ブロブ解析部32では細胞画像に対して従来から知られているブロブ解析が行なわれ、輪郭形状解析部33では細胞の輪郭形状が解析される。画像判定部34は、小核判定部341とシグナル判定部342からなる。小核判定部341では、輪郭形状解析部33で解析された細胞群における小核の有無を判定し、主核と小核の各数を計数して各主核と各小核の間の距離を計算する。さらに小核判定部341では、小核を形成した間期細胞が主核と対応付けて計数される。シグナル判定部342では、小核判定部341で判定された小核上における染色体特異的な蛍光シグナルの有無を判定するとともに、そのシグナルの有る小核の位置とそれに対応する主核の位置とを関連付ける。
【0052】
制御部20はCPUからなり、本画像解析装置の全ての構成ユニットの動作を連続的に実行させるものである。入力部21はキーボード、タッチパネル、マウス等からなり、制御部20に対して、解析したい情報の種類の追加、変更等が行なわれる。表示部22はCRT、プリンタ等からなり、制御部20により統計処理された統計データが表示される。
【0053】
なお、制御部20を、適宜通信回線を介して遠隔地にある検査センター、病院、大学、メーカー等に対して、各種データの送信/受信を行なえる構成とすれば、より高度な解析ソフトウェアの実行や、熟練検査者等による解析方法や情報の交流を迅速に行なうことができ、さらに有効な構成になる。
【0054】
図2の(a)は、主核と小核の距離関係を示す模式図であり、図2の(b)は、主核と小核の距離の実測結果を示すグラフである。
【0055】
通常、主核とそれに対応する小核は同一の細胞質中に存在する。そのため、同一の細胞質中の主核と小核との間の相対的距離は、該小核と他の細胞の核との間の相対的距離と比較して、短くなる傾向にある。ただし,二つの隣接した細胞の間においては、偶発的にその関係が逆転する可能性もある.そこで、本発明者は、有核細胞の蛍光画像において、細胞内における主核と小核との位置関係に注目して、以下の解析を行なった。
【0056】
すなわち本発明者は、図2の(a)に示すように、ヒトの培養細胞であるスライド標本中の近接した二つの細胞において、1個の細胞内に存在する主核201と小核202のなす最短距離aと、他方の細胞の核203と前記小核202のなす最短距離bとを計測した。ここでは、近接した二つの細胞において、一方の細胞の小核202が近接する二つの核201,203に挟まれた範囲cに位置する画像を、ランダムに30画像取得した。そして、各画像において距離aとbを計測し、図2の(b)に示すように、その関係をプロットした。その結果、a<bとなるケースが、a>bとなるケースに比べて圧倒的多数であり、各々の距離の平均値は、a=2.1±0.98μm、b=6.6±2.96μmとなり、統計学的に明らかに有意差が認められた。
【0057】
さらに、本発明者らは、近接しない単離した細胞も含めた小核保有細胞3000個について主核と小核の最短距離を確認したところ、それぞれが異なる細胞内にある核と小核との間に最短距離が発生する位置関係(a>b)となる確率は1%以下という極めて低頻度であることも確認した。すなわち、殆どの小核保有細胞における小核は同じ細胞内の主核とごく近接することが判り、主核と小核の対応付けによる自動計数のための指標として、それらの距離関係が有効であることが見出された。
【0058】
図3及び図4は、上述した構成をなす画像解析装置による画像解析方法の処理手順を示すフローチャートである。また図5は、図3及び図4のフローチャートによる処理工程を模式的に示した図である。ここでは、ヒト細胞を対象とし、ヒト染色体の動原体領域を、FISHのプローブとして用いてFITCで染色し(緑色蛍光:G画像)、核(DNA)をPIで染色した(赤色蛍光:R画像)場合を例として説明する。
【0059】
以下、本画像解析装置による主核・小核の検出方法を図3を基に説明する。まずステップS1で、制御部20はフィルター変換部7にて、核(DNA)の蛍光波長を特異的に吸収・励起するためのフィルター(赤色用フィルター)を観察光軸a上に配置させる。これにより、標本Sにおける核(主核・小核:DNA)の画像がCCDカメラ10に取込まれ、画像データとして小核解析部30に入力される。
【0060】
次に小核解析部30は、入力した核画像(R画像)に対して、ステップS2で、閾値設定部31にて基準閾値(基準輝度)を設定し、図5の画像41に示すように核(DNA)の画像データを2値化することにより、解析対象画像を抽出する。
【0061】
次にステップS3で、ブロブ解析部32は、抽出した画像領域の幾何的な特徴を表す複数のパラメータを利用して、画像41中の各核A1,A2,B1,B2,C1の画像の重心・面積(ピクセル数の総和)・体積(ビクセル輝度の総和)・真円度・長さと幅の比率などを分析する。ここで、面積または体積の値において、ある一定の範囲内に分布するものを観察対象の核成分としてラベル化する。また、その核成分の中で、ある一定の値以上のものを主核、前記一定の値未満のものを小核としてラベル化する。
【0062】
さらにステップS4で、輪郭形状解析部33にて後述する輪郭形状解析を行なうことにより、近接した複数個の主核が認識される。例えば、近接した主核が輪郭形状解析によって二つの主核として認識される。そして輪郭形状解析部33は、主核の個数を認識し、主核の数が1個・2個またはそれ以上の細胞を分類し、それらを観察対象の細胞として決定する。
【0063】
次に画像判定部34の小核判定部341は、図5の画像42に示すように、輪郭形状解析により取得された主核の輪郭座標(主核の形状を形成する輪郭の全ピクセルの座標)と小核の輪郭座標(小核の形状を形成する輪郭の全ピクセルの座標)との距離、または小核の重心座標との距離を全て計算し、最短距離を求める。この最短距離を全ての主核・小核の組合せについて求め、最短距離の値が最も小さく、かつ所定の指定値以下であった主核・小核の組合せを同じ細胞内にあるものと判定する。この判定は、上述した細胞内における主核と小核との位置関係a<bに基づいている。ここで、サイトカラシンBの処理などにより、2核細胞が解析対象となる場合については、主核の判定において、輪郭形状解析により近接した2核を認識して観察対象とすればよい。
【0064】
そしてステップS6で、小核解析部30は、予め設定されている段階数(例えば5段階)分の画像解析処理が終了するまで、上記基準閾値に対して予め指定されている差分を順次加えて新たな閾値とし、上記ステップS2〜S5の画像解析処理を行なう。これにより、小核が画像中により多く存在する結果を取得する。
【0065】
その後ステップS7で、小核判定部341は、小核が存在する場合、その個数を主核と対応付けて各観察対象細胞ごとに計数して、観察母細胞中における小核保有細胞の出現頻度を集計する。小核の個数を主核と対応付ける理由は、1つの細胞中に複数の小核が存在する場合でも、主核と小核を対応付けることにより、相対的な小核保有細胞の出現頻度を求めることを可能とするためである。
【0066】
以上の処理手順のうち、輪郭形状解析について以下に説明する。輪郭形状解析は、対象画像の輪郭形状を解析する方法である。本実施の形態では、この方法を生物試料の画像を対象として、特に核の形状認識に応用している。
【0067】
図6は、輪郭形状解析の基本原理を示す図である。輪郭形状解析では、画像51中の解析対象物52の輪郭上のピクセル(図中斜線部分)を追跡し、該輪郭上の座標を示す座標リストを生成する。次に、前記座標リスト中の任意の1点Pi、及びその点Piから前後にそれぞれsだけ離れた2点Pi+s,Pi−sの合計3点を用いて導かれる特徴量を、前記座標リストのすべての座標について算出し、その遷移パターンを求める。
【0068】
ここで特徴量とは、上記した任意の1点Piと2点Pi+s,Pi−sとで形成される3角形の面積であり、2点Pi+s,Pi−sの間を結ぶ直線を底辺とした場合の頂点の向きを正負で定義している。また、上記の遷移パターンとは、上記特徴量の大きさについて閾値Tvを越えている部分の連続数Ttに基づくものであり、パターンの遷移における閾値Tvを越えている部分と下回っている部分の出現順序に基づき、検出部位(複数の核の接触部位)の凹凸を判断するための基準となるものである。
【0069】
図7の(a)〜(b)は、主核・小核の輪郭形状解析の結果例を示す図である。図7の(a)に示すように、1個の核を有する細胞61における核の輪郭形状の遷移パターンは、その特徴量が常に閾値Tvを下回るが、図7の(b)に示すように、近接した2個の核を有する細胞62における核の輪郭形状の遷移パターンでは、その特徴量において、閾値Tvを上回るピーク(くびれ)が2個所生じることになる。また、図7の(c)に示すように、近接した3個の核を有する細胞63においては、特徴量が閾値Tvを上回るピーク(くびれ)が3個所生じることになる。
【0070】
この手法を用いれば、図7の(d)に示すように、細胞64における主核に近接した小核についても、その輪郭形状の遷移パターンの特徴によって検出可能となる。この場合、主核と小核で生じる2箇所のピークの間隔は、図7の(b)に示した主核同士で生じる2箇所のピークの間隔より狭くなる。
【0071】
以上のように解析された画像におけるくびれ(欠け)の検出数と主核・小核の存在様式は、例えば、次のように分類することができる。
【0072】
【表1】
Figure 0004854832
【0073】
なお、「くびれの個数」が‘その他’である場合は、その旨を保留としてメモリに記憶しておき、後に操作者が目視により細胞分類の判定を行なってもよい。
【0074】
さらに、本実施の形態においては、主核・小核の画像について多段階閾値を設定し画像解析を実施しているが、これは、細胞間での蛍光輝度のバラツキの問題を解消する手段である。例えば、高い閾値で画像処理を実施した場合には、主核に対して輝度が低い小核は、画像として認識されなくなってしまう。このように、主核・小核の細胞間または細胞内の輝度のバラツキに起因する判定ミスを解消するために、複数の閾値を設定した画像について解析することにより、小核の見落としが非常に少ない結果を得ることが可能となる。
【0075】
なお、本実施の形態では、輪郭形状解析を行なうとともに多段階閾値を設定して画像解析を実施しているが、これらのうち輪郭形状解析のみまたは多段階閾値の設定のみを行なった場合でも、従来の手法に比べて、近接した主核・小核の分離・認識を正確に行なうことができる。
【0076】
以下、本画像解析装置によるFISHシグナルの有る小核の検出方法を図4を基に説明する。まずステップS11で、制御部20はフィルター変換部7にて、FISHシグナルの波長を特異的に吸収・励起するためのフィルター(緑色用フィルター)を観察光軸a上に配置させる。これにより、図5に示すような、標本における核(主核・小核:DNA)上のFISHシグナル画像(G画像)43がCCDカメラ10に取込まれ、画像データとして小核解析部30に入力される。
【0077】
次に小核解析部30は、入力したFISHシグナル画像に対して、ステップS12で、閾値設定部31にて基準閾値を設定し、FISHシグナルの画像データを2値化することにより、解析対象画像を抽出する。
【0078】
次にステップS13で、ブロブ解析部32は、抽出した画像領域の幾何的な特徴を表す複数のパラメータを利用して、FISHシグナルの画像の重心・面積(ピクセル数の総和)または体積(ビクセル輝度の総和)を分析する。そしてステップS14で、分析された面積または体積の値において、ある指定した限界値よりも大きいものを除外して対象の絞り込みを行ない、絞り込まれた対象のみ重心座標を取得し、解析対象の小核としてラベル化する。
【0079】
続いてステップS15で、画像判定部34のシグナル判定部342は、小核としてラベルされた解析対象に対してFISHシグナルの有無の判定を行なう。この場合、図5の画像44に示すように、核画像(R画像)から得た小核の画像とFISHシグナル画像(G画像)から得たシグナルの画像とを合成し、上記ステップ14で取得したシグナルの重心座標がいずれかの小核内に含まれれば、その小核上にFISHシグナルが有ると判定する。このとき、重心座標がどの小核内にも含まれないFISHシグナルは、ノイズとして除去される。
【0080】
そして最終的に制御部20は、図5の画像45に示すような、小核解析部30により主核と小核およびFISHシグナルの位置が対応付けられた画像を、表示部22に表示する。
【0081】
本発明に適用できる細胞としては、通常の小核解析に用いられるヒトリンパ球以外にも、生体組織や各種細胞株などから得た任意の有核細胞を適用することができる。また、解析対象としては、既に何らかの原因で染色体異常が起こっている可能性のある被検生物由来の細胞でも、特定の環境変異原に暴露された細胞でもよい。また、本発明の小核解析には、FISH以外でも適切な手法を用いることができる。
【0082】
【実施例】
本発明における画像解析装置による実施例を以下に示す。
【0083】
図8の(a)は、上述した画像解析装置における表示部22のディスプレイ上に表示した画像を中間調画像として写真印刷して示す図、図8の(b)は、それを模式的に示した図である。
【0084】
図8の(a)及び(b)は、ヒト繊維芽細胞を対象とし、分裂阻害物質であるコルヒチンを0.0125μg/mlで72時間処理することで誘発された小核保有細胞の画像解析例を示している。ここでは、ヒト染色体の動原体領域をFISHのプローブとして用いてFITCで染色し(緑色蛍光:G画像)、核(DNA)をPIで染色した(赤色蛍光:R画像)。
【0085】
FISHの概略は以下の通りである。まず、スライド標本をペプシン処理し、その後、スライド上の核(DNA)を70%のホルムアミドを含む2×SSC溶液中で熱変性させ、ヒト動原体領域のビオチン標識したDNAプローブを50%ホルムアミド溶液を含む2×SSC溶液中で熱変性させた。次に、変性した核(DNA)上に変性したDNAプローブを滴下し、37℃で一晩ハイブリダイゼーションさせた。その後、2×SSC中で余分なプローブを洗浄し、スライドをビオチン・アビジン・FITC染色し、最後に、対比染色として、PIにて染色した。
【0086】
本実施例では,100倍の対物レンズを使用して、蛍光顕微鏡BX−50(オリンパス光学工業(株)製)に接続したCCDカメラにて撮像した蛍光画像について、核(DNA)の基準閾値を120、FISHシグナルの基準閾値を60とし、輪郭形状解析を用いて、小核と主核の各輪郭座標間での最短距離を求め(直線で連結)、有効長約10μm以内における距離計測を行なった。その結果、主核と小核とを対応付けて、小核保有細胞を識別する計測が可能であった。
【0087】
さらに、小核中のFISHシグナルの有無を判定したところ、図8の(a)及び(b)に示すように、FISHシグナル有りと判定された小核(図中、a1,a2,c1)が圧倒的多数であった。これは、分裂阻害剤の影響の結果、染色体の不分離が生じ、動原体をもつ小核が多数出現したことを示唆するものである。
【0088】
図8の(a)及び(b)に示す判定結果によれば、細胞Aは1ケの主核と2ケの小核(いずれもFISHシグナル有り)をもち(1nuc+2mn(+))、細胞Bは1ケの主核をもち(1nuc)、細胞Cは1ケの主核と1ケの小核(FISHシグナル有り)をもち(1nuc+1mn(+))、細胞Dは1ケの主核をもつ。
【0089】
従って、本発明における画像解析法が、小核保有細胞の自動解析においてきわめて有効であると結論できた。
【0090】
なお本発明は、上記実施の形態および実施例のみに限定されず、発明の主旨に基づいて種々の変更が可能である。例えば、スライド上で直接単層培養した標本に、RNase処理を施し、PI等で核(DNA)のみを染色すれば、小核の検出を in situ で実施することにも適用できる。また、染色体に特異的な(特定の染色体上のDNA,RNA,蛋白質を含む)着色プローブを複数組み合わせてFISHに用いれば、小核中のシグナルの組合せから、小核の由来となる染色体を同定、または特徴付けることにも適用できる.
【0091】
【発明の効果】
本発明によれば、単一の閾値により観察対象の形状を把握した場合に生ずる細胞間での蛍光輝度のバラツキの問題が解消され、主核と小核の判定をより正確に行なうことができ、主核や小核が近接している場合でも、それらの輪郭形状の遷移パターンの特徴を基に、主核と小核の判定を正確に行なうことができ、又は細胞間での蛍光輝度のバラツキを解消できるとともに、主核や小核が近接している場合でも、形状を正確に把握することができ、有核細胞中の染色体異常、すなわち間期細胞中のDNA損傷を、小核を指標として客観的かつ効率良く自動解析する細胞の画像解析方法、装置、及び記録媒体を提供できる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像解析装置の構成を示す図。
【図2】本発明の実施の形態に係る主核と小核の距離関係を示す模式図と、主核と小核の距離の実測結果を示すグラフ。
【図3】本発明の実施の形態に係る画像解析装置による画像解析方法の処理手順を示すフローチャート。
【図4】本発明の実施の形態に係る画像解析装置による画像解析方法の処理手順を示すフローチャート。
【図5】本発明の実施の形態に係る処理工程を模式的に示した図。
【図6】本発明の実施の形態に係る輪郭形状解析の基本原理を示す図。
【図7】本発明の実施の形態に係る主核・小核の輪郭形状解析の結果例を示す図。
【図8】本発明の実施例に係る画像解析装置における表示部のディスプレイ上に表示した画像を中間調画像として写真印刷して示す図と模式図。
【図9】従来例に係る小核を保有する細胞の識別を示す模式図。
【符号の説明】
A…蛍光顕微鏡
B…パーソナル・コンピュータ(PC)
1…本体
2…ステージ
3…オートフォーカス装置
4…レボルバー
5…対物レンズ
6…ダイクロイックミラー
7…フィルター変換部
8…鏡筒
9…ハーフミラー
10…CCDカメラ
11…接眼レンズ
12…光源
20…制御部
21…入力部
22…表示部
30…小核解析部
31…閾値設定部
32…ブロブ解析部
33…輪郭形状解析部
34…画像判定部
341…小核判定部
342…シグナル判定部

Claims (6)

  1. 顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析方法において、
    前記有核細胞の核を当該核に対して特異的な色素で標識して観察対象とし、
    前記顕微鏡により得られた前記観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識し、
    前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する、
    ことを特徴とする細胞の画像解析方法。
  2. 前記有核細胞の前記核を前記色素以外の前記染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定することを特徴とする請求項1に記載の細胞の画像解析方法。
  3. 顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析装置において、
    前記顕微鏡により得られた前記有核細胞の核を当該核に対して特異的な色素で標識した観察対象の画像を取り込む画像入力手段と、
    前記画像入力手段により取り込まれた前記有核細胞の核を当該核に対して特異的な色素で標識した前記観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識し、前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する解析手段と、
    を具備することを特徴とする細胞の画像解析装置。
  4. 前記有核細胞の核を上記色素以外の染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定する判定手段を備えたことを特徴とする請求項に記載の細胞の画像解析装置
  5. 顕微鏡で得られた有核細胞の画像を基に染色体に発生した異常を解析する細胞の画像解析装置のコンピュータに、
    解析手段により、前記顕微鏡により得られた前記有核細胞の核を当該核に対して特異的な色素で標識した観察対象の画像に対して、当該画像の輝度値についての予め設定された基準閾値と、当該基準閾値に対して予め指定されている差分を順次加えた多段階の新たな閾値とを設定し、これら閾値の設定毎に輪郭形状解析を行なう各画像解析処理を行って、前記観察対象の輪郭形状の遷移パターンを把握して前記核のうち主核と小核とを認識する機能と、
    判定手段により、前記画像中に前記小核が検出された場合、前記画像中の前記主核の輪郭座標と前記小核の輪郭座標との距離、又は前記主核の輪郭座標と前記小核の重心座標との距離を計測し、前記計測された前記距離が最短である前記主核と前記小核とを対応付けてこれら主核と前記小核とが同じ前記細胞内に存在すると判定し、前記小核を保有する前記有核細胞を計数する機能と、
    を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
  6. 前記判定手段により、前記有核細胞の核を上記色素以外の染色体特異的な色素で標識して、前記小核が検出された場合、前記小核上での、前記染色体特異的な色素の有無を判定する機能を実現させるためのプログラムを記録した請求項5に記載のコンピュータ読み取り可能な記録媒体
JP2000087505A 2000-03-27 2000-03-27 細胞の画像解析方法,装置、及び記録媒体 Expired - Fee Related JP4854832B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000087505A JP4854832B2 (ja) 2000-03-27 2000-03-27 細胞の画像解析方法,装置、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000087505A JP4854832B2 (ja) 2000-03-27 2000-03-27 細胞の画像解析方法,装置、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2001269195A JP2001269195A (ja) 2001-10-02
JP4854832B2 true JP4854832B2 (ja) 2012-01-18

Family

ID=18603508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000087505A Expired - Fee Related JP4854832B2 (ja) 2000-03-27 2000-03-27 細胞の画像解析方法,装置、及び記録媒体

Country Status (1)

Country Link
JP (1) JP4854832B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4271054B2 (ja) * 2004-02-12 2009-06-03 オリンパス株式会社 細胞画像解析装置
JP2006101705A (ja) * 2004-09-30 2006-04-20 Olympus Corp 細胞内小核の検出方法
US8175369B2 (en) * 2008-12-12 2012-05-08 Molecular Devices, Llc Multi-nucleated cell classification and micronuclei scoring
JP5058962B2 (ja) 2008-12-22 2012-10-24 オリンパス株式会社 細胞画像解析装置、細胞画像解析方法、及びプログラム
JP4997255B2 (ja) * 2009-01-05 2012-08-08 オリンパス株式会社 細胞画像解析装置
JP5525776B2 (ja) * 2009-07-31 2014-06-18 オリンパス株式会社 Fish細胞画像解析方法、fish細胞画像解析システム及びfish細胞画像解析装置
US9558393B2 (en) 2014-03-27 2017-01-31 Konica Minolta, Inc. Image processing device and storage medium for image processing
JP6145890B2 (ja) * 2014-03-28 2017-06-14 富士フイルム株式会社 細胞認識装置および方法並びにプログラム
EP3150692B1 (en) * 2014-05-30 2018-11-28 Fujifilm Corporation Cell evaluation device, method, and program
JP6375925B2 (ja) * 2014-12-15 2018-08-22 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP2022147328A (ja) 2021-03-23 2022-10-06 株式会社Screenホールディングス 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体
CN115601360B (zh) * 2022-12-13 2023-03-28 湖南自兴智慧医疗科技有限公司 染色体结构异常辅助识别方法、系统及计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0975083A (ja) * 1995-09-20 1997-03-25 Kao Corp 変異原性試験法
BR9906926A (pt) * 1998-01-12 2002-01-15 Salk Inst Composições e métodos para tratamento de células tendo dna de minuto duplo

Also Published As

Publication number Publication date
JP2001269195A (ja) 2001-10-02

Similar Documents

Publication Publication Date Title
JP6952683B2 (ja) 身体試料中の実体を検出する方法および装置
JP2001211896A (ja) 画像解析方法、装置、及び記録媒体
JP4749637B2 (ja) 画像解析方法、装置、及び記録媒体
JP4854832B2 (ja) 細胞の画像解析方法,装置、及び記録媒体
US8744164B2 (en) Automated analysis of images using bright field microscopy
JP7176697B2 (ja) 細胞評価システム及び方法、細胞評価プログラム
EP3300517B1 (en) Information processing system comprising a flow cytometer, flow cytometer information processing method, and computer-readable storage medium for performing a flow cytometer information processing method
US20120075453A1 (en) Method for Detecting and Quantitating Multiple-Subcellular Components
de Solórzano et al. Automated FISH spot counting in interphase nuclei: Statistical validation and data correction
US11287380B2 (en) Apparatus for detecting abnormal cells using fluorescent image analysis and method for the same
Pajor et al. State‐of‐the‐art FISHing: Automated analysis of cytogenetic aberrations in interphase nuclei
US11946866B2 (en) Fluorescence image analyzing apparatus, method of analyzing fluorescence image, and computer program
AU2005289765A1 (en) Method for detecting and quantitating multiple subcellular components
EP2707505A2 (en) Spectral imaging for measurement of nuclear pathology features in cancer cells prepared for in situ analysis
Smith et al. “FISHing” to detect urinary and other cancers: validation of an imaging system to aid in interpretation
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
Wang et al. Automated detection and analysis of fluorescent in situ hybridization spots depicted in digital microscopic images of Pap-smear specimens
JP6475134B2 (ja) 細胞評価装置および方法
JP2002142800A (ja) 細胞の形態解析方法および記憶媒体
Fantes et al. Application of automation to the detection of radiation damage using FISH technology
EP3385882B1 (en) Automatically identifying regions of interest on images of biological cells
Nandy et al. Automatic nuclei segmentation and spatial FISH analysis for cancer detection
CN108369735B (zh) 用于确定数字图像中多个对象的位置的方法
CN116542978B (zh) Fish探针的质量检测方法和装置
US20030143524A1 (en) Method and system for determining the amount, distribution and conformation of genetic material in a cell

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees