JP4346923B2 - 標的細胞自動探索システム - Google Patents

標的細胞自動探索システム Download PDF

Info

Publication number
JP4346923B2
JP4346923B2 JP2003044373A JP2003044373A JP4346923B2 JP 4346923 B2 JP4346923 B2 JP 4346923B2 JP 2003044373 A JP2003044373 A JP 2003044373A JP 2003044373 A JP2003044373 A JP 2003044373A JP 4346923 B2 JP4346923 B2 JP 4346923B2
Authority
JP
Japan
Prior art keywords
target cell
image
cells
target
search system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003044373A
Other languages
English (en)
Other versions
JP2004248619A (ja
Inventor
晴夫 高林
功介 青木
越子 高木
景彦 北野
良司 村椿
雅則 金三津
晴記 中島
良蔵 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INTEC SYSTEMS INSTITUTE, INC.
Nikon Corp
Sugino Machine Ltd
Original Assignee
INTEC SYSTEMS INSTITUTE, INC.
Nikon Corp
Sugino Machine Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INTEC SYSTEMS INSTITUTE, INC., Nikon Corp, Sugino Machine Ltd filed Critical INTEC SYSTEMS INSTITUTE, INC.
Priority to JP2003044373A priority Critical patent/JP4346923B2/ja
Publication of JP2004248619A publication Critical patent/JP2004248619A/ja
Application granted granted Critical
Publication of JP4346923B2 publication Critical patent/JP4346923B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、標的細胞の自動探索システムに関し、特に、胎児由来の有核赤血球の自動探索システムに関する。
【0002】
【従来の技術】
出生前の診断を行う出生前診断技術としては、従来から、血清マーカーを使用したスクリーニング技術、羊水検査技術や絨毛検査技術などがある。最近、妊婦の血液中に胎児の血球が微量(例えば10の8乗分の1程度)に含まれることが明らかになってきた。母体血から上記の胎児由来の有核赤血球を回収し、DNA診断することにより、信頼性が高く、かつ、母児へのリスクを伴わない無侵襲胎児DNA診断が可能になりつつある。
【0003】
現在、母体血からの胎児由来の有核赤血球を回収するための技術に関して実用化を目指した研究が世界中において盛んに行われている。これらの研究のうち主要なものとして、アメリカの研究グループによるFACS(Fluorescence-Activated Cell Sorting)技術、ヨーロッパの研究グループによるMACS(Magnetic-Activated Cell Sorting)技術、金沢医科大学の高林助教授らのチームによるPercoll-micromanipulation技術(非特許文献1、以下、この技術を「パーコール技術」と略記する。)の3通りの技術が良く知られている。特に、米国においては、1994年頃から国立衛生研究所(NIH)の統括のもとでFACS法の研究開発が行われている。
【0004】
また、画像処理により胎児由来の有核赤血球を検出するための装置としては、カメラと顕微鏡とを用い、コンピュータ制御により試料を検査する装置が開示されている(例えば特許文献1参照)。
【0005】
【非特許文献1】
高林晴夫、「出生前遺伝子検査の進歩:母体血による胎児DNA診断」、遺伝子医学Vol.5、No.3(2001)p410−416.
【特許文献1】
特表2002−514762号公報
【0006】
【発明が解決しようとする課題】
上記技術のうち、血清マーカースクリーニング技術は、胎児由来有核赤血球の回収に関する信頼性に問題がある。羊水検査及び絨毛検査は、母体、胎児への侵襲を伴い、母児へのリスクがあるため広範には普及していない。
【0007】
また、母体血液中に含まれる胎児由来の有核赤血球の存在率は非常に低いため、効率的に回収することは難しい。
【0008】
米国の研究グループによるFACS法及び欧州の研究グループによるMACS法は、胎児細胞特異的な抗体などでマーキングし、それらを指標に胎児細胞を選別する技術を用いているが、これらの技術を用いても、母体由来細胞の混入が多く実用化に関する大きな問題点となっている。
【0009】
これに対して、血液をスライドグラスに塗布し胎児細胞を形態により識別し個々に採取するパーコール技術は、図12に示すように、画像100内の胎児由来赤血球(有核)のみを確実に採取でき後工程であるDNA診断がやりやすいため有効かつ確実な技術である。しかしながら、この技術は、検査担当者が目視で判断を行う工程が入るため、スライドガラス全面を顕微鏡で探索するための処理に膨大な時間を要し、実用化に対して大きな問題となる。例えば、1つの有核赤血球当たりの探索に関して、20分から1時間程度の時間を要している。また、スライドグラス上における検査対象中には、胎児に由来する有核赤血球に形状が良く似たリンパ球なども多く存在し、熟練した経験者であっても有核赤血球との識別は難しく、実用化に対する大きなネックとなっていた。
【0010】
また、上記特許文献1の技術は、標的細胞の判定手法、検査技師への提示方法、複数プレパラートの交換、位置決めの画像処理機能が異なり、本装置の方が、効率良く胎児由来有核赤血球の回収が可能である。但し、上記装置においては、高精度なスライドグラス固定機構や高精度位置決めが可能な顕微鏡ステージが必要となり、数μm〜数10μm単位での物理的位置ずれ誤差は避けることができず、再現性が乏しいために再度探索が必要になるなど作業性が良くなかった。
【0011】
本発明の目的は、胎児由来の赤血球などの検査対象を精度良く検出することができるとともに、複数の検査対象を効率良く検査することができる自動検査装置を提供することである。
【0012】
【課題を解決するための手段】
本発明の一観点によれば、対象物を検査する対物レンズを備えるとともに、撮像装置と関連付けされた顕微鏡と、前記顕微鏡における検査可能領域内に配置された試料台であって、XY移動機構を有し、検査対象試料を載せた試料板を前記光学顕微鏡により観察できる位置に置くことができるように形成された試料台と、検査対象である標的細胞を探索済みの試料板と探索前の試料板とをそれぞれ複数枚収容できるストッカと、前記ストッカと試料台との間で前記試料板を搬送する搬送装置と、前記撮像装置から入力された試料の画像データを解析する解析部と、探索済みの標的細胞に関する画像データ及びその位置を記憶する記憶部と、を有する画像処理ユニットと、前記対物レンズによる焦点合わせと前記試料板の位置とを制御する制御ユニットと、観察画像と記憶画像とを表示する表示装置とを含む標的細胞自動探索システムが提供される。
【0013】
さらに、探索後に前記試料板を試料台に再ローディングする際に、任意の探索済み標的細胞を過去に探索した際の位置情報と、その場で再度画像処理を行って得た位置情報と、に関する標的細胞の位置情報を比較し、前記試料板又は前記試料台に関する位置ずれ誤差を補正する補正手段を有しているのが好ましい。
【0014】
上記標的細胞自動探索システムによれば、再ローディングした際における前記試料板の位置ずれが生じても、複数の任意の探索済み標的細胞を、直ちに顕微鏡の視野中心に移動でき、作業性が向上する。
【0015】
本発明の他の観点によれば、対象物を検査する対物レンズを備えるとともに、撮像装置と関連付けされた顕微鏡と、該顕微鏡における検査可能領域内に配置された試料台であって、XY移動機構を有し、検査対象試料を載せた試料板を前記光学顕微鏡により観察できる位置に置くことができるように形成された試料台と、検査前後の前記試料板を複数枚収容できるストッカと、該ストッカと試料台との間で前記試料板を搬送する搬送装置と、前記撮像装置カメラから入力された試料の画像データを解析する解析部と、画像データ及びその位置を記憶する記憶部と、を有する画像処理ユニットと、前記対物レンズによる焦点合わせと前記試料板の位置とを制御する制御ユニットと、観察画像と記憶画像とを表示する表示装置とを備えた標的細胞自動探索システムにおける探索方法であって、標的細胞の実質的な探索を行う前に、低倍率で前記試料板上に細胞が存在する位置と細胞の分布密度が適切な箇所とを画像処理により認識するステップを含む標的細胞自動探索方法が提供される。上記方法を用いると、探索エリアが限定されるため探索時間を大幅に短縮することができる。
【0016】
探索エリア内をあるピッチでスライドグラスをステップ送りしながら低倍率で探索を行い、標的細胞と思われる標的細胞候補を検出した時に前記標的細胞候補を高倍率で精密探索するのが好ましい。この方法を用いると、標的細胞をいち早く探索し確定することができる。
【0017】
【発明の実施の形態】
本発明に係る標的細胞自動探索システムは、標的細胞を探索し、探索後に再度顕微鏡上にローディングし、前に探索した標的細胞を自動的に顕微鏡視野中心に移動させることができるシステムである。細胞を比重分離する上記パーコール技術等を用いて分離した血液をスライドグラスに塗布し、胎児細胞を形態により識別し、個々に確実に胎児細胞のみを採取することを目的とする胎児由来有核細胞を探索する本発明に係る標的細胞自動探索システムの構成について、以下に簡単に説明する。
【0018】
本発明に係るシステムは、顕微鏡と、高精度デジタルカメラと、スライドグラスを載せるステージと、を備え、標的細胞の形態的な特徴を探索することができる。また短時間で標的細胞を探索可能な画像処理を含めた新たな探索アルゴリズムを有している。これらにより、短時間で信頼性の高い標的細胞の探索が可能となる。
【0019】
また、複数枚のスライドグラスについて処理が可能であり、それぞれのスライドグラスにおいて探索した所定の指定数の標的細胞に関する画像及び顕微鏡ステージ上の位置情報(X,Y)を記憶することにより、探索停止又は終了後に、所望のスライドグラスをステージ上に再ローディングし、指定した標的細胞を直ちに顕微鏡の視野中心に移動できるように構成した。
【0020】
再ローディングする際に、任意の探索済み標的細胞を過去に探索して記憶した位置情報と、その場で再度画像処理を行って現在と過去の標的細胞の位置情報を比較し、スライドグラス又は顕微鏡ステージ等の物理的位置ずれ誤差を補正することにより、再ローディング時におけるスライドグラスの位置ずれがあっても複数の任意の探索済み標的細胞を直ちに顕微鏡の視野中心に標的細胞を移動できるようにした。高精度モニタによる画像表示又は顕微鏡像の観察を行うことにより、作業者による細胞の直接判断が可能となり、確実に標的細胞を選別することができる。血液をスライドグラスに塗布し、胎児細胞を形態により識別し、個々に確実に胎児細胞のみを採取することを目的とする有核細胞を探索する自動化装置を考案した。
【0021】
以下、本実施の形態による標的細胞自動探索システムについて、図面を参照しつつ説明を行う。図1及び図2は、本実施の形態による標的細胞自動探索システムの構成例を示す図である。
【0022】
図1及び図2に示す装置は、血液をスライドグラスに塗布し、胎児細胞を形態により識別し、個々に確実に胎児細胞のみを採取することを目的とする有核細胞を探索する自動化装置である。
【0023】
図1に示すように、本実施の形態による標的細胞自動探索システムは、光学搬送系Aと、画像処理系(画像処理PC)Bと、制御系(制御PC)Cと、出力系(高精度モニタディスプレイ)Dとを備えている。
【0024】
光学搬送系Aは、光学顕微鏡1であって、上部に形成された凹溝部3内に、その上方の対象物を検査する対物レンズ5を備えるとともに、CCDカメラ(撮像装置)7を備えた光学顕微鏡1と、光学顕微鏡1の上部に配置された試料台11であってXYステージ機構17を有する試料台11と、例えばスライドグラス23をその上面21に置くことができるように形成された試料配置部15と、を有しており、試料配置部15に配置されるスライドグラス23上の試料を、対物レンズ5とCCDカメラ7とを有する光学顕微鏡1により検査することができる。
【0025】
試料台11上には、検査前又は検査後のスライドグラス23を多数枚、例えば50枚程度収容できる収容部45を備えたストッカ41が設けられるとともに、スライドグラス23を試料台11に設置して検査可能な状態にしたり、ストッカ41の収容部45内に収容したりする動作を行うための作動アーム33を備えた搬送装置31が設けられている。
【0026】
画像処理系(画像処理PC)Bは、データ解析、ストレージ(データの記憶)などを行う画像処理ユニット51を含む。制御PC系Cは、X−Yステージ17などの位置制御や全体の処理シーケンスを制御する制御ユニット53を含む。出力系Dは、例えば、高精度モニタディスプレイ(表示装置)55を含む。
【0027】
複数のスライドグラス23を収納可能なストッカ41と自動搬送装置31とを備えることにより、夜間運転など連続的に大量の探索を行うことができる。光学顕微鏡1に設けられたXYステージ17は、高速、高精度の位置決め動作が可能な電動ステージであり、試料面内における短時間での高速ステップ送りが可能である。光学顕微鏡1に備えられた高精度デジタルカメラ(CCDカメラ)7と、標的細胞の形態的な特徴に応じた画像処理ソフトウェア(後述する)により、短時間で高精度な標的細胞の探索が可能となる。
【0028】
試料台11の中央付近には、内径が2段階に異なる(上の内径が大きい)開口部15が形成されている。スライドグラス23のサイズは、開口部15のうちの小さい方(下方)の開口径よりも大きくなっており、開口部15のうちの大きい方の開口径よりも小さくなっている。これにより、大きい方の開口部底面21上にスライドグラス23の例えば周辺部を載せることができる。
【0029】
それぞれのスライドグラス23において探索した指定数の標的細胞の画像、およびステージ上の位置座標(X,Y)を記憶装置(ストレージ)に記録することにより、探索後に任意のスライドグラスをステージ上に再ローディングし、指定した標的細胞を直ちに顕微鏡の視野中心に移動できる。探索後に、スライドグラス23を試料台11に再ローディングする際に、任意の探索済み標的細胞を過去に探索した際の位置情報と、その場で再度画像処理を行って得た位置情報との、現在と過去との標的細胞の位置情報とを比較し、スライドグラス23又はXYステージ機構17を有する試料台11等の物理的位置ずれ誤差を補正することにより、再ローディングした際におけるスライドグラス23の位置ずれが生じても、複数の任意の探索済み標的細胞を、直ちに顕微鏡の視野中心に移動でき、作業性が向上する。上記システムを用いると、高精度かつ高価なスライドグラスや顕微鏡ステージを使用しない場合でも、スライドグラス23の位置ずれを補正する機構(アルゴリズムを含む)を備えることにより、低コスト、かつ、高精密な検査対象の探索が可能となる。また、高精度モニタ55による画像表示又は顕微鏡像の観察により、作業者による細胞の直接判別が可能となり、確実に標的細胞を選別することができる。
【0030】
図2は、図1に示す本実施の形態による標的細胞自動探索システムの概略構成例を示す機能ブロック図であり、特に画像処理系に重点を置いて説明を行う。図2に示すように、光学顕微鏡1は、XYステージ機構17を有する電動ステージと対物レンズ制御部5と、CCDカメラ7とを有している。制御用PCは、XY方向の移動を行うステージ(XY)移動部53aと、Z方向の自動焦点合わせを行う自動焦点計算部53bと、CCDカメラ7からの画像を入力する画像入力部51aと、画像認識部51bと、画像処理結果を保存する結果保存用データベース部51cと、を有している。
【0031】
CCDカメラ7により撮影された画像は、画像入力部51aに入力され、モニタ55に表示されるとともに、画像認識部51bと自動焦点計算部53bとに送られる。画像認識部51bで認識された画像は、結果保存用データベース51cに記憶される。自動焦点計算部53bに送られた画像により、自動焦点合わせが行われる。
【0032】
以下の説明においても、図1及び図2を適宜参照する。
まず、標的細胞探索手順例について図3を参照して説明する。ステップS1に示すように、多数のスライドグラス(例えば50枚)23をストッカ(カセットホルダ)41内に収納する。ストッカ41をエレベータ(図示せず)に取り付ける(ステップS2)。高精度モニタディスプレイ55上においてステップS3に示すように標的の探索条件を入力し、搬送装置31を用いて自動的にスライドグラス23を、光学顕微鏡1上の試料台(XYステージ)17上にローディングする(ステップS4)。自動焦点機能によりスライドグラス23上の試料に焦点を合わせる(ステップS5)。光学顕微鏡1より得られるデジタル画像を取り込み(ステップS6)、画像処理により標的細胞を探索する(ステップS7)。標的細胞の特徴となる形状、色、サイズ等により画像処理を行い、標的細胞と他の細胞を選別する。ステップS7で、標的細胞検索ができた場合にはステップS9に進み、探索した標的細胞の画像と位置座標に関する情報を記憶装置(データベース)51c(図2)に記録する。
【0033】
電動ステージを微小ステップ送りし、スライドグラスを他の探索領域が検査できる位置まで移動し、次の探索を開始する。指定数の標的細胞の探索が完了すると(ステップS10)、スライドグラスをステージからアンローディングし(S11)、別のスライドグラス23をストッカ41よりローディングする(ストッカ41内の全てのスライドグラス23又は指定した複数(または単独)のスライドグラス23の探索が完了するまでこれを繰り返し(ステップS11からステップS4に戻るループ))。尚、ステップS7において、画像処理により標的細胞の探索ができなかった場合(NG)にはステップS8に進み、ステージ17を移動し他の探索領域にステージ17とともにスライドグラス23を移動させ、ステップS6に戻る。ステップS12において、指定したスライドグラスの全量の探索が終了すると、実際の探索は完了し(ステップS13)、探索結果をモニタディスプレイ55の表示画面上で確認し(ステップS15)、任意のスライドグラス23およびその上の標的細胞を表示画面上において指定し(ステップS17)、ステップS18において、ステップS17で指定した標的細胞に関連するスライドグラス23をXYステージ17上にローディングする(ステップS18)。次いで、ステップS19において、指定した標的細胞の位置情報に基づいて、XYステージ17により標的細胞を光学顕微鏡1の視野の中心又はその近傍まで移動させる。光学顕微鏡1により視野の中心にある細胞が標的細胞であることを確認する(ステップS20)。ステップS20において、標的細胞の最終確認であると判断された場合には、ステップS21に移る。ステップS20において最終確認ではないと判断された場合には、ステップS17に戻り、次の標的細胞を指定する。
【0034】
ステップS20において最終確認ができた場合には、マイクロマニピュレータ(図示せず)などを用いて、標的細胞をスライドグラス23から取り出す(ステップS21)。回収した標的細胞の核を用いて、染色体検査、遺伝子検査等へと進む(ステップS22)。
【0035】
次に説明する処理は、図9(A)から図9(D)までに示すように、光学顕微鏡に接続したCCDカメラより画像(図9(A)の符号103)の取得を行った後、核領域候補を抽出し(図9(B)の符号107、図9(C)の符号115)、細胞膜領域の抽出、細胞質領域の抽出より、標的細胞であるかを判断する(図9(D)、符号118)処理である。
【0036】
まず、図5を参照して核領域の抽出処理に関する説明を行う。ステップS31において、光学顕微鏡1に接続したCCDカメラ7より画像を取得する。この入力画像は、RGB成分を持つデジタル画像である。アナログ入力機器を使用した場合は、デジタル画像(RGBデジタル信号)に変換してから以後の処理を行う。
【0037】
ステップS32において、入力画像(RGB)から、濃度レベル画像1(L1= 1−R + 1−G)を作成する。ステップS33において、濃度レベル画像1より、濃度ヒストグラム1を作成する。濃度ヒストグラム1から、濃度基準値1を決定する。濃度レベル画像1のうち、濃度基準値1より高い画素を“1”(核を含む領域)、それ以外を“0”(背景)とする2値化画像を作成し、マスク画像1とする(ステップS34)。 マスク画像1により、入力画像のR成分をマスク処理し、R画像1を作成する(ステップS35)。ステップS36において、R画像1により、R値の平均値を算出する。R画像1のうち、平均値より小さい画素を“1”(核を含む領域)、それ以外を“0”(背景)とする。その画像をマスク画像2とする(ステップS37)。マスク画像2により、入力画像(RGB)をマスク処理し、核候補領域画像1(RGB)を作成する(ステップS38)。
【0038】
ステップS39において、作成した核候補領域画像1から濃度レベル画像2(L2 = (R + G + B)/3)を作成する。濃度レベル画像2において、“0”以外の領域の連結成分を探してラベリング処理を行う(ステップS40)。
【0039】
ステップS41において、各々その連結成分の面積が例えば基準値2より小さいか否かを判断し、連結成分の面積が基準値2より小さいものについては、その領域内に標的細胞は含まれないものと判断し(ステップS43)、領域内のピクセルを0(背景)に設定する。ここで、基準値2は画像内で標的細胞の核が占めると考えられる最低の面積とする。
【0040】
基準値2より大きい連結成分について、ステップS44において、連結部分を含む濃度レベル画像2を作成する。次いで、各々その連結成分を含む周辺領域を切り抜く(これを部分画像1と称する。図10(A)に示される。図10(A)において符号151が核候補、符号153がその他の構成要素である)。切り抜いた部分画像1内で、“0”(背景)以外の画素において、その値の最小値と最大値とを求め、ここで求めた最小値を、しきい値1とする(ステップS51)。部分画像1について、設定したしきい値により2値化画像を作成する(ステップS52)。2値化した部分画像において、値が“1”の画素を探して部分画像の連結成分をラベリングする(ステップS53)。ここで、「連結成分をラベリングする」とは、連結している画素(連結成分)を識別するため、連結する白(または黒)の画素の塊に対して、同じ値のラベルを割り当て、異なる連結成分同士は異なるラベルを割り当てる処理を指す。
【0041】
ステップS54において、連結成分の面積が標的細胞の核と考えられる大きさの範囲内であった場合であって、かつ、円形度が例えば0.7以上か否かを判断し、0.7以上であればその領域を標的細胞の核と考える(円形度は、周囲長をP、面積をSとしたとき、4πS/P2により定義される(最大値は1))。ステップS54において、標的細胞の核と考えられる領域が見つからなかった場合、ステップS56において、ステップS51で求めた最小値と最大値との範囲内でしきい値1を変化させて、ステップS52に戻り、ステップS52からステップS54までの処理を繰り返す。最大値まで変化させても標的細胞の核と考えられる領域が見つからなかった場合は(ステップS55のYES)、この範囲に標的細胞はないと判断し、他の探索領域を探索する(ステップS57)。
【0042】
ステップS54において、標的細胞の核と考えられる領域が見つかった場合には、ステップS58に進み、その重心座標を中心に周辺画像を切り出し、細胞周辺画像1を作成する。細胞周辺画像1に対し、核と考えられる領域を“1”、それ以外の領域を“0”としたマスク画像3(核領域マスク、図10(D))を作成する(ステップS59)。次に、ステップS60の細胞膜領域の抽出処理(図7)に移る。
【0043】
図7に示すように、ステップS61において、上記細胞周辺画像1内において、エッジ(境界線)検出フィルタを用いて、エッジ部を“1”、それ以外を“0”とした2値画像を作成する(図10(B))。この2値画像内でエッジの結線処理を行い、画像上で膜の欠けている部分を繋げる(図10(C)の膜画像)。ステップS62において、上記2値画像内でエッジ部の連結成分を探してラベリング処理を行う。連結成分の外周が、標的細胞の細胞膜と考えられる大きさの範囲内か否かを判断し(ステップS63)、範囲内であった場合には、その領域を穴埋め処理した画像を作成しマスク画像4(細胞膜内領域マスク)とする(ステップS65、図10(E))。範囲内でない場合には、ステップS64に進み、標的細胞の細胞膜ではないと判断し、他の探索領域を探索する。
【0044】
次いで、作成したマスク画像4(図10(E)の細胞膜内領域マスク)と、ステップS59(図6)において作成したマスク画像3(図10(D)の核抽出画像)と、に関してAND処理を行い(図10(F))、ステップS67において細胞膜内に核が存在するか否かを判定する。ステップS67において細胞膜内に核(図10(F)の符号155で示される。)が存在すると判断された場合には、ステップS69の細胞質の抽出処理に進む。ステップS67において細胞膜内に核が存在しないと判断された場合には、ステップS68に進み、標的細胞でないと判断され、他の探索領域に進む。
【0045】
図8は、細胞質の抽出工程に関するフローである。図8に示すように、ステップS67において細胞膜内に核が含まれていた場合、マスク画像4(細胞膜内マスク画像)からマスク画像3(核マスク画像)を引いた差分画像を作成し、マスク画像5(細胞質マスク画像)とする(ステップS71)。マスク画像5(細胞質マスク画像)と、ステップS59(図6)において作成したマスク画像3(核領域マスク)と、に基づいて、核領域と細胞質領域との面積の比率を計算する(ステップS72)。計算した比率が標的細胞の示す比率の範囲内であるか否かをステップS73において判定し、ステップS73において比率内ではないと判断された場合には、標的細胞でないと判断し(ステップS80)、他の探索領域へ移動する。
【0046】
ステップS73において比率内であると判断された場合には、マスク画像5(細胞質マスク画像)により入力画像(RGB)をマスク処理し、細胞質画像(RGB)を作成する(ステップS74)。次いで、ステップS75において、細胞質画像に対してR−Gのヒストグラムを作成する。R−Gヒストグラムのピークが基準値3よりも大きい否かを判断する(ステップS76)。R−Gヒストグラムのピークが基準値3よりも大きい場合、細胞質に赤みがかっており、この細胞は標的細胞でないと判断し(ステップS76のNO)、他の探索領域へ移動する。R−Gヒストグラムのピークが基準値3よりも小さい場合は、ステップS77に進み、細胞質画像からのグレーレベルヒストグラム(L3 = (R + G + B)/3)を作成する。
【0047】
ステップS78において、グレーレベルヒストグラムのピークが基準値4より大きいか否かを判断し、グレーレベルヒストグラムのピークが基準値4よりも小さい場合には細胞質の明度が低いため、ステップS80に進み、この細胞は標的細胞でないと判断し他の探索領域へ移動する。グレーレベルヒストグラムのピークが基準値4よりも大きい場合には、ステップS79に進み、最終的に残った細胞を標的細胞であると考え、ステップS9(図3)に進み、核領域の面積、核の円形度合い、核の明度、細胞膜の外周値、細胞質と核の面積比率、細胞質の赤み度合い、細胞質の明度などを、標的細胞であるかを示す確率要素として保存する。標的細胞が見つかった場合、入力画像(RGB)に対する標的細胞の重心座標を保存する。標的細胞が見つかった場合、入力画像(RGB)をデータベース51c(図2)に保存する。保存された標的細胞に関するデータは、ユーザからの要求に応じて、いつでもデータベース51cから取り出すことができる。S6からS9の処理を、標的細胞が指定数見つかるまで繰り返す。
【0048】
図11に、本実施の形態による標的細胞自動探索技術を用いて得られた検査結果に関するモニタ表示画面例を示す。図11に示すように、標的細胞自動探索結果の表示画面200は、運転開始ボタン201と、探索モードボタン203と、探索結果表示ボタン205と、メンテナンスボタン207と、終了ボタン209とを備えている。現在は、探索結果表示ボタン205が選択されており、画面にはその探索結果表示210が表示されている。探索結果表示210は、検体番号0005に関する表示であって、標的細胞候補1から5まで211a〜eまでが表示されている。現在選択されている標的細胞候補211aが大きく表示されており、この顕微鏡映像表示に関する各種情報も表示されている。
【0049】
加えて、探索結果一覧217には、検体221と、標的細胞数223と、探索開始日時225と、探索終了日時227とが、各検体No毎に表示されている。さらに、読み込みボタン231と、保存ボタン233と、削除ボタン235と、Exitボタン237とが設けられ、上記各検体に関して上記、読み込み、保存、削除、Exitの処理ができる。このような表示画面における各ボタンを選択すると、選択された処理が行われ、簡単なユーザインターフェイスが形成されている。
【0050】
以上に説明したように、本実施の形態による標的細胞自動探索システムによれば、母体から採取した血液に含まれる標的細胞、例えば、胎児由来の有核細胞を用い、信頼性が高く母児へのリスクが全くない出生前検査と診断とが可能になる。本実施の形態による胎児由来の有核細胞を利用した標的細胞自動探索システムによれば、従来、1有核赤血球あたりの探索時間として20分から1時間程度を要していた手作業を、1スライドグラス1枚あたり10分程度で5個の有核赤血球を探索することができた。すなわち、検体処理の自動化と長時間の無人運転とを上記装置と画像処理技術により可能とし、従来、検査技師による長時間の顕微鏡観察による負担を大幅に削減することができた。自動化された高精度な探索装置を用いることにより、終業前に装置をセットしそのまま夜間無人運転を行えば、翌朝には探索結果をディスプレイ上に表示することも可能となる。
【0051】
また、本実施の形態による標的細胞自動探索装置を用いると、スライドグラスの外形精度、顕微鏡ステージ上のスライドグラス固定機構、或いは、顕微鏡ステージの動作精度が特別に精密で無いものであっても、正常に動作させることができる。画像処理による顕微鏡ステージの位置補正を行えば、同一スライドグラス上の複数の任意の探索済み標的細胞を直ちに顕微鏡の視野中心に標的細胞を移動できるため、短時間での作業が可能になる。また高精度で高価なスライドグラスを使用しなくても良く、検査コストも下げることが可能となった。経験者であっても判断が難しかった無数の血球の中からの有核赤血球の判別に関しても、本実施の形態による装置を用いて探索した数個の細胞からの判断を行えば良く、作業者の負荷を大きく削減することが可能となる。
【0052】
以上、各実施の形態により本発明を説明したが、その他種々の変形・変更等が可能であることは、当業者は容易に理解できるであろう。例えば、上記探索方法をプログラムとして格納した装置、そのプログラム又はプログラムを記録した記録媒体も本発明の範疇に入ることは言うまでもない。また、標的細胞は、胎児由来の有核赤血球でなくても、他の特徴的な探索対象であれば、検査が可能である。例えば、ガン細胞やリンパ球を含む生体・生理物質を含む種々の対象である。
【0053】
【発明の効果】
本発明による標的細胞自動探索システムによれば、標的細胞の検査処理を自動的かつ精度良く行うことが可能であり、検査時間を大幅に短くすることができる。
【0054】
また、スライドグラスの外形精度、顕微鏡ステージ上のスライドグラス固定機構或いは顕微鏡ステージの動作精度などに関しては、画像処理による顕微鏡ステージの位置補正により特別な精度が要求されず、また、同一スライドグラス上の複数の任意の探索済み標的細胞を直ちに顕微鏡の視野中心に標的細胞を移動できるようになるなど、作業の効率化と検査コストの低減が可能となる。また、検査に熟練していない場合でも精度良く検査をすることができ、作業者の負荷を大きく削減することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態による標的細胞自動検索システムの構成例を示す図である。
【図2】図1に示す標的細胞自動検索システムの構成例を示す機能ブロック図である。
【図3】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図である。
【図4】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図であり、図3に続く図である。
【図5】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図であり、核領域の抽出処理の流れを示す図である。
【図6】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図であり、図5に続く処理の流れを示す図である。
【図7】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図であり、膜領域の抽出処理の流れを示す図である。
【図8】本発明の一実施の形態による標的細胞検索システムにおける処理の流れを示すフローチャート図であり、細胞質の抽出処理の流れを示す図である。
【図9】図9(A)から図9(D)までは、本実施の形態による標的細胞検索システムにおける処理を行った後の各工程における画像例である。
【図10】図10(A)から(F)までは、本実施の形態による標的細胞検索システムにおける処理を行った後の各工程における画像例であり、部分画像の抽出から最終的な核画像の抽出までのそれぞれの工程を行った後の画像である。
【図11】本実施の形態による標的細胞検索システムにおける表示画面例を示す図である。
【図12】胎児由来赤血球(有核)の画像である。
【符号の説明】
A…光学搬送系、B…画像処理系(画像処理PC)、C…制御系(制御PC)、D…出力系(高精度モニタディスプレイ)、1…光学顕微鏡、3…凹溝部、5…対物レンズ、7…CCDカメラ(撮像装置)、11…試料台、15…試料配置部、17…XYステージ機構、21…上面、23…スライドグラス、31…搬送装置、33…作動アーム、41…ストッカ、45…収容部、51…画像処理ユニット、53…制御ユニット、55…モニタディスプレイ(表示装置)。

Claims (4)

  1. 顕微鏡による検査画像の画像処理を行い、試料板に載せられた標的細胞を自動的に探索する標的細胞自動探索システムであって、
    前記標的細胞の形態的特徴を、核領域と細胞膜領域と細胞質領域とに分けて前記検査画像の画像処理を行う標的画像自動探索システムにおいて、
    細胞の核領域の面積と、核の円形度合いと、核の色と、細胞膜の外周値と、細胞質と核の面積比率と、細胞質の赤み度合いと、細胞質の明度と、を含む群中から選択される特性に基づいて、前記標的細胞であるか否かに関する確率値を計算し、
    前記標的細胞とそれ以外の細胞とを、色、形状、位置関係及び面積比のうち少なくともいずれかに基づいて区別することを特徴とする標的細胞自動探索システム。
  2. さらに、前記確率値を順列化し、該確率値の高い順を表示するように制御する表示制御部を備えることを特徴とする請求項に記載の標的細胞自動探索システム。
  3. 前記画像処理による前記標的細胞であるか否かの判別レベルに関するしきい値が、調節可能なパラメータ値として定められていることを特徴とする請求項1又は2に記載の標的細胞自動探索システム。
  4. 顕微鏡の自動位置合わせ機構は、前記標的細胞を基準として行われることを特徴とし、
    前記自動位置合わせ機構は、探索処理時に前記標的細胞と判断された複数の細胞の位置情報を記憶し、探索処理後に指定された前記試料板を再ローディングし、指定した前記標的細胞の過去に探索した際の位置情報から前記顕微鏡の視野中心に標的細胞を移動させた後に、その場で再度画像処理を行うことにより、現在と過去との前記標的細胞の位置情報を比較することにより、前記試料板と前記顕微鏡との物理的位置ずれ誤差を補正する補正手段を有していることを特徴とする請求項1からまでのいずれか1項に記載の標的細胞自動探索システム。
JP2003044373A 2003-02-21 2003-02-21 標的細胞自動探索システム Expired - Lifetime JP4346923B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003044373A JP4346923B2 (ja) 2003-02-21 2003-02-21 標的細胞自動探索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003044373A JP4346923B2 (ja) 2003-02-21 2003-02-21 標的細胞自動探索システム

Publications (2)

Publication Number Publication Date
JP2004248619A JP2004248619A (ja) 2004-09-09
JP4346923B2 true JP4346923B2 (ja) 2009-10-21

Family

ID=33027093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003044373A Expired - Lifetime JP4346923B2 (ja) 2003-02-21 2003-02-21 標的細胞自動探索システム

Country Status (1)

Country Link
JP (1) JP4346923B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169088A1 (ja) 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
WO2014030380A1 (ja) 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
WO2014030378A1 (ja) 2012-08-24 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
WO2014087689A1 (ja) 2012-12-07 2014-06-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
WO2014192184A1 (ja) 2013-05-31 2014-12-04 富士ゼロックス株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
WO2014196097A1 (ja) 2013-06-07 2014-12-11 富士ゼロックス株式会社 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
US9070005B2 (en) 2011-12-21 2015-06-30 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, non-transitory computer-readable medium, and image processing system for detection of target cells using image feature determination
WO2015107722A1 (ja) 2014-01-20 2015-07-23 富士ゼロックス株式会社 検出制御装置、プログラム、検出システム、記憶媒体及び検出制御方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578814B2 (ja) * 2004-01-26 2010-11-10 晴夫 高林 標的対象物の自動探索回収装置
JP4405837B2 (ja) * 2004-03-19 2010-01-27 ヤマト科学株式会社 組織試料分析装置
JP2006238802A (ja) * 2005-03-03 2006-09-14 Olympus Corp 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
US20070140543A1 (en) * 2005-12-19 2007-06-21 Cytyc Corporation Systems and methods for enhanced cytological specimen review
JP2008212017A (ja) * 2007-03-01 2008-09-18 Nikon Corp 細胞状態判定装置、および細胞状態判定方法
JP4674910B2 (ja) * 2007-03-29 2011-04-20 セキテクノトロン株式会社 ラマン分光法による結晶多形の自動判定方法及びその装置
US8326014B2 (en) * 2007-09-28 2012-12-04 Cytyc Corporation Methods and systems for processing biological specimens utilizing multiple wavelengths
JP5052451B2 (ja) * 2008-07-30 2012-10-17 オリンパス株式会社 細胞測定装置および細胞測定方法
JP5737178B2 (ja) 2009-07-08 2015-06-17 株式会社ニコン 表示装置、細胞ピッキング方法、及び培養方法
JP5246201B2 (ja) * 2010-04-12 2013-07-24 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US20130217061A1 (en) * 2010-10-25 2013-08-22 Masahiko Sato Apparatus for Systematic Single Cell Tracking of Distinctive Cellular Events
JP6070420B2 (ja) 2013-05-31 2017-02-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5907125B2 (ja) * 2013-07-25 2016-04-20 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5861678B2 (ja) * 2013-08-05 2016-02-16 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6156137B2 (ja) * 2013-12-27 2017-07-05 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6194791B2 (ja) 2013-12-27 2017-09-13 富士ゼロックス株式会社 画像処理装置及びプログラム
EP3179248A4 (en) * 2014-08-05 2017-06-14 Fujifilm Corporation Method for separating nucleated red blood cells
EP3178942A4 (en) * 2014-08-05 2017-08-23 Fujifilm Corporation Method for testing fetal chromosome
JP6523472B2 (ja) * 2015-09-29 2019-06-05 富士フイルム株式会社 標的細胞の識別方法、及び標的細胞識別装置
WO2017154200A1 (ja) * 2016-03-11 2017-09-14 株式会社ニコン 画像処理装置、観察装置、及びプログラム
CN116088158A (zh) * 2018-07-13 2023-05-09 深圳迈瑞生物医疗电子股份有限公司 一种细胞图像处理系统、方法、自动读片装置与存储介质

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169088A1 (ja) 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム
US9363486B2 (en) 2011-06-09 2016-06-07 Fuji Xerox Co., Ltd. Image processing device, image processing method, and image processing system
US9070005B2 (en) 2011-12-21 2015-06-30 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, non-transitory computer-readable medium, and image processing system for detection of target cells using image feature determination
US9934571B2 (en) 2012-08-23 2018-04-03 Fuji Xerox Co., Ltd. Image processing device, program, image processing method, computer-readable medium, and image processing system
WO2014030380A1 (ja) 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
WO2014030379A1 (ja) 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
CN104487843B (zh) * 2012-08-23 2017-09-29 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
CN104487843A (zh) * 2012-08-23 2015-04-01 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US9684958B2 (en) 2012-08-23 2017-06-20 Fuji Xerox Co., Ltd. Image processing device, program, image processing method, computer-readable medium, and image processing system
WO2014030378A1 (ja) 2012-08-24 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
US9704017B2 (en) 2012-08-24 2017-07-11 Fuji Xerox Xo., Ltd. Image processing device, program, image processing method, computer-readable medium, and image processing system
CN104471389A (zh) * 2012-08-24 2015-03-25 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
WO2014087689A1 (ja) 2012-12-07 2014-06-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
US9471977B2 (en) 2012-12-07 2016-10-18 Fuji Xerox Co., Ltd. Image processing device, image processing system, and non-transitory computer readable medium
EP3407258A1 (en) 2012-12-07 2018-11-28 Fujifilm Corporation Image processing device, image processing system, and program
CN105121620A (zh) * 2013-05-31 2015-12-02 富士施乐株式会社 图像处理设备、图像处理方法、程序和存储介质
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2014192184A1 (ja) 2013-05-31 2014-12-04 富士ゼロックス株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US10395091B2 (en) 2013-05-31 2019-08-27 Fujifilm Corporation Image processing apparatus, image processing method, and storage medium identifying cell candidate area
WO2014196097A1 (ja) 2013-06-07 2014-12-11 富士ゼロックス株式会社 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
WO2015107722A1 (ja) 2014-01-20 2015-07-23 富士ゼロックス株式会社 検出制御装置、プログラム、検出システム、記憶媒体及び検出制御方法
US10007834B2 (en) 2014-01-20 2018-06-26 Fujifilm Corporation Detection control device, detection system, non-transitory storage medium, and detection control method

Also Published As

Publication number Publication date
JP2004248619A (ja) 2004-09-09

Similar Documents

Publication Publication Date Title
JP4346923B2 (ja) 標的細胞自動探索システム
AU2020200835B2 (en) System and method for reviewing and analyzing cytological specimens
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP3479309B2 (ja) 細胞標本等級付けのシステムおよび方法
EP2441827B1 (en) Technique for determining the state of a cell mass, image processing program and image processing device using said technique, and method for producing a cell mass
CN101918809B (zh) 识别和处理微粒的方法和设备
EP1226546B1 (en) Apparatus and methods for verifying the location of areas of interest within a sample in an imaging system
JPS62135767A (ja) 細胞分析装置
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2010078377A (ja) 標本撮像装置
EP0479977A1 (en) AUTOMATIC CELL CLASSIFICATION SYSTEM AND METHOD.
JP4578814B2 (ja) 標的対象物の自動探索回収装置
JP5246201B2 (ja) 画像処理装置及び画像処理プログラム
KR101106386B1 (ko) 산점도 분포를 사용한 슬라이드를 분류하기 위한 시스템
JP2010151523A (ja) 粒子画像解析方法および装置
JPS6132182A (ja) 細胞分類装置
US6229912B1 (en) Particle image analyzing apparatus
JP4500138B2 (ja) 細胞画像解析方法
JPH10185911A (ja) 細胞解析装置及びその方法
JP2001330604A (ja) 薬物候補物質の検出システムおよび検出方法
JP2000258335A (ja) 尿沈渣自動分析装置及びデータ集中管理方式
JP3395627B2 (ja) 生体の粒子画像の分類方法
JPH0989752A (ja) 尿沈渣検査装置
JPH03123860A (ja) 染色体検査装置
JP2001299379A (ja) 生体試料の形態変化検出システムおよび形態変化検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090715

R150 Certificate of patent or registration of utility model

Ref document number: 4346923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term