JP6504160B2 - 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム - Google Patents
生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム Download PDFInfo
- Publication number
- JP6504160B2 JP6504160B2 JP2016514882A JP2016514882A JP6504160B2 JP 6504160 B2 JP6504160 B2 JP 6504160B2 JP 2016514882 A JP2016514882 A JP 2016514882A JP 2016514882 A JP2016514882 A JP 2016514882A JP 6504160 B2 JP6504160 B2 JP 6504160B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- fluorescent
- bright spot
- biological substance
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
- G01N33/532—Production of labelled immunochemicals
- G01N33/533—Production of labelled immunochemicals with fluorescent label
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Microbiology (AREA)
- Cell Biology (AREA)
- Biotechnology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Description
特許文献1に記載の方法によれば、蛍光画像を三次元に再構築して解析することにより、二次元では重なって見える複数個の蛍光シグナルを、一つ一つ分離して数えることができる。
また、特許文献1の実施例においては、画像の取得は共焦点顕微鏡を用いて行っている。発明者らが、有機蛍光色素又は量子ドットを用いてFISH法又はIHC法により染色した組織標本を通常の蛍光顕微鏡(BZ−9000、キーエンス社製)で撮像したところ、いずれの場合も、得られた蛍光画像では細胞全体が蛍光を発しており、蛍光シグナルをドット状に観察することは困難であった。つまり、1分子当たりの輝度値が小さい蛍光色素又は量子ドットの微小な蛍光シグナルをドット状に撮像するためには、FISH法により遺伝子を染色された標本であっても、背景ノイズが少なくコントラストの高い画像が得られる共焦点顕微鏡の使用が必要であった。
しかし、共焦点顕微鏡は、一般的に励起光としてレーザー光を用いる必要があることから、使用できる波長が限られ、また、撮像の手間がかかって簡便性が低いことが知られる。
特許文献2に記載の方法によれば、蛍光色素集積粒子は一粒子当たりの輝度が高いため、蛍光染色された生体物質がタンパク質の場合でも、蛍光シグナルをドット状に観察し、粒子数を算出することができる。
また、特許文献2においても、実施例では共焦点顕微鏡を用いて画像を取得しており、通常の蛍光顕微鏡を用いた場合には、焦点が大きくずれた蛍光色素集積粒子のシグナルは背景ノイズに埋もれて識別し難いこと等の影響により、上述したような誤差はさらに大きくなり得る。
蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量する生体物質定量方法において、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力工程と、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成工程と、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出工程と、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出工程と、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成工程と、
を有することを特徴とする生体物質定量方法が提供される。
前記基準プロファイルは、蛍光輝点源となる蛍光粒子からの相対距離と輝度の情報を備えることを特徴とする生体物質定量方法が提供される。
前記蛍光粒子の平均粒径が20〜200nmであることを特徴とする生体物質定量方法が提供される。
前記蛍光粒子の粒径の変動係数が15%以下であることを特徴とする生体物質定量方法が提供される。
前記生体物質がタンパク質であることを特徴とする生体物質定量方法が提供される。
蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量する生体物質定量方法において、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力手段と、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成手段と、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出手段と、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出手段と、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成手段と、
を有することを特徴とする画像処理装置が提供される。
請求項6に記載の画像処理装置と、
前記画像処理装置で使用される前記蛍光画像を取得する画像取得装置と、
を備えることを特徴とする病理診断支援システムが提供される。
蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量するコンピュータを、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力手段、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成手段、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出手段、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出手段、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成手段、
として機能させるための画像処理プログラムが提供される。
図1に、本発明の生体物質定量方法を用いた病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された人体の組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、及び通信I/F等を備えて構成されている。照射手段は、光源及びフィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。蛍光観察時の光源としては、水銀ランプ、キセノンランプ、LED、又はレーザー光など、任意のものが使用できる。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、及び記憶部25等を備えて構成され、各部はバス26を介して接続されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
明視野画像は、H(ヘマトキシリン)染色試薬、HE(ヘマトキシリン−エオジン)染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び/又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子(以下、蛍光物質内包ナノ粒子又は蛍光粒子と呼ぶ)を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光(蛍光)させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図4に、蛍光画像の一例を示す。
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬(蛍光物質内包ナノ粒子)、及び染色試薬による組織標本の染色方法等も含めて詳細に説明する。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100%)は、粒径のばらつきが大きい場合は、抗原へのアクセスがばらつくという観点から、15%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、平均粒径と同様に1000個の粒子の粒径から算出した。
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗HER2抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
蛍光物質内包メラミンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子と同様の手順を適用することができる。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物をあらかじめ反応させて表面アミノ基数を増やしても良い。
以下、組織標本の染色方法について述べるが、本発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる組織標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
まず、操作者は、キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
操作者は、公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01M クエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5% 尿素、0.1M トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130℃、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
操作者は、生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
染色した組織標本に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
解析に用いられる蛍光顕微鏡画像(蛍光画像)の取得条件には特に制限はないが、対物レンズの倍率は4〜100倍が好ましく、開口数(NA)は0.6以上が好ましく、さらに好ましくは0.8以上である。また、撮像するカメラのサンプリングピッチは、400nm以下が好ましく、さらに好ましくは150nm以下である。
以下、病理診断支援システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、乳癌組織におけるHER2タンパク(以下、特定タンパクと呼ぶ。)を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
その後、顕微鏡画像取得装置1Aにおいて、以下の(a1)〜(a6)の手順により明視野画像及び蛍光画像を取得する。
(a1)操作者は、HE染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率及びピントの調整を行って、組織標本上の観察対象の領域を視野に納め、焦点深度の移動方向(ここでは、上下方向とする)の撮影開始位置、撮影終了位置、及びピッチを設定する。スライド固定ステージを所定の撮影開始位置まで上方又は下方に移動する。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)スライド固定ステージの位置及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a6)スライド固定ステージを上方又は下方に所定のピッチ移動させて焦点深度を変えた後、再び(a3)〜(a5)の手順を行う。
操作者は、スライド固定ステージが所定の撮影終了位置に到達するまで、(a6)の手順を繰り返す。
図5に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図5に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図6に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が二値化される(ステップS202)。
図8に、ステップS4における処理の詳細フローを示す。ステップS4の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
図9Bに、輝点領域が抽出された画像の一例を示す。図9Bに示すように、かかる画像では蛍光輝点を中心とした輝点領域が抽出されている。
「輝度プロファイル」とは、輝点領域が抽出された画像をマスクとして蛍光画像から抽出された画像に基づき作成される輝度値の分布情報であり、輝点領域における輝度値とその範囲(輝度分布の広がり)とを示すものである。
次いで、輝点領域が抽出された画像(例えば、図10B)をマスクとして、蛍光画像(例えば、図10C)から、輝点領域に対応する輝点画像が生成される(図10D)。輝点画像の輝度値を画素ごとに計測し、X座標位置及びY座標位置に表示したものが、ステップS403において輝度プロファイルとして作成される輝度値の分布である(図10E)。
本実施形態では、ステップS3において入力された蛍光画像と同一の画像取り込み条件で撮影された単独の蛍光粒子の画像から、1つの蛍光粒子の輝度プロファイルが、基準プロファイルとして予め作成される。輝点画像から作成された輝度プロファイルを、基準プロファイルに基づいて解析することで、焦点深度の異なる複数の輝点画像の中から、焦点の合った画像のみを抽出でき、また、各輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出できる。
例えば、1つの蛍光粒子に焦点が合っている蛍光画像から作成された基準プロファイルは、図11Bのように中心に一つの鋭いピークを持つ正規分布形状となる。焦点が蛍光粒子よりも下方にずれている蛍光画像から作成された基準プロファイルは、例えば図11Aのように、縦横方向の広がりが大きく、ピークが低くなる。一方、焦点が蛍光粒子よりも上方にずれている蛍光画像から作成された基準プロファイルは、例えば図11Cのように、中心から一定距離離れた位置に最も輝度が高い部位がリング状に見られ、中心はやや輝度が低く凹んだ形となる。
図12A〜図12Cに示される輝度プロファイルのうち、左端の輝度プロファイルは、焦点深度Z1(図12A)において鋭いピークを持つ正規分布形状を示すが、焦点深度Z2(図12B)においては、中心が凹み、X軸方向の広がりが大きくなる。さらに、焦点深度Z3(図12C)においては、中心が凹んだ形状のまま、X軸方向の広がりがさらに大きくなる。これらの輝度プロファイルを基準プロファイルに基づいて解析すると、例えば焦点深度Z1(図12A)において最も焦点が合っている蛍光粒子が1つ存在していると判断される。
また、中央の輝度プロファイルは、焦点深度Z2(図12B)において中心に鋭いピークを持つ正規分布形状を示すが、焦点深度Z1及びZ3(図12A及び図12C)においては、中心が凹み、X軸方向の広がりが大きいほぼ同一形状を示している。基準プロファイルに基づく解析によれば、この輝点領域には、例えば、焦点深度Z2(図12B)において最も焦点が合っている蛍光粒子が1つ存在していると判断される。
また、右端の輝度プロファイルは、焦点深度Z1(図12A)においては、中心が凹んでX軸方向の広がりが非常に大きく、焦点深度Z2(図12B)においては、中心は凹んでいるがX軸方向の広がりがやや狭まり、焦点深度Z3(図12C)においては中心に鋭いピークを持つ正規分布形状を示している。基準プロファイルに基づく解析によれば、この輝点領域には、例えば、焦点深度Z3(図12C)において最も焦点が合っている蛍光粒子が1つ存在していると判断される。
次いで、蛍光画像にラベリング処理が施され、ステップS404の工程において算出された蛍光粒子の位置の輝点画像にラベルが付与される(ステップS405)。ここでは、各輝点領域に対応する焦点深度の異なる複数の輝点画像の中で、最も蛍光粒子に焦点が合っている輝点画像(蛍光粒子画像)に、蛍光粒子を識別するためのラベルが付与されることとなる。
図12Dは、図12A〜図12Cの3枚の蛍光画像から再構成された合焦点画像及び合焦点画像の輝度プロファイルの断面を示す模式図であり、輝度プロファイルの左の輝点領域においては焦点深度Z1(図12A)の輝点画像、中央の輝点領域においては焦点深度Z2(図12B)の輝点画像、右の輝点領域においては焦点深度Z3(図12C)の輝点画像が、蛍光粒子画像として抽出され、再構成された例を示す。合焦点画像から作成された輝度プロファイル(図12Dの右図)は、全ての輝点領域において鋭いピークを持つ正規分布形状となり、各蛍光粒子に焦点が合った画像が得られる。
次いで、ステップS6では、再構成画像と細胞画像が重ね合わせられて、細胞上での蛍光粒子の分布を示す画像が表示される。
こうして、簡易な顕微鏡を用いて観察対象細胞内での特定タンパク質の発現(発現数とその発現位置)を正確に定量することができ、それぞれの蛍光粒子に焦点が合った、輝点のボケがない蛍光画像を得ることができる。
かかる場合、ステップS401においてフィルターワーク等を用いてそれぞれの色成分を抽出し、その抽出した色成分(波長成分)ごとにステップS402〜S405の処理を実行し、ステップS5−S6において、細胞領域画像と色成分ごと作成された蛍光粒子画像とを加算すればよい。
蛍光物質に抗HER2抗体を結合させたIHC染色用の染色試薬aを、以下の方法で作成した。
蛍光色素として赤色発光色素であるSulforhodamine101(シグマアルドリッチ社製)14.4mgを水22mLに加えて溶解させた。その後、この溶液に乳化重合用乳化剤のエマルゲン(登録商標)430(ポリオキシエチレンオレイルエーテル、花王社製)の5%水溶液を2mL加えた。この溶液をホットスターラー上で撹拌しながら70℃まで昇温させた後、この溶液にメラミン樹脂原料ニカラックMX−035(日本カーバイド工業社製)を0.65g加えた。
さらに、この溶液に界面活性剤としてドデシルベンゼンスルホン酸(関東化学社製)の10%水溶液を1000μL加え、70℃で50分間加熱撹拌した。その後、90℃に昇温して20分間加熱撹拌した。得られた色素樹脂粒子の分散液から、余剰の樹脂原料や蛍光色素等の不純物を除くため、純水による洗浄を行った。
具体的には、遠心分離機(クボタ社製マイクロ冷却遠心機3740)にて20000Gで15分間、遠心分離し、上澄み除去後、超純水を加えて超音波照射して再分散した。遠心分離、上澄み除去および超純水への再分散による洗浄を5回繰り返した。得られたメラミン粒子はメラミン樹脂自体が骨格に多くのアミノ基を含むことから、プラス電荷となった。粒子の電荷の評価は、NMRやIR等による樹脂成分分析と、ゼータ電位測定により行なった。
下記の工程(1)〜(12)の方法により、蛍光粒子に対して抗HER2抗体を結合させた。
工程(1):1mgの蛍光粒子を純水5mLに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液(LS−3150、信越化学工業社製)100μLを添加し、室温で12時間撹拌した。
工程(2):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(3):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたアミノ基修飾した蛍光粒子のFT−IR測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
工程(5):工程(4)で調整した溶液に、最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl-[(N-maleomidopropionamid)-dodecaethyleneglycol]ester)を混合し、1時間反応させた。
工程(6):反応混合液を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(7):EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、抗体結合用マレイミド結合蛍光粒子を得た。
工程(9):反応混合物についてゲルろ過カラムにより過剰のDTTを除去し、蛍光粒子に結合可能な還元化抗HER2抗体溶液を得た。
工程(10):蛍光粒子を出発原料として工程(7)で得られた蛍光粒子分散液と工程(9)で得られた還元化抗HER2抗体溶液とをPBS中で混合し、1時間反応させた。
工程(11):10mMメルカプトエタノール4μLを添加し、反応を停止させた。
工程(12):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、抗HER2抗体が結合された蛍光粒子を得た。
蛍光色素(平均粒径:1nm以下)及び量子ドット(平均粒径:約5nm)に対して抗HER2抗体を結合させた染色試薬aを公知の方法により準備した。
FISH染色用プローブは、HER-2 DNAプローブにNickトランスレーションによりビオチンを導入した、ビオチン化HER-2 DNAプローブを用いた。
また、プローブを可視化するための染色試薬bとしては、(A1−2)の工程(8)において抗HER2抗体の代わりにストレプトアビジンを用いて作成したストレプトアビジン修飾蛍光粒子、及び、(A1−3)と同様の蛍光色素及び量子ドットに対してストレプトアビジンを結合させたものを用いた。
(B1)免疫組織化学(IHC)法
下記工程(1)〜(10)の方法により、染色試薬aを用い、ヒト乳房組織標本の免疫染色を行った。染色標本はコスモバイオ社製の組織アレイスライド(CB−A712)を用い、あらかじめDAB染色によりHER2染色濃度を観察し、HER2高発現(HER2 3+)、HER2低発現(HER2 +)、HER2陰性(HER2 −)、の3種のロットを用意し、それぞれ染色を行った。
工程(2):エタノールを入れた容器に組織標本を30分浸漬させた。途中3回エタノールを交換した。
工程(3):水を入れた容器に組織標本を30分浸漬させた。途中3回水を交換した。
工程(4):10mMクエン酸緩衝液(pH6.0)に組織標本を30分浸漬させた。
工程(5):121度で10分オートクレーブ処理を行った。
工程(6):PBSを入れた容器に、オートクレーブ処理後の組織標本を30分浸漬させた。
工程(7):1%BSA含有PBSを組織標本に載せて、1時間放置した。
工程(8):1%BSA含有PBSで0.05nMに希釈した抗HER2抗体が結合された染色試薬aを、それぞれ組織標本に載せて3時間放置した。
工程(9):PBSを入れた容器に、染色後の組織標本をそれぞれ30分浸漬させた。
工程(10)4%中性パラホルムアルデヒド溶液で10分間固定処理した後、HE染色を行った。
工程(11):Merck Chemicals社製Aquatexを滴下後、カバーガラスを載せ封入した。
染色試薬bを用いて、FISH法によるヒト乳房組織標本の染色を行った。ビオチン化HER-2 DNAプローブのハイブリダイゼーションは、公知の方法により行なった。また、ハイブリダイゼーションしたビオチン化HER-2 DNAプローブに対して、染色試薬bを公知の方法により結合して可視化した。
染色標本はコスモバイオ社製の組織アレイスライド(CB−A712)を用い、あらかじめパスビジョン(登録商標)HER−2 DNAプローブキット(アボット社製)を用いて各スポット当りのFISHスコアを算出した。算出されたFISHスコアに基づいて、HER2遺伝子量の異なる3種の組織標本のロットを用意し、それぞれ染色を行った。HER2遺伝子は通常、細胞内に2つ存在し、細胞増殖時には4個に増える場合もある。正常な細胞である「増幅無し」の組織標本のロットにおいては、遺伝子数が1〜4個となる。一方、HER2「大増幅」の組織標本のロットにおいては、細胞あたり10個以上のHER2遺伝子がある。また、HER2「小増幅」の組織標本のロットにおいては、細胞あたり6〜10個のHER2遺伝子がある。
染色試薬a及びbを用いて染色した組織標本について、顕微鏡画像(明視野画像及び蛍光画像)を取得した。
顕微鏡は、蛍光顕微鏡(BZ−9000、キーエンス社製)を用い、対物レンズ倍率を40倍に設定した。蛍光画像の取得にあたっては、中心波長560nmの励起光を照射して、組織標本から発せられる630nmの中心波長を有する蛍光を結像し、顕微鏡設置カメラ(モノクロ)により顕微鏡画像(画像データ)を取得した。
顕微鏡画像の取得は、まず、細胞の外縁にピントを合わせてから、ステージを下方に2μm下げた位置で顕微鏡画像を取得し、ステージを0.2μm上方向にずらして再度顕微鏡画像を取得することを繰り返し、計20枚の蛍光顕微鏡画像を取得した。
本発明の合焦点画像を用いた計測として、得られた20枚の顕微鏡画像に図5の画像解析処理を実行し、輝度プロファイルに基づいて、1細胞当たりの蛍光粒子数(輝点数)を算出した。
従来の計測手法による比較として、取得した20枚の顕微鏡画像のうち、細胞の外縁にピントを合わせた一枚の画像(単一画像)のみを用いて、輝度が所定の閾値を超えた領域を輝点として計測し、1細胞当たりの蛍光粒子数(輝点数)を算出した。
(A1)に記載の染色試薬aを用いて、(B1)に記載のIHC法によってHER2タンパク質が染色された組織標本から算出された一細胞当たりの輝点数を、表1に示す。
実施例1においては、蛍光粒子由来の染色試薬aを用いて染色した組織標本から、本発明の画像解析処理方法(C1)を用いて輝点数を算出した。
比較例1においては、蛍光粒子由来の染色試薬aを用いて染色した組織標本から、従来の画像解析処理方法(C2)を用いて輝点数を算出した。
比較例2、3においては、蛍光色素及び量子ドット由来の染色試薬aを用いて染色した組織標本から、本発明の画像解析処理方法(C1)を用いて輝点数を算出した。
一方、比較例1によれば、HER2 +の組織標本においては、HER2 −の組織標本の1.3〜2.3倍(平均:約1.7倍)の数の輝点が算出された。また、HER2 3+の組織標本においては、HER2 +の組織標本の4.6〜6倍(平均:約5.2倍)の輝点数が算出された。
さらに、本発明の生体物質定量方法によれば、焦点深度を変えた複数の蛍光画像を用いて解析を行うので、焦点深度の方向の広がりも加味した細胞の全体から蛍光粒子を検出することができる。さらに、輝度プロファイルに基づいた解析により、近接した蛍光粒子を分離して計測可能であるため、より正確な輝点数を計測できる。実際、実施例1及び比較例1において、組織標本のロットがHER2 3+及びHER2 +の組織標本から計測された輝点数を、蛍光粒子の平均粒径が同一のもので比較すると、実施例では比較例の約2.5倍の輝点数が算出されていた。
このように、本発明によれば焦点深度の方向にも渡る多数の輝点を正確に計測できるため、発現量のわずかな差を検出しやすく、HER2の発現が少ない場合でも発現量の差を明確に区別して診断することができる。
(A2)に記載の染色試薬bを用いて、(B2)に記載のFISH法によってHER2遺伝子が染色された組織標本から算出された一細胞当たりの輝点数を、表2に示す。
実施例2においては、蛍光粒子由来の染色試薬bを用いて染色した組織標本から、本発明の画像解析処理方法(C1)を用いて輝点数を算出した。
比較例4においては、蛍光粒子由来の染色試薬bを用いて染色した組織標本から、従来の画像解析処理方法(C2)を用いて輝点数を算出した。
比較例5、6においては、蛍光色素及び量子ドット由来の染色試薬bを用いて染色した組織標本から、本発明の画像解析処理方法(C1)及び従来の画像解析処理方法(C2)を用いて輝点数を算出した。なお、蛍光色素及び量子ドットは1分子当たりの輝度が小さく、基準となる輝度プロファイルを焦点深度を変えて得ることが困難であった。そのため、比較例5−1及び比較例6−1においては、蛍光粒子の輝度プロファイルを用いて画像解析処理を行った。
2A 画像処理装置
3A ケーブル
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
100 病理診断支援システム
Claims (8)
- 蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量する生体物質定量方法において、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力工程と、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成工程と、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出工程と、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出工程と、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成工程と、
を有することを特徴とする生体物質定量方法。 - 請求項1に記載の生体物質定量方法において、
前記基準プロファイルは、蛍光輝点源となる蛍光粒子からの相対距離と輝度の情報を備えることを特徴とする生体物質定量方法。 - 請求項1又は2に記載の生体物質定量方法において、
前記蛍光粒子の平均粒径が20〜200nmであることを特徴とする生体物質定量方法。 - 請求項1〜3の何れか一項に記載の生体物質定量方法において、
前記蛍光粒子の粒径の変動係数が15%以下であることを特徴とする生体物質定量方法。 - 請求項1〜4の何れか一項に記載の生体物質定量方法において、
前記生体物質がタンパク質であることを特徴とする生体物質定量方法。 - 蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量する画像処理装置において、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力手段と、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成手段と、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出手段と、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出手段と、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成手段と、
を有することを特徴とする画像処理装置。 - 請求項6に記載の画像処理装置と、
前記画像処理装置で使用される前記蛍光画像を取得する画像取得装置と、
を備えることを特徴とする病理診断支援システム。 - 蛍光物質を複数集積した蛍光粒子を染色試薬として用いて特定の生体物質が染色された標本から、前記生体物質を定量するコンピュータを、
焦点深度を所定の間隔で連続的に変え、各焦点深度において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する入力手段、
各焦点深度における前記蛍光画像から、輝点領域が抽出された輝点画像を生成し、当該輝点画像ごとに輝度プロファイルを作成するプロファイル作成手段、
基準プロファイルとして予め計測された蛍光粒子の輝度プロファイルを作成し、各焦点深度における輝点画像の輝度プロファイルを、前記基準プロファイルに基づいて前記蛍光画像に含まれる蛍光粒子の位置を特定して解析することにより、前記蛍光画像に含まれる蛍光粒子の数を算出する算出手段、
各焦点深度における前記輝点画像の中から、算出された蛍光粒子の位置に最も近い位置の輝点画像を抽出する抽出手段、
前記抽出された輝点画像を合成して一枚の画像に再構成した再構成画像を生成する生成手段、
として機能させるための画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014087155 | 2014-04-21 | ||
JP2014087155 | 2014-04-21 | ||
PCT/JP2015/061578 WO2015163211A1 (ja) | 2014-04-21 | 2015-04-15 | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015163211A1 JPWO2015163211A1 (ja) | 2017-04-13 |
JP6504160B2 true JP6504160B2 (ja) | 2019-04-24 |
Family
ID=54332378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514882A Active JP6504160B2 (ja) | 2014-04-21 | 2015-04-15 | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6504160B2 (ja) |
WO (1) | WO2015163211A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6578928B2 (ja) * | 2015-12-16 | 2019-09-25 | コニカミノルタ株式会社 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
JP6730040B2 (ja) * | 2016-02-12 | 2020-07-29 | 大日本印刷株式会社 | 培養状態解析システム及び培養状態解析方法、並びに、プログラム |
US10656092B2 (en) * | 2016-07-05 | 2020-05-19 | Konica Minolta, Inc. | Biological material quantifying method, image processing device, pathological diagnosis support system and recording medium |
EP3699588A4 (en) * | 2017-10-19 | 2020-11-25 | Konica Minolta, Inc. | METHOD OF MEASURING THE QUANTITY OF BIOMATERIAL, IMAGE PROCESSING DEVICE, SYSTEM TO SUPPORT PATHOLOGY DIAGNOSIS AND PROGRAM |
US20210192721A1 (en) * | 2017-10-26 | 2021-06-24 | Konica Minolta, Inc. | Image Processing Device, In-Focus Position Specifying Method, and In-Focus Position Specifying Program |
WO2019087853A1 (ja) * | 2017-11-06 | 2019-05-09 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
JP7403965B2 (ja) * | 2019-03-29 | 2023-12-25 | シスメックス株式会社 | 蛍光画像分析装置及び蛍光画像分析方法 |
JPWO2020209217A1 (ja) * | 2019-04-12 | 2020-10-15 | ||
WO2021117153A1 (ja) * | 2019-12-11 | 2021-06-17 | 株式会社日立ハイテク | 蛍光検出装置、蛍光検出方法 |
JPWO2021124866A1 (ja) * | 2019-12-19 | 2021-06-24 | ||
JP2023015426A (ja) * | 2020-01-21 | 2023-02-01 | コニカミノルタ株式会社 | マラリア検査方法及びマラリア検査装置 |
JPWO2022059312A1 (ja) * | 2020-09-17 | 2022-03-24 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2453239B1 (en) * | 2005-05-23 | 2017-04-26 | Harald F. Hess | Optical microscopy with transformable optical labels |
US8947516B2 (en) * | 2007-09-26 | 2015-02-03 | Massachusetts Institute Of Technology | High-resolution 3D imaging of single semiconductor nanocrystals |
US10809167B2 (en) * | 2010-08-30 | 2020-10-20 | Konica Minolta, Inc. | Tissue staining method with staining agent containing particle holding plural phosphors |
-
2015
- 2015-04-15 JP JP2016514882A patent/JP6504160B2/ja active Active
- 2015-04-15 WO PCT/JP2015/061578 patent/WO2015163211A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015163211A1 (ja) | 2015-10-29 |
JPWO2015163211A1 (ja) | 2017-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504160B2 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム | |
JP5768945B1 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム | |
JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
US10309900B1 (en) | Biological substance quantitation method, pathological diagnosis support system and recording medium storing computer readable program | |
JP6717751B2 (ja) | 画像処理方法、画像生成方法、画像処理装置及びプログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
WO2017126420A1 (ja) | 画像処理装置及びプログラム | |
JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
JP6372370B2 (ja) | 生体物質定量方法、画像処理装置、及びプログラム | |
JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6702339B2 (ja) | 画像処理装置及びプログラム | |
JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
WO2016204027A1 (ja) | 目的生体物質の解析装置、解析システム、解析方法および解析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6504160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |