JP6659832B2 - 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置 - Google Patents
正規化及びアーチファクト補正のための画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP6659832B2 JP6659832B2 JP2018514896A JP2018514896A JP6659832B2 JP 6659832 B2 JP6659832 B2 JP 6659832B2 JP 2018514896 A JP2018514896 A JP 2018514896A JP 2018514896 A JP2018514896 A JP 2018514896A JP 6659832 B2 JP6659832 B2 JP 6659832B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- chunk
- color
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 13
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000010606 normalization Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 67
- 238000013507 mapping Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 21
- 238000001000 micrograph Methods 0.000 claims description 17
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 16
- 238000000354 decomposition reaction Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000004043 dyeing Methods 0.000 claims 1
- 239000013598 vector Substances 0.000 description 70
- 210000001519 tissue Anatomy 0.000 description 44
- 239000011159 matrix material Substances 0.000 description 22
- 238000013500 data storage Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000010186 staining Methods 0.000 description 14
- 230000007170 pathology Effects 0.000 description 9
- 239000000654 additive Substances 0.000 description 8
- 230000000996 additive effect Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 208000037396 Intraductal Noninfiltrating Carcinoma Diseases 0.000 description 2
- 206010073099 Lobular breast carcinoma in situ Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000028715 ductal breast carcinoma in situ Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 210000002307 prostate Anatomy 0.000 description 2
- 235000015655 Crocus sativus Nutrition 0.000 description 1
- 244000124209 Crocus sativus Species 0.000 description 1
- 206010073094 Intraductal proliferative breast lesion Diseases 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 206010073096 invasive lobular breast carcinoma Diseases 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000013974 saffron Nutrition 0.000 description 1
- 239000004248 saffron Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N2001/302—Stain compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
本発明は、組織サンプルの細胞学的及び組織学的解析に関し、より詳細には、例えば染色された組織サンプルの顕微鏡画像の解析の方法、及びそのための装置に関する。さらに詳細には、本開示は、デジタルパソロジーの目的のための、例えばスライドスキャンといった、顕微鏡画像のデジタル画像処理に関する。
バーチャル顕微鏡法又はバーチャルパソロジーとも呼ばれることがあるデジタルパソロジーは、デジタル情報の管理、解析、及び解釈を伴う。この技術分野において、画像間の比較を行い、大量のデータについて学習アルゴリズムをトレーニングする必要性が、重要な課題である。全スライド顕微鏡画像は、大量のデータを含むことがある。出願人は、異なるシステムを使用して取得された異なる組織サンプルの間の客観的な比較を提供するそのような方法の能力を損なうことなく、そのようなデータのアップロード及び処理を自動化する必要性を認識している。
ここに記載されるプロセスは、ガラススライドの作成と、デジタルパソロジーソリューションを使用して、このようなガラススライドをデジタル病理スライドに変換することと、を含み得る。次いで、デジタル病理画像の高分解能の観察、解釈、及び画像解析を可能にするデジタルスライドスキャンが生成される。デジタルパソロジーソリューションの発展は、コンピュータスクリーン上で現在行われている組織学的画像の解析及び解釈により、研究室がガラススライドをどのように管理及び解釈するかを完全に変えている。
世界的に勢いを増しているデジタルパソロジーは、保健及び製薬分野、教育機関、及び医薬品開発業務受託機関において使用されている。幅広い応用により、この高度化した技術の実現される利点は、２０２０年までに５７億ドルの価値があると推定される、デジタルパソロジーソリューションのマーケットにおける高い成長を促進している。
正確な診断を提供する能力は、医療の提供にとって非常に重要である。癌等の疾病の存在を特定するための生検は、そのような診断において有用なツールである。正確な予後評価も、疾病のさらなる進展を抑えるために行われるアクションを可能にするので、非常に重要である。組織サンプルの顕微鏡画像が、これらの目的のために、長年使用されてきた。
この目的のために、各々が独自の特徴を有する多数の顕微鏡イメージングシステムが開発されている。全スライドイメージングシステムは、巨視的な組織サンプルにわたって顕微鏡の視野をスキャンして一連のデジタル画像を取得することにより、顕微鏡スライド全体のデジタル画像を取得する。次いで、結果として得られたデジタル画像を一緒に連結して、顕微鏡スライド全体を示す単一の画像又は画像セットを提供することができる。スライドの部分画像も、同じ手法により取得することができる。
これらの種類の画像に基づいて診断を行う病理医は、質的判断に依拠することがある。そのような判断は、科学的知識に基づくことがあり、個人的経験に基づくこともある。これは、必然的に主観的なプロセスである。結果として、診断及び予後評価は、必ずしも再現可能ではなく、異なる病理医は、組織サンプルの同一の画像に基づいて異なる判断を下すことがある。
診断上の判断を下す際に、大きな組織サンプルが関与している可能性があるため、病理医のタスクはさらに困難になる。そのような場合、数十の又はさらには数百もの顕微鏡画像が、１人の患者から解析される必要があることがある。これは、前立腺等の身体の比較的大きな領域から複数の組織生検が行われた場合に特に当てはまる。これらの問題は、同じ患者の組織サンプルを評価する２人の異なる病理医が、同じ組織サンプルの異なる画像の異なる領域の特徴を考慮する可能性があるので、再現性の問題を増大させる。
組織サンプルが取得された条件、及び画像化される前の当該サンプルの処理（例えば、当該サンプルに与えられる染料の濃度に関して）、画像を取得するために使用されるイメージングシステム、並びに画像アーチファクトの存在は全て、画像間の変動を生じさせる可能性がある。念入りな解析が必要とされるが、人間の病理医は、少なくとも直感的にそのような混同を斟酌することができる。したがって、人間の病理医による評価の主観的な性質は、問題があるものの、画像間の変動性のこれらの問題に対処する１つの方法を少なくとも提供する。直感的な判断の必要性は、顕微鏡画像の診断及び予後評価の直接的な自動化を妨げる。
米国特許出願公開第２０１０／０３２９５３５号明細書は、組織学的スライド画像を正規化するための方法を開示している。組織学的スライド画像の画素についてのカラーベクトルが決定される。組織学的スライド画像の画素についての染色の強度プロファイルが正規化される。組織学的スライド画像の画素についてのカラーベクトル及び染色の正規化された強度プロファイルを含む、組織学的スライド画像の正規化された画像データが提供される。
米国特許出願公開第２０１０／０３２９５３５号明細書は、組織学的スライド画像を正規化するための方法を開示している。組織学的スライド画像の画素についてのカラーベクトルが決定される。組織学的スライド画像の画素についての染色の強度プロファイルが正規化される。組織学的スライド画像の画素についてのカラーベクトル及び染色の正規化された強度プロファイルを含む、組織学的スライド画像の正規化された画像データが提供される。
克服すべきさらなる障害が存在する。
本発明の態様及び例は、特許請求の範囲に記載され、上記のような技術的問題に対処することを目的とする。本発明の態様及び例は、本明細書にも記載される。
本開示の実施形態が、添付の図面を参照して例として説明される。
画像処理方法を示すフローチャート。
カラーデータを示すデータ図及びベクトル図。
画像データを解析する方法を示すフローチャート。
画像処理装置の非常に概略的な図。
図１に示される方法のさらなる例を示す図。
図１に示される方法のさらなる例を示す図。
図１は、プロセスの図表現を示している。
図１に示されているように、本開示の実施形態は、画像間の客観的な比較を可能にすることを目的とし、顕微鏡画像に基づく自動化された診断及び予後評価の計算効率を向上させることを目的とする画像処理方法及び画像処理装置に関する。これは、画像画素データを正規化することによりなされる。これを達成するために、コンピュータは、チャンクカラーデータを取得し、ここで、各チャンクのカラーは、当該チャンクを構成する複数の画像画素を表す。コンピュータはまた、それらのチャンクカラーごとに１つずつ、近似カラー表現を決定する。本開示の文脈において、各チャンクは、例えばタイルといった、近傍画素のグループ等の、連続した空間領域の画像データを含み得ることが理解されよう。例えば、チャンク（又はタイル）は、一緒になって、画像の低分解能バージョン（例えば、画像のより低い拡大倍率のバージョン）を構成する。
図１に示されているように、本開示の方法は、例えば、スライドスキャンを行うことにより、又は、メモリからスライドスキャンの画像データを読み出すことにより、高拡大倍率の画像を取得することを含む。画像は、例えば２倍の拡大倍率又は何らかの他の拡大倍率レベルといったより低い画像分解能でデータを提供するためにサブサンプリングされる。サブサンプリングされた画像分解能のデータのチャンクが選択され、これらのチャンクは、一緒になって、画像全体又はその画像内の関心領域のみを表すことができる。次いで、以下で説明される方法を使用して、このより低い画像分解能のデータに基づいて、染色行列等のマッピング変換及び場合によっては染色濃度パラメータが推定される。次いで、サブサンプリングされた低分解能のデータ（例えば、２倍の拡大倍率のデータ）から算出された、例えば染色行列といったマッピング変換が、元々の分解能のデータ等の例えば５倍の拡大倍率のデータといったより高い分解能のデータに適用される。このプロセスは、例えば画像内の染色された組織領域の全てといった、画像全体の一部又は全てに及ぶ複数の関心領域について繰り返され得る。その結果、正規化された高分解能の画像データを取得することができる。
図１に示されている方法は、これらの２つのデータセットを使用して、マッピング変換を算出する。次いで、画像自体及びこれを構成するチャンクから決定されたマッピング変換が、画像画素の各々に適用されて、正規化された画像画素データが取得される。
画像データのチャンクは、顕微鏡画像の選択された空間領域を表す画像データを含む。チャンクは、例えば、タイル等の、画像の幾何学的又は不規則な形状の空間領域を含み得る。例えば、チャンクは、顕微鏡画像の高分解能（例えば、元々の分解能）のバージョンをサブサンプリングすることにより、取得され得る。
図１は、１つのそのような、コンピュータにより実行される方法を示している。この方法において、コンピュータは、最初に、解析のために顕微鏡画像データを取得する（２）。この顕微鏡画像データは、全スライド画像を含み得る。この画像データは、ヘマトキシリン及びエオジンで染色された組織サンプルの顕微鏡スライド画像を規定することが多いが、スライドは、（ＨＥＳ染色におけるように）サフランを使用して染色されることもある。データ自体は、コンピュータのメモリ内のデータストレージから取得されることもあるし、且つ／又は、ネットワークを介して受信されることもある。このデータはまた、この方法の一部として、顕微鏡イメージングシステムにより、組織サンプルから取得され、コンピュータに直接通信されることもある。画像データは、全スライドイメージングシステムから生じることもある。
次いで、コンピュータは、画像データから、複数の画像チャンクを規定する画像チャンクデータを識別する（４）。チャンクデータの各アイテムは、複数の画像画素を包含する、画像の領域を表す。例えば、チャンクデータの各アイテムは、例えば加法混色系の３つのカラー成分データ要素を使用して、単一のカラーを表すことができる。これらの３つのカラー成分データ要素は、全体としてチャンクのカラーを表すことができる。３つのカラー成分の例は、赤、緑、及び青のＲＧＢデータを含む。ＲＧＢデータは、ＨＳＬフォーマット若しくはＨＳＶフォーマットで、又は他のフォーマットを使用して、表され得る。チャンクデータの各アイテムは、画像の特定の空間領域に関連し得る。各チャンクは、基礎となる画素のグループを含むこともあるし、且つ／又は、当該チャンクが関連する、画像の領域内の画素から算出されることもあるし、又は、画像データの一部として既に存在していることもある。例えば、画像データは、ピラミッドＴＩＦＦ等のマルチ分解能画像フォーマットを有することがある。コンピュータは、各チャンクのカラーを表す画像チャンクデータを、コンピュータのデータ記憶メモリ内の第１のメモリ位置に記憶する。
次いで、コンピュータは、このチャンクデータから、これらのチャンクのカラーの分散に対する２つの主要な寄与を決定する。上述したように、チャンクカラーデータは、各チャンクのカラーを、混合されたときに全体としての当該チャンクのカラーを表すＲＧＢデータ要素等のカラー成分の加法混合を用いて表す。本開示の文脈において、チャンクカラーのセットは、各チャンクのカラーを規定するために加法混合されるカラー成分により規定される座標空間（例えばカラー空間）における「ポイントクラウド」として表され得ることが理解されよう。チャンクデータのこの分散は、非球形であり得、例えば、これは、１つ以上の主要な「方向」に細長いものであり得る。カラー空間におけるこのような主要な「方向」は、もちろん、この分散を構成するチャンクデータを規定するために使用されるカラー成分の加法混合により表され得るという意味でのカラーでもある。チャンクデータの分散又は広がりに対する主要な寄与を決定するために、コンピュータは、チャンクデータを処理して、チャンクデータの分散の主要な方向のカラーを含むカラー寄与のセットを識別する。コンピュータは、コンピュータメモリにおいて、チャンクカラーデータを行列に組み立てることにより、これを実現することができる。この行列において、各列は、対応する単一のチャンクのカラーデータ要素を含む。コンピュータは、主成分分析（ＰＣＡ）又は特異値分解（ＳＶＤ）等の分解法を使用して、この行列を処理する。次いで、コンピュータは、カラー空間におけるチャンクカラーデータの広がりに対する主要な寄与をなす、この分解から得られた２つのベクトルＥ１及びＥ２すなわちカラー寄与を選択する。例えば、コンピュータは、２つの最大特異値を有する、ＳＶＤから得られたベクトル、又は、２つの最大固有値を有する、ＰＣＡから得られたベクトル、を選択することができる。これらは、カラー空間においてこれら２つの主要な寄与の方向に整列される単位ベクトルＥ１及びＥ２としてメモリに記憶され得る。
次いで、コンピュータは、これらの２つの最大寄与の「方向」を用いて、各チャンクＴｉのカラーの近似表現を算出する（８）。これを行うために、コンピュータは、チャンクカラーデータの各アイテムＴｉを、これが記憶されているメモリ位置から読み出すことができる。次いで、コンピュータは、２つの主要なカラー寄与をチャンクデータの各アイテムにフィッティングして、チャンクデータの当該アイテムを最良に表す、これら２つの主要な寄与の加法的組合せを決定することができる。例えば、コンピュータは、チャンクデータの各アイテムの各カラーデータ要素と、主要な寄与のうちの対応する寄与の対応するカラーデータ要素と、を乗算することができる。これらの乗算の結果を合計することにより、コンピュータは、チャンクデータの当該アイテムとこの主要な寄与の方向の単位ベクトルとのスカラ積を決定する。これは、これら２つの主要な寄与の各寄与へのチャンクデータの各アイテムの射影を提供する。
次いで、コンピュータは、これらのスカラ積から、（ｂ）チャンクデータの各アイテムＴｉと、２つの主要な寄与のうちの第２の寄与Ｅ２の方向の単位ベクトルと、のスカラ積に対する、（ａ）チャンクデータの各アイテムＴｉと、２つの主要な寄与のうちの第１の寄与Ｅ１の方向の単位ベクトルと、のスカラ積の比の逆正接（アークタンジェント）を計算することにより、チャンクデータの各アイテムについて角度θｉを決定する。次いで、コンピュータは、この角度又はその表現（例えばその正接（タンジェント））をメモリに記憶する。このような角度近似の使用は特に有用であるが、この同じ近似をもたらす（且つ記憶する）他の方法が使用されてもよいことが理解されよう。例えば、２つの主要な寄与Ｅ１及びＥ２の加法混合が、チャンクデータの各アイテムについてメモリに記憶されてもよいし、これらの２つの寄与の量の比が記憶されてもよい。スカラ積の計算は、この近似を決定する計算上効率的な方法であり、各画像チャンクを近似する、２つの最大寄与の組合せを記録するメモリ効率的な方法であるが、他の手法が使用されてもよい。
この方法のこの段階において、２つのデータセットがコンピュータのメモリに存在する。一方では、チャンクデータが存在し、他方では、このチャンクデータの各アイテムについて、上記で説明された分散に対する２つの主要な寄与から得られたこのチャンクのカラーの対応する近似表現（例えば、各チャンクについて角度θｉの形）が存在する。この方法の次の段階において、コンピュータは、近似表現及び画像チャンクを使用して、マッピング変換を算出する（１０）。このマッピング変換は、染色行列と呼ばれることがある。このマッピング変換は、チャンクデータの各アイテムを、このチャンクの対応する正規化された表現に変換するよう構成される。
マッピング変換を算出するために、コンピュータは、２つの主要な寄与Ｅ１及びＥ２のうちの第１の寄与Ｅ１に最も類似する近似表現ｖＭｉｎを特定する。近似が角度θｉとして記憶される場合、これは、これらの角度のうちの最小のもの（例えば、最小値）θｍｉｎを特定することにより、行われ得る。コンピュータはまた、これらの２つの主要な寄与Ｅ１及びＥ２のうちの第２の寄与に最も類似する近似表現ｖＭａｘを特定する。近似が角度θｉとして記憶される場合、これは、コンピュータが、これらの角度のうちの最大のもの（例えば、最大値）θｍａｘを特定することにより、行われ得る。近似が角度θｉとして記憶される場合、コンピュータは、以下の三角法によるスケーリング
を実行することにより、角度データから、近似表現ｖＭｉｎ及びｖＭａｘを算出（再構成）することができる。
これら２つの単位ベクトルの物理的解釈は、これらが、チャンクデータのカラーの分散に対する２つの主要な寄与の各々に最も類似する、チャンクデータの強度正規化アイテムである、ということである。この三角法によるスケーリングを用いる代わりに、単位ベクトルが、θｍｉｎ及びθｍａｘにそれぞれ対応する、チャンクデータのアイテムの各々から決定されてもよいことが理解されよう。しかしながら、三角法によるスケーリングを用いることは、計算効率の向上を提供し得る。次いで、コンピュータは、これら２つの単位ベクトルｖＭｉｎ及びｖＭａｘを使用して、マッピング変換を提供することができる。例えば、マッピング変換は、これら２つの単位ベクトルを一緒に格納する行列（又は、コンピュータメモリ位置の配列）を含み得る。
次いで、コンピュータは、このマッピング変換を第４のコンピュータメモリ位置に記憶し、画像画素データのアイテムについて反復し、このマッピング変換を各画像画素の３つのカラー成分データ要素に適用して、各画像画素について、正規化された画素データを取得する（１２）。コンピュータは、各画像画素のカラーを近似する、２つのベクトルｖＭｉｎ及びｖＭａｘの加法混合を決定することにより、マッピング変換を適用することができる。例えば、これは、コンピュータが、画素データの各アイテムを、マッピング変換（染色行列）に格納されているベクトルｖＭｉｎ及びｖＭａｘに別々に射影することにより、行われ得る。例えば、画素データの各アイテムとｖＭｉｎとのスカラ積は、画素データの当該アイテムについての１つのカラーチャネル値（例えば、ヘマトキシリンチャネル）を提供し、画素データの各アイテムとｖＭａｘとのスカラ積は、他のカラーチャネル値（例えば、エオジンチャネル）を提供することができる。コンピュータはまた、染色行列の逆行列を求め、マッピング変換（染色行列）の逆行列と各画像画素についてのカラーベクトルとを乗算することにより、染色濃度を決定することができる。各画像画素についてのカラーベクトルは、当該画像画素の光学濃度を含み得ることが理解されよう（これは、図２を参照して以下で説明される）。
次いで、コンピュータは、結果として得られた正規化された画素データを組み立てて、完全な正規化された画像を提供することができる。次いで、この正規化された画像は、さらなる解析を可能にするために、例えば、コンピュータ読み取り可能なデータストレージに記憶されることにより、且つ／又は、ネットワークを介して伝送されることにより、提供され得る。この正規化は、画像特徴の客観的尺度の提供を支援することができる。
図２は、コンピュータにより実行されるデータ解析方法を示すフローチャートを示している。図２に示されている方法において、コンピュータは、図１を参照して上述したように、プロセッサ及びコンピュータメモリを有する。加えて、図２の方法を実行するために使用されるコンピュータのメモリは、例えばラベルの形態での、記述子データの複数のアイテムと、記述子データのアイテムごとの、各記述子についての少なくとも１つの、対応するコンパレータデータのセットと、の間の関連付けを記憶する。コンパレータデータの各セットは、対応する記述子により識別されるタイプの組織から得られた定量的画像メトリクスの値を示すコンパレータデータ値を含む。記述子データは、乳房組織、前立腺組織、肺組織、膵臓組織、及び他のタイプの組織についての記述子を含み得る。これらのコンパレータデータセットの各々は、今度は、組織タイプに存在することが知られている異なる組織構造に関連付けられる。例えば、乳房組織についての記述子は、コンピュータメモリにおいて、脂肪組織、血管、乳管、小葉、ＬＣＩＳ（非浸潤性小葉癌）、ＤＣＩＳ（非浸潤性乳管癌）、及び１つ以上のタイプの腫瘍の各々についてのコンパレータデータセットに関連付けられ得る。これらのコンパレータセットの各々は、光学濃度、テクスチャデータ、空間周波数データ、細胞サイズ及び形状、並びに対応するコンパレータ組織構造についての形態学的特性等の定量的画像メトリクスのセットについてのデータ値を含む。
これらのデータがメモリにおいてアクセス可能になると、図２に示されている方法は、次のように進む。まず、コンピュータは、おそらくは顕微鏡画像データとともに提供される、組織サンプルが由来する組織のタイプを示す記述子データを取得する（２０）。次いで、記述子データを使用して、コンピュータメモリ内のデータストレージから定量的画像メトリクスのセットを選択する（２２）。
次いで、コンピュータは、（図１に示されている方法に従った方法を使用して取得されたもの等の正規化された画像データを含み得る）サンプル画像データから、定量的メトリクスのこの第１のセットを算出する（２４）。これらのメトリクスを算出することにより、コンピュータは、サンプル画像データについての定量的画像メトリクスのこの第１のセットの各定量的画像メトリクスについてのデータ値を取得する。次いで、これらのデータ値が、コンピュータメモリに記憶され得、特定のデータ値とサンプル画像との間の関連付けも、コンピュータメモリに記憶され得る。
次いで、コンピュータは、記述子データを使用して、コンピュータメモリから、コンパレータデータ値の１つ以上のセット（例えば、これらの定量的画像メトリクスの値）を取得する（２６）。例えば、コンピュータメモリは、記述子データをインデックスとして使用してコンパレータデータ値を選択することを可能にするルックアップテーブル又は他のメモリ参照構造を含み得る。
次いで、コンピュータは、サンプル画像から取得されたデータ値を、これらのコンパレータセットのデータ値のうちの少なくとも１つと比較する（２８）。次いで、コンピュータは、サンプル画像を構成するデータのグループ（例えば、画像の領域及び／又はチャンク）について反復的に処理し、これらのグループについての定量的メトリクスのセットについてのデータ値をコンパレータデータと比較する。
これらの比較に基づいて、サンプル画像データのいくつかの部分が、コンパレータデータセットにより示される組織構造のうちの１つ以上に属するとして識別され得る。これらのコンパレータデータセットのうちの１つ以上は、所定のタイプの癌に類似している又は前癌状態であることが知られている組織タイプに対応し得る。そのような組織構造の例は、乳房組織におけるＬＣＩＳ及びＤＣＩＳを含むが、他のそのような例も存在する。コンピュータが、これらの選択されたタイプの組織のうちの１つを識別する場合、コンピュータは、画像データを少なくとも２つのサブセットに分割することができる。これらのサブセットの各々は、これらのタイプの組織構造のうちの１つ又は組織構造の所定のクラスに対応し得る。
次いで、コンピュータは、このような２つのデータサブセットの各々に対して異なる解析を行う。コンピュータは、（ａ）記述子データにより識別される組織のタイプ、及び、（ｂ）各サブセットに合致したコンパレータデータセットにより識別される組織構造の両方に基づいて、各データサブセットについて後続の解析ステップを選択する（３０）。例えば、コンピュータは、後続の解析から、サブセットのうちの１つ以上を除外することができる。別の例として、コンピュータは、データサブセットのうちの１つのデータサブセットに合致したコンパレータ組織構造の識別情報を使用することにより、この１つのデータサブセットに適用される定量的画像メトリクスの第２のセットを選択することができる（３２）。定量的メトリクスのこの第２のセットは、低レベル（例えば高分解能）画像メトリクスを含み得、これは、細胞核のサイズ及び形状を示すメトリクスを含み得る。
コンピュータは、上述した方法を、複数の画像及びこれらの画像の複数の個々の領域に適用することができる。これらの実施形態において、コンピュータは、画像の各々及び／又はこれらの領域の各々と、（ａ）組織サンプルが由来する組織タイプを示す記述子データ、（ｂ）これらの画像又は領域とコンパレータデータセットとの間の合致（例えば、そのような合致の統計的信頼度）に基づくスコアと、の間の関連付けを、メモリに記憶する。次いで、コンピュータは、そのスコアに基づいて人間のオペレータにスライド画像を提示する順番を選択する（３４）。コンピュータはまた、これらの画像領域に関連付けられたスコアに基づいて、画像の特定の領域を強調することができる。
図３は、図１に従った方法の例を実行するよう構成されている画像処理装置４０を示している。
図３の装置４０は、画像データ取得部４２、チャンクデータ記憶部４４、分解決定部４６、データフィッティング部４８、変換決定部５０、画像画素変換部５２を有する。図面には示されていないが、これらの要素の各々は、概して、コンピュータ読み取り可能なストレージと、ロジックゲート及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又は特定用途向け集積回路等のプログラマブルロジックの組合せ等のハードウェアにより、且つ／又は、適切に構成されたファームウェア及びソフトウェアと組み合わせた汎用のプログラム可能なプロセッサにより実現され得るロジックモジュールと、を含み得る。これらの要素のうちの１つ以上は、ベクトルデータ及び／又は行列の効率的な処理を提供するよう構成され得る。したがって、図３の実施形態は、ベクトル演算に関連して説明されるが、そのような演算は、一連のデータ値の各々に順次適用される反復的で段階的な演算として実施されてもよいことが理解されよう。
図３に示されている装置４０の要素の各々は、データ及び／又はコマンドを、他の要素のうちの１つ以上に通信するように接続される。詳細には、画像データ取得部４２は、チャンクデータ記憶部４４及び画像画素変換部５２に接続される。分解決定部４６は、チャンクデータ記憶部４４及びデータフィッティング部４８に接続される。変換決定部５０は、チャンクデータ記憶部４４、データフィッティング部４８、及び画像画素変換部５２に接続される。
データ取得部４２は、ヘマトキシリン及びエオジンで染色された組織サンプルの顕微鏡スライド画像を規定する顕微鏡画像データを取得するためのデータ通信インタフェースを含む。データ通信インタフェースの例は、イーサネット（登録商標）、及びユニバーサルシリアルバスインタフェース等のシリアルインタフェースを含む。データ通信インタフェースの他の例が使用されてもよい。
チャンクデータ記憶部４４は、各画像チャンクの全体的なカラーを表す３つのカラー成分データ要素を含むチャンクデータを記憶するためのデータ記憶メモリを含む。本明細書に記載のこのコンピュータメモリ及び他のコンピュータメモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）、オンチップキャッシュメモリ、ハードディスクドライブ（ＨＤＤ）、又はソリッドステートドライブ（ＳＳＤ）等の揮発性メモリ及び／又は不揮発性メモリを含み得る。
分解決定部４６は、チャンクデータ記憶部４４からチャンクデータを取得し、図１を参照して上述したように、そのチャンクカラーデータの分散に対する２つの主要な寄与を算出するよう構成されている。図３の分解決定部４６は、特異値分解をベクトルデータに適用して、そのデータにおける分散を示す基底ベクトルのセットを取得するよう構成されている。
画像画素変換部５２は、例えば、さらなる分析を可能にするために、出力画像データをコンピュータ読み取り可能なデータストレージに記憶するために且つ／又はネットワークを介して出力画像データを伝送するために、出力画像データを提供するよう構成されている出力インタフェース（例えば上述したデータ通信インタフェース）を含む。
動作中、データ取得部４２は、ヘマトキシリン及びエオジンで染色された組織サンプルを保持する顕微鏡スライドのデジタル画像を取得する。データ取得部４２は、この画像からのチャンクデータをチャンクデータ記憶部４４に記憶する。このデータは、各チャンクのカラーを表す３つのカラー成分の形態での、各チャンクについてのカラーベクトルを含む。
次いで、分解決定部４６は、これらのカラーベクトルを行列に組み立て、ここで、この行列の各列は、チャンクカラーベクトルのうちの１つにより提供される。分解決定部４６は、この行列の特異値分解（ＳＶＤ）を計算する。このＳＶＤプロセスの結果は、（ａ）複数の基底ベクトルであって、複数のカラーベクトルの各々がこれらの基底ベクトルの線形結合として表され得るように選択される、複数の基底ベクトル、及び、（ｂ）チャンクデータの全分散に対する各基底ベクトルの寄与を規定する対応する値のセットを含む。分解決定部は、この特異値分解における２つの最大値に対応する基底ベクトルを選択し、これら２つの基底ベクトル（これらの各々は、３つのカラー成分データ要素をそれぞれ含む）をデータフィッティング部に提供する。
次いで、データフィッティング部４８は、チャンクデータ記憶部４４から各チャンクベクトルを取得し、分解決定部により提供された２つの基底ベクトルへの各チャンクベクトルの射影を決定する。これは、これら２つの基底ベクトルと整列していないチャンクデータに対するカラー寄与（ＳＶＤからの他の固有ベクトルに関連するカラー）を除外して、これら２つの基底ベクトルを考慮して、各チャンクの近似表現を提供する。この射影は、２つの基底ベクトルの各基底ベクトルと各チャンクカラーデータとのスカラ積を計算することにより、行われ得る。この計算の結果は、各チャンクベクトルが近似２成分表現により表され、これら２つの成分の各々がこれら２つの基底ベクトルのうちの１つからの寄与である、ということである。次いで、データフィッティング部は、これら２つの成分の逆正接を決定して、各チャンクについて角度θを導出する。次いで、データフィッティング部４８は、これらの角度データ値を変換決定部に提供する。
変換決定部５０は、これらのθデータ値を取得し、チャンクデータ記憶部４４からチャンクデータを取得し、マッピング変換行列を決定する。このマッピング変換は、染色行列とも呼ばれることがある。次いで、画像画素変換部５２は、画像データ取得部から、画像を構成する各画像画素を取得し、マッピング変換を適用して画像データの各画像画素を変換する。
マッピング変換を算出するために、変換決定部は、θデータ値のうちの最小値θｍｉｎ及びθデータ値のうちの最大値θｍａｘを特定する。次いで、変換決定部は、以下の三角法によるスケーリング
を実行することにより、角度データから２つの単位ベクトルｖＭｉｎ及びｖＭａｘを決定する。ここで、Ｅ１及びＥ２はそれぞれ、（ＲＧＢ空間又は光学濃度空間におけるものであるかどうかにかかわらず）カラーデータの分散の２つの最大成分を占めるカラーの加法混合を示すデータ要素のセットを含む。これらのデータ値のセットＥ１及びＥ２は、ベクトルとして説明され得るが、これらは、現実世界のパラメータ、すなわち、画像内のヘマトキシリン染料及びエオジン染料のカラー（又は少なくともカラーの近似）を示す実際の物理量であることが理解されよう。
これら２つの単位ベクトルｖＭｉｎ及びｖＭａｘの物理的解釈は、データ値のこれら２つのセット（各セットは、顕微鏡画像データからの特定のチャンクの加法混色を表す）が、チャンクデータのカラーの分散に対する２つの主要な寄与の各々に最も類似する、チャンクデータの特定のアイテムの強度正規化バージョンである、ということである。例えば、これらは、画像データのチャンクにおける２つの染料の各々の出現を表す単位カラーベクトルである。上述したように、この三角法によるスケーリングを用いる代わりに、単位ベクトルが、θｍｉｎ及びθｍａｘにそれぞれ対応する、チャンクデータのアイテムの各々から決定されてもよい。しかしながら、三角法によるスケーリングを用いることは、計算効率の向上を提供し得る。次いで、変換決定部は、これら２つの単位ベクトルｖＭｉｎ及びｖＭａｘを使用して、マッピング変換を提供することができる。例えば、マッピング変換は、これら２つの単位ベクトルを一緒に格納する行列（又は、コンピュータメモリ位置の配列）を含み得る。
したがって、図３の装置は、図面を参照して上述したような、コンピュータにより実行される画像処理方法を実行するよう構成され得る。ハードウェアの他の構成を使用して、同方法及び同方法に類似する方法を実行することもできる。基礎となる画像データは、マッピング変換の適用により、正規化されていない状態から正規化された状態に基本的に変換されることが理解されよう。例えば、ベクトルｖＭｉｎ及びｖＭａｘの各々への画像画素の射影を計算することにより、画像画素データ（光学濃度データであろうがＲＧＢデータであろうが）が、２つのカラーチャネルに変換される。
図３を参照して説明されたハードウェア要素はそれぞれ、ロジックゲートのアセンブリ等の固定ロジック、又は、プロセッサにより実行されるソフトウェア及び／又はコンピュータプログラム命令等のプログラマブルロジックにより、実装され得る。他の種類のプログラマブルロジックは、プログラム可能なプロセッサ、プログラマブルデジタルロジック（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ））、特定用途向け集積回路（ＡＳＩＣ）、又は任意の他の種類のデジタルロジックを含む。これらはまた、ファームウェア、ソフトウェア、コードの組合せでプログラムされた汎用プロセッサを使用して実装され得る。データ記憶要素は、フラッシュメモリ、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ ＲＯＭ、磁気カード、光カード、電子命令を記憶するのに適した他のタイプのマシン読み取り可能な媒体、又はこれらの任意の適切な組合せ等の揮発性メモリ又は不揮発性メモリを含み得る。
図１に従った方法の一例は、ヘマトキシリン及びエオジンで染色された組織サンプルの顕微鏡スライド画像を規定する顕微鏡画像データを取得することを含む。顕微鏡スライド画像は、組織サンプルの画像にわたる複数の画像チャンクを含む。各チャンクは、複数の画像画素を表す画像画素データを含む。この方法はまた、この画像データから、複数のカラーベクトルを規定するカラーベクトルデータを取得することを含む。各カラーベクトルは、複数の画像チャンクのうちの対応する１つの画像チャンクのカラーに基づき、各々は、対応する画像チャンクにおけるヘマトキシリン及びエオジンで染色された組織サンプルのカラーを表す少なくとも３つのカラー成分を含む。この方法において、次いで、カラーベクトルを使用し、例えばＰＣＡ又はＳＶＤを用いて、複数の基底ベクトルであって、複数のカラーベクトルの各々がこれらの基底ベクトルの線形結合として表され得るように選択される、複数の基底ベクトルを決定する。例えば、これらの基底ベクトルは、直交セット又は正規直交セットを形成し得る。この方法はまた、これらの複数の基底ベクトルから、チャンクカラーベクトルの分散の大部分を一緒になって占める２つの基底ベクトルを選択することを含む。次いで、２つの基底ベクトルを使用して、例えば、各チャンクベクトルを２つの基底ベクトルに射影することにより、２つの基底ベクトルの各々からの寄与からなる単位ベクトルを決定する。この単位ベクトルは、各画像チャンクについて角度θとして表され得る。この方法における次のステップは、例えば、各チャンクカラーベクトルを、その対応する単位ベクトルに変換する行列の形態である変換を決定することである。チャンクデータから決定されるこの行列は、染色行列と呼ばれることもある。次いで、染色行列を画像画素に適用して、正規化された画像画素データを取得する。
図３の装置はまた、データ記憶部と、図２を参照して上述したデータ比較ステップ、解析ステップ、及び順番付け／強調ステップを実行するよう構成されているコンピュータプロセッサと、を有することができる。
図４は、多数の顕微鏡画像の自動化された処理において特に有用であり得る、コンピュータにより実行される方法を示している。これらの方法は、そのような画像の質が未知である場合に特に有用であり得る。
図４は、図１と共通する複数の特徴を有する方法を示していることが分かるであろう。詳細には、図４の方法は、図１を参照すると、取得ステップ（２）、画像チャンクデータの識別（４）、それらのチャンクのカラーの分散に対する２つの主要な寄与の決定（６）、及び、これら２つの最大寄与を用いて、単位ベクトル又は「方向」（例えば角度θ）の形で各チャンクのカラーの近似表現を算出すること（８）を含む。
しかしながら、図４に示されている方法は、コンピュータが所定の画像混同及びアーチファクトを識別して除くことを可能にするいくつかの追加のステップも含む。これは、顕微鏡画像の高スループットで自動化された処理を可能にし得る。
図４の方法において、画像内のアーチファクトの存在を検出する（１４）ために、コンピュータは、画像チャンクの近似表現を許容範囲と比較する。次いで、コンピュータは、例えば角度θの値といったこれらの近似値が、選択された範囲外にあるかどうかを判定する。これは、平均値又は中央値を、第１の予め定められた範囲と比較することにより、且つ／又は、選択された数よりも多い数の画像チャンクが、第２の予め定められた範囲外にあるかどうかを判定することにより、判定され得る。
これらの基準が満たされている場合、これは、顕微鏡画像内のアーチファクトの存在を示すことができる。これに応じて、コンピュータは、画像画素データ及びチャンクカラーデータのうちの少なくとも１つを、既知のアーチファクトカラー参照データと比較して、アーチファクトカラーと合致する、その顕微鏡画像の領域を識別する。アーチファクトカラー参照データの例は、ＲＧＢ値が全て等しいデータ、例えばグレースケールデータ、を含む。アーチファクトカラー参照データの他の例が使用されてもよい。
コンピュータは、アーチファクトカラー参照データと画像データ（場合によってはチャンクデータ及び／又は画像画素データ）とのスカラ積を計算することにより、この合致についてテストすることができる。コンピュータはまた、このスカラ積の結果を照合閾値と比較する前に、このスカラ積の結果を画像データの大きさでスケーリングして、これを正規化することができる。アーチファクトデータと画像データとのスカラ積がこの照合閾値を超える場合、コンピュータは、顕微鏡画像データから、関連する画像データ（画素の領域及び／又はチャンク）を除外して、クリーンな画像データを取得する（１８）。
次いで、コンピュータは、図１を参照して上述したように、マッピング変換の算出（１０）及び正規化された画像画素データの算出（１２）の前に、クリーンな画像データに基づいて、２つの最大成分を再算出し（６）、近似された画像チャンクを再算出する（８）。
本開示の文脈において、チャンクカラーデータは、光学濃度データを含み得、コンピュータは、最初に各チャンクの光学濃度を決定することにより、顕微鏡画像から取得されたチャンクデータを処理するよう構成され得ることが理解されよう。これは、顕微鏡画像データにおける各チャンクのカラー成分データ要素の対数（例えば自然対数）に基づいて決定され得る。加えて、コンピュータは、上述したようにチャンクデータの分散に対する２つの主要な寄与を決定する前に、閾値をチャンクデータに適用することにより、画像の背景領域（例えば、組織のない領域、又はその中の染色されていない組織）に関連するチャンクを、解析から除外することができる。閾値下のチャンク又はチャンクの一部は、解析から除外され得る。例えば、コンピュータは、分散に対する主要な寄与を決定するために使用されるデータから、閾値下のチャンク又はチャンクの一部を除外することができる。コンピュータは、この目的のために、閾値を、対数の光学濃度チャンクデータに適用することができる。閾値は、１つ以上のカラーにおける閾値を含んでもよいし、（例えば、カラーデータ要素の２乗和に基づく）強度閾値を含んでもよい。この閾値は、経験的に選択され得、例えば、この方法は、例えば、１つ以上の画像の背景領域を選択することにより、閾値を提供するように人間のオペレータに促すことを含み得る。いくつかの実施形態において、閾値は、コンピュータにより選択され、例えば、閾値は、予め定められてもよい。
また、本開示の文脈において、この画像データは、複数の異なるクラスのイメージングシステムのうちの任意の１つから生じ得ることが理解されよう。これらのシステムはそれぞれ、異なる画像取得プロトコル、及び異なるタイプの光学系を使用し得る。例えば、いくつかのシステムは、一連の異なるカラーフィルタのうちの異なる１つをそれぞれ使用して、一連のモノクロ画像を取得する。次いで、結果として得られたモノクロ画像が、離散的な明確に定義されたカラー帯域におけるサンプルのカラー画像を提供するように合成され得る。他のシステムは、マルチバンドフィルタと組み合わせてカラーカメラを使用する。そのようなフィルタは、例えば、単一のショットにおいてカラー画像を生成するために、３つの予め規定されたカラー通過帯域を有することができる。このような通過帯域は、解析技術又はサンプルの特性に基づいて選択され得る。全スライドイメージングシステムのいくつかの例は、Ａｐｅｒｉｏ ＳｃａｎＳｃｏｐｅ ＦＬ（Ａｐｅｒｉｏ（Ｖｉｓｔａ，ＣＡ）から入手可能）、Ｌｅｉｃａ ＳＣＮ４００Ｆ（Ｌｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ（Ｒｉｃｈｍｏｎｄ，ＩＬ）から入手可能）、及び３ＤＨｉｓｔｅｃｈ Ｐ２５０（３ＤＨｉｓｔｅｃｈ（Ｂｕｄａｐｅｓｔ，Ｈｕｎｇａｒｙ）から入手可能）を含み、この種のスキャナの例である。全スライドイメージングシステムの他の例も存在し、将来的には間違いなく開発されるであろう。本開示の実施形態は、そのようなシステムのうちの任意の１つ以上から生じる画像データの処理及びそのような画像データ間の比較を可能にする。
上述した実施形態は、マルチ分解能画像フォーマットの一例としてピラミッドＴＩＦＦ画像の使用を参照する。もちろん、他のタイプの画像フォーマットが使用されてもよい。また、ＴＩＦＦは、ラスタ画像を格納及び交換するためのタグベースのファイルフォーマットであることが理解されよう。ＴＩＦＦファイルは、複数の画像を１つのファイルに保持することができる。ピラミッドＴＩＦＦは、次第に粗くなる空間分解能で同じ画像をそれぞれ表すビットマップのシーケンスを含むＴＩＦＦファイルを含み得る。個々の画像は、圧縮又はタイル化され得る。圧縮は、記憶空間の節約が重要である場合に用いられる。大部分の使用が全体を観察するのではなく画像セクションにズームすることを含む場合、タイル化は、より効率的な提供をもたらすことができる。ピラミッドＴＩＦＦ又はピラミッド符号化ＴＩＦＦという用語は、異なる空間分解能で基礎となる画像の動的な提供をサポートするために使用される、有効な内部ＴＩＦＦ構造にそれぞれ基づく異なる手法に適用される。異なるアプリケーションにより作成されるピラミッドＴＩＦＦファイルは、必ずしも同じ構造ではない。いくつかの例においては有用であるが、この画像フォーマット又は任意の他の画像フォーマットの具体的な詳細は、本開示の不可欠な特徴ではないことを理解されたい。
全スライド顕微鏡画像は、例えば２５０ｎｍといった数百ナノメートルの分解能を有することができる。組織サンプル自体はそれぞれ、例えば約１５ｍｍ×１５ｍｍといった、１０ミリメートル以上の幅であり得る。そのようなサンプルの全スライド画像は、例えば少なくとも１０９個といった、少なくとも１０８個の画素を含み得る。いくつかの実施形態において、全スライド画像は、１０８〜１０１０個の画素を含む。
生きている人間又は動物の体に所定の方法が適用され得る範囲において、そのような方法は、外科的効果又は治療上の効果を提供しないことがあることが理解されよう。加えて、そのような方法は、生きている人間又は動物の体の一部ではない組織サンプルに、生体外で適用され得ることが理解されよう。例えば、本明細書において説明されている方法は、肉、組織サンプル、死体、及び他の非生体に対して実施され得る。
図面全般を参照すると、概略的な機能ブロック図は、本明細書において説明されているシステム及び装置の機能を示すために使用されていることが理解されよう。しかしながら、そのような機能は、このように分割される必要はなく、説明され特許請求されるもの等のハードウェアの特定の構造を示すものと解釈されるべきではないことが理解されよう。図面に示されている１つ以上の要素の機能は、さらに細分割されてもよいし、且つ／又は、本開示の装置全体にわたって分散されてもよい。いくつかの実施形態において、図面に示されている１つ以上の要素の機能は、単一の機能ユニットに統合されることもある。
上記の実施形態は、例示的な例として理解されるべきである。さらなる実施形態も想定されている。任意の１つの実施形態に関連して説明されている任意の特徴は、単独で使用されることもあるし、説明されている他の特徴と組み合わせて使用されることもあり、実施形態のうちの任意の他の実施形態又は実施形態のうちの任意の他の実施形態の任意の組合せの１つ以上の特徴と組み合わせて使用されることもある。さらに、請求項において定められる本発明の範囲から逸脱することなく、上記で説明されていない均等形態及び変更形態が使用されることもある。
マッピング変換は、カラーデータの分散に対する最大寄与に最も類似して対応する、測定チャンクデータの単位ベクトルｖＭｉｎ及びｖＭａｘ（例えば、最大固有値又は分散の主成分に対応する固有ベクトル）を決定することにより算出されるとして説明されているが、変換は、他の方法で算出されてもよい。例えば、変換は、変換の特性を、チャンクデータの各アイテムとチャンクデータの当該アイテムの対応する近似表現との間の残差の和の尺度に関連付けるメリット関数を決定することにより、数値的に算出されてもよい。例えば、変換は、線形又は非線形の数値最適化により決定されてもよい。数値最適化のための適切な方法は、本開示の文脈において当業者により選択され得る。例は、「Numerical Recipes 3rd Edition: The Art of Scientific Computing; Published by Cambridge University Press」に記載されている。マッピング変換を算出する任意の他の適切な方法が使用されてもよい。マッピング変換は、各チャンクカラーをその対応する近似表現にマッピングするように選択され得る。
いくつかの例において、１つ以上のメモリ要素は、本明細書において説明されている動作を実装するために使用されるプログラム命令及び／又はデータを記憶することができる。本開示の実施形態は、説明されている且つ／又は特許請求される方法のうちの任意の１つ以上を実行するように、且つ／又は、説明されている且つ／又は特許請求されるデータ処理装置を提供するように、プロセッサをプログラムするよう動作可能なプログラム命令を含む有形の非一時的な記憶媒体を提供する。
説明されている動作及び装置は、ロジックゲートのアセンブリ等の固定ロジック又はプロセッサにより実行されるソフトウェア及び／又はコンピュータプログラム命令等のプログラマブルロジックにより実装され得る。他の種類のプログラマブルロジックは、プログラム可能なプロセッサ、プログラマブルデジタルロジック（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ））、特定用途向け集積回路（ＡＳＩＣ）、任意の他の種類のデジタルロジック、ソフトウェア、コード、電子命令、フラッシュメモリ、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ ＲＯＭ、磁気カード、光カード、電子命令を記憶するのに適した他のタイプのマシン読み取り可能な媒体、又は、これらの任意の適切な組合せを含む。
Claims (15)
- コンピュータにより実行される画像処理方法であって、
ヘマトキシリン及びエオジンで染色された組織サンプルの顕微鏡スライド画像を規定する顕微鏡画像データを取得することであって、顕微鏡スライド画像データは、複数の画像チャンクを含み、各チャンクは、複数の画像画素を表す画像画素データを含む、取得することと、
各画像チャンクについて、該各画像チャンクのカラーを３つのカラー成分で表す３つのカラー成分データ要素を含むチャンクカラーデータを、第１のコンピュータメモリ位置に記憶することと、
前記チャンクカラーデータから、前記チャンクカラーデータのばらつきに対する２つの最大寄与であって、前記最大寄与の各々は、この各寄与を前記３つのカラー成分で表す３つのカラー成分データ要素を含む、２つの最大寄与を算出し、前記２つの最大寄与を、第２のコンピュータメモリ位置に記憶することと、
各画像チャンクについて、該各画像チャンクの前記３つのカラー成分データ要素の表現を近似する、前記２つの最大寄与の組合せを算出し、それにより、複数の近似された画像チャンクを提供し、前記近似された画像チャンクを、第３のコンピュータメモリ位置に記憶することと、
前記近似された画像チャンクから、
（ｉ）前記２つの最大寄与のうちの第１の１つに対応する、近似された画像チャンクデータの第１のアイテムｖＭｉｎ、及び
（ｉｉ）前記２つの最大寄与のうちの第２の１つに対応する、前記近似された画像チャンクデータの第２のアイテムｖＭａｘ
を決定することであって、前記近似された画像チャンクデータの第１のアイテム及び前記近似された画像チャンクデータの第２のアイテムは一緒になってマッピング変換を提供する、決定することと、
前記マッピング変換を、第４のコンピュータメモリ位置に記憶することと、
各画像画素について、該各画像画素の３つのカラー成分データ要素を含む画像画素データを取得し、前記マッピング変換を用いて、前記各画像画素の前記カラー成分データ要素を変換して、前記各画像画素についての正規化された画像画素データを算出することと、
前記第３のコンピュータメモリ位置から前記近似された画像チャンクを取得し、前記近似された画像チャンクを許容カラー範囲と比較して、顕微鏡画像内のアーチファクトの存在を識別することと、
を含み、
アーチファクトが識別された場合、前記画像画素データ及び前記チャンクカラーデータのうちの少なくとも１つを、アーチファクトカラー参照データと比較して、前記アーチファクトカラー参照データと合致する、前記顕微鏡画像のアーチファクト領域を識別する、画像処理方法。 - 前記正規化された画像画素データを含む正規化された画像を提供すること
を含む、請求項１記載の方法。 - 選択された閾値よりも小さい光学濃度値を有するチャンクカラーデータを、前記２つの最大寄与の算出から且つマッピング構成の算出から除外すること
を含む、請求項１記載の方法。 - 第２のメモリ位置から前記２つの最大寄与を取得し、前記２つの最大寄与のカラーデータ要素が、選択された範囲のセット内にあるかどうかを判定して、前記顕微鏡画像内のアーチファクトの存在を識別すること
を含む、請求項１記載の方法。 - 前記アーチファクト領域を、前記顕微鏡画像データと、前記画像画素データ及び前記チャンクカラーデータのうちの少なくとも１つと、から除外して、クリーンな画像データを取得すること
を含む、請求項１記載の方法。 - 前記マッピング変換及び前記正規化された画像画素データの算出の前に、前記クリーンな画像データに基づいて、２つの最大成分及び前記近似された画像チャンクを再算出すること
を含む、請求項５記載の方法。 - 各近似された画像チャンクの表現は、２つの近似データ値を含み、前記近似データ値の各１つは、前記２つの最大寄与のうちの対応する１つのスケーリングを含む、請求項６記載の方法。
- 前記チャンクカラーデータから、前記チャンクカラーデータのばらつきに対する２つの最大寄与を算出することは、前記チャンクカラーデータの固有分解を決定することを含む、請求項１記載の方法。
- 前記画像データは、各チャンクに適用するパラメータを取得するために、原画像の２倍の拡大倍率のバージョンをサンプリングすることにより、取得される、請求項１記載の方法。
- 前記近似された画像チャンクデータの第１のアイテムｖＭｉｎは、前記２つの最大寄与のうちの前記第１の１つに最も近く合致する、近似されたチャンクデータの強度正規化アイテムを含み、
前記近似された画像チャンクデータの前記第２のアイテムｖＭａｘは、前記２つの最大寄与のうちの前記第２の１つに最も近く合致する、近似されたチャンクデータの強度正規化アイテムを含む、請求項１記載の方法。 - 前記マッピング変換を用いて、正規化された画像画素データを算出することは、画像画素データの各アイテムを、前記近似された画像チャンクデータの第１のアイテムｖＭｉｎに射影して、前記画像画素データの第１のカラーチャネルを提供することを含む、請求項１０記載の方法。
- 前記マッピング変換を用いて、正規化された画像画素データを算出することは、画像画素データの各アイテムを、前記近似された画像チャンクデータの第２のアイテムｖＭａｘに射影して、前記画像画素データの第２のカラーチャネルを提供することを含む、請求項１１記載の方法。
- 前記マッピング変換を用いて、正規化された画像画素データを算出することは、染色濃度データを決定することを含む、請求項１２記載の方法。
- 請求項１記載の方法を実行するようにプロセッサをプログラムするよう動作可能なプログラム命令を含むコンピュータプログラム。
- 請求項１記載の方法を実行するよう構成されている画像処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1516866.9 | 2015-09-23 | ||
| GB1516866.9A GB2542764A (en) | 2015-09-23 | 2015-09-23 | Image processing method and apparatus for normalisation and artefact correction |
| PCT/GB2016/052969 WO2017051187A1 (en) | 2015-09-23 | 2016-09-23 | Image processing method & apparatus for normalisaton and artefact correction |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018535471A JP2018535471A (ja) | 2018-11-29 |
| JP2018535471A5 JP2018535471A5 (ja) | 2019-10-10 |
| JP6659832B2 true JP6659832B2 (ja) | 2020-03-04 |
Family
ID=54544700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018514896A Active JP6659832B2 (ja) | 2015-09-23 | 2016-09-23 | 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10573002B2 (ja) |
| EP (1) | EP3353740B1 (ja) |
| JP (1) | JP6659832B2 (ja) |
| CN (1) | CN108140236A (ja) |
| GB (1) | GB2542764A (ja) |
| WO (1) | WO2017051187A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11449991B2 (en) * | 2018-03-08 | 2022-09-20 | Konica Minolta, Inc. | Image processing method, image processing apparatus, and storage medium |
| JP7209968B2 (ja) * | 2019-10-09 | 2023-01-23 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
| US11621078B2 (en) | 2020-03-18 | 2023-04-04 | International Business Machines Corporation | Pre-processing whole slide images in cognitive medical pipelines |
| CN111507902B (zh) * | 2020-04-15 | 2023-09-26 | 京东城市(北京)数字科技有限公司 | 一种高分辨率图像获取方法及装置 |
| WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2649367B2 (ja) * | 1987-02-13 | 1997-09-03 | オリンパス光学工業株式会社 | 多次元画像相関演算装置 |
| US5719024A (en) * | 1993-08-18 | 1998-02-17 | Applied Spectral Imaging Ltd. | Method for chromosome classification by decorrelation statistical analysis and hardware therefore |
| US5991028A (en) * | 1991-02-22 | 1999-11-23 | Applied Spectral Imaging Ltd. | Spectral bio-imaging methods for cell classification |
| DE69329554T2 (de) * | 1992-02-18 | 2001-05-31 | Neopath Inc | Verfahren zur identifizierung von objekten unter verwendung von datenverarbeitungstechniken |
| US5995645A (en) * | 1993-08-18 | 1999-11-30 | Applied Spectral Imaging Ltd. | Method of cancer cell detection |
| US6718053B1 (en) * | 1996-11-27 | 2004-04-06 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
| US6671661B1 (en) * | 1999-05-19 | 2003-12-30 | Microsoft Corporation | Bayesian principal component analysis |
| US7321791B2 (en) * | 2003-09-23 | 2008-01-22 | Cambridge Research And Instrumentation, Inc. | Spectral imaging of deep tissue |
| CN100520824C (zh) * | 2007-01-15 | 2009-07-29 | 浙江大学 | 一种基于主成分分析的颜色调整方法 |
| US20100329535A1 (en) * | 2009-06-26 | 2010-12-30 | Marc Macenko | Methods, Systems and Computer Program Products for Analyzing Histology Slide Images |
| TW201117112A (en) * | 2009-11-12 | 2011-05-16 | Univ Nat Cheng Kung | Long distance person identification using height measurement and face recognition |
| JP5813751B2 (ja) * | 2010-04-18 | 2015-11-17 | アイマックス ヨーロッパ ソシエテ アノニム | プロジェクタによって投影される画像を生成する方法及び画像投影システム |
| US9031294B2 (en) * | 2010-07-23 | 2015-05-12 | National Institute Of Advanced Industrial Science And Technology | Region segmented image data creating system and feature extracting system for histopathological images |
| EP2601513B1 (en) * | 2010-08-05 | 2014-05-14 | Cambridge Research & Instrumentation, Inc. | Enhancing visual assessment of samples |
| US8433132B2 (en) * | 2011-04-12 | 2013-04-30 | Sony Corporation | Method for efficient representation and processing of color pixel data in digital pathology images |
| WO2013022688A1 (en) * | 2011-08-05 | 2013-02-14 | Siemens Healthcare Diagnostics Inc. | Automated detection of diagnostically relevant regions in pathology images |
| BR112014009434A2 (pt) * | 2011-10-24 | 2017-04-11 | Koninklijke Philips Nv | aparelho, método e sistema de processamento de imagens médicas para a correção de uma imagem de corte em corte transversal para um artefato de imagem, elemento de programa de computador para o controle de um aparelho, e, meio legível por computador |
| BR112014014093A2 (pt) * | 2011-12-13 | 2017-06-13 | Koninklijke Philips Nv | componente de processamento, que processa imagens com base em algoritmo de reconstrução iterativa com algoritmo de regularização e/ou redução de ruído e método |
| CN103632362B (zh) * | 2012-08-28 | 2017-03-01 | 中国电信股份有限公司 | 图像匹配处理方法、装置及系统 |
| CN104751429B (zh) * | 2015-01-27 | 2018-02-02 | 南方医科大学 | 一种基于字典学习的低剂量能谱ct图像处理方法 |
| US10061972B2 (en) * | 2015-05-28 | 2018-08-28 | Tokitae Llc | Image analysis systems and related methods |
-
2015
- 2015-09-23 GB GB1516866.9A patent/GB2542764A/en not_active Withdrawn
-
2016
- 2016-09-23 JP JP2018514896A patent/JP6659832B2/ja active Active
- 2016-09-23 WO PCT/GB2016/052969 patent/WO2017051187A1/en active Application Filing
- 2016-09-23 US US15/761,597 patent/US10573002B2/en active Active
- 2016-09-23 CN CN201680055658.XA patent/CN108140236A/zh active Pending
- 2016-09-23 EP EP16787917.0A patent/EP3353740B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| GB201516866D0 (en) | 2015-11-04 |
| JP2018535471A (ja) | 2018-11-29 |
| US10573002B2 (en) | 2020-02-25 |
| CN108140236A (zh) | 2018-06-08 |
| EP3353740B1 (en) | 2019-11-27 |
| GB2542764A (en) | 2017-04-05 |
| WO2017051187A1 (en) | 2017-03-30 |
| EP3353740A1 (en) | 2018-08-01 |
| US20180357765A1 (en) | 2018-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6659832B2 (ja) | 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置 | |
| JP6902864B2 (ja) | フーリエタイコグラフィによって取得された画像の物理レジストレーション | |
| US9842391B2 (en) | Method and apparatus for processing an image of a tissue sample | |
| US10004403B2 (en) | Three dimensional tissue imaging system and method | |
| US10671832B2 (en) | Method and apparatus for tissue recognition | |
| JP6517788B2 (ja) | 適応的病理組織画像分解のためのシステム及び方法 | |
| JP6745874B2 (ja) | 組織認識のための方法および装置 | |
| JP2022534156A (ja) | デジタルパソロジーのための人工知能処理システムおよび自動化された事前診断ワークフロー | |
| JP2018525707A (ja) | ヘマトキシリン・エオシン（ｈ＆ｅ）染色組織画像における関心領域を調べて、多重化／高多重化蛍光組織画像で腫瘍内細胞空間的不均一性を定量化するシステム及び方法 | |
| Rivenson et al. | Deep learning-based virtual histology staining using auto-fluorescence of label-free tissue | |
| Hoque et al. | Retinex model based stain normalization technique for whole slide image analysis | |
| CN108601509B (zh) | 图像处理装置、图像处理方法以及记录有程序的介质 | |
| Guo et al. | Multimodal image analysis in tissue diagnostics for skin melanoma | |
| Sikkandar et al. | Three factor nonnegative matrix factorization based HE stain unmixing in histopathological images | |
| WO2017051195A1 (en) | Pattern driven image processing method & apparatus for tissue recognition | |
| Fernández-Carrobles et al. | Automatic quantification of IHC stain in breast TMA using colour analysis | |
| WO2018098697A1 (zh) | 一种影像特征的可重复性测量方法及装置 | |
| JP7171549B2 (ja) | 画像解析評価方法、コンピュータプログラム、画像解析評価装置 | |
| JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管／腺及び内腔、管／腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
| JP6930963B2 (ja) | デジタル病理学におけるサーバー‐クライアント・アーキテクチャー | |
| US11238582B2 (en) | System and method for microscopic image processing and determining microglia activation state using processed images | |
| ALOUPOGIANNI et al. | Binary malignancy classification of skin tissue using reflectance and texture features from macropathology multi-spectral images | |
| GOMOLKA et al. | Automatic segmentation of morphological structures in microscopic images of lymphatic nodes-preliminary results |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190829 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191213 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6659832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |