JP6618473B2 - ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法 - Google Patents

ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法 Download PDF

Info

Publication number
JP6618473B2
JP6618473B2 JP2016541644A JP2016541644A JP6618473B2 JP 6618473 B2 JP6618473 B2 JP 6618473B2 JP 2016541644 A JP2016541644 A JP 2016541644A JP 2016541644 A JP2016541644 A JP 2016541644A JP 6618473 B2 JP6618473 B2 JP 6618473B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
input
purification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016541644A
Other languages
English (en)
Other versions
JP2017502286A (ja
Inventor
チュッカ，スリニヴァス
ユアン，チュエン
Original Assignee
ベンタナ メディカル システムズ， インコーポレイテッド
ベンタナ メディカル システムズ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ， インコーポレイテッド, ベンタナ メディカル システムズ， インコーポレイテッド filed Critical ベンタナ メディカル システムズ， インコーポレイテッド
Publication of JP2017502286A publication Critical patent/JP2017502286A/ja
Application granted granted Critical
Publication of JP6618473B2 publication Critical patent/JP6618473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

[001]本主題の開示は、デジタル化された明視野および螢光顕微鏡法におけるスペクトル純化（ｓｐｅｃｔｒａｌ ｕｎｍｉｘｉｎｇ）に関する。より詳細には、本主題の開示は、同様のピクセルのグループを識別し、かつ、同様のピクセルをまとめてスペクトル的に純化することによるスペクトル純化プロセスの加速に関する。
[002]組織標本の多重スライドでは、色素染料または螢光染料のいずれであってもよい特定のバイオマーカ特定の染料を使用して異なる核構造および組織構造が同時に染色され、色素染料または螢光染料の各々は、スペクトルの形状および広がりの点で全く別のスペクトルシグネチャを有している。異なるバイオマーカのスペクトルシグネチャは、広いスペクトル帯域かまたは狭いスペクトル帯域とすることができ、スペクトル的に重畳され得る。標本、例えば染料の何らかの組合せで染色された腫瘍学標本を含んだスライドが、多重スペクトル画像化システムを使用して画像化される。個々のチャネル画像はスペクトル帯域に対応する。したがって画像化システムによって生成される多重スペクトル画像スタックは、基礎をなしている成分バイオマーカ表徴の混合であり、これは、いくつかの例では共局在化させることができる。より最近では、その強く安定した螢光のため、量子ドットが重要なバイオマーカのための免疫螢光法染色に広く使用されている。
[003]バイオマーカのための個々の成分染料、およびそれらが混合中に出現する割合を識別することは、スペクトル純化操作を使用して解決される基本的な課題である。スペクトル純化は、多重スペクトル画像の個々のピクセルを成分スペクトルエンドメンバまたは成分の集合、およびそれらの各々からの多重スペクトル画像中のそれらの強度寄与の微小部分に分解する。スペクトル純化方法の一例は、螢光顕微鏡法および明視野顕微鏡法の両方に広く使用されている、非負線形最小２乗操作（ｎｏｎ−ｎｅｇａｔｉｖｅ ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ ｏｐｅｒａｔｉｏｎ）である。この操作は、通常、画像のすべてのピクセルに対して、一度に１つずつ実施される。
[004]Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＴｉｎｇ Ｃｈｅｎらによる刊行物「Ａｄａｐｔｉｖｅ Ｓｐｅｃｔｒａｌ Ｕｎｍｉｘｉｎｇ ｆｏｒ Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ Ｆｌｕｏｒｅｓｃｅｎｔ Ｉｍａｇｅｓ（組織病理学螢光画像のための適応スペクトル純化）」は、生物学的組織試料の多重スライドのスペクトル純化のための様々な従来技術技法についての手引きおよび概説を提供しており、参照によりその全体が本明細書に組み込まれている。組織画像のスペクトル純化のための様々な他の技法は、ＷＯ ２０１２／１５２６９３ Ａ１およびＷＯ ２０１４／１４０２１９ Ａ１で知られている。
[005]本発明は、特許請求される改良型画像化方法および改良型画像化システムを提供する。従属請求項は、本発明の実施形態を対象としている。
[006]本明細書において理解される「生物学的組織試料」は、人または動物の体から得られる解剖学的病理学のための外科的標本などの任意の生物学的試料である。生物学的試料は、プロストレート（ｐｒｏｓｔｒａｔｅ）組織試料、乳房組織試料、結腸組織試料、あるいは別の臓器または身体領域から得られる組織試料であってもよい。
[007]本明細書において理解される「多重」ピクセルまたは「多重スペクトル」ピクセルは、異なる核構造および組織構造が特定の螢光染料で同時に染色される生物学的組織試料から得られるデジタル画像に含まれているピクセルを包含しており、特定の螢光染料の各々は、異なるスペクトル帯域で螢光を発する。
[008]本発明の実施形態は、組織試料の多重螢光スライドの画像を純化するために実施しなければならない計算の数が実質的に低減されるため、とりわけ有利である。これは、純化アルゴリズムを実行することによって得られる純化結果が１つまたは複数の同様のピクセルに対して再使用されるため、純化アルゴリズムを実行することによって計算的に高価なスペクトル純化を画像の多重スペクトルピクセル毎に実施する必要がないことによるものである。したがって処理時間を短くすることができ、また、画像化システムの処理能力を実質的に高くすることができ、これは健康管理環境では極めて有利である。
[009]本発明の実施形態によれば、任意の純化アルゴリズムを使用して、それには限定されないが、「Ａ Ｓｕｒｖｅｙ ｏｆ Ｓｐｅｃｔｒａｌ Ｕｎｍｉｘｉｎｇ Ａｌｇｏｒｉｔｈｍｓ（スペクトル純化アルゴリズムの調査）」、Ｎｉｒｍａｌ Ｋｅｓｈａｖａ、Ｌｉｎｃｏｌｎ Ｌａｂｏｒａｔｏｒｙ Ｊｏｕｒｎａｌ、Ｖｏｌｕｍｅ １４、Ｎｏ．１、２００３年、５５〜７７頁に記載されている純化アルゴリズムなどを含んだ、選択された第１の入力ピクセルを純化することができる。
[0010]本発明の実施形態によれば、画像データは、顕微鏡などの光学システムによって生物学的組織試料から取得される。光学システムは、実施態様に応じて画像化システムから分離することができ、あるいは画像化システムの一体部分にすることも可能である。
[0011]本発明の実施形態によれば、取得された画像データのスペクトル純化は、以下のように実施される。最初に、取得された画像データは、純化を必要とする多重スペクトル未処理ピクセルを含む。第１の入力ピクセルが、処理、つまりスペクトル純化のために未処理ピクセルから選択される。第１の入力ピクセルのこの選択は、ランダム選択または疑似ランダム選択であってもよく、または定義済み選択スキームに従って実施し、あるいはピクセル強度値のヒストグラムを生成し、かつ、ヒストグラム中に最も頻繁に生じるピクセルから第１のピクセルを選択することによって実施することも可能である。
[0012]次に、選択された第１の入力ピクセルのスペクトル純化が、第１の入力ピクセルに対する純化結果を提供する純化アルゴリズムを使用して実施される。
[0013]次のステップで、純化を必要とする他の未処理ピクセルのために、得られた純化結果を第１の入力ピクセルに対して再使用するための試行がなされる。これは、未処理ピクセルを探索して、第１の入力ピクセルと同様の、つまり第１の入力ピクセルに対して定義済み類似性判定基準を満たす少なくとも第２のピクセルを見出すことによって実施される。探索によって識別される複数の第２のピクセルは、１つのグループまたは第２のピクセルのクラスタにグループ化することができる。
[0014]第１の入力ピクセルに対して得られた純化結果が探索で識別された少なくとも１つの第２のピクセルに対して再使用され、これは、第２のピクセルに対する純化結果が最少の時間量で、かつ、最少数の計算ステップによって得られるよう、その第２のピクセルに対する純化アルゴリズムの再実行を回避する。例えば少なくとも１つの第２のピクセルは、−倍率（ｓｃａｌｉｎｇ ｆａｃｔｏｒ）とは別に−未処理の第１の入力ピクセルと全く同じであるか、またはほぼ全く同じである強度値のスペクトル分布を有している。この例では、第１の入力ピクセルに対して得られた純化結果は、第１の入力ピクセルに対して得られた純化結果に倍率を掛けることによって第２のピクセルに対して再使用することができ、これは、計算的に高価な純化アルゴリズムを掛算に置き換える。
[0015]本明細書において理解される「未処理ピクセル」という用語は、生物学的組織試料から取得される、純化のための処理を必要とする多重スペクトルピクセルを含んだ画像のピクセルを意味している。処理のために選択される「未処理ピクセル」は「第１の入力ピクセル」と呼ばれ、その第１の入力ピクセルに対してスペクトル純化が実施されると処理済みピクセルになる。同様に、未処理ピクセル内で識別される第２のピクセルは、第１の入力ピクセルに対して得られた純化結果を再使用することによって純化することができるため、処理済みピクセルになる。
[0016]本発明の実施形態によれば、画像データの多重スペクトル未処理ピクセルは、スペクトル純化に先立って正規化される。この正規化は、ユークリッドノルムを使用することによって実行することができ、つまり未処理ピクセルのスペクトル強度値をピクセル強度値によって画定されるベクトルの長さで割ることによって実行することができる。ユークリッドノルムは、単位長さへの正規化のための倍率として利用することができる。次に、正規化された多重スペクトル未処理ピクセルに対してスペクトル純化が実施される。正規化されていない元の第１の入力ピクセルに対する最終純化結果を提供するために、正規化された第１の入力ピクセルに対して純化アルゴリズムを実行することによって得られた純化結果に、第１の入力ピクセルを正規化するために使用された倍率、例えば第１の入力ピクセルのユークリッドノルムが掛けられる。同様に、第２のピクセルに対する最終純化結果を提供するために、正規化された第１の入力ピクセルに対して得られる純化結果が、正規化された第１の入力ピクセルに対して得られた純化結果に、第２のピクセルを正規化するために使用された倍率を掛けることによって第２のピクセルを純化するために再使用される。
[0017]本発明の実施形態によれば、第１の入力ピクセルに十分に類似している第２のピクセルを識別して純化結果を再使用するための類似性判定基準は閾値である。例えば未処理ピクセルは、正規化された未処理ピクセルと正規化された第１の入力ピクセルの点乗積が閾値未満であり、例えば０．９９未満などである場合、第２のピクセルとして選択される。したがって第１の入力ピクセルに十分に類似している第２のピクセルを画像データ中から識別して純化結果を再使用するための探索操作は、正規化後の第１の入力ピクセルによる個々の候補未処理ピクセルのベクトル掛算を実施し、かつ、結果として得られる点乗積と閾値を比較することによって実施することができる。点乗積が閾値未満である場合、候補未処理ピクセルは、第１の入力ピクセルに対して得られた純化結果を再使用することができる第２のピクセルとして選択される。
[0018]本発明の一実施形態によれば、クラスタ化アルゴリズムは、一組のピクセルクラスタを提供するために画像データに対して実行され、個々のピクセルクラスタは同様のピクセルを含む。第１の入力ピクセルはクラスタの各々から選択され、クラスタのうちの１つから選択された第１の入力ピクセルに対して得られた純化結果が同じクラスタに含まれている他のピクセルに対して再使用される。適切なクラスタ化アルゴリズムは、そのようなものとして従来技術で知られており、Ｊａｉｎ、Ａｎｉｌ Ｋ． Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｃｌｕｓｔｅｒｉｎｇ Ｄａｔａ（クラスタ化データのためのアルゴリズム）、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ Ａｄｖａｎｃｅｄ Ｒｅｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ、１９８８年を参照されたい。
[0019]本発明の実施形態によれば、スペクトル純化に先立って画像分割が画像データに対して実施される。画像データは、分割された領域が、通常、その領域に含まれている多重スペクトル未処理ピクセルの変動が小さくなるよう、医療画像分割によって、１つまたは複数の特性または特徴に対して同次である領域に区分化される。したがって領域毎にスペクトル純化を実施することにより、総計算コストがさらに少なくなり、また、速度およびシステム処理能力がさらに向上する。言い換えると、第１の入力ピクセルは分割された領域毎に選択され、また、同様の第２のピクセルの探索は、純化結果の再使用を許容するために、それぞれの領域の第１の入力ピクセルに十分に類似している第２のピクセルを領域毎に識別するべく、領域毎に個別に実施される。これは、分割された領域の並列処理によって同時に実施することができ、それにより処理速度がさらに速くなる。医療画像分割のための適切な方法は従来技術で知られており、Ｈａｎｄｂｏｏｋ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ（医療画像化、処理および解析のハンドブック）、Ｉｓａａｃ Ｎ． Ｂａｎｋｍａｎ、Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、２０００年、第５章、６９〜８５頁を参照されたい。
[0020]本明細書において使用されている「プロセッサ」という用語は、１つまたは複数のプロセッサコアを有する単一のプロセッサ、およびネットワーク化することができる多重プロセッサシステム、ならびに並列処理をサポートするプロセッサまたはプロセッサシステムを含む。
[0021]本主題の開示は、ピクセルグループを使用することによってスペクトル純化プロセスを高速化するためのシステムおよび方法を提供する。従来技術によって実施されているように画像中のすべてのピクセルを純化するのではなく、本明細書において開示される実施形態は、同様のピクセルのグループを形成するステップ、および個々のピクセルグループからの１つの代表的なピクセルのみを純化するステップを含む操作を実施し、それによりグループ内の他のピクセルに対する純化結果を決定することができる。代表的なピクセルは、画像中の何１００万もの未処理ピクセルから選択され、かつ、比較および純化操作に入力されるピクセルのサブセットのうちの１つであってもよい。同様のピクセルのグループを形成するために、類似性メトリック（ｓｉｍｉｌａｒｉｔｙ ｍｅｔｒｉｃ）は、未処理ピクセルおよび入力ピクセルの正規化された強度の点乗積に基づくことができる。類似性メトリックは他の方法によって計算することができ、例えばクラスタ化または他の比較方法によって計算することができることは当業者には認識されよう。この点乗積は閾値と比較することができ、点乗積が閾値を超えている場合、ピクセルは類似していると決定され、まとめてグループ化される。試料採取されたサブセット内の入力ピクセルは、純化操作に向けて入力することができ、入力ピクセル毎の純化結果は、一致しているピクセルのグループ内の一致している／同様のピクセル毎の純化結果を事前に決定するために適用することができる。入力ピクセル毎の純化結果を使用して、個々の入力ピクセルと結合したピクセルのグループ内の一致しているピクセル毎に純化結果を決定することができる。倍率を使用して、グループ内の同様のピクセルまたは一致したピクセル毎に純化結果を決定することができる。倍率は、点乗積操作中に決定されたピクセルの正規化された強度に基づいている。
[0022]代表的な入力ピクセルの選択および純化、ならびに点乗積決定および閾値比較は、残りの非一致ピクセルの数が最少になるまで繰り返される。例えば入力ピクセルに対して非一致のままであるピクセルの数と閾値とを比較することができる。残りの未処理ピクセルが未処理ピクセルの閾値数を超えているか否かが決定され、極めて多数の未処理ピクセルが存在している場合、新しい一組の入力ピクセルを未処理ピクセルから決定することができる。残りのピクセルすなわち非一致ピクセルの数が閾値未満である場合、個々の非一致ピクセルを個々に純化することができる。ピクセルは、非負線形最小２乗法を使用して純化することができる。多数の一致したピクセルは個々に純化する必要がないため、著しく少ない純化操作が画像に対して実施され、それにより純化プロセスを高速化する。
[0023]一例示的実施形態では、本主題の開示は、複数の未処理ピクセルを含んだ画像から入力ピクセルを試料採取するステップと、入力ピクセルに類似している未処理ピクセルを複数の未処理ピクセルから識別するステップとを含み、入力ピクセルに対する純化結果が同様のピクセルに対して使用される操作を実施するためにプロセッサによって実行される実行可能命令を記憶するための非一時的デジタル記憶媒体である。操作は、個々のピクセルの強度値を単位長さに正規化するステップと、正規化された強度の点乗積に基づいて、未処理ピクセルと入力ピクセルの間の類似性を決定するステップとをさらに含む。
[0024]別の例示的実施形態では、本主題の開示は、プロセッサと、プロセッサに結合されたメモリとを含むスペクトル純化のためのシステムであり、メモリは、プロセッサによって実行されると、プロセッサが、複数のピクセルを含んだ画像からの第１のピクセルと第２のピクセルの間の類似性を識別するステップと、第２のピクセルに対する純化結果を得るために第１のピクセルを純化するステップとを含む操作を実施することになる実行可能命令を記憶する。
[0025]さらに別の例示的実施形態では、本主題の開示は、画像からの複数の同様のピクセルを１つのグループにグループ化するステップと、そのグループに対する純化結果を得るために複数の同様のピクセルからの試料ピクセルを純化するステップとを含む方法である。
[0026]本主題の開示の一例示的実施形態による、ピクセルグループ化を使用してスペクトル純化するためのシステムを示す図である。 [0027]本主題の開示の一例示的実施形態による、ピクセルグループ化を使用してスペクトル純化するための方法を示す図である。 [0028]本主題の開示の一例示的実施形態による、同様のピクセルを決定するための方法を示す図である。 [0029]本主題の開示の一例示的実施形態による、ピクセルグループ化を使用してスペクトル純化するための方法を示す図である。 [0030]本主題の開示の一例示的実施形態による、代替ピクセル選択を使用してスペクトル純化するための方法を示す図である。 [0031]本主題の開示の一例示的実施形態による、領域選択を使用してスペクトル純化するための方法を示す図である。 [0032]図７Ａは、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用したスペクトル純化操作の結果を示す図である。図７Ｂは、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用したスペクトル純化操作の結果を示す図である。
[0033]本主題の開示は、純化プロセスを高速化するためのシステムおよび方法を提供する。代表的なピクセルが画像中の複数のピクセルからランダムに試料採取され、また、画像中の複数のピクセルからの同様のピクセルのグループが代表的なピクセル毎に識別される。代表的なピクセルは、画像中の何１００万もの未処理ピクセルから選択されたピクセルのサブセットのうちの１つであってもよい。代表的なピクセルに類似しているピクセルを決定するために、未処理ピクセルおよび代表的なピクセルの正規化された強度の点乗積に基づいて類似性メトリックを計算することができる。点乗積は閾値と比較することができ、点乗積が閾値を超えている場合、ピクセルは類似していると決定される。本主題の開示のために、代表的なピクセルは、以下、入力ピクセルと呼ばれる。
[0034]サブセット内の入力ピクセルに類似しているとして識別される画像中のすべての未処理ピクセルは、まとめてグループ化することができる。サブセット内のグループに対する個々の入力ピクセルは、非負線形最小２乗操作に入力することができる。入力ピクセル毎の純化結果を使用して、個々の入力ピクセルと結合したピクセルのグループ内の一致しているピクセル毎に純化結果を決定することができる。倍率を使用して、グループ内の同様のピクセルまたは一致したピクセル毎に純化結果を決定することができる。倍率は、点乗積操作中に決定されたピクセルの正規化された強度に基づいている。
[0035]入力ピクセルの選択は、画像の一様な試料採取またはランダムな試料採取に基づくことができる。別法または追加として、入力ピクセルは、領域選択に基づいて試料採取することも可能である。個別の生理学的構造または他の特性に対応する画像の異なる領域の選択を実施することができ、次に、入力ピクセルを個々の領域から個別に試料採取することができる。入力ピクセルのランダム選択は、画像によって構成されたすべてのピクセルからの例えば１００個のピクセルの試料採取を含むことができる。別法としては、入力ピクセル選択は、例えばピクセル強度値のヒストグラムを使用した強度値の周波数に基づくことができ、最も高い周波数を有するピクセルが選択される。さらに、入力ピクセルは、一致プロセスに先立って純化操作に入力することも可能であり、あるいは一致しているすべてのピクセルが識別された後に純化を実施することも可能である。どの入力ピクセルとも一致しない残りのピクセルの数を識別することができる。入力ピクセルの選択操作および一致しているピクセルの識別操作は、残りのピクセルすなわち非一致ピクセルの数が閾値未満になるまで繰り返すことができ、閾値未満になると、残りのピクセルを個々に純化することができる。例えば残りの未処理ピクセルが未処理ピクセルの閾値数を超えているか否かが決定され、極めて多数の未処理ピクセルが存在している場合、新しい一組の入力ピクセルを未処理ピクセルから決定することができる。非一致入力ピクセルの再試料採取は、本明細書において説明されている代替試料採取方法と同じ方法またはいずれかを任意の組合せで使用することができる。
[0036]図１は、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用したスペクトル純化のためのシステム１００を示したものである。システム１００は、多重チャネル画像、例えばいくつかのチャネル（例えば１０チャネルないし１６チャネル）を有する多重チャネル螢光画像または明視野画像を生成するためのソース１０１を備えており、個々のチャネル画像は、狭スペクトル帯域からの画像捕獲に対応する８ビットまたは１６ビットのグレースケール画像であるか、または３つのカラーチャネルを有するＲＧＢカラー画像であり、個々のチャネルは特定のカラー捕獲に対応している。例えばソース１０１は、螢光顕微鏡、カメラ、光学スキャナ、ＣＣＤ、または螢光画像を生成する画像化システムの他の光学構成要素、あるいは明視野顕微鏡、カメラ、光学スキャナ、またはＲＧＢ画像を生成する画像化システムであってもよい。画像化システムの例は、例えばスペクトルフィルタホイールまたはホールスライドスキャナを有する任意の螢光顕微鏡または明視野顕微鏡であってもよい。ソース１０１は、純化画像を表示するためのディスプレイを含むユーザインタフェースを提供する電子処理デバイス１０７のインタフェースに結合されたプロセッサ１０５によって実行される複数の処理モジュールまたは論理操作を含むメモリ１０３と通信している。
[0037]例えば生物学的標本などの試料は、本開示によれば、スライドまたは他の基板の上、あるいはメモリ１０３に結合された顕微鏡、カメラ、スキャナ、ＣＣＤまたは他の光学システムによって画像化するためのデバイスの上に載せることができ、標本の画像解析は、メモリ１０３上に記憶されている複数のモジュールのうちの１つまたは複数を実行するプロセッサ１０５によって実施される。解析は、標本を識別し、かつ、研究するための解析であってもよい。例えば生物学的システムまたは病理学的システムは、タンパク質、タンパク質断片、または癌あるいは他の疾病を示す他のマーカの存在などの生物学的情報のために、あるいは遺伝子ＤＮＡ検出、伝令ＲＮＡ検出、タンパク質検出、ウイルスの検出、遺伝子の検出、等々などの他の目的のために標本を研究することができる。
[0038]標本、例えば組織標本または細胞学標本は、１つまたは複数の異なる量子ドット、螢光体または他の染料を含むことができる１つまたは複数の異なる染料を加えることによって染色することができる。例えば螢光スライドでは、異なる染料は、異なる量子ドットおよび／または螢光体に対応させることができる。螢光体は、それぞれ異なる範囲の波長でピーク発光応答を生成する１つまたは複数のナノ結晶性半導体螢光体（例えば量子ドット）を備えることができる。量子ドットはよく知られており、Ｉｎｖｉｔｒｏｇｅｎ Ｃｏｒｐ．、Ｅｖｉｄｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ、等々から市場で入手することができる。例えば標本は、それぞれ５６５ｎｍ、５８５ｎｍ、６０５ｎｍおよび６５５ｎｍでピーク発光応答を生成するいくつかの異なる量子ドットを使用して処理することができる。標本に加えられる螢光体のうちの１つまたは複数は、当分野でよく知られている有機螢光体１４（例えばＤＡＰＩ、Ｔｅｘａｓ Ｒｅｄ）であってもよく、また、少なくとも共同所有で、かつ、譲渡された、参照によりその内容全体が本明細書に組み込まれている米国特許８，２９０，２３６に記載されている。さらに、典型的な標本は、染料、例えば染料含有量子ドットおよび／または有機螢光体を標本に加える、自動化が可能な染色／試金プラットフォームを利用して処理される。市場には染色／試金プラットフォームとしての使用に適した様々な商用製品が出回っている。
[0039]予備組織処理および染色の後、例えばスキャナ、ＣＣＤアレイスペクトルカメラ、または材料の試料を含んだスライドを画像化するために使用される他の画像化システムを介して、標本の１つまたは複数のデジタル画像をソース１０１で捕獲することができる。試料を含んだスライドは、標本に加えられた染料からの発光応答を生成することが意図された波長で標本を照明するために光源にさらされる。量子ドットの場合、光源は広スペクトル光源であってもよい。別法としては、光源は、レーザなどの狭帯域光源を備えることも可能である。また、ＲＧＢ明視野画像を捕獲することも可能である。画像化システムの光学構成要素は、例えばデジタルカメラ、顕微鏡、または１つまたは複数の対物レンズおよび光源ならびに一組のスペクトルフィルタを有する他の光学システムを含むことができる。異なる波長で画像を捕獲するための他の技法を使用することができる。染色された生物学的標本を画像化するのに適したカメラプラットフォームは当分野で知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ、等々などの会社から市場で入手することができ、また、このようなプラットフォームは、本主題の開示のシステム、方法および装置に使用するために容易に適合させることができる。画像は、ソース１０１と電子処理デバイス１０７の間のケーブル接続または通信ネットワークのいずれかを介して、あるいは電子処理デバイス間でデジタル情報を転送するために広く使用される任意の他の媒体を使用してメモリ１０３に供給することができる。また、画像は、記憶するためにネットワークを介してネットワークサーバまたはデータベースに供給し、電子処理デバイス１０７によって後で検索することも可能である。プロセッサ１０５およびメモリ１０３の他に、電子処理デバイス１０７は、キーボード、マウス、スタイラスおよびディスプレイ／タッチスクリーンなどのユーザ入力および出力デバイスをも含む。以下の考察の中で説明されるように、プロセッサ１０５は、メモリ１０３上に記憶されているモジュールを実行して、画像の解析を実施し、画像またはこのような画像から引き出される画像データを形態学的に処理し、定量解析し、かつ、電子処理デバイス１０７を操作しているユーザに定量／図形結果を表示する。
[0040]メモリ１０３上に記憶されているモジュールは、領域選択モジュール１１１、ピクセル選択モジュール１１２、類似性決定モジュール１１３、グループ化モジュール１１４、純化モジュール１１５および結果予測モジュール１１６を含む。これらのモジュールによって実施される操作は、本明細書において説明される操作に限定されず、シーケンス、配置およびモジュールの総数は変更が可能であり、現在説明されている実施形態は、単に例を目的としたものにすぎない。例えば領域選択モジュール１１１は、１つまたは複数の領域への画像の自動分割または手動描写を可能にしている。これにより、後続する操作を画像の同じ領域または異なる領域上で実施することができ、多重画像を効果的に処理することができる。領域は、画像中で観察される構造または特徴に基づいて画定することができ、個別の処理は、領域毎に同時に実行することができる。ユーザはカスタム領域を選択することができる。いくつかの例では、同じ組織ブロックからの隣り合うセクションの明視野画像が明視野デジタルスキャナによって捕獲される。明視野画像は、腫瘍部分などの特定の領域に注釈を付けるために観察し、かつ、使用することができる。識別された部分を使用して、螢光スキャナによる走査のため、またはカメラ、例えばスペクトルカメラによる画像化のためのターゲット領域を提供することができる。言い換えると、組織試料の明視野画像上で選択された領域を識別して、明視野画像中の選択された領域のさらに詳細を明らかにするために、例えば１つまたは複数の螢光染料で既に染色されている、隣接する、つまり隣り合う組織試料の画像（例えば多重染色組織試料の画像）にマップすることができる。個別の操作は、異なる領域に対して同時に実行することができ、それにより極めて多数の多重スライド、例えば螢光スライドを効果的に処理することができる。
[0041]ピクセル選択モジュール１１２は、画像または画像の領域から入力ピクセルを選択または試料採取するために実行される。入力ピクセルは画像の異なる領域から選択することができるが、これらの領域に印を付けるための領域選択モジュール１１１の使用は任意選択であり、ソース１０１から画像を受け取ると、画像全体から入力ピクセルを選択することができる。入力ピクセルは、画像中の何１００万もの未処理ピクセルから選択されたピクセルのサブセットの一部になる。他のピクセルには、「未処理」として印を付けることができる。入力ピクセルの選択は、画像または画像の領域の一様な試料採取またはランダムな試料採取に基づくことができる。入力ピクセルは周波数に基づいて試料採取することができ、つまりヒストグラムを観察することができ、また、同様のピクセルを有している可能性が最も高いピクセルを選択し、かつ、試料採取することができる。本開示を読めば、当業者には、入力ピクセルを選択するための他の方法が明らかになるであろう。さらに、本主題の開示の目的のために、入力ピクセルは、類似性決定モジュール１１３によって実施される際に、同様のピクセルを識別するために使用される入力ピクセルであるか、または純化モジュール１１５によって純化される入力ピクセルであり、したがって「入力ピクセル」と呼ぶことも可能である。
[0042]類似性決定モジュール１１３は、画像中のピクセルと、画像から選択された個々の入力ピクセルとを比較し、それによりそれらが類似しているか否かを決定するために実行される。言い換えると、類似性決定モジュール１１３は、第１の入力ピクセルに類似している未処理ピクセルから第２のピクセルを探索するように働く。この探索は、すべての未処理ピクセルに対して実施することができ、あるいは同様の第２のピクセルが探索される第１の入力ピクセルと同じ画像区分内に存在する未処理ピクセルに探索を限定することなどによって、未処理ピクセルの一部に対して実施することも可能である。上で説明したように、入力ピクセルを除く画像中のすべてのピクセルには、未処理として印を付けることができる。類似性決定モジュールは、選択された入力ピクセルから第１の入力ピクセルを選択し、かつ、画像データの、またはある区分内のすべての未処理ピクセルと、同じ区分の入力ピクセルとを比較する。未処理ピクセルが第１の入力ピクセルに類似しているとして識別されると、その未処理ピクセルには、そういうものとしての印、すなわち第２のピクセルの印が付けられ、グループ化モジュール１１４によって第１の入力ピクセルと結合したグループに割り当てられる。未処理ピクセルが類似していない場合、その未処理ピクセルは未処理として残され、引き続いて、類似性が識別されるまで他の入力ピクセルと比較することができる。どの入力ピクセルとも類似していない未処理ピクセルは、図２〜６にさらに詳細に示されているように処理される。
[0043]同様のピクセルを識別するために、類似性決定モジュール１１３は、比較される２つのピクセルのための類似性メトリックを生成することができる。これは、未処理ピクセルの強度と入力ピクセルの強度の点乗積を計算するステップと、点乗積と閾値を比較するステップとを含む操作を含み、点乗積が閾値を超えている場合、入力ピクセルに類似しているとして未処理ピクセルに印を付けるか、またはそのピクセルを入力ピクセルまたは別の入力ピクセルと結合した１つのグループにグループ化するようにグループ化モジュール１１４に命令する。未処理ピクセルおよび入力ピクセルの各々の大きさは、点乗積の計算に先立って単位長さに正規化することができる。類似性決定については、図３を参照してさらに説明される。
[0044]上述のように、サブセット内の入力ピクセルに類似しているとして識別される画像中の未処理ピクセルは、すべてまとめてグループ化することができる。グループ化モジュール１１４を実行し、グループ化操作を実施することができる。これらの操作は、特定の入力ピクセルに類似しているとして同様のピクセルにタグ付けするステップを含むことができる。例えば値がピクセルＡ＝（３、２、１）、ピクセルＢ＝（２、２、２）およびピクセルＣ＝（８０、５０、３０）の３個のピクセルが与えられ、Ａが第１の入力ピクセルである場合、個々のピクセルの強度値がユークリッドＬ２ノルムによって最初に長さ１に正規化され、個々のピクセル座標がスペクトル強度値であり、ピクセル座標がベクトルを構成する。このようなベクトルのユークリッドＬ２ノルムは、絶対値の合計の平方根、つまり２乗したピクセル座標値である。例えばピクセルＡのＬ２ノルムは、
として描写することができる。ＬＡはピクセルＡの「倍率」とも呼ばれる。正規化された値Ａ’＝Ａ／ＬＡ＝（０．８０１８、０．５３４５、０．２６７３）であり、同様にＢ’＝（０．５７７４、０．５７７４、０．５７７４）、また、Ｃ’＝（０．８０８１、０．５０５１、０．３０３０）である。Ａ’とＣ’の間の点乗積は０．９９８９＞０．９９であるため、Ｃは第２のピクセルとして選択され、また、ＡおよびＣはまとめてグループ化される。Ａ’とＢ’の間の点乗積＝０．９２５８＜０．９９であるため、ＢはＡと同じグループに置かれず、また、他の第２のピクセルとして選択されない。入力ピクセル毎に個別のグループを生成することができ、類似性決定モジュール１１３によって前記個々の入力ピクセルに類似しているとして識別される他の同様のピクセルには、グループの一部としてグループ化モジュール１１４によってタグが振られる。一致しているピクセルのグループは、入力ピクセルの単一の純化結果に基づいてグループ全体におけるピクセル毎の純化結果を決定するために、引き続いて処理することができる。
[0045]スペクトル純化モジュール１１５は、以下でさらに説明されるように、入力ピクセルを純化するために、または任意の閾値数の残りの未処理ピクセルを純化するために実行することができる。非負線形最小２乗操作は、個々のピクセル内の成分螢光チャネルを分離するための純化アルゴリズムとして実施することができる。適切なアルゴリズムは、Ｃ． Ｌ． Ｌａｗｓｏｎ ａｎｄ Ｒ． Ｊ． Ｈａｎｓｏｎ、「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ（最小２乗問題を解決する）」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９７４年、第２３章、１６１頁に記載されている。例えば個々のピクセルは、上で説明したＤＡＰＩおよび自家螢光などの広帯域信号に加えて、ターゲット構造を表す１つまたは複数の量子ドットを含む成分スペクトルの混合を含むことができる。純化は、制御画像から検索される基準スペクトルまたは観察中の画像から予測される基準スペクトルを使用することができる。スペクトル純化モジュール１１５は、個々の入力ピクセルの成分信号を純化し、血管チャネルおよびリンパ管チャネルなどの染料特化チャネルの検索および分析を可能にする。本明細書において説明されているように、スペクトル純化操作はプロセッサ集約的であり、したがってグループ内のすべてのピクセルを純化する必要なく、入力信号に対する単一の純化結果を使用して、対応する複数の一致したピクセルまたは一致したピクセルのグループに対する純化結果を予測することができる。
[0046]結果予測は、正規化されたピクセルのスケールを実際のピクセル値に戻すために結果予測モジュール１１６によって実施される。倍率は、ピクセル毎の正規化の一部として類似性決定モジュール１１３によって決定することができる。ピクセルＡ＝（３、２、１）の強度値の例の場合と同様、長さ１に正規化されると、Ａ’＝（０．８０１８、０．５３４５、０．２６７３）になり、倍率はＬＡ＝３．７４１７である。倍率には、ピクセルＡに対する実際の最終純化結果を得るために、正規化されたピクセルＡ’の純化結果が掛けられる。例えばＡ’の純化結果ＵＡがＵＡ＝（０．５、０．１）である場合、ピクセルＡの最終純化結果Ｕａは、Ｕａ＝ＵＡ×ＬＡ＝（０．１８５２、０．３７４２）になる。同様に、ピクセルＡに十分に類似していることが決定され、かつ、ピクセルＡと共にグループ化されるピクセルＣの最終純化結果ＵＣを得るために（段落００４４参照）、ＵＡにピクセルＣのユークリッドノルムＬＣを掛けることによって純化結果ＵＡが再使用され、純化アルゴリズムを再実行することなく、ピクセルＣに対する最終純化結果ＵＣ、すなわちＵＣ＝ＵＡ×ＬＣを提供する。
[0047]この単純な操作は、画像中のすべてのピクセルを個別に純化することに対して処理資源を節約する。結果予測モジュール１１６によって決定された結果は、電子処理デバイス１０７の端末のユーザまたはオペレータに出力することができ、またはプロセッサ１０５によって生成される報告書にコンパイルし、かつ、ネットワークを介して別の電子処理デバイスに伝送することができ、あるいはファイルに保管することができる。
[0048]上で説明したように、モジュールは、プロセッサ１０５によって実行される論理を含む。本明細書において使用され、また、本開示全体を通して使用されている「論理」は、プロセッサの操作に影響を及ぼすために適用することができる命令信号および／またはデータの形態を有する任意の情報を意味している。ソフトウェアは、このような論理の一例である。プロセッサの例は、マイクロプロセッサ、デジタル信号プロセッサ、コントローラおよびマイクロコントローラ、等々である。論理は、メモリ１０３などの非一時的デジタル記憶媒体上に記憶されたプロセッサ実行可能命令から形成することができ、非一時的デジタル記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能／電気的消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ：ｅｒａｓａｂｌｅ／ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、フラッシュメモリ、等々を含む。また、論理は、デジタルおよび／またはアナログハードウェア回路を含むことも可能であり、例えばハードウェア回路は、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲおよび他の論理演算を含む。論理は、ソフトウェアとハードウェアの組合せから形成することができる。ネットワーク上では、論理は、サーバまたはサーバの複合体上でプログラムすることができる。特定の論理ユニットは、ネットワーク上の単一の論理位置に限定されない。
[0049]図２は、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用してスペクトル純化するための方法を示したものである。図２の方法は、図１に示されているモジュールと同様のモジュールを実行する電子処理デバイスによって実施することができ、本明細書において説明されている方法ステップは、説明されている順序で実施する必要はなく、本主題の開示に照らして当業者に理解することができる任意のシーケンスで実行することができることを理解されたい。方法は、図１Ａ〜Ｃで説明されているソース、または一定の範囲の周波数で画像内容を捕獲することができ、ハイパースペクトルまたは螢光の画像化を可能にする任意のソースであって、画像エネルギーが複数の周波数で捕獲される任意のソースから受け取られた標本の画像または画像データで始まる（Ｓ２２０）。標本は、光源によって照明される１つまたは複数の異なる染料を加えることによって染色することができる。染色に引き続いて、検出デバイス、例えば上で説明したスペクトルカメラによって画像が捕獲される。画像は、例示的方法で説明されている操作を実施するためにメモリ上に記憶されている論理命令を実行する電子処理デバイスに供給される。
[0050]画像から入力ピクセルを選択し、試料採取し、または決定し、かつ、印を付けることができる（Ｓ２２１）。入力ピクセルは、画像から、または例えば医療画像分割によって画像中で観察された構造または特徴の自動または手動検出に基づいて決定される画像の領域から一様に選択することができる。入力ピクセルの選択は、画像または画像の領域の一様な試料採取またはランダムな試料採取に基づくことができる。入力ピクセルは周波数に基づいて試料採取することができ、つまりヒストグラムを観察することができ、また、同様のピクセルを有している可能性が最も高いピクセルを選択し、かつ、試料採取することができる。入力ピクセルの一様な試料採取は、ｋ×ｋピクセルのすべての平方ブロック中に最大１個のピクセルを選択することによって実施することができる。例えば５００×５００ピクセルの画像は、それぞれ１０×１０ピクセルの２５００個のブロックに分割することができる。１個の代表的なピクセルを個々の１０×１０ブロックから一様に、またはランダムに選択して入力ピクセルとして使用することができ、これらの入力ピクセルに類似しているすべてのピクセルに対する純化結果を表すために純化される合計２５００個の入力ピクセルを得ることができる。本開示を読めば、当業者には、入力ピクセルを選択するための他の方法が明らかになるであろう。
[0051]今のところはまだ未処理である画像中の残りのすべてのピクセルは、それらが類似しているか否かを識別するために、代表的なセットからの１つまたは複数の入力ピクセルと比較することができる（Ｓ２２２）。上で説明したように、入力ピクセルを除く画像中のすべてのピクセルには、最初に未処理として印を付けることができる。そのセットの入力ピクセルからの第１の入力ピクセルを選択し、かつ、同様の第２のピクセルを探索するためにすべての未処理ピクセルと比較することができる。未処理ピクセルが第１の入力ピクセルに類似しているとして識別されると、そのようなものとしてその未処理ピクセルに印が付けられる。この類似性決定については、図３を参照してさらに説明される。同様のピクセルは、第１の入力ピクセルと結合したグループに割り当てることができる（Ｓ２２３）。さらに、サブセット内の入力ピクセルに類似しているとして識別される画像中の未処理ピクセルは、すべてまとめてグループ化することができる（Ｓ２２３）。これらの操作は、特定の入力ピクセルに類似しているとして同様のピクセルにタグ付けするステップを含むことができる。入力ピクセル毎に個別のグループを生成することができ、対応する同様のピクセルにはグループの一部としてタグが振られる。
[0052]さらに、多数のピクセルを非一致のまま残すことができ、つまりどの入力ピクセルにも類似していないとして識別することができる。残りの未処理ピクセルが未処理ピクセルの閾値数を超えているか否かが決定され（Ｓ２２４）、極めて多数の未処理ピクセルが存在している場合、未処理ピクセルから新しい一組の入力ピクセルを決定することができる（Ｓ２２１）。例えば２５００個の入力ピクセルが与えられると、２５００の純化操作になり、個々に純化される未処理ピクセルの閾値数は１０００になり得る。純化ピクセルの閾値数は、１／２または１／３などの総入力ピクセルの百分率であってもよい。引き続いて、残りのピクセルすなわち非一致ピクセルの数が処理閾値未満になるまで、入力ピクセル選択（Ｓ２２１）操作、一致（Ｓ２２２）操作およびグループ化（Ｓ２２３）操作を繰り返すことができ、処理閾値未満になると残りのピクセルを入力ピクセルと共に個々に純化することができる（Ｓ２２５）。
[0053]上で説明したように、入力ピクセル毎の純化結果を使用して、前記個々の入力ピクセルと結合したグループ内のすべての一致しているピクセルに対する純化結果を表すことができる。個々のピクセル内の成分チャネルを分離するために非負線形最小２乗操作を実施することができる。非一致ピクセルの閾値数未満である残りの非一致ピクセルもすべて純化することができる。特定の入力ピクセルに対する純化結果を倍率によってスケーリングすることにより、入力ピクセル毎に、一致しているピクセルに対する純化結果を決定することができる（Ｓ２２６）。倍率は、ステップＳ２２２でピクセル毎に正規化している間に決定することができる。一致しているピクセルは、倍率を除き、入力ピクセルと同様であるか、または全く同じであってもよい。ピクセルＡ＝（３、２、１）の強度値の例の場合と同様、長さ１に正規化されると、Ａ’＝（０．８０１８、０．５３４５、０．２６７３）になり、倍率はＬＡ＝３．７４１７である。倍率には、一致しているピクセルに対する純化結果を決定するために、正規化された入力ピクセルの純化結果が掛けられる。例えば正規化されたピクセルＣ’＝（０．８０８１、０．５０５１、０．３０３０）がＡ’の一致している代表的なピクセルであり、また、Ａ’の純化結果がＵＡ＝（０．５、０．１）である場合、最終純化結果ＵＣは、単純にＵＡの同じ値を取ることになるが、倍率はＬＣであり、したがってＵＣ＝ＵＡ×ＬＣである。
[0054]この倍率掛算は、一致しているピクセルのグループ内のすべての同様のピクセルに対して実施される。この単純な操作は、画像中のすべてのピクセルを個別に純化することに対して処理資源を節約する。結果はユーザに出力する（Ｓ２２９）ことができ、または報告書にコンパイルし、かつ、ネットワークを介して別の電子処理デバイスに伝送することができ、あるいはファイルに保管することができる。
[0055]図３は、本主題の開示の一例示的実施形態による、同様のピクセルを決定するための方法を示したものである。図３の方法は、図１に示されているモジュールと同様のモジュールを実行する電子処理デバイスによって実施することができ、本明細書において説明されている方法ステップは、説明されている順序で実施する必要はなく、本主題の開示に照らして当業者に理解することができる任意のシーケンスで実行することができることを理解されたい。方法は、第１の入力ピクセルおよび第２の候補ピクセルで始まる（Ｓ３３０）。第１のピクセルは、本明細書において説明されているように、同様のピクセルのグループを表すように選択される入力ピクセルであってもよい。第２の候補ピクセルは、複数の未処理ピクセルのうちの、２つのピクセルが類似しているか否かを決定するために第１のピクセルと比較される未処理ピクセルであってもよい。最初に、両方のピクセルが１の値に正規化される（Ｓ３３１）。例えばピクセル毎のベクトルの大きさが倍率によって１の大きさにスケーリングされる。このステップは、方法を開始する前に、比較されるピクセルに対して、あるいは画像または画像の領域中のすべてのピクセルに対して実施することができる。いずれの場合においても、この時点でピクセルに対する倍率をも決定することができる（Ｓ３３２）。倍率を使用して、同様のピクセルまたは一致したピクセルに対する最終純化結果を決定することができる。
[0056]２つのピクセルに対する類似性メトリックは、２つのピクセルの間の点乗積を計算し（Ｓ３３３）、かつ、点乗積と閾値を比較する（Ｓ３３４）ことによって確立される。点乗積は単純なベクトル操作であり、ピクセル毎の正規化された値を使用して、全く異なるピクセルを識別する０と、全く同じピクセルを識別する１の間の範囲の点乗積値を得る。上の例に示されているように、０．９９より大きい点乗積は、十分に類似していると見なすことができ、したがって入力ピクセルの純化結果を使用して未処理ピクセルを表すことができる。したがってステップＳ３３４における比較のための閾値の一例は０．９９であってもよい。類似性が閾値を超えている場合、第２の候補ピクセルは、第１の入力ピクセルに十分に類似している第２のピクセルであることが決定され、入力ピクセルに対応するグループに加えることができる（Ｓ３３５）。グループ指定は、ピクセルにタグ付けするステップ、および未処理としてピクセルに印を付けているすべてのタグまたは指定を除去するステップを含むことができる。したがってそのピクセルは、それ以上は一切の比較に使用されることはなく、したがって未処理ピクセルの数が減少し、プロセスが高速化する。しかしながら点乗積が閾値を超えない（つまり０．９９未満である）場合は何も起こらず、第２の候補ピクセルは、「未処理」として印が付けられた状態を維持することができ、方法は、入力ピクセルに類似しているとして識別すべき追加未処理ピクセルがまだ存在しているかどうかを決定する（Ｓ３３６）。追加ピクセルが存在している場合、次のピクセルが選択され（Ｓ３３７）、方法は、正規化操作、スケーリング操作および類似性識別操作を繰り返す。既に説明したように、正規化およびスケーリングは、既に実施済みであってもよく、その場合、次のピクセルが選択され（Ｓ３３７）、かつ、入力ピクセルを使用して点乗積が計算される（Ｓ３３３）。当業者には、本開示に照らして他の操作シーケンスが明らかであろう。すべての未処理ピクセルが考慮されると、方法を終了することができる（Ｓ３３９）。
[0057]図４は、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用してスペクトル純化するための別の方法を示したものである。図４の方法は、図１に示されているモジュールと同様のモジュールを実行する電子処理デバイスによって実施することができ、本明細書において説明されている方法ステップは、説明されている順序で実施する必要はなく、本主題の開示に照らして当業者に理解することができる任意のシーケンスで実行することができることを理解されたい。方法は、図１に示されている、顕微鏡とスペクトルカメラの組合せなどのソースから受け取られた標本の画像または画像データで始まる（Ｓ４４０）。画像から入力ピクセルを選択し、試料採取し、または決定し、かつ、一組の入力ピクセルとして印を付けることができる（Ｓ４４１）。入力ピクセルは、画像から、または画像中で観察された構造または特徴の自動または手動検出に基づいて決定される画像の領域から一様に選択することができる。
[0058]この方法は、同様のピクセルが識別された後に入力ピクセルを純化するのに対して、何らかの類似性操作またはグループ化操作に先立って入力ピクセルがすべて純化される（Ｓ４４２）点で図２とは異なっている。この場合、未処理ピクセルは、代表的なセットからの１つまたは複数の入力ピクセルと比較することができ、それによりそれらが類似しているか否かを決定することができ（Ｓ４４３）、同様のピクセルは、入力ピクセルと結合したグループに割り当てられる（Ｓ４４４）。一致しない、つまりどの入力ピクセルにも類似していないと決定されたピクセルの数は、未処理ピクセルの閾値数と比較される（Ｓ４４５）。その数が閾値より多い場合、新しい一組の入力ピクセルが選択され（Ｓ４４１）、方法が繰り返される。残りの未処理ピクセルの数が十分に少ない場合、一致しているピクセル毎に純化結果を決定する（Ｓ４４６）ために、ステップＳ４４２の純化結果が使用される。倍率は、ピクセル毎に正規化している間に決定することができる。未処理ピクセルが個々に純化され（Ｓ４４７）、かつ、結果が出力される（Ｓ４４９）。
[0059]図５は、本主題の開示の一例示的実施形態による、代替ピクセル選択を使用してスペクトル純化するための方法を示したものである。図５の方法は、図１に示されているモジュールと同様のモジュールを実行する電子処理デバイスによって実施することができ、本明細書において説明されている方法ステップは、説明されている順序で実施する必要はなく、本主題の開示に照らして当業者に理解することができる任意のシーケンスで実行することができることを理解されたい。方法は、顕微鏡とスペクトルカメラの組合せなどのソースから受け取られた標本の画像または画像データで始まる（Ｓ５５０）。画像から第１のセットの入力ピクセルを選択し、試料採取し、または決定し、かつ、印を付けることができる（Ｓ５５１）。入力ピクセルは、画像から、または画像中で観察された構造または特徴の自動または手動検出に基づいて、あるいは最も頻繁に生じるピクセルの強度値のヒストグラムまたは任意の他の方法に基づいて決定される画像の領域から一様に選択することができる。上で説明したように、入力ピクセルに類似しているピクセルが検出され、かつ、グループ化され（Ｓ５５２、Ｓ５５３）、また、未処理ピクセルの数が監視される。
[0060]図２および４の実施形態に対するこの実施形態の相違は、この場合、未処理ピクセルの数が閾値より多いと（Ｓ５５４）、ステップＳ５５１における方法とは異なる方法を使用して第２のセットの入力ピクセルが選択されることになることである。例えば入力ピクセル選択Ａ（Ｓ５５１）は、ピクセル値のヒストグラムを利用して、他のピクセルを共通に有する可能性が最も高いピクセルを決定することができる。引き続いて、閾値数より多い数の未処理ピクセルが与えられると、次のセットの入力ピクセル選択Ｂ（Ｓ５５５）は、入力ピクセルの一様な選択を使用することができる。代替実施形態では、ピクセル選択Ａは、画像中で検出される構造によって描写される領域に基づいており、また、ピクセル選択Ｂは、一様な選択または他のタイプの選択に基づいている。当業者には、本開示に照らして他の組合せが明らかになるであろう。純化ピクセル（Ｓ５５６）およびスケーリング結果（Ｓ５５７）などの後続する操作は、他の実施形態で説明されている通りである。
[0061]図６は、本主題の開示の一例示的実施形態による、領域選択を使用してスペクトル純化するための方法を示したものである。図６の方法は、図１に示されているモジュールと同様のモジュールを実行する電子処理デバイスによって実施することができ、本明細書において説明されている方法ステップは、説明されている順序で実施する必要はなく、本主題の開示に照らして当業者に理解することができる任意のシーケンスで実行することができることを理解されたい。方法は、スキャナまたはスペクトルカメラに結合された螢光顕微鏡、またはこれらのスキャナまたはスペクトルカメラを含んだ螢光顕微鏡などのソース、あるいは一定の範囲の周波数で画像内容を捕獲することができる任意のソースから受け取られた標本の画像または画像データで始まる（Ｓ６６０）。画像から画像のある領域を解析のために選択することができる（Ｓ６６１）。領域は、自動医療画像分割などによって画像中で観察された構造または特徴の自動または手動検出に基づいて決定することができる。例えばユーザインタフェースを提供して、解析中に画像中で観察される組織タイプまたは異質に基づいて手動で領域を選択し、または領域の自動選択を確認することができる。選択された領域に対して入力ピクセルを選択し、試料採取し、または決定し、かつ、一組の入力ピクセルとして印を付けることができる（Ｓ６６２）。入力ピクセルの選択は、領域の一様な試料採取もしくはランダムな試料採取、または領域内のピクセルのヒストグラム、あるいは任意の他の方法に基づくことができる。
[0062]類似性決定（Ｓ６６３）および未処理ピクセルの閾値数決定（Ｓ６６４）は、上で説明したように実施することができる。しかしながら過剰の数の未処理ピクセルが検出されたとき、方法は、異なる領域を選択する（Ｓ６６１）か、または入力ピクセルの新しい選択を実施する（Ｓ６６２）ことができる。非一致ピクセルの数に基づくこの動的領域選択は、組織特性が一様ではない状況における一様な入力ピクセル選択に対して、画像の異なる領域に対する同様のピクセルの効果的な識別を可能にする。この新規な一致プロセスとは別に、純化操作およびスケーリング操作Ｓ６６５〜Ｓ６６６は、本明細書において説明されているように残存し、すべての結果がユーザに出力されるか、または報告書にコンパイルされる（Ｓ６６９）。
[0063]図７Ａおよび７Ｂは、本主題の開示の一例示的実施形態による、ピクセルグループ化を使用したスペクトル純化操作の結果を示したものである。ここでは、本発明者らは、純化結果から再構成されたピクセルと元のピクセルの差によって定義される、「純化残余（ｕｎｍｉｘｉｎｇ ｒｅｓｉｄｕｅ）」による純化の品質を測定する。この差は比率であり、つまり０．０１は１パーセントの差を意味している。また、本発明者らは、ピクセル当たりの消費時間をも測定する。ピクセル当たりの消費時間は、画像を純化するための総時間をピクセルの総数で割ることによって決定される。図７Ａを参照すると、徹底的な探索（従来技術によって実施される場合と同様、すべてのピクセルを手動で純化する）から、０．８より大きい低い閾値および０．９９７より大きい高い閾値に及ぶ複数の一致閾値に対する純化残余７７１およびピクセル当たりの消費時間７７３を示す図表が示されている。「徹底的」の列は、高速化がない従来技術である。従来技術は、残余は最も少ないが、時間が最も長い。０．９９７のように高い類似性閾値が使用される場合、ほとんどのピクセルは一致せず、徹底的な純化を実施しなければならない。一方、０．８のように低い閾値が使用される場合、残余誤差がより大きくなる。最適トレードオフは、グラフ７７５に示されているおおよそ０．９９より高い一致閾値であり、ピクセル当たりの消費時間を短くし、かつ、匹敵し得る純化残余を提供することができる。
[0064]図７Ｂを参照すると、この図表は、異なる類似性閾値が使用される場合の２つのタイプの計算に対して時間が消費される様子をより詳細に示している。時間のほとんどを要する２つのタイプの計算が存在している。第１の計算は、代表的なピクセルおよび純化ピクセルに対して適用される従来技術の非負最小２乗ソルバーコールズ（ｓｏｌｖｅｒ ｃａｌｌｓ）である。第２の計算は、一致しているピクセルを探索するために消費される点乗積である。この場合も、０．９９は、グラフ７７５に示されているように最適閾値であるように思われるが、本明細書において説明されている新規な方法のこれらの結果に基づいて任意の適切な一致閾値を使用することができる。
[0065]本明細書において説明されている一致操作は、線形走査、つまり残りのすべてのピクセルと入力ピクセルの一致に基づくことができる。別法または追加として、より速い一致を可能にするいくつかの構造に純化ピクセルを系統だてることも可能である。様々な方法を使用して未処理ピクセルをハッシングすることにより、時間複雑性をＯ（ｎ）からＯ（ｌｏｇ（ｎ））まで低減することができ、ｎはピクセルの数である。例えばＣ＋＋におけるｓｔｌ：：マップコマンドを実行して、一致しているピクセルが最初は根に位置し、構造の高さまで及ぶツリー様構造を生成することができる。比較演算子を定義して、ストリクトウィークオーダリング（ｓｔｒｉｃｔ ｗｅａｋ ｏｒｄｅｒｉｎｇ）を生成することができる。１６チャネルを有するピクセルが与えられると、演算子は、最上位ビットから最下位ビットの順にチャネル１からチャネル１６まで並べ、かつ、係数を使用してスケールアップし、次に、整数に丸めることによって個々のチャネルを量子化することができる。別法または追加として、点乗積に基づいて二進ツリーを構築することも可能であり、一致は、そのツリーの両側で実施される。これは、それらの点乗積出力に基づいてピクセルを区画化することによって構築することができ、選択されるピボットピクセルは、先行するピボットとの相関を最小化するヒューリスティックスを使用する。これらのハッシング操作の各々の結果は、画像および他の条件に基づいて変更することができる。
[0066]開示されている操作は、画像の同じ領域または異なる領域、あるいは画像全体に対して繰り返し実施することができ、カスタム領域は、画像中で観察される構造または特徴に基づいて画定され、また、個別の操作は、異なる領域に対して同時に実行され、それにより極めて多数の多重螢光スライドを効果的に処理することができる。さらに、解剖学的または臨床的病理学、プロストレート／肺癌診断、等々などの医療用途とは別に、同じ方法を実施して、地質学的データまたは天文学的データ、等々の遠隔知覚などの他のタイプの試料を解析することも可能である。画像は、例えば同様の材料からの既知のセットまたは理想的なセットの信号との比較によって、雑音の既知のソースまたは明らかなソースを取り除くことにより、さらに洗練することができる。他の洗練プロセスは、特定の範囲を強調するための最小強度または最大強度の調整および範囲外の信号の除去、より動的な範囲を見るためのコントラストの調整、および他の画像化操作を含む。大型または多重スライド／画像解析の場合、あるいは１つまたは複数の画像キューブを解析する場合、本明細書において説明されている操作をハードウェアグラフィック処理装置（ＧＰＵ）の中で実施することができ、それによりマルチスレッド並列実施態様が可能である。
[0067]電子処理デバイスは、通常、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶装置、入力−出力コントローラ、入力−出力デバイスおよびディスプレイデバイスなどの知られている構成要素を含む。また、電子処理デバイスの多くの可能な構成および構成要素が存在し、キャッシュメモリ、データバックアップユニットおよび多くの他のデバイスをも含むことができることは、関連する分野の業者には理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス（例えばマウス）、マイクロホン、スキャナ、等々がある。出力デバイスの例には、ディスプレイデバイス（例えばモニタまたはプロジェクタ）、スピーカ、プリンタ、ネットワークカード、等々がある。ディスプレイデバイスは、視覚情報を提供するディスプレイデバイスを含むことができ、この情報は、通常、ピクセルのアレイとして論理的および／または物理的に系統立てることができる。また、入力インタフェースおよび出力インタフェースを提供するための任意の様々な知られている、または将来のソフトウェアプログラムを備えることができるインタフェースコントローラを含むことも可能である。例えばインタフェースは、１つまたは複数の図形表現をユーザに提供する、いわゆる「グラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ）」（しばしばＧＵＩと呼ばれる）を含むことができる。インタフェースは、通常、関連する分野の業者に知られている選択手段または入力手段を使用してユーザ入力を受け取るためにイネーブルされる。また、インタフェースは、タッチスクリーンデバイスであってもよい。同じまたは代替実施形態では、電子処理デバイス上のアプリケーションは、いわゆる「コマンドラインインタフェース（ｃｏｍｍａｎｄ ｌｉｎｅ ｉｎｔｅｒｆａｃｅｓ）」（しばしばＣＬＩと呼ばれる）を含むインタフェースを使用することができる。ＣＬＩは、通常、アプリケーションとユーザの間の対話に基づくテキストを提供する。通常、コマンドラインインタフェースは、ディスプレイデバイスを介して、数行のテキストとして出力を提供し、かつ、数行のテキストとして入力を受け取る。例えばいくつかの実施態様は、関連する分野の業者に知られているＵｎｉｘ Ｓｈｅｌｌｓ、またはＭｉｃｒｏｓｏｆｔ．ＮＥＴ ｆｒａｍｅｗｏｒｋなどのオブジェクト指向タイププログラミングアーキテクチャを使用するＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌなどのいわゆる「シェル」を含むことができる。
[0068]インタフェースは１つまたは複数のＧＵＩ、ＣＬＩまたはそれらの組合せを含むことができることは、関連する分野の業者には理解されよう。
[0069]プロセッサは、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＣｅｌｅｒｏｎプロセッサ、ＣｏｒｅプロセッサまたはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造されるＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＡｔｈｌｏｎプロセッサ、Ｓｅｍｐｒｏｎプロセッサ、ＰｈｅｎｏｍプロセッサまたはＯｐｔｅｒｏｎプロセッサなどの市場で入手することができるプロセッサを含むことができ、あるいはプロセッサは、入手可能な、あるいは入手可能になるであろう他のプロセッサのうちの１つであってもよい。プロセッサのいくつかの実施形態は、いわゆるマルチコアプロセッサを含むことができ、および／または単一コア構成またはマルチコア構成の並列処理技術を使用するようにイネーブルされる。例えばマルチコアアーキテクチャは、通常、２つ以上のプロセッサ「実行コア」を備えている。この例では、個々の実行コアは、多重スレッドの同時実行を可能にする独立したプロセッサとして実施することができる。さらに、プロセッサは、いわゆる３２ビットまたは６４ビットアーキテクチャで構成することができ、あるいは現在知られている、または将来開発されるであろう他のアーキテクチャ構成で構成することができることは関連する業者には理解されよう。
[0070]プロセッサは、通常、例えばＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓタイプのオペレーティングシステム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃ ＯＳ Ｘオペレーティングシステム、多くのベンダーまたはいわゆるオープンソースから入手することができるＵｎｉｘまたはＬｉｎｕｘ（登録商標）タイプのオペレーティングシステム、別のまたは将来のオペレーティングシステム、あるいはそれらの何らかの組合せであってもよいオペレーティングシステムを実行する。オペレーティングシステムは、よく知られている方法でファームウェアおよびハードウェアとインタフェースし、プロセッサによる、様々なプログラミング言語で作成することができる様々な機械実行可能プログラムの機能の調整および実行を容易にする。通常はプロセッサと協同するオペレーティングシステムは、電子処理デバイスの他の構成要素の機能を調整し、かつ、実行する。また、オペレーティングシステムは、知られている技法にすべて従って、スケジューリング、入力−出力制御、ファイルおよびデータ管理、メモリ管理、および通信制御ならびに関連するサービスをも提供する。
[0071]システムメモリは、所望の情報を記憶するために使用することができ、また、電子処理デバイスによってアクセスすることができる任意の様々な知られている、または将来のメモリ記憶装置を含むことができる。デジタル記憶媒体は、機械実行可能命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実施される、揮発性および不揮発性の、取外し可能および非取外し可能な媒体を含むことができる。例には、広く利用することができる任意のランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電子的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、常駐ハードディスクまたはテープなどの磁気媒体、読出しおよび書込みコンパクトディスクなどの光媒体、または他のメモリ記憶装置がある。メモリ記憶装置は、コンパクトディスクドライブ、テープドライブ、取外し可能ハードディスクドライブ、ＵＳＢまたはフラッシュドライブ、あるいはディスケットドライブを始めとする任意の様々な知られている、または将来のデバイスを含むことができる。このようなタイプのメモリ記憶装置は、通常、それぞれ、コンパクトディスク、磁気テープ、取外し可能ハードディスク、ＵＳＢまたはフラッシュドライブ、あるいはフロッピーディスケットなどのプログラム記憶媒体から読み出し、および／またはプログラム記憶媒体に書き込む。任意のこれらのプログラム記憶媒体、または現在使用中の他のプログラム記憶媒体、あるいは後に開発されるであろうプログラム記憶媒体は、デジタル記憶媒体またはコンピュータプログラム製品と見なすことができる。理解されるように、これらのプログラム記憶媒体は、通常、ソフトウェアプログラムおよび／またはデータを記憶する。制御論理とも呼ばれるソフトウェアプログラムは、通常、メモリ記憶装置と共に使用されるシステムメモリおよび／またはプログラム記憶装置に記憶される。いくつかの実施形態では、デジタル記憶媒体は、制御論理（プログラムコードを含むソフトウェアプログラム）が中に記憶されているプロセッサなどの電子処理デバイスが使用することができる媒体を備えるように説明されている。制御論理は、プロセッサによって実行されると、本明細書において説明されている機能をプロセッサに実施させる。他の実施形態では、いくつかの機能は、例えばハードウェア状態マシンを使用して主としてハードウェアの中で実施される。本明細書において説明されている機能を実施するためのハードウェア状態マシンの実施態様は、関連する分野の業者には明らかであろう。入力−出力コントローラは、人間であれ、あるいは機械であれ、局所であれ、あるいは遠隔であれ、ユーザから情報を受け取り、かつ、処理するための任意の様々な知られているデバイスを含むことができる。このようなデバイスには、例えばモデムカード、無線カード、ネットワークインタフェースカード、音声カード、または任意の様々な知られている入力デバイスのための他のタイプのコントローラがある。出力コントローラは、人間であれ、あるいは機械であれ、局所であれ、あるいは遠隔であれ、ユーザに情報を提供するための任意の様々な知られているディスプレイデバイスのためのコントローラを含むことができる。現在説明されている実施形態では、電子処理デバイスの機能要素は、システムバスを介して互いに通信する。電子処理デバイスのいくつかの実施形態は、ネットワークまたは他のタイプの遠隔通信を使用していくつかの機能要素と通信することができる。関連する分野の業者には明らかであるように、器械制御および／またはデータ処理アプリケーションは、ソフトウェアの中で実施される場合、システムメモリおよび／またはメモリ記憶装置にロードし、かつ、システムメモリおよび／またはメモリ記憶装置から実行することができる。器械制御および／またはデータ処理アプリケーションのすべてまたは一部をメモリ記憶装置の読出し専用メモリまたは同様のデバイスに常駐させることも可能であり、このようなデバイスは、器械制御および／またはデータ処理アプリケーションを入力−出力コントローラを介して最初にロードする必要はない。器械制御および／またはデータ処理アプリケーションまたはその一部は、その実行が有利であるため、知られている方法でプロセッサによって、システムメモリまたはキャッシュメモリあるいはそれらの両方にロードすることができることは関連する分野の業者には理解されよう。また、電子処理デバイスは、システムメモリに記憶された１つまたは複数のライブラリファイル、実験データファイルおよびインターネットクライアントを含むことも可能である。例えば実験データは、検出された信号値、または１つまたは複数の合成による順序付け（ＳＢＳ）実験またはプロセスと結合した他の値などの１つまたは複数の実験または試金に関連するデータを含むことができる。さらに、インターネットクライアントは、ネットワークを使用して別の電子処理デバイス上の遠隔サービスにアクセスするためにイネーブルされるアプリケーションを含むことができ、また、例えばいわゆる「ウェブブラウザ」を備えることができる。この例では、いくつかの広く使用されているウェブブラウザには、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手することができるＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ Ｃｏｒｐｏｒａｔｉｏｎから入手することができるＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．から入手することができるＳａｆａｒｉ、Ｇｏｏｇｌｅ Ｃｏｒｐｏｒａｔｉｏｎから入手することができるＧｏｏｇｌｅ Ｃｈｒｏｍｅ、または現在当分野で知られている、あるいは将来開発されるべき他のタイプのウェブブラウザがある。また、同じまたは他の実施形態では、インターネットクライアントは、ネットワークを介して、生物学的アプリケーションのためのデータ処理アプリケーションなどの遠隔情報にアクセスするためにイネーブルされる専用ソフトウェアアプリケーションの要素を含むことも可能であり、あるいは専用ソフトウェアアプリケーションの要素であってもよい。
[0072]ネットワークは、当業者によく知られている多くの様々なタイプのネットワークのうちの１つまたは複数を含むことができる。例えばネットワークは、通信のためのいわゆるＴＣＰ／ＩＰプロトコルスーツを使用することができるローカルエリアネットワークまたは広域ネットワークを含むことができる。ネットワークは、いわゆるインターネットである、相互接続された通信ネットワークのワールドワイドシステムを備えたネットワークを含むことができ、あるいはネットワークは、様々なイントラネットアーキテクチャを含むことも可能である。ネットワーク化された環境におけるいくつかのユーザは、ハードウェアシステムおよび／またはソフトウェアシステムへの、また、ハードウェアシステムおよび／またはソフトウェアシステムからの情報トラフィックを制御するためのいわゆる「防火壁」（Ｐａｃｋｅｔ ＦｉｌｔｅｒまたはＢｏｒｄｅｒ Ｐｒｏｔｅｃｔｉｏｎ Ｄｅｖｉｃｅと呼ばれることもある）の使用を選ぶことも可能であることは、関連する分野の業者にはやはり理解されよう。例えば防火壁は、ハードウェア要素またはソフトウェア要素、あるいはそれらの何らかの組合せを備えることができ、また、防火壁は、通常、例えばネットワーク管理者、等々などのユーザによって整備される機密保護政策を強化するように設計される。
[0074]本主題の開示の例示的実施形態の以上の開示は、例証および説明のために提供されたものである。網羅的であること、または本主題の開示を開示されている厳密な形態に限定することは意図されていない。当業者には、上記開示に照らして、本明細書において説明されている実施形態の多くの変形形態および変更態様が明らかであろう。本主題の開示の範囲は、本明細書の以下の特許請求の範囲によって、およびそれらの等価物によってのみ定義されるものとする。さらに、本主題の開示の代表的な実施形態の説明では、本明細書は、本主題の開示の方法および／またはプロセスを特定のシーケンスのステップとして示した可能性がある。しかしながら、方法またはプロセスが本明細書において示されている特定の順序のステップに依存していない限り、方法またはプロセスを説明されている特定のシーケンスのステップに限定してはならない。当業者には理解されるように、他のシーケンスのステップも可能である。したがって本明細書において示されている特定の順序のステップは、特許請求の範囲を制限するものとして解釈してはならない。さらに、本主題の開示の方法および／またはプロセスを対象とする特許請求の範囲は、書かれている順序でのそれらのステップの実施に全く限定されず、当業者は、シーケンスは変更が可能であり、依然として本主題の開示の精神および範囲の範疇であることを容易に理解することができる。
１００ システム（画像化システム）
１０１ ソース（光学構成要素、顕微鏡）
１０３ メモリ、デジタル記憶媒体
１０５ プロセッサ
１０７ インタフェース、電子処理デバイス
１１１ 領域選択モジュール
１１２ ピクセル選択モジュール
１１３ 類似性決定モジュール
１１４ グループ化モジュール
１１５ 純化モジュール
１１６ 結果予測モジュール
７７１ 純化残余
７７３ ピクセル当たりの消費時間
７７５ グラフ
７７７ ピクセル当たりの点乗積
７７９ ピクセル当たりのＮＮＬＳＱコール

Claims (28)

  1. 多重スペクトル画像化システム（１００）によって実施される生物学的組織試料を画像化する方法であって、
    前記生物学的組織試料から、多重スペクトル未処理ピクセルを含む画像データを取得するステップと、
    前記多重スペクトル未処理ピクセルをスペクトル純化するステップであって、
    前記画像データから第１の入力ピクセルを選択する（１１２）ステップ
    前記第１の入力ピクセルに対する純化結果を生成するために、前記選択された第１の入力ピクセルをスペクトル純化する（１１５）ステップであって、前記第１のピクセルが純化アルゴリズムを実行することによって処理されるステップ
    前記未処理ピクセル内の少なくとも第２のピクセルを探索する（１１３）ステップであって、前記第２のピクセルが前記第１の入力ピクセルに対する定義済み類似性判定基準を満たすステップ
    前記未処理ピクセルを探索することによって前記少なくとも第２のピクセルが識別されている場合、前記純化アルゴリズムを実行することなく前記少なくとも１つの第２のピクセルを純化するために、前記第１の入力ピクセルに対して得られた前記純化結果を再使用する（１１６）ステップ
    を繰り返し実施することによってスペクトル純化するステップと、
    前記純化ピクセルを含む、前記生物学的組織の出力画像を出力するステップと
    を含む方法。
  2. 前記スペクトル純化を実施するために、
    第１の倍率（ＬＡ）を決定し、かつ、前記第１の倍率を使用して前記第１の入力ピクセルを正規化することによって前記第１の入力ピクセル（Ａ）を正規化するステップと、
    前記少なくとも１つの第２のピクセル（Ｃ）を正規化するために第２の倍率（ＬＣ）を決定するステップと
    をさらに含み、前記純化結果（ＵＡ）を提供するために前記純化アルゴリズムが前記正規化された第１の入力ピクセル（Α’）に対して適用され、前記純化結果に前記第１の倍率が掛けられ、それにより前記第１の入力ピクセルに対する最終純化結果（Ｕａ）を提供し、前記第２の倍率（ＬＣ）を掛けて前記少なくとも１つの第２のピクセルに対する最終純化結果（Ｕｃ）を提供することによって前記純化結果（ＵＡ）が再使用され、前記生物学的組織の前記出力画像が前記純化ピクセルの前記最終純化結果を含む、請求項１に記載の方法。
  3. 前記類似性判定基準が０．９９などの閾値であり、正規化された未処理ピクセルおよび前記正規化された第１の入力ピクセルの点乗積が前記閾値未満である場合、未処理ピクセルが第２のピクセル（Ｃ）として選択される、請求項１または２に記載の方法。
  4. 前記未処理ピクセル内の前記第２のピクセルを探索するステップが、一組のピクセルクラスタを提供するために前記画像データに対してクラスタ化アルゴリズムを実施することによって実施され、前記類似性判定基準が、前記第１の入力ピクセルおよび前記少なくとも１つの第２のピクセルが同じクラスタに属することである、請求項１または２に記載の方法。
  5. 前記第１の入力ピクセルが、前記画像データから、
    ランダムまたは疑似ランダムに、または
    定義済み選択スキームに従って、または
    前記画像データからピクセル強度値のヒストグラムを生成し、かつ、前記ヒストグラム中に最も頻繁に生じるピクセルから前記第１のピクセルを選択することによって
    選択される、請求項１から４までのいずれか一項に記載の方法。
  6. 一組の画像領域を提供するために前記画像データの画像分割（１１１）を実施するステップをさらに含み、前記第１の入力ピクセルが属している領域に対してのみ、前記少なくとも１つの第２のピクセルが探索されるよう、前記スペクトル純化が前記分割された領域に対して個別に実施される、請求項１から５までのいずれか一項に記載の方法。
  7. 前記領域の前記スペクトル純化が、前記領域に含まれている前記画像データを同時に処理することによって実施される、請求項６に記載の方法。
  8. 前記探索するステップおよび前記再使用するステップが、残りの未処理ピクセルの数が処理閾値未満になると中断される、請求項１から７までのいずれか一項に記載の方法。
  9. 生物学的組織試料の多重スライドを画像化するための画像化システムであって、
    前記生物学的組織から取得された、多重スペクトルピクセルを含む画像データを受け取るためのメモリ（１０３）と、
    前記メモリに結合されたプロセッサ（１０５）であって、前記多重スペクトル未処理ピクセルをスペクトル純化するために、
    前記画像データから第１の入力ピクセルを選択するステップ
    前記第１の入力ピクセルに対する純化結果を生成するために、前記選択された第１の入力ピクセルをスペクトル純化するステップであって、前記第１のピクセルが純化アルゴリズムを実行することによって処理されるステップ
    前記未処理ピクセル内の少なくとも第２のピクセルを探索するステップであって、前記第２のピクセルが前記第１の入力ピクセルに対する定義済み類似性判定基準を満たすステップ
    前記未処理ピクセルを探索することによって前記少なくとも第２のピクセルが識別されている場合、前記純化アルゴリズムを実行することなく前記少なくとも１つの第２のピクセルを純化するために、前記第１の入力ピクセルに対して得られた前記純化結果を再使用するステップ
    前記純化ピクセルを含む、前記生物学的組織の出力画像を出力するステップ
    を繰り返し実施するように構成されたプロセッサ（１０５）と
    を備える画像化システム。
  10. 前記画像データを取得し、かつ、前記画像データを前記メモリに記憶するための光学システム（１０１）をさらに備える、請求項９に記載のシステム。
  11. 前記プロセッサが、一組の画像領域を提供するために前記画像データの画像分割を実施するように構成され、前記プロセッサが、第１のピクセルが前記領域毎に同時に選択され、また、前記第１の入力ピクセルが属しているそれぞれの領域に対してのみ、前記少なくとも１つの第２のピクセルが探索されるよう、同時に処理することによって前記分割された領域に対して前記スペクトル純化を個別に実施するように構成される、請求項９または１０に記載のシステム。
  12. 複数の未処理ピクセルを含んだ画像から入力ピクセルを試料採取する（１１２）ステップと、
    前記入力ピクセルを純化し（１１５）、前記入力ピクセルに対する純化結果を生成するステップと、
    前記複数の未処理ピクセルの中に前記入力ピクセルに類似しているピクセルが存在しているかどうかを識別する（１１３）ステップ、および少なくとも１つのピクセルのグループを形成するステップであって、前記グループが前記入力ピクセルを含み、また、存在している場合、前記複数の未処理ピクセルから識別された、前記入力ピクセルに類似している他のピクセルを含むステップと、
    存在している場合、前記グループ内の前記他の識別されたピクセルに対する純化結果を得るために、前記入力ピクセルに対する前記純化結果を利用する（１１６）ステップと
    を含む操作を実施するためにプロセッサによって実行される実行可能命令を記憶するための非一時的デジタル記憶媒体。
  13. 前記操作が、前記入力ピクセルを単位長さに正規化するステップをさらに含む、請求項１２に記載のデジタル記憶媒体。
  14. 前記操作が、前記未処理ピクセルを前記単位長さに正規化するステップをさらに含む、請求項１２または１３に記載のデジタル記憶媒体。
  15. 前記識別するステップが、前記未処理ピクセルと前記入力ピクセルの間の類似性を決定するステップをさらに含む、請求項１２、１３または１４に記載のデジタル記憶媒体。
  16. 前記類似性が、前記未処理ピクセルのうちの１つと前記入力ピクセルの間の点乗積に基づく、請求項１５に記載のデジタル記憶媒体。
  17. 前記操作が、前記点乗積が閾値を超えることを決定するステップをさらに含む、請求項１６に記載のデジタル記憶媒体。
  18. 前記閾値が０．９９である、請求項１７に記載のデジタル記憶媒体。
  19. 前記操作が、前記未処理ピクセルを前記入力ピクセルと共に１つのグループにグループ化する（１１４）ステップをさらに含む、請求項１２から１８までのいずれか一項に記載のデジタル記憶媒体。
  20. 前記操作が、前記複数の未処理ピクセルからの複数の一致しているピクセルの各々が前記入力ピクセルに類似していることが決定されると、前記複数の一致しているピクセルを前記グループに加えるステップをさらに含む、請求項１２から１９までのいずれか一項に記載のデジタル記憶媒体。
  21. 前記操作が、複数の入力ピクセルに対応する複数のグループを生成するステップをさらに含む、請求項１２から２０までのいずれか一項に記載のデジタル記憶媒体。
  22. 前記操作が、残りの数の未処理ピクセルが前記複数の入力ピクセルのどれとも類似していないことを決定するステップをさらに含む、請求項２１に記載のデジタル記憶媒体。
  23. 前記操作が、未処理ピクセルの残りの数が閾値未満であることを決定するステップ、および前記残りの数の未処理ピクセルの各々を個々に純化するステップをさらに含む、請求項２２に記載のデジタル記憶媒体。
  24. 前記操作が、前記入力ピクセルに対する倍率を決定するステップをさらに含む、請求項１２から２３までのいずれか一項に記載のデジタル記憶媒体。
  25. 前記操作が、前記未処理ピクセルに対する最終純化結果を決定するために、前記純化結果に前記倍率を掛けるステップをさらに含む、請求項２４に記載のデジタル記憶媒体。
  26. スペクトル純化のためのシステムであって、
    プロセッサと、
    前記プロセッサに結合されたメモリであって、前記プロセッサによって実行されると、前記プロセッサが、
    複数のピクセルを含んだ画像から第１のピクセルを選択するステップと、
    前記第１のピクセルに対する純化結果を生成するために、前記選択された第１のピクセルをスペクトル純化するステップであって、前記第１のピクセルが純化アルゴリズムを実行することによって処理される、ステップと、
    前記画像から第２のピクセルを探索するステップであって、前記第２のピクセルが前記第１のピクセルに対する定義済み類似性判定基準を満たす、ステップと、
    前記探索によって前記第２のピクセルが識別されている場合、前記純化アルゴリズムを実行することなく前記第２のピクセルに対する純化結果を得るために、前記第１のピクセルに対して得られた前記純化結果を再使用するステップと
    を含む操作を実施することになる実行可能命令を記憶するメモリと
    を備えるシステム。
  27. 前記第１のピクセルが、純化のために選択される複数の入力ピクセルのうちの１つである、請求項２６に記載のシステム。
  28. 前記複数の入力ピクセルが前記画像全体に一様に分散される、請求項２７に記載のシステム。
JP2016541644A 2013-12-31 2014-12-18 ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法 Active JP6618473B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361922357P 2013-12-31 2013-12-31
US61/922,357 2013-12-31
PCT/EP2014/078392 WO2015101507A1 (en) 2013-12-31 2014-12-18 Systems and methods for spectral unmixing of microscopic images using pixel grouping

Publications (2)

Publication Number Publication Date
JP2017502286A JP2017502286A (ja) 2017-01-19
JP6618473B2 true JP6618473B2 (ja) 2019-12-11

Family

ID=52302198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016541644A Active JP6618473B2 (ja) 2013-12-31 2014-12-18 ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法

Country Status (6)

Country Link
US (1) US9996924B2 (ja)
EP (2) EP4250143A3 (ja)
JP (1) JP6618473B2 (ja)
AU (1) AU2014375318A1 (ja)
CA (1) CA2931216A1 (ja)
WO (1) WO2015101507A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015156808A1 (en) * 2014-04-10 2015-10-15 Hewlett-Packard Development Company, L.P. Partial snapshots for creating generalized snapshots
US10146667B2 (en) 2014-04-10 2018-12-04 Entit Software Llc Generalized snapshots based on multiple partial snapshots
JP6940239B2 (ja) * 2016-11-28 2021-09-22 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ データストックを匿名化するための方法およびシステム
US10753875B1 (en) 2019-01-31 2020-08-25 Rarecyte, Inc. Spectral unmixing of spectroscopic emission images
US10345237B1 (en) 2019-01-31 2019-07-09 Rarecyte, Inc. Spectral edge detection
JP2020201174A (ja) * 2019-06-12 2020-12-17 国立研究開発法人物質・材料研究機構 スペクトル解析装置用の成分同定装置及びその方法、コンピュータプログラム
US11126819B1 (en) 2020-07-09 2021-09-21 Saudi Arabian Oil Company Systems and methods for optimizing camera and microscope configurations for capturing thin section images
EP3961194B1 (en) 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals
US11574380B2 (en) * 2020-10-13 2023-02-07 Qualcomm Incorporated Methods and apparatus for optimizing GPU kernel with SIMO approach for downscaling utilizing GPU cache
WO2022149744A1 (ko) * 2021-01-05 2022-07-14 한국과학기술원 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치
CN113191384B (zh) * 2021-01-29 2022-11-15 重庆工商大学 一种基于压缩感知的高光谱图像稀疏解混系统及安装设备
JP7537029B2 (ja) 2021-08-25 2024-08-20 浜松ホトニクス株式会社 色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
CN114112987B (zh) * 2021-11-23 2024-05-24 国家卫星气象中心(国家空间天气监测预警中心) 冬小麦判识阈值确定方法以及冬小麦判识方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
JPH11118604A (ja) * 1997-10-13 1999-04-30 Disco Abrasive Syst Ltd 色判別システム及び形状認識システム
US6430430B1 (en) * 1999-04-29 2002-08-06 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
US7133547B2 (en) * 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
US8055035B2 (en) * 2006-02-23 2011-11-08 Nikon Corporation Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system
US8244021B2 (en) * 2006-12-20 2012-08-14 Ventana Medical Systems, Inc. Quantitative, multispectral image analysis of tissue specimens stained with quantum dots
US8559693B2 (en) * 2007-10-11 2013-10-15 British Columbia Cancer Agency Branch Systems and methods for automated characterization of genetic heterogeneity in tissue samples
US8103081B2 (en) * 2008-03-10 2012-01-24 Cambridge Research & Instrumentation, Inc. Classification of samples
US20100329535A1 (en) * 2009-06-26 2010-12-30 Marc Macenko Methods, Systems and Computer Program Products for Analyzing Histology Slide Images
US9541504B2 (en) * 2010-08-05 2017-01-10 Cambridge Research & Instrumentation, Inc. Enhancing visual assessment of samples
JP2014525028A (ja) 2011-05-06 2014-09-25 ベンタナ メディカル システムズ， インコーポレイテッド 組織画像のスペクトル・アンミキシングのための方法およびシステム
WO2013012940A1 (en) 2011-07-20 2013-01-24 The Regents Of The University Of California Compensated patch-clamp amplifier for nanopore polynucleotide sequencing and other applications
US8811754B2 (en) * 2011-08-29 2014-08-19 Lawrence Livermore National Security, Llc Spatial clustering of pixels of a multispectral image
JP6416135B2 (ja) 2013-03-15 2018-10-31 ベンタナ メディカル システムズ， インコーポレイテッド スペクトル・アンミキシング

Also Published As

Publication number Publication date
EP3090381B1 (en) 2024-02-28
EP4250143A2 (en) 2023-09-27
JP2017502286A (ja) 2017-01-19
EP3090381A1 (en) 2016-11-09
CA2931216A1 (en) 2015-07-09
US20170053397A1 (en) 2017-02-23
EP4250143A3 (en) 2023-10-04
WO2015101507A1 (en) 2015-07-09
AU2014375318A1 (en) 2016-06-02
US9996924B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
JP6618473B2 (ja) ピクセルグループ化を使用して微視的画像をスペクトル純化するためのシステムおよび方法
US10898222B2 (en) Adaptive classification for whole slide tissue segmentation
US10275880B2 (en) Image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
JP6517788B2 (ja) 適応的病理組織画像分解のためのシステム及び方法
US9792693B2 (en) Spectral unmixing
JP2017516992A (ja) 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
US10430945B2 (en) Systems and methods for color deconvolution
Köhler Bioimage analysis linking information at protein and transcriptional level in tissues

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191112

R150 Certificate of patent or registration of utility model

Ref document number: 6618473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250