JP6924761B2 - 異なる取得性質を持つ画像を分離するシステム及び方法 - Google Patents

異なる取得性質を持つ画像を分離するシステム及び方法 Download PDF

Info

Publication number
JP6924761B2
JP6924761B2 JP2018531638A JP2018531638A JP6924761B2 JP 6924761 B2 JP6924761 B2 JP 6924761B2 JP 2018531638 A JP2018531638 A JP 2018531638A JP 2018531638 A JP2018531638 A JP 2018531638A JP 6924761 B2 JP6924761 B2 JP 6924761B2
Authority
JP
Japan
Prior art keywords
image
channel
images
pixels
dye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531638A
Other languages
English (en)
Other versions
JP2019505041A (ja
Inventor
ブレドノ，イェルク
マーティン，ジム・エフ
Original Assignee
ベンタナ メディカル システムズ， インコーポレイテッド
ベンタナ メディカル システムズ， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ， インコーポレイテッド, ベンタナ メディカル システムズ， インコーポレイテッド filed Critical ベンタナ メディカル システムズ， インコーポレイテッド
Publication of JP2019505041A publication Critical patent/JP2019505041A/ja
Application granted granted Critical
Publication of JP6924761B2 publication Critical patent/JP6924761B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

関連出願
[0001]本開示は、２０１５年１２月１８日出願の米国仮特許出願第６２／２６９，７６７号に対する優先権を主張し、同出願の全体が引用により本明細書に援用される。
[0002]本開示は、基準ベクトルを局所焦点品質及び他の撮像特性に適合させる分離（ｕｎｍｉｘｉｎｇ）のためのシステム及び方法に関する。
[0003]組織切片、血液、細胞培養物などといった生物標本の分析では、生物標本（又はアッセイ）は染色され、続いて分析のために走査又は撮影される。染色アッセイは、１つ又は複数のバイオマーカー、例えば、標本におけるタンパク質、タンパク質断片又は他の標的に結合する抗体をそれぞれの染料と結合させ、その結果１つ又は複数のバイオマーカーの存在が１つ又は複数の染料の存在によって観察されることができる。染料は、明視野顕微鏡撮像で観察されることができる色原体、又は蛍光顕微鏡撮像で観察されることができる発蛍光団であることができる。染料は、視覚的評価、資料作成又は定量分析のために入力される画像において信号を作成する。走査から生成される信号を観察することは、疾病の診断、治療に対する反応の評価、及び新薬の開発を含む種々の工程が疾病と戦うことを可能にする。
[0004]染色標本を走査すると、しばしば色チャネルと称される、画像データの複数のチャネルがカメラで取り込まれる。典型的に、各色チャネルは全ての染料から信号の一部を取り込む、すなわち、信号は取得された色チャネルで混合されている。例えば、純赤、緑及び青色成分が色チャネルの代表例であるが、しかしながら、色チャネルは、理論上は色空間におけるベクトルの任意の線形独立集合であってもよい。取り込まれた色チャネルを、信号が染料の強度に比例する新たな「染料チャネル」に分離するために、色逆重畳又は分離が通常行われる。この色分離のステップは、画像の公称の色チャネル（すなわち赤、緑及び青成分）での染料の色合成を識別する基準ベクトルに大いに依存している。存在する染料を正確に表す染料チャネルを得るために、各染料及び／また各レベルの染料の強度は、それ自体の基準ベクトルを必要とする。例えば、信号強度が茶色染料の密度を表す染料チャネルを得るために、茶色に対応する赤、青及び緑成分を持つ適切な基準ベクトルが分離計算に含まれなければならない。より完全な例では、白、青及び茶成分を持つ生体画像が３つの染料チャネル：赤成分が明るいもの、黒成分が明るいもの、及び青成分が明るいものに分離されることができる。
[0005]一般に、アッセイの１つ又は複数の観察されるチャネル内の特定の染料、したがって、バイオマーカーの濃度を求めるために、色分解（色分離、スペクトル分離又は色逆重畳とも称される）が使用される。走査された画像の各画素は画像値のベクトル、又は色ベクトルによって表され、そして各染料は基準ベクトル又は、基準スペクトルとしても知られる、基準ベクトルのスペクトルに対応する。概して、取得された画像の画素ごとの画像値ベクトルは、この位置に提示されるバイオマーカーの染料に対する基準ベクトルの加重和又は他の組合せである。信号分離の目的は、標本におけるバイオマーカーの存在の定量分析を可能にする、染料の局所量を求めることである。そのような染料分離のための技術が知られており、例えば、Ｒｕｉｆｒｏｋ，Ａ．Ｃ及びＪｏｈｎｓｔｏｎ，Ｄ．Ａ．（２００１）．「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｈｉｓｔｏｃｈｅｍｉｃａｌ ｓｔａｉｎｉｎｇ ｂｙ ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ．（色逆重畳による組織化学的染色の定量）」分析及び定量細胞学及び組織学／国際細胞学会［及び］アメリカ細胞学会、２３（４）、２９１〜２９９によって記載されている。これらの技術は、基準ベクトルから形成される行列及び画像を入力として、行列因子分解又は非負値行列因子分解を使用してもよい。
[0006]同様の分離技術が、他の用途、例えば航空写真、衛星画像などからも知られている。全ての用途で、目的は、基準ベクトルが既知である信号源の局所量を求めることである。全てのこれらの分離技術が正しい基準ベクトル、すなわち、１つの染料のみの純粋な存在に対して生成される画像値ベクトルについての正確な知識に強く依存することが広く認識される。しかしながら、多くの用途で、基準ベクトルは画像ごとに、及び画像における異なる領域間で異なり得るので、それらは正確には知られていない。したがって、取得されるデータに基づいて基準ベクトルを適合させる方法が提案されてきた。そのような方法は、「ブラインド」である、すなわち、画像データだけで機能するか（例えば、Ｇａｖｒｉｌｏｖｉｃ，Ｍ．、Ａｚａｒ，Ｊ．Ｃ．、Ｌｉｎｄｂｌａｄ，Ｊ．、Ｗａｈｌｂｙ，Ｃ．、Ｂｅｎｇｔｓｓｏｎ，Ｅ．、Ｂｕｓｃｈ，Ｃ．及びＣａｒｌｂｏｍ，Ｉ．Ｂ．（２０１３）．「Ｂｌｉｎｄ ｃｏｌｏｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｈｉｓｔｏｌｏｇｉｃａｌ ｉｍａｇｅｓ（組織画像のブラインド色分解）」、医療画像に関するＩＥＥＥ論文誌、３２（６）９８３〜９９４．）、又は画像データ並びに現在撮像されている標本及び染色工程を説明する追加の外部情報を使用して基準ベクトルを求めるか（例えばＢｒｅｄｎｏ，Ｊ．、Ｄｉｅｔｚ，Ｌ．及びＭａｒｔｉｎ，Ｊ．Ｆ．（２０１４）．「Ｉｍａｇｅ ａｄａｐｔｉｖｅ ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ ｐｌａｕｓｉｂｌｅ ｃｏｌｏｒ ｓｅｐａｒａｔｉｏｎ（画像適応的な生理学的に妥当な色分離）」、ＷＩＰＯ特許出願公開第２０１４／１９５１９３号）であることができる。
[0007]例として、Ｃａｎ他の米国特許第８９４８４８８号が、複数の染料があらかじめ適用された物質の初期画像をデジタル的に強調するための方法及びシステムであって、画像を複数の個々の再構築画像であり、各々が染料の１つに対応する個々の画像に分離するステップと、原画像と再構築画像との間の相違に対応する残像を推定するステップと、個々の画像の１つ又は複数の成分を調節するステップと、１つ又は複数の推定される混合係数を使用して調節された成分を混合するステップと、混合された調節済み成分に残像を加算して強調画像を生成するステップとを概して含む方法及びシステムを教示する。
[0008]別の例として、Ｃｚａｒ他の国際特許出願公開第２０１３０７１００３号が、組織学的組織画像データの密度マップへの色分解を生成し、ここで各密度マップが１つの染料／組織の組合せを含む原画像データの一部分に対応する、方法を教示する。
[0009]別の例として、Ｒａｂｉｎｏｖｉｃｈの欧州特許出願公開第１６３６７５２号が、画像（２００）における色が行列Ｘ＝ＡＳを使用して分離され（２０２）、ここでＡがスペクトル定義のｎｓ×ｎｄ行列であり、ｓがスペクトル成分の数であり、かつｄが画像が分解される染料の数であり、Ｓが画素ごとの各染料の量のｎｓ×ｌ行列であり、ｌが画素の数であり、行列Ｘが加法色モデルの性質と一致する制約を有する教師なし行列分解法による解決のために制約され、かつｎｄが決定される、方法及びシステムを特徴とする。関心範囲を識別するために、テクスチャが求められる。さらなる処理で、求められた関心領域における細胞染料濃度を自動的に測定してもよい。
[0010]また別の例では、Ｚｉｔｎｉｃｋ他の米国特許第８７８１２５０号が、ぼけカーネルを考慮して画像のぼけを除く画像逆重畳のための技術を特徴とする。ぼけが除かれることになる画像から導出される局所色統計量が、逆重畳積分中の事前制約の役割をする。画素の色は、画素の近傍内の２つの最も優勢な色の一次結合として公式化される。画素の一次結合は、ぼけ画像を逆重畳するための事前２色の役割をする。事前２色は画像の内容に応答し、そしてそれはエッジ強度からエッジ鮮鋭度を切り離すことがある。
[0011]さらなる例では、中国特許出願公開第１０４２００４２８号が、染料マーク後の組織顕微鏡画像に向けられる、ＮＭＦに基づく顕微鏡画像色重畳除去法を教示し、そしてＮＭＦ方法を使用して、異なる着色剤に対応する観察チャネルを分離する。
[0012]またさらなる例では、Ｊｅｎｚｒｉが、染料基準ベクトル（すなわち端成分）を、「画像」ではなく「スペクトル空間」の異なる領域又は状況に適応させるための方法を記載している。「スペクトル空間」は、画像に存在する全ての色の３Ｄ空間であり、この空間の異なる領域は通常、画像の異なる領域とは密接に相関されない（Ｊｅｎｚｒｉ，Ｈ．、Ｆｒｉｇｕｉ，Ｈ．及びＧａｄｅｒ，Ｐ．（２０１４）．「Ｒｏｂｕｓｔ ｃｏｎｔｅｘｔ ｄｅｐｅｎｄｅｎｔ ｓｐｅｃｔｒａｌ ｕｎｍｉｘｉｎｇ．（ロバストな状況依存スペクトル分離）」第２２回パターン認識国際会議（ＩＣＰＲ）ｐｐ．６４３〜６４７において）。
[0013]画像の分離問題に対して最善の総括基準ベクトルを見つける方法が存在するのに対して、基準ベクトルが画像内で変化する場合、誤った基準ベクトルの問題が依然として残る。これは、当該技術において認知されている問題である。単一の染料の存在又は染料の混合物の存在は、撮像される標本又は撮像工程の性質に応じて異なり得る。例えば、明視野顕微鏡撮像では、染色範囲の色相は、染色物体が十分に焦点内であるか否かに応じて変化し得る。画像を正しく分離するために、この色相の可視変化により、基準ベクトルの対応する変更が必要である。撮像工程における性質（例えば、顕微鏡法で撮像される組織の合焦又は周囲の対比染色の飽和）が撮像された信号に影響を及ぼす多くの他の例がある。そのような画像を正しく分離するために、撮像工程の性質に従って、基準ベクトルが適合される必要がある。撮像工程のこれらの性質は、画像内で異なりさえし得る。
[0014]本開示は、明視野顕微鏡法に関する、撮像焦点への基準ベクトルの適合のための、より一般的には、撮像工程の局所変動が、基準ベクトルへの変更によって反映される必要がある画像値ベクトルの変化という結果になる全ての撮像用途に関する、あらゆる基準ベクトルの適合のためのシステム及び方法を特徴とする。
[0015]本明細書に記載されるいかなる特徴又は特徴の組合せも、状況、本明細書及び当業者の知識から明らかであろうように、いかなるそのような組合せに含まれる特徴も相互に矛盾しない限り、本開示の範囲内に含まれる。本開示の追加の利点及び態様は、以下の詳細な説明及び請求項において明らかである。
[0016]本開示の目的の１つは、独立請求項に定められるように、画像及び撮像工程の局所性質に特有の情報に基づいて基準ベクトルを求めるための改善された方法、コンピュータプログラム製品及びシステムを提供することである。本開示の実施形態は従属請求項で与えられる。本開示の実施形態は、それらが相互に排他的でない場合、互いと自由に組み合わされることができる。
[0017]１つの実施形態において、本開示は、以下のステップを活用することによって、局所的に異なる画像特性の存在下で多チャネル画像データの分離を可能にするためのシステム及び方法を特徴とする：
・多チャネル入力画像から多数の特徴画像を作成するステップであって、特徴画像が、エッジ検出フィルタ、ぼけフィルタ、ハイ又はローパスフィルタなどを含むがこれらに限定されない、原画像に適用される異なる種類のフィルタ又は数学的処理でもよく、特徴画像が入力画像における各画素に対して特徴ベクトルを形成する、ステップと、
・局所撮像特性に基づいてこれらの特徴ベクトルの各々を分類し、そして撮像特性を共有する入力画像における領域を特定するステップと、
・同じ撮像特性を有する画像例における領域から得られた基準ベクトルを使用して範囲の各々を別々に分離して、各領域に対して一組の分離された染料チャネル画像という結果になるステップと、
・別々に分離された領域の各々からの多数の分離結果を組み合わせて、各染料チャネルに対して一組の最終分離結果画像を形成するステップ。
[0018]基準ベクトルが画像画素座標よりもむしろ色ベクトル空間の関数であると仮定する先行技術とは対照的に、本開示の発明の技術的特徴の１つは、局所画像特性に基づく局所領域（又は範囲）への画像の分離であり、そして領域の分離で使用するために各局所領域に対して別々に基準ベクトルを選択する。局所画像特性は、画像画素座標の関数である特性を意味することができる。本開示をいかなる理論又は機構にも限定することを望むことなく、このことは、たとえ入力画像が画像間及び内で異なる品質及び画像性質を持つ場合であっても、本開示が一貫した結果を生成することが可能であるので、有利である。非限定的な例として、画像がＦＯＶを見つけ、そして細胞数を計算するために使用されている場合、本開示によって生成される分離された画像は、原画像における異なる焦点品質を修正することができる。
[0019]１つの実施形態によれば、本開示は、複数の染料で染色された生物組織試料の多チャネル画像から色チャネルを分離する医用画像分析法を特徴とする。本方法は：
・複数の染料から成る多チャネル画像を得るステップであって、各染料の色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ステップと、
・局所焦点品質に基づいて多チャネル画像を複数の領域に分類するステップと、
・多チャネル画像を領域に対応する複数の領域画像に分割するステップと、
・各領域画像に対して、その局所焦点品質に対して色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる赤、緑及び青色成分から成る、ステップと、
・領域画像に対して求められた基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
・領域画像の個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップとを含んでもよい。
[0020]別の実施形態によれば、本開示は、複数の染料で染色された生物組織試料の多チャネル画像から色チャネルを分離するための医用画像分析システムも特徴とする。本システムは、画像取得及び記憶システムと、画像取得及び記憶システムに作動的に結合されるプロセッサと、プロセッサに作動的に結合されるメモリとを備えてもよい。メモリは、プロセッサによって実行されると、プロセッサに：
・画像取得及び記憶システムから、複数の染料から成る多チャネル画像を得ることであって、各染料の色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ことと、
・局所焦点品質に基づいて多チャネル画像を複数の領域に分類することと、
・多チャネル画像を領域に対応する複数の領域画像に分割することと、
・各領域画像に対して、その局所焦点品質に対して色チャネルに対応する複数の基準ベクトルを求めることであって、各基準ベクトルが各色チャネルと関連付けられる赤、緑及び青色成分から成る、ことと、
・領域画像に対して求められた基準ベクトルを使用して各領域画像を分離することであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ことと、
・領域画像の個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成することと、を含む動作を行わせるデジタル符号化された命令を記憶するように構成される。
[0021]１つの実施形態において、複数の領域画像は、焦点内と分類される画素から成る第１の領域画像及び焦点外と分類される画素から成る第２の領域画像から成ってもよい。焦点品質は、各画像画素に対してメトリックを計算することによって求められてもよく、メトリックに閾値又は一組の閾値が適用される。いくつかの実施形態において、メトリックを計算するステップは、多チャネル画像から単一チャネル画像を作成するステップと、単一チャネル画像をラプラシアン・ガウシアンフィルタでフィルタリングするステップと、ラプラシアン・ガウシアンフィルタをメジアンフィルタで調整して、それによってフィルタリングされた画像という結果になるステップと、フィルタリングされた画像での値が閾値を下回る多チャネル画像の画素を焦点外類に分類するステップと、フィルタリングされた画像での値が閾値を上回る多チャネル画像の画素を焦点内類に分類するステップと、任意の焦点内画素から調節可能な半径内の任意の画素を焦点内類に再分類するステップとを含んでもよい。
[0022]また別の実施形態において、本開示は、多チャネル画像から色チャネルを分離する方法を開示する。本方法は：
・一緒に混合された複数の色チャネルから成る多チャネル画像を得るステップと、
・多チャネル画像を複数の領域に分類するステップと、
・多チャネル画像を領域に対応する複数の領域画像に分割するステップと、
・各領域画像に対して、多チャネル画像の色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる複数の色成分から成る、ステップと、
・領域画像に対して求められた基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
・領域画像の個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップとを含んでもよい。
[0023]さらに別の実施形態において、本開示は、多チャネル画像から色チャネルを分離するためのシステムも開示する。本システムは、画像取得及び記憶システムと、画像取得及び記憶システムに作動的に結合されるプロセッサと、プロセッサによって実行されると、プロセッサに：
・画像取得及び記憶システムから、一緒に混合された複数の色チャネルから成る多チャネル画像を得ることと、
・多チャネル画像を複数の領域に分類することと、
・多チャネル画像を領域に対応する複数の領域画像に分割することと、
・各領域画像に対して、多チャネル画像の色チャネルに対応する複数の基準ベクトルを求めることであって、各基準ベクトルが各色チャネルと関連付けられる複数の色成分から成る、ことと、
・領域画像に対して求められた基準ベクトルを使用して各領域画像を分離することであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ことと、
・領域画像の個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成することと、を含む動作を行わせるデジタル符号化された命令を記憶するように構成される、プロセッサに作動的に結合されるメモリとを備えてもよい。
[0024]いくつかの実施形態において、多チャネル画像を分類するステップは、多チャネル画像から複数の特徴画像を生成するステップであって、特徴画像が、エッジ検出、ぼけ、鮮鋭化フィルタなどといった、原画像のフィルタリング又は処理されたバージョンでもよい、ステップと、複数の特徴ベクトルを生成するステップであって、各特徴ベクトルが、各特徴画像における同じ位置で画素を選択し、そしてそれらを配列にまとめることによって形成される複数の画素から成る、ステップと、教師あり又は教師なし分類アルゴリズムを使用して特徴ベクトルに従って画素を分類するステップと、ごく近接する画素が同じ類に割り当てられるように正則化フィルタを適用して、それによって多チャネル画像を画素の割り当てられた類に対応する領域に分けるステップとをさらに含む。
[0025]１つの実施形態によれば、画素を分類するために、教師あり分類工程が活用される。教師あり分類工程は、一組の注釈付画像例を読み込むステップであって、個々の画素に純粋な染料の例として注釈が付けられ、注釈がその画素に対する既知の分類から成る、ステップと、各画像例に対して複数の特徴画像を生成するステップと、各注釈付画素に対して特徴ベクトルを生成するステップであって、特徴ベクトルが、各特徴画像における同じ位置で画素を選択することによって形成される複数の画素から成る、ステップと、特徴ベクトルを注釈からの既知の分類と組み合わせて一組の分類データを生成するステップと、分類データを使用して教師あり学習アルゴリズムを訓練して、訓練データの特徴ベクトルを考慮して訓練データの分類を予測するステップと、訓練された教師あり分類アルゴリズムを多チャネル画像における各画素の特徴ベクトルに適用して、画像における各画素に対して分類を生成するステップとを含んでもよい。
[0026]代替の実施形態によれば、画素を分類するために、非教師あり分類工程が活用される。非教師あり分類工程は、特徴画像における全ての画素の特徴ベクトルにクラスタリングマッピング工程を適用して多チャネル画像のクラスタマップを生成するステップを含んでもよい。各類が画像のクラスタマップの領域を表し、そしてクラスタマップの同じ領域内の全ての画素が対応する類に割り当てられる。
[0027]本開示の別の固有かつ発明の技術的特徴は、ステップの組合せ及び、いくつかの実施形態において、それらが行われる順序である。例えば、本方法は、以下の順序で行われる以下のステップの組合せを特徴とする：１．局所焦点品質、局所染料強度及び局所組織厚などの特定のメトリック又は特性に基づいて多チャネル画像を複数の領域に分類するステップ、２．多チャネル画像を領域に対応する複数の領域画像に分割するステップ、３．各領域画像に対して、多チャネル画像の色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる複数の色成分から成る、ステップ、４．領域画像に対して求められた基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップ、及び５．領域画像の個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップ。本開示をいかなる理論又は機構にも限定することを望むことなく、たとえ入力が一貫しない品質を持つ場合であっても、本開示の技術的特徴が分離から一貫した結果を引き出すことができる能力を有利に提供すると考えられる。現在知られている従来の参考文献又は著作のいずれも、本開示の固有の発明の技術的特徴を有していない。
[0028]本開示を使用するシステムを構築するために、画像例が収集され、そして染料に対して基準ベクトルを求めるために、１つの染料のみを示す領域又は物体が使用される。一組の撮像特性類を求めるために、教師あり又は教師なし機械学習が使用され、そして画像例が訓練データを構成して入力画像上の局所撮像特性を求める。これらのステップの全てが以下の部分により詳細に記載される。
[0029]本開示は、例証的な目的で、複数の染料で染色された生物組織試料の多チャネル画像から色チャネルを分離することに関連して、及び生物標本の明視野顕微鏡画像に関して記載された。局所焦点品質に応じた明視野顕微鏡撮像に対する基準ベクトルの適合が詳細な説明に例として使用される。しかしながら、本開示はいかなる撮像用途にも適用可能である。
定義
[0030]画素は、画像の最小の分割できない要素を指すことができる。画素は、複数の連続した画素を含むスーパーピクセルにグループ化されることができる。グループ化は、通常、色、輝度などといった、画像の局所特性に依存する。本明細書で使用される場合、用語「画素」は、画像の最小の分割できない要素である「画素」と、複数の連続した画素を含む、グループ化された画素である「スーパーピクセル」との両方の意味を含むように定義される。
[0031]用語「色チャネル」は、画像の分解された色成分の１つを指す。非限定的な例として、大抵の消費者向けカメラを代表するＲＧＢカメラでは、画像の赤、緑及び青色成分に対応する、３つのそのような画像又はチャネルがある。
[0032]用語「染料チャネル」は、組織試料アッセイに適用される染料の１つに対応する色空間における領域を指す。染料チャネルのための染料チャネル画像は、入力として色チャネル及び基準ベクトルを使用する、色分離又は色逆重畳計算によって生成されることができる。
[0033]用語「基準ベクトル」は、色チャネルのＲＧＢ空間における色成分を表す複数の数字を指す。
[0034]用語「特徴ベクトル」は、画像における画素を中心とする勾配、色強度、色相及び他のフィルタ出力を表す複数の数字を指す。
[0035]用語「局所画像特性」は、画像画素座標の関数である特性として定義される。
[0036]「正則化フィルタ」は、多数決などのなんらかの規則に応じて、別のフィルタ又は一組のフィルタから導出される同じ値を一組の連続した画素に割り当てるフィルタである。
[0037]本明細書で使用される閾値は数値を指す。閾値の非限定的な例は、０から２５５まで変化することができる色に対する値１２８である。一組の閾値の非限定的な例は、０から１．０まで変化することができる勾配に対する［０．３，０．５］である。
[0038]本開示の特徴及び利点は、添付の図面に関連して提示される以下の詳細な説明の考慮から明らかになるであろう。
[0039]図１Ａは、２つの異なる遺伝子に対する遺伝子コピー数を特定するためにアッセイで染色された乳癌標本からのＦＯＶを図示しており、乳癌組織は楕円物体として見えるヘマトキシリン（青い細胞核）で染色され、そしてＤＮＡプローブは、それぞれ黒及び赤色原体で染色され、ＤＮＡプローブは小さい染色塊として見え、赤色原体に関するＤＮＡプローブは第１７染色体の存在を特定し、そして黒色原体に関するＤＮＡはＨＥＲ−２タンパク質に対する遺伝子コピーの存在を特定し、組織を十分に焦点内にして、同じ組織の範囲及び視野が撮像された。図１Ｂは、２つの異なる遺伝子に対する遺伝子コピー数を特定するためにアッセイで染色された乳癌標本からのＦＯＶを図示しており、乳癌組織は楕円物体として見えるヘマトキシリン（青い細胞核）で染色され、そしてＤＮＡプローブは、それぞれ黒及び赤色原体で染色され、ＤＮＡプローブは小さい染色塊として見え、赤色原体に関するＤＮＡプローブは第１７染色体の存在を特定し、そして黒色原体に関するＤＮＡはＨＥＲ−２タンパク質に対する遺伝子コピーの存在を特定し、組織の大部分を非焦点内にして、同じ組織の範囲及び視野が撮像された。 [0040]図２Ａは、十分に焦点内であるＦＯＶに対して既知の技術を使用した、赤色原体で染色されたＤＮＡプローブに対する分離結果を図示しており、たとえ同じ組織の範囲が撮像された場合であっても、分離結果間の明白な相違が見られ、ここで提示される本開示の目的は、たとえ顕微鏡撮像の焦点のような撮像特性が変化する場合であっても、同様の分離結果を作成することである。図２Ｂは、十分には焦点内でないＦＯＶに対して既知の技術を使用した、赤色原体で染色されたＤＮＡプローブに対する分離結果を図示しており、たとえ同じ組織の範囲が撮像された場合であっても、分離結果間の明白な相違が見られ、ここで提示される本開示の目的は、たとえ顕微鏡撮像の焦点のような撮像特性が変化する場合であっても、同様の分離結果を作成することである。 [0041]図３は、十分に焦点内であるＦＯＶで、及び十分には焦点内でなかったＦＯＶで収集された３つの染料、赤、黒（Ａｇ）及び青（ＨＴＸ）に対する基準ベクトルを図示しており、色分離のために、染料の色相及び輝度がその基準ベクトルを定義し、そしてこの組織における異なる染料から、異なる色相及び輝度の組合せが導出され、特に赤色原体に関して、色相及び輝度、したがって、分離のために必要とされる基準ベクトルが、組織が十分に焦点内であるか、又は十分には焦点内でないかに依存することが図示される。 [0042]図４は、基準ベクトルが十分には焦点内でなかった画像から求められた場合に同様に十分には焦点内でないＦＯＶに対する分離結果を図示しており、この画像は、分離が行われる前に基準ベクトルが撮像特性に適合されれば、十分に焦点内であるＦＯＶから得られるものと結果が同様であり得ることを図示する。 [0043]図５Ａは、局所画像特性を求める例を図示しており、十分に焦点内である物体を有すると特定されるＦＯＶ画像における範囲が黒で図示され、十分に焦点内であるＦＯＶ例に対して結果が提示され、上記された方法は、十分に焦点内である物体の存在を求めることが可能である。図５Ｂは、局所画像特性を求める例を図示しており、十分に焦点内である物体を有すると特定されるＦＯＶ画像における範囲が黒で図示され、十分には焦点内でないＦＯＶ例に対して結果が提示され、上記された方法は、十分に焦点内である物体の存在を求めることが可能である。 [0044]図６は、局所焦点に応じて明視野顕微鏡法のための基準ベクトルを適合させる本開示の実施形態のための例証的なフローチャートを図示する。 [0045]図７Ａは、十分に焦点内であるＦＯＶに対して提案された方法を使用した、赤色原体に対する分離結果を図示しており、図２とは対照的に、図６に提示された新たな方法は、たとえ撮像特性が変化する場合であっても、同様である分離結果を作成する。図７Ｂは、十分には焦点内でないＦＯＶに対して提案された方法を使用した、赤色原体に対する分離結果を図示しており、図２とは対照的に、図６に提示された新たな方法は、たとえ撮像特性が変化する場合であっても、同様である分離結果を作成する。 [0046]図８は、画像及び撮像工程の局所性質に応じて画像データを分離するための基準ベクトルを適合させる本開示の実施形態のための例証的なフローチャートを図示する。 [0047]図９は、図８に従う実施形態の例証的な概要図を図示する。
[0048]本開示は、いかなる多チャネル画像データの分離のためにも適用可能である。例として、染色標本の明視野顕微鏡スライド、染色標本の蛍光顕微鏡スライド、航空写真、及び衛星画像を含む。本開示は、明視野顕微鏡法における局所画像焦点への基準ベクトルの適合を使用して記載され、そしてこの原則がどのように、基準ベクトルが撮像条件とともに変化する全ての画像分離問題に拡張されることができるかがさらに記載される。
[0049]本開示の適用のための画像例が図１に与えられる。顕微鏡下の乳癌組織の視野（ＦＯＶ）が図示される。細胞核がヘマトキシリンで染色され、そして青い楕円物体として現れる。この組織を染色するアッセイでは、２つのさらなるバイオマーカーが染色される。ＨＥＲ２遺伝子に対する、及び第１７染色体に対する遺伝子プローブが、それぞれ、黒色原体（銀）及び赤色原体で染色され、そして細胞核内部の赤及び黒点として現れる。各核での赤点に対する黒点の比を求めることによって、図１Ａに図示されたものと同様の画像が定量化され、そしてそのような組織スライドからの定量的読出しが癌患者のための治療決定に影響を及ぼす。各核での赤及び黒点を計数して、染色組織のこの定量的評価を促進及び標準化するデジタル病理アルゴリズムが利用可能である。バイオマーカーは細胞核の内部に現れ、その結果青染料は通常、その他の色原体を囲む、又はそれらと同じ位置に配置されるようにさえ見える。したがって、代表的な自動化アルゴリズムは染料分離、すなわちデジタル画像における各画素に対する青、赤及び黒染料の量の自動化測定を伴う。
[0050]同じＦＯＶが図１Ｂに再び図示される。今回、画像は十分に焦点が合わされておらず、その結果生物体はぼやける。画像品質のそのような変動は、アッセイ及びデジタル化システムが種々の機関において種々の訓練でユーザによって広く使用されるときに現れると知られている。信頼できる患者治療決定のために、図１Ｂにおける画像の分析結果が図１Ａにおける画像の分析結果と同じであることが望まれる。これは、これらの２つの画像に対する最終分離結果が極めて類似していなければならないことを意味する。
[0051]現状技術では、染色分離のための基準ベクトル又は基準色は、典型的にアルゴリズムの開発の間に入手可能な画像データから収集され、そして異なる染料又は色に対する得られた基準ベクトルが分離のために使用される。図１におけるＦＯＶに対する現状技術の手法の結果が図２に図示される。十分に焦点内である画像に関して、赤色原体、したがって、第１７染色体バイオマーカーの存在が図２Ａに明らかに見える。しかしながら、同法が焦点外で撮像されたときの同じＦＯＶに適用される場合、方法はもはや、赤色原体の存在を確実に検出しない（図２Ｂ）。検出信号はより低く、そして染色点のいくつかが失われており、このことは、そのような点の信頼できる計数を必要とする撮像用途で特に重大である。
[0052]染料に対する基準ベクトルの変化は、標準的な分離方法が焦点外画像及び撮像工程によってもたらされる他の変動性を扱うことができないことの１つの理由と特定された。この影響を視覚化するために、十分に焦点内で、及び非焦点内で撮像されたＦＯＶから基準色が収集された。図３は、カラーチャート上の基準色を図示する。このカラーチャート上の異なる位置は染料の異なる色相、したがって、分離のための異なる基準ベクトルを表す。チャートは、同じ組織が十分に焦点内で、又は十分には焦点内でなく撮像されたときに、提示されたＦＯＶにおける色原体が異なる基準ベクトルを有することを図示する。図３に図示される撮像性質による基準ベクトルの変化は、図２の右に図示されたような信頼できない分離結果の主な理由と特定された。これのさらなる証拠が図４に与えられる。焦点内でないＦＯＶ（図１Ｂ）が焦点内でない画像データから得られた基準ベクトルで分離されるとき、新たな分離結果（図４）は、失われていたか、又は単に図２Ｂにおける弱信号で分離された点を明らかに図示する。
[0053]これらの観察に基づいて、基準ベクトルが、期待された性質の代わりに、実際の画像の性質に適合されれば、分離工程で有益である。この分離のための新たな方法は、まず撮像工程の性質を求める。これらの性質は、完全画像（例えば、組織の全スライド画像）、この画像の一部（例えば、そのような全スライド画像からのＦＯＶ）、又は任意の形状の画像における範囲対して求められることができる。分離のための基準ベクトルを手元の画像データに適合させることが当該技術で知られている（Ｇａｖｒｉｌｏｖｉｃ，Ｍ．、Ａｚａｒ，Ｊ．Ｃ．、Ｌｉｎｄｂｌａｄ，Ｊ．、Ｗａｈｌｂｙ，Ｃ．、Ｂｅｎｇｔｓｓｏｎ，Ｅ．、Ｂｕｓｃｈ，Ｃ．及びＣａｒｌｂｏｍ，Ｉ．Ｂ．（２０１３後期「Ｂｌｉｎｄ ｃｏｌｏｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｈｉｓｔｏｌｏｇｉｃａｌ ｉｍａｇｅｓ．Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（組織画像のブラインド色分解、医療画像）」ＩＥＥＥ論文誌、３２（６）９８３〜９９４．）、又はＢｒｅｄｎｏ，Ｊ．、Ｄｉｅｔｚ，Ｌ．及びＭａｒｔｉｎ，Ｊ．Ｆ．（２０１４）「Ｉｍａｇｅ ａｄａｐｔｉｖｅ ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ ｐｌａｕｓｉｂｌｅ ｃｏｌｏｒ ｓｅｐａｒａｔｉｏｎ（画像適応的な生理学的に妥当な色分離）」、ＷＩＰＯ特許出願公開第２０１４／１９５１９３号）。例えば、これらの方法では、適合は、画像における各染料に対して最も適切な基準ベクトルを求め、そしてこれらの基準ベクトルが各画像全体を分離するために適用される。
[0054]しかしながら、当該技術で知られている方法は、撮像性質又は特性が画像内で異なる場合を十分には扱わない。そのような変動は、顕微鏡スライドの全スライド撮像、又はリモートセンシングもしくは衛星画像の取得などの走査工程で得られる画像データにおいて頻繁に生じる。そのような走査工程では、取得される画像は、より小さい下位範囲を順次撮像することによって得られるデータから成り、その結果最終画像データで画像性質の変化が頻繁に生じる。さらには、光学部品を使用する撮像に関しては、たとえ１つの視野が単一の取得で取得される場合であっても、焦点、照明及び他の性質がこの視野内で異なると知られている。
[0055]本開示ではまず、明視野顕微鏡法において染料分離のための基準ベクトルを画像領域の焦点品質に適合させる実施形態が提示される。本開示は次いで、分離のための基準ベクトルを撮像工程の局所性質に適合させるより一般的な用途のために提示される。
[0056]十分に焦点内であろうとなかろうと画像の範囲に応じて基準ベクトルを適合するために、画像の範囲が焦点内であるかどうかを示すことができるメトリックを求めることが必要である。このための多くの異なるメトリックが当該技術で知られており、一例として、例えば、入力画像の各チャネルでの光学密度の合計又は色チャネルの平均としての到来カラー画像から単一チャネル画像を作成し、この単一チャネル画像を小規模なラプラシアン・ガウシアンフィルタで、例えば、フィルタテンプレート［０ １ ０；１ −４ １；０ １ ０］でフィルタリングして絶対フィルタ応答をとり、そして典型的にノイズが多いフィルタ結果を、例えば、サイズ３×３画素のメジアンフィルタで調整する。
[0057]この方法は、物体エッジの局所存在を求め、それは焦点メトリックの代用手段である。しかしながら、十分に焦点内である画像における範囲でさえ、どこででもエッジを示すわけではなく、染色点、細胞核などのような物体は、物体の内部にほとんどエッジ情報を示さない。強いエッジの付近の範囲は、たとえ強いエッジ情報が存在しない場合であっても、十分に焦点内であると考えられる。強画像信号の付近であることが最後のフィルタリングステップで取り込まれ、ここでフィルタ結果画像に円盤形の構造化要素を伴うグレーレベル形態学的オープニング操作（ｇｒｅｙ−ｌｅｖｅｌ ｍｏｒｐｈｏｌｏｇｉｃａｌ ｏｐｅｎｉｎｇ ｏｐｅｒａｔｉｏｎ）が適用される。言い換えれば、任意の強いエッジ画素のまわりの円形の半径内の全ての画素を焦点内領域に割り当てる。構造化要素（すなわち半径）のサイズは、画像における期待される関連物体（例えば、細胞核又は染色点）のサイズに一致するように調節されることができる。
[0058]この局所焦点メトリックの画像に閾値が適用されて、十分に焦点内である範囲及び十分には焦点内でない範囲を区別することができる。この操作の結果が図５に、十分に焦点内であるＦＯＶ画像（図５Ａ）及び十分には焦点内でないＦＯＶ画像（図５Ｂ）に対して図示される。十分に焦点内であると特定される範囲が黒で示される。本方法は典型的に、いかなる画像内容も含まない範囲を十分には焦点内でないと分類するが、このことは、最終分離結果に悪影響を及ぼさない。十分には焦点内でない画像のほぼ全体が、この方法によって焦点内でないと特定される（図５Ｂ）。
[0059]画像における領域を、それらの画像特性、例えば、十分に焦点内である性質に基づいて区別することができる能力により、明視野顕微鏡画像データの分離のための新たな方法が図６にフローチャートで提示される。入力画像２０５を分離する目的で、局所焦点品質２１０を求めるために上記された方法が適用され、そして焦点マップ２１５がこの操作の結果である。
[0060]この焦点マップでは、入力画像における各画素が、十分に焦点内である領域にあるか、又は十分には焦点内でない領域にあると特定される。入力画像２０５及び焦点画像２１５はステップ２２０に入力され、ここで入力画像を分割して２つの異なる入力画像を生成する。画像２２５は焦点内である入力画像２０５の範囲を含み、そして画像２３０は焦点内でない入力画像２０５の範囲を含む。ここで、標準的な分離工程は二度実行される。第１の分離ステップ２４５は、焦点内である範囲２２５を有する画像を受け取り、そして焦点内範囲に対して求められた基準ベクトル２３５で画像を分離する。ステップ２４５の結果は、焦点内である範囲の分離結果２５５を持つ画像である。同様に、第２の分離ステップ２５０は、焦点内でない範囲２３０を有する画像を受け取り、そして焦点内でない画像範囲に対して求められた基準色２４０で画像を分離する。第２の分離ステップ２５０の結果は、焦点内でない範囲に対する分離結果２６０を持つ画像である。２つの個々の分離結果２５５及び２６６は、ステップ２６５で組み合わされて最終分離結果２７０を得る。
[0061]図２が、図１に適用される標準的な分離技法を使用した分離結果を図示するのに対して、図７は、図６に提示され、そして図１に適用される方法を使用した分離の結果を図示する。図２も図７も、一旦十分に焦点内で（図２Ａ、図７Ａ）及び一旦十分には焦点内でなく（図２Ｂ、図７Ｂ）撮像されている同じＦＯＶに対する分離結果を図示する。図２とは対照的に、図７における赤チャネルに対する分離結果画像は同様の信号強度を持つ分離結果を図示し、ここで焦点内画像について見える全ての物体が、十分には焦点内でなかった画像についても見える。
[0062]多種多様な異なる画像データの分離のための基準ベクトルを多種多様な撮像性質に適合させるために、図６に提示された方法は一般化されることができる。一般的なシステムが図８に提示される。多チャネル入力画像３０５が特徴画像生成３１０に入力される。多数の特徴画像が作成されることができ、その全てが当該技術で周知である。特徴画像のための例として、多チャネル入力画像３０５の各チャネルに対するローパスフィルタ、ハイパスフィルタ、勾配フィルタ、エッジフィルタ、リッジフィルタ及びテクスチャフィルタを含む。特徴画像生成３１０は、チャネルにわたって計算される特徴画像、例えば、カラー画像における色の色相、最も強い局所信号を持つ画像チャネル、又は２つの画像チャネル間の相違をさらに作成する。特徴画像は、入力画像における各画素に対して特徴ベクトルを形成する、すなわち、特徴画像の各々における同じ画素が配列に入れられて特徴ベクトルを形成する。これらの特徴ベクトルの各々は局所範囲類決定３２０に入力される。この分類は、手元の画像データを反映する分類データ３２５によって案内され、そしてさらに下記される。
[0063]分類３２０の結果は、画像における各画素に対する類の割当てである。これらの類は異なる画像特性を表す。図６に記載されたシステムにおいて、２つの類の画像特性、すなわち、十分に焦点内であること、及び十分には焦点内でないことが使用される。図８に図示されるより一般的なシステムにおいて、多数の異なる類が使用される。組織顕微鏡撮像の分野でのこれらの類のための例として、画像の焦点、全体の染色強度、顕微鏡下の組織の厚さ、及び照度を含む。他の撮像用途では、撮像工程のこれら及び／又は他の特性が類として使用される。局所範囲類決定３２０の結果は、画像の分類された範囲３３０を持つマップである。このマップでは、入力画像３０５におけるあらゆる画素が１つの類に割り当てられる。この類は、特徴画像３１５からの各画素に対する特徴ベクトルを分類データ３２５で分類することによって求められる。
[0064]個々の画素的な分類に加えて、空間的にごく近接している画素に同じ類の撮像性質が割り当てられるように、空間正則化が適用されることができる。当業者に知られているように、マップ画像を空間的に正則化する方法の例は多数フィルタである。各画素に対する最終類は、その画素の近傍における大多数の画素で起こる類であるように設定される。画素の近傍は、典型的に画素から所定の距離内である一組の画素として記載される。分類された範囲３３０を持つマップ画像及び入力画像３０５は、入力画像を多数の画像範囲に分割する３３５ために使用される。この分割は多数の画像範囲３５０．１〜３５０．ｎを作成する。これらの画像範囲の各１つは、局所類決定３２０によって特定される類の撮像特性を有すると分類された入力画像３０５の画素のみを含む。
[0065]一連の基準ベクトル３５５．１〜３５５．ｎが利用可能である。各組の基準ベクトルは、それぞれの類の撮像特性下で純粋な染料の見え方を取り込む。各類「ｃ」の撮像特性ごとに、これらの撮像特性下で取り込まれた画像範囲３５０．ｃは、これらの撮像特性に一致する一組の基準ベクトル（３５５．ｃ）で分離される（３６０．ｃ）。結果は、多数の分離結果３６５．１〜３６５．ｎであり、そしてこれらの分離結果の各々ごとに、分離のために使用された基準ベクトルは、それらの画像範囲が取得された撮像特性に一致する。全ての分離結果３６５．１〜３６５．ｎは、ステップ３７５で組み合わされて最終分離結果画像３８０を形成する。
[0066]図８に提示されるシステムの応用は、分類データ３２５及び複数組の基準ベクトル３３５．１−ｎを必要とする。多くの分離方法では、基準ベクトルは、画像データ例から事前に求められる。基準ベクトルは、典型的に画像データの各ソース及び撮像物体に存在する一組の染料に対して適合を必要とする。それぞれの画像データ例上で、１つの染料のみを呈する範囲が手動で特定され、そして１つの染料のみを持つ手動で特定された領域から基準ベクトルを求めるために、平均値又は中央値などの記述統計量が使用される。図８に係るシステムを構築するために、多種多様な撮像特性を表す画像例が収集され、そしてこれらの画像の各々上で純粋な染料を表す範囲に注釈が付けられる。これらの画像例又は訓練画像は次いで、ステップ３１０で使用される同じ特徴画像生成に入力され、そして特徴画像は、分類データ３２５を作成するために使用される。
[0067]これらの特徴画像から分類データ３２５を生成するために、２つの異なる手法がとられることができる。非教師あり手法では、訓練画像における全ての個々の画素に対して収集される特徴ベクトルは、クラスタリング工程に入力される。そのようなクラスタリング工程は、特徴空間においていくつかのクラスタを自動的に求める。クラスタは、互いと同様であると同時に、他のクラスタからの特徴ベクトルと異なる一組の特徴ベクトルとして定義される。クラスタは、クラスタに対するクラスタ中心又はプロトタイプベクトルを決定する記述統計量、及びこのクラスタに帰属する全ての画素の特徴ベクトルの変動によって表される。クラスタを求める方法は当該技術で知られており、ｋ平均クラスタリングが、分類データ３２５を求めることに十分に適している一例である。各クラスタは、画像における範囲を分類する類の１つを表す。
[0068]教師あり手法では、開示される方法を使用した応用を構築するときに、類が演繹的に定義される。例として、焦点内であること、又は非焦点内であることが、演繹的に定義される類である。撮像システム及び画像データに応じて、他の特性が、組織の明視野顕微鏡撮像のための組織厚、全体の染色強度及び照明特性、又は他の撮像用途を説明する他の特性を決定することができる。これらの特性の組合せが類を形成し、例として、「焦点内の厚い組織」、「焦点内の薄い組織」、「非焦点内の厚い組織」などである。分類データ３２５を教師あり手法で作成するために、これらの類に帰属する画像例における領域に注釈が付けられ、そして分類器のための教師あり学習方式が使用される。多くの分類器及び学習方式が当該技術で知られている。例として、ランダムフォレスト分類器、サポートベクトルマシン分類器及び人工神経回路網を含む。これら及び多くの他の分類器が、分類ステップ３２０のための分類データ３２５を作成するのに適する。
[0069]図９は、本開示のシステム（４００）の図を示す。システムは、画像収集システム（４０１）と、プロセッサ（４０３）とメモリ（４０２）とを備える。メモリ（４０２）は、実行されると、プロセッサ（４０３）に本開示を含む動作を行わせる命令が記憶されたコンピュータ可読媒体である。まず、画像収集システム（４０１）から多チャネル画像が取得される。画像から複数の特徴画像（４１０）が生成される。複数の特徴画像から、複数の特徴ベクトルが、原画像における各画素ごとに１つ生成される。特徴ベクトルは、各特徴画像からの画素の配列から成る。特徴ベクトルは、多チャネル画像における画素を局所範囲類（４２０）に分類するために、分類データ（４１５）とともに使用される。画像は、次いで領域画像（４３５）に分割され、ここで全ての非領域内画素がゼロ、すなわち、黒に設定される。この点で、局所領域（４５５）に適合される基準ベクトルに従って、別々の領域画像が分離される（４６０）。局所基準ベクトルを選択するための方法が当該技術で知られている。分離することが、各領域に対する染料チャネル画像の配列という結果になる。最後に、領域染料チャネル画像は、各染料チャネルごとに、単一の画像に組み合わされる（４７５）。結果は、多チャネル画像の局所性質に従って分離された分離した一組の染料チャネル画像である。
[0070]コンピュータは典型的に、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶装置、入出力コントローラ、入出力装置及びディスプレイ装置などの、既知の構成要素を含む。コンピュータの多くの可能な構成及び構成要素があり、そしてキャッシュメモリ、データバックアップユニット及び多くの他の装置も含んでもよいことも当業者によって理解されるであろう。入力装置の例は、キーボード、カーソル制御装置（例えば、マウス）、マイクロホン、スキャナなどを含む。出力装置の例は、ディスプレイ装置（例えば、モニタ又はプロジェクタ）、スピーカ、プリンタ、ネットワークカードなどを含む。ディスプレイ装置は、視覚情報を提供するディスプレイ装置を含んでもよく、この情報は典型的に、画素の配列として論理的に及び／又は物理的に系統化されてもよい。入出力インタフェースを提供するための種々の既知又は将来のソフトウェアプログラムのいずれかを備えてもよいインタフェースコントローラも含まれてもよい。例えば、インタフェースは、ユーザに１つ又は複数のグラフィック表現を提供する「グラフィカルユーザインタフェース」（しばしばＧＵＩと称される）と一般に称されるものを含んでもよい。インタフェースは典型的に、当業者に知られている選択又は入力の手段を使用してユーザ入力を受け入れることが可能にされる。インタフェースはまた、タッチスクリーン装置でもよい。同じ又は代替の実施形態において、コンピュータ上のアプリケーションは、「コマンドラインインタフェース」（しばしばＣＬＩと称される）と称されるものを含むインタフェースを利用してもよい。ＣＬＩは典型的に、アプリケーションとユーザとの間のテキストベースの対話を提供する。典型的に、コマンドラインインタフェースは、ディスプレイ装置を通してテキスト行として、出力を提示し、そして入力を受信する。例えば、いくつかの実装は、当業者に知られているＵｎｉｘシェル、又はＭｉｃｒｏｓｏｆｔ．ＮＥＴフレームワークなどのオブジェクト指向型プログラミングアーキテクチャを利用するＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ Ｐｏｗｅｒｓｈｅｌｌなどの「シェル」と称されるものを含んでもよい。
[0071]当業者は、インタフェースが１つ又は複数のＧＵＩ、ＣＬＩ又はその組合せを含んでもよいことを認識するであろう。プロセッサは、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＣｅｌｅｒｏｎ、ＣｏｒｅもしくはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造されるＳＰＡＲＣプロセッサ、ＡＭＤ Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、ＰｈｅｎｏｍもしくはＯｐｔｅｒｏｎプロセッサなどの市販のプロセッサを含んでもよく、又はそれは、入手可能である、もしくはそうなるであろう他のプロセッサの１つでもよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと称されるものを含んでもよく、かつ／又はシングルもしくはマルチコア構成で並列処理技術を利用することが可能にされてもよい。例えば、マルチコアアーキテクチャは典型的に、２つ以上のプロセッサ「実行コア」を備える。本例では、各実行コアは、複数のスレッドの並列実行を可能にする独立プロセッサとして作動してもよい。加えて、当業者は、プロセッサが３２もしくは６４ビットアーキテクチャと一般に称されるもの、又は現在知られている、もしくは将来開発されるかもしれない他のアーキテクチャ構成で構成されてもよいことを認識するであろう。
[0072]プロセッサは、典型的にオペレーティングシステムを実行し、それは例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓ型オペレーティングシステム、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＭａｃ ＯＳ Ｘオペレーティングシステム、多くのベンダから入手可能なＵｎｉｘもしくはＬｉｎｕｘ（登録商標）型オペレーティングシステム又はオープンソースと称されるもの、別の又は将来のオペレーティングシステム、あるいはそのなんらかの組合せでもよい。オペレーティングシステムは、周知の方式でファームウェア及びハードウェアとインタフェースし、そしてプロセッサが種々のプログラミング言語で書かれてもよい様々なコンピュータプログラムの機能を調整及び実行するのを促進する。オペレーティングシステムは、典型的にプロセッサと協同して、コンピュータのその他の構成要素の機能を調整及び実行する。オペレーティングシステムは、全て既知の技法に従って、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連サービスも提供する。
[0073]システムメモリは、所望の情報を記憶するために使用されることができ、かつコンピュータによってアクセスされることができる種々の既知又は将来のメモリ記憶装置のいずれかを含んでもよい。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報の記憶のための任意の方法又は技術で実装される揮発性及び不揮発性、取り外し可能及び取り外し不可能な媒体などの、任意の種類の非一時的記憶媒体を含んでもよい。例として、任意の一般に入手可能なランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的に消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、常駐ハードディスクもしくはテープなどの磁気媒体、読み書きコンパクトディスクなどの光媒体、又は他のメモリ記憶装置を含む。メモリ記憶装置は、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、ＵＳＢもしくはフラッシュドライブ、又はディスケットドライブを含む、種々の既知又は将来の装置のいずれかを含んでもよい。そのような種類のメモリ記憶装置は、典型的に、それぞれ、コンパクトディスク、磁気テープ、リムーバブルハードディスク、ＵＳＢもしくはフラッシュドライブ、又はフロッピーディスケットなどのプログラム記憶媒体から読み込み、かつ／又はそこに書き込む。これらのプログラム記憶媒体のいずれも、又は現在使用されている、もしくは後に開発されるかもしれない他のものがコンピュータプログラム製品と考えられてもよい。認識されるであろうように、これらのプログラム記憶媒体は、典型的にコンピュータソフトウェアプログラム及び／又はデータを記憶する。コンピュータソフトウェアプログラムは、コンピュータ制御ロジックとも呼ばれており、典型的にシステムメモリに、及び／又はメモリ記憶装置と併せて使用されるプログラム記憶装置に記憶される。いくつかの実施形態において、制御ロジック（プログラムコードを含め、コンピュータソフトウェアプログラム）が記憶されるコンピュータ使用可能媒体を備えるコンピュータプログラム製品が記載される。制御ロジックは、プロセッサによって実行されると、プロセッサに本明細書に記載される機能を行わせる。他の実施形態において、いくつかの機能は、例えば、ハードウェア状態マシンを使用して、主にハードウェアで実装される。本明細書に記載される機能を行うようなハードウェア状態マシンの実装は当業者にとって明らかであろう。入出力コントローラは、人間であれマシンであれ、ローカルであれリモートであれ、ユーザからの情報を受諾及び処理するための種々の既知の装置のいずれかを含み得る。そのような装置は、例えば、モデムカード、ワイヤレスカード、ネットワークインタフェースカード、サウンドカード、又は種々の既知の入力装置のいずれかのための他の種類のコントローラを含む。出力コントローラは、人間であれマシンであれ、ローカルであれリモートであれ、ユーザに情報を提示するための種々の既知のディスプレイ装置のいずれかのためのコントローラを含み得る。本記載される実施形態において、コンピュータの機能要素は、システムバスを介して互いと通信する。コンピュータのいくつかの実施形態は、ネットワーク又は他の種類の遠隔通信を使用していくつかの機能要素と通信してもよい。当業者にとって明らかであろうように、測定器制御及び／又はデータ処理アプリケーションは、ソフトウェアで実装される場合、システムメモリ及び／又はメモリ記憶装置にロードされ、そしてそこから実行されてもよい。測定器制御及び／又はデータ処理アプリケーションの全て又は一部はまた、メモリ記憶装置のリードオンリメモリ又は同様の装置に常駐してもよく、そのような装置は、測定器制御及び／又はデータ処理アプリケーションが最初に入出力コントローラを通じてロードされることを必要としない。測定器制御及び／もしくはデータ処理アプリケーション又はその一部が、実行のために有利なように、プロセッサによって既知の方式でシステムメモリ又はキャッシュメモリ又は両方にロードされてもよいことが当業者によって理解されるであろう。また、コンピュータは、システムメモリに記憶される１つ又は複数のライブラリファイル、実験データファイル及びインターネットクライアントを含んでもよい。例えば、実験データは、検出信号値などの、１つもしくは複数の実験もしくはアッセイに関連したデータ、又は１つもしくは複数の合成時解読（ＳＢＳ）実験もしくは工程と関連付けられる他の値を含み得る。追加的に、インターネットクライアントは、ネットワークを使用して別のコンピュータ上の遠隔サービスにアクセスすることが可能にされるアプリケーションを含んでもよく、そして例えば「ウェブブラウザ」と一般に称されるものを備えてもよい。本例では、いくつかの一般に利用されるウェブブラウザは、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ Ｃｏｍｐｕｔｅｒ Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ Ｃｈｒｏｍｅ、又は当該技術で現在知られている、もしくは将来開発されることになる他の種類のウェブブラウザを含む。また、同じ又は他の実施形態において、インターネットクライアントは、生物学的用途のためのデータ処理アプリケーションなど、ネットワークを介して遠隔情報にアクセスすることが可能にされる専用のソフトウェアアプリケーションを含んでもよく、又はその要素であり得る。
[0074]ネットワークは、当業者に十分に知られている多くの様々な種類のネットワークの１つ又は複数を含んでもよい。例えば、ネットワークは、ＴＣＰ／ＩＰプロトコルスイートと一般に称されるものを利用して通信してもよいローカル又はワイドエリアネットワークを含んでもよい。ネットワークは、インターネットと一般に称される、相互接続されたコンピュータネットワークのワールドワイドシステムを備えるネットワークを含んでもよく、又は様々なイントラネットアーキテクチャも含み得る。当業者は、ネットワーク化された環境におけるいくらかのユーザが「ファイアウォール」（時にパケットフィルタ又は境界防御装置とも称される）と一般に称されるものを利用してハードウェア及び／又はソフトウェアシステムへの／からの情報トラフィックを制御するのを好んでもよいことも認識するであろう。例えば、ファイアウォールは、ハードウェアもしくはソフトウェア要素又はそのなんらかの組合せを備えてもよく、そして典型的に、例えばネットワーク管理者などといったユーザによって適当にされるセキュリティポリシーを実施するように設計される。
[0075]本明細書で使用される場合、用語「約」は、言及された数のプラス又はマイナス１０％を指す。
[0076]本開示の様々な変更は、本明細書に記載されたものに加えて、前述の説明から当業者にとって明らかであろう。そのような変更は、添付の請求項の範囲内に納まるものとも意図される。本出願における各引用文献は、その全体が引用により本明細書に援用される。
[0077]本開示の好適な実施形態が図示及び記載されたが、添付の請求項の範囲を越えない変更がそれに対してなされてもよいことが当業者にとって直ちに明らかであろう。したがって、本開示の範囲は、以下の請求項によってのみ限定されることになる。請求項に記される参照番号は例証的でかつ特許庁による審査の容易さのためだけであり、いかなる形であれ限定するものではない。いくつかの実施形態において、本特許出願に提示される図は、角度、寸法の比率などを含め、一定の比率で描かれる。いくつかの実施形態において、図は代表的であるにすぎず、そして請求項は図の寸法によっては限定されない。いくつかの実施形態において、句「備える」を使用して本明細書に記載された本開示の記載は、「から成る」と記載され得る実施形態を含み、そのため、句「から成る」を使用した本開示の１つ又は複数の実施形態を特許請求するための記載要件が満たされる。
[0078]以下の請求項に記される参照番号はもっぱら本特許出願の検査の容易さのためであり、かつ例証的であり、いかなる形であれ請求項の範囲を図面において対応参照番号を有する特定の特徴に限定するものとは意図されない。

Claims (14)

  1. 複数の染料で染色された生物組織試料の多チャネル画像から色チャネルを分離する医用画像分析法であって、
    ａ．前記複数の染料から成る前記多チャネル画像を得るステップであり、各染料の前記色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ステップと、
    ｂ．前記局所焦点品質に基づいて前記多チャネル画像を複数の領域に分類するステップと、
    ｃ．前記多チャネル画像を前記領域に対応する複数の領域画像に分割するステップと、
    ｄ．各領域画像に対して、前記局所焦点品質に対して前記色チャネルに対応する複数の基準ベクトルを求めるステップであり、各基準ベクトルが各色チャネルと関連付けられる赤、緑及び青色成分から成る、ステップと、
    ｅ．前記領域画像に対して求められた前記基準ベクトルを使用して各領域画像を分離するステップであり、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
    ｆ．前記領域画像の前記個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップとを含む、方法。
  2. 前記焦点品質が、各画像画素に対してメトリックを計算することによって求められ、前記メトリックに閾値又は一組の閾値が適用され、前記複数の領域画像が、焦点内と分類される画素から成る第１の領域画像及び焦点外と分類される画素から成る第２の領域画像から成る、請求項１に記載の方法。
  3. 前記メトリックを計算するステップが、
    ａ．前記多チャネル画像から単一チャネル画像を作成するステップと、
    ｂ．前記単一チャネル画像をラプラシアン・ガウシアンフィルタでフィルタリングするステップと、
    ｃ．前記ラプラシアン・ガウシアンフィルタをメジアンフィルタで調整して、それによってフィルタリングされた画像という結果になるステップと、
    ｄ．前記フィルタリングされた画像での値が前記閾値を下回る前記多チャネル画像の画素を焦点外類に分類するステップと、
    ｅ．前記フィルタリングされた画像での値が前記閾値を上回る前記多チャネル画像の画素を焦点内類に分類するステップと、
    ｆ．任意の焦点内画素から調節可能な半径内の任意の画素を前記焦点内類に再分類するステップとをさらに含む、請求項２に記載の方法。
  4. 多チャネル画像から色チャネルを分離する方法であって、
    ａ．一緒に混合された複数の色チャネルから成る前記多チャネル画像を得るステップであり、各色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ステップと、
    ｂ．前記局所焦点品質に基づいて前記多チャネル画像を複数の領域に分類するステップと、
    ｃ．前記多チャネル画像を前記領域に対応する複数の領域画像に分割するステップと、
    ｄ．各領域画像に対して、前記局所焦点品質に対して前記多チャネル画像における色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる複数の色成分から成る、ステップと、
    ｅ．前記領域画像に対して求められた前記基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
    ｆ．前記領域画像の前記個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップとを含む、方法。
  5. 前記多チャネル画像を分類するステップが、
    ａ．前記多チャネル画像から複数の特徴画像を生成するステップと、
    ｂ．複数の特徴ベクトルを生成するステップであって、各特徴ベクトルが、各特徴画像における同じ位置で画素を選択し、そしてそれらを配列にまとめることによって形成される複数の画素から成る、ステップと、
    ｃ．前記特徴ベクトルを使用して前記画素を分類するステップと、
    ｄ．ごく近接する画素が同じ類に割り当てられるように正則化フィルタを適用して、それによって前記多チャネル画像を前記画素の前記割り当てられた類に対応する領域に分けるステップとをさらに含む、請求項４に記載の方法。
  6. 前記画素を分類するために、教師あり分類工程が活用され、前記教師あり分類工程が、
    ａ．一組の注釈付画像例を読み込むステップであって、個々の画素に純粋な染料の例として注釈が付けられ、前記注釈が前記画素に対する分類識別から成る、ステップと、
    ｂ．各画像例に対して複数の特徴画像を生成するステップと、
    ｃ．各注釈付画素に対して特徴ベクトルを生成するステップであって、前記特徴ベクトルが、各特徴画像における前記同じ位置で前記画素を選択することによって形成される前記複数の画素から成る、ステップと、
    ｄ．前記特徴ベクトルを前記注釈からの前記分類と組み合わせて一組の分類データを生成するステップと、
    ｅ．前記分類データを使用して教師あり学習アルゴリズムを訓練して、前記訓練データの前記特徴ベクトルを考慮して前記訓練データの前記分類を予測するステップと、
    ｆ．前記訓練された教師あり分類アルゴリズムを前記多チャネル画像における各画素の前記特徴ベクトルに適用して、それによって前記特徴画像における各画素に対して分類を生成するステップとを含む、請求項５に記載の方法。
  7. 前記画素を分類するために、非教師あり分類工程が活用され、前記非教師あり分類工程が、前記特徴画像における全ての画素の前記特徴ベクトルにクラスタリングマッピング工程を適用して前記多チャネル画像のクラスタマップを生成するステップを含み、各類が前記画像の前記クラスタマップの領域を表し、前記クラスタマップの前記同じ領域内の全ての画素が前記対応する類に割り当てられる、請求項５に記載の方法。
  8. 複数の染料で染色された生物組織試料の多チャネル画像から色チャネルを分離するための医用画像分析システムであって、
    ａ．画像取得及び記憶システムと、
    ｂ．前記画像取得及び記憶システムに作動的に結合されるプロセッサと、
    ｃ．前記プロセッサによって実行されると、前記プロセッサに、
    ｉ．前記画像取得及び記憶システムから、前記複数の染料から成る前記多チャネル画像を得るステップであって、各染料の前記色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ステップと、
    ｉｉ．前記局所焦点品質に基づいて前記多チャネル画像を複数の領域に分類するステップと、
    ｉｉｉ．前記多チャネル画像を前記領域に対応する複数の領域画像に分割するステップと、
    ｉｖ．各領域画像に対して、前記局所焦点品質に対して前記色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる赤、緑及び青色成分から成る、ステップと、
    ｖ．前記領域画像に対して求められた前記基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
    ｖｉ．前記領域画像の前記個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップと、を含む動作を行わせるデジタル符号化された命令を記憶するように構成される、前記プロセッサに作動的に結合されるメモリとを備える、システム。
  9. 前記焦点品質が、各画像画素に対してメトリックを計算することによって求められ、前記メトリックに閾値又は一組の閾値が適用され、前記複数の領域画像が、焦点内と分類される画素から成る第１の領域画像及び焦点外と分類される画素から成る第２の領域画像から成る、請求項８に記載のシステム。
  10. 前記メトリックを計算するステップが、
    ａ．前記多チャネル画像から単一チャネル画像を作成するステップと、
    ｂ．前記単一チャネル画像をラプラシアン・ガウシアンフィルタでフィルタリングするステップと、
    ｃ．前記ラプラシアン・ガウシアンフィルタをメジアンフィルタで調整して、それによってフィルタリングされた画像という結果になるステップと、
    ｄ．前記フィルタリングされた画像での値が前記閾値を下回る前記多チャネル画像の画素を焦点外類に分類するステップと、
    ｅ．前記フィルタリングされた画像での値が前記閾値を上回る前記多チャネル画像の画素を焦点内類に分類するステップと、
    ｆ．任意の焦点内画素から調節可能な半径内の任意の画素を前記焦点内類に再分類するステップとをさらに含む、請求項９に記載のシステム。
  11. 多チャネル画像から色チャネルを分離するための命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、プロセッサによって実行されると、前記プロセッサに、
    ｉ．画像取得及び記憶システムから、一緒に混合された複数の色チャネルから成る前記多チャネル画像を得るステップであり、各色チャネルの強さ又は強度が局所焦点品質に応じて異なる、ステップと、
    ｉｉ．前記局所焦点品質に基づいて前記多チャネル画像を複数の領域に分類するステップと、
    ｉｉｉ．前記多チャネル画像を前記領域に対応する複数の領域画像に分割するステップと、
    ｉｖ．各領域画像に対して、前記局所焦点品質に対して前記多チャネル画像の色チャネルに対応する複数の基準ベクトルを求めるステップであって、各基準ベクトルが各色チャネルと関連付けられる複数色成分から成る、ステップと、
    ｖ．前記領域画像に対して求められた前記基準ベクトルを使用して各領域画像を分離するステップであって、各領域画像を分離することが複数の個々の染料チャネル画像という結果になる、ステップと、
    ｖｉ．前記領域画像の前記個々の染料チャネル画像を各染料チャネルに対して組合せ染料チャネル画像に組み合わせて、それによって複数の組合せ染料チャネル画像を生成するステップと、を含む動作を行わせる、非一時的コンピュータ可読記憶媒体。
  12. 前記多チャネル画像を分類するステップが、
    ａ．前記多チャネル画像から複数の特徴画像を生成するステップと、
    ｂ．複数の特徴ベクトルを生成するステップであって、各特徴ベクトルが、各特徴画像における同じ位置で画素を選択し、そしてそれらを配列にまとめることによって形成される複数の画素から成る、ステップと、
    ｃ．前記特徴ベクトルを使用して前記画素を分類するステップと、
    ｄ．ごく近接する画素が同じ類に割り当てられるように正則化フィルタを適用して、それによって前記多チャネル画像を前記画素の前記割り当てられた類に対応する領域に分けるステップとをさらに含む、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記画素を分類するために、教師あり分類工程が活用され、前記教師あり分類工程が、
    ａ．一組の注釈付画像例を読み込むステップであって、個々の画素に純粋な染料の例として注釈が付けられ、前記注釈が前記画素に対する分類識別から成る、ステップと、
    ｂ．各画像例に対して複数の特徴画像を生成するステップと、
    ｃ．各注釈付画素に対して特徴ベクトルを生成するステップであって、前記特徴ベクトルが、各特徴画像における前記同じ位置で前記画素を選択することによって形成される前記複数の画素から成る、ステップと、
    ｄ．前記特徴ベクトルを前記注釈からの前記分類と組み合わせて一組の分類データを生成するステップと、
    ｅ．前記分類データを使用して教師あり学習アルゴリズムを訓練して、前記訓練データの前記特徴ベクトルを考慮して前記訓練データの前記分類を予測するステップと、
    ｆ．前記訓練された教師あり分類アルゴリズムを前記多チャネル画像における各画素の前記特徴ベクトルに適用して、それによって前記特徴画像における各画素に対して分類を生成するステップとを含む、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記画素を分類するために、非教師あり分類工程が活用され、前記非教師あり分類工程が、前記特徴画像における全ての画素の前記特徴ベクトルにクラスタリングマッピング工程を適用して前記多チャネル画像のクラスタマップを生成するステップを含み、各類が前記画像の前記クラスタマップの領域を表し、前記クラスタマップの前記同じ領域内の全ての画素が前記対応する類に割り当てられる、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
JP2018531638A 2015-12-18 2016-12-16 異なる取得性質を持つ画像を分離するシステム及び方法 Active JP6924761B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562269767P 2015-12-18 2015-12-18
US62/269,767 2015-12-18
PCT/EP2016/081329 WO2017103035A1 (en) 2015-12-18 2016-12-16 Systems and methods of unmixing images with varying acquisition properties

Publications (2)

Publication Number Publication Date
JP2019505041A JP2019505041A (ja) 2019-02-21
JP6924761B2 true JP6924761B2 (ja) 2021-08-25

Family

ID=57680242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531638A Active JP6924761B2 (ja) 2015-12-18 2016-12-16 異なる取得性質を持つ画像を分離するシステム及び方法

Country Status (6)

Country Link
US (1) US11062168B2 (ja)
EP (1) EP3391288B1 (ja)
JP (1) JP6924761B2 (ja)
AU (1) AU2016369355A1 (ja)
CA (1) CA3002902C (ja)
WO (1) WO2017103035A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11763538B2 (en) * 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus
US11107216B2 (en) * 2019-01-18 2021-08-31 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for microscopic image processing and determining myelination status using processed images
US10724956B1 (en) 2019-02-01 2020-07-28 Essen Instruments, Inc. Spectral unmixing
EP3719477B1 (en) * 2019-04-03 2023-01-18 Mecwins, S.A. Method for optically detecting biomarkers
CN111553272B (zh) * 2020-04-28 2022-05-06 上海市测绘院 基于深度学习的高分辨率卫星光学遥感影像建筑物变化检测方法
CN116264643A (zh) * 2021-12-13 2023-06-16 超威半导体(上海)有限公司 图像中的假彩色的检测
CN115311463B (zh) * 2022-10-09 2023-02-03 中国海洋大学 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116800B2 (en) * 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
JP4547869B2 (ja) * 2003-05-06 2010-09-22 ソニー株式会社 画像処理方法、および画像処理装置
WO2004111930A2 (en) 2003-05-30 2004-12-23 Rabinovich Andrew M Color unmixing and region of interest detection in tissue samples
JP2005056282A (ja) * 2003-08-06 2005-03-03 Sony Corp 画像処理方法、画像処理装置、およびプログラム
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
US7231097B2 (en) * 2003-12-16 2007-06-12 Searete, Llc Lens defect correction
US8643955B2 (en) * 2003-12-16 2014-02-04 The Invention Science Fund I, Llc Image correction using individual manipulation of microlenses in a microlens array
US7720289B2 (en) * 2005-12-14 2010-05-18 Mitsubishi Electric Research Laboratories, Inc. Method for constructing covariance matrices from data features
JP5281446B2 (ja) * 2008-06-05 2013-09-04 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8781250B2 (en) 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
US8571342B2 (en) * 2008-08-27 2013-10-29 Adobe Systems Incorporated Image processing and generation of focus information
JP2010169592A (ja) * 2009-01-23 2010-08-05 Olympus Corp 画像処理装置および画像処理プログラム
JP2011095225A (ja) * 2009-11-02 2011-05-12 Olympus Corp 画像処理装置、画像処理方法および顕微鏡システム
US8203114B2 (en) * 2009-05-14 2012-06-19 Raytheon Company Adaptive spatial-spectral processing (ASSP)
US8948488B2 (en) * 2009-07-31 2015-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US8831327B2 (en) 2011-08-30 2014-09-09 General Electric Company Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN)
US9607374B2 (en) 2011-11-10 2017-03-28 Cadess Medical Ab Color decomposition in histology
JP5995215B2 (ja) * 2012-05-14 2016-09-21 学校法人東京理科大学 癌細胞領域抽出装置、方法、及びプログラム
US10176579B2 (en) * 2013-03-15 2019-01-08 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
WO2014195193A1 (en) 2013-06-03 2014-12-11 Ventana Medical Systems, Inc. Image adaptive physiologically plausible color separation
CA2920492C (en) * 2013-09-30 2019-08-13 Ventana Medical Systems, Inc. Systems and methods for adaptive histopathology image unmixing
CN104200428B (zh) 2014-08-18 2017-07-18 南京信息工程大学 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法

Also Published As

Publication number Publication date
WO2017103035A1 (en) 2017-06-22
EP3391288B1 (en) 2023-07-12
US11062168B2 (en) 2021-07-13
CA3002902A1 (en) 2017-06-22
CA3002902C (en) 2023-05-09
EP3391288A1 (en) 2018-10-24
AU2016369355A1 (en) 2018-05-10
JP2019505041A (ja) 2019-02-21
US20180293456A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6924761B2 (ja) 異なる取得性質を持つ画像を分離するシステム及び方法
JP7458328B2 (ja) マルチ分解能登録を介したマルチサンプル全体スライド画像処理
JP7153095B2 (ja) 生体試料の複数の画像を表示するための画像処理システムおよび方法
US10706542B2 (en) Systems and methods for detection of structures and/or patterns in images
JP6763781B2 (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
US20200098105A1 (en) Methods and Systems for Assessing Cell Morphology
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
Razzak Malarial parasite classification using recurrent neural network
US20220366619A1 (en) Systems and methods to process electronic images to adjust attributes of the electronic images
Lezoray et al. Automatic segmentation and classification of cells from broncho alveolar lavage
WO2022259648A1 (ja) 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム
CA3216960A1 (en) Systems and methods to process electronic images to adjust stains in electronic images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210802

R150 Certificate of patent or registration of utility model

Ref document number: 6924761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150