JP6975177B2 - 生物学的対象物の検出 - Google Patents

生物学的対象物の検出 Download PDF

Info

Publication number
JP6975177B2
JP6975177B2 JP2018562623A JP2018562623A JP6975177B2 JP 6975177 B2 JP6975177 B2 JP 6975177B2 JP 2018562623 A JP2018562623 A JP 2018562623A JP 2018562623 A JP2018562623 A JP 2018562623A JP 6975177 B2 JP6975177 B2 JP 6975177B2
Authority
JP
Japan
Prior art keywords
superpixels
initial
image information
location
initial set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562623A
Other languages
English (en)
Other versions
JP2019522276A5 (ja
JP2019522276A (ja
Inventor
クリスティアン ヴァーエカンプ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019522276A publication Critical patent/JP2019522276A/ja
Publication of JP2019522276A5 publication Critical patent/JP2019522276A5/ja
Application granted granted Critical
Publication of JP6975177B2 publication Critical patent/JP6975177B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、一般に、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システム、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法、更には、処理ユニットを制御するためのコンピュータプログラム要素及びコンピュータ可読媒体に関する。
デジタルパソロジーは、ヒト又は動物の患者から取得される試料を含む病理スライド内で対象物を識別する難しいプロセスの自動化を増加させようとする。デジタルパソロジーは、採取ハードウェアの改良によって数ギガバイトのサイズの病理スライドを記録することを可能にしてきていることから難しい。こうしたスライドは、通常、医療専門家にとって何十万又は何百万の考えられる関心の対象物を含む。
デジタルパソロジー画像内の対象物の境界を検出する1つのアプローチは、いわゆる「シード領域(seed region)」の使用による。これらのシード領域は、通常、ピクセル強度解析とそれに続く形態画像処理ステップに基づく。初期シード領域がデジタル画像内で識別されると、対象物境界が探索され得る。これを行う典型的なアプローチは、動的輪郭モデル(ACM:Active Contour Model)を使用する。ACMは、デジタルパソロジー画像内の対象物の境界を正確に見出し得る。ACM技法は、考えられる関心の対象物の境界上に平滑性を与えることによって機能する。エネルギー最小化関数は、対象物の最終的な境界を見出すために使用され得る。
ACM法は一般に有用であり得るが、その成功は、選択される初期シード領域の品質及び境界の正確な強度パターンに依存する。「開細胞構造(open−cell structure)」を有する病理画像の場合、ACMアプローチは、正しい境界を常に見出すわけではない。更に、ACMは、常に計算効率的であるわけではなく、また、その理由で、相互作用的な対象物選択システムにとって良い選択ではない。
米国特許出願公開第2006/0050947(A1)号は、考えられる細胞核を識別する組織病理学的評価法を論じている。この方法は、単色画像データを導出する主成分分析と、それに続く、2値画像を作成するOtsuの閾値処理とを使用する。しかし、デジタルパソロジー画像処理法は、更に改良され得る。
第1の態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システムが提供される。診断支援システムは、処理ユニットを備える。
処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの初期セットの第1の形態変数を決定し、画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの初期セット及び更なるセットの結合体の第2の形態変数を生成し、初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第2の形態変数と第1の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
効果は、生物学的画像情報における輪郭検出の精度の改善である。その理由は、アプローチが、テキスチャー又は強度解析に基づくスーパーピクセルのグループ化に主に基づいていないからである。これは、例えば、デジタルパソロジー画像内の細胞核の検出の場合に有利である。デジタルパソロジー画像内に含まれると、細胞核は、細胞核を規定するエリア内で変動性の色及び強度領域を有するように見え得る。ACMアプローチは、核の境界を識別することに失敗する可能性がある。したがって、提案されるアプローチは、例えば、グループ化内の2つのスーパーピクセルが異なる色強度を有するか否かに依存しない。そのため、このアプローチによる診断システムの適用は、細胞核等の、非均一な色又はテキスチャー分布を有する生物学的対象物の境界のより正確な検出をもたらす。
本技法の別の効果は、スーパーピクセルがオフラインで予め計算され、それが、形状コンパクト化メトリックの効率的な評価を可能にすることである。こうして、計算効率的な核発見アルゴリズムが提供され、モバイルデバイス(例えば、スマートフォン等)上で、低レイテンシー相互作用モードで本技法が働くことを可能にし得る。したがって、画像情報内の生物学的対象物の輪郭は、計算効率的な方式で識別される。
本技法の別の効果は、色強度の大きな内部変動を有する核が確実に検出され得ることである。こうした核の境界は、より容易に検出される。その理由は、アプローチが、隣接するスーパーピクセルをグループ化するときに、強度又はテキスチャー基準ではなく、形態変数を検出用の基準として使用するからである。
第1の態様の一実施形態によれば、診断支援システムは、第1の態様に規定されるように提供され、入力ユニットを更に備える。
入力ユニットは、ユーザから初期ロケーションにスーパーピクセルを有する画像情報内の初期ロケーションの指示を受信するように構成され、処理ユニットは、初期ロケーションにおいて開始する探索アルゴリズムを適用することから得られる輪郭を規定するように更に構成される。
したがって、診断支援システムは、最適なアルゴリズム開始ポイントを識別するために、ユーザの助けを借りて生物学的対象物の輪郭を識別する。そのため、生物学的対象物、例えば、細胞核を見出すために、少数の計算サイクルが必要とされる。
第1の態様の一実施形態によれば、診断支援システムが提供され、処理ユニットは、ランダムプロセスを使用して初期ロケーションを生成するように更に構成され、スーパーピクセルの初期セットは、初期ロケーションにスーパーピクセルを有する。
したがって、画像情報内で生物学的対象物の輪郭を見出すためのアルゴリズムは、ユーザ入力なしで自動的に適用される。
第1の態様の一実施形態によれば、診断支援システムが上述したように提供され、処理ユニットは、初期ロケーション及び/又は更なるロケーションに探索エリアを設置することによって、スーパーピクセルの初期セット及び/又はスーパーピクセルの更なるセットを選択し、スーパーピクセルの初期セット及び/又は更なるセットを、初期ロケーション及び/又は更なるロケーションの探索エリアに接触するスーパーピクセル領域のセットとして選択するように更に構成される。
したがって、画像情報内で識別される生物学的対象物の輪郭を示すために取得される、スーパーピクセルのセットに含むための候補であるスーパーピクセルは、スーパーピクセルの境界が探索エリアに交差する場合に識別され得る。
第1の態様の一実施形態によれば、診断支援システムが提供され、処理ユニットは、画像情報内の探索エリアの設置を制限する探索経路を提供するために初期ロケーション及び更なるロケーションを選択するように更に構成され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの1つである。
したがって、より少数の計算ステップで生物学的画像情報内の更なるスーパーピクセルの識別の可能性がより高まり、又は、識別が可能になる。その理由は、異なる探索パターンが、或るタイプの生物学的画像情報において有利な特性を有するからである。特に、ランダムウォークは細長い核を見出す利点を有し、一方、外方に拡張する螺旋又は円パターンは、円形核を見出す利点を有する。
第1の態様の一実施形態によれば、診断支援システムが上述したように提供され、処理ユニットは、第2の形態変数が停止値に達するまで、又は、プリセットされた回数の反復が終了するまで、反復するように更に構成される。
したがって、第2の形態変数が停止値に達するまで反復が実施される場合、第2の形態変数の最適値が識別され、関心の生物学的対象物が画像情報内で識別されているという確実性をより高いものにできる。代替的に、プリセットされた回数の反復が終了している場合、画像情報内の対象物の第2の形態変数は、十分な回数の反復によって識別され、アルゴリズムの計算効率を改善し得る。
第1の態様の一実施形態によれば、診断支援システムが上記で論じたように提供され、処理ユニットは、複数の初期ロケーションを生成し、複数の初期ロケーションのそれぞれの各初期ロケーションから開始する画像情報内の生物学的対象物の複数の候補輪郭を規定し、複数の候補輪郭をユーザに表示し、複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信し、複数の候補輪郭及び選択された輪郭のサブセットに基づいて教師あり学習情報を生成するように更に構成される。
したがって、関心の生物学的対象物の多数の輪郭が、画像情報内で識別される。これらの輪郭はユーザに提示され、システムは、画像情報内の関心の生物学的対象物の輪郭の識別を改善するために自動化学習原理を適用する。
第1の態様の一実施形態によれば、診断支援システムが上述したように提供され、第1の形態変数は初期セットの等周商(等尺度商、isoperimetric quotient)であり、第2の形態変数は、初期セット及び更なるセットの結合体の等周商である。
等周商は、形状コンパクト化の尺度である。隣接するスーパーピクセル対についてエッジ長を予め計算し記憶することによって、輪郭の識別が効率的に行われる可能性があり、そのことは、画像ファイルが極端に大きく、識別される生物学的対象物の輪郭の数が同様に大きいときに、特に重要である。
第1の態様の一実施形態によれば、第1の形態変数は初期セットの境界曲率であり、第2の形態変数は、初期セット及び更なるセットの結合体の境界曲率である。任意選択で、境界曲率は、初期セット及び/又は更なるセットの輪郭上の全てのポイントにわたって境界曲率を加算することによって見出される。
第1の態様の一実施形態によれば、診断支援システムが上記で述べたように提供され、画像情報は組織試料の顕微鏡画像を含み、輪郭は細胞核の壁に対応する。
したがって、デジタルパソロジー画像は、細胞核画像についてずっと効率的に探索される。
第2の態様によれば、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法が提供される。画像処理方法は、
a)スーパーピクセルに分割されている画像情報を受信するステップと、
b)画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択するステップと、
c)スーパーピクセルの初期セットの第1の形態変数を決定するステップと、
d)画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
e)スーパーピクセルの初期セット及び更なるセットの結合体の第2の形態変数を生成するステップと、
f)初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第2の形態変数と第1の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
したがって、画像情報内の生物学的対象物の輪郭、例えば、細胞核の壁の輪郭の識別を、より大きな計算効率で可能にする画像処理方法が提供される。
第2の態様の一実施形態によれば、上記第2の態様による画像処理方法が提供され、ステップb)及び/又はステップd)にて、スーパーピクセルの初期セット及び/又はスーパーピクセルの更なるセットの選択は、
b1)初期ロケーション及び/又は更なるロケーションに探索エリアを設置すること、
b2)スーパーピクセルの初期セット及び/又は更なるセットを、初期ロケーション及び/又は更なるロケーションにおいて探索エリアに接触するスーパーピクセル領域のセットとして選択すること
に基づく。
第2の態様の一実施形態によれば、第2の態様又はその実施形態に従って論じられる画像処理方法が提供され、第1の形態変数は初期セットの等周商であり、第2の形態変数は、初期セット及び更なるセットの結合体の等周商である。
第2の態様の一実施形態によれば、上述した第2の態様又はその実施形態のうちの1つによる画像処理方法が提供され、初期ロケーション及び更なるロケーションは、画像情報内の探索エリアの設置を制限する探索経路を提供するために選択され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円周長のセットのうちの1つである。
第3の態様によれば、第1の態様又はその実施形態において規定される処理ユニット及び/又はデバイスを制御するためのコンピュータプログラム要素が提供され、コンピュータプログラム要素は、処理ユニット及び/又はコンピュータによって実行されると、第2の態様又はその実施形態の方法を実施するように適合される。
第4の態様によれば、第3の態様のコンピュータプログラム要素を記憶したコンピュータ可読媒体が提供される。
したがって、例えば、組織病理スライドから取得される、スーパーピクセルに分割されている生物学的対象物のデジタル画像情報を受信することが基本的な考えとしてわかる。そして、スーパーピクセルに分割されているデジタル画像情報において、生物学的対象物、例えば、細胞核の輪郭を検出することが提案される。検出は、形態変数の値がどれだけ変化したかに応じて、生物学的画像情報内のスーパーピクセルを共に連続的にグループ化することによって実施される。形態変数は、スーパーピクセルの所与のグループ化について決定される。
以下の説明において、用語「生物学的対象物の輪郭(contour of a biological object)」は、画像の或るロケーションにおいて細胞核等のアイテムの境界を規定する、デジタル画像情報内で検出可能な差を意味する。細胞核の場合、単一核は、例えば、円の、楕円の、又はその他の等、変動性の形状を有する。核のサイズは変動する。上皮細胞の核は、例えば、浸潤免疫細胞の核よりずっと大きい(5倍まで大きい)可能性がある。したがって、輪郭は、細胞核等の生物学的対象物の内部と外部とを識別し得る、生物学的に導出されるデジタル画像情報内の任意の線である。こうした線は、更に、バースト核に対応する「破断(broken)」(不連続)線である。
以下の説明において、用語「画像情報(image information)」は、デジタル情報であって、適切な画像化規格に従ってレンダリングされると、生物学的対象物を示すディスプレイ画像のピクセルを提供するために再び1つにまとめられ得る、デジタル情報を指す。画像情報は、例えば、RAW規格に従って圧縮される。画像情報は、BITMAP又はJPEG形式であり、他の形式が当業者に知られている。
以下の説明において、用語「スーパーピクセル」は、スーパーピクセル分割アルゴリズムを使用して隣接領域として規定されている画像情報内のピクセルの隣接領域を指す。こうしたアルゴリズムは、デジタル画像情報を、例えば、色及び/又はテキスチャーの点で空間的に均一である領域に区分化するために使用される。高分解能において、細胞核は、例えば、ヘマトキシリン・アンド・エオジン(H&E:haematoxylin and eosin)画像において明瞭に見える。スーパーピクセル分割は、H&E画像内の細胞核の部分を分割し認識するのに役立ち得る。換言すれば、スーパーピクセルは、生物学的画像情報ピクセルのセット内で、均一な色及び/又はテキスチャーを有するピクセルの隣接サブセットである。
以下の説明において、用語「探索エリア(search area)」は、画像情報の幾つかのスーパーピクセルをオーバラップし得る又は1つのスーパーピクセルを覆うだけである画像情報の部分を指す。代替的に、「探索エリア」は、探索ローカスと考えられる。スーパーピクセルの境界が探索ローカスに交差する場合、探索エリアは、同様に、スーパーピクセルに「接触している」と考えられる。
以下の説明において、用語第1及び第2の「形態変数(morphological variable)」は、スーパーピクセル又はスーパーピクセルのセットの形状に関する情報を与えるメトリックを規定する。
以下の説明において、用語「形状コンパクト化」は、形状の面積をその形状の周長で割ったものを示す数量を指す。非常に異なる半軸を有する楕円(偏心楕円)は低い形状コンパクト化を有すると規定され、一方、完全な円は高い形状コンパクト化を有する。こうしたメトリックは、全ての幾何学的形状に適用可能であり、スケール及び/又は配向に無関係である。一般的なコンパクト化尺度は等周商である。これは、或る形状の面積と、同じ周長を有する円の面積との比である。
例示的な実施形態を、以下の図面を参照して説明する。
スーパーピクセル領域への変換の前と後での、シミュレートされた生物学的画像情報のセットを示す図である。 第1の態様による診断支援システムを示す図である。 一例による探索アルゴリズムの働きを示す画像のシーケンスを示す図である。 探索パターンの特定の例を示す図である。 提案される探索アルゴリズムの例を使用した典型的な結果を示す図で 第2の態様による方法を示す図である。 診断支援システムの適用を示す図である。 診断支援システムのクライアント・サーバ適用を示す図である。
核検出は、H&E画像について、また免疫組織化学染色(IHC:immunohistochemistry)画像について共に難しい問題である。典型的なアプローチは、細胞核の境界を正確に規定するために、画像強度を使用して初期ロケーションを検出し、輪郭ロケーション及び形状を初期化し、動的輪郭モデル(ACM)を適用することである。このアプローチは、有用な核候補が既に検出されていることを仮定する。更に、候補核からの核の最終境界は、エネルギー最小化関数によって表現されるように、平滑性を境界に与えることによって見出され得るだけである。
このアプローチは、頑健性又はアルゴリズムの効率の点で好ましい解決策ではない。ACMアプローチにおける輪郭の初期化は、解析下の細胞が開構造からなるとき、換言すれば、細胞又は核の異なる部分が、例えば、細胞質の浸潤によって非常に異なる色強度を有するとき、困難に遭遇し得る。
こうした場合、従来技術のアプローチは、核等の生物学的対象物の輪郭を検出することに失敗する。その理由は、初期シード領域が、ACM初期化ステップのために不利に位置決めされる、又は、考えられる初期シード領域が全く検出されないからである。換言すれば、細胞核等の生物学的対象物は、しばしば変動性形状を有する。生物学的対象物は、サイズが変動し、内部テキスチャー及び色の変動を示すので、ACMアルゴリズムを適用すると、不正確な境界を見出す機会の増加をもたらす。
上記問題を解決するアプローチは、上述した態様に従って提供される。そのアプローチは、画像情報内の生物学的対象物の輪郭を識別するための画像処理方法である第2の態様に従って最初に導入されるであろう。
第2の態様による方法は、
a)スーパーピクセルに分割されている画像情報を受信するステップと、
b)画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択するステップと、
c)スーパーピクセルの初期セットの第1の形態変数を決定するステップと、
d)画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
e)スーパーピクセルの初期セット及び更なるセットの結合体の第2の形態変数を生成するステップと、
f)初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第2の形態変数と第1の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
したがって、検出は、画像情報内の生物学的対象物のエリアの色又はテキスチャー特性に依存しない。代わりに、検出は、スーパーピクセルがセットに連続して付加されるため、スーパーピクセルのグループの形状コンパクト化に依存する。
以下、画像処理アプローチの原理を、第2の態様の方法から説明する。
図1a)は、組織病理スライドから取得された典型的な未処理デジタル画像情報の合成インプレッションを示す。図1a)は、例えば、免疫細胞核12並びに14及び16等の上皮細胞核等の複数の生物学的対象物を有する組織病理スライド10を示す。上皮細胞核14及び16は、異なるサイズ及びテキスチャーを有する複数の対象物を含む。カラー画像において、核の内部の対象物は、同様に異なる色を有する。
図1b)は、図1a)の画像情報の結果として得られるスーパーピクセル分割を示す。色、テキスチャー、及びサイズが異なる結果として、核本体は、図1b)において14a及び16aに見られるように、生物学的画像情報に適用されたスーパーピクセル分割アルゴリズムを使用して、スーパーピクセルのグループに区分化される。多くの核が核の内部で色強度及びテキスチャーの大きな変動を示すため、色又はテキスチャー類似度尺度のみに基づいて近傍のスーパーピクセルをグループ化することが、一般に、核14及び16の確実な識別を可能にしないことに留意されたい。
有効な細胞核境界を得るために、新しいスーパーピクセルグループ化アプローチを適用することが提案されている。スーパーピクセル分割アルゴリズムを使用して分割されている生物学的画像情報が受信された後、細胞核境界14、16、例えば、14a及び16aの周りのスーパーピクセル領域に対応するデジタル画像情報内のスーパーピクセルのセットは、通常、デジタル画像情報10の別の部分(part)内のスーパーピクセルの任意の他のセットよりコンパクトな形状を形成する。したがって、デジタル画像情報10のスーパーピクセル分割においてスーパーピクセルの複数のセットの形状コンパクト化を評価し、有意の形状コンパクト化をもたらすスーパーピクセルのセットを、デジタル画像情報の領域を細胞核として規定するスーパーピクセルのセットであるとして規定することが提案されている。
形態変数として使用され得る形状コンパクト化の1つの尺度は、いわゆる等周商であるが、他の形状コンパクト化尺度が適用される可能性があることを当業者は理解するであろう。
形態変数として使用され得る、形状を記述するための代替の尺度は、スーパーピクセル又はスーパーピクセルのセットの境界曲率である。輪郭上の全てのポイントにわたって境界曲率を加算することによって、単一の積分値が得られ、その値が同様に、形状を記述することになる。
2次元形状の場合、等周商は、その面積と、同じ周長を有する円の面積との比として規定される。等周商の式は、(1)に規定される:
Figure 0006975177
変数Aは2次元形状の面積を示し、Lは2次元形状の周長である。形状コンパクト化qは領域[0,1]に存在する。
したがって、非常に長い形状は、0に近いqを有することになり、一方、円の場合、q=1である。本出願において、第1の形態変数はスーパーピクセルの初期セットの形状コンパクト化であり、第2の形態変数はスーパーピクセルの更なるセットの形状コンパクト化である。しかし、第1及び第2の形態変数を評価するための他のメトリックが存在することが認識されるであろう。
特に、現在のところ述べられている技法が2次元デジタル画像事例に限定されず、実施形態が、例えば球形度等の形状コンパクト化尺度を使用して3次元生物学的画像情報に適用され得ることに留意されたい。
したがって、形状コンパクト化を評価するために形態変数として等周商を使用することは、好ましいが不可欠でない。
qの低い値を有するスーパーピクセルの別のセットと比べてqの高い値を有するスーパーピクセルの1つのセットを選択することは、探索アルゴリズムの構築についての基礎である。スーパーピクセルの候補セット(提案グループ化)を形成することに対する多くの異なるアプローチが存在する。アルゴリズムの共通要素は、スーパーピクセルのセットが、形状コンパクト化qを最大にする目的で修正されることである。任意選択で、スーパーピクセルのセットにおける探索は、最大反復においてqが十分に高いとき、又は、何らかの他の停止基準が満たされるときに、終了する。
第2の態様による本アルゴリズムの探索プロシージャの詳細な例をここで提供する。
形式上、Sが、その結合体が細胞核を規定するにちがいないスーパーピクセル領域のセットを示すとする。デジタル画像情報内の初期入力ロケーション(x,y)が提供される。初期セットSは、ロケーション(x,y)に探索エリア(半径Rを有する円等の形状である)を設置することによって始動される。
スーパーピクセルが探索エリア内に存在するまた探索エリア内に存在しないことの識別は、多くの異なるやり方で決定される。例えば、或るスーパーピクセル内に含まれるピクセルが探索エリア内に存在する場合、その或るスーパーピクセル全体が、初期セット内にあるとして指定され得る。別の例として、スーパーピクセルの境界が探索エリアに交差する場合、境界のいずれかの側のスーパーピクセルが初期セット内にあるとして指定され得る。
この例において、その境界が探索エリアに交差(接触)する全てのスーパーピクセル領域は、セットSに付加される。
初期セットSについて、Sの形状コンパクト化を示す第1の形態変数が計算される。例えば、初期セットSのスーパーピクセルであると規定される形状の面積は、初期セットS内のピクセルの数を計数することによって計算される。例えば、初期セットSの周長は、初期セットSの境界上に存在するピクセルの数を計数することによって計算される。一例として、qは、上記(1)に従って計算され、初期セットSの等周商qを見出す。もちろん、A及びlの値を評価する他の方法が考えられる。
これは、関連する形状コンパクト化qを第1の形態変数として有する初期セットSをもたらす。
更なるステップにて、ロケーション(x,y)の後続の探索エリア(この例では、円)が、初期入力ロケーション(x,y)の近くに設置される。
ここで、Sが、後続の探索エリアに交差する全てのスーパーピクセル領域のセットを示すとする。第2の形態変数(例えば、等周商のような形状コンパクト化尺度)が、セットS及びセットSの結合体について見出される。
第1の形態変数及び第2の形態変数が、その後比較される。第2の形態変数が第1の形態変数より大きい場合、Sは、セットS及びセットSの結合体として再規定される。第2の形態変数が第1の形態変数と比較して一定のままである又は減少する場合、この例では、Sは修正されない。いろいろな停止基準が設けられることが当業者によって認識されるであろう。
探索エリアは、好ましくは、核を見出す良好な尤度を可能にするように設計される予め規定された探索パターン内に付加される。探索パターンの幾つかの実装は、後で論じられるであろう。
図2は、第2の態様による方法を示す。
図3a)〜図3f)は、上述したアプローチによるデジタル画像情報における核検出シーケンスの反復を示す。
図3a)は、小さな細胞核21a、21b、及び21cによって囲まれるデジタル画像情報内の細胞核20、並びに細胞外マトリックス領域19a及び19bを示す。デジタル画像情報は、前もってスーパーピクセルA〜Rに分割されている。
スーパーピクセルC及びEは、核内境界である。この場合、スーパーピクセル分割アルゴリズムは、核エリアの内部に付加された領域C及びEを有し、細胞核20を正しく規定するプロセスを更に複雑にする。
この例で関心を引くのは、細胞核20の輪郭である。これは、細胞核20の境界を示す。
図3b)は、探索法の最初の反復を示す。画像情報における初期ロケーションは、(例えば、ユーザ又は初期開始ロケーションのランダム設置によって)22に規定されている。第1の探索エリア24(この場合、円探索エリア)の境界は、この場合、点線で示されている。
スーパーピクセルの初期セットは、領域A、B、及びDとして規定され、領域A、B、及びDは全て、第1の探索エリア24に接触するスーパーピクセルエリアを有する(換言すれば、スーパーピクセル境界が探索エリアに交差する)。スーパーピクセルA、B、及びDは、スーパーピクセルの初期セットとして規定される。
A、B、及びDの境界は、太線26で規定される。分割されているC及びEが、核境界20の内部に含まれるスーパーピクセルであることに留意されたい。しかし、第1の探索エリア24は、C及びEの境界に接触しない。したがって、その周長ではないがC及びEの面積が、A、B、及びDの境界26の形状コンパクト化を計算するために使用される。初期セットA、B、及びDの形状コンパクト化は、A、B、及びDの面積、並びにA、B、及びDの総周長を使用して第1の形態変数として生成される。
図3c)は、デジタル画像情報内の第2の開始ロケーション26の後続の設置を有する後続の反復を示し、第2の開始ロケーション26に、第2の探索エリア27(この場合、円)が中心を持つ。探索エリア27はスーパーピクセルF及びDに接触する。そのため、F及びDは、スーパーピクセルの更なるセットを形成する。したがって、スーパーピクセルの初期セット及び更なるセットの結合体は、太線28で示す周長を有するA、F、D、及びBである。スーパーピクセルの初期セット及び更なるセットの結合体(A、F、D、及びB)の第2の形態変数が、その後、生成される。セットA、F、D、及びBの形状コンパクト化がA、B、及びDの形状コンパクト化より大きいため、第2の形態変数は第1の形態変数より大きく、セットA、F、D、及びBは、一時的に細胞核20の輪郭の最も適した推定値であると規定される。
図3d)は、第3の初期ロケーション30に中心を持つ第3の探索エリア32が設置されている後続の反復を示す。第3の探索エリア32は、スーパーピクセルB、D、及びEに接触する。したがって、スーパーピクセルEがスーパーピクセルの更なるセットに付加される。スーパーピクセルのこの更なるセットの第3の形態変数が計算される。この場合、第3の形態変数は増加する。
図3e)は、第4の初期ロケーション36に中心を持つ第4の探索エリア34が付加されている後続の反復を示す。第4の探索エリアを付加することが、細胞核20の形状コンパクト化の更なる増加をもたらすことが見られ得る。
図3f)は、第5の初期ロケーション40に中心を持つ探索エリア38が設置される後続の反復を示し、更なるセット(スーパーピクセルG及びHを有する)と現在の初期セット(スーパーピクセルA〜Fを有する)との結合体を含む形態変数を生成させる。細胞核20の境界の外の大きなスーパーピクセルG及びHの更なるセットの付加が、形状コンパクト化の劇的な減少をもたらすことが見られ得る。その理由は、スーパーピクセルG及びHの特別な長さ(全長は示されない)が、スーパーピクセルG及びHの特別な面積よりずっと大きいからである。
したがって、最初の4つの円の設置の場合に、最終的な候補核領域境界を提供するこの状況における最適形状コンパクト化に達する。
図3の例は、初期開始ロケーションから増加する距離に設置された、外方に成長する円のパターンに従って連続する探索エリアを設置した。
図4a)は、ロケーション(x,y)が第1の初期ロケーションであり、探索エリアが初期ロケーションに中心を持つ円であるオプションの探索パターンを示す。
図4b)は、探索経路44が、長方形パターンに制限されるのではなく、代わりに、円形探索エリアが中心を持つ初期ロケーション(x,y)で開始する外方螺旋(カタツムリの殻)パターンに追従する別のオプションの探索パターンを示す。
図4c)は、探索エリアがその上で生成されるランダム経路46を示す。ランダム経路は、例えば、「ランダムウォーク(random walk)」アルゴリズムを使用して初期ロケーション(x,y)から開始して生成される。
多くの他の探索経路が探索アルゴリズムにおいて設けられることが当業者に明らかになるであろう。
多くの異なる形状の探索エリアが、実施形態に従って設けられる。例えば、円である代わりに、探索エリアは、正方形、長方形、又は三角形である。任意選択で、探索エリアの直径は、アルゴリズムが進行するにつれて連続ステップで増加する。代替的に、探索エリアの直径は、アルゴリズムが進行するにつれて減少する。これは、特定の核タイプに対するアルゴリズムのカスタム化を可能にする。
方法の一実施形態において、ステップa)にて、スーパーピクセルに分割されている画像情報が受信される。スーパーピクセルへの画像の分割が、画像処理においてよく知られている前処理ステップであることを当業者は認識するであろう。それは、細胞膜、細胞質、及び細胞核等の組織部分の検出に対する幾つかの代替のアプローチのうちの1つのアプローチである。スーパーピクセル分割アプローチは、近傍ピクセルが、同様の特性を有しており、スーパーピクセルにグループ化されクラスター化され、更なる解析のためにデータの量を効率的に減少させ得ることを仮定する。
任意選択で、一実施形態において、スーパーピクセルに分割されていないデジタルパソロジー画像情報を受信し、受信されたデジタルパソロジー画像情報を、方法のステップa)で使用するための画像情報に分割する初期ステップが存在する。
したがって、一実施形態によれば、画像処理方法が提供され、ステップb)及び/又はステップd)にて、スーパーピクセルの初期セット及び/又はスーパーピクセルの更なるセットの選択は、
b1)初期ロケーション及び/又は更なるロケーションに探索エリアを設置すること、
b2)スーパーピクセルの初期セット及び/又は更なるセットを、初期ロケーション及び/又は更なるロケーションの周りで探索エリアに接触するスーパーピクセル領域のセットとして選択すること
に基づく。
一実施形態によれば、第1の形態変数は初期セットの等周商であり、第2の形態変数は、初期セット及び更なるセットの結合体の等周商である。
一実施形態によれば、第1の形態変数は初期セットの境界曲率であり、第2の形態変数は、初期セット及び更なるセットの結合体の境界曲率である。任意選択で、境界曲率は、初期セット及び/又は更なるセットの輪郭上の全てのポイントにわたって境界曲率を加算することによって見出される。
一実施形態によれば、初期ロケーション及び更なるロケーションは、画像情報内の探索エリアの設置を制限する探索経路を提供するために選択され、探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円周長のセットのうちの1つである。
一実施形態によれば、
a1)ユーザインタフェースを介して、初期ロケーションの指示を受信する
更なるステップが提供され、
ステップb)にて、スーパーピクセルの初期セットは、初期ロケーションのスーパーピクセルを有する。
ユーザによる初期位置の選択は、良好な候補開始位置が迅速に見出されることを可能にする。好ましくは、ユーザインタフェースはタッチスクリーンである。そして、ユーザが、タッチスクリーンを使用して画像情報の周りで「スクロール(scroll)」し、初期ロケーションの指示を画像情報内の関心ロケーションに設置することが可能である。
任意選択で、ユーザは複数の初期位置を設置する。任意選択で、ユーザインタフェースは、コンピュータマウスポインタ、キーボード、又はコンピュータトラックパッドである。
一実施形態によれば、
b3)ランダムプロセスを使用して初期ロケーションを生成する更なるステップ
が提供される。ステップb)にて、スーパーピクセルの初期セットは初期ロケーションのスーパーピクセルを有する。
したがって、アルゴリズムは、ユーザ監視なしで開始され得る。
一実施形態によれば、ステップa)〜ステップf)は、第2の形態変数が停止値に達するまで、又は、プリセットされた数の反復が終了するまで、反復して繰返される。
したがって、第1の場合に、例えば、真正の核が識別されていることを保証するために、アルゴリズムが停止する前に特定の形状因子又は形状因子範囲が必要とされる。代替的に、アルゴリズムは、処理サイクルを節約するために、或るタイプの組織病理コンテキストに特有の或る数の反復後に停止する。
一実施形態によれば、
g)複数の初期開始位置からステップa)〜ステップf)を繰返す更なるステップであって、したがって、複数の候補輪郭を識別する、繰返す更なるステップと
g1)複数の候補輪郭をユーザに表示する更なるステップと、
g2)複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信する更なるステップと、
g3)複数の候補輪郭及び選択された輪郭のサブセットに基づいて教師あり学習情報を生成する更なるステップと
が提供される。
等周商は、こうした核に対する良好な基準を提供するが、アプローチは、複数の候補核を生成することによって更に改善され得る。例えば、単一ピクセルにおいて、そこから選択すべき異なる核境界が存在する。
したがって、候補核のセットから真の境界を抽出するために教師あり学習アプローチを提供することが、一実施形態において同様に提案される。これの利点は、候補核が、しばしば既に正しい分割を可能にし、それにより、核境界吸収特徴及びサイズ特徴が最終分類タスクにおいて正確に評価され得ることである。
一実施形態によれば、
h)ユーザインタフェース上で輪郭を表示する更なるステップ
が提供される。
更なる態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成されるユーザインタフェースが設けられる。ユーザインタフェースは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおける画像情報内のスーパーピクセルの初期セットのユーザ選択を可能にし、ユーザ選択を処理ユニットに通信するように構成される。
ユーザインタフェースは、初期セット及び更なるセットの結合体が、初期セットと比較して増加した形状コンパクト化を有することを、処理ユニットによる第2の形態変数と第1の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭を表示するように更に構成される。
ユーザインタフェースは、例えば、タッチパッドディスプレイ又はPCモニターを備える。
したがって、識別された輪郭は、例えば、更なる検査を可能にするために、識別された輪郭を強調することができるように、識別された輪郭を独特の色で色付けすることによって、ユーザに対してハイライトされ得る。
任意選択で、識別された輪郭は、より多くの候補輪郭が発見されるにつれて、表示される生物学的画像情報内で「存続する(persist)」ように配置される。任意選択で、識別された輪郭は、ユーザがユーザインタフェースを使用して画像の周りでスクロールするにつれて、表示される生物学的画像情報内で「存続する」ように配置される。任意選択で、輪郭がタッチスクリーン上に表示されるときの、輪郭上でのタッピング等の作動事象は、輪郭を視野から隠ぺいさせる。任意選択で、核等のターゲット対象物のように形作られたユーザインタフェースのエリア上でのタッピングは、輪郭を表示させる。
第2の態様の一実施形態によれば、ユーザインタフェースは、タッチスクリーンが画像情報を表示しているタッチスクリーン表面上でのタップ等の作動事象を受信する。タップは、第2の態様の上述した方法を使用して輪郭の探索を始動し、初期ロケーションは、タッチスクリーン上のタップが行われたロケーションによって提供される。輪郭は、上述したアプローチを使用して識別されると、ユーザに表示される。こうして、ユーザインタフェースは、スーパーピクセルを含む初期画像情報から輪郭を「要求に応じて(on demand)」応答しかつ迅速に生成するように構成される。
一実施形態によれば、ユーザインタフェースは、ユーザが画像情報の視野の周りで「パンニングする(panning)」ことを示す、タッチパッド上の指スワイプ又はマウス移動等の追跡情報を受信する。その後、自動アプローチを通して、視野内の複数の候補ロケーションが識別される。任意選択で、候補ロケーションはランダムに識別される。任意選択で、候補ロケーションは、画像情報内の色及び/又はテキスチャー情報に基づいて候補開始ロケーションを識別するシーディングアルゴリズムに従って識別される。その後、複数の候補核、好ましくは全ての核は、「目下の(current)」視野内で識別される。
そのため、ユーザが周りをスクロールすると、スーパーピクセルを含む視野内の輪郭を生成することが可能である。論じたように、輪郭発見アプローチの計算効率は、ヒューマングラフィカルユーザインタフェース(GUI)相互作用において重要な考慮事項である低レイテンシーで輪郭が生成されることを可能にする。
一実施形態によれば、画像情報は組織試料の顕微鏡画像であり、輪郭は細胞核の壁に対応する。
一実施形態によれば、画像情報は組織試料の顕微鏡画像であり、輪郭は破断した細胞核の壁に対応する。
図5a)及び図5b)は、合成H&E画像を示す。色類似度が基準として使用されなかったため、異なる色を有するスーパーピクセルがグループ化された。
図5a)にて、収束したアルゴリズム結果を規定する淡い色の線によって見られるように、0.58の比較的高い形状コンパクト化が達成された。この輪郭は、形状コンパクト化が比較的高いため受容されることになる。
図5b)は、核49から「逃げる(escaping)」線47によって見られるように、アルゴリズムが、0.33の形状コンパクト化、比較的低い結果に収束した状況を示す。この境界は、形状コンパクト化が低いため排除される。
第1の態様によれば、画像情報内の生物学的対象物の輪郭を識別するように構成される診断支援システム50が提供される。診断支援システムは、処理ユニット52を備える。
処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、画像情報内の初期ロケーションにおいて画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの初期セットの第1の形態変数を決定し、画像情報の更なるロケーションにおいてスーパーピクセルの初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの初期セット及び更なるセットの結合体の第2の形態変数を生成し、初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第2の形態変数と第1の形態変数との比較が示す場合、画像情報内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
図6は、第1の態様による診断支援システムを示す。診断支援システム50は処理ユニット52を備える。
任意選択で、診断支援システムは、パーソナルコンピュータ等のデスクトップコンピューティングデバイスとして具現化される。代替的に、診断支援システムは、「iPad(登録商標)」又はスマートフォン等のタッチスクリーンコンピューティングデバイスとして具現化される。任意選択で、診断支援システムは、「クラウドコンピューティング(cloud computing)」システム内のサーバとして具現化される。
処理ユニット52は、画像情報に関する演算を実施することが可能な多くのデジタル処理デバイスのうちの1つである。例えば、処理ユニット52は汎用中央処理ユニット(CPU)である。代替的に、処理ユニットは、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)である。任意選択で、処理ユニット52は、グラフィクス処理ユニット(GPU)である。任意選択で、処理ユニット52は、上記で挙げた要素の組合せである。こうして、画像情報内の生物学的対象物の輪郭の識別は、より計算上好適なデバイスに「オフロード(offload)」される。
図7は、複数の試料スロット56及び1つの相互作用的ユーザインタフェース54を備えるデジタルヒストパソロジー機械55を示す。任意選択で、デジタルヒストパソロジー機械55はPC60に接続され、PC60は、輪郭識別操作の結果をディスプレイスクリーン62上に表示する。したがって、デジタルヒストパソロジー結果は、試料が機械に入れられた後に迅速に解析される。
上記で論じた輪郭識別を使用して可能な計算の複雑さの低減は、「クライアント−サーバ(client−server)」方式での画像処理の区分化を可能にする。スーパーピクセル生成アプローチは、一般に、比較的計算集約的である。
代替的に、本明細書で詳述される輪郭発見アルゴリズムは、計算の複雑さが比較的小さい。そのため、1つのアプローチは、好適な計算集約型ハードウェアを有する第1のデバイス上でスーパーピクセル発見ステップを前処理し、スーパーピクセルを有する画像情報を、輪郭を見出し表示する第2のデバイスに提供することであり、これは、第2のデバイスが重い計算負荷を担う必要性を低減する。
そのため、第1の更なる態様によれば、デジタルパソロジー画像を処理するサーバ側方法が提供される。方法は、
SP)デジタルパソロジー画像化情報を受信するステップと、
SQ)スーパーピクセル構成アルゴリズムをデジタルパソロジー画像化情報に適用することであって、したがって、スーパーピクセル画像を提供する、適用するステップと、
SR)スーパーピクセル画像を、診断支援システムを備えるクライアント側デバイスに送信するステップと
を有する。
任意選択で、サーバ側方法は、デジタルパソロジー機械57の内部に設けられる。代替的に、サーバ側方法は、デジタルパソロジー機械から、データベースへ、又は、スーパーピクセルの生成が行われる「クラウド(cloud)」コンピューティングサービスへの画像の暗号化されたアップロードを実現する。
第2の更なる態様によれば、デジタルパソロジー画像を処理するクライアント側方法が提供される。方法は、
CA)サーバ側デバイスにおいてスーパーピクセルに分割されているスーパーピクセル画像を受信するステップと、
CB)スーパーピクセル画像内の初期ロケーションにおいてスーパーピクセル画像内のスーパーピクセルの初期セットを選択するステップと、
CC)スーパーピクセルの初期セットの第1の形態変数を決定するステップと、
CD)画像情報内の更なるロケーションにおいてスーパーピクセルの初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
CE)スーパーピクセルの初期セット及び更なるセットの結合体の第2の形態変数を生成するステップと、
CF)初期セット及び更なるセットの結合体が、増加した形状コンパクト化を有することを第2の形態変数と第1の形態変数との比較が示す場合、スーパーピクセル画像内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するステップと
を有する。
第3の更なる態様によれば、サーバ側通信装置が設けられ、サーバ側通信装置は、第1の更なる態様の方法に従って、スーパーピクセル画像を、診断支援システムを備えるクライアント側デバイスに送信するように構成される。任意選択で、スーパーピクセル画像は、クラウドサーバから暗号化形式でダウンロードされる。
第4の更なる態様によれば、クライアント側通信装置が設けられ、クライアント側通信装置は、第2の更なる態様の方法に従って、サーバ側デバイスにおいてスーパーピクセルに分割されているスーパーピクセル画像を受信し、スーパーピクセル画像内の生物学的対象物の輪郭をスーパーピクセルの初期セット及び更なるセットの結合体の境界として規定するように構成される。
第1〜第4の更なる態様の実施形態は、第1〜第4の態様又はそれらの実施形態に関連して本明細書で論じた主題のうちの任意の主題を有する。
したがって、スーパーピクセル画像がサーバにおいて予め計算されていると、輪郭は、例えば、タッチパッド又はスマートフォンを使用してスーパーピクセル画像において迅速に見出される。
図8は、一実施形態におけるデジタルヒストパソロジー機械57を示し、デジタルヒストパソロジー機械57は、デジタルパソロジー画像を処理するサーバ側方法の機能を実施する。スーパーピクセル情報は、無線送受信機62を使用してデジタルヒストパソロジー機械57(この例ではサーバとして機能する)から無線通信される。手持ち式クライアントデバイス64(この場合、タブレットコンピュータ)は、スーパーピクセル情報を受信するためにデジタルヒストパソロジー機械57と通信するように構成される。ユーザは、受信されたスーパーピクセル情報の周りでスクロールし、クライアント側アルゴリズムは、スーパーピクセル画像内の画像輪郭を、最小レイテンシーの状態でリアルタイムに識別する。その理由は、計算によるスーパーピクセル生成ステップがサーバ側で前もって終了しており、かつ、複雑さを低減した輪郭発見アルゴリズムが、手持ち式タブレット上で見出される中程度の計算ハードウェアで実行されるのに適切な複雑さであるからである。
第3の態様によれば、第1の態様又はその実施形態において請求される、処理ユニット及び/又はシステムを制御するためのコンピュータプログラム要素が提供され、コンピュータプログラム要素は、処理ユニットによって実行されると、第2の態様又はその実施形態のうちの1つの方法を実施するように適合される。
第4の態様によれば、第3の態様のコンピュータプログラム要素を記憶したコンピュータ可読媒体が提供される。
したがって、コンピュータプログラム要素は、同様に本発明の一実施形態であるコンピュータユニット上に記憶される。このコンピューティングユニットは、上述した方法のステップを実施する又はステップの性能を引出すように適合される。更に、このコンピューティングユニットは、上述した装置の構成要素を動作させるように適合される。
コンピューティングユニットは、ユーザの命令を自動的に操作する及び/又は実行するように適合され得る。コンピュータプログラムは、データプロセッサの作業メモリ内にロードされる。そのため、データプロセッサは、本発明の方法を実施するように装備される。
本発明のこの例示的な実施形態は、本発明が最初からインストールされているコンピュータプログラムと、既存のプログラムを、更新によって本発明を使用するプログラムに変換するコンピュータプログラムの両方をカバーする。コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される、光記憶媒体又は固体媒体等の好適な媒体上に記憶及び/又は分配されるが、インターネット或いは他の有線又は無線の電気通信システムを介して等、他の形態で同様に配信される。
しかし、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを通じても提示され、こうしたネットワークからデータプロセッサの作業メモリ内にダウンロードされ得る。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードするために利用可能にするための媒体が設けられ、そのコンピュータプログラム要素は、本発明の上記で述べた実施形態のうちの1つの実施形態による方法を実施するように構成される。
本発明の実施形態が、異なる主題を参照して述べられていることに留意されるべきである。特に、幾つかの実施形態は方法タイプ請求項を参照して述べられ、一方、他の実施形態はデバイスタイプ請求項を参照して述べられる。しかし、別途通知されない限り、1つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関連する特徴の間の他の組合せが、本出願に関して開示されていると考えられることを、当業者は、上記説明及び以下の説明から認識するであろう。
全ての特徴は、特徴の単純な加算より大きな相乗効果を提供するために組み合わされ得る。
本発明は、図面及び上記の説明において詳細に示され述べられてきたが、こうした図示及び説明は、限定的ではなく、例証的又は例示的なものであると考えられる。本発明は開示された実施形態に限定されない。
開示された実施形態に対する他の変形形態は、図面、開示、及び従属請求項の検討から、特許請求の範囲に記載される発明を実施する当業者によって理解され行われ得る。
特許請求の範囲において、単語「備える(comprising)」は、他の要素又はステップを排除せず、不定冠詞「1つの(a)」又は「1つの(an)」は、複数を排除しない。単一プロセッサ又は他のユニットは、請求項で挙げる幾つかのアイテムの機能を達成する。或る尺度が互いに異なる従属請求項において挙げられるという単なる事実は、これらの尺度の組合せが有利に使用され得ないことを示さない。請求項におけるいかなる参照符号も、その範囲を限定するものと解釈されるべきでない。

Claims (15)

  1. 処理ユニットを備える、画像情報内の生物学的対象物の輪郭を識別する診断支援システムであって、
    前記処理ユニットは、スーパーピクセルに分割されている画像情報を受信し、前記画像情報内の初期ロケーションにおいて前記画像情報内のスーパーピクセルの初期セットを選択し、スーパーピクセルの前記初期セットの形状に関する情報を与えるメトリックを規定する第1の形態変数を決定し、前記画像情報内の更なるロケーションにおいてスーパーピクセルの前記初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別し、スーパーピクセルの前記初期セット及び前記更なるセットの結合体の形状に関する情報を与えるメトリックを規定する第2の形態変数を生成し、前記初期セット及び前記更なるセットの前記結合体が、増加した形状コンパクト化を有することを前記第2の形態変数と前記第1の形態変数との比較が示す場合、前記画像情報内の生物学的対象物の前記輪郭をスーパーピクセルの前記初期セット及び前記更なるセットの前記結合体の境界として規定する、
    診断支援システム。
  2. 入力ユニットを更に備え、
    前記入力ユニットは、ユーザから前記初期ロケーションにスーパーピクセルを有する前記画像情報内の前記初期ロケーションの指示を受信し、
    前記処理ユニットは、前記初期ロケーションにおいて開始する探索アルゴリズムを適用することから得られる前記輪郭を規定する、
    請求項1に記載の診断支援システム。
  3. 前記処理ユニットは、さらに、ランダムプロセスを使用して前記初期ロケーションを生成し、スーパーピクセルの前記初期セットは、前記初期ロケーションにスーパーピクセルを有する、
    請求項1に記載の診断支援システム。
  4. 前記処理ユニットは、さらに、前記初期ロケーション及び/又は前記更なるロケーションに探索エリアを設置することによって、スーパーピクセルの前記初期セット及び/又はスーパーピクセルの前記更なるセットを選択し、スーパーピクセルの前記初期セット及び/又はスーパーピクセルの前記更なるセットを、前記初期ロケーション及び/又は前記更なるロケーションの前記探索エリアに接触するスーパーピクセル領域のセットとして選択する、
    請求項1から3のいずれか一項に記載の診断支援システム。
  5. 前記処理ユニットは、さらに、前記画像情報内の探索エリアの設置を制限する探索経路を提供するために前記初期ロケーション及び前記更なるロケーションを選択し、前記探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの1つである、
    請求項1から4のいずれか一項に記載の診断支援システム。
  6. 前記処理ユニットは、さらに、前記第2の形態変数が停止値に達するまで、又は、プリセットされた回数の反復が終了するまで、反復する、
    請求項1から5のいずれか一項に記載の診断支援システム。
  7. 前記処理ユニットは、さらに、複数の初期ロケーションを生成し、前記複数の初期ロケーションのそれぞれの各初期ロケーションから開始する前記画像情報内の生物学的対象物の複数の候補輪郭を規定し、前記複数の候補輪郭をユーザに表示し、前記複数の候補輪郭内で輪郭のサブセットを選択するユーザ入力を受信し、前記複数の候補輪郭及び選択された前記輪郭のサブセットに基づいて教師あり学習情報を生成する、
    請求項1から6のいずれか一項に記載の診断支援システム。
  8. 前記第1の形態変数は前記初期セットの等周商であり、前記第2の形態変数は、前記初期セット及び前記更なるセットの前記結合体の等周商である、
    請求項1から7のいずれか一項に記載の診断支援システム。
  9. 前記画像情報は組織試料の顕微鏡画像であり、前記輪郭は細胞核の壁に対応する、
    請求項1から8のいずれか一項に記載の診断支援システム。
  10. 画像情報内の生物学的対象物の輪郭を識別するための画像処理方法であって、前記画像処理方法は、
    a)スーパーピクセルに分割されている画像情報を受信するステップと、
    b)前記画像情報内の初期ロケーションにおいて前記画像情報内のスーパーピクセルの初期セットを選択するステップと、
    c)スーパーピクセルの前記初期セットの形状に関する情報を与えるメトリックを規定する第1の形態変数を決定するステップと、
    d)前記画像情報内の更なるロケーションにおいてスーパーピクセルの前記初期セットの1つのスーパーピクセルに隣接するスーパーピクセルの更なるセットを識別するステップと、
    e)スーパーピクセルの前記初期セット及び前記更なるセットの結合体の形状に関する情報を与えるメトリックを規定する第2の形態変数を生成するステップと、
    f)前記初期セット及び前記更なるセットの前記結合体が、増加した形状コンパクト化を有することを前記第2の形態変数と前記第1の形態変数との比較が示す場合、前記画像情報内の生物学的対象物の前記輪郭をスーパーピクセルの前記初期セット及び前記更なるセットの前記結合体の境界として規定するステップと
    を有する、画像処理方法。
  11. ステップb)及び/又はステップd)にて、スーパーピクセルの前記初期セット及び/又はスーパーピクセルの前記更なるセットの選択は、
    b1)前記初期ロケーション及び/又は前記更なるロケーションに探索エリアを設置すること、
    b2)スーパーピクセルの前記初期セット及び/又は前記更なるセットを、前記初期ロケーション及び/又は前記更なるロケーションにおいて前記探索エリアに接触するスーパーピクセル領域のセットとして選択することに基づく、請求項10に記載の画像処理方法。
  12. 前記第1の形態変数は前記初期セットの等周商であり、前記第2の形態変数は、前記初期セット及び前記更なるセットの前記結合体の等周商である、
    請求項10又は11に記載の画像処理方法。
  13. 前記初期ロケーション及び前記更なるロケーションは、前記画像情報内の探索エリアの設置を制限する探索経路を提供するために選択され、前記探索経路は、外方への螺旋パターン、ランダムウォーク、又は外方に拡張する円のセットのうちの1つである、
    請求項10から12のいずれか一項に記載の画像処理方法。
  14. 請求項1から9のいずれか一項に記載の診断支援システムを制御するためのコンピュータプログラムであって、前記コンピュータプログラムは、前記処理ユニット及び/又はコンピュータによって実行されると、請求項10から13のいずれか一項に記載の方法を実施する、コンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。
JP2018562623A 2016-06-03 2017-05-24 生物学的対象物の検出 Active JP6975177B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16172787 2016-06-03
EP16172787.0 2016-06-03
PCT/EP2017/062499 WO2017207373A1 (en) 2016-06-03 2017-05-24 Biological object detection

Publications (3)

Publication Number Publication Date
JP2019522276A JP2019522276A (ja) 2019-08-08
JP2019522276A5 JP2019522276A5 (ja) 2020-07-02
JP6975177B2 true JP6975177B2 (ja) 2021-12-01

Family

ID=56098140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562623A Active JP6975177B2 (ja) 2016-06-03 2017-05-24 生物学的対象物の検出

Country Status (7)

Country Link
US (1) US11232567B2 (ja)
EP (1) EP3465610B1 (ja)
JP (1) JP6975177B2 (ja)
CN (1) CN109313802B (ja)
CA (1) CA3025822A1 (ja)
RU (1) RU2746152C2 (ja)
WO (1) WO2017207373A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3532984B1 (en) 2016-10-27 2024-05-08 Koninklijke Philips N.V. Apparatus for determining cellular composition information in one or more tissue samples
US10163043B2 (en) * 2017-03-31 2018-12-25 Clarifai, Inc. System and method for facilitating logo-recognition training of a recognition model
BR112021019996A2 (pt) 2019-04-11 2021-12-07 Agilent Technologies Inc Treinamento de segmentação de instância baseado em aprendizagem profunda por meio de camadas de regressão
CN115004258A (zh) * 2020-01-31 2022-09-02 尤尼卡系统股份有限公司 包括鳞片的皮毛识别的计算机实现的方法和系统
CN117974651B (zh) * 2024-03-29 2024-05-28 陕西彤山生物科技有限公司 基于图像识别的粉碎颗粒的均匀性检测方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19625906A1 (de) 1996-06-27 1998-01-08 Delphi Systemsimulation Gmbh Verfahren zur Berechnung und/oder Analyse und/oder Erkennung eines komplexen Systems
DE19705017A1 (de) * 1997-02-10 1998-08-13 Delphi Systemsimulation Gmbh Verfahren zum Segmentieren eines digitalen Bildes
AUPP278698A0 (en) 1998-04-03 1998-04-30 University Of Queensland, The Method of cell nuclei segmentation
DE10014066A1 (de) 2000-03-22 2001-09-27 Definiens Ag Verfahren zum Auffinden von Objekten
US7050620B2 (en) * 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
GB0227160D0 (en) * 2002-11-21 2002-12-24 Qinetiq Ltd Histological assessment of pleomorphism
JP2004286666A (ja) * 2003-03-24 2004-10-14 Olympus Corp 病理診断支援装置および病理診断支援プログラム
US7689038B2 (en) * 2005-01-10 2010-03-30 Cytyc Corporation Method for improved image segmentation
JP2006301779A (ja) * 2005-04-18 2006-11-02 Konica Minolta Photo Imaging Inc 画像処理システム、画像処理方法及び画像処理プログラム
EP2109856B1 (en) 2007-02-05 2019-01-16 Siemens Healthcare Diagnostics Inc. System and method for cell analysis in microscopy
US8319793B2 (en) 2009-04-17 2012-11-27 Definiens Ag Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects
GB2489272B (en) * 2011-03-23 2013-03-13 Toshiba Res Europ Ltd An image processing system and method
CN103035014A (zh) * 2011-09-29 2013-04-10 索尼公司 图像处理设备和方法,以及成像设备和方法
CA2872722C (en) 2012-05-11 2020-10-06 Dako Denmark A/S Method and apparatus for image scoring and analysis
US9589360B2 (en) * 2012-07-23 2017-03-07 General Electric Company Biological unit segmentation with ranking based on similarity applying a geometric shape and scale model
CN103353938B (zh) 2013-06-14 2016-04-13 山东大学 一种基于层次级特征的细胞膜分割方法
TWI496112B (zh) 2013-09-13 2015-08-11 Univ Nat Cheng Kung 細胞影像分割方法以及核質比評估方法
JP6341650B2 (ja) * 2013-11-20 2018-06-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9430499B2 (en) * 2014-02-18 2016-08-30 Environmental Systems Research Institute, Inc. Automated feature extraction from imagery
JP6800152B2 (ja) * 2014-11-10 2020-12-16 ベンタナ メディカル システムズ, インコーポレイテッド 組織学画像中の核の分類
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
US9389311B1 (en) * 2015-02-19 2016-07-12 Sandia Corporation Superpixel edges for boundary detection
CA2975035C (en) * 2015-03-20 2023-08-22 Ventana Medical Systems, Inc. System and method for image segmentation
ITUB20153912A1 (it) * 2015-09-25 2017-03-25 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel
JP6559353B2 (ja) * 2015-12-15 2019-08-14 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. 自動核セグメンテーション
CN108510536B (zh) * 2017-02-28 2021-09-21 富士通株式会社 多视点图像的深度估计方法和深度估计设备
CN109428008B (zh) 2017-08-30 2020-01-07 清华大学 有机发光二极管的制备方法

Also Published As

Publication number Publication date
CN109313802B (zh) 2024-01-23
CN109313802A (zh) 2019-02-05
CA3025822A1 (en) 2017-12-07
EP3465610B1 (en) 2020-04-15
JP2019522276A (ja) 2019-08-08
RU2746152C2 (ru) 2021-04-07
RU2018146944A (ru) 2020-07-10
EP3465610A1 (en) 2019-04-10
US20210224990A1 (en) 2021-07-22
RU2018146944A3 (ja) 2020-07-10
WO2017207373A1 (en) 2017-12-07
US11232567B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
JP6975177B2 (ja) 生物学的対象物の検出
US10755138B2 (en) Systems and methods for finding regions of interest in hematoxylin and eosin (H and E) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images
DK3161787T3 (en) DETECTING EDGE OF A CELL CEREALS USING CAR ANALYSIS
CN107292884B (zh) 一种识别mri图像中水肿和血肿的方法及装置
US9773305B2 (en) Lesion diagnosis apparatus and method
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
JP6273291B2 (ja) 画像処理装置および方法
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN107077735A (zh) 三维对象识别
JP2019076699A (ja) 偽陽性低減での小結節検出
KR101707709B1 (ko) 3d 메시 모델들에서 반복 구조들을 검출하기 위한 방법 및 장치
JP2007307358A (ja) 画像処理方法および装置ならびにプログラム
JP7156515B2 (ja) 点群アノテーション装置、方法、及びプログラム
CN110222641B (zh) 用于识别图像的方法和装置
WO2010113052A1 (en) Interactive iterative closest point algorithm for organ segmentation
US20220101034A1 (en) Method and system for segmenting interventional device in image
EP3089107B1 (en) Computer program product and method for determining lesion similarity of medical image
CN112446911A (zh) 中心线提取、界面交互与模型训练方法、系统及设备
KR20190114708A (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质
JP2017189394A (ja) 情報処理装置および情報処理システム
CN111626979B (zh) 一种管径测量方法及其装置
CN109727662B (zh) 医学影像检测的显示方法及装置、设备和非暂态存储介质
CN117495693B (zh) 用于内窥镜的图像融合方法、系统、介质及电子设备
JP4623516B2 (ja) 画像からの対象物検出方法及び対象物検出装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211105

R150 Certificate of patent or registration of utility model

Ref document number: 6975177

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150