JP7204007B2 - 画像データ中の病変部の境界の識別 - Google Patents

画像データ中の病変部の境界の識別 Download PDF

Info

Publication number
JP7204007B2
JP7204007B2 JP2021558747A JP2021558747A JP7204007B2 JP 7204007 B2 JP7204007 B2 JP 7204007B2 JP 2021558747 A JP2021558747 A JP 2021558747A JP 2021558747 A JP2021558747 A JP 2021558747A JP 7204007 B2 JP7204007 B2 JP 7204007B2
Authority
JP
Japan
Prior art keywords
image data
lesion
uncertainty
likelihood
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558747A
Other languages
English (en)
Other versions
JPWO2020201516A5 (ja
JP2022527525A (ja
Inventor
ディミトリオス マヴロエイディス
ストヤン トラヤノフスキ
バート ヤコブ バッカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022527525A publication Critical patent/JP2022527525A/ja
Publication of JPWO2020201516A5 publication Critical patent/JPWO2020201516A5/ja
Application granted granted Critical
Publication of JP7204007B2 publication Critical patent/JP7204007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本願の発明は、医療画像の自動化された処理の分野に関し、詳細には、医療画像用の画像データ内の病変部の境界の識別に関する。
医療画像の分析のための機械学習アルゴリズムの使用への関心が高まってきている。特に、機械学習アルゴリズムは、器官セグメント化、小結節セグメント化などの、非常に正確な医療画像セグメント化タスクを行える可能性を有している。特に関心の高い一領域は、CT(コンピュータ断層撮影)スキャン、超音波画像、又はX線画像などの医療画像内の病変部を識別するために、機械学習アルゴリズムを使用することである。
機械学習アルゴリズムの実装の困難な点は、例えば訓練を受けた臨床医による不適正又は不完全なアノテーションに起因して、機械学習アルゴリズムを訓練するために使用される訓練データが十分に正確ではない場合のあることである。病変部の不正確なアノテーションは病変部の境界において特に多く見られ、境界では臨床医が病変部の精確な境界を正確に識別できないか、又は識別しようとしない場合がある。この問題は、機械学習アルゴリズムの訓練を可能にするために、これらの多くの場合不正確な/あいまいな病変部アノテーションを均一な解像度へとサンプリングし直す必要がある、という事実によって悪化する。より低い解像度の画像及びあいまいな/不正確なアノテーションをアップサンプリングする必要がある結果、機械学習アルゴリズム用の訓練データの正確さがより低くなる。
更に、例えば機械学習アノテーション付けアルゴリズム(annotating algorithm)を訓練するために使用される訓練データ又は損失関数の違いに起因する、同じ画像を処理する異なる境界識別機械学習アルゴリズムによって、病変部の異なる境界を識別することができる。この場合、病変部の境界が精確にどこに存在するかにおいて、異なるアノテーション付けアルゴリズムの間で不一致が存在し得る。
発明者らはしたがって、医療画像内の病変部の境界の識別を改善する必要のあることを認識している。病変部の境界の識別の改善によって、臨床医により正確な情報が与えられ、このことにより対象者をより正確に診断又は評価することが可能になる。
本発明は特許請求の範囲によって規定される。
本発明の態様に係る例によれば、対象者のある領域のN次元医療画像データ中の病変部の1つ又は複数の境界を識別する方法が提供される。
方法は、画像データ点を含むN次元医療画像データを受信するステップと、機械学習アルゴリズムを使用してN次元医療画像データを処理するステップであって、このことにより、画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む、N次元確からしさデータ、及び示された確からしさの不確かさを示す、各確からしさデータポイントに関するそれぞれの不確かさデータポイントを含む、N次元不確かさデータを生成する、処理するステップと、少なくとも不確かさデータを使用して医療画像データ中の病変部の1つ又は複数の境界を識別するステップと、を含む。
本発明は、(医療)画像データ中の病変部の境界を不確かさデータに基づいて識別することを提案する。不確かさデータは不確かさデータポイントを含む。各不確かさデータポイントは、特定の画像データ点と関連付けられる予測される確からしさの不確かさを示す。予測される確からしさは、その特定の画像データ点が病変部の一部であるかどうかに関する(例えば0~1のスケールの)予測値、すなわち「境界確からしさ」である。
確からしさデータを使用して、病変部の位置、サイズ、及び形状を予測することができる。例えば、画像データ点のクラスタが、そのクラスタの各々がそれが病変部の一部であることの(所定値を超える)ある確からしさを有することを示す確からしさデータと各々関連付けられる場合には、画像データ点のそのクラスタを、予測される病変部と見なすことができる。そのような方法は当業者にはよく知られているであろう。
本願の発明は、所与の画像データ点が病変部の一部であるか否かを予測するときに、確からしさデータが完全には正確でない場合があるとの理解に依拠している。実際には、本願の発明は、病変部の境界又は縁部の近くで正確度のレベルが低下することを識別する。
発明者らは、不確かさデータを使用して、病変部の境界が画像データに対してどこに存在しているかをより正確に識別できることを認識している。特に、病変部の確からしさの不確かさを、病変部の境界又は縁部がどこに存在するかの区別又は判定に使用することができる。この場合、不確かさデータを使用して病変部の境界を変更、識別、又は訂正することによって、不正確に訓練された機械学習アルゴリズムの問題を克服することができる。これらの不正確さは特に病変部の外縁において多く見られる。
提案される発明はこのことにより、病変部の境界のより正確な識別を可能にする。このことは、対象者内の病変部の数、位置、及びサイズのより正確な識別が行われることになるので、ユーザが対象者の病状を診断又は評価するタスクを実行するのを直接的に助ける。特に、病変部の範囲及び位置を知っていることは、対象者の病状の適正な分析のために必須である。
病変部の1つ又は複数の境界を識別するステップは、確からしさデータに基づいて医療画像データ中の1つ又は複数の潜在的病変部を識別することと、医療画像データ中の病変部の1つ又は複数の境界を識別するために、少なくとも不確かさデータを使用して各潜在的病変部を処理することと、を含み得る。
病変部の境界はしたがって、医療画像データ中の潜在的病変部を識別し、識別された潜在的病変部の境界を少なくとも不確かさデータを使用して訂正又は変更することによって、識別され得る。
医療画像データ中の1つまたは複数の潜在的病変部を識別するステップは、確からしさデータポイントと関連付けられた画像データ点の群を識別することであって、この確からしさデータポイントは画像データ点が病変部の一部である確からしさが所定の確からしさを超えることを示すものであり、画像データ点の各群はこのことにより潜在的病変部を形成する、識別すること、を含み得る。この場合、画像データ点のクラスタは潜在的病変部を形成し、クラスタ中の各画像データ点は、十分高い(所定の閾値を超える)病変部の一部である確からしさと関連付けられる。
実施形態は、不確かさデータに基づいて、潜在的病変部を選択的に却下(すなわち更なる検討から除外)するステップを含み得る。例えば、潜在的病変部を形成する画像データ点が所定値を超える平均不確かさと関連付けられる場合、その潜在的病変部は却下(すなわち、1つ又は複数の潜在的病変部から除去)され得る。別の例として、潜在的病変部を形成する画像データ点が所定値を超える不確かさを有する不確かさデータポイントとあるパーセンテージを超えて関連付けられる場合には、この潜在的病変部は却下され得る。
このように、不確かな潜在的病変部が却下され得る。この方式では、不確かさデータに基づいて潜在的病変部を却下することができる。このことにより、不確かに予測される境界を却下することによって、潜在的病変部を適正に識別する際の正確度、特に有病正診率が改善される。
いくつかの実施形態では、病変部の1つ又は複数の境界を識別するステップは、領域拡張アルゴリズムを使用しこのことにより病変部の1つ又は複数の境界を識別して、画像データ、確からしさデータ、及び不確かさデータを処理することを含む。
領域拡張方法を使用することで、隣接画像データ点を予測される病変部に追加すべきかどうかを決定するための1組のルールを使用することによって、予測される病変部を適宜拡大又は縮小することができる。
領域拡張ルールは、画像データの画像の特徴、例えば画像データ点の大きさ(例えばハウンスフィールド単位又はHU)に基づくことができ、決定ルールは画像データ点の大きさについての単純な閾値である。
特に、包含閾値は、同じ画像データ点に関する不確かさのレベルに基づいていてもよい。特に、包含閾値は、例えば画像データ点に関する計算された不確かさに基づいて、機械学習アルゴリズムによって生成されてもよい。別の例として、不確かさのレベルによって包含値に重み付けしてもよい。
同様に、これらのルールを使用して、例えば、境界の周縁に含まれるボクセルを調査すること、及び、画像データ点の大きさと不確かさ閾値を結合する決定ルールを適用することによって、病変部のサイズを縮小することができる。
したがって、病変部の1つ又は複数の境界を識別することが、領域拡張アルゴリズム及び/又は領域収縮アルゴリズムを各潜在的病変部に適用することを含む実施形態が存在する。
領域拡張アルゴリズムは、潜在的病変部の周縁を形成する周縁画像データ点を識別するステップと、潜在的病変部の外部の画像データ点であり且つ周縁画像データ点のうちのいずれかに直接隣り合う、隣接画像データ点を識別するステップと、各隣接画像データ点について、隣接画像データ点を、隣接画像データ点の大きさがその隣接画像データ点に関する第1の大きさ閾値の値よりも大きいことに応答して、在的病変部に追加するステップであって、第1の大きさ閾値の値は隣接画像データ点と関連付けられた不確かさデータポイントに基づく、追加するステップと、を反復的に実行することを含んでもよく、第1の領域拡張アルゴリズムは、新しい隣接画像データ点が識別されないことに応答して終了する。
領域収縮アルゴリズムは、潜在的病変部の周縁を形成する周縁画像データ点を識別するステップと、各周縁画像データ点について、周縁画像データ点の大きさが周縁画像データ点に関する第2の大きさ閾値の値未満であることに応答して、潜在的病変部から周縁画像データ点を除去するステップであって、第2の大きさ閾値の値は周縁画像データ点と関連付けられた不確かさデータポイントに基づく、除去するステップと、を反復的に実行することを含み、第2の領域拡張アルゴリズムは、新しい周縁画像データ点が識別されないことに応答して終了する。
病変部の1つ又は複数の境界を識別するステップは、確からしさデータを使用して各潜在的病変部の1つ又は複数の予測される境界部分を識別することであって、各予測される境界部分は潜在的病変部の境界の一部の予測される位置である、識別することと、不確かさデータを使用して、各予測される境界部分の不確かさ及び/又は各潜在的病変部の不確かさを識別することと、各境界部分の識別された不確かさ及び/又は各潜在的病変部の不確かさに基づいて、予測される境界部分のうちの1つ又は複数を選択することと、選択された予測される境界部分をユーザに提示することと、選択された予測される境界部分をユーザに提示することの後で、病変部の1つ又は複数の境界を示すユーザ入力を受け取ることと、受け取ったユーザ入力に基づいて境界部分を識別することと、を含み得る。
任意選択的に、1つ又は複数の予測される境界部分を選択するステップは、第1の所定の不確かさ値未満の不確かさと関連付けられた境界部分、及び/又は、第2の所定の不確かさ値未満の不確かさを有する病変部と関連付けられた境界部分を選択することを含む。
方法は、各1つ又は複数の識別される境界の位置を各々示す、それぞれの1つ又は複数のグラフィカルアノテーション(graphical annotation)を生成するステップを更に含み得る。
好ましくは、機械学習アルゴリズムは、ベイズ的深層学習セグメント化アルゴリズムである。ベイズ的深層学習セグメント化アルゴリズムは、不確かさデータを生成するように容易に適合させることができ、したがって画像データを処理するのに適切な機械学習アルゴリズムを提供する。好ましい実施形態では、画像データは、コンピュータ断層撮影、CT、画像データである。いくつかの実施形態では、Nは3に等しい。そのような実施形態では、用語「N次元」を用語「3次元」(3D)で置き換えてもよい。
コンピュータプログラムであって、上記プログラムが処理システム上で実行されるときに記載されているいずれかの方法を実施するためのコード手段を備える、コンピュータプログラムも提案される。
本発明の態様に係る例によれば、対象者のある領域のN次元医療画像データ中の病変部の1つ又は複数の境界を識別するための処理システムも提供される。処理システムは、画像データ点を含むN次元医療画像データを受信し、機械学習アルゴリズムを使用してN次元医療画像データを処理し、このことにより、画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む、N次元確からしさデータ、及び示された確からしさの不確かさを示す、各確からしさデータポイントに関するそれぞれの不確かさデータポイントを含む、N次元不確かさデータを生成し、少なくとも不確かさデータを使用して医療画像データ中の病変部の1つ又は複数の境界を識別するように、適合されている。
処理システムは、確からしさデータに基づいて医療画像データ中の1つまたは複数の潜在的病変部を識別することと、医療画像データ中の病変部の1つ又は複数の境界を識別するために、少なくとも不確かさデータを使用して各潜在的病変部を処理することと、によって、病変部の1つ又は複数の境界を識別するように適合され得る。
いくつかの実施形態では、処理システムは、領域拡張アルゴリズムを使用しこのことにより病変部の1つ又は複数の境界を識別して、画像データ、確からしさデータ、及び不確かさデータを処理することによって、各潜在的病変部を処理するように適合され得る。
他の実施形態では、処理システムは、各潜在的病変部を、確からしさデータを使用して1つ又は複数の予測される境界部分を識別することであって、各予測される境界部分は病変部の境界の一部の予測される位置である、識別することと、不確かさデータを使用して各予測される境界部分の不確かさを識別することと、各境界部分の識別された不確かさに基づいて、予測される境界部分のうちの1つ又は複数を選択することと、選択された予測される境界部分をユーザに提示することと、選択された予測される境界部分をユーザに提示することの後で、病変部の1つ又は複数の境界を示すユーザ入力を受け取ることと、受け取ったユーザ入力に基づいて境界部分を識別することと、によって処理するように適合され得る。
処理システムは、所定の不確かさ値未満の不確かさと関連付けられた境界部分を選択することによって、1つ又は複数の予測される境界部分を選択するように適合され得る。
いくつかの実施形態では、処理システムは、各1つ又は複数の識別される境界の位置を各々示す、それぞれの1つ又は複数のグラフィカルアノテーションを生成するように更に適合される。
機械学習アルゴリズムは、ベイズ的深層学習セグメント化アルゴリズムであり得る。
本発明のこれらの及び他の態様は、以下に記載する実施形態から明らかになり、それらを参照して説明されるであろう。
本発明をよりよく理解するために、及びそれがどのように実現され得るかをより明確に示すために、以下で単に例として添付の図面を参照する。
病変部を有する血管のコンピュータ断層撮影スキャンの2次元スライスを示す図である。 本発明の実施形態を概念的に示す図である。 ある実施形態に係る方法を示すフローチャートである。 ある実施形態で使用される領域拡張アルゴリズムを示す図である。 ある実施形態で使用される領域収縮アルゴリズムを示す図である。 ある実施形態に係るシステムを示す図である。
本発明についてこれらの図を参照して説明する。
詳細な説明及び具体的な例は、装置、システム、及び方法の例示的な実施形態を示すが、例示のみを目的として意図されており、本発明の範囲を限定することは意図されていないことが理解されるべきである。本願の発明の装置、システム、及び方法の、これらの及び他の特徴、態様、及び利点は、以下の説明、付属の特許請求の範囲、及び添付の図面から、よりよく理解されるであろう。これらの図は概略的なものに過ぎず、正確な縮尺では描かれていないことが理解されるべきである。これらの図の全体を通して、同じ又は類似の部分を示すように同じ参照番号が使用されていることも理解されるべきである。
本願の発明は、画像データ内の病変部の境界を識別するための方法、コンピュータプログラム、及び処理システムを提供する。画像データは、確からしさデータ及び不確かさデータを生成するための機械学習アルゴリズムを使用して処理される。確からしさデータは、画像データの各画像データ点について、上記画像データ点が病変部の一部である確からしさを示す、確からしさデータポイントを提供する。不確かさデータは、各確からしさデータポイントについて、上記確からしさデータポイントの不確かさを示す、不確かさデータポイントを提供する。不確かさデータは、病変部の境界を識別又は訂正するために処理される。
本発明概念は、特定の画像データ点が病変部の一部であるかそうでないかの予測の不確かさを示す不確かさデータを処理又は更に分析することによって、病変部の境界をより正確に識別することができる、との認識に基づいている。
実施形態を、対象者の医療画像内の病変部の識別において利用することができる。例として、実施形態は、心臓血管内のカルシウム病変部又は片肺若しくは両肺内の腫瘍を識別するために利用され得る。
既に記載したように、実施形態は、N次元医療画像データ中の病変部の1つ又は複数の境界を識別するための概念に関する。
図1は、本発明のコンテキストを理解するための医療画像1の例を示す。ここでは、医療画像は、病変部10を有する血管5、具体的には大動脈の、CTスキャンの2次元スライスである。病変部10は、本明細書に記載する発明概念を利用することによって識別可能な、1つの境界(又は複数の境界)を有する。
境界は、病変部の一部であると見なされる画像データの部分(「病変部部分」)を、病変部の一部であると見なされない画像データの部分(「非病変部部分」)から区別する。特に、境界は病変部部分の周囲に延びていてもよいか、又は病変部部分の周縁を画定してもよい。
境界は、例えばディスプレイ上で医療画像1に重ね合わせることのできる、グラフィカルアノテーションの形態で提示されてもよく、このことにより、画像データに対する境界の位置に注意が引き付けられる。別の例では、境界は、病変部部分の境界の位置を識別する座標情報の形態で提示されてもよい。
本明細書ではCTスキャンの2次元スライスしか示されていないが、本発明の実施形態は、任意のN次元医療画像データ、例えば3次元CTスキャン、超音波画像、X線画像などに関するデータに拡張され得る。医療画像データは、臨床医による分析を目的とした、対象者(の内部又は外部)の視覚的表現の(再)構築に適した任意のデータである。
図2は、本発明概念の理解の改善を目的として、本発明の基礎となる概念を示す。
実施形態は、N次元医療画像データ21中の病変部の1つまたは複数の境界を識別することに関する。医療画像データ21は画像データ点、例えばピクセル又はボクセルから形成され、これれが全体的なN次元画像を形成する。医療画像データは2次元(2D)画像又は3次元(3D)画像に相当し得る。
医療画像データ21は、確からしさデータ23及び不確かさデータ24を生成するための機械学習アルゴリズム22によって処理される。確からしさデータ23及び不確かさデータ24は、医療画像データ21と同じ次元数Nを有する。
確からしさデータ23は、確からしさデータポイントを含む。各確からしさデータポイントはそれぞれの画像データ点に対応しており、それぞれの画像データ点が腫瘍又は石灰沈着などの病変部の一部を形成している確からしさを示す。この場合、画像データ点が存在するのと同数の確からしさデータポイントが存在する。
例として、各確からしさデータポイントは、それぞれの画像データ点が病変部の一部である確からしさを直接的に示す、0と1との間の連続値であり得るか、又は、それぞれの画像データ点が病変部の一部を形成する(例えば、閾値確からしさ値を超える確からしさと関連付けられる)と予測されるか否かを示す、二値の値(例えば0若しくは1のいずれか)であり得る。確からしさデータポイントの他の好適なフォーマット又は値が、当業者には明らかであろう。
不確かさデータ24は、不確かさデータポイントを含む。各不確かさデータポイントは、それぞれの確からしさデータポイント(及びしたがってそれぞれの画像データ点)に対応する。各不確かさデータポイントは、示された確からしさの不確かさのレベル、例えば、確からしさデータポイントが適正である(不)確かさを表す尺度又は値を示す。この場合、不確かさデータポイントが、したがって画像データ点が、確からしさデータポイントが存在するのと同数存在する。
例として、各不確かさデータポイントは、確からしさデータポイントが適正であることの相対的な不確かさの尺度を示す、0と1との間の連続値であり得る。別の例では、各不確かさデータポイントは、(例えば確からしさデータポイントが0と1との間の連続値である場合に)確からしさデータポイントの誤差範囲又は標準偏差を示し得る。不確かさデータポイントの他の好適なフォーマット又は値が、当業者には明らかであろう。
次いで不確かさデータは、医療画像内の病変部の境界を識別又は訂正するために使用される。識別される境界を、例えば画像データ21中の境界の位置を識別する、境界データ25として提供することができる。例として、境界データは、画像データ中の1つの境界若しくは複数の境界の座標を識別することができるか、又は、どの画像データ点が境界の一部であるかを示すことができる。
確からしさデータ自体を、1つの病変部又は複数の病変部の1つの境界(又は複数の境界)の予測される位置を定めるために使用できることが、一般に理解されるであろう。この理由は、確からしさデータを使用して、所与の画像データ点が病変部の一部であるかどうかを予測できるからである。この場合、確からしさデータを使用して病変部の周縁を識別することができる。
単に例として、確からしさデータポイントが0と1との間の連続値である場合、所与の画像データ点が所定値よりも大きい確からしさデータポイントと関連付けられる場合には、その画像データ点を病変部の一部であると見なすことができ、それ以外の場合には一部とは見なされない。別の例として、確からしさデータポイントが二値の(例えば0又は1の)予測値である場合、所与の画像データ点が1である確からしさデータポイントと関連付けられる場合には、その画像データ点を病変部の一部であると見なすことができ、それ以外の場合には一部とは見なされない。
このように、確からしさデータを使用して、画像データ中の潜在的病変部を識別することができる。
本願の発明は、所与の画像データ点が病変部の一部であるか否かを予測するときに、確からしさデータが完全には正確でない場合があるとの理解に依拠している。実際には、本願の発明は、病変部の境界又は縁部の近くで正確度のレベルが低下することを認識する。
発明者らは、不確かさデータを使用して、病変部の境界が画像データに対してどこに存在しているかをより正確に識別できることを認識している。
特定の実施形態では、不確かさデータを使用して、確からしさデータ単独よりも大きい正確度で境界の位置を識別するための更なる処理を行うことができる。境界の位置を識別することは、確からしさデータから導出された予測される境界の位置を訂正することを含み得る。
図3は、本発明の実施形態に係る方法30を示す。方法は、対象者のある領域のN次元医療画像データ中の病変部の1つ又は複数の境界を識別する。
方法30は、画像データ点を含むN次元医療画像データを受信するステップ31を含む。
方法30は、機械学習アルゴリズムを使用してN次元医療画像データを処理するステップであって、このことによりN次元確からしさデータ及びN次元不確かさデータを生成する、処理するステップ32を更に含む。N次元確からしさデータは、画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む。N次元不確かさデータは、示された確からしさの不確かさを示す、各確からしさデータポイントに関するそれぞれの不確かさデータポイントを含む。
方法30は、少なくとも不確かさデータを使用して、医療画像データ中の病変部の1つ又は複数の境界を識別するステップ33を更に含む。
ステップ33は、いくつかの異なる可能な方式で実行され得る。
特に、ステップ33は、確からしさデータに基づいて、医療画像データ中の1つ又は複数の潜在的病変部を識別することと、医療画像データ中の病変部の1つ又は複数の境界を識別するために、少なくとも不確かさデータを使用して各潜在的病変部を処理することと、を含み得る。
こうして、初期に予測される病変部を、確からしさデータに基づいて識別することができる。この病変部の境界は、少なくとも不確かさデータに基づいて変更され得る。
病変部の境界は、領域拡張アルゴリズム及び/又は領域収縮アルゴリズムを使用して、自動化された様式で変更され得る。
領域拡張方法を使用することで、隣接画像データ点(すなわち、予測される病変部の画像データ点に隣接画像データ点)を病変部に追加すべきかどうかを決定するための1組のルールを使用することによって、初期の境界のサイズを拡大することができる。
領域拡張方法は、隣接画像データ点の値又は大きさ(例えばハウンスフィールド単位)に基づくことができ、決定ルール(すなわち、画像データ点を病変部内に含める又は含めないための)は、画像データ点の単なる包含閾値の大きさである。この場合、隣接画像データ点の大きさが包含閾値の値を超える場合には、その隣接画像データ点が潜在的病変部に含められる。
これを実装するための1つの手法は、同じ画像データ点に関する不確かさのレベル又は関連付けられた予測される病変部の平均不確かさに基づいて、包含閾値を変えることであり得る。閾値は、セグメント化モデルのハイパーパラメータ最適化中に調整されるパラメータであり得る。
領域拡張アルゴリズムは、予測される病変部がそれ以上拡張できないときに、すなわち、(更新された)予測される病変部に隣接する新しいピクセルが存在しないときに、停止され得る。
図4は、領域拡張アルゴリズム42が実行されるステップ33の例示の方法33Aを示す。
方法33Aは、確からしさデータに基づいて医療画像データ中の1つまたは複数の潜在的病変部を識別するステップ41を含む。
ステップ41は、(画像データ点が病変部の一部を形成する)確からしさが所定の確からしさ値を超えることを示す確からしさデータポイントと関連付けられた、画像データ点の組を識別することを含み得る。確からしさデータを使用して潜在的病変部を識別する他の方法が当業者には知られるであろう。
ステップ41は、不確かさデータに基づいて、潜在的病変部を選択的に却下(すなわち更なる検討から除外)するサブステップ(図示せず)を含み得る。例えば、潜在的病変部を形成する画像データ点が所定値を超える平均不確かさと関連付けられる場合、その潜在的病変部は却下(すなわち、1つ又は複数の潜在的病変部から除去)され得る。別の例として、潜在的病変部を形成する画像データ点が所定値を超える不確かさを有する不確かさデータポイントと、あるパーセンテージを超えて関連付けられる場合には、この潜在的病変部は却下され得る。このことにより、不確かに予測される境界を却下することによって、潜在的病変部を適正に識別する際の正確度、特に有病正診率が改善される。
次いで、各識別された潜在的病変部に領域拡張アルゴリズムが適用される。このことは並行して又は連続的に実行され得る。示された実施形態では、各識別された潜在的病変部に、各領域拡張アルゴリズムが連続的に適用される。この場合、未処理の潜在的病変部(すなわち、領域拡張アルゴリズムが適用されていない病変部)が1つでも存在するかどうかを判定するステップ49Aが存在する。方法33Aは、各潜在的病変部が処理されている場合、ステップ49Cにおいて終了する。各潜在的病変部が処理されていない場合には、未処理の病変部を選択するステップ49Dが実行される。
領域拡張アルゴリズム42の実施形態を以下に示す。
領域拡張アルゴリズム42は、潜在的病変部の周縁を形成する周縁画像データ点を識別するステップ42Aを含む。周縁画像データ点は、潜在的病変部の最も外側の画像データ点、すなわち、潜在的病変部の一部を形成しない画像データ点に接する、当接する、隣り合う、又は直接隣接している画像データ点である。
領域拡張アルゴリズム42は、潜在的病変部の外部の画像データ点であり且つ周縁画像データ点のうちのいずれかに直接隣り合う、隣接画像データ点を識別するステップ42Bを更に含む。この場合、画像データ点中の各近接画像データ点は、潜在的病変部の画像データ点に当接している。
領域拡張アルゴリズム42は、ステップ42Bにおいて新しい隣接画像データ点が識別されないことに応答して終了する。この場合、新しい隣接画像データ点が1つでも識別されているかどうかを判定するステップ42Cが存在し得る。
例えばステップ42Cにおいて、新しい隣接画像データ点が識別されている場合、領域拡張アルゴリズム42は、その隣接画像データ点に関する第1の大きさ閾値の値よりも大きい大きさを有するあらゆる隣接画像データ点を潜在的病変部に追加するステップ42Dへと移る。このことにより潜在的病変部のサイズが効果的に拡張される。
第1の大きさ閾値の値は、隣接画像データ点と関連付けられた不確かさデータポイントに基づく。この場合、第1の大きさ閾値の値は、隣接画像データ点ごとに異なっていてもよい。
例として、不確かさデータポイントの値は、第1の大きさ閾値の値を計算する等式の変数として機能し得る。一例では、不確かさデータポイントは、大きさ閾値の値の所定値を変更して第1の大きさ閾値の値を生成するために使用される。別の例として、各隣接画像データ点の第1の大きさ閾値の値は、不確かさデータの生成中に(すなわち機械学習アルゴリズムによって)生成されるパラメータであり得る。この場合、各画像データ点を、領域拡張アルゴリズムと共に使用される、(機械学習アルゴリズムによって生成された)それぞれの第1の大きさ閾値の値と関連付けることができる。
領域拡張アルゴリズムは、新しい隣接画像データ点が識別されなくなるまで、すなわち境界の拡張が止まるまで、反復的に繰り返される。
再び図3を参照すると、ステップ33は、領域収縮又は領域縮小アルゴリズムを実行することを含み得る。このことは領域拡張アルゴリズムの代わりに、又はこれに追加して実行され得る。
領域収縮アルゴリズムは、病変部のサイズを縮小するために使用されることを除いては、領域拡張アルゴリズムと同様である。このことは、例えば、病変部の周縁を形成する画像データ点を調査すること、及び、不確かさデータに基づいて画像データ点の大きさと包含閾値を結合する決定ルールを適用することによって、実行され得る。領域収縮アルゴリズムは、予測される病変部がそれ以上収縮できないときに、例えば、病変部の周縁を形成する全ての画像データ点の大きさがそれらのそれぞれの閾値を超えているときに、停止され得る。
図5は、領域収縮アルゴリズムが実行されるステップ33の例示の方法33Bを示す。
方法33Bは、方法33Aのステップ41と実質的に同一の様式で、確からしさデータに基づいて医療画像データ中の1つ又は複数の潜在的病変部を識別するステップ51を含む。ステップ51は、(実行される場合)ステップ41と同時に実行され得る。
各識別された潜在的病変部に領域収縮アルゴリズム52が適用される。このことは並行して又は連続的に実行され得る。示された実施形態では、各識別された潜在的病変部に、各領域収縮アルゴリズムが連続的に適用される。この場合、未処理の潜在的病変部(すなわち、領域収縮アルゴリズムが適用されていない病変部)が1つでも存在するかどうかを判定するステップ59Aが存在する。方法33Bは、各潜在的病変部が処理されている場合、ステップ59Cにおいて終了する。各潜在的病変部が処理されていない場合には、未処理の病変部を選択するステップ59Dが実行される。
領域拡張アルゴリズム52は、潜在的病変部の周縁を形成する周縁画像データ点を識別するステップ52Aを含む。先程と同様に、周縁画像データ点は、潜在的な病変部の最も外側の画像データ点、すなわち、潜在的な病変部の一部を形成しない画像データ点に接する、隣接する、隣り合う、又は直接隣接している画像データ点である。
領域拡張アルゴリズム52は、ステップ52Aにおいて新しい周縁画像データ点が識別されないことに応答して終了する。この場合、新しい周縁画像データ点が1つでも識別されているかどうかを判定するステップ52Bが存在し得る。新しい周縁画像データ点が識別されていない場合は、領域収縮アルゴリズムは終了する。
新しい周縁画像データ点が識別されている場合には、ステップ52Cが実行される。ステップ52Cは、潜在的病変部から、周縁画像データ点に関する第2の大きさ閾値の値よりも小さい大きさを有するあらゆる周縁画像データ点を除去することを含む。第2の大きさ閾値の値は、周縁画像データ点と関連付けられた不確かさデータポイントに基づく。
第2の大きさ閾値の値は、隣接画像データ点と関連付けられた不確かさデータポイントに基づく。この場合、第2の大きさ閾値の値は、隣接画像データ点ごとに異なっていてもよい。
例として、不確かさデータポイントの値は、第2の大きさ閾値の値を計算する等式の変数として機能し得る。一例では、不確かさデータポイントは、大きさ閾値の値の所定値を変更して第2の大きさ閾値の値を生成するために使用される。別の例として、各隣接画像データ点の第2の大きさ閾値の値は、不確かさデータの生成中に(すなわち機械学習アルゴリズムによって)生成されるパラメータであり得る。この場合、各画像データ点を、領域拡張アルゴリズムと共に使用される、(機械学習アルゴリズムによって生成された)それぞれの第2の大きさ閾値の値と関連付けることができる。第1及び第2の大きさ閾値の値は同じであってもよい。
再び図3を参照すると、別の例では、ステップ33は、予測される境界部分をユーザに提示すること、及び、ユーザが予測される境界部分の訂正又は変更を指示することを可能にすることを含む。この場合、境界を識別するステップは、病変部の1つ又は複数の境界を示すユーザ入力を受け取ることを含み得る(この入力は予測される境界部分をユーザに提示した後で受信される)。
いくつかの実施形態では、ユーザは、提示された境界を却下して、このことにより予測される病変部を却下できてもよい。
特にステップ33は、確からしさデータを使用して各潜在的病変部の1つ又は複数の予測される境界部分を識別することであって、各予測される境界部分は潜在的病変部の境界の一部の予測される位置である、識別することと、不確かさデータを使用して、各予測される境界部分の不確かさ及び/又は各潜在的病変部の不確かさを識別することと、各境界部分の識別された不確かさ及び/又は各潜在的病変部の不確かさに基づいて、予測される境界部分のうちの1つ又は複数を選択することと、選択された予測される境界部分をユーザに提示することと、選択された予測される境界部分をユーザに提示することの後で、病変部の1つ又は複数の境界を示すユーザ入力を受け取ることと、受け取ったユーザ入力に基づいて境界部分を識別することと、を含み得る。
このようにして、方法は、境界をより正確に識別するために臨床医の理解及び経験を活用することができ、このとき臨床医には、自動的に予測される境界のどこを訂正する必要があるかを識別する負担がからない。特に、予測される最も不確かな(又は最も不確かではない)境界に注意を引き付けることによって、臨床医は、十分正確に識別されたと見なされる境界を訂正する必要がなくなる。このことにより、画像データ中の境界の識別の容易さ及び速さが向上する。
2つのレベルの不確かさを考えることができ、1つは潜在的病変部全体の不確かさ(「境界不確かさ」)であり、もう1つは境界部分の不確かさ(「境界不確かさ」)である。各境界部分を、病変部不確かさ及び境界不確かさと関連付けることができる。境界不確かさは例えば、潜在的病変部の各画像データ点と関連付けられた平均不確かさ、又は、ある閾値を超える不確かさを有する潜在的病変部の画像データ点の相対的な数(例えばパーセンテージ)であり得る。ユーザに提示されるように選択される境界は、これらの不確かさ尺度の一方又は両方に依存し得る。
例えば、提示されるように選択される境界は、第1の所定の不確かさ値を超える病変部不確かさ及び第2の所定の不確かさ値未満の境界不確かさと関連付けられたものであり得る。第1及び第2の所定の不確かさ値は同じであってもよい。第1及び第2の所定の不確かさ値は好ましくは、可能な最大不確かさ値の40~70%の範囲内である。
別の例では、提示されるべく選択された境界は、第3の所定の不確かさ値を超える病変部不確かさと関連付けられたものであってもよい。この場合、不確かな病変部の境界が、変更及び/又は却下できるようにユーザに提示され得る。
この場合、一般的にいえば、確からしさ及び不確かさのデータを使用して、不確かさデータを領域拡張アルゴリズムと組み合わせることによる自動化された様式で、又は、境界のあらゆる誤識別を効率的に訂正できるように病変部の最も不確かではない外縁が臨床医又はユーザに提示される、半自動化された様式で、のいずれかで、検出された病変部を拡大することができる。
図3を再び参照すると、方法30は、各1つ又は複数の識別される境界の位置を各々示す、それぞれの1つ又は複数のグラフィカルアノテーションを生成するステップ34を更に含み得る。
この場合、各識別される境界について、識別される境界の位置及び範囲を識別するグラフィカルアノテーションが生成され得る。このグラフィカルアノテーションは、病変部の境界の位置及び/又は存在を示すべく、(例えばディスプレイ上で)画像データに重ね合わされるように設計され得る。グラフィカルアノテーションは境界データ中に含まれていてもよい。
いくつかの実施形態では、方法は、例えばディスプレイ上に、N次元画像データ及び1つ又は複数のグラフィカルアノテーションを表示するステップを更に含み得る。このディスプレイによって、病変部の境界に対する注意に対象者の注意を引き付けることが可能になる。
提案される発明は、病変部の境界のより正確な識別を可能にする。このことは、対象者内の病変部の数、位置、及びサイズのより正確な識別が行われることになるので、ユーザが対象者の病状を診断又は評価するタスクを実行するのを直接的に助ける。
このように、提案される発明は、技術的タスクを(例えば対象者/患者の病状の診断又はそれ以外の評価を)実行する際に、ユーザに信頼性の高い補助を提供する。特に、病変部の境界のより正確な識別が行われ、臨床医にとって利用可能になる情報が改善される。
提案される発明ではまた、病変部境界の実際の位置と病変部境界の予測される位置の不確かさとの間を直接リンクさせられることも認識されている。
機械学習アルゴリズムは、出力データを生み出すために入力データを処理する任意の自己訓練アルゴリズムであることが理解されよう。本願の発明のコンテキストでは、入力データはN次元画像データを含み、出力データはN次元確からしさデータ及びN次元不確かさデータを含む。
本願の発明において採用するのに適した機械学習アルゴリズムが、当業者には明らかであろう。好適な機械学習アルゴリズムの例としては、決定木アルゴリズム、人工ニューラルネットワーク、ロジスティック回帰、又はサポートベクトルマシンが挙げられる。
好ましくは、機械学習アルゴリズムは、ベイズ的ニューラルネットワークなどのベイズ的深層学習セグメント化アルゴリズムである。ベイズ的方法論に不確かさ計算が組み込まれているので、ベイズ的な機械学習モデルによって、確からしさデータポイントの不確かさを計算する比較的単純な方法が提供される。
人工ニューラルネットワークの構造(又は、簡潔にニューラルネットワーク)は、人間の脳から発想を得ている。ニューラルネットワークは層から成り、各層は複数のニューロンを含む。各ニューロンは数学的操作を含む。特に、各ニューロンは、単一のタイプの変換の異なる重み付き組合せ(例えば、同じタイプの変換、シグモイド等だが重み付けが異なる)を含み得る。入力データを処理するプロセスにおいて、入力データに対して各ニューロンの数学的操作が行われて数値出力が生み出され、ニューラルネットワークにおける各層の出力は次の層に順次供給される。最後の層が出力を提供する。
機械学習アルゴリズムを訓練する方法はよく知られている。典型的には、そのような方法は、訓練入力データエントリと対応する訓練出力データエントリとを含む、訓練データセットを取得するステップを含む。本願の発明のコンテキストでは、訓練入力データエントリは、例示のN次元画像データに相当する。訓練出力データエントリは、N次元画像データ内の病変部の境界に対応している(このことにより、画像データの所与の画像データ点が病変部の一部を形成する確からしさが効果的に識別される)。
予測される出力データエントリを生成するために、各入力データエントリに初期化された機械学習アルゴリズムが適用される。機械学習アルゴリズムを変更するために、予測される出力データエントリと対応する訓練出力データエントリの間の誤差又は損失関数が使用される。誤差が収束し予測される出力データエントリが訓練出力データエントリに十分に近くなる(例えば±1%)まで、このプロセスを繰り返すことができる。このことは一般に、教師あり学習技術として知られている。
ベイズ的ニューラルネットワークでは、各重みは確率分布と関連付けられる。ベイズ的ニューラルネットワークの訓練中、重みの確率分布を、訓練データの最新の教育を反映するように更新することができる。これによりそれ自体の確率分布を有するモデルが効果的に提供され、これはしたがって各データ点に関する確率分布を有する予測データを出力することができる。
そのような例では、確からしさデータポイントは確率分布の平均又は中央確率であってもよく、不確かさデータポイントは確率分布の標準偏差であってもよい。このことにより、確からしさ及び不確かさのデータを生成するための、単純で効果的で低コストの処理方法が提供される。
本願の発明のコンテキストでは、予測される病変部が連結成分を形成するものであること及び不確かさの推定が病変部の外縁に注目するものであることを考慮した損失関数を使用して、機械学習アルゴリズムを訓練することができる。
好適な損失関数の一例が以下の等式(1)に示されている。
Loss(P,G)=Dice(P,G)+γCCscore(P) (1)
等式1において、Pは画像データに関する確からしさデータポイント予測値を表し、Gはグラウンドトルースを表し、Diceはモデル予測値とグラウンドトゥルースとの間のダイス類似係数であり、CCscoreは予測される病変部が緻密(compact)であるかそれとも無くなったピクセルがあるかの尺度である。CCscoreは、予測値から完全に緻密な病変部を作り出し(すなわち予測される病変部から無くなっているピクセルを追加し)、次いでこの緻密な病変部と予測される病変部の間の違い(例えばピクセルの数)を測定することによって測定され得る。γは損失関数のこの部分に重みを提供する実数であり、モデルの訓練中に最適化される。
以上から、機械学習アルゴリズムは、画像データから確からしさデータを直接計算するように訓練されることが明らかである。
不確かさデータは、モンテカルロドロップアウトの手法を使用して計算することができる。特に、モデルアーキテクチャにおいてドロップアウト層を用いて機械学習モデルを訓練することができる。確からしさデータの推定中にドロップアウトが「実行される(turned on)」が、このことは、この干渉を複数回行った場合には異なる確からしさデータ(すなわち異なる予測値)が得られることを意味する。次いでこれらの予測値の分散として不確かさを測定することができる。当業者には不確かさデータを計算する他の方法も知られるであろう。
ベイズ的深層学習モデル及び不確かさ情報についての更なる情報が、Kendall、Alex、及びYarin Gal.による論文「What uncertainties do we need in bayesian deep learning for computer vision?」 、Advances in neural information processing systems. 2017に見出される。当業者であれば、ベイズ的深層学習モデルについての更なる情報を確認するためにこの文献を参照することを検討してもよい。
当業者であれば、本明細書に記載する任意の方法を実行するための処理システムを容易に開発できるであろう。この場合、フローチャートの各ステップは、処理システムによって実行される異なるアクションを表すことができ、処理システムの対応するモジュールによって実行され得る。
図6は、ある実施形態に係る処理システム61が実装されるシステム60を示す。システムは、処理システム61と、画像データ生成器62と、ディスプレイユニット63とを備える。
処理システム61は、画像データ点を含むN次元医療画像データを受信し、機械学習アルゴリズムを使用してN次元医療画像データを処理し、このことにより、画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む、N次元確からしさデータ、及び示された確からしさの不確かさを示す、各確からしさデータポイントに関するそれぞれの不確かさデータポイントを含む、N次元不確かさデータを生成し、少なくとも不確かさデータを使用して医療画像データ中の病変部の1つ又は複数の境界を識別するように、適合されている。
画像データ生成器62は、N次元医療画像データを生成又は提供するように適合されている。画像データ生成器は、例えば、医療画像データを保存するメモリシステム(例えば医療画像のバンク)、又はCTスキャナなどの画像データ生成要素を含み得る。画像データ生成器は、処理システム61によって分析される医療画像データを生成する。
ディスプレイユニット63は、処理システム61によって識別される境界についての情報(例えば境界情報)を受信し、この情報を例えばディスプレイ63A上に表示するように適合されている。ディスプレイユニットは、例えば示された境界の下に、境界と関連付けられた医療画像データを表示するように適合され得る。この医療画像データは、画像データ生成器62から直接受信され得る。
ディスプレイユニット63は、当業者には知られるであろうが、ユーザが医療画像の(及びしたがって見えている境界の)見た目を変える又は操作することを可能にし得る、ユーザインターフェース63Bを更に備え得る。
実施形態はしたがって処理システムを使用する。処理システムは、必要な様々な機能を実行するように、ソフトウェア及び/又はハードウェアを用いて多数の方式で実装され得る。プロセッサは、必要な機能を実行するようにソフトウェア(例えば、マイクロコード)を使用してプログラム可能な1つ又は複数のマイクロプロセッサを利用する処理システムの一例である。ただし処理システムは、プロセッサを利用して又は利用せずに実装されてもよく、また、いくつかの機能を実行するための専用ハードウェアと他の機能を実行するためのプロセッサ(例えば、1つ又は複数のプログラムされたマイクロプロセッサ及び関連する回路構成)の組合せとして実装されてもよい。
本願の開示の様々な実施形態で採用され得る処理システム構成要素の例としては、限定するものではないが、従来のマイクロプロセッサ、特定用途向け集積回路(ASIC)、及びフィールドプログラマブルゲートアレイ(FPGA)が挙げられる。
様々な実装形態において、プロセッサ又は処理システムを、1つ又は複数のストレージ媒体、例えば、RAM、PROM、EPROM、及びEEPROM(登録商標)などの揮発性及び不揮発性コンピュータメモリと関連付けることができる。ストレージ媒体は、1つ又は複数のプロセッサ及び/又は処理システム上で実行されると要求される機能を実行する1つ又は複数のプログラムを用いて符号化され得る。様々なストレージ媒体を、プロセッサ若しくは処理システム内に固定できるか、又は、それらに記憶されている1つ若しくは複数のプログラムをプロセッサ若しくは処理システムにロードできるように、搬送可能にしてもよい。
開示される方法は好ましくはコンピュータ実装方法であることが理解されよう。したがって、コンピュータプログラムであって、上記プログラムがコンピュータなどの処理システム上で実行されるときに記載されているいずれかの方法を実施するためのコード手段を備える、コンピュータプログラムの概念も提案される。この場合、本明細書に記載する任意の方法を実行するために、ある実施形態に係るコンピュータプログラムのコードの様々な部分、ライン、又はブロックを、処理システム又はコンピュータによって実行してもよい。いくつかの代替的実装形態において、ブロック内に記された機能は、図に記されたものとは異なる順序で行われ得る。例えば連続して示される2つのブロックは、実際は実質的に並行して実行され得、又はこれらのブロックは時には関わる機能に応じて、逆の順序で実行され得る。
特許請求される本発明の実施に際して、当業者は、図面、本開示、及び添付の特許請求の範囲を検討することによって、開示される実施形態の変形形態を理解及び実現することができる。請求項において、単語「備える」は他の要素又はステップを除外せず、単数形は複数を除外しない。単一プロセッサの又は他のユニットが、請求項に記載されたいくつかの事項の機能を満たす場合がある。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せが有利に使用され得ないことを示すものではない。上でコンピュータプログラムが検討されている場合、それは、他のハードウェアと一緒に又はその一部として供給され得る光学ストレージ媒体又はソリッドステート媒体などの好適な媒体に記憶/分配されてもよいが、また、インターネット又は他の有線若しくはワイヤレスの電気通信システムを介してなど、他の形態で分配されてもよい。特許請求の範囲又は説明において用語「~するように適合されている」が使用される場合、用語「~するように適合されている」は、用語「~するように構成されている」と等価となるよう意図されていることが留意される。特許請求の範囲中のどの参照符号も、その範囲を限定するものと解釈されるべきではない。

Claims (15)

  1. 対象者のある領域のN次元医療画像データ中の病変部の1つ又は複数の境界を識別するコンピュータで実施される方法であって、前記方法は、
    画像データ点を含む前記N次元医療画像データを受信するステップと、
    機械学習アルゴリズムを使用して前記N次元医療画像データを処理するステップであって、当該処理により、
    前記画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む、N次元確からしさデータと、
    前記確からしさデータポイントによって示される確からしさの不確かさを示す不確かさデータポイントであって、各確からしさデータポイントに関する、したがって各画像データ点に関するそれぞれの当該不確かさデータポイントを含む、N次元不確かさデータとを生成する、当該処理するステップと、
    少なくとも前記N次元確からしさデータ及び前記N次元不確かさデータを使用して、前記医療画像データ中の病変部の1つ又は複数の境界を識別するステップと、
    を含む、方法。
  2. 前記病変部の1つ又は複数の境界を識別するステップは、
    前記確からしさデータに基づいて前記医療画像データ中の1つ又は複数の潜在的病変部を識別することと、
    前記医療画像データ中の病変部の1つ又は複数の境界を識別するために、少なくとも前記不確かさデータを使用して各潜在的病変部を処理することと、
    を含む、請求項1に記載の方法。
  3. 前記病変部の1つ又は複数の境界を識別するステップは、各潜在的病変部に領域拡張アルゴリズムを適用するステップであって、前記領域拡張アルゴリズムは前記N次元医療画像データ及び前記不確かさデータを使用することにより各潜在的病変部の前記境界を画定する、前記適用するステップを含む、請求項2に記載の方法。
  4. 前記各潜在的病変部に前記領域拡張アルゴリズムを適用するステップは、前記各潜在的病変部に対して、
    前記潜在的病変部の周縁を形成する周縁画像データ点を識別するステップと、
    前記潜在的病変部の外部の画像データ点であり且つ前記周縁画像データ点のうちのいずれかに直接隣り合う、隣接画像データ点を識別するステップと、
    各隣接画像データ点について、前記隣接画像データ点の大きさがその隣接画像データ点に関する第1の大きさ閾値の値よりも大きいことに応答して、前記隣接画像データ点を前記潜在的病変部に追加するステップであって、前記第1の大きさ閾値の値は前記隣接画像データ点と関連付けられた前記不確かさデータポイントに基づく、前記追加するステップと、を反復的に実行するステップを含み、
    前記領域拡張アルゴリズムは、新しい隣接画像データ点が識別されないことに応答して終了する、請求項3に記載の方法。
  5. 前記病変部の1つ又は複数の境界を識別するステップは各潜在的病変部に領域収縮アルゴリズムを適用するステップを含み、前記領域収縮アルゴリズムは、
    前記潜在的病変部の周縁を形成する周縁画像データ点を識別するステップと、
    各周縁画像データ点について、前記周縁画像データ点の大きさが前記周縁画像データ点に関する第2の大きさ閾値の値未満であることに応答して、前記潜在的病変部から前記周縁画像データ点を除去するステップであって、前記第2の大きさ閾値の値は前記周縁画像データ点と関連付けられた前記不確かさデータポイントに基づく、前記除去するステップと、を反復的に実行するステップを含み、
    領域拡張アルゴリズムは、新しい周縁画像データ点が識別されないことに応答して終了する、請求項2から4のいずれか一項に記載の方法。
  6. 前記病変部の1つ又は複数の境界を識別するステップは、
    前記確からしさデータを使用して各潜在的病変部の1つ又は複数の予測される境界部分を識別するステップであって、各予測される境界部分は前記潜在的病変部の境界の一部の予測される位置である、識別するステップと、
    前記不確かさデータを使用して、各予測される境界部分の不確かさ及び/又は各潜在的病変部の不確かさを識別するステップと、
    各境界部分の識別された前記不確かさ及び/又は各潜在的病変部の不確かさに基づいて、前記予測される境界部分のうちの1つ又は複数を選択するステップと、
    選択された前記予測される境界部分をユーザに提示するステップと、
    選択された前記予測される境界部分を前記ユーザに提示するステップの後で、病変部の1つ又は複数の境界を示すユーザ入力を受け取るステップと、
    受け取った前記ユーザ入力に基づいて前記境界部分を識別するステップと、
    を含む、請求項2に記載の方法。
  7. 1つ又は複数の前記予測される境界部分を選択するステップは、第1の所定の不確かさ値を超える不確かさと関連付けられた境界部分、及び/又は、第2の所定の不確かさ値未満の不確かさを有する病変部と関連付けられた境界部分を選択することを含む、請求項6に記載の方法。
  8. 前記医療画像データ中の1つ又は複数の潜在的病変部を識別するステップは、確からしさデータポイントと関連付けられた画像データ点の群を識別するステップであって、前記確からしさデータポイントは前記画像データ点が病変部の一部である確からしさが所定の確からしさを超えることを示し、前記画像データ点の各群はこのことにより前記潜在的病変部を形成する、前記識別するステップを含む、請求項2から7のいずれか一項に記載の方法。
  9. 各1つ又は複数の識別される境界の位置を各々示す、それぞれの1つ又は複数のグラフィカルアノテーションを生成するステップを更に含む、請求項1から8のいずれか一項に記載の方法。
  10. 処理システム上で実行されるときに請求項1から9のいずれか一項に記載の方法を実行するための命令を備える、コンピュータプログラム。
  11. 対象者のある領域のN次元医療画像データ中の病変部の1つ又は複数の境界を識別するためのデータ処理システムであって、前記データ処理システムは、
    画像データ点を含む前記N次元医療画像データを受信し、
    機械学習アルゴリズムを使用して前記N次元医療画像データを処理することにより、
    前記画像データ点が病変部の一部である確からしさを示す、各画像データ点に関するそれぞれの確からしさデータポイントを含む、N次元確からしさデータと
    示された前記確からしさの不確かさを示す、各確からしさデータポイントに関するそれぞれの不確かさデータポイントを含む、N次元不確かさデータとを生成し、
    少なくとも前記確からしさデータ及び前記不確かさデータを使用して、前記医療画像データ中の病変部の1つ又は複数の境界を識別する、
    データ処理システム。
  12. 前記確からしさデータに基づいて前記医療画像データ中の1つ又は複数の潜在的病変部を識別し、
    前記医療画像データ中の病変部の1つ又は複数の境界を識別するために、少なくとも前記不確かさデータを使用して各潜在的病変部を処理する、
    請求項11に記載のデータ処理システム。
  13. 前記データ処理システムは、各潜在的病変部に領域拡張アルゴリズムを適用することによって各潜在的病変部を処理し、前記領域拡張アルゴリズムは前記医療画像データ及び前記不確かさデータを使用することにより各潜在的病変部の前記境界を画定する、請求項12に記載のデータ処理システム。
  14. 前記データ処理システムは、
    前記確からしさデータを使用して各潜在的病変部の1つ又は複数の予測される境界部分を識別することであって、各予測される境界部分は前記潜在的病変部の境界の一部の予測される位置である、識別することと、
    前記不確かさデータを使用して、各予測される境界部分の不確かさ及び/又は各潜在的病変部の不確かさを識別することと、
    各境界部分の識別された前記不確かさ及び/又は各潜在的病変部の不確かさに基づいて、前記予測される境界部分のうちの1つ又は複数を選択することと、
    選択された前記予測される境界部分をユーザに提示することと、
    選択された前記予測される境界部分を前記ユーザに前記提示することの後で、病変部の1つ又は複数の境界を示すユーザ入力を受け取ることと、
    受け取った前記ユーザ入力に基づいて前記境界部分を識別することとによって、
    各潜在的病変部を処理する、請求項12に記載のデータ処理システム。
  15. 各1つ又は複数の識別される境界の位置を各々示す、それぞれの1つ又は複数のグラフィカルアノテーションを更に生成する、請求項11から14のいずれか一項に記載のデータ処理システム。
JP2021558747A 2019-04-04 2020-04-03 画像データ中の病変部の境界の識別 Active JP7204007B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19167213.8 2019-04-04
EP19167213.8A EP3719746A1 (en) 2019-04-04 2019-04-04 Identifying boundaries of lesions within image data
PCT/EP2020/059583 WO2020201516A1 (en) 2019-04-04 2020-04-03 Identifying boundaries of lesions within image data

Publications (3)

Publication Number Publication Date
JP2022527525A JP2022527525A (ja) 2022-06-02
JPWO2020201516A5 JPWO2020201516A5 (ja) 2022-08-15
JP7204007B2 true JP7204007B2 (ja) 2023-01-13

Family

ID=66092123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558747A Active JP7204007B2 (ja) 2019-04-04 2020-04-03 画像データ中の病変部の境界の識別

Country Status (5)

Country Link
US (1) US12079989B2 (ja)
EP (2) EP3719746A1 (ja)
JP (1) JP7204007B2 (ja)
CN (1) CN113661518A (ja)
WO (1) WO2020201516A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210375437A1 (en) * 2020-06-01 2021-12-02 Radial Analytics, Inc. Systems and methods for discharge evaluation triage
US12073945B2 (en) * 2020-06-30 2024-08-27 Cerner Innovation, Inc. Patient ventilator asynchrony detection
WO2022013265A1 (en) * 2020-07-16 2022-01-20 Koninklijke Philips N.V. Automatic certainty evaluator for radiology reports
US12112844B2 (en) * 2021-03-12 2024-10-08 Siemens Healthineers Ag Machine learning for automatic detection of intracranial hemorrhages with uncertainty measures from medical images
CN114463323B (zh) * 2022-02-22 2023-09-08 数坤(上海)医疗科技有限公司 一种病灶区域识别方法、装置、电子设备和存储介质
WO2023166573A1 (ja) * 2022-03-01 2023-09-07 日本電気株式会社 学習装置、制御装置、学習方法及び記憶媒体
JP2024017902A (ja) * 2022-07-28 2024-02-08 株式会社日立製作所 判定評価装置、方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102916A (ja) 2016-12-22 2018-07-05 パナソニックIpマネジメント株式会社 制御方法、情報端末、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
US7840046B2 (en) * 2006-06-27 2010-11-23 Siemens Medical Solutions Usa, Inc. System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images
US9122950B2 (en) 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
US9886758B2 (en) 2016-03-31 2018-02-06 International Business Machines Corporation Annotation of skin image using learned feature representation
CA3053487A1 (en) 2017-02-22 2018-08-30 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN107730507A (zh) 2017-08-23 2018-02-23 成都信息工程大学 一种基于深度学习的病变区域自动分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018102916A (ja) 2016-12-22 2018-07-05 パナソニックIpマネジメント株式会社 制御方法、情報端末、及びプログラム

Also Published As

Publication number Publication date
WO2020201516A1 (en) 2020-10-08
EP3719746A1 (en) 2020-10-07
EP3948777B1 (en) 2022-11-16
EP3948777A1 (en) 2022-02-09
CN113661518A (zh) 2021-11-16
US20220180516A1 (en) 2022-06-09
US12079989B2 (en) 2024-09-03
JP2022527525A (ja) 2022-06-02

Similar Documents

Publication Publication Date Title
JP7204007B2 (ja) 画像データ中の病変部の境界の識別
AU2017292642B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US10265040B2 (en) Method and apparatus for adaptive computer-aided diagnosis
EP3654846B1 (en) Inflammation estimation from x-ray image data
US10130323B2 (en) Method and apparatus for planning computer-aided diagnosis
JP2020166809A (ja) モデル学習用のシステム、装置、及び学習方法
EP3923190A1 (en) A system and method for evaluating a performance of explainability methods used with artificial neural networks
CN114332132A (zh) 图像分割方法、装置和计算机设备
EP4352706A1 (en) Hierarchical workflow for generating annotated training data for machine learning enabled image segmentation
WO2021032325A1 (en) Updating boundary segmentations
CN117174257B (zh) 医疗影像的处理装置、电子设备及计算机可读存储介质
CN114787816A (zh) 针对机器学习方法的数据增强
WO2020033594A1 (en) Interpretable deep machine learning for clinical radiology
EP4044113A1 (en) Image sequence analysis
JP7401537B2 (ja) システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体
TG Femur bone volumetric estimation for osteoporosis classification based on deep learning with tuna jellyfish optimization using X-ray images
Ram et al. Lung Lobe Segmentation With Automated Quality Assurance Using Deep Convolutional Neural Networks
EP4343687A1 (en) Image segmentation with improved expert guidance
US20240186022A1 (en) Progression profile prediction
EP4302699A1 (en) System and method for processing ultrasound imaging data
US20230126342A1 (en) Failure detection for segmentation of an image
Yoo Investigating ROI-independent Segmentation and Classification of Glioma in MR Images and of Liver Fibrosis Detection in CT Images
CN118076297A (zh) 医学成像和分析方法
WO2024213422A1 (en) Processing a medical image
CN117084704A (zh) 一种基于数字减影血管造影的颈动脉狭窄检测和量化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220804

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7204007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150