JP7401537B2 - システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体 - Google Patents

システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体 Download PDF

Info

Publication number
JP7401537B2
JP7401537B2 JP2021521462A JP2021521462A JP7401537B2 JP 7401537 B2 JP7401537 B2 JP 7401537B2 JP 2021521462 A JP2021521462 A JP 2021521462A JP 2021521462 A JP2021521462 A JP 2021521462A JP 7401537 B2 JP7401537 B2 JP 7401537B2
Authority
JP
Japan
Prior art keywords
segmentation
data
accuracy
image data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021521462A
Other languages
English (en)
Other versions
JP2022505428A (ja
Inventor
アレクサンドラ グロス
ロルフ ユルゲン ウェーゼ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022505428A publication Critical patent/JP2022505428A/ja
Application granted granted Critical
Publication of JP7401537B2 publication Critical patent/JP7401537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、医療用画像における解剖学的構造の画像のセグメンテーションなどの画像のセグメンテーションの分野におけるシステム及びコンピュータによって実施される方法に関する。本発明は更に、コンピュータによって実施される方法を実施する命令を含むコンピュータ可読媒体に関する。
画像のセグメンテーションは、これに限られるわけではないが、医療分野などの様々な分野において、広く使用されている。後者の例において、画像のセグメンテーションはしばしば、医療用画像における解剖学的構造を、例えば解剖学的構造の境界線を描写すること、境界線によって囲まれたボクセルをラベリングすることなどによって、特定するために使用される。このようなセグメンテーションが実施されると、例えば心内構造物の場合、心室重量及び壁の厚さなどの臨床的パラメータを抽出することが可能となる。このようなセグメンテーションはしばしば描写又は注釈とも称され、解剖学的構造の外部境界面だけでなく、解剖学的構造の内部面も特定する。
メッシュを使用してセグメンテーションを実施することが知られている。このようなメッシュは、自動的に、手動で、又は半自動的に医療用画像に適用される。自動的又は半自動的な適用は、「メッシュ適合」又は「メッシュフィッティング」とも呼ばれる適合技術の使用を伴う。適合技術は、例えば、メッシュを画像データに適合させる外部エネルギー項及びメッシュの強固さを維持する内部エネルギー項に基づいてエネルギー関数を最適化する。医療用画像にメッシュを自動的に適用するための様々な適合技術が知られている。自動的技術の一例が、Ｏ．Ｅｃａｂｅｒｔらによる「ＳＥＧＭＥＮＴＡＴＩＯＮ ＯＦ ＴＨＥ ＨＥＡＲＴ ＡＮＤ ＧＲＥＡＴ ＶＥＳＳＥＬＳ ＩＮ ＣＴ ＩＭＡＧＥＳ ＵＳＩＮＧ Ａ ＭＯＤＥＬ－ＢＡＳＥＤ ＡＤＡＰＴＡＴＩＯＮ ＦＲＡＭ（登録商標）ＥＷＯＲＫ」Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ、Ｖｏｌｕｍｅ１５、Ｉｓｓｕｅ６、Ｄｅｃｅｍｂｅｒ２０１１、８６３～８７６ページにおいて説明されており、これは、３次元的（３Ｄ）コンピュータ断層撮影（ＣＴ）画像からの心臓の自動的セグメンテーションを説明している。適用されたメッシュは、解剖学的構造の形状及び場所などの情報を視覚化するために医療用画像とともに表示もされる。例えば、メッシュは、医療用画像における解剖学的構造の上に重畳として表示される。
セグメンテーションの他の形態も同様に知られている。例えば、畳み込みニューラルネットワークは、ピクセル又はボクセルに関する注釈を提供し、次いで、これは、メッシュ又は他のタイプの表面表現に、例えば、マーチングキューブアルゴリズムを使用して、又は形態学的演算を使用して変換される。
以前に示されたように、セグメンテーションの結果、例えば適用されたメッシュは、測定（例えば、心臓の拍動サイクルにわたる左心室容量）のため、診断のため、治療計画（例えば、大動脈弁の移植取り付け）のため、疾病の予測（例えば、生物物理学的モデルの入力として）のためなどに使用される。しかしながら、いくつかの場合において、セグメンテーションアルゴリズムによるセグメンテーションは、完全に正確であるわけではない。例えば、メッシュが、解剖学的構造の境界線に不正確に適用され、それによって、例えば、測定、診断目的、治療計画、疾病予測などの役に立つという、その目的のために不十分な程に不正確になる。
従って、ユーザが、セグメンテーションアルゴリズムによって提供されたセグメンテーションを局所的に修正することが必要とされる。例えば、ユーザは、画像及び適用されたメッシュのビューを使用して、適用されたメッシュを編集する。ビューは、編集されるべきメッシュの一部を示す。メッシュの編集自体は、例えば、メッシュ部分の再位置付け、メッシュ部分の解像度の増加などを伴う。
不利なことには、修正を必要とするか否かを判定するためにセグメンテーションの全ての部分を検査することは時間を浪費する長たらしい作業である。
セグメンテーションアルゴリズムによって提供されたセグメンテーションの全ての部分をユーザが検査する必要性を回避又は低減することが望ましい。
本発明の以下の態様は、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成することを伴う。予測モデルは、機械学習技術を使用して訓練され、訓練後に、セグメンテーションアルゴリズムによる画像のそれぞれの画像部分における境界線のセグメンテーションの正確性を予測するために使用される。次いで、予測された正確性は視覚化、例えば、セグメンテーションの重畳として視覚化される。
本発明の第１の態様によると、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するためのシステムが提供される。
システムは、
データインタフェースであって、
訓練用画像データと、
訓練用画像データのそれぞれの画像部分のためのラベルであって、ラベルは、セグメンテーションアルゴリズムを訓練用画像データに適用することによって取得され、ラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示すラベルと
にアクセスするためのデータインタフェースと、
プロセッササブシステムであって、
機械学習技術を使用し、ラベル付き画像部分を入力として使用して、予測モデルを訓練することと、
訓練された予測モデルを表すモデルデータを出力することと
を行うように構成されたプロセッササブシステムと
を備える。
本発明の更なる態様によると、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成する、コンピュータによって実施される方法が提供される。
コンピュータによって実施される方法は、
訓練用画像データと、
訓練用画像データのそれぞれの画像部分のためのラベルであって、ラベルは、セグメンテーションアルゴリズムを訓練用画像データに適用することによって取得され、ラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示すラベルと
にアクセスするステップと、
機械学習技術を使用し、ラベル付き画像部分を入力として使用して、予測モデルを訓練するステップと、
訓練された予測モデルを表すモデルデータを出力するステップと
を有する。
本発明の更なる態様によると、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するためのシステムが提供される。
システムは、
データインタフェースであって、
訓練用画像データのラベル付き画像部分上で訓練された予測モデルを表すモデルデータであって、ラベル付き画像部分のラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、モデルデータと、
セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データと
にアクセスするためのデータインタフェースと、
プロセッササブシステムであって、
入力画像データのそれぞれの画像部分に予測モデルを適用して、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を予測することと、
セグメンテーションの正確性を示す出力データを生成して、出力データに基づいて、セグメンテーションアルゴリズムによる境界線の不正確なセグメンテーションを特定することを可能とすることと
を行うように構成されたプロセッササブシステムと
を備える。
本発明の更なる態様によると、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための、コンピュータによって実施される方法が提供される。
コンピュータによって実施される方法は、
訓練用画像データのラベル付き画像部分上で訓練された予測モデルを表すモデルデータであって、ラベル付き画像部分のラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、モデルデータと、
セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データと
にアクセスするステップと、
入力画像データのそれぞれの画像部分に予測モデルを適用して、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を予測するステップと、
セグメンテーションの正確性を示す出力データを生成して、出力データに基づいて、セグメンテーションアルゴリズムによる境界線の不正確なセグメンテーションを特定することを可能とするステップと
を有する。
上記の手段は、セグメンテーションアルゴリズムによるセグメンテーションの正確性の予測を提供するために予測モデルを訓練すること、及び、これに続いて、例えば臨床的実践又は他の場所におけるセグメンテーションアルゴリズムの使用中に、正確性の予測を提供するために予測モデルを使用することを伴う。
以下において、臨床又は医療分野においてこれらの手段が適用されるときの効果及び利点について言及する。しかしながら、変更されるべきところは変更されつつ、他の分野においても効果及び利点が発揮されることは理解されよう。
訓練の側においては、例えば予測モデルを生成するとき、訓練用画像データが提供され、これは、例えば、医療用画像のセットから成る。加えて、セグメンテーションアルゴリズムが訓練用画像データに適用されたときの訓練用画像データのそれぞれの画像部分における境界線のセグメンテーションの正確性を示すラベルが提供される。ここで、「正確性」という語は、セグメンテーションの適格性を指し、例えば、二値的な適格性（「正確」又は「不正確」、「修正が必要」又は「修正が不要」など）、又は、非二値的な適格性（例えば、０から１０の段階によるもの、セグメンテーションと実際の境界線との間の差の、例えばミリメートル単位での定量化など）を含む。ラベルは、直接的に正確性を明示するが、例えば他の場所において説明されるように非直接的であってもよい。
このようなラベルは、例えば、自動的に、手動で、又は半自動的になど、様々なやり方で生成される。ラベルを生成する自動的なやり方は、本明細書の他の場所において説明される。しかしながら、概して、ラベルの生成は、セグメンテーションアルゴリズムを訓練用画像データに適用すること、セグメンテーションの正確性を判定すること、次いで、セグメンテーションの正確性を示すラベルを画像部分に割り当てることを伴う。
例えば畳み込みニューラルネットワークの形態をとる予測モデルは、次いで、それ自体が知られている機械学習技術を使用して、ラベル付き画像部分上で訓練される。次いで、予測モデルは、モデルのデータを出力することによって、後続の使用のために使用可能とされる。
アプリケーションの側では、例えば、１つ又複数の入力画像など非訓練用入力画像データに対して予測モデルを使用するとき、予測モデルは、入力画像データのそれぞれの画像部分に適用されて、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を予測する。このような予測は、それぞれの画像部分に対して、予測モデルの訓練中に使用されたものと同一の又は類似のラベルを効果的に生成する。正確性を予測すると、予測された正確性を示す出力データが生成され、出力データに基づいて、セグメンテーションアルゴリズムによる境界線の不正確なセグメンテーションを特定することが可能となる。例えば、セグメンテーション自体の上の重畳として予測された正確性を視覚化する出力画像が生成される。
この点に関して、セグメンテーションアルゴリズムは、典型的には、アプリケーションの側において入力画像データに実際に適用されるが、このこと自体はセグメンテーションの正確性を予測するためには必要とされないということに留意されたい。というのは、予測モデルはセグメンテーション自体ではなく入力画像データを入力として使用するからである。
上記の手段は、セグメンテーションが不正確である、又は少なくとも正確性が不十分である画像部分を強調又は他のやり方によって特定するために使用されるセグメンテーションの正確性の予測が取得されるという効果を有する。このような画像部分におけるセグメンテーションは、ユーザによって検査される必要があり、修正される可能性が高い。従って、このような画像部分がユーザに特定されると、ユーザが全体的なセグメンテーション、例えば、適用されるメッシュの全ての部分を検査する必要がなくなるか、又は必要になる程度がほんの少しになる。
効果的には、セグメンテーションアルゴリズムの不完全性又は限界についての認識は、機械学習によって、予測モデルにおいて、符号化され、続いて、アプリケーションの側において、セグメンテーションの検査及び／又は修正が必要となる画像部分を特定するために使用される。
以下の任意選択的な態様は、予測モデルを生成、例えば訓練するシステム及びコンピュータによって実施される方法に関する。
任意選択的に、プロセッササブシステムは更に、
それぞれの画像部分のためのラベルを、
データインタフェースを介して、
セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションを表す第１のセグメンテーションデータと、
それぞれの画像部分における境界線のユーザによって修正されたセグメンテーションを表す第２のセグメンテーションデータと
にアクセスすることと、
第１のセグメンテーションデータを第２のセグメンテーションデータと比較することによってセグメンテーションの正確性を判定することと、
それぞれの画像部分に対してセグメンテーションの正確性を示すラベルを割り当てることと
によって生成するように構成される。
ラベルは、セグメンテーションアルゴリズムによる境界線のセグメンテーション及びユーザによる検査及び修正の後の（同一の）セグメンテーションを取得することによって、（半）自動的に生成される。故に、両セグメンテーションの間の任意の差は、ユーザによる修正を表し、従って、セグメンテーションアルゴリズムによる元のセグメンテーションが不正確であるか、又は少なくとも正確性が不十分であることを示す。セグメンテーションが付随する画像の画像部分は各々、両セグメンテーションを局所的に比較し、差を定量化してラベルを生成することによって、ラベリングされる。ここで、「画像部分」とは、サブボリューム、画像パッチなどの画像の一部を指す。画像部分は、互いに重複してもしなくてもよい。全ての訓練用画像データは、上述されたやり方によってラベリングされる。ラベルは、任意の知られたやり方によって、例えば、画像データ中のメタデータとして、又は個別のメタデータとして割り当てられる。例えば、画像注釈の分野でそれ自体が知られているように、画像に注釈を割り当てるための任意の知られた技術が使用される。
ラベルを生成する上記のやり方は、臨床分野においてセグメンテーション及び修正されたセグメンテーションのセットが存在するという認識に基づく。すなわち、意図される臨床的目的のためにセグメンテーションの十分な品質を保証するために、臨床的実践の最中にセグメンテーションが生成され、その後、修正される。従って、訓練用画像データを生成するという目的だけのためにセグメンテーションの結果をユーザが明示的にレビューし、セグメンテーションをラベリングする必要はない。むしろ、訓練目的のラベル付き画像データを生成するために既存の画像データ及びセグメンテーションデータが再使用される。
任意選択的に、プロセッササブシステムは、画像部分に対するセグメンテーションアルゴリズムによるセグメンテーションの正確性を、境界線のそれぞれのセグメンテーションの対応する部分の間の距離に基づいて判定するように構成される。境界線のそれぞれのセグメンテーションの対応する部分の間の距離は、例えば、両セグメンテーションの対応するメッシュの中心の間の幾何学的距離として、又は任意の他の知られたやり方によって、容易に求められ、セグメンテーションの正確性を示す。すなわち、もしも距離がゼロであるなら修正はなされておらず、これは、元のセグメンテーションが正確であったことを示す。これとは逆に、距離がゼロでないなら、これは、修正がなされたことを示す。更には、距離の大きさは、元のセグメンテーションの品質を示し、例えば、大きな距離は大きな修正を表し、元のセグメンテーションが低品質であったことを示す。一方、小さな距離は小さな修正を表し、元のセグメンテーションが不完全ではあったが、それでも妥当であったことを示す。いくつかの実施形態において、この距離は、例えばミリメートル又は他の適切な単位で表され、それぞれの画像部分に対するラベルとして直接的に使用される。
以下の任意選択的な態様は、予測モデルを使用、例えば適用するシステム及びコンピュータによって実施される方法に関する。
任意選択的に、予測モデルを使用するシステムのプロセッササブシステムは更に、
セグメンテーションアルゴリズムを入力画像データに適用し、それによって、入力画像データにおける境界線のセグメンテーションを取得することと、
境界線の部分を含む画像部分に基づいて、予測モデルが適用されるべき画像部分を特定することと
を行うように構成される。
セグメンテーションの正確性を予測する目的のために入力画像データにセグメンテーションアルゴリズムが適用されること自体は必要とされないが、セグメンテーションは、セグメンテーションの正確性が判定されるべき画像部分が特定されることを可能とする。すなわち、境界線は、典型的には、画像部分の部分集合にのみ存在する。処理時間を低減するために、又は、関連性のない正確性の予測の発生を低減するために、予測モデルは、入力画像データの画像部分の部分集合にのみ、すなわち、セグメント化されるべき境界線を含むものにのみ適用される。セグメンテーションは、境界線を少なくとも大まかに特定する。このように、セグメンテーションは、予測モデルが適用されるべき画像部分を選択するために使用される。
任意選択的に、入力画像データは３Ｄ画像データであり、セグメンテーションアルゴリズムは、入力画像データにおける境界線の３Ｄセグメンテーションを提供し、プロセッササブシステムは、３Ｄセグメンテーションのそれぞれの部分を中心とする３Ｄ画像データのサブボリュームとして予測モデルが適用されるべき画像部分を特定するように構成される。３Ｄ画像データは、臨床的実践において非常に関連性が高い。もしもセグメンテーションアルゴリズムが３Ｄ画像データに適用されるならば、予測モデルは、各サブボリュームにおけるセグメンテーションの正確性を予測するために、３Ｄ画像データのサブボリューム上で訓練され、これに適用される。
任意選択的に、プロセッササブシステムは、セグメンテーションの正確性の視覚化を含む出力画像データとして出力データを生成するように構成される。セグメンテーションの正確性は、例えば、ファイルとして記憶され、ディスプレイに表示されるなどする出力画像として視覚化される。例えば、出力画像データは、セグメンテーションの正確性の視覚化を、セグメンテーション自体の視覚化の上の重畳として含む。例えば、出力画像データは、適合されたメッシュを視覚化し、メッシュの部分に、色分けを、例えば、赤から緑へ、例えば「不正確」から「正確」への色マップとして適用することによってセグメンテーションの正確性を示す。
任意選択的に、プロセッササブシステムは、セグメンテーション品質基準に従って、境界線が不正確にセグメント化されていると思われる１つ又は複数の画像部分を視覚的に強調するように、境界線のセグメンテーションの視覚化を調節するように構成される。
任意選択的に、プロセッササブシステムは、
セグメンテーションアルゴリズムによる境界線のセグメンテーションを使用する臨床的適用を実行することと、
セグメンテーションの正確性に基づいて、臨床的適用のワークフローを調節することと
を行うように構成される。
本発明の更なる態様によると、システムの一方又は両方は、ワークステーション又は撮像装置内に備えられ、又はこれらによって実現される。
本発明の更なる態様によると、プロセッサシステムに、コンピュータによって実施される方法のうちの一方又は両方を実施させるように構成された命令を表す一時的又は非一時的データを含むコンピュータ可読媒が提供される。
本発明の更なる態様によると、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するように訓練された予測モデルを表す一時的又は非一時的データを含むコンピュータ可読媒体であって、予測モデルは訓練用画像データのラベル付き画像部分上で訓練され、ラベル付き画像部分のラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、コンピュータ可読媒体が提供される。
上述された本発明の実施形態、実施態様、及び／又は任意選択的な態様のうちの２つ以上が、有用であると思われる任意のやり方によって組み合わされ得ることが当業者によって理解されよう。
対応するシステムの説明された修正及び変形に対応する任意のコンピュータによって実施される方法及び／又は任意のコンピュータプログラムの修正及び変形が、本説明に基づいて、当業者によって実行され得る。
本発明のこれらの及び他の態様は、以下の説明において添付の図面を参照して例として説明される実施形態から明らかになり、これらを参照することで更に解明されるであろう。
セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するためのシステムを図示する図である。 セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するために予測モデルを使用するためのシステムを図示する図である。 解剖学的構造であって、その境界線がセグメンテーションアルゴリズムによってセグメント化されるべき解剖学的構造を示す医療用画像を図示する図である。 セグメンテーションアルゴリズムによる解剖学的構造の境界線のセグメンテーションの結果を図示する図であって、境界線の少なくとも一部がセグメンテーションアルゴリズムによって不正確にセグメント化されている図である。 セグメンテーションの手動修正を示す図である。 セグメンテーションアルゴリズムによって取得されたセグメンテーション、修正されたセグメンテーション及び両セグメンテーションの間の距離を図示する図であって、この距離は、予測モデルの訓練への入力としての局所的画像データとともにセグメンテーションの正確性を示すラベルとして使用される。 セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルの後続の使用を示す図であって、セグメンテーションの不正確性を示すように表示された重畳をもたらす図である。 セグメンテーションの視覚化の隣に表示されて、セグメンテーションの不正確性を示す警告ダイアログを図示する図である。 セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するための方法を図示する図である。 セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するために予測モデルを使用するための方法を図示する図である。 データを含むコンピュータ可読媒体を図示する図である。
図面は純粋に模式的なものであって、縮尺通りに描かれてはいないことが留意されるべきである。図面において、既に説明された要素に対応する要素は、同一の参照数字を有する。
参照番号のリスト
参照番号の以下のリストは、図面の解釈を容易にするために提供されるものであり、特許請求の範囲を限定するものと解釈されるべきではない。
０２０、０２２ データ記憶装置
０３０ 訓練用画像データ
０４０ ラベルデータ
０５０ モデルデータ
０６０ 入力画像データ
０７０ 出力データ
０８０ ユーザ入力デバイス
０８２ ユーザ入力データ
１００ 予測モデルを生成するためのシステム
１２０ データインタフェース
１２２、１２４ データ通信
１４０ プロセッササブシステム
２００ セグメンテーションの正確性を予測するためのシステム
２２０ データインタフェース
２２２、２２４ データ通信
２４０ プロセッササブシステム
２４２ 出力データ
２６０ ユーザインタフェースサブシステム
２６２ 表示データ
２８０ ディスプレイ
３００ 医療用画像
３１０ 解剖学的構造
３２０ 解剖学的構造の境界線
３３０ アルゴリズムによるセグメンテーション
３４０ 手動修正されたセグメンテーション
３４２ 修正アクション
３５０ 画像部分
３６０ セグメンテーションの間の距離
３８０ 正確性の視覚化、重畳
３８２ 警告ダイアログ
４００ 予測モデルを生成する方法
４１０ 訓練用画像データへのアクセス、ラベル
４２０ 予測モデルの訓練
４３０ 予測モデルを表すモデルデータの出力
５００ セグメンテーションの正確性を予測する方法
５１０ モデルデータへのアクセス、入力画像データ
５２０ 入力画像データへの予測モデルの適用
５３０ セグメンテーションの正確性の出力
６００ コンピュータ可読媒体
６１０ 非一時的データ
図１は、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するためのシステム１００を図示する。システム１００は、データ通信１２４を介して内部的に通信するデータインタフェース１２０及びプロセッササブシステム１４０を備える。プロセッササブシステム１４０は、システム１００の動作中に、データインタフェース１２０を使用して、訓練用画像データ０３０及び訓練用画像データのそれぞれの画像部分のためのラベル０４０にアクセスするように構成され、ラベルは、セグメンテーションアルゴリズムを訓練用画像データに適用することによって取得され、ラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す。例えば、図１において図示されるように、データインタフェース１２０は、データ０３０、０４０を含む外部データ記憶装置０２０へのアクセス１２２を提供する。代替的に、データ０３０、０４０は、システム１００の一部である内部データ記憶装置からアクセスされる。代替的に、データ０３０、０４０は、ネットワークを介して別の実体から受信される。概して、データインタフェース１２０は、ローカルエリアネットワーク又はワイドエリアネットワークへの、例えばインターネットへの、ネットワークインタフェース、内部又は外部データ記憶装置への記憶装置インタフェースなどの様々な形態をとる。データ記憶装置０２０は、任意の知られた適切な形態をとる。
プロセッササブシステム１４０は更に、システム１００の動作中に、機械学習技術を使用し、ラベル付き画像部分を入力として使用して、予測モデルを訓練し、訓練された予測モデルを表すモデルデータ０５０を出力するように構成される。モデルデータ０５０は、システム１００によって、ネットワークを介して送信されて、データ記憶装置０２０又は他の場所などに記憶される。例えば、モデルデータ０５０は、セグメンテーションアルゴリズムによるセグメンテーションの正確性の予測において使用するために、図２のシステム２００などの別の実体に提供される。いくつかの実施形態において、モデルデータ０５０は、例えば、モデルデータ０５０がセグメンテーションアルゴリズムの識別子を含むことによって、セグメンテーションアルゴリズムを表すデータへの参照指示を含むことによって、セグメンテーションアルゴリズムを表すデータを含むデータコンテナによって又はその一部として記憶されることによってなど、セグメンテーションアルゴリズムと関連付けられ又は関連付け可能である。
任意選択的な態様を含むシステム１００の動作の様々な詳細及び態様は、本明細書の他の場所において更に説明されるであろう。
概して、システム１００は、ワークステーション、例えばラップトップ又はデスクトップ型のもの、又はサーバなど、単一のデバイス又は装置として、又はこれらにおいて具現化される。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを備える。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現化されるが、このようなＣＰＵ及び／又は他のタイプの処理ユニットの組み合わせ又はシステムによっても具現化される。ソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ又はＦｌａｓｈなどの不揮発性メモリ、にダウンロード及び／又は記憶される。代替的に、システムの機能ユニット、例えばデータインタフェース及びプロセッササブシステムは、プログラム可能論理の形態のデバイス又は装置において、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実現される。概して、システムの各機能ユニットは、回路の形態において実現される。システム１００は、例えばクラウドコンピューティングなどの形態の分散サーバなど、異なるデバイス又は装置を含む、分散されたやり方においても実現されることが留意される。
予測モデルの訓練を引き続き参照すると、ラベル０４０は、様々なやり方において取得されることが留意される。例えば、セグメンテーションアルゴリズムは、前もって訓練用画像データ０３０に適用され、結果的なセグメンテーションが、例えば一人又は複数人のユーザによって、手動で検査される。次いで、ラベル０４０が、画像注釈の分野において知られたものを含むがこれらに限定されない任意の適切なやり方によって生成される。例えば、ユーザは、ラベルを割り当てるためにグラフィカルユーザインタフェースを使用し、グラフィカルユーザインタフェースを提供するソフトウェアは、次いで、コンピュータが読み取り可能な形態のラベル０４０を、訓練用画像データ０３０のそれぞれの画像部分にラベルが関連付けられる又は関連付け可能なやり方によって生成する。
別の実施例は、ラベル０４０が、システム１００自体又は別の実体によって、自動的又は半自動的に生成されるというものである。前者の実施例は以下のようなものであるが、これは図６を参照して本明細書の他の場所においても説明される。システム１００は、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションを表す第１のセグメンテーションデータと、それぞれの画像部分における境界線のユーザによって修正されたセグメンテーションを表す第２のセグメンテーションデータとを取得する。効果的には、第１のセグメンテーションデータは、セグメンテーションアルゴリズムによる訓練用画像データ０３０の自動的なセグメンテーションを表し、第２のセグメンテーションデータは、手動でレビューされ、必要があれば修正されたバージョンを表す。次いで、システム１００、又は、具体的にはプロセッササブシステム１４０によって、第１のセグメンテーションデータを第２のセグメンテーションデータと比較することによって、セグメンテーションの正確性が判定される。例えば、正確性は、境界線のそれぞれのセグメンテーションの対応する部分の間の距離を求めることによって判定される。ここで「対応する」とは、解剖学的な対応、及び／又は、もしもセグメンテーションがメッシュ部分などの部分から成るならば、セグメンテーション部分における対応を指す。すなわち、もしも距離がゼロであるなら、修正がなされていないと想定され、これは、元のセグメンテーションが正確であったことを表す。これとは逆に、距離がゼロでないなら、これは、修正がなされたことを示す。このような場合、メッシュ部分の間の距離は、元のセグメンテーションの品質を示し、大きな距離は大きな修正を表し、元のセグメンテーションが低品質であったことを示す。一方、小さな距離は小さな修正を表し、元のセグメンテーションが不完全ではあったが、それでもおそらくは妥当であったことを示す。効果的には、距離は、修正の重大性を示し、これは、セグメンテーションアルゴリズムによる元のセグメンテーションの品質を表す。
次いで、セグメンテーションの対応する部分の間の求められた距離に基づいて、システム１００によって、ラベル０４０が割り当てられる。例えば、ラベルは、「修正済み」若しくは「修正なし」として、又は、「０．５ｍｍ未満の修正距離」「０．５ｍｍから１．０ｍｍの間の修正距離」などのカテゴリによって割り当てられる。いくつかの実施形態において、距離は、例えばミリメートルで表され、それぞれの画像部分に対するラベルとして直接的に使用される。
いくつかの実施形態において、例えばセグメンテーションアルゴリズムのデータ表現にアクセスし、セグメンテーションアルゴリズムを訓練用画像データ０３０に適用することによって、システム１００自体が第１のセグメンテーションデータを生成する。第２のセグメンテーションデータは、図２を参照して説明されるものなどのユーザインタフェースサブシステムを介してユーザによって提供されるユーザ入力に基づいて、システム１００によって取得される。ユーザインタフェースサブシステムは、ユーザがセグメンテーションアルゴリズムによって取得されたセグメンテーションをレビューし、もし必要があればこれを修正することを可能とする。
図２は、セグメンテーションアルゴリズムが非訓練用入力画像データに適用されたとき、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するために予測モデルを使用するためのシステム２００を図示する。システム２００は、データ通信２２４を介して内部的に通信するデータインタフェース２２０及びプロセッササブシステム２４０を備える。プロセッササブシステム２４０は、システム２００の動作中に、データインタフェース２２０を使用して、図１を参照して説明されたようにモデルデータ０５０にアクセスするとともに、セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データ０６０にアクセスするように構成される。例えば、図２においても図示されるように、データインタフェース２２０は、データ０５０、０６０を含む外部データ記憶装置０２２へのアクセス２２２を提供する。代替的に、データ０５０、０６０は、内部データ記憶装置からアクセスされる。代替的に、データ０５０、０６０は、ネットワークを介して受信される。概して、データインタフェース２２０は、ローカルエリアネットワーク又はワイドエリアネットワークへの、例えばインターネットへの、ネットワークインタフェース、内部又は外部データ記憶装置への記憶装置インタフェースなどの様々な形態をとる。データ記憶装置０２２は、任意の知られた適切な形態をとる。
プロセッササブシステム２４０は更に、システム２００の動作中に、入力画像データ０６０のそれぞれの画像部分に予測モデルを適用して、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を予測し、セグメンテーションの正確性を示す出力データを生成して、出力データに基づいて、セグメンテーションアルゴリズムによる境界線の不正確なセグメンテーションを特定することを可能とするように構成される。例えば、出力データ０７０は、データ記憶装置０２２又は他の場所に記憶されるファイルの形態をとる。いくつかの実施形態において、出力データ０７０は、セグメンテーションの正確性の視覚化を含む出力画像データである。いくつかの実施形態において、セグメンテーションの正確性の視覚化は、システム２００によって、境界線のセグメンテーションの視覚化の上の重畳として生成される。
任意選択的なコンポーネントとして、システム２００は、システム２００の動作中に、例えばグラフィカルユーザインタフェースを使用して、ユーザがシステム２００と対話することを可能とするように構成されたユーザインタフェースサブシステム２６０を備えてよい。ユーザインタフェースサブシステム２６０は、ユーザによる操作が可能なユーザ入力デバイス０８０からユーザ入力データ０８２を受信するように構成されたユーザ入力インタフェース（図２においては個別に図示されていない）を備える。ユーザ入力デバイス０８０は、これらに限られるものではないが、コンピュータマウス、タッチスクリーン、キーボード、マイクロフォンなどの様々な形態をとる。図２は、コンピュータマウス０８０であるものしてユーザ入力デバイスを図示している。概して、ユーザ入力インタフェースは、ユーザ入力デバイス０８０のタイプに対応するタイプのものであり、すなわち、ユーザデバイスインタフェースにも対応するタイプのものである。ユーザインタフェースサブシステム２６０は、ディスプレイ２８０などのレンダリングデバイスに出力データ２４２を出力するためのディスプレイ出力インタフェース（図２においては個別に図示されていない）を更に備える。例えば、ディスプレイ出力インタフェースは、ディスプレイ２８０のための表示データ２６２を生成し、これは、感覚的に知覚可能なやり方でディスプレイ２８０に出力データ２４２のレンダリングを行わせる。例えば、もしも出力データ２４２が出力画像データであるなら、ディスプレイ出力インタフェースは、ディスプレイ上に出力画像データ２４２を表示する。
概して、システム２００は、ワークステーション、例えばラップトップ又はデスクトップ型のもの、又はモバイルデバイスなど、単一のデバイス又は装置として、又はこれらにおいて具現化される。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを備える。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現化されるが、このようなＣＰＵ及び／又は他のタイプの処理ユニットの組み合わせ又はシステムによっても具現化される。ソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ又はＦｌａｓｈなどの不揮発性メモリ、にダウンロード及び／又は記憶される。代替的に、システムの機能ユニット、例えばデータインタフェース及びプロセッササブシステムは、プログラム可能論理の形態のデバイス又は装置において、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実現される。概して、システムの各機能ユニットは、回路の形態において実現される。システム２００は、例えばクライアント－サーバの実施態様のクライアント及びサーバなど、異なるデバイス又は装置を含む、分散されたやり方においても実現されることが留意される。
図３は、この実施例においては心臓の一部であって、その境界線３２０がセグメンテーションアルゴリズムによってセグメント化されるべき解剖学的構造３１０の一部を示す医療用画像３００の概略的な表現を図示する。
説明及び判読性のために、図３及び他の場所において、解剖学的構造３１０は、実際の画像データによってではなく心臓の３Ｄモデルの形態で図示されていることが留意される。しかしながら、典型的には、セグメンテーションアルゴリズムは実際の画像データに適用され、実のところ、３Ｄモデルは、典型的には、むしろ特定のタイプのセグメンテーションアルゴリズム、すなわちモデルに基づくセグメンテーションアルゴリズムによるセグメンテーションの結果であることは理解されよう。
図４は、セグメンテーションアルゴリズムによる解剖学的構造３１０の境界線３２０のセグメンテーション３３０を図示する。ここで及び他の場所において、セグメンテーション３３０は破線によって示されており、これは、セグメンテーションアルゴリズムによって確立されたセグメンテーション表面に対応する。このようなセグメンテーション表面の非限定的な例は、解剖学的構造３１０の画像データに適用されたメッシュモデルによって形成されたセグメンテーション表面である。図４において分かるように、境界線３２０の少なくとも一部が、セグメンテーションアルゴリズムによって不正確にセグメント化されており、セグメンテーション３３０は局所的に実際の境界線３２０を越えて延在している。このような不正確なセグメンテーションは、様々な理由に起因し、例えば、発見手法の不完全性、訓練されたセグメンテーションの訓練不足などの理由によるセグメンテーションアルゴリズムの限界に起因する。別の理由としては、解剖学的構造の特定の形状が、セグメンテーションアルゴリズムによる期待された形状に一致しないということであり、例えば、医療用画像が、セグメンテーションアルゴリズムの「規格から外れている」と考えられるものなどである。様々な他のタイプの「不正確なセグメンテーション」が同様に存在することは理解されよう。
図５は、例えば図４のセグメンテーション３３０のレビュー中に、ユーザによって実施される図４のセグメンテーション３３０の手動修正を示す。図５において矢印３４２によって概略的に示された修正の結果として、解剖学的構造３１０の実際の境界線により良好に合致した、修正されたセグメンテーション３４０が取得される。本明細書の他の場所において説明されるように、このような修正は、様々なやり方によって適用される。
図６は、セグメンテーションアルゴリズムによる元のセグメンテーション３３０の正確性が、元のセグメンテーション３３０及び修正されたセグメンテーション３４０からどのようにして判定されるかを示す。すなわち、両セグメンテーションの間の局所的な距離３６０が、セグメンテーションの局所的な「正確性」を示すと考えられる。この距離は、画像データを、例えば画像部分３５０において、局所的にラベリングするために使用される。次いで、例えば図１及び他の場所を参照して説明されたように、ラベル付き画像データは、予測モデルの訓練において訓練用データとして使用される。例えば、もしもセグメンテーション３３０がメッシュであるならば、両セグメンテーション３３０、３４０の対応するメッシュ部分の間の幾何学的距離が求められ、この幾何学的距離は、メッシュ部分の局所的近傍３５０内の画像データのためのラベルとして使用される。このプロセスは、ラベル付き訓練用画像データを取得するために画像部分のセットに対して繰り返される。
図７Ａは、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルの後続の使用を図示する。説明のために、以前に図３～図６において図示されたものと同一の医療用画像３００、解剖学的構造３１０及び境界線３２０が図示されている。しかしながら、図３～図６においては、医療用画像３００はラベルの生成及び予測モデルの訓練を目的として、故に、訓練用画像データの一部として図示されており、典型的には、この予測モデルが、訓練後に、他の「非訓練用」画像データとともに使用されることが理解されよう。
図７Ａにおいて図示されるように、予測モデルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーション３３０の正確性を判定するために、医療用画像３００に適用される。図７Ａは、セグメンテーション３３０を図示するが、このような予測は、セグメンテーション３３０を実際に使用可能とすることなく取得され、むしろ、医療用画像３００の画像データを入力として使用すること（のみ）で取得されることが留意される。出力としては、医療用画像３００の画像部分のラベリングが取得される。このラベリングは、その上で予測モデルが訓練されたラベリング、例えば二値的ラベル、非二値的ラベルなどと同一の又は類似の形態をとる。引き続き図６の実施例を参照すると、ラベルは修正の距離も示す。この距離は、セグメンテーション３３０の視覚化の上に又はその隣に色分け重畳３８０（これは、再現性の理由により、図７Ａにおいてはグレースケールで再現されている）を生成するために使用される。例えば、色分けは、正確性の程度を示す。
様々な他の視覚化のオプションが同様に考え得る。例えば、セグメンテーション３３０自体の視覚化が、例えば色分けメッシュ三角形によって、色分けされる。色分けは二値的であり、すなわち、修正が必要であるか、又は必要ないかである。色分けは、例えば修正が必要ないメッシュの部分を「緑色」に色分けし、修正を必要とする可能性が高いメッシュの部分を「赤色」に色分けすることによって、修正が必要となる可能性も示す。色分けは、予測された修正距離を示す。別の実施例として、図７Ｂは、警告ダイアログ３８２を図示し、これは、セグメンテーションの視覚化の隣に表示され、セグメンテーションの不正確性を示す。このような警告ダイアログ３８２は、セグメンテーションが修正を必要とすると考えられるときに、例えば、予測された修正距離が閾値を超えるときに提示される。
特定の実施形態は以下のようなものであり、これは、メッシュを使用する３Ｄモデルに基づくセグメンテーションに基づく。予測モデルの訓練は、いくつかの以前に修正されたセグメンテーション結果を使用する。もしもセグメンテーションアルゴリズムが比較的堅牢で、信頼性が高いならば、多数のこのようなセグメンテーション結果が望ましい。もしもこのような結果が使用可能であるなら、訓練はセグメンテーションアルゴリズムのために一回（及びオフラインで）実施され、次いで、結果的な予測モデルは記憶され、新しい患者事例のために使用される。予測モデルは、臨床的用途において以前に処理され、セグメント化され、修正されたデータセットを使用して再訓練することによって、時間をかけて適合及び学習される。いくつかの実施形態において、予測モデルの訓練は、臨床環境において、例えば、予測モデルを適用したものと同一のシステムによって実施される。このようなタイプの訓練は、予測モデルが例えば特定のユーザの修正の優先度を学習することも可能とする。
訓練サンプル（これは訓練用画像データも表す）の生成のために、医療用画像、セグメンテーションアルゴリズムによる自動的セグメンテーション結果、及び手動修正されたセグメンテーション結果が使用される。例えば、各患者の事例について、及び各メッシュ三角形の中心について、適切な大きさの画像サンプル、例えば３Ｄサブボリュームなどの画像部分が抽出される。加えて、自動的にセグメント化されたメッシュ及び修正されたメッシュ三角形の中心の間の距離が計算される。同一人物性の事例では、画像サンプルは、「修正なし」又は「修正の必要なし」とラベリングされ、さもなければ画像サンプルは、「修正済み」又は「修正の必要あり」とラベリングされる。
例えば、予測モデルは畳み込みニューラルネットワークであり、これは、上述されたカテゴリを使用して、及びＭｉｃｒｏｓｏｆｔ Ｃｏｇｎｉｔｉｖｅ Ｔｏｏｌｋｉｔ（ＣＮＴＫ）又はＣａｆｆｅ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｆｒａｍ（登録商標）ｅｗｏｒｋなどの知られた深層学習ツール及び環境を使用して、全ての患者事例における各三角形の中心について訓練される。必要があれば、訓練用画像データの初期セットが、画像を対応する（自動的に）及び手動修正されたセグメンテーション結果とともに回転及び変形させることによって増強される。データ増強は、輪郭を人工的に変位させること、及び自動的に「手動」修正を生成することによってもなされる。
予測モデルの使用中に、修正が必要と予測されたメッシュ三角形のリストが、修正されたメッシュ三角形と、又は、既にユーザに対して示されたメッシュ三角形と比較される。リストからの全ての三角形が修正又は表示されるのではない場合は、修正ワークフローは、これらの三角形を適切なやり方で、例えば、警告ダイアログによって、これらの三角形を見せるように自動的に調節されたセグメンテーションのビューによって、ユーザに対して示す。
上記の実施形態は、メッシュモデル、三角形などによるセグメンテーションに言及しているが、上述された技術は、画像における境界線の任意の他のタイプのセグメンテーションにも適用されることは理解されよう。
図８は、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するためのコンピュータによって実施される方法４００のブロック図を示す。方法４００は、図１のシステム１００の動作に対応する。しかしながら、これは限定ではなく、方法４００は、別のシステム、装置又はデバイスを使用しても実施される。
方法４００は、「訓練用画像データへのアクセス、ラベル」という名称の動作において、訓練用画像データと、訓練用画像データのそれぞれの画像部分のためのラベルであって、ラベルは、セグメンテーションアルゴリズムを訓練用画像データに適用することによって取得され、ラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示すラベルとにアクセスするステップ４１０を有する。方法４００は、「予測モデルの訓練」という名称の動作において、機械学習技術を使用し、ラベル付き画像部分を入力として使用して、予測モデルを訓練するステップ４２０を更に有する。方法４００は、「予測モデルを表すモデルデータの出力」という名称の動作において、訓練された予測モデルを表すモデルデータを出力するステップ４３０を更に有する。
図９は、セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するために予測モデルを使用するためのコンピュータによって実施される方法５００のブロック図を示す。方法５００は、図２のシステム２００の動作に対応する。しかしながら、これは限定ではなく、方法５００は、別のシステム、装置又はデバイスを使用しても実施される。
方法５００は、「モデルデータへのアクセス、入力画像データ」という名称の動作において、訓練用画像データのラベル付き画像部分上で訓練された予測モデルを表すモデルデータであって、ラベル付き画像部分のラベルは、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、モデルデータと、セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データとにアクセスするステップ５１０を有する。方法５００は、「入力画像データへの予測モデルの適用」という名称の動作において、入力画像データのそれぞれの画像部分に予測モデルを適用して、セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を予測するステップ５２０を更に有する。方法５００は、「セグメンテーションの正確性の出力」という名称の動作において、セグメンテーションの正確性を示す出力データを生成して、出力データに基づいて、セグメンテーションアルゴリズムによる境界線の不正確なセグメンテーションを特定することを可能とするステップ５３０を更に有する。
概して、図８の方法４００及び／又は図９の方法５００の動作は、適用可能である場合には、例えば入力／出力の関係によって特定の順序が必要とされることを条件に、任意の適切な順序で、例えば、順番に、同時に、又はこれらの組み合わせで実施されることは理解されよう。
方法は、コンピュータによって実施される方法として、専用ハードウェアとして、又は両方の組み合わせとして、コンピュータ上で実施される。図１０においても示されるように、コンピュータのための命令、例えば実行可能コードは、例えば一連の機械可読物理的マーク６１０の形態で、及び／又は異なる電気的、例えば、磁気的又は光学的特性又は値を有する一連の要素として、コンピュータ可読媒体６００に記憶される。実行可能コードは、一時的又は非一時的なやり方で記憶される。コンピュータ可読媒体の例としては、メモリデバイス、光学的記憶デバイス、集積回路、サーバ、オンラインソフトウェアなどがある。図１０は、光ディスク６００を図示する。代替的に、コンピュータ可読媒体６００は、本明細書の他の場所において説明される予測モデルを表す一時的又は非一時的データ６１０を含む。
実施例、実施形態又は任意選択的特徴は、非限定的であると示されていようといまいと、特許請求される本発明を限定するものとして理解されるべきではない。
上述された実施形態は、本発明を限定するものではなく説明するものであり、当業者は、添付の特許請求の範囲から逸脱することなく多くの代替的な実施形態を設計し得ることが留意されるべきである。特許請求の範囲において、括弧の間に置かれた任意の参照符号は、特許請求の範囲を限定するものとして解釈されるべきではない。「備える、含む、有する」という動詞及びその活用形の使用は、請求項に記載されたもの以外の要素又はステージの存在を排除するものではない。単数形は、複数のそのような要素の存在を排除するものではない。「～のうちの少なくとも１つ」などの表現は、要素のリスト又は集合に先行するとき、リスト又は集合からの要素の全て又は任意の部分集合の選択を表す。例えば、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又はＡ、Ｂ及びＣの全てを含むものとして理解されるべきである。本発明は、いくつかの別個の要素を備えるハードウェアによって、及び適切にプログラムされたコンピュータによって実現される。いくつかの手段を列挙するデバイスの請求項において、これらの手段のうちのいくつかは、１つの同一のハードウェアのアイテムによって具体化され得る。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。

Claims (15)

  1. セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成するためのシステムであって、前記システムは、
    訓練用画像データと、前記訓練用画像データのそれぞれの画像部分のためのラベルであって、前記ラベルは、前記セグメンテーションアルゴリズムを前記訓練用画像データに適用することによって取得され、前記ラベルは、前記セグメンテーションアルゴリズムによる前記それぞれの画像部分における境界線の前記セグメンテーションの正確性を示すラベルとにアクセスするためのデータインタフェースと、
    プロセッササブシステムとを備え、
    前記プロセッササブシステムは、
    機械学習技術を使用し、ラベル付き画像部分を入力として使用して、前記予測モデルを訓練することと、
    訓練された前記予測モデルを表すモデルデータを出力することと
    を行う、システム。
  2. 前記プロセッササブシステムは更に、前記それぞれの画像部分のための前記ラベルを、
    前記データインタフェースを介して、
    前記セグメンテーションアルゴリズムによる前記それぞれの画像部分における前記境界線の前記セグメンテーションを表す第１のセグメンテーションデータと、
    前記それぞれの画像部分における前記境界線のユーザによって修正されたセグメンテーションを表す第２のセグメンテーションデータと
    にアクセスすることと、
    前記第１のセグメンテーションデータを前記第２のセグメンテーションデータと比較することによって前記セグメンテーションの前記正確性を判定することと、
    前記それぞれの画像部分に対して前記セグメンテーションの前記正確性を示す前記ラベルを割り当てることと
    によって生成する、請求項１に記載のシステム。
  3. 前記プロセッササブシステムは、前記画像部分に対する前記セグメンテーションアルゴリズムによる前記セグメンテーションの前記正確性を、前記境界線のそれぞれの前記セグメンテーションの対応する部分の間の距離に基づいて判定する、請求項２に記載のシステム。
  4. セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するためのシステムであって、前記システムは、
    訓練用画像データのラベル付き画像部分上で訓練された予測モデルを表すモデルデータであって、前記ラベル付き画像部分のラベルは、前記セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、モデルデータと、前記セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データとにアクセスするためのデータインタフェースと、
    プロセッササブシステムとを備え、
    前記プロセッササブシステムは、
    前記入力画像データのそれぞれの画像部分に前記予測モデルを適用して、前記セグメンテーションアルゴリズムによる前記それぞれの画像部分における前記境界線の前記セグメンテーションの前記正確性を予測することと、
    前記セグメンテーションの前記正確性を示す出力データを生成して、前記出力データに基づいて、前記セグメンテーションアルゴリズムによる前記境界線の不正確なセグメンテーションを特定することを可能とすることと
    を行う、システム。
  5. 前記プロセッササブシステムは更に、
    前記セグメンテーションアルゴリズムを前記入力画像データに適用し、それによって、前記入力画像データにおける前記境界線の前記セグメンテーションを取得することと、
    前記境界線の部分を含む前記画像部分に基づいて、前記予測モデルが適用されるべき前記画像部分を特定することと
    を行う、請求項４に記載のシステム。
  6. 前記入力画像データは３Ｄ画像データであり、
    前記セグメンテーションアルゴリズムは、前記入力画像データにおける前記境界線の３Ｄセグメンテーションを提供し、
    前記プロセッササブシステムは、前記３Ｄセグメンテーションのそれぞれの部分を中心とする前記３Ｄ画像データのサブボリュームとして前記予測モデルが適用されるべき前記画像部分を特定する、請求項５に記載のシステム。
  7. 前記プロセッササブシステムは、前記セグメンテーションの前記正確性の視覚化を含む出力画像データとして前記出力データを生成する、請求項４から６のいずれか一項に記載のシステム。
  8. 前記出力画像データは、前記セグメンテーションの前記正確性の視覚化を、前記境界線の前記セグメンテーションの視覚化の上の重畳として含む、請求項７に記載のシステム。
  9. 前記プロセッササブシステムは、セグメンテーション品質基準に従って、前記境界線が不正確にセグメント化されていると思われる１つ又は複数の画像部分を視覚的に強調するように、前記境界線の前記セグメンテーションの視覚化を調節する、請求項８に記載のシステム。
  10. 前記プロセッササブシステムは、
    前記セグメンテーションアルゴリズムによる前記境界線の前記セグメンテーションを使用する臨床的適用を実行することと、
    前記セグメンテーションの前記正確性に基づいて、前記臨床的適用のワークフローを調節することと
    を行う、請求項４から９のいずれか一項に記載のシステム。
  11. 請求項１から１０のいずれか一項に記載のシステムを備える、ワークステーション。
  12. 請求項１から１０のいずれか一項に記載のシステムを備える、撮像装置。
  13. セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測するための予測モデルを生成する、コンピュータによって実施される方法であって、前記コンピュータによって実施される方法は、
    訓練用画像データと、前記訓練用画像データのそれぞれの画像部分のためのラベルであって、前記ラベルは、前記セグメンテーションアルゴリズムを前記訓練用画像データに適用することによって取得され、前記ラベルは、前記セグメンテーションアルゴリズムによる前記それぞれの画像部分における境界線の前記セグメンテーションの正確性を示すラベルとにアクセスするステップと、
    機械学習技術を使用し、ラベル付き画像部分を入力として使用して、前記予測モデルを訓練するステップと、
    訓練された前記予測モデルを表すモデルデータを出力するステップと
    を有する、コンピュータによって実施される方法。
  14. セグメンテーションアルゴリズムによるセグメンテーションの正確性を予測する、コンピュータによって実施される方法であって、前記コンピュータによって実施される方法は、
    訓練用画像データのラベル付き画像部分上で訓練された予測モデルを表すモデルデータであって、前記ラベル付き画像部分のラベルは、前記セグメンテーションアルゴリズムによるそれぞれの画像部分における境界線のセグメンテーションの正確性を示す、モデルデータと、前記セグメンテーションアルゴリズムによってセグメント化されるべき境界線を含む入力画像データとにアクセスするステップと、
    前記入力画像データのそれぞれの画像部分に前記予測モデルを適用して、前記セグメンテーションアルゴリズムによる前記それぞれの画像部分における前記境界線の前記セグメンテーションの前記正確性を予測するステップと、
    前記セグメンテーションの前記正確性を示す出力データを生成して、前記出力データに基づいて、前記セグメンテーションアルゴリズムによる前記境界線の不正確なセグメンテーションを特定することを可能とするステップと
    を有する、コンピュータによって実施される方法。
  15. 請求項１３又は１４に記載のコンピュータによって実施される方法を、プロセッサシステムに実行させる命令を表す一時的又は非一時的データを含む、コンピュータ可読媒体。
JP2021521462A 2018-10-22 2019-10-14 システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体 Active JP7401537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18201798.8A EP3644275A1 (en) 2018-10-22 2018-10-22 Predicting correctness of algorithmic segmentation
EP18201798.8 2018-10-22
PCT/EP2019/077684 WO2020083676A1 (en) 2018-10-22 2019-10-14 Predicting correctness of algorithmic segmentation

Publications (2)

Publication Number Publication Date
JP2022505428A JP2022505428A (ja) 2022-01-14
JP7401537B2 true JP7401537B2 (ja) 2023-12-19

Family

ID=63965264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521462A Active JP7401537B2 (ja) 2018-10-22 2019-10-14 システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体

Country Status (5)

Country Link
US (1) US20210390707A1 (ja)
EP (2) EP3644275A1 (ja)
JP (1) JP7401537B2 (ja)
CN (1) CN112912924B (ja)
WO (1) WO2020083676A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681717B (zh) * 2023-08-04 2023-11-28 经智信息科技(山东)有限公司 一种ct图像的分割处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530088A (ja) 2003-07-16 2007-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクト特有のセグメンテーション
US20150294476A1 (en) 2012-10-30 2015-10-15 Hewlett-Packard Development Company, L.P. Object Segmentation
US20170301085A1 (en) 2014-09-11 2017-10-19 B.G. Negev Technologies And Applications Ltd. (Ben Gurion University Interactive segmentation
WO2018119358A1 (en) 2016-12-23 2018-06-28 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2646977A2 (en) * 2010-12-01 2013-10-09 Koninklijke Philips N.V. Diagnostic image features close to artifact sources
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US10223795B2 (en) * 2014-07-15 2019-03-05 Koninklijke Philips N.V. Device, system and method for segmenting an image of a subject
US9740710B2 (en) * 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
US20170337689A1 (en) * 2016-05-20 2017-11-23 Yung-Hui Li Method for validating segmentation of objects with arbitrary shapes
EP3488381B1 (en) * 2016-07-21 2024-02-28 Siemens Healthineers AG Method and system for artificial intelligence based medical image segmentation
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
RU2016138608A (ru) * 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
EP3379281A1 (en) * 2017-03-20 2018-09-26 Koninklijke Philips N.V. Image segmentation using reference gray scale values
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
CN107749061A (zh) * 2017-09-11 2018-03-02 天津大学 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置
US11830195B2 (en) * 2018-08-06 2023-11-28 Shimadzu Corporation Training label image correction method, trained model creation method, and image analysis device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530088A (ja) 2003-07-16 2007-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクト特有のセグメンテーション
US20150294476A1 (en) 2012-10-30 2015-10-15 Hewlett-Packard Development Company, L.P. Object Segmentation
US20170301085A1 (en) 2014-09-11 2017-10-19 B.G. Negev Technologies And Applications Ltd. (Ben Gurion University Interactive segmentation
WO2018119358A1 (en) 2016-12-23 2018-06-28 Heartflow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMBIZ FROUNCHI; ET AL，AUTOMATING IMAGE SEGMENTATION VERIFICATION AND VALIDATION BY LEARNING TEST ORACLES，INFORMATION AND SOFTWARE TECHNOLOGY，NL，ELSEVIER，2011年06月24日，VOL:53, NR:12，PAGE(S):1337-1348，http://dx.doi.org/10.1016/j.infsof.2011.06.009

Also Published As

Publication number Publication date
JP2022505428A (ja) 2022-01-14
CN112912924B (zh) 2024-05-14
EP3644275A1 (en) 2020-04-29
CN112912924A (zh) 2021-06-04
EP3871189A1 (en) 2021-09-01
WO2020083676A1 (en) 2020-04-30
US20210390707A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
CN110050281B (zh) 学习图像中的对象的注释
JP2020187735A (ja) 表面欠陥識別方法及び装置
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
JP5113077B2 (ja) 変形可能なメッシュを用いて画像の後処理を容易にする方法
JP2021190105A (ja) 欠陥検出方法及び装置
JP7204007B2 (ja) 画像データ中の病変部の境界の識別
CN110570426A (zh) 使用深度学习的图像联合配准和分割
US20220092856A1 (en) Crack detection, assessment and visualization using deep learning with 3d mesh model
US20080075345A1 (en) Method and System For Lymph Node Segmentation In Computed Tomography Images
Kohlakala et al. Deep learning-based dental implant recognition using synthetic X-ray images
JP7401537B2 (ja) システム、該システムを備えるワークステーション及び撮像装置、並びにコンピュータによって実施される方法、該方法をプロセッサシステムに実行させる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体
Audelan et al. Unsupervised quality control of image segmentation based on Bayesian learning
KR102173321B1 (ko) 형태학적 특징을 이용한 자동 척추 골절 진단 및 검출 장치 및 방법
Pfau et al. Global saliency: aggregating saliency maps to assess dataset artefact bias
EP3836022A1 (en) Data augmentation for a machine learning method
Gill et al. A method for avoiding overlap of left and right lungs in shape model guided segmentation of lungs in CT volumes
JP5954846B2 (ja) 形状データ生成プログラム、形状データ生成方法及び形状データ生成装置
WO2020176762A1 (en) Methods and systems for image segmentation and analysis
US20240037717A1 (en) Generating neural network based perceptual artifact segmentations in modified portions of a digital image
US20240046429A1 (en) Generating iterative inpainting digital images via neural network based perceptual artifact segmentations
US12008693B1 (en) Assisted creation of artistic digital images
US20220215534A1 (en) Methods and systems for computer-assisted medical image analysis using sequential model
Mykolaichuk et al. Image Segmentation in Loss Detection for Conservation and Restoration of Old Paintings
US20220245398A1 (en) Machine annotation of photographic images
Tint et al. Digital Restoration of Ancient Murals: Assessing the Efficacy of Coherent Transport Inpainting with Damage Ratio Analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150