JP7240403B2 - 3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス - Google Patents

3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス Download PDF

Info

Publication number
JP7240403B2
JP7240403B2 JP2020538889A JP2020538889A JP7240403B2 JP 7240403 B2 JP7240403 B2 JP 7240403B2 JP 2020538889 A JP2020538889 A JP 2020538889A JP 2020538889 A JP2020538889 A JP 2020538889A JP 7240403 B2 JP7240403 B2 JP 7240403B2
Authority
JP
Japan
Prior art keywords
images
image
sub
segmentation
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538889A
Other languages
English (en)
Other versions
JP2021511575A (ja
Inventor
ソレ,リュック
トム,ニコラ
オステトレ,アレクサンドル
マレスコー,ジャック
Original Assignee
アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ-イ・エール・セ・ア・デ
ビジブル・パシアン
コンセルバトワール・ナショナル・デ・アーツ・エ・メティエ(セ・エヌ・ア・エム)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ-イ・エール・セ・ア・デ, ビジブル・パシアン, コンセルバトワール・ナショナル・デ・アーツ・エ・メティエ(セ・エヌ・ア・エム) filed Critical アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ-イ・エール・セ・ア・デ
Publication of JP2021511575A publication Critical patent/JP2021511575A/ja
Application granted granted Critical
Publication of JP7240403B2 publication Critical patent/JP7240403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、データ処理の分野、より詳細には画像の処理および解析、特に医用画像のセグメンテーションに関連し、3D医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した、1つまたはいくつかのニューラルネットワークによる3D医用画像の自動セグメンテーションプロセスに関する。
スキャナ、MRI、超音波、CTまたはSPECタイプの画像のような医用イメージングデバイスから作られる3次元画像は、3D画像の基本単位であるボクセルのセットから構成される。ボクセルは、2D画像の基本単位であるピクセルを3Dに拡張したものである。各ボクセルは、2D関数F(x,y)または3D関数F(x,y,z)の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでx、yおよびzは空間座標を表す(図1参照)。
図2の図は、横断面図による3D医用画像セグメンテーションの定義を示す。
典型的には、2Dまたは3Dの医用画像は、臨床医が状態を評価するため、ならびに治療戦略を確定し計画するために、描出する必要のある解剖学的および病理学的な構造物(器官、骨、組織、・・・)または人工的な要素(ステント、インプラント、・・・)のセットを含む。この点において、器官および病変が画像内で識別される必要があり、これは、2D画像の各ピクセルまたは3D画像の各ボクセルをラベル付けすることを意味する。このプロセスはセグメンテーションと呼ばれる。
臨床ルーチンにおいて取得されるCTおよびMRI画像の場合、それらは、(X軸およびY軸に沿って)a×bのディメンションを有する(Z軸に沿った)n個の矩形または正方形の、一連の2D画像とみなされ得る。一般に、それらは、512×512ピクセルに等しい、X軸およびY軸に沿った標準的なディメンションであり、これは横断面のディメンションが通常a=b=512であることを意味する。次いで対照的に、スライスの数n(Z軸に沿ったディメンション)は非常に可変的であり、観察された領域のディメンションに依存する。
したがって、横断面を全体として解析すること、またはより小さな、例えば4つの256×256のサブ画像に分割すること、それゆえ、解析を別々により高速に行うことが考えられ得る。作成されたこれら4つのサブ画像は、最初の画像の全ボクセルをカバーし、それらのディメンションはa/2 × b/2 × nである。
図3Aは、ヒト被験体の医用画像を取得する場合に考えるべき3つの主要な面を示し、図3Bは、医用画像の横断面に沿ったスライスの、4つの256×256のサブ画像への分割を示す。
セグメンテーションを行うための方法は多数存在する。これらの方法の中でも、ニューラルネットワークは、人工知能アルゴリズム専用のカテゴリの一部であり、自動であるという利点を有する。
これらのアルゴリズムのバリエーションは多数存在するが、それらは依然として、医用イメージングに特定されない、特にそのコンテンツに特定されない、標準的なアーキテクチャベースに限定されたままであることが多い。
しかし、医用イメージングにおける画像のコンテンツは、特にCTおよびMRI画像において、再出現性が非常に高い。画像の中央において、手術台(operating table)(イメージングプロシージャの間、通常その上に患者が横たわっている)がある患者の下部を除き、空気に囲まれた患者をシステマティックに有する。
よって、写真1枚ごとに環境が変化する写真画像とは異なり、医用画像は、パスポート用ID写真と同様に、構造化および形式化されている;環境および位置が常に同じで人物の顔の細部のみが変化する。
胸部の医用画像の場合、例えば常に肋骨が、背部では脊柱に、前部では胸骨に繋がっており、両肺を取り囲み、その間に心臓がある。もちろん、肺の位置の反転または肺の欠損などの変異が存在する場合もあるが、これらの例は通常の解剖学的変異と比較して非常に発生頻度が低い。他のエリア(頭部、腹部、骨盤、上肢または下肢)に関しても、同じ観察がなされ得、同じ原理が適用され得る。
図4の画像は、3つの例として、様々な解剖学的エリア(胸部、腹部および骨盤)が相対的な器官の局在の規則的な分布を示す様子を示す。
これらの発見に基づき、本発明者らは、この関連において前述のサブ画像分割が、他のサブ画像では見られない構造物を、この分割を用いてサブ画像内で定位することが可能であるという理由により、異なる意義を呈することを認識するに至った。
例えば、図5に見られ得るように、サブ画像分割(ここでは腹部の512×512の横断面画像の256×256のサブ画像)は、非常に規則的な解剖学的構造物を含み、これは、関連付けられるネットワークがよりロバストでより効率的およびより特殊化されて開発されることを、可能にする。
図5は、腹部の同じ横断面画像による様々な区分およびサブ画像抽出が、同じ領域において再出現する解剖学的構造物をシステマティックに定位することを可能とする様子を示す。
例として図5の第1の画像において、胆嚢は左上のサブ画像に、右腎臓は左下のサブ画像に、左腎臓は右下のサブ画像に見出されることが非常に多い。脊柱は、画像2に認められるサブ画像にシステマティックに属する。肝臓はシステマティックに画像1または3の左側のサブ画像の一部になり、一方で脾臓は右側のサブ画像中にある。最後に、大動脈および大静脈は共に画像4のサブ画像中にあるが、画像3のサブ画像では、大静脈が左側のサブ画像、大動脈が右側のサブ画像と分かれている。
よって、本発明の基本概念は、器官の特定の局在情報を活用する畳み込みニューラルネットワーク(CNN)を用いた医用画像の新規な解析プロシージャを開発するべく、いくつかの特定のサブ画像分割を利用して、同じ領域において再出現する解剖学的構造物をシステマティックに定位するとともに、これらのサブ画像の別々の解析から収集される情報を活用および結合することを可能とすることにある。
したがって、本発明は、その主たる目的として、a×b×nのディメンションの、すなわち各々がa×bのディメンションのn個の異なる2D画像から構成される3D医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法に関し、
方法は、以下の3つのプロセスステップ、すなわち:
a/2 × b/2 × nのディメンションの9つのサブ画像を前記医用画像から抽出する、すなわち、9つの部分的にオーバーラップするa/2 × b/2のサブ画像を各2D画像から抽出することにある第1のステップ;
9つの畳み込みニューラルネットワークが、各2D画像のこれら9つのサブ画像の各々を解析し、セグメント化することにある第2のステップ;
n個の異なる2D画像の9つの解析およびセグメンテーションの結果を、したがってa/2 × b/2 × nのディメンションを有する9つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、a×b×nのディメンションを有する単一の画像に結合することにある第3のステップ
を主に含むことを特徴とする。
より正確には、本発明は、3つのステップから構成されるアルゴリズムを介して、a×b×nのディメンションを有する3D医用画像において見られ得る解剖学的および病理学的構造物または器具を知識データベースが学習した後の、自動セグメンテーションプロセスを提案する。第1のステップは、a/2 × b/2 × nのディメンションの9つのサブ画像を抽出することにあり、第2のステップは、9つの畳み込みニューラルネットワーク(CNN)がこれら9つのサブ画像のうちの1つを解析することにあり、第3のステップは、9つの解析の結果を、したがってa/2 × b/2 × nのディメンションを有する9つのセグメント化されたサブ画像の結果を、a×b×nのディメンションを有する単一の画像に結合することにある。出力は、最初の画像の単一のセグメンテーションである。この全体的アーキテクチャと、CNNに基づく9つのサブ画像解析におけるCNNに基づく元画像解析の区分とに、主な独自性がある。
スキャナ、MRI、超音波、CTまたはSPECタイプの画像のような医用イメージングデバイスから作られる3次元画像は、3D画像の基本単位であるボクセルのセットから構成され、ボクセルは、2D画像の基本単位であるピクセルを3Dに拡張したものであり、各ボクセルは、2D関数F(x,y)または3D関数F(x,y,z)の結果と考えることができるグレーレベルまたは濃さと関連付けられ、ここでx、yおよびzは空間座標を表す、ことを示す図である。 横断面図による3D医用画像セグメンテーションの定義を示す図である。 ヒト被験体の医用画像を取得する場合に考えるべき3つの主要な面を示す図である。 医用画像の横断面に沿ったスライスの、4つの256×256のサブ画像への分割を示す図である。 3つの例として、様々な解剖学的エリア(胸部、腹部および骨盤)が相対的な器官の局在の規則的な分布を示す様子を示す図である。 サブ画像分割(ここでは腹部の512×512の横断面画像の256×256のサブ画像)は、非常に規則的な解剖学的構造物を含み、これは、関連付けられるネットワークがよりロバストでより効率的およびより特殊化されて開発されることを可能にすることを示す図である。 本発明の方法の処理ステップ、すなわち:最初のa×bの医用画像からの9つの(1から9の番号が付された)サブ画像の抽出をもたらす特定の画像分割と;専用のCNN(図6における丸い点の行)による各サブ画像の解析およびセグメンテーションと;最初の画像区分からの9つのサブ画像の複数の部分的オーバーラップおよびCNNの解析結果のマージとを、16個の相補的な断片的領域(AからPで示す)の定義およびグループ分けと共に図示する概略図である。 3つの可能な方向への1ピクセル(または1ボクセル)のシフト(平行移動)を用いて、図6に示された例の第1のサブ画像(図6において番号1が付されたサブ画像)から生成された4つの異なる画像のサブセットを、例として示す図である。 1または2ピクセル(またはボクセル)のシフト(平行移動)を用いて、図7と同じサブ画像から生成された9つの異なる画像のサブセットを、例として示す図である。 最初の画像から抽出された9つのサブ画像(1から9)のうちの1つのセグメンテーションに各々専用化された9つの協調するCNNのグループによる、1つの2D画像(3D画像の1スライス)の処理(セグメンテーション)に伴うステップを図示する概略図であり、全てのサブ画像の個々のセグメンテーション結果は、単一の最初の画像のセグメンテーションに結合またはマージされることを示す。 図9と同様に、単一の画像セグメンテーションをもたらす、n(ここではn=5)個の2D画像のセット(3D画像のn個のスライスのセット)の処理(セグメンテーション)に伴うステップを図示する概略図である。
非限定的な例として示され、添付の図面を参照して説明される、少なくとも1つの好適な実施形態に関する下記の説明を用いて、本発明がよりよく理解されるであろう。
- 図6は、本発明の方法の処理ステップ、すなわち:最初のa×bの医用画像からの9つの(1から9の番号が付された)サブ画像の抽出をもたらす特定の画像分割と;専用のCNN(図6における丸い点の行)による各サブ画像の解析およびセグメンテーションと;最初の画像区分からの9つのサブ画像の複数の部分的オーバーラップおよびCNNの解析結果のマージとを、16個の相補的な断片的領域(AからPで示す)の定義およびグループ分けと共に図示する概略図である。
- 図7は、3つの可能な方向への1ピクセル(または1ボクセル)のシフト(平行移動)を用いて、図6に示された例の第1のサブ画像(図6において番号1が付されたサブ画像)から生成された4つの異なる画像のサブセットを、例として示す。
- 図8は、1または2ピクセル(またはボクセル)のシフト(平行移動)を用いて、図7と同じサブ画像から生成された9つの異なる画像のサブセットを、例として示す。
- 図9は、最初の画像から抽出された9つのサブ画像(1から9)のうちの1つのセグメンテーションに各々専用化された9つの協調するCNNのグループによる、1つの2D画像(3D画像の1スライス)の処理(セグメンテーション)に伴うステップを図示する概略図であり、全てのサブ画像の個々のセグメンテーション結果は、単一の最初の画像のセグメンテーションに結合またはマージされる。
- 図10は、図9と同様に、単一の画像セグメンテーションをもたらす、n(ここではn=5)個の2D画像のセット(3D画像のn個のスライスのセット)の処理(セグメンテーション)に伴うステップを図示する概略図である。
特に図6、9および10に模式的に示すように、本発明は、a×b×nのディメンションの、すなわち各々がa×bのディメンションのn個の異なる2D画像から構成される3D医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法に関し、
方法は、3つのプロセスステップ、すなわち:
a/2 × b/2 × nのディメンションの9つのサブ画像(1から9)を前記医用画像から抽出する、すなわち、9つの部分的にオーバーラップするa/2 × b/2のサブ画像を各2D画像から抽出することにある第1のステップ;
9つの畳み込みニューラルネットワーク(CNN)が、各2D画像のこれら9つのサブ画像(1から9)の各々を解析し、セグメント化することにある第2のステップ;
n個の異なる2D画像の9つの解析およびセグメンテーションの結果を、したがってa/2 × b/2 × nのディメンションを有する9つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、a×b×nのディメンションを有する単一の画像に結合することにある第3のステップ
を主に含むことを特徴とする。
器官、組織、物体および可能性のある類似の内部的特徴の特定の局在情報を活用する、専用化されたCNNの適合されたアーキテクチャを用いた並列処理と組み合わされた、処理される医用画像の特定の区分を提供することにより、本発明は、より高速でより正確でより効率的な医用画像のセグメンテーションを可能とする。
典型的には、本発明の方法およびシステムにおいて用いられ得る、知られているCNNアルゴリズムとして、「U-Net」がある(例えば:「U-Net: Convolutional Networks for Biomedical Image Segmentation」、O. Ronnebergerら;MICCAI 2015、Part III、LNCS 3951、pp 234-‘’241、Springer IPSを参照)。
「U-Net」は、「ResNet」または「DenseNet」などの他の知られているアーキテクチャと共に実現されてよい。
CNNにより(特に、サブ画像のオーバーラップ領域における2つまたは3つの異なるCNNにより)提供される結果を結合するまたはマージするステップは、分類器の(加重)合計、乗算(積)または当業者に知られている類似の適合された予測アンサンブリングオペレーション(adapted prediction ensembling operation)により行われ得る。
図6、9および10において明確で明瞭に示されている本発明の重要な特徴によれば、各々a/2 × b/2のディメンションの9つのサブ画像1から9が、a×bのディメンションの2D画像から以下のように抽出される:
- 2D画像を、2対の対向する辺の仲介により、4つのサブ画像1から4に対称的に区分する;
- 2D画像の2つの方向の各々に従って、1つの辺を間に共有し、前記画像の垂直な辺に向かって中心に配置された2つのサブ画像5、6および7、8を形成する;
- 2D画像に向かって中心に配置され、前記画像の辺に平行な辺を有するサブ画像9を形成する。
上述の図6、9および10においても示しているように、9つのサブ画像1から9のオーバーラップは、考慮される最初の2D画像の全面を共にカバーする、各々a/4 × b/4のディメンションの16個の断片的な相補的領域AからPを生成するように構成される。
医用画像の構造化状態およびコンテンツを利用することにより、知識データベースの学習スピードを増大させるべく、本発明の方法は:
- a×b×N(i)のディメンションのK個のセグメント化された医用画像から知識データベースを構築すること、
- a/2 × b/2 × N(i)のディメンションの画像の9つのサブセットを知識データベースの各画像から作成すること、
- a/2 × b/2 × N(i)のディメンションの9つのサブ画像のセグメンテーション、および9つのサブ画像からの各サブセットの画像作成を可能とし、次いでこの選択をXおよびY方向に1からTボクセル分シフトさせ、したがって、各々が同じディメンションを有する、4から(T+1)2個の画像の9つのサブセットを提供すること
であってもよく、N(i)は画像iのZに沿ったスライスの数であり、iは1からKまで変化する。
図9に示す本発明の第1の実施形態によれば、自動セグメンテーション方法は、9つの2D CNNを用いて、
- 1つの専用の2D CNNを用いて、およびa/2 × b/2のディメンションを有するn個のスライスを順次セグメント化することにより、9つのサブ画像1から9の各々を解析することと、次いで、
- 全ての9つのCNNにより提供された結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にある。
図10に示す本発明の第2の実施形態によれば、自動セグメンテーション方法は、9つの3D CNNを用いて、
- 1つの専用の3D CNNを用いて、およびa/2 × b/2のディメンションを有するL個の連続するスライスの全てのサブセットを順次セグメント化することにより、9つのサブ画像の各々を解析することと、次いで、
- 全ての9つのCNNにより提供された解析結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
にあり、Lは2からnまでの範囲を取り、a/2 × b/2のディメンションを有する3Dサブ画像のサブセットの数は1とn-L+1の間で変化する。
本発明はまた、請求項1から6のいずれか一項に記載の方法を実行することにより医用画像の自動セグメンテーションを行うためのシステムであって、知識データベースからの情報を用いることにより医用画像の少なくとも一部のセグメンテーションを行うように適合された9つの畳み込みニューラルネットワーク(CNN)の協調動作をホストし、可能とする、少なくとも1つのコンピュータデバイスを含み、前記少なくとも1つのコンピュータデバイスはまた、医用画像の区分と、異なるCNNにより提供された部分的セグメンテーション結果のマージとを実施するプログラムをホストし、走らせることを特徴とする、システムを包含する。
もちろん、本発明は、添付の図面において説明および表現されている2つの実施形態に限定されるものではない。本発明の保護範囲を超えることなく、特に様々な要素の構成の観点からの、または技術的均等物の置き換えによる変形が、依然可能である。

Claims (6)

  1. a×b×nのディメンションの、すなわち各々がa×bのディメンションのn個の異なる2D画像から構成される3D医用画像において見られ得る解剖学的および病理学的構造物または器具についての情報を収容する知識データベースを利用する、医用画像の自動セグメンテーション方法であって、方法が、3つのプロセスステップ、すなわち、
    a/2 × b/2 × nのディメンションの9つのサブ画像(1から9)を前記医用画像から抽出する、すなわち、9つの部分的にオーバーラップするa/2 × b/2のサブ画像を各2D画像から抽出することにある第1のステップ、
    9つの畳み込みニューラルネットワーク(CNN)が、各2D画像のこれら9つのサブ画像(1から9)の各々を解析し、セグメント化することにある第2のステップ、
    n個の異なる2D画像の9つの解析およびセグメンテーションの結果を、したがってa/2 × b/2 × nのディメンションを有する9つのセグメント化されたサブ画像の結果を、最初の医用画像の単一のセグメンテーションに対応する、a×b×nのディメンションを有する単一の画像に結合することにある第3のステップ
    を主に含み、
    各々a/2 × b/2のディメンションの9つのサブ画像(1から9)が、a×bのディメンションの2D画像から以下のように、すなわち、
    - 2D画像を、2対の対向する辺の仲介により、4つのサブ画像(1から4)に対称的に区分すること、
    - 2D画像の2つの方向の各々に従って、1つの辺を間に共有し、前記画像の垂直な辺に向かって中心に配置された2つのサブ画像(5、6および7、8)を形成すること、
    - 2D画像に向かって中心に配置され、前記画像の辺に平行な辺を有するサブ画像(9)を形成すること
    により抽出されることを特徴とする、自動セグメンテーション方法。
  2. 9つのサブ画像(1から9)のオーバーラップが、考慮される最初の2D画像の全面を共にカバーする、各々a/4 × b/4のディメンションの16個の断片的な相補的領域(AからP)を生成するように構成されることを特徴とする、請求項1に記載の自動セグメンテーション方法。
  3. 自動セグメンテーション方法が、
    - a×b×N(i)のディメンションのK個のセグメント化された医用画像から知識データベースを構築すること、
    - a/2 × b/2 × N(i)のディメンションの画像の9つのサブセットを、知識データベースの各画像から作成すること、
    - a/2 × b/2 × N(i)のディメンションの9つのサブ画像のセグメンテーション、および9つのサブ画像からの各サブセットの画像作成を可能とし、次いでこの選択をXおよびY方向に1からTボクセル分シフトさせ、したがって、各々が同じディメンションを有する4から(T+1)個の画像の9つのサブセットを提供すること
    にあり、N(i)は画像iのZに沿ったスライスの数であり、iは1からKまで変化することを特徴とする、請求項1または2に記載の自動セグメンテーション方法。
  4. 自動セグメンテーション方法が、9つの2D CNNを用いて、
    - 1つの専用の2D CNNを用いて、およびa/2 × b/2のディメンションを有するn個のスライスを順次セグメント化することにより、9つのサブ画像(1から9)の各々を解析することと、次いで、
    - 全ての9つのCNNにより提供された結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
    にあることを特徴とする、請求項1から3のいずれか一項に記載の自動セグメンテーション方法。
  5. 自動セグメンテーション方法が、9つの3D CNNを用いて、
    - 1つの専用の3D CNNを用いて、およびa/2 × b/2のディメンションを有するL個の連続するスライスの全てのサブセットを順次セグメント化することにより、9つのサブ画像の各々を解析することと、次いで、
    - 全ての9つのCNNにより提供された解析結果を結合して、前記結果のマージにより単一の最初の画像のセグメンテーションを提供することと
    にあり、Lは2からnまでの範囲を取り、a/2 × b/2のディメンションを有する3Dサブ画像のサブセットの数は、1とn-L+1の間で変化することを特徴とする、請求項1から3のいずれか一項に記載の自動セグメンテーション方法。
  6. 請求項1から5のいずれか一項に記載の方法を実行することにより医用画像の自動セグメンテーションを行うためのシステムであって、知識データベースからの情報を用いることにより、医用画像の少なくとも一部のセグメンテーションを行うように適合された9つの畳み込みニューラルネットワーク(CNN)の協調動作をホストし、可能とする、少なくとも1つのコンピュータデバイスを含み、前記少なくとも1つのコンピュータデバイスはまた、医用画像の区分と、異なるCNNにより提供された部分的セグメンテーション結果のマージとを実施するプログラムをホストし、走らせることを特徴とする、システム。
JP2020538889A 2018-01-10 2019-01-10 3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス Active JP7240403B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862615525P 2018-01-10 2018-01-10
US62/615,525 2018-01-10
PCT/EP2019/050553 WO2019138001A1 (en) 2018-01-10 2019-01-10 Automatic segmentation process of a 3d medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3d medical image

Publications (2)

Publication Number Publication Date
JP2021511575A JP2021511575A (ja) 2021-05-06
JP7240403B2 true JP7240403B2 (ja) 2023-03-15

Family

ID=65019503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538889A Active JP7240403B2 (ja) 2018-01-10 2019-01-10 3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス

Country Status (8)

Country Link
US (1) US11288812B2 (ja)
EP (1) EP3738100B1 (ja)
JP (1) JP7240403B2 (ja)
KR (1) KR20200118050A (ja)
CN (1) CN111819599A (ja)
BR (1) BR112020014201A2 (ja)
CA (1) CA3087691A1 (ja)
WO (1) WO2019138001A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021209542A1 (en) 2020-04-17 2021-10-21 Visible Patient Automatic determination method of at least one parameter indicative of the degree or level of functionality of a lung
US20230162493A1 (en) * 2021-11-24 2023-05-25 Riverain Technologies Llc Method for the automatic detection of aortic disease and automatic generation of an aortic volume
KR102584545B1 (ko) * 2023-03-06 2023-10-04 주식회사 젠젠에이아이 3차원 공간에서 일관성 있는 의료 볼륨 데이터 생성 모델 학습 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135561A1 (en) 2008-11-29 2010-06-03 Supratik Kumar Moulik Method and system for automated interpretation of computer tomography scan data
JP2013537445A (ja) 2010-07-26 2013-10-03 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
US20160110632A1 (en) 2014-10-20 2016-04-21 Siemens Aktiengesellschaft Voxel-level machine learning with or without cloud-based support in medical imaging
US20170061620A1 (en) 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing magnetic resonance image
JP2017189384A (ja) 2016-04-13 2017-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
WO2006123272A2 (en) * 2005-05-18 2006-11-23 Koninklijke Philips Electronics N.V. Automatic organ mapping method an device
US8457400B2 (en) * 2008-06-27 2013-06-04 Microsoft Corporation Patch-based texture histogram coding for fast image similarity search
US8437521B2 (en) * 2009-09-10 2013-05-07 Siemens Medical Solutions Usa, Inc. Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging
US8963962B2 (en) 2012-03-06 2015-02-24 Apple Inc. Display of multiple images
CN103093473A (zh) * 2013-01-25 2013-05-08 北京理工大学 一种基于水平集的多目标图像分割方法
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9934577B2 (en) * 2014-01-17 2018-04-03 Microsoft Technology Licensing, Llc Digital image edge detection
WO2016007976A1 (de) * 2014-07-15 2016-01-21 Novomatic Ag Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor
CN105654091B (zh) * 2014-11-27 2019-07-19 航天恒星科技有限公司 海面目标检测方法及装置
CN104992430B (zh) * 2015-04-14 2017-12-22 杭州奥视图像技术有限公司 基于卷积神经网络的全自动的三维肝脏分割方法
CN107038707B (zh) * 2016-02-02 2020-06-05 杭州海康威视数字技术股份有限公司 一种图像分割方法及装置
CN106204587B (zh) * 2016-05-27 2019-01-08 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN106228545B (zh) * 2016-07-14 2018-11-13 西北民族大学 一种佛像类唐卡一致性破损区域的自动分割方法
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US9947102B2 (en) 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
CN106407917B (zh) * 2016-09-05 2017-07-25 山东大学 基于动态尺度分配的视网膜血管提取方法及系统
US10387740B2 (en) 2016-10-10 2019-08-20 Gyrfalcon Technology Inc. Object detection and recognition apparatus based on CNN based integrated circuits
US10580131B2 (en) 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
US9968257B1 (en) 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
CN107358262B (zh) * 2017-07-13 2020-01-14 京东方科技集团股份有限公司 一种高分辨率图像的分类方法及分类装置
CN107424152B (zh) * 2017-08-11 2020-12-18 联想(北京)有限公司 器官病变的检测装置、训练神经元网络的方法和电子设备
US10769788B2 (en) 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
US10559080B2 (en) * 2017-12-27 2020-02-11 International Business Machines Corporation Adaptive segmentation of lesions in medical images
US11551362B2 (en) * 2018-01-10 2023-01-10 Institut De Recherche Sur Les Cancers De I Automatic segmentation process of a 3D medical image by several neural networks through structured convolution according to the geometry of the 3D medical image
US10546389B2 (en) 2018-04-06 2020-01-28 Elekta Ab (Publ) Devices and methods for identifying an object in an image
US10430949B1 (en) 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
EP3567548B1 (en) 2018-05-09 2020-06-24 Siemens Healthcare GmbH Medical image segmentation
US20200037962A1 (en) 2018-08-01 2020-02-06 General Electric Company Plane selection using localizer images
ES2919428T3 (es) * 2018-11-08 2022-07-26 Holo Surgical Inc Segmentación autónoma de estructuras tridimensionales del sistema nervioso a partir de imágenes médicas

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135561A1 (en) 2008-11-29 2010-06-03 Supratik Kumar Moulik Method and system for automated interpretation of computer tomography scan data
JP2013537445A (ja) 2010-07-26 2013-10-03 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
US20160110632A1 (en) 2014-10-20 2016-04-21 Siemens Aktiengesellschaft Voxel-level machine learning with or without cloud-based support in medical imaging
US20170061620A1 (en) 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing magnetic resonance image
JP2017189384A (ja) 2016-04-13 2017-10-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US11288812B2 (en) 2022-03-29
CA3087691A1 (en) 2019-07-18
RU2020126028A (ru) 2022-02-10
EP3738100B1 (en) 2024-06-12
CN111819599A (zh) 2020-10-23
KR20200118050A (ko) 2020-10-14
JP2021511575A (ja) 2021-05-06
WO2019138001A1 (en) 2019-07-18
EP3738100A1 (en) 2020-11-18
US20200334827A1 (en) 2020-10-22
BR112020014201A2 (pt) 2020-12-01

Similar Documents

Publication Publication Date Title
Haque et al. Deep learning approaches to biomedical image segmentation
US8953856B2 (en) Method and system for registering a medical image
JP7240403B2 (ja) 3d医用画像の解剖学的ジオメトリに従った、構造化された畳み込みを通した1つまたはいくつかのニューラルネットワークによる3d医用画像の自動セグメンテーションプロセス
Altini et al. Liver, kidney and spleen segmentation from CT scans and MRI with deep learning: A survey
Rafiei et al. Liver segmentation in CT images using three dimensional to two dimensional fully convolutional network
Yu et al. Sample-adaptive GANs: linking global and local mappings for cross-modality MR image synthesis
Anter et al. Automatic liver parenchyma segmentation system from abdominal CT scans using hybrid techniques
Pradhan et al. Transforming view of medical images using deep learning
US11551362B2 (en) Automatic segmentation process of a 3D medical image by several neural networks through structured convolution according to the geometry of the 3D medical image
CN107506766B (zh) 图像分割方法及装置
Kamiya Deep learning technique for musculoskeletal analysis
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
Bodzioch et al. New approach to gallbladder ultrasonic images analysis and lesions recognition
Wei et al. A hybrid approach to segmentation of diseased lung lobes
Lin et al. High-throughput 3dra segmentation of brain vasculature and aneurysms using deep learning
Dickson et al. A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images
RU2780548C2 (ru) Процесс автоматической сегментации трехмерного медицинского изображения с помощью одной или нескольких нейронных сетей посредством структурированной свертки в соответствии с анатомической геометрией трехмерного медицинского изображения
Amritha et al. Liver tumor segmentation and classification using deep learning
Elmasry et al. Graph partitioning based automatic segmentation approach for ct scan liver images
Paul et al. Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization
Vi et al. Automatic Extraction of Liver Region from Medical Images by Using an MFUnet
Pana et al. 3D Brain Tumor Volume Reconstruction and Quantification using MRI Multi-modalities Brain Images
Les et al. Axis projection for Kidney-Region-Of-Interest detection in computed tomography
RU2803978C2 (ru) Процесс автоматической сегментации трехмерного медицинского изображения с помощью нескольких нейронных сетей посредством структурированной свертки в соответствии с геометрией трехмерного медицинского изображения
Mariappan et al. Deep learning-based lung cancer detection using CT images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200710

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230303

R150 Certificate of patent or registration of utility model

Ref document number: 7240403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150