JP7433913B2 - 経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置 - Google Patents

経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置 Download PDF

Info

Publication number
JP7433913B2
JP7433913B2 JP2020000688A JP2020000688A JP7433913B2 JP 7433913 B2 JP7433913 B2 JP 7433913B2 JP 2020000688 A JP2020000688 A JP 2020000688A JP 2020000688 A JP2020000688 A JP 2020000688A JP 7433913 B2 JP7433913 B2 JP 7433913B2
Authority
JP
Japan
Prior art keywords
tubular structure
point
model
sub
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020000688A
Other languages
English (en)
Other versions
JP2021030048A (ja
Inventor
モー ブライアン
ヘミングウェイ エヴァン
トムソン ポール
ダイアキディス ゲオルギアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2021030048A publication Critical patent/JP2021030048A/ja
Application granted granted Critical
Publication of JP7433913B2 publication Critical patent/JP7433913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置に関する。
心臓のアプリケーションにおいて、冠状血管を追跡しセグメントするために、冠状血管追跡及びセグメンテーションアルゴリズムを使用することが、知られている。
より一般的に、管状木（tubular tree）構造（例えば、血管や気道）は、生体構造では一般的であり、またそれらの構造のセグメンテーションに関して多くの使途が存在する。血管やその他の管状木構造の追跡のために、またそれらのセグメンテーションのために、沢山のアルゴリズムが発達してきた。
既存の血管追跡及び／又はセグメンテーション法は、たびたび、追跡及び／又はセグメンテーション結果の手動での補正を必要とすることがある。手動補正を必要としない、完全に自動化された血管芯線追跡（及びセグメンテーション）は、難しい課題ということが判明している。
血管追跡においてよくある問題は、血管のループに遭遇する際に、係るループをショートカットする、誤った経路を取る場合があることである。そのようなショートカットの例が、図１に示されている。
図１は、ループ１２を有する、血管１０の概略図である。血管追跡アルゴリズムは、イラストの左側のポイント１４で開始される。血管の追跡は、血管に沿って位置した、後続のポイント１６、１８、２０、２２、２４に対する所定のステップサイズのステップにおいて進む。２４のステップの後、正しい経路であれば、一般的に上の方向へと追跡を続けることにより、係るループを追えるはずである。しかしながら、図１に示される結果に対する血管追跡アルゴリズムは、ループを過ぎて血管上のポイント２６、２８へと進んでしまっている。その結果、係るループは、血管の追跡バージョンから除外されることになる。
米国特許第１００８３５０４号明細書
本発明が解決しようとする課題は、手動補正を使用することなく、血管のループをショートカットしない正しい経路を決定することである。
実施形態に係る経路決定方法は、管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、前記環状構造の経路に関する位置決定手順を実行することと、前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することと、を具備する。
前記位置決定手順は、前記管状構造の経路上の現在のポイントの初期位置を取得することと、前記初期位置に基づいたサブ領域を選択することと、前記管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得することと、前記選択されたサブ領域と前記少なくとも一つのパラメータ値とからの両方のデータを、学習済みモデルへと入力することと、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力することと、前記次のポイントに対する前記初期位置を更新することと、を備えている。
図１は、血管追跡の公知の方法の概略図である。 図２は、実施形態に係る医用画像処理装置の概略図である。 図３は、実施形態に係る例示的なカーブの曲率を表す概略図である。 図４は、実施形態の経路決定方法の概要を描くフローチャートである。 図５は、実施形態に係る推定される次のポイントとサブ領域との概略図である。 図６は、実施形態に係る学習済みモデルに対する入力及び出力の概略図である。 図７は、実施形態に係るモデル学習法の概要を描くフローチャートである。
以下、図面を参照しながら経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置等で実行される例示的な実施形態について説明する。経路決定方法、医用画像処理装置等の名称は、追跡方法、追跡装置、血管追跡方法、血管追跡装置などのように、適宜、変更してもよい。実施形態は、例えば医用撮像における血管、気道、又はその他の管状構造を追跡するための装置及び方法に関する。任意で、係る装置及び方法は、セグメンテーションを実行することもできる。この場合、装置及び方法等の名称は、セグメンテーション装置及びセグメンテーション方法としてもよい。
特定の実施形態は、管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、位置決定手順であって、前記管状構造の経路上の現在のポイントの初期位置を取得することと、前記初期位置に基づいたサブ領域を選択することと、前記管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得することと、前記選択されたサブ領域と前記少なくとも一つのパラメータ値とからの両方のデータを、学習済みモデルへと入力することと、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力することと、前記次のポイントに対する前記初期位置を更新することと、を備えた前記位置決定手順を実行することと、前記初期位置の更新のための前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することとを具備する、管状構造の経路を決定するための方法を提供する。
特定の実施形態は、管状構造の経路を決定するための方法を実行するよう構成された処理回路を具備する装置を提供し、前記方法は、前記管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、位置決定手順であって、前記管状構造の前記経路上の現在のポイントの初期位置を取得することと、前記初期位置に基づいたサブ領域を選択することと、前記管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得することと、前記選択されたサブ領域と前記パラメータ値とからの両方のデータを、学習済みモデルへと入力することと、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力することと、前記次のポイントに対する前記初期位置を更新することと、を備えた前記位置決定手順を実行することと、前記初期位置の更新のための前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することと、を具備する。
特定の実施形態は、複数の管状構造の複数の経路を決定するためのモデルを学習させるためのモデル学習方法を提供し、前記方法は、ボリューム医用画像データの複数の学習セットを取得することと、前記学習セットのそれぞれは個別の管状構造を含む個別の被検体の生体構造を表す、前記ボリューム医用画像データの学習セットのそれぞれに対して、個別のグラウンドトゥルース追跡を取得することと、前記ボリューム医用画像データの学習セットのそれぞれについて、前記個別の管状構造に沿った複数のサブ領域に対するデータを取得することと、サブ領域からのデータと前記管状構造を表す少なくとも一つのパラメータに対する値とを使用して前記複数の管状構造の前記複数の経路を決定するようモデルを学習させることと、を具備する。
特定の実施形態は、複数の管状構造の複数の経路を決定するようモデルを学習させるための方法を実行するよう構成された処理回路を具備している装置を提供し、前記方法は、ボリューム医用画像データの複数の学習セットを取得することと、前記学習セットのそれぞれは個別の管状構造を含む個別の被検体の生体構造を表す、ボリューム医用画像データの前記学習セットのそれぞれに対して、個別のグラウンドトゥルース追跡を取得することと、前記ボリューム医用画像データの学習セットのそれぞれについて、前記個別の管状構造に沿った複数のサブ領域に対するデータを取得することと、サブ領域からのデータと前記管状構造を表す少なくとも一つのパラメータに対する値とを使用して前記複数の管状構造の前記複数の経路を決定するようモデルを学習させること、を具備する。
実施形態に係る医用画像処理装置３０は、管状構造の経路を決定するための装置であり、図２に概略的に描かれている。なお、医用画像処理装置３０は、複数の管状構造の複数の経路を決定するようモデルを学習させるためのモデル学習装置を含んでもよい。例えば、医用画像処理装置３０は、複数の管状構造の複数の経路を決定するためのモデルを学習させるためのモデル学習方法を用いるモデル学習装置を備えてもよい。また、医用画像処理装置３０は、学習完了後のモデルである学習済みモデルを用いた経路決定方法により、管状構造の経路を決定する装置としてもよい。
医用画像処理装置３０は、今回の場合にはパーソナルコンピュータ（ＰＣ）又はワークステーションである計算装置３２を備える。係る計算装置３２は、データストア４０を介してスキャナ３４に接続されている。図２の実施形態において、係るデータストア４０は、画像データサーバ４０である。
医用画像処理装置３０は、一つ又は複数の表示スクリーン３６と、コンピュータキーボード、マウス又はトラックボール等の一つの入力デバイス又は複数のデバイス３８と、を更に備える。表示スクリーン３６は、ディスプレイ３６と呼んでもよい。
本実施形態において、スキャナ３４は、例えば冠状動脈ＣＴＡスキャン等、ボリュームＣＴスキャンを取得するよう構成されたＣＴ（コンピュータ断層撮影）スキャナである。その他の実施形態において、スキャナ３４は、医用撮像を実行するよう構成された任意のスキャナとすることもできる。スキャナ３４は、患者又はその他の被検体の少なくとも一つの解剖学的領域を表す、画像データを生成するよう構成されている。本実施形態において、解剖学的領域は、冠状動脈を有する。その他の実施形態において、少なくとも一つの解剖学的領域は、例えば任意の血管又は気道等、任意の管状構造を有することができる。
ＣＴスキャナ３４は、任意の撮像モダリティでの二次元又は三次元画像データを取得するよう構成することができる。例えばスキャナ３４は、ＭＲ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ：磁気共鳴）スキャナ、ＣＴスキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、又は超音波スキャナを有する。
いくつかの実施形態において、スキャナ３４は、時間を掛けて二次元又は三次元画像データセットのシーケンスを取得するよう構成されている。三次元画像データのシーケンスは、「四次元画像データ」と呼ぶことができる。係る画像データのシーケンスは、「多相(multi-phase)三次元画像データ」を持つことがある。係る画像データのシーケンスは、例えば灌流を表す画像データなど、任意の適当な画像データのシーケンスを持つことができる。四次元画像データは、複数のフレームを有することができる。係るフレームのそれぞれは、動きの、個別の時間及び／又は動きの個別のフェーズを表すこともある。
本実施形態において、スキャナ３４により取得される画像データセットは、画像データサーバ４０に記憶され、その後に計算装置３２へと提供される。使用中、スキャナ３４は、スキャンを患者に適用して画像データを生成する。スキャナ３４は、係る画像データを画像データサーバ４０へと送る。画像データサーバ４０は、係る画像データを含むよう画像データリストを更新する。
計算装置３２は、例えば臨床医等ユーザによる使用のためのアプリケーションを開始する。係るユーザは、画像データサーバ４０に記憶された画像データリストから画像データを選択する。計算装置３２は、選択された画像データに対して、リクエストを画像データサーバ４０に送る。画像データサーバ４０は、選択された画像データを計算装置３２へ送る。計算装置３２は、画像処理を画像データへと適用し、その後そのディスプレイ３６へと結果を出力するよう構成されている。
代わりの実施形態において、画像データセットは、遠隔データストア（図示せず）から供給される。データストア４０又は遠隔データストアは、メモリストレージの任意の適切な形式を持つことができる。
計算装置３２は、画像データを含む、データ処理用の処理装置４２を有する。処理装置は、中央処理装置（central processing unit：ＣＰＵ）と画像処理装置（Graphical Processing Unit：ＧＰＵ）とを備える。
処理装置４２は、画像データセットを自動的に又は半自動的に処理するための処理リソースを提供する。
処理装置４２は、画像データセットの選択されたサブ領域における特徴を決定するよう構成された特徴回路４４と、管状構造に沿った位置を決定するよう構成された追跡回路４６と、特徴の決定及び追跡に対して機械学習モデルを学習するよう構成された学習回路４８と、を含む。その他の実施形態において、第一の装置は、機械学習モデルを学習させるために使用することができ、また第二の異なる装置は、特徴の決定及び追跡に対し学習済みモデルを使用することができる。その他の実施形態において、任意の適切な装置又は複数の装置の組み合わせを使用することができる。
本実施形態において、回路４４、４６、４８は、実施形態の方法を実行することが可能なコンピュータ読み取り可能命令を有するコンピュータプログラムの方法で、ＣＰＵ／ＧＰＵにおいてそれぞれ実行される。その他の実施形態において、様々な回路は、一つ又は複数のＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ：特定用途向け集積回路）又はＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ：フィールドプログラマブルゲートアレイ）として実行することができる。
計算装置３２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、様々なデバイスドライバを含むオペレーティングシステム、そしてグラフィックスカード等を含むハードウェアデバイス等、その他のＰＣの構成要素とも含む。このような構成要素は、図を見やすくする為、図２には示していない。
医用画像処理装置３０は、曲がり及びねじれに適した値を使用して血管追跡を実行するよう構成されている。
図３は、二次元における例示的なカーブ８０の曲率を表す概略図である。図３は、カーブ８０上の第一のポイント８２（ポイントｘｎ）及び第二のポイント８４（ポイントｘｎ＋１）を示す。第一の及び第二のポイントの間のステップサイズは、Δｓとして書くことができる。第一のポイント８２で、接線ベクトルはＴｎ、法線ベクトルはＮｎである。第二のポイント８４で、接線ベクトルはＴｎ＋１、法線ベクトルはＮｎ＋１である。接線及び法線の方向は、第一のポイント８２から第二のポイント８４へとカーブに沿って動くのにつれて、変化する。直観的に、接線は、法線に向けて方向を合わせるように発展する（evolve to orientate）と考えることができる。基底（basis）は、半径Ｒ＝１／κの円に従って回転すると考えることができる。ポイント８２でのカーブの曲率は、Ｒが係るカーブの半径である、κ＝１／Ｒにより与えることができる。
二つの基底ベクトルＴ及びＮは、次の通りに展開する。
この展開は、陽的なオイラー積分器（ｅｘｐｌｉｃｉｔ Ｅｕｌｅｒ ｉｎｔｅｇｒａｔｏｒ）に分類することができる。次のステップは、現在のタイムステップでの情報からのみ予測される。その他の実施形態において、異なるタイムステッピング法を使用することができる。例えば、間接的に又は半間接的（implicit or semi-implicit）であると考えられる、中間表現（例えばκｎ＋１／２）を使うために、タイムステッピング法を使用することができる。
次のポイントの位置ｒ（Δｓ）は、様々な順番に対するテーラー展開によって予測することができる。例えば、
次に、三次元の場合へと移る。平面運動を除外するために、ねじれτも検討される。カーブのねじれτは、カーブが面から離れる程度を測定する。ねじれの半径は、σ＝１／τにより与えることができる。
第三のベクトルＢは、Ｂが下記に示すようなＴ及びＮのクロス積の場合に、導入される。文字Ｂは、基底ベクトルのセットＴ、Ｎ、Ｂを示すのに使用する場合があることに留意されたい。例えば、Ｂは、図６及び関連する記述における基底ベクトルのセット全体に対し言及するために、使用される。
三次元において、基底ベクトルは次の通りに展開（evolve）する。
代わりのアプローチとしては、一定の曲率及びねじれを仮定し、それらの特性を用いてらせんに沿った現在の経路を見積もることである。一定の曲率及びねじれの仮定の使用により、テーラー展開の場合で使用することができるものよりも、更に大きなステップを取ることを許容する場合がある。
図４は、実施形態に係る血管追跡法の概要を描くフローチャートである。図２の医用画像処理装置３０は、図４に描かれるような血管追跡法を実行するよう構成されている。
図４の血管追跡法は、深層学習の使用により、シードポイントから血管樹（vessel tree）にわたって進む逐次法を有する。血管の展開は、ねじれ及び曲がりを使用してパラメータ化される。血管に沿った各ポイントで、曲がり及びねじれに対する値が決定され且つ係る血管に沿った次のポイントを位置付けるために使用される。血管に沿って決定されたポイントの間のステップは、曲がり及びねじれにより決定されたカーブに従うので、非線形ステップであると考えることができる。
状況次第で、血管に沿った線形ステップ使用の代わりに、血管追跡における曲がり及びねじれの使用により、より精確な追跡をもたらす場合がある。また状況次第で、線形ステップを用いて使用できるものよりも、より大きなステップサイズを使用することができる。
血管追跡法は、図４のステージ５０で開始となる。ステージ５０で、特徴回路４４は、患者又はその他の被検体の解剖学的領域の医用画像を表す、ボリューム医用画像データセットを受け取る。本実施形態における係るボリューム医用画像データセットは、ＣＴデータを有する。その他の実施形態において、ボリューム医用画像データセットは、任意の適切なモダリティのデータを有することができる。このような特徴回路４４は、管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得する画像取得部の一例である。
本実施形態において、ボリューム医用画像データセットは、患者の冠状動脈の領域を表す。その他の実施形態において、ボリューム医用画像データは、少なくとも一つの管状構造（例えば、血管又は気道）を持つ任意の領域を表す場合がある。また、管状構造は、血管、気道のうちの少なくとも一方を具備するものとしてもよい。
特徴回路４４は、血管に対するシードポイントと初期ステップ方向との入力を受け取る。本実施形態において、係る血管に対するシードポイント及び係る初期ステップ方向は、例えば臨床医等のユーザにより提供される。例えば、ユーザは、ボリューム医用画像データセットからレンダリングされ且つユーザに対し表示された、画像をクリックすることで、シードポイントに対する位置を指示する場合がある。ユーザは、レンダリングされた画像上に矢印を置くことで、血管シードポイントからの血管の初期方向を指示することもできる。その他の実施形態において、ユーザは、シードポイントと初期ステップ方向とを指示する任意の適切な方法を使用することができる。その他の実施形態において、シードポイント及び／又は初期ステップ方向は、特徴回路４４により自動的に決定することができる、又は任意の適切な方法を使用して取得することができる。このような特徴回路４４は、管状構造の経路上の現在のポイントの初期位置を取得する初期位置取得部の一例である。シードポイントは、初期位置にあるポイントの一例である。
位置決定手順は、血管上の次のポイントを決定するために、特徴回路４４及び追跡回路４６によりその後実行される。位置決定手順は、下記に説明される通り、ステージ５２、５４、５６を有する。このような特徴回路４４及び追跡回路４６は、初期位置取得部、選択部、値取得部、入力部、出力部及び更新部を備え、初期位置取得部、選択部、値取得部、入力部、出力部及び更新部による処理として位置決定手順を実行する実行部の一例である。
ステージ５２で、特徴回路４４は、血管上の次のポイントに対するシードポイントからのオフセットを推定する。ステージ５２の初期逐次で、次のポイントに対して推定されるオフセットは、初期ステップ方向における初期ステップサイズのステップを取ることで、発見される。初期ステップサイズは、ユーザにより入力される、デフォルト値として特徴回路４４により受け取ることができる、又は任意のその他適切な方法を使用して取得することができる。
特徴回路４４は、推定されるオフセットによりシードポイントの位置を調整することで、血管上の次のポイントの位置を推定する。
ステージ５４で、特徴回路４４は、ボリューム医用画像データセットの座標空間におけるサブ領域の位置を決定する。本実施形態において、サブ領域は、現在のポイント（第一の逐次ではシードポイント）の位置と、ステージ５２で決定されるような次のポイントの推定される位置との間の中間位置に中心を置く、立方体である。係る立方体は、現在のポイントと次のポイントの推定される位置とを含む。本実施形態において、サブ領域は三次元であり、「サブボリューム」と呼ぶことがある。その他の実施形態において、サブ領域は、二次元又は三次元の場合がある。サブ領域の任意の適切な形状を使用することができる。このような特徴回路４４は、初期位置に基づいたサブ領域を選択する選択部の一例である。また、サブ領域を選択することは、次のポイントに対する推定される位置の決定に基づく処理としてもよい。また、選択されたサブ領域は、個別の現在のポイントと個別の次のポイントの推定される位置との間に中心を有してもよい。
サブ領域のサイズは、現在のポイントと次のポイントの推定される位置との間のステップサイズに依存することがある。サブ領域のサイズは、現在のポイントと次のポイントの推定される位置との間の血管の推定されるボリューム全体を含むようにして、選択することができる。任意で、サブ領域のサイズは、周辺の組織をいくつか含むようにして選択することもできる。含まれる予定の周辺組織の量を、予め決めておくことができる。その他の実施形態において、サブ領域は、現在のポイントと次のポイントの推定される位置との間の血管の推定されるボリュームのサブセットという場合がある。いくつかの実施形態において、サブ領域は、血管の推定されるボリュームの二次元スライスということもある。またその他の実施形態において、サブ領域は、任意の適切な三次元の又は二次元の領域又は複数の領域とすることもできる。サブ領域は、複数の２Ｄスライスを有することができる。例えば、サブ領域は、三次元直交面上の２Ｄスライスを有することがある。
特徴回路４４は、選択されたサブ領域からデータを計算するために、第一の学習済みモデルを使用する。本実施形態において、係る第一の学習済みモデルは、データストア４０に記憶される。その他の実施形態において、第一の学習済みモデルは、ローカル又はリモートの場合もある、任意の適切なメモリに記憶させることができる。その他の実施形態において、第一の学習済みモデルは、例えば少なくとも一つのＡＳＩＣ又はＦＰＧＡを使用することにより、ハードウェアにおいて実行することもできる。
本実施形態において、第一の学習済みモデルは、畳み込みニューラルネットワーク（ＣＮＮ）である。第一の学習済みモデルに対する入力は、選択されたサブ領域に対する画像データを有する。例えば、選択されたサブ領域に対する画像データは、選択されたサブ領域における複数のボクセルに対する個別の輝度値を有する場合がある。その他の実施形態において、選択されたサブ領域に関する任意の適切なデータを使用することができる。
ＣＮＮの出力は、選択されたサブ領域に対するデータの畳み込みを持つ。係るＣＮＮの出力は、特徴がＣＮＮの学習から浮かび上がった、複数の特徴に対する値のベクトルである。このように、選択されたサブ領域からのデータは、畳み込みを具備してもよい。
ステージ５６で、特徴回路４４は、ＣＮＮから出力された特徴値のベクトルを、追跡回路４６へと渡す。
追跡回路４６は、複数の血管パラメータに対する値も受け取る。本実施形態において、血管パラメータは、曲がり、ねじれ、ステップサイズ、及び血管半径を有する。ステージ５６の初期逐次において、曲がり、ねじれ、ステップサイズ及び血管半径に対する初期値は、シードポイントから開始する際に、追跡回路４６により受け取ることができる。例えば、曲がり及びねじれが初め０に設定することができる場合、血管半径及びステップサイズをデフォルト値に設定することができる。このような追跡回路４６は、管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得する値取得部の一例である。ここで、少なくとも一つのパラメータに対する少なくとも一つの値は、管状構造の経路の三次元の曲がりを表す、としてもよい。また、少なくとも一つのパラメータは、曲がり及び／又はねじれを具備する、としてもよい。また、少なくとも一つのパラメータに対する少なくとも一つの値は、管状構造上の現在のポイント及び／又は少なくとも一つの前回のポイント（preceding point）から取得されてもよい。少なくとも一つのパラメータは、ステップサイズを具備してもよい。
追跡回路４６は、ステージ５４からの特徴値のベクトルと、血管パラメータに対する値とを第二の学習済みモデルへと入力する。本実施形態において、第二の学習済みモデルは、長・短期記憶（ＬＳＴＭ）ユニットを持つ。第二の学習済みモデルは、データストア４０に記憶される。その他の実施形態において、第二の学習済みモデルは、ローカル又はリモートの場合がある、任意の適切なメモリに記憶させることができる。その他の実施形態において、第二の学習済みモデルは、例えば少なくとも一つのＡＳＩＣ又はＦＰＧＡを使用することで、ハードウェアにおいて実行することができる。前述した第一の学習済みモデルと、このような第二の学習済みモデルとは、選択されたサブ領域と少なくとも一つのパラメータ値とからの両方のデータの入力に基づいて、管状構造の経路上の次のポイントに対する位置を出力する学習済みモデルの一例である。当該学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている。当該学習済みモデルは、畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）、回帰ネットワーク、長・短期記憶ユニット（long short-term memory：ＬＳＴＭ）のうちの少なくとも一つを具備してもよい。なお、サブ領域からのデータが特徴値のベクトルの場合、学習済みモデルとしては、第二の学習済みモデルが用いられ、後述する更なる学習済みモデルとしては、サブ領域の画像データから当該ベクトルのデータを決定する第一の学習済みモデルが用いられる。一方、サブ領域からのデータがサブ領域の画像データの場合、学習済みモデルとしては、第一の学習済みモデル及び第二の学習済みモデルが用いられる。また、いずれにしても当該学習済みモデルは、自己学習モデルを具備してもよい。また、前述した特徴回路４４と、このような追跡回路４６とは、選択されたサブ領域と少なくとも一つのパラメータ値とからの両方のデータを、学習済みモデルへと入力する入力部の一例である。
第二の学習済みモデルは、特徴値のベクトルと、曲がり、ねじれ、ステップサイズ及び半径に対する現在の値とを処理する。第二の学習済みモデルは、曲がり、ねじれ、ステップサイズ及び半径に対する更新された値を出力する。このような追跡回路４６は、管状構造の経路上の次のポイントに対する位置を学習済みモデルより出力する出力部の一例である。また、位置決定手順は、少なくとも一つのパラメータに対する少なくとも一つの更新された値を出力するよう更に構成されてもよい。
追跡回路４６は、血管上の次のポイントに対する位置を提供するために、曲がり、ねじれ及びステップサイズに対する更新された値を使用する。この次のポイントに対する推定される位置は、ステージ５２で以前に提供されたということに留意されたい。係る推定される位置は、ステージ５６で決定される位置に取り替えられる。このような追跡回路４６は、次のポイントに対する初期位置を更新する更新部の一例である。補足すると、追跡回路４６は、学習済みモデルより出力された位置に基づいて、次のポイントに対する初期位置を更新する。
ねじれ、曲がり、ステップサイズを使用する、芯線ポイント位置及び基底は、図３を参考に上で説明されたようなテーラー展開を実行することにより、展開することができる。ねじれ、曲がり及びステップサイズを使用する、芯線ポイント位置及び基底は、一定値からの小さなズレ（deviations）を仮定して展開することができる。
本実施形態において、第二の学習済みモデルは、長・短期記憶（ＬＳＴＭ）ユニットを有する。その他の実施形態において、任意の適切な深層学習又は機械学習モデルは、例えば任意の適切な回帰ネットワークを使用することができる。回帰ネットワークは、各今後のステップの推定に使用するために、血管に沿ったステップをいくつ通過してきたかを決定する能力を持つ場合がある。更なる実施形態において、回帰ネットワークを有さないモデルを使用する場合もある。そのような実施形態では、次のステップを予測するのに、固定数のステップを使用することができる。
ステージ５８で、第二の学習済みモデルは、血管の分岐点に達したかどうかを判定する。本実施形態において、第二の学習済みモデルは、更新された曲がり、ねじれ、ステップサイズ及び半径の値の決定と共に、分岐点に達したかどうかの判定を実行する。第二の学習済みモデルにより回帰されるパラメータは、分岐点に達したかどうか示すパラメータを含む。その他の実施形態において、分岐点に到達したかどうかを判定するのに、任意の適切な方法を使用することができる。このような第二の学習済みモデルは、管状構造が複数の分岐へと分かれる分岐点の存在を決定するよう構成されている学習済みモデルの一例である。
ステージ５８での答えが「いいえ」であれば、追跡回路４６は、ステージ６０へと進む。反対に答えが「はい」ならば、追跡回路はステージ６４へと進む。後述するステージ６４からステージ５０乃至５８を介してステージ６４に戻る処理は、分岐点が存在する場合に、経路決定方法が、複数の分岐のそれぞれに対して位置決定手順の新たな継続を実行することにより複数の分岐のそれぞれの複数の経路を決定することを備えた一例である。
ステージ５８での分岐点決定に対する答えが「いいえ」の場合について検討してみる。追跡回路４６は、ステージ６０に向かう。
ステージ６０で、第二の学習済みモデルは、血管の終わりに到達したかを判定する。本実施形態において、第二の学習済みモデルは、ねじれ、曲がり、ステップサイズ及び半径の値の決定と共に、係る血管の終わりに達したかどうかの決定を実行する。第二の学習済みモデルにより回帰されるパラメータは、血管の終わりに到達したかを示すパラメータを含む。その他の実施形態において、血管の終わりに到達したかを判定するのに、任意の適切な方法を使用することができる。
ステージ６０での答えが「はい」の場合に、追跡回路４６は、ステージ６２に向かう。答えが「いいえ」であれば、追跡回路４６は、ステージ５２から５６までの位置決定手順の別の逐次を開始する。
位置決定手順は、血管の終わりに到達するまで、何度でも繰り返すことができる。このような追跡装置４６は、初期位置を更新するための位置決定手順を実行部に繰り返し実行させることにより管状構造の経路を取得する経路取得部の一例である。
位置決定手順の更なる逐次について検討してみる。更なる逐次は、上で説明された初期逐次ではない、血管の長さに沿った任意の逐次の場合がある。更なる逐次は、推定される次のポイントｘｎ＋１及びサブ領域Ωとの概略図である、図５を参照して説明される。
図５は、血管１０上の現在の位置ｘｎの決定された位置７０を示す。現在のポイントｘｎは、係る血管１０に沿ったｎ番目のポイントだと考えることができる。図５は、係る血管１０上の前回のポイントｘｎ－１の決定された位置６８も示す。現在のポイントｘｎ及び前回のポイントｘｎ－１との位置６８、７０は、位置決定手順の以前の逐次において既に決定されている。
ポイントｘｎに対する、ねじれτｎの値、曲率κｎ、ステップサイズΔｓｎ及び半径Ｒｎは、位置決定手順の以前の逐次から既に判明している。ポイントｘｎに対する基底ベクトルのセット（Ｂｎ、ｘｎ）も判明している。
ステージ５２で、特徴回路４４は、次のポイントに対するオフセットを推定する。係る推定されたオフセットは、ポイントｘｎでのねじれτｎ、曲率κｎ及びステップサイズΔｓｎに基づく場合がある。その他の実施形態において、オフセット推定の任意の適切な方法を使用することができる。
特徴回路４４は、血管上の次のポイントｘｎ＋１に対する推定される位置７２を取得するために、推定されたオフセットに従って、ポイントｘｎの位置を調整する。例えば、特徴回路４４は、現在のポイントｘｎに対するねじれτｎ、曲率κｎ、ステップサイズΔｓｎを有する、曲線位置の経路を決定することができる。次のポイントｘｎ＋１の推定される位置７２は、特徴回路４４により決定された曲線位置の終わりとなる場合がある。次のポイントに対して推定される位置７２はその後に改良されることに留意されたい。
特徴回路４４は、現在のポイントｘｎの位置７０と、血管に沿った次のポイントＸｎ＋１の推定される位置７２との間にある、点Ｘ＋の位置７４を決定する。本実施形態において、係るポイントｘ＋は、現在のポイントｘｎの位置７０と血管に沿った次のポイントの推定される位置７２との中間に位置している。位置７４は、現在のポイントｘｎの位置７０と、次のポイントｘｎ＋１の推定される位置７２とを結ぶ、曲線部分に沿った中間とすることができる。
中間ポイントｘ＋の位置は、補外関数ｆを使用して決定される。本実施形態において、ステップサイズの半分は、中間ポイントｘ＋がｘｎとｘｎ＋１の推定される位置との中間に置かれるようにして、使用される。その他の実施形態において、ステップサイズの任意の割合を使用することができる。基底ベクトルＢのセットは、次のような補外関数ｆを使用して補外される。
特徴回路４４は、現在のポイントｘｎの位置７０と次のポイントｘｎ＋１の推定される位置７２とを含んで中間ポイントｘ＋に中心がある立方形領域Ω（図５では７６として記載）の位置及び拡がりを決定する。その他の実施形態において、サブ領域７６の任意の適切な形状及び配置を使用することができる。
ステージ５４で、特徴回路４４は、サブ領域７６からデータを取得するために、第一の学習済みモデルを使用する。本実施形態において、特徴回路４４により出力されるデータは、サブ領域７６に対する画像データの３Ｄ畳み込みである。特徴回路４４により出力されるデータは、ＣＮＮにより特徴が決定されている、特徴値のベクトルを有する。データは、上で説明されたような特徴を有する。特徴回路４４は、決定された特徴を追跡回路４６へと渡す。
ステージ５６で、追跡回路４６は、ステージ５４からの畳み込みを第二の学習済みモデルへと入力する。追跡回路４６は、ねじれ、曲がり、ステップサイズ及び血管半径に対する値を含む、パラメータ値のセットを、第二の学習済みモデルへと入力する。
図６は、第二の学習済みモデル９０に対する入力及び出力を示す概略図である。
第二の学習済みモデルは、中間ポイントｘ＋上に中心があるサブ領域Ωの３Ｄ畳み込みである、ベクトル９２を有する入力９２を受ける。
入力９２は、基底ベクトルＢのセットも含む。
第二の学習済みモデルは、ポイントｘｎでの、ねじれτｎ、曲率κｎ、ステップサイズΔｓｎ及び半径Ｒｎを含む、パラメータ９４に対する値も受け取る。その他の実施形態において、パラメータ９４は、少なくとも血管の部分又はその他の管状構造を表す、任意の適切なパラメータを含む場合がある。
ＣＮＮ特徴９２及び以前のステップパラメータ９４は、本実施形態においてはＬＳＴＭ９０である、第二の学習済みモデルへと入力される。係るＬＳＴＭ９０は、次のステップパラメータを回帰する。係るＬＳＴＭ９０は、ねじれτｎ＋１、曲率κｎ＋１、ステップサイズΔｓｎ＋１及び半径Ｒｎ＋１に対する新たな値を有する、出力のセット９６を生成する。その他の実施形態において、任意の適切なパラメータを入力及び出力とすることができる。
以前のステップに対するパラメータ値のみが図６に示されるが、実施形態では第二の学習済みモデルに対して入力されるパラメータ値のセット９４は、血管に沿った前回のポイントのうちのいくつか又は全てに対してのパラメータに対する値を含むことができる。第二の学習済みモデルの学習の間（下記にて説明）に、第二の学習済みモデルは、パラメータに対する新たな値を予測する際に、前回のポイントをいくつ考慮に入れるかを学習することができる。例えばＬＳＴＭのような回帰ネットワークは、次のステップの予測の際に、前回のステップの可変数に対する結果を取る（take results for a variable number）ことができる。場合によって、ステップのより狭い窓を使用することがある。また場合により、血管セグメントのフルレングス（血管の始まりまで又は分岐点まで）を使用することもある。その他の実施形態において、固定数のステップを使用することもできる。
追跡回路４６は、次のポイントに対する更新された位置（図４に図示せず）を決定するために、ねじれτｎ、曲率κｎ、ステップサイズΔｓｎの出力を使用する。更新された位置は、推定される位置７２に比べて、より精確な場合がある。
位置決定手順は、分岐点又は血管の終わりに到達するまで、繰り返される。血管に沿った各ポイントで、ねじれ及び曲率を含む特徴及びステップパラメータは、次の血管芯線ポイントに達するようパラメータを回帰するために、第二の学習済みモデル（本実施形態においてはＬＳＴＭ）へと入力される。逐次ステップサイズは、回帰されたパラメータでもある。逐次ステップサイズは、ねじれ又は曲率が緩やかに変化している場合に比べて、それらに対する変化が急激な箇所では、より小さいことがある。逐次ステップサイズは、分岐で又は分岐に近いポイントに対しては、より小さな場合がある。反対に、逐次ステップサイズは、分岐でない又は分岐に近くないポイントに対しては、より大きい場合もある。
ＬＳＴＭ９０は、分岐点に到達したかの判定９７も出力する。分岐点に到達したと係る判定９７が示したら、ＬＳＴＭ９０は、予測される分岐数を出力することができる。ＬＳＴＭ９０は、血管の終端に到達したかの決定９８も出力する。
次に血管の終わりの場合を検討する。本実施形態において、第二の学習済みモデルは、血管の終わりを予測するように学習されている。位置決定手順の各逐次で、追跡回路４６は、血管の終わりに到達したかの指標となる、パラメータ９８に対する値を出力する。血管の終わりで、ステージ６０は、血管が終わったという判定を返し、図４の処理は、処理が停止するステージ６２へと進む。
本実施形態において、ＬＳＴＭ９０は、第二の学習済みモデルへと入力された、パラメータ値に基づいて、血管の終わりを予測するよう学習されている。ＬＳＴＭ９０は、血管の終わりと、例えばソフトプラーク狭窄など、血管における閉塞又は部分的な閉塞とを区別するよう学習される。状況次第で、画像特徴及び／又はステップの履歴により、今現在の位置が血管の終わりではなさそうだと示唆することができる。
その他の実施形態において、第二の学習済みモデルは、血管の終わりを予測するための任意の適切な方法を使用することができる。更なる実施形態において、第二の学習済みモデルを使用することなく、血管の終わりを追跡回路４６により予測することができる。例えば、血管の終わりは、血管半径での流れの解析により、予測することもできる。血管の終わりは、推定される半径が複数のポイントにわたり一貫した様子（in a consistent fashion）で減った場合と分類することができる。状況次第で、閉塞の場合における半径の減少の方が、血管の終結の場合に比べて、より唐突なことがある。
次に、第二の学習済みモデルがステージ５８で、分岐点を予測する場合を検討してみる。分岐点に近いステップでの逐次において、ＬＳＴＭ９０は、係る分岐点での分岐数を回帰する。その他の実施形態において、分岐点及び／又は分岐数を予測するために、任意の適切な方法を使用することができる。いくつかの実施形態において、第一の学習済みモデルは、分岐点及び／又は分岐数を予測するために、使用することもできる。その他の実施形態において、機械学習法を具備することもあるし、しないこともある、任意の適切な方法を使用することができる。
各分岐に対して、追跡回路４６は、ステージ６４へと進む。ステージ６４で、追跡回路４６は、係る分岐に対する新たなシードポイントとその分岐に対する初期方向とを決定する。初期方向は、以前のポイントの追跡からの情報に少なくとも部分的に基づく場合がある。いくつかの実施形態において、分岐に対する、シードポイント及び／又は追跡の初期方向を決定するために、更なる学習済みモデルを使用することができる。更なる学習済みモデルは、更なるＣＮＮ、又はＣＮＮのセットとすることができる。ＣＮＮは、候補分岐を決定することができる血管特徴を特定するように血管の周辺領域において使用することができる。例えば、位置決定手順は、更なる学習済みモデルを使用し選択されたサブ領域からデータを決定することを更に具備してもよい。分岐は、予測される分岐数に従って、候補分岐から選択することができる。また分岐は、任意の適当なメトリックに従って、選択することができる。その他の実施形態において、任意の適切なモデルを、更なる学習済みモデルとすることができる。係る更なる学習済みモデルは、例えば、ヘッシアン又は勾配等、任意の適切な特徴を計算することができる。
図４のフローチャートは、特徴回路４４がシードポイントと初期方向とを受け取る、ステージ５０へと戻る。ステージ５２から５６までの位置決定手順は、上述の様な分岐の経路を追跡するために、繰り返し実行される。
各分岐は、各分岐の終わりに到達し且つ、図４の処理が停止するまで、追跡される。
追跡回路４６は、任意の分岐を含む、血管の経路を表す、追跡されたポイントのセットを出力する。追跡回路４６は、例えば冠状血管解析等、更なる処理を実行するよう構成された回路に対して、追跡されたポイントのセットを出力することができる。
いくつかの実施形態において、連続的な又は補間された芯線も、図４の方法で生成される。例えば、ねじれ及び曲がり値は、カーブを描くのに使用することができる。ねじれ及び曲がり値は、芯線を表す連続的な曲線を取得するよう、追跡されたポイントの間を補間するために使用することができる。その他の実施形態において、芯線を取得するために任意の適切な方法を使用することができる。
更なる実施形態において、血管は、図４の方法においてもセグメントされる。例えば、第一の学習済みモデルは、適用されるサブ領域における血管の一部分のセグメンテーションを実行するよう学習することができる。３Ｄ ＣＮＮは、構造の完全な畳み込みセグメンテーションを実行するよう構成することができる。３Ｄ ＣＮＮは、構造の完全な畳み込みセグメンテーションを実行するために、別々の又は付加的な層を含むことができる。第一の学習済みモデルによりセグメントされる血管の部分は、血管全体のセグメンテーションを取得するために、その後組み合わせることができる。完全にセグメントされた構造は、部分の結合により、決定することができる。その他の実施形態において、任意の適切なセグメンテーション法を使用することができる。
図４の方法は、管状木構造追跡に対する、逐次的、３Ｄ、回帰深層学習アプローチを提供する。展開は、ねじれ及び曲がりを使用してパラメータ化され、また現在のステップと予測される次のステップとの間でオフセットされる、３Ｄ畳み込みからの特徴を含む。
データ及びアノテーションの達成可能な量を用いて学習することができる、深層学習法が提供される。係る方法は、追跡での精確なサブボクセルを達成することができる。
係る方法は、手動補正を使用することなく、完全に自動化された結果を提供することができる。係る完全に自動化された結果は、例えば冠状血管解析を実行するためのアルゴリズム等、更なるアルゴリズムに対する入力としての役割を果たすことがある。
ねじれ及び曲がりは、追跡を提供するために使用される。ねじれ及び曲がりは、結果として生じる形状についての拘束として単に使用されている代わりに、追跡における予測機能を提供するために使用される。ねじれ及び曲がりは、血管に沿って取られる予定の非線形ステップを可能にする場合がある。ステップは、三次元にカーブして提供することができる。ねじれ及び曲がりの使用により、線形ステップを取ることにより提供されるであろうものよりも、より血管に適合する形で提供することができる。また状況次第で、ねじれ及び曲がりの使用により、線形ステップを使用した場合に可能なものよりも、追跡処理間に、血管に沿ってより大きなステップを取ることを許容する場合がある。ねじれ及び曲がりは、血管が三次元にカーブする経路を持つことを一般的に期待できるので、血管の経路のより自然なパラメータ化を提供することができる。
上述の実施形態において、図４の方法は、血管を追跡するのに使用される。その他の実施形態において、図４の方法は、例えば気道等任意の適切な管状構造を追跡するのに使用することができる。
上述の実施形態において、図４のステージ５０に対して入力される画像データは、三次元（ボリューム）画像データである。その他の実施形態において、図４の方法に対して入力される画像データは、二次元又は四次元画像データを有することができる。
入力が二次元画像データを有する、実施形態について検討する。特徴回路４４は、ボリューム画像データを取得するために、二次元画像データを受け取り且つ二次元画像データを処理する。例えば、特徴回路４４は、画像ボリュームを取得するために、多重２Ｄスライスを組み合わせることがある。特徴回路４４は、補間処理を実行することができる。結果として生じるボリュームデータは、図４を参照して上記のように処理される。
次に入力が四次元画像データを有する、実施形態について検討する。四次元画像データは、時間にわたって収集された、複数の三次元データセットを有することができる。三次元画像データの各セットは、個別のフレームに対応することがある。特徴回路４４は、四次元画像データから三次元画像データを取得するよう構成されている。
一実施形態において、ユーザは、四次元画像データの時間フレームを選択する。特徴回路４４は、四次元データから選択された時間フレームに対応する三次元画像データを抽出する。結果として生じるボリュームデータは、図４を参照して上記に説明された通りに処理される。
別の実施形態において、ユーザは対象となる時間フレームを予め決定する。係るユーザは、動きのフェーズに基づいた時間フレームを選択することができる。例えば、ユーザは、拡張末期又は収縮末期フレームを特定することができる。特徴回路４４は、ユーザの選択した時間フレームに基づいて、四次元画像データから自動的に三次元画像データを抽出する。結果として生じるボリュームデータは、図４を参照して上記に説明された通りに処理される。
次に、図４の方法で使用される、第一の学習済みモデルと第二の学習済みモデルとの学習に移る。それらのモデルを個別のモデルとして説明するものの、その他の実施形態においては、単一のモデルが、上記に説明したような第一の学習済みモデルと第二の学習済みモデルとの機能性を実行することができる。その他の実施形態において、より多くの学習済みモデルを使用することができる。例えば、所定のサブ領域及び／又は所定の血管に対して、多重の学習済みモデルを適用することができる。
本実施形態において、学習回路４８は、複数の学習データセットを受け取る。各学習データセットは、個別の管状構造を表す、ボリューム医用画像データのセットを有する。このような学習回路４８は、ボリューム医用画像データの複数の学習セットを取得する学習セット取得部の一例である。当該学習セットのそれぞれは個別の管状構造を含む個別の被検体の生体構造を表す。本実施形態において、学習データセットは、ＣＴデータを有する。その他の実施形態において、任意の適切なモダリティの学習データセットを使用することができる。いくつかの実施形態において、一つのモダリティを用いて収集されたデータセットを、異なるモダリティを用いて収集されたように見えるデータセットへと変換するために、ドメイン適応技術を使用することができる。言い換えると、モデル学習方法としては、ドメイン適応技術を使用して、ボリューム医用画像データのうちの学習セットのうちの少なくともいくつかを変換することを更に具備してもよい。
本実施形態において、学習データセットのうちのいくつかは、血管を表し、また係る学習データセットのうちのその他は、気道を表す。血管と気道との両方に関するモデルを学習することで、より大きな学習セットを提供することができる。その他の実施形態において、学習データセットは、管状構造の単一のタイプを表すことがある。更なる実施形態において、学習データセットは、管状構造の任意の適切なタイプを又は複数のタイプを、表すことができる。ドメイン適応技術は、管状構造のうちの一つのタイプを表す、データセットに適応するために使用することができる。そうすることで、係るデータセットが管状構造の異なるタイプを表すデータセットに見えるようになる。
血管及びその他の管状構造は、実に幅広いサイズという場合がある。例えば、異なる解剖学的領域における血管は、異なるサイズを持つことがある。所定の血管は、連続的により小さな血管へと枝分かれする場合がある。所定の血管（例えば冠状血管）は、異なる個体ごとに異なるサイズという場合がある。血管のサイズは気道のサイズとは異なる場合もある。
いくつかの実施形態において、学習データセットは、血管及び気道が学習データセットの全てにおいて同じサイズとなるようにスケールされる。データのサンプリングは、一貫性があり、予め定めた値に対して、動的にスケールすることができる。初期ステップから推定される半径は、データをスケールするために使用することができる。係るスケーリングは、学習データにおけるスケール不変性を提供するために、使用することができる。例えば、モデル学習方法としては、ボリューム医用画像データの学習セットのうちの少なくともいくつかを、標準的な血管サイズに対してスケーリングすることを更に具備してもよい。
その他の実施形態において、学習済みモデルは、様々なサイズの管状構造について学習される。そのような実施形態において、学習データセットのそれぞれは、付加的な学習データを提供するために、多重サイズへとスケールすることができる。学習データは、いくつかのピクセル解像度にスケールすることができる。係るスケーリングは、学習データにおけるスケール不変性を提供するために、再び検討することができる。例えば、モデル学習方法としては、ボリューム医用画像データの学習セットのうちの少なくともいくつかを、多重の血管サイズに対してスケーリングすることを更に具備してもよい。また例えば、モデル学習方法としては、ボリューム医用画像データの学習セットのうちの少なくともいくつかを、標準的な血管サイズに及び／又は多重の血管サイズに対してスケーリングすることを更に具備してもよい。
学習データセットは、グラウンドトゥルース血管芯線と共に注釈が付けられる。また学習データセットは、グラウンドトゥルースセグメンテーションとも注釈が付けられる。例えば、血管セグメンテーションは、芯線と交差する（接線である）２Ｄ面上にある、輪郭（結合したポリライン）により表すことができる。小さなステップで取られた連続的な面は、３Ｄセグメンテーションへと組み合わせることができる。臨床医は、セグメンテーショングラウンドトゥルースを定義するために、輪郭のポイントを手動で調整することができる。グラウンドトゥルース芯線を取得するために、臨床医は、例えばＭＰＲ（多断面再構成）において、又はクロスカット（芯線への接線である）ビューにおいて、芯線ポイントの位置を調整することができる。学習回路４８は、ボリューム医用画像データの前記学習セットのそれぞれに対して、個別のグラウンドトゥルース経路を取得するグラウンドトゥルース取得部の一例である。グラウンドトゥルース芯線は、グラウンドトゥルース血管芯線又はグラウンドトゥルース気道芯線の如き、管状構造における芯線のグラウンドトゥルースを意味している。グラウンドトゥルース経路としては、管状構造の経路の正解を示すものであればよく、例えば、経路の芯線の正解を示すグラウンドトゥルース芯線や、経路の輪郭の正解を示すグラウンドトゥルース輪郭などが適宜、使用可能となっている。
図７は、第一のモデル（本実施形態ではＣＮＮ）と第二のモデル（本実施形態では回帰ネットワーク）との組み合わせの学習法の概要を描くフローチャートである。ステージ１１０で、学習回路４８は、複数の注釈付き学習データセットを受け取る。学習回路４８は、管状構造上のポイントの周りに中心がある複数のサブ領域を受け取る。ここで、注釈付き学習データセットは、経路の正解が注釈として付与された画像データを含む複数の学習データのセットである。付与される正解としては、例えば、グラウンドトゥルース芯線位置を示すグラウンドトゥルース芯線といった、グラウンドトゥルース経路のデータが適宜、使用可能となっている。すなわち、注釈（正解）が付与された画像データとは、管状構造の正しい経路が付与された、サブ領域の画像データである。ステージ１１０において、学習回路４８は、ボリューム医用画像データの学習セットのそれぞれについて、個別の管状構造に沿った複数のサブ領域に対するデータを取得するデータ取得部の一例である。ステージ１１２で、学習回路４８は、管状構造上の前回のポイントでのパラメータ値に基づいた管状構造上のポイントでのパラメータに対する予測値に対し、ＣＮＮ及び回帰ネットワークの組み合わせを学習させる。モデルの学習は、逆伝播を持つ。損失関数は、予測される芯線位置を、グラウンドトゥルース芯線位置と比較するために使用される。損失関数の勾配は、モデルパラメータに関して計算される。いくつかの実施形態において、係る比較は非線形の場合がある。非線形比較は、ねじれ及び曲がりの与えられた非線形な特質により効果的な場合がある。補足すると、ステージ１１２では、当該パラメータの予測値を学習データの出力データとし、当該パラメータと、ステージ１１０で受けたサブ領域に対するデータとを学習データの入力データとして、ＣＮＮ及び回帰ネットワークの組み合わせを学習させる。このようなステージ１１２において、学習回路４８は、サブ領域からのデータと管状構造を表す少なくとも一つのパラメータに対する値とを使用して複数の管状構造の複数の経路を決定するようモデルを学習させる学習部の一例である。ステージ１１４で、学習回路４８は、第一の学習済みモデルと第二の学習済みモデルとを出力する。第一の学習済みモデルは、学習完了後の第一のモデルである。第二の学習済みモデルは、学習完了後の第二のモデルである。なお、モデル学習方法としては、図７に限らず、前述した経路決定方法に対してモデルを学習させる方法であればよい。例えばモデル学習方法としては、サブ領域に対する画像データを入力データとし、図６に示した如き、複数の特徴値のベクトル９２を出力データとして第一のモデルを学習させるステップを含んでもよい。この場合のモデル学習方法としては、図６に示した如き、当該特徴値のベクトル９２と、現在のポイントのパラメータ９４に対する値とを入力データとし、次のポイントのパラメータ９６に対する値と、分岐点に到達したかの判定９７と、血管の終端に到達したかの決定９８とを出力データとして、第二のモデルを学習させるステップを含んでもよい。その他の実施形態において、第一の学習済みモデルと第二の学習済みモデルとは、任意の適切なメモリに記憶させることができる。第一の学習済みモデルと第二の学習済みモデルとは、例えば、少なくとも一つのＡＳＩＣ又はＦＰＧＡを使用してハードウェアで実行することができる。
上述の本実施形態では、第一のモデル及び第二のモデルは、一斉に学習される。更なる実施形態において、単一の学習済みモデルは、第一の学習済みモデルと第二の学習済みモデルとの両方の機能性を提供することができる。言い換えると、更なる実施形態として、２つの学習済みモデルに代えて、第一の学習済みモデルと第二の学習済みモデルとを合わせた１つの学習済みモデルを用いることができる。またその他の実施形態において、第一のモデル及び第二のモデルを別々に学習させることもできる。
いくつかの実施形態において、モデルは、管状構造の特定のタイプ（例えば、血管）に関して学習され、またドメイン適応技術は、管状構造の別のタイプ（例えば、気道）について利用するためのモデルを適用させるために使用される。
いくつかの実施形態において、第一のモデル及び／又は第二のモデルは、自己学習モデルを有する。言い換えると、学習済みモデルは、自己学習モデルを具備してもよい。係る自己学習モデルは、使用の間にも学習を続ける。自己学習モデルは、付加的な管状構造に適用されるようにして、学習し続けることができる。自己学習モデルは、時間を掛けて自動的に改良することができる。自己学習モデルは、その出力に基づいた内部的なアルゴリズムを更新することができる。
図４、６、７を参照して上述した本実施形態では、ＣＮＮ及びＬＳＴＭは、追跡と任意でセグメンテーションとを実行するために使用される。その他の実施形態では、任意の学習モデル又は複数のモデルを使用することができる。
いくつかの実施形態において、第一の学習済みモデルは、特徴の予め定めたセットを出力する、機械学習モデルである。例えば、係る機械学習モデルは、サポートベクトルマシン（ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ ｍａｃｈｉｎｅ：ＳＭＶ）を有することがある。機械学習モデルは、サブ領域Ωに関するデータを受け取り、且つ計算された特徴のセットを出力する、よう構成することができる。計算される特徴は、例えばガボール特徴、ヘッシアン（Hessians）、ウェーブレット特徴、輝度特徴、勾配特徴、テクスチャ特徴、又は任意の適切な特徴を含むことができる。計算された特徴は、例えば血管腔においてコントラストが付いた血の広がりを示すような特徴等、サブ領域における血管の広がりと関連付けられる特徴の場合がある。特徴のうちの一つ又は複数は、全体としてサブ領域について計算することができる。特徴のうちの一つ又は複数は、サブ領域の複数の部分のうちのそれぞれに対して計算することができる。特徴のうちの一つ又は複数は、サブ領域における複数のポイントのうちのそれぞれ（例えば、ボクセル）に対して計算することができる。
更なる実施形態において、第一の学習済みモデルは、完全な畳み込みではないＣＮＮを有する。特徴は、第二のモデル（例えばＬＳＴＭ）に対して入力される、より限られた潜在空間に対して減らされる。いくつかの実施形態において、多層パーセプトロン（multi-layer perceptron：ＭＬＰ）又は自己符号化器（auto-encoder）は、特徴を減らすために使用することができる。
特定の実施形態は、管状木構造追跡に対して、逐次的、３Ｄ、回帰深層学習アプローチを提供する。そこでの展開は、ねじれ及び曲がりを使用してパラメータ化され、且つ現在のステップと予測されたステップとの間の３Ｄ畳み込みオフセットからの特徴を含む。回帰ネットワークは、ＬＳＴＭの場合がある。回帰したパラメータは、次のうちの少なくとも一つを含むことができる。即ち、ねじれ、曲率、ステップサイズ、血管半径、分岐点又は構造終端の数である。
特徴がＣＮＮを使用して計算される３Ｄ領域の中心は、過去のステップのパラメータを使用することで、及び／又は現在の位置と予測される位置との両方を含むことにより定義される立方体を含んでいることで、次の推定される位置に対するオフセットとして計算することができる。中心は、次のステップの推定される位置に対する中間点の場合がある。
データのサンプリングは、初期ステップから推定される半径を使用して、学習用に使用されるものに従って、一貫性があり且つ予め定めた値へと動的にスケールすることができる（スケール不変性の手段）。学習データは、（スケール不変性を生じる）いくつかのピクセル解像度へとスケールすることができる。
方法の臨床的なアプリケーションは、ドメイン適応技術の任意の数を使用して、別の管状解剖学的木構造へと変換することができる。
追跡逐次は、一つ又は複数の分岐点が各分岐に対して予測され且つ再スタートされた場合に、停止する場合がある。
３Ｄ畳み込みは、構造の完全な畳み込みセグメンテーションを実行するよう構成してもよく、又は構造の完全な畳み込みセグメンテーションを実行するよう構成された別々の／付加的な層を含むようにしてもよい。係る完全にセグメントされた構造は、部分の結合によって、決定することができる。このような３Ｄ畳み込みは、管状構造のうちの少なくとも一部のセグメンテーションを実行するよう更に構成された、更なる学習済みモデルの一例である。
芯線ポイント位置とねじれ及び曲率を使用する基底とは、テーラー展開を実行することにより、展開することができる。芯線ポイント位置とねじれ及び曲率を使用する基底とは、コントラスト値からの小さなズレ（deviations）を仮定して、展開することもできる。
ＬＳＴＭは、ステップの狭い窓を含む場合がある。係るＬＳＴＭは、血管セグメントのフルレングス（終わり又は分岐まで）を含む場合がある。
特定の実施形態は、管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、位置決定手順であって、前記管状構造の経路上の現在のポイントの初期位置を取得することと、現在のポイントに比べて、前記管状構造の前記経路上の初期位置と前記経路に沿って更に遠くにある次のポイントとを決定することと、前記初期位置に基づいたサブ領域を選択することと、前記初期位置に対応する領域から取得された前記管状構造を表すパラメータ（複数のパラメータ）の値を取得することと、前記選択されたサブ領域と前記パラメータ値とからの両方のデータを、機械学習導出された手順へと入力することと、前記機械学習手順は、管状構造の複数の経路を決定するよう学習されている、前記次のポイントに対する位置を前記機械学習手順より出力することと、前記次のポイントに対する前記初期位置を更新することと、を備えた前記位置決定手順を実行することと、前記初期位置を更新するための前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することと、を具備する前記管状構造の経路決定方法を提供する。
特定の実施形態は、管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、位置決定手順であって、現在のポイントに比べて前記経路に沿って更に遠くにある前記管状構造の前記経路上の次のポイントの初期推定の位置を決定することと、前記次のポイントの前記初期推定される位置に基づいてサブボリュームを選択することと、前記現在のポイントから及び／又は前記管状構造の前回のポイント（複数のポイント）又は前回の部分（複数の部分）から取得されたパラメータ（複数のパラメータ）の値を取得することと、前記選択されたサブボリュームと前記パラメータ値とからの両方のデータを機械学習導出された手順へと入力することと、前記機械学習手順は、管状構造の複数の経路を決定するよう学習されている、前記次のポイントに対する位置を前記機械学習手順より出力することと、を備えた前記位置決定手順を実行することと、現在のポイントと次のポイントとの連続に対し前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することと、を具備する、前記管状構造の経路決定方法を提供する。
本明細書では、特定の回路について説明してきた。代わりの実施形態では、これらの回路のうち一つ又は複数の機能は単一の処理リソース又はその他の構成要素によって提供可能であり、或いは、単一の回路によって提供される機能は、組み合わされた二つ以上の処理リソース又はその他の構成要素を組み合わせによって提供することができる。単一の回路への言及は、その回路の機能を提供する複数の構成要素が互いに遠隔かどうかに関わらず、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。
特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規の方法及びシステムは様々なその他の形態で実施することができる。その上、本明細書で説明される方法及びシステムの形態における様々な省略、置き換え、及び変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲及びその等価物は、本発明の範囲に含まれるこのような形態又は変形形態を包含することを意図するものである。
補足すると、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１０ 血管
３０ 医用画像処理装置
３２ 計算装置
３４ スキャナ
３６ 表示スクリーン
３８ デバイス
４０ データストア
４２ 処理装置
４４ 特徴回路
４６ 追跡回路
４８ 学習回路
６８，７０，７２，７４ 位置
７６ サブ領域
８０ カーブ
８２，８４ ポイント
９０ 第二の学習済みモデル
９２ ベクトル
９４ パラメータ
９６ セット
９７ 判定
９８ 決定

Claims (22)

  1. 管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、
    前記管状構造を追跡して前記管状構造に沿った位置を決定する位置決定手順であって、
    前記管状構造の経路上の現在のポイントの初期位置を取得することと、
    前記初期位置に基づいたサブ領域を選択することと、前記サブ領域のサイズは、現在のポイントと次のポイントの推定される位置との間の管状構造の推定されるボリューム全体を含む、
    前記初期位置の前記管状構造を表す曲がり及びねじれに対する値と、前記現在のポイントと次のポイントの推定される位置との間のステップサイズとを取得することと、
    前記選択されたサブ領域と前記曲がり及びねじれに対する値と前記ステップサイズとからの各々のデータを、学習済みモデルへと入力することと、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、
    前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力することと、
    前記次のポイントに対する前記初期位置を更新することと、
    を備えた前記位置決定手順を逐次実行することと、
    前記初期位置を更新するための前記位置決定手順を前記管状構造の分岐点又は前記管状構造の終端に到達するまで繰り返すことにより前記管状構造の前記経路を取得することと、
    を具備する、前記管状構造の経路決定方法。
  2. 管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得することと、
    位置決定手順であって、
    前記管状構造の経路上の現在のポイントの初期位置を取得することと、
    前記初期位置に基づいたサブ領域を選択することと、
    前記管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得することと、
    前記選択されたサブ領域と前記少なくとも一つのパラメータ値とからの両方のデータを、学習済みモデルへと入力することと、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、
    前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力することと、
    前記次のポイントに対する前記初期位置を更新することと、
    を備えた前記位置決定手順を実行することと、
    前記初期位置を更新するための前記位置決定手順を繰り返すことにより前記管状構造の前記経路を取得することと、
    を具備し、
    前記選択されたサブ領域は、個別の前記現在のポイントと個別の前記次のポイントの推定される位置との間に中心を有する、前記管状構造の経路決定方法。
  3. 前記少なくとも一つのパラメータに対する前記少なくとも一つの値は、前記管状構造の前記経路の三次元の曲がりを表す請求項２記載の経路決定方法。
  4. 前記少なくとも一つのパラメータは、曲がり及び／又はねじれを具備する請求項２又は３記載の経路決定方法。
  5. 前記少なくとも一つのパラメータに対する前記少なくとも一つの値は、前記管状構造上の前記現在のポイント及び／又は少なくとも一つの前回のポイントから取得される請求項２乃至４のいずれか一項に記載の経路決定方法。
  6. 前記位置決定手順は、前記少なくとも一つのパラメータに対する少なくとも一つの更新された値を出力するよう更に構成された請求項２乃至５のいずれか一項に記載の経路決定方法。
  7. 前記サブ領域を前記選択することは、前記次のポイントに対する推定される位置の決定に基づく請求項１乃至６のいずれか一項に記載の経路決定方法。
  8. 前記選択されたサブ領域は、個別の前記現在のポイントと個別の前記次のポイントの推定される位置との間に中心を有する請求項１を引用する請求項７記載の経路決定方法。
  9. 前記学習済みモデルは、前記管状構造が複数の分岐へと分かれる分岐点の存在を決定するよう構成されており、
    前記分岐点が存在する場合に、前記経路決定方法は、前記複数の分岐のそれぞれに対して位置決定手順の新たな継続を実行することにより前記複数の分岐のそれぞれの前記複数の経路を決定することを備えた、請求項１乃至８のいずれか一項に記載の経路決定方法。
  10. 前記選択されたサブ領域からの前記データは、畳み込みを具備する請求項１乃至９のいずれか一項に記載の経路決定方法。
  11. 前記位置決定手順は、更なる学習済みモデルを使用し前記選択されたサブ領域から前記データを決定することを更に具備する請求項１乃至１０のいずれか一項に記載の経路決定方法。
  12. 前記更なる学習済みモデルは、前記管状構造のうちの少なくとも一部のセグメンテーションを実行するよう更に構成された請求項１１記載の経路決定方法。
  13. 前記学習済みモデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）、回帰ネットワーク、長・短期記憶ユニット（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ：ＬＳＴＭ）のうちの少なくとも一つを具備する請求項１乃至１２のいずれか一項に記載の経路決定方法。
  14. 前記少なくとも一つのパラメータは、ステップサイズを具備する請求項２乃至６、請求項２を直接的又は間接的に引用する請求項７及び９乃至１３のいずれか一項に記載の経路決定方法。
  15. 前記管状構造は、血管、気道のうちの少なくとも一方を具備する請求項１乃至１４のいずれか一項に記載の経路決定方法。
  16. 前記学習済みモデルは、自己学習モデルを具備する請求項１乃至１５のいずれか一項に記載の経路決定方法。
  17. 管状構造の経路を決定するための医用画像処理装置であって、
    前記管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得する画像取得部と、
    前記管状構造を追跡して前記管状構造に沿った位置を決定する位置決定手順を実行する実行部であって、
    前記管状構造の前記経路上の現在のポイントの初期位置を取得する初期位置取得部と、
    前記初期位置に基づいたサブ領域を選択する選択部と、前記サブ領域のサイズは、現在のポイントと次のポイントの推定される位置との間の管状構造の推定されるボリューム全体を含む、
    前記初期位置の前記管状構造を表す曲がり及びねじれに対する値と、前記現在のポイントと次のポイントの推定される位置との間のステップサイズとを取得する値取得部と、
    前記選択されたサブ領域と前記曲がり及びねじれに対する値と前記ステップサイズとからの各々のデータを、学習済みモデルへと入力する入力部と、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、
    前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力する出力部と、
    前記次のポイントに対する前記初期位置を更新する更新部と、
    を備え、前記初期位置取得部、前記選択部、前記値取得部、前記入力部、前記出力部及び前記更新部による処理として前記位置決定手順を逐次実行する実行部と、
    前記初期位置を更新するための前記位置決定手順を前記管状構造の分岐点又は前記管状構造の終端に到達するまで繰り返すことにより前記管状構造の前記経路を取得する経路取得部と、
    を具備する、医用画像処理装置。
  18. 管状構造の経路を決定するための医用画像処理装置であって、
    前記管状構造を含む被検体の生体構造を表すボリューム医用画像データを取得する画像取得部と、
    前記経路に関する位置決定手順を実行する実行部であって、
    前記管状構造の前記経路上の現在のポイントの初期位置を取得する初期位置取得部と、
    前記初期位置に基づいたサブ領域を選択する選択部と、
    前記管状構造を表す少なくとも一つのパラメータのうちの少なくとも一つの値を取得する値取得部と、
    前記選択されたサブ領域と前記少なくとも一つのパラメータ値とからの両方のデータを、学習済みモデルへと入力する入力部と、前記学習済みモデルは、複数の管状構造の複数の経路を決定するよう学習されている、
    前記管状構造の前記経路上の次のポイントに対する位置を前記学習済みモデルより出力する出力部と、
    前記次のポイントに対する前記初期位置を更新する更新部と、
    を備え、前記初期位置取得部、前記選択部、前記値取得部、前記入力部、前記出力部及び前記更新部による処理として前記位置決定手順を実行する実行部と、
    前記初期位置を更新するための前記位置決定手順を前記実行部に繰り返し実行させることにより前記管状構造の前記経路を取得する経路取得部と、
    を具備し、
    前記選択されたサブ領域は、個別の前記現在のポイントと個別の前記次のポイントの推定される位置との間に中心を有する、医用画像処理装置。
  19. 複数の管状構造の複数の経路を決定するためのモデルを学習させるためのモデル学習方法であって、
    ボリューム医用画像データの複数の学習セットを取得することと、前記学習セットのそれぞれは個別の管状構造を含む個別の被検体の生体構造を表す、
    前記ボリューム医用画像データの学習セットのそれぞれに対して、個別のグラウンドトゥルース経路を取得することと、
    前記ボリューム医用画像データの学習セットのそれぞれについて、前記個別の管状構造に沿った複数のサブ領域に対するデータを取得することと、前記複数のサブ領域のそれぞれのサイズは、前記個別の管状構造の経路上の現在のポイントと次のポイントの推定される位置との間の管状構造の推定されるボリューム全体を含む、
    サブ領域からのデータと前記管状構造を表す少なくとも一つのパラメータに対する値とを使用して前記複数の管状構造の前記複数の経路を決定するようモデルを学習させることと、
    を具備し、
    前記サブ領域は、個別の前記現在のポイントと個別の前記次のポイントの推定される位置との間に中心を有する、モデル学習方法。
  20. 前記ボリューム医用画像データの学習セットのうちの少なくともいくつかを、標準的な血管サイズに及び／又は多重の血管サイズに対してスケーリングすることを更に具備する請求項１９記載のモデル学習方法。
  21. ドメイン適応技術を使用して、前記ボリューム医用画像データのうちの学習セットのうちの少なくともいくつかを変換することを更に具備する請求項１９記載のモデル学習方法。
  22. 複数の管状構造の複数の経路を決定するようモデルを学習させるためのモデル学習装置であって、
    ボリューム医用画像データの複数の学習セットを取得する学習セット取得部と、前記学習セットのそれぞれは個別の管状構造を含む個別の被検体の生体構造を表す、
    ボリューム医用画像データの前記学習セットのそれぞれに対して、個別のグラウンドトゥルース経路を取得するグラウンドトゥルース取得部と、
    前記ボリューム医用画像データの学習セットのそれぞれについて、前記個別の管状構造に沿った複数のサブ領域に対するデータを取得するデータ取得部と、前記複数のサブ領域のそれぞれのサイズは、前記個別の管状構造の経路上の現在のポイントと次のポイントの推定される位置との間の管状構造の推定されるボリューム全体を含む、
    サブ領域からのデータと前記管状構造を表す少なくとも一つのパラメータに対する値とを使用して前記複数の管状構造の前記複数の経路を決定するようモデルを学習させる学習部と、
    を具備し、
    前記サブ領域は、個別の前記現在のポイントと個別の前記次のポイントの推定される位置との間に中心を有する、モデル学習装置。
JP2020000688A 2019-08-23 2020-01-07 経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置 Active JP7433913B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/549,443 2019-08-23
US16/549,443 US11200976B2 (en) 2019-08-23 2019-08-23 Tracking method and apparatus

Publications (2)

Publication Number Publication Date
JP2021030048A JP2021030048A (ja) 2021-03-01
JP7433913B2 true JP7433913B2 (ja) 2024-02-20

Family

ID=74645873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020000688A Active JP7433913B2 (ja) 2019-08-23 2020-01-07 経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置

Country Status (2)

Country Link
US (1) US11200976B2 (ja)
JP (1) JP7433913B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220742A (ja) 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2011212156A (ja) 2010-03-31 2011-10-27 Fujifilm Corp 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP2012223338A (ja) 2011-04-19 2012-11-15 Fujifilm Corp 木構造作成装置および方法ならびにプログラム
JP2013090799A (ja) 2011-10-26 2013-05-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
US20150067599A1 (en) 2013-09-05 2015-03-05 General Electric Company Smart and early workflow for quick vessel network detection
WO2017047819A1 (ja) 2015-09-18 2017-03-23 イービーエム株式会社 血管形状分析装置、その方法、及びそのコンピュータソフトウェアプログラム
US20170262733A1 (en) 2016-03-10 2017-09-14 Siemens Healthcare Gmbh Method and System for Machine Learning Based Classification of Vascular Branches
CN110060263A (zh) 2018-04-24 2019-07-26 深圳科亚医疗科技有限公司 医学图像的分割方法、分割装置、分割系统及计算机可读介质
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03297450A (ja) * 1990-04-17 1991-12-27 Toshiba Corp 画像処理方式
JP4319031B2 (ja) 2001-09-06 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象のセグメンテーション方法及び装置
CN102473303B (zh) 2009-08-12 2015-07-29 皇家飞利浦电子股份有限公司 生成对象数据
US8958618B2 (en) * 2012-06-28 2015-02-17 Kabushiki Kaisha Toshiba Method and system for identification of calcification in imaged blood vessels
US9406141B2 (en) * 2013-05-31 2016-08-02 Siemens Aktiengesellschaft Segmentation of a structure
US9805463B2 (en) 2013-08-27 2017-10-31 Heartflow, Inc. Systems and methods for predicting location, onset, and/or change of coronary lesions
US9613426B2 (en) * 2014-10-21 2017-04-04 Toshiba Medical Systems Corporation Segmentation and matching of structures in medical imaging data
US9349178B1 (en) * 2014-11-24 2016-05-24 Siemens Aktiengesellschaft Synthetic data-driven hemodynamic determination in medical imaging
KR102361733B1 (ko) 2014-11-28 2022-02-11 삼성전자주식회사 ３ｄ ｃｔａ영상으로부터 관상동맥의 구조를 모델링하는 방법 및 장치
US9697603B2 (en) * 2014-12-19 2017-07-04 Toshiba Medical Systems Corporation Medical image data processing system and method for vessel segmentation using pre- and post-contrast data
EP3142069B1 (en) * 2015-09-10 2020-05-13 Agfa HealthCare Method, apparatus and system for analyzing medical images of blood vessels
US9767557B1 (en) 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
WO2018001099A1 (zh) 2016-06-30 2018-01-04 上海联影医疗科技有限公司 一种血管提取方法与系统
WO2018029237A1 (en) 2016-08-10 2018-02-15 Agfa Healthcare Method for automatically detecting systemic arteries in arbitrary field-of-view computed tomography angiography (cta).
US10083504B2 (en) 2016-09-07 2018-09-25 International Business Machines Corporation Multi-step vessel segmentation and analysis
CN106504232B (zh) 2016-10-14 2019-06-14 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测系统
EP3270355B1 (en) 2017-01-27 2019-07-31 Siemens Healthcare GmbH Determining a complexity value of a stenosis or a section of a vessel
EP3376472A1 (en) 2017-03-13 2018-09-19 Koninklijke Philips N.V. Anatomical measurements from ultrasound data
CN107563983B (zh) 2017-09-28 2020-09-01 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
US11132801B2 (en) * 2018-02-02 2021-09-28 Centerline Biomedical, Inc. Segmentation of three-dimensional images containing anatomic structures
US10699407B2 (en) * 2018-04-11 2020-06-30 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
CN108830848B (zh) * 2018-05-25 2022-07-05 深圳科亚医疗科技有限公司 利用计算机确定血管上的血管状况参数的序列的装置和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220742A (ja) 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2011212156A (ja) 2010-03-31 2011-10-27 Fujifilm Corp 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
JP2012223338A (ja) 2011-04-19 2012-11-15 Fujifilm Corp 木構造作成装置および方法ならびにプログラム
JP2013090799A (ja) 2011-10-26 2013-05-16 Fujifilm Corp 画像処理装置および方法並びにプログラム
US20150067599A1 (en) 2013-09-05 2015-03-05 General Electric Company Smart and early workflow for quick vessel network detection
WO2017047819A1 (ja) 2015-09-18 2017-03-23 イービーエム株式会社 血管形状分析装置、その方法、及びそのコンピュータソフトウェアプログラム
US20170262733A1 (en) 2016-03-10 2017-09-14 Siemens Healthcare Gmbh Method and System for Machine Learning Based Classification of Vascular Branches
JP2019521733A (ja) 2016-05-16 2019-08-08 キャスワークス リミテッド 画像からの血管の選択方法
CN110060263A (zh) 2018-04-24 2019-07-26 深圳科亚医疗科技有限公司 医学图像的分割方法、分割装置、分割系统及计算机可读介质

Also Published As

Publication number Publication date
JP2021030048A (ja) 2021-03-01
US20210057081A1 (en) 2021-02-25
US11200976B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
JP7312301B2 (ja) 次数低減モデル及び／または機械学習を使用して血流特性を推定するためのシステム及び方法
JP7453309B2 (ja) 画像解析における解剖学的構造のセグメンテーションのためのシステム及び方法
CN106037710B (zh) 在医学成像中合成数据驱动的血液动力学测定
US9830427B2 (en) Method for intracranial aneurysm analysis and endovascular intervention planning
JP2021513697A (ja) 完全畳み込みニューラル・ネットワークを用いた心臓ｃｔａにおける解剖学的構造のセグメンテーションのためのシステム
Wu et al. Segmentation and reconstruction of vascular structures for 3D real-time simulation
EP3467779A1 (en) Systems and methods for data and model-driven image reconstruction and enhancement
EP3828818A1 (en) Method and system for identifying pathological changes in follow-up medical images
RU2540829C2 (ru) Интерактивный итеративный алгоритм ближайших точек для сегментации органов
US9697600B2 (en) Multi-modal segmentatin of image data
CN110599505A (zh) 一种器官图像分割方法、装置、电子设备和存储介质
CN117115150B (zh) 用于确定分支血管的方法、计算设备和介质
Dangi et al. Left ventricle segmentation and quantification from cardiac cine MR images via multi-task learning
WO2023237553A1 (en) Method and system for assessing functionally significant vessel obstruction based on machine learning
CN109949300B (zh) 解剖树结构分析的方法、系统和计算机可读介质
US20140029816A1 (en) Per vessel, vessel tree modelling with shared contours
JP2023505676A (ja) 機械学習方法のデータ拡張
JP7433913B2 (ja) 経路決定方法、医用画像処理装置、モデル学習方法及びモデル学習装置
WO2023126241A1 (en) Device, system and method for segmentation of images
Al Moussawi et al. 3D Reconstruction of blood vessels
Cagnoni et al. Interactive segmentation of multi-dimensional medical data with contour-based application of genetic algorithms
JP2022546303A (ja) 管状フィーチャのセグメント化
CN112419283A (zh) 估计厚度的神经网络及其方法
Koutkalaki et al. Towards a foot bio-model for performing finite element analysis for footwear design optimization using a Cloud infrastructure
US20230162493A1 (en) Method for the automatic detection of aortic disease and automatic generation of an aortic volume

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7433913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150