JP7378694B2 - デジタルヒューマン技術に基づく肺葉分割方法 - Google Patents

デジタルヒューマン技術に基づく肺葉分割方法 Download PDF

Info

Publication number
JP7378694B2
JP7378694B2 JP2022562001A JP2022562001A JP7378694B2 JP 7378694 B2 JP7378694 B2 JP 7378694B2 JP 2022562001 A JP2022562001 A JP 2022562001A JP 2022562001 A JP2022562001 A JP 2022562001A JP 7378694 B2 JP7378694 B2 JP 7378694B2
Authority
JP
Japan
Prior art keywords
image
digital human
lung
model
shape parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022562001A
Other languages
English (en)
Other versions
JP2023516219A (ja
Inventor
▲聞▼▲タオ▼ 朱
▲ファン▼ ▲饒▼
▲鐸▼ ▲張▼
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Publication of JP2023516219A publication Critical patent/JP2023516219A/ja
Application granted granted Critical
Publication of JP7378694B2 publication Critical patent/JP7378694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、画像分割の分野に関し、特にデジタルヒューマン技術に基づく肺葉分割方法に関する。
肺葉分割は、画像分割の方法で肺葉の境界情報を取得する方法であり、肺部の可視化及び肺部の定量分析の重要な前提であり、肺癌の早期診断及び治療に非常に重要な役割を果たしている。臨床的には、肺葉の機能は比較的独立し、肺部疾患は通常単一の肺葉で発生し、正確な肺葉分割は多くの肺部手術（例えば、肺葉容積縮小手術）の前提である。肺葉は肺破裂によって分離されているが、実際の応用では、肺葉分割は、ＣＴ解像度に限界があること、不完全な肺破裂、周囲の異常な構造の分布及び異常な肺実質等の要因により影響されており、肺葉分割は依然として肺部画像の処理における難しい問題である。
既存の方法は主に２種があり、第１種は肺破裂検出の方法で肺破裂を得て、次に肺破裂によって肺葉の表面を得ることであり、第２種は画像分割の方法を直接用いて肺葉を得ることである。ある学者は２次元空間内の肺破裂の構造的特徴に基づいてＶａｎｄｅｒＢｕｒｇ線形演算子を設計して肺破裂検出を行ったが、該方法は病変のない肺部画像のみに適用でき、多くの研究者は該方法を構造的特徴及び解剖学的知識と組み合わせることにより肺破裂検出の安定性及び精度を向上させる。また、深層学習の急速な発展に伴い、一部の人々は深層学習の関連知識を肺破裂検出に適用し、ある学者は多層Ｓｅｇ３ＤＮｅｔに基づいたＦｉｓｓｕｒｅＮｅｔ肺破裂検出ネットワークを提案し、該方法は肺部の左側画像及び右側画像を別々に処理し、粗いものから細かいものへの戦略を用いており、該方法は、主流のデータベースで検証され、従来の方法よりも優れた検出結果を取得している。
コンピュータ技術の発展に伴い、画像分割を直接用いて肺葉を得る方法も急速に発展しており、この方法は先験的な知識の利用をより重視している。この方法では、最も典型的なものはＡｔｌａｓに基づいた肺葉分割であり、該方法は、先ず１セットの肺葉画像のＡｔｌａｓアトラスを作成し、次にアトラスにおける患者画像に最も近い画像を選択して患者画像と位置合わせすることにより肺葉の分割結果を得る。また、一部の学者は深層学習の方法で肺葉の分割を実現し、Ｆｅｒｒｅｉｒａらは肺葉分割のためのＦＲＶ－Ｎｅｔを提案しており、該方法はＶＮｅｔ構造に基づくものであり、各層でＤｉｃｅ関数を計算し、少数のサンプルのみでモデルの訓練を完了することができる。
デジタルヒューマンモデル技術は、統計モデル化方法によって多数のサンプル画像からグラフの形状パラメータを学習して得る方法の１つであり、それは、これらのパラメータを利用してモデルにおける臓器形状を調整する。デジタルヒューマンモデルは一般的に、画像分割、標準と個人の曲面位置合わせ、及びデジタルヒューマン統計グラフの構築というステップを含む。デジタルヒューマンモデルには臓器の境界点群又はマスク画像情報が含まれる。
本発明は、従来技術の欠陥に対して、デジタルヒューマン技術に基づく肺葉分割方法を提案し、該方法は画像位置合わせに基づいて肺葉の分割を実現する。該方法では、肺部画像に対して位置合わせ及びデータ統計を行うことによりデジタルヒューマンモデルを取得し、デジタルヒューマンモデルを利用してデジタルヒューマン画像を生成し、デジタルヒューマン画像と分割対象の肺部画像を位置合わせ、変形後のデジタルヒューマン画像の形状パラメータに基づいて新たなデジタルヒューマン画像を生成し、患者の分割対象の肺部画像により近いデジタルヒューマン画像を得るまで継続的に反復し、次に新たなデジタルヒューマン画像と患者の分割対象の肺部画像に対して非剛体位置合わせを行って変形場を取得し、変形場をデジタルヒューマンの肺葉の境界点群又はマスク画像に追加して肺葉の分割結果を得る。
本発明の目的は以下の技術的解決手段により実現される。デジタルヒューマン技術に基づく肺葉分割方法であって、
肺部画像に対して位置合わせ及びデータ統計を行うことによりデジタルヒューマンモデルを構築して取得するステップ１と、
デジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像を用いて非剛体位置合わせを行い、変形場及び変換後のデジタルヒューマン画像を得るステップ２と、
ステップ２における変換後のデジタルヒューマン画像に対してデジタルヒューマンの形状パラメータをフィッティングし、デジタルヒューマンの形状パラメータに応じて、ステップ１におけるデジタルヒューマンモデルによって新たなデジタルヒューマン画像を生成するステップ３と、
反復回数の閾値に達する又はデジタルヒューマンの形状パラメータが収束するまで、新たなデジタルヒューマン画像に対してステップ２及びステップ３に従って複数回の反復を実行するステップ４と、
最後の反復で得られたデジタルヒューマン画像と分割対象の肺部画像に対して非剛体位置合わせを行って変形場を取得するステップ５と、
ステップ５で得られた変形場を、最後の反復で得られたデジタルヒューマン画像の肺葉の境界点群又はマスク画像に追加し、肺葉の分割結果を得るステップ６と、を含む。
さらに、前記ステップ２において、訓練済の非剛体位置合わせモデルを用いてデジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像に対して非剛体位置合わせを行い、非剛体位置合わせモデルはＵＮｅｔを位置合わせネットワークとして用い、その後で、変換ネットワークに接続され、非剛体位置合わせモデルの入力はデジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像であり、位置合わせネットワークは変形場を出力し、変換ネットワークは変換後のデジタルヒューマン画像を出力する。
さらに、前記非剛体位置合わせモデルは参照画像と浮動画像のペアを訓練セットとして用い、参照画像と浮動画像の肺葉マスクはラベルとして用いられ、訓練時に用いられる目的関数は、以下の式９に示され、
Figure 0007378694000001
 式９の中には、ＣＴ１は参照画像を表し、ＣＴ２は浮動画像を表し、Ｍ１はＣＴ１の肺葉マスクであり、ＳＴＮ（ＣＴ２）はＣＴ２の変換後の画像であり、ＳＴＮ（Ｍ２）は変換後のマスク画像であり、Ｄは画像類似度計量関数であり、ＤｉｃｅはＤｉｃｅ計量関数であり、Ｒ（ＤＶＦ）は画像の変形場の正則化項である。
さらに、前記ステップ３において、特異値分解、一般化逆行列の計算又は訓練されたＶＧＧネットワークを用いて、ステップ２における変換後のデジタルヒューマン画像に対してデジタルヒューマンの形状パラメータをフィッティングする。
さらに、前記ＶＧＧネットワークは畳み込み層、最大プーリング層及び完全接続層からなる。
さらに、前記マスク画像は、画像充填又はシード成長方法を利用して、閉じた境界点群データを変換することにより取得される。
さらに、前記肺部画像のタイプはＣＴ画像、ＭＲＩ画像、超音波画像又はＰＥＴ画像等である。
本発明の有益な効果は以下の通りである。本発明の方法は、デジタルヒューマンモデルを初めて利用して医学画像における臓器の分割を行い、デジタルヒューマンモデルを利用して、形状パラメータを設定することにより異なる形態の肺部のデジタルヒューマン画像を得ることができ、且つデジタルヒューマンモデルが生成したデジタルヒューマン画像は歪みのない特性を有し、デジタルヒューマン画像と分割対象の肺部画像を継続的に反復して位置合わせし、新たなデジタルヒューマン画像を生成し、最終的に生成されたデジタルヒューマン画像が分割対象の画像に近くなるようにし、それにより、患者画像に異常や病変が存在する場合の肺葉分割の精度及び安定性を効果的に向上させる。
図１は肺葉分割の全体的なフローチャートである。 図２は深層学習に基づいた非剛体位置合わせモデルの構造図である。 図３は深層学習に基づいた形状パラメータがフィッティングされたニューラルネットワークの構造図である。 図４は形状パラメータがフィッティングされたニューラルネットワークにおけるコーディングネットワークの構造図である。
以下、実施例及び図面に基づいて本発明を詳細に説明する。
実施例１
図１はデジタルヒューマン技術に基づく肺葉分割方法の模式図であり、該方法はステップ１～ステップ６を含む。
ステップ１：肺部ＣＴ画像に対して位置合わせ及びデータ統計を行うことにより肺葉マスク情報を含む肺部デジタルヒューマンモデルを生成し、具体的に以下のサブステップを含む。
サブステップ（１．１）では、収集された各枚の肺部ＣＴ画像に対して閾値区分を利用して肺葉分割の前処理を行い、次に対話型分割ソフトウェアによって正確な肺葉分割を行う。
サブステップ（１．２）では、各枚の分割された肺部ＣＴ画像とテンプレートに対して曲面位置合わせを行い、位置合わせされた境界点群データをサンプルセットとして得る。該過程では、常にＴＰＳ－ＲＰＭ及びｎｏｎ－ｒｉｇｉｄ ＩＣＰ等の非剛体点群位置合わせアルゴリズムが用いられる。
サブステップ（１．３）では、デジタルヒューマン統計グラフを構築してサンプルセットを設定し、
Figure 0007378694000002
 （１）
ｉ番目のサンプルＸｉ＝｛（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘｋ，ｙｋ），…，（ｘ１，ｙ１）｝（２次元の状況を例とする）はｋ個のトップポイントを含み、次にデータを統計して正規化処理し、
Figure 0007378694000003
 （２）
Figure 0007378694000004
 （３）
Figure 0007378694000005
 （４）
次に主成分分析のプロセスに従って平均ベクトルと共分散行列を計算し、
Figure 0007378694000006
 （５）
Figure 0007378694000007
 （６）
次に共分散行列Ｓの固有ベクトルφｊ及びその対応する固有値λｊを計算し、最大の最初のｃ個の固有値及びその対応する固有ベクトルを選択し、主成分分析の定義に従って、各サンプルの形状推定は以下のように表されてもよく、
Figure 0007378694000008
 （７）
ｂ＝［ｂ１，ｂ２，…ｂｃ，］は形状パラメータであり、最小二乗法又は行列直交化によって計算されることができる。
サブステップ（１．４）では、閉じた境界点群データを画像充填又はシード成長でマスク画像に変換する。
ステップ２：デジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部ＣＴ画像を用いて非剛体位置合わせを行い、変形場と変形後のデジタルヒューマン画像を得る。
本実施例では、訓練済の非剛体位置合わせモデルを利用して非剛体位置合わせを実現する。図２に示すように、非剛体位置合わせモデルの構造はＵＮｅｔを位置合わせネットワークとして用い、その後、変換ネットワーク（ＳＴＮ：Ｓｐａｔｉａｌ Ｔｒａｎｓｆｏｒｍ Ｎｅｔｗｏｒｋ、空間変換ネットワーク）に接続し、非剛体位置合わせモデルの入力は参照画像と位置合わせ対象の浮動画像であり、位置合わせネットワークによって位置合わせされた後に変形場を出力し、変形場にデジタル人画像を加えて、変換ネットワークによって変形して変形後の画像を得る。モデルを訓練する時に、訓練セットにおける画像に対して肺葉マスクをラベルとして分割し、訓練しながら浮動画像である肺葉マスクを変換ネットワークに入力し、変形後のポイントセットを得る。訓練の目的関数は画像類似度計量（例えばＮＣＣ計量）、マスク画像類似度計量（Ｄｉｃｅ計量）及び変形場正則化項（一次導関数のＬ２ノルム）を含み、具体的に以下のように表され、
Figure 0007378694000009
 式の中で、ＣＴ１は参照画像を表し、ＣＴ２は浮動画像を表し、Ｍ１はＣＴ１の肺葉マスクであり、ＳＴＮ（ＣＴ２）はＣＴ２の変換後の画像であり、ＳＴＮ（Ｍ２）は変換後のマスク画像のポイントセットであり、Ｒ（ＤＶＦ）は画像変形場の正則化項である。
本実施例では、ステップ１のデジタルヒューマン画像及びその肺葉マスクと、臨床的に収集された肺部ＣＴ画像及びその肺葉マスクとを用いて、目的関数が収束するまでモデルを訓練して、訓練後の非剛体位置合わせモデルを得ることができる。
最後にデジタルヒューマン画像（ＡＡＭ画像）を浮動画像とし、分割対象の肺部ＣＴ画像を参照画像として非剛体位置合わせモデルに入力して、変形場と変形後のデジタルヒューマン画像を得ることができる。
ステップ３：ステップ２で変換後のデジタルヒューマン画像に対してデジタルヒューマンの形状パラメータをフィッティングし、デジタルヒューマンの形状パラメータに応じて新たなデジタルヒューマン画像を生成し、
本実施例では、同様にニューラルネットワークの方法で変換後のデジタルヒューマン画像に対して形状パラメータをフィッティングし、形状パラメータがフィッティングされたニューラルネットワークは図３に示されており、コーディングネットワーク及び画像生成ネットワークを含み、コーディングネットワークの構造は図３及び表１に示されており、画像生成ネットワークは式（７）で実現される。
表１：コーディングネットワークの構造
Figure 0007378694000010
コーディングネットワークはフィッティングされた形状パラメータを出力し、フィッティングされた形状パラメータは画像生成ネットワークを介してフィッティングされた画像を出力する。入力画像と出力されたフィッティングされた画像をそれぞれＡ、Ｂに設定し、ラベル形状パラメータとフィッティングされた形状パラメータをそれぞれ
Figure 0007378694000011
に設定すると、目的関数は以下のように表されてもよく、
Figure 0007378694000012
 （８）
ＮＣＣ（Ａ，Ｂ）はＡ、Ｂの間の正規化された関連係数であり、μ１、μ２は重みであり、｜｜＊｜｜ＦはＦ－ノルムである。
ステップ１で構築されたデジタルヒューマンモデルにおけるデジタルヒューマン画像を入力として、形状パラメータをラベルとして利用してネットワークを訓練し、目的関数が減少しなくなると、訓練が完了する。
最後に、ステップ２で変換後のデジタルヒューマン画像をコーディングネットワークに入力してフィッティングされた形状パラメータを得ることができる。
ステップ４：反復回数の閾値に達する又はデジタルヒューマンの形状パラメータが収束するまで、ステップ２及びステップ３を繰り返し実行し、新たなデジタルヒューマン画像に対して位置合わせ及び形状パラメータのフィッティングを複数回行い、デジタルヒューマンモデルが生成した最終的なデジタルヒューマン画像を得て、該デジタルヒューマン画像は分割対象の肺部ＣＴ画像により近い。
ステップ５：ステップ４で得られた新たなデジタルヒューマン画像と分割対象の肺部ＣＴ画像をステップ２で構築された非剛体位置合わせモデルの入力として再使用し、位置合わせされた変形場を得る。
ステップ６：ステップ５で得られた変形場をデジタルヒューマン画像の肺葉の境界点群又はマスク画像に追加し、得られた結果は本方法で得られた肺葉の分割結果である。
本実施例は、ニューラルネットワークアルゴリズムを用いて非剛体画像位置合わせ及びデジタルヒューマンの形状パラメータのフィッティングを実現し、計算速度がより速く、肺葉の分割結果を迅速に得ることができる。
実施例２
好ましい解決手段として、本発明はさらにＥｌａｓｔｉｘツールキットのｅｌａｓｔｉｘ関数を用いてデジタルヒューマン画像と、臨床患者の肺部ＣＴ画像の変形場と変形後のデジタルヒューマン画像とを取得し、具体的には、
デジタルヒューマン技術に基づく肺葉分割方法であって、該方法は、
Ｅｌａｓｔｉｘツールキットのｅｌａｓｔｉｘ関数を用いて、実施例１で構築されたデジタルヒューマンモデルが生成したデジタルヒューマン画像と臨床患者の肺部ＣＴ画像を入力として、変形場と変形後のデジタルヒューマン画像を得るステップ１と、
ステップ１で変換後のデジタルヒューマン画像を用いて、訓練済のコーディングネットワーク（図４）を利用してデジタルヒューマンの形状パラメータをフィッティングし、デジタルヒューマンの形状パラメータに応じて新たなデジタルヒューマン画像を生成するステップ２と、
反復回数の閾値に達する又はデジタルヒューマンの形状パラメータが収束するまで、ステップ１及びステップ２を複数回繰り返し実行し、最終的にフィッティングして生成された新たなデジタルヒューマン画像を得るステップ３と、
Ｅｌａｓｔｉｘツールキットのｅｌａｓｔｉｘ関数を用いて、ステップ３で生成された新たなデジタルヒューマン画像と臨床患者の肺部ＣＴ画像を入力として、変形場を得るステップ４と、
ステップ４で得られた変形場をデジタルヒューマンの肺葉の境界点群又はマスク画像に追加し、得られた結果は本方法で得られた肺葉の分割結果であるステップ５と、を含む。
実施例３
別の好ましい解決手段として、本発明はさらに訓練済の非剛体位置合わせモデルをコーディングネットワークに接続し、フィッティングされた形状パラメータを１ステップで出力し、具体的には、
デジタルヒューマン技術に基づく肺葉分割方法であって、該方法は、
実施例１で構築されたデジタルヒューマンモデルが生成したデジタルヒューマン画像と臨床患者の肺部ＣＴ画像を、非剛体位置合わせモデルとコーディングネットワークが接続されて形成された連携ネットワークの入力として、変換後のデジタルヒューマンの形状パラメータを取得し、デジタルヒューマンの形状パラメータに応じて新たなデジタルヒューマン画像を生成するステップ１と、
反復回数の閾値に達する又はデジタルヒューマンの形状パラメータが収束するまで、ステップ１を複数回繰り返し実行し、最終的にフィッティングして生成された新たなデジタルヒューマン画像を得るステップ２と、
ステップ２で生成された新たなデジタルヒューマン画像と臨床患者の肺部ＣＴ画像を非剛体位置合わせモデルの入力として、変形場を得るステップ３と、
ステップ３で得られた変形場をデジタルヒューマンの肺葉の境界点群又はマスク画像に追加し、肺葉の分割結果を得るステップ４と、を含む。
本発明は、主にＣＴ画像に用いられるが、ＭＲＩ画像、超音波画像及びＰＥＴ画像にも拡張され得る。
明らかなように、上記実施例は明確に説明するために挙げられる例に過ぎず、実施形態を限定するものではない。当業者であれば、上記説明に基づいて他の様々な形態の変化や変更を行うことができる。ここでは、すべての実施形態を網羅する必要がなく、網羅することもできない。これから派生する明らかな変化や変更は依然として本発明の保護範囲にある。

Claims (7)

  1. デジタルヒューマン技術に基づく肺葉分割方法であって、以下のステップ１～ステップ６を含み、
    前記ステップ１では、肺部画像に対して位置合わせ及びデータ統計を行うことにより、デジタルヒューマンモデルを構築して取得し、
    前記ステップ２では、デジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像を用いて非剛体位置合わせを行い、変形場及び変換後のデジタルヒューマン画像を取得し、
    前記ステップ３では、ステップ２における変換後のデジタルヒューマン画像に対してデジタルヒューマンの形状パラメータをフィッティングし、デジタルヒューマンの形状パラメータに応じて、ステップ１におけるデジタルヒューマンモデルによって新たなデジタルヒューマン画像を生成し、
    前記ステップ４では、反復回数の閾値に達する又はデジタルヒューマンの形状パラメータが収束するまで、新たなデジタルヒューマン画像に対してステップ２及びステップ３に従って複数回の反復を実行し、
    前記ステップ５では、最後の反復で得られたデジタルヒューマン画像と分割対象の肺部画像に対して非剛体位置合わせを行って変形場を取得し、
    前記ステップ６では、ステップ５で得られた変形場を、最後の反復で得られたデジタルヒューマン画像の肺葉の境界点群又はマスク画像に追加し、肺葉の分割結果を得、
    前記ステップ１は、デジタルヒューマン統計グラフを構築してサンプルセットを設定するサブステップを含み、
    前記サブステップにおいては、
    Figure 0007378694000013
     （１）
    ２次元の状況を例とする場合に、ｉ番目のサンプルＸ ｉ ＝｛（ｘ １ ，ｙ １ ），（ｘ ２ ，ｙ ２ ），（ｘ ｋ ，ｙ ｋ ），…，（ｘ １ ，ｙ １ ）｝はｋ個のトップポイントを含み、次にデータを統計して正規化処理し、
    Figure 0007378694000014
     （２）
    Figure 0007378694000015
     （３）
    Figure 0007378694000016
     （４）
    次に主成分分析のプロセスに従って平均ベクトルと共分散行列を計算し、
    Figure 0007378694000017
     （５）
    Figure 0007378694000018
     （６）
    次に共分散行列Ｓの固有ベクトルφ ｊ 及びその対応する固有値λ ｊ を計算し、最大の最初のｃ個の固有値及びその対応する固有ベクトルを選択し、主成分分析の定義に従って、各サンプルの形状推定は式７に表され、
    Figure 0007378694000019
     （７）
    ｂ＝［ｂ １ ，ｂ ２ ，…ｂ ｃ ，］は形状パラメータであり、最小二乗法又は行列直交化によって計算されることができる
    ことを特徴とするデジタルヒューマン技術に基づく肺葉分割方法。
  2. 前記ステップ２において、訓練済の非剛体位置合わせモデルを用いてデジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像に対して非剛体位置合わせを行い、非剛体位置合わせモデルはＵＮｅｔを位置合わせネットワークとして用い、その後で、変換ネットワークに接続され、非剛体位置合わせモデルの入力はデジタルヒューマンモデルにおけるデジタルヒューマン画像と分割対象の肺部画像であり、位置合わせネットワークは変形場を出力し、変換ネットワークは変換後のデジタルヒューマン画像を出力する
    ことを特徴とする請求項１に記載の肺葉分割方法。
  3. 前記非剛体位置合わせモデルは参照画像と浮動画像のペアを訓練セットとして用い、参照画像と浮動画像の肺葉マスクはラベルとして用いられ、訓練時に用いられる目的関数は、以下の式９に示され、
    Figure 0007378694000020
     式９の中には、ＣＴ１は参照画像を表し、ＣＴ２は浮動画像を表し、Ｍ１はＣＴ１の肺葉マスクであり、ＳＴＮ（ＣＴ２）はＣＴ２の変換後の画像であり、ＳＴＮ（Ｍ２）は変換後のマスク画像であり、Ｄは画像類似度計量関数であり、ＤｉｃｅはＤｉｃｅ計量関数であり、Ｒ（ＤＶＦ）は画像の変形場の正則化項である
    ことを特徴とする請求項２に記載の肺葉分割方法。
  4. 前記ステップ３において、特異値分解、一般化逆行列の計算又は訓練済のＶＧＧネットワークを用いて、ステップ２における変換後のデジタルヒューマン画像に対してデジタルヒューマンの形状パラメータをフィッティングする
    ことを特徴とする請求項１に記載の肺葉分割方法。
  5. 前記ＶＧＧネットワークは畳み込み層、最大プーリング層及び完全接続層からなる
    ことを特徴とする請求項４に記載の肺葉分割方法。
  6. 前記マスク画像は、画像充填又はシード成長方法を利用して、閉じた境界点群データを変換することにより取得される
    ことを特徴とする請求項１に記載の肺葉分割方法。
  7. 前記肺部画像のタイプはＣＴ画像、ＭＲＩ画像、超音波画像又はＰＥＴ画像である
    ことを特徴とする請求項１に記載の肺葉分割方法。
JP2022562001A 2021-03-04 2022-01-15 デジタルヒューマン技術に基づく肺葉分割方法 Active JP7378694B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110241193.XA CN112598669B (zh) 2021-03-04 2021-03-04 一种基于数字人技术的肺叶分割方法
CN202110241193.X 2021-03-04
PCT/CN2022/072198 WO2022183851A1 (zh) 2021-03-04 2022-01-15 一种基于数字人技术的肺叶分割方法

Publications (2)

Publication Number Publication Date
JP2023516219A JP2023516219A (ja) 2023-04-18
JP7378694B2 true JP7378694B2 (ja) 2023-11-14

Family

ID=75210333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022562001A Active JP7378694B2 (ja) 2021-03-04 2022-01-15 デジタルヒューマン技術に基づく肺葉分割方法

Country Status (3)

Country Link
JP (1) JP7378694B2 (ja)
CN (1) CN112598669B (ja)
WO (1) WO2022183851A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598669B (zh) * 2021-03-04 2021-06-01 之江实验室 一种基于数字人技术的肺叶分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251694A1 (en) 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956386B (zh) * 2016-04-27 2018-06-12 深圳市智影医疗科技有限公司 基于健康人胸片的健康指标指数分类系统和方法
US10607114B2 (en) * 2018-01-16 2020-03-31 Siemens Healthcare Gmbh Trained generative network for lung segmentation in medical imaging
JP7034306B2 (ja) * 2018-08-31 2022-03-11 富士フイルム株式会社 領域分割装置、方法およびプログラム、類似度決定装置、方法およびプログラム、並びに特徴量導出装置、方法およびプログラム
CN109636808B (zh) * 2018-11-27 2022-08-12 杭州健培科技有限公司 一种基于全卷积神经网络的肺叶分割方法
CN109658425B (zh) * 2018-12-12 2021-12-28 上海联影医疗科技股份有限公司 一种肺叶分割方法、装置、计算机设备及存储介质
CN109903264B (zh) * 2019-01-16 2023-01-03 深圳市旭东数字医学影像技术有限公司 数字人图像与ct图像的配准方法及系统
CN110335358B (zh) * 2019-06-18 2021-11-05 大连理工大学 可变形数字人解剖学模型的个性化变形方法
CN110610481A (zh) * 2019-08-06 2019-12-24 深圳市旭东数字医学影像技术有限公司 基于医学图像的脑干自动分割方法及系统
CN111127471B (zh) * 2019-12-27 2023-08-29 之江实验室 一种基于双标签损失的胃癌病理切片图像分割方法及系统
CN111260700B (zh) * 2020-01-09 2023-05-30 复旦大学 一种多参数磁共振图像全自动配准与分割方法
CN111583385B (zh) * 2020-04-15 2024-02-13 滨州医学院 一种可变形数字人解剖学模型的个性化变形方法及系统
CN112598669B (zh) * 2021-03-04 2021-06-01 之江实验室 一种基于数字人技术的肺叶分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251694A1 (en) 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Almar Klein, et al.，Multimordal image registration by edge attraction and regularization using a B-spline grid，Medical Imaging，2011年，Proc. of SPIE Vol.7962，pp.796220-1-796220-8
Eva M. van Rikxoort, et al.，Automatic Segmentation of Pulmonary Lobes Robust Against Incomplete Fissures，IEEE TRANSACTIONS ON MEDICAL IMAGING，2010年，VOL. 29, NO. 6，pp.1286-1296
Li Zhang, et al.，Atlas-Driven Lung Lobe Segmentation in Volumetric X-Ray CT Images，IEEE TRANSACTIONS ON MEDICAL IMAGING，2006年，VOL. 25, NO. 1，pp.1-16
Stefan Klein, et al.，Evaluation of Optimization Methods for Nonrigid Medical Image Registration Using Mutual Information and B-Splines，IEEE TRANSACTIONS ON IMAGE PROCESSING，2007年，VOL. 16, NO. 12，pp.2879-2890

Also Published As

Publication number Publication date
CN112598669B (zh) 2021-06-01
WO2022183851A1 (zh) 2022-09-09
JP2023516219A (ja) 2023-04-18
CN112598669A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
WO2021088747A1 (zh) 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法
CN106485695B (zh) 基于统计形状模型的医学图像Graph Cut分割方法
Wright et al. Construction of a fetal spatio-temporal cortical surface atlas from in utero MRI: Application of spectral surface matching
CN107871325B (zh) 基于Log-Euclidean协方差矩阵描述符的图像非刚性配准方法
CN109509193B (zh) 一种基于高精度配准的肝脏ct图谱分割方法及系统
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Habijan et al. Whole heart segmentation from CT images using 3D U-net architecture
Nakao et al. Image-to-graph convolutional network for deformable shape reconstruction from a single projection image
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
JP7378694B2 (ja) デジタルヒューマン技術に基づく肺葉分割方法
CN111709446A (zh) 基于改进的密集连接网络的x线胸片分类装置
Du et al. Segmentation and visualization of left atrium through a unified deep learning framework
CN115830016A (zh) 医学图像配准模型训练方法及设备
Lou et al. Whole heart auto segmentation of cardiac CT images using U-Net based GAN
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
CN110570430A (zh) 基于体配准的眼眶骨组织分割方法
CN113706514B (zh) 基于模板图像的病灶定位方法、装置、设备及存储介质
Guo et al. Automatic landmark detection and registration of brain cortical surfaces via quasi-conformal geometry and convolutional neural networks
CN113724320A (zh) 一种基于形状先验的肾脏图像分割方法
Zhang et al. Topology-preserving segmentation network: A deep learning segmentation framework for connected component
CN107067387A (zh) 基于3d复数剪切波变换域广义统计相关模型的医学图像融合方法
Fan et al. DAGM-fusion: A dual-path CT-MRI image fusion model based multi-axial gated MLP
CN114820730B (zh) 一种基于伪ct的ct与cbct配准方法
Urschler et al. Assessing breathing motion by shape matching of lung and diaphragm surfaces

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221010

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230815

R150 Certificate of patent or registration of utility model

Ref document number: 7378694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150