JP7494125B2 - ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正 - Google Patents

ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正 Download PDF

Info

Publication number
JP7494125B2
JP7494125B2 JP2020558983A JP2020558983A JP7494125B2 JP 7494125 B2 JP7494125 B2 JP 7494125B2 JP 2020558983 A JP2020558983 A JP 2020558983A JP 2020558983 A JP2020558983 A JP 2020558983A JP 7494125 B2 JP7494125 B2 JP 7494125B2
Authority
JP
Japan
Prior art keywords
metal
voxel
neural network
data
affected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558983A
Other languages
English (en)
Other versions
JP2021521962A (ja
Inventor
フランク・テオドルス・カタリーナ・クラーセン
サラ・アンネ・パリヌサ
ダーフィット・アンサーリ・モイン
Original Assignee
プロマトン・ホールディング・ベー・フェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロマトン・ホールディング・ベー・フェー filed Critical プロマトン・ホールディング・ベー・フェー
Publication of JP2021521962A publication Critical patent/JP2021521962A/ja
Application granted granted Critical
Publication of JP7494125B2 publication Critical patent/JP7494125B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30052—Implant; Prosthesis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、ディープラーニング技法を使用するX線データの金属影響ボクセル表現の自動補正に関し、詳細には、限定はしないが、ディープラーニング技法を使用するX線データの金属影響ボクセル表現の補正のための方法およびシステム、金属影響X線のボクセル表現を補正するようにディープニューラルネットワークシステムをトレーニングするための方法、およびそのような方法を実行するためのコンピュータプログラム製品に関する。
CT走査中に、組織の異なるエリアが、所定の強度のX線放射ビームによって異なる角度で露出されると共に、センサのアレイが、組織を通って移動したX線ビームの強度を測定する。センサによって測定された、減衰した放射ビームに基づいて、組織内の異なるエリアにおけるX線放射の吸収が測定され得る。走査中に取得されたデータは、一般にサイノグラムと呼ばれる、異なる振幅および位相を有する正弦波信号のセットの形態を取る。再構成アルゴリズムが、サイノグラムを使用して、走査した組織の2Dまたは3D画像を再構成し得る。そのような再構成アルゴリズムは一般に逆投影と呼ばれる。
組織が、生物材料の吸収係数から強く逸脱する高い吸収係数を有する材料を含むとき、逆投影を使用して画像を再構成しようと試みるときに問題が生じ得る。たとえば、歯科の分野では、より高い吸収係数を有する比較的高密度の金属材料(たとえば、アマルガム、金、銀、パラジウム、チタンなど)から通常は作成される金属インプラントおよび/または歯科充填材が、構成された画像に、走査される実際の組織または他の構造密度値を表さない矛盾、たとえば一見すると欠落しているデータ点または不正確なデータ点を導入し得る。高密度材料によって引き起こされるこれらの矛盾は、一般に金属アーティファクト、または略してアーティファクトと呼ばれることがある(文献では「アーティファクト」の代わりに「アーチファクト」という用語がしばしば使用される)。
アーティファクトは、診断プロセス、たとえば専門医または自動コンピュータベース診断システムによって実行される診断プロセスに干渉し得るので、深刻な問題をもたらし得る。アーティファクトの問題は、短波長電離放射の使用が潜在的な健康被害についての懸念を引き起こすことによる、CT検診での線量削減の一般的傾向によって高まる。線量削減の欠点は、再構成されたCT画像内のノイズの増大である。さらに、口腔外科、歯内療法、歯科矯正などの医学分野では、コーンビームCT(CBCT)スキャナなどの小型CTスキャナがますます使用されている。CBCTスキャナはコンパクトな低線量スキャナであり、X線ビームがコーンの形状を有する。CBCT技法は従来型CT走査技法と多くの類似性を共有するが、大きな違いもある。たとえば、CBCTは2Dアレイのセンサおよびコーンビーム形状のX線ビームを使用するので、コーンビーム再構成アルゴリズムは、従来型CTスキャナの典型的な再構成アルゴリズムとは異なる。さらに、CBCT走査では、走査における異なるエリアが、走査中の器官内のその相対位置に応じて、異なるグレイスケール値と共に出現するので、ハウンスフィールド単位(HU)で測定された無線密度は一貫していない。CBCTスキャナと医療用CTスキャナの両方を用いて同一の解剖学的エリアから測定されたHUは同一ではなく、したがって部位特有の、放射線画像で識別された測定密度の決定のためには信頼できない。この違いのために、高密度材料の有害な効果が、スキャナおよび逆投影技法のタイプに応じて画像内に様々に現れる。
一般的な「タイプ」のアーティファクトの概要が、たとえばSchultze他による論文Artefacts in CBCT: a review, Dentomaxillofacial Radiology、2011年7月、40(5): 265～273頁において説明されており、その記事では、吸光アーティファクト、ビーム硬化アーティファクト、指数関数的エッジ勾配効果(EEGE)、リングアーティファクト、エイリアシングアーティファクト、およびモーションアーティファクトを含む様々なタイプのアーティファクトが識別され、そのうちの最初の3つが特に重要である。吸光アーティファクトは「欠落値」アーティファクトと見なされ得る。そのようなアーティファクトは、走査される物体が高吸収材料、たとえば金冠を含むときに現れる。そのケースでは、高密度金属がその真後ろにある材料を「隠す」。これらのエリアは放射ビームによって適切にアクセスすることができず、高吸収材料の隣に「ブラックエリア」が生じる。ビーム硬化アーティファクトは主に、高密度材料および/または高原子番号とX線源の低波長光子との間の反比例関係によって引き起こされる。高密度材料による光子の吸収のために、金属物体の後ろの経路において相対的に多くの吸収が記録され、誤差がボリューム内に逆投影され、その結果、画像内にブラックストリークが生じる。さらに、2つの隣接する構造が密度および/または原子番号において高いコントラストを有するとき、指数関数的エッジ勾配効果(EEGE)が現れる。逆投影アルゴリズムは、記録されたビームにわたって、測定された強度を平均するので、金属の隣にX線投影方向のストリークを引き起こす。
したがって、複数の発生源が、サイノグラムに基づいて再構成されるCT画像内のアーティファクトの出現に寄与し得る。高密度材料に関する特徴(厚さ、密度、原子番号など)、ならびにスキャナ、走査方法(たとえば、スキャナタイプ、センサタイプ、センサ幾何形状、センサ品質、X線源の波長など)、および再構成方法に関する特徴が、再構成された画像内にこれらのアーティファクトが出現する深刻さおよび方式に寄与し得る。これらの要素は、CTデータからのアーティファクトの除去を難しい問題にする。
CT画像内のアーティファクトを削減すると共に、画像内の重要な細部を保持するためのいくつかの方法が提案されている。これらの方法は金属アーティファクト削減(MAR)方法と呼ばれる。一般的なMAR方法には、線形補間、ビーム硬化補正方法、および正規化金属アーティファクト削減方法が含まれる。Meyer他の論文Normalized metal artifact reduction NMAR in computed tomography、Medical Physics、Vol. 37、No.10、2010年10月、5482～5493頁において説明されているように、一般的なMAR方法は、サイノグラム領域において、すなわちサイノグラムをピクセルまたはボクセルベースの画像に変換する前に実行される。これらの方法は、金属によって影響を受ける投影データの部分を欠落データとして扱う。画像内の1つまたは複数の金属物体を決定するために閾値処理方法が使用され、金属によって影響を受けるサイノグラム内の信号を決定するために、金属のみの画像の順投影が使用され得る。次いで、補間および順投影技法がサイノグラムに適用され、影響を受けるデータが代理データで置き換えられる。そのようなMAR技法は、サイノグラムデータへのアクセスと、サイノグラムが生成されたときに使用される走査および逆投影方法の知識とを必要とする。さらに、技法は、かなりの計算資源を必要とする、複数の順投影および逆投影計算ならびに画像閾値処理を使用する。したがって、改善にも関わらず、現在のMAR技法は、効率的かつ確実にX線データ内のアーティファクトを自動的に除去することができ、または少なくとも削減することのできる汎用的な解決策を提供しない。
近頃、MARプロセスにおいてニューラルネットワークが使用されている。Zhang他(2017年)は、その論文「Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography」において、畳込みニューラルネットワーク(CNN)がアーティファクト削減のための有用な情報を学習することを可能にするために、従来型MAR方法に基づいて処理された画像に基づいてトレーニングされた2D CNNによるCT画像のアーティファクトの削減を説明している。金属アーティファクトが計算でシミュレートされた。CNNは先に画像を生成し、その後で画像が、元の未補正データおよび金属トレースデータと共にサイノグラム領域において処理され、補正後サイノグラムが形成される。補正後サイノグラムが補正後画像に変換された。アーティファクトの削減が達成されたが、残っているアーティファクトは依然としてかなりのものであった。Gjetseby他による研究「Deep learning methods for CT image-domain metal artefact reduction」、SPIE、Vol. 10391、25-9-2017では、最新技術のサイノグラム領域NMAR技法と2D-CNNの組合せが適用され、特に2D画像上の金属ストリークが削減される。画像がまずNMAR技法によって再構成され、その結果、再構成後画像にかなりの金属ストリークアーティファクトが残る。次いで、金属ストリーキングが削減された再構成後CT画像を決定するために、再構成後画像が2D CNN CNNの入力に供給される。
多くの現実的な状況では、(たとえばDICOMフォーマットの)CTデータのボクセル(またはピクセル)表現にアクセスできるだけであり、CTデータを生成したシステムについての技術的知識が全く、またはほとんどない。Zhang他(2018)は、U-Netと呼ばれるタイプの畳込みニューラルネットワークを、シミュレートされた汚染された(いくつかの画像ひずみによって影響を受けた)画像および基準画像に適用し、残留画像、すなわちこれらの汚染された画像と基準画像との間の不一致を予測するために使用される(U-netによってトレーニングされた)演算子を得、したがって基準画像を模倣することを目指す。データは、腹部の汚染されていないCT画像内に仮想金属を挿入することによって数値的にシミュレートされる。シミュレートされたデータに関するその結果は有望に見えるが、その2D CT画像基準データセットを作成するために使用される通常のMAR方法のために、現実世界画像への適用は従来の方法に勝るものではない。
欧州特許出願第17179185.8号
Schultze他、Artefacts in CBCT: a review, Dentomaxillofacial Radiology、2011年7月、40(5): 265～273頁 Meyer他、Normalized metal artifact reduction NMAR in computed tomography、Medical Physics、Vol. 37、No.10、2010年10月、5482～5493頁 Zhang他(2017年)、Convolutional Neural Network based Metal Artifact Reduction in X-ray Computed Tomography Gjetseby他、Deep learning methods for CT image-domain metal artefact reduction、SPIE、Vol. 10391、25-9-2017
したがって、上記より、アーティファクトによって影響を受ける、ボクセルなどの3Dデータの自動再構成のための改良型の方法およびシステムが当技術分野において求められている。具体的には、((CB)CTスキャナのセンサデータに基づいて生成された)組織のボクセル表現内の高密度材料によって引き起こされたアーティファクトがそのような改良型の方法およびシステムによって自動的に識別され、アーティファクトが存在しないボクセル値の正確な推定を与えるボクセルで置き換えられると共に、たとえばチタンインプラント、複合充填材などの高密度材料のボクセルをそのままに保つことが望まれる。
当業者は理解するであろうが、本発明の態様は、システム、方法、またはコンピュータプログラム製品として実施され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェア態様とハードウェア態様を組み合わせる実施形態の形態を取り得、それらは、本明細書においてすべて全般的に「回路」、「モジュール」、または「システム」と呼ばれ得る。本開示において説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装され得る。さらに、本発明の態様は、その上で実施された、たとえば記憶されたコンピュータ可読プログラムコードを有する、1つまたは複数のコンピュータ可読媒体内で実施されたコンピュータプログラム製品の形態を取り得る。
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、たとえば、限定はしないが、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、あるいは上記の任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)には、1つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組合せが含まれる。本文書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる使用、またはそれらと一緒の使用のためのプログラムを含み、または記憶し得る任意の有形媒体であり得る。
コンピュータ可読信号媒体は、たとえばベースバンド内で、または搬送波の部分として、その中で実施されたコンピュータ可読プログラムコードを伴う伝播データ信号を含み得る。そのような伝播信号は、限定はしないが、電磁的、光学的、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかを取り得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、命令実行システム、装置、もしくはデバイスによる使用、またはそれらと一緒の使用のためのプログラムを通信、伝播、または移送し得る任意のコンピュータ可読媒体であり得る。
コンピュータ可読媒体上で実施されたプログラムコードは、限定はしないが、ワイヤレス、ワイヤーライン、光ファイバ、ケーブル、RFなど、または上記の任意の適切な組合せを含む任意の適切な媒体を使用して送信され得る。本発明の態様のための動作を実施するためのコンピュータプログラムコードは、Java(商標)、Scala、C++、Pythonなどの関数型またはオブジェクト指向プログラミング言語、および「C」プログラミング言語や類似のプログラミング言語などの従来の手続型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組合せで書かれ得る。プログラムコードは、完全にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータ、サーバ、もしくは仮想化サーバ上で実行し得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得、または(たとえば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータに接続が行われ得る。
本発明の態様が、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照しながら以下で説明される。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図中のブロックの組合せがコンピュータプログラム命令によって実装され得ることを理解されよう。これらのコンピュータプログラム命令が、プロセッサ、具体的には汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のマイクロプロセッサもしくは中央演算処理装置(CPU)、またはグラフィックス処理装置(GPU)に与えられ、マシンが生成され得、それによって、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスのプロセッサを介して実行する命令が、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装するための手段を生み出す。
これらのコンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定の方式で機能するように指示し得るコンピュータ可読媒体内に記憶され得、それによって、コンピュータ可読媒体内に記憶された命令は、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装する命令を含む製造品を生み出す。
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実施させ、コンピュータ実装プロセスが生成され得、それによって、コンピュータまたは他のプログラマブル装置上で実行する命令は、フローチャートおよび/またはブロック図のブロックにおいて指定される機能/動作を実装するためのプロセスを提供する。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、フローチャートまたはブロック図中の各ブロックは、指定の論理的機能を実装するための1つまたは複数の実行可能命令を含む、コードのモジュール、セグメント、または部分を表し得る。代替実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で行われ得ることに留意されよう。たとえば、連続して示される2つのブロックは、実際にはほぼ同時に実行され得、またはブロックは、関係する機能に応じて、時には逆の順序で実行され得る。ブロック図および/またはフローチャート図の各ブロックと、ブロック図および/またはフローチャート図中のブロックの組合せが、指定の機能もしくは動作を実施する専用のハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装され得ることにも留意されよう。
本開示での実施形態の目的は、ディープラーニング技法を使用してX線データの金属影響ボクセル表現を自動的に補正することである。好ましくは、X線データが、3D画像を形成するボクセルとして表現され、コーンビームCT(CBCT)スキャナなどの低線量CTスキャナを使用して生成される。3D画像は通常、生物学的組織、たとえば身体の歯顎顔面領域、または胸郭領域などの他の領域を表す。ここで、金属影響X線データ、たとえばボクセルは、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされたX線データ内のアーティファクトを表し得る。
一態様では、本発明は、金属影響X線データのボクセル表現の補正のためのコンピュータ実装方法であって、第1の3Dディープニューラルネットワークが、その入力において金属影響X線データの初期ボクセル表現を受け取り、その出力においてボクセル識別情報を生成することであって、ボクセル識別情報が、金属によって影響を受けるボクセルの領域に属する初期ボクセル表現の少なくともボクセルを識別すること、および第2の3Dディープニューラルネットワークが、その入力において、第1の3Dディープニューラルネットワークによって生成された初期ボクセル表現およびボクセル識別情報を受け取り、その出力において補正後ボクセル表現を生成することであって、補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、第1の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいてトレーニングされる、生成することを含む、方法に関する。一実施形態では、X線データは3D(CB)CTデータであり得る。
したがって、第1のニューラルネットワークが、金属影響X線データ(アーティファクト)に関連するボクセル表現のボクセルと、アーティファクトに属さないボクセル、すなわち走査される身体部分の組織を表すボクセルとを自動的に区別するようにトレーニングされる。この情報は、第1のニューラルネットワークの出力においてボクセル識別情報の形で生成され得る。情報は、アーティファクトに属する金属影響X線データのボクセル表現のボクセル値を、臨床トレーニングデータに基づいて第2のニューラルネットワークによって推定されるボクセル値で置き換えるために、第2のニューラルネットワークによって使用され得る。このようにして、方法は、X線画像装置(画像装置はスキャナについての別の用語と見なされる)、または画像を生成するために使用された逆投影方法の特定の知識を必要とせずに、X線画像である3D(CB)CT画像データからアーティファクトを除去する効果的な方式を提供し得る。さらに、方法は、サイノグラム領域の投影データを処理する必要がない。
一実施形態では、第1の3Dディープニューラルネットワークが識別情報を決定することは、第1の3Dディープニューラルネットワークがボクセルマップを生成することを含み、ボクセルマップの各ボクセルが、金属影響X線データの初期ボクセル表現のボクセルと、1つまたは複数の確率測度とに関連付けられ、1つまたは複数の確率測度のうちの第1の確率測度が、ボクセルが金属領域の部分である確率を表し、第2の確率測度が、ボクセルが金属影響領域の部分である確率を表す。この点で、「ボクセルマップ」は、ボクセル識別情報(のサブセットおよび/または部分)と見なされ得る。この点での領域は、ボクセルのセットが、第1の測度のケースにおいてそれぞれ金属(または金属製)である現実世界3Dボリュームの部分であり、ボクセルのセットが、第2の測度のケースにおいて現実世界の状況内に存在する金属によって影響を受けるために初期ボクセル表現において決定された不正確な値を有すると見なされるべきである。
一実施形態では、方法は、第1および第2の確率測度と、1つまたは複数のしきい値とに基づいて、初期ボクセル表現内のボクセルを、金属領域に属するボクセルと、金属影響領域に属するボクセルとに分類することをさらに含み得る。
一実施形態では、方法は、第1の確率測度および1つまたは複数の金属しきい値を使用して、各ボクセルについて、複数の金属クラスから選択された金属クラスを決定することをさらに含み得、好ましくは複数の金属クラスが、非金属材料に関連付けられる第1の金属クラスと、金属または金属材料に関連付けられるボクセルの第2のクラスとを含む。
一実施形態では、第1の3Dディープニューラルネットワークおよび/または第2の3Dディープニューラルネットワークは、少なくとも3D畳込み層の第1のセット、好ましくは3D CNN特徴層の第1のセットを含む少なくとも第1のデータ処理経路と、第1の経路に平行な少なくとも第2のデータ処理経路とを含み、第2の経路が、3D畳込み層の第2のセット、好ましくは3D CNN特徴層の第2のセットを含み、3D畳込み層の第2のセットが、3D畳込み層の第1のセットの入力に供給されるボクセルのブロックに関連するコンテキスト情報を決定するように構成される。
一実施形態では、トレーニングデータは、患者の身体部分の金属ベースの治療前の身体部分の臨床X線データのボクセル表現と、患者の身体部分の金属ベースの治療後の身体部分の臨床X線データのボクセル表現とを含み得、基準データは、身体部分の金属ベースの治療に関連する金属領域がそのように識別される、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現を含む。そのような基準データ(のサブセットおよび/または処理済みバージョン)は、前述のように、ボクセルマップ、実際にはボクセル識別情報の正確な生成に向けて最適化するために利用され得る。
一実施形態では、第2の3Dディープニューラルネットワークは、初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされ得、トレーニング中に、3Dディープニューラルネットワークが、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化するように選択された第1の重みおよび偏りによってパラメータ化される。
一実施形態では、第1および/または第2の3Dディープニューラルネットワークは、3D畳込みニューラルネットワーク、3D敵対的生成ニューラルネットワーク、または3Dリカレントディープニューラルネットワークを含み、かつ/またはその部分であり得る。
一態様では、本発明は、金属影響X線データのボクセル表現を補正するようにディープニューラルネットワークシステムをトレーニングするためのコンピュータ実装方法であって、コンピュータがトレーニングデータおよび基準データを受け取ることであって、トレーニングデータが、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現と、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現とを含み、基準データが、金属ベースの治療に関連する金属領域がそのように識別される、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現を含むこと、コンピュータが、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現に関連するボクセルマップを受け取ることであって、ボクセルマップが、金属ベースの治療後の患者の身体部分の臨床X線データのボクセル表現内の金属影響ボクセルを識別すること、およびコンピュータが、トレーニングデータおよび基準データを使用して、3Dディープニューラルネットワークをトレーニングし、金属影響領域に属するボクセルとボクセルマップによって分類されるボクセルについてのボクセル予測を生成し、ボクセル予測に基づいて金属影響X線データのボクセル表現内の金属影響ボクセルを補正することを含む、方法に関する。
別の態様では、本発明は、金属影響X線データのボクセル表現を処理するようにニューラルネットワークをトレーニングして、トレーニングデータセットおよび基準データセットを使用して金属影響領域の部分であるボクセルについてのボクセル推定を生成するための方法であって、金属ベースの治療前の患者の身体部分のX線データのボクセル表現、金属ベースの治療後の患者の身体部分の金属影響X線データのボクセル表現、およびボクセルマップを含むトレーニングデータのセットを生成することであって、金属影響X線データのボクセル表現内のボクセルが金属領域および/または金属影響領域に属するかどうかを識別すること、金属ベースの治療前の患者の身体部分のX線データのボクセル表現を含む基準データセットを生成すること、トレーニングデータの1つまたは複数の特性および基準データセットの少なくとも1区間の1つまたは複数の特性に従う第1の重みおよび偏りによってパラメータ化されるジェネレータニューラルネットワーク、好ましくはジェネレータ3Dディープニューラルネットワークをトレーニングすることであって、ジェネレータニューラルネットワークが補正後ボクセル表現を生成するようにトレーニングされ、補正後ボクセル表現が、ボクセルマップによって金属影響領域の部分であると識別されるボクセルについてのボクセル推定を含み、ジェネレータ3Dディープニューラルネットワークのトレーニングが、第1の重みおよび偏りのうちの1つまたは複数を修正して、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化することを含むこと、ならびに金属影響領域の部分であるボクセルについてのボクセル推定を含む補正後ボクセル表現の1つまたは複数の特性と、基準データセットの少なくとも1区間の1つまたは複数の特性とに従う第2の重みおよび偏りによってパラメータ化されるディスクリミネータニューラルネットワーク、好ましくはディスクリミネータ3Dディープニューラルネットワークをトレーニングすることであって、ディスクリミネータ3Dディープニューラルネットワークが、処理済みボクセル表現から金属影響X線データのボクセル表現を弁別するようにトレーニングされることを含む方法に関する。ディスクリミネータ3Dディープニューラルネットワークから得られる情報が、ジェネレータ3Dディープニューラルネットワークの最適化中に利用され得る。
さらに別の態様では、本発明は、金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現の補正の方法であって、金属影響X線データを表す初期ボクセル表現を受け取ること、初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされたジェネレータ3Dディープニューラルネットワークを使用することによって、初期ボクセル表現から補正後ボクセル表現を生成することであって、ジェネレータ3Dディープニューラルネットワークが、トレーニングデータの1つまたは複数の特性および基準データセットの1つまたは複数の特性に従う関係に基づいて処理済みボクセル表現を最適化するように選択された第1の重みおよび偏りによってパラメータ化され、前記ジェネレータ3Dディープニューラルネットワークの前記最適化およびトレーニング中に、ディスクリミネータ3Dディープニューラルネットワークから得られる情報が利用されることを含む方法に関する。
一実施形態では、ジェネレータ3Dディープニューラルネットワークおよび/またはディスクリミネータ3Dディープニューラルネットワークは、3D畳込みニューラルネットワークおよび/または3Dディープリカレントニューラルネットワークとして構成され得る。
別の態様では、本発明は、金属影響X線データ、好ましくは3D(CB)CTデータのボクセル表現を補正するように適合されたコンピュータシステムであって、それと共に実施されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、プログラムコードが、前処理アルゴリズム、および少なくとも、トレーニングされた第1の3Dディープニューラルネットワーク、コンピュータ可読プログラムコードを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサであって、第1のコンピュータ可読プログラムコードを実行することに応答して、第1の3Dディープニューラルネットワークの出力においてボクセル識別情報を受け取る第1の3Dディープニューラルネットワークの入力に金属影響X線データの第1のボクセル表現を提供することであって、ボクセル識別情報が、金属によって影響を受けるボクセルの領域に属する第1のボクセル表現の少なくともボクセルを識別すること、第1の3Dディープニューラルネットワークによって生成された第1のボクセル表現およびボクセル識別情報をその入力において受け取る第2の3Dディープニューラルネットワークを提供し、ボクセル識別情報によって識別される第1のボクセル表現の各ボクセルについて、その出力において予測ボクセル値を生成することであって、第2の3Dディープニューラルネットワークが、患者の所定の身体部分の臨床X線データのボクセル表現を含むトレーニングデータおよび基準データに基づいて予測ボクセル値を予測すること、およびボクセルマップによって識別されるボクセル位置での予測ボクセル値を含む補正後の第1のボクセル表現を決定することを含む実行可能な動作を実施するように構成されるプロセッサとを備えるコンピュータシステムに関係し得る。
本発明はまた、コンピュータのメモリ内で実行されるとき、前述のプロセスステップのいずれかによる方法ステップを実行するように構成されたソフトウェアコード部分を含むコンピュータプログラム製品に関係し得る。
本発明による実施形態を概略的に示す添付の図面を参照しながら、本発明がさらに示される。本発明はいかなる形でもこれらの特定の実施形態に制限されないことを理解されよう。
本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するためのシステムの高レベルの概観を示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムを示す図である。 本発明の一実施形態による、ボクセル表現内の金属影響領域を決定するためのシステムを示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を補正するためのシステムを示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。 本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す図である。 本願における実施形態において利用され得るボクセル表現の例を示す図である。 本願における実施形態において利用され得るボクセル表現の例を示す図である。 本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。 本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。 本開示における実施形態によって利用または生成され得るボクセル表現を示す図である。 本発明の一実施形態による、敵対的生成ネットワークに基づいて金属影響X線データのボクセル表現を補正するためのシステムの概要を示す図である。 本発明の一実施形態による、敵対的生成ネットワークのディスクリミネータ部の概要を示す図である。 本発明の一実施形態による、リカレントニューラルネットワークの概要を示す図である。 本開示において説明する実施形態と共に使用され得る例示的データ処理システムを示すブロック図である。
図1は、本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムの高レベルの概観を示す。図1に示されるように、システムは、1つまたは複数のアーティファクトを含むX線データのボクセル表現104を受け取る入力を備える3Dディープニューラルネットワークシステム102を含む。X線データのボクセル表現は、CT画像装置やCBCT画像装置などの様々なX線画像装置によって生成され得る。アーティファクトは、X線画像装置によって撮像される組織のボリューム内に存在する金属または金属製物体、たとえば歯科の分野ではインプラントまたは歯科充填材によって引き起こされる。X線データのボクセル表現が逆投影プロセスに基づいて生成されるとき、一定のボクセルのボクセル値が金属または金属製物体によって影響を受ける。金属影響ボクセル値は、X線データのボクセル表現内のアーティファクトを表し得、アーティファクトは画像の品質を大幅に低下させ得る。3Dディープニューラルネットワークシステム102は、アーティファクトを自動的に検出し、アーティファクトが除去され、または少なくとも大幅に削減される、X線データの補正後ボクセル表現106を生成するように構成される。具体的には、3Dディープニューラルネットワークシステム102は、チタンインプラントや複合充填材などの金属物体についての重要な情報をそのままに保ちながら、ユーザが相異なる組織および対応する形状をはっきりと知覚できることをアーティファクトが妨げないような範囲まで金属アーティファクトの存在を削減するように構成される。
図2は、本発明の一実施形態による、金属影響X線データのボクセル表現を自動的に補正するように構成されたシステムを示す。この図に示されるように、システム202は、X線データのボクセル表現204内の金属影響ボクセルの識別のための第1の3Dディープニューラルネットワーク212を含む第1のシステム構成要素208を含み得る。金属影響ボクセルは、ボクセル表現内に金属影響領域(アーティファクト)を形成し得る。第1のシステム構成要素208は、第2の3Dディープニューラルネットワークを備える第2のシステム構成要素210のためのプリプロセッサとして機能し得る。第1の3Dディープニューラルネットワークは、入力データ、すなわち金属影響X線データのボクセル表現を処理し、出力データを生成し得、出力データは、金属影響領域の部分であるボクセル値を補正するように構成される第2の3Dディープニューラルネットワークを備える第2のシステム構成要素に入力される。第1の3Dディープニューラルネットワークは、第1のボクセル表現のボクセルのボクセル値の少なくとも部分が金属影響領域(アーティファクト)および/または金属もしくは金属製領域(たとえば、インプラントまたは歯充填材)の部分であるかどうかを識別するための識別情報を生成するようにトレーニングされる。
一実施形態では、識別情報は3Dボクセルマップを含み得、3Dボクセルマップは、第1の3Dディープニューラルネットワークの入力において提示された金属影響X線データのボクセル表現に合致する寸法を有するボクセル表現の形態を有し得る。このようにして、ボクセルマップ内の各ボクセルは、X線データのボクセル表現内の対応するボクセルを有し得る。ボクセルマップの各ボクセルは、1つまたは複数の確率測度に関連付けられ得、確率測度は、第1のボクセル表現内の対応するボクセルのボクセル値が金属影響領域または金属領域の部分であるかどうかを判定するために使用され得る。1つまたは複数の確率測度が一定のしきい値より上であり、または一定の範囲内にある場合、システムは、ボクセルが金属領域または金属影響領域に属すると判定し得る。ボクセルが金属影響領域に属する場合、システムは、ボクセル値が補正されるべきであると判定し得る。
したがって、第1の3Dディープニューラルネットワークは、たとえば、金属影響領域または金属領域に属するX線データのボクセル表現内の当該のボリュームを局所化する3Dマップオブジェクトの形態の識別情報を生成するように構成される。さらに、第1の3Dディープニューラルネットワークは、金属または金属材料を含むボクセル表現内のボリュームを認識し、ボリュームに「材料クラス」、たとえばチタン、金、アマルガム、複合体などを割り当てるようにトレーニングされ得る。図2に示されるように、第2の3Dディープニューラルネットワークは、その入力において、識別情報および金属影響X線データのボクセル表現を受け取り、アーティファクトが除去され、または少なくとも大幅に削減される、X線データの補正後ボクセル表現を生成する。
図3は、本発明の一実施形態による、ボクセル表現内の金属影響領域を決定するためのシステムを示す。システムは、金属影響X線データのボクセル表現304を受け取り、ボクセル表現内の金属および/または金属影響領域を決定するように構成されるトレーニング済み3Dディープニューラルネットワークを使用してボクセル表現内の金属影響領域を決定するように構成されたコンピュータシステム302として実装され得る。金属影響X線データのボクセル表現304は、身体部分の組織構造、たとえば歯顎顔面構造内の顎骨構造、歯構造、および神経構造を含み、身体部分の構造内に存在する金属または金属製構造(たとえば、歯科充填材および/または歯科インプラント(の部分))を含む歯顎顔面構造の3D画像データスタックを含み得る。X線データのボクセル表現は、(少なくとも)放射強度または無線密度値を表すボクセル値、たとえばグレイスケール値またはカラー値に関連付けられるボクセル、すなわち3D空間要素を含み得る。そのような無線密度値はハウンスフィールド単位(HU)で測定され得る。ボクセル表現は、ボクセル空間、すなわち一定の寸法を有するボクセルのボリュームを定義し得る。ボクセル表現は、所定のフォーマット、たとえばDICOMフォーマットまたはその派生物の(CB)CT X線データを表す3D画像データスタックを含み得る。走査中に、生物学的組織内の金属の存在が、X線データ、およびX線画像装置のセンサによるX線データの検知に影響を及ぼす。したがって、X線データから導出されるボクセル値が、金属構造の影響を受け得る。したがって、金属影響X線データのボクセル表現304は、1つまたは複数のアーティファクトを形成する金属影響ボクセルを含み、アーティファクトは画像データの品質を大幅に低下させ得る。これは、X線撮像、特にCBCT X線走査などの低線量X線撮像において大きな問題である。
図3のシステムは、図2を参照して説明したシステム内のシステム構成要素として実装され得る(プリプロセッサと見なされ得る)。システムは、トレーニングモードおよび推論モードを有する。トレーニングモードでは、トレーニング済みニューラルネットワークが金属影響X線データのボクセル表現のボクセルを異なるクラスのボクセル(たとえば、異なる金属、金属影響領域などに関連付けられるボクセル)に正確に分類することができるように、3Dディープニューラルネットワーク316が所定のトレーニングスキームに従ってトレーニングされ得る。ディープニューラルネットワークは、金属および/または金属影響領域の分類後ボクセルを含むボクセルマップ318を出力として生成するようにトレーニングされる。金属影響X線データのボクセル表現は、トレーニングセットを決定するために使用され得る。推論モードでは、金属影響X線データの新しいボクセル表現が、トレーニング済み3Dディープニューラルネットワークの入力に供給され得、それに応答して、ニューラルネットワークは、入力データ内の金属および金属影響領域のボクセルを識別するボクセルマップを生成する。
3Dトレーニングデータは、金属影響X線データのラベル付きボクセル表現を含み得る。さらに、金属影響X線データのボクセル表現が、金属領域のボクセル表現および金属影響領域のボクセル表現314にセグメント化され得る(312)。これらのデータは、手動セグメント化プロセスに基づいて、またはたとえばトレーニング済みニューラルネットワークを使用する自動セグメント化プロセスに基づいて生成され得る。X線データのボクセル表現をセグメント化するための自動セグメント化システムが、参照により本願に組み込まれる、「classification and 3D modelling of 3D dento-maxillofacial structures using deep learning networks」という名称の、同一の出願人の関連する欧州特許出願第17179185.8号において説明されている。
CBCT走査では、走査における相異なるエリアが、走査中の器官内の相対位置に応じて相異なるグレイスケール値で現れるので、ハウンスフィールド単位(HU)で測定された無線密度は不正確である。CBCTと医療用CTスキャナの両方で同一の解剖学的エリアから測定されたHUは同一ではなく、したがって部位特有の、放射線画像で識別された骨密度の決定のためには信頼できない。さらに、CBCTシステムは、再構成後密度値を表すグレイレベルをスケーリングするために標準化されたシステムを利用しない。したがって、これらの値は任意であり、骨質の評価を可能にしない。そのような標準化がないと、グレイレベルを解釈することが難しく、さらには相異なるマシンから得られた値を比較することは不可能である。たとえば、歯顎顔面構造のCBCTボクセル表現では、歯および顎骨構造は類似の密度を有し、したがってコンピュータが、歯に属するボクセルと、顎骨に属するボクセルとを区別することは難しい。さらに、CBCTシステムはビーム硬化と呼ばれるアーティファクトに対して非常に敏感であり、ビーム硬化は、周囲の明るいストリークと共に、2つの高減衰物体(金属や骨など)間に暗いストリークを生み出す。
たとえば現在のCBCT型ボクセル表現に存在する変動性に対して3Dディープニューラルネットワークを堅固にするために、一実施形態では、3Dトレーニングデータは、金属影響X線データのボクセル表現304内に出現し得る金属物体または非金属物体の(高解像度)3Dモデルをも含み得る。3Dモデルは、X線データ内の金属物体の3D表面メッシュおよび/または身体部分(骨組織または歯)などの非金属物体の3D表面メッシュを含み得る。そのような3D表面メッシュは、たとえば歯の3Dメッシュを生成するための周知の光学(レーザ)スキャナまたは口腔内光学スキャナによって生成され得る。いくつかのケースでは、関連する構造を分離するために3D表面メッシュをセグメント化する必要がある。セグメント化モジュール324は、3D表面メッシュ(たとえば、歯の口腔内走査)を個々にセグメント化された物体、たとえば複数の3D表面メッシュにセグメント化し得、各表面メッシュは歯を表す。3D表面メッシュを個々の3D表面メッシュにセグメント化することは、当技術分野では周知の技法である。別のステップ(図示せず)では、セグメント化された表面メッシュが、セグメント化されたボクセル表現と位置合せされ得る。次いで(位置合せ後の)セグメント化表面メッシュが、ボクセル表現、たとえば2進ボクセル表現に変換され得(326)、物体、たとえば歯の表面を表すボクセル、および物体内に配置されたボクセルのボクセル値が、第1の値、たとえば1に設定され、物体の外部のボクセルが第2の値、たとえば0に設定される。3Dモデルのそのように得られたボクセル表現328が、金属影響X線データのボクセル表現内の正確に決定された金属領域および金属影響領域に対してディープニューラルネットワークをトレーニングするために追加のトレーニングデータとして使用され得る。
図4は、本発明の一実施形態による、金属影響X線データのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする方法を示す。具体的には、図4は、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現402を分類するための3Dディープニューラルネットワークのトレーニングを示す。この図に示されるように、第1の3Dディープニューラルネットワークは、ラベル付き金属影響ボクセル表現、たとえば金属影響(CB)CTデータのボクセル表現402、ならびに金属物体(たとえばインプラントおよび充填材)を表す金属影響ボクセル表現404と、金属影響領域(アーティファクト)406とから導出される(セグメント化される)ラベル付きボクセル表現に基づいてトレーニングされ得る。さらに、いくつかの実施形態では、3Dディープニューラルネットワークはまた、非金属物体とラベル付けされる非金属物体408(歯および骨構造)に基づいてトレーニングされ得る。
これらのボクセル表現のボクセルは、ボクセルが属する材料のクラスに関してラベル付けされる。一実施形態では、材料のクラスは、金属、非金属、金属影響(アーティファクト)、および非金属(非アーティファクト)を含み得る。さらに、すべてのこれらのボクセル表現のボクセル空間は、第1の3Dディープニューラルネットワークの入力のボクセル空間と同一である。ターゲットトレーニングデータは3Dボクセルマップのセットを表し、金属影響(CB)CTデータのボクセル表現当たり1つのボクセルマップである。3Dボクセルマップは、ニューラルネットワークの入力に供給されるボクセル表現と同一の寸法のボクセル空間を有し、その結果、3Dボクセルマップの各ボクセルは、3Dディープニューラルネットワークの入力に供給されるボクセル表現のボクセルに対応する。3Dボクセルマップ内の各ボクセルは、第1の3Dディープニューラルネットワークの入力でのボクセル表現の対応するボクセルが金属物体および/または金属影響物体の部分であるかどうかを示すボクセル情報に関連付けられる。
一実施形態では、第1の3Dディープニューラルネットワークをトレーニングするために追加の3Dデータが使用され得る。図3を参照して既に説明したように、3Dディープニューラルネットワークは、たとえば現在のCBCT型ボクセル表現に存在する変動性に対して堅固にされ得る。これは、金属物体または非金属物体の(高解像度)3Dモデルから導出された3Dトレーニングデータによって実現され得る。一実施形態では、歯顎顔面コンプレックスの(CB)CTデータ内の金属物体、たとえば冠および/またはインプラントの高解像度3D表面メッシュ412が、たとえば3D光学スキャナを使用して生成され、その後で金属物体のボクセル表現418に変換され得る。ボクセル表現のボクセルは、あるクラスの金属を表すボクセルを識別するためにラベル付けされ得る。同様に、歯顎顔面コンプレックスの(CB)CTデータの非金属物体、たとえば歯および/または顎骨のラベル付きボクセル表現420が、3D表面メッシュ414に基づいて生成され得る。
いくつかの実施形態では、金属または非金属物体の3D表面メッシュの一部が、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現402に示されるのと同一の物体であり得る。そのケースでは、セグメント化3D表面メッシュ、たとえば所定の歯が、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現内の同一の歯のセグメント化ボクセル表現408に位置合せされ(重ねられ)得る(416)。3D表面メッシュから導出された金属および非金属物体のラベル付きボクセル表現が、金属影響領域および/または金属領域を分類するように第1の3Dディープニューラルネットワークをトレーニングするためのトレーニングデータとして使用され得る。そのような位置合せは、別々の3Dディープニューラルネットワークによって実施され得る。
このようにして、3Dディープニューラルネットワークは、金属領域および金属影響領域内のボクセル表現のボクセルを分類し、ボクセル表現内の各ボクセルの分類を示す3Dボクセルマップを生成するようにトレーニングされる。各ボクセルについて、3Dディープニューラルネットワークはボクセル情報を生成し得る。一実施形態では、ボクセル情報は、1つまたは複数の確率測度を含むベクトルを含み得る。確率測度は、あるクラス、たとえば金属クラスにボクセルが属する機会についての情報を提供する。金属材料クラスは、いくつかの異なる金属、たとえばチタン、金、アマルガムなどを定義し得る。トレーニング中に、ディープニューラルネットワークは、顎骨/骨/歯の中で発見され得る金属製物体を表すボクセルが金属と分類されるべきであることを学習し得る。これらの金属製物体は、元の画像(スタック)の部分であり、したがってそのままに保たれるべきである。さらに、ニューラルネットワークは、金属と分類され、金属または金属製物体を表すボクセルの「外部」(すなわち、金属物体の境界の外側)に位置するボクセルが金属影響ボクセル(すなわち、アーティファクトの部分であるボクセル)と分類されるべきであることを学習する。
たとえば、画像装置によって決定されたボクセル値が、金属に関係付けられる値であるケースがあり得る。しかしながら、ボクセルは、利用可能な情報から金属と正確に分類されることが知られているボクセルのボリュームの外側に配置され得る。そのケースでは、トレーニング済み3Dディープニューラルネットワークは、ボクセル値、たとえばハウンスフィールド単位(HU)で測定された無線密度がボクセルの近隣に位置する金属または金属製物体によって影響を受ける値であると決定し得る。第1の3Dディープニューラルネットワークは、そのケースにおいて、(図2において説明したように)ボクセルが第2の3Dディープニューラルネットワークによって補正する必要のある金属影響ボクセルと分類されるべきであると決定し得る。
図5Aおよび図5Bは、本発明の一実施形態による、金属影響X線データのボクセル表現を分類するための3Dディープニューラルネットワークアーキテクチャの例を示す。図5Aに示されるように、ネットワークは、3D畳込みニューラルネットワーク(3D CNN)を使用して実装され得る。畳込み層は活動化関数を使用し得る。複数の3D畳込み層が使用され得、層の数およびその定義パラメータの小さな変動、たとえば異なる活動化関数、カーネル量、およびサイズ、ならびにドロップアウト層などの追加の機能層が、3Dディープニューラルネットワークの設計の本質を失うことなく実装において使用され得る。
図5Aに示されるように、ネットワークは複数の畳込み経路を含み得る。たとえば、一実施形態では、ネットワークは、少なくとも、3D畳込み層の第1のセット504に関連付けられる第1の畳込み経路と、3D畳込み層の第2のセット506に関連付けられる第2の畳込み経路と、3D畳込み層の第3のセット508に関連付けられる第3の畳込み経路とを含み得る。畳込み経路の出力がマージされ得、クラス当たりボクセル当たりの確率を出力するように構成される完全結合層510によって結果が処理され得る。金属影響X線データ502、3D CT画像データのボクセル表現が、第1、第2、および第3の畳込み経路のいずれの入力にも供給され得る。
相異なる畳込み経路のそれぞれの機能が、図5Bにより詳細に示されている。この図に示されるように、3D画像データを表すボクセルが、ニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム521と呼ばれることのある所定のボリュームを定義し得る。画像ボリュームは、第1のブロックのセット5201内に分割され得、第1の経路5221の3D畳込み層のそれぞれが、3D画像データのボクセル5011の第1のブロックに対する3D畳込み動作を実施し得る。処理の間、層のセット524について、3D畳込み層の出力は後続の3D畳込み層の入力である。このようにして、各3D畳込み層が、入力に供給される3D画像データの部分を表す3D特徴マップを生成し得る。したがって、そのような特徴マップを生成するように構成される3D畳込み層は、3D CNN特徴層と呼ばれることがある。
図5Bに示されるように、第2の経路5222の畳込み層が、3D画像データのボクセルの第2のブロックのセット5202を処理するように構成され得、ボクセルの第2のブロックが、ボクセルの関連する第1のブロックのダウンサンプリングバージョンを表し、ボクセルの第1および第2のブロックは同一の中心原点を有する。ダウンサンプリング因子は任意の適切な値であり得、好ましくはダウンサンプリング因子は2から4の間で選択され、好ましくは3である。
第1の経路5221は、3D CNN特徴層の第1のセット(たとえば、5～20層)524を定義し得、第1のセット524は、ターゲット(すなわち、分類される画像ボリュームのボクセル)のボクセル解像度において入力データ(たとえば、画像ボリューム内の所定の位置のボクセルの第1のブロック)を処理するように構成される。第2の経路は、3D CNN特徴層の第2のセット(5～20層)526を定義し得、第2のセット526は、ボクセルの第2のブロックを処理するように構成され、ボクセルの第2のブロック5202の各ブロックは、ボクセルの第1のブロック5201からの関連するブロックと同一の中心点を有する。しかしながら、これらのボクセルは、5201の解像度よりも低い解像度において処理される。したがって、ボクセルの第2のブロックは、第1のブロックよりも現実世界寸法において大きいボリュームを表す。第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理される関連するボクセルのすぐ近隣についての情報を含む3D特徴マップを生成するためにボクセルを処理する。このようにして、第2の経路は、ニューラルネットワークがコンテキスト情報、すなわちニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(たとえば、その周囲)についての情報を決定することを可能にする。入力データ5203のさらに大きいコンテキスト部分およびさらに高いダウンサンプリング部分を表す、3D畳込み層のセット528を有する第3の経路5223が利用され得る。この場合も、このダウンサンプリングサンプリング因子が、元の入力解像度から、5から15の間で選択された適切な値、好ましくは9に設定され得る。
図5Bは3つの畳込み経路5221-3を含むネットワークを示すが、さらに多くの畳込み経路を含む他の実施形態も想定される。3つの経路またはより多くの畳込み経路を使用することによって、3D画像データ(入力データ)と3D画像データのボクセルについてのコンテキスト情報の両方が、並列に処理され得る。コンテキスト情報は、より広いコンテキスト領域なしに区別するのが難しい、密接に詰め込まれた、かつ/または類似の歯構造を通常含む歯顎顔面構造などの複雑なボクセル表現を分類するために重要である。
複数の3D CNN特徴層が、その特定の入力から決定され得る最適に有用な情報を導出し、渡すように(その学習可能パラメータを通じて)トレーニングされ得、完全結合層532は、3つの前の経路からの情報を組み合わせて分類後ボクセル534の最適な確率を提供すべき方式を決定するパラメータを符号化し得る。その後で、確率536が、入力の画像空間の寸法を有し得る出力の画像空間538内で提示され得る。したがって、3Dディープニューラルネットワークの出力は、入力でのボクセルの画像空間に対応する画像空間内のボクセル当たりの分類確率である。
最適化方法が、3Dディープニューラルネットワークの出力とターゲットデータ(すなわち、分類後ボクセルデータ)との間の偏差を表す損失関数を最小限に抑えることによって、所定の入力に対する所望の出力を表す、3Dディープニューラルネットワークのネットワークパラメータの最適値を学習するために使用され得る。損失関数の最小化が一定の値に収束するとき、トレーニングプロセスは適用に適していると見なされ得る。個々の層についての活動化関数は異なり得、たとえば線形、S字形、tanh、および/またはReLuとして設定され得る。
図6は、本発明の一実施形態による、金属影響X線データのボクセル表現を補正するためのシステムを示す。具体的には、この図は、ボクセル表現内の金属影響領域を補正するようにトレーニングされる3Dディープニューラルネットワーク612を使用して金属影響X線データのボクセル表現を補正するためのコンピュータシステム602を示す。システムは、トレーニングモードおよび推論モードを有する。トレーニングモードでは、トレーニング済みニューラルネットワークが金属によって影響を受けるボクセル表現内のボクセルのボクセル値を正確に予測することができるように、3Dディープニューラルネットワーク612が所定のトレーニングスキームに従ってトレーニングされ得る。金属影響領域が補正される、X線データのボクセル表現638を生成するように、ディープニューラルネットワークがトレーニングされる。推論モードでは、金属影響X線データの新しいボクセル表現が、トレーニング済み3Dディープニューラルネットワークの入力に供給され得、それに応答して、ニューラルネットワークは、金属影響ボクセルが補正されることを例外として、入力でのボクセル表現と同様のボクセル表現を生成する。したがって、3Dディープニューラルネットワークは、金属が誘発したアーティファクトのない、元の3D画像の正確な近似を出力が提供するようにトレーニングされる。
3Dトレーニングデータは、治療、具体的には、たとえば歯科の分野では、金属ベースの治療(たとえば、インプラント埋入、歯復元、歯科矯正装置、ブリッジ埋入、根管充填材、根管ポスト、骨接合プレートおよびねじ)の前および後の、患者のラベル付きボクセル表現を含み得る。言い換えれば、3Dトレーニングデータは、治療前(すなわち、金属物体が患者の身体部分内に植え込まれる前)の患者の部分の第1のラベル付きボクセル表現603と、治療後(すなわち、金属物体が患者の身体部分内に植え込まれた後)の同一の患者の同一部分の第2のラベル付きボクセル表現604とを含む。さらに、一実施形態では、トレーニングデータはまた、第1のディープニューラルネットワークによって生成された金属および金属影響領域を含むX線データのボクセル表現604のボクセルマップ614をも含み得る。ボクセルマップは、補正する必要がある金属影響領域(アーティファクト)にどのボクセルが関係するかを認識するように第2の3Dディープニューラルネットワーク612をトレーニングするために利用される。
一実施形態では、3Dディープニューラルネットワークの入力に供給される前に、位置合せプロセス611が、トレーニングデータ、すなわちラベル付きボクセル表現603、604、および適用可能ならボクセルマップ614に適用され得る。この位置合せプロセスでは、ボクセル表現内の構造が互いに対して位置合せされ得る。これは手動で、または自動的に実施され得る。画像登録の分野では、キーポイント検出に基づく方法、強度ベースの方法などの、自動位置合せを考慮する様々な方法が知られている。
トレーニングデータは、患者の部分のX線データのターゲットボクセル表現を含むターゲットデータをさらに含み得、ボクセル表現は(金属ベースの治療による)金属物体を含むが、金属影響領域が欠けている。そのようなターゲットボクセル表現は、治療前および治療後のX線データのボクセル表現と、金属領域および金属影響領域を識別するボクセルマップとに基づいて構成され得る。具体的には、ボクセルマップは、治療後のボクセル表現内の金属領域のボクセルを識別するために使用され得る。これらのボクセルは、治療前のボクセル表現内に適切に表され(挿入され)得、それによって、臨床データに基づいて現実的グラウンドトルースが生成される。そのようなターゲットデータを生成する一例が、図7Aを参照しながらより詳細に説明される。
患者ごとに、前述の入力およびターゲットデータを含むトレーニングデータのセットが生成される。次いで、トレーニングデータは、ボクセルマップによって識別される金属影響領域を補正するように3Dディープニューラルネットワークをトレーニングするために使用される。3Dディープニューラルネットワークをトレーニングする例が、図7～図10を参照しながらより詳細に以下で説明される。
トレーニング中に、3Dディープニューラルネットワークは、臨床トレーニングデータに基づいて学習し、金属によって影響を受けるボクセル表現内のボクセルについての現実的ボクセル予測を生成する。3Dディープニューラルネットワークは、金属影響ボクセルがボクセル予測によって置き換えられる、金属影響X線データのボクセル表現を生成するようにさらに学習する。このようにして、金属影響領域に関連するボクセルが3Dディープニューラルネットワークによって生成されたボクセル予測に基づいて補正される、金属影響X線データのボクセル表現が生成される。
図7Aおよび図7Bは、本発明の一実施形態による、金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングする方法を示す。具体的には、図7Aは、歯顎顔面コンプレックスの金属影響(CB)CTデータのボクセル表現を分類するように3Dディープニューラルネットワークをトレーニングする概要を示す。この図に示されるように、第1の3Dディープニューラルネットワークが、患者702の歯顎顔面コンプレックスデータ、すなわち金属領域および金属影響領域を含む歯顎顔面構造を表すX線データのラベル付きボクセル表現712と、金属領域および金属影響領域のない歯顎顔面構造を表すX線データのボクセル表現714と、ボクセル表現712内の金属および/または金属影響領域のボクセルを識別するボクセルマップ715とを含む患者の治療前706および治療後704のX線画像から導出されるトレーニングデータに基づいてトレーニングされ得る。いくつかの実施形態では、3Dディープニューラルネットワークはまた、患者の治療中に使用された金属製物体のボクセル表現710に基づいてトレーニングされ得る。そのような金属製物体の3D表面メッシュ708が、3D光学スキャナを使用して生成され、3Dメッシュのそれぞれからボクセル表現を導出し得、ボクセル表現は、トレーニングデータとして使用される他のボクセル表現と同一の寸法を有する。
適用可能なとき、ボクセル表現および/または表面メッシュなどの3Dデータの様々な表現が、同一のボクセル空間内で適切に一致するようにやはり位置合せされ得る。これは、手動で、または自動的に行われ得る(7111,2,3)。
さらに、正確で現実的なターゲットデータが、治療前および治療後のX線データの画像(スタック)と、ボクセルマップとに基づいて生成され得る。このプロセスが図7Bにより詳細に示されている。この図に示されるように、患者の治療またはおよび治療後の位置合せされた(7211,2)ボクセル表現と、ボクセルマップからターゲットボクセル表現が導出され得る。ボクセルマップ720は、金属領域に属する金属影響X線データのボクセル表現722内のボクセルを識別するために使用され得る。金属影響X線データのボクセル表現と同一の寸法を有し得る金属領域のボクセル表現728を生成するために金属抽出器モジュール726が使用され得る。このボクセル表現が、治療前の患者のX線データのボクセル表現と共に、金属領域を含むが、金属影響ボクセル領域(アーティファクト)732を除外する歯顎顔面構造を表すX線データのターゲットボクセル表現としてマージされ得る(730)。
臨床トレーニングデータに基づいて3Dディープニューラルネットワークをトレーニングする結果、金属によって影響を受けるボクセル表現内のボクセルについての現実的ボクセル予測を生成することのできるトレーニング済み3Dディープニューラルネットワークが得られる。
図8Aおよび図8Bは、本願における実施形態において利用され得るボクセル表現の例を示す。具体的には、図8Aは、歯顎顔面構造(このケースでは、歯のセット)の3Dメッシュ802と、3Dメッシュの部分の金属処理された歯の部分のボクセル表現804(DICOM 3Dデータセット)の概観を示し、ボクセルの部分が金属影響X線データに関連付けられる。この図では、ボクセル表現が属する3Dメッシュの部分とボクセル表現が一致するように、ボクセル表現が3Dメッシュ内に配置される。図8Bは、同一のボクセル表現808と、ボクセル表現808が属する歯の3Dメッシュ806の拡大部分を示す。図は、本開示において説明するニューラルネットワークをトレーニングするために使用され得るサンプルサイズ(この特定の例では、幅、長さ、および高さ64ボクセル)を示すボクセル表現の寸法をはっきりと示す。
図9A～図9Cは、本開示における実施形態によって利用または生成され得るボクセル表現を示す。ボクセル表現は、図8Aおよび図8Bに示される歯顎顔面構造の同一の部分に関係し得る。具体的には、図9Aは、金属影響X線データのボクセル表現を自動的に補正するためのシステムへの入力データとして使用され得る金属領域および金属影響領域を含むボクセル表現を示す。図では、ボクセル表現「内」を見ることができるように、ボクセルのブロックが除去される。図9Aでは、白色領域9061が金属領域を表し、(白色)金属領域の周りのいくつかの黒色領域9062が金属影響領域を表す。
図9Bは、やはりボクセルのブロックが除去されたボクセル表現808を示す。ボクセルのこのブロックでは、図3を参照して説明したように、ボクセルマップが3Dディープニューラルネットワークによって生成されている。ボクセルマップが図9Bに示されており、別の3Dディープニューラルネットワークによる補正を必要とする、金属領域9101の分類後ボクセルおよび 金属影響領域9102のボクセルを含む。最後に、図9Cは、金属影響領域が補正される(9142)と共に金属領域9141が保持される、患者の金属影響X線データのボクセル表現を示す。補正は、図6を参照して説明したように、金属影響領域を補正するようにトレーニングされる3Dディープニューラルネットワークによって実現される。
様々なニューラルネットワークアーキテクチャが本開示での実施形態において使用され得る。図10は、本発明の一実施形態による、敵対的生成ニューラルネットワークに基づいて金属影響X線データのボクセル表現を補正するためのシステムの概要を示す。この図に示されるように、金属影響領域のボクセルを補正するようにトレーニングする必要のある3Dディープニューラルネットワーク1006が、ジェネレータネットワークと呼ばれる。トレーニング中に、ジェネレータネットワークは、金属影響X線データのボクセル表現1002および関連するボクセルマップを受け取る(恐らくは、ボクセル表現内の金属および/または金属影響領域を決定するように構成される3Dディープニューラルネットワーク1004によって生成される)。さらに、ジェネレータネットワークは、ディスクリミネータネットワーク1012からフィードバック1010を受け取り得、ディスクリミネータネットワーク1012は、金属領域を含む歯顎顔面構造を表すX線データのターゲットトレーニングボクセル表現、すなわち「現実の」状況に従う画像(スタック)を受け取り、その後で、ターゲットトレーニングボクセル表現は、「ターゲットボクセル表現」732、1014と同一と見なされ得る。これが第2の3Dディープニューラルネットワークにターゲットトレーニングデータとして供給され、または第2の3Dディープニューラルネットワークは、ジェネレータネットワークによって生成されたボクセル表現1008、すなわち金属影響領域が補正されるボクセル表現を受け取る。ディスクリミネータネットワークの主な作業は、ディスクリミネータネットワークが入力として受け取るボクセル表現がジェネレータネットワークの補正後出力ボクセル表現であるか、それともターゲットボクセル表現732、1014であるかを区別することである。ディスクリミネータが与えた出力が正しかった場合、すなわちディスクリミネータが示したようにボクセル表現が実際に「補正され」、または「現実」であった場合、ディスクリミネータはフィードバックを受け取る。ジェネレータとディスクリミネータがどちらも、与えられたフィードバックから学習するので、この情報は、ジェネレータネットワークが金属影響ボクセルをそれらのエリアについての現実的ボクセル予測に効果的に置き換えることを学習する助けとなる。
図11は、ディスクリミネータネットワークをより詳細に示す。ここでは、ディスクリミネータネットワーク1100が、ターゲットボクセル表現と、金属影響領域のボクセルが補正されるボクセル表現とを区別するように構成される。したがってトレーニング中に、ディスクリミネータネットワークが、ターゲットボクセル表現またはジェネレータネットワークの出力ボクセル表現1008のどちらかと共に(ランダムに)提示され得る。それに応答して、ディスクリミネータネットワークは、ディスクリミネータの入力でのボクセル表現が、ジェネレータネットワークによって作成された「実際の」ターゲットボクセル表現または補正後ボクセル表現であるかどうかの表示を生成する。次いで、ディスクリミネータネットワークは、提示されたボクセル表現が実際のものであり、または補正されるかどうかを示す「スコア」を生成する。たとえば一実施形態では、ディスクリミネータは2進出力1106を有し得、「1」は、ボクセル表現がターゲット表現1102であることを示し得、「0」は、ボクセル表現が補正後ボクセル表現1104であることを示し得る。トレーニング中に、ディスクリミネータがターゲットボクセル表現から区別し得る補正後ボクセル表現をジェネレータネットワークが生成する場合、これは、そのような補正後ボクセル表現が十分には「現実的」でないという、システムに対する信号となる。したがって、このようにして、ジェネレータネットワークは、トレーニングセット、たとえば図7Aおよび図7Bを参照して説明したような臨床トレーニングデータのターゲットボクセル表現に関して類似している補正後ボクセル表現を生成するように刺激を受ける。
ジェネレータネットワークによって生成されるボクセル予測が現実的であるほど、ディスクリミネータが両者を区別することがより難しくなる。したがって、ディスクリミネータが両者を区別する能力は、ジェネレータによって生成されるボクセル補正の品質の尺度である。この情報が、逆伝播を通じてディスクリミネータ1100ならびにジェネレータネットワーク1110にフィードバック1108され得る。このようにして、ジェネレータは、金属影響領域のボクセルについての正確なボクセル予測を生成するようにトレーニングされる。GANのジェネレータネットワークを表すディープニューラルネットワーク1102は、(ディープ)畳込みニューラルネットワークまたはリカレントニューラルネットワークを含む、任意のタイプの3Dディープニューラルネットワークであり得る。
図12Aおよび図12Bは、本発明の一実施形態による、3Dディープリカレントニューラルネットワークの概要を示す。リカレントニューラルネットワークは、画像内のピクセル間、または(ビデオまたは3Dデータスタックの)画像のシーケンス間の遠距離依存関係に基づいてピクセル値を予測するのに特に適しているネットワークのクラスである。同じことが3Dのケースに当てはまり、ボクセル表現内のボクセル間の遠距離依存関係がボクセルを予測するために使用され得る。
図12Aは、ボクセル入力1202と、重みおよび偏りによってパラメータ化される1つまたは複数の内部隠れ状態を含む3Dディープニューラルネットワーク、たとえば3D畳込みニューラルネットワークと、出力1206とを含むディープリカレントニューラルネットワークを示し、重みおよび偏りと、1つまたは複数の前の状態の出力(の部分)とを考慮に入れる層が追加される。前の状態の数と、対応する重みおよび偏りが、後続の状態の出力を計算するために考慮に入れられ、層の数に関するリカレントニューラルネットワークの深さを示し得、たとえば図12Bに示されるディープリカレントニューラルネットワークは3つの層からなる。ディープリカレントニューラルネットワークスキームが図12Bにより詳細に示されている。図12Bに示されるように、入力xi-1、たとえばボクセル値予測を必要とするボクセルの周囲の入力ボクセルの第1のブロック、たとえば補正を必要とする金属影響領域は、リカレントニューラルネットワークに対する入力であり、リカレントニューラルネットワークは、現状態の重みおよび偏りと、初期状態12101の重みおよび偏りとに基づいて出力xi-1(第1のボクセル値予測、たとえばハウンスフィールド単位の値)を決定する。次の入力xi(予測する必要のある次のボクセルの周囲の入力ボクセルの第2のブロック)が、ボクセル値予測を必要とする第2のボクセルを含む出力ボクセルの第2のブロックを生成するために、前の状態の重みおよび偏り12102と、出力ボクセルの第1のブロック12121とに基づいてニューラルネットワークによって処理され得る。その後で、次の入力xi+1(入力ボクセルの第3のブロック)が、出力ボクセルの第3のブロックを生成するために、前の状態の重みおよび偏り12103と、出力ボクセル12122の第2のブロックとに基づいてニューラルネットワークによって処理され、以下同様である。
図13は、本開示において説明する実施形態において使用され得る例示的データ処理システムを示すブロック図である。データ処理システム1300は、システムバス1306を通じてメモリ要素1304に結合された少なくとも1つのプロセッサ1302を含み得る。したがって、データ処理システムは、メモリ要素1304内にプログラムコードを記憶し得る。さらに、プロセッサ1302は、システムバス1306を介してメモリ要素1304からアクセスしたプログラムコードを実行し得る。一態様では、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装され得る。しかしながら、データ処理システム1300が、本明細書内で説明する機能を実施することのできる、プロセッサおよびメモリを含む任意のシステムの形態で実装され得ることを理解されたい。
メモリ要素1304は、たとえばローカルメモリ1308や1つまたは複数のバルク記憶デバイス1310などの1つまたは複数の物理メモリデバイスを含み得る。ローカルメモリは、プログラムコードの実際の実行中に一般に使用されるランダムアクセスメモリまたは他の非永続的メモリデバイスを指すことがある。バルク記憶デバイスは、ハードドライブまたは他の永続的データ記憶デバイスとして実装され得る。処理システム1300はまた、実行中にバルク記憶デバイス1310からプログラムコードを取り出さなければならない回数を削減するために少なくとも一部のプログラムコードの一時的記憶を実現する1つまたは複数のキャッシュメモリ(図示せず)をも含み得る。
任意選択で、入力デバイス1312および出力デバイス1314として示される入力/出力(I/O)デバイスが、データ処理システムに結合され得る。入力デバイスの例には、限定はしないが、たとえばキーボード、マウスなどのポインティングデバイスなどが含まれ得る。出力デバイスの例には、限定はしないが、たとえばモニタまたはディスプレイ、スピーカなどが含まれ得る。入力デバイスおよび/または出力デバイスは、直接的に、または介在するI/Oコントローラを通じてデータ処理システムに結合され得る。介在するプライベートまたは公衆ネットワークを通じてデータ処理システムが他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ1316もデータ処理システムに結合され得る。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備え得る。モデム、ケーブルモデム、およびイーサネットカードは、データ処理システム1300と共に使用され得る様々なタイプのネットワークアダプタの例である。
図13に示されるように、メモリ要素1304はアプリケーション1318を記憶し得る。データ処理システム1300はアプリケーションの実行を容易にし得るオペレーティングシステム(図示せず)をさらに実行し得ることを理解されたい。アプリケーションは、実行可能プログラムコードの形態で実装され、データ処理システム1300によって、たとえばプロセッサ1302によって実行され得る。アプリケーションを実行することに応答して、データ処理システムは、本明細書においてさらに詳細に説明されるように1つまたは複数の動作を実施するように構成され得る。
一態様では、たとえば、データ処理システム1300はクライアントデータ処理システムを表し得る。そのケースでは、アプリケーション1318は、実行されるとき、「クライアント」を参照して本明細書において説明した様々な機能を実施するようにデータ処理システム1300を構成するクライアントアプリケーションを表し得る。クライアントの例には、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などが含まれ得る。
別の態様では、データ処理システムはサーバを表し得る。たとえば、データ処理システムは(HTTP)サーバを表し得、そのケースでは、アプリケーション1318は、実行されるとき、(HTTP)サーバ動作を実施するようにデータ処理システムを構成し得る。別の態様では、データ処理システムは、本明細書において参照されるモジュール、ユニット、または機能を表し得る。
本明細書において使用される用語は、特定の実施形態を説明するためのものに過ぎず、本発明を限定するものではない。本明細書では、文脈が単数形「a」、「an」、および「the」は、文脈が別段に明記していない限り、複数形も含むものとする。「備える」および/または「含む」という用語は、本明細書において使用されるとき、記載の特徴、完全体、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素、および/またはそのグループの存在または追加を除外するものはないことをさらに理解されよう。
以下の特許請求の範囲のすべての手段またはステップおよび機能要素の対応する構造、材料、動作、および均等物は、具体的に特許請求される、他の特許請求される要素と組み合わせて機能を実施するための任意の構造、材料、または動作を含むものとする。例示および説明のために本発明の説明が提示されたが、本発明の説明は、網羅的なものではなく、開示された形態の発明に限定されるものではない。本発明の範囲および精神から逸脱することなく、多くの修正形態および変形形態が当業者には明らかであろう。本発明の原理および実際の応用を最良に説明し、企図される特定の用途に適する様々な修正を伴う様々な実施形態について本発明を当業者が理解することを可能にするために、実施形態が選ばれ、説明された。
102 3Dディープニューラルネットワークシステム
104 X線データのボクセル表現
106 X線データの補正後ボクセル表現
202 システム
204 X線データのボクセル表現
208 第1のシステム構成要素
210 第2のシステム構成要素
212 第1の3Dディープニューラルネットワーク
302 コンピュータシステム
304 金属影響X線データのボクセル表現
314 金属領域のボクセル表現および金属影響領域のボクセル表現
316 3Dディープニューラルネットワーク
318 ボクセルマップ
324 セグメント化モジュール
328 ボクセル表現
402 金属影響(CB)CTデータのボクセル表現
404 金属影響ボクセル表現
406 金属影響領域(アーティファクト)
408 非金属物体
412 金属物体の高解像度3D表面メッシュ
414 3D表面メッシュ
418 金属物体のボクセル表現
420 非金属物体のラベル付きボクセル表現
5011 3D画像データのボクセル
502 金属影響X線データ
504 3D畳込み層の第1のセット
506 3D畳込み層の第2のセット
508 3D畳込み層の第3のセット
510 完全結合層
5201 第1のブロックのセット
5202 第2のブロックのセット
5203 入力データ
521 画像ボリューム
5221 第1の経路
5222 第2の経路
5223 第3の経路
524 3D CNN特徴層の第1のセット
526 3D CNN特徴層の第2のセット
528 3D畳込み層のセット
532 完全結合層
534 分類後ボクセル
536 確率
538 画像空間
602 コンピュータシステム
603 第1のラベル付きボクセル表現
604 第2のラベル付きボクセル表現
612 3Dディープニューラルネットワーク
614 ボクセルマップ
638 X線データのボクセル表現
702 患者
708 3D表面メッシュ
710 金属製物体のボクセル表現
712 金属領域および金属影響領域を含む歯顎顔面構造を表すX線データのラベル付きボクセル表現
714 金属領域および金属影響領域のない歯顎顔面構造を表すX線データのボクセル表現
715 ボクセルマップ
720 ボクセルマップ
722 金属領域に属する金属影響X線データのボクセル表現
726 金属抽出器モジュール
728 金属領域のボクセル表現
732 金属影響ボクセル領域(アーティファクト)
802 3Dメッシュ
804 ボクセル表現
806 歯の3Dメッシュ
808 ボクセル表現
9061 白色領域
9062 黒色領域
9101 金属領域
9102 金属影響領域
9141 金属領域
1002 X線データのボクセル表現
1004 3Dディープニューラルネットワーク
1006 3Dディープニューラルネットワーク
1008 ジェネレータネットワークのボクセル表現
1010 フィードバック
1012 ディスクリミネータネットワーク
1014 ターゲットボクセル表現
1100 ディスクリミネータネットワーク
1102 ターゲット表現
1104 補正後ボクセル表現
1106 2進出力
1108 フィードバック
1110 ジェネレータネットワーク
1202 ボクセル入力
1206 出力
12101 初期状態
1210 重みおよび偏り
1212 出力ボクセル
1300 データ処理システム
1302 プロセッサ
1304 メモリ要素
1306 システムバス
1308 ローカルメモリ
1310 バルク記憶デバイス
1312 入力デバイス
1314 出力デバイス
1316 ネットワークアダプタ
1318 アプリケーション

Claims (13)

  1. 金属影響X線データのボクセル表現の補正のためのコンピュータ実装方法であって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされた前記X線データ内のアーティファクトを表し、前記方法が、
    第1の3Dディープニューラルネットワークが、その入力において、金属影響X線データの初期ボクセル表現を受け取り、その出力において、ボクセルマップを生成するステップであって、前記ボクセルマップが、金属によって影響を受けるボクセルの領域に属する前記初期ボクセル表現のボクセルを識別し、前記第1の3Dディープニューラルは、患者の所定の身体部位の臨床X線データのボクセル表現を含む、トレーニングデータと基準データに基づいてトレーニングされる、ステップと、
    第2の3Dディープニューラルネットワークが、その入力において、前記初期ボクセル表現および前記第1の3Dディープニューラルネットワークによって生成された前記ボクセルマップを受け取り、補正後ボクセル表現を生成するステップであって、前記補正後ボクセル表現は、前記ボクセルマップによって金属影響領域の部分であると識別されるボクセルを補正するためのボクセル推定を含む、ステップと
    を含む方法。
  2. 前記ボクセルマップの各ボクセルが、金属影響X線データの前記初期ボクセル表現のボクセルと、1つまたは複数の確率測度とに関連付けられ、前記1つまたは複数の確率測度のうちの第1の確率測度が、前記ボクセルが金属領域の部分である確率を表し、前記1つまたは複数の確率測度のうちの第2の確率測度が、前記ボクセルが金属影響領域の部分である確率を表す、ステップ
    を含む請求項1に記載の方法。
  3. 前記第1および第2の確率測度と、1つまたは複数のしきい値とに基づいて、前記初期ボクセル表現内のボクセルを、金属領域に属するボクセルと、金属影響領域に属するボクセルとに分類するステップ
    をさらに含む請求項2に記載の方法。
  4. 前記第1の確率測度および1つまたは複数の金属しきい値を使用して、各ボクセルについて、複数の金属クラスから選択された金属クラスを決定するステップであって、好ましくは前記複数の金属クラスが、非金属材料に関連付けられる第1の金属クラスと、金属または金属材料に関連付けられるボクセルの第2のクラスとを含む、ステップ
    をさらに含む請求項2または3に記載の方法。
  5. 前記第1の3Dディープニューラルネットワークおよび/または前記第2の3Dディープニューラルネットワークが、少なくとも3D畳込み層の第1のセット、好ましくは3D CNN特徴層の第1のセットを含む少なくとも第1のデータ処理経路と、前記第1の経路に平行な少なくとも第2のデータ処理経路とを備え、前記第2の経路が、3D畳込み層の第2のセット、好ましくは3D CNN特徴層の第2のセットを含み、3D畳込み層の前記第2のセットが、3D畳込み層の前記第1のセットの入力に供給されるボクセルのブロックに関連するコンテキスト情報を決定するように構成される請求項1から4のいずれか一項に記載の方法。
  6. 前記トレーニングデータが、前記患者の前記身体部分の金属ベースの治療前の前記身体部分の臨床X線データのボクセル表現と、前記患者の前記身体部分の金属ベースの治療後の前記身体部分の臨床X線データのボクセル表現とを含み、前記基準データが、前記身体部分の金属ベースの治療に関連する金属領域が識別される、前記金属ベースの治療前の前記患者の前記身体部分の臨床X線データのボクセル表現を含む請求項1から5のいずれか一項に記載の方法。
  7. 前記第2の3Dディープニューラルネットワークが、前記初期ボクセル表現内の金属影響X線データに関連するアーティファクトを最小限に抑えるようにトレーニングされ、トレーニング中に、前記3Dディープニューラルネットワークが、前記トレーニングデータの1つまたは複数の特性および前記基準データの1つまたは複数の特性に従う関係に基づいて補正後ボクセル表現を最適化するように選択された第1の重みおよび偏りでパラメータ化される請求項1から6のいずれか一項に記載の方法。
  8. 前記第1のおよび/または第2の3Dディープニューラルネットワークが、3D畳込みニューラルネットワーク、3D敵対的生成ニューラルネットワーク、または3Dリカレントディープニューラルネットワークを含み、かつ/またはその部分である請求項1から7のいずれか一項に記載の方法。
  9. 金属影響X線データのボクセル表現を補正するように3Dディープニューラルネットワークをトレーニングするためのコンピュータ実装方法であって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされる前記X線データ内のアーティファクトを表し、前記方法が、
    コンピュータがトレーニングデータを受け取るステップであって、前記トレーニングデータが、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現と、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現と、金属ベースの治療後の前記患者の前記身体部分の臨床X線データの前記ボクセル表現に関連付けられたボクセルマップと、を含み、ボクセルマップは、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現において金属影響ボクセルを識別する、ステップと
    基準データを受け取るステップであって、前記基準データが、前記金属ベースの治療に関連する金属領域が識別される、前記金属ベースの治療前の前記患者の前記身体部分の臨床X線データのボクセル表現を含む、ステップと、
    トレーニングされた3Dディープニューラルネットワークが、その入力において、金属影響X線データのボクセル表現とボクセルマップを受け取り、その出力において、補正後ボクセル表現を生成するように構成されるように、前記トレーニングデータおよび前記基準データに基づいて、前記3Dディープニューラルネットワークをトレーニングするステップであって、前記補正後ボクセル表現は、前記ボクセルマップによって金属影響領域に属するボクセルとして識別される前記金属影響X線データの前記ボクセル表現のボクセルを補正するためのボクセル推定を含む、ステップと
    を含む方法。
  10. 金属影響X線データのボクセル表現を補正するために3Dディープニューラルネットワークをトレーニングするためのコンピュータ実装方法であって、前記金属影響X線データは、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされたX線データ内のアーティファクトを表し、
    トレーニングデータを受け取るステップであって、前記トレーニングデータが、金属ベースの治療前の患者の身体部分の臨床X線データのボクセル表現、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現、および金属ベースの治療後の前記患者の前記身体部分の臨床X線データ前記ボクセル表現に関連するボクセルマップを含み、ボクセルマップは、金属ベースの治療後の前記患者の前記身体部分の臨床X線データのボクセル表現内の金属影響ボクセルを識別する、ステップと、
    基準データを受け取るステップであって、前記基準データが、識別される金属ベースの治療に関連する金属領域の前記金属ベースの治療前の前記患者の前記身体部分のX線データのボクセル表現を含む、ステップと、
    前記トレーニングデータ、前記基準データ、およびディスクリミネータディープニューラルネットワークの出力に基づいて、3Dディープニューラルネットワークをトレーニングするステップであって、前記トレーニングされた3Dディープニューラルネットワークが、その入力において、金属影響X線データのボクセル表現およびボクセルマップを受け取り、その出力において、補正後ボクセル表現を生成するように構成され、前記補正後ボクセル表現が、前記ボクセルマップによって金属影響領域の部分であると識別される初期ボクセル表現のボクセルに対するボクセル推定を含み、前記ディスクリミネータディープニューラルネットワークは、前記金属ベースの治療に関連する金属領域が識別される前記金属ベースの治療前の前記患者の前記身体部分のX線データのボクセル表現を含む前記基準データと、前記3Dディープニューラルネットワークによって生成された補正ボクセル表現との間を識別するように構成される、ステップと、
    を含む方法。
  11. 前記3Dディープニューラルネットワークおよび/または前記ディスクリミネータディープニューラルネットワークが、3D畳込みニューラルネットワークおよび/または3Dディープリカレントニューラルネットワークとして構成される請求項10に記載の方法。
  12. 金属影響X線データのボクセル表現を補正するように適合されたコンピュータシステムであって、前記金属影響X線データが、X線画像装置によって撮像される組織のボリューム内の金属または金属製物体によって引き起こされた前記X線データ内のアーティファクトを表し、前記システムが、
    コンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、
    前記コンピュータ可読記憶媒体に結合されたプロセッサであって、前記コンピュータ可読プログラムコードを実行することに応答して、
    第1の3Dディープニューラルネットワークが、その入力において、金属影響X線データの初期ボクセル表現を受け取り、その出力において、ボクセルマップを生成するステップであって、前記ボクセルマップが、金属によって影響を受けるボクセルの領域に属する前記初期ボクセル表現のボクセルを識別し、前記第1の3Dディープニューラルは、患者の所定の身体部位の臨床X線データのボクセル表現を含む、トレーニングデータと基準データに基づいてトレーニングされる、ステップと、
    第2の3Dディープニューラルネットワークが、その入力において、前記初期ボクセル表現および前記第1の3Dディープニューラルネットワークによって生成された前記ボクセルマップを受け取り、補正後ボクセル表現を生成するステップであって、前記補正後ボクセル表現は、前記ボクセルマップによって金属影響領域の部分であると識別されるボクセルを補正するためのボクセル推定を含む、ステップと
    を含む実行可能な動作を実施するように構成されるプロセッサと
    を備えるシステム。
  13. コンピュータのメモリ内で実行されるとき、請求項1から8のいずれか一項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を含むコンピュータプログラム製品。
JP2020558983A 2018-04-26 2019-04-26 ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正 Active JP7494125B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18169651.9A EP3561778A1 (en) 2018-04-26 2018-04-26 Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
EP18169651.9 2018-04-26
PCT/EP2019/060813 WO2019207144A1 (en) 2018-04-26 2019-04-26 Automated correction of metal affected voxel representations of x-ray data using deep learning techniques

Publications (2)

Publication Number Publication Date
JP2021521962A JP2021521962A (ja) 2021-08-30
JP7494125B2 true JP7494125B2 (ja) 2024-06-03

Family

ID=62104107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558983A Active JP7494125B2 (ja) 2018-04-26 2019-04-26 ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正

Country Status (9)

Country Link
US (1) US11494957B2 (ja)
EP (2) EP3561778A1 (ja)
JP (1) JP7494125B2 (ja)
KR (1) KR20210005649A (ja)
CN (1) CN112313715A (ja)
BR (1) BR112020021508A2 (ja)
CA (1) CA3097814A1 (ja)
IL (1) IL278168A (ja)
WO (1) WO2019207144A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL271743B2 (en) 2017-06-30 2024-08-01 Promaton Holding Bv Classification and 3D model of dental structures - 3D maxilla using deep learning methods
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
EP3833258A4 (en) * 2018-08-06 2022-05-11 Vanderbilt University DEEP LEARNING-BASED METHOD FOR METAL REDUCTION IN CT IMAGES AND APPLICATIONS THEREOF
US11978146B2 (en) * 2018-09-18 2024-05-07 Seoul National University R&Db Foundation Apparatus and method for reconstructing three-dimensional image
US20200372301A1 (en) * 2019-05-21 2020-11-26 Retrace Labs Adversarial Defense Platform For Automated Dental Image Classification
WO2020238817A1 (en) * 2019-05-24 2020-12-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for processing x-ray images
CN112767265A (zh) * 2021-01-11 2021-05-07 明峰医疗系统股份有限公司 用于ct图像的去金属伪影分割图像校正方法、系统及计算机可读存储介质
US11890124B2 (en) 2021-02-01 2024-02-06 Medtronic Navigation, Inc. Systems and methods for low-dose AI-based imaging
KR102591665B1 (ko) * 2021-02-17 2023-10-18 연세대학교 산학협력단 인공 신경망을 이용한 ct 영상 보정 장치 및 방법
GB202107492D0 (en) * 2021-05-26 2021-07-07 Vitaware Ltd Image processing method
CN113554563B (zh) * 2021-07-23 2024-05-14 上海友脉科技有限责任公司 一种医学图像处理方法、介质及电子设备
CN115063641B (zh) * 2022-08-19 2022-11-29 青岛美迪康数字工程有限公司 一种基于深度学习的ct伪影识别方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330319A1 (en) 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
US20170365047A1 (en) 2016-06-15 2017-12-21 General Electric Company Artifact management in imaging

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6634800A (en) 1999-08-11 2001-03-05 Case Western Reserve University Method and apparatus for producing an implant
US6721387B1 (en) * 2001-06-13 2004-04-13 Analogic Corporation Method of and system for reducing metal artifacts in images generated by x-ray scanning devices
EP1714255B1 (en) * 2004-02-05 2016-10-05 Koninklijke Philips N.V. Image-wide artifacts reduction caused by high attenuating objects in ct deploying voxel tissue class
US9492245B2 (en) 2004-02-27 2016-11-15 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
US7711406B2 (en) * 2005-11-23 2010-05-04 General Electric Company System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging
US7844429B2 (en) 2006-07-19 2010-11-30 Align Technology, Inc. System and method for three-dimensional complete tooth modeling
EP2188776B1 (en) * 2007-08-31 2011-05-25 Koninklijke Philips Electronics N.V. Uncertainty maps for segmentation in the presence of metal artifacts
US8439672B2 (en) 2008-01-29 2013-05-14 Align Technology, Inc. Method and system for optimizing dental aligner geometry
US8108189B2 (en) 2008-03-25 2012-01-31 Align Technologies, Inc. Reconstruction of non-visible part of tooth
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8503750B2 (en) * 2009-10-06 2013-08-06 General Electric Company Method and apparatus for reduction of metal artifacts in CT images
EP2560572B1 (en) 2010-04-20 2019-06-12 Dental Imaging Technologies Corporation Reduction and removal of artifacts from a three-dimensional dental x-ray data set using surface scan information
US8938113B2 (en) 2010-07-26 2015-01-20 Kjaya, Llc Adaptive visualization for direct physician use
US8761493B2 (en) 2011-07-21 2014-06-24 Carestream Health, Inc. Method and system for tooth segmentation in dental images
DE102012206714A1 (de) * 2011-08-10 2013-02-14 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen
US9135498B2 (en) 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140227655A1 (en) 2013-02-12 2014-08-14 Ormco Corporation Integration of model data, surface data, and volumetric data
US9349198B2 (en) * 2013-07-26 2016-05-24 General Electric Company Robust artifact reduction in image reconstruction
US10456229B2 (en) 2014-05-09 2019-10-29 3Shape A/S Scanning of edentulous patients
DE102014007095A1 (de) * 2014-05-14 2015-11-19 Universität Zu Lübeck Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern
EP3145411B1 (en) 2014-05-22 2023-03-08 Carestream Dental Technology Topco Limited Method for 3-d cephalometric analysis
US9953425B2 (en) 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9934597B2 (en) * 2014-09-11 2018-04-03 Carestream Health, Inc. Metal artifacts reduction in cone beam reconstruction
US9655580B2 (en) * 2014-10-24 2017-05-23 General Electric Company Systems and methods for metal artifact reduction
US9498179B1 (en) * 2015-05-07 2016-11-22 General Electric Company Methods and systems for metal artifact reduction in spectral CT imaging
US10013779B2 (en) * 2015-06-22 2018-07-03 Toshiba Medical Systems Corporation Metal artifact reduction for 3D-digtial subtraction angiography
DE102015212953B4 (de) * 2015-07-10 2024-08-22 Siemens Healthineers Ag Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
AU2016308097B2 (en) 2015-08-15 2018-08-02 Salesforce.Com, Inc. Three-dimensional (3D) convolution with 3D batch normalization
JP2017102622A (ja) 2015-11-30 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10032271B2 (en) 2015-12-10 2018-07-24 3M Innovative Properties Company Method for automatic tooth type recognition from 3D scans
JP6873600B2 (ja) 2016-03-04 2021-05-19 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
DE102016204226A1 (de) * 2016-03-15 2017-09-21 Siemens Healthcare Gmbh Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern
JP6780948B2 (ja) * 2016-03-28 2020-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
EP3471657A1 (en) 2016-06-21 2019-04-24 Nobel Biocare Services AG Method for estimating at least one of shape, position and orientation of a dental restoration
US11291532B2 (en) 2016-07-27 2022-04-05 James R. Glidewell Dental Ceramics, Inc. Dental CAD automation using deep learning
RU2753920C2 (ru) 2016-08-22 2021-08-24 Колибри Сас Система для контроля соблюдения гигиены полости рта и система теле-стоматологии
US20200022790A1 (en) 2016-10-10 2020-01-23 3Shape A/S Common Placement Support for Artificial Teeth
US10660728B2 (en) 2016-10-20 2020-05-26 Baliram Maraj Systems and methods for dental treatment utilizing mixed reality and deep learning
CN106618760B (zh) 2016-12-07 2019-11-08 上海牙典医疗器械有限公司 一种设计正畸矫治方案的方法
CN108205806B (zh) 2016-12-20 2020-10-09 北京大学 一种锥束ct图像三维颅面结构的自动解析方法
US11638626B2 (en) 2016-12-30 2023-05-02 Carestream Dental Technology Topco Limited Reconstruction of a virtual computed-tomography volume to track orthodontics treatment evolution
WO2018175486A1 (en) 2017-03-20 2018-09-27 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
IL271743B2 (en) 2017-06-30 2024-08-01 Promaton Holding Bv Classification and 3D model of dental structures - 3D maxilla using deep learning methods
FR3069359B1 (fr) 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
FR3069355B1 (fr) 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US10997727B2 (en) 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US11120551B2 (en) * 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
CN108305684A (zh) 2018-02-28 2018-07-20 成都贝施美医疗科技股份有限公司 正畸治疗模拟方法、装置及终端设备
CN110473283B (zh) 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
EP3591616A1 (en) 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
EP3620130A1 (en) 2018-09-04 2020-03-11 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
EP3671531A1 (en) 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
US11461244B2 (en) 2018-12-20 2022-10-04 Intel Corporation Co-existence of trust domain architecture with multi-key total memory encryption technology in servers
EP3767521A1 (en) 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
EP3767531A1 (de) 2019-07-19 2021-01-20 Becton Dickinson Rowa Germany GmbH Verfahren zum vermessen und verifizieren von arzneimittelportionen sowie computerprogrammprodukte
US10932890B1 (en) 2019-11-14 2021-03-02 Pearl Inc. Enhanced techniques for determination of dental margins in intraoral scans

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330319A1 (en) 2016-05-12 2017-11-16 Siemens Healthcare Gmbh Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
US20170365047A1 (en) 2016-06-15 2017-12-21 General Electric Company Artifact management in imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GJESTEBY et al.，Deep Learning Methods for CT Image-Domain Metal Artifact Reduction，Proc. of SPIE，2017年09月25日，Vol. 10391，103910W-1-103910W-6
ZHANG et al.，CT artifact reduction via U-net CNN，Proc. of SPIE，2018年03月05日，Vol. 10574，105741R-1-105741R-6

Also Published As

Publication number Publication date
KR20210005649A (ko) 2021-01-14
JP2021521962A (ja) 2021-08-30
CN112313715A (zh) 2021-02-02
US11494957B2 (en) 2022-11-08
CA3097814A1 (en) 2019-10-31
BR112020021508A2 (pt) 2021-01-19
US20210110584A1 (en) 2021-04-15
WO2019207144A1 (en) 2019-10-31
EP3785234A1 (en) 2021-03-03
IL278168A (en) 2020-11-30
EP3561778A1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
JP7494125B2 (ja) ディープラーニング技法を用いたｘ線データの金属影響ボクセル表現の自動補正
CN110998602B (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
CN110570492B (zh) 一种基于神经网络的ct伪影抑制方法、设备以及介质
EP3195265B1 (en) Iterative image reconstruction with a sharpness driven regularization parameter
JP7194143B2 (ja) 肝臓腫瘍例のレビューを容易にするシステムおよび方法
US9934597B2 (en) Metal artifacts reduction in cone beam reconstruction
US7978886B2 (en) System and method for anatomy based reconstruction
US20200151921A1 (en) Methods for metal artifact reduction in cone beam reconstruction
US9672641B2 (en) Method, apparatus, and computer readable medium for removing unwanted objects from a tomogram
CN111223156A (zh) 一种用于牙科锥束ct系统的金属伪影消除方法
Park et al. Metal artifact reduction in CT by identifying missing data hidden in metals
US20220092787A1 (en) Systems and methods for processing x-ray images
JP5635732B2 (ja) 複数繰り返しアルゴリズムの進行的な収束
KR102477991B1 (ko) 의료 영상 처리 방법 및 장치
EP3725227B1 (en) Method of calibrating x-ray projection geometry in x-ray cone beam computed tomography
Wang et al. Inner-ear augmented metal artifact reduction with simulation-based 3D generative adversarial networks
CN113226184B (zh) 在x射线牙科体积断层扫描中金属伪影减少的方法
EP3404618B1 (en) Poly-energetic reconstruction method for metal artifacts reduction
Wang et al. Metal Artifacts Reducing Method Based on Diffusion Model Using Intraoral Optical Scanning Data for Dental Cone-beam CT

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240522

R150 Certificate of patent or registration of utility model

Ref document number: 7494125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150