JP7412334B2 - 深層学習法を使用する３ｄ歯データの自動分類および分類法 - Google Patents

深層学習法を使用する３ｄ歯データの自動分類および分類法 Download PDF

Info

Publication number
JP7412334B2
JP7412334B2 JP2020519080A JP2020519080A JP7412334B2 JP 7412334 B2 JP7412334 B2 JP 7412334B2 JP 2020519080 A JP2020519080 A JP 2020519080A JP 2020519080 A JP2020519080 A JP 2020519080A JP 7412334 B2 JP7412334 B2 JP 7412334B2
Authority
JP
Japan
Prior art keywords
voxels
tooth
neural network
deep neural
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020519080A
Other languages
English (en)
Other versions
JP2020535897A (ja
Inventor
ダーフィット・アンサーリ・モイン
フランク・テオドルス・カタリーナ・クラーセン
バース・アレクサンデル・フェルヘイ
Original Assignee
プロマトン・ホールディング・ベー・フェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロマトン・ホールディング・ベー・フェー filed Critical プロマトン・ホールディング・ベー・フェー
Publication of JP2020535897A publication Critical patent/JP2020535897A/ja
Application granted granted Critical
Publication of JP7412334B2 publication Critical patent/JP7412334B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Description

本発明は、深層学習法を使用する3D歯データの自動位置特定、分類、および分類法に関し、詳細には、排他的にではないが、深層学習法を使用する3D歯データの自動位置特定、分類、および分類法、そのような深層学習ニューラルネットワークを訓練するための方法、ならびにそのような方法を使用するためのコンピュータプログラム製品に関する。
歯のタイプおよび歯の配置の信頼できる識別は、(限定はしないが)歯科治療および歯科報告、歯科矯正、下顎矯正術、法医学、ならびに生体測定を含む広範囲の用途において非常に重要な役割を果たす。したがって、公知の歯科表記方式に従って歯を分類および番号付けするプロセスを自動化または少なくとも部分的に自動化するために、様々なコンピュータ支援技法が開発されてきた。加えて、歯を確実に分類および類型化するために必要な時間のいかなる短縮も、そのような利用分野において有益である。
本開示の目的のため、「歯(tooth)」は、歯冠と歯根とを含む歯全体を指し、「歯(teeth)」は、2つ以上の歯からなる任意の歯のセットを指すが、単一の人に由来する歯のセットは、「歯列」に由来するものと呼ばれる。歯列は、必ずしも個人の歯の総セットを含むとは限らない。さらに、「分類」は、観察またはサンプルがカテゴリーのセットのどれに属するかを識別することを指す。歯分類法の場合、分類は単一の歯がどのカテゴリ(またはラベル)に属するかを識別するプロセスを指す。「分類法」は、単一の歯列からのすべての個々の歯に関する歯クラスを導出するプロセスを指し、3D歯データは、任意の歯(のセット)の任意のデジタル表現、例えば、充填ボリュームの3Dボクセル表現、ボリューム内の密度、3D表面メッシュなどを指す。さらに、歯列を表す3D歯データは、歯の完全なセット、または完全なセットの一部のいずれかを含んでもよい。特に明記しない限り、本出願において、「セグメンテーション」という用語は、セマンティックセグメンテーションを指し、これは、入力空間の各ボクセルが特定のオブジェクトクラスでラベル付けされるように、すべてのボクセルに関する密な予測を指す。領域境界を見つけることに関する境界ボックスセグメンテーションとは対象的に、セマンティックセグメンテーションは、入力データ空間内に意味論的に解釈可能な3Dマスクをもたらす。
例えば、米国特許出願公開第2017/0169562号は、口腔内光学3Dスキャンに基づく自動歯タイプ認識のためのシステムについて説明している。そのような口腔内光学スキャナは、歯の露出した部分、すなわち、歯の歯冠の3Dスキャンを生成することができる。各歯冠の形状は、3Dスキャンから導出され、面と頂点とを含む3Dメッシュの形式において表される。これらの3Dメッシュは、その後、各歯に関する集約特徴を決定するために使用される。そのようにして得られた集約特徴および関連する歯タイプは、次いで、サポートベクトルマシンまたは決定木などの従来の機械学習方法を利用して分類子を訓練するための訓練データとして使用される。
このシステムは、入力データとして高解像度口腔内3Dスキャンを処理することができるが、コーンビームコンピュータ断層撮影(CBCT: Cone Beam Computed tomography)を使用して生成される容積測定歯顎顔面画像を処理することができない。CBCTは、X線放射が低放射線量の発散型コーンに成形されるX線コンピュータ断層撮影を使用する医療撮像技法である。CBCT撮像は、歯科分野において最も使用されている3D撮像技法であり、顎骨(の一部)と、歯冠と歯根とを含む完全なまたは部分的な歯構造と、下歯槽神経(の一部)とを含む場合がある歯顎顔面構造の3D画像データを生成する。しかしながら、スキャン内の異なる領域が、スキャンされている器官内のそれらの相対的な位置に応じて異なるグレースケール値で表示されるので、CBCT画像データの画像分析は、CBCTスキャンにおいてハウンスフィールド単位(HU: Hounsfield Unit)で測定された無線密度が一貫していないので、重大な問題を引き起こす。CBCTと医療グレードのCTスキャナの両方で同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有の、X線撮影で識別された骨密度の決定について信頼できない。
さらに、歯顎顔面構造をスキャンするためのCBCTシステムは、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いない。これらの値は、そのように任意であり、例えば、骨質の評価を可能にしない。そのような標準化がない場合、グレーレベルを解釈することが困難になるか、または、異なるマシンから得られた値を比較することが不可能になる。さらに、歯根および顎骨構造は、コンピュータが、例えば、歯に属するボクセルと顎に属するボクセルとを区別するのが困難であるように、同様の密度を有する。加えて、CBCTシステムは、いわゆるビーム硬化に非常に敏感であり、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する。上記の問題は、歯顎顔面構造の完全自動セグメンテーションおよびセグメント化された歯構造の分類、より一般的には、3D CBCT画像データから導出された3D歯データの自動分類法を特に難しくする。
この問題は、例えば、Mikiらによる論文、「Classification of teeth in cone-beam CT using deep convolutional neural network」、Computers in Biology and Medicine 80(2017)、24～29頁において論じられ、例示されている。この論文において、歯の2D CBCT境界ボックスセグメンテーションを7つの異なる歯タイプに分類するために訓練された2D深層畳み込みニューラルネットワークシステムについて説明されている。この論文において説明されているように、CBCT画像データの分析に関連する問題のため、アキシャル2Dスライスからの歯を囲む関心領域(境界ボックス)の手動選択と、金属人工物を含むROIの削除とを含む、訓練データとテストデータの両方の手動前処理が必要であった。
彼らの論文において、Mikiらは、2D CNN層の代わりに3D CNN層を使用して精度が改善され得ることを示唆した。同じニューラルネットワークアーキテクチャの原理を利用し、しかしながら、これらを3Dバリアントに変形すると、データの粒度、特に、適用可能な直交方向における最大解像度(例えば、2Dピクセルまたは3Dボクセルであるデータポイントごとに表されるmm)に関する妥協につながる。計算要件、特に、処理に必要なメモリ帯域幅を考慮すると、そのような3D境界ボックスボクセルは、2Dアキシャルスライスの2D境界ボックスについて可能であるよりもかなり低い解像度を有することになる。したがって、歯を含む3Dボリューム全体で利用可能な情報を有することの利点は、妥当な計算負荷に基づいてボクセルを処理するために必要な画像のダウンサンプリングによる情報の除去によって、実際には軽視される。特に、例えば、個々の歯の間、または骨と歯の間の移行などの、3D CBCTデータの面倒な領域において、これは、歯ごとの十分に正確な分類結果に悪影響を及ぼす。
以前に論じたMikiらによる論文が、手動の境界ボックスセグメンテーションに基づく自動分類を考慮する場合、自動境界ボックスセグメンテーション(したがって、歯の位置特定、および完全自動分類の可能性)は、同じ著者のMikiらによって後に公開された論文、「Tooth labelling in cone-beam CT using deep convolutional neural network for forensic identification」、Progress in Biomedical Optics and Imaging 10134(2017)、101343E-1～10134E-6頁において扱われている。この論文において、再び、CBCTスキャンのアキシャルスライスの2D領域において、畳み込みニューラルネットワークは、歯の領域に属するピクセルごとの可能性を示すヒートマップを作成するために訓練されて利用される。このヒートマップは、フィルタリングされ、歯を含む2D境界ボックスが、非最大抑制方法によって選択される。彼らの最初に論じた論文において参照されているように、畳み込みニューラルネットワークを訓練するために正および負の例の境界ボックスが用いられ、訓練されたネットワークが評価された。再び、この方法を3Dデータ画像において機能するように適合させようとする場合、上記と同じ考慮事項が考慮される必要がある。同じニューラルネットワークアーキテクチャの原理の、3Dヒートマップを生成するための3D CNNへの変換は、大幅に長い処理時間をもたらすことになる。加えて、この場合でも、帯域幅制限に対処するためのダウンサンプリングの必要性は、セグメンテーションおよび分類のパフォーマンスに悪影響を及ぼす。
したがって、Mikiらによって説明された2Dケースを3Dケースに外挿しようとすることは、ほとんどすべての場合、元の入力データセットの解像度から可能であるよりも低い精度を有する境界ボックス(ボクセル)につながり、それによって、ピクセルが歯の領域の一部であることの信頼性を正確に予測することを大幅に低下させる(例えば、顎骨を含むスライスの一部であるが、偶然に歯「のように見える」ピクセルが、歯の高い信頼度に誤って起因する場合がある)。低解像度は、分類結果の精度に特に影響を及ぼすことになる。ネットワークは、隣接する歯構造、組織構造、骨構造などを考慮する情報をほとんどまたはまったく受信しない。そのような情報は、Mikiらによって調査されたように歯の7つのクラスを決定するために非常に価値があるだけでなく、成人の健康な歯列内に存在する場合がある32個の個々の歯のタイプすべてを考慮してより高い分類精度の可能性ももたらす。
加えて、歯の一部がスキャンデバイスの視野を超えている象限のCBCTスキャンの場合にしばしば生じるように、歯が受信された3D画像において部分的にのみ存在する場合、ネットワークが完全な歯を含む画像においてトレーニングされたという事実は、歯の領域の識別と歯の分類の両方にやはり有害である。
上記の問題は、特に、3D歯データの自動分類法が容積測定3D CBCTデータに基づく場合、特定の計算制約内で3D歯データの完全に自動化された位置特定、分類、および分類法が可能なシステムの実現を非常に困難にする。
米国特許出願公開第2017/0169562号
Mikiら、「Classification of teeth in cone-beam CT using deep convolutional neural network」、Computers in Biology and Medicine 80(2017)、24～29頁 Mikiら、「Tooth labelling in cone-beam CT using deep convolutional neural network for forensic identification」、Progress in Biomedical Optics and Imaging 10134(2017)、101343E-1～10134E-6頁
したがって、当該技術分野において、3D歯データ、特に、不均一な容積測定3D CBCT画像データから導出された3D歯データのセットを正確に位置特定し、個々の歯タイプに分類し、類型化するように適合されたコンピュータシステムが必要である。特に、当該技術分野において、3D歯データを、正確かつタイムリーに位置特定し、3Dにおける歯を表すデータのセットを成人の32本の可能な歯に対応するオブジェクトにリンクするデータ構造への歯タイプに分類し、類型化するように適合されたコンピュータシステムが必要である。
当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ることができ、これらはすべて、本明細書では、「回路」、「モジュール」、または「システム」と概して呼ばれる場合がある。本開示において説明される機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。さらに、本発明の態様は、コンピュータ可読プログラムコードが具現化された、例えば、記憶された、1つまたは複数のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態を取ってもよい。
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の適切な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、以下、すなわち、1つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または前述の任意の適切な組合せを含む。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含むかまたは記憶することができる任意の有形媒体であってもよい。
コンピュータ可読信号媒体は、例えば、ベースバンド内または搬送波の一部としてコンピュータ可読プログラムコードがその中に具現化された伝播データ信号を含んでもよい。そのような伝播信号は、限定はしないが、電磁気、光学、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体上に具現化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または前述の任意の適切な組合せを含む任意の適切な媒体を使用して送信されてもよい。本発明の態様に関する動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、C++、Pythonなどの関数型またはオブジェクト指向プログラミング言語と、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれてもよい。プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、または、リモートコンピュータ、サーバ、もしくは仮想化サーバ上で完全に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、通信は、(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータに対してなされてもよい。
本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下に説明する。フローチャート図および/またはブロック図の各ブロック、ならびに、フローチャート図および/またはブロック図中のブロックの組合せがコンピュータプログラム命令によって実装され得ることが理解されよう。これらのコンピュータプログラム命令は、
コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装するための手段を作成するように、マシンを生成するために、プロセッサ、特に、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のマイクロプロセッサもしくは中央処理装置(CPU)、またはグラフィックス処理ユニット(GPU)に提供されてもよい。
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶された命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装する命令を含む製品を生成するように、特定の方法で機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶されてもよい。
コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他のデバイスにおいて一連の動作ステップを実行させるために、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされてもよい。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、フローチャートまたはブロック図中の各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表す場合がある。いくつかの代替実装形態において、ブロック内に記載された機能が図中に記載された順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行される場合があり、または、ときには、関連する機能に応じて逆の順序で実行される場合がある。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図中のブロックの組合せは、指定された機能もしくは動作を実行する専用ハードウェアベースのシステム、または、専用ハードウェアとコンピュータ命令との組合せによって実装され得る。
第1の態様において、本発明は、歯顎顔面構造を表す3Dデータを処理するためのコンピュータ実施方法に関する場合がある。方法は、コンピュータが3Dデータ、好ましくは3DコーンビームCT、CBCT、データを受信するステップであって、3Dデータが歯顎顔面構造のボクセル表現を含み、歯顎顔面構造が歯列を備え、ボクセルが少なくとも放射強度値に関連付けられており、ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、コンピュータがボクセル表現を第1の3D深層ニューラルネットワークの入力に提供するステップであって、3D深層ニューラルネットワークがボクセル表現のボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように訓練されており、第1の深層ニューラルネットワークが、第1の畳み込み経路を定義する複数の第1の3D畳み込み層と、第1の畳み込み経路と平行な第2の畳み込み経路を定義する複数の第2の3D畳み込み層とを備え、第1の畳み込み経路がボクセル表現のボクセルの第1のブロックをその入力において受信するように構成され、第2の畳み込み経路がボクセル表現のボクセルの第2のブロックをその入力において受信するように構成され、ボクセルの第1および第2のブロックが画像ボリューム内の同じまたは実質的に同じ中心点を有し、ボクセルの第2のブロックがボクセルの第1のブロックの実世界の寸法におけるボリュームよりも大きい実世界の寸法におけるボリュームを表し、第2の畳み込み経路がボクセルの第1のブロックのボクセルに関するコンテキスト情報を決定し、第1および第2の畳み込み経路の出力が、ボクセルの第1のブロックのボクセルを1つまたは複数の歯クラスに分類するための少なくとも1つの完全接続層に接続されている、ステップと、コンピュータが、第1の3D深層ニューラルネットワークの出力から歯顎顔面構造のボクセル表現の分類されたボクセルを受信するステップとを含んでもよい。
そのような3Dニューラルネットワークアーキテクチャを用いることによって、個々の歯分類が、最新のハードウェア制限を考慮して、適切なスケールにおいて、問題に関連するできるだけ多くの情報に基づいて訓練され、その情報を使用して推論され得る。(受信された3Dデータのネイティブ解像度においてセマンティックセグメンテーションをもたらす)歯構造のローカリゼーションと、(成人の健康な歯列内に一意に存在する可能性があるものとして各歯を一意に分類する)そのような構造の分類の両方を考慮すると、極めて高性能であるだけでなく、多数の出力ボクセルを並行して処理するその能力により、必要な持続時間を考慮しても高性能である。サンプルが3D深層ニューラルネットワークに提供される性質のために、分類は、スキャンにおいて部分的にのみ存在する歯に対しても実行され得る。
一実施形態において、ボクセルの第2のブロックのボリュームは、ボクセルの第1のブロックのボリュームよりも大きくてもよく、ボクセルの第2のブロックは、ボクセルの第1のブロックのダウンサンプリングされたバージョンを表し、好ましくは、ダウンサンプリング係数は、20と2との間、好ましくは、10と3との間で選択される。
一実施形態において、方法は、コンピュータが分類されたボクセルに基づいて歯顎顔面構造の単一の歯の1つまたは複数のボクセル表現を決定するステップと、コンピュータが単一の歯の1つまたは複数のボクセル表現の各々を第2の3D深層ニューラルネットワークの入力に提供するステップであって、第2の3D深層ニューラルネットワークが単一の歯のボクセル表現を歯列の複数の歯クラスのうちの1つに分類するように訓練されており、各歯クラスが候補歯クラスラベルに関連付けられており、第2の訓練された3Dニューラルネットワークが候補歯クラスラベルの各々についてアクティベーション値を生成し、候補歯クラスラベルに関連付けられたアクティベーション値が、単一の歯のボクセル表現が候補歯クラスラベルによって示される歯クラスを表す可能性を定義する、ステップとをさらに含む。
一実施形態において、方法は、候補歯列状態を定義するステップであって、各候補状態が、アクティベーション値に基づいて候補歯クラスラベルを単一の歯の複数のボクセル表現の各々に割り当てることによって形成される、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが単一の歯の異なるボクセル表現に割り当てられることを要求する、ステップとを含む、歯列の分類法を決定するステップをさらに含んでもよい。
一実施形態において、方法は、コンピュータが歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、3D位置特徴情報が、ボクセル表現内のボクセルごとに、画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対するボクセルの位置に関する情報を定義する、ステップと、コンピュータが3Dデータを第1の深層ニューラルネットワークの入力に提供する前に3D位置特徴情報を3Dデータに追加するステップであって、追加された3D位置特徴情報が追加のデータチャネルを3Dデータに提供する、ステップとをさらに含んでもよい。
一実施形態において、方法は、コンピュータが第3の訓練されたニューラルネットワークに基づいて第1の3D深層ニューラルネットワークによって分類されたボクセルを後処理するステップであって、第3の深層ニューラルネットワークが、その入力において第1の深層ニューラルネットワークによって分類されたボクセルを受信し、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練されており、好ましくは、第3のニューラルネットワークが、入力として第1の深層ニューラルネットワークの訓練中に分類されたボクセルに基づいて、および、ターゲットとして訓練セットの3D画像データの歯顎顔面構造の一部の1つまたは複数の3Dデータセットに基づいて訓練されている、ステップをさらに含んでもよい。
さらなる態様において、本発明は、歯顎顔面構造の3D画像データを処理するために深層ニューラルネットワークシステムを訓練するための方法に関する。方法は、コンピュータが訓練データを受信するステップであって、訓練データが3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、3D入力データがそれぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられており、ボクセル表現のボクセルが画像ボリュームを定義し、訓練データが訓練データの3D入力データによって表される歯顎顔面構造の一部の3Dデータセットをさらに含む、ステップと、コンピュータが歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、3D位置特徴情報が、ボクセル表現内のボクセルごとに、画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対するボクセルの位置に関する情報を定義する、ステップと、ボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように第1の深層ニューラルネットワークを訓練するために訓練データと1つまたは複数の3D位置特徴とを使用するステップとを含んでもよい。
一実施形態において、方法は、第1の深層ニューラルネットワークによって分類されたボクセルを後処理するように第2のニューラルネットワークを訓練するために、第1の深層ニューラルネットワークによる訓練中に分類されたボクセルと、訓練セットの3D画像データの歯顎顔面構造の一部の1つまたは複数の3Dデータセットとを使用するステップをさらに含んでもよく、第3のニューラルネットワークによる後処理は、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む。
一実施形態において、方法は、第1の深層ニューラルネットワークへの訓練入力として使用されている少なくとも3D画像データからボクセルのサブセットを選択するために、少なくとも第1の深層ニューラルネットワークを訓練するためのターゲットとして使用される単一の歯のボクセル表現である3Dデータセットを使用するステップであって、サブセットが第3の深層ニューラルネットワークの訓練のための入力として使用されている、ステップと、第3の深層ニューラルネットワークを訓練するためのターゲット歯クラスラベルとして、少なくとも第1の深層ニューラルネットワークを訓練するためのターゲットとして機能する3Dデータに関連付けられた歯クラスラベルを使用するステップとを含んでもよい。
一態様において、方法は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類アルゴリズムと深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、訓練された深層ニューラルネットワークがその入力において3D画像データを受信する動作と、画像ボリューム内のボクセルの少なくとも一部を1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作とを含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
一態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、歯列の分類法を決定する動作であって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、評価することを含む、決定する動作と、を含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に類型化するように適合されたコンピュータ、好ましくはサーバシステムに関してもよい。
一態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信する動作と、画像ボリューム内のボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、第2の訓練された深層ニューラルネットワークが第1の訓練された深層ニューラルネットワークの結果を受信し、受信されたボクセル表現の個々の歯ごとのサブセットを歯クラスに関する個々のラベルに分類する動作と、歯列の分類法を決定する動作であって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが異なる3D画像データセットに割り当てられることを要求する、評価することを含む、決定する動作と、を含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
一態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関し、サーバシステムが請求項10から12に従って歯の3D画像データを自動的に類型化するように適合されており、クライアント装置が、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを送信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、歯の3D画像データをセグメント化、分類、および類型化するようにサーバシステムに要求する動作と、複数の3D画像データセットを受信する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、複数の3D画像データセットが歯列を形成する、動作と、1つまたは複数の3D画像データセットに関連付けられた1つまたは複数の歯クラスラベルを受信する動作と、ディスプレイ上で1つまたは複数の3D画像データセットと1つまたは複数の関連する歯クラスラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
一態様において、本発明は、コンピュータが3D画像データセットのうちの1つまたは複数を受信するステップであって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、ステップと、コンピュータが3D画像データセットの各々を前処理するステップであって、前処理が歯の形態、好ましくは、歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルの各々を位置決めおよび配向することを含む、ステップと、コンピュータが訓練された深層ニューラルネットワークの入力に前処理された3D画像データセットの各々を提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとに、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられたアクティベーション値を生成するステップを含む、歯の3D画像データの自動分類のためのコンピュータ実施方法に関する。
一実施形態において、前処理するステップは、3D歯モデルの長手方向軸位置を決定し、画像ボリューム内に3D歯モデルを配置するために、長軸位置、好ましくは軸部分上の点を使用するステップと、オプションで、3D歯モデルまたはそのスライスの重心および/または大容量部分を決定し、画像ボリューム内の3D歯モデルを配向するために、そのスライスの重心および/または大容量部分を使用するステップとをさらに含む。
したがって、本発明は、複数の候補歯ラベルからの少なくとも1つの歯ラベルを3D画像データセットに割り当てることによって、個々の3D歯モデルを表す少なくとも1つの3D画像データセットを分類する3D深層ニューラルネットワークを含むコンピュータを含んでもよい。3D画像データセットの入力に供給される前に、3D画像データセットは、3D歯モデルに画像ボリューム内の標準化された配向を提供するためにコンピュータによって前処理される。このようにして、3D歯モデルの画像ボリューム内のランダムな配向が均一の正規化された配向に設定され、例えば、画像ボリュームの中央に配向され、3D歯モデルの長手方向軸がz軸に平行であり、3D歯モデルの歯冠が負のz方向を指し、3D歯モデルの重心を通る半径方向軸が正のx方向を指す。歯の形態に基づく前処理は、3D深層ニューラルネットワークが3D歯モデルの回転変動に敏感であるという問題を持ち出す。
一実施形態において、コンピュータは、歯列の一部である複数の3D画像データセットを受信してもよい。その場合、方法は、候補歯列状態を定義するステップであって、各候補歯列状態が、アクティベーション値に基づいて候補歯ラベルを複数の3D画像データセットの各々に割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の候補のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求し、好ましくは、候補歯列状態が評価される順序が候補歯列状態に関連付けられたアクティベーション値の高さに基づく、ステップとを含む、歯列の分類法を決定するステップをさらに含んでもよい。
さらなる態様において、本発明は、コンピュータが複数の3D画像データセットを受信するステップであって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられており、複数の3D画像データセットが歯列の一部である、ステップと、コンピュータが、3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供するステップと、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとにアクティベーション値を生成するステップであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する、ステップと、コンピュータが歯列の分類法を決定するステップであって、候補歯列状態を定義するステップであって、各候補状態が、アクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されているステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとを含むステップとを含む、歯の3D画像データの自動分類法のためのコンピュータ実施方法に関してもよい。
したがって、本発明は、訓練された3D深層ニューラルネットワークと後処理方法とを使用して、歯列を形成する3D画像データセットの完全自動化された分類法を提供する非常に正確な方法をさらに提供してもよい。後処理中、歯列を形成する複数の3D画像データセットの分類結果、すなわち、各3D画像セットに関する候補歯ラベルおよび関連するアクティベーション値は、歯列の正確な分類法を提供するために、1つまたは複数の条件に基づいて評価されてもよい。
一実施形態において、歯列の分類法を決定するステップは、候補歯列状態を定義するステップであって、各候補歯列状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとをさらに含んでもよい。
さらなる態様において、本発明は、コンピュータが3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信するステップであって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、ステップと、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するステップと、分類された歯ボクセルを複数の3D画像データセットにセグメント化するステップであって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義する、ステップと、コンピュータが3D画像データセットの各々を第2の訓練された深層ニューラルネットワークの入力に提供するステップと、第2の訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとにアクティベーション値を生成するステップであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補ラベルに関連付けられる、ステップを含む、歯の3D画像データの自動セグメンテーションおよび分類のためのコンピュータ実施方法に関する。
本発明は、歯顎顔面構造が歯列を含む3D画像データ、例えば、(CB)CT3D画像データセットの完全に自動化されたセグメンテーションおよび分類の方法であって、各3D画像データセットが3D歯モデルを形成する3D画像データセットが第1の訓練された深層ニューラルネットワークを使用して生成され、3D画像データセットが歯ラベルを3D画像データセットの各々に割り当てることによって分類される、方法も提供してもよい。
一実施形態において、セグメント化するステップは、前処理アルゴリズムが歯顎顔面構造の1つまたは複数の3D位置特徴を決定するためにボクセルを使用するステップであって、1つまたは複数の3D位置特徴が第1の深層ニューラルネットワークへの入力用に構成されており、3D位置特徴が画像ボリューム内のボクセルの位置情報を定義する、ステップと、第1の深層ニューラルネットワークが、その入力において3D画像データと1つまたは複数の決定された位置特徴とを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するために1つまたは複数の位置特徴を使用するステップとを含んでもよい。
一実施形態において、位置情報は、画像ボリューム内のボクセルと画像ボリューム内の第1の歯科基準面との間の距離、好ましくは垂直距離、画像ボリューム内のボクセルと画像ボリューム内の第1の歯科基準オブジェクトとの間の距離、および/または、画像ボリュームの第2の基準面における累積強度値の位置を定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。
一実施形態において、方法は、候補歯列状態を定義するステップであって、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとを含む、歯列の分類法を決定するステップを含んでもよい。
さらなる態様において、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが前処理アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データセットのうちの1つまたは複数を受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、動作と、3D画像データセットの各々を前処理する動作であって、前処理する動作が、歯の形態、好ましくは、歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルの各々を位置決めおよび配向することを含む、動作と、前処理された3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類する、動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられる、生成することを含む、歯の3D画像データを自動的に分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
さらなる態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、複数の3D画像データセットを受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられており、複数の3D画像データセットが歯列を形成する、動作と、3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類する動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられる、生成することと、歯列の分類法を決定することであって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに関連付けられることを要求する、評価することを含む、歯列の分類法を決定することとを含む、歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
一態様において、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードがセグメンテーションアルゴリズムと第1および第2の深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類する動作と、分類された歯ボクセルを複数の3D画像データセットにセグメント化する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義する、動作と、3D画像データセットの各々を第2の訓練された深層ニューラルネットワークの入力に提供し、第2の訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類する、動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯タイプラベルによって示される歯タイプを表す可能性を定義する候補ラベルに関連付けられる、生成することを含む、歯の3D画像データを自動的にセグメント化および分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
さらなる態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関してもよく、サーバシステムは、上記で説明したように歯の3D画像データを自動的に類型化するように適合されており、クライアント装置は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサは、第1の3D画像データセットのうちの1つまたは複数をサーバシステムに送信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、動作と、歯の3D画像データを類型化するようにサーバシステムに要求する動作と、サーバシステムから第2の3D画像データセットのうちの1つまたは複数を受信する動作であって、第2の3D画像データセットのうちの1つまたは複数が1つまたは複数の第1の3D画像データセットに基づいてサーバシステムによって生成されており、生成する動作が、3D画像データセットの各々を処理することを含み、処理することが、歯の形態、好ましくは歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルを位置決めおよび配向することを含む、動作と、それぞれ1つまたは複数の第2の3D画像データセットに関連付けられた1つまたは複数の歯ラベルを受信する動作と、ディスプレイ上に1つまたは複数の第2の3D画像データセットと1つまたは複数の関連する歯ラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
一態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関してもよく、サーバシステムは、請求項13に従って歯の3D画像データを自動的にセグメント化および分類するように適合されており、クライアント装置は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサは、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを送信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、サーバシステムに3D画像データをセグメント化および分類するように要求する動作と、複数の3D画像データセットを受信する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、複数の3D画像データセットが歯列を形成する、動作と、1つまたは複数の3D画像データセットに関連付けられた1つまたは複数の歯ラベルを受信する動作と、ディスプレイ上に1つまたは複数の3D画像データセットと1つまたは複数の関連する歯ラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
本発明は、コンピュータのメモリ内で実行されると、上記で説明した方法のいずれかを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品にも関してもよい。
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに例示する。本発明は、これらの特定の実施形態に決して限定されないことが理解されよう。
本発明の一実施形態による、歯列からの歯を自動的に類型化するように構成されたコンピュータシステムの高レベルの概略図である。 本発明の一実施形態による、個々の歯を分類するための深層ニューラルネットワークを訓練するフロー図である。 本発明の一実施形態による、歯列からの歯のセットを類型化するためのコンピュータシステムを示す図である。 本発明の様々な実施形態による個々の歯データの正規化を示す図である。 本発明の様々な実施形態による個々の歯データの正規化を示す図である。 歯列3Dデータを分類するための深層ニューラルネットワークアーキテクチャの一例を示す図である。 本発明の一実施形態による後処理のフロー図である。 本発明の一実施形態による、3D歯顎顔面構造の分類およびセグメンテーションのためのコンピュータシステムを概略的に示す図である。 本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練するフロー図である。 3D CT画像データの例を示す図である。 3D光学スキャンデータの例を示す図である。 歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。 歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。 本発明の一実施形態による、3D画像データスタック内の歯顎顔面特徴を決定する方法のフロー図である。 3D画像スタックからの合計されたボクセル値と、歯顎顔面弓を表すボクセルにフィッティングされた曲線とを含む視覚化を提供する図である。 本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。 本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。 本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。 本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。 本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。 本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。 本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。 本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。 本発明の一実施形態による、3D歯顎顔面構造の後処理分類されたボクセルのフロー図である。 本発明の一実施形態による、3D歯顎顔面構造の後処理分類されたボクセルに関する深層ニューラルネットワークアーキテクチャを示す図である。 本発明の一実施形態による、分類されたボクセルの再構築プロセスを示す図である。 本発明の一実施形態による、分類されたボクセルの再構築プロセスを示す図である。 本発明の様々な実施形態による3Dデータを処理するための分散型コンピュータシステムの概略図である。 個々の歯を分類する深層ニューラルネットワークによって歯の3Dデータセットに適用されたラベル、および後処理から結果として生じる歯列に適用されたラベルの例を示す図である。 本発明の一実施形態によるコンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す図である。 本発明の一実施形態によるコンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す図である。 本開示において説明する方法およびソフトウェア製品を実行するために使用され得る例示的なデータコンピューティングシステムを示すブロック図である。
本開示において、歯を表す3D画像データを分類するための深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実施方法の実施形態について説明する。3D画像データは、歯列を含む歯顎顔面構造を形成するボクセルを備えてもよい。例えば、3D画像データは、((CB)CTスキャナによって生成されるような)3D(CB)CT画像データを含んでもよい。代替的には、3D画像データは、(例えば、光学3Dスキャナによって生成されるような)歯の表面メッシュを含んでもよい。本発明によるコンピュータシステムは、ボクセルの画像ボリュームを定義する3D画像データセットを分類するように訓練された少なくとも1つの深層ニューラルネットワークを備えてもよく、ボクセルは、画像ボリューム内の3D歯構造を表し、画像ボリュームは、3D座標系に関連付けられる。コンピュータシステムは、歯構造の3D表現を含んでもよい1つまたは複数の訓練セットに基づいて1つまたは複数の深層ニューラルネットワークを反復的に訓練(最適化)する訓練プロセスを実行するように構成されてもよい。個々の歯の3D表現のフォーマットは、3D深層ニューラルネットワークへの入力のために最適化されてもよい。最適化は、3D画像データを前処理することを含んでもよく、前処理は、3D位置特徴を決定することを含んでもよい。3D位置特徴は、正確な分類に有益であり得るように元の受信された3D画像データに関する情報を集約し、そのような特徴を個別のチャネルとして3D画像データに追加することによって決定されてもよい。
訓練されると、第1の深層ニューラルネットワークは、歯列の3D画像データを受信し、3D画像データのボクセルを分類してもよい。ニューラルネットワークの出力は、ボクセルデータの様々なコレクションを含んでもよく、各コレクションは、3D画像データの別個の部分(例えば、個々の歯、個々の神経、顎骨の部分)を表してもよい。個々の歯の分類されたボクセルは、各分類されたボリュームの正確な3D表現を再構築するために後処理されてもよい。
個々の歯ごとの分類されたボクセルまたは再構築されたボリュームは、該当する場合、特定の3D境界ボックス内の配向、寸法、および位置を正規化するために追加で後処理されてもよい。個々の歯の形状を、オプションで、(該当する場合、同じ方法で正規化された)元の受信された3D画像データのその関連するサブセットとともに含むこの再構築された(正規化された)ボクセルセットは、候補歯ラベルのセットに関連付けられたアクティベーション値を決定するために訓練された第2の3D深層ニューラルネットワークの入力に提示されてもよい。第2の3D深層ニューラルネットワークは、その入力において1つの個々の歯(の一部)を表す3D画像データを受信し、その出力において各候補歯ラベルに関するアクティベーションの単一のセットを生成してもよい。
このようにして、個々の歯オブジェクトごとに分類結果の2つのセットが識別されてもよく、分類結果の第1のセットは、ボクセルを第1の3D深層ニューラルネットワークによって生成された様々なボクセルクラス(例えば、個々の歯クラス、または32個可能な歯タイプ)に分類し、分類結果の第2のセットは、個々の歯のボクセル表現を第2の3D深層ニューラルネットワークによって生成された様々な歯クラス(例えば、再び32個可能な歯タイプ、または切歯、犬歯、臼歯などの様々な分類)に分類する。歯列(の一部)を形成する複数の歯オブジェクトは、両方とも個々の歯の3Dデータを分類するように適合された第1のニューラルネットワークおよびオプションで第2のニューラルネットワークから結果として得られる予測を利用して、可能な限り最も正確な分類法を決定するために最終的に後処理されてもよい。
歯列を形成する3D画像データセットを自動的に分類するための少なくとも1つの訓練されたニューラルネットワークを含むコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに第1のニューラルネットワークによって決定される結果の後処理について、以下でより詳細に説明する。
図1は、本発明の一実施形態による、3D画像データ内の歯を自動的に類型化するように構成されたコンピュータシステムの高レベルの概略図を示す。コンピュータシステム100は、歯列に関連する3D画像データである入力データ102を歯の3D表現に前処理するためのプロセッサを備えてもよい。プロセッサは、(歯を含み、空間情報を含んでもよい)実世界の歯顎顔面構造の3D画像データから歯の3D表現104を導出してもよく、3D画像データは、全歯形状のCBCTスキャナまたは光学スキャンなどの公知の技法を使用して生成されてもよい。歯の3D表現は、歯の分類のために訓練された3D深層ニューラルネットワークプロセッサ106のための入力データとして最も有益である3Dデータフォーマットを有してもよい。3Dデータフォーマットは、分類された歯のセット110(コンピュータシステム100の出力)の精度が最適化されるように選択されてもよい。入力データの3D表現への変換は、入力データを前処理すると呼ばれる場合がある。コンピュータシステムはまた、3Dニューラルネットワークプロセッサの出力を後処理するためのプロセッサ108を含んでもよい。ポストプロセッサは、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正するアルゴリズムを含んでもよい。ポストプロセッサは、単一の歯を表す3D画像データセットの追加の分類のためのアルゴリズムを追加で含んでもよい。ポストプロセッサは、深層ニューラルネットワークの出力の上で歯列を考慮する知識を利用するルールベースシステムを追加で利用してもよい。コンピュータシステムおよびそのプロセッサについて、図を参照して以下でより詳細に説明する。
図2は、本発明の一実施形態による、個々の歯を分類するための深層ニューラルネットワークを訓練するフロー図を示す。個々の歯の3D表現を分類するように3D深層ニューラルネットワークを訓練するために、様々なデータソースが使用されてもよい。
この図に示すように、3D画像データ214の様々なソース206、212が、3D深層ニューラルネットワークを訓練するために選択されてもよい。これらのデータソースは、前処理216を必要としてもよい。3Dデータの1つのソースは、CT 3D画像データ206、特に、歯顎顔面構造が歯列を含むことを表す(CB)CT 3D画像データを含んでもよい。しばしば、3D画像データは、顎骨の一部と歯とを含む歯顎顔面構造のボクセル表現を表す。その場合、システムは、3D CT画像データ内の個々の歯を自動的にセグメント化するためのコンピュータシステム208をさらに備えてもよい。そのようなシステムは、関心ボリューム(VOI)210を生成してもよく、各VOIは、完全な(CB)CTスキャンを形成するボクセルから選択されたボクセルのボリュームを含んでもよい。ボクセルの選択されたボリュームは、歯冠と歯根とを含む歯を表すボクセルを含んでもよい。自動セグメント化のためのコンピュータシステムは、歯顎顔面構造を表す3D画像データ内の歯をセグメント化するように訓練された3D深層ニューラルネットワークプロセッサを含んでもよい。歯顎顔面構造のボクセル表現を自動的にセグメント化するためのコンピュータシステムの詳細について、図7～図17を参照して以下でより詳細に説明する。
個々の歯の3D画像データのさらなるソースは、光学スキャナによって生成された完全な歯、すなわち歯冠と歯根の両方の3D画像データ212であってもよい。そのようなスキャナは、3D表面メッシュ214の形態において歯の3D表現を生成してもよい。オプションで、システム208は、セグメント化された歯に基づいて表面メッシュを生成するように構成されてもよい。
個々の歯をそれらの正しくラベル付けされたクラスに分類するように訓練される深層ニューラルネットワークは、個々の歯を表す3Dデータセットが3D深層ニューラルネットワーク用に最適化された3Dデータフォーマットに変換されることを要求してもよい。そのような最適化された3Dデータセットは、3D深層ニューラルネットワークがサンプル間のクラス内変動、特に3D歯モデルの配向における変動に敏感であるので、分類精度を向上させる。そのために、異なる3D画像データを個々の歯の均一な3Dボクセル表現218に変換するために、前処理ステップ216が使用されてもよい。
個々の歯のボクセル表現218ごとに、所望のラベルを正しく識別するように3D深層ニューラルネットワーク222を訓練するために、正しいラベル220、すなわち、歯のボクセル表現の歯番号(正しいクラスまたはインデックス番号)を表すラベルが必要とされる。このようにして、3D深層ニューラルネットワークは、歯のボクセル表現を自動的に分類するように訓練される。歯列の対称的な性質により、訓練に提供されるべきサンプル数を増やすために、サンプルがミラーリングされてもよい。同様に、サンプルは、3D空間において実行可能な限界まで任意に回転または引き伸ばされたわずかに変更されたバージョンを追加することによって増加されてもよい。
図3は、本発明の一実施形態による、3D歯モデルの自動分類法のためのコンピュータシステムを示す。コンピュータシステムは、2つの異なるモジュール、3D深層ニューラルネットワーク314を訓練するプロセスを実行するための第1の訓練モジュール328と、新しい入力データに基づいて分類プロセスを実行するための第2の分類モジュールとを含んでもよい。図3に示すように、訓練モジュールは、訓練を目的とするデータソースの1つまたは複数のリポジトリまたはデータベース306、310を備えてもよい。そのようなリポジトリは、入力データ、例えば、歯列を含む3D画像データを受信するように構成された入力304を介して供給されてもよく、入力データは、それぞれの所望のラベルとともに様々なフォーマットにおいて記憶されてもよい。少なくとも第1のリポジトリまたはデータベース306は、歯列の(CB)CT3D画像と関連するラベルとを記憶するために使用されてもよい。このデータベースは、訓練のために使用され得る個々の歯のボクセルを含むボクセルのボリュームを表す関心ボリューム308をセグメント化および抽出するためにコンピュータシステム307によって使用されてもよい。一実施形態において、コンピュータシステム307は、個々の歯クラスごとに関心ボリュームをセグメント化するように構成されてもよく、すなわち、関心ボリュームとターゲットラベルの両方をもたらす。同様に、他のフォーマットの3Dデータ、例えば、光学スキャンによって生成された3D表面メッシュと、ネットワークの訓練中に用いられてもよい個々の歯のラベルとを記憶するために第2のリポジトリまたはデータベース310が使用されてもよい。
3D訓練データは、深層ニューラルネットワーク314用に最適化された3Dボクセル表現に前処理312されてもよい。3D深層ニューラルネットワークプロセッサ314が個々の歯のサンプルにおける訓練のみを必要とする場合があるので、訓練プロセスは、この段階で終了する場合がある。一実施形態において、3D表面メッシュなどの3D歯データは、(CB)CTスキャンに由来するセグメント化された3D画像データに基づいて決定されてもよい。
新しい歯列316を分類するための分類モジュール330を使用するとき、物理的な歯列を深層ニューラルネットワーク314用に最適化された3D表現に変換するときに、再び複数のデータフォーマットが用いられてもよい。システムは、歯列318の(CB)CT3D画像データを利用し、個々の歯のボクセルを含む関心ボリューム320をセグメント化および抽出するように構成されたコンピュータシステム319を利用してもよい。代替的には、光学スキャンから結果として生じる歯ごとの表面メッシュ322などの別の表現が使用されてもよい。他の3D表現を抽出し、次いで関心ボリュームを抽出するために(CB)CTデータが使用されてもよいことに再び留意されたい。
深層ニューラルネットワーク314に必要なフォーマットへの前処理312が実行されてもよい。深層ニューラルネットワークの出力は、歯列の歯に適用されるラベルのセット全体での分類法の正確さを保証するために歯列を考慮する知識を利用するように設計された後処理ステップ324に送られてもよい。一実施形態において、深層ニューラルネットワークの追加の訓練後に将来の精度を高める目的で、正しいラベルが訓練データにフィードバックされてもよい。エンドユーザへの結果の提示は、自動的に分類および類型化された3D歯データの3Dおよび/または3D表現をレンダリングするように適合されたレンダリングエンジンによって促進される。レンダリングされた分類および類型化された3D歯データの例について、図20Aおよび図20Bを参照して説明する。
図4Aおよび図4Bは、本発明の様々な実施形態による、個々の歯データの正規化を示す概略図を示す。具体的には、図4Aは、歯列または他のソースから導出され得る単一の歯の表面を表す3Dメッシュを処理するフロー図を示す。前処理ステップの目標は、3D深層ニューラルネットワークプロセッサによる解釈のために最適化されたデータの3Dボクセル表現を作成することである。図4Aに示すように、プロセスは、(歯列または別のソースからセグメント化された)3D表面メッシュ402を3Dボクセル表現404に補間するステップを含んでもよい。そのようなステップにおいて、3D表面メッシュは、所定の初期ボクセル値、例えば、歯の表面が存在しない「ゼロ」または「背景」値と、メッシュによって定義された3D表面と一致するかまたはほぼ一致するそれらのボクセルの「1」または「歯存在」値とを有するボクセルの3Dボリュームとして表されてもよい。そのようにして形成された3Dボクセル表現は、したがって、ボリューム、例えば、ボクセルのボリューム、例えば、矩形ボックスを含み、歯の3D表面は、第2のボクセル値を有するボリューム内のボクセルによって表され、残りのボクセルは、第1のボクセル値を有する。一実施形態において、方法はまた、3Dボクセル表現が3D空間内の立体オブジェクトを表すように、表面メッシュによって囲まれたボクセルを第2のボクセル値に設定するステップを含んでもよい。
一実施形態において、(例えば、歯列の(CB)CTスキャンからの個々の歯をセグメント化することによって決定され得る)ボクセル表現も、プロセスステップ404に基づいてさらに処理されてもよい。
ボクセルの(矩形)ボリュームは、歯の3Dボクセル表現が配向および寸法に関連付けられ得るように、座標系、例えば、3Dデカルト座標系に関連付けられてもよい。しかしながら、歯モデルの配向および/または寸法は、標準化されなくてもよい。3D深層ニューラルネットワークは、歯の配向に敏感であり、3D画像ボリューム内にランダムな配向と標準化されていない寸法とを有する歯モデルを分類することが困難である場合がある。
この問題に対処するために、前処理中、別個の歯モデル(3Dボクセル表現)の配向および寸法は、正規化されてもよい。これが意味することは、3Dボクセルデータサンプル(ステップ404および/または406において生成された歯を表す3Dボクセルデータサンプル)の各々が、サンプルの寸法および配向が均一になるように変換されてもよいということである(ステップ410)。プリプロセッサは、歯列ソースからの空間情報を使用して、そのような正規化された向きおよび/または寸法を達成してもよい。
空間情報は、歯列ソース内の各サンプルの寸法および配向を調査することによって、プリプロセッサによって決定されてもよい(ステップ408)。例えば、歯列の歯サンプルが3D画像ボリュームを定義する単一の3D(CB)CTデータスタックに由来する場合、各歯サンプルの寸法および配向は、システムによって決定され得る。代替的には、空間情報は、個々の3Dボクセル表現とともに提供されてもよい。
プリプロセッサは、元の3D(CB)CTデータスタックから導出された配向および寸法を調査してもよく、これらの値が深層学習ネットワークのための所望の入力フォーマットと一致しない場合、変換が適用されてもよい。そのような変換は、3D空間内のサンプルの配向を再配向するための3D回転(ステップ410)および/または3D空間内のサンプルの寸法を再スケーリングするための3Dスケーリング(ステップ412)を含んでもよい。
図4Bは、本発明の一実施形態による、歯データの配向および/または寸法を正規化する方法を示す。歯列の歯の元の3D画像データが寸法および/もしくは配向のサンプル内の一貫性を持たない場合、ならびに/または、寸法および/もしくは配向が未知である場合、歯列を形成するすべてのサンプルに関する正規化された3Dボクセル表現を達成するために、様々な方法が使用されてもよい。
この正規化プロセスは、例えば、長手方向軸が決定され得る歯構造に基づいて、かつ歯の非対称形状により、歯の形態に依存する、1つまたは複数の変換を使用してもよい。さらに、歯構造の重心の位置が決定されてもよく、これは、歯の非対称形状のため、長手方向軸から距離をおいて配置される場合がある。そのような情報に基づいて、歯の上側、下側、裏側、および表側が均一に定義され得る3D画像空間内の歯の正規化された配向が決定されてもよい。例えば、長手方向軸のそのような決定は、主成分分析によって、または以下で説明する他の手段によって実行されてもよい。
図4Bに示すように、3D画像空間における3D歯サンプルの配向および寸法は、所定の座標系に基づいてもよい。x、y、およびz軸が示されていように選択されてもよいが、他の選択も可能である。3D歯サンプル422の完全に任意の配向を仮定すると、2つの軸(この例ではxおよびy)に沿った回転は、互いの間に最も大きい距離を有するサンプル内の2つの点424および426を決定することによって設定されてもよい。これらの2つの点の間の線は、歯構造の長手方向軸(の一部)を定義してもよい。サンプルは、長手方向軸部分の上の所定の点、例えば、2つの点424および426の間の中間点が画像空間の中心と一致し得るように変換されてもよい。さらに、サンプルは、長手方向軸部分がz軸と平行になるように中心点に沿って回転されてもよく、結果として(428に示すように)サンプルの再配向をもたらす。したがって、この変換は、歯の形状に基づいて長手方向軸を定義し、3D画像ボリュームにおいて(例えば、ボリュームの中心において)歯を配置するために長手方向軸上の点(例えば、中央)を使用し、3D画像ボリュームの座標系の軸、例えばz軸に長手方向軸を位置合わせする。
さらに、歯科構造の重心431が決定されてもよい。さらに、サンプルボリュームの大部分および/または重心が平面の上にあるかまたは下にあるかを判定するために、歯構造の長手方向軸に垂直であり、長手方向軸の中心に位置する平面430、この場合、x-y平面が使用されてもよい。ボリュームの大部分がx-y平面430の選択された側にあることを確実にするために、回転が使用されてもよく、この例の場合、サンプルは、より大きいボリュームが負のz方向に向かって下向きになるように回転され、結果として432に示すような変換をもたらす。したがって、この変換は、歯構造の上側および下側を決定し、それに応じて歯構造を軸に位置合わせさせるために、歯構造の長手方向軸に垂直な平面の下および上の歯のボリューム、ならびに/またはそのような平面に対して配置された重心の位置を使用する。任意の配向において受信された任意の同一サンプルについて、434によって示されるようにz軸に沿った回転であるこれらの変換ステップの後に、異なる可能性がある配向のうちの1つの態様のみが存在する。
この回転を設定するための様々な方法が存在する。一実施形態において、中心点およびz軸に沿って回転する平面が使用されてもよい。システムは、この平面の片側におけるボリュームが最大化される平面の回転を見つけてもよい。決定された回転は、次いで、最大ボリュームが選択された軸に沿って選択された方向において配向されるようにサンプルを回転させるために使用されてもよい。例えば、446に示すように、正のx方向に向かうボリュームの量が最大化され、436について見つけられた平面を、所定の平面、例えば、448に示すz-y平面に平行に効果的に設定する。
さらなる実施形態において、ボリュームの代わりに、回転を設定するために重心が使用されてもよい。例えば、システムは、重心と長手方向軸上の点とを通る半径方向軸部分を構築してもよい。その後、半径方向軸部分が所定の方向、例えば、正のx方向において配向されるように、長手方向軸に沿った回転がシステムによって選択される。
さらに別の実施形態において、3D歯構造は、歯構造の長手方向軸の所定の点においてスライスされてもよい。例えば、438において、歯構造は、歯構造の底側から所定の距離にある長手方向軸上の点においてスライスされてもよい。このようにして、データの2Dスライスが決定されてもよい。この2Dスライスにおいて、互いから最大の距離を有する2つの点が決定されてもよい。これらの点の間の線は、歯構造の横軸と呼ばれる場合がある。サンプルは、次いで、横軸440が所定の軸(例えば、y軸)に平行になるように回転されてもよい。これは、(線440がy軸に平行である2つの可能性があるので)長手方向軸に沿って2つの可能な回転434を残す場合がある。
これらの2つの回転の間の選択は、スライスおよび横軸によって定義される2つの領域に基づいて決定されてもよい。その後、より大きい領域が所定の方向に向かって、例えば、442に示すように、負のx軸444の側に向かって配向されるように、構造は、長手方向軸に沿って回転されてもよい。サンプル間の配向を統一する様々な方法を考慮すると、これらの様々な方法について個々の歯の分類のための別個の3Dニューラルネットワークを訓練することは、訓練精度にとって有益である場合がある。
最後に、3D深層学習ネットワークは、各サンプルが各寸法において同じボクセル量および解像度を有することを期待している。この目的のために、前処理は、各潜在的サンプルがフィットするボリュームを決定し、各サンプルをこの空間の中心に配置するステップ412を含んでもよい。データソースのフォーマットに応じて、図4におけるステップのうちの1つまたは複数が省略されてもよいと思われる。一例として、(CB)CT3Dデータスタックからの関心ボリューム(VOI)を扱う場合、ステップ402～406は、省略されてもよい。
図5は、本出願で説明する3D画像データの自動分類法のための方法およびシステムにおいて使用するための個々の歯の分類のための3D深層ニューラルネットワークアーキテクチャの例を示す。ネットワークは、3D畳み込み層(3D CNN)を使用して実装されてもよい。畳み込みは、当該分野において知られているアクティベーション関数を使用してもよい。複数の3D畳み込み層504～508が使用されてもよく、層の数およびそれらの定義するパラメータにおけるわずかな変動、例えば、異なるアクティベーション関数、カーネル量、サブサンプリングおよびサイズの使用、ならびにドロップアウト層などの追加の機能層、およびバッチ正規化が、深層ニューラルネットワークの設計の本質を失うことなく実装形態において使用されてもよい。
深層ニューラルネットワーク内のデータの内部表現の次元数を減らすために、3D最大プーリング層510が用いられてもよい。ネットワークのこの時点で、内部表現は、3D空間内の表現を潜在的なラベル、特に歯タイプラベルのアクティベーションに変換するための中間体であることを目的とした密結合層512に渡されてもよい。最終または出力層514は、符号化されたラベルの所望の数と同じ次元数を有してもよく、潜在的なラベルごとのアクティベーション値518(予測に類似する)を決定するために使用されてもよい。
ネットワークは、前処理された3D画像データ502(例えば、図4を参照して説明した個々の歯3Dボクセル表現)に基づいて訓練されてもよい。一実施形態において、3D画像データは、複数の画像チャネル、例えば、追加情報を含む第4の次元を備えてもよい。単一チャネル3D画像データは、ボクセルのx、y、およびz位置ごとに1つのデータポイント(例えば、図4Aのプロセスを参照して説明したように、(CB)CTスキャンの場合は密度値、またはバイナリボクセル表現の場合はバイナリ値(「0」/「1」))を含んでもよい。対照的に、マルチチャネル3D画像データは、ボクセルごとに2つ以上の異なるデータポイント(例えば、通常は赤色のための1つ、緑色のための1つ、および青色のための1つの3つの情報チャネルを備えるカラー画像に相当する)を含んでもよい。したがって、一実施形態において、3D深層ニューラルネットワークは、マルチチャネル3D画像データを処理するように訓練されてもよい。
一実施形態において、そのようなマルチチャネル3D画像データは、例えば、個々の歯の元の3D(CB)CT画像データを含む第1のチャネルと、図4Aを参照して説明した方法からもたらされ得るものと同じ歯の処理バージョンを含む第2のチャネルとを含んでもよい。これらのセットの両方を提供することは、(3D、バイナリ表現された)正確なセグメント化された形状と、分類問題に関連する場合がある元の画像からの情報(密度値)の両方を考慮して情報をもたらす可能性がある。両方を提供することは、正確な分類の可能性を高める。
(単一の歯の3D表現である)サンプルごとに、所望の出力と実際の出力514との間の損失を決定するために、正しいラベル516の一致する表現が使用されてもよい。この損失は、深層ニューラルネットワークの層内のパラメータを調整する手段として訓練中に使用されてもよい。訓練の努力の効率を促進するために、オプティマイザ機能が訓練中に使用されてもよい。ネットワークは、内部パラメータが結果の望ましい正確さをもたらすまで、任意の数の反復に対して訓練されてもよい。適切に訓練されると、ラベル付けされていないサンプルが入力として提示されてもよく、深層ニューラルネットワークは、潜在的なラベルごとの予測を導出するために使用されてもよい。
したがって、深層ニューラルネットワークは、歯の3Dデータサンプルを複数の歯タイプ、例えば、成人の歯列の場合、32個歯タイプの1つに分類するように訓練されるとき、ニューラルネットワークの出力は、アクティベーション値および関連する潜在的な歯タイプラベルである。最も高いアクティベーション値を有する潜在的な歯タイプラベルは、歯の3Dデータサンプルがラベルによって示されるタイプの歯を表す可能性が最も高いことをシステムに示してもよい。最も低いかまたは比較的低いアクティベーション値を有する潜在的な歯タイプラベルは、歯の3Dデータセットがそのようなラベルによって示されるタイプの歯を表す可能性が最も低いことをシステムに示してもよい。
図6は、本発明の一実施形態による後処理のフロー図を示す。単一の歯列に関する個々の歯オブジェクト起源のセット602を考慮するときに利用可能な情報を利用するために、この後処理は、歯ごとのラベルの最も実現可能な割り当てを決定するために利用されてもよい。歯を表す各3Dデータセット606は、可能な候補ラベルごとに最も可能性が高い予測値608を取得するために、深層ニューラルネットワークによって処理されてもよい。例えば、複数の方法による歯オブジェクトの分類に続いて、歯オブジェクト(または個々の歯3Dデータセット)ごとに複数の予測が存在する場合がある。加えて、いくつかの実施形態において、全歯列の3D画像データ(例えば、図3を参照して説明したようにセグメンテーションシステムの入力に提供される歯顎顔面構造の3D(CB)CT画像データ)の3D座標系において表された重心(COG)607は、歯を表す各3Dデータセットに起因している場合がある。
候補歯列状態(または要するに候補状態)が生成されてもよく、歯の各3Dデータセットが候補歯ラベルに割り当てられる。初期候補状態は、候補歯ラベルを、この候補歯ラベルに関する最も高いアクティベーション値を有する歯の3Dデータセットに割り当てることによって作成されてもよい(610)。この文脈における候補(歯列)状態は、歯列を形成する(例えば、3D画像データセットによって表される)各歯オブジェクトに対する歯ラベルの単一の割り当てを指す場合がある。この初期状態は、解決された最終的な歯列状態を満たすために必要な条件を満たさない場合があるので、所望の最終状態ではない場合がある。状態のサイズ、例えば、歯列内に存在する歯の数は、歯列間で変化する場合がある。
候補状態が評価され得る順序を決定するために使用され得る優先度値が各候補状態に割り当てられてもよい。優先度値は、解決された最適なソリューションを最適化するために、所望の目標を利用することによって設定されてもよい。一実施形態において、候補状態の優先度値は、候補状態の候補ラベルに割り当てられたアクティベーション値、例えば、(歯オブジェクトごとに複数である場合がある)アクティベーション値の合計に基づいて決定されてもよい。代替的には、および/または加えて、一実施形態において、優先度値は、一意に割りた候補ラベルの数および/または重複ラベル割り当ての数に基づいて決定されてもよい。
候補歯列状態のプール612および優先度値は、コンピュータシステムのメモリ内に記憶されてもよい(各候補状態は、候補歯ラベルと関連する優先度値とを含んでもよい)。
候補歯列状態614は、割り当てられた優先度値順に選択され、反復プロセスにおいて評価されてもよく、コンピュータは、(ステップ616に示すように)所定の条件が満たされたかどうかをチェックしてもよい。条件は、歯列の知識に基づいてもよい。例えば、一実施形態において、条件は、歯の候補ラベルが単一の候補歯列状態において1回だけ(一意に)発生し得ることであってもよい。さらに、いくつかの実施形態において、各3D歯データセットに関するCOGの位置に関連する情報が、1つまたは複数の条件を定義するために使用されてもよい。例えば、成人の歯のFDIナンバリングシステムを使用する場合、インデックス1xおよび2x(x=1,...,8)を有する歯ラベルは、上顎の一部であってもよく、歯ラベル3xおよび4x(x=1,...,8)は、下顎の一部であってもよい。ここで、インデックス1x、2x、3x、4x(x=1,...,8)は、4つの象限と、その中の歯番号xとを定義する。これらの歯ラベルは、歯の各3D表現に関連付けられたCOGに基づいてチェックされてもよい。さらなる実施形態において、複数の歯ラベルは、それらの顎内の様々な歯タイプの歯の規則正しい配置と見なされてもよく、各COGに関する歯列内のラベルの適切な割り当てを考慮した追加の条件をもたらす。
別の例として、一実施形態において、深層ニューラルネットワーク(のうちの1つ)から収集されるラベルアクティベーションは、「切歯」、「犬歯」、「臼歯」の形態における歯タイプクラスに限定されてもよい。そのような分類を容易にすることができ、実行可能な条件(例えば、象限ごとに2つの切歯)をチェックすることができる状態で、説明した方法は、満たされるべき任意の条件を効率的に評価することができる場合がある。
候補状態の評価(の順序)は、ニューラルネットワークによって割り当てられた優先度値に基づいてもよい。具体的には、解決された候補状態は、優先度値に基づいて最適化される。例えば、1つまたは複数の深層ニューラルネットワークの割り当てられたアクティベーション値から優先度値を導出する場合、システムによって提示される最終解620(すなわち、出力)は、最大化された割り当てられたアクティベーション値を有しながら(すなわち、アクティベーション値の合計が最大である)、条件を満たす(第1の)候補歯列状態になる。
候補歯列状態の評価中に、1つまたは複数の条件が満たされない場合、新しい候補状態が生成されてもよい(618)。可能な状態の巨大な空間を考慮すると、すべての可能な候補状態を生成して考慮することは、実行可能ではない。したがって、新しい候補状態は、条件と一致しない(616)候補歯ラベルに基づいて生成されてもよい。例えば、一実施形態において、候補歯列状態の3D歯表現のサブセットが2つ以上の同じ歯ラベルを含む(したがって、歯列状態が一意に割り当てられた歯ラベルのセットを含むべきであるという条件と矛盾する)場合、この特定の例外を解決しようとする新しい候補状態が生成されてもよい。同様に、一実施形態において、候補歯列状態の3D歯表現が矛盾するCOGを含む場合、この特定の例外を解決しようとする新しい候補状態が生成されてもよい。これらの新しい候補状態は、それらの予測される優先度値を最大化しながら、元の矛盾する状態に基づいて段階的に生成されてもよい。例えば、次の候補状態を決定するために、例外を有するラベルごとに、例外を有する状態における特定のラベルに対して割り当てられた(元の)歯表現は、次の最も高い予測される優先順位をもたらす表現と交換されてもよい。
上記で説明したように、いくつかの実施形態において、3D画像データは、顎骨の個々の部分、個々の歯、および個々の神経に関連するボクセルを含む歯顎顔面構造を表してもよい。それらの実施形態において、個々の歯を分類するように訓練された3D深層学習ネットワークに供給され得る個々の歯の3Dボクセル表現を決定するために、歯顎顔面構造の別々の部分へのセグメンテーションが必要である。歯の分類法の目的のため、成人の健康な歯列内に存在する可能性がある32本の固有の歯ごとにボクセル表現が生成されてもよい。したがって、本発明は、歯顎顔面構造内の歯列の個々の歯を分類し、セグメント化し、オプションで3Dモデリングするために3D深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実施方法を含み、歯顎顔面構造は、CT画像データスタック、具体的には、コーンビームCT(CBCT)画像データスタックを形成する一連のシーケンスによって定義された3D画像データによって表される。3D画像データは、歯顎顔面構造の3D画像空間を形成するボクセルを含んでもよい。本発明によるそのようなコンピュータシステムは、歯顎顔面構造の3D画像データスタックを様々なクラスのボクセルに分類するように訓練された少なくとも1つの深層ニューラルネットワークを備えてもよく、各クラスは、構造の別個の部分(例えば、個々の歯、個々の顎部分、個々の神経)に関連付けられてもよい。コンピュータシステムは、歯顎顔面構造の正確な3Dモデルを含んでもよい1つまたは複数の訓練セットに基づいて1つまたは複数の深層ニューラルネットワークを反復的に訓練する(最適化する)訓練プロセスを実行するように構成されてもよい。これらの3Dモデルは、光学的にスキャンされた歯顎顔面構造を含んでもよい。
訓練されると、深層ニューラルネットワークは、歯顎顔面構造の3D画像データスタックを受信し、3D画像データスタックのボクセルを分類してもよい。データが訓練された深層ニューラルネットワークに提示される前に、データは、ニューラルネットワークがボクセルを効率的かつ正確に分類することができるように前処理されてもよい。ニューラルネットワークの出力は、ボクセルデータの様々なコレクションを含んでもよく、各コレクションは、3D画像データの別個の部分、例えば、歯または顎骨を表してもよい。分類されたボクセルは、歯顎顔面構造の正確な3Dモデルを再構築するために後処理されてもよい。
歯顎顔面構造のボクセルを自動的に分類するための訓練されたニューラルネットワークを備えるコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに、ニューラルネットワークによって分類されたボクセルの後処理について、以下でより詳細に説明する。
図7は、本発明の一実施形態による、3D歯顎顔面構造の分類およびセグメンテーションのためのコンピュータシステムを概略的に示す。具体的には、コンピュータシステム702は、歯顎顔面構造の3D画像データスタック704を受信するように構成されてもよい。構造は、個々の顎の構造と、個々の歯の構造と、個々の神経の構造とを含んでもよい。3D画像データは、ボクセル、すなわち、放射強度または密度値を表すボクセル値、例えば、グレースケール値またはカラー値に関連付けられた3D空間要素を含んでもよい。好ましくは、3D画像データスタックは、所定のフォーマット、例えば、DICOMフォーマットまたはその派生物によるCBCT画像データを含んでもよい。
コンピュータシステムは、出力714として分類されたボクセルの3Dセットを生成するように訓練された3D深層学習ニューラルネットワーク712の入力に供給される前に3D画像データを前処理するためのプリプロセッサ706を備えてもよい。以下でより詳細に説明するように、3D深層学習ニューラルネットワークは、訓練されたニューラルネットワークが3D画像データスタック内のボクセルを様々なクラスのボクセル(例えば、個々の歯、顎骨、および/または神経組織に関連するボクセル)に正確に分類することができるように、所定の訓練方式に従って訓練されてもよい。好ましくは、個々の歯に関連するクラスは、成人の健康な歯列内に存在する場合があるすべての歯からなり、32個個々の歯クラスである。3D深層学習ニューラルネットワークは、複数の接続された3D畳み込みニューラルネットワーク(3D CNN)層を備えてもよい。
コンピュータシステムは、3D深層学習ニューラルネットワークによって分類されたボクセルを使用して歯顎顔面構造の様々な部分(例えば、個々の歯、顎、および神経)の3Dモデルを正確に再構築するためのプロセッサ716をさらに備えてもよい。以下でより詳細に説明するように、分類されたボクセルの一部、例えば、歯構造または顎構造に属するものとして分類されたボクセルは、さらなる3D深層学習ニューラルネットワーク720に入力され、3D深層学習ニューラルネットワーク720は、歯顎顔面構造に関する3Dボリューム、例えば、顎の形状に関する3Dボリューム724および歯の形状に関する3Dボリューム726を、そのような構造に属すると分類されたボクセルに基づいて再構築するように訓練される。分類されたボクセルの他の部分、例えば、神経に属するものとして3D深層ニューラルネットワークによって分類されたボクセルは、補間機能718を使用することによって後処理され、3D神経データ722として記憶されてもよい。分類されたボクセルから神経を表すボリュームを決定するタスクは、深層ニューラルネットワークの能力(利用可能な処理パワー)を現在超えている可能性がある性質のものである。さらに、提示された分類されたボクセルは、ニューラルネットワークがこの問題を解決するのに適した情報を含まない場合がある。したがって、分類された神経ボクセルを正確かつ効率的に後処理するために、分類されたボクセルの補間が使用される。歯顎顔面構造の様々な部分の3Dデータを後処理した後、神経、顎、および歯のデータ722～726は、組み合わされ、コンピュータシステムの入力に供給された3D画像データ内の歯顎顔面構造を正確に表す別々の3Dデータセットまたはモデル728においてフォーマットされてもよい。
CBCTスキャンにおいて、スキャン内の異なる領域は、スキャンされている臓器におけるそれらの相対的な位置に応じて異なるグレースケール値で現れるので、(Hounsfield Unit(HU)において測定された)無線密度は、不正確である。CBCTスキャナと医療グレードのCTスキャナの両方で同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有の、X線撮影で識別された骨密度の決定について信頼できない。
さらに、歯科用CBCTシステムは、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いない。これらの値は、これらの値は、そのように任意であり、骨質の評価を可能にしない。そのような標準化がない場合、グレーレベルを解釈することが困難になるか、または、異なるマシンから得られた値を比較することが不可能になる。
歯および顎骨構造は、コンピュータが、歯に属するボクセルと顎に属するボクセルとを区別するのが困難であるように、同様の密度を有する。加えて、CBCTシステムは、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する、いわゆるビーム硬化に非常に敏感である。
3D深層学習ニューラルネットワークを上記の問題に対して堅牢にするために、3Dニューラルネットワークは、3D画像データによって表される歯顎顔面構造の一部の3Dモデルを利用するためにモジュール738を使用して訓練されてもよい。3D訓練データ730は、関連するターゲット出力が既知である(例えば、歯顎顔面構造の3D CT画像データおよび歯顎顔面構造の関連する3Dセグメント化表現)、704において提示されたCBCT画像に正しく位置合わせされ得る。従来の3D訓練データは、入力データを手動でセグメント化することによって取得される場合があり、これは、かなりの量の作業を表す場合がある。加えて、手動のセグメンテーションは、使用される入力データの低い再現性および一貫性を結果としてもたらす。
この問題に対処するために、一実施形態において、光学的に生成された訓練データ730、すなわち、歯顎顔面構造(の一部)の正確な3Dモデルが、手動でセグメント化された訓練データの代わりに、または少なくともそれに加えて使用されてもよい。訓練データを生成するために使用される歯顎顔面構造は、3D光学スキャナを使用してスキャンされてもよい。そのような光学3Dスキャナは、当該分野において知られており、高品質な3Dの顎および歯の表面データを生成するために使用され得る。3D表面データは、ボクセル分類器734によって満たされ(どの特定のボクセルがメッシュによって取り囲まれるボリュームの一部であるかを決定する)、使用され得る3D表面メッシュ732を含んでもよい。このようにして、ボクセル分類器は、訓練のための高品質な分類されたボクセル736を生成することができる。加えて、前述のように、手動で分類された訓練ボクセルが、同様にネットワークを訓練するために訓練モジュールによって使用されてもよい。訓練モジュールは、分類された訓練ボクセルをターゲットとして使用し、関連するCT訓練データを入力として使用してもよい。
加えて、訓練プロセス中、CT訓練データは、3D位置特徴を決定するように構成され得る特徴抽出器708によって前処理されてもよい。歯顎顔面特徴は、画像化された歯顎顔面特徴の1つまたは複数の部分に関連付けられた少なくとも空間情報を符号化してもよい。例えば、一実施形態において、手動で設計された3D位置特徴は、ボクセルを含む3Dボリューム内の顎骨(の一部)を表す3D曲線、具体的には歯列弓を含んでもよい。1つまたは複数の重みパラメータが3D曲線に沿った点に割り当てられてもよい、重み値の値は、ボクセルからボクセルへの3D空間における変換を符号化するために使用されてもよい。例えば、画像スタックが受け入れられる元の空間の符号化されたバージョンを組み込むのではなく、符号化された空間は、入力において検出された歯顎顔面構造に固有である。特徴抽出器は、放射強度値または密度値を表すボクセル値を調査し、特定のボクセルを通る1つまたは複数の曲線(例えば、多項式)をフィッティングすることによって、顎および/または歯の1つまたは複数の曲線(例えば、歯列弓)を近似する1つまたは複数の曲線を決定してもよい。3D CT画像データスタックの歯列弓曲線(の一部)の導関数が、位置特徴マッピング710として記憶されてもよい。
別の実施形態において、そのような3D位置特徴は、例えば、受信された3Dデータセット全体から関連情報を導出するように訓練された3D深層ニューラルネットワークなどの(訓練された)機械学習方法によって決定されてもよい。
図8は、本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練するフロー図を示す。訓練データは、歯顎顔面構造の3D CTスキャンのボクセルを自動的に分類することができるように3D深層学習ニューラルネットワークを訓練するために使用される。この図に示すように、歯顎顔面複合体802の表現がコンピュータシステムに提供されてもよい。訓練データは、歯顎顔面構造のCT画像データスタック804と、関連する3Dモデル、例えば、同じ歯顎顔面構造の光学スキャンからの3Dデータ806とを含んでもよい。そのような3D CT画像データおよび3D光学スキャンデータの例が図9Aおよび図3Bに示されている。図9Aは、歯顎顔面構造の3D CTスキャンの異なる平面、例えば、アキシャル面902、前額面またはコロナル面904、およびサジタル面906に関連付けられたDICOMスライスを示す。図9Bは、歯顎顔面構造の3D光学スキャンデータを示す。コンピュータは、光学スキャンデータに基づいて歯顎顔面構造の3D表面メッシュ808を形成してもよい。さらに、3D表面メッシュを3D CT画像データに位置合わせするように構成された位置合わせ機能810が用いられてもよい。位置合わせ後、コンピュータの入力に提供される3D構造の表現は、同じ空間座標系を使用する。位置合わせされたCT画像データおよび3D表面メッシュに基づいて、3D位置特徴812および光学的にスキャンされた3Dモデルの分類されたボクセルデータ814が決定されてもよい。位置特徴および分類されたボクセルデータは、次いで、画像スタック804とともに深層ニューラルネットワーク816の入力に提供されてもよい。
したがって、訓練段階中、3D深層学習ニューラルネットワークは、3D CT訓練データと、3D CT訓練データから抽出された位置特徴とを入力データとして受信し、3D CT訓練データに関連付けられた分類された訓練ボクセルは、ターゲットデータとして使用される。所定の入力に対する所望の出力を表す、深層ニューラルネットワークの出力のターゲットデータ(すなわち、分類されたボクセルデータ)への偏差を表す損失関数を最小化することによって、深層ニューラルネットワークのネットワークパラメータの最適値を学習するために、最適化方法が使用されてもよい。損失関数の最小化が特定の値に収束する場合、訓練プロセスは、アプリケーションに適していると見なされ得る。
3D光学スキャンデータから(少なくとも部分的に)導出され得る訓練ボクセルと組み合わせて3D位置特徴を使用する図8に示す訓練プロセスは、3D深層学習ニューラルネットワークのための高品質の訓練セットを提供する。訓練プロセス後、訓練されたネットワークは、3D CT画像データスタックからのボクセルを正確に分類することができる。
図10Aおよび図10Bは、歯顎顔面構造の3Dボクセルデータを分類およびセグメント化するように構成された方法およびシステムにおいて使用するための深層ニューラルネットワークアーキテクチャの高レベルの概略図を示す。図10Aに示すように、ネットワークは、3D畳み込みニューラルネットワーク(3D CNN)を使用して実装されてもよい。畳み込み層は、シグモイド関数、tanh関数、relu関数、ソフトマックス関数などの、層内のニューロンに関連付けられたアクティベーション関数を用いてもよい。複数の3D畳み込み層が使用されてもよく、層の数およびそれらの定義するパラメータにおけるわずかな変動、例えば、異なるアクティベーション関数、カーネル量およびサイズ、ならびに、ドロップアウト層などの追加の機能層が、深層ニューラルネットワークの設計の本質を失うことなく実装形態において使用されてもよい。
図10Aに示すように、ネットワークは、複数の畳み込み経路、例えば、3D畳み込み層の第1のセット1006に関連付けられた第1の畳み込み経路および3D畳み込み層の第2のセット1008に関連付けられた第2の畳み込み経路とを含んでもよい。3D画像データ1002は、第1の畳み込み経路と第2の畳み込み経路の両方の入力に供給されてもよい。図4を参照して説明したように、一実施形態において、3D画像データは、複数のチャネル、例えば、3D位置特徴データなどの追加情報を含むさらなる第4の次元を含んでもよい。
さらに、いくつかの実施形態において、ネットワークは、3D畳み込み層の第3のセット1007に関連付けられた少なくともさらなる(第3の)畳み込み経路を含んでもよい。第3の畳み込み経路は、別個の入力として第3の経路に供給されるボクセルに関連付けられた受信された3D位置特徴から導出された3D特徴を符号化するように訓練されてもよい。この第3の畳み込み経路は、例えば、そのような3D位置特徴情報が受信された3D画像データの追加の画像チャネルとして提供されない場合に使用されてもよい。
異なる経路の機能について、図10Bにおいてより詳細に示す。この図に示すように、3D画像データを表すボクセルがニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム10011と呼ばれる場合がある所定のボリュームに関連付けられる。第1の経路10031の後続の3D畳み込み層の各々は、3D画像データのボクセルの第1のブロック10011に対して3D畳み込み演算を実行してもよい。処理中、1つの3D畳み込み層の出力は、後続の3D畳み込み層の入力である。このようにして、各3D畳み込み層は、入力に供給される3D画像データの一部を表す3D特徴マップを生成してもよい。したがって、そのような特徴マップを生成するように構成された3D畳み込み層は、3D CNN特徴層と呼ばれる場合がある。
図10Bに示すように、第2の経路10032の畳み込み層は、3D画像データのボクセルの第2のブロック10012を処理するように構成されてもよい。ボクセルの各第2のブロックは、ボクセルの第1のブロックに関連付けられ、ボクセルの第1および第2のブロックは、画像ボリュームにおいて同じ中心に置かれた原点を有する。第2のブロックのボリュームは、第1のブロックのボリュームよりも大きい。さらに、ボクセルの第2のブロックは、ボクセルの関連する第1のブロックのダウンサンプリングされたバージョンを表す。ダウンサンプリングは、よく知られた補間アルゴリズムを使用することに基づいてもよい。ダウンサンプリング係数は、任意の適切な値であってもよい。一実施形態において、ダウンサンプリング係数は、20と2との間、好ましくは10と3の間で選択されてもよい。
したがって、3D深層ニューラルネットワークは、少なくとも2つの畳み込み経路を備えてもよい。第1の畳み込み経路10031は、第1のボクセル解像度、例えば、ターゲットのボクセル解像度(すなわち、分類されるべき3D画像データのボクセルの解像度)の入力データ(例えば、画像ボリューム内の所定の位置におけるボクセルの第1のブロック)を処理するように構成された3D CNN特徴層(例えば、5～20層)の第1のセットを定義してもよい。同様に、第2の畳み込み経路は、第2のボクセル解像度における入力データ(例えば、ボクセルの第2のブロック10012の各ブロックがボクセルの第1のブロック10011からのその関連するブロックと同じ中心点を有する、ボクセルの第2のブロック)を処理するように構成された3D CNN特徴層(例えば、5～20層)の第2のセットを定義してもよい。ここで、第2の解像度は、第1の解像度よりも低い。したがって、ボクセルの第2のブロックは、実世界の寸法において第1のブロックよりも大きいボリュームを表す。このようにして、第1の3D CNN特徴層は、3D特徴マップを生成するためにボクセルの第1のブロックを処理し、第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理されたボクセルの関連する第1のブロックの(直接)近傍に関する情報を含む3D特徴マップを生成するためにボクセルの第2のブロックを処理する。
したがって、第2の経路は、ニューラルネットワークがコンテキスト情報、すなわち、ニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(例えば、その周囲)に関する情報を決定することを可能にする。複数の(並列)畳み込み経路を使用することによって、3D画像データ(入力データ)と3D画像データのボクセルに関するコンテキスト情報の両方が並列に処理され得る。コンテキスト情報は、典型的には、区別が困難な密に詰め込まれた歯の構造を含む、歯顎顔面構造を分類するために重要である。特に、個々の歯を分類するコンテキストにおいて、(少なくとも、歯列内の位置、他の歯、組織、空気、骨などの隣接構造を考慮する情報を含む)コンテキスト情報と同様に、少なくとも、入力のネイティブ解像度における両方の情報が利用可能であること(少なくとも、個々の歯の形状を考慮する詳細な情報を含む)が重要である。
一実施形態において、3D位置特徴を処理するために第3の畳み込み経路が使用されてもよい。代替実施形態において、3D位置特徴を処理するための第3の畳み込み経路を使用する代わりに、3D位置特徴を含む3D位置情報は、深層ニューラルネットワークの入力に提供される3D画像データに関連付けられてもよい。具体的には、各ボクセルが強度値および位置情報に関連付けられている3Dデータスタックが形成されてもよい。したがって、位置情報は、例えば、受信された3D画像情報に追加チャネルとして3D位置特徴を情報を追加することによって、適用可能な受信されたボクセルごとにペアにされてもよい。したがって、この実施形態において、深層ニューラルネットワークの入力における3D歯顎顔面構造のボクセル表現のボクセルは、例えば、無線強度値を表すボクセル値に関連付けられるだけでなく、3D位置情報にも関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路両方の畳み込み層の訓練中、3D画像特徴と3D位置特徴の両方から導出された情報がこれらの畳み込み層において符号化されてもよい。3D CNN特徴層のセットの出力は、次いで、マージされ、完全接続3D CNN層のセット1010の入力に供給されてもよく、完全接続3D CNN層のセット1010は、ニューラルネットワークの入力において提供され、3D CNN特徴層によって処理されたボクセル1012の意図された分類を導出するように訓練される。
完全接続層は、出力ボクセルのブロック内の導出されるべき出力ボクセルごとの接続を考慮してそれらが完全に接続されるように構成されてもよい。これは、それらが当該技術分野において知られているように完全畳み込み方式において提供されてもよいことを意味し、すなわち、完全接続層に関連付けられたパラメータのセットは、各出力ボクセルについて同じである。これは、ボクセルのブロック内の各出力ボクセルが並列に訓練と推定の両方をされることにつながり得る。完全接続層のそのような構成は、(ブロック全体に関して完全に密に接続された層と比較して)ネットワークに必要なパラメータの量を減らし、同時に、訓練時間と推論時間の両方を低減する(ボクセルのセットまたはブロックは、ちょうど単一の出力ボクセルの代わりに1つの経路において処理される)。
3D CNN特徴層のセットは、それらの特定の入力から決定され得る最適に有用な情報を導出して渡すように(それらの学習可能なパラメータを介して)訓練されてもよく、完全接続層は、3つの以前の経路からの情報が最適な分類されたボクセル1012を提供するように組み合わされるべき方法を決定することになるパラメータを符号化する。その後、分類されたボクセルが画像空間1014において提示されてもよい。したがって、ニューラルネットワークの出力は、入力におけるボクセルの画像空間に対応する画像空間内の分類されたボクセルである。
ここで、完全接続層の出力(最後の層)は、ボクセルごとに複数のアクティベーションを提供してもよい。そのようなボクセルアクティベーションは、ボクセルが複数のクラス、例えば、歯科構造クラス、例えば、個々の歯、顎部分、および/または神経構造のうちの1つに属する確率を定義する確率測度(予測)を表してもよい。各ボクセルについて、分類されたボクセルを取得するために、異なる歯科構造に関連付けられたボクセルアクティベーションがしきい値処理されてもよい。
図11～図13は、3D歯顎顔面構造を表す3D画像データスタック内の3D位置特徴を決定する方法と、そのような位置特徴の例とを示す。具体的には、手動で設計された特徴の場合、図7を参照して説明したように、ネットワークがオーバーフィッティングのリスクなしにボクセルを正確に分類することができるように、3D画像データスタックと関連する3D位置特徴の両方が深層ニューラルネットワークへの入力として提供される。一実施形態において、この情報は、追加の画像チャネルにおいて3D画像データに追加されてもよい。代替実施形態において、この情報は、そのような3D深層ニューラルネットワークの別個の入力に提示されてもよい。実世界の寸法に基づく変換は、入力画像の解像度に関係なく、同等の入力を保証する。手動で設計された位置特徴が、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置に関する情報を3D深層ニューラルネットワークに提供してもよい。例えば、一実施形態において、基準面は、上顎に関連付けられたボクセルと下顎に関連付けられたボクセルとを分離する画像ボリューム内のアキシャル面であってもよい。別の実施形態において、基準オブジェクトは、歯顎顔面構造の3D画像データ内の歯の歯列弓の少なくとも一部を近似する曲線、例えば、3D曲線を含んでもよい。このようにして、位置特徴は、第1の深層ニューラルネットワークに、画像ボリューム内の異なる位置におけるボクセル関連の顎、歯、および/または神経組織ごとの可能性を示す抽象化を符号化する手段を提供する。これらの位置特徴は、深層ニューラルネットワークが3D画像データスタックのボクセルを効率的かつ正確に分類するのを助ける可能性があり、オーバーフィッティングのリスクを低減するように設計される。
分類プロセスにおいて有用である画像ボリューム内の基準面および/または基準オブジェクトを決定するために、特徴分析機能は、所定の強度値の、または所定の強度値よりも上もしくは下のボクセルを決定してもよい。例えば、明るい強度値に関連付けられたボクセルが、歯および/または顎組織に関連してもよい。このようにして、画像ボリューム内の歯および/または顎の位置ならびに配向(例えば、回転角)に関する情報がコンピュータによって決定されてもよい。特徴分析機能が、回転角が所定の量よりも大きい(例えば、15度よりも大きい)と判定した場合、機能は、正確な結果にとってより有益であるので、回転角をゼロに修正してもよい。
図11は、3D画像データ1104、例えば、3D CT画像データスタック内の手動で設計された3D位置特徴を決定する方法のフロー図1102の例を示す。このプロセスは、歯顎顔面構造の1つまたは複数の3D位置特徴を決定することを含んでもよく、1つまたは複数の3D位置特徴は、(上記で図10Bを参照して論じたように)深層ニューラルネットワークの特定の経路への入力のために構成される。手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置情報、例えば、画像ボリューム内のボクセルと、上顎を下顎から分離する画像ボリューム内の基準面との間の距離、例えば、垂直距離を定義する。それはまた、画像ボリューム内のボクセルと画像ボリューム内の歯科基準オブジェクト、例えば、歯列弓との間の距離を定義してもよい。それは、画像ボリュームの第2の基準面における累積強度値の位置をさらに定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。3D位置特徴の例について以下で説明する。
歯顎顔面構造の3D画像データ内の歯列弓の位置情報を提供する基準オブジェクトを決定するため。異なる(累積)強度値の点群内の所定の点をフィッティングする曲線、例えば、多項式に従う曲線を決定するために、フィッティングアルゴリズムが使用されてもよい。
一実施形態において、画像ボリュームのアキシャル面(xy平面)内の強度値の点群が決定されてもよい。アキシャル面内の点を通る法線上に位置するボクセルのボクセル値を合計することによって、そのようなアキシャル面内の点の累積強度値が決定されてもよい。このようにして得られたアキシャル面内の強度値は、歯の歯列弓を近似する曲線を見つけるために使用されてもよい。
手動で設計された3D位置特徴の決定において使用するための基準オブジェクトの例、この場合にはそのような歯列弓を近似する曲線が図12において提供される。この例において、アキシャル(xy)面における点群は、高い強度値の領域(明るい白い領域)が歯または顎構造の領域を示す可能性があることを示す。歯列弓曲線を決定するために、コンピュータは、歯ボクセルまたは顎ボクセルとして識別され得る明るいボクセル(例えば、所定のしきい値を超える強度値を有するボクセル)に関連付けられた画像ボリュームのアキシャル面内の領域を決定してもよい。高強度のこれらの領域は、歯顎顔面弓を近似する明るい領域の三日月形の配置を決定するために使用されてもよい。このようにして、それぞれ上顎および下顎の歯顎顔面弓の平均を近似する歯列弓曲線が決定されてもよい。別の実施形態において、上顎および下顎に関連付けられた別々の歯列弓曲線が決定されてもよい。
異なる特徴が曲線に基づいて定義されてもよい(または、図13A～図13Dは、本発明の様々な実施形態による3D画像データの位置特徴の例を示す)。
図13Aは、(左)3D画像データスタックのサジタル面のスライスの画像と、(右)同じスライスのいわゆる高さ特徴の関連する視覚化とを示す。そのような高さ特徴は、基準面1302に対する3D CT画像データスタックの画像ボリューム内の各ボクセルのz位置(高さ1304)を符号化してもよい。基準面(例えば、アキシャルまたはxy平面)は、上顎と下顎の両方およびそれらの構成要素の歯までの距離がほぼ等しいxy平面(の最良の近似)であるように決定される。
3D画像データスタックのxy空間における空間情報を符号化するために、他の3D位置特徴が定義されてもよい。一実施形態において、そのような位置特徴は、そのような位置特徴は、歯列弓(の一部)を近似する曲線に基づいてもよい。そのような位置特徴が、(右左)3D画像データスタックからのスライスと(右)同じスライスに関するいわゆる移動特徴の視覚化とを示す図13Bにおいて示されている。この移動特徴は、歯列弓を近似する曲線1306に基づき、曲線に沿って測定された相対距離1308を定義する。ここで、ゼロ距離が、2次多項式の導関数が(ほぼ)ゼロである曲線上の点1310として定義されてもよい。移動距離は、この点(例えば、導関数がゼロである点)からx軸上をいずれかの方向に移動すると増加する。
歯列弓曲線に基づくさらなる3D位置特徴が、画像ボリューム内の各ボクセルの歯列弓曲線1306までの最短(垂直)距離を定義してもよい。したがって、この位置特徴は、「距離特徴」と呼ばれる場合がある。そのような特徴の例が、(左)3D画像データスタックからのスライスと(右)同じスライスに関する距離特徴の視覚化とを示す図13Cにおいて提供されている。この特徴について、ゼロ距離は、ボクセルが歯列弓曲線1308上に位置することを意味する。
さらなる3D位置特徴が、個々の歯の位置情報を定義してもよい。そのような特徴(歯科特徴と呼ばれる場合もある)の一例が、(左)3D画像データスタックからのスライスと(右)同じスライスの歯科特徴の視覚化とを示す図13Dにおいて提供されている。歯科特徴は、ボクセル空間内の特定の位置における特定の歯のボクセルを見つける可能性を決定するために使用されるべき情報を提供してもよい。この特徴は、1302などの決定された基準面に従って、任意の平面(例えば、xy平面または任意の他の平面)に対する法線上のボクセルの個別の合計を符号化してもよい。したがって、この情報は、平面法線にわたって合計された元の空間からのすべての情報の「ビュー」をニューラルネットワークに提供する。このビューは、この特徴を除外した場合に処理されるよりも大きく、(xy平面について13121、2に示すように)空間の選択された方向におけるすべての情報に基づいて、硬い構造が存在するかどうかを識別する手段を提供してもよい。
したがって、図11～図13は、3D位置特徴が、ボクセルを分類するように訓練された深層ニューラルネットワークの入力に提供されるボクセル表現のボクセルに関する情報を定義することを示す。情報は、ボクセル表現から利用可能なすべての(または本質的な部分)情報から集約されてもよく、集約中、歯科基準オブジェクトに対するボクセルの位置が考慮されてもよい。さらに、情報は、第1のボクセル表現内のボクセルの位置ごとに処理され得るように集約される。
図14A～図14Dは、本発明の一実施形態による訓練された深層学習ニューラルネットワークの出力の例を示す。具体的には、図14A～図14Dは、図8を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用して分類されたボクセルの3D画像を示す。図14Aは、深層学習ニューラルネットワークが、個々の歯、個々の顎、および神経組織として分類したボクセルの3Dコンピュータレンダー(レンダリング)を示す。ボクセルは、ニューラルネットワークによって、図14Bの個々の歯構造、図14Cの個々の顎、または図14Dの神経構造に属するボクセルにおいて分類される。深層ニューラルネットワークから結果として得られる構造の個々のボクセル表現が、図中でそのようにマークされている。例えば、図14Bは、出力され、ここではそれらのFDI歯ラベルインデックスでラベル付けされた個々の歯構造を示す(象限4のインデックスラベル4xは、図の明確さのために省略されている)。図14B～図14Dによって示されるように、分類プロセスは、正確であるが、見逃された、または誤って分類された相当な数のボクセルがまだ存在する。例えば、FDI歯インデックスラベル37として分類されたボクセルは、実世界の歯構造を正確に表していない構造拡張1402を含む。同様に、FDI歯インデックスラベル38として分類されたボクセルは、表面欠陥1404をもたらす。受信された3D画像データセット内に部分的にしか存在しないにもかかわらず、ネットワークがこの歯に関するボクセルの大多数を分類していることに留意されたい。図14Dに示すように、このそのような問題は、実世界の神経において存在する部分1406を欠いている分類された神経ボクセルでさらに顕著になる可能性がある。
(第1の深層学習ニューラルネットワークの出力を形成する)分類されたボクセルにおける外れ値の問題に対処するために、ボクセルは、後処理されてもよい。図15は、本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するフロー図を示す。具体的には、図15は、本出願の図7～図14を参照して説明したように、深層学習ニューラルネットワークを使用して分類された歯顎顔面構造のボクセルデータを後処理するフロー図を示す。
図15に示すように、プロセスは、3D歯顎顔面構造の分類されたボクセルデータ1502を、個々の顎ボクセル1504、個々の歯ボクセル1506、および神経データ1508として分類されたボクセルであるボクセルに分割するステップを含んでもよい。以下でより詳細に説明するように、顎ボクセルおよび歯ボクセルは、さらなる第2の深層学習ニューラルネットワーク1510を使用して後処理されてもよい。画像データに基づいて最良の可能なボクセル分類を生成する(入力として少なくとも歯顎顔面構造の3D CT画像データスタックを使用する)第1の深層学習ニューラルネットワークとは対照的に、第2の「後処理」深層学習ニューラルネットワークは、出力が所望の3D構造により厳密に一致するように、第1の深層学習ニューラルネットワークの出力の一部をボクセルに変換する。
後処理深層学習ニューラルネットワークは、分類された歯と顎(部分)の両方の表現を符号化する。後処理深層学習ニューラルネットワークの訓練中、ニューラルネットワークのパラメータは、第1の深層学習ニューラルネットワークの出力がこれらの歯顎顔面構造の最も実現可能な3D表現に変換されるように訓練される。このようにして、分類されたボクセルにおける欠陥が再構築され得る(1512)。加えて、3D構造の表面は、最良の実現可能な3D表現が生成され得るように平滑化されてもよい(1514)。一実施形態において、後処理ニューラルネットワークのための情報源であることから3D CT画像データスタックを除外することは、この後処理ステップを画像スタック内の望ましくない変動に対して堅牢にする。
(CB)CT画像の性質により、第1の深層学習ニューラルネットワークの出力は、患者の動き、ビーム硬化などによる平均化などの(前に記載した)潜在的なアーティファクトの影響を受ける。ノイズの別のソースは、様々なCTスキャナによってキャプチャされた画像データにおける変動である。この変動は、画像スタック内のノイズの変動する量、同じ(実世界の)密度を表す変動するボクセル強度値、および潜在的な他のものなどの、様々な要因が導入される結果をもたらす。上記のアーティファクトおよびノイズソースが第1の深層学習ニューラルネットワークの出力に与える影響は、後処理深層学習ニューラルネットワークによって除去、または少なくとも大幅に低減され得、セグメント化された顎ボクセルとセグメント化された歯ボクセルとをもたらす。
分類された神経データ1508は、顎および歯データとは別々に後処理されてもよい。CT画像データスタック内の細長いフィラメント構造を表す神経データの性質は、このデータを、深層学習ニューラルネットワークによる後処理にあまり適していないようにする。代わりに、分類された神経データは、セグメント化された神経データを生成するために補間アルゴリズムを使用して後処理される(1516)。その目的のため、神経ボクセルとして分類され、高い確率(例えば、95%以上の確率)に関連付けられているボクセルは、神経構造の3Dモデルを構築するためにフィッティングアルゴリズムによって使用される。その後、3Dの顎、歯、および神経のデータセット1518は、歯顎顔面構造のそれぞれの3Dモデルに処理されてもよい。
図16は、本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するために構成された深層学習ニューラルネットワークのアーキテクチャの例を示す。後処理深層学習ニューラルネットワークは、ターゲットの解像度において入力データ(この場合、分類されたボクセルデータの一部)を処理するように構成された3D CNN特徴層の第1のセット1604によって形成された第1の経路を含む、第1の深層学習ニューラルネットワークと同様のアーキテクチャを有してもよい。深層学習ニューラルネットワークは、第1の3D CNN特徴層によってターゲットよりも低い解像度において処理される入力データのコンテキストを処理するように構成された3D CNN特徴層の第2のセット1606をさらに含む。第1および第2の3D CNN特徴層の出力は、次いで、分類されたボクセルデータを3D歯顎顔面構造の3Dモデルを厳密に表すように再構築するために、完全接続3D CNN層のセット1608の入力に供給される。完全接続3D CNN層の出力は、再構築されたボクセルデータを提供する。
後処理ニューラルネットワークは、同じ所望の出力を表す第1の深層学習ニューラルネットワークと同じターゲットを使用して訓練されてもよい。訓練中、ネットワークは、規則化されるべき例外的な場合を表すために入力にノイズを提供することによって、可能な限り広く適用可能にされる。後処理深層学習ニューラルネットワークの性質に固有で、それを処理することは、受信されたボクセルデータからの実行不可能な態様の除去も結果としてもたらす。ここでの要因は、所望の歯顎顔面構造の平滑化および充填と、実行不可能なボクセルデータの完全な除去とを含む。
図17Aおよび図17Bは、本発明の一実施形態による、分類されたボクセルのボリューム再構築および補間をもたらす処理を示す。具体的には、図17Aは、歯構造および神経構造の分類されたボクセルの写真を示し、ボクセルは、第1の深層学習ニューラルネットワークの出力である。図に示すように、入力データ内のノイズおよび他のアーティファクトが、ボクセル分類において不規則性とアーティファクトとをもたらし、したがって、歯構造を表すボクセルのセットにおいてギャップを含む3D表面構造をもたらす。これらの不規則性およびアーティファクトは、図14Bおよび図14Dに関しても示されるように、歯の下歯槽神経構造および歯根構造において特に明らかである。
図17Bは、図15および図16を参照して説明したプロセスによる後処理の結果を示す。この図に示すように、後処理深層学習ニューラルネットワークは、入力データ(分類されたボクセル)において存在していたアーティファクトを正常に除去する。後処理ステップは、個々の歯構造の正確な3Dモデルを提供するここでは平滑な構造を示す歯の歯根構造1702などの、不規則性およびアーティファクトによって実質的に影響を受けていた部分を正常に再構築する。神経構造1704の3Dモデルを構築するために、高確率の神経ボクセル(例えば、95%以上の可能性)がフィッティングアルゴリズムによって使用されてもよい。また、図14Bに関して示されるように、FDI歯インデックスラベル37および38に関する欠陥が同様に1706で修正されていることにも留意されたい。
図18は、本発明の一実施形態による分散型コンピュータシステムの概略図を示す。分散型コンピュータシステムは、本出願において説明するように、訓練された3D深層学習プロセッサに基づいて3Dデータを処理し、処理された3Dデータをレンダリングするように構成されてもよい。図18に示すように、3Dデータ歯顎顔面構造を個々の3D歯モデルにセグメント化し、歯タイプにおいて歯モデルを分類するための訓練された3D深層学習プロセッサは、ネットワーク内の1つまたは複数のサーバ1802と、複数の端末18101～3、好ましくはモバイル端末、例えば、デスクトップコンピュータ、ラップトップ、電子タブレットなどとを備える分散型システムの一部であってもよい。(訓練された)3D深層学習プロセッサは、サーバアプリケーション1804、1806として実装されてもよい。さらに、端末上で実行されるクライアントアプリケーション(クライアントデバイス)18121～3は、ユーザがシステムと対話することを可能にするユーザインターフェースと、クライアントデバイスが1つまたは複数のネットワーク1808、例えば、インターネットを介してサーバアプリケーションと通信することを可能にするネットワークインターフェースとを含んでもよい。クライアントデバイスは、入力データ、例えば、歯列または歯列を形成する個々の3D歯モデルを含む歯顎顔面構造を表す3D(CB)CTデータを受信するように構成されてもよい。クライアントデバイスは、本明細書で説明する方法およびシステムに基づいてデータを処理(前処理、セグメント化、分類、および/または処理)してもよいサーバアプリケーションにデータを送信してもよい。処理されたデータ、例えば、類型化された(ラベル付けされた)歯の3D画像データは、クライアントデバイスに返送されてもよく、クライアントデバイスに関連付けられたレンダリングエンジン18141～3は、例えば、歯科カルテなどの形態において3D歯モデルとラベリング情報とをレンダリングするために、個々のラベル付けされた3D歯モデルの処理された3D画像データセットを使用してもよい。他の実施形態において、一部またはデータ処理は、クライアント側において実行されてもよい。例えば、本開示において説明する前処理および/または後処理は、クライアントデバイスによって実行されてもよい。
さらなる実施形態において、分散型コンピュータシステムの代わりに、本出願において説明する前処理、後処理、および分類処理を実行するために、中央コンピュータシステムが使用されてもよい。
したがって、図18によって示すように、本発明は、3D歯モデルの分類法のための完全に自動化されたパイプラインを提供する。ユーザは、歯列または歯列を含む歯顎顔面構造を表すボクセルを含む3D画像データ、例えば、(CB)CT3Dデータをシステムの入力に提供してもよく、それに応答して、システムは、個別にラベル付けされた3D歯オブジェクトを生成し、これらの3D歯オブジェクトは、様々なグラフィカルフォーマット、例えば、3Dレンダリングとして、または表示された画像スライスにおけるマークアップとしてユーザに提示され得る。入力データは、3D深層ニューラルネットワークプロセッサがいかなる人間の介入もなしに(CB)CT3D画像データを正確に処理することができるように、3D深層ニューラルネットワークへの入力用に自動的に最適化される。さらに、本発明は、3D深層ニューラルネットワークプロセッサによって生成された出力、すなわち、歯列の個別にラベル付けされた歯の3Dレンダリングを可能にする。そのような視覚情報は、歯科治療および歯科報告、歯科矯正、下顎矯正術、法医学、生体測定などにおける最先端の歯科用途に不可欠である。
図19は、個々の歯を分類する深層ニューラルネットワークによって歯の3D画像データセットに適用されたラベルと、後処理から結果として得られた歯列に適用されたラベルとを含む、図7を参照して説明したシステムから結果として得られた処理済みの歯のセットの例を示す。具体的には、図19は、歯ごとに、ダッシュ記号の前(例えば、1902)に、図5を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用する分類から結果として生じるような個々の歯に関する3Dデータセットに関する最高のアクティベーション値を有するラベルを示す。加えて、図19は、歯ごとに、ダッシュ記号の後(例えば、1904)に、図6を参照して説明した後処理の後の解決された候補状態における個々の歯に割り当てられたラベルを示す。個々の歯の深層学習ネットワークから結果として生じた最も高いアクティベーションを有するラベルのみを考慮した場合、赤色(例えば、1906)で示されている分類ラベルは、誤って分類される。これらは、例えば、不十分に訓練された深層学習ネットワーク、または入力データ内の例外のために誤って分類される場合がある。この例において、1904などのラベルは、一意のラベルが割り当てられている個々の歯を表すすべての3Dデータセットの条件を満たしながら、最も高い割り当てられたアクティベーションを最適化した、後処理を利用した歯列の分類法の結果を示す。
図20Aおよび図20Bは、本発明の一実施形態による、コンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す。これらのレンダリングされた歯列は、例えば、図18Aおよび図18Bを参照して説明したように分散型コンピュータシステムによって生成されてもよい。図20Aは、個別にラベル付けされた3D歯モデル2002を含む第1のレンダリングされた歯列20001を示し、個々の3D歯モデルは、(図7～図17を参照して説明したように)コンピュータシステムの入力に供給されたCBCT3Dデータスタックに基づいて生成されてもよい。図18を参照して説明したように、コンピュータシステムは、例えば、3D表面メッシュの形態において、個別に識別された3D歯モデルを生成するように構成された3D深層学習プロセッサを含んでもよく、3D歯モデルは、(例えば、図3を参照して説明したように)3D歯モデルを分類(ラベル付け)するための分類法プロセスを実行するように構成されたプロセッサの入力に供給されてもよい。
このコンピュータシステムの訓練された3D深層ニューラルネットワークプロセッサは、例えば、成人の32本の可能な歯を含む電子歯科カルテ2006において使用され得る適用可能な歯タイプに歯列の3D歯データを分類してもよい。図に示すように、そのような歯科カルテは、上顎歯列弓20081に従って空間的に配置された歯の上部セットと、下顎歯列弓20082に従って空間的に配置された歯の下部セットとを含んでもよい。分類法プロセスの後、ボクセル表現から導出された3D歯モデルの各々は、歯タイプでラベル付けされ、歯科マップ内の位置に関連付けられてもよい。例えば、自動分類法プロセスは、(タイプ21の歯20101として歯科カルテにおいて識別される)左上中切歯として第1の3D歯オブジェクト20041を識別し、(タイプ23の歯20102として歯科カルテにおいて識別される)犬歯として第2の3D歯オブジェクト20042を識別してもよい。
3Dデータセットのすべての個々の3D歯モデルを類型化すると、コンピュータは、いくつかの歯が欠けている(例えば、上顎左第3臼歯および上顎右第3臼歯ならびに下顎左第3臼歯)と判定してもよい。加えて、歯顎顔面構造を表す3D入力データのスライス、例えば、アキシャル面のスライス2012およびサジタル面のスライス2016がレンダリングされてもよい。プロセスは、3D入力データのボクセルを歯顎顔面構造の様々な部分(例えば、個々の顎部分、個々の歯、または個々の神経)に分類することを含むので、コンピュータは、3Dデータスタック内のどのボクセルが個々の歯に属するかを認識する。このようにして、コンピュータは、スライス内のピクセルが容易に選択され、強調表示され(例えば、強調表示されたピクセル20141、2および2018)および/または非表示にされ得るように、1つまたは複数の3D歯オブジェクト20041、2をこれらのピクセルに直接関連付けることができる。図20Bは、図20Aと同様のラベル付けされた3D歯オブジェクト2022を含むレンダリングされた歯列20002を示す。個々の3D歯モデル20241、2は、位置および歯タイプに関する視覚的情報と、分類された3D歯モデルの、および歯タイプ20301、2に関するラベル付けされたモデルを表示/非表示にする能力とを提供する歯科カルテ2026および/またはスライス2032、2036を使用してラベル付けされてもよい。例えば、図20Bに示すように、システムは、歯タイプ22の20302の選択を可能にし、歯列の3Dレンダーにおける関連する3D歯モデルを非表示にしてもよい。
図21は、本開示において説明する例示的なデータ処理システムを示すブロック図である。データ処理システム2100は、システムバス2106を介してメモリ要素2104に結合された少なくとも1つのプロセッサ2102を含んでもよい。そのため、データ処理システムは、メモリ要素2104内にプログラムコードを記憶してもよい。さらに、プロセッサ2102は、システムバス2106を介してメモリ要素2104からアクセスされるプログラムコードを実行してもよい。一態様において、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装されてもよい。しかしながら、データ処理システム2100は、本明細書で説明する機能を実行することができるプロセッサとメモリとを含む任意のシステムの形態において実装されてもよいことが理解されるべきである。
メモリ要素2104は、例えば、ローカルメモリ2108および1つまたは複数の大容量記憶デバイス2110などの1つまたは複数の物理メモリデバイスを含んでもよい。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続的なメモリデバイスを指す場合がある。大容量記憶デバイスは、ハードドライブまたは他の永続的なデータ記憶デバイスとして実装されてもよい。処理システム2100は、実行中にプログラムコードが大容量記憶デバイス2110から取り出されなければならない回数を減らすために、少なくともいくつかのプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)も含んでもよい。
入力デバイス2112および出力デバイス2114として示されている入力/出力(I/O)デバイスは、オプションで、データ処理システムに結合されてもよい。入力デバイスの例は、限定はしないが、例えば、キーボード、マウスなどのポインティングデバイスなどを含んでもよい。出力デバイスの例は、限定はしないが、例えば、モニタまたはディスプレイ、スピーカなどを含んでもよい。入力デバイスおよび/または出力デバイスは、直接または介在するI/Oコントローラを介してデータ処理システムに結合されてもよい。データ処理システムが介在するプライベートネットワークまたはパブリックネットワークを介して他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ2116もデータ処理システムに結合されてもよい。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備えてもよい。モデム、ケーブルモデム、およびイーサネットカードは、データ処理システム2100とともに使用され得る様々なタイプのネットワークアダプタの例である。
図21に描かれているように、メモリ要素2104は、アプリケーション2118を記憶してもよい。データ処理システム2100は、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)をさらに実行してもよいことが理解されるべきである。実行可能なプログラムコードの形態において実装されているアプリケーションは、データ処理システム2100によって、例えば、プロセッサ2102によって実行され得る。アプリケーションを実行することに応答して、データ処理システムは、本明細書でさらに詳細に説明される1つまたは複数の動作を実行するように構成されてもよい。
一態様において、例えば、データ処理システム2100は、クライアントデータ処理システムを表してもよい。その場合、アプリケーション2118は、実行されると、「クライアント」を参照して本明細書で説明した様々な機能を実行するようにデータ処理システム2100を構成するクライアントアプリケーションを表してもよい。クライアントの例は、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などを含むことができる。
別の態様において、データ処理システムは、サーバを表してもよい。例えば、データ処理システムは、(HTTP)サーバを表してもよく、その場合、アプリケーション2118は、実行されると、(HTTP)サーバ動作を実行するようにデータ処理システムを構成してもよい。別の態様において、データ処理システムは、本明細書において言及されるモジュール、ユニット、または機能を表してもよい。
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の限定であることを意図するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数形も同様に含むことを意図している。「備える」および/または「備えている」という用語は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
以下の特許請求の範囲におけるすべてのミーンズプラスファンクションまたはステッププラスファンクション(means or step plus function)要素の対応する構造、材料、行為、および均等物は、具体的に特許請求される他の特許請求された要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことが意図される。本発明の説明は、例示および説明の目的で提示されたが、網羅的であること、または開示された形態に限定されることを意図するものではない。本発明の範囲および要旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理および実際の用途を最もよく説明し、当業者が、企図される特定の使用に適した様々な修正を伴う様々な実施形態について本発明を理解することを可能にするために選択され、説明された。
100 コンピュータシステム
102 入力データ
104 歯の3D表現
106 3D深層ニューラルネットワークプロセッサ
108 プロセッサ
110 分類された歯のセット
206 ソース、CT 3D画像データ
208 コンピュータシステム、システム
210 関心ボリューム(VOI)
212 ソース、3D画像データ
214 3D画像データ、3D表面メッシュ
216 前処理、前処理ステップ
218 3Dボクセル表現、ボクセル表現
220 ラベル
222 3D深層ニューラルネットワーク
304 入力
306 リポジトリまたはデータベース、第1のリポジトリまたはデータベース
307 コンピュータシステム
308 関心ボリューム
310 リポジトリまたはデータベース、第2のリポジトリまたはデータベース
312 前処理
314 3D深層ニューラルネットワーク、深層ニューラルネットワーク、3D深層ニューラルネットワークプロセッサ
316 歯
318 歯列
319 コンピュータシステム
320 関心ボリューム
322 表面メッシュ
324 後処理ステップ
328 第1の訓練モジュール
330 分類モジュール
402 3D表面メッシュ
404 3Dボクセル表現
422 3D歯サンプル
424 点
426 点
428 3D歯サンプル
430 平面、x-y平面
431 重心
432 3D歯サンプル
434 回転
436 平面
438 3D歯サンプル
440 横軸、線
442 3D歯サンプル
444 負のx軸
446 3D歯サンプル
448 z-y平面
502 前処理された3D画像データ
504 3D畳み込み層
506 3D畳み込み層
508 3D畳み込み層
510 3D最大プーリング層
512 密結合層
514 最終または出力層、出力
516 ラベル
518 アクティベーション値
602 単一の歯列に関する個々の歯オブジェクト起源のセット
606 3Dデータセット
607 重心(COG)
608 予測値
612 候補歯列状態のプール
614 候補歯列状態
620 最終解
702 コンピュータシステム
704 3D画像データスタック
706 プリプロセッサ
708 特徴抽出器
710 位置特徴マッピング
712 3D深層学習ニューラルネットワーク
714 出力
716 プロセッサ
718 補間機能
720 3D深層学習ニューラルネットワーク
722 3D神経データ
724 顎の形状に関する3Dボリューム
726 歯の形状に関する3Dボリューム
728 3Dデータセットまたはモデル
730 3D訓練データ、訓練データ
732 3D表面メッシュ
734 ボクセル分類器
736 訓練のための高品質な分類されたボクセル
738 モジュール
802 歯顎顔面複合体
804 歯顎顔面構造のCT画像データスタック、画像スタック
806 光学スキャンからの3Dデータ
808 歯顎顔面構造の3D表面メッシュ
810 位置合わせ機能
812 3D位置特徴
814 分類されたボクセルデータ
816 深層ニューラルネットワーク
902 アキシャル面
904 前額面またはコロナル面
906 サジタル面
10011 画像ボリューム、ボクセルの第1のブロック
10012 ボクセルの第2のブロック
10031 第1の経路、第1の畳み込み経路
10032 第2の経路
1002 3D画像データ
1006 3D畳み込み層の第1のセット
1007 3D畳み込み層の第3のセット
1008 3D畳み込み層の第2のセット
1010 完全接続3D CNN層のセット
1012 3D CNN特徴層によって処理されたボクセル、分類されたボクセル
1014 画像空間
1102 フロー図
1104 3D画像データ
1302 基準面
1304 高さ
1306 歯列弓、歯列弓曲線
1308 相対距離、歯列弓曲線
1310 点
1402 構造拡張
1404 表面欠陥
1406 実世界の神経において存在する部分
1502 3D歯顎顔面構造の分類されたボクセルデータ
1504 顎ボクセル
1506 歯ボクセル
1508 神経データ
1510 第2の深層学習ニューラルネットワーク
1518 3Dの顎、歯、および神経のデータセット
1604 3D CNN特徴層の第1のセット
1606 3D CNN特徴層の第2のセット
1608 完全接続3D CNN層のセット
1702 歯根構造
1704 神経構造
1802 サーバ
1804 サーバアプリケーション
1806 サーバアプリケーション
1808 ネットワーク
18101～3 端末
18121～3 クライアントアプリケーション(クライアントデバイス)
18141～3 レンダリングエンジン
1902 ダッシュ記号の前
1904 ダッシュ記号の後
1906 赤色
20001 第1のレンダリングされた歯列
20002 レンダリングされた歯列
2002 3D歯モデル
20041 第1の3D歯オブジェクト
20042 第2の3D歯オブジェクト
2006 電子歯科カルテ
20081 上顎歯列弓
20082 下顎歯列弓
20101 タイプ21の歯
20102 タイプ23の歯
2012 アキシャル面のスライス
20141、2 強調表示されたピクセル
2016 サジタル面のスライス
2018 強調表示されたピクセル
2022 3D歯オブジェクト
20241、2 3D歯モデル
2026 歯科カルテ
20301、2 歯タイプ
2032 スライス
2036 スライス
2100 データ処理システム、処理システム
2102 プロセッサ
2104 メモリ要素
2106 システムバス
2108 ローカルメモリ
2110 大容量記憶デバイス
2112 入力デバイス
2114 出力デバイス
2116 ネットワークアダプタ
2118 アプリケーション

Claims (13)

  1. 歯顎顔面構造を表す3Dデータを処理するためのコンピュータ実施方法であって、
    3Dデータ、好ましくは3DコーンビームCT、CBCT、データを受信するステップであって、前記3Dデータが前記歯顎顔面構造のボクセル表現を含み、前記歯顎顔面構造が歯列を備え、ボクセルが少なくとも放射強度値に関連付けられており、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、ステップと、
    前記ボクセル表現を第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが前記ボクセル表現のボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように訓練されており、前記第1の3D深層ニューラルネットワークが、第1の畳み込み経路を定義する複数の第1の3D畳み込み層と、前記第1の畳み込み経路と平行な第2の畳み込み経路を定義する複数の第2の3D畳み込み層とを備え、前記第1の畳み込み経路が前記ボクセル表現のボクセルの第1のブロックをその入力において受信するように構成され、前記第2の畳み込み経路が前記ボクセル表現のボクセルの第2のブロックをその入力において受信するように構成され、前記ボクセルの第1および第2のブロックが前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが前記ボクセルの第1のブロックの実世界の寸法におけるボリュームよりも大きい実世界の寸法におけるボリュームを表し、前記第2の畳み込み経路が前記ボクセルの第1のブロックのボクセルに関するコンテキスト情報を決定し、前記第1および第2の畳み込み経路の出力が、前記ボクセルの第1のブロックのボクセルを1つまたは複数の歯クラスに分類するための少なくとも1つの完全接続層に接続されている、ステップと、
    前記第1の3D深層ニューラルネットワークの出力から前記歯顎顔面構造の前記ボクセル表現の分類されたボクセルを受信するステップと
    を含む、方法。
  2. 前記ボクセルの第2のブロックの前記ボリュームは、前記ボクセルの第1のブロックの前記ボリュームよりも大きく、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックのダウンサンプリングされたバージョンを表す、請求項1に記載の方法。
  3. 前記分類されたボクセルに基づいて前記歯顎顔面構造の単一の歯の1つまたは複数のボクセル表現を決定するステップと、
    単一の歯の前記1つまたは複数のボクセル表現の各々を第2の3D深層ニューラルネットワークの入力に提供するステップであって、前記第2の3D深層ニューラルネットワークが単一の歯のボクセル表現を歯列の複数の歯クラスのうちの1つに分類するように訓練されており、各歯クラスが候補歯クラスラベルに関連付けられており、訓練された前記第2の3D深層ニューラルネットワークが前記候補歯クラスラベルの各々についてアクティベーション値を生成し、候補歯クラスラベルに関連付けられたアクティベーション値が、単一の歯のボクセル表現が前記候補歯クラスラベルによって示される歯クラスを表す可能性を定義する、ステップと
    をさらに含む、請求項1または2に記載の方法。
  4. 候補歯列状態を定義するステップであって、各候補状態が、前記アクティベーション値に基づいて候補歯クラスラベルを単一の歯の複数のボクセル表現の各々に割り当てることによって形成される、ステップと、1つまたは複数の条件に基づいて前記候補歯列状態を評価するステップであって、前記1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが単一の歯の異なるボクセル表現に割り当てられることを要求する、ステップとを含む、前記歯列の分類法を決定するステップをさらに含む、請求項3に記載の方法。
  5. 前記歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、前記3D位置特徴情報が、前記ボクセル表現内のボクセルごとに、前記画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対する前記ボクセルの位置に関する情報を定義する、ステップと、
    前記3Dデータを前記第1の3D深層ニューラルネットワークの前記入力に提供する前に前記3D位置特徴情報を前記3Dデータに追加するステップであって、前記追加された3D位置特徴情報が追加のデータチャネルを前記3Dデータに提供する、ステップと
    をさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 訓練された第3の深層ニューラルネットワークに基づいて前記第1の3D深層ニューラルネットワークによって分類された前記ボクセルを後処理するステップであって、前記第3の深層ニューラルネットワークが、その入力において前記第1の3D深層ニューラルネットワークによって分類されたボクセルを受信し、前記第1の3D深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練されている、ステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 歯顎顔面構造を表す3Dデータを処理するためのコンピュータシステムであって、
    前記コンピュータシステムは、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードは、第1のコンピュータ可読プログラムコードを含み、前記プロセッサは、前記第1のコンピュータ可読プログラムコードを実行することに応答して実行可能動作を実行するように構成され、前記実行可能動作は、
    3Dデータ、好ましくは3DコーンビームCT、CBCT、データを受信するステップであって、前記3Dデータが前記歯顎顔面構造のボクセル表現を含み、前記歯顎顔面構造が歯列を備え、ボクセルが少なくとも放射強度値に関連付けられており、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、ステップと、
    前記ボクセル表現を第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが前記ボクセル表現のボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように訓練されており、前記第1の3D深層ニューラルネットワークが、第1の畳み込み経路を定義する複数の第1の3D畳み込み層と、前記第1の畳み込み経路と平行な第2の畳み込み経路を定義する複数の第2の3D畳み込み層とを備え、前記第1の畳み込み経路が前記ボクセル表現のボクセルの第1のブロックをその入力において受信するように構成され、前記第2の畳み込み経路が前記ボクセル表現のボクセルの第2のブロックをその入力において受信するように構成され、前記ボクセルの第1および第2のブロックが前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが前記ボクセルの第1のブロックの実世界の寸法におけるボリュームよりも大きい実世界の寸法におけるボリュームを表し、前記第2の畳み込み経路が前記ボクセルの第1のブロックのボクセルに関するコンテキスト情報を決定し、前記第1および第2の畳み込み経路の出力が、前記ボクセルの第1のブロックのボクセルを1つまたは複数の歯クラスに分類するための少なくとも1つの完全接続層に接続されている、ステップと、
    前記第1の3D深層ニューラルネットワークの出力から前記歯顎顔面構造の前記ボクセル表現の分類されたボクセルを受信するステップと
    を含む、コンピュータシステム。
  8. 前記ボクセルの第2のブロックの前記ボリュームは、前記ボクセルの第1のブロックの前記ボリュームよりも大きく、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックのダウンサンプリングされたバージョンを表す、請求項7に記載のコンピュータシステム。
  9. 前記実行可能動作は、
    前記分類されたボクセルに基づいて前記歯顎顔面構造の単一の歯の1つまたは複数のボクセル表現を決定するステップと、
    単一の歯の前記1つまたは複数のボクセル表現の各々を第2の3D深層ニューラルネットワークの入力に提供するステップであって、前記第2の3D深層ニューラルネットワークが単一の歯のボクセル表現を歯列の複数の歯クラスのうちの1つに分類するように訓練されており、各歯クラスが候補歯クラスラベルに関連付けられており、訓練された前記第2の3D深層ニューラルネットワークが前記候補歯クラスラベルの各々についてアクティベーション値を生成し、候補歯クラスラベルに関連付けられたアクティベーション値が、単一の歯のボクセル表現が前記候補歯クラスラベルによって示される歯クラスを表す可能性を定義する、ステップと
    をさらに含む、請求項7または8に記載のコンピュータシステム。
  10. 前記実行可能動作は、
    候補歯列状態を定義するステップであって、各候補状態が、前記アクティベーション値に基づいて候補歯クラスラベルを単一の歯の複数のボクセル表現の各々に割り当てることによって形成される、ステップと、1つまたは複数の条件に基づいて前記候補歯列状態を評価するステップであって、前記1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが単一の歯の異なるボクセル表現に割り当てられることを要求する、ステップとを含む、前記歯列の分類法を決定するステップをさらに含む、請求項9に記載のコンピュータシステム。
  11. 前記実行可能動作は、
    前記歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、前記3D位置特徴情報が、前記ボクセル表現内のボクセルごとに、前記画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対する前記ボクセルの位置に関する情報を定義する、ステップと、
    前記3Dデータを前記第1の3D深層ニューラルネットワークの前記入力に提供する前に前記3D位置特徴情報を前記3Dデータに追加するステップであって、前記追加された3D位置特徴情報が追加のデータチャネルを前記3Dデータに提供する、ステップと
    をさらに含む、請求項7から10のいずれか一項に記載のコンピュータシステム。
  12. 前記実行可能動作は、
    訓練された第3の深層ニューラルネットワークに基づいて前記第1の3D深層ニューラルネットワークによって分類された前記ボクセルを後処理するステップであって、前記第3の深層ニューラルネットワークが、その入力において前記第1の3D深層ニューラルネットワークによって分類されたボクセルを受信し、前記第1の3D深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練されている、ステップをさらに含む、請求項7から11のいずれか一項に記載のコンピュータシステム。
  13. コンピュータのメモリ内で実行されると、請求項1から6のいずれか一項に記載の方法のステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム。
JP2020519080A 2017-10-02 2018-10-02 深層学習法を使用する３ｄ歯データの自動分類および分類法 Active JP7412334B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17194460.6A EP3462373A1 (en) 2017-10-02 2017-10-02 Automated classification and taxonomy of 3d teeth data using deep learning methods
EP17194460.6 2017-10-02
PCT/EP2018/076871 WO2019068741A2 (en) 2017-10-02 2018-10-02 AUTOMATED CLASSIFICATION AND TAXONOMY OF 3D TEXT DATA USING DEEP LEARNING PROCESSES

Publications (2)

Publication Number Publication Date
JP2020535897A JP2020535897A (ja) 2020-12-10
JP7412334B2 true JP7412334B2 (ja) 2024-01-12

Family

ID=60009529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519080A Active JP7412334B2 (ja) 2017-10-02 2018-10-02 深層学習法を使用する３ｄ歯データの自動分類および分類法

Country Status (9)

Country Link
US (1) US11568533B2 (ja)
EP (2) EP3462373A1 (ja)
JP (1) JP7412334B2 (ja)
KR (1) KR20200108822A (ja)
CN (1) CN111328397A (ja)
BR (1) BR112020006544A2 (ja)
CA (1) CA3078095A1 (ja)
IL (1) IL273646A (ja)
WO (1) WO2019068741A2 (ja)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN108986123A (zh) * 2017-06-01 2018-12-11 无锡时代天使医疗器械科技有限公司 牙颌三维数字模型的分割方法
US11379975B2 (en) 2017-06-30 2022-07-05 Promaton Holding B.V. Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods
EP3462373A1 (en) 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
GB2567636B (en) * 2017-10-17 2021-11-10 Perspectum Diagnostics Ltd Method and apparatus for imaging an organ
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US10916053B1 (en) 2019-11-26 2021-02-09 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11403813B2 (en) 2019-11-26 2022-08-02 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11270523B2 (en) 2017-11-29 2022-03-08 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
WO2019142665A1 (ja) * 2018-01-16 2019-07-25 ソニー株式会社 情報処理装置および方法
WO2019167883A1 (ja) * 2018-02-28 2019-09-06 富士フイルム株式会社 機械学習装置および方法
EP3561778A1 (en) 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
JP2021524768A (ja) * 2018-05-10 2021-09-16 スリーエム イノベイティブ プロパティズ カンパニー リアルタイムでの拡張可視化によりシミュレートされる歯科矯正治療
JP7261245B2 (ja) * 2018-05-29 2023-04-19 メディシム ナームロゼ ベンノートチャップ 画像から歯髄領域をセグメント化するための方法、システム、及びコンピュータプログラム
US11389131B2 (en) * 2018-06-27 2022-07-19 Denti.Ai Technology Inc. Systems and methods for processing of dental images
WO2020011865A1 (fr) * 2018-07-13 2020-01-16 Dental Monitoring Procede d'enrichissement d'une base d'apprentissage
US11978146B2 (en) * 2018-09-18 2024-05-07 Seoul National University R&Db Foundation Apparatus and method for reconstructing three-dimensional image
ES2919428T3 (es) * 2018-11-08 2022-07-26 Holo Surgical Inc Segmentación autónoma de estructuras tridimensionales del sistema nervioso a partir de imágenes médicas
US11645746B2 (en) * 2018-11-28 2023-05-09 Orca Dental AI Ltd. Dental image segmentation and registration with machine learning
JP6650996B1 (ja) * 2018-12-17 2020-02-19 株式会社モリタ製作所 識別装置、スキャナシステム、識別方法、および識別用プログラム
US11521316B1 (en) * 2019-04-03 2022-12-06 Kentucky Imaging Technologies Automatic extraction of interdental gingiva regions
CN110059608B (zh) 2019-04-11 2021-07-06 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
KR102232043B1 (ko) * 2019-05-09 2021-03-25 주식회사 디오 영상데이터에서 치아와 치조골을 분리하는 모델 생성 방법 및 장치
US11366985B2 (en) * 2020-05-15 2022-06-21 Retrace Labs Dental image quality prediction platform using domain specific artificial intelligence
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11367188B2 (en) * 2019-10-18 2022-06-21 Retrace Labs Dental image synthesis using generative adversarial networks with semantic activation blocks
US11348237B2 (en) * 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features
US11311247B2 (en) * 2019-06-27 2022-04-26 Retrace Labs System and methods for restorative dentistry treatment planning using adversarial learning
US20210118132A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
US11357604B2 (en) * 2020-05-15 2022-06-14 Retrace Labs Artificial intelligence platform for determining dental readiness
US11276151B2 (en) 2019-06-27 2022-03-15 Retrace Labs Inpainting dental images with missing anatomy
US11030801B2 (en) 2019-05-17 2021-06-08 Standard Cyborg, Inc. Three-dimensional modeling toolkit
CN111986138B (zh) * 2019-05-22 2023-08-25 杭州依图医疗技术有限公司 一种获取肋骨定位的方法和装置
US11106930B2 (en) * 2019-06-14 2021-08-31 International Business Machines Corporation Classifying compartments at security checkpoints by detecting a shape of an object
CA3046612A1 (en) * 2019-06-14 2020-12-14 Wrnch Inc. Method and system for monocular depth estimation of persons
US11301688B2 (en) * 2019-06-14 2022-04-12 International Business Machines Corporation Classifying a material inside a compartment at security checkpoints
US11093803B2 (en) 2019-06-14 2021-08-17 International Business Machines Corporation Screening technique for prohibited objects at security checkpoints
DE102019117680A1 (de) * 2019-07-01 2021-01-07 Carl Zeiss Industrielle Messtechnik Gmbh Automatisiertes segmentierungsverfahren für die qualitätsprüfung
CN110243827B (zh) * 2019-07-18 2020-11-20 华中科技大学 一种适用于光透明样本的快速三维成像方法
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
CN110619364B (zh) * 2019-09-18 2022-08-16 哈尔滨理工大学 一种基于云模型的小波神经网络三维模型分类方法
JP2022548532A (ja) 2019-09-23 2022-11-21 カヌー テクノロジーズ インク 矩形断面を持つコイル要素を備えた分数スロット電気モータ
JP7152455B2 (ja) * 2019-10-07 2022-10-12 株式会社モリタ製作所 セグメンテーション装置および学習モデルの生成方法
EP3806034A1 (en) * 2019-10-07 2021-04-14 Nihon University Segmentation device
CN110852291A (zh) * 2019-11-15 2020-02-28 太原科技大学 一种采用Gabor变换和分块降维的腭皱识别方法
JPWO2021095867A1 (ja) * 2019-11-15 2021-05-20
EP3832594A1 (en) * 2019-12-02 2021-06-09 Koninklijke Philips N.V. A method and system for processing medical images
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
CN113139908B (zh) * 2020-01-17 2022-08-26 北京大学 一种三维牙列分割与标注方法
CN111340768B (zh) * 2020-02-21 2021-03-09 之江实验室 一种基于pet/ct智能诊断系统的多中心效应补偿方法
US11960795B2 (en) * 2020-05-26 2024-04-16 3M Innovative Properties Company Neural network-based generation and placement of tooth restoration dental appliances
US12026873B2 (en) * 2020-06-23 2024-07-02 Vuno Inc. Bone age assessment method for bone image
CN111933252B (zh) * 2020-08-12 2023-08-04 杭州深睿博联科技有限公司 一种牙位检出和缺失牙标记方法及装置
EP4196991A1 (en) * 2020-08-17 2023-06-21 3Shape A/S System and method for scanning a dental object
EP3958209B1 (en) * 2020-08-19 2024-07-03 Volkswagen Ag Computer-implemented methods, computing devices and computer programs for processing volumetric scanning data and analyzing a performance of structural elements
CN112085801B (zh) * 2020-09-08 2024-03-19 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
KR102606857B1 (ko) * 2020-10-23 2023-11-29 주식회사 메디트 구강 이미지 처리 장치 및 구강 이미지 처리 방법
JP2022075139A (ja) * 2020-11-06 2022-05-18 富士通株式会社 形状データ出力プログラム、形状データ出力方法および情報処理装置
CN112308867B (zh) * 2020-11-10 2022-07-22 上海商汤智能科技有限公司 牙齿图像的处理方法及装置、电子设备和存储介质
KR20220069655A (ko) * 2020-11-20 2022-05-27 주식회사 쓰리디산업영상 Ct 영상에서의 치아 분할 시스템 및 방법
CN112614127A (zh) * 2020-12-31 2021-04-06 北京朗视仪器有限公司 一种基于端到端的交互式三维cbct牙齿图像分割算法
US11191618B1 (en) 2021-01-06 2021-12-07 Arkimos Ltd Systems and methods for forming a dental appliance
CN112750124B (zh) * 2021-01-22 2021-11-09 推想医疗科技股份有限公司 模型生成、图像分割方法、装置、电子设备及存储介质
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN112989954B (zh) * 2021-02-20 2022-12-16 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
CN113077502B (zh) * 2021-04-16 2022-09-16 中南大学 基于标志球内部多层球面生成点的牙颌空间配准方法
CN113139977B (zh) * 2021-04-23 2022-12-27 西安交通大学 一种基于YOLO和U-Net的口腔曲断影像智齿分割方法
CN113222994B (zh) * 2021-07-08 2021-10-01 北京朗视仪器股份有限公司 基于多视角卷积神经网络的三维口腔模型安氏分类方法
CN113658679B (zh) * 2021-07-13 2024-02-23 南京邮电大学 一种医学图像下牙槽神经损伤风险自动评估方法
CN113744275B (zh) * 2021-07-26 2023-10-20 重庆邮电大学 一种基于特征变换的三维cbct牙齿图像的分割方法
KR102640126B1 (ko) * 2021-08-09 2024-02-23 주식회사 덴티움 인공지능 학습을 통한 악궁 라인 추론 장치 및 방법
CN113822904B (zh) * 2021-09-03 2023-08-08 上海爱乐慕健康科技有限公司 一种图像标注装置、方法及可读存储介质
WO2023089376A1 (en) * 2021-11-18 2023-05-25 Orca Dental Al Ltd. Method for simulating dental images that include tooth roots
CN114862771B (zh) * 2022-04-18 2023-04-18 四川大学 一种基于深度学习网络的智齿识别和分类方法
CN114757960B (zh) * 2022-06-15 2022-09-09 汉斯夫(杭州)医学科技有限公司 一种基于cbct图像的牙齿分割与重建方法及存储介质
CN115156087B (zh) * 2022-09-02 2022-12-13 深圳云甲科技有限公司 义齿分拣辅助方法、装置、计算机设备及可读存储介质
CN115588006B (zh) * 2022-11-11 2023-11-21 四川大学 一种标准化牙弓形态的提取方法
CN115661141B (zh) * 2022-12-14 2023-03-31 上海牙典医疗器械有限公司 基于cbct图像牙齿和牙槽骨分割方法及系统
KR102587782B1 (ko) * 2023-02-03 2023-10-11 고려대학교 산학협력단 3차원 치아 모델 생성 장치 및 방법
CN116580302B (zh) * 2023-05-09 2023-11-21 湖北一方科技发展有限责任公司 一种高维水文数据处理系统及方法
CN116842667A (zh) * 2023-06-25 2023-10-03 成都飞机工业（集团）有限责任公司 一种弯管制造可行性确定方法
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220742A (ja) 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
US20120063655A1 (en) 1999-08-11 2012-03-15 Case Western Reserve University Methods and systems for producing an implant
US20130022251A1 (en) 2011-07-21 2013-01-24 Shoupu Chen Method and system for tooth segmentation in dental images
US20160034788A1 (en) 2014-07-30 2016-02-04 Adobe Systems Incorporated Learning image categorization using related attributes
JP2017102622A (ja) 2015-11-30 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20170169562A1 (en) 2015-12-10 2017-06-15 3M Innovative Properties Company Method for automatic tooth type recognition from 3d scans
JP2017520292A (ja) 2014-05-22 2017-07-27 ケアストリーム ヘルス インク ３ｄ頭部計測分析の方法
JP2017157138A (ja) 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721387B1 (en) 2001-06-13 2004-04-13 Analogic Corporation Method of and system for reducing metal artifacts in images generated by x-ray scanning devices
EP1714255B1 (en) 2004-02-05 2016-10-05 Koninklijke Philips N.V. Image-wide artifacts reduction caused by high attenuating objects in ct deploying voxel tissue class
US9492245B2 (en) 2004-02-27 2016-11-15 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
US7711406B2 (en) 2005-11-23 2010-05-04 General Electric Company System and method for detection of electromagnetic radiation by amorphous silicon x-ray detector for metal detection in x-ray imaging
US7844429B2 (en) 2006-07-19 2010-11-30 Align Technology, Inc. System and method for three-dimensional complete tooth modeling
CN102067170A (zh) 2007-08-31 2011-05-18 皇家飞利浦电子股份有限公司 在存在金属伪影的情况下用于分割的不确定性图
US8439672B2 (en) 2008-01-29 2013-05-14 Align Technology, Inc. Method and system for optimizing dental aligner geometry
US8108189B2 (en) 2008-03-25 2012-01-31 Align Technologies, Inc. Reconstruction of non-visible part of tooth
US8503750B2 (en) 2009-10-06 2013-08-06 General Electric Company Method and apparatus for reduction of metal artifacts in CT images
JP5820467B2 (ja) 2010-04-20 2015-11-24 イメージング・サイエンシィズ・インターナショナル・エルエルシー 表面走査情報を用いることによる歯科用３次元ｘ線データセットからのアーチファクトの低減及び除去
WO2012018560A2 (en) 2010-07-26 2012-02-09 Kjaya, Llc Adaptive visualization for direct physician use
DE102012206714A1 (de) 2011-08-10 2013-02-14 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren, Recheneinheit, CT-System und C-Bogen-System zur Reduktion von Metallartefakten in CT-Bilddatensätzen
US9135498B2 (en) 2012-12-14 2015-09-15 Ormco Corporation Integration of intra-oral imagery and volumetric imagery
US20140227655A1 (en) 2013-02-12 2014-08-14 Ormco Corporation Integration of model data, surface data, and volumetric data
US9349198B2 (en) 2013-07-26 2016-05-24 General Electric Company Robust artifact reduction in image reconstruction
EP3129896B1 (en) * 2014-04-09 2024-02-14 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
DK3139855T3 (da) 2014-05-09 2022-02-07 3Shape As Scanning af tandløse patienter
DE102014007095A1 (de) 2014-05-14 2015-11-19 Universität Zu Lübeck Verfahren und Vorrichtung zur Reduktion von Artefakten in computertomographischen Bildern
US9934597B2 (en) 2014-09-11 2018-04-03 Carestream Health, Inc. Metal artifacts reduction in cone beam reconstruction
US9655580B2 (en) 2014-10-24 2017-05-23 General Electric Company Systems and methods for metal artifact reduction
US9498179B1 (en) 2015-05-07 2016-11-22 General Electric Company Methods and systems for metal artifact reduction in spectral CT imaging
US10013779B2 (en) 2015-06-22 2018-07-03 Toshiba Medical Systems Corporation Metal artifact reduction for 3D-digtial subtraction angiography
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
US10282663B2 (en) 2015-08-15 2019-05-07 Salesforce.Com, Inc. Three-dimensional (3D) convolution with 3D batch normalization
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
DE102016204226A1 (de) 2016-03-15 2017-09-21 Siemens Healthcare Gmbh Vorrichtung und Verfahren zum Abgrenzen eines Metallobjekts für eine Artefaktreduktion in Tomographiebildern
CN107203998B (zh) * 2016-03-18 2020-04-03 北京大学 一种对锥束ct图像进行牙列分割的方法
JP6780948B2 (ja) 2016-03-28 2020-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
KR102419552B1 (ko) 2016-06-21 2022-07-11 노벨 바이오케어 서비시스 아게 치아 수복물의 형상, 위치 및 배향 중 적어도 하나를 추정하는 방법
WO2018022752A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning
EP4360589A2 (en) 2016-08-22 2024-05-01 Kolibree SAS Oral hygiene system for compliance monitoring
US20200022790A1 (en) 2016-10-10 2020-01-23 3Shape A/S Common Placement Support for Artificial Teeth
US10660728B2 (en) 2016-10-20 2020-05-26 Baliram Maraj Systems and methods for dental treatment utilizing mixed reality and deep learning
CN106618760B (zh) 2016-12-07 2019-11-08 上海牙典医疗器械有限公司 一种设计正畸矫治方案的方法
CN108205806B (zh) 2016-12-20 2020-10-09 北京大学 一种锥束ct图像三维颅面结构的自动解析方法
ES2915563T3 (es) * 2016-12-30 2022-06-23 Carestream Dental Tech Topco Ltd Reconstrucción de un volumen virtual de tomografía computarizada para seguir la evolución del tratamiento de ortodoncia
US10828130B2 (en) 2017-03-20 2020-11-10 Align Technology, Inc. Automated 2D/3D integration and lip spline autoplacement
CN107066559B (zh) * 2017-03-30 2019-12-27 天津大学 一种基于深度学习的三维模型检索方法
US11379975B2 (en) 2017-06-30 2022-07-05 Promaton Holding B.V. Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods
FR3069359B1 (fr) 2017-07-21 2019-08-23 Dental Monitoring Procede d'analyse d'une image d'une arcade dentaire
FR3069355B1 (fr) 2017-07-21 2023-02-10 Dental Monitoring Procédé d’entrainement d’un réseau de neurones par enrichissement de sa base d’apprentissage pour l’analyse d’une image d’arcade dentaire
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US10997727B2 (en) 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US11120551B2 (en) 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
EP3503038A1 (en) 2017-12-22 2019-06-26 Promaton Holding B.V. Automated 3d root shape prediction using deep learning methods
CN108305684A (zh) 2018-02-28 2018-07-20 成都贝施美医疗科技股份有限公司 正畸治疗模拟方法、装置及终端设备
EP3561778A1 (en) 2018-04-26 2019-10-30 Promaton Holding B.V. Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
CN110473283B (zh) 2018-05-09 2024-01-23 无锡时代天使医疗器械科技有限公司 牙齿三维数字模型的局部坐标系设定方法
EP3591616A1 (en) 2018-07-03 2020-01-08 Promaton Holding B.V. Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
EP3620130A1 (en) 2018-09-04 2020-03-11 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
EP3671531A1 (en) 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
EP3767521A1 (en) 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
US10932890B1 (en) 2019-11-14 2021-03-02 Pearl Inc. Enhanced techniques for determination of dental margins in intraoral scans

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120063655A1 (en) 1999-08-11 2012-03-15 Case Western Reserve University Methods and systems for producing an implant
JP2010220742A (ja) 2009-03-23 2010-10-07 Fujifilm Corp 画像処理装置および方法並びにプログラム
US20130022251A1 (en) 2011-07-21 2013-01-24 Shoupu Chen Method and system for tooth segmentation in dental images
JP2017520292A (ja) 2014-05-22 2017-07-27 ケアストリーム ヘルス インク ３ｄ頭部計測分析の方法
US20160034788A1 (en) 2014-07-30 2016-02-04 Adobe Systems Incorporated Learning image categorization using related attributes
JP2017102622A (ja) 2015-11-30 2017-06-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20170169562A1 (en) 2015-12-10 2017-06-15 3M Innovative Properties Company Method for automatic tooth type recognition from 3d scans
JP2017157138A (ja) 2016-03-04 2017-09-07 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BUSTOS, B, et al.，An experimental comparison of feature-based 3D retrieval methods，Proceedings. 2nd International Symposium on 3D Data Processing, Visualization and Transmission, 2004，2004年，[検索日：2022.08.02], <DOI:10.1109/TDPVT.2004.1335197>
MIKI Yuma, et al. ，Tooth labeling in cone-beam CT using deep convolutional neural network for forensic identification，Medical Imaging 2017，2017年，Proceedings Vol. 10134，p. 101343E1-E6，[検索日：2022.08.12], <URL: https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10134/101343E/Tooth-labeling-in-cone-beam-CT-using-deep-convolutional-neural/10.1117/12.2254332.full?SSO=1 からダウンロード可能>，<DOI:https://doi.org/10.1117/12.2254332>
MIKI, Yuma et al.，Classification of teeth in cone-beam CT using deep convolutional neural network，Computers in Biology and Medicine，2017年，Vol. 80, No. 1，p. 24-29，[検索日：2022.08.02], <DOI:https://doi.org/10.1016/j.compbiomed.2016.11.003>, <URL: http://www.fjt.info.gifu-u.ac.jp/publication/900.pdf からダウンロード可能>
MOHAMED Chaouch, et al.，Alignment of 3D models，HAL open science，2015年，p. 1-27，[検索日：2022.08.02], <URL: https://hal.inria.fr/hal-00804653/document からダウンロード可能>
T. DUY, Nguyen, et al.，Automatic Detection and Classification of Teeth in CT Data，Medical Image Computing and Computer-Assisted Intervention - MICCAI 2012，2012年，p. 609-616，[検索日：2022.08.02], <URL: https://link.springer.com/chapter/10.1007/978-3-642-33415-3_75 からダウンロード可能>

Also Published As

Publication number Publication date
BR112020006544A2 (pt) 2020-09-29
IL273646A (en) 2020-05-31
WO2019068741A3 (en) 2019-05-16
US20200320685A1 (en) 2020-10-08
CA3078095A1 (en) 2019-04-11
WO2019068741A2 (en) 2019-04-11
EP3462373A1 (en) 2019-04-03
JP2020535897A (ja) 2020-12-10
KR20200108822A (ko) 2020-09-21
EP3692463A2 (en) 2020-08-12
US11568533B2 (en) 2023-01-31
CN111328397A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
JP7412334B2 (ja) 深層学習法を使用する３ｄ歯データの自動分類および分類法
JP7451406B2 (ja) 深層学習法を使用する自動３ｄ歯根形状予測
CN110998602B (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
JP7493464B2 (ja) ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ
Zanjani et al. Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans
CN115761226A (zh) 一种口腔影像分割识别方法、装置、电子设备和存储介质
US20220122261A1 (en) Probabilistic Segmentation of Volumetric Images
Hameed et al. A novel teeth segmentation on three-dimensional dental model using adaptive enhanced googlenet classifier

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150