JP7493464B2 - 3dオブジェクトの正準ポーズの自動化判定、および深層学習を使った3dオブジェクトの重ね合わせ - Google Patents
3dオブジェクトの正準ポーズの自動化判定、および深層学習を使った3dオブジェクトの重ね合わせ Download PDFInfo
- Publication number
- JP7493464B2 JP7493464B2 JP2020572743A JP2020572743A JP7493464B2 JP 7493464 B2 JP7493464 B2 JP 7493464B2 JP 2020572743 A JP2020572743 A JP 2020572743A JP 2020572743 A JP2020572743 A JP 2020572743A JP 7493464 B2 JP7493464 B2 JP 7493464B2
- Authority
- JP
- Japan
- Prior art keywords
- canonical
- coordinate system
- dental
- voxel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title description 25
- 238000013528 artificial neural network Methods 0.000 claims description 204
- 238000000034 method Methods 0.000 claims description 134
- 230000009466 transformation Effects 0.000 claims description 108
- 230000004913 activation Effects 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 21
- 230000001131 transforming effect Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 92
- 210000000515 tooth Anatomy 0.000 description 76
- 239000010410 layer Substances 0.000 description 75
- 238000012545 processing Methods 0.000 description 43
- 238000013519 translation Methods 0.000 description 35
- 230000014616 translation Effects 0.000 description 35
- 238000013527 convolutional neural network Methods 0.000 description 34
- 230000011218 segmentation Effects 0.000 description 31
- 238000002591 computed tomography Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 26
- 238000001994 activation Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 21
- 210000001847 jaw Anatomy 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 210000004513 dentition Anatomy 0.000 description 16
- 230000036346 tooth eruption Effects 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000012800 visualization Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 8
- 210000005036 nerve Anatomy 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 210000002455 dental arch Anatomy 0.000 description 4
- 210000000332 tooth crown Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000004195 gingiva Anatomy 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 210000004225 permanent dentition Anatomy 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Architecture (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Dental Prosthetics (AREA)
Description
104 3D歯顎顔面複合体
106 第1のデータセット
108 第2のデータセット
112 3D深層ニューラルネットワーク
120 第2の3D深層ニューラルネットワーク
126 第3の3D深層ニューラルネットワーク
200 システム
201 トレーニングモジュール
203 推論モジュール
204 ダウンスケーリングモジュール
206 変換モジュール
208 区分モジュール
222 3D深層ニューラルネットワーク、3D深層学習ネットワーク
318 3D深層ニューラルネットワーク
602 コンピュータシステム
606 セグメント化プリプロセッサ
612 第1の3D深層ニューラルネットワーク
616 セグメント化ポストプロセッサ
634 ボクセル類別器
638 モジュール
704,706,708 3D畳み込みレイヤ
800 システム、分類モジュール
802 第1のトレーニングモジュール
806 リポジトリ、データベース
808 コンピュータシステム、トレーニングプロセッサ
812 リポジトリ、データベース
814 第2の類別モジュール
820 コンピュータシステム
826 3D深層ニューラルネットワーク、3D深層ニューラルネットワークプロセッサ
828 3D深層ニューラルネットワーク、ネットワーク
1100 システム
1112 データベース、メモリ
1114 3D深層ニューラルネットワーク、ネットワーク、3D深層学習ネットワーク
1118 第1の3D深層ニューラルネットワーク
1600 データ処理システム、処理システム
1602 プロセッサ
1604 メモリ要素
1606 システムバス
1608 ローカルメモリ
1610 バルク記憶デバイス
1612 入力デバイス
1614 出力デバイス
1616 ネットワークアダプタ
1618 アプリケーション
Claims (14)
- 3Dデータセットのデータ点によって表される、3D歯科用構造物の正準表現を自動的に決定するためのコンピュータ実装方法であって、
第1の3D座標系に関連付けられた前記3Dデータセットのデータ点の1つまたは複数のブロックを、第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記3Dデータセットは、前記第1の3D座標系の軸によって定義される3D空間における第1の配向を有する1つまたは複数の歯科特徴を含む3D歯科用構造物を表し、前記第1の3Dニューラルネットワークは、3D正準座標系の軸によって定義される3D空間に関連付けられた正準ポーズ情報を生成するようにトレーニングされ、前記3D正準座標系の前記3D空間における前記1つまたは複数の歯科特徴の前記配向は、前記3D正準座標系の前記軸と位置合わせされている、ステップと、
前記第1の3D深層ニューラルネットワークの出力から正準ポーズ情報を受信するステップであって、前記正準ポーズ情報は、前記第1の3D座標系の前記1つまたは複数のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の位置の予測を含み、前記3D正準座標系中の前記データ点の前記位置は、正準座標を定義する、ステップと、
前記正準ポーズ情報を使って、前記第1の3D座標系の軸および原点に対して、前記3D正準座標系の軸の配向およびスケーリング、ならびに前記3D正準座標系の原点の位置を決定し、前記配向、前記スケーリングおよび前記位置を使って、前記第1の3D座標系の座標を前記3D正準座標系の正準座標に変換するための変換パラメータを決定する、ステップと、
前記3D歯科用構造物の前記1つまたは複数の歯科特徴が前記3D正準座標系の前記軸と位置合わせされている、前記3D歯科用構造物の正準表現を決定するステップであって、前記決定することは、前記変換パラメータに基づいて、前記第1の3D座標系中の前記3D歯科用構造物を表す前記3Dデータセットの前記データ点の座標を前記3D正準座標系の正準座標に変換することを含む、ステップとを含む方法。 - 前記3Dデータセットは、前記3D歯科用構造物のボクセル表現を表し、前記正準ポーズ情報は、前記第1の3D座標系中の前記ボクセル表現のボクセルの位置を、前記3D正準座標系中の前記ボクセルの位置の予測にリンクするための1つまたは複数のボクセルマップを含む、請求項1に記載の方法。
- 前記1つまたは複数のボクセルマップは、前記第1の3D座標系中の前記ボクセルの第1の座標を、前記3D正準座標系中の前記ボクセルの第1の座標の予測にリンクする第1のボクセルマップと、前記第1の3D座標系中の前記ボクセルの第2の座標を、前記3D正準座標系中の前記ボクセルの第2の座標の予測にリンクする第2のボクセルマップと、前記第1の3D座標系中の前記ボクセルの第3の座標を、前記3D正準座標系中の前記ボクセルの第3の座標の予測にリンクする第3のボクセルマップとを含む、請求項2に記載の方法。
- 前記3D正準座標系の軸の配向を決定することは、
前記ボクセル表現のボクセルについて、前記1つまたは複数の3Dボクセルマップのうちの1つの、正準座標における局所勾配を決定することであって、前記局所勾配は、前記第1の3D座標系によって定義された前記3D空間におけるベクトルを表し、前記ベクトルの前記配向は正準軸の前記配向の予測を表し、または前記ベクトルの長さは、前記正準軸に関連付けられたスケーリング係数を定義する、ことをさらに含む、請求項2に記載の方法。 - 第1の3Dデータセットによって表される、第1の3D歯科用構造物と、第2の3Dデータセットによって表される、第2の3D歯科用構造物の自動化重ね合わせのためのコンピュータ実装方法であって、前記方法は、
第1の3D座標系に関連付けられた前記第1の3Dデータセットのデータ点の1つまたは複数の第1のブロックおよび第2の3D座標系に関連付けられた前記第2の3Dデータセットのデータ点の1つまたは複数の第2のブロックを、第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1および第2の3D歯科用構造物は、1つまたは複数の歯科特徴を含み、前記第1の3D歯科用構造物の前記1つまたは複数の歯科特徴は、前記第1の3D座標系の軸によって定義される3D空間において第1の配向を有し、前記第2の3D歯科用構造物の前記1つまたは複数の歯科特徴は、前記第2の3D座標系の軸によって定義される3D空間において第2の配向を有し、前記第1の3D深層ニューラルネットワークは、3D正準座標系の軸によって定義される3D空間に関連付けられた正準ポーズ情報を生成するようにトレーニングされ、前記3D正準座標系の前記3D空間における前記1つまたは複数の歯科特徴の前記配向は、前記3D正準座標系の前記軸と位置合わせされているステップと、
前記3D深層ニューラルネットワークの出力から第1および第2の正準ポーズ情報を受信するステップであって、前記第1の正準ポーズ情報は、前記第1の3D座標系中の前記1つまたは複数の第1のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の第1の位置の予測を含み、前記第2の正準ポーズ情報は、前記1つまたは複数の第2のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の第2の位置の予測を含み、前記第1および第2の位置は、それぞれ、第1および第2の正準座標を定義する、ステップと、
前記第1の正準ポーズ情報を使って、前記3D正準座標系の前記軸の第1の配向およびスケーリング、ならびに前記第1の3D座標系の前記軸および原点に対する前記3D正準座標系の原点の第1の位置を決定し、前記第2の正準ポーズ情報を使って、前記3D正準座標系の前記軸の第2の配向およびスケーリング、ならびに前記第2の3D座標系の前記軸および原点に対する前記3D正準座標系の前記原点の第2の位置を決定するステップと、
前記第1の配向、およびスケーリングおよび前記第1の位置を使って、前記第1の3D座標系の座標を前記3D正準座標系の座標に変換するための、第1の変換パラメータを決定し、前記第2の配向、およびスケーリング、および前記第2の位置を使って、前記第2の3D座標系の座標を前記3D正準座標系の正準座標に変換するための、第2の変換パラメータを決定するステップと、
前記第1の3D歯科用構造物と前記第2の3D歯科用構造物の重ね合わせを決定するステップであって、前記決定することは、前記第1および第2の変換パラメータを使って、それぞれ、前記第1の3D歯科用構造物の前記1つまたは複数の歯科特徴と前記第2の3D歯科用構造物の前記1つまたは複数の歯科特徴が前記3D正準座標系の前記軸と位置合わせされている前記第1および第2の3D歯科用構造物の第1および第2の正準表現を形成することを含む、ステップとを含む、方法。 - 前記第1および第2の3D歯科用構造物の前記第1および第2の正準表現は、それぞれ、第1および第2の3D表面メッシュであり、重ね合わせを前記決定することは、
前記第1の3D歯科用構造物の前記第1の正準表現を、前記第1の3D歯科用構造物の少なくとも1つの第1の3D歯科要素の少なくとも1つの3D表面メッシュにセグメント化し、前記第2の3D歯科用構造物の前記第2の正準表現を、前記第2の3D歯科用構造物の少なくとも1つの第2の3D歯科要素の少なくとも1つの3D表面メッシュにセグメント化することと、
前記第1および第2の3D表面メッシュの少なくとも3つの第1および第2の非同一線上キー点を選択することであって、キー点は、前記第1の3D表面メッシュの表面曲率における局所的および/または大域的最大値または最小値を定義する、ことと、
前記第1および第2の非同一線上キー点に基づいて、前記第1および第2の3Dオブジェクト要素を位置合わせすることとをさらに含む、請求項5に記載の方法。 - 前記第1および第2の3D歯科用構造物の前記第1および第2の正準表現はボクセル表現であり、重ね合わせを前記決定することは、
前記第1の3D歯科用構造物の第1の正準ボクセル表現の少なくとも一部および前記第2の3D歯科用構造物の第2の正準ボクセル表現の少なくとも一部を、第2の3D深層ニューラルネットワークの入力に提供することであって、前記第2の3D深層ニューラルネットワークは、前記第1および第2の正準ボクセル表現を位置合わせするための変換パラメータを決定するようにトレーニングされる、ことと、
前記第2の3D深層ニューラルネットワークの出力によって与えられた前記変換パラメータに基づいて、前記第1および第2の3D歯科用構造物の第1および第2の正準表現を位置合わせすることとをさらに含む、請求項5に記載の方法。 - 重ね合わせを決定することは、
前記第1の3D歯科用構造物の正準表現と、前記第2の歯科用構造物の正準表現との間の重複のボリュームを決定することと、
重複の前記ボリュームにおける前記第1の正準表現の第1のボクセルを含む第1の関心ボリュームを決定し、重複の前記ボリュームにおける前記第2の正準表現の第2のボクセルを含む第2の関心ボリュームを決定することとをさらに含む、請求項5に記載の方法。 - 前記第1の関心ボリューム、すなわちVOIに含まれる第1のボクセルを、第3の3D深層ニューラルネットワークの入力に提供するステップであって、前記第3の3D深層ニューラルネットワークは、ボクセルを類別し、セグメント化するようにトレーニングされる、ステップと、
前記第1の関心ボリューム中の前記第1のボクセルの各々についての、および/または前記第2の関心ボリューム中の前記第2のボクセルの各々についてのアクティブ化値を、前記第3の3D深層ニューラルネットワークの出力から受信するステップであって、ボクセルのアクティブ化値は、前記ボクセルが所定の3Dオブジェクトクラスに属す確率を表す、ステップと、
それぞれ、第1および第2のVOI中の第1および第2の3D歯科要素の第1および第2のボクセル表現を決定するために、前記アクティブ化値を使い、任意選択で、前記第1および第2の3D歯科要素の前記第1および第2のボクセル表現を使って、前記第1および第2の3D歯科要素の第1および第2の3D表面メッシュを決定するステップとをさらに含む、請求項8に記載の方法。 - 前記第1および第2の3D表面メッシュの少なくとも3つの第1および第2の非同一線上キー点を選択するステップであって、キー点は、前記第1の表面メッシュの表面曲率における局所的および/または大域的最大値または最小値を定義する、ステップと、
前記第1および第2の非同一線上キー点に基づいて、反復最接近点アルゴリズムを使って、前記第1および第2の3D歯科要素を位置合わせするステップとをさらに含む、請求項9に記載の方法。 - 第1の3D歯科要素の第1のボクセル表現および第2の3D歯科要素の第2のボクセル表現を、第4の3D深層ニューラルネットワークに提供するステップであって、前記第4の3D深層ニューラルネットワークは、複数の候補構造ラベルの各々についてのアクティブ化値を生成するようにトレーニングされ、候補ラベルに関連付けられるアクティブ化値は、前記第4の3D深層ニューラルネットワークの入力によって受信されたボクセル表現が、前記候補構造ラベルによって示される構造タイプを表す確率を表す、ステップと、
前記第4の3D深層ニューラルネットワークの出力から、複数の第1および第2のアクティブ化値を受信し、第1の複数のアクティブ化値のうちの最も高いアクティブ化値をもつ第1の構造ラベルを選択し、第2の複数のアクティブ化値のうちの最も高いアクティブ化値をもつ第2の構造ラベルを選択し、および、前記第1および第2の構造ラベルを、それぞれ、前記第1および第2の3D表面メッシュに割り当てるステップとをさらに含む、請求項9に記載の方法。 - 前記第1および第2の3D表面メッシュの少なくとも3つの第1および第2の非同一線上キー点を選択するステップであって、キー点は、前記第1の表面メッシュの表面曲率における局所的および/または大域的最大値または最小値を定義する、ステップと、
前記第1および第2のキー点を、それぞれ、前記第1の3D表面メッシュに割り当てられた前記第1の構造ラベルおよび前記第2の3D表面メッシュに割り当てられた前記第2の構造ラベルに基づいてラベル付けするステップと、
前記第1および第2の3D歯科要素を、それぞれ、前記第1および第2のキー点ならびに前記第1および第2の3D表面メッシュの前記第1および第2の構造ラベルに基づいて、反復最接近点アルゴリズムを使って位置合わせするステップとをさらに含む、請求項11に記載の方法。 - 3Dデータセットによって表される3D歯科用構造物の正準表現を自動的に決定するために適応されたコンピュータシステムであって、
コンピュータ可読プログラムコードを具現化したコンピュータ可読記憶媒体であって、前記プログラムコードは、少なくとも1つのトレーニングされた3D深層ニューラルネットワークを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合された少なくとも1つのプロセッサとを備え、前記コンピュータ可読プログラムコードを実行したことに応答して、前記少なくとも1つのプロセッサは、
第1の3D座標系に関連付けられた前記3Dデータセットのデータ点の1つまたは複数のブロックを、第1の3D深層ニューラルネットワークの入力に提供することであって、前記3Dデータセットは、前記第1の3D座標系の軸によって定義される3D空間における第1の配向を有する1つまたは複数の歯科特徴を含む3D歯科用構造物を表し、前記第1の3Dニューラルネットワークは、前記3D歯科用構造物の部分の一部に対して定義される3D正準座標系の軸によって定義される3D空間に関連付けられた正準ポーズ情報を生成するようにトレーニングされ、前記3D正準座標系の前記3D空間における前記1つまたは複数の歯科特徴の前記配向は、前記3D正準座標系の前記軸と位置合わせされている、ことと、
前記第1の3D深層ニューラルネットワークの出力から正準ポーズ情報を受信することであって、前記正準ポーズ情報は、前記第1の3D座標系の前記1つまたは複数のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の位置の予測を含み、前記3D正準座標系中の前記データ点の前記位置は、正準座標を定義する、ことと、
前記正準ポーズ情報を使って、前記第1の3D座標系の軸および原点に対して、前記3D正準座標系の軸の配向およびスケーリング、ならびに前記3D正準座標系の原点の位置を決定し、前記配向、前記スケーリングおよび前記位置を使って、前記第1の座標系の座標を前記3D正準座標系の正準座標に変換するための変換パラメータを決定する、ことと、
前記3D歯科用構造物の前記1つまたは複数の歯科特徴が前記3D正準座標系の前記軸と位置合わせされている、前記3D歯科用構造物の正準表現を決定することであって、前記決定することは、前記変換パラメータに基づいて、前記第1の3D座標系中の前記3D歯科用構造物を表す前記3Dデータセットの前記データ点の座標を前記3D正準座標系の正準座標に変換することを含む、こととを含む実行可能動作を実施するように構成される、コンピュータシステム。 - 第1の3Dデータセットによって表される、第1の3D歯科用構造物と、第2の3Dデータセットによって表される第2の3D歯科用構造物の自動化重ね合わせのために適応されたコンピュータシステムであって、
コンピュータ可読プログラムコードを具現化したコンピュータ可読記憶媒体であって、前記プログラムコードは、少なくとも1つのトレーニングされた3D深層ニューラルネットワークを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合された少なくとも1つのプロセッサとを備え、前記コンピュータ可読プログラムコードを実行したことに応答して、前記少なくとも1つのプロセッサは、
第1の3D座標系に関連付けられた前記第1の3Dデータセットのデータ点の1つまたは複数の第1のブロックおよび第2の3D座標系に関連付けられた前記第2の3Dデータセットのデータ点の1つまたは複数の第2のブロックを、第1の3D深層ニューラルネットワークの入力に提供することであって、前記第1および第2の歯科用構造物は、1つまたは複数の歯科特徴を含み、前記第1の3D歯科用構造物の前記1つまたは複数の歯科特徴は、前記第1の3D座標系の軸によって定義される3D空間において第1の配向を有し、前記第2の3D歯科用構造物の前記1つまたは複数の歯科特徴は、前記第2の3D座標系の軸によって定義される3D空間において第2の配向を有し、前記第1の3D深層ニューラルネットワークは、3D正準座標系の軸によって定義される3D空間に関連付けられた正準ポーズ情報を生成するようにトレーニングされ、前記3D正準座標系の前記3D空間における前記1つまたは複数の歯科特徴の前記配向は、前記3D正準座標系の前記軸と位置合わせされていることと、
前記3D深層ニューラルネットワークの出力から第1および第2の正準ポーズ情報を受信することであって、前記第1の正準ポーズ情報は、前記第1の3D座標系中の前記1つまたは複数の第1のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の第1の位置の予測を含み、前記第2の正準ポーズ情報は、前記1つまたは複数の第2のブロックのデータ点の位置について、前記3D正準座標系中の前記データ点の第2の位置の予測を含み、前記第1および第2の位置は、それぞれ、第1および第2の正準座標を定義する、ことと、
前記第1の正準ポーズ情報を使って、前記3D正準座標系の前記軸の第1の配向およびスケーリング、ならびに前記第1の3D座標系の前記軸および原点に対する前記3D正準座標系の原点の第1の位置を決定し、前記第2の正準ポーズ情報を使って、前記3D正準座標系の前記軸の第2の配向およびスケーリング、ならびに前記第2の3D座標系の前記軸および原点に対する前記3D正準座標系の前記原点の第2の位置を決定することと、
前記第1の配向、およびスケーリングおよび前記第1の位置を使って、前記第1の3D座標系の座標を前記3D正準座標系の座標に変換するための、第1の変換パラメータを決定し、前記第2の配向、およびスケーリング、および前記第2の位置を使って、前記第2の3D座標系の座標を前記3D正準座標系の正準座標に変換するための、第2の変換パラメータを決定することと、
前記第1の3D歯科用構造物と前記第2の3D歯科用構造物の重ね合わせを決定することであって、前記決定することは、前記第1および第2の変換パラメータを使って、それぞれ、前記第1の3D歯科用構造物の前記1つまたは複数の歯科特徴と前記第2の3D歯科用構造物の前記1つまたは複数の歯科特徴が前記3D正準座標系の前記軸と位置合わせされている前記第1および第2の3D歯科用構造物の第1および第2の正準表現を形成することを含む、実行可能動作を実施するように構成される、コンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18181421.1A EP3591616A1 (en) | 2018-07-03 | 2018-07-03 | Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning |
EP18181421.1 | 2018-07-03 | ||
PCT/EP2019/067905 WO2020007941A1 (en) | 2018-07-03 | 2019-07-03 | Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021529051A JP2021529051A (ja) | 2021-10-28 |
JP7493464B2 true JP7493464B2 (ja) | 2024-05-31 |
Family
ID=62846050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020572743A Active JP7493464B2 (ja) | 2018-07-03 | 2019-07-03 | 3dオブジェクトの正準ポーズの自動化判定、および深層学習を使った3dオブジェクトの重ね合わせ |
Country Status (9)
Country | Link |
---|---|
US (1) | US20210174543A1 (ja) |
EP (2) | EP3591616A1 (ja) |
JP (1) | JP7493464B2 (ja) |
KR (1) | KR20210028226A (ja) |
CN (1) | CN112639880A (ja) |
BR (1) | BR112020026687A2 (ja) |
CA (1) | CA3104592A1 (ja) |
IL (1) | IL279834A (ja) |
WO (1) | WO2020007941A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019002631A1 (en) | 2017-06-30 | 2019-01-03 | Promaton Holding B.V. | 3D CLASSIFICATION AND MODELING OF 3D DENTO-MAXILLO-FACIAL STRUCTURES THROUGH DEEP LEARNING PROCESSES |
EP3462373A1 (en) | 2017-10-02 | 2019-04-03 | Promaton Holding B.V. | Automated classification and taxonomy of 3d teeth data using deep learning methods |
EP3503038A1 (en) | 2017-12-22 | 2019-06-26 | Promaton Holding B.V. | Automated 3d root shape prediction using deep learning methods |
EP3561778A1 (en) | 2018-04-26 | 2019-10-30 | Promaton Holding B.V. | Automated correction of metal affected voxel representations of x-ray data using deep learning techniques |
US11276244B2 (en) * | 2018-09-18 | 2022-03-15 | AB Strategies SEZC Ltd. | Fixing holes in a computer generated model of a real-world environment |
JP6936826B2 (ja) * | 2019-03-18 | 2021-09-22 | 株式会社モリタ製作所 | 画像処理装置、表示システム、画像処理方法、および画像処理プログラム |
WO2020196939A1 (ko) * | 2019-03-25 | 2020-10-01 | 본와이즈 주식회사 | 치아의 골 연령을 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체 |
US20210174585A1 (en) * | 2019-05-17 | 2021-06-10 | Standard Cyborg, Inc. | Three-dimensional modeling toolkit |
EP3968277A1 (en) * | 2019-10-07 | 2022-03-16 | Nihon University | Segmentation device |
CN111612891B (zh) * | 2020-05-22 | 2023-08-08 | 北京京东乾石科技有限公司 | 模型生成方法、点云数据处理方法、装置、设备及介质 |
JP7195291B2 (ja) * | 2020-07-01 | 2022-12-23 | 株式会社モリタ製作所 | データ処理装置、データ処理システム、データ処理方法、およびデータ処理用プログラム |
CN111798445B (zh) * | 2020-07-17 | 2023-10-31 | 北京大学口腔医院 | 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统 |
CN112348867B (zh) * | 2020-11-18 | 2024-04-12 | 南通市测绘院有限公司 | 基于LiDAR点云数据的城市高精度三维地形构建方法及系统 |
CN112561288A (zh) * | 2020-12-07 | 2021-03-26 | 东北大学 | 一种采用图像模型的风力发电机运行状态智能辩识方法 |
GB202107492D0 (en) * | 2021-05-26 | 2021-07-07 | Vitaware Ltd | Image processing method |
US20220398738A1 (en) * | 2021-06-15 | 2022-12-15 | Imagoworks Inc. | Method for automated tooth segmentation of three dimensional scan data using deep learning and computer readable medium having program for performing the method |
GB202109474D0 (en) * | 2021-06-30 | 2021-08-11 | Univ Oxford Innovation Ltd | Image alignment |
KR102523856B1 (ko) * | 2021-08-31 | 2023-04-20 | 주식회사 스타인펠드 | 딥러닝을 이용한 크라운 3d 메쉬 생성 방법 및 이를 이용하는 장치 |
EP4276765A1 (en) * | 2022-05-11 | 2023-11-15 | DENTSPLY SIRONA Inc. | Method to correct scale of dental impressions |
WO2024026293A1 (en) * | 2022-07-26 | 2024-02-01 | Align Technology, Inc. | Method of determining tooth root apices using intraoral scans and panoramic radiographs |
KR102670837B1 (ko) * | 2022-12-05 | 2024-05-30 | 주식회사 스타인펠드 | 딥러닝을 이용한 크라운 교합면 3d 메쉬 생성 방법 및 이를 이용하는 장치 |
KR102670827B1 (ko) * | 2022-12-05 | 2024-05-30 | 주식회사 스타인펠드 | 딥러닝을 이용한 크라운 측면 3d 메쉬 생성 방법 및 이를 이용하는 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002514465A (ja) | 1998-05-14 | 2002-05-21 | ミネソタ マイニング アンド マニュファクチャリング カンパニー | 歯列矯正装置の選択 |
US20050203726A1 (en) | 2004-03-11 | 2005-09-15 | Marshall Michael C. | System and method for generating an electronic model for a dental impression having a common coordinate system |
JP2010220742A (ja) | 2009-03-23 | 2010-10-07 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
US20140169648A1 (en) | 2012-12-14 | 2014-06-19 | Ormco Corporation | Integration of intra-oral imagery and volumetric imagery |
WO2016143022A1 (ja) | 2015-03-09 | 2016-09-15 | 富士通株式会社 | 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法 |
JP2017213060A (ja) | 2016-05-30 | 2017-12-07 | 富士通株式会社 | 歯の種類判定プログラム、歯冠位置判定装置及びその方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015169910A1 (en) * | 2014-05-09 | 2015-11-12 | 3Shape A/S | Scanning of edentulous patients |
KR20170007309A (ko) * | 2014-05-22 | 2017-01-18 | 케어스트림 헬스 인코포레이티드 | 3-d 두부 방사선 계측 분석을 위한 방법 |
US10235606B2 (en) | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
-
2018
- 2018-07-03 EP EP18181421.1A patent/EP3591616A1/en not_active Withdrawn
-
2019
- 2019-07-03 CA CA3104592A patent/CA3104592A1/en active Pending
- 2019-07-03 BR BR112020026687-6A patent/BR112020026687A2/pt unknown
- 2019-07-03 US US17/257,481 patent/US20210174543A1/en active Pending
- 2019-07-03 EP EP19735321.2A patent/EP3818500A1/en active Pending
- 2019-07-03 CN CN201980057637.5A patent/CN112639880A/zh active Pending
- 2019-07-03 JP JP2020572743A patent/JP7493464B2/ja active Active
- 2019-07-03 KR KR1020217003097A patent/KR20210028226A/ko unknown
- 2019-07-03 WO PCT/EP2019/067905 patent/WO2020007941A1/en unknown
-
2020
- 2020-12-29 IL IL279834A patent/IL279834A/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002514465A (ja) | 1998-05-14 | 2002-05-21 | ミネソタ マイニング アンド マニュファクチャリング カンパニー | 歯列矯正装置の選択 |
US20050203726A1 (en) | 2004-03-11 | 2005-09-15 | Marshall Michael C. | System and method for generating an electronic model for a dental impression having a common coordinate system |
JP2010220742A (ja) | 2009-03-23 | 2010-10-07 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
US20140169648A1 (en) | 2012-12-14 | 2014-06-19 | Ormco Corporation | Integration of intra-oral imagery and volumetric imagery |
JP2014117611A (ja) | 2012-12-14 | 2014-06-30 | Ormco Corp | 口腔内画像と体積画像の統合 |
WO2016143022A1 (ja) | 2015-03-09 | 2016-09-15 | 富士通株式会社 | 歯冠情報取得プログラム、情報処理装置、及び歯冠情報取得方法 |
JP2017213060A (ja) | 2016-05-30 | 2017-12-07 | 富士通株式会社 | 歯の種類判定プログラム、歯冠位置判定装置及びその方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021529051A (ja) | 2021-10-28 |
WO2020007941A1 (en) | 2020-01-09 |
IL279834A (en) | 2021-03-01 |
EP3591616A1 (en) | 2020-01-08 |
US20210174543A1 (en) | 2021-06-10 |
CN112639880A (zh) | 2021-04-09 |
EP3818500A1 (en) | 2021-05-12 |
KR20210028226A (ko) | 2021-03-11 |
BR112020026687A2 (pt) | 2021-03-30 |
CA3104592A1 (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7493464B2 (ja) | 3dオブジェクトの正準ポーズの自動化判定、および深層学習を使った3dオブジェクトの重ね合わせ | |
JP7489964B2 (ja) | 深層学習を使用した自動化矯正治療計画 | |
JP7451406B2 (ja) | 深層学習法を使用する自動3d歯根形状予測 | |
JP7412334B2 (ja) | 深層学習法を使用する3d歯データの自動分類および分類法 | |
CN110998602B (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
Abdolali et al. | Mandibular canal segmentation using 3D Active Appearance Models and shape context registration | |
Neumann | Localization and Classification of Teeth in Cone Beam Computed Tomography using 2D CNNs | |
WO2024127310A1 (en) | Autoencoders for the validation of 3d oral care representations | |
WO2024127316A1 (en) | Autoencoders for the processing of 3d representations in digital oral care | |
BR112021003326B1 (pt) | Sistema que compreende uma rede neural profunda e pelo menos um processador |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230731 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7493464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |