JP2024518241A - シングルフレーム制御ビュー - Google Patents
シングルフレーム制御ビュー Download PDFInfo
- Publication number
- JP2024518241A JP2024518241A JP2023558414A JP2023558414A JP2024518241A JP 2024518241 A JP2024518241 A JP 2024518241A JP 2023558414 A JP2023558414 A JP 2023558414A JP 2023558414 A JP2023558414 A JP 2023558414A JP 2024518241 A JP2024518241 A JP 2024518241A
- Authority
- JP
- Japan
- Prior art keywords
- model
- virtual
- data
- perspectives
- direct measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000002925 dental caries Diseases 0.000 claims abstract description 17
- 238000010521 absorption reaction Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims description 124
- 238000000034 method Methods 0.000 claims description 79
- 238000003860 storage Methods 0.000 claims description 31
- 238000012986 modification Methods 0.000 claims description 22
- 230000004048 modification Effects 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 abstract description 46
- 238000002360 preparation method Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012935 Averaging Methods 0.000 abstract description 6
- 201000010099 disease Diseases 0.000 abstract description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 6
- 238000009877 rendering Methods 0.000 abstract description 3
- 230000002596 correlated effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 64
- 230000008569 process Effects 0.000 description 37
- 230000015654 memory Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 208000003445 Mouth Neoplasms Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000002845 discoloration Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 208000028169 periodontal disease Diseases 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 208000014151 Stomatognathic disease Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000005548 dental material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
デジタル印象の幾何形状及び色の品質だけでなく、蛍光特性、透照特性、反射特性、及び吸収特性も、例えば、平均化効果、レンダリング効果、困難なスキャン状況などに起因して、シングルフレーム2D/3D画像よりも劣ることがある。これは、プレパレーションマージンラインの作成又はカリエスなどの疾患の検出といった歯科ワークフローの難しさにつながることがある。高品質のシングルフレーム画像と対応する3Dモデルの相関ビューを提供することによって、シングルフレーム画像を使用して歯科ワークフローをより効率よく完了するためにガイドすることができる。【選択図】図3
Description
関連出願への相互参照
この特許出願は、あらゆる目的のために参照により本明細書に組み込まれる、2021年3月25日に出願された米国特許出願第17/211,922号の利益及び優先権を主張するものである。
この特許出願は、あらゆる目的のために参照により本明細書に組み込まれる、2021年3月25日に出願された米国特許出願第17/211,922号の利益及び優先権を主張するものである。
本発明は、一般に、虫歯のシングルフレームビューを表示するための方法、システム、及びコンピュータプログラム製品に関する。より具体的には、本発明は、歯のマージンラインの作成などの歯科ワークフロープロセスを支援するために、歯のビューの品質を維持したビューを生成するべく、虫歯の歯の高品質のシングルフレームビューを用いるための方法、システム、及びコンピュータプログラム製品に関する。
歯科学の実践では、歯科治療で修復物の良好なフィットをもたらすために、歯科用ソフトウェアで歯のマージンをトレースすることが行われている。トレースは、普通は、マージンラインがある辺縁を示すことから始まる。入力デバイスを使用して、マージンライン上に点が順次に配置される。これらの点は、編集可能であり、配置された点の全円が生じるまで歯の周りに配置することができる。
さらなるステップにおいて、これらの点を使用して、マージンラインを表すラインが自動的に計算される。前記ラインは、編集可能であり、入力デバイスを使用して修正することができる。配置された点を調整することでマージンラインが調整され、マージンラインを調整するためにさらなる点を追加することができる。
例示的な実施形態は、歯のマージンラインの作成又はカリエスの検出などの歯科ワークフローを支援するために、歯のビューの品質を維持した画像の使用を通じて、虫歯の歯の高品質のシングルフレームビューを表示するための方法、システム、及びコンピュータプログラム製品を提供する。
本明細書の一態様では、シングルフレーム制御ビューを提供する方法が開示される。この方法は、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データ(例えば、シングルフレーム2D画像及びシングルフレーム3D画像)を含む、歯顎又は口腔に関するデータを取得することを含む。その後に、インデックスを付けるステップが続き、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデックス付けモジュールを使用してデータにインデックスが付けられる。インデックスを付けることに応答して、選択するステップが続き、ペアのリストから表示するためのペアが選択され、提案生成器を使用してオペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力が提供される。この方法では、計算された修正により、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルが生成される。
仮想3Dモデルは、3D幾何形状情報とともに、テクスチャ、視覚的色、蛍光情報、吸収情報、透照情報、反射情報、マージン情報、例えば手動又は自動で生成されたライン、例えば、1つ以上の色又はラインとして描画されたカリエス情報、或いはモデルの一部として、モデル内に、モデルの表面上に、又はテキストボックス、矢印、凡例、十字線、点、円などのモデルの幾何形状の捕捉として視覚化又は表示することができる任意の他の手動で生成された又は自動的に提案された情報などの、それを補足するさらなる情報を含む。
前述の3Dモデルの任意の部分の表示された特徴又は基礎となる数値計算のいずれかの変更、修正、又は再計算、例えば、修正された幾何形状、修正された色、修正されたテクスチャ、修正されたマージン提案、修正されたカリエス提案、修正された幾何形状オブジェクト、修正された十字線の位置、モデルに伴う任意の他の診断特徴又はグラフィカル情報の修正、修正された蛍光情報、修正された吸収情報、修正された透照情報、修正された反射情報は、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルとなる、新たに生成又は再計算された3Dモデルとみなされる。
本明細書の一態様では、シングルフレーム制御ビューを提供する方法が開示される。この方法は、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データ(例えば、シングルフレーム2D画像及びシングルフレーム3D画像)を含む、歯顎又は口腔に関するデータを取得することを含む。その後に、インデックスを付けるステップが続き、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデックス付けモジュールを使用してデータにインデックスが付けられる。インデックスを付けることに応答して、選択するステップが続き、ペアのリストから表示するためのペアが選択され、提案生成器を使用してオペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力が提供される。この方法では、計算された修正により、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルが生成される。
仮想3Dモデルは、3D幾何形状情報とともに、テクスチャ、視覚的色、蛍光情報、吸収情報、透照情報、反射情報、マージン情報、例えば手動又は自動で生成されたライン、例えば、1つ以上の色又はラインとして描画されたカリエス情報、或いはモデルの一部として、モデル内に、モデルの表面上に、又はテキストボックス、矢印、凡例、十字線、点、円などのモデルの幾何形状の捕捉として視覚化又は表示することができる任意の他の手動で生成された又は自動的に提案された情報などの、それを補足するさらなる情報を含む。
前述の3Dモデルの任意の部分の表示された特徴又は基礎となる数値計算のいずれかの変更、修正、又は再計算、例えば、修正された幾何形状、修正された色、修正されたテクスチャ、修正されたマージン提案、修正されたカリエス提案、修正された幾何形状オブジェクト、修正された十字線の位置、モデルに伴う任意の他の診断特徴又はグラフィカル情報の修正、修正された蛍光情報、修正された吸収情報、修正された透照情報、修正された反射情報は、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルとなる、新たに生成又は再計算された3Dモデルとみなされる。
本明細書の別の態様では、以下の任意の組み合わせが開示される:少なくとも1つの直接測定データは、修正されていないテクスチャ、歯顎の色、歯顎の蛍光特性、透照特性、反射特性、又は吸収特性に関する情報を提供する、2D画像(2Dカラー画像、2D蛍光画像、2D赤外画像、2Dカリエス画像、2D吸収画像、2D反射画像、及び2D透照画像など)である;少なくとも1つの直接測定データは、(例えば、色、テクスチャ、カリエス、赤外、吸収、反射、透照、又は蛍光マッピングあり又はなしの)歯顎の修正されていない幾何形状に関する情報を提供する3D画像である;計算された修正は、第1の仮想3Dモデルの一部の幾何形状又は色の変更である;計算された修正は、第1の仮想3Dモデルの提案されたマージンの変更である;ペアのリストは、第1の仮想3Dモデル上にマッピングとして表示される;ペアのリストは、テーブル又はリストとして表示される;制御は双方向の表示関係であり、ペアの1つのメンバーを選択するとペアの別のメンバーが表示される;計算された修正はリアルタイムで表示される;第1又は第2の仮想3Dモデルに対して別の入力が提供され、対応するライブ又は遅延フィードバックが、直接測定データの対応する位置に提供される;選択されたペアの直接測定データの第1の位置に関して提供されるオペレータ入力により、機械学習モデルである提案生成器を使用して第2の仮想3Dモデルを生成するべく第1の仮想3Dモデルの対応する位置の修正が計算される。
また別の態様において、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部に対応する少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得することと、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択することと、第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供することと、を含む方法が開示される。この方法では、少なくとも1つの直接測定データは、2D画像又は3D画像である。
さらなる態様において、コンピュータシステムが開示される。コンピュータシステムは、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部を表す、用いられる少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けるステップと、インデックスを付けることに応答して、ペアのリストから表示するためのペアを選択するステップと、提案生成器を使用して、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルを生成する、オペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップとを実行するように構成されたプロセッサを含む。
歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けるステップと、インデックスを付けるステップに応答して、ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択するステップと、第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供するステップと、を実行するように構成されたプロセッサを含む別のコンピュータシステムも開示される。
一時的でないコンピュータで読み取り可能なストレージも開示される。一時的でないコンピュータ可読媒体は、コンピュータシステムによって実行されるときに、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得することと、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから表示するためのペアを選択することと、提案生成器を使用して、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルを生成する、オペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供することと、を含む手順をコンピュータシステムに実行させるプログラムを記憶する。
別の一時的でないコンピュータ可読記憶媒体が開示される。これは、コンピュータシステムによって実行されるときに、歯顎の第1の仮想3Dモデルと、第1の仮想3Dモデルの少なくとも一部に対応する少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得することと、第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによってデータにインデックスを付けることと、インデックスを付けることに応答して、ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択することと、第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供することと、を含む手順をコンピュータシステムに実行させるプログラムを記憶する。
本明細書の一態様では、作業ビュー(3Dモデルと2D(カラー、蛍光、赤外)画像とで同じパースペクティブ及びサイズ)のユーザによる迅速な直接のアクセスを可能にするべく、関連する3Dモデルの許容される個別の配向の対応するセットを生成するために、2D(カラー、蛍光、赤外)画像(又はシングルフレーム3Dデータ/3Dデータフレーム)に座標変換が割り当てられる。ユーザにより操作された、ユーザにより重み付けされたシングル又は複数の2D(カラー、蛍光、赤外)画像/3Dデータフレームは、モデルの再構成後の自動ワークフロー提案のための入力データとしてさらに用いられる。マージンの描画などのワークフローに対するライブ又は遅延フィードバックが可能になるとともに、完全マージン提案の同時制御及び修正も可能になる。
本明細書での例示的な実施形態は、オペレータが、平均化されていない直接の生の2D画像(カラー、蛍光、赤外線)及び3Dデータフレーム(幾何形状)を使用して、ワークフロー(例えば、マージン提案)に関するAI(人工知能)/ML(機械学習)アルゴリズムのための、直接の生の2D画像及び3Dデータフレームに対するユーザ入力を提供することを可能にするのに有利であり、これらのユーザ入力は、現在の提案において直接実装され、例えば、提案の再計算をトリガする。
本明細書での例示的な実施形態はまた、現在のワークフロー提案において特異的に重み付けされる、含まれる、又は除外される2D(カラー、蛍光、赤外)画像/3Dデータフレームのサブセットの選択に関するオペレータ入力を可能にする(例えば、オペレータ入力は、前記オペレータ入力を組み込むために、提案の再計算をトリガすることができる)。さらに、例示的な実施形態は、ナビゲーションのために画像にインデックスを付け、さらに、選択された画像を重み付けする、含める、又は除外するようにAIアルゴリズムをトレーニングするべく、生の2D画像及び3Dデータフレームに関するオペレータ入力を提供することを可能にする。
さらにまた、例示的な実施形態は、様々な診断及び治療ワークフローを支援するのに有利である。例は、スキャンボディ、アバットメント、アライナ、又は他の識別特徴などの、歯科材料及びツールに関する特色の表示である。実施形態はまた、歯周病、口腔癌、う蝕、歯の侵食、カリエスの検出、変色、及び歯列矯正疾患などの歯科疾患の検出、通信、視覚化、評価、及び治療に役立つ。本明細書で説明するプロセスは、デジタル印象を採得し、対応するレンダリングされた3Dモデルよりも高品質及び高精度なテクスチャ、色、及び3D情報を必要とする任意の他の歯科ワークフロー及び手順にさらに移行可能である。一例では、この品質及び/又は精度は、少なくとも閾値の品質及び/又は精度を上回る。歯科ワークフローは、例えば、歯周病、口腔癌、う蝕、歯の侵食、カリエスの検出、変色、歯列矯正疾患に関する歯科ワークフロー及び指示、或いは口腔内スキャナの複数の画像が、組み合わされたオブジェクト、例えば、3Dモデル、3Dモデル上のカラーテクスチャマップ、3Dモデルにマッピングされた2D蛍光及びIR画像のレンダリングされた情報などにレンダリングされる歯科ワークフローを含む。したがって、2D画像という用語は、可視光スペクトルのカラー写真ピクチャとして一般に知られている2D画像に加えて、紫外(UV)又は赤外(IR)放射による蛍光特性、透照特性、又は吸収特性などの不可視スペクトルの光源の追加により生成される情報を含む2D画像を指し得る。したがって、2D画像又は直接測定データ(シングルフレーム3D画像などの)という用語は、カラー2D画像を指すことに加えて、2D蛍光画像及び2D赤外画像も指すが、これらに限定されない。これらの画像は、例えば、カリエスの検出のために用いることができる。
本明細書で用いられるより高い品質又は精度は、取得されたデータの一部が実際にスキャンされたオブジェクト又はグラウンドトゥルースの特性により近い表現を指す。色の場合、より高い品質又はより高い精度は、スキャンされたオブジェクトの実際の色により近い表現によって与えられる。例として、スキャンされた表面の点の色は、CIELAB色空間などの色空間の値で表すことができる。したがって、実際のイメージングされたオブジェクトの真のL_r*a_r*b_r値と比較したときの、口腔内スキャナから得られたL_i*a_i*b_i値のより小さな偏差は、色のより高い品質及び精度に対応する(i=口腔内スキャナ、r=実際又は参照)。3Dデータの場合、より高い品質又はより高い精度は、スキャンされたオブジェクトの3次元表面、例えば歯のマージンの、より近い表現によって与えられる。例として、表面の3D情報は、空間内の3D座標x,y,zとして表すことができる。したがって、口腔内スキャナによって得られる座標xi,yi,ziをもつスキャンされた表面の点は、同じ座標系のオブジェクトの真のxr,yr,zrからの偏差がより小さいときにより正確である。UV又はIR放射をさらに用いることによって取得されたデータの場合、より高い品質又は精度は、波長及び強度の点で、照射されたオブジェクトの実際の挙動により近く類似した情報によって与えられ、また最終的には可視2D黒/白画像、グレースケール画像、又はカラー画像が得られる。しかしながら、これらの効果は、特定の用途、及び基礎となる物理的及び光学的プロセスに依存する。
したがって、従来の手法とは異なり、AI及び自動提案のためのオペレータ入力が提供され、レンダリングされた3Dモデルの操作によって作業ビューへの直接のアクセスが提供され、したがって、レンダリングされた3Dモデルと2D(カラー、蛍光、赤外)画像/2D(カラー、蛍光、赤外)画像について同じパースペクティブ及びサイズが提供され、シングルフレーム3Dデータが作業ビューに組み込まれ、2D(カラー、蛍光、赤外)画像の色情報がワークフローのために用いられ、3Dモデル及び対応するシングルフレーム画像の双方向制御が提供される。
本発明の特色と考えられる特定の新規な特徴が添付の特許請求の範囲に記載されている。しかしながら、本発明自体、並びに、その好ましい使用モード、さらなる目的及び利点は、添付の図面と併せて読むときに、例示的な実施形態の以下の詳細な説明を参照することで、最もよく理解されるであろう。
例示的な実施形態は、デジタル印象の幾何形状及び色の品質が、例えば、平均化効果、レンダリング効果、困難なスキャン状況などに起因して、普通は、シングルフレーム2D/3D画像の品質よりも劣ることを認識している。これは、プレパレーションマージンラインの手動又は自動描画などの歯科ワークフローの難しさにつながることがある。
例示的な実施形態はまた、歯科3Dモデルの幾何形状及びテクスチャが複数の単一画像によって生成され、この分野の進歩にもかかわらず、デジタル印象又は3Dモデルのテクスチャ/精度と物理的歯のテクスチャ/精度との間に顕著な質の差があることを認識している。これらの難しさは、血液及び唾液、圧排糸付きの歯肉縁上プレパレーションマージン、小さな構造/孔、ブリッジ効果、複雑な幾何形状、及び反射率が高い半透明の表面、並びにグレアの存在を含むがこれらに限定されない困難な状況によって顕著に悪化する。生成/計算された3Dモデルでは、モデルの幾何形状及び色は、普通は、様々なシングルフレーム(例えば、2Dフォト又はシングル3Dフレーム)から計算され、この計算により、3Dモデルに平均化効果が導入される。さらに、従来の機械学習モデルは、前記平均化効果を有する3Dモデルを使用して自動マージンラインを作成し、マージンライン作成プロセス全体にわたって平均化誤差を伝播する。対象歯に関するより多くの情報/詳細を含むシングルフレームを使用することによって、マージンライン作成のための歯のより真の説明を得ることができる。
例示的な実施形態は、現在利用可能なツール又は方策が、これらのニーズに対処していない、又はこれらのニーズに対する適切な方策を提供していないことを認識している。本発明を説明するために用いられる例示的な実施形態は、一般に、前述の問題、及びシングルフレームのライブ又は非同時制御ビューをオペレータに提供することに関連した他の問題に対処し、解決する。
一実施形態は、ソフトウェア及び/又はハードウェアアプリケーションとして実装することができる。一実施形態を実装するアプリケーションは、歯科システムの修正、既存の歯科システムと連携して動作する別個のアプリケーション、独立したアプリケーション、又はそれらの何らかの組み合わせとして構成することができる。
特に、いくつかの例示的な実施形態は、マージンラインの手動及び自動生成をサポートするためにシングルフレーム2D画像(例えば、フォト)又は3D画像(例えば、点群)を使用する方法を提供する。マージンラインの作成が概して説明されるが、これに限定することを意図しておらず、同時又は非同時の幾何形状及び色の修正を含む単一画像の使用を通じた3Dモデルの修正又は表示ワークフローが可能である。これは、例えば、歯周病、口腔癌、う蝕、歯の侵食、カリエス、変色、及び歯列矯正疾患などの歯科疾患の検出、通信、視覚化、評価、及び治療における、デジタル印象を採得し、対応するレンダリングされた3Dモデルの品質よりも高品質及び高精度のテクスチャ、色、及び3D情報を必要とするワークフローを含む。オペレータは、自動提案をガイドするために、(カリエスの検出又はマージンラインプレパレーションなどのための)シングルフレーム画像に関する入力を提供することができる。このオペレータ入力は、マージンに沿ったシングルフレーム上の複数の点、マージンに沿って描画されたライン、1つ又は複数のシングルフレーム画像の選択及び重み付け、マージンの自動提案をトレーニングするためのシングルフレーム画像に関するオペレータ入力を含み得る。別の例では、オペレータは、自動提案のためにモデルをトレーニングするべく、シングルフレーム画像に対する入力を提供する。このオペレータ入力は、マージンに沿ったシングルフレーム上の複数の点、マージンに沿って描画されたライン、1つ又は複数のシングルフレーム画像の選択及び重み付け、マージンの自動提案をトレーニングするためのシングルフレーム画像に関するオペレータ入力を含み得る。
別の例示的な実施形態では、オペレータ入力のための使いやすい環境が提供される。前記環境は、生成/レンダリングされた3Dモデルとシングルフレーム2D又は3D画像(フォト、点群)とで同じパースペクティブが示される作業/相関ビューを含む。例えば、同じ向き及びズーム率のシングルフレーム画像が示される。別の実施形態では、作業ビューへのアクセスは、後述するように、インデックス付けツール、マッピングツール、及びナビゲーションツールを介して提供され得る。
さらに、描画されたマージンラインなどの表示された特徴、又は歯、歯肉、歯科材料、及び疾患などの口腔内の任意の他の表示された特徴の位置が適正であるかどうかを評価するために、十字線などの好ましくはライブの制御ツールが提供される。このフィードバックオプションは、作業ビューで実現することができ、3Dモデル上にマージンラインが描画されるときに、シングルフレーム上の十字線の位置が、同時に又は別の時点で、その位置が適正であるかどうかのフィードバックとして機能する。したがって、ユーザは、3Dモデルを操作及び修正することができ、位置の制御のためにシングルフレーム(及び随意的に3Dモデル)上に十字線が出現してもよい。代替的に、ユーザは、シングルフレームを操作及び修正することができ、位置の制御のために3Dモデル(及び随意的にシングルフレーム)上に十字線が出現してもよい。これらの実施形態では、オペレータ入力は、所与の領域、例えば、プレパレーションの部分的又は完全マージンに対して同時に提供されてもよい。
例示的な実施形態は、3Dモデルの生成のための画像を取得するのに用いられ得る歯科用スキャナ122などの特定のタイプのスキャナ、並びに、マージンラインのプレパレーションなどの特定のワークフローに関して説明されるが、それらに限定することを意図していない。シングルフレームから3Dモデルをレンダリング又は生成するために、クライアントアプリケーション120を有するクライアント110が用いられ得る。前記クライアントアプリケーション120はまた、本明細書に記載のステップの一部又はすべてを実行するように構成され得る。
例示的な実施形態は、他のシーン、対象、測定、デバイス、データ処理システム、環境、コンポーネント、及びアプリケーションに関して単なる例として説明される。これらの及び他の同様のアーチファクトのどの特定の表現も、本発明を限定することを意図したものではない。これらの及び他の同様のアーチファクトの任意の適切な表現を、例示的な実施形態の範囲内で選択することができる。
さらに、例示的な実施形態は、任意のタイプのデータ、データソース、又はデータネットワークを介したデータソースへのアクセスに関して実施され得る。任意のタイプのデータ記憶装置が、本発明の範囲内で、データ処理システムでローカルに、又はデータネットワークを介して、本発明の実施形態にデータを提供し得る。モバイルデバイスを使用して実施形態が説明される場合、モバイルデバイスと共に使用するのに適した任意のタイプのデータ記憶装置が、例示的な実施形態の範囲内で、モバイルデバイスでローカルに、又はデータネットワークを介して、そのような実施形態にデータを提供し得る。
例示的な実施形態は、単なる例として特定のサーベイ、コード、ハードウェア、アルゴリズム、設計、アーキテクチャ、プロトコル、レイアウト、概略図、及びツールを使用して説明され、例示的な実施形態に限定するものではない。さらに、例示的な実施形態は、説明を明確にするために単なる例として特定のソフトウェア、ツール、及びデータ処理環境を使用して説明される場合がある。例示的な実施形態は、他の同等の又は同様の目的の構造、システム、アプリケーション、又はアーキテクチャと併せて用いられ得る。したがって、例えば、他の同等のモバイルデバイス、構造、システム、アプリケーション、又はアーキテクチャが、本発明の範囲内で本発明のそのような実施形態と併せて用いられ得る。例示的な実施形態は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実施され得る。
本開示での例は、説明を明確にするためにのみ用いられ、例示的な実施形態に限定するものではない。この開示からさらなるデータ、動作、アクション、タスク、アクティビティ、及び操作が考えられ、これらは例示的な実施形態の範囲内に含まれると考えられる。
ここに挙げた利点は単なる例であり、例示的な実施形態に限定することを意図したものではない。さらなる又は異なる利点が、特定の例示的な実施形態によって実現され得る。さらに、特定の例示的な実施形態は、上に挙げた利点の一部を有する場合がある、すべてを有する場合がある、又はまったく有しない場合がある。
図面を参照すると、特に図1及び図2を参照すると、これらの図は、例示的な実施形態が実施され得るデータ処理環境の例示的な図である。図1及び図2は、単なる例であり、異なる実施形態が実施され得る環境に関して、いかなる制限を主張又は暗示することも意図していない。特定の実装では、以下の説明に基づいて、図示の環境に多くの変更が加えられ得る。
図1は、例示的な実施形態が実施され得るデータ処理システムのネットワークのブロック図である。データ処理環境100は、例示的な実施形態が実施され得るコンピュータのネットワークである。データ処理環境100は、ネットワーク/通信インフラストラクチャ102を含む。ネットワーク/通信インフラストラクチャ102は、データ処理環境100内で一緒に接続された様々なデバイス、データベース、及びコンピュータ間に通信リンクを提供するために用いられる媒体である。ネットワーク/通信インフラストラクチャ102は、有線、無線通信リンク、又は光ファイバケーブルなどの接続を含み得る。
クライアント又はサーバは、ネットワーク/通信インフラストラクチャ102に接続された特定のデータ処理システムの役割の単なる例であり、これらのデータ処理システムの他の構成又は役割を排除することを意図したものではない。サーバ104及びサーバ106は、ストレージユニット108とともに、ネットワーク/通信インフラストラクチャ102に結合される。ソフトウェアアプリケーションは、データ処理環境100内の任意のコンピュータで実行することができる。クライアント110、クライアント112、クライアント114も、ネットワーク/通信インフラストラクチャ102に結合される。クライアント110は、ディスプレイを備えた歯科収集ユニットであり得る。サーバ104又はサーバ106、又はクライアント(クライアント110、クライアント112、クライアント114)などのデータ処理システムは、データを記憶することができ、そこで実行するソフトウェアアプリケーション又はソフトウェアツールを有し得る。
単なる例として、そのようなアーキテクチャへのいかなる制限も示唆するのではなく、図1は、一実施形態の例示的な実装において使用可能な特定のコンポーネントを示している。例えば、サーバ及びクライアンは単なる例であり、クライアント-サーバアーキテクチャへの限定を示唆しない。別の例として、一実施形態は、図のようにいくつかのデータ処理システム及びデータネットワークにわたって分散させることができるが、別の実施形態は、例示的な実施形態の範囲内で単一のデータ処理システムで実施することができる。データ処理システム(サーバ104、サーバ106、クライアント110、クライアント112、クライアント114)はまた、一実施形態を実施するのに適したクラスタ、パーティション、及び他の構成での例示的なノードを表す。
歯科用スキャナ122は、人の口腔をマッピングする投影を通じて複数の画像を取得することによって歯を測定する1つ又は複数のセンサを含む。一例では、歯科用スキャナ122は、数千回/秒の頻度でデータポイントを取り込み、各歯のサイズ及び形状を自動的に登録する。このデータは、接続されたコンピュータのソフトウェアに継続的に送られ、患者の口腔の3D印象が構築される。
最も広く用いられているデジタルフォーマットは、STL(Standard Tessellation Language)フォーマットである。このフォーマットは、各トライアングルが3つの点と面法線によって画定される、一連の三角面を記述する。STLファイルは、色、テクスチャ、又は他のCADモデル属性をまったく表現せずに、3次元オブジェクトの表面幾何形状のみを記述し得る。しかしながら、歯組織の色、透明度、又はテクスチャを記録するために他のファイルフォーマット(ポリゴンファイルフォーマット、PLYファイルなど)が開発されている。使用されるイメージング技術のタイプに関係なく、スキャナ又はカメラが光を投影し、それが個々の画像として記録され、POI(points of interest)の認識後にソフトウェアによってコンパイルされる。例えば、画像上の各点の2つの座標(x及びy)が評価され、次いで、スキャナからの距離に応じて第3の座標(z)が計算される。
クライアントアプリケーション120又は任意の他のアプリケーション116が、本明細書で説明される実施形態を実施する。クライアントアプリケーション120は、歯科用スキャナ122によって撮られたシングルフレーム画像を使用して3Dモデルを生成又はレンダリングするために歯科用スキャナ122からのデータを使用することができる。クライアントアプリケーション120はまた、レンダリング又はキャラクタライゼーションのためにストレージユニット108からデータを取得することができる。クライアントアプリケーション120はまた、データ処理システム(サーバ104又はサーバ106、クライアント110、クライアント112、クライアント114)のいずれか、例えばサーバ104内のクライアントアプリケーション116などで実行することができ、クライアント110と同じシステムで実行する必要はない。
サーバ104、サーバ106、ストレージユニット108、クライアント110、クライアント112、クライアント114は、有線接続、無線通信プロトコル、又は他の適切なデータ接続を使用して、ネットワーク/通信インフラストラクチャ102に結合することができる。クライアント110、クライアント112、及びクライアント114は、例えば、パーソナルコンピュータ又はネットワークコンピュータであり得る。
図示の例では、サーバ104は、ブートファイル、オペレーティングシステムイメージ、及びアプリケーションなどのデータをクライアント110、クライアント112、及びクライアント114に提供し得る。クライアント110、クライアント112、及びクライアント114は、この例ではサーバ104に対するクライアントであり得る。クライアント110、クライアント112、及びクライアント114、又はそれらの何らかの組み合わせは、独自のデータ、ブートファイル、オペレーティングシステムイメージ、及びアプリケーションを含み得る。データ処理環境100は、図示されていないさらなるサーバ、クライアント、及び他のデバイスを含み得る。サーバ104は、1つ又は複数の実施形態に係るライブ制御ビューを表示するために本明細書で説明される機能のうちの1つ又は複数を実装するように構成され得るアプリケーション116を含む。
サーバ106は、種々の実施形態に関して本明細書で説明されるように、オペレータからの要求に応答して、歯科診療所の患者の画像及び3Dモデルなどの保存されたファイルを検索するように構成された検索エンジンを含み得る。
図示の例では、データ処理環境100はインターネットであり得る。ネットワーク/通信インフラストラクチャ102は、TCP/IP(Transmission Control Protocol/Internet Protocol)及び他のプロトコルを使用して互いに通信するネットワーク及びゲートウェイの集合体を表し得る。インターネットの中核には、データ及びメッセージをルーティングする数千の商業、政府、教育機関、及び他のコンピュータシステムを含む、主要なノード又はホストコンピュータ間のデータ通信リンクのバックボーンがある。もちろん、データ処理環境100はまた、例えば、イントラネット、LAN(ローカルエリアネットワーク)、又はWAN(ワイドエリアネットワーク)などのいくつかの異なるタイプのネットワークとして実装され得る。図1は、一例を意図したものであって、様々な例示的な実施形態に対するアーキテクチャの制限を意図したものではない。
他の用途の中でも、データ処理環境100は、例示的な実施形態が実施され得るクライアント-サーバ環境を実装するために用いられ得る。クライアント-サーバ環境は、クライアントデータ処理システムとサーバデータ処理システムとの間のインタラクティビティを利用することでアプリケーションが機能するように、ソフトウェアアプリケーション及びデータをネットワークにわたって分散させることを可能にする。データ処理環境100はまた、ネットワークにわたって分散された相互運用可能なソフトウェアコンポーネントを一貫したビジネスアプリケーションとしてパッケージ化することができる、サービス指向アーキテクチャを採用することもできる。データ処理環境100はまた、最小限の管理労力又はサービスプロバイダとの対話で迅速にプロビジョニング及びリリースすることができる構成可能なコンピューティングリソース(例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス)の共有プールへの便利なオンデマンドのネットワークアクセスを可能にするために、クラウドの形態をとっていてもよく、サービス配信のクラウドコンピューティングモデルを採用することもできる。
図2を参照すると、この図は、例示的な実施形態が実施され得るデータ処理システムのブロック図を示している。データ処理システム200は、図1のクライアント110、クライアント112、クライアント114、又はサーバ104、サーバ106などのコンピュータ、又は例示的な実施形態ではプロセスを実施するコンピュータで使用可能なプログラムコード又は命令が配置され得る別のタイプのデバイスの一例である。
データ処理システム200は、単なる例としてコンピュータとして説明されているが、これに限定されない。図1の他のデバイスの形態の実装は、データ処理システム200の動作及び機能の概要から逸脱することなく、タッチインターフェースの追加などによりデータ処理システム200を変更することができ、さらには、データ処理システム200から特定の図示されたコンポーネントを削除することができる。
図示の例では、データ処理システム200は、NB/MCH(ノースブリッジ/メモリコントローラハブ)202及びSB/ICH(サウスブリッジ/入力/出力(I/O)コントローラハブ)204を含むハブアーキテクチャを採用している。処理ユニット206、メインメモリ208、及びグラフィックスプロセッサ210は、NB/MCH(ノースブリッジ/メモリコントローラハブ)202に結合される。処理ユニット206は、1つ又は複数のプロセッサを含むことができ、1つ又は複数の異種プロセッサシステムを使用して実装され得る。処理ユニット206はマルチコアプロセッサであり得る。グラフィックスプロセッサ210は、特定の実装では、AGP(アクセラレーテッド・グラフィックス・ポート)を通じてNB/MCH(ノースブリッジ/メモリコントローラハブ)202に結合され得る。
図示の例では、LAN(ローカルエリアネットワーク)アダプタ212は、SB/ICH(サウスブリッジ/入力/出力(I/O)コントローラハブ)204に結合される。オーディオアダプタ216、キーボード及びマウスアダプタ220、モデム222、ROM(リードオンリーメモリ)224、USB(ユニバーサルシリアルバス)及び他のポート232、及びPCI/PCIeデバイス234は、バス218を通じてSB/ICH(サウスブリッジ/入力/出力(I/O)コントローラハブ)204に結合される。HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226a及びCD-ROM230は、バス228を通じてSB/ICH(サウスブリッジ/入力/出力(I/O)コントローラハブ)204に結合される。PCI/PCIeデバイス234は、例えば、イーサネットアダプタ、アドインカード、及びノートブックコンピュータ用のPCカードを含み得る。PCIはカードバスコントローラを使用するが、PCIeはカードバスコントローラを使用しない。ROM(リードオンリーメモリ)224は、例えば、BIOS(フラッシュバイナリ入力/出力システム)であり得る。HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226a及びCD-ROM230は、例えば、IDE(インテグレーテッド・ドライブ・エレクトロニクス)、SATA(シリアル・アドバンスト・テクノロジー・アタッチメント)インターフェース、又はeSATA(外部SATA)及びmSATA(マイクロSATA)などの変形を使用し得る。SIO(スーパーI/O)デバイス236は、バス218を通じてSB/ICH(サウスブリッジ/入力/出力(I/O)コントローラハブ)204に結合され得る。
メインメモリ208、ROM(リードオンリーメモリ)224、又はフラッシュメモリ(図示せず)などのメモリは、コンピュータで使用可能な記憶装置のいくつかの例である。HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226a、CD-ROM230、及び他の同様に使用可能なデバイスは、コンピュータで使用可能な記憶媒体を含むコンピュータで使用可能な記憶装置のいくつかの例である。
オペレーティングシステムは処理ユニット206で動作する。オペレーティングシステムは、図2のデータ処理システム200内の様々なコンポーネントをコーディネートし、それらの制御を提供する。オペレーティングシステムは、サーバシステム、パーソナルコンピュータ、及びモバイルデバイスを含むがこれらに限定されない、任意のタイプのコンピューティングラットフォームのための市販のオペレーティングシステムであり得る。オブジェクト指向又は他のタイプのプログラミングシステムが、オペレーティングシステムと連携して動作し、データ処理システム200上で実行するプログラム又はアプリケーションからオペレーティングシステムへの呼び出しを提供し得る。
オペレーティングシステム、オブジェクト指向プログラミングシステム、及び図1のアプリケーション116及びクライアントアプリケーション120などのアプリケーション又はプログラムのための命令は、HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226a上のコード226bなどの形態で記憶装置上に配置され、処理ユニット206による実行のために、メインメモリ208などの1つ以上のメモリのうちの少なくとも1つにロードされ得る。例示的な実施形態のプロセスは、例えば、メインメモリ208、ROM(リードオンリーメモリ)224などのメモリに又は1つ又は複数の周辺装置に配置され得るコンピュータで実施される命令を使用して処理ユニット206によって実行され得る。
さらに、或るケースでは、コード226bはネットワーク214a経由でリモートシステム214bからダウンロードされ、同様のコード214cが記憶装置214dに記憶され、別のケースでは、コード226bはネットワーク214a経由でリモートシステム214bにダウンロードされ、ダウンロードされたコード214cは記憶装置214dに記憶される。
図1及び図2のハードウェアは実装に応じて異なり得る。図1及び図2に示されているハードウェアに加えて又はその代わりに、フラッシュメモリ、同等の不揮発性メモリ、又は光ディスクドライブなどの他の内部ハードウェア又は周辺装置を使用することができる。さらに、例示的な実施形態のプロセスは、マルチプロセッサデータ処理システムに適用することができる。
いくつかの具体例では、データ処理システム200は、オペレーティングシステムファイル及び/又はユーザにより生成されたデータを記憶するための不揮発性メモリを提供するために一般にフラッシュメモリと共に構成されるPDA(パーソナルデジタルアシスタント)であり得る。バスシステムは、システムバス、I/Oバス、及びPCIバスなどの1つ又は複数のバスを含み得る。もちろん、バスシステムは、ファブリック又はアーキテクチャに接続された異なるコンポーネント又はデバイス間でのデータの転送を提供する任意のタイプの通信ファブリック又はアーキテクチャを使用して実装され得る。
通信ユニットは、モデム又はネットワークアダプタなどの、データの送受信に用いられる1つ又は複数のデバイスを含み得る。メモリは、例えば、メインメモリ208であってもよく、又はNB/MCH(ノースブリッジ/メモリコントローラハブ)202で見られるキャッシュなどのキャッシュであってもよい。処理ユニットは、1つ又は複数のプロセッサ又はCPUを含み得る。
図1及び図2に示されている例及び前述の例は、アーキテクチャの限定を示唆するものではない。例えば、データ処理システム200はまた、モバイル又はウェアラブルデバイスの形態をとることに加えて、タブレットコンピュータ、ラップトップコンピュータ、又は電話デバイスであってもよい。
コンピュータ又はデータ処理システムが仮想マシン、仮想デバイス、又は仮想コンポーネントとして説明される場合、仮想マシン、仮想デバイス、又は仮想コンポーネントは、データ処理システム200で示されているいくつか又はすべてのコンポーネントの仮想表現を用いてデータ処理システム200の様態で動作する。例えば、仮想マシン、仮想デバイス、又は仮想コンポーネントでは、処理ユニット206は、ホストデータ処理システムで利用可能なすべての又はいくつかの数のハードウェア処理ユニット206の仮想インスタンスとして表現され、メインメモリ208は、ホストデータ処理システムで利用可能なメインメモリ208のすべての又は一部の仮想インスタンスとして表現され、HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226aは、ホストデータ処理システムで利用可能なHDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)226aのすべての又は一部の仮想インスタンスとして表現される。このような場合のホストデータ処理システムは、データ処理システム200によって表される。
ここで図3に移ると、例示的な実施形態は、これから説明するデータ処理システム200のアプリケーション302を示している。このアプリケーションは、限定することを意味するものではなく、クライアントアプリケーション120、アプリケーション116、又はデータ処理システム200における任意の他のアプリケーションとして具体化することができる。アプリケーション302は、入力として、オペレータ入力328、再構成された3Dモデル304、及び再構成された3Dモデル304の少なくとも一部を表す又はそれに対応する直接測定データ308を受け取る。アプリケーション302は、入力モジュール324及び実装モジュール326を含む、1つ又は複数のモジュールを含む。入力モジュール324は、インデクサ306、パースペクティブ相関器310、及びオペレータ入力328を受け入れる及び処理するように構成されたオペレータ入力ハンドラ312を含む。アプリケーション302は、出力として、制御ビュー314を、例えばリアルタイムで表示及び更新する。直接測定データ308(例えば、物理的オブジェクトの真の表現に比べて少なくとも閾値量だけ修正されていない又は平均化されていない測定データであり、本明細書では概して、生データ/画像、シングルフレーム画像/データ、シングルフレーム2Dデータ/画像、シングルフレーム3Dデータ/画像、フォト、点群データ、シングルフレームSTLなどと交換可能に呼ばれる)を受け取ることによって、アプリケーション302は、入力モジュール324から、実装モジュール326のための入力データとして、直接測定データ308のうちの1つ又は複数を提供することができる。
例示的な実施形態では、直接測定データ308のシングルフレーム3Dデータ(すなわち、測定ボリュームのシングルショット)のそれぞれは、再構成されたデジタルモデルに関して確立された座標変換を有する。したがって、所与のシングル2D写真画像又は3Dデータフレームについて所望のパースペクティブ(向き、サイズ)から、例えば、スキャナの上方視野角(スキャナのパースペクティブ)から3Dモデルを配向することができる。したがって、向き及びパースペクティブの数は、個別のシングルフレーム3Dデータの数によって制限される。シングルフレーム3Dデータの座標変換は、最初の座標変換、スキャン手順中にシングルフレーム画像が互いに順次に位置合わせされる順次位置合わせプロセス、非順次位置合わせプロセス、又は最適化プロセスなどによって確立され得る。座標変換は、一般に、例えば、並進及び回転変換によって表すことができる2つのオブジェクト間の普通は3次元の空間的関係に関する情報を提供する。最初の座標変換は、例えば、慣性移動ユニット、シングルフレーム間の定義された既知の移動などの既知の情報源を利用することによって、ICP(iterative closest point)法又は他の計算及び校正方法などのアルゴリズムを介して決定することができる。順次位置合わせプロセスでは、シングルフレームが順次にステッチされる。このようなプロセスでは、連続するフレーム間の座標変換だけでなく、シーケンスの他のフレームの座標変換も決定することができる。また、順次位置合わせプロセスでは、パフォーマンス又は精度の理由から、i個おきのフレームのみを利用することができる。
さらに、ビデオからの2D画像(2Dビデオ画像)などの各シングルフレーム2Dデータが、そのシングルフレーム2Dデータの直前又は直後に生成されたシングルフレーム3Dデータと相関され得る。したがって、各シングルフレーム2Dデータに、座標変換(相対又は絶対座標変換)を割り当てることができる。
座標変換を確立すると、インデックスを付けるステップでいくつかの可能なパースペクティブを計算及び処理できるようになる。これは、入力モジュール324のインデクサ306によって実現される。したがって、個別の位置のインデックス付けにより、オペレータが所望のビューにナビゲートする複雑なプロセスを経る必要なしに迅速にアクセスできるようになる。一例では、オペレータは、シングルフレーム2D又はシングルフレーム3Dデータ(2Dフォト、2Dビデオ画像、3D画像)の向き及びサイズに対応するこれらの事前定義された向き及びズームレベルで再構成された3Dモデル304を配置できるようになり、したがって、強化された比較及び決定プロセス/ワークフローが提供される。さらに、オペレータは、キーボードの使用、マウス/3Dマウスによる画面上のクリック、タッチスクリーン操作などを通じて、再構成された3Dモデル304を操作して、事前定義された向きにスナップすることによって、又は事前定義された向きをステップスルーすることによって、これらの向きを通してナビゲートすることができる。
作業ビューにアクセスするこの最適化されたワークフローにより、オペレータは、自動提案のためのサポート情報、例えば、マージン、使用するフレームのユーザベースの選択又は重み付け、自動提案のためのトレーニング情報、及びライブ/遅延フィードバック及び制御特徴で将来の手動検査及び操作の提案を改善するためのフレームの選択/重み付けを提供する目的で、直接測定データ308(2Dビデオ画像、シングル3Dデータフレームなど)に対する入力を提供することができる。
例示的な実施形態では、提案生成器318は、直接測定データ308のうちの1つ又は複数を使用して自動及び/又はAIにより可能となるマージン提案を生成するべくトレーニングされたモデルである及び/又は予測分析又はアルゴリズムモデルを使用する。別の例示的な実施形態では、直接測定データ308は、入力モジュール324を通じてトレーナ316によって得られる。トレーナ316は、ワークフロー推奨を生成するべく直接測定データ308を使用して機械学習モデルをトレーニングする。直接測定データ308は生の平均化されていない/完全なデータであるため、機械学習モデル330は、再構成された3Dモデル304を使用して生成された推奨よりも高精度なワークフロー推奨を生成することができる。例えば、トレーニングのための入力データセットとして直接測定データ308を使用することによって、機械学習モデル330は高品質のデータから学習し、再構成された3Dモデル304を使用して提供されたマージンライン推奨よりも高精度なマージンライン推奨を生成する。
さらに、提案生成器318による提案又はワークフロー推奨の生成において、いくつかの例示的な実施形態では、オペレータの1つ又は複数のプリファレンスに従って複数の直接測定データ308を重み付けするために重み付け器320が用いられ得る。複数の直接測定データ308のそれぞれの全体又は一部の寄与レベルを決定することによって、提案の性質及び品質が、1つ又は複数の仕様を満たすように制御される。例えば、新たに重み付けされた直接測定データ308に基づいて提案が再計算され得る。
さらなる例示的な実施形態では、オペレータは、手動修正器322によって、手動ワークフローでスキャンされたデータのレンダリングされた3D表現(再構成された3Dモデル304)を手動で制御及び修正することができるようになる。これは、例えば、直接測定データ308を修正し、再構成された3Dモデル304の対応するライブ又は遅延修正/フィードバックを得ることによって、マージンライン、幾何形状、又は色に関して行うことができる。
これらの例示的な実施形態は、3Dモデルの個別の位置のインデックス付け(決定)を通じて関連する生データを表示するための迅速簡便なナビゲーションを通じてユーザビリティを顕著に向上させ、オペレータは複数のステップで特定のビューに手動で変更する煩わしいプロセスを経る必要がなく、ビュー方向は、再構成された3Dモデル304と直接測定データ308とで同じ向きを提供し、したがって、比較及び意思決定のプロセスをサポートする。
図4を参照すると、この図は、例示的な実施形態に係る例示的な作業ビュー400を示している。作業ビュー400は、特定の実装に応じてアプリケーション116、120、302のいずれか1つであり得るアプリケーション402で具体化される。作業ビュー400は、直接測定データ308と、レンダリングされた3Dモデルとして示される再構成された3Dモデル304とで同じパースペクティブを示す。これは、両方の表現が同じ向き及びズーム率(サイズ)を有することを意味し、したがって、特にテクスチャ及び色を比較するときにオペレータが2つの表現を比較するのに役立つ。
直接測定データ308がシングルフレーム3Dデータであるとき、オペレータはパースペクティブを修正することが可能になる。したがって、シングルフレーム3Dデータと再構成された3Dモデル304の向き及びサイズは同じ様態で変化する。
図5を参照すると、この図は、例示的な実施形態に係る配向動作のために構成された再構成3Dモデル304を示す例示的なアプリケーション504を示している。生成された直接測定データ308の数によって、作業ビュー400の可能なパースペクティブの数が決まる。この実施形態では、インデックス付け動作でインデクサ306を使用して、再構成された3Dモデル304の1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データ308をリンクし、それらの間の制御を確立し、3Dモデルのパースペクティブと対応する直接測定データ308/シングルフレーム画像とのペアのリストを提供する。この実施形態では、ペアのリストは、ペア間の相関を示す、再構成された3Dモデル304のサブ部分又は全体部分に配置される1つ又は複数のペア選択502として提供される。例えば、ペア選択502は、直接測定データ308の中心座標x,yに対応する、再構成された3Dモデル304上の3D点に配置され、したがって、この例では、ペア選択502を選択すると、直接測定データ308の中心座標x,yに対応する3Dモデル上の3D点を基準とした、再構成された3Dモデル304の向きが、直接測定データ308と並べて表示され得る。したがって、この例では、選択されたペアの各メンバーの視覚化された向き及びサイズは同じであり得る。多くの可能な個別の配向がある場合、代わりにペアが強調表示されてもよい。別の例では、モデルビューと並べて画像を表示することに加えて、さらなるマップが実現可能である。したがって、3Dモデルの2つの表現が存在してもよく、1つは概要/マップとしての表現であり、もう1つはズームインされ、適正に配向された表現である。別の例では、ペアのリストは、マップとして視覚化されないが、テーブル又はリストとして視覚化されてもよい。もちろん、これらは、限定することを意味するものではなく、例えば、ペア間の確立された制御、並びに、直接測定データ308の座標及び再構成された3Dモデル304の3D点へのアクセスに基づいてペアのリストを視覚化する他の様態が可能である。
相関ビューにインデックスを付け、マッピングすることによって、オペレータが作業ビュー400に迅速にアクセスできるようになる。一例では、マウス、タッチスクリーン、トラックボール、タッチパッドをドラッグすることによって、再構成された3Dモデル304を、直接測定データ308と再構成された3Dモデル304との間の相関ビューを提供する向きにのみ回転又は移動することができる、「スナップイン機能」が実現される。オペレータは、ライブビューモードで最も近い可能な向きをアクティブにするスナップイン特徴によって支援され得る。
別の例では、キーボード又はマウスボタン、例えば、矢印キー又はスペースバーを使用して、隣接する向きを「ステップスルー」することによって、再構成された3Dモデル304を、直接測定データ308と再構成された3Dモデル304との間の相関ビューを提供する向きにのみ回転又は移動することができる、「段階的機能」が実現される。
ここで図6に移ると、この図は、例示的な実施形態が実施され得るプロセスを示している。プロセスは、歯顎に関するデータが取得されるステップ602で始まる。データは、歯顎の再構成された3Dモデル304と、再構成された3Dモデル304を構築するために用いられる少なくとも1つの直接測定データ308とを含む。ステップ604において、プロセス600は、再構成された3Dモデル304の1つ又は複数のパースペクティブのそれぞれと、1つ又は複数のパースペクティブを示す対応する直接測定データ308をリンクし、それらの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応する直接測定データ308のペアのリストを提供するべく、インデクサによってデータにインデックスを付ける。ステップ606において、プロセス600は、ペアのリストから表示するためのペアを選択する。ステップ608において、プロセス600は、提案生成器を使用してオペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データ308に関するオペレータ入力を提供する。計算された修正により、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルが生成される。プロセスはステップ610で終わる。
プロセス600の一例では、オペレータが歯科用スキャナ122で患者をスキャンする。患者の口腔内の3Dモデルの幾何形状及び色が計算される。幾何形状及び色に加えて、対応するシングル2D/3D画像で利用可能な3Dモデルのパースペクティブが生成/保存され(インデックス付け、リスト、テーブル)、最終的に顎上の位置にリンク(マッピング)される。オペレータによって用いられるアプリケーションの特定のモードでは、3Dモデルは、単一の対応する2D/3D画像(ナビゲーション)も表示する向きにのみ移動することができる。
プロセス600の修正ステップであるステップ608の前に、アプリケーション402などのアプリケーションは、随意的に単一の直接測定データ308を使用して、最初のマージン提案(図示せず)又は他の最初のワークフロー推奨を計算するか、又は既存のマージン提案(又は他の最初のワークフロー推奨)を改善する。図7は、再構成された3Dモデル304上の最初の自動マージン提案を作成するための入力として用いられる、最初に選択された直接測定データ702を示している。
その後のステップにおいて、オペレータは、図8に示すように、直接測定データ308上にオペレータ入力の最初のプレパレーションマージン802を描画するか、又はアプリケーション402からの既存のマージン提案を編集、補正、又は操作することができる。オペレータ入力(この場合、オペレータ入力の最初のプレパレーションマージン802)は、提案生成器318を使用して新しい又は改善された提案されたマージンライン804を生成するためのアプリケーション402の入力として作用する。これは、例えば、直接測定データ308がフォト又は2D画像であるときには色情報、又は直接測定データ308が3D画像であるときには曲率分析のための3D曲率情報を使用して行うことができる。提案生成器は、機械学習モデル又はアルゴリズムモデルであり得る。例えば、オペレータ入力の最初のプレパレーションマージン802は、ユーザによって描画されたライン又は複数の単一点であってもよく、前記オペレータ入力の最初のプレパレーションマージン802に関する情報は、提案生成器318が自動提案を生成するためのガイドとして用いられてもよい。提案生成器318が機械学習モデル330である場合、特定のオペレータのプリファレンスを考慮に入れるために、提案生成器318をトレーニングするためのトレーニングデータとして複数のオペレータ入力が用いられる。このプロセスは、複数のパースペクティブに対して繰り返すことができる。
前述の提案生成器は、例えば、畳み込みニューラルネットワーク(CNN)などの人工機械学習ニューラルネットワークに基づくことができる。これはフィードフォワード人工ニューラルネットワークであり、古典的形態では、畳み込み層と、その後に続くプーリング層からなる。CNNは、層ごとの畳み込みカーネルの自由パラメータ又は分類器の学習と、次の層を計算するときのそれらの重み付けによって学習する。シングル2D画像(カラー、蛍光、透照、吸収)又はシングル3Dフレームは、多数のシングル2D画像又はシングル3Dフレームのコレクションを使用してトレーニングされたCNN又は機械学習システムへの入力として用いられる。さらなるステップにおいて、シングルフレーム2D/3D画像が分析され、シングル2D画像又は3Dモデルのいずれかに対する関連する出力が提案される。2D又は3D画像の任意の特色を、入力データに応じて分類器又は特徴として用いることができる。以下では、可能な特徴を例示するために、特定の2D/3Dシングルフレーム画像についていくつかの入力-出力ペアが与えられる。入力データが2Dカラー画像である場合、例えば、青い圧排糸に属する類似した色又はカラーグラデーションの領域を識別できるだけでなく、例えば、白/黄色の色合いの支台歯に属する異なる色の領域も識別される。この圧排糸の使用を伴う歯肉縁上プレパレーションマージンのシナリオでは、出力は、2Dシングルフレームにおいて表示される色に基づくマージンの提案であり得るが、好ましくは、対応するマージン提案として3Dモデル上に表示され得る。入力データがシングル3Dフレームである場合、最も鋭い辺縁を識別するために、シングル3Dフレーム内の高曲率の領域を識別することもできる。出力はまた、結果的に、シングル3Dフレームにおけるマージン提案であるか、又は好ましくは対応するマージン提案としてレンダリングされた3Dモデル上に表示される。入力データが2DのUV蛍光又はIR透照画像である場合、カリエスなどの特定の疾患のある領域に対応し得る同様の蛍光領域/透照領域を識別することもできる。出力は、結果的に、カリエスに感染した組織を提案するマークされた領域として2D単一画像又は好ましくはレンダリングされた3Dモデル上に表示され得る。この情報はまた、感染の確率の値も含み得る。入力-出力の別のペアは、シングル2D/3D画像の前述のすべての形態に適用可能であり、出力で可能な最良の結果をもたらす可能性が高い2D/3Dフレームを選択して重み付けするための事前選択ステップである。入力は、歯科状況の観察領域の画像を含む2D又は3Dシングルフレームのセットである。出力は、転帰について可能な最良の結果をもたらす可能性が高い、これらの2D/3Dシングルフレームのうちの少なくとも1つを選択したものになる。選択された2D/3D画像のサブセットはまた、例えば、これもマージン提案又は感染組織の検出とすることができる最終結果への影響を定義する重み付け又は格付けを有することができる。
1つ又は複数のCNNネットワークで構成される機械学習システムのパラメータをトレーニング又は設定するための可能な方法を以下に説明する。第1のステップにおいて、歯科状況の多数の既知の2D又は3Dシングルフレームが分析される。可能な入力データが生成される。入力データは、入力データにおいてすべての可能な自由度が利用できるような様態で生成される。これはデータ拡張を使用して実現される。この目的のために、歯科状況の2D又は3Dシングルフレームが、指定された自由度によって回転される及び/又は自由度に沿ってスケール変更される。ニューラルネットワークは、トレーニングデータセットに基づいて有利にトレーニングすることができ、トレーニングデータセットは、コンポーネントの最初の2D又は3Dシングルフレームと、少なくとも1人のユーザによるこれらの最初の2D又は3Dシングルフレームに関する手動変更を含む。手動変更は、2D又は3Dシングルフレームにおいてユーザが手動で行うことができる。このようにして、CNNネットワークは、特定のユーザによって行われた手動変更を、プレパレーションマージン又はカリエスに感染した組織などを提案するための最初の提案に適用することを学習する。ユーザによって行われた手動変更は、特定のユーザプリファレンスに適応した提案を生成するべくCNNをトレーニングするために用いることができる。また、クラウド又は共有ポータルを通じて接続された様々なユーザによる手動変更は、より経験豊富なユーザの提案を反映した提案を作成するようにCNNを適応させるために用いることができる。
さらに、CNN及びトレーニングデータのための入力データは、必ずしも2D/3Dシングルフレームに限定されず、感染した歯科領域のレンダリングされた3Dモデル、レンダリングされたテクスチャマップ、及びレンダリングされた情報も含むことができる。例として、CNN及び既知のトレーニングデータのための入力データは、シングルフレームとレンダリングされたモデルのセットで構成することができる。
ワークフロー中に、オペレータは、提案を生成する際に提案生成器318によって用いられる複数の直接測定データ308のための重みを選択することができる。代替的に、提案生成器は、自動提案を生成するための直接測定データ308の自動重み付けを可能にするべく同様の様態でトレーニングされる。
別の態様では、再構成された3Dモデル304と直接測定データ308との間の双方向の制御と、再構成された3Dモデル304の3Dデータポイント、及び直接測定データ308における点の座標、並びに、歯科用スキャナ122のグローバル座標系へのアクセスにより、オペレータは、本明細書で説明するようにポストワークフローフィードバック又はライブワークフローフィードバックを有することができる。ポストワークフローフィードバックの場合、オペレータは、単一画像の助けにより、再構成された3Dモデル304又は描画されたマージンを手動で直接チェック、制御、又は検査することができる。例えば、オペレータは、オペレータにより描画されるマージンライン906(図9A、図9B)又は再構成された3Dモデル304に対する他のワークフローを作成する。オペレータにより描画されるマージンライン906は、「マージンファインダ」などの直接測定データツール902の使用によって、再構成された3Dモデル304上に描画される。次いで、作業ビューにおいて、オペレータが、再構成された3Dモデル304上のオペレータにより描画されるマージンライン906の上にカーソルツール908を乗せることで、直接測定データツール902(例えば、十字線)が、マージンが適正な位置にあるかどうかをチェックするために直接測定データ308の対応する位置に現れる。再構成された3Dモデル304の情報に比べて直接測定データ308の情報の品質が高いことにより、オペレータの比較動作が可能になる。十字線は、2つ以上の交差する線で構成することができるが、代替的に、図9A及び図9Bなどのより良好なビューを可能にするように設計することができ、又は隣接するデータポイントをより明瞭に見るためにズームイン機能をもつ十字線とすることができる。例示的な実施形態では、精度を確かめるために隣接するデータポイントの色を使用することができる。
別の例示的な実施形態では、再構成された3Dモデル304上の描画が進む際に十字線がリアルタイムで表示される、ライブワークフローフィードバックが提供される。ここで、オペレータは、再構成された3Dモデル304上に、オペレータにより描画されるマージンライン906を描画する。マージン描画プロセスをリアルタイムでガイドするべく、直接測定データ308上に十字線が表示される。十字線は、カーソルの移動中に即座に位置のフィードバック及び制御を与える。これは、オペレータが、マージンが適正な位置に配置されるかどうかを判断するのに役立つ。
ワークフローフィードバックは、プロセス1000でより一般的に説明され、プロセス1000は、歯顎の第1の仮想3Dモデル/再構成された3Dモデル304と、再構成された3Dモデル304を構築するために用いられる少なくとも1つの直接測定データ308とを含む、歯顎に関するデータを取得するステップ1002で始まる。ステップ1004において、プロセス1000は、再構成された3Dモデル304の1つ又は複数のパースペクティブのそれぞれと、1つ又は複数のパースペクティブを示す対応する直接測定データ308をリンクし、それらの間の制御を確立し、再構成された3Dモデルのパースペクティブと対応する直接測定データ308のペアのリストを提供するべく、インデクサによってデータにインデックスを付ける。ステップ1006において、プロセス1000は、ペアのリストから、第1の直接測定データと、第1の直接測定データに対応する第1の向きに配向された第1の再構成された3Dモデル304を表示するためのペアを選択する。ステップ1008において、プロセス1000は、直接測定データツール902を表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供する。直接測定データツールは、第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成される(ステップ1010)。これは、平均化効果に起因して、再構成された3Dモデル304の情報の品質よりも直接測定データ308の情報の品質の方が高いためであり得る。オペレータ入力は、必要に応じて、直接測定データツール902に基づいて修正される。プロセス1000はステップ1014で終わる。
図11を参照すると、この図は、クローズドマージンなどの完全なワークフローの同時制御ビューを示す別の例示的なアプリケーション1102を示している。所与の自動マージン提案について、それぞれ部分的なマージンライン1106を示す複数の2D画像1104が表示され、これらはまとめるとクローズドマージンのすべての部分を構成する。オペレータは、最初に2D画像1104を選択することによって各2D画像1104内のマージンを操作することができ、インデックスに従って、選択された2D画像1104に対応する配向の再構成された3Dモデル304が表示される。提案されたマージンライン804を再計算するためのガイドとして、選択された2D画像1104に関するオペレータ入力が提供される。最後に編集された2D画像1104に対応する配向の再構成された3Dモデル304での再計算後に、新たに計算された提案が、再構成された3Dモデル304上に表示される。このビューでは、再構成された3Dモデル304の個別の配向は、描画された2D画像1104に限定され得る。もちろん、他の種類の直接測定データ308を用いることもできる。ライブ/ポストワークフローフィードバック特徴も、本明細書での説明に照らして実装することができる。さらに、オペレータ入力は、提案生成器318をトレーニングするためのトレーニングデータとして用いることができる。さらに、歯のデータの編集又は操作を含むワークフローなどのマージン提案とは別の他のワークフローも、本明細書での説明に照らして実現することができ、そのワークフローは、仮想アプリケーションにおいて3Dモデルと対応するシングルフレーム画像との両方を使用して行うことができる。
したがって、コンピュータで実施される方法、システム、又は装置、及びコンピュータプログラム製品が、シングルフレーム制御ビュー及び他の関連する特徴、機能、又は動作を表示するための例示的な実施形態で提供される。実施形態又はその一部が、或るタイプのデバイスに関して説明される場合、コンピュータで実施される方法、システム、又は装置、コンピュータプログラム製品、又はその一部は、そのタイプのデバイスの適切な同等の表現で用いるために適応又は構成される。
実施形態がアプリケーションで実施されるものとして説明される場合、SaaS(Software as a Service)モデルでのアプリケーションの配信が例示的な実施形態の範囲内で企図される。SaaSモデルでは、実施形態を実施するアプリケーションの機能は、クラウドインフラストラクチャのアプリケーションを実行することによってユーザに提供される。ユーザは、ウェブブラウザ(例えば、ウェブベースの電子メール)、又は他の軽量のクライアントアプリケーションなどのシンクライアントインターフェースを通じて、様々なクライアントデバイスを使用してアプリケーションにアクセスすることができる。ユーザは、クラウドインフラストラクチャのネットワーク、サーバ、オペレーティングシステム、又はストレージを含む、基盤となるクラウドインフラストラクチャを管理又は制御しない。場合によっては、ユーザは、SaaSアプリケーションの機能でさえも管理又は制御しなくてもよい。いくつかの他の場合には、アプリケーションのSaaS実装は、限られたユーザ固有のアプリケーション構成設定のあり得る例外を可能にし得る。
本発明は、任意の可能な技術的詳細レベルが統合されたシステム、方法、及び/又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータで読み取り可能なプログラム命令を有するコンピュータ可読記憶媒体(又はメディア)を含み得る。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の網羅的でないリストは、ポータブルコンピュータディスケット、ハードディスク、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)、EPROM(消去可能でプログラム可能なリードオンリーメモリ)又はフラッシュメモリ、SRAM(スタティックランダムアクセスメモリ)、CD-ROM(ポータブルコンパクトディスク・リードオンリーメモリ)、DVD(デジタルバーサタイルディスク)、メモリスティック、フロッピーディスク、パンチカード又は命令が記録されている溝内の隆起構造などの機械的にエンコードされたデバイス、及び上記の任意の適切な組み合わせを含む。本明細書で用いられる場合のコンピュータ可読記憶媒体は、電波又は他の自由に伝播する電磁波、導波管又は他の伝送媒体を通って伝播する電磁波(例えば、光ファイバケーブルを通る光パルス)、又はワイヤを通じて送信される電気信号などの、それ自体が一時的な信号であると解釈されるべきではない。
本明細書で説明されるコンピュータで読み取り可能なプログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び/又は無線ネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び/又はエッジサーバを含み得る。各コンピューティング/処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータで読み取り可能なプログラム命令を受信し、それぞれのコンピューティング/処理デバイスのコンピュータ可読記憶媒体に記憶するべくコンピュータで読み取り可能なプログラム命令を転送する。
本発明の動作を実行するためのコンピュータで読み取り可能なプログラム命令は、アセンブラ命令、ISA(命令セットアーキテクチャ)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、Smalltalk、C++などのオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードのいずれかであり得る。コンピュータで読み取り可能なプログラム命令は、全部が歯科収集ユニット又はユーザのコンピュータで実行されてもよく、一部がスタンドアロンソフトウェアパッケージとしてユーザのコンピュータ又は歯科収集ユニットで実行されてもよく、一部がユーザのコンピュータで一部がリモートコンピュータで実行されてもよく、又は全部がリモートコンピュータ又はサーバなどで実行されてもよい。後者のシナリオでは、リモートコンピュータは、LAN(ローカルエリアネットワーク)又はWAN(ワイドエリアネットワーク)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、又は接続は、(例えば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータになされてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、FPGA(フィールドプログラマブルゲートアレイ)、又はPLA(プログラマブルロジックアレイ)を含む電子回路は、本発明の態様を実行するべく電子回路をパーソナライズするためにコンピュータで読み取り可能なプログラム命令の状態情報を使用することによってコンピュータで読み取り可能なプログラム命令を実行し得る。
本発明の態様は、本発明の実施形態に係る方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図及び/又はブロック図を参照して本明細書で説明される。フローチャート図及び/又はブロック図の各ブロック、及びフローチャート図及び/又はブロック図のブロックの組み合わせは、コンピュータで読み取り可能なプログラム命令によって実施できることが理解されるであろう。
これらのコンピュータで読み取り可能なプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令がフローチャート図及び/又はブロック図の1つ又は複数のブロックで指定される機能/動作を実施するための手段を生み出すようにマシンを作製するべく、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され得る。これらのコンピュータで読み取り可能なプログラム命令はまた、命令を記憶したコンピュータ可読記憶媒体がフローチャート図及び/又はブロック図の1つ又は複数のブロックで指定される機能/動作の態様を実施する命令を有する製品を含むように、コンピュータ、プログラム可能なデータ処理装置、及び/又は他のデバイスを特定の様態で機能するように誘導することができるコンピュータ可読記憶媒体に記憶され得る。
コンピュータで読み取り可能なプログラム命令はまた、コンピュータ、又は他のプログラム可能な装置、又は他のデバイスで実行する命令がフローチャート図及び/又はブロック図の1つ又は複数のブロックで指定される機能/動作を実施するように、コンピュータで実装されるプロセスをもたらすべく、一連の動作ステップがコンピュータ、又は他のプログラム可能な装置、又は他のデバイスで行われるように、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイス上にロードされ得る。
図面におけるフローチャート図及びブロック図は、本発明の種々の実施形態に係るシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を例示している。これに関して、フローチャート図又はブロック図の各ブロックは、特定の論理関数を実装するための1つ又は複数の実行可能命令を備える命令のモジュール、セグメント、又は一部を表し得る。いくつかの代替的な実装では、ブロックで示される機能は、図面に示された順番以外で行われてもよい。例えば、連続して示された2つのブロックは、実際には、実質的に同時に実行されてよく、又はブロックは、関係する機能に応じて、時には逆の順番で実行されてよい。ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図のブロックの組み合わせは、特定の機能又は動作を行う又は特殊用途ハードウェア及びコンピュータ命令の組み合わせを実行する特殊用途ハードウェアベースのシステムにより実施することができることも注目される。
特許請求の範囲、要約書、及び図面を含む本明細書で開示されたすべての特徴、及び開示されたいずれかの方法又はプロセスのすべてのステップは、そのような特徴及び/又はステップの少なくともいくつかが相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わせることができる。特許請求の範囲、要約書、及び図面を含む本明細書で開示された各特徴は、特に明記しない限り、同じ、同等の、又は同様の目的を果たす代替的な特徴に置き換えることができる。
Claims (22)
- 方法であって、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルを生成する、オペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を含む方法。 - 前記少なくとも1つの直接測定データは、可視光、紫外放射、又は赤外線放射を照射したときに歯顎の修正されていないテクスチャ、可視色、蛍光特性、透照特性、及び反射又は吸収特性からなる群から選択される特徴に関する情報を提供する2D画像である、請求項1に記載の方法。
- 前記少なくとも1つの直接測定データは、歯顎の修正されていない幾何形状に関する情報を提供するシングルフレーム3D画像である、請求項1に記載の方法。
- 前記計算された修正は、第1の仮想3Dモデルの一部の幾何形状又は色の変更である、請求項1に記載の方法。
- 前記計算された修正は、第1の仮想3Dモデルの提案されたマージンの変更である、請求項1に記載の方法。
- 前記ペアのリストは、第1の仮想3Dモデル上にマッピングとして、テーブルとして、又はリストとして表示される、請求項1に記載の方法。
- 前記少なくとも1つの直接測定データは、複数の直接測定データであり、少なくとも選択されたサブセットを使用して修正の再計算をトリガするべく、複数の直接測定データのサブセットが選択され、重み付けされる、請求項1に記載の方法。
- 前記制御は双方向の表示関係であり、前記ペアの1つのメンバーを選択するステップによりペアの別のメンバーが表示される、請求項1に記載の方法。
- 前記計算された修正はリアルタイムで表示される、請求項1に記載の方法。
- 第1又は第2の仮想3Dモデルに対して別の入力を提供するステップをさらに含み、対応するライブ又は遅延フィードバックが、直接測定データの対応する位置に提供される、請求項1に記載の方法。
- 前記選択されたペアの直接測定データの第1の位置に関するオペレータ入力を提供するステップでは、提案生成器を使用して、第2の仮想3Dモデルを生成するべく第1の仮想3Dモデルの対応する位置の修正が計算される、請求項1に記載の方法。
- 前記提案生成器は機械学習モデルである、請求項1に記載の方法。
- 少なくとも1つの2Dカラー画像と少なくとも1つのカリエス画像が同じビューに表示される、請求項1に記載の方法。
- 同じ座標変換に属することができる複数の直接測定データが同時に表示される、請求項1に記載の方法。
- 方法であって、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、前記第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択するステップと、
第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供するステップと、
を含む方法。 - 前記少なくとも1つの直接測定データは、シングルフレーム2D画像又はシングルフレーム3D画像である、請求項15に記載の方法。
- コンピュータシステムであって、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルを生成する、オペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を実行するように構成されたプロセッサを含むコンピュータシステム。 - 前記計算された修正は、第1の仮想3Dモデルの提案されたマージンの変更である、請求項17に記載のコンピュータシステム。
- コンピュータシステムであって、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、前記第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択するステップと、
第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供するステップと、を実行するように構成されたプロセッサを含むコンピュータシステム。 - 前記少なくとも1つの直接測定データは、シングルフレーム2D画像又はシングルフレーム3D画像である、請求項19に記載のコンピュータシステム。
- コンピュータシステムによって実行されるときに、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから表示するためのペアを選択するステップと、
提案生成器を使用して、第1の仮想3Dモデルよりも高精度な第2の仮想3Dモデルを生成する、オペレータ入力を示す選択されたペアの第1の仮想3Dモデルの修正を計算するべく、選択されたペアの直接測定データに関するオペレータ入力を提供するステップと、
を含む手順をコンピュータシステムに実行させるプログラムを記憶する一時的でないコンピュータ可読記憶媒体。 - コンピュータシステムによって実行されるときに、
歯顎の第1の仮想3Dモデルと、前記第1の仮想3Dモデルの少なくとも一部を表す少なくとも1つの直接測定データとを含む、歯顎に関するデータを取得するステップと、
前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと、前記1つ又は複数のパースペクティブを示す対応する直接測定データをリンクし、前記第1の仮想3Dモデルの1つ又は複数のパースペクティブのそれぞれと前記対応する直接測定データとの間の制御を確立し、第1の仮想3Dモデルのパースペクティブと対応するシングルフレーム画像とのペアのリストを提供するべく、インデクサによって前記データにインデックスを付けるステップと、
前記インデックスを付けるステップに応答して、前記ペアのリストから、少なくとも1つの直接測定データのうちの第1の直接測定データと、前記第1の直接測定データに対応する第1の向きに配向された第1の仮想3Dモデルとを表示するためのペアを選択するステップと、
第1の仮想3Dモデルの表示又は測定動作よりも高精度な表示又は測定動作用に構成された直接測定データツールを表示するべく、第1の直接測定データの対応する位置を計算するために、選択されたペアの第1の仮想3Dモデルデータの第1の位置に関するオペレータ入力を提供するステップと、
を含む手順をコンピュータシステムに実行させるプログラムを記憶する一時的でないコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/211,922 | 2021-03-25 | ||
US17/211,922 US11361524B1 (en) | 2021-03-25 | 2021-03-25 | Single frame control view |
PCT/US2022/020844 WO2022203941A1 (en) | 2021-03-25 | 2022-03-18 | Single frame control view |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024518241A true JP2024518241A (ja) | 2024-05-01 |
Family
ID=81328482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023558414A Pending JP2024518241A (ja) | 2021-03-25 | 2022-03-18 | シングルフレーム制御ビュー |
Country Status (7)
Country | Link |
---|---|
US (1) | US11361524B1 (ja) |
EP (1) | EP4315362A1 (ja) |
JP (1) | JP2024518241A (ja) |
KR (1) | KR20230161462A (ja) |
CN (1) | CN117203713A (ja) |
CA (1) | CA3214599A1 (ja) |
WO (1) | WO2022203941A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7813591B2 (en) | 2006-01-20 | 2010-10-12 | 3M Innovative Properties Company | Visual feedback of 3D scan parameters |
WO2009006303A2 (en) | 2007-06-29 | 2009-01-08 | 3M Innovative Properties Company | Video-assisted margin marking for dental models |
US9724177B2 (en) * | 2014-08-19 | 2017-08-08 | Align Technology, Inc. | Viewfinder with real-time tracking for intraoral scanning |
US10507087B2 (en) | 2016-07-27 | 2019-12-17 | Align Technology, Inc. | Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth |
US10695150B2 (en) * | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
EP3743010B1 (en) * | 2018-01-26 | 2022-01-12 | Align Technology, Inc. | Diagnostic intraoral scanning and tracking |
US11367192B2 (en) * | 2019-03-08 | 2022-06-21 | Align Technology, Inc. | Foreign object filtering for intraoral scanning |
-
2021
- 2021-03-25 US US17/211,922 patent/US11361524B1/en active Active
-
2022
- 2022-03-18 CN CN202280029896.9A patent/CN117203713A/zh active Pending
- 2022-03-18 EP EP22715454.9A patent/EP4315362A1/en active Pending
- 2022-03-18 WO PCT/US2022/020844 patent/WO2022203941A1/en active Application Filing
- 2022-03-18 CA CA3214599A patent/CA3214599A1/en active Pending
- 2022-03-18 JP JP2023558414A patent/JP2024518241A/ja active Pending
- 2022-03-18 KR KR1020237034941A patent/KR20230161462A/ko unknown
Also Published As
Publication number | Publication date |
---|---|
EP4315362A1 (en) | 2024-02-07 |
US11361524B1 (en) | 2022-06-14 |
WO2022203941A1 (en) | 2022-09-29 |
KR20230161462A (ko) | 2023-11-27 |
CA3214599A1 (en) | 2022-09-29 |
CN117203713A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11707238B2 (en) | Dental panoramic views | |
US11163976B2 (en) | Navigating among images of an object in 3D space | |
US20210059796A1 (en) | Automated detection, generation and/or correction of dental features in digital models | |
US20210322136A1 (en) | Automated orthodontic treatment planning using deep learning | |
US9191648B2 (en) | Hybrid stitching | |
US20230068727A1 (en) | Intraoral scanner real time and post scan visualizations | |
FR3021519A1 (fr) | Dispositif de visualisation de l'interieur d'une bouche d'un patient. | |
US20210267716A1 (en) | Method for simulating a dental situation | |
US20220378548A1 (en) | Method for generating a dental image | |
US11361524B1 (en) | Single frame control view | |
WO2020037582A1 (en) | Graph-based key frame selection for 3-d scanning | |
US20240029380A1 (en) | Integrated Dental Restoration Design Process and System | |
KR20240068667A (ko) | 치아 수복 작업 흐름에서 자동화된 치아 관리 | |
WO2023028339A1 (en) | Intraoral scanner real time and post scan visualizations | |
WO2023043656A1 (en) | Automated tooth administration in a dental restoration workflow |