TW202409874A - 牙齒復原自動化技術 - Google Patents

牙齒復原自動化技術 Download PDF

Info

Publication number
TW202409874A
TW202409874A TW112127417A TW112127417A TW202409874A TW 202409874 A TW202409874 A TW 202409874A TW 112127417 A TW112127417 A TW 112127417A TW 112127417 A TW112127417 A TW 112127417A TW 202409874 A TW202409874 A TW 202409874A
Authority
TW
Taiwan
Prior art keywords
virtual
tooth
prepared
restoration
design
Prior art date
Application number
TW112127417A
Other languages
English (en)
Inventor
麥可 Ｊ 塞爾貝里斯
謝爾蓋 阿澤爾尼科夫
大衛 Ｃ 利森
邁可森 馬可夫
伊凡 伊夫萊夫
馬可 喬卡達
Original Assignee
美商詹姆斯Ｒ 格萊德威爾牙科陶瓷股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商詹姆斯Ｒ 格萊德威爾牙科陶瓷股份有限公司 filed Critical 美商詹姆斯Ｒ 格萊德威爾牙科陶瓷股份有限公司
Publication of TW202409874A publication Critical patent/TW202409874A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/0003—Making bridge-work, inlays, implants or the like
    • A61C13/0004—Computer-assisted sizing or machining of dental prostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C5/00—Filling or capping teeth
    • A61C5/70—Tooth crowns; Making thereof
    • A61C5/77—Methods or devices for making crowns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00—Dental prostheses; Making same
    • A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Instructional Devices (AREA)

Abstract

一種虛擬牙齒復原設計自動化之電腦實施方法及系統包括：接收一患者之齒列之至少一部分的一3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由一牙醫預備之一實體預備牙齒的一數位表示； 使用該3D虛擬牙齒模型執行一自動化虛擬復原設計；以虛擬方式向該牙醫顯示在執行該自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及以虛擬方式向該牙醫顯示一所生成之虛擬復原體以用於在執行該自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。

Description

牙齒復原自動化技術
本申請案主張2022年7月22日申請之題為整合式牙齒復原設計方法及系統(Integrated Dental Restoration Design Process and System)的同在申請中之美國臨時專利申請案第63/369,151號以及2022年10月20日申請之題為牙齒復原自動化技術(DENTAL RESTORATION AUTOMATION)的同在申請中之美國臨時專利申請案第63/380,374號以及2023年7月18日申請之題為牙齒復原自動化技術(DENTAL RESTORATION AUTOMATION)的美國實用專利申請案第18/353,947號之優先權及權益，以上所有申請案特此以全文引用之方式併入。
本揭示係有關於牙齒復原自動化技術。
發明背景
傳統的牙科診治通常涉及牙醫在其牙科辦公室中接待患者及對患者齒列執行檢查。由於患者處於牙科椅上，因此牙科辦公室中之檢查/治療可被稱作「椅側」。在典型的椅側問診期間，患者可能需要對一或多顆牙齒進行牙齒復原。牙醫通常麻醉患者或患者齒列之一部分以實體地使一或多個牙齒準備好接受牙齒復原。在此預備椅側問診期間，牙醫可以允許復原體適當地配合至一或多顆特定預備牙齒上之方式修改一或多顆現有牙齒。復原體之實例可包括但不限於牙冠、牙橋、嵌體等。
在一些情況下，一旦預備好一或多顆實體牙齒，牙醫便可直接掃描包括一或多顆實體預備牙齒之患者齒列以生成患者齒列之3D虛擬模型，其包括表示實體預備牙齒之虛擬預備牙齒。舉例而言，在一些狀況下，可使用諸如口內掃描器之光學掃描器來執行此掃描。此可生成包括一或多顆預備牙齒之患者齒列之至少一部分的3D虛擬模型。
在一些狀況下，牙醫可藉由使患者向下咬入配置於印模托盤中之印模材料中以生成實體印模來使患者創建印模。可將此實體印模郵寄至牙科實驗室，在牙科實驗室中根據實體印模製成患者齒列之石膏模具。
在一些狀況下，患者齒列之3D實體石膏模型可根據實體印模製成且接著在牙科實驗室進行光學掃描。替代地，可在牙科實驗室使用諸如口內掃描器或電腦化斷層攝影(「CT」)掃描器之光學掃描器來掃描實體印模自身，以生成包括一或多顆預備牙齒之患者齒列的3D虛擬模型。
最近，CAD/CAM牙科學(牙科學中之電腦輔助設計及電腦輔助製造)已提供廣泛範圍之牙齒復原體，包括牙冠、貼面、嵌體及高嵌體、固定橋、牙齒種植復原體以及正畸矯治器。在典型的基於CAD/CAM之牙齒程序中，治療牙醫可將被復原之牙齒預備為牙冠、嵌體、高嵌體或貼面。接著藉由三維(3D)成像攝影機掃描預備牙齒及其周圍部分且將其上傳至電腦以供設計。替代地，牙醫可獲得待復原牙齒之印模，且可直接掃描該印模或將其形成為待掃描之模型或上傳至電腦以供設計。
當前牙齒CAD常常可為繁瑣、耗時的且可導致設計不一致及誤差。在一些狀況下，由於實體預備牙齒之問題，可能會出現可阻礙或妨礙用於預備牙齒之復原體之設計的問題。此等問題可包括但不限於例如實體預備牙齒上之一或多個倒凹區、邊緣線問題、一或多個空隙問題區及/或復原體插入問題。若未解決，則此等問題可隨時間推移再次出現。與牙醫一起偵測及解決此等問題可為合乎需要的，此係因為可最小化誤差。
發明概要
一種虛擬牙齒復原設計自動化之電腦實施方法可包括：接收患者齒列之至少一部分的3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由牙醫預備之實體預備牙齒的數位表示；使用3D虛擬牙齒模型執行自動化虛擬復原設計；以虛擬方式向牙醫顯示在執行自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及以虛擬方式向牙醫顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
一種非暫時性電腦可讀媒體，其儲存可執行電腦程式指令以提供虛擬牙齒復原設計自動化，該等電腦程式指令可包括用於進行以下操作之指令：接收患者齒列之至少一部分的3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由牙醫預備之實體預備牙齒的數位表示；使用3D虛擬牙齒模型執行自動化虛擬復原設計；以虛擬方式向牙醫顯示在執行自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及以虛擬方式向牙醫顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
一種用於虛擬牙齒復原設計自動化之系統可包括：處理器；以及非暫時性電腦可讀儲存媒體，其包含可由處理器執行以執行包含以下各者之步驟的指令：接收患者齒列之至少一部分的3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由牙醫預備之實體預備牙齒的數位表示；使用3D虛擬牙齒模型執行自動化虛擬復原設計；以虛擬方式向牙醫顯示在執行自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及以虛擬方式向牙醫顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
較佳實施例之詳細說明
出於此描述之目的，本文中描述了本揭露內容之實施例的某些態樣、優點及新穎特徵。所揭露之方法、設備及系統不應以任何方式解釋為限制性的。實情為，本揭露內容係有關於各種所揭露實施例之所有新穎且非顯而易見的特徵及態樣，單獨地以及彼此以各種組合及子組合。方法、設備及系統不限於任何特定態樣或特徵或其組合，所揭露實施例亦不要求任何一或多個特定優點存在或問題得到解決。
儘管所揭露實施例中之一些的操作係以特定依序次序來描述以便於呈現，但應理解，描述之此方式涵蓋重新配置，除非下文闡述之特定語言要求特定排序。舉例而言，依序描述之操作在一些狀況下可經重新配置或同時執行。此外，為簡單起見，附圖可能不展示所揭露方法可結合其他方法使用之各種方式。另外，描述有時使用如「提供」或「達成」一詞來描述所揭露方法。對應於此等術語之實際操作可取決於特定實施方案而變化，且一般熟習此項技術者可容易地辨別該等操作。
除非上下文另外清楚地指示，否則如本申請案及申請專利範圍中所使用，單數形式「一(a)」、「一(an)」及「該(the)」包括複數形式。另外，「包括」一詞意謂「包含」。另外，「耦接」及「相關聯」兩個詞通常意謂電氣地、電磁地及/或實體地(例如，機械地或化學地)耦接或鏈接且在不存在特定相反語言之情況下，並不排除所耦接或相關聯物品之間存在中間元件。
在一些實例中，值、程序或設備可被稱作「最低」、「最好」、「最小」或其類似者。應瞭解，此類描述意欲指示，可在許多替代例中進行選擇，且此類選擇無需比其他選擇更好、更小或以其他方式更佳。
在以下描述中，可使用某些術語，諸如「上」、「下」、「上部」、「下部」、「水平」、「豎直」、「左」、「右」及其類似者。在適用情況下，此等術語用以在處理相對關係時提供一些清晰的描述。但此等術語並不意欲暗示絕對關係、位置及/或定向。舉例而言，關於物件，「上部」表面可僅藉由使物件翻轉而成為「下部」表面。然而，其仍為同一物件。
對任何其他美國申請案及專利以及任何其他公開案之所有參考特此以全文引用之方式併入。
如本文中所使用，「牙齒復原體」一詞可指任何牙齒復原物(復原體)，包括但不限於牙冠、牙橋、假牙、部分假牙、種植體、高嵌體、嵌體或貼面。
一些實施例揭露虛擬牙齒復原設計自動化之電腦實施方法。本揭露內容中之一些實施例可包括工作流程，該工作流程可自動地執行整合式虛擬復原設計自動化方法及系統中之一或多個步驟。作為整合式工作流程之部分，本揭露內容中之一些實施例可包括用於設計與齒列之牙齒模型相關聯之牙齒復原體的電腦實施方法及/或系統。在一些實施例中，方法及/或系統可提供自動地以虛擬方式設計牙齒復原體之簡化的、自動化的工作流程，且向牙醫提供關於預備牙齒之預備的回饋。在一些實施例中，整合式工作流程連同任何對應的電腦實施方法及/或系統可實施於雲端計算環境中。如此項技術中所已知的，雲端計算環境可包括但不限於一或多個裝置，諸如一或多個計算單元，諸如伺服器，例如網路、儲存器及/或經由網際網路啟用且可由一或多個准許用戶端裝置存取之應用程式。舉例而言，雲端計算環境之一個實例可包括亞馬遜(Amazon)網路服務。舉例而言，可使用其他雲端計算環境類型，包括但不限於可用於有限的一組用戶端(諸如，公司內之彼等用戶端)的私密雲端計算環境。在一些實施例中，系統可實施於雲端計算環境中。
圖1繪示根據一些實施例之用於支援整合式數位工作流程的雲端計算環境或系統102之一個實例，該工作流程用於提供牙齒復原設計及/或製造。在一些實施例中，雲端計算環境102可包括牙齒復原雲端伺服器104、自動化設計特徵103、儲存器107 (直接儲存於儲存裝置之檔案系統中、資料庫中或此項技術中已知之任何其他儲存器中)，及此項技術中通常已知用於雲端計算之其他組件。在一些實施例中，雲端計算環境102中之組件中之各者可例如藉由牙齒復原雲端伺服器104互連或直接地互連至彼此或經由雲端計算環境或系統102內之一或多個其他伺服器或電腦互連。在一些實施例中，一或多個用戶端裝置108可直接地或經由一或多個網路105連接至牙齒復原雲端伺服器104。一或多個用戶端裝置108可各自與此項技術中已知之一或多個掃描器109連接以例如掃描患者齒列或牙齒印模，且提供患者齒列之至少一部分的3D虛擬牙齒模型。舉例而言，在一些實施例中，一或多個用戶端裝置108可位於牙科辦公室中。牙齒復原雲端伺服器104可直接地及/或經由一或多個網路105連接至一或多個製造提供者110。圖1中僅展示一個牙齒復原雲端伺服器104、一個自動化設計特徵103、一個用戶端裝置108、一個掃描器109、一個第三方製造提供者110及一個儲存器107以便簡化及闡明描述。雲端計算環境102之實施例可具有多個牙齒復原雲端伺服器104、自動化設計特徵103、用戶端裝置108、掃描器109、製造提供者110及儲存器107。同樣地，在不同實施例中，由圖1之各種實體進行的特徵及配置/連接可不同。在一些實施例中，掃描器109可位於牙醫辦公室中。在一些實施例中，用戶端裝置108可位於牙醫辦公室中。舉例而言，在一些實施例中，一或多個製造提供者110可包括一或多個牙科實驗室。圖1中所繪示之特徵中之一或多者可藉由及/或在一或多個計算環境中實施。
作為牙齒復原自動化之部分，在一些實施例中，牙齒復原雲端伺服器104可自藉由用戶端操作之用戶端裝置108接收牙齒復原病例，管理不同用戶端之間的牙齒復原病例且又將完成的牙齒復原設計及/或銑削的牙齒復原體提供至用戶端。在一些實施例中，牙齒復原病例可包括僅請求牙齒復原雲端伺服器104提供牙齒復原體之虛擬設計的僅設計病例。在一些實施例中，牙齒復原病例可請求牙齒復原雲端伺服器104不僅提供設計，而且製造牙齒復原體。在一些實施例中，牙齒復原病例可僅請求製造。
虛擬牙齒復原設計自動化之電腦實施方法的一些實施例可包括接收患者齒列之至少一部分的3D虛擬牙齒模型。3D虛擬牙齒模型可包括至少一顆虛擬預備牙齒。虛擬預備牙齒可為由牙醫預備之實體預備牙齒的虛擬表示。在一些實施例中，虛擬牙齒復原設計自動化亦可接收相對3D虛擬牙齒模型。相對3D虛擬牙齒模型可包括與實體預備牙齒相對的患者齒列之至少一部分。相對3D虛擬牙齒模型可包括對應於至少一顆虛擬預備牙齒但在相對頜部上之至少一顆虛擬相對牙齒。在一些實施例中，牙醫可為位於牙科辦公室中之椅側牙醫。在一些實施例中，接收3D虛擬牙齒模型可在雲端計算環境中執行。
在一些實施例中，3D虛擬牙齒模型及相對3D虛擬牙齒模型可由任何方法生成，該方法掃描患者齒列或患齒列者之實體印模且生成患者齒列之虛擬3D牙齒模型。在一些實施例中，3D虛擬牙齒模型及相對3D虛擬牙齒模型可自患者齒列之口內掃描生成。舉例而言，在一些實施例中，可執行口內掃描以產生二個虛擬牙齒模型：具有虛擬預備牙齒之3D虛擬牙齒模型，以及具有虛擬相對牙齒之相對3D虛擬牙齒模型。在一些實施例中，口內掃描裝置可例如為手持型的，且可由牙醫、技術員或使用者使用以掃描患者齒列。標準的口內掃描裝置以及相關聯之硬體及軟體可接著生成虛擬3D牙齒模型作為標準STL檔案或其他合適的標準格式。口內掃描器之一個實例可為由Align Technologies提供之Itero®口內掃描器。口內掃描器之另一實例可為由Medit提供之i700口內掃描器。亦可使用用於產生患者齒列之至少一部分之3D虛擬牙齒模型的其他口內掃描器或其他掃描器及/或掃描技術。在一些實施例中，掃描方法可產生例如可適合於與牙齒設計軟體(諸如，由加利福尼亞州紐波特海灘之Glidewell實驗室提供的FastDesign™牙齒設計軟體)一起使用的STL、PLY或CTM檔案。在一些實施例中，口內掃描可在牙科實驗室外執行。舉例而言，在一些實施例中，口內掃描可在牙科辦公室中執行。在一些實施例中，牙醫/牙科辦公室可為牙科支援組織(「DSO」)之部分。DSO可包括一起診治之一或多個牙醫。
在一些實施例中，本文中所揭露之一或多個步驟可近即時地發生。舉例而言，在一些實施例中，可在患者訪問牙科辦公室以進行治療時執行本揭露內容中之一或多個步驟。在許多狀況下，患者可處於全身麻醉或局部麻醉且在治療椅上，同時牙醫預備一或多顆實體預備牙齒，且接著掃描患者齒列之至少一部分以捕獲所預備實體牙齒及患者齒列之部分，從而生成3D虛擬牙齒模型。在一些實施例中，牙醫亦可在患者處於治療椅上時掃描患者相對牙齒之至少一部分以生成相對牙齒/頜部之相對3D虛擬牙齒模型。可在患者仍處於椅子上接受治療時在牙醫辦公室中使用口內掃描器或其他掃描器執行掃描。
一旦生成包括一或多顆虛擬預備牙齒之3D虛擬牙齒模型及相對3D虛擬牙齒模型，作為虛擬牙齒復原設計自動化之部分，牙醫、工作人員或牙科辦公室之任何其他授權使用者可為患者創建虛擬病例，且上傳虛擬牙齒模型(亦稱為「掃描」)，該等虛擬牙齒模型可被接收以用於虛擬復原自動化設計。在一些實施例中，自動化設計可在雲端計算環境(「雲端」)中執行。舉例而言，虛擬病例可在儲存裝置或資料庫上一起儲存或與關於特定患者及治療之資訊相關聯。在一些實施例中，資訊可包括例如關於患者及預備之資訊，諸如(但不限於)患者名稱、使用者可選擇預備牙齒編號、使用者可選擇材料、使用者可選擇預備牙齒色度及3D虛擬牙齒模型自身。
在一些實施例中，可經由圖形使用者介面(「GUI」)將3D虛擬牙齒模型及相對3D虛擬牙齒模型提供至自動化牙齒復原設計方法及系統，該圖形使用者介面可藉由雲端計算環境顯示於用戶端裝置上。在一些實施例中，例如，GUI可提供介面，該介面允許用戶端登入至牙齒復原設計伺服器中且上傳所掃描之虛擬3D牙齒模型。舉例而言，在一些實施例中，用戶端可為牙醫、牙科技術員或任何其他使用者。在一些實施例中，用戶端可位於牙科辦公室中。
在一些實施例中，雲端計算環境可自用戶端裝置接收3D虛擬牙齒模型，該用戶端裝置可包括例如牙科辦公室中之計算裝置。病例生成及上傳可經由諸如顯示於用戶端裝置顯示器上以允許輸入病例資訊及上傳3D虛擬牙齒模型之圖形使用者介面(「GUI」)的介面執行。在一些實施例中，介面可連接至例如一或多個雲端或連接至一或多個電腦伺服器或藉由牙科實驗室運行且經由網際網路連接至牙科辦公室的其他系統，以儲存病例資訊。在一些實施例中，可創建病例且由牙醫或牙科辦公室之其他人手動地提供或由在一些實施例中由掃描器使用之掃描軟體自動地提供資訊。舉例而言，在一些實施例中，當在牙科辦公室掃描患者齒列後，Itero®口內掃描器可自動地開啟病例並填入病例資訊，且上傳3D虛擬牙齒模型。
虛擬牙齒復原設計自動化之電腦實施方法的一些實施例可包括使用3D虛擬牙齒模型執行自動化虛擬復原設計。在一些實施例中，在患者訪問牙科辦公室期間，可在患者處於椅子上時執行自動化虛擬復原設計。在一些實施例中，自動化虛擬復原設計可在雲端計算環境中執行。
圖2為繪示例如一些實施例中之一個實例之概述的圖。牙醫或牙科技術員或位於牙科辦公室202中之其他使用者可開啟新病例208，且使用口內掃描器206掃描患者齒列之至少一部分，其在一些實施例中包括與病例208相關聯之至少一顆實體預備牙齒。在一些實施例中，亦可進行患者相對齒列(亦即，另一頜部)之至少一部分的另一口內掃描且亦使其與同一病例208相關聯。口內掃描器可針對各次掃描生成虛擬牙齒模型。舉例而言，口內掃描器可針對具有至少一顆實體預備牙齒之齒列生成3D虛擬牙齒模型且針對相對齒列生成相對3D虛擬牙齒模型。在一些實施例中，可首先執行口內掃描206且自動地生成訂單208。在一些實施例中，一旦口內掃描完成，便可將3D虛擬牙齒模型及相對3D虛擬牙齒模型發送至自動化設計210。
在一些實施例中，自動化設計210可在雲端計算環境中執行。在一些實施例中，自動化設計210可判定由牙醫預備之實體預備牙齒的品質。在一些實施例中，若實體預備牙齒具有可接受品質且在211處未發現問題，則自動化設計210可生成虛擬復原體且在計算裝置顯示器上向牙醫、牙科技術員或牙科辦公室202中之其他使用者顯示所生成之虛擬復原體，以進行設計檢查(「DC」) 214。在一些實施例中，設計檢查214可允許牙醫等對所生成之虛擬復原體及/或邊緣線進行調整。
在一些實施例中，牙醫、其他使用者等可進行可應用於虛擬復原體之微小調整。在一些實施例中，牙醫、其他使用者等可進行主要調整。在一些實施例中，可在進行微小及主要改變時應用該等改變。舉例而言，主要調整可包括但不限於調整邊緣線。在一些實施例中，在進行主要調整222時，主要調整觸發自動化設計210以基於所進行的主要調整而重新生成新的虛擬復原體。一旦所有調整完成且設計由牙醫或使用者最終確定，便將最終虛擬復原設計轉遞(224)至設計可加工性檢查220。在一些實施例中，牙醫、其他使用者等可簡單地接受初始提議的虛擬復原體而不進行任何調整，該虛擬復原體接著被轉遞(224)至設計加工性檢查220。
設計可加工性檢查220可判定是否可自動銑削所生成之虛擬復原體。設計可加工性檢查220亦可位於雲端計算環境中。雲端計算環境對於自動化設計210及設計可加工性檢查220可為相同的，或可使用分離的雲端計算環境。若可自動銑削虛擬復原體，則可將其發送至銑削216以用於虛擬復原體之實體製造。在一些實施例中，若設計可加工性檢查220通過，則銑削216可為自動銑削。自動化銑削之一個實例可見於Leeson等人之美國專利第US10470853B2號中，該專利之全文特此以引用之方式併入。在一些實施例中，若設計可加工性檢查220指示無法執行自動銑削，則銑削216可為手動銑削。在一些實施例中，銑削216可在牙科實驗室204處進行。
在一些實施例中，若自動化設計210識別到實體預備牙齒之一或多個問題209，則電腦實施方法可將212處之虛擬指導/回饋提供至牙科辦公室202中之牙醫及/或其他使用者等。在一些實施例中，牙醫可接著基於虛擬指導/回饋而調整實體預備牙齒、實體相對牙齒及/或專利齒列之一部分，且重新掃描患者之經調整實體齒列，其可包括一或多顆實體預備牙齒及一或多顆相對牙齒及/或齒列215。在一些實施例中，牙醫或使用者可接著重新上傳經重新掃描之3D虛擬牙齒模型的經重新掃描之3D虛擬模型，其可包括至少一顆經重新掃描之虛擬預備牙齒及/或至少一顆對應經重新掃描之相對牙齒。在一些實施例中，可將重新掃描增添至同一訂單208且可重新繼續處理，如描述於圖2中。
在一些實施例中，在接收到指示一或多個問題之虛擬指導回饋212後，牙醫/使用者便可簡單地接受且將3D虛擬牙齒模型及任何相對3D虛擬牙齒模型提交(219)至設計實驗室技術員232或通常在牙科實驗室204之其他使用者。設計實驗室技術員或其他使用者可接著基於自自動化設計提出之問題而判定虛擬預備牙齒上之一或多個修磨區，以設計虛擬修磨內冠，如描述於Leeson等人之美國專利第US11351015B2號(下文中，'015)中。設計實驗室技術員可接著製造實體修磨/指導內冠，如描述於'015中，且將實體修磨/指導內冠發送至牙醫以將關於實體地修磨哪一顆實體預備牙齒、相對牙齒及/或哪些周圍齒列區域之實體回饋提供至牙科辦公室之牙醫或使用者。在一些實施例中，設計技術員亦可設計用於虛擬修磨預備牙齒之虛擬復原體，且將所設計的虛擬復原體發送至設計可加工性檢查220以用於實體復原體之後續製造。在一些實施例中，設計實驗室技術員可使用自動化設計210以自虛擬修磨預備牙齒、虛擬修磨相對牙齒及/或虛擬修磨患者齒列生成虛擬復原體。在一些實施例中，牙科技術員可手動地設計虛擬復原體。
圖3為繪示一些實施例中之牙齒復原自動化的一個實例之概述的圖。牙醫或牙科技術員或位於牙科辦公室302中之其他使用者可開啟新病例308，且使用口內掃描器306掃描患者齒列之至少一部分，其在一些實施例中包括與病例308相關聯之至少一顆實體預備牙齒。在一些實施例中，亦可進行患者相對齒列(亦即，另一頜部)之至少一部分的另一口內掃描且亦使其與同一病例308相關聯。口內掃描器可針對各次掃描生成虛擬牙齒模型。舉例而言，口內掃描器可針對具有至少一顆實體預備牙齒之齒列生成3D虛擬牙齒模型且針對相對齒列生成相對3D虛擬牙齒模型。在一些實施例中，可首先執行口內掃描306且自動地生成訂單308。在一些實施例中，一旦口內掃描完成，便可將3D虛擬牙齒模型及相對3D虛擬牙齒模型發送至自動化設計310。
在一些實施例中，自動化設計310可在雲端計算環境中執行。在一些實施例中，自動化設計310可判定由牙醫預備之實體預備牙齒的品質。在一些實施例中，若實體預備牙齒具有可接受品質且在311處未發現問題，則自動化設計310可生成虛擬復原體且在計算裝置顯示器上向牙醫、牙科技術員或牙科辦公室302中之其他使用者顯示所生成之虛擬復原體，以進行設計檢查(「DC」) 314。在一些實施例中，設計檢查314可允許牙醫等對所生成之虛擬復原體及/或邊緣線進行調整，如先前關於圖2所論述。
在一些實施例中，牙醫、其他使用者等可進行可應用於虛擬復原體之微小調整。在一些實施例中，牙醫、其他使用者等可進行主要調整。舉例而言，主要調整可包括但不限於調整邊緣線。在一些實施例中，在進行主要調整322時，主要調整觸發自動化設計310以基於所進行的主要調整而重新生成新的虛擬復原體。在一些實施例中，可在進行微小及主要改變時應用該等改變。一旦所有調整完成且設計由牙醫或使用者最終確定，便將最終虛擬復原設計轉遞(324)至設計可加工性檢查320。在一些實施例中，牙醫、其他使用者等可簡單地接受初始提議的虛擬復原體而不進行任何調整，該虛擬復原體接著被轉遞(324)至設計加工性檢查320。
在一些實施例中，若自動化設計310識別到實體預備牙齒之一或多個問題309，則電腦實施方法可將具有一或多顆虛擬預備牙齒及相對牙齒/齒列3D虛擬牙齒模型309之所上傳的3D虛擬牙齒模型轉遞至設計技術員316。舉例而言，在一些實施例中，設計技術員316可在牙科實驗室304中。在一些實施例中，在完成手動設計後，牙科技術員316可將手動生成之虛擬復原體轉遞至設計可加工性檢查320及製造處理，如先前所論述。在一些實施例中，牙科實驗室304亦可將關於自動化設計310判定之實體預備牙齒之一或多個問題的回饋提供至牙醫及/或使用者。在一些實施例中，回饋可包括標記有任何問題之一或多個影像或3D模型。在一些實施例中，在完成虛擬復原設計後，設計技術員316可在318處提供虛擬復原設計以用於設計可加工性檢查320。
設計可加工性檢查320可判定是否可自動銑削所生成之虛擬復原體。設計可加工性檢查320亦可位於雲端計算環境中。雲端計算環境對於自動化設計310及設計可加工性檢查320可為相同的，或可使用分離的雲端計算環境。若可自動銑削虛擬復原體，則可將其發送至自動銑削332以用於虛擬復原體之實體製造。在一些實施例中，若設計可加工性檢查320通過，則銑削316可為自動銑削。自動化銑削之一個實例可見於Leeson等人之美國專利第US10470853B2號中，該專利之全文特此以引用之方式併入。在一些實施例中，若設計可加工性檢查320指示無法執行自動銑削，則銑削316可為手動銑削336。在一些實施例中，可將虛擬復原體發送(334)至手動銑削336。在一些實施例中，銑削可在牙科實驗室304處進行。
在一些實施例中，執行自動化虛擬復原設計可包括例如以下步驟中之一或多者：3D虛擬牙齒模型之抽選；網格化；分段；判定咬合方向；判定咬入對準；預備模具定位；判定頰方向；判定至少一顆預備牙齒之邊緣；判定插入至虛擬預備牙齒上之方向；判定用於虛擬預備牙齒之黏合劑空間；生成虛擬復原體；以及將虛擬復原體拉動至邊緣。在一些實施例中，自動化虛擬復原設計步驟中之一或多者可在包括一或多顆虛擬預備牙齒之3D虛擬模型上執行。在一些實施例中，自動化虛擬復原設計步驟中之一或多者可在相對3D虛擬模型上執行，該模型包括與對應或多個虛擬預備牙齒相對的一或多顆相對虛擬牙齒。在一些實施例中，一或多個步驟可依序或以任何其他合適次序執行。在一些實施例中，可排除一或多個步驟。
圖4繪示自動化虛擬復原設計步驟400中之一或多者的一個實例。在一些實施例中，一或多個自動化虛擬復原設計步驟可在雲端計算環境中執行。在一些實施例中，執行自動化虛擬復原設計可包括例如可依序或以任何其他合適次序執行以下步驟中之一或多者：3D虛擬牙齒模型之抽選402；網格修復404；分段406；判定咬合方向(408)；判定咬入對準(410)；預備模具定位412；判定頰方向(414)；判定至少一顆虛擬預備牙齒之邊緣(416)；判定插入至虛擬預備牙齒上之方向(418)；判定用於虛擬預備牙齒之黏合劑空間(420)；生成虛擬復原體422或牙橋424；以及將虛擬復原體拉動至邊緣(426)。在一些實施例中，一或多個步驟可以任何次序執行。在一些實施例中，一或多個步驟可依序或以例如圖4中所展示之次序執行。在一些實施例中，可排除一些步驟。
在一些實施例中，自動化虛擬復原設計可包括任擇地執行抽選。抽選可包括減小3D虛擬牙齒模型之檔案大小。在一些實施例中，此可藉由減少3D虛擬牙齒模型中之多邊形數目來達成。在一些實施例中，待執行之抽選量可為可例如對3D虛擬牙齒模型中之多邊形或點之子集進行取樣的使用者可組配值。在一些實施例中，抽選可藉由選擇定義3D虛擬牙齒模型之點之子集來執行。舉例而言，在一些實施例中，電腦實施方法可選擇3D虛擬牙齒模型中之每第2或第3點。在一些實施例中，抽選可在患者處於牙科辦公室中時執行。在一些實施例中，當虛擬網格中之數目多邊形(在一些實施例中，虛擬三角形)超過使用者可組配臨限值時，可觸發抽選。在一些實施例中，抽選可包括組合虛擬網格中之二個或多於二個虛擬三角形以減少網格中之虛擬三角形之數目；調整網格以增加均勻性；以及減小具有較大曲率之區域中的虛擬三角形大小。圖5(a)繪示具有比用於抽選之使用者可組配臨限值更多的虛擬三角形的初始虛擬網格之實例。圖5(b)繪示具有比用於抽選之使用者可組配臨限值更少的虛擬三角形的所抽選虛擬網格之實例。圖5(c)繪示虛擬網格500之一部分的實例，其具有曲率增加之一或多個區，該一或多個區具有比其他曲率較小區更小的虛擬三角形501。亦在圖5(c)中圈出中具有較小虛擬三角形之其他曲率較高區。
在一些實施例中，自動化虛擬復原設計可任擇地包括執行網格修復。舉例而言，在一些實施例中，網格修復可包括移除三角形、孔填充以及使虛擬牙齒模型平滑。在一些實施例中，網格修復可在患者處於牙科辦公室中時執行。在一些實施例中，網格修復可包括校正網格(柵格)之三角量測；移除網格之任何自相交；移除尖峰及細長虛擬三角形；移除隧道；填充孔；移除空點(不屬於任何虛擬三角形)；以及移除分離的小網格區。在一些實施例中，網格修復可在患者於牙科辦公室中治療期間執行。
在一些實施例中，自動化虛擬復原設計可包括自動地對3D虛擬牙齒模型執行分段。分段可識別或多顆虛擬牙齒、牙齦及/或3D虛擬牙齒模型內之其他特徵。自動地對3D虛擬牙齒模型執行分段之一或多個實例可見於Azernikov等人之美國申請案第17/140,739號中，該申請案之全文特此以引用之方式併入。如描述於彼申請案中，分段可包括例如：接收患者齒列之至少一部分的患者掃描資料之3D虛擬模型；自3D虛擬模型生成全景影像；使用第一經訓練神經網路標示全景影像之一或多個區以提供經標示全景影像；將經標示全景影像之一或多個區映射至3D虛擬模型中之一或多個對應的粗略虛擬表面三角形標籤以提供經標示3D虛擬模型；以及將經標示3D虛擬模型進行分段以提供經分段3D虛擬模型。自動地對3D虛擬牙齒模型執行分段之另一實例亦可見於Nikolskiy等人之美國申請案第16/451,968號中，該申請案之全文特此以引用之方式併入。在一些實施例中，當患者處於牙科辦公室中時，分段可在患者治療期間執行。
在一些實施例中，可使用經訓練之3D深度神經網路(「DNN」)在體積(體素)表示上自動地判定一或多個特徵。在一些實施例中，DNN可為卷積神經網路(「CNN」)，其為在深度神經網路之隱藏層中之至少一者中代替一般矩陣乘法使用卷積的網路。卷積層可藉由將內核函數應用於前一層之值之子集來計算其輸出值。電腦實施方法可藉由基於訓練資料調整內核函數之權重來訓練CNN。相同內核函數可用以計算特定卷積層中之各值。
圖6繪示一些實施例中之CNN的實例。出於繪示之目的，展示2D CNN。3D CNN可具有類似架構，但使用三維內核(x-y-z軸)以在各次卷積之後提供三維輸出。CNN可包括一或多個卷積層，諸如第一卷積層502。第一卷積層502可在諸如輸入影像503之輸入影像上應用諸如內核504之內核(亦被稱作濾波器)，且任擇地應用激活函數以生成一或多個卷積輸出，諸如第一內核輸出508。第一卷積層502可包括一或多個特徵通道。應用諸如內核504之內核且任擇地應用激活函數可產生第一卷積輸出，諸如卷積輸出506。內核可接著基於步幅推進至輸入影像503中之像素集合，且應用內核504並任擇地應用激活函數以產生第二內核輸出。內核可以此方式推進直至其已應用於輸入影像503中之所有像素。以此方式，CNN可生成可包括一或多個特徵通道之第一卷積影像506。在一些實施例中，第一卷積影像506可包括一或多個特徵通道，諸如507。在一些狀況下，激活函數可為例如RELU激活函數。亦可使用其他類型之激活函數。
CNN亦可包括一或多個池化層，諸如第一池化層512。第一池化層可將諸如池化濾波器514之濾波器應用於第一卷積影像506。可使用任何類型之濾波器。舉例而言，濾波器可為最大濾波器(輸出應用濾波器之像素的最大值)或平均濾波器(輸出應用濾波器之像素的平均值)。一或多個池化層可減少取樣且減小輸入矩陣之大小。舉例而言，第一池化層512可藉由應用第一池化濾波器514來對第一卷積影像506進行降低/減少取樣以提供第一池化影像516。第一池化影像516可包括一或多個特徵通道517。CNN可任擇地應用一或多個額外卷積層(及激活函數)及池化層。舉例而言，CNN可應用第二卷積層518且任擇地應用激活函數以輸出可包括一或多個特徵通道519之第二卷積影像520。第二池化層522可將池化濾波器應用於第二卷積影像520以生成可包括一或多個特徵通道之第二池化影像524。CNN可包括一或多個卷積層(及激活函數)及一或多個對應池化層。可將CNN之輸出任擇地發送至完全連接層，該完全連接層可為一或多個完全連接層530之部分。一或多個完全連接層可提供輸出預測，諸如輸出預測524。舉例而言，在一些實施例中，輸出預測524可包括牙齒及周圍組織之標籤。在一些實施例中，輸出預測524可包括3D數位牙齒模型中之一或多個特徵的識別。
在一些實施例中，自動化虛擬復原設計可包括自動地判定咬合方向。自動地判定咬合方向之一個實例可見於Azernikov等人之美國申請案第17/245,944號中，該申請案之全文特此以引用之方式併入。在一些實施例中，判定咬合方向可在患者處於牙科辦公室中時執行。
在一些實施例中，可使用咬合方向訓練之神經網路自動地判定咬合方向。在一些實施例中，咬合方向訓練之CNN可為使用一或多個3D體素表示訓練之3D CNN，該等表示各自表示患者齒列，任擇地利用擴增資料，諸如各體素之表面法線。3D CNN可執行3D卷積，其使用3D內核而非2D內核且對3D輸入操作。在一些實施例中，經訓練3D CNN接收具有體素法線之3D體素表示。在一些實施例中，可使用 N× N× N×3浮點張量。在一些實施例中， N可為例如100。可使用其他合適的 N值。在一些實施例中，經訓練3D CNN可包括4個層級之3D卷積且可包括2個線性層。在一些實施例中，3D CNN可以其將表示患者齒列之體素及其對應法線回歸為三個數字的回歸機制操作：單位咬合向量之X、Y、Z座標。在一些實施例中，用於3D CNN之訓練集可包括各自表示一患者之齒列的一或多個3D體素表示。在一些實施例中，訓練集中之各3D體素表示可包括藉由使用者手動地或藉由此項技術中已知之其他技術標記的咬合方向。在一些實施例中，訓練集可包括數萬個3D體素表示，其各自具有所標記的咬合方向。在一些實施例中，訓練資料集可包括3D點雲模型，其中在各3D點雲模型中具有所標記的咬合方向。因此，患者齒列之各影像/模型(3D體素表示)的一個咬合方向由技術員在訓練資料集中標記，且訓練資料集可包括對應患者齒列之數萬個影像/模型(3D體素表示)。在訓練資料中，單位咬合向量之座標可使得例如在一些實施例中，X^2+Y^2+Z^2=1。
在一些實施例中，自動化虛擬復原設計可包括自動地判定咬入設定。在一些實施例中，可在包括一或多顆虛擬預備牙齒之3D虛擬牙齒模型與包括一或多顆對應虛擬相對牙齒之相對3D虛擬牙齒模型之間判定咬入設定。在一些實施例中，自動地判定3D虛擬牙齒模型上之咬入設定可見於Chelnokov等人之美國申請案第17/007,922號中，該申請案之全文特此以引用之方式併入。如描述於彼申請案中，在一些實施例中，自動地判定咬入設定可包括：接收第一及第二虛擬頜部模型，諸如具有一或多顆虛擬預備牙齒之3D虛擬牙齒模型及具有一或多顆對應虛擬相對牙齒之相對3D虛擬牙齒模型；判定第一及第二虛擬頜部模型之粗略咬入近似值；自粗略近似值判定第一及第二虛擬頜部模型之一或多個初始咬入位置；針對一或多個初始咬入位置中之各者判定第一及第二虛擬頜部模型之一或多個反覆咬入位置；判定各反覆咬入位置之分數；以及基於分數輸出咬入設定。在一些實施例中，判定咬入設定可在患者處於牙科辦公室中時執行。
在一些實施例中，自動化虛擬復原設計可包括自動地執行預備模具定位。自動地執行模具定位之一個實例可見於Azernikov等人之美國申請案第17/245,944號中，該申請案先前以引用之方式併入。如描述於彼申請案中，自動地執行模具定位可包括使用神經網路在咬合對準之3D點雲上判定虛擬預備體之3D中心。在一些實施例中，預備模具定位可在患者處於牙科辦公室中時執行。
在一些實施例中，可自動地判定數位預備模具之3D中心。舉例而言，在一些實施例中，可使用神經網路在咬合對準之3D點雲上判定數位預備體之3D中心。在一些實施例中，經訓練神經網路可提供數位預備限界框之中心的3D座標。在一些實施例中，神經網路可為可對3D點雲執行分段之任何神經網路。舉例而言，在一些實施例中，神經網路可為描述於本揭露內容中之PointNet++神經網路分段。在一些實施例中，數位預備模具可由圍繞數位預備體之3D中心的固定半徑球體判定。在一些實施例中，對於例如臼齒及前臼齒，固定半徑可為0.8 cm。舉例而言，在一些實施例中，可判定及使用固定半徑之其他合適值。在一些實施例中，訓練神經網路可包括使用以頜部之質量中心為中心的數位頜部之經取樣點雲(不擴增)。在一些實施例中，數位頜部點雲可以使得咬合方向豎直地定位之方式定向。在一些實施例中，電腦實施方法可藉由使用訓練資料集來訓練神經網路以判定3D數位牙齒模型中之數位預備部位/模具，該訓練資料集可包括患者齒列之點雲的3D數位模型，諸如可包括預備部位之數位頜部，其中預備部位之邊緣線內的一或多個點由使用者使用輸入裝置或此項技術中已知之任何技術進行標記。在一些實施例中，訓練集可為數萬個。在一些實施例中，在操作中，神經網路可利用分段以傳回含有選定點之限界框。舉例而言，在一些實施例中，所使用之分段可為PointNet++分段。
在一些實施例中，可基於頜部之平面深度圖影像自動地判定數位預備模具之3D中心。在訓練資料集中，模具中心之位置可判定為由技術員標記之邊緣的幾何中心。舉例而言，在一些實施例中，可使用來自完成病例之最終邊緣點。在一些實施例中，網路可自咬合視圖接收頜部之深度圖影像且以影像之像素座標傳回模具中心之位置(X,Y)。為了訓練，可使用含有深度圖影像及對應正確回答(浮點X及Y值)之資料集。在一些實施例中，訓練集可為數萬個。
在一些實施例中，可任擇地藉由使用者手動地設定數位預備模具之3D中心。在一些實施例中，可使用此項技術中已知之任何技術來設定數位預備模具之3D中心。
在一些實施例中，自動化虛擬復原設計可包括自動地判定頰方向。在一些實施例中，3D數位模型可包括頰方向。在一些實施例中，頰方向可由使用者手動地設定。在一些實施例中，可使用此項技術中已知之任何技術來判定頰方向。自動地判定頰方向之一個實例可見於美國申請案第17/245,944號中，該申請案先前以引用之方式併入。在一些實施例中，自動地判定頰方向可包括例如將3D虛擬模型網格之2D深度圖影像提供至經訓練2D卷積神經網路(「CNN」)，諸如GoogleNet Inception v3。在一些實施例中，經訓練2D CNN對影像表示進行操作。在一些實施例中，判定頰方向可在患者處於牙科辦公室中時執行。
在一些實施例中，經訓練2D CNN對影像表示進行操作。在一些實施例中，可藉由將3D數位模型網格之2D深度圖影像提供至經訓練2D CNN來判定頰方向。在一些實施例中，方法可任擇地包括自3D數位模型生成2D影像。在一些實施例中，2D影像可為2D深度圖。2D深度圖可包括2D影像，該影像在各像素中含有沿著穿過像素之線自正交攝影機至物件的距離。舉例而言，在一些實施例中，該物件可為例如數位頜部模型表面。在一些實施例中，輸入可包括例如物件，諸如患者齒列之3D數位模型(「數位模型」)，諸如頜部，及攝影機定向。在一些實施例中，可基於咬合方向而判定攝影機定向。咬合方向正交於咬合平面，且可使用此項技術中已知之任何技術來判定數位模型之咬合平面。替代地，在一些實施例中，咬合方向可藉由使用者使用諸如滑鼠或觸控螢幕之輸入裝置以操控顯示器上之數位模型來指定，例如，如本文中所描述。在一些實施例中，可例如使用描述於Nikolskiy等人之美國專利申請案第16/451,968號(美國專利公開案第US20200405464A1號)中的咬合軸線技術來判定咬合方向，該專利申請案之全文以引用之方式併入本文中。
使用此項技術中已知之任何技術，包括例如z緩衝器或射線追蹤，可生成2D深度圖。舉例而言，在一些實施例中，電腦實施方法可將各像素(j, k)之深度初始化為最大長度且將像素色彩初始化為例如背景色彩。電腦實施方法可針對至諸如3D數位模型之數位表面上的多邊形投影中之各像素而判定在對應於像素(j, k)之(x, y)處的多邊形之深度z。若z＜像素(j, k)之深度，則將像素之深度設定為深度z。「z」可指攝影機之視圖的中心軸線在攝影機z軸之方向上且未必指場景之絕對z軸的慣例。在一些實施例中，電腦實施方法亦可將像素色彩設定為除例如背景色彩以外的色彩。舉例而言，在一些實施例中，多邊形可為數位三角形。在一些實施例中，圖中之深度可為每像素之深度。圖7繪示一些實施例中之數位模型的2D深度圖之實例。
在一些實施例中，2D深度圖影像可包括2D深度圖之16個旋轉版本的馮·米塞斯(Von Mises)平均值。在一些實施例中，可在判定咬合方向以及數位預備模具之3D中心之後判定頰方向。在一些實施例中，2D深度圖影像可為圍繞數位預備模具之數位頜部之一部分的影像。在一些實施例中，回歸可用以判定頰方向。舉例而言，在一些實施例中，2D CNN可包括此項技術中已知之GoogleNet Inception v3。在一些實施例中，電腦實施方法可使用訓練資料集來訓練頰訓練之神經網路。舉例而言，在一些實施例中，訓練資料集可包括在3D點雲模型中標記的頰方向。在一些實施例中，訓練資料集可包括數萬至數十萬個影像。舉例而言，在一些實施例中，電腦實施方法藉由將各訓練影像轉換成如先前所揭露之2D深度圖及使用2D深度圖訓練2D CNN來預處理訓練資料集。
舉例而言，在一些實施例中，咬合方向、頰方向及/或預備模具區可提供3D虛擬模型之經正規化定向。舉例而言，咬合方向正交於咬合平面，虛擬預備模具可為圍繞虛擬預備牙齒之區，且頰方向可為朝向口腔中頰部之方向。圖8繪示患者齒列之至少一部分的3D虛擬模型600之實例，其可包括例如包括虛擬預備牙齒604之虛擬頜部602。3D虛擬模型600可包括咬合方向606、虛擬預備模具區608及頰方向610。
在一些實施例中，自動化虛擬復原設計可包括自動地判定虛擬預備牙齒之可調整邊緣線。自動地判定虛擬預備牙齒之可調整邊緣線的一個實例可見於Azernikov等人之美國申請案第17/245,944號中，該申請案之全文特此以引用之方式併入。
在一些實施例中，電腦實施方法可藉由接收具有數位預備部位之3D數位模型來判定邊緣線提議，且使用內部表示訓練之神經網路來判定3D數位模型之內部表示。
電腦實施方法之一些實施例可包括使用內部表示訓練之神經網路來判定3D數位模型之內部表示。在一些實施例中，內部表示訓練之神經網路可包括編碼器神經網路。在一些實施例中，內部表示訓練之神經網路可包括用於3D點雲分析之神經網路。在一些實施例中，內部表示訓練之神經網路可包括經訓練的階層式神經網路(「HNN」)。在一些實施例中，HNN可包括PointNet++神經網路。在一些實施例中，HNN可為對幾何結構進行操作之任何訊息傳遞神經網路。在一些實施例中，幾何結構可包括圖形、網格及/或點雲。
在一些實施例中，電腦實施方法可使用諸如PointNet++之HNN用於編碼。PointNet++描述於Charles R. Qi、Li Yi、Hao Su、Leonidas J. Guibas之「PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space」(斯坦福大學，2017年6月)中，其全文特此以引用之方式併入。階層式神經網路可例如以階層方式處理量度空間中之經取樣點集。在一些實施例中，可藉由判定由量度引起之局部結構來實施HNN，諸如PointNet++或其他HNN。在一些實施例中，可藉由首先基於距離量度將點集分割成二個或多於二個重疊局部區來實施HNN，諸如PointNet++或其他HNN。距離量度可基於底層空間。在一些實施例中，可提取局部特徵。舉例而言，在一些實施例中，可判定來自小局部鄰域之粒狀幾何結構。在一些實施例中，小局部鄰域特徵可分組成較大單元。在一些實施例中，可處理較大單元以提供較高層級特徵。在一些實施例中，重複方法直至獲得整個點集之所有特徵。不同於以固定步幅掃描空間之體積CNN，諸如PointNet++或其他HNN之HNN中的局部接受域取決於輸入資料及量度二者。又，相比於掃描對資料分佈不可知之向量空間的CNN，諸如PointNet++或其他HNN之HNN中的取樣策略以資料相依方式生成接受域。
在一些實施例中，諸如PointNet++或其他HNN之HNN可例如判定如何分割點集以及利用局部特徵學習器抽象化點或局部特徵之集合。舉例而言，在一些實施例中，局部特徵學習器可為PointNet或此項技術中已知之任何其他合適的特徵學習器。舉例而言，在一些實施例中，局部特徵學習器可處理無序之點集以執行語義特徵提取。局部特徵學習器可將局部點/特徵之一或多個集合抽象化成較高層級表示。在一些實施例中，HNN可遞迴地應用局部特徵學習器。舉例而言，在一些實施例中，PointNet++可對輸入集之巢套部分遞迴地應用PointNet。
在一些實施例中，HNN可藉由將各分割區界定為歐幾里德空間中之鄰域球來界定重疊之點集分割區，該鄰域球具有可包括例如質心區位及尺度之參數。舉例而言，可藉由此項技術中已知之最遠點取樣自輸入集選擇質心。使用HNN之一個優點可包括例如效率及有效性，此係因為局部接受域可取決於輸入資料及量度。在一些實施例中，HNN可利用多個尺度之領域。此可例如允許穩健性及細節捕獲。
在一些實施例中，HNN可包括階層式點集特徵學習。舉例而言，在一些實施例中，HNN可建置點之階層式分組且沿著階層抽象化愈來愈大的局部區。在一些實施例中，HNN可包括數個設定抽象層級。在一些實施例中，在各層級處處理且抽象化點集以產生具有較少元素之新集合。在一些實施例中，設定抽象層級在一些實施例中可包括三層：取樣層、分組層及局部特徵學習器層。舉例而言，在一些實施例中，局部特徵學習器層可為PointNet。舉例而言，在一些實施例中，設定抽象層級可獲取矩陣 N×( d+ C)之輸入，該矩陣來自具有 d-dim座標及 C-dim點特徵之 N個點，且輸出 N '個子取樣點之 N '×( d+ C ')矩陣，該等子取樣點具有可彙總局部上下文之 d-dim座標及新的 C '-dim特徵向量。
在一些實施例中，取樣層可選擇或對來自輸入點之點集進行取樣。舉例而言，在一些實施例中，HNN可將此等選定/經取樣點定義為局部區之質心。舉例而言，在一些實施例中，對於取樣層之輸入點{ x 1, x 2, …, x n }，迭代最遠點取樣(FPS)可用以選擇點之子集{ , , …, }，使得 x ij 為相對於其餘點在度量距離上距集合{ , , …, }最遠的點。對比隨機取樣，給定相同質心數，此可有利地提供例如對整個點集之更好覆蓋。對比獨立於資料分佈掃描向量空間之卷積神經網路(CNN)，此亦可有利地以資料相依方式生成例如接受域。
舉例而言，在一些實施例中，分組層可藉由判定圍繞各質心之相鄰點來判定一或多個局部區集合。在一些實施例中，此層之輸入可係大小為 N×( d+ C)之點集及具有大小 N '× d之質心的座標。在一些實施例中，分組層之輸出可包括例如具有大小 N '× K×( d +C)之點集之群組。舉例而言，在一些實施例中，各群組可對應於局部區，且 K可為質心點之鄰域內的點數。在一些實施例中， K可在各群組間變化。然而，例如，下一層(PointNet層)可將靈活數目個點轉換成固定長度局部區特徵向量。舉例而言，在一些實施例中，鄰域可由量度距離界定。舉例而言，在一些實施例中，球查詢可判定查詢點半徑內之所有點。可設定 K之上限。在替代實施例中，可使用 K最近鄰者(kNN)搜尋。kNN可判定固定數目個相鄰點。然而，例如，在一些實施例中，球查詢之局部鄰域可保證固定區尺度，因此使一或多個局部區特徵在空間上更可一般化。舉例而言，在一些實施例中，此對於語義點標示或需要局部圖案辨識之其他任務可為較佳的。
在一些實施例中，局部特徵學習器層可將局部區圖案編碼成特徵向量。舉例而言，給定 X =(M , d )為量度係自歐幾里德空間 X n繼承之離散量度空間，其中M R n為點集且d為距離量度，局部特徵學習器層可判定函數 f，該等函數獲取 X作為輸入且輸出關於 X之語義上感興趣的資訊。函數 f可為將標籤指派給 X之分類函數或將每點標籤指派給 M之各成員的分段函數。
一些實施例可使用PointNet作為局部特徵學習器層，給定無序點集{ x 1 , x 2 , … , x n }，其中 x i ϵ R d，該學習器層可定義集合函數f: X à R，其將點集映射至向量，諸如：
f( x 1,x 2,…,x n) = γ( { h(x i) })。
在一些實施例中，γ及 h可為例如多層感知器(MLP)網路或此項技術中已知之其他合適替代例。舉例而言，在一些實施例中，函數 f對輸入點排列可不變且可接近任何連續集合函數。在一些實施例中， h之回應可解譯為點之空間編碼。PointNet描述於R. Q. Charles、H. Su、M. Kaichun及L. J. Guibas之「PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation」(2017年IEEE電腦視覺及圖案辨識(CVPR)會議，2017年，第77至85頁)中，其全文特此以引用之方式併入。
在一些實施例中，局部特徵學習器層可接收 N '個局部點區。舉例而言，資料大小可為 N '× K×( d+ C)。在一些實施例中，各局部區藉由其質心及例如在輸出中編碼質心鄰域之局部特徵來抽象化。舉例而言，在一些實施例中，輸出資料大小可為 N '×( d+ C)。在一些實施例中，局部區中之點的座標可轉譯成相對於質心點之局部圖框： ，其中 i=1、2、...... K且 j=1、2、......、 d，其中 為質心座標。舉例而言，在一些實施例中，使用具有點特徵之相對座標可捕獲局部區中之點對點關係。在一些實施例中，PointNet可用於局部圖案學習。
舉例而言，在一些實施例中，局部特徵學習器可經由密度自適應層解決輸入點集中之不均勻密度。當輸入取樣密度改變時，密度自適應層可學習以組合不同尺度區之特徵。舉例而言，在一些實施例中，密度自適應階層式網路為PointNet++網路。舉例而言，在一些實施例中，密度自適應層可包括多尺度分組(「MSG」)或多解析度分組(「MRG」)。
在一些實施例中，在MSG中，可藉由應用具有不同尺度之分組層繼之以提取各尺度之特徵來捕獲多尺度圖案。舉例而言，在一些實施例中，可藉由利用PointNet來執行各尺度之特徵的提取。舉例而言，在一些實施例中，可將不同尺度之特徵串連以提供多尺度特徵。在一些實施例中，HNN可藉由訓練來學習最佳化的多尺度特徵組合。舉例而言，可使用隨機輸入丟棄，其中隨機輸入點為以隨機機率丟棄的輸入點。作為實例，在一些實施例中，例如可使用自[0, p]均勻地取樣之 Ɵ的丟棄比率，其中 p小於或等於1。作為實例，在一些狀況下，可將 p設定為0.95，使得不會生成空點集。舉例而言，在一些實施例中，可使用其他合適值。
舉例而言，在一些實施例中，在MRG中，在層級 L i 處之一個區的特徵例如可為二個向量之串連，其中第一向量係藉由自較低層級 L i-1 彙總各子區處之特徵來獲得。此可使用設定抽象層級來實現。在一些實施例中，第二向量可為藉由使用例如單個PointNet直接處理局部區原始點而獲得的特徵。在局部區密度低之狀況下，第二向量可在一些實施例中被更多地加權，此係因為第一向量含有更少點且包括取樣缺陷。在局部區密度高之狀況下，例如，第一向量可在一些實施例中被更多地加權，此係因為第一向量可能會由於在較低層級處以較高解析度遞迴地進行檢測而提供更精細的細節。
在一些實施例中，可傳播點特徵以用於集合分段。舉例而言，在一些實施例中，可使用階層式傳播策略。在一些實施例中，特徵傳播可包括將點特徵自 N l ×( d+ C)個點傳播至 N l-1 個點，其中 N l-1 及 N l ( N l 小於或等於 N l-1 )為設定抽象層級 l之輸入及輸出的點集大小。在一些實施例中，可經由在 N l-1 個點之座標處內插 N l 個點之特徵值 f來達成特徵傳播。在一些實施例中，可例如使用基於 k個最近相鄰者之反距離加權平均值(在以下等式中， p=2， k=3；可使用其他合適值)。舉例而言，在一些實施例中， N l-1 上之經內插特徵可與來自設定抽象層級之跳躍連結點特徵串連。舉例而言，在一些實施例中，串連特徵可通過單元PointNet，其可類似於卷積神經網路中之1×1卷積。舉例而言，在一些實施例中，可應用共用的完全連接及ReLU層以更新各點之特徵向量。在一些實施例中，方法可重複直至判定傳播至初始點集之特徵。
f (j) ( x)= ，其中 ， j=1, …,C 。
在一些實施例中，電腦實施方法可實施所揭露或此項技術中已知的一或多個神經網路。僅提供相對於一或多個神經網路之任何特定結構及值以及如本文中所揭露之任何其他特徵作為實例，且可使用任何合適的變體或等效物。在一些實施例中，作為實例，可基於Pytorch幾何封裝實施一或多個神經網路模型。
圖9(a)及圖9(b)繪示一些實施例中之HNN的實例。HNN可包括階層式點集特徵學習器702，該學習器之輸出可用以執行分段704及/或分類706。階層式點集特徵學習器702實例使用2D歐幾里德空間中之點作為實例，但可在三個維度上對輸入3D影像進行操作。舉例而言，如圖9(a)之實例中所繪示，HNN可接收具有( N, d+ C)之輸入影像708，且執行第一取樣及分組操作710以生成具有( N 1, K, d + C)之第一經取樣及分組的影像712。HNN可接著在714處將第一經取樣及分組的影像712提供至PointNet，以提供具有( N 1, d + C 1 )之第一抽象影像716。第一抽象影像716可經歷取樣及分組718以提供具有( N 2, K, d + C 1 )之第二經取樣及分組的影像720。可將第二樣本及分組的影像720提供至PointNet神經網路722，以輸出具有( N 2, d + C2)之第二抽象影像724。
在一些實施例中，第二抽象影像724可藉由HNN分段704進行分段。在一些實施例中，HNN分段704可獲取第二抽象影像724且執行第一內插730，該第一內插之輸出可與第一抽象影像716串連以提供具有( N 1, d + C 2 + C 1 )之第一內插影像732。可在734處將第一內插影像732提供至單元PointNet以提供具有( N 1, d + C 3 )之第一區段影像736。可在738處對第一區段影像736進行內插，其輸出可與輸入影像708串連以提供具有( N 1, d + C 3 +C)之第二內插影像740。可將第二內插影像740提供至單元PointNet 742以提供具有( N, k)之分段影像744。舉例而言，分段影像744可提供每點分數。
在一些實施例中，如圖9(b)之實例中所繪示，第二抽象影像724可藉由HNN分類706進行分類。在一些實施例中，HNN分類可獲取第二抽象影像724且將其提供至PointNet網路760，其輸出762可被提供至一或多個完全連接層，諸如連接層764，其輸出可提供類別分數766。
電腦實施方法之一些實施例可包括使用移位值訓練之神經網路自3D數位模型之基本邊緣線及內部表示判定邊緣線提議。
在一些實施例中，可每網路類型預先計算基本邊緣線一次。在一些實施例中，網路類型可包括臼齒及前臼齒。舉例而言，在一些實施例中，可使用其他合適網路類型。在一些實施例中，網路類型可包括其他類型。在一些實施例中，同一基本邊緣線可用作各次掃描之初始邊緣線。在一些實施例中，基本邊緣線為3維的。在一些實施例中，可基於來自用以訓練內部表示訓練之神經網路及移位值訓練之神經網路的訓練資料集之邊緣線判定基本邊緣線。在一些實施例中，基本邊緣線可為訓練資料集邊緣線之預先計算之均值或平均值。在一些實施例中，可使用任何類型之均值或平均值。
在一些實施例中，邊緣線提議可為自由形式邊緣線提議。在一些實施例中，移位值訓練之神經網路可包括解碼器神經網路。在一些實施例中，解碼器神經網路可將內部表示與特定點座標串連以實施引導解碼。在一些實施例中，引導解碼可生成閉合表面，如描述於T. Groueix、M. Fisher、V. G. Kim、B. C. Russell及M. Aubry之「A Papier-Mache Approach to Learning 3D Surface Generation」(2018年IEEE/CVF電腦視覺及圖案辨識會議，2018年，第216至224頁)中，其全文特此以引用之方式併入。
在一些實施例中，解碼器神經網路可包括深度神經網路(「DNN」)。現參看圖10，其為展示根據本揭露內容之一些實施例的深度神經網路(DNN) 800之結構的高階方塊圖。DNN 800包括多個層N i、N h,1、N h,l-1、N h,1、N o等。第一層N i為輸入層，其中可攝取一或多個齒列掃描資料集。最後層N o為輸出層。用於本揭露內容中之深度神經網路可輸出機率及/或完整的3D邊緣線提議。舉例而言，輸出可為機率向量，其包括屬於某些類別之牙齒模型的各特徵或態樣之一或多個機率值。另外，輸出可為邊緣線提議。
各層N可包括連接至下一層N+1中之各節點的多個節點。舉例而言，層N h,1-1中之各計算節點連接至層N h,1中之各計算節點。輸入層N i與輸出層N o之間的層N h,1、N h,1-1、N h,1為隱藏層。在圖10中表示為「h」之隱藏層中的節點可為隱藏變數。在一些實施例中，DNN 800可包括多個隱藏層，例如24個、30個、50個等。
在一些實施例中，DNN 800可為深度前饋網路。DNN 800亦可為卷積神經網路，其為在深度神經網路之隱藏層中之至少一者中代替一般矩陣乘法使用卷積的網路。DNN 800亦可為生成神經網路或生成對抗網路。在一些實施例中，訓練可使用具有標籤之訓練資料集以監督深度神經網路之學習方法。標籤用以將特徵映射至機率向量之機率值。替代地，訓練可使用未結構化且未經標記之訓練資料集來以無監督方式訓練未必需要標示之訓練資料集的生成深度神經網路。
在一些實施例中，DNN可為多層感知器(「MLP」)。在一些實施例中，MLP可包括4個層。在一些實施例中，MLP可包括完全連接之MLP。在一些實施例中，MLP利用BatchNorm正規化。
圖11展示一些實施例中作為實例之自動邊緣線提議的電腦實施方法之圖。舉例而言，在一些實施例中，在開始任何3D數位模型之邊緣線提議之前，電腦實施方法可在三個維度上預先計算(901)基本邊緣線903，其中基本邊緣線903之各點具有3D座標，諸如座標905。電腦實施方法可接收頜部之至少一部分的3D數位模型902。在一些實施例中，3D數位模型可呈3D點雲之形式。舉例而言，3D數位模型可包括預備牙齒904。電腦實施方法可使用內部表示訓練之神經網路906來判定3D數位模型之內部表示908。舉例而言，在一些實施例中，內部表示訓練之神經網路906可為對3D數位模型(在一些實施例中，諸如HNN)執行分組及取樣907以及其他操作的神經網路。在一些實施例中，電腦實施方法可使用移位值訓練之神經網路910自3D數位模型之基本邊緣線903及內部表示908判定邊緣線提議。在一些實施例中，移位值訓練之神經網路可提供例如用於基本邊緣線903之數位表面點的一或多個三維移位值912。
在一些實施例中，移位值訓練之神經網路可自基本邊緣線判定三維之邊緣線移位值。在一些實施例中，移位值訓練之神經網路使用BilateralChamferDistance作為損失函數。在一些實施例中，電腦實施方法可將基本邊緣線之一個或點移動移位值以提供邊緣線提議。圖12展示調整3D數位模型1000之基本邊緣線1002的一些實施例中之實例的繪示。在該實例中，一或多個基本邊緣線點，諸如基本邊緣線點1004，可移位移位值及方向1006。舉例而言，其他基本邊緣線點可類似地根據其對應移位值及方向進行調整以形成邊緣線提議1008。
圖13(a)繪示用於3D數位模型1105之數位預備牙齒1102的所提議數位邊緣線1104之一個實例。如圖中可見，甚至在邊緣線部分或完全由牙齦、血液、唾液或其他元素覆蓋之狀況下，亦可產生邊緣線提議。圖13(b)繪示用於3D數位牙齒模型1110之數位預備牙齒1108的所提議數位邊緣線1106之另一實例。在一些實施例中，所提議邊緣線顯示於3D數位模型上，且可藉由諸如牙科技術員或醫生之使用者使用輸入裝置來操控以對邊緣線提議進行調整。
在一些實施例中，可使用同一訓練資料集來訓練內部表示訓練之神經網路及移位值訓練之神經網路。在一些實施例中，訓練資料集可包括一或多個訓練樣本。在一些實施例中，訓練資料集可包括70,000個訓練樣本。在一些實施例中，一或多個訓練樣本各自可包括咬合方向、預備模具中心及頰方向作為各樣本之正規化定位及定向。在一些實施例中，可手動地設定咬合方向、預備模具中心及頰方向。在一些實施例中，訓練資料集可包括頜部之未修整數位表面及對應修整數位表面之表面上的目標邊緣線。在一些實施例中，目標邊緣線可藉由技術員來預備。在一些實施例中，訓練可使用回歸。在一些實施例中，訓練可包括使用損失函數來比較邊緣線提議與目標邊緣線。在一些實施例中，損失函數可為Chamfer損失函數。在一些實施例中，Chamfer損失函數可包括：
在一些實施例中，訓練可在計算系統上執行，可包括至少一個圖形處理單元(「GPU」)。舉例而言，在一些實施例中，GPU可包括二個2080-Ti納斯達(Nvidia) GPU。可使用其他合適的GPU類型、數目及等效物。
在一些實施例中，可自動地執行電腦實施方法。一些實施例可進一步包括在3D數位模型上顯示自由形式邊緣線。在一些實施例中，自由形式邊緣線可藉由使用者使用輸入裝置來調整。
在一些實施例中，可向牙醫或其他使用者顯示可調整邊緣線以用於初始調整。在一些實施例中，調整可包括基於牙醫或其他使用者之輸入移動邊緣線之一或多個部分。在一些實施例中，調整可包括捨棄可調整邊緣線及允許牙醫手動地提供邊緣線。在一些實施例中，電腦實施方法可顯示患者齒列之3D虛擬牙齒模型之至少一部分及自動判定之邊緣線提議，且允許牙醫或其他使用者修改所判定之邊緣線。圖14在GUI 774中繪示用於3D虛擬牙齒模型776中之虛擬預備牙齒775的所判定之邊緣線提議772的實例。在一些實施例中，判定可調整邊緣線發生在生成3D虛擬牙齒復原體之前。因此，在對邊緣線進行初始調整期間，未呈現3D虛擬牙齒復原體，使得所提議(所判定)之邊緣線可見。在一些實施例中，GUI 774可提供虛擬控點778以允許使用者調整自動判定之邊緣線。此可有利地允許例如校正自動判定之邊緣線。在一些實施例中，自動地判定邊緣線可在患者處於牙科辦公室中時執行。
在一些實施例中，自動化虛擬復原設計可包括基於可調整邊緣線判定將復原體插入至預備牙齒上之方向。基於可調整邊緣線自動地判定插入方向之實例可見於Leeson等人之美國申請案第16/918,586號中，該申請案之全文特此以引用之方式併入。在一些實施例中，判定插入方向可在患者處於牙科辦公室中時執行。
在一些實施例中，自動化虛擬復原設計可包括基於黏合劑空間判定虛擬復原體之內表面。自動地判定虛擬復原體之內表面以考慮3D虛擬牙齒模型上之黏合劑空間的一或多個實例可見於Leeson等人之美國申請案第16/918,586號中，該申請案之全文特此以引用之方式併入。在一些實施例中，基於黏合劑空間判定虛擬復原體之內表面可在患者處於牙科辦公室中時執行。在一些實施例中，黏合劑空間可包括實體預備牙齒與實體復原體之間的空間。在一些實施例中，黏合劑空間可包括判定虛擬復原體之內表面。在一些實施例中，內表面可包括自虛擬復原體之外表面的偏移，該偏移包含黏合劑間隙。在一些實施例中，考慮黏合劑空間可包括圍繞虛擬邊緣且沿著虛擬復原體之一或多個水平及豎直表面提供黏合劑空間。在一些實施例中，自動化虛擬復原設計可包括對銑削工具之工具半徑補償。在一些實施例中，基於黏合劑空間判定虛擬復原體之內表面可在患者處於牙科辦公室中時執行。
在一些實施例中，自動化虛擬復原設計可包括基於可調整邊緣線自動地生成3D虛擬復原體。自動地生成3D虛擬復原體之實例可見於Azernikov等人之美國專利第US11291532B2號及Azernikov等人之美國專利第US11007040B2號中，該等專利之全文特此以引用之方式併入。在一些實施例中，自動地生成3D虛擬復原體可在患者處於牙科辦公室中時執行。在一些實施例中，3D虛擬復原體可包括虛擬牙冠。在一些實施例中，3D虛擬復原體可包括虛擬牙橋。
一些實施例可包括使用經訓練深度神經網路基於虛擬3D牙齒模型生成虛擬3D假牙模型。一些實施例可包括使用經訓練之生成深度神經網路成在3D數位牙齒模型中自動地生3D數位假牙模型(虛擬3D假牙模型)。使用深度神經網路生成假牙之一個實例描述於美國專利申請案第15/925,078號(現為美國專利第11,007,040號)中，該申請案之全文特此以引用之方式併入。使用深度神經網路生成假牙之另一實例描述於美國專利申請案第15/660,073號中，該申請案之全文特此以引用之方式併入。
本文中描述用於使用深度神經網路生成假牙之3D模型的方法及電腦實施系統之例示性實施例。方法之某些實施例可包括：藉由一或多個計算裝置使用訓練資料集來訓練深度神經網路以生成第一3D假牙模型；藉由一或多個計算裝置接收表示患者齒列之至少一部分的患者掃描資料；以及使用經訓練深度神經網路基於接收到之患者掃描資料生成第一3D假牙模型。
訓練資料集可包括具有預備部位資料之齒列掃描資料集及假牙資料集。牙齦線上之預備部位可由牙齦上之預備邊緣或邊緣線界定。假牙資料集可包括與齒列掃描資料集中之各預備部位相關聯的掃描假體資料。
掃描假體可為基於庫牙齒模板創建之真實患者牙冠的掃描，該庫牙齒模板可具有32個或多於32個牙齒模板。具有預備部位資料之齒列掃描資料集可包括來自患者掃描齒列之真實預備部位的掃描資料。
在一些實施例中，訓練資料集可包括具有以數字方式製造之預備部位資料的自然齒列掃描資料集及自然假牙資料集，該自然假牙資料集可包括與齒列掃描資料集中之各以數位方式製造之預備部位相關聯的分段牙齒資料。自然齒列掃描資料集可具有二個主要分量。第一分量為包括患者自然牙齒之掃描齒列資料的資料集。第一分量中之資料包括呈自然及未修改數位狀態之所有患者牙齒。自然齒列掃描資料之第二分量為缺失牙齒資料集，其中自掃描資料移除了一或多個牙齒。代替缺失牙齒，深度神經網路製造之預備部位可置放於經移除牙齒之部位處。此方法生成二個齒列資料集：患者自然牙齒之完整且未修改的齒列掃描資料；以及缺失牙齒資料集(自然假牙資料集)，其中自齒列掃描資料以數位方式移除了一或多個牙齒。
在一些實施例中，方法進一步包括生成全牙弓數位模型以及對全牙弓中之各牙齒進行分段以生成自然牙冠資料供用作訓練資料。該方法亦可包括：使用具有以數位方式製造之預備部位資料的自然齒列掃描資料集及自然假牙資料集來訓練另一深度神經網路以生成第二3D假牙模型；使用另一深度神經網路基於接收到之患者掃描資料生成第二3D假牙模型；以及將第一及第二3D假牙模型之特徵混合在一起以生成混合的3D假牙模型。
圖15繪示使用深度神經網路(DNN)之假牙生成方法1200。方法1200開始於1205，其中將齒列掃描資料集接收或攝取至資料庫中。齒列掃描資料集可包括真實患者齒列之一或多個掃描資料集，其具有牙齒預備部位及針對彼等預備部位創建之技術員生成(非DNN生成)的假牙。牙齒預備部位(亦被稱作牙齒預備體或預備牙齒)為一顆牙齒、多顆牙齒或已預備接納假牙之牙齒上的區域(例如，牙冠、牙橋、嵌體等)。技術員或非DNN生成的假牙為主要由技術員設計之假牙。另外，可基於具有多個牙齒復原模板之牙齒模板庫來設計技術員生成的假牙。成人口腔中之每顆牙齒皆可在牙齒模板庫中具有一或多個牙齒復原模板。
在一些實施例中，具有牙齒預備部位之接收到之齒列掃描資料集可包括具有一或多個牙齒預備部位之真實患者齒列的掃描資料。預備部位可由預備邊緣界定。接收到之齒列掃描資料集亦可包括一旦假牙安裝於其對應牙齒預備部位上後的假牙掃描資料。此資料集可被稱作假牙資料集。在一些實施例中，假牙資料集可包括在假牙安裝之前技術員生成的假體之掃描資料。
在一些實施例中，接收到之各齒列掃描資料集可任擇地在使用資料集作為深度神經網路之輸入之前進行預處理。齒列掃描資料通常為表示患者齒列之一或多個部分的3D數位影像或檔案。患者齒列之3D數位影像(3D掃描資料)可藉由口內掃描患者口腔來獲取。替代地，可掃描患者牙齒之印模或實體模型以生成患者齒列之3D掃描資料。在一些實施例中，可使用例如2D深度圖及/或快照將3D掃描資料變換成2D資料格式。
在1210處，可在安裝之後及/或在安裝之前使用具有真實牙齒預備部位及其對應的技術員生成假牙之掃描資料的齒列掃描資料集來訓練(例如，藉由電腦實施方法或另一方法)深度神經網路。真實牙齒預備部位及其對應技術員生成假牙之資料集的上述組合可在本文中被稱作技術員生成的齒列掃描資料集。在一些實施例中，可僅使用技術員生成的齒列掃描資料集來訓練深度神經網路。換言之，訓練資料僅含有基於一或多個牙齒復原庫模板創建之技術員生成假牙。
牙齒復原庫之牙齒模板可被視為最佳復原模型，此係因為其經設計成具有用於特定牙齒(例如，第3牙齒)之特定特徵。一般而言，在典型的成人口腔中存在32顆牙齒。因此，牙齒復原庫可具有至少32個模板。在一些實施例中，各牙齒模板可具有可特定於32顆牙齒中之一者的一或多個特定特徵(例如，側壁大小及形狀、頰及舌尖、咬合表面以及頰及舌弧等)。舉例而言，復原庫中之各牙齒經設計以包括將最好地適配相鄰牙齒、周圍牙齦以及牙弓形式內之牙齒區位及位置的特徵、標誌及方向。以此方式，可訓練深度神經網路以辨識對於某顆牙齒可為突出之某些特徵(例如，側壁大小及形狀、牙尖、牙溝、牙坑等)及其關係(例如，牙尖之間的距離)。
在一些實施例中，電腦實施方法或任何其他方法可訓練深度神經網路以基於輸出機率向量而辨識訓練資料集中存在或識別之一或多個齒列類別。舉例而言，假定訓練資料集含有大量表示患者上頜之深度圖及/或表示患者下頜之深度圖。電腦實施方法或另一方法可使用訓練資料集來訓練深度神經網路以辨識牙弓形式之各個別牙齒。類似地，可訓練深度神經網路以將下頜之深度圖映射至包括屬於上頜及下頜之深度圖之機率的機率向量，其中屬於下頜之深度圖的機率在向量中最高或實質上高於屬於上頜之深度圖的機率。
在一些實施例中，電腦實施方法或另一方法可使用具有真實牙齒預備部位及對應技術員生成假牙之一或多個掃描資料集的齒列掃描資料集來訓練深度神經網路，以生成完整的3D牙齒復原模型。以此方式，DNN生成之3D牙齒復原模型固有地併有牙齒復原庫之一或多個牙齒模板的一或多個特徵，該牙齒復原庫可為資料庫150之部分。
電腦實施方法或另一方法可訓練深度神經網路，諸如圖10、圖16、圖14(a)中所論述之網路，或其他神經網路，以僅使用技術員設計的齒列掃描資料集來生成牙齒復原體之3D模型。以此方式，DNN生成的3D假牙將固有地包括由人類技術員使用庫模板設計之假牙的一或多個特徵。在一些實施例中，電腦實施方法或另一方法可訓練深度神經網路以輸出機率向量，該機率向量包括技術員生成假牙之咬合表面表示預備部位或邊緣處之缺失牙齒之咬合表面的機率。另外，電腦實施方法或另一方法可訓練深度神經網路以藉由將具有最高機率之咬合表面及來自掃描齒列資料之邊緣線資料映射至預備部位來生成完整的3D牙齒復原模型。另外，電腦實施方法或另一方法可訓練深度神經網路以藉由將技術員生成假牙之側壁資料映射至機率向量來生成3D牙齒復原模型之側壁，該機率向量包括側壁中之彼者與來自預備部位之咬合表面及邊緣線資料匹配的機率。
再次參看圖15，為生成用於新患者之假牙的新3D模型，在1215處接收及攝取新患者之齒列掃描資料(例如，掃描牙齒印模、實體模型或口內掃描)。在一些實施例中，可預先處理新患者之齒列掃描資料以將3D影像資料變換成2D影像資料，此可使得齒列掃描資料更易於由某些神經網路演算法攝取。在1220處，使用先前訓練之深度神經網路，識別新患者之齒列掃描資料中的一或多個牙齒特徵。舉例而言，所識別特徵可為預備部位、對應邊緣線、鄰近牙齒及對應特徵以及周圍牙齦。
在1225處，使用經訓練深度神經網路，可基於在1220處識別之特徵生成完整的3D牙齒復原模型。在一些實施例中，經訓練深度神經網路之任務可為藉由以下操作生成完整的3D牙齒復原模型：生成用於預備部位之假牙的咬合部分；自如先前所描述之所生成邊緣提議或自患者之齒列掃描資料獲得邊緣線資料；任擇地最佳化邊緣線；以及在所生成咬合部分與邊緣線之間生成側壁。生成咬合部分可包括生成具有以下各者中之一或多者的咬合表面：近頰尖、頰溝、遠頰尖、遠心尖、遠頰溝、遠心坑、舌溝、近舌尖等。
在一些實施例中，經訓練深度神經網路可自如先前所描述之所生成邊緣提議或自患者之齒列掃描資料獲得邊緣線資料。在一些實施例中，經訓練深度神經網路可任擇地藉由將所獲得邊緣線與具有類似鄰近牙齒、周圍牙齦等之數千個其他類似邊緣線(例如，同一牙齒預備部位之邊緣線)進行比較及映射來修改所獲得邊緣線之輪廓。
為生成完整3D模型，經訓練深度神經網路可生成側壁以適配於所生成咬合表面與邊緣線之間。此可藉由將技術員生成假牙之數千個側壁映射至所生成咬合部分及邊緣線來實現。在一些實施例中，可選擇具有最高機率值(在機率向量中)之側壁作為基本模型，其中將生成咬合表面與邊緣線之間的最終側壁。
圖16繪示根據本揭露內容之一些實施例的經訓練深度神經網路1300 (例如，GAN)之例示性輸入及輸出。如所展示，輸入資料集1305可為具有預備部位1310之新患者齒列掃描。使用經訓練之一或多個深度神經網路1300，牙齒復原伺服器可生成牙齒復原體1315之(DNN生成)3D模型。DNN生成假牙1315包括咬合部分1320、邊緣線部分1325及側壁部分1330。在一些實施例中，深度神經網路可藉由分析基於一或多個庫模板生成之數千個技術員生成假牙及將其映射至預備部位1310來生成用於假體1315之側壁。最終，可選擇具有最高機率值之側壁作為模型以生成側壁1330。
圖17(a)為繪示根據本揭露內容之一些實施例的可用以識別及模型化牙齒解剖特徵及復原體之生成對抗網路(GAN網路)的結構之高階方塊圖。在高層級上，GAN網路使用二個彼此獨立的神經網路以生成在與真實模型進行比較時實質上無法區分的輸出模型。換言之，GAN網路使用極小極大最佳化問題以獲得二個競爭神經網路之間的收斂性。GAN網路包括生成器神經網路1410及鑑別器神經網路1420。在一些實施例中，神經網路1410及鑑別器神經網路1420二者均為經結構化以執行未結構化及無監督學習之深度神經網路。在GAN網路中，同時訓練生成器網路1410及鑑別器網路(鑑別深度神經網路) 1420二者。訓練生成器網路1410以自資料輸入1405生成樣本1415。訓練鑑別器網路1420以提供樣本1415屬於訓練資料樣本1430 (其來自真實樣本、真實資料1425)而非輸入1405之資料樣本中之一者的機率。遞迴地訓練生成器網路1410以最大化鑑別器網路1420未能區分開(在1435處)訓練資料集與由生成器1410生成之輸出樣本的機率。
在每次反覆時，鑑別器網路1420可輸出損失函數1440，該損失函數用以量化所生成樣本1415為真實自然影像抑或由生成器1410生成之影像。損失函數1440可用以提供生成器1410所需的回饋以改良在後續循環中產生的各後續樣本。在一些實施例中，回應於損失函數，生成器1410可改變權重及/或偏差變數中之一或多者且生成另一輸出。
在一些實施例中，電腦實施方法或另一方法可同時訓練二個對抗網路：生成器1410及鑑別器1420。電腦實施方法或另一方法可使用患者之齒列掃描資料集中之一或多者來訓練生成器1410，以生成一或多個牙齒特徵及/或復原體之樣本模型。舉例而言，患者之齒列掃描資料可為包括預備牙齒/部位及其相鄰牙齒之下頜的3D掃描資料。同時，電腦實施方法或另一方法可訓練鑑別器1420以將預備牙齒之牙冠的所生成3D模型(由生成器1410生成)與來自真實資料集(具有牙冠影像之多個掃描資料集的集合)之牙冠的樣本進行區分。在一些實施例中，GAN網路經設計以用於無監督學習，因此輸入1405及真實資料1425 (例如，齒列訓練資料集)可未經標示。
圖17(b)為根據本揭露內容之一些實施例的用於生成牙齒復原體之3D模型的方法1450之流程圖。方法1450可藉由電腦實施方法或牙齒復原伺服器或在雲端計算環境中之一或多個其他電腦上的另一方法執行。方法1450之指令、方法及演算法可儲存於計算裝置之記憶體中且在由處理器執行時，其使得計算裝置能夠執行用於生成3D假牙之一或多個深度神經網路的訓練。描述於方法1450中之方法及程序中之一些或全部可由牙齒復原伺服器內或另一遠端計算裝置內之一或多個其他實體或方法執行。此外，可並行地、以不同次序或甚至省略方法1450之一或多個塊(方法)。
在1455處，電腦實施方法或另一方法可使用未標示的齒列資料集訓練生成深度神經網路(例如，GAN生成器1410)，以生成諸如牙冠之假牙的3D模型。在一些實施例中，可使用但未必使用經標示及分類的齒列資料集。生成深度神經網路可藉由電腦實施方法或另一方法實施或在分離且獨立的神經網路中、牙齒復原伺服器內或外實施。
在1460處且在實質上同時，電腦實施方法或另一方法亦可訓練鑑別深度神經網路(例如，鑑別器1420)，以辨識到由生成深度神經網路生成之牙齒復原體為對比真實牙齒復原體之數位模型的模型。在辨識方法中，鑑別深度神經網路可基於真實牙齒復原體與牙齒復原之所生成模型的比較而生成損失函數。損失函數為生成深度神經網路提供回饋機制。使用來自所輸出損失函數之資訊，生成深度神經網路可生成更好的模型，該模型可更好地欺騙鑑別神經網路以認為所生成模型係真實模型。
生成深度神經網路及鑑別神經網路可被視為彼此對立的。換言之，生成深度神經網路之目標為生成無法由鑑別深度神經網路區分為屬於真實樣本分佈或假樣本分佈之模型的模型(所生成模型)。在1465處，若所生成模型具有指示其很可能為假的機率值，則二個深度神經網路之訓練在1455及1460處重複且再次繼續。此方法繼續且重複直至鑑別深度神經網路無法區分所生成模型與真實模型。換言之，所生成模型為假的機率極低且所生成模型屬於真實樣本之分佈的機率極高。
一旦深度神經網路經訓練，方法1450便準備好基於在1470處接收到之患者齒列資料集而生成牙齒復原體之模型。在1475處，使用接收到之患者齒列資料集生成患者齒列資料集之模型。
在一些實施例中，自動化虛擬復原設計可包括判定所生成之3D虛擬復原體的插入方向。自動地判定所生成之3D虛擬復原體之插入方向的實例可見於Nikolskiy等人之美國專利第US20210304874A1號中，該專利之全文特此以引用之方式併入。在一些實施例中，自動化虛擬復原設計可繪示沿著所判定之插入路徑將復原體拉動至邊緣。圖18繪示沿著虛擬預備牙齒804之插入路徑提昇的虛擬牙冠802之一些實施例中的實例。在一些實施例中，可使用諸如滑件806或其他等效GUI元件之GUI元件沿著插入路徑移動所提昇牙冠。
虛擬牙齒復原設計自動化之電腦實施方法的一些實施例可包括在自動化虛擬復原設計期間偵測是否存在實體預備牙齒問題。在一些實施例中，在自動化虛擬復原設計期間偵測是否存在實體預備牙齒問題之虛擬牙齒復原設計自動化可在患者處於牙科辦公室中時執行。
在一些實施例中，一或多個實體預備牙齒問題可包括自動地判定虛擬預備牙齒之一或多個倒凹區。自動地判定虛擬預備牙齒之一或多個倒凹區的一或多個實例可見於美國申請案第16/918,586號中，該申請案先前以引用之方式併入。如描述於彼申請案中，在一些實施例中，自動地判定虛擬預備牙齒之一或多個倒凹區可在自動判定插入至圖4中所展示之虛擬預備牙齒步驟418上的方向期間發生。
如圖19中所繪示，在一些實施例中，電腦實施方法可設定為最佳插入路徑之預設插入路徑以最小化倒凹911。圖19繪示患者齒列之一部分的2D橫截面繪示950。應理解，患者齒列為3D的。在一些實施例中，倒凹可表示自虛擬牙齒表面延伸之一或多個側壁區。當自例如插入路徑952或956檢視時，倒凹911可使得虛擬預備牙齒963之一或多個虛擬預備牙齒側表面區958阻擋邊緣。舉例而言，此可引起復原體安放問題，此係因為在一些實施例中，復原體954經配置以最大程度地連接至邊緣。若虛擬邊緣之任何部分沿著插入路徑被一或多個虛擬預備牙齒側表面區阻擋，則電腦實施方法可判定存在虛擬開放邊緣。在一些實施例中，開放邊緣可包括沿著插入方向阻擋邊緣之一或多個倒凹區。
圖20繪示虛擬開放邊緣之實例。圖20繪示具有虛擬邊緣1026之插入路徑1022。由於虛擬預備牙齒側表面區1028，虛擬預備牙齒具有開放虛擬邊緣1030。在一些實施例中，電腦實施方法可自動地判定虛擬預備側壁修磨值1024 (亦稱為倒凹值)。電腦實施方法可例如藉由判定在沿著插入路徑1022檢視時多少側壁導致開放虛擬邊緣1030來判定此值。如圖20中所繪示，在一些實施例中，電腦實施方法將一或多個虛擬預備牙齒修磨區判定為在自插入點1022檢視時阻擋虛擬邊緣1026的虛擬預備牙齒側表面區1028。電腦實施方法可判定自插入點1022閉合開放虛擬邊緣1030所必要的虛擬預備牙齒側表面修磨量1024。在一些實施例中，電腦實施方法可判定待修磨以閉合邊緣之一或多個虛擬預備牙齒側表面區。在一些實施例中，待修磨的虛擬預備牙齒側表面區為虛擬預備牙齒修磨區。
在一些實施例中，一或多個倒凹區可指示低品質實體預備牙齒。在一些實施例中，阻礙插入路徑之一或多個倒凹區可指示低品質預備牙齒，因此需要更改實體預備牙齒。在一些實施例中，創建開放邊緣之一或多個倒凹區可指示低品質實體預備牙齒，因此需要更改實體預備牙齒。
在一些實施例中，一或多個實體預備牙齒問題可包括自動地判定虛擬復原體與虛擬相對牙齒之空隙問題。自動地判定自動地判定虛擬復原體與虛擬相對牙齒之空隙的一或多個實例可見於美國申請案第16/918,586號中，該申請案之全文先前以引用之方式併入。在一些實施例中，判定空隙問題可發生在圖4中所繪示之自動化設計的黏合劑空間步驟420中。當將復原體安裝至實體預備牙齒時，需要最小空隙以提供與另一頜部上之相對牙齒的適當接觸。在一些實施例中，最小空隙可包括黏合劑空間加上最小復原體厚度值。
在一些實施例中，與虛擬相對牙齒缺乏空隙可意謂實體預備牙齒之較低品質，因此需要更改實體預備牙齒。
在一些實施例中，一或多個實體預備牙齒問題可包括判定無法自動地生成邊緣線。在一些實施例中，判定無法自動地生成邊緣線可在自動化設計中之邊緣AI步驟416中發生。在一些實施例中，判定無法自動地生成邊緣線可能係由於實體預備牙齒之不明確掃描或不明確實體邊緣線。在一些實施例中，判定無法自動地生成邊緣線可能係由於過度平滑的實體邊緣。在一些實施例中，判定無法自動地生成邊緣線可能係由於缺乏實體預備牙齒曲率或實體邊緣。在一些實施例中，成功地生成實體復原體之機率與可判定之邊緣線的量相關。可判定之邊緣線愈多，則成功地生成實體復原體之機率愈大。在一些實施例中，成功地生成實體復原體之機率為高的，其中該機率超過使用者可組配臨限值。在一些實施例中，邊緣線問題亦可在邊緣延伸至相鄰牙齒中之情況下出現。
在一些實施例中，判定無法自動地生成邊緣線可包括不良品質的實體預備牙齒，因此需要更改實體邊緣及/或實體預備牙齒以增加實體邊緣之可見性及/或校正延伸至相鄰牙齒中之邊緣線。
虛擬牙齒復原設計自動化之電腦實施方法的一些實施例可包括以虛擬方式向牙醫或其他使用者顯示在執行自動化虛擬復原設計時偵測到之一或多個實體預備牙齒問題。在一些實施例中，虛擬牙齒復原設計自動化以虛擬方式向牙醫或其他使用者顯示在執行自動化虛擬復原設計時偵測到之一或多個實體預備牙齒問題可在患者處於牙科辦公室中時執行，例如在患者問診期間及/或在患者於牙科椅上接受牙齒治療時。以虛擬方式向牙醫或其他使用者顯示一或多個實體預備牙齒問題可向牙醫及/或使用者提供關於實體預備牙齒之品質的指導及/或回饋。在一些實施例中，以虛擬方式向牙醫或其他使用者顯示一或多個實體預備牙齒問題可近即時地執行。在一些實施例中，以虛擬方式向牙醫顯示一或多個實體預備牙齒問題可包括突出顯示3D虛擬牙齒模型上需要修磨的一或多個區。
在一些實施例中，電腦實施方法可在具有圖形使用者介面(「GUI」)之電腦顯示器上顯示問題。在一些實施例中，在顯示器上以虛擬方式向牙醫顯示一或多個實體預備牙齒問題可包括提供關於虛擬3D牙齒模型之牙醫指導以校正實體預備牙齒之一或多個區。在一些實施例中，此可在患者仍處於牙科辦公室中及牙科椅上時執行。在一些實施例中，指導向牙醫提供關於由其對實體預備牙齒之預備引起之問題的見解。在一些實施例中，指導允許牙醫學習以減少由其對實體預備牙齒之預備引起之問題的未來出現。
在一些實施例中，以虛擬方式向牙醫顯示一或多個實體預備牙齒問題可包括在顯示器上顯示一或多個標記的側壁區，該等側壁區引起虛擬牙齒模型中之虛擬預備牙齒上的倒凹區。如圖21中所繪示，在一些實施例中，電腦實施方法可將一或多個虛擬預備牙齒修磨區判定為在自插入點1122檢視時阻擋虛擬邊緣1126的虛擬預備牙齒側表面區1130。虛擬預備牙齒側表面區1130可指示實體復原體在實體預備牙齒上之插入及適當安放的問題。電腦實施方法可判定自插入點1122閉合開放虛擬邊緣1128所必要的虛擬預備牙齒側表面修磨量1124。在一些實施例中，電腦實施方法可判定及顯示待修磨以閉合邊緣之一或多個虛擬預備牙齒側表面區連同閉合邊緣所需的修磨量。在一些實施例中，電腦實施方法可向牙醫或其他使用者顯示待修磨的一或多個實體預備牙齒側壁區以及待修磨的量。在一些實施例中，待修磨的虛擬預備牙齒側表面區對應於實體預備牙齒修磨區。當患者在接受治療時向牙醫或其他使用者顯示虛擬預備牙齒側表面區可允許牙醫在患者仍處於椅子上且在同一次問診時修磨實體預備牙齒。此可藉由允許牙醫在一次問診中解決實體預備牙齒問題來減少周轉時間，使得患者不必返回至辦公室以進一步修磨實體預備牙齒來解決實體預備牙齒之問題。
在一些實施例中，以虛擬方式向牙醫顯示一或多個實體預備牙齒問題可包括在顯示器上顯示虛擬預備牙齒上之一或多個標記空隙問題。在一些實施例中，可在自動化設計之黏合劑空間步驟期間偵測一或多個標記空隙問題。在一些實施例中，空隙問題可與復原體之厚度以及實體預備牙齒與實體相對牙齒之間的空隙相關。
如圖22中所繪示，在一些實施例中，電腦實施方法可藉由判定一或多個虛擬預備牙齒咬合表面與一或多個虛擬相對牙齒咬合表面之間的虛擬咬合空隙1221小於最小所需咬合空隙來偵測不足的虛擬咬合空隙1250。在一些實施例中，電腦實施方法判定當虛擬頜部閉合或咬緊時或當虛擬預備牙齒1230及虛擬相對牙齒1234彼此最接近時的虛擬咬合空隙。以此方式，電腦實施方法可判定虛擬預備牙齒1230之高度及虛擬相對牙齒1234之高度過大而不能適應當頜部閉合或咬緊時其間的復原體最小復原厚度。
為了使復原體適應於虛擬預備牙齒1230與虛擬相對牙齒1234之間，電腦實施方法可判定滿足最小所需咬合空隙所必要的總虛擬修磨量。電腦實施方法可在GUI上顯示總虛擬修磨量以繪示必要的總修磨量。舉例而言，在一些實施例中，總虛擬修磨量為虛擬咬合空隙與最小所需咬合空隙之間的差。在一些實施例中，電腦實施方法可判定預設虛擬修磨值。舉例而言，在一些實施例中，不足的空隙可為虛擬預備牙齒1230之咬合表面與虛擬相對牙齒1234之咬合表面之間的不足咬合空隙1250。
在一些實施例中，實體預備牙齒可由牙醫修改以解決一或多個實體預備牙齒問題。一些實施例可包括允許牙醫修改實體預備牙齒(及/或相對或周圍牙齒/齒列)；重新掃描患者齒列之至少一部分，包括經修改之實體預備牙齒及/或相對牙齒及/或周圍齒列，以生成經修改之3D虛擬牙齒模型，其包括經修改之虛擬預備牙齒及/或相對牙齒及/或周圍齒列；以及上傳經修改之3D虛擬牙齒模型。在一些實施例中，經修改之3D虛擬牙齒模型用於同一病例而不生成新病例。
在一些實施例中，一旦牙醫已對實體預備牙齒/相對牙齒/周圍齒列進行任何必要修改，電腦實施方法便可進一步包括接收經修改之3D虛擬牙齒模型，其包括至少一顆經修改之虛擬預備牙齒及/或至少一個經修改之虛擬相對及/或經修改之齒列，該經修改之虛擬預備牙齒包括由牙醫修改的經修改之實體預備牙齒的虛擬表示。在一些實施例中，當患者處於牙科椅上接受治療時，執行牙醫進行的修改、重新掃描及重新上傳。
虛擬牙齒復原設計自動化之電腦實施方法的一些實施例可包括：以虛擬方式向牙醫或其他使用者顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。在一些實施例中，可在患者處於牙科辦公室中時執行以虛擬方式向牙醫或其他使用者顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
在一些實施例中，一或多個調整可包括調整虛擬邊緣線。在一些實施例中，一或多個調整可包括調整與相對牙齒之虛擬接觸。在一些實施例中，一或多個調整可包括調整與鄰近於預備牙齒之一或多個牙齒的虛擬接觸。在一些實施例中，調整可包括調整邊緣線或調整虛擬復原體。調整亦可被稱作「設計檢查」或「DC」。
一些實施例可包括對所生成之3D虛擬牙齒復原模型執行調整或DC。在一些實施例中，電腦實施方法可在諸如電腦螢幕之顯示器上的圖形使用者介面(「GUI」)中顯示包括所生成之3D虛擬牙齒復原模型的患者齒列之3D虛擬模型之至少一部分，該圖形使用者介面可包括可允許牙科技術員、牙醫或其他使用者操控所生成之3D虛擬牙齒復原模型之一或多個特徵的互動式控制件。
圖23(a)繪示一些實施例中之可用作DC方法之部分的GUI 1350之實例。在該實例中，載入所生成之3D虛擬復原模型以用於DC。DC方法可在GUI 1350中顯示患者齒列之3D虛擬牙齒模型1352的至少一部分以及所生成之3D虛擬牙齒復原模型1354連同關於3D虛擬牙齒復原模型1354及其相對於周圍齒列之區位及定向的資訊。舉例而言，在一些實施例中，電腦實施方法可在上頜或下頜之表示中顯示及指示虛擬牙齒編號1356連同其相鄰虛擬牙齒。在一些實施例中，DC方法可在諸如面板1358之面板或此項技術中已知之其他合適的GUI顯示元件中顯示關於虛擬牙齒1354及其相鄰虛擬牙齒的資訊。舉例而言，面板1358可提供關於所生成之3D虛擬牙齒復原模型相對於周圍齒列之咬合、近心及遠心關係的資訊。在一些實施例中，GUI 1350可提供一個或控制特徵以調整3D虛擬牙齒復原模型1354。舉例而言，在一些實施例中，DC方法可提供控制以調整自動生成之3D虛擬牙齒復原體與3D虛擬牙齒模型中之相鄰虛擬牙齒的接觸點。
舉例而言，在一些實施例中，DC方法可提供GUI控制以調整接觸點，諸如近心、遠心及/或咬合接觸點。近心及遠心接觸點可在所生成之3D虛擬牙齒復原模型與3D虛擬牙齒模型中之相鄰虛擬牙齒之間。咬合接觸點可在所生成之3D虛擬牙齒復原模型的咬合表面與相對虛擬頜部上之相對虛擬牙齒之間。圖23(b)繪示一些實施例中之調整近心接觸點的實例。如圖中所繪示，GUI 1360可顯示3D虛擬牙齒模型之至少一部分連同所生成之3D虛擬牙齒復原模型1362之近心側。GUI 1360可顯示3D虛擬牙齒復原模型1362與3D虛擬牙齒模型中之其近心相鄰牙齒(圖中未示)之間的近心接觸表面區1364。舉例而言，GUI 1360可提供調整工具，該調整工具可允許使用者使用輸入裝置選擇電腦實施方法可減小之近心調整表面區1366。在一些實施例中，調整可減小諸如調整表面區1366之調整表面區之大小。在一些實施例中，調整可增加調整表面區1366之大小。圖23(c)繪示一些實施例中之調整遠心接觸點的實例。如圖中所繪示，GUI 1370可顯示3D虛擬牙齒模型之至少一部分連同所生成之3D虛擬牙齒復原模型1372之遠心側。GUI 1370可顯示3D虛擬牙齒復原模型1372與3D虛擬牙齒模型中之其遠心相鄰牙齒(圖中未示)之間的遠心接觸表面區1374。舉例而言，GUI 1370可提供調整工具，該調整工具可允許使用者使用輸入裝置選擇電腦實施方法可調整之遠心調整表面區1376。在一些實施例中，調整可減小諸如調整表面區1376之調整表面區之大小。在一些實施例中，調整可增加調整表面區1376之大小。
在一些實施例中，DC方法可提供允許使用者調整咬合接觸點之GUI控制。舉例而言，圖23(d)繪示自咬合方向檢視之所生成之3D虛擬牙齒復原模型1380，其展示諸如咬合表面1382之咬合表面。在一些實施例中，電腦實施方法可提供一或多個數位工具以調整咬合接觸區，諸如咬合接觸區1384。在一些實施例中，調整可減小諸如咬合接觸區1384之調整表面區之大小。在一些實施例中，調整可增加調整表面區1384之大小。
在一些實施例中，DC方法可提供GUI控制，其允許使用者調整自動生成之3D虛擬牙齒復原體的形狀或輪廓，如例如圖23(e)及圖23(f)中所繪示。在圖23(e)之實例中，使用者可選擇諸如輪廓區1385之輪廓區來進行調整。在圖23(f)之實例中，使用者可選擇輪廓區，諸如輪廓區1387。在一些實施例中，輪廓控制可包括可界定輪廓區之視覺指示符。此視覺指示符之一個實例可包括大小可由使用者調整之「X」或井號。此視覺指示符之一個實例為視覺指示符1386。在一些實施例中，當將指標懸停於所生成之3D虛擬牙齒復原體上時，視覺指示符可出現在所生成之3D虛擬牙齒復原模型之至少一部分上。在一些實施例中，作為實例，使用者可藉由按壓諸如滑鼠之輸入裝置上之按鈕及在所要方向上拖曳輪廓區來調整輪廓區之形狀或輪廓。在一些實施例中，此項技術中已知之其他GUI控制可用以允許使用者調整自動生成之3D虛擬牙齒復原體的形狀或輪廓。
在一些實施例中，DC方法可顯示患者齒列之3D虛擬牙齒模型1388之至少一部分且自動地判定邊緣線提議，且允許使用者修改所判定之邊緣線。圖23(g)繪示DC方法在GUI中顯示所判定之邊緣線提議1389的實例。在一些實施例中，3D虛擬牙齒復原體被隱藏或不顯示使得所判定之邊緣線可見。在一些實施例中，GUI可提供虛擬控點1390以允許使用者調整自動判定之邊緣線。舉例而言，此可有利地允許作為DC方法之部分校正自動判定之邊緣線。
在一些實施例中，一旦作為DC方法之部分，對所生成之3D虛擬牙齒復原模型的改變完成，電腦實施方法便可將改變應用於3D虛擬牙齒復原模型以提供經修改之3D虛擬牙齒復原模型。在一些實施例中，在進行改變時應用該等改變以提供視覺回饋。在模型之改變為主要或基本的一些實施例中，電腦實施方法可使用生成神經網路重新生成3D虛擬牙齒復原體。在一些實施例中，主要及/或基本改變可包括但不限於例如對邊緣線提議之改變。舉例而言，在一些實施例中，主要及/或基本改變可基於在模型中以幾何方式量測之改變的使用者可組配值。在一些實施例中，電腦實施方法可對重新生成之3D虛擬牙齒復原模型執行本文中所描述之一或多個特徵，且提供重新生成之3D虛擬牙齒復原模型以用於DC處理。在DC改變並非主要或基本的一些實施例中，電腦實施方法可在不重新生成之情況下將改變應用於虛擬邊緣線及所生成之3D虛擬牙齒復原模型。舉例而言，在一些實施例中，在接收到對邊緣線的微小調整後，電腦實施方法可包括視需要調整虛擬邊緣線及/或虛擬復原體。在一些實施例中，在接收到對虛擬復原體的微小調整後，電腦實施方法可包括在不重新生成虛擬復原體之情況下將微小調整應用於虛擬復原體。在一些實施例中，電腦實施方法可包括判定重新生成之虛擬復原體的一或多個實體預備牙齒問題。在一些實施例中，在患者處於椅子上接受治療時，可由牙科辦公室中之牙醫進行任何調整。
一些實施例可包括基於一或多顆實體預備牙齒之品質追蹤牙醫之績效。一些實施例可包括基於一或多顆實體預備牙齒之品質追蹤牙醫之績效。一些實施例可包括基於由一或多個牙醫在包含一或多個牙醫之牙科辦公室中預備的一或多顆實體預備牙齒之品質追蹤牙科辦公室之績效。在一些實施例中，追蹤包含分析牙醫及牙科辦公室及在給定時段內的績效。在一些實施例中，分析包含以下各者中之一或多者：訂單ID、牙齒ID、患者ID、患者名稱、醫生名稱、醫囑、銑削/製造區位、復原體類型、材料、掃描檔案來源(掃描器、電腦或所保存掃描)及指導資訊。在一些實施例中，指導資訊包含所進行之掃描會話的數目(重新掃描)、掃描持續時間、各次掃描所發現之問題的類型、各次掃描所採取的解析度。在一些實施例中，掃描資料被記錄且在重新掃描期間不被覆寫。一些實施例可包括制定績效之基線位準。在一些實施例中，績效之基線位準包含引起問題之實體預備體之數目。一些實施例可包括基於通常在預備預備牙齒時遇到之問題的類型而策展教育內容。
在一些實施例中，所捕獲之分析及指導資訊可作為彙總回饋提供至牙醫、臨床醫師及診所。在一些實施例中，可提供分析、指導及其他資訊以展示隨時間推移的趨勢。在一些實施例中，提供此極短、閉合的回饋迴路可隨時間推移有利地改良一或多顆預備牙齒。分析、指導及資訊連同任何彙總回饋可提供進度報告，該等進度報告可幫助DSO與需要改良以符合內部績效量度之牙醫及醫生合作。
一些實施例可包括向個別牙醫提供關於其最少化未來預備體問題之特定預備體技術的回饋。一些實施例可包括將教育內容併入至牙醫之繼續教育規劃中。在一些實施例中，績效包含評分卡。在一些實施例中，在各次治療會話之後顯示包含指導資訊之評分卡。在一些實施例中，儀錶板展示應用程式使用情況及總體效能。在一些實施例中，評分卡可指示一段時間內之成功/失敗率。在一些實施例中，評分卡可提供關於一或多個其他牙醫之成功/失效率。在一些實施例中，一或多個其他牙醫在同一間牙科辦公室中。在一些實施例中，牙科辦公室可包括DSO。一些實施例可包括將評分卡摘要提供至DSO。舉例而言，此可幫助DSO識別牙醫可能需要更多訓練或指導的領域且亦用以判定個別牙醫之績效。
一些實施例可包括自成功地生成之3D虛擬復原體銑削實體3D虛擬復原體。在一些實施例中，製造設施可為牙科實驗室。在一些實施例中，製造設施執行製造檢查。在一些實施例中，牙科實驗室或其他製造設施位於牙科辦公室外部。
在一些實施例中，銑削可為電腦輔助製造方法(「CAM」)。一些實施例可包括將一個或實體復原體分階段。在一些實施例中，分階段可包括藉由患者對一或多個實體復原體進行分組以供運送。一些實施例可包括捆束一或多個實體復原體。在一些實施例中，捆束可包括將牙科辦公室之一或多個復原體分組在一起以供一起運送至牙科辦公室。
一些實施例可包括將虛擬3D虛擬復原模型投送至電腦輔助製造(「CAM」)方法。在一些實施例中，CAM方法可執行設計可加工性檢查。在一些實施例中，設計可加工性檢查可包括以下步驟，未必限於此次序：(1).自NC檔案(銑削策略)生成虛擬銑削復原體。在一些實施例中，此階段之結果可為應與真實銑削牙冠重合之銑削表面。在一些實施例中，虛擬銑削復原體不包含一或多個倒凹。(2).比較虛擬銑削復原體與虛擬復原設計。在一些實施例中，比較可為比較虛擬銑削復原體及咬合台之外表面及內表面。在一些實施例中，若虛擬銑削復原體與虛擬復原設計之間存在差異，則設計可加工性檢查失敗。在一些實施例中，在設計可加工性檢查失敗後，將虛擬復原體投送至手動銑削。在一些實施例中，若虛擬銑削復原體與虛擬復原設計之間不存在差異，則自動銑削檢查通過。在一些實施例中，在自動銑削檢查成功後，將虛擬復原體投送至自動銑削。在一些實施例中，自動銑削包含：(a)巢套；(b)基於放大因數及色度判定塊；(c)銑削復原體(諸如，牙冠)；(d)判定染色/色度-牙齦及咬合表面；(e)燒結復原體。
在一些實施例中，可加工性之失敗可為不可銑削的倒凹；復原體大小對於塊過大；或色度不可用性。在一些實施例中，在可加工性檢查失敗後，投送虛擬復原設計以用於手動加工。在一些實施例中，在可加工性檢查成功後，投送虛擬設計復原體以進行自動加工。在一些實施例中，在設計可加工性檢查通過後，CAM方法將虛擬3D虛擬復原模型投送至自動銑削機以執行自動銑削。在一些實施例中，在完成自動銑削後，執行虛擬銑削DC。在一些實施例中，在虛擬銑削DC通過後，執行分階段。
舉例而言，一或多個特徵之一或多個優點可包括：節省總周轉時間；減少椅側時間；藉由避免患者來回進行多次治療來改良患者體驗。舉例而言，一或多個特徵之一或多個優點可包括減少或消除由於諸如空隙、插入及/或倒凹之一或多個問題而廢棄實體復原體。舉例而言，一或多個特徵之一或多個優點可包括實體復原體之改良品質。舉例而言，一或多個特徵之一或多個優點可包括實體復原體之較少重製。舉例而言，一或多個特徵之一或多個優點可包括減少患者去往牙醫或其他使用者辦公室之次數及減少患者被麻醉之次數。舉例而言，一或多個特徵之一或多個優點可包括向牙醫提供關於實體預備牙齒之近即時回饋，以允許在椅側治療患者時進行校正。舉例而言，一或多個特徵之一或多個優點可包括允許牙醫在單次辦公室問診時預備一顆牙齒且為彼牙齒生成虛擬復原體。舉例而言，一或多個特徵之一或多個優點可包括改良(加快)用於獲得實體復原體之周轉時間。舉例而言，一或多個特徵之一或多個優點可包括減少患者在椅子上的時間。舉例而言，一或多個優點可包括由於一或多個問題而減少廢棄的復原體，該一或多個問題任擇地包括但不限於倒凹問題、空隙問題及/或開放邊緣問題。
一些實施例包括一種用於虛擬牙齒復原設計自動化之系統，其可包括：處理器；電腦可讀儲存媒體，其包括可由處理器執行以執行包括以下各者之步驟的指令：接收患者齒列之至少一部分的3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由牙醫預備之實體預備牙齒的數位表示；使用3D虛擬牙齒模型執行自動化虛擬復原設計；以虛擬方式向牙醫顯示在執行自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及以虛擬方式向牙醫顯示所生成之虛擬復原體以用於在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
圖24為繪示一些實施例中之一或多個步驟的流程圖。該等步驟可包括：在1402處接收患者齒列之至少一部分的3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由牙醫預備之實體預備牙齒的數位表示；在1404處使用3D虛擬牙齒模型執行自動化虛擬復原設計；在1406處以虛擬方式向牙醫顯示在執行自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及在1408處以虛擬方式向牙醫顯示所生成之虛擬復原體以在執行自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
圖25繪示一些實施例中之處理系統14000。系統14000可包括處理器14030、電腦可讀儲存媒體14034，該電腦可讀儲存媒體具有可由處理器執行以執行本揭露內容中所描述之一或多個步驟的指令。舉例而言，在一些實施例中，一或多個特徵可由使用者在檢視顯示器上之虛擬模型時使用輸入裝置執行。在一些實施例中，電腦實施方法可允許輸入裝置操控顯示於顯示器上之虛擬模型。舉例而言，在一些實施例中，電腦實施方法可以如此項技術中已知之任何方式旋轉、縮放、移動及/或以其他方式操控虛擬模型。
舉例而言，在一些實施例中，可使用指標展示於顯示器上之輸入裝置在虛擬牙齒或其他區上選擇3D虛擬模型之一或多個虛擬表面。舉例而言，指標可用以藉由在諸如滑鼠之輸入裝置點選或在觸控螢幕觸按來選擇一個點之區。舉例而言，在一些實施例中，可藉由在虛擬表面上拖曳指標來選擇多個點之虛擬表面。此項技術中已知之其他技術可用以選擇點或虛擬表面。
舉例而言，在一些實施例中，電腦實施方法可在顯示器上顯示虛擬模型，且在顯示器上自諸如滑鼠或觸控螢幕之輸入裝置接收輸入。在一些實施例中，在接收到操控命令後，電腦實施方法可以此項技術中已知之任何方式旋轉、縮放、移動及/或以其他方式操控虛擬模型。
本文中所揭露之特徵中之一或多者可在無手動或使用者干預之情況下自動地執行及/或獲得。本文中所揭露之特徵中之一或多者可由電腦實施方法執行。包括但不限於任何方法及系統之所揭露特徵可實施於計算系統中。舉例而言，用以執行此等功能之計算環境14042可為可併入至包含一或多個計算裝置之計算系統中的多種計算裝置(例如，桌上型電腦、膝上型電腦、伺服器電腦、平板電腦、遊戲系統、行動裝置、可規劃自動化控制器、視訊卡等)中之任一者。在一些實施例中，計算系統可為基於雲端之計算系統。
舉例而言，計算環境14042可包括一或多個處理單元14030及記憶體14032。處理單元執行電腦可執行指令。處理單元14030可為中央處理單元(CPU)、特殊應用積體電路(ASIC)中之處理器，或任何其他類型之處理器。在一些實施例中，一或多個處理單元14030可例如並行地執行多個電腦可執行指令。在多處理系統中，多個處理單元執行電腦可執行指令以提高處理能力。舉例而言，代表性計算環境可包括中央處理單元以及圖形處理單元或共處理單元。有形記憶體14032可為可由處理單元存取之依電性記憶體(例如，暫存器、快取記憶體、RAM)、非依電性記憶體(例如，ROM、EEPROM、快閃記憶體等)或二者之某一組合。記憶體以適合於由處理單元執行之電腦可執行指令的形式儲存實施本文中所描述之一或多個創新的軟體。
計算系統可具有額外特徵。舉例而言，在一些實施例中，計算環境包括儲存器14034、一或多個輸入裝置14036、一或多個輸出裝置14038及一或多個通訊連接件14037。諸如匯流排、控制器或網路之互連機制互連計算環境之組件。通常，作業系統軟體為在計算環境中執行之其他軟體提供操作環境，且協調計算環境之組件的活動。
有形儲存器14034可為可抽選式的或不可抽選式的，且包括磁性或光學媒體，諸如磁碟、磁帶或卡匣、CD-ROM、DVD，或可用於以非暫時性方式儲存資訊且可在計算環境內存取之任何其他媒體。儲存器14034儲存用於實施本文中所描述之一或多個創新之軟體的指令。
輸入裝置可為例如：觸控輸入裝置，諸如鍵盤、滑鼠、手寫筆或軌跡球；語音輸入裝置；掃描裝置；各種感測器中之任一者；將輸入提供至計算環境之另一裝置；或其組合。對於視訊編碼，輸入裝置可為攝影機、視訊卡、TV調諧器卡，或接受類比或數位形式之視訊輸入的類似裝置，或將視訊樣本讀取至計算環境中之CD-ROM或CD-RW。輸出裝置可為顯示器、印表機、揚聲器、CD寫入器，或提供來自計算環境之輸出的另一裝置。
通訊連接件使得能夠經由通訊媒體與另一計算實體進行通訊。通訊媒體輸送資訊，諸如電腦可執行指令、音訊或視訊輸入或輸出，或經調變資料信號中之其他資料。經調變資料信號為具有以使得在信號中編碼資訊之方式設定或改變的其特性中之一或多者的信號。作為實例而非限制，通訊媒體可使用電氣、光學、RF或其他載波。
所揭露方法中之任一者可實施為電腦可執行指令，該等電腦可執行指令儲存於一或多個電腦可讀儲存媒體14034 (例如，一或多個光學媒體光碟、依電性記憶體組件(諸如，DRAM或SRAM)或非依電性記憶體組件(諸如，快閃記憶體或硬碟機))上且在電腦(例如，任何市售電腦，包括智慧型手機、包括計算硬體或可規劃自動控制器之其他行動裝置)上執行(例如，電腦可執行指令使電腦系統之一或多個處理器執行方法)。電腦可讀儲存媒體一詞不包括通訊連接件，諸如信號及載波。用於實施所揭露技術之電腦可執行指令中之任一者以及在實施所揭露實施例期間創建及使用之任何資料可儲存於一或多個電腦可讀儲存媒體14034上。電腦可執行指令可為例如專用軟體應用程式或經由網頁瀏覽器存取或下載的軟體應用程式或其他軟體應用程式(諸如，遠端計算應用程式)之部分。此類軟體可例如在單個本端電腦(例如，任何合適的市售電腦)上或使用一或多個網路電腦在網路環境中(例如，經由網際網路、廣域網路、區域網路、主從式網路(諸如，雲端計算網路)或其他此類網路)執行。
為了清楚起見，僅描述基於軟體之實施方案的某些選定態樣。省略此項技術中熟知之其他細節。舉例而言，應理解，所揭露技術不限於任何特定電腦語言或程式。舉例而言，所揭露技術可藉由以C++、Java、Perl、Python、JavaScript、Adobe Flash或任何其他合適的程式設計語言編寫的軟體實施。同樣地，所揭露技術不限於任何特定電腦或硬體類型。合適電腦及硬體之某些細節為熟知的且無需在本揭露內容中詳細闡述。
亦應很好地理解，本文中所描述之任何功能性可至少部分地由一或多個硬體邏輯組件而非軟體執行。舉例而言而非限制，可使用的說明性類型之硬體邏輯組件包括場可規劃閘陣列(FPGA)、特殊程式積體電路(ASIC)、特殊程式標準產品(ASSP)、系統單晶片系統(SOC)、複雜可規劃邏輯裝置(CPLD)等。
此外，基於軟體之實施例中之任一者(包含例如用於使電腦執行所揭露方法中之任一者的電腦可執行指令)可經由合適通訊手段上載、下載或在遠端存取。此類合適通訊手段包括例如網際網路、全球資訊網、企業內部網路、軟件應用程式、纜線(包括光纖纜線)、磁性通訊、電磁通訊(包括RF、微波及紅外線通訊)、電子通訊或其他此類通訊手段。
鑒於可應用本揭露內容之原理的許多可能實施例，應辨識到，所說明之實施例僅為實例，且不應被視為限制本揭露內容之範疇。
102:雲端計算環境或系統 103:自動化設計特徵 104:牙齒復原雲端伺服器 105:網路 107:儲存器 108:用戶端裝置 109:掃描器 110:第三方製造提供者 202,302:牙科辦公室 206,306:口內掃描器/口內掃描 204,304:牙科實驗室 208,308:新病例/訂單 209:問題 210,310:自動化設計 211,311,318,714,734,738,1205,1210,1215,1220,1225,1402,1404,1406,1408,1435,1455,1460,1465,1470,1475:步驟 212:虛擬指導回饋 214,314:設計檢查(「DC」) 215:一或多顆相對牙齒及/或齒列 216:銑削 219:提交 220,320:設計可加工性檢查 222,322:主要調整 224,324:轉遞 232:設計實驗室技術員 309:問題/一或多個虛擬預備牙齒及相對牙齒/齒列3D虛擬牙齒模型 316:設計技術員/牙齒技術員/銑削 332:自動銑削 334:發送 336:手動銑削 400:自動化虛擬復原設計步驟 402:抽選 404:網格修復 406:分段 408:判定咬合方向 410:判定咬入對準 412:預備模具定位 414:判定頰方向 416:判定至少一顆虛擬預備牙齒之邊緣/邊緣AI步驟 418:判定插入至虛擬預備牙齒上之方向/虛擬預備牙齒步驟 420:判定用於虛擬預備牙齒之黏合劑空間/黏合劑空間步驟 422:虛擬復原體 424:牙橋 426:將虛擬復原體拉動至邊緣 500:虛擬網格 501:虛擬三角形 502:第一卷積層 503,708:輸入影像 504:內核 506:卷積輸出/第一卷積影像 507,517,519:特徵通道 508:第一內核輸出 512:第一池化層 514:第一池化濾波器 516:第一池化影像 518:第二卷積層 520:第二卷積影像 522:第二池化層 524:第二池化影像/輸出預測 530:完全連接層 600:3D虛擬模型 602:虛擬頜部 604,775,804,963,1230:虛擬預備牙齒 606:咬合方向 608:虛擬預備模具區 610:頰方向 702:階層式點集特徵學習器 704:HNN分段 706:HNN分類 710:第一取樣及分組操作 712:第一經取樣及分組的影像 716:第一抽象影像 718:取樣及分組 720:第二經取樣及分組的影像 722:PointNet神經網路 724:第二抽象影像 730:第一內插 732:第一內插影像 736:第一區段影像 740:第二內插影像 742:單元PointNet 744:分段影像 760:PointNet網路 762:輸出 764:連接層 766:類別分數 772,1008,1389:邊緣線提議 774,1350,1360,1370:GUI 778,1390:虛擬控點 776,1352,1388:3D虛擬牙齒模型 800:深度神經網路(DNN) 802:虛擬牙冠 806:滑件 901:預先計算 902,1000,1105:3D數位模型 903,1002:基本邊緣線 904:預備牙齒 905:座標 906:內部表示訓練之神經網路 907:分組及取樣 908:內部表示 910:移位值訓練之神經網路 911:倒凹 912:三維移位值 950:橫截面繪示 952,956:插入路徑 954:復原體 958:虛擬預備牙齒側表面區 1004:基本邊緣線點 1006:方向 1022:插入路徑/插入點 1024:虛擬預備側壁修磨值/虛擬預備牙齒側表面修磨量 1026,1126:虛擬邊緣 1028,1130:虛擬預備牙齒側表面區 1030,1128:開放虛擬邊緣 1102,1108:數位預備牙齒 1104,1106:所提議數位邊緣線 1110:3D數位牙齒模型 1122:插入點 1124:虛擬預備牙齒側表面修磨量 1200:假牙生成方法 1221,1250:虛擬咬合空隙 1234:虛擬相對牙齒 1300:經訓練深度神經網路 1305:輸入資料集 1310:預備部位 1315:牙齒復原體/DNN生成假牙/假體 1320:咬合部分 1325:邊緣線部分 1330:側壁部分/側壁 1354:3D虛擬牙齒復原模型/虛擬牙齒 1356:虛擬牙齒編號 1358:面板 1362,1372,1380:3D虛擬牙齒復原模型 1364:近心接觸表面區 1366:近心調整表面區 1374:遠心接觸表面區 1376:遠心調整表面區 1382:咬合表面 1384:咬合接觸區/調整表面區 1385,1387:輪廓區 1386:視覺指示符 1405:資料輸入 1410:生成器神經網路/GAN生成器 1415:所生成樣本 1420:鑑別器神經網路/鑑別器 1425:真實資料 1430:訓練資料樣本 1440:損失函數 1450:方法 14000:處理系統 14030:處理器/處理單元 14032:有形記憶體 14034:有形儲存器/電腦可讀儲存媒體 14036:輸入裝置 14037:通訊連接件 14038:輸出裝置 14042:計算環境 N i:第一層/輸入層 N o:輸出層 N h,1,N h,l-1,N h,1:層
圖1展示一些實施例中之牙齒復原自動化系統的雲端計算環境之圖。
圖2展示一些實施例中之牙齒復原自動化的圖。
圖3展示一些實施例中之牙齒復原自動化的圖。
圖4展示一些實施例中可用於虛擬牙齒復原體之自動化設計中的一或多個步驟之圖。
圖5(a)至圖5(c)展示在一些實施例中對3D虛擬模型網格執行之抽選。
圖6展示例如一些實施例中之卷積神經網路的圖。
圖7展示例如一些實施例中之數位模型的2D深度圖之實例的俯視透視圖。
圖8展示具有咬合方向、虛擬預備模具區及頰方向之3D虛擬模型的俯視透視圖。
圖9(a)及圖9(b)展示例如一些實施例中之階層式神經網路的圖。
圖10展示例如一些實施例中之深度神經網路的圖。
圖11展示例如一些實施例中之自動邊緣線提議的電腦實施方法之圖。
圖12展示3D數位模型之實例的透視圖，該數位模型展示例如一些實施例中之自基本邊緣線提議的邊緣線。
圖13(a)及圖13(b)展示例如一些實施例中之具有預備牙齒及所提議邊緣線的3D數位模型之透視圖。
圖14展示一些實施例中之具有邊緣線的虛擬預備牙齒之3D虛擬模型。
圖15為根據本揭露內容之一些實施例的用於使用深度神經網路生成3D假牙模型之方法的流程圖。
圖16為根據本揭露內容之一些實施例的深度神經網路之輸入及輸出的圖形表示。
圖17(a)及圖17(b)為根據本揭露內容之一些實施例的用於訓練深度神經網路以生成3D假牙的方法之流程圖。
圖18展示在一些實施例中沿著插入方向提昇至虛擬預備牙齒上方之虛擬牙冠的3D虛擬模型。
圖19展示一些實施例中之一些實施例中的自動邊緣線提議的電腦實施方法之圖。
圖20展示一些實施例中之具有開放邊緣線的虛擬預備牙齒之3D虛擬模型。
圖21展示一些實施例中之具有虛擬預備牙齒及所標記開放邊緣的3D虛擬模型之透視圖。
圖22展示一些實施例中之具有虛擬預備牙齒及所標記空隙問題的3D虛擬模型之透視圖。
圖23(a)至圖23(g)展示對3D虛擬牙齒模型中之虛擬復原體進行的一或多個調整。
圖24為一些實施例中之流程圖。
圖25為繪示一些實施例中之計算系統的圖。
1402,1404,1406,1408:步驟

Claims (51)

  1. 一種虛擬牙齒復原設計自動化之電腦實施方法，其包含： 接收一患者之齒列之至少一部分的一3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由一牙醫預備之一實體預備牙齒的一數位表示； 使用該3D虛擬牙齒模型執行一自動化虛擬復原設計； 以虛擬方式向該牙醫顯示在執行該自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及 以虛擬方式向該牙醫顯示一所生成之虛擬復原體以用於在執行該自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
  2. 如請求項1之方法，其中該自動化虛擬復原設計包含選自由以下各者組成之群組的一或多者：該3D虛擬牙齒模型之抽選、網格化、分段、判定一咬合方向、判定一咬入對準、預備模具定位、判定一頰方向、判定該至少一顆虛擬預備牙齒之一邊緣、判定插入至該虛擬預備牙齒上之一方向、判定用於該虛擬預備牙齒之黏合劑空間、生成該虛擬復原體、以及將該虛擬復原體拉動至該邊緣。
  3. 如請求項1之方法，其中該一或多個實體預備牙齒問題包含一或多個倒凹區。
  4. 如請求項1之方法，其中該一或多個實體預備牙齒問題包含空隙之一缺乏。
  5. 如請求項1之方法，其中該一或多個實體預備牙齒問題包含插入方向之一缺乏。
  6. 如請求項1之方法，其中該一或多個實體預備牙齒問題包含無法自動地生成一邊緣線。
  7. 如請求項1之方法，其中顯示該一或多個實體預備牙齒問題包含突出顯示該3D虛擬牙齒模型上需要修磨的一或多個區。
  8. 如請求項1之方法，其進一步包含在一自動化設計成功後向該牙醫繪示一插入方向。
  9. 如請求項1之方法，其中一或多個步驟係在一單次患者問診期間執行。
  10. 如請求項9之方法，其中該患者處於牙科椅上接受牙齒治療。
  11. 如請求項1之方法，其進一步包含在自動化設計期間偵測到一或多個問題後，允許一牙醫修改該實體預備牙齒，重新掃描包含經修改之實體預備牙齒的該患者之齒列之至少一部分以生成包含一經修改之虛擬預備牙齒的一經修改之3D虛擬牙齒模型，且上傳該經修改之3D虛擬牙齒模型。
  12. 如請求項1之方法，其中該所生成之虛擬復原體可由該牙醫調整。
  13. 如請求項1之方法，其進一步包含基於自動化設計方法判定一或多顆實體預備牙齒之一品質。
  14. 如請求項13之方法，其中一自動化設計誤差指示一較低品質之實體預備牙齒。
  15. 如請求項1之方法，其進一步包含基於一或多顆實體預備牙齒之品質追蹤該牙醫之一績效。
  16. 如請求項1之方法，其進一步包含將3D虛擬復原體投送至一電腦輔助製造(「CAM」)方法，其中該CAM方法包含執行自動化銑削之一設計可加工性檢查。
  17. 如請求項16之方法，其進一步包含銑削該虛擬復原體。
  18. 一種非暫時性電腦可讀媒體，其儲存用以提供虛擬牙齒復原設計自動化之可執行電腦程式指令，該等電腦程式指令包含用於進行以下操作之指令： 接收一患者之齒列之至少一部分的一3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由一牙醫預備之一實體預備牙齒的一數位表示； 使用該3D虛擬牙齒模型執行一自動化虛擬復原設計； 以虛擬方式向該牙醫顯示在執行該自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及 以虛擬方式向該牙醫顯示一所生成之虛擬復原體以用於在執行該自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
  19. 如請求項18之媒體，其中該自動化虛擬復原設計包含選自由以下各者組成之群組的一或多者：該3D虛擬牙齒模型之抽選、網格化、分段、判定一咬合方向、判定一咬入對準、預備模具定位、判定一頰方向、判定該至少一顆虛擬預備牙齒之一邊緣、判定插入至該虛擬預備牙齒上之一方向、判定用於該虛擬預備牙齒之黏合劑空間、生成該虛擬復原體、以及將該虛擬復原體拉動至該邊緣。
  20. 如請求項18之媒體，其中該一或多個實體預備牙齒問題包含一或多個倒凹區。
  21. 如請求項18之媒體，其中該一或多個實體預備牙齒問題包含空隙之一缺乏。
  22. 如請求項18之媒體，其中該一或多個實體預備牙齒問題包含插入方向之一缺乏。
  23. 如請求項18之媒體，其中該一或多個實體預備牙齒問題包含無法自動地生成一邊緣線。
  24. 如請求項18之媒體，其中顯示該一或多個實體預備牙齒問題包含突出顯示該3D虛擬牙齒模型上需要修磨的一或多個區。
  25. 如請求項18之媒體，其進一步包含在一自動化設計成功後向該牙醫繪示一插入方向。
  26. 如請求項18之媒體，其中一或多個步驟係在一單次患者問診期間執行。
  27. 如請求項26之媒體，其中該患者處於牙科椅上接受牙齒治療。
  28. 如請求項18之媒體，其進一步包含在自動化設計期間偵測到一或多個問題後，允許一牙醫修改該實體預備牙齒，重新掃描包含經修改之實體預備牙齒的該患者之齒列之至少一部分以生成包含一經修改之虛擬預備牙齒的一經修改之3D虛擬牙齒模型，且上傳該經修改之3D虛擬牙齒模型。
  29. 如請求項18之媒體，其中該所生成之虛擬復原體可由該牙醫調整。
  30. 如請求項18之媒體，其進一步包含基於自動化設計方法判定一或多顆實體預備牙齒之一品質。
  31. 如請求項30之媒體，其中一自動化設計錯誤指示一較低品質之實體預備牙齒。
  32. 如請求項18之媒體，其進一步包含基於一或多顆實體預備牙齒之品質追蹤該牙醫之一績效。
  33. 如請求項18之媒體，其進一步包含將該3D虛擬復原體投送至一電腦輔助製造(「CAM」)方法，其中該CAM方法包含執行自動化銑削之一設計可加工性檢查。
  34. 如請求項33之媒體，其進一步包含銑削該虛擬復原體。
  35. 一種用於虛擬牙齒復原設計自動化之系統，該系統包含： 一處理器；以及 一非暫時性電腦可讀儲存媒體，其包含可由該處理器執行以執行包含以下各者之步驟的指令： 接收一患者之齒列之至少一部分的一3D虛擬牙齒模型，該3D虛擬牙齒模型包含至少一顆虛擬預備牙齒，該虛擬預備牙齒包含由一牙醫預備之一實體預備牙齒的一數位表示； 使用該3D虛擬牙齒模型執行一自動化虛擬復原設計； 以虛擬方式向該牙醫顯示在執行該自動化虛擬復原設計時偵測到的一或多個實體預備牙齒問題；以及 以虛擬方式向該牙醫顯示一所生成之虛擬復原體以用於在執行該自動化虛擬復原設計時未偵測到實體預備牙齒問題之情況下進行一或多個調整。
  36. 如請求項35之系統，其中該自動化虛擬復原設計包含選自由以下各者組成之群組的一或多者：該3D虛擬牙齒模型之抽選、網格化、分段、判定一咬合方向、判定一咬入對準、預備模具定位、判定一頰方向、判定該至少一顆虛擬預備牙齒之一邊緣、判定插入至該虛擬預備牙齒上之一方向、判定用於該虛擬預備牙齒之黏合劑空間、生成該虛擬復原體、以及將該虛擬復原體拉動至該邊緣。
  37. 如請求項35之系統，其中該一或多個實體預備牙齒問題包含一或多個倒凹區。
  38. 如請求項35之系統，其中該一或多個實體預備牙齒問題包含空隙之一缺乏。
  39. 如請求項35之系統，其中該一或多個實體預備牙齒問題包含插入方向之一缺乏。
  40. 如請求項35之系統，其中該一或多個實體預備牙齒問題包含無法自動地生成一邊緣線。
  41. 如請求項35之系統，其中顯示該一或多個實體預備牙齒問題包含突出顯示該3D虛擬牙齒模型上需要修磨的一或多個區。
  42. 如請求項35之系統，其進一步包含在一自動化設計成功後向該牙醫繪示一插入方向。
  43. 如請求項35之系統，其中一或多個步驟係在一單次患者問診期間執行。
  44. 如請求項43之媒體，其中該患者處於牙科椅上接受牙齒治療。
  45. 如請求項35之系統，其進一步包含在自動化設計期間偵測到一或多個問題後，允許一牙醫修改該實體預備牙齒，重新掃描包含經修改之實體預備牙齒的該患者之齒列之至少一部分以生成包含一經修改之虛擬預備牙齒的一經修改之3D虛擬牙齒模型，且上傳該經修改之3D虛擬牙齒模型。
  46. 如請求項35之系統，其中該所生成之虛擬復原體可由該牙醫調整。
  47. 如請求項35之系統，其進一步包含基於自動化設計方法判定該一或多顆實體預備牙齒之一品質。
  48. 如請求項47之媒體，其中一自動化設計錯誤指示一較低品質之實體預備牙齒。
  49. 如請求項35之系統，其進一步包含基於一或多顆實體預備牙齒之品質追蹤該牙醫之一績效。
  50. 如請求項35之系統，其進一步包含將該3D虛擬復原體投送至一電腦輔助製造(「CAM」)方法，其中該CAM方法包含執行自動化銑削之一設計可加工性檢查。
  51. 如請求項50之媒體，其進一步包含銑削該虛擬復原體。
TW112127417A 2022-07-22 2023-07-21 牙齒復原自動化技術 TW202409874A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263369151P 2022-07-22 2022-07-22
US63/369,151 2022-07-22
US202263380374P 2022-10-20 2022-10-20
US63/380,374 2022-10-20
US18/353,947 US20240028782A1 (en) 2022-07-22 2023-07-18 Dental restoration automation
US18/353,947 2023-07-18

Publications (1)

Publication Number Publication Date
TW202409874A true TW202409874A (zh) 2024-03-01

Family

ID=89576550

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112127417A TW202409874A (zh) 2022-07-22 2023-07-21 牙齒復原自動化技術

Country Status (3)

Country Link
US (1) US20240028782A1 (zh)
TW (1) TW202409874A (zh)
WO (1) WO2024020560A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11980511B2 (en) * 2022-02-10 2024-05-14 Exocad Gmbh Guiding surface generation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014003898B4 (de) * 2013-08-26 2022-12-22 James R. Glidewell Dental Ceramics, Inc. Computerimplementierte Zahnrestaurations-Gestaltung
WO2018022752A1 (en) * 2016-07-27 2018-02-01 James R. Glidewell Dental Ceramics, Inc. Dental cad automation using deep learning

Also Published As

Publication number Publication date
WO2024020560A2 (en) 2024-01-25
WO2024020560A3 (en) 2024-02-29
US20240028782A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
US11232573B2 (en) Artificially intelligent systems to manage virtual dental models using dental images
US11759291B2 (en) Tooth segmentation based on anatomical edge information
US11957541B2 (en) Machine learning scoring system and methods for tooth position assessment
US11735306B2 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
US10945813B2 (en) Providing a simulated outcome of dental treatment on a patient
US11642195B2 (en) Visual presentation of gingival line generated based on 3D tooth model
US20210322136A1 (en) Automated orthodontic treatment planning using deep learning
US6227850B1 (en) Teeth viewing system
JP2022547857A (ja) カスタマイズされた歯科用物体の即時自動設計のための方法、システムおよび装置
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
US20230390036A1 (en) Auto-denture design setup systems
TW202409874A (zh) 牙齒復原自動化技術
KR20210018661A (ko) 크라운 모델 자동 추천방법 및 이를 수행하는 보철 캐드 장치
WO2024042192A1 (en) Generation of a three-dimensional digital model of a replacement tooth
US20240029380A1 (en) Integrated Dental Restoration Design Process and System
TW202416910A (zh) 整合式牙齒復原設計方法及系統
US20230419631A1 (en) Guided Implant Surgery Planning System and Method
US20230298272A1 (en) System and Method for an Automated Surgical Guide Design (SGD)
US20230252748A1 (en) System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR)
KR20240068667A (ko) 치아 수복 작업 흐름에서 자동화된 치아 관리
CN116563455A (zh) 一种基于全景x线片和口扫数据的牙齿三维重建方法