TWI728374B - 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體 - Google Patents

牙齒虛擬編輯方法、系統、電腦設備和儲存媒體 Download PDF

Info

Publication number
TWI728374B
TWI728374B TW108119236A TW108119236A TWI728374B TW I728374 B TWI728374 B TW I728374B TW 108119236 A TW108119236 A TW 108119236A TW 108119236 A TW108119236 A TW 108119236A TW I728374 B TWI728374 B TW I728374B
Authority
TW
Taiwan
Prior art keywords
tooth
entity
image data
user
dimensional
Prior art date
Application number
TW108119236A
Other languages
English (en)
Other versions
TW202014151A (zh
Inventor
歐陽聰星
Original Assignee
大陸商北京奇禹科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京奇禹科技有限公司 filed Critical 大陸商北京奇禹科技有限公司
Publication of TW202014151A publication Critical patent/TW202014151A/zh
Application granted granted Critical
Publication of TWI728374B publication Critical patent/TWI728374B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種牙齒虛擬編輯方法，所述方法包括：構建人類口腔的三維圖像基礎資料庫；獲取用戶口腔的三維圖像資料，基於保存的三維圖像基礎資料庫 該三維圖像資料進行圖像模式識別，識別該圖像資料所屬的對象，並建立用戶口腔的對象標註體系，所對象包含區塊和／或實體；基於建立的當前用戶的對象標註體系，對所述對象進行虛擬編輯，並展示更新後的牙齒的三維圖像。

Description

牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
本發明涉及一種牙齒虛擬編輯方法、系統、電腦設備和儲存媒體。
目前，全球口腔健康領域存在一個痛點：發病率高、就診率低。
其一，由於口腔中的很多部位（比如後臼齒、齒列舌齶側）不便於本人查看，人們通常看不到自己口腔內部的病理前兆，只有在出現疼痛等現象時才會主動預約醫生去就診。可是，一旦口腔出現疼痛，人們很可能已經出現齲齒、牙髓炎、根尖周圍炎、牙本質過敏、牙齦萎縮等口腔疾病，由此造成病情被延誤的問題。
對於重視口腔健康的人群，通常每半年或一年就去醫療機構做一次定期口腔健康檢查。可是，在某些情況下，口腔疾病的發病過程比較快。待到患者去醫療機構去做定期口腔健康檢查時，口腔疾病可能已經發生，由此造成病情被延誤的問題。
此外，在口腔治療方案實施之前，業界目前難以展示齒列外觀在治療方案實施前後發生改變的對比效果。
患者去醫療機構做口腔檢查時，醫生可以看見患者的齒列。目前，某些醫療機構也具備條件給患者展示患者本人的三維全彩全齒列模型外觀。可是，醫生給患者實施口腔治療之後，患者的三維全彩全齒列模型外觀是什麼樣子，目前還難以給患者展示。在治療方案實施前後，齒列外觀發生改變的具體數值是什麼，目前也很難給患者量化展示。發明人意識到，由此會帶來兩個方面的問題：
問題一：因為患者對口腔治療效果缺乏直觀感受，使得某些口腔治療對患者的吸引力不足。這使得人群中的某些口腔問題，諸如齒列不齊、牙齒缺損、牙齦萎縮、牙菌斑、色素沉著等，因此而未能得到應有的及時治療。
問題二：患者與牙醫之間難以形成口腔治療方案的量化約定，由此帶來醫療糾紛風險。比如：在牙齒矯正治療過程中，有時需要略做片切（interproximal stripping）操作。片切也叫「鄰面去釉」，把牙齒鄰面磨掉一點點，使牙齒略微變窄，騰出空間，從而為牙齒矯正提供必要的空隙。這裡的「磨掉一點點」是很有講究的，片切的時間、位置、片切量，都需要專業的設計和精准的操作，通常，單顆牙的片切量要嚴格控制（在0.2–0.5 mm以內），否則會造成很多負面問題，包括因鄰面去釉引發牙齒敏感、片切後鄰面容易被蛀牙等。但是，患者對於片切操作的位置和片切量沒有直觀感受，牙醫往往也不把片切操作的具體位置和片切量事先告知患者。因此，片切操作容易成為醫患溝通的盲點。少數醫療機構可能利用這個醫患溝通的盲點，在牙齒矯正治療後期的維持器階段，對患者擅自進行不可逆的大幅片切操作，造成患者牙齒容易敏感乃至功能受損，由此進一步誘導患者進行貼面或美容冠治療。由此，通過誘導患者過度醫療，達到賺取高額醫療費的目的。
根據本發明揭露的各種實施例，提供一種牙齒虛擬編輯方法、系統、電腦設備和儲存媒體。
本發明的第一方面，提供了一種牙齒虛擬編輯方法，所述方法包括：
步驟S1、構建人類口腔的三維圖像基礎資料庫；
步驟S2、獲取用戶口腔的三維圖像資料，基於保存的三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及
步驟S3、基於建立的當前用戶的對象標註體系，對所述對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像。
本發明的第二方面，提供了一種牙齒虛擬編輯系統，包括：
三維圖像基礎資料庫，基於人類口腔大數據建立；
圖像資料採集模組，用於採集並獲取用戶口腔的三維圖像資料，並發送給圖像模式識別模組；
模式識別模組，接收所述圖像資料採集模組發送的三維圖像資料，調取系統的基礎資料庫，識別該三維圖像資料所屬的對象；
虛擬編輯模組，根據識別出的對象，對該對象進行虛擬編輯；及
顯示模組，對編輯後的用戶牙齒的三維圖像進行外觀展示。
本發明的第三方面，提供了一種電腦設備，包括存儲器和一個或多個處理器，所述存儲器中儲存有電腦可讀指令，所述電腦可讀指令被所述處理器執行時，使得所述一個或多個處理器執行以下步驟：
步驟S1、構建人類口腔的三維圖像基礎資料庫；
步驟S2、獲取用戶口腔的三維圖像資料，基於保存的三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及
步驟S3、基於建立的當前用戶的對象標註體系，對所述對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像。
本發明的第四方面，提供了一個或多個存儲有電腦可讀指令的非揮發性儲存媒體，電腦可讀指令被一個或多個處理器執行時，使得一個或多個處理器執行以下步驟：
步驟S1、構建人類口腔的三維圖像基礎資料庫；
步驟S2、獲取用戶口腔的三維圖像資料，基於保存的三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及
步驟S3、基於建立的當前用戶的對象標註體系，對所述對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像。
本發明的一個或多個實施例的細節在下面的圖式和描述中提出。本發明的其它特徵和優點將從說明書、圖式以及申請專利範圍變得明顯。
為了使本發明的技術方案及優點更加清楚明白，以下結合圖式及實施例，對本發明進行進一步詳細說明。應當理解，此處描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
本發明的主要目的是提供給用戶一種可視化的牙齒虛擬編輯方法，使得用戶能夠自主對牙齒相關部位進行虛擬編輯操作，並展示操作實施之後的外觀效果。牙科醫生或牙科手術機器人則可按照系統預先設定的編輯項目清單資訊，對患者的牙齒進行人工操作或程序化自動操作，把虛擬編輯內容變成現實的手術操作。
本發明提供的牙齒虛擬編輯方法，可以應用於如圖1所示的應用環境中。牙科手術機器人11與機器人控制器12通過電纜連接，機器人控制器12可給牙科手術機器人11提供控制信號和動力。牙科手術機器人11可以安裝有口腔內視鏡13，口腔內視鏡13可以包括內視鏡主體，內視鏡主體上設置有拍攝鏡頭、補光燈與溫度感應器等器件。機器人控制器12可與終端14通過有線或者無線的方式連接。終端14可以但不限於是各種個人計算機、筆記本電腦、智能手機、平板電腦和可攜式可穿戴設備。需要說明的是，本發明提供的牙齒虛擬編輯方法的應用環境並不限於圖1所示的應用環境，例如，還可以是應用於包括口腔內視鏡和終端的系統中，或者應用於包括口腔內視鏡、終端和服務器的系統中，該服務器可以用獨立的服務器或者是多個服務器組成的服務器群集來實現，可以是雲端服務器。此外，圖1中的牙科手術機器人11、機器人控制器12和終端13可以為一體化設備，統稱為牙科手術機器人。
在其中一個實施例中，參照圖2所示，提供一種牙齒虛擬編輯方法，以該方法應用於圖1中的終端為例進行說明，包括如下步驟：
步驟S1、構建人類口腔的三維圖像基礎資料庫；
步驟S2、獲取用戶口腔的三維圖像資料，基於保存的三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；該對象包括：區塊和／或實體; 其中，該區塊根據口腔不同部位的曲面圖像劃分形成，該實體包括：由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的各牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體。
步驟S3、基於建立的當前用戶的口腔標註體系，對該對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像。
本發明實施例中，對該對象的編輯既包括對區塊進行的編輯，或者，僅僅對實體進行的編輯，還包括對區塊及實體同時編輯。當對區塊進行編輯時，直接獲取的圖像資料的是該用戶口腔的曲面圖像，當對實體進行編輯時，直接獲取的圖像資料是該用戶口腔的牙齒或齒列的三維實體圖像。
在其中一個實施例中，該步驟S2進一步包括：
步驟S21、首先，對該三維圖像資料進行圖像模式識別，識別出該三維圖像資料所屬的區塊，輸出識別結果，建立用戶口腔的區塊標註體系；
步驟S22、然後，根據該區塊標註體系中的各區塊的圖像資訊以及區塊相互間的空間關係，建立涵蓋用戶牙齒的實體標註體系。
也就是說，先依據曲面圖像進行區塊劃分，形成區塊及該區塊的標註體系，然後給予劃分的區塊，及各個區塊的圖像資訊和相互間的空間關係，形成實體及該實體的實體標註體系。該實體既包括單獨的各顆牙齒，也包括由各顆牙齒排列組成的齒列。
下面來對本發明實施例的上述步驟進行詳細說明。
在步驟S1中，人類口腔的三維圖像基礎資料庫，基於人類口腔的各種情況進行構建，該三維圖像基礎資料庫存儲了不同場景下的人類口腔的三維圖像模型的通用框架資料。這些場景包括成年人的健康口腔正常場景、口腔髒汙場景、口腔病理場景、口腔畸形場景、口腔外傷場景、乳牙向恆齒成長的替牙期場景，也包括兒童的健康口腔正常場景、口腔髒汙場景、口腔病理場景、口腔畸形場景、口腔外傷場景、乳牙萌出期場景。
此處的成年人和兒童，還可包含不同年齡階段，比如可以將成年人分為18~28周歲，28周歲以上等，未成年人可以分為2周歲之前，2周歲以上等等，當然不限於上述劃分方式。
在步驟S2中，對用戶口腔表面（至少包含全部齒列部位）做三維全彩掃描，獲取用戶涵蓋整個口腔表面的空間佈局及數位化三維全彩曲面圖像資料，掃描可採用口腔內窺器進行，當然針對特定的部位，也可以進行部分掃描，也即只獲取需要編輯的部位的三維曲面圖像。本實施例中，用戶全口牙齒的空間佈局不僅包括各個牙齒之間的相互空間位置關係，還包括上、下齒列的咬合關係。在包含齒列咬合關係的區塊標註體系中，上齒列某些區塊的標註資訊中，除了包含本區塊與上齒列鄰接區塊相互之間的空間位置關係資訊，還包含本區塊與下齒列鄰接區塊相互之間的空間位置關係資訊；下齒列某些區塊的標註資訊中，除了包含本區塊與下齒列鄰接區塊相互之間的空間位置關係資訊，還包含本區塊與上齒列鄰接區塊相互之間的空間位置關係資訊。獲取咬合關係的過程包括咬合和張開狀態兩種情況，當用戶上下齒列處於咬合狀態時，也即上下齒列相抵時，對用戶口腔進行掃描，至少從口腔前庭一側對用戶齒列的唇頰側進行全面掃描，由此獲取上、下齒列的咬合時的圖像，通過咬合時的圖像能判斷上下齒列間的空間位置，進而判斷上下齒列是否對齊；當用戶上下齒列處於張開狀態時，也即上下齒列分開時，也對用戶口腔進行掃描，由此獲取用戶牙齒的切面和咬合面、以及舌側和齶側的三維全彩圖像，如此來判斷各排齒列是否整齊。此處的掃描包括從口腔內和口腔外分別進行掃描。
在獲得口腔表面的數位化三維全彩圖像後，基於圖像模式識別模組和系統保存的三維圖像基礎資料庫，對用戶齒列的數位化三維全彩模型進行圖像模式識別，從而可以識別出模型中的牙齒各個部位所屬的區塊，並把識別結果用圖像的區塊標註資訊的形式予以輸出，通過全彩掃描尤其能較好的識別出。根據識別結果，系統給用戶全口牙齒的各個區塊按預先確定的規則賦予區塊名稱及相應的區塊編號，並獲取各區塊相應的空間佈局資料（該區塊所在空間位置及其與其他區塊的銜接邊界）、區塊形狀資料（該區塊的三維曲面形狀資料），由此形成用戶全口牙齒的區塊標註體系。本發明中的區塊根據口腔不同部位的曲面圖像劃分形成。區塊的劃分原理和過程將在後續詳細說明。
在其中一個實施例中，還對用戶的嘴唇在閉合及張開狀態下的嘴唇附近面部和口裂區域進行掃描，並獲得用戶口裂區域從外部可見的口腔表面圖像，基於保存的三維圖像基礎資料庫，對用戶口裂區域可見的口腔圖像進行圖像模式識別，識別出口裂區域可見的口腔表面所屬的區塊，並輸出識別結果，建立用戶面部及口裂區域的區塊標註體系。
本實施例中，對面部的嘴唇和口裂區域的掃描包含兩種情形，即嘴唇為閉合平靜狀態，以及張嘴露開牙齒狀態，其中，張嘴露牙狀態下，還可以進一步分為微笑狀態和張嘴大笑狀態下兩種，閉合狀態下，看不到齒列，微笑狀態下，露出出了小部分牙齒（如：主要是上齒列的門牙唇側表面），張嘴大笑狀態下，露出大部分牙齒表面。
孤立地對口腔內的牙齒進行掃描識別，只能識別出各個牙齒是否存在問題，比如牙齒咬合面有齲洞、牙齦溝紅腫、牙菌斑、缺牙等一些常見的牙齒問題，但是無法識別出比如齙牙、地包天、天包地等牙齒空間位置關係方面的問題，這些問題得從咬合狀態下的上下齒列相對位置關係或從口腔外部的面部區域掃描來判斷，故本發明設置了用戶上下齒列處於咬合狀態時的掃描，以及對面部嘴唇和口裂區域的掃描，如此則能識別判斷出是否屬於前述涉及的齙牙、地包天、天包地等牙齒空間位置關係方面的問題，更能準確識別出用戶不同情形下的牙齒問題。
在步驟S22中，根據用戶口腔表面的數位化三維全彩圖像和建立的多個相互銜接的區塊形成的區塊體系，建立涵蓋用戶各個牙齒的牙齒實體標註體系。牙齒實體，由若干與牙齒部位關聯的區塊圍合而成，呈三維體狀。系統給每一顆牙齒實體都賦予相應的牙齒實體標註資訊，該牙齒實體標註資訊由與各牙齒關聯的相互銜接的多個區塊及區塊標註資訊而建立。牙齒實體標註資訊包括按預先確定的規則賦予的牙齒實體名稱、相應的牙齒實體編號，相應的空間佈局資料（該牙齒實體所在空間位置及其與其他牙齒實體的銜接邊界）、牙齒實體形狀資料（合圍成該牙齒實體的三維曲面形狀資料），由此形成涵蓋用戶全口牙齒的牙齒實體標註體系。
在步驟S22中，根據獲取的用戶的數位化三維全彩圖像、區塊體系、涵蓋用戶全口牙齒的牙齒實體標註體系，建立用戶上、下齒列的齒列實體標註體系。
用戶上齒列的三維齒列實體由用戶上齒列的各個牙齒實體、牙齒實體間的縫隙和用戶上頜牙槽脊的各個牙齦區塊圍合而成。用戶下齒列的三維齒列實體由用戶下齒列的各個牙齒實體、牙齒實體間的縫隙和用戶下頜牙槽脊的各個牙齦區塊圍合而成。
系統給上齒列實體和下齒列實體賦予相應的齒列實體標註資訊。齒列實體標註資訊包括按預先確定的規則賦予的齒列實體名稱（例如為上齒列或下齒列）、相應的齒列實體編號（比如1為上，2為下）、相應的空間佈局資料，也即用戶上、下齒列咬合時的相對位置關係、齒列實體圖像資料，也即合圍成該齒列的三維曲面圖像資料，由此形成涵蓋用戶上齒列和下齒列的齒列實體標註體系。
在步驟S3中，基於當前建立的區塊標註體系及實體標註體系，對操作對象進行編輯，並展示更新後的牙齒的三維圖像。
由於用戶的口腔三維曲面被劃分為多個區塊及實體，一方面，用戶可根據個人喜好對自己的牙齒進行虛擬編輯，另一方面，經過系統基於三維圖像基礎資料庫通過圖像模式識別得出的問題對象，也即存在病理問題的區塊或牙齒實體、齒列實體，予以標註，對問題對象進行編輯，並展示更新後的牙齒的三維圖像。其中，該編輯根據系統中存儲的基礎資料庫中存儲的編輯項目清單資訊來進行，所述編輯項目清單資訊包括：操作對象的編號、編輯內容以及編輯後的外觀圖像，根據操作對象的編號能夠判斷出是對哪個區域的哪個部位進行的編輯，編輯內容就是對該操作對象進行的編輯動作以及編輯參數。本實施例中，所述編輯動作可包括：祛除區塊上的牙菌斑、祛除區塊上的牙結石、祛除區塊上的色素、區塊的曲面形狀修復、牙齒實體的旋轉、牙齒實體的移動、牙齒實體的片切、牙齒實體的貼片或美容冠、牙齒實體的嵌體修復等等；所述參數設置包括：該編輯動作具體的量化數值參數及取值範圍，比如平移的距離，旋轉的角度，片切的深度，祛除的面積等等。
本發明基於構建完成的人類口腔三維圖像基礎資料庫，通過對掃描獲取的用戶口腔的三維圖像資料進行圖像模式識別，從而把存在病理問題的三維曲面圖像資料或三維實體圖像資料歸類到特定的區塊或實體並予以標註，由此完成牙齒病理問題發現的過程。
具體在本實施例中，所述人類口腔的三維圖像基礎資料庫存儲有三類資料，第一類資料為人類口腔表面各區域的三維曲面圖像資料，第二類資料為人類口腔的三維實體圖像資料，第三類資料為對操作對象（區塊和實體）進行編輯的編輯項目清單資訊。
第一類資料，人類口腔表面各區域的三維曲面圖像資料，面向區塊標註體系建立。該三維曲面圖像資料包括預劃分的三維圖像及該圖像所屬區塊的標註資訊，所述三維曲面圖像被預劃分成多個相互銜接的區塊，每一個區塊被建立各自的標註資訊，所述標註資訊包含該區塊的圖像資訊、相鄰區塊間的空間位置關係，以及在咬合狀態下上齒列的某區塊與其鄰接的下齒列相應區塊相互間的空間位置關係、下齒列的某區塊與其鄰接的上齒列相應區塊相互間的空間位置關係。
在其中一個實施例中，在劃分區塊時，可以將口腔表面的三維圖像直接劃分成各個區塊，當然，在劃分區塊時，也可以先劃分出區域，然後在每一個區域中劃分各個區塊，也就是說，先將口腔表面劃分為一系列相互交接的區域，再將區域的曲面圖像劃分為相互銜接的一或多個區塊。這樣劃分效率更高，本發明實施例中，對此並不進行限制。
下面以先進行區域劃分來進行具體說明。
a、區域。
在其中一個實施例中，區域的劃分，可以根據口腔中各部分的功能進行劃分。並且，各個區域也至少有一個編號資訊。
例如，可以將用戶的全口牙齒表面劃分為6個區域，分別為：左咬合間隙區域、右咬合間隙區域、上齒列區域、下齒列區域、上頜牙槽脊底面區域、下頜牙槽脊頂面區域。其中，每個區域對應一個編號資訊，例如，分別依次為1、2、3、4、5、6。
具體地，對於口腔表面區域的劃分，本發明實施例中，並不進行限制，目的是將口腔表面劃分為各個可以區分的區域，並且各個區域可以相接組成完整的口腔表面。
b、區塊。
在其中一個實施例，在劃分區塊時，遵循的原則是：一個區塊的內部儘量為單一紋理、儘量單一顏色，且儘量接近平面。其中，區塊的面積大小、具體形狀，本發明實施例中，並不進行限制，可以綜合考慮三維圖像的精度要求和計算量要求予以確定。
在其中一個實施例中，對每一個區塊與其他區塊之間的表面相接關係和相對空間位置關係做了系統化的梳理和描述，每一個區塊都有自己唯一的標籤（例如，名稱及其編號）和相關圖像特徵資訊等，建立了完整的區塊標註體系，可以很快找到每個區塊，並且，可以獲知每個區塊的圖像特徵資訊。
其中，每一個區塊被建立各自的標註資訊，該標註資訊包含該區塊的圖像資訊、同一齒列的相鄰區塊間的空間位置關係，以及在咬合狀態下的上齒列的區塊與其鄰接的下齒列相應區塊間的空間位置關係、下齒列的區塊與其鄰接的上齒列相應區塊間的空間位置關係，還可以包含區塊名稱資訊、檔案屬性描述資訊等。其中，區塊的圖像資訊包含：區塊的圖像編號和圖像特徵資訊，還可以包含區塊的三維曲面圖像的樣本實例資訊，圖像特徵資訊包含每一個區塊的形狀特徵、色彩特徵、紋理特徵、邊界特徵等資訊。
例如，對於編號為3的上齒列區域，可以劃分為很多個區塊，比如：區塊（3.1.1），左上1牙齒近中面區塊。區塊（3.1.2），左上1牙齒唇側面區塊。
同樣地，本發明實施例中，對於區域中的區塊的劃分，也不進行限制，可以根據實際情況進行劃分，保證各個區塊可以組成完整的相應的區域。
也就是說，本發明實施例中，構建的三維圖像框架資料庫，不僅對口腔進行了區域和區塊的劃分，還建立了區塊的標註體系，可以很準確地標示口腔中的各個位置，便於進行三維圖像匹配和重構。並且，這使得本發明的圖像處理裝置在對接收到的圖像資料進行處理的過程中，能獲取從內窺器接收到的圖像資料的語義資訊，為採用人工智能技術開展口腔內窺影像檢查創造條件。
關於區塊的標註，可參閱圖3所示，圖2示出了在掃描獲取的圖像上，標註出的若干區塊。包含：左上1牙齒唇側區塊A、左上3牙齒唇側牙齦溝區塊B、左上5近中鄰面區塊C、右下2牙齒近中鄰面區塊D、右下6牙齒咬合面區塊E。
第二類資料，人類口腔的三維實體圖像資料，面向實體標註體系建立。該三維實體圖像資料包含相應實體的標註資訊，所述標註資訊包含該實體的三維圖像資料、相鄰實體間的空間位置關係，以及在咬合狀態下的上齒列的某實體與其鄰接的下齒列相應實體相互間的空間位置關係、下齒列的某實體與其鄰接的上齒列相應實體相互間的空間位置關係。實體包含：由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的各牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體（含上齒列實體和下齒列實體）。
舉例來說，每一顆上前牙的三維牙齒實體由該顆牙齒的相關唇側面區塊、唇側牙齦溝區塊、齶側面區塊、齶側牙齦溝區塊、近中鄰面區塊、近中鄰面牙齦溝區塊、遠中鄰面區塊、遠中鄰面牙齦溝區塊、切面區塊所屬的三維曲面圖像圍合而成。每一顆下臼齒的三維牙齒實體由該顆牙齒的相關頰側面區塊、頰側牙齦溝區塊、舌側面區塊、舌側牙齦溝區塊、近中鄰面區塊、近中鄰面牙齦溝區塊、遠中鄰面區塊、遠中鄰面牙齦溝區塊、咬合面區塊所屬的三維曲面圖像圍合而成。
隨著本發明方法和系統的普及使用，本發明的人類口腔的三維圖像基礎資料庫還可以進行不斷更新和擴展，例如，可以增加新的口腔病理場景下的對象及其標註資訊，或增加新的口腔外傷場景下的對象及其標註資訊，該標註資訊包含該區塊的三維圖像資料、相鄰區塊間的空間位置關係等資料。這樣，可以進一步提高匹配的準確性。具體來說，當系統基於當前的基礎資料庫無法識別出掃描得到的圖像資料時，系統將所述圖像上傳到雲端服務器，由人工進行識別，填寫標註資訊，然後根據識別結果和標註資訊對所述基礎資料庫進行更新，並可通過基於大數據的AI訓練算法對圖像模式識別模組進行疊代訓練，使得資料匹配越來越準確。
第三類資料，為對操作對象（區塊和實體）進行編輯的編輯項目清單資訊。所述編輯項目清單資訊包括：操作對象的編號、編輯內容以及編輯後的外觀圖像，所述編輯內容包含對操作對象的編輯動作及該編輯動作的參數設置。所述編輯動作包括：祛除區塊上的牙菌斑、祛除區塊上的牙結石、祛除區塊上的色素、區塊的曲面形狀修復、牙齒實體的旋轉、牙齒實體的移動、牙齒實體的片切、牙齒實體的貼片或美容冠、牙齒實體的嵌體修復等；所述參數設置包括：該編輯動作具體的量化數值參數及取值範圍，比如平移的距離，旋轉的角度，片切的深度，祛除的面積等等。系統對每一個對象（區塊和實體）都給出了該對象可行的、量化的項目清單資訊，用戶在給定的參數範圍內進行編輯操作，並展示編輯操作後新的外觀效果。通過面向對象的虛擬編輯操作，能讓用戶（消費者、醫生）自主確定操作部位和操作的量化數值，並向用戶展示操作實施之後的外觀效果，實現人機交互功能。虛擬編輯的對象，包括全部的區塊及實體，實體還包含牙齒實體及齒列實體。通過對口腔中的對象進行虛擬編輯操作，用戶可以對口腔進行虛擬修復、虛擬牙齒矯正、虛擬美化等虛擬治療操作。而虛擬編輯操作能輸出具體操作部位、具體操作方向和相應量化數值，以及操作實施之後的對象外觀（含對象外觀的齒列三維全彩模型）。
比如，通過三維全彩掃描，系統檢測某用戶牙齒圖像的右下5牙齒牙體，牙齦溝處存在牙菌斑M，咬合面上有一個齲洞N，右下5牙齒牙體太靠近右下4牙齒牙體，如圖4所示。如此，系統在經過匹配後，對上述存在的三處問題根據示出的項目清單資訊進行編輯，具體包括牙齒的右移、齲洞修復、牙菌斑祛除等操作，還可以包括對牙齒的美白等操作，得到修復之後的外觀，如圖5所示。牙科醫生或牙科手術機器人則可根據系統預先設定的編輯內容對用戶牙齒進行現實的手術操作。
其中，對於人工識別後在基礎資料庫中新增對象及其標註資訊的情況，則由人工操作在基礎資料庫中增補該對象的編輯項目清單資訊，對於人工識別後未新增對象而僅在基礎資料庫中對原有對象的標註資訊進行修訂的情況，則由人工操作確定是否在基礎資料庫中對該原有對象的原有編輯項目清單資訊進行適應性修訂。具體來說，對於新增的識別對象（區塊或實體），則需對應的在基礎資料庫中新增該對象的編輯項目清單資訊，而如果僅僅是對原有對象的標註資訊（比如圖像樣本資料、圖像特徵資訊）進行了新增，則可由人工進行分析，決定是否需在基礎資料庫中對該對象的原有編輯項目清單的內容進行適應性修訂，若需修訂，則對項目清單資訊做適應性修訂，當基礎資料庫中的編輯項目清單資訊更新後，能夠使得編輯內容更豐富，編輯功能更強大。
應該理解的是，雖然圖2的流程圖中的各個步驟按照箭頭的指示依次顯示，但是這些步驟並不是必然按照箭頭指示的順序依次執行。除非本文中有明確的說明，這些步驟的執行並沒有嚴格的順序限制，這些步驟可以以其它的順序執行。而且，圖2中的至少一部分步驟可以包括多個子步驟或者多個階段，這些子步驟或者階段並不必然是在同一時刻執行完成，而是可以在不同的時刻執行，這些子步驟或者階段的執行順序也不必然是依次進行，而是可以與其它步驟或者其它步驟的子步驟或者階段的至少一部分輪流或者交替地執行。
參照圖6所示，本發明的另一實施例，揭露了一種牙齒虛擬編輯系統，其中，該系統包含：三維圖像基礎資料庫、圖像資料採集模組、模式識別模組、虛擬編輯模組和顯示模組。
三維圖像基礎資料庫，基於人類口腔大數據建立；該人類口腔三維圖像基礎資料庫存儲有不同場景下的人類牙齒的三維圖像資料，以及對相關對象進行編輯的項目清單資訊。
圖像資料採集模組，用於採集並獲取用戶口腔的三維圖像資料，並發送給圖像模式識別模組。
模式識別模組，接收所述圖像資料採集模組發送的三維圖像資料，調取系統的基礎資料庫，識別該三維圖像資料所屬的對象；該對象既包含區塊，也包含實體；其中，區塊根據口腔不同部位的曲面圖像劃分形成，實體包括：由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的各牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體。
虛擬編輯模組，根據識別出的對象，對該對象進行虛擬編輯；編輯既可以針對區塊，也可以針對實體。此處的區塊根據口腔不同部位的曲面圖像劃分形成，所述實體包括：由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的各牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體。
顯示模組，對編輯完成後的用戶牙齒的三維圖像進行外觀展示，使用戶直觀感受自己的牙齒的變化。
模式識別模組可以根據基礎資料庫中區塊和實體的標註資訊對用戶口腔的三維圖像資料進行模式識別並確定該三維圖像資料所屬的區塊編號或實體編號。而虛擬編輯模組可以根據區塊或實體的編號資訊索引到某個區塊或實體，從而快速獲知該區塊或實體的圖像資訊等資訊並調用基礎資料庫中該區塊或實體的編輯項目清單資訊，以實現對牙齒的編輯操作。
本系統還包含有雲端服務器，其分別連接所述模式識別模組和三維圖像基礎資料庫，其中，當模式識別模組無法識別出圖像資料採集模組發送的圖像資料時，將該圖像資料發送給雲端服務器，通過人工進行識別，填寫標註資訊，修訂編輯項目清單資訊，然後根據人工識別結果、標註資訊、編輯項目清單資訊對所述基礎資料庫進行更新。具體來說，對於新增的對象（區塊或實體），則需對應的新增該對象的編輯項目清單資訊，而如果僅僅是對原有對象的圖像樣本進行新增，則可由人工進行分析，決定是否需對該對象的原有編輯項目清單的內容進行適應性修訂，根據實際情況可修訂亦可不修訂。當三維圖像基礎資料庫更新後，雲端服務器基於更新後的基礎資料庫，對模式識別模組進行疊代訓練。之後，雲端服務器把系統中部署的各模式識別模組更新為模式識別模組的訓練後版本，使得資料匹配越來越準確。當基礎資料庫中的編輯項目清單資訊更新後，能夠使得虛擬編輯模組從資料庫調取的編輯內容更豐富，編輯功能更強大。
上述系統用以執行本發明實施例中的上述方法，本實施例中系統未詳盡之處，請參閱上一實施例的方法的描述。
本發明根據用戶口腔的圖像資料和用戶全口牙齒的形狀和佈局，提供日常化的口腔健康人工智能檢查功能，及時發現健康隱患。提供對牙齒模型做虛擬治療操作的虛擬編輯功能，確定量化數值、展示外觀效果。並提供對齒列模型做虛擬治療操作的人機交互功能，確定量化數值、展示外觀效果。之後，通過對患者的牙齒進行人工操作或程序化自動操作，能夠把虛擬編輯內容變成現實的手術操作。
本實施例的一個或者幾個實施例方案，通過獲取日常化的口腔內部光學影像資料，基於人類口腔三維圖像基礎資料庫和模式識別算法，對各種病理徵兆進行自動化的智能診斷，從而及時發現口腔齒列存在的健康隱患、避免貽誤病情。
本實施例的一個或者幾個實施例方案，為用戶提供對齒列模型進行虛擬治療操作的功能，如：虛擬修復、虛擬牙齒矯正、虛擬美化，並能為用戶提供治療操作的操作部位和相應量化數值，並向用戶展示操作實施之後的外觀效果。這使得牙科患者與牙科大夫之間的醫患溝通可以更加揭露、透明、準確、順暢、便捷。
本實施例的一個或者幾個實施例方案，也便於牙科臨床對接牙科手術機器人。本發明使得牙科手術機器人能按照系統預先設定的編輯內容（對操作對象的編輯動作及該編輯動作的參數設置），對患者的牙齒進行程序化自動操作，把虛擬編輯內容變成現實的手術操作。
在一個實施例中，提供了一種電腦設備，該電腦設備可以是終端，其內部結構圖可以如圖7所示。該電腦設備包括通過系統總線連接的處理器、存儲器、網路接口、螢幕和輸入裝置。其中，該電腦設備的處理器用於提供計算和控制能力。該電腦設備的存儲器包括非揮發性儲存媒體、內存儲器。該非揮發性儲存媒體存儲有操作系統和電腦可讀指令。該內存儲器為非揮發性儲存媒體中的操作系統和電腦可讀指令的運行提供環境。該電腦設備的網路接口用於與外部的終端通過網路連接通信。該電腦可讀指令被處理器執行時以實現一種牙齒虛擬編輯方法。該電腦設備的螢幕可以是液晶螢幕或者電子墨水螢幕，該電腦設備的輸入裝置可以是螢幕上覆蓋的觸摸層，也可以是電腦設備外殼上設置的按鍵、軌跡球或觸控板，還可以是外接的鍵盤、觸控板或滑鼠等。
本領域技術人員可以理解，圖7中示出的結構，僅僅是與本發明方案相關的部分結構的方塊圖，並不構成對本發明方案所應用於其上的電腦設備的限定，具體的電腦設備可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件佈置。
一種電腦設備，包括存儲器和一個或多個處理器，存儲器中存儲有電腦可讀指令，電腦可讀指令被處理器執行時實現本發明任意一個實施例中提供的牙齒虛擬編輯方法的步驟。
一個或多個存儲有電腦可讀指令的非揮發性儲存媒體，電腦可讀指令被一個或多個處理器執行時，使得一個或多個處理器實現本發明任意一個實施例中提供的牙齒虛擬編輯方法的步驟。
上述說明示出並描述了本發明的若干推薦實施例，但如前所述，應當理解本發明並非局限于本文所披露的形式，不應看作是對其他實施例的排除，而可用於各種其他組合、修改和環境，並能夠在本文所述發明構想範圍內，通過上述指導或相關領域的技術或知識進行改動。而本發明所屬技術領域中具有通常知識者所進行的改動和變化不脫離本發明的精神和範圍，則都應在本發明所附申請專利範圍的保護範圍內。
11:牙科手術機器人 12:機器人控制器 13:口腔內視鏡 14:終端 S1~S3:步驟 A~E:區塊 M:牙菌斑 N:齲洞
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例中所需要使用的圖式作簡單地介紹，顯而易見地，下面描述中的圖式僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出進步性勞動的前提下，還可以根據這些圖式獲得其它的圖式。 圖1為根據一個或多個實施例中牙齒虛擬編輯方法的應用場景圖。 圖2為根據一個或多個實施例中牙齒虛擬編輯方法的流程示意圖。 圖3為根據一個或多個實施例中的部分區塊選定和標註的示意圖。 圖4為根據一個或多個實施例中的掃描獲取某用戶齒列的存在病理問題的照片效果圖。 圖5為根據一個或多個實施例中的虛擬編輯後的照片效果圖。 圖6為根據一個或多個實施例中的一種牙齒虛擬編輯系統的結構原理圖。 圖7為根據一個或多個實施例中電腦設備的方塊圖。
11:牙科手術機器人
12:機器人控制器
13:口腔內視鏡
14:終端

Claims (18)

  1. 一種牙齒虛擬編輯方法，包括：步驟S1、構建人類口腔的三維圖像基礎資料庫；步驟S2、獲取用戶口腔的三維圖像資料，基於保存的該三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及步驟S3、基於建立的當前用戶的該對象標註體系，對該對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像，其中，該對象包括至少一實體，該實體包括由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體；且該對該對象進行虛擬編輯包括：對該牙齒實體之至少一者進行虛擬編輯，及/或對該齒列實體之至少一者進行虛擬編輯。
  2. 如請求項1所述之牙齒虛擬編輯方法，其中該對象更包括區塊，該區塊根據口腔不同部位的曲面圖像劃分形成；且該對該對象進行虛擬編輯更包括：對該區塊進行虛擬編輯。
  3. 如請求項2所述之牙齒虛擬編輯方法，其中該步驟S2進一步包括：步驟S21、對該三維圖像資料進行圖像模式識別，先識別出該三維圖像資料所屬的區塊，輸出識別結果，建立用戶口腔的區塊標註體系；及 步驟S22、根據該區塊標註體系中的各區塊的圖像資訊以及區塊相互間的空間關係，建立涵蓋用戶牙齒的實體標註體系。
  4. 如請求項3所述之牙齒虛擬編輯方法，其中該人類口腔的該三維圖像基礎資料庫，存儲有涵蓋人類口腔表面各區域的三維曲面圖像資料和三維實體圖像資料，以及對該對象進行編輯的編輯項目清單資訊。
  5. 如請求項4所述之牙齒虛擬編輯方法，其中該編輯項目清單資訊包括：編輯對象的編號、編輯內容以及編輯後的外觀圖像，其中，該編輯內容包含對操作對象的編輯動作及該編輯動作的參數設置。
  6. 如請求項5所述之牙齒虛擬編輯方法，其中該編輯動作包括：祛除區塊上的牙菌斑、祛除區塊上的牙結石、祛除區塊上的色素、區塊的曲面形狀修復、牙齒實體的旋轉、牙齒實體的移動、牙齒實體的片切、牙齒實體的貼片或美容冠、牙齒實體的嵌體修復；該參數設置包括：該編輯動作具體的量化數值參數及取值範圍。
  7. 如請求項4所述之牙齒虛擬編輯方法，其中獲取用戶口腔牙齒的三維圖像資料包括：對用戶口腔進行三維全彩掃描，獲取用戶牙齒的空間佈局及其表面三維全彩曲面圖像，該空間佈局包括各牙齒相互間的關係，以及上、下齒列在咬合狀態下的咬合關係。
  8. 如請求項7所述之牙齒虛擬編輯方法，其中還對用戶嘴唇在閉合及張開狀態下的嘴唇附近面部和口裂區域進行掃描，並獲得用戶口裂區域從外部可見的口腔表面圖像，基於保存的三維圖像基礎資料庫，對用戶口裂區域可見的口腔圖像進行圖像模式識別，識別出口裂區域可見的口腔表面所屬的區塊，並輸出識別結果，建立用戶面部及口裂區域的區塊標註體系。
  9. 如請求項8所述之牙齒虛擬編輯方法，其中該三維圖像基礎資料庫預先存儲有多種場景下的人類牙齒的三維曲面圖像資料，該三維曲面圖像被預劃分成多個相互銜接的區塊，每一個區塊被建立各自的標註資訊，該標註資訊包含該區塊的圖像資訊、相鄰區塊間的空間位置關係，以及在咬合狀態下上齒列的某區塊與其鄰接的下齒列相應區塊相互間的空間位置關係、下齒列的某區塊與其鄰接的上齒列相應區塊相互間的空間位置關係；該三維圖像基礎資料庫還預先存儲有不同場景下的人類牙齒的三維實體圖像資料，該三維實體圖像資料包含相應實體的標註資訊，該標註資訊包含該實體的三維圖像資料、相鄰實體間的空間位置關係，以及在咬合狀態下上齒列的某實體與其鄰接的下齒列相應實體相互間的空間位置關係、下齒列的某實體與其鄰接的上齒列相應實體相互間的空間位置關係。
  10. 如請求項9所述之牙齒虛擬編輯方法，其中將該三維曲面圖像預劃分成多個相互銜接的區塊包括：先將口腔表面劃分為一系列相互交接的區域，再將區域的曲面圖像劃分為相互銜接的一或多個區塊。
  11. 如請求項4所述之牙齒虛擬編輯方法，其中基於該三維圖像基礎資料庫，根據預設的圖像模式識別算法，將獲取的圖像資料與該三維圖像基礎資料庫中存儲的相應對象的圖像資料進行匹配，獲取二者的映射關係，根據映射關係，確定用戶牙齒的三維圖像中的問題對象，並對該問題對象進行編輯。
  12. 如請求項4所述之牙齒虛擬編輯方法，其中當基於當前的基礎資料庫無法識別出獲取的圖像資料時，將該圖像資料上傳到雲端服務器，由人工進行識別，填寫標註資訊或者再修訂編輯項目清單資訊，然後根據識別結果、標註資訊、編輯項目清單資訊對該基礎資料庫進行更新。
  13. 如請求項12所述之牙齒虛擬編輯方法，其中對於人工識別後在基礎資料庫中新增對象及其標註資訊的情況，則由人工操作在基礎資料庫中增補該對象的編輯項目清單資訊，對於人工識別後未新增對象而僅在基礎資料庫中對原有對象的標註資訊進行修訂的情況，則由人工操作確定是否在基礎資料庫中對該原有對象的原有編輯項目清單資訊進行適應性修訂。
  14. 一種牙齒虛擬編輯系統，包括：三維圖像基礎資料庫，基於人類口腔大數據建立；圖像資料採集模組，用於採集並獲取用戶口腔的三維圖像資料，並發送給圖像模式識別模組； 模式識別模組，接收該圖像資料採集模組發送的該三維圖像資料，調取系統的基礎資料庫，識別該三維圖像資料所屬的對象；虛擬編輯模組，根據識別出的對象，對該對象進行虛擬編輯；及顯示模組，對編輯後的用戶牙齒的三維圖像進行外觀展示，其中，該對象包括至少一實體，該實體包括由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體；且該對該對象進行虛擬編輯包括：對該牙齒實體之至少一者進行虛擬編輯，及/或對該齒列實體之至少一者進行虛擬編輯。
  15. 如請求項14所述的牙齒虛擬編輯系統，其中該模式識別模組根據基礎資料庫中存儲的圖像資訊對用戶口腔的該三維圖像資料進行模式識別並確定該三維圖像資料所屬的對象編號；該虛擬編輯模組根據對象的編號索引到具體的某個對象，從而獲知該對象的圖像資訊並調用基礎資料庫中該對象的編輯項目清單資訊。
  16. 如請求項14所述的牙齒虛擬編輯系統，其中該系統還包括雲端服務器，該雲端服務器分別連接該模式識別模組和三維圖像基礎資料庫，當該模式識別模組無法識別出圖像資料採集模組發送的圖像資料時，將該圖像資料發送給雲端服務器，由人工進行識別，填寫標註資訊，並修訂編輯項目清單資訊，然後根據識別結果、標註資訊、編輯項目清單資訊對該基礎資料庫進行更新；雲端服務器基於更新後的基礎資料庫，對模式識別模組進行疊代訓練。
  17. 一種電腦設備，包括存儲器及一個或多個處理器，該存儲器中儲存有電腦可讀指令，該電腦可讀指令被該一個或多個處理器執行時，使得該一個或多個處理器執行以下步驟：步驟S1、構建人類口腔的三維圖像基礎資料庫；步驟S2、獲取用戶口腔的三維圖像資料，基於保存的該三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及步驟S3、基於建立的當前用戶的該對象標註體系，對該對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像，其中，該對象包括至少一實體，該實體包括由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體；且該對該對象進行虛擬編輯包括：對該牙齒實體之至少一者進行虛擬編輯，及/或對該齒列實體之至少一者進行虛擬編輯。
  18. 一個或多個存儲有電腦可讀指令的非揮發性計算機可讀儲存媒體，該電腦可讀指令被一個或多個處理器執行時，使得該一個或多個處理器執行以下步驟：步驟S1、構建人類口腔的三維圖像基礎資料庫； 步驟S2、獲取用戶口腔的三維圖像資料，基於保存的該三維圖像基礎資料庫，對該三維圖像資料進行圖像模式識別，識別該三維圖像資料所屬的對象，並建立用戶口腔的對象標註體系；及步驟S3、基於建立的當前用戶的該對象標註體系，對該對象進行虛擬編輯，並展示用戶更新後的牙齒的三維圖像，其中，該對象包括至少一實體，該實體包括由若干與牙齒部位關聯的區塊圍合而成的呈三維體狀的牙齒實體，以及由若干牙齒實體及各牙齒實體間的縫隙組合而成的齒列實體；且該對該對象進行虛擬編輯包括：對該牙齒實體之至少一者進行虛擬編輯，及/或對該齒列實體之至少一者進行虛擬編輯。
TW108119236A 2018-10-10 2019-06-03 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體 TWI728374B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811178300.3A CN109166625B (zh) 2018-10-10 2018-10-10 一种牙齿虚拟编辑方法及系统
CN201811178300.3 2018-10-10

Publications (2)

Publication Number Publication Date
TW202014151A TW202014151A (zh) 2020-04-16
TWI728374B true TWI728374B (zh) 2021-05-21

Family

ID=64877885

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119236A TWI728374B (zh) 2018-10-10 2019-06-03 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體

Country Status (8)

Country Link
US (1) US11450426B2 (zh)
EP (1) EP3786979A4 (zh)
JP (1) JP7244113B2 (zh)
CN (1) CN109166625B (zh)
AU (1) AU2019358161B2 (zh)
SG (1) SG11202012914VA (zh)
TW (1) TWI728374B (zh)
WO (1) WO2020073669A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166625B (zh) * 2018-10-10 2022-06-07 欧阳聪星 一种牙齿虚拟编辑方法及系统
CN109934798A (zh) * 2019-01-24 2019-06-25 深圳安泰创新科技股份有限公司 体内目标物信息标注方法及装置、电子设备、存储介质
CN110334444B (zh) * 2019-07-05 2020-03-20 四川大学 一种天然牙型数据库的构建方法及系统
TWI749909B (zh) * 2020-11-26 2021-12-11 財團法人金屬工業研究發展中心 影像分析系統與影像分析方法
CN114637871B (zh) * 2022-03-23 2024-08-13 安翰科技(武汉)股份有限公司 消化道数据库的建立方法、装置及存储介质
US20240081946A1 (en) * 2022-09-08 2024-03-14 Enamel Pure Systems and methods for dental treatment and remote oversight
KR102657776B1 (ko) * 2023-03-02 2024-04-16 구민경 보철물 디자인 제작 시스템
CN116492082B (zh) * 2023-06-21 2023-09-26 先临三维科技股份有限公司 基于三维模型的数据处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644454A (zh) * 2017-08-25 2018-01-30 欧阳聪星 一种图像处理方法及装置
CN107863149A (zh) * 2017-11-22 2018-03-30 中山大学 一种智能牙医系统
CN108062792A (zh) * 2018-02-11 2018-05-22 苏州笛卡测试技术有限公司 一种基于三维扫描装置的牙科修复设计方法与装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244844A (ja) * 1996-03-05 1997-09-19 Fujitsu Ltd 情報提示システム及び記録媒体
US5975893A (en) 1997-06-20 1999-11-02 Align Technology, Inc. Method and system for incrementally moving teeth
US6249047B1 (en) 1999-09-02 2001-06-19 Micron Technology, Inc. Ball array layout
US6648640B2 (en) * 1999-11-30 2003-11-18 Ora Metrix, Inc. Interactive orthodontic care system based on intra-oral scanning of teeth
US6733289B2 (en) 2001-07-30 2004-05-11 3M Innovative Properties Company Method and apparatus for selecting a prescription for an orthodontic brace
US8843381B2 (en) 2006-04-18 2014-09-23 Align Technology, Inc. Automated method and system for case matching assessment based on geometrical evaluation of stages in treatment plan
EP3593755B1 (en) * 2009-03-20 2021-08-18 3Shape A/S Computer program product for planning, visualization and optimization of dental restorations
DE102011008074A1 (de) * 2011-01-07 2012-07-12 Martin Tank Verfahren und Zahnrestaurationsermittlungssystem zur Ermittlung von Zahnrestaurationen
KR101859774B1 (ko) * 2011-12-27 2018-05-18 한국전자통신연구원 디지털 홀로그래픽 콘텐츠 제작 시스템
US9262853B2 (en) * 2013-03-15 2016-02-16 Disney Enterprises, Inc. Virtual scene generation based on imagery
US9679224B2 (en) * 2013-06-28 2017-06-13 Cognex Corporation Semi-supervised method for training multiple pattern recognition and registration tool models
ES2518665B1 (es) * 2013-11-29 2015-10-13 Dentalliance Network, S.L. Método para la planificación de tratamiento dental
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
WO2017039563A1 (en) 2015-08-28 2017-03-09 Intel IP Corporation Coverage extension techniques for wireless communication networks
CN108601636B (zh) * 2015-12-04 2021-04-27 3 形状股份有限公司 推导用于填充数字牙科图表的牙齿状况信息
CN106562800A (zh) * 2016-05-31 2017-04-19 中国人民解放军第四军医大学 全口腔数字信息采集与保存方法及系统
WO2017218040A1 (en) 2016-06-17 2017-12-21 Carestream Health, Inc. Method and system for 3d cephalometric analysis
CN115869098A (zh) * 2016-07-27 2023-03-31 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪
CN107240343B (zh) * 2017-05-02 2019-10-25 中南民族大学 一种牙齿矫正手术训练方法
CN107252356B (zh) * 2017-05-15 2020-07-24 西安知北信息技术有限公司 一种数字化口腔美学修复方法
US10687917B2 (en) * 2017-07-14 2020-06-23 Dental Smartmirror, Inc. Using immersive photographs to guide placement of orthodontic brackets, and applications thereof
CN109166625B (zh) 2018-10-10 2022-06-07 欧阳聪星 一种牙齿虚拟编辑方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644454A (zh) * 2017-08-25 2018-01-30 欧阳聪星 一种图像处理方法及装置
CN107863149A (zh) * 2017-11-22 2018-03-30 中山大学 一种智能牙医系统
CN108062792A (zh) * 2018-02-11 2018-05-22 苏州笛卡测试技术有限公司 一种基于三维扫描装置的牙科修复设计方法与装置

Also Published As

Publication number Publication date
CN109166625B (zh) 2022-06-07
CN109166625A (zh) 2019-01-08
EP3786979A4 (en) 2022-01-26
TW202014151A (zh) 2020-04-16
JP7244113B2 (ja) 2023-03-22
JP2021524789A (ja) 2021-09-16
US11450426B2 (en) 2022-09-20
AU2019358161A1 (en) 2020-12-03
EP3786979A1 (en) 2021-03-03
US20210241885A1 (en) 2021-08-05
WO2020073669A1 (zh) 2020-04-16
AU2019358161B2 (en) 2022-07-14
SG11202012914VA (en) 2021-01-28

Similar Documents

Publication Publication Date Title
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
US11232573B2 (en) Artificially intelligent systems to manage virtual dental models using dental images
US7156655B2 (en) Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
US8021147B2 (en) Method and system for comprehensive evaluation of orthodontic care using unified workstation
US8469705B2 (en) Method and system for integrated orthodontic treatment planning using unified workstation
EP2134290B1 (en) Computer-assisted creation of a custom tooth set-up using facial analysis
CN107252356B (zh) 一种数字化口腔美学修复方法
US20140379356A1 (en) Method and system for integrated orthodontic treatment planning using unified workstation
CA3054100A1 (en) Method for constructing a restoration
WO2012096312A1 (ja) 口腔内撮影表示システム
WO2016148297A1 (ja) 歯科診療システム及び口腔内カメラ
CN107529968A (zh) 用于观察口腔内部的装置
JP2011521767A (ja) 患者のデジタル画像を用いて特別仕様の歯科補綴装置を設計する方法
US20240024076A1 (en) Combined face scanning and intraoral scanning
RU2610911C1 (ru) Система и способ виртуального прототипирования улыбки на базе тактильного компьютерного устройства
Sakr et al. Digitized dentistry: Technology that peaked up the professionality of dental practitioners
Jain et al. Digitization in prosthodontics: A futuristic approach
Paulose et al. Smartening up with artificial intelligence in dentistry: A review
Shelke et al. APPLICATION OF ARTIFICIAL INTELLIGENCE IN PROSTHODONTICS
Hirunchavarod et al. OPG-SHAP: A Dental AI Tool for Explaining Learned Orthopantomogram Image Recognition
Yu Digital Impression Technology