TW202038253A - 牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置 - Google Patents

牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置 Download PDF

Info

Publication number
TW202038253A
TW202038253A TW109112224A TW109112224A TW202038253A TW 202038253 A TW202038253 A TW 202038253A TW 109112224 A TW109112224 A TW 109112224A TW 109112224 A TW109112224 A TW 109112224A TW 202038253 A TW202038253 A TW 202038253A
Authority
TW
Taiwan
Prior art keywords
target
tooth
image
oral scan
reference point
Prior art date
Application number
TW109112224A
Other languages
English (en)
Other versions
TWI744859B (zh
Inventor
金鎮喆
金鎮柏
Original Assignee
南韓商迪耀股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190042382A external-priority patent/KR102284623B1/ko
Priority claimed from KR1020190042383A external-priority patent/KR102322634B1/ko
Application filed by 南韓商迪耀股份有限公司 filed Critical 南韓商迪耀股份有限公司
Publication of TW202038253A publication Critical patent/TW202038253A/zh
Application granted granted Critical
Publication of TWI744859B publication Critical patent/TWI744859B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/682—Mouth, e.g., oral cavity; tongue; Lips; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Pulmonology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Analysis (AREA)

Abstract

本發明涉及利用牙齒目標的影像整合方法及裝置。本發明一實施例的利用牙齒目標的影像整合方法的特徵在於，包括：在整合對象的口腔掃描影像及電腦斷層掃描（Computed Tomography；CT）影像中分別生成相互隔開的多個基準點的步驟；以及利用口腔掃描影像的基準點（第一基準點）及電腦斷層掃描影像的基準點（第二基準點）來對整合對象的口腔掃描影像與電腦斷層掃描影像進行整合的步驟，上述第一基準點及第二基準點包括對於前齒區域的最前方1個牙齒的基準點和對於臼齒區域的最後方兩側的2個牙齒的基準點，上述第一基準點從作為牙齒的簡化形狀的目標導出。

Description

牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置
本發明涉及如下的方法及裝置，即，在口腔掃描影像（oral scan image）檢測各個牙齒的目標（object）的方法，在對於口腔內部的口腔掃描影像及電腦斷層掃描（Computed Tomography，CT）影像中，可利用各個牙齒的目標來執行口腔掃描影像與電腦斷層掃描影像之間的影像整合。
在牙科領域中，使用多種口腔內部的影像來執行各種手術。這種影像包括口腔掃描影像、電腦斷層掃描影像、核磁共振影像（Magnetic Resonance Image，MRI）等。其中，口腔掃描影像與作為顯示牙齒的內部狀態的三維影像的電腦斷層掃描影像及核磁共振影像不同，是顯示牙齒的白面狀態的三維影像。
另一方面，為了作為用於與電腦斷層掃描影像的影像整合的基準點的使用、種植牙植入位置把握及拱形把握等，在口腔掃描影像中，需要分離檢測各個牙齒。為此，以往，在口腔掃描影像中利用曲率資訊來檢測了各個牙齒。但是，在這種以往檢測方式存在如下問題，即，因牙齒之間的邊界模糊，牙齒及牙齦的曲率資訊類似，而頻頻發生檢測錯誤，不僅如此，基於上述檢測的負荷（load）大，檢測時間及有效性將會降低。
另一方面，在電腦視覺領域中，在不同的時間、測定方式或觀點等拍攝相同對象的情況下，獲取具有不同坐標系的影像，影像整合是指用於將這種不同影像呈現在一個坐標系的處理。
尤其，在牙科領域中，在種植牙等的手術之前，需要執行口腔掃描影像與電腦斷層掃描影像之間的影像整合。在此情況下，所整合的影像可以為通過把握骨組織和神經管位置等來確定最優的種植牙手術位置的重要資料。
但是，在用於口腔掃描影像與電腦斷層掃描影像之間的影像整合的以往方式中，利用使用人員手動指定的各個影像的標記來執行影像整合，或者對包含在各個影像的所有頂點（vertex）之間的距離進行比較來執行影像整合。結果，以往方式存在如下的問題，即，因負荷大，而影像整合的速度將會降低，不僅如此，因不準確的手動標記及頂點的特性，影像整合度變得不準確。
發明所欲解決之問題
為了解決如上所述的現有技術的問題，本發明的目的在於，提供在對於口腔內部的口腔掃描影像中檢測可以與各個牙齒對應的目標的方法。
並且，本發明的目的在於，提供如下的方法及裝置，即，在對於口腔內部的口腔掃描影像及電腦斷層掃描影像中，利用各個牙齒的目標，由此，可以迅速且準確地執行口腔掃描影像與電腦斷層掃描影像之間的影像整合。
只是，本發明所要解決的問題並不局限於以上提及的問題，本發明所屬技術領域的普通技術人員可以從以下的記載明確理解未提及的其他問題。
解決問題之技術手段
用於解決上述問題的本發明一實施例的口腔掃描影像中的牙齒目標檢測方法包括：步驟（1），在學習對象的口腔掃描影像中抽取包括牙齒的關注區域；步驟（2），通過在所抽取的關注區域的多個方向以對於各個牙齒形成目標的學習數據進行學習來生成學習模型；以及步驟（3），利用學習模型來在檢測對象的口腔掃描影像中檢測對於各個牙齒的多個方向的目標。
本發明一實施例的口腔掃描影像中的牙齒目標檢測方法還可包括抽取所檢測的各個目標的位置、中心點及大小資訊的步驟。
本發明一實施例的口腔掃描影像中的牙齒目標檢測方法還可包括在檢測對象的口腔掃描影像顯示所檢測的各個目標的顯示步驟。
上述學習數據可包含各個牙齒的不同的2個以上的方向上的目標，即，各個牙齒的特定方向上的目標。
上述特定方向可包括平面方向和平面方向之外的方向。
本發明一實施例的口腔掃描影像中的牙齒目標檢測方法還可包括形成將對於所檢測的各個牙齒的2個以上的目標作為面包含的三維目標來在檢測對象的口腔掃描影像進行顯示的顯示步驟。
上述顯示步驟可包括在檢測對象的口腔掃描影像一同顯示所檢測的各個目標的位置、中心點及大小資訊中的至少一個和所檢測的各個目標的步驟。
並且，用於解決上述問題的本發明一實施例的利用牙齒目標的影像整合方法，包括：步驟（1），在整合對象的口腔掃描影像及電腦斷層掃描影像中分別生成相互隔開的多個基準點；以及步驟（2），利用口腔掃描影像的基準點（第一基準點）及電腦斷層掃描影像的基準點（第二基準點）來對整合對象的口腔掃描影像與電腦斷層掃描影像進行整合。
上述第一基準點及第二基準點可包括對於前齒區域的最前方1個牙齒的基準點和對於臼齒區域的最後方兩側的2個牙齒的基準點。
上述第一基準點可從作為牙齒的簡化形狀的目標導出。
上述生成步驟可包括：步驟（1），通過在學習對象的口腔掃描影像的多個方向以對於各個牙齒形成目標的學習數據進行學習來生成學習模型；步驟（2），利用所生成的學習模型來在整合對象的口腔掃描影像檢測對於各個牙齒的多個方向的目標；以及步驟（3），在所檢測的目標中選擇基準目標來在所選擇的基準目標生成第一基準點。
上述生成步驟可包括：步驟（1），通過在學習對象的口腔掃描影像的多個方向以對於作為一部分牙齒的相互隔開的n個牙齒（對象牙齒）（只是，n為3以上的自然數）形成各個目標的學習數據進行學習來生成學習模型；步驟（2），利用所生成的學習模型來在整合對象的口腔掃描影像中檢測對於各個對象牙齒的多個方向的目標；以及步驟（3），將所檢測的目標選擇為基準目標，在所選擇的基準目標生成第一基準點。
上述基準目標可包括對於前齒區域的最前方1個牙齒的目標和對於臼齒區域的最後方兩側的2個牙齒的目標。
上述生成步驟還可包括將所選擇的基準目標的中心點選擇為第一基準點的步驟。
本發明一實施例的影像整合裝置包括：（1）存儲部，用於存儲整合對象的口腔掃描影像及電腦斷層掃描影像；以及（2）控制部，在所存儲的口腔掃描影像及電腦斷層掃描影像中分別生成相互隔開的多個基準點之後，利用口腔掃描影像的基準點（第一基準點）和電腦斷層掃描影像的基準點（第二基準點）來對整合對象的口腔掃描影像與電腦斷層掃描影像進行整合。
上述第一基準點及第二基準點可包括對於前齒區域的最前方1個牙齒的基準點和對於臼齒區域的最後方兩側的2個牙齒的基準點。
上述第一基準點可從作為牙齒的簡化形狀的目標導出。
上述控制部可利用通過在學習對象的口腔掃描影像及電腦斷層掃描影像的多個方向以對於各個牙齒形成目標的學習數據進行學習來生成的學習模型，由此在整合對象的口腔掃描影像中檢測對於各個牙齒的多個方向的目標之後，在所檢測的目標中選擇基準目標來在所選擇的基準目標中生成第一基準點。
上述控制部可利用通過在學習對象的口腔掃描影像及電腦斷層掃描影像的多個方向以對於作為一部分牙齒的相互隔開的n個牙齒（對象牙齒）（只是，n為3以上的自然數）形成各個目標的學習數據進行學習來生成的學習模型，由此在整合對象的口腔掃描影像中檢測對於各個對象牙齒的多個方向的目標之後，將所檢測的目標選擇為基準目標來在所選擇的基準目標中生成第一基準點。
對照先前技術之功效
如上所述的本發明具有如下的效果，即，在對於口腔內部的口腔掃描影像中，可以輕鬆地檢測能夠與各個牙齒對應的目標，從而可以提高上述檢測時間及有效性。
並且，本發明具有如下的效果，即，可提供所檢測的各個目標的位置、中心點及大小資訊等的抽取資訊，上述結果抽取資訊可用於與電腦斷層掃描影像的影像整合的基準點、種植牙手術植入位置把握及拱形把握等的作業，從而可以增加使用性，不僅如此，由於抽取資訊的準確性高，從而可以提高對應作業的準確性。
並且，如上所述的本發明具有如下的優點，即，利用可以在對於口腔內部的口腔掃描影像及電腦斷層掃描影像中迅速且準確地抽取的各個牙齒的目標來執行口腔掃描影像與電腦斷層掃描影像之間的影像整合，由此可以提高對應影像整合的速度及準確性。
本發明的上述目的、單元及基於此的效果將通過與附圖有關的以下的詳細說明變得更加明確，由此，本發明所屬技術領域的普通技術人員可以輕鬆實施本發明。並且，在說明本發明的過程中，在判斷為與本發明有關的公知技術的具體說明使本發明的主旨不清楚的情況下，將省略對其的詳細說明。
在本發明中所使用的術語用於說明實施例，而並非用於限定本發明。在本說明書中，只要在文句中並未特別提及，則根據情況，單數型包括複數型。在本說明書中，“包括”、“形成”、“設置”或“具有”等的術語並不排除所提及的結構要素外的一個以上的其他結構要素的存在或追加。
在本說明書中，“或”、“至少一個”等的術語表示一同羅列的單詞中的一個，或者兩個以上的組合。例如，“A或B”、“A及B中的至少一個”可僅包括A或B中的一個，也可以包括A和B兩者。
在本說明書中，如引用的特性、變數或值，在根據“例如”等的說明中，所揭示的資訊可以並不完全一致，本發明多種實施例的方法的實施形態並不局限於包括允許誤差、測定誤差、測定準確度的界限和通常已知的其他因素在內的如變形等效果。
在本說明書中，在一個結構要素與其他結構要素“連接”或“聯接”的情況下，可以與其他結構要素直接連接或聯接，也可以在中間存在其他結構要素。相反，當一個結構要素與其他結構要素“直接連接”或“直接聯接”時，在中間不存在其他結構要素。
在本說明書中，在一個結構要素位於其他結構要素的“上部”或與另一個結構要素“相接觸”的情況下，可以與其他結構要素直接接觸或連接，也可以在中間存在其他結構要素。相反，在一個結構要素位於其他結構要素的“正上方”或與另一個結構要素“直接接觸”的情況下，在中間不存在其他結構要素。說明結構要素之間的關係的其他表現，例如，“～之間”和“直接～之間”等也相同。
在本說明書中，“第一”、“第二”等的術語可用於說明多種結構要素，對應結構要素並不局限於上述術語。並且，上述術語並不用於限定各個結構要素的順序，而是用於區分一個結構要素和其他結構要素。例如，“第一結構要素”可以被命名為“第二結構要素”，類似地，“第二結構要素”也可被命名為“第一結構要素”。
只要沒有其他定義，則在本說明書中所使用的的所有術語的含義可以與本發明所屬技術領域的普通技術人員共同理解的含義相同。並且，只要並未明確特別定義，通常使用的詞典定義的術語不能被異常或過度解釋。
以下，參照附圖，詳細說明本發明較佳一實施例。
圖1示出本發明一實施例的影像整合裝置100的方塊結構圖。
本發明一實施例的影像整合裝置100作為電子裝置，是執行對於口腔內部的口腔掃描影像與電腦斷層掃描影像之間的影像整合的裝置。
口腔掃描影像為提供與向外部露出的牙齒的齒冠部分的形狀和牙齒周邊的牙齦形狀有關資訊的圖像。在此情況下，口腔掃描影像可通過口腔掃描器（oral scanner）等來直接掃描被手術人員的口腔內部來獲取或者可通過掃描將被手術人員的口腔內部陰刻建模的印象模型或通過印象模型的陽刻生成的石膏模型來獲取，印象模型的掃描圖像可通過反轉來用作口腔掃描影像。
電腦斷層掃描影像為通過利用放射線的電腦斷層裝置拍攝的圖像。即，電腦斷層掃描影像可基於放射線的透過率來呈現出口腔內部中的齒冠、齒根及齒槽骨等內部組織的分佈及骨密度資訊等。
參照圖1，一實施例的影像整合裝置100可包括通信部110、輸入部120、顯示部130、存儲部140及控制部150。
通信部110為與影像獲取裝置（未圖示）、伺服器（未圖示）等的外部裝置進行通信的結構，可以接收影像數據。例如，通信部110可以執行第五代通訊（5G，5th generation communication）、前瞻長期演進技術（LTE-A，long term evolution-advanced）、長期演進（LTElong term evolution）、藍芽、低功耗藍芽（BLE，bluetooth low energy）、近場通信（NFC，near field communication）等無線通信，也可以執行電纜通信等的有線通信。
在此情況下，影像數據可包含口腔掃描影像數據、電腦斷層掃描影像數據等。
輸入部120與使用人員的輸入對應地發生輸入數據。輸入部120包括至少一個輸入單元。例如，輸入部120可包括鍵盤（key board）、小鍵盤（key pad）、圓頂開關（dome switch）、觸控面板（touch panel）、觸控按鍵（touch key）、滑鼠（mouse）、菜單按鈕（menu button）等。
顯示部130顯示基於影像整合裝置100的操作的顯示數據。這種顯示數據可包含影像數據。例如，顯示部130可包括液晶顯示器（LCD，liquid crystal display）、發光二極體（LED，light emitting diode）顯示器、有機發光二極體（OLED，organic LED）顯示器、微機電系統（MEMS，micro electro mechanical systems）顯示器及電子紙（electronic paper）顯示器。並且，顯示部130可以與輸入部120相結合來體現為觸控螢幕（touch screen）等。
存儲部140存儲用於影像整合裝置100的動作的各種資訊及程式。例如，存儲部140可存儲從影像獲取裝置等接收的影像數據和與利用本發明一實施例的牙齒目標的影像整合方法有關的演算法等。並且，存儲部140可存儲學習模型。
控制部150執行從影像獲取裝置或伺服器接收或在存儲部140預先存儲的口腔掃描影像與電腦斷層掃描影像之間的影像整合。為此，控制部150可從影像獲取裝置或伺服器等接收影像數據來存儲於存儲部140。並且，控制部150可控制通信部110、輸入部120、顯示部130及存儲部140的動作。
以下，說明通過控制部150控制動作的利用本發明一實施例的牙齒目標的影像整合方法。
圖2為示出用於說明本發明一實施例的利用牙齒目標的影像整合方法的流程圖。
參照圖2，本發明一實施例的利用牙齒目標的影像整合方法可包括對影像數據執行影像處理的步驟S100及步驟S200。
首先，在步驟S100中，控制部150在整合對象的口腔掃描影像及電腦斷層掃描影像中分別生成相互隔開的多個基準點。即，控制部150在整合對象口腔掃描影像生成基準點（以下，稱之為“第一基準點”），在整合對象電腦斷層掃描影像生成基準點（以下，稱之為“第二基準點”）。
之後，在步驟S200中，控制部150利用第一基準點和第二基準點，以使這些基準點相一致的方式改變整合對象口腔掃描影像或整合對象電腦斷層掃描影像來執行影像整合。
在此情況下，基準點為表示對於特定牙齒的位置（例如，對應特定牙齒的中心點位置）的點，當影像整合時將會利用。即，在步驟S200中，控制部150以使特定第一基準點和與此對應的特定第二基準點相一致的方式改變整合對象口腔掃描影像和整合對象電腦斷層掃描影像的角度、大小、位置等來執行這些影像之間的影像整合。
圖3示出包括前齒區域FA及臼齒區域BA的牙齒區域。
參照圖3，整合對象的整合對象口腔掃描影像及電腦斷層掃描影像包含表示多個牙齒的形狀的牙齒區域。在此情況下，牙齒區域包括位於前方的前齒區域FA和位於前齒區域FA後方的臼齒區域BA。例如，前齒區域FA可以為1號牙齒至3號牙齒所在的區域，臼齒區域BA可以為4號牙齒至8號牙齒所在的區域。
在此情況下，基準點可分別包括對於前齒區域FA的最前方1個牙齒FT的基準點（以下，稱之為“最前方基準點”）和對於臼齒區域BA的最後方兩側的2個牙齒BT1、BT2的基準點（以下，稱之為“最後方基準點”）。即，在最後方基準點中，一個為對於選自臼齒區域BA的右側牙齒中的一個牙齒的基準點，另一個為選自臼齒區域BA的左側牙齒中的另一個牙齒的基準點。
這種最前方基準點及最後方基準點在整合對象口腔掃描影像及整合對象電腦斷層掃描影像生成。結果，在各個影像中，1個最前方基準點和2個最後方基準點形成三角形的頂點，當整合對象口腔掃描影像與整合對象電腦斷層掃描影像之間的影像整合時，可提供用於使這些影像的角度、大小、位置等的變更更加簡單且準確的基準。
在此情況下，第二基準點可以從能夠呈現出對於牙齒的內部的結構、大小、位置等資訊的整合對象電腦斷層掃描影像的三維座標資訊通過手動或通過多種演算法輕鬆導出。在此情況下，所導出的第二基準點可以為表示1個最前方牙齒FT和2個最後方牙齒BT1、BT2的中心點位置的點。當然，第二基準點可以利用後述的第一基準點的導出（檢測）方法來導出。在此情況下，對於“口腔掃描影像”的說明可以被對於“電腦斷層掃描影像”的說明代替。
另一方面，需要導出與所導出的第二基準點對應的第一基準點。但是，第一基準點需要在呈現出與牙齒的表面有關的資訊的口腔掃描影像導出，因此，在手動或遺忘演算法（在口腔掃描影像中利用曲率資訊）的情況下，其準確性不得不降低。
由此，本發明利用作為牙齒的簡化形狀的目標OB來導出第一基準點。對此，根據後述的步驟S101至步驟S104進行更加詳細的說明。
圖4為利用本發明一實施例的牙齒目標的影像整合方法的S100的詳細流程圖。圖5示出在第一學習對象口腔掃描影像中抽取關注區域ROI的狀態。
參照圖5，在步驟S101中，控制部150在學習對象的口腔掃描影像（以下，稱之為“學習口腔掃描影像”）中抽取包括牙齒的關注區域ROI。即，學習口腔掃描影像可包括牙齒區域和牙齒區域外區域，在步驟S101中，控制部150可以從關注區域ROI抽取這種牙齒區域。
之後，在步驟S102中，控制部150通過在所抽取的關注區域ROI的多個方向形成對於各個牙齒的目標OB1的學習數據（training data）進行學習來生成學習模型。在此情況下，控制部150可利用機器學習（machine learning）工法來學習準備的學習數據。
例如，機器學習工法為監督學習（supervised Learning）工法，可以為人工神經網路（Artificial neural network）、提升方法（Boosting）、貝葉斯統計（Bayesian statistics）、決策樹（Decision tree）、淺析高斯過程迴歸（Gaussian process regression）、最近鄰演算法（Nearest neighbor algorithm）、支援向量機（Support vector machine）、隨機森林（Random forests）、符號機器學習（Symbolic machine learning）、分類器的集成（Ensembles of classifiers）、深度學習（Deep Learning）等的工法中的一種。
即，學習數據可包含輸入值及用該輸入值設定之結果值(目標值)，該輸入值為所抽取的關注區域ROI的學習口腔掃描影像，而該結果值為對各個牙齒形成的目標OB。在此情況下，目標OB1可以在學習口腔掃描影像的關注區域ROI中的多個方向設定，以與各個牙齒的形狀對應的方式可呈在對應方向將對應牙齒的形狀簡化的多種形狀（在對應方向覆蓋對應牙齒的面積且形狀比上述牙齒形狀簡單），即，圓形或多邊形等的形狀。並且，對於這種目標OB1的學習數據的結果值可包含在關注區域ROI中對應目標OB1所佔據的位置資訊、中心點資訊及大小資訊。
並且，學習模型利用學習數據來通過機器學習工法監督學習的模型，包含用於匹配對應輸入值及結果值的規則函數。
圖6示出在第二學習對象口腔掃描影像的關注區域ROI中設定對於4個方向的目標OB1的狀態。即，圖6的（a）部分為平面方向，圖6的（b）部分為正面方向，圖6的（c）部分為左側方向，圖6的（d）部分為右側方向。
例如，如圖6所示，在學習口腔掃描影像的關注區域ROI中，可設定對於4個方向，即，平面、正面、左側及右側方向的目標OB1。在此情況下，使用人員可通過輸入部120設定目標OB1。結果，學習數據可以對各個牙齒包含至少2個方向（特定方向）中的目標OB1。在此情況下，特定方向可包括平面方向和平面方向之外的方向（正面方向、左側方向或右側方向）。
即，對在關注區域ROI的正面方向呈現的1號至3號牙齒，可在關注區域ROI的平面方向和正面方向設定目標OB1。並且，對在關注區域ROI的左側方向呈現的左側4號至左側8號牙齒，可在關注區域ROI的左側方向和正面方向分別形成目標OB1。並且，對在關注區域ROI的右側方向呈現的右側4號至右側8號牙齒，可在關注區域ROI的右側方向和正面方向分別形成目標OB1。並且，如上所述，對關注區域ROI的平面方向，可形成對於所有牙齒的目標OB1。
平面方向的目標OB1為將對應牙齒的平面方向中的形狀簡化的形狀，平面方向之外的方向的目標OB1為將對應牙齒的平面方向之外的方向中的形狀簡化的形狀。由此，平面方向的目標OB1可以為提供與對應牙齒的平面有關的資訊的介質，平面方向之外的方向的目標OB1可以為提供與對應牙齒的一側面（高度等）有關的資訊的介質。
例如，對於下顎的牙齒的平面方向的目標OB1可以為提供與對應牙齒的上部面有關的資訊的介質，對於下顎的牙齒的平面方向之外的方向的目標OB1可以為提供與對應牙齒的一側面有關的資訊的介質。同樣，對於上顎的牙齒的平面方向的目標OB1可以為提供與對應牙齒的下部面有關的資訊的介質，對於上顎的牙齒的平面方向之外的方向的目標OB1可以為提供與對應牙齒的一側面有關的資訊的介質。
之後，在步驟S103中，控制部150利用在步驟S102中生成的學習模型來在整合對象的口腔掃描影像中檢測對於各個牙齒的多個方向的目標OB2。即，控制部150可以將整合對象口腔掃描影像作為輸入值向學習模型輸入，結果，學習模型可以將對於對應整合對象口腔掃描影像的目標OB2作為其結果值輸出。
圖7示出在第一整合對象至第四整合對象的口腔掃描影像檢測目標OB2的狀態。圖8示出在第五整合對象的口腔掃描影像檢測三維目標OB3的多種方向的狀態。
參照圖7，學習模型可以在整合對象口腔掃描影像輸出（檢測）與步驟S102的多個方向對應的目標OB2。
即，對在整合對象口腔掃描影像的正面方向呈現的1號至3號牙齒，可在整合對象口腔掃描影像的平面方向和正面方向分別檢測對應目標OB2。並且，對在整合對象口腔掃描影像的左側方向呈現的左側4號至左側8號牙齒，可在整合對象口腔掃描影像的左側方向和正面方向分別檢測目標OB2。並且，對在整合對象口腔掃描影像的右側方向呈現的右側4號至右側8號牙齒，可在整合對象口腔掃描影像的右側方向和正面方向分別檢測目標OB2。並且，如上所述，對關注區域ROI的平面方向，可檢測對於所有牙齒的目標OB2。
另一方面，在步驟S103中，控制部150可利用對於所檢測的各個牙齒的2個以上的目標OB2來生成（檢測）三維目標OB3。即，控制部150生成將對於所檢測的各個牙齒的2個以上的目標OB2作為面包含的三維形狀，可以將對應三維形狀作為三維目標OB3檢測。
在此情況下，生成學習模型的目標OB2以與各個牙齒的形狀對應的方式可呈在對應方向將對應牙齒的形狀簡化的多種形狀（在對應方向覆蓋對應牙齒的面積且形狀比牙齒形狀簡單），即，圓形或多邊形等的形狀。並且，三維目標OB3以與各個牙齒的三維形狀對應的方式可呈將對應牙齒的三維形狀簡化的多種三維形狀（覆蓋對應牙齒的體積且形狀比上述牙齒三維形狀簡單），即，圓柱、橢圓柱、多邊柱、圓錐或多邊錐等形狀。.
例如，如圖8所示，在三維目標OB3為正六面體的情況下，控制部150將針對某個牙齒所檢測的2個目標OB2用作為第一面和第二面。垂直於第一面及第二面的虛擬面被用作為正六面體的剩餘面。由此，可檢測相對於牙齒具有正六面體形狀的三維目標OB3。
即，平面方向的目標OB2表示對應牙齒的平面方向中的形狀，平面方向之外的方向的目標OB2表示對應牙齒的平面方向之外的方向的形狀。由此，平面方向的目標OB2可以為提供與對應牙齒的平面有關的資訊的介質，平面方向之外的方向的目標OB2可以為提供與對應牙齒的一側面（高度等）有關的資訊的介質。
結果，控制部150可檢測三維目標OB3。在此，將平面方向的目標OB2作為三維目標OB3的上部面或下部面，其對應牙齒的上部面或下部面，且將平面方向之外的方向的目標OB2作為三維目標OB3的一側面，其對應牙齒的一側面。在此情況下，控制部150可以將除平面方向的目標OB2及平面方向之外的方向的目標OB2所形成的面之外的剩餘面作為虛擬的面追加。即，控制部150可增加一或更多垂直於平面方向的目標OB2的虛擬面以作為三維目標OB3的另一側面，將與平面方向的目標OB平行對應的虛擬面作為另一平面（在對應牙齒在下顎的情況下為下側面，在對應牙齒在上顎的情況下為上側面）追加。
之後，在步驟S103中，控制部150可以抽取所檢測的各個目標OB2、OB3的位置資訊（在口腔掃描影像中的位置座標），中心點資訊（在口腔掃描影像中的中心點座標）及大小資訊。在此情況下，目標OB2的位置資訊、中心點資訊及大小資訊可以作為與學習模型的輸入值有關的結果值與目標OB2一同輸出。
只是，控制部150可利用為了生成各個三維目標OB3而使用的與2個以上的有關目標OB2有關的位置資訊、中心點資訊及大小資訊來抽取對應三維目標OB3的位置資訊、中心點資訊及大小資訊。
例如，如圖8所示，在三維目標OB3為正六面體的情況下，控制部150可以利用構成正六面體的第一面和第二面的目標OB2的位置資訊、中心點資訊及大小資訊來抽取對應三維目標OB3的位置資訊、中心點資訊及大小資訊。
之後，控制部150可以在整合對象口腔掃描影像顯示所檢測的各個目標OB2、OB3。即，控制部150可利用所檢測的各個目標OB2、OB3的位置資訊、中心點資訊及大小資訊來在整合對象口腔掃描影像顯示各個目標OB2、OB3。只是，如圖6所示，為了更加明確區分對於各個牙齒，控制部150可以將所檢測的目標OB2、OB3按各個牙齒以不同顏色顯示在整合對象口腔掃描影像。
在此情況下，控制部150可以在整合對象口腔掃描影像一同顯示與所檢測的各個目標OB2、OB3有關的位置資訊、中心點資訊及大小資訊中的至少一個和所檢測的各個目標OB2、OB3。
另一方面，圖5至圖8僅示出下顎的牙齒，本發明並不局限於此，本發明的目標檢測動作也同樣可以對上顎的牙齒適用。
圖9及圖10示出整合對象的口腔掃描影像與電腦斷層掃描影像之間的影像整合過程的狀態。在此情況下，在圖9及圖10中，虛線的正六面體表示各個影像中的最前方牙齒FT和最後方牙齒BT1、BT2的區域。即，圖9及圖10示出形成影像整合的過程的狀態，以使在各個影像中的第一基準點及第二基準點相匹配。並且，圖11示出整合對象的口腔掃描影像與電腦斷層掃描影像之間的影像整合後的狀態。
之後，在步驟S104中，控制部150在所檢測的目標OB2、OB3中選擇基準目標來在所選擇的基準目標中生成第一基準點。在此情況下，基準目標可包括對於前齒區域FA的最前方1個牙齒FT的目標（以下，稱之為“最前方目標”）和對於臼齒區域BA的最後方兩側的2個牙齒BT1、BT2的目標（以下，稱之為“最後方目標”）。並且，控制部150可以將基準目標的中心點（表面或體積的中心點）選擇為第一基準點。
本發明可以在對於口腔內部的口腔掃描影像中輕鬆地檢測能夠與各個牙齒對應的目標OB2、OB3，從而可提高上述檢測時間及有效性。
並且，本發明可提供所檢測的各個目標OB2、OB3的位置、中心點及大小資訊等的抽取資訊，結果，抽取資訊可在用於與電腦斷層掃描影像的影像整合的基準點使用，不僅如此，由於抽取資訊的準確性高，從而可以提高影像整合的準確性。
即，參照圖9及圖10，當與電腦斷層掃描影像的影像整合時，可將能夠迅速抽取多個目標OB2、OB3的對於多個目標OB2、OB3的中心點資訊等用作影像整合的第一基準點，與這種第一基準點的資訊比利用以往的曲率資訊的牙齒檢測方式的資訊更準確，結果，如圖11所示，可提高影像整合的速度及準確性。
另一方面，在步驟S100中，控制部150可以使學習模型將最前方目標及最後方目標作為其輸出值輸出。
在此情況下，在步驟S102中，控制部150通過在所抽取的關注區域ROI的多個方向中形成對於作為一部分牙齒的相互隔開的n個牙齒（以下，稱之為“對象牙齒”）（只是，n為3以上的自然數）的各個目標OB1的學習數據，根據機器學習工法進行學習來生成學習模型。即，對象牙齒包括最前方牙齒FT及最後方牙齒BT。由此，學習模型利用形成與最前方目標及最後方目標對應的目標OB1的學習數據來進行學習。並且，在步驟S103中，控制部150利用在步驟S102中生成的學習模型來在整合對象的口腔掃描影像中檢測對於各個牙齒的多個方向的目標OB2。並且，利用上述目標OB2檢測三維目標OB3。結果，在步驟S104中，控制部150將所檢測的目標OB2、OB3選擇為基準目標來在所選擇的基準目標生成第一基準點。此外，與上述步驟S101至步驟S104的內容相同。
在本發明的詳細說明中，與具體實施例有關地進行了說明，在不超出本發明的範圍的情況下，可以對本發明進行多種變形。因此，本發明的範圍並不局限於所說明的實施例，需要通過後述的申請專利範圍及與申請專利範圍等同的內容定義。
100:影像整合裝置 110:通信部 120:輸入部 130:顯示部 140:存儲部 150:控制部 BA:臼齒區域 BT1:最後方牙齒 BT2:最後方牙齒 FA:前齒區域 FT:最前方牙齒 OB1:目標 OB2:目標 OB3:目標 ROI:關注區域
圖1示出本發明一實施例的影像整合裝置100的方塊結構圖。 圖2為示出用於說明本發明一實施例的利用牙齒目標的影像整合方法的流程圖。 圖3示出包括前齒區域FA及臼齒區域BA的牙齒區域。 圖4為利用本發明一實施例的牙齒目標的影像整合方法的S100的詳細流程圖。 圖5示出在第一學習對象口腔掃描影像中抽取關注區域的狀態。 圖6示出在第二學習對象口腔掃描影像的關注區域ROI中設定對於4個方向的目標的狀態。 圖7示出在第一整合對象至第四整合對象的口腔掃描影像檢測目標的狀態。 圖8示出在第五整合對象的口腔掃描影像檢測三維目標的多種方向的狀態。 圖9及圖10示出整合對象的口腔掃描影像與電腦斷層掃描影像之間的影像整合過程的狀態。 圖11示出整合對象的口腔掃描影像與電腦斷層掃描影像之間的影像整合後的狀態。

Claims (15)

  1. 一種口腔掃描影像中的牙齒目標檢測方法，其中，包括： 在學習對象的口腔掃描影像中抽取包括牙齒的關注區域的步驟； 通過在所抽取的該關注區域的多個方向以對於所述各個牙齒形成目標的學習數據進行學習來生成學習模型的步驟；以及 利用該學習模型來在檢測該對象的該口腔掃描影像中檢測對於所述各個牙齒的所述多個方向的目標的步驟。
  2. 如請求項1所述之口腔掃描影像中的牙齒目標檢測方法，其中，還包括抽取所檢測的所述各個目標的位置、中心點及大小資訊的步驟。
  3. 如請求項1所述之口腔掃描影像中的牙齒目標檢測方法，其中，還包括在檢測該對象的該口腔掃描影像顯示所檢測的所述各個目標的顯示步驟。
  4. 如請求項1所述之口腔掃描影像中的牙齒目標檢測方法，其中，該學習數據包含所述各個牙齒的不同的2個以上的方向上的目標，即，所述各個牙齒的特定方向上的目標。
  5. 如請求項4所述之口腔掃描影像中的牙齒目標檢測方法，其中，所述特定方向包括平面方向和平面方向之外的方向。
  6. 如請求項4所述之口腔掃描影像中的牙齒目標檢測方法，其中，還包括形成將對於所檢測的所述各個牙齒的2個以上的目標作為面包含的三維目標來在檢測該對象的該口腔掃描影像進行顯示的步驟。
  7. 如請求項6所述之口腔掃描影像中的牙齒目標檢測方法，其中，在該口腔掃描影像顯示該三維目標的步驟為在檢測該對象的該口腔掃描影像一同顯示所檢測的所述各個目標的位置、中心點及大小資訊中的至少一個和所檢測的所述各個目標的步驟。
  8. 一種利用牙齒目標的影像整合方法，其中，包括： 在整合對象的口腔掃描影像及電腦斷層掃描影像中分別生成相互隔開的多個基準點的步驟；以及 利用該口腔掃描影像的所述基準點及該電腦斷層掃描影像的所述基準點來對該整合對象的該口腔掃描影像與該電腦斷層掃描影像進行整合的步驟，其中，該口腔掃描影像的所述基準點為第一基準點，該電腦斷層掃描影像的所述基準點為第二基準點， 所述第一基準點及所述第二基準點包括對於前齒區域的最前方1個牙齒的基準點和對於臼齒區域的最後方兩側的2個牙齒的基準點， 所述第一基準點從作為牙齒的簡化形狀的目標導出。
  9. 如請求項8所述之利用牙齒目標的影像整合方法，其中，生成所述基準點的步驟包括： 通過在學習對象的該口腔掃描影像的多個方向以對於各個牙齒形成目標的學習數據進行學習來生成學習模型的步驟； 利用所生成的該學習模型來在該整合對象的該口腔掃描影像檢測對於所述各個牙齒的所述多個方向的目標的步驟；以及 在所檢測的所述目標中選擇基準目標來在所選擇的所述基準目標生成所述第一基準點的步驟。
  10. 如請求項8所述之利用牙齒目標的影像整合方法，其中，在生成所述基準點的步驟中，生成該學習模型的步驟包括： 通過在學習對象的該口腔掃描影像的多個方向以對於作為一部分牙齒的相互隔開的n個牙齒形成各個目標的學習數據進行學習來生成學習模型的步驟，其中，n個牙齒為對象牙齒，n為3以上的自然數； 利用所生成的該學習模型來在該整合對象的該口腔掃描影像中檢測對於所述各個對象牙齒的所述多個方向的目標的步驟；以及 將所檢測的所述目標選擇為基準目標，在所選擇的所述基準目標生成所述第一基準點的步驟。
  11. 如請求項9或10所述之利用牙齒目標的影像整合方法，其中，所述基準目標包括對於該前齒區域的所述最前方1個牙齒的目標和對於該臼齒區域的所述最後方兩側的2個牙齒的目標。
  12. 如請求項9或10所述之利用牙齒目標的影像整合方法，其中，生成所述基準點的步驟還包括將所選擇的所述基準目標的中心點選擇為所述第一基準點的步驟。
  13. 一種影像整合裝置，其中，包括： 存儲部，用於存儲整合對象的口腔掃描影像及電腦斷層掃描影像；以及 控制部，在所存儲的該口腔掃描影像及該電腦斷層掃描影像中分別生成相互隔開的多個基準點之後，利用該口腔掃描影像的所述基準點和該電腦斷層掃描影像的所述基準點來對整合對象的該口腔掃描影像與該電腦斷層掃描影像進行整合，其中，該口腔掃描影像的所述基準點為第一基準點，該電腦斷層掃描影像的所述基準點為第二基準點， 所述第一基準點及所述第二基準點包括對於前齒區域的最前方1個牙齒的基準點和對於臼齒區域的最後方兩側的2個牙齒的基準點， 所述第一基準點從作為牙齒的簡化形狀的目標導出。
  14. 如請求項13所述之影像整合裝置，其中， 該控制部利用通過在學習對象的該口腔掃描影像及該電腦斷層掃描影像的多個方向以對於各個牙齒形成目標的學習數據進行學習來生成的學習模型，由此在該整合對象的該口腔掃描影像中檢測對於所述各個牙齒的所述多個方向的目標之後，在所檢測的所述目標中選擇基準目標來在所選擇的所述基準目標中生成所述第一基準點。
  15. 如請求項13 所述之影像整合裝置，其中， 該控制部利用通過在學習對象的該口腔掃描影像及該電腦斷層掃描影像的多個方向以對於作為一部分牙齒的相互隔開的n個牙齒形成各個目標的學習數據進行學習來生成的學習模型，由此在該整合對象的該口腔掃描影像中檢測對於各個對象牙齒的所述多個方向的目標之後，將所檢測的所述目標選擇為基準目標來在所選擇的所述基準目標中生成所述第一基準點，其中，n個牙齒為所述對象牙齒，n為3以上的自然數。
TW109112224A 2019-04-11 2020-04-10 牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置 TWI744859B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190042382A KR102284623B1 (ko) 2019-04-11 2019-04-11 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
KR10-2019-0042382 2019-04-11
KR10-2019-0042383 2019-04-11
KR1020190042383A KR102322634B1 (ko) 2019-04-11 2019-04-11 치아 오브젝트를 이용한 영상 정합 방법 및 장치

Publications (2)

Publication Number Publication Date
TW202038253A true TW202038253A (zh) 2020-10-16
TWI744859B TWI744859B (zh) 2021-11-01

Family

ID=72752079

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112224A TWI744859B (zh) 2019-04-11 2020-04-10 牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置

Country Status (5)

Country Link
US (1) US11978203B2 (zh)
EP (1) EP3954297A4 (zh)
CN (1) CN113645902A (zh)
TW (1) TWI744859B (zh)
WO (1) WO2020209496A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767347A (zh) * 2021-01-18 2021-05-07 上海商汤智能科技有限公司 一种图像配准方法及装置、电子设备和存储介质
US20240161317A1 (en) * 2021-03-11 2024-05-16 Mars Dental Ai Ltd. Enhancing dental video to ct model registration and augmented reality aided dental treatment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330577B2 (en) * 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
US8116548B2 (en) 2008-06-04 2012-02-14 Siemens Aktiengesellschaft Method and system for detecting 3D anatomical structures using constrained marginal space learning
KR101190645B1 (ko) 2010-06-18 2012-10-15 이태경 이종의 영상이미지를 정합하는 방법 및 두경부 영상 정합용 마커 트레이
EP2588021B1 (en) * 2010-06-29 2021-03-10 3Shape A/S 2d image arrangement
US9510757B2 (en) 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
KR101594497B1 (ko) * 2014-11-14 2016-02-17 주식회사 디오 수직고경 교합표식을 이용한 치아 임플란트 시술을 위한 서지컬 가이드 및 크라운, 어버트먼트 제조방법
KR101550369B1 (ko) * 2014-12-05 2015-09-08 주식회사 디오 치아 임플란트 시술을 위한 서지컬 가이드 및 크라운, 어버트먼트 제조방법
JP6262179B2 (ja) * 2014-12-05 2018-01-17 ディオ コーポレーションＤｉｏ Ｃｏｒｐｏｒａｔｉｏｎ デンタルインプラント施術のための手術ガイドおよび植立物の製造方法
EP3268935A1 (en) 2015-03-09 2018-01-17 Carestream Dental Technology Topco Limited Apparatus and method of texture mapping for dental 3d scanner
US10032271B2 (en) * 2015-12-10 2018-07-24 3M Innovative Properties Company Method for automatic tooth type recognition from 3D scans
MX2018012993A (es) * 2016-04-28 2019-03-06 Dio Corp Dispositivo y procedimiento para procesar una imagen para generar una imagen de diseño en base a un marcador de referencia.
KR101893983B1 (ko) * 2017-03-06 2018-08-31 주식회사 디오 레퍼런스 마커에 기반하여 설계 이미지를 생성하는 이미지 처리장치 및 그 방법
KR101840444B1 (ko) * 2016-05-04 2018-03-20 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
KR101862378B1 (ko) * 2016-05-13 2018-05-29 연세대학교 산학협력단 Ct 치아 영상의 자동 세그먼테이션 시스템 및 방법
KR101878467B1 (ko) * 2016-11-01 2018-07-13 한국과학기술연구원 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램
US10695150B2 (en) 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
JP2018120283A (ja) 2017-01-23 2018-08-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101901646B1 (ko) 2017-03-07 2018-10-01 주식회사 메가젠임플란트 3차원 하이브리드 영상 구축 프로그램을 이용한 악교정 시스템
KR101906991B1 (ko) * 2017-03-20 2018-10-12 오스템임플란트 주식회사 치아 영상 정합 방법 및 장치
KR101913586B1 (ko) 2017-05-24 2018-11-01 오스템임플란트 주식회사 치아 영상 정합 방법, 이를 위한 장치, 및 이를 기록한 기록매체

Also Published As

Publication number Publication date
TWI744859B (zh) 2021-11-01
WO2020209496A1 (ko) 2020-10-15
US11978203B2 (en) 2024-05-07
CN113645902A (zh) 2021-11-12
EP3954297A4 (en) 2023-04-12
EP3954297A1 (en) 2022-02-16
US20220164954A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
US20220241056A1 (en) Monitoring of dentition
CN106572831A (zh) 口内扫描期间关注区域的识别
US11961238B2 (en) Tooth segmentation using tooth registration
KR102322634B1 (ko) 치아 오브젝트를 이용한 영상 정합 방법 및 장치
TWI744859B (zh) 牙齒目標檢測方法及利用牙齒目標的影像整合方法及裝置
WO2023274413A1 (zh) 三维扫描系统、辅助件、处理方法、装置、设备及介质
US10582992B2 (en) Method for determining a mapping of the contacts and/or distances between the maxillary and mandibular arches of a patient
US20200167994A1 (en) Computer-implemented method for detecting three-dimensional surface geometries
KR20200120035A (ko) 오랄 스캔 영상에서의 치아 오브젝트 검출 방법 및 장치
US20230165518A1 (en) Method and apparatus for predicting missing tooth in oral image
KR102205427B1 (ko) 신경 위치 보정 방법 및 장치
US20230215027A1 (en) Oral image marker detection method, and oral image matching device and method using same
US20220240852A1 (en) Nerve detection method and device
TW202038189A (zh) 影像數據的預處理裝置
KR102475962B1 (ko) 임상 영상의 시뮬레이션 방법 및 장치
KR102277022B1 (ko) 구강 ct 영상 및 구강 스캔 영상의 정합 방법 및 장치
KR102177886B1 (ko) 컴퓨터 단층촬영 영상데이터의 전처리 방법 및 장치
JP2020110216A (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
US20240185520A1 (en) Intraoral image processing device and intraoral image processing method
US20240177397A1 (en) Generation of dental renderings from model data
US12002271B2 (en) Identification device, scanner system, and identification method
KR102363740B1 (ko) 픽스츄어 선택 방법 및 장치
US20230290093A1 (en) Data processing method
US20240024076A1 (en) Combined face scanning and intraoral scanning
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images