TWI744083B - 口腔區域定位裝置和方法 - Google Patents

口腔區域定位裝置和方法 Download PDF

Info

Publication number
TWI744083B
TWI744083B TW109139094A TW109139094A TWI744083B TW I744083 B TWI744083 B TW I744083B TW 109139094 A TW109139094 A TW 109139094A TW 109139094 A TW109139094 A TW 109139094A TW I744083 B TWI744083 B TW I744083B
Authority
TW
Taiwan
Prior art keywords
algorithm
oral
estimation result
regions
position estimation
Prior art date
Application number
TW109139094A
Other languages
English (en)
Other versions
TW202218638A (zh
Inventor
鄭楷儒
陳毓訓
丁敬原
陳少昂
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW109139094A priority Critical patent/TWI744083B/zh
Priority to CN202011352679.2A priority patent/CN114533324A/zh
Priority to US17/149,934 priority patent/US20220142739A1/en
Priority to EP21154968.8A priority patent/EP3995072A1/en
Application granted granted Critical
Publication of TWI744083B publication Critical patent/TWI744083B/zh
Publication of TW202218638A publication Critical patent/TW202218638A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Abstract

本發明提供了一種口腔區域定位裝置。口腔區域定位裝置包括儲存裝置、定位電路以及運算電路。儲存裝置儲存口腔之複數區域對應之資訊。 定位電路從口腔影像擷取裝置取得目標影像，以及根據複數區域對應之資訊和第一演算法，取得對應目標影像之第一位置估測結果。此外，定位電路至少根據複數區域對應之資訊、第二演算法和參考影像對應之參考影像位置，取得對應目標影像之第二位置估測結果，其中參考影像位置係複數區域之一者。運算電路根據第一位置估測結果和第二位置估測結果，產生對應目標影像之第三位置估測結果。

Description

口腔區域定位裝置和方法
本發明之實施例主要係有關於一口腔區域定位技術，特別係有關於藉由隱藏式馬可夫模型(Hidden Markov Model，HMM)演算法進行口腔區域定位之口腔區域定位技術。
隨著科技的進步，口腔區域定位之應用亦日益廣泛。口腔區域定位之結果可用來建構患者口腔之整體之影像，以使得醫師可藉由建構之影像，讓患者可更清楚得知其牙齒之狀況。
因此，如何產生更精確之口腔區域定位結果將是個值得研究之課題。
有鑑於上述先前技術之問題，本發明之實施例提供了一種口腔區域定位裝置和方法。
根據本發明之一實施例提供了一種口腔區域定位裝置。上述口腔區域定位裝置包括一儲存裝置、一定位電路以及一運算電路。儲存裝置儲存口腔之複數區域對應之資訊。定位電路耦接上述 儲存裝置，從一口腔影像擷取裝置取得一目標影像，以及根據上述複數區域對應之上述資訊和一第一演算法，取得對應上述目標影像之一第一位置估測結果。此外，上述定位電路至少根據上述複數區域對應之上述資訊、一第二演算法和一參考影像對應之一參考影像位置，取得對應上述目標影像之一第二位置估測結果，其中上述參考影像位置係上述複數區域之一者。運算電路耦接上述定位電路，以及根據上述第一位置估測結果和上述第二位置估測結果，產生對應上述目標影像之一第三位置估測結果。
根據本發明之一實施例，上述複數區域對應之上述資訊包含每一上述複數區域對應之一機器學習結果、每一上述複數區域對應之特徵點資訊且/或每一上述複數區域對應之慣性測量單元資訊。
根據本發明之一實施例，上述第一演算法係一深度學習演算法、一影像比對演算法或一慣性測量單元演算法。
根據本發明之一實施例，上述第二演算法係一隱藏式馬可夫模型演算法。
根據本發明之一實施例，上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之移動機率，且上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之移動機率和上述參考影像對應之上述參考影像位置，取得對應上述目標影像之上述第二位置估測結果。
根據本發明之一實施例，上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之距離資訊或每一上述複數區域 彼此對應之角度資訊。根據本發明之一實施例，上述定位電路根據一第三演算法取得上述目標影像和上述參考影像間的一位移資訊，以及上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之距離資訊、上述參考影像對應之上述參考影像位置和上述位移資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第三演算法係一影像比對演算法或一慣性測量單元演算法。根據本發明之另一實施例，上述定位電路根據一第四演算法取得上述目標影像和上述參考影像間的一角度變化資訊，以及上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之角度資訊、上述參考影像對應之上述參考影像位置和上述角度變化資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第四演算法係一慣性測量單元演算法。
根據本發明之一實施例，上述運算電路將上述第一位置估測結果和上述第二位置估測結果相乘，以產生上述第三位置估測結果。
根據本發明之一實施例，上述運算電路將上述第一位置估測結果乘以一第一權重值，以產生一第一結果，且將上述第二位置估測結果乘以一第二權重值，以產生一第二結果，且其中上述運算電路將上述第一結果和上述第二結果相加，以產生上述第三位置估測結果。
根據本發明之一實施例提供了一種口腔區域定位方法。上述口腔區域定位方法適用一口腔區域定位裝置。上述口腔區域定位方法之步驟包括：藉由上述口腔區域定位裝置之一定位電路，從 一口腔影像擷取裝置取得一目標影像，以及根據口腔之複數區域對應之資訊和一第一演算法，取得對應上述目標影像之一第一位置估測結果；藉由上述定位電路，至少根據上述複數區域對應之上述資訊、一第二演算法和一參考影像對應之一參考影像位置，取得對應上述目標影像之一第二位置估測結果，其中上述參考影像位置係上述複數區域之一者；以及藉由上述口腔區域定位裝置之一運算電路，根據上述第一位置估測結果和上述第二位置估測結果，產生對應上述目標影像之一第三位置估測結果。
關於本發明其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本發明之精神和範圍內，當可根據本案實施方法中所揭露之口腔區域定位裝置和方法，做些許的更動與潤飾而得到。
100:口腔區域定位裝置
110:儲存裝置
120:運算電路
130:減法電路
1~16:口腔區域
S310~S330:步驟
第1圖係顯示根據本發明之一實施例所述之一口腔區域定位裝置100之方塊圖。
第2圖係顯示根據本發明之一實施例所述之複數口腔區域之示意圖。
第3圖係顯示根據本發明之一實施例所述之每一口腔區域彼此對應之移動機率之示意圖。
第4圖係顯示根據本發明之一實施例所述之一機率密度函數分布圖。
第5圖係根據本發明之一實施例所述之口腔區域定位方法之流 程圖。
本章節所敘述的是實施本發明之較佳方式，目的在於說明本發明之精神而非用以限定本發明之保護範圍，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
第1圖係顯示根據本發明之一實施例所述之一口腔區域定位裝置100之方塊圖。如第1圖所示，口腔區域定位裝置100可包括一儲存裝置110、一定位電路120以及一運算電路130。注意地是，在第1圖中所示之方塊圖，僅係為了方便說明本發明之實施例，但本發明並不以第1圖為限。口腔區域定位裝置100中亦可包含其他元件或其他連接方式。根據本發明一實施例，定位電路120和運算電路130可整合於一晶片中。甚至，儲存裝置110、定位電路120和運算電路130亦可整合於一晶片中。
根據本發明之實施例，儲存裝置110可係一揮發性記憶體(volatile memory)(例如：隨機存取記憶體(Random Access Memory,RAM))，或一非揮發性記憶體(Non-volatile memory)(例如：快閃記憶體(flash memory)、唯讀記憶體(Read Only Memory,ROM))、一硬碟或上述裝置之組合。儲存裝置110可用以儲存要進行口腔區域定位所需之檔案和資料，例如：口腔之複數區域對應之資訊。
根據本發明之實施例，可預先將口腔分成複數區域，並將每一區域對應之資訊預先儲存在儲存裝置110。如第2圖所示， 可預先將口腔分成16個區域，但本發明不以此為限。根據本發明之一實施例，每一區域對應之資訊可係每一區域之影像資料預先經由深度學習訓練後，所產生之每一區域對應之機器學習結果。根據本發明之另一實施例，每一區域對應之資訊可係每一區域對應到之牙齒影像資訊。根據本發明之另一實施例，每一區域對應之資訊可係每一區域對應到之慣性測量單元(Inertial measurement unit，IMU)資訊(例如：每一區域所包含之牙齒對應到之方位和角度資訊)。根據本發明之實施例，儲存裝置110所預先儲存之每一區域對應之資訊可包含上述實施例之一或多者，但本發明不以此為限。
根據本發明一實施例，當要對口腔區域進行定位時，口腔區域定位裝置100會從一口腔影像擷取裝置200取得一目標影像(即目前時間點，口腔影像擷取裝置200所擷取到之口腔影像)，以估測目標影像所對應之口腔區域。在本發明之實施例中，在不同時間點，口腔影像擷取裝置200會被移動到口腔不同位置，以擷取不同口腔區域對應之口腔影像。
根據本發明一實施例，口腔影像擷取裝置200可係一齒鏡裝置，但本發明不以此為限。根據本發明一實施例，口腔影像擷取裝置200可包括一慣性測量單元(IMU)，用以產生口腔影像擷取裝置200取得目標影像時所對應之慣性測量單元(IMU)資訊，例如方位和角度資訊。
根據本發明一實施例，口腔影像擷取裝置200可透過無線通訊方式，例如藍芽、WIFI或行動通訊(蜂巢式網路)，將所擷取之口腔影像及/或慣性測量單元(IMU)資訊傳送至口腔區域定 位裝置100，但本發明不以此為限。本發明之目的即係判斷所擷取之口腔影像係位於何一區域。
根據本發明一實施例，口腔區域定位裝置100從口腔影像擷取裝置200取得目標影像後，口腔區域定位裝置100之定位電路120會經由一第一演算法和從儲存裝置110取得之預先儲存之每一區域對應之資訊，去判斷目標影像所對應到之口腔區域，以產生第一位置估測結果。
根據本發明一實施例，第一演算法可係一深度學習演算法。在此實施例中，定位電路120會經由一深度學習演算法和從儲存裝置110取得之預先儲存之每一區域對應之資訊(即每一區域對應之機器學習結果)，判斷目標影像所對應到之口腔區域，以產生第一位置估測結果。具體來說，定位電路120會將目標影像輸入預先訓練好之深度學習模型中，以預測目標影像所對應之口腔區域，以產生第一位置估測結果(即估測目標影像位於何區域)。
根據本發明另一實施例，第一演算法可係一影像比對演算法。在此實施例中，定位電路120會經由一影像比對演算法和從儲存裝置110取得之預先儲存之每一區域對應之資訊(即每一區域對應到之牙齒影像資訊)，去估測目標影像所對應到之口腔區域，以產生第一位置估測結果。具體來說，定位電路120會將目標影像之特徵點和預先儲存之每一區域對應之牙齒影像之特徵點進行比對，以判斷和目標影像最相似之牙齒影像所對應之口腔區域，以產生第一位置估測結果(即估測目標影像位於何區域)。
根據本發明另一實施例，第一演算法可係一慣性測量單 元(IMU)資訊演算法。在此實施例中，定位電路120會經由一慣性測量單元(IMU)資訊演算法和從儲存裝置110取得之預先儲存之每一區域對應之資訊(即每一區域對應到之慣性測量單元(IMU)資訊)，去估測目標影像所對應到之口腔區域，以產生第一位置估測結果。具體來說，定位電路120會將目標影像對應之慣性測量單元(IMU)資訊，去和每一區域對應到之慣性測量單元(IMU)資訊進行比對，以判斷和目標影像之慣性測量單元(IMU)資訊最相似之牙齒影像所對應之口腔區域，以產生第一位置估測結果(即估測目標影像位於何區域)。
根據本發明一實施例，當第一位置估測結果產生後，定位電路120可再根據複數口腔區域對應之資訊、第二演算法和一參考影像對應之參考影像位置，取得對應目標影像之一第二位置估測結果。根據本發明一實施例，相較於目前時間點之目標影像，參考影像可係前一時間點之目標影像，且其所對應之參考影像位置係複數口腔區域之一者。舉例來說，參考影像可係時間點t-1之目標影像，且其對應之參考影像位置(即口腔區域)為已知(已估算)。因此，參考影像和參考影像位置(口腔區域)將可用來估算目前時間點t之目標影像所對應到之口腔區域(即估算口腔影像擷取裝置200從時間點t-1到目前時間點t，從參考影像位置(口腔區域)移動到那一口腔區域)。根據本發明一實施例，第二演算法係一隱藏式馬可夫模型(Hidden Markov Model，HMM)演算法。底下將會以不同實施例來說明，定位電路120如何藉由第二演算法(即HMM演算法)，來產生對應目標影像之一第二位置估測結果。
根據本發明第二演算法之一實施例，儲存裝置110儲存之複數口腔區域對應之資訊更包括每一口腔區域彼此對應之移動機率。具體來說，每一區域彼此對應之移動機率係表示，當口腔影像擷取裝置200在連續之時間點擷取口腔影像時，口腔影像擷取裝置200從一口腔區域移動到另一口腔區域之機率。以第3圖為例，第3圖係對應第2圖之口腔區域1~16之對應之移動機率之示意圖。如第3圖所示，相鄰之口腔區域間的移動機率為p。舉例來說：從口腔區域1移動到口腔區域2之移動機率為p，以及從口腔區域2移動到口腔區域3之移動機率為p。此外，如第3圖所示，非相鄰之口腔區域間的移動機率為p的最短路徑次方(即p最短路徑)。舉例來說，從口腔區域1移動到口腔區域8之移動機率為p3以及從區域3移動到區域10之移動機率為p2。定位電路120可藉由第二演算法(即HMM演算法)，根據每一口腔區域彼此對應之移動機率和參考影像對應之參考影像位置(口腔區域)，取得對應目標影像之第二位置估測結果。詳細而言，定位電路120可藉由該實施例估算出目標影像對應到每一區域之機率，進而選取機率最高之區域作為第二位置估測結果。
根據本發明第二演算法之另一實施例，儲存裝置110儲存之複數口腔區域對應之資訊更包括每一口腔區域彼此對應之距離資訊。更明確地來說，每一口腔區域彼此對應之距離Zi,j會被預先量測，並記錄在儲存裝置110，其中Zi,j係表示從口腔區域i沿著牙齒輪廓移動到口腔區域j之距離。以第2圖為例，Z1,2係表示從口腔區域1沿著牙齒輪廓到口腔區域2之距離，以及Z15,16係表 示從口腔區域15沿著牙齒輪廓到口腔區域16之距離。此外，在此實施例中，定位電路120根據一第三演算法取得目標影像和參考影像間的一位移資訊。
在一實施例中，第三演算法可係一影像比對演算法(例如：特徵點比對演算法)。在此實施例中，定位電路120可比對目標影像和參考影像包含之特徵點，並計算特徵點移動了多少畫素。定位電路120取得移動之畫素後，由於畫素與距離具有比例關係，即可推估參考影像和目標影像間的距離變化d(即位移資訊)。
在另一實施例，第三演算法可係一慣性測量單元演算法。在此實施例中，定位電路120可根據參考影像之慣性測量單元(IMU)資訊和目標影像之慣性測量單元(IMU)資訊，取得參考影像和目標影像加速度變化和時間變化，進而估算出參考影像和目標影像間的距離變化d(即位移資訊)。
接著，定位電路120可藉由第二演算法(即HMM演算法)，根據每一口腔區域彼此對應之距離資訊(即距離Zi,j)、參考影像對應之參考影像位置(即口腔區域i)和計算出之位移資訊(即距離變化d)，取得對應目標影像之第二位置估測結果。具體來說，定位電路120可將距離變化d和距離Zi,j之差距(即|d-Z i,j |)帶入一機率密度函數中，以產生一機率密度函數分布圖(即第二位置估測結果)。舉例來說，定位電路120會將距離變化d和距離Zi,j之差距(即|d-Z i,j |)帶入一指數分布函數中：
Figure 109139094-A0305-02-0012-2
 其中定位電路120將距離變化d和距離Zi,j之差距(即|d-Z i,j |)作為 指數分布函數之輸入值x。在此實施例中，距離變化d和距離Zi,j之差距(即|d-Z i,j |)越小，表示從口腔區域i(即參考影像之參考影像位置)移動到所對應到口腔區域j(即目標影像可能對應到之口腔區域)之機率值會越大。以第4圖為例，當距離變化d和距離Zi,j之差距(即|d-Z i,j |)係0.5時，機率是60%，以及當距離變化d和距離Zi,j之差距(即|d-Z i,j |)係0.9時，機率是40%。是以，定位電路120可藉由該實施例估算目標影像對應到每一區域之機率，進而選取機率最高之區域作為第二位置估測結果。
根據本發明第二演算法之又一實施例，儲存裝置110儲存之複數口腔區域對應之資訊更包括每一口腔區域彼此對應之角度資訊。更明確地來說，每一口腔區域彼此對應之角度ri,j會被預先量測，並記錄在儲存裝置110，其中ri,j係表示從口腔區域i沿著牙齒輪廓移動到口腔區域j之角度。以第2圖為例，r1,2係表示從口腔區域1沿著牙齒輪廓到口腔區域2之角度，以及r15,16係表示從口腔區域15沿著牙齒輪廓到口腔區域16之角度。此外，在此實施例中，定位電路120根據一第四演算法取得目標影像和參考影像間的一角度變化資訊。
在一實施例，第四演算法可係一慣性測量單元演算法。在此實施例中，定位電路120可根據參考影像之慣性測量單元(IMU)資訊和目標影像之慣性測量單元(IMU)資訊，取得參考影像和目標影像角速度變化和時間變化，估算出參考影像和目標影像間的轉動角度變化c(即角度變化資訊)。
接著，定位電路120可藉由第二演算法(即HMM演算 法)，根據每一口腔區域彼此對應之角度資訊(即角度ri,j)、參考影像對應之參考影像位置(即口腔區域i)和角度變化資訊(即轉動角度變化c)，取得對應目標影像之第二位置估測結果。具體來說，定位電路120可將轉動角度變化c和角度ri,j之差距(即|c-r i,j |)帶入一機率密度函數中，以產生一機率密度函數分布圖(即第二位置估測結果)。舉例來說，定位電路120會將轉動角度變化c和角度ri,j之差距(即|c-r i,j |)帶入一指數分布函數中：
Figure 109139094-A0305-02-0014-3
 其中定位電路120將轉動角度變化c和角度ri,j之差距(即|c-r i,j |)作為指數分布函數之輸入值x。在此實施例中，轉動角度變化c和角度ri,j之差距(即|c-r i,j |)越小，表示從口腔區域i(即參考影像之參考影像位置)移動到所對應到口腔區域j(即目標影像可能對應到之口腔區域)之機率值會越大。是以，定位電路120可藉由該實施例估算目標影像對應到每一區域之機率，進而選取機率最高之區域作為第二位置估測結果。
至此，運算電路130可從定位電路120取得第一位置估測結果和第二位置估測結果。
根據本發明一實施例，運算電路130可根據第一位置估測結果和第二位置估測結果，產生對應目標影像之一第三位置估測結果，以決定目標影相對應之口腔區域。根據本發明一實施例，運算電路130會將第一位置估測結果和第二位置估測結果相乘，以產生第三位置估測結果。舉例來說，若以第2圖為例，假設參考影像之參考影像位置是口腔區域1。當運算電路130從第一位置估測 結果得知目標影像對應到之口腔區域2的機率(即口腔影像擷取裝置200從上一時間點到目前時間點從口腔區域1移動到口腔區域2的機率)是40%，以及對應到口腔區域3的機率(即口腔影像擷取裝置200從上一時間點到目前時間點從口腔區域1移動到口腔區域3的機率)是30%，且從第二位置估測結果得知目標影像對應到之口腔區域2的機率是60%，以及對應到口腔區域3的機率是40%時，運算電路130會將第一位置估測結果和第二位置估測結果相乘，以產生第三位置估測結果。也就是說，在第三位置估測結果中，目標影像對應到之口腔區域2的機率是24%，以及對應到口腔區域3的機率是12%。因此，使用者即可根據第三位置估測結果判斷目標影像應係對應到之口腔區域2(即口腔影像擷取裝置200從上一時間點到目前時間點應係從口腔區域1移動到口腔區域2)。特別說明地是，上述例子僅係用以說明本發明之實施例，但本發明不以此為限。
根據本發明另一實施例，運算電路130可將第一位置估測結果乘以一第一權重值，以產生一第一結果，且將第二位置估測結果乘以一第二權重值，以產生一第二結果。接著，運算電路130會將第一結果和第二結果相加，以產生第三位置估測結果。舉例來說，若以第2圖為例，假設參考影像之參考影像位置是口腔區域1，以及第一位置估測結果對應之權重值是40%且第二位置估測結果對應之權重值是60%。當運算電路130從第一位置估測結果得知目標影像對應到之口腔區域2的機率(即口腔影像擷取裝置200從上一時間點到目前時間點從口腔區域1移動到口腔區域2的機率)是 40%，以及對應到口腔區域3的機率(即口腔影像擷取裝置200從上一時間點到目前時間點從口腔區域1移動到口腔區域3的機率)是30%，且從第二位置估測結果得知目標影像對應到之口腔區域2的機率是60%，以及對應到口腔區域3的機率是40%時，在第三位置估測結果中，目標影像對應到之口腔區域2的機率將會是52%(40%*40%+60%＊60%=52%)，以及對應到口腔區域3的機率是36%(30%*40%+40%＊60%=36%)。因此，使用者即可根據第三位置估測結果判斷目標影像應係對應到之口腔區域2(即口腔影像擷取裝置200從上一時間點到目前時間點應係從口腔區域1移動到口腔區域2)。特別說明地是，上述例子僅係用以說明本發明之實施例，但本發明不以此為限。
由於在本發明之實施例提出之口腔區域定位裝置進行兩次估測，因此，口腔區域定位裝置將可更準確地判斷目前時間點之目標影像所對應之口腔區域。
第5圖係根據本發明之一實施例所述之一口腔區域定位方法之流程圖。口腔區域定位方法可適用口腔區域定位裝置100。如第5圖所示，在步驟S510，口腔區域定位裝置100之一定位電路從一口腔影像擷取裝置200取得一目標影像。
在步驟S520，口腔區域定位裝置100之定位電路根據口腔之複數區域對應之資訊和一第一演算法，取得對應目標影像之一第一位置估測結果。
在步驟S530，口腔區域定位裝置100之定位電路至少根據口腔之複數區域對應之資訊、一第二演算法和一參考影像對應 之一參考影像位置(口腔區域)，取得對應目標影像之一第二位置估測結果，其中參考影像位置係口腔之複數區域之一者。
在步驟S540，口腔區域定位裝置100之運算電路根據第一位置估測結果和第二位置估測結果，產生對應上述目標影像之一第三位置估測結果。
根據本發明一實施例，在口腔區域定位方法中，口腔之複數區域對應之資訊包含每一區域對應之一機器學習結果、每一區域對應之特徵點資訊且/或每一區域對應之慣性測量單元資訊。
根據本發明一實施例，在口腔區域定位方法中，第一演算法係一深度學習演算法、一影像比對演算法或一慣性測量單元演算法。
根據本發明一實施例，在口腔區域定位方法中，第二演算法係一隱藏式馬可夫模型演算法。
根據本發明一實施例，在口腔區域定位方法中，複數區域對應之資訊更包括每一區域彼此對應之移動機率。在此實施例中，步驟S530更包括，口腔區域定位裝置100之定位電路藉由第二演算法，根據每一區域彼此對應之移動機率和參考影像對應之參考影像位置，取得對應目標影像之第二位置估測結果。
根據本發明一實施例，在口腔區域定位方法中，複數區域對應之上述資訊更包括每一區域彼此對應之距離資訊。在此實施例中，步驟S530更包括，口腔區域定位裝置100之定位電路根據一第三演算法取得目標影像和參考影像間的一位移資訊，且口腔區域定位裝置100之定位電路藉由第二演算法，根據每一區域彼此對 應之距離資訊、參考影像對應之參考影像位置和位移資訊，取得對應目標影像之第二位置估測結果。在此實施例中，第三演算法係一影像比對演算法或一慣性測量單元演算法。
根據本發明一實施例，在口腔區域定位方法中，複數區域對應之上述資訊更包括每一區域彼此對應之角度資訊。在此實施例中，步驟S530更包括，口腔區域定位裝置100之定位電路根據一第四演算法取得目標影像和參考影像間的一角度變化資訊，且口腔區域定位裝置100之定位電路藉由第二演算法，根據每一區域彼此對應之角度資訊、參考影像對應之參考影像位置和角度變化資訊，取得對應目標影像之第二位置估測結果。在此實施例中，第四演算法係一慣性測量單元演算法。
根據本發明一實施例，在口腔區域定位方法中，步驟S540更包括，口腔區域定位裝置100之運算電路將第一位置估測結果和第二位置估測結果相乘，以產生第三位置估測結果。
根據本發明一實施例，在口腔區域定位方法中，步驟S540更包括，口腔區域定位裝置100之運算電路將第一位置估測結果乘以一第一權重值，以產生一第一結果，且將第二位置估測結果乘以一第二權重值，以產生一第二結果，以及口腔區域定位裝置100之運算電路將第一結果和第二結果相加，以產生第三位置估測結果。
根據本發明提出之口腔區域定位方法，口腔區域定位裝置100可根據隱藏式馬可夫模型(HMM)演算法產生之位置估測結果來優化第一演算法產生之位置估測結果，並將兩次位置估測結果 進行運算，以產生更準確之位置估測結果。
本說明書中以及申請專利範圍中的序號，例如「第一」、「第二」等等，僅係為了方便說明，彼此之間並沒有順序上的先後關係。
本發明之說明書所揭露之方法和演算法之步驟，可直接透過執行一處理器直接應用在硬體以及軟體模組或兩者之結合上。一軟體模組(包括執行指令和相關數據)和其它數據可儲存在數據記憶體中，像是隨機存取記憶體(RAM)、快閃記憶體(flash memory)、唯讀記憶體(ROM)、可抹除可規化唯讀記憶體(EPROM)、電子可抹除可規劃唯讀記憶體(EEPROM)、暫存器、硬碟、可攜式應碟、光碟唯讀記憶體(CD-ROM)、DVD或在此領域習之技術中任何其它電腦可讀取之儲存媒體格式。一儲存媒體可耦接至一機器裝置，舉例來說，像是電腦/處理器(為了說明之方便，在本說明書以處理器來表示)，上述處理器可透過來讀取資訊(像是程式碼)，以及寫入資訊至儲存媒體。一儲存媒體可整合一處理器。一特殊應用積體電路(ASIC)包括處理器和儲存媒體。一用戶設備則包括一特殊應用積體電路。換句話說，處理器和儲存媒體以不直接連接用戶設備的方式，包含於用戶設備中。此外，在一些實施例中，任何適合電腦程序之產品包括可讀取之儲存媒體，其中可讀取之儲存媒體包括和一或多個所揭露實施例相關之程式碼。在一些實施例中，電腦程序之產品可包括封裝材料。
以上段落使用多種層面描述。顯然的，本文的教示可以多種方式實現，而在範例中揭露之任何特定架構或功能僅為一代表 性之狀況。根據本文之教示，任何熟知此技藝之人士應理解在本文揭露之各層面可獨立實作或兩種以上之層面可以合併實作。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何熟習此技藝者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，因此發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:口腔區域定位裝置
110:儲存裝置
120:定位電路
130:運算電路

Claims (20)

  1. 一種口腔區域定位裝置，包括：一儲存裝置，儲存口腔之複數區域對應之資訊；一定位電路，耦接上述儲存裝置，從一口腔影像擷取裝置取得一目標影像，以及根據上述複數區域對應之上述資訊和一第一演算法，取得對應上述目標影像之一第一位置估測結果，其中上述定位電路至少根據上述複數區域對應之上述資訊、一第二演算法和一參考影像對應之一參考影像位置，取得對應上述目標影像之一第二位置估測結果，其中上述參考影像位置係上述複數區域之一者；以及一運算電路，耦接上述定位電路，以及根據上述第一位置估測結果和上述第二位置估測結果，產生對應上述目標影像之一第三位置估測結果。
  2. 如請求項1之口腔區域定位裝置，其中上述複數區域對應之上述資訊包含每一上述複數區域對應之一機器學習結果、每一上述複數區域對應之特徵點資訊且/或每一上述複數區域對應之慣性測量單元資訊。
  3. 如請求項1之口腔區域定位裝置，其中上述第一演算法係一深度學習演算法、一影像比對演算法或一慣性測量單元演算法。
  4. 如請求項1之口腔區域定位裝置，其中上述第二演算法係一隱藏式馬可夫模型演算法。
  5. 如請求項1之口腔區域定位裝置，其中上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之移動機率，且上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之移動機率和上述參考影像對應之上述參考影像位置，取得對應上述目標影像之上述第二位置估測結果。
  6. 如請求項1之口腔區域定位裝置，其中上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之距離資訊或每一上述複數區域彼此對應之角度資訊。
  7. 如請求項6之口腔區域定位裝置，其中上述定位電路根據一第三演算法取得上述目標影像和上述參考影像間的一位移資訊，以及上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之距離資訊、上述參考影像對應之上述參考影像位置和上述位移資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第三演算法係一影像比對演算法或一慣性測量單元演算法。
  8. 如請求項6之口腔區域定位裝置，其中上述定位電路根據一第四演算法取得上述目標影像和上述參考影像間的一角度變化資訊，以及上述定位電路藉由上述第二演算法，根據每一上述複數區域彼此對應之角度資訊、上述參考影像對應之上述參考影像位置和上述角度變化資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第四演算法係一慣性測量單元演算法。
  9. 如請求項1之口腔區域定位裝置，其中上述運算電路將上述第一位置估測結果和上述第二位置估測結果相乘，以產生上述第三位置估測結果。
  10. 如請求項1之口腔區域定位裝置，其中上述運算電路將上述第一位置估測結果乘以一第一權重值，以產生一第一結果，且將上述第二位置估測結果乘以一第二權重值，以產生一第二結果，且其中上述運算電路將上述第一結果和上述第二結果相加，以產生上述第三位置估測結果。
  11. 一種口腔區域定位方法，適用一口腔區域定位裝置，包括：藉由上述口腔區域定位裝置之一定位電路，從一口腔影像擷取裝置取得一目標影像，以及根據口腔之複數區域對應之資訊和一第一演算法，取得對應上述目標影像之一第一位置估測結果；藉由上述定位電路，至少根據上述複數區域對應之上述資訊、一第二演算法和一參考影像對應之一參考影像位置，取得對應上述目標影像之一第二位置估測結果，其中上述參考影像位置係上述複數區域之一者；以及藉由上述口腔區域定位裝置之一運算電路，根據上述第一位置估測結果和上述第二位置估測結果，產生對應上述目標影像之一第三位置估測結果。
  12. 如請求項11之口腔區域定位方法，其中上述複數區域對應之上述資訊包含每一上述複數區域對應之一機器學習結果、每一上述複數區域對應之特徵點資訊且/或每一上述複數區域對應之慣性測量單元資訊。
  13. 如請求項11之口腔區域定位方法，其中上述第一演算法係一深度學習演算法、一影像比對演算法或一慣性測量單元演算法。
  14. 如請求項11之口腔區域定位方法，其中上述第二演算法係一隱藏式馬可夫模型演算法。
  15. 如請求項11之口腔區域定位方法，其中上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之移動機率，且上述口腔區域定位方法更包括：藉由上述第二演算法，根據每一上述複數區域彼此對應之移動機率和上述參考影像對應之上述參考影像位置，取得對應上述目標影像之上述第二位置估測結果。
  16. 如請求項11之口腔區域定位方法，其中上述複數區域對應之上述資訊更包括每一上述複數區域彼此對應之距離資訊或每一上述複數區域彼此對應之角度資訊。
  17. 如請求項16之口腔區域定位方法，更包括：藉由上述定位電路根據一第三演算法取得上述目標影像和上述參考影像間的一位移資訊；以及 藉由上述第二演算法，根據每一上述複數區域彼此對應之距離資訊、上述參考影像對應之上述參考影像位置和上述位移資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第三演算法係一影像比對演算法或一慣性測量單元演算法。
  18. 如請求項16之口腔區域定位方法，更包括：藉由上述定位電路根據一第四演算法取得上述目標影像和上述參考影像間的一角度變化資訊；以及藉由上述第二演算法，根據每一上述複數區域彼此對應之角度資訊、上述參考影像對應之上述參考影像位置和上述角度變化資訊，取得對應上述目標影像之上述第二位置估測結果，其中上述第四演算法係一慣性測量單元演算法。
  19. 如請求項12之口腔區域定位方法，更包括：藉由上述運算電路將上述第一位置估測結果和上述第二位置估測結果相乘，以產生上述第三位置估測結果。
  20. 如請求項12之口腔區域定位方法，更包括：藉由上述運算電路將上述第一位置估測結果乘以一第一權重值，以產生一第一結果；藉由上述運算電路將上述第二位置估測結果乘以一第二權重值，以產生一第二結果；以及藉由上述運算電路將上述第一結果和上述第二結果相加，以產生上述第三位置估測結果。
TW109139094A 2020-11-10 2020-11-10 口腔區域定位裝置和方法 TWI744083B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW109139094A TWI744083B (zh) 2020-11-10 2020-11-10 口腔區域定位裝置和方法
CN202011352679.2A CN114533324A (zh) 2020-11-10 2020-11-26 口腔区域定位装置和方法
US17/149,934 US20220142739A1 (en) 2020-11-10 2021-01-15 Oral-area positioning device and method
EP21154968.8A EP3995072A1 (en) 2020-11-10 2021-02-03 Oral-area positioning device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109139094A TWI744083B (zh) 2020-11-10 2020-11-10 口腔區域定位裝置和方法

Publications (2)

Publication Number Publication Date
TWI744083B true TWI744083B (zh) 2021-10-21
TW202218638A TW202218638A (zh) 2022-05-16

Family

ID=74550511

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109139094A TWI744083B (zh) 2020-11-10 2020-11-10 口腔區域定位裝置和方法

Country Status (4)

Country Link
US (1) US20220142739A1 (zh)
EP (1) EP3995072A1 (zh)
CN (1) CN114533324A (zh)
TW (1) TWI744083B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4246461A1 (en) * 2022-03-18 2023-09-20 Quanta Computer Inc. Image classifying device and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10426351B2 (en) * 2015-11-10 2019-10-01 Quantum Dental Technologies Inc. Systems and methods for spatial positioning of diagnostic and or treatment probe based on surface profile detection
US10500017B2 (en) * 2013-10-09 2019-12-10 Peking University School Of Stomatology Method and apparatus for tooth body automatic preparation by digital controlled laser light and tooth retainer
TW202000145A (zh) * 2018-06-29 2020-01-01 財團法人工業技術研究院 用於齒顎矯正器之定位導引方法以及其系統

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970628B2 (en) * 2004-02-27 2011-06-28 Align Technology, Inc. Method and system for providing dynamic orthodontic assessment and treatment profiles
US8439672B2 (en) * 2008-01-29 2013-05-14 Align Technology, Inc. Method and system for optimizing dental aligner geometry
JP2019534094A (ja) * 2016-11-10 2019-11-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 口腔クリーニング装置の位置特定のための方法およびシステム
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
EP3620130A1 (en) * 2018-09-04 2020-03-11 Promaton Holding B.V. Automated orthodontic treatment planning using deep learning
US11563929B2 (en) * 2019-06-24 2023-01-24 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
CN111784754B (zh) * 2020-07-06 2024-01-12 浙江得图网络有限公司 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10500017B2 (en) * 2013-10-09 2019-12-10 Peking University School Of Stomatology Method and apparatus for tooth body automatic preparation by digital controlled laser light and tooth retainer
US10426351B2 (en) * 2015-11-10 2019-10-01 Quantum Dental Technologies Inc. Systems and methods for spatial positioning of diagnostic and or treatment probe based on surface profile detection
TW202000145A (zh) * 2018-06-29 2020-01-01 財團法人工業技術研究院 用於齒顎矯正器之定位導引方法以及其系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4246461A1 (en) * 2022-03-18 2023-09-20 Quanta Computer Inc. Image classifying device and method

Also Published As

Publication number Publication date
CN114533324A (zh) 2022-05-27
US20220142739A1 (en) 2022-05-12
TW202218638A (zh) 2022-05-16
EP3995072A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
US10296825B2 (en) Dueling deep neural networks
EP2572319B1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
JP6086211B2 (ja) 位置情報提供装置、位置情報提供システム、位置情報提供方法、プログラム及び記録媒体
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
US10697778B2 (en) Indoor navigation
JP2016006611A5 (zh)
CN110246182A (zh) 基于视觉的全局地图定位方法、装置、存储介质和设备
TWI744083B (zh) 口腔區域定位裝置和方法
JP2014185996A (ja) 計測装置
WO2018045508A1 (en) Indoor navigation
KR101297317B1 (ko) 동작 추적을 위한 모션 센서의 교정 방법
TWI680382B (zh) 電子裝置及其姿態校正方法
JP2012255705A (ja) 位置姿勢出力装置、位置姿勢出力プログラム及び位置姿勢出力方法
JP5662787B2 (ja) 携帯端末および画像処理方法
TWI806500B (zh) 影像分類裝置和方法
JPWO2020217369A5 (ja) オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びプログラム
TWI782538B (zh) 口腔掃描裝置和方法
JP2020091267A (ja) 補正装置、補正方法、および補正プログラム
JP2006171456A (ja) 地図データ精度評価方法、地図データ精度評価装置、地図データ精度評価プログラムおよび修正地図データ生成方法
JP2009063318A (ja) 距離計測装置及び距離計測方法
JP6335413B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN117804442A (zh) 飞行器的位姿确定方法、装置、电子设备及存储介质
CN116518971A (zh) 基于泛在定位信号增强的个性化pdr定位方法及系统
JP2009141644A (ja) 画像データ管理装置