TWI721553B - 牙區辨識系統 - Google Patents

牙區辨識系統 Download PDF

Info

Publication number
TWI721553B
TWI721553B TW108132140A TW108132140A TWI721553B TW I721553 B TWI721553 B TW I721553B TW 108132140 A TW108132140 A TW 108132140A TW 108132140 A TW108132140 A TW 108132140A TW I721553 B TWI721553 B TW I721553B
Authority
TW
Taiwan
Prior art keywords
tooth
deep learning
learning model
images
probability
Prior art date
Application number
TW108132140A
Other languages
English (en)
Other versions
TW202112120A (zh
Inventor
鄭楷儒
陳冠中
簡佑丞
吳仲昇
李浩平
丁敬原
陳毓訓
陳少昂
王佳琪
宋志偉
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW108132140A priority Critical patent/TWI721553B/zh
Priority to CN201910897528.6A priority patent/CN112450861B/zh
Priority to US16/707,234 priority patent/US11037317B2/en
Priority to EP19219109.6A priority patent/EP3789957A1/en
Application granted granted Critical
Publication of TWI721553B publication Critical patent/TWI721553B/zh
Publication of TW202112120A publication Critical patent/TW202112120A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

一種牙區辨識系統，包含一電子裝置以及一運算裝置。電子裝置包含一第一攝影機。第一攝影機用以拍攝複數個牙齒影像。運算裝置包含一第二攝影機以及一處理器。第二攝影機用以拍攝一使用者影像。處理器用以接收此些牙齒影像，比對此些牙齒影像中每個像素點的對應位置，以產生一深度圖，將此些牙齒影像、深度圖及複數個第一牙齒區域標識輸入一牙齒深度學習模型，牙齒深度學習模型輸出與此些第一牙齒區域標識數量相同的複數個深度學習機率值，處理器將使用者照片及複數個第二牙齒區域標識輸入一使用者影像深度學習模型。

Description

牙區辨識系統
本發明是關於一種辨識系統，特別是關於一種牙區辨識系統。
傳統上，牙醫需要將齒鏡置入患者的口腔內，藉由齒鏡以觀看患者部分口腔，然而，即使智慧齒鏡搭載鏡頭，由於鏡頭的視野線制，也只能拍攝到部分牙齒，且人類左右側牙齒接近對稱，因此一般人難以判斷齒鏡與實際牙齒位置的相應區域，需要牙醫的經驗去判斷齒鏡上的鏡頭目前放置在患者哪一顆牙齒。
因此，如何自動且精準的辨識出智慧齒鏡所拍攝到的實際牙齒位置，仍為本領域所需改進的問題之一。
為了解決上述的問題，本揭露內容之一態樣提供了一種牙區辨識系統，其包含一電子裝置以及一運算裝置。電子裝置包含一第一攝影機。第一攝影機用以拍攝複數個牙齒影像。運算裝置包含一第二攝影機以及一處理器。第二攝影機用以拍攝一使用者影像。處理器用以接收此些牙齒影像，比對此些牙齒影像中每個像素點的對應位置，以產生一深度圖，將此些牙齒影像、深度圖及複數個第一牙齒區域標識輸入一牙齒深度學習模型，牙齒深度學習模型輸出與此些第一牙齒區域標識數量相同的複數個深度學習機率值，處理器將使用者照片及複數個第二牙齒區域標識輸入一使用者影像深度學習模型，使用者影像深度學習模型輸出一左區域機率值及一右區域機率值，處理器將此些深度學習機率值、左區域機率值與右區域機率值視為複數個特徵值，將此些特徵值及複數個第三牙齒區域標識輸入一多層感知機(Multi-layer Perceptron Classifier)，多層感知機輸出此些牙齒影像所對應的一牙齒位置機率。
本揭露內容之另一態樣提供了牙區辨識系統，其包含一電子裝置以及一運算裝置。電子裝置包含一第一攝影機以及一慣性測量單元（Inertial Measurement Unit，IMU）。第一攝影機用以拍攝複數個牙齒影像。慣性測量單元用以測量電子裝置的一姿態資訊及一運動軌跡。運算裝置包含一處理器。處理器用以接收此些牙齒影像，比對此些牙齒影像中每個像素點的對應位置，以產生一深度圖，將此些牙齒影像、深度圖及複數個第一牙齒區域標識輸入一牙齒深度學習模型，牙齒深度學習模型輸出與此些第一牙齒區域標識數量相同的複數個深度學習機率值，處理器將姿態資訊、運動軌跡及複數個第二牙齒區域標識輸入一IMU動作深度學習模型，IMU動作深度學習模型輸出複數個象限機率值，將此些深度學習機率值及此些象限機率值視為複數個特徵值，處理器將此些特徵值及複數個第三牙齒區域標識輸入多層感知機，多層感知機輸出此些牙齒影像所對應的一牙齒位置機率。
本發明所示之牙區辨識系統，應用牙齒區域標識及牙齒深度學習模型，以達到自動並準確判斷牙齒影像對應實際牙齒位置的效果。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請一併參照第1A~1B圖，第1A圖係依照本發明一實施例繪示一種牙區辨識系統之示意圖。第1B圖係根據本發明之一實施例繪示一種牙區辨識系統100之方塊圖。於一實施例中，電子裝置110 (例如為數位齒鏡或其它可用以拍攝口腔內部的裝置，以下以數位齒鏡作舉例)中包含一攝影機112及一慣性測量單元（Inertial Measurement Unit，IMU）114。於一實施例中，數位齒鏡110更包含一光源裝置116及一傳輸裝置118。於一實施例中，使用者USR將數位齒鏡110放入口腔時，光源裝置116用以提供光源，攝影機112拍攝用以口腔中部分牙齒，以擷取多張牙齒影像。
於一實施例中，攝影機112是由至少一電荷耦合元件（Charge Coupled Device；CCD）或一互補式金氧半導體（Complementary Metal-Oxide Semiconductor；CMOS）感測器所組成。
於一實施例中，慣性測量單元114是測量物體三軸姿態角（或角速率）以及加速度的裝置。慣性測量單元114內可包含三軸的陀螺儀和三個方向的加速度計，來測量物體在三維空間中的角速度和加速度，並依感測到的角速度和加速度算出物體的移動資訊。例如，使用者USR將數位齒鏡110放入口腔時，慣性測量單元114用以測量數位齒鏡110的一姿態資訊及一運動軌跡。
於一實施例中，光源裝置116可以由包含發光二極體之半導體的裝置實現之。
於一實施例中，傳輸裝置118、128之間可以由有線或無線的方式建立通訊連結LK，傳輸裝置118、128可以是藍芽裝置、無線網卡或其它具有通訊功能的裝置。
於一實施例中，傳輸裝置118將攝影機112拍攝到的多張牙齒影像透過通訊連結LK傳送到運算裝置120。於一實施例中，運算裝置120包含一處理器122。於一實施例中，運算裝置120更包含攝影機124。於一實施例中，運算裝置120更包含顯示器126及傳輸裝置128。
於一實施例中，運算裝置120可以是手機、平板、筆記型電腦、桌上型電腦或其它具運算功能的裝置。
於一實施例中，處理器122可由體積電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，顯示器126用以顯示運算裝置120所接收到的來自攝影機112的牙齒影像。
第2圖係根據本發明之一實施例繪示一種牙區辨識方法之流程圖200。
於步驟210中，攝影機112用以拍攝多個牙齒影像。
請參閱第3A~3B圖，第3A~3B圖係根據本發明之一實施例繪示一種牙區表示位置之示意圖。第3A~3B圖是國際牙科聯盟(Fédération Dentaire Internationale，FDI)提出的牙位表示法，為世界通用，也稱ISO-3950表示法，每顆牙用兩位阿拉伯數字表示，第一位表示牙齒所在的象限，將第3A圖的牙齒位置的右上、左上、左下、右下在恆牙為1、2、3、4，在乳牙為5、6、7、8；第二位表示牙齒的位置：從中門齒到第三臼齒為1~8，其對應表亦可以由第3B圖所示。一般而言，成人的恆牙約為32顆，例如，攝影機112可能在成人口腔內針對特定的至少一顆牙齒(例如為1~2顆牙齒)進行多次拍攝，以取得多張牙齒影像，依後續步驟辨識這些牙齒影像所對應到第3A~3B圖中的位置。
於步驟220中，攝影機124拍攝使用者影像。
於一實施例中，攝影機124為運算裝置120的前鏡頭(自拍鏡頭)。當數位齒鏡110置入使用者USR口腔內時，使用者USR或其它手持運算裝置120的人員，以攝影機124拍攝使用者影像。於一實施例中，使用者USR可以用攝影機124自拍使用數位齒鏡110的情境，以取得使用者影像。
於步驟230中，處理器122接收牙齒影像，比對此些牙齒影像中每個像素點的對應位置，以產生一深度圖DP。舉例而言，處理器122可藉由接收到的多張牙齒影像，利用已知的演算法，如，單視角影像(Monocular)、利用雙視角影像(Binocular) 產生深度圖。
請參閱第4圖，第4圖係根據本發明之一實施例繪示一種應用牙齒深度學習模型TM以取得深度學習機率值之方法400的示意圖。
於步驟240中，處理器122將此些牙齒影像、深度圖及多個牙齒區域標識LB1_1~ LB1_n輸入一牙齒深度學習模型TM，牙齒深度學習模型TM輸出與此些牙齒區域標識數量相同的多個深度學習機率值A1~ A16。
於一實施例中，牙齒影像包含原始影像IMG_F、R通道陣列影像IMG_R、G通道陣列影像IMG_G、B通道陣列影像IMG_B及/或深度圖DP。於一實施例中，牙齒影像可包含多種角度的各組原始影像IMG_F、R通道陣列影像IMG_R、G通道陣列影像IMG_G、B通道陣列影像IMG_B及/或深度圖DP。
多個牙齒區域標識LB1_1~ LB1_n例如包含所有牙齒的右半部(右上及右下)，即16顆牙齒的細部區域的編號，例如將第3A~3B圖所示之牙位表示法中的牙齒位置21~28、31~38都標上編號，處理器122將牙齒位置21~28、31~38都各自定義一個牙齒區域標識LB1_1~ LB1_n，例如牙齒位置21的位置定義為牙齒區域標識LB1_1、牙齒位置22的位置定義為牙齒區域標識LB1_2…牙齒位置38定義為牙齒區域標識LB1_16(於此例中，n為16)。此處僅為一例子，此處的對應方式可依據牙區辨識系統100實際實作而調整。
於一些實施例中，多個牙齒區域標識LB1_1~ LB1_n亦可以是一或多顆牙齒的俯視區域、左右側區域及/或前後側區域。
處理器122將原始影像IMG_F、R通道陣列影像IMG_R、G通道陣列影像IMG_G、B通道陣列影像IMG_B及/或深度圖DP及多個牙齒區域標識LB_1輸入一牙齒深度學習模型TM，牙齒深度學習模型TM輸出與此些牙齒區域標識LB1_1~ LB1_n數量相同(例如16個)的多個深度學習機率值A1~ A16。換言之，深度學習機率值A1~ A16的數量會與牙齒區域標識LB1_1~ LB1_n對應，同為16個。
於一實施例中，牙齒區域標識LB1_1~ LB1_n中的每個編號各自對應到一個深度學習機率值A1~ A16，例如牙齒編號21的位置對應到深度學習機率值A1、牙齒編號22的位置對應到深度學習機率值A2、牙齒編號23的位置對應到深度學習機率值A3。此處僅為一例子，此處的對應方式可依據牙區辨識系統100實際實作而調整。
於一實施例中，牙齒深度學習模型TM輸出的深度學習機率值A1例如為90%、深度學習機率值A2例如為30%、深度學習機率值A3例如為10%，若在所有深度學習機率值A1~A16中，深度學習機率值A1的值最高，待表此些牙齒影像是深度學習機率值A1所對應的牙齒區域標識LB1_1(例如牙齒編號21的位置)的機率最高。
請參閱第5圖，第5圖係根據本發明之一實施例繪示一種應用使用者影像深度學習模型UM以取得左區域機率值RS及右區域機率值LS之方法500的示意圖。
於步驟250中，處理器122將使用者照片及多個牙齒區域標識LB2_1~ LB2_n輸入一使用者影像深度學習模型UM，使用者影像深度學習模型輸出一左區域機率值RS及一右區域機率值LS。
於一實施例中，牙齒區域標識LB2_1~ LB2_n例如為2個區域(於此例中，n為2)，例如所有牙齒的右半部(右上及右下)為牙齒區域標識LB2_1，所有牙齒的左半部(左上及左下)為牙齒區域標識LB2_n。此處僅為一例子，此處的對應方式可依據牙區辨識系統100實際實作而調整。
換言之，第5圖中使用者影像深度學習模型UM輸出的機率值(左區域機率值RS及右區域機率值LS)的數量會與牙齒區域標識LB2_1~ LB2_n對應，同為2個。
於一實施例中，使用者照片可以為多張，此些使用者照片包含原始照片USR_F、R通道陣列影像USR_R、G通道陣列影像USR_G及/或B通道陣列影像USR_B。於一實施例中，使用者照片可包含多種角度的各組原始照片USR_F、R通道陣列影像USR_R、G通道陣列影像USR_G及/或B通道陣列影像USR_B。
處理器122將原始照片USR_F、R通道陣列影像USR_R、G通道陣列影像USR_G及/或B通道陣列影像USR_B輸入使用者影像深度學習模型UM，使用者影像深度學習模型UM輸出左區域機率值RS及右區域機率值LS。
於一實施例中，當左區域機率值RS大於右區域機率值LS時，代表使用者USR使用數位齒鏡110拍攝所有牙齒的左半區域較高。當左區域機率值RS小於右區域機率值LS時，代表使用者USR使用數位齒鏡110拍攝所有牙齒的右半區域較高。
於一實施例中，牙齒深度學習模型TM及使用者影像深度學習模型UM各自以一卷積神經網路(Convolutional Neural Network，CNN)模型實現。
請參閱第6圖，第6圖係根據本發明之一實施例繪示一種卷積神經網路模型的示意圖。卷積神經網路是將至少一張原始影像IMG_I(例如原始影像IMG_F、R通道陣列影像IMG_R、G通道陣列影像IMG_G、B通道陣列影像IMG_B、深度圖DP、原始照片USR_F、R通道陣列影像USR_R、G通道陣列影像USR_G及/或B通道陣列影像USR_B)進行卷積運算(Convolution)，使用Relu函數去掉負值，更能淬煉出物體的形狀，接著進行池化運算(Pooling)，此處的卷積運算、Relu函數運算及池化運算可以是為一組運算，此組運算可以重複複數次，例如在第6圖中重複兩次，以完成特徵學習部分，換言之，原始影像IMG_I輸入後，會經過兩個卷積層 (Convolution Layer) 然後把它進行扳平運算 (Flatten) 之後進入全連結層 (Fully Connected Layer) 最後就是進入 Softmax 函式轉為機率，以分類出結果(例如，深度學習機率值A1~ A16或左區域機率值RS及右區域機率值LS)。然而，本領域具通常知識者應能理解，本發明不限於採用CNN模型，只要是可以達到自動分類的其它神經網路模型亦可應用之。其中，Softmax函數是有限項離散概率分布的梯度對數歸一化，為已知演算法，故此處不贅述之。
請參閱第7圖，第7圖係根據本發明之一實施例繪示一種應用IMU動作深度學習模型IM取得象限機率值UR、UL、LL及LR之方法700的示意圖。
於一實施例中，慣性測量單元114用以測量數位齒鏡110的一姿態資訊P1及一運動軌跡P2。其中，處理器122將姿態資訊P1、運動軌跡P2及多個牙齒區域標識LB3_1~LB3_4輸入一IMU動作深度學習模型IM，IMU動作深度學習模型IM輸出多個象限機率值UR、UL、LL及/或LR。多個牙齒區域標識LB3_1~LB3_4例如第3A所示，將所有牙齒位置畫分成四個象限(右上為第一象限牙齒標示區域LB3_1、左上為第二象限牙齒標示區域LB3_2、左下為第三象限牙齒標示區域LB3_3、右下為第四象限為牙齒標示區域LB3_4)，IMU動作深度學習模型IM輸出第一象限的象限機率值UR、第二象限的象限機率值UL、第三象限的象限機率值LL、第四象限的象限機率值LR。
於一實施例中，IMU動作深度學習模型IM輸出的象限機率值UR例如為90%、象限機率值UR例如為30%、象限機率值UL例如為10%、象限機率值LL例如為20%，於此例中，在所有象限機率值UR、UL、LL及LR中，象限機率值UR的值最高，待表此些牙齒影像是象限機率值UR所對應的牙齒區域標識LB3_1 (例如牙齒編號21~28的位置)的機率最高。
於一實施例中，IMU動作深度學習模型IM以一遞歸神經網路(Recurrent Neural Network，RNN)模型實現。
請參閱第8圖，第8圖係根據本發明之一實施例繪示一種遞歸神經網路模型的示意圖。遞歸神經網路模型常用於與時間序列相關的分類(如IMU動作分類)，將IMU的時間序列資料輸入至遞歸神經網路模型， 並將其分類。第8圖以簡單循環神經網路(Simple RNN)分類為例：符號F代表單一遞歸神經網路模型；輸入的符號x0~xt為時間0~t的IMU資料(如慣性測量單元114測量到的資料)，符號h0~ht為時間0~t的隱藏狀態(hidden state)，會成為下一個遞歸神經網路的輸入。換句話說，遞歸神經網路旨在建立一種記憶，也就是為了不將先前輸出的結果遺忘，將之累積成某種隱藏狀態 (hidden state)，並與當前輸入結合，一起產出結果，再進一步傳遞下去。也因此，遞歸神經網路適合接收序列 (sequence) 作為輸入並輸出序列，提供了序列生成一個簡潔的模型。最後的隱藏狀態ht進入 Softmax 函式轉為機率，以分類出結果(例如為象限機率值UR、UL、LL及LR)。於一實施例中，遞歸神經網路在訓練階段輸入多組已分類好的IMU 資料，以更新遞歸神經網路模型內的參數，並儲存最佳參數當作最佳的遞歸神經網路模型。
遞歸神經網路模型相當多種，實際應用上可能使用簡單循環神經網路、長短期記憶網路(Long Short Term Memory Network，LSTM)…等遞歸神經網路架構。
請參閱第9圖，第9圖係根據本發明之一實施例繪示一種應用多層感知機MLP以推算出牙齒影像所對應的牙齒位置機率POS1~POS32的示意圖。
於步驟260中，處理器122將此些深度學習機率值A1~ A16、左區域機率值RS與右區域機率值LS視為多個特徵值，將此些特徵值及多個牙齒區域標識LB4_1~LB4_n輸入一多層感知機(Multi-layer Perceptron Classifier)MLP，多層感知機MLP輸出牙齒影像所對應的一牙齒位置機率POS1~POS32。
於一實施例中，多個牙齒區域標識LB4_1~LB4_n例如是依據32顆牙齒的位置分成32個區域(於此例中，n為32)。處理器122將此些深度學習機率值A1~ A16(16個特徵值)、左區域機率值RS與右區域機率值LS(2個特徵值)視為多個特徵值(共18個特徵值)，將此些特徵值及牙齒區域標識LB4_1~LB4_n(於此例中，n為32)輸入多層感知機MLP，多層感知機MLP輸出32個牙齒位置機率POS1~POS32。需注意的是，於此例中，輸入為18個特徵值(前述象限機率值UR、UL、LL及LR尚未做為特徵值輸入，因此只輸入18個特徵值)，特徵值的數量可依牙區辨識系統100實作時調整。一般而言，輸入特徵值的數量越多，輸入多層感知機MLP輸出的牙齒位置機率POS1~POS32判斷結果越準確。
於一實施例中，如第9圖所示，處理器122將此些深度學習機率值A1~ A16、左區域機率值RS、右區域機率值LS、象限機率值UR、UL、LL及LR視為此些特徵值(共22個特徵值)，將此些特徵值及此些牙齒區域標識LB4_1~LB4_n(於此例中，n為32)輸入多層感知機，多層感知機輸出此些牙齒影像所對應的此牙齒位置機率POS1~POS32。
請一併參閱第10、11A~11B圖，第10圖係根據本發明之一實施例繪示一種牙區辨識方法的示意圖。第11A~11B圖係根據本發明之一實施例繪示一種應用多層感知機MLP模型的示意圖。於第10圖中，符號f1~fm即為輸入的特徵值(Input features)，符號Bias代表偏權值，符號R1~Rm可視為一個神經元集合，代表進入多層感知機MLP後的輸入特徵，其構成輸入層(Input layer)，於一些實施例中，隱藏層(Hidden layer)可以有多層，每個神經元在隱藏層會根據前一層的輸出的結果，做為當前此層的輸入，最後輸出結果OT1~OTn，此些結果構成輸出層(Output layer)，輸出層即為所需分類的類別，例如，輸出層輸出結果OT1、OT3、OTn分別為：拍攝到左下位置38的機率(例如左下位置38對應的牙齒位置機率POS10為90%)、拍攝到左下位置37的機率(例如左下位置37對應的牙齒位置機率POS11為90%)...及拍攝到右下位置46的機率(例如右下位置46對應的牙齒位置機率POS21為10%)，若機率為90%為輸出層中數值最高，則處理器122判斷此些輸入影像對應的牙齒位置為牙位表示法中的左下位置38及左下位置37。然，本領域具通常知識者應可理解，上述僅為一例，輸出層輸出的方式不限於此，亦可透過其他輸出參數的方式呈現運算結果。
於一實施例中，訓練階段輸入多組已分類好的特徵資料，以更新多層感知機MLP內的參數，並儲存最佳參數當作最佳的模型。
於一實施例中，多層感知機MLP的實作可應用軟體Scikit-learn，軟體Scikit-learn是一個用於Python編程語言的免費軟體機器學習庫。例如，多層感知機MLP在實作上可應用軟體Scikit-learn的sklearn.neural_network.MLPClassifier函式庫。
於一實施例中，數位齒鏡110的攝影機112用以拍攝一或多個牙齒影像，慣性測量單元114，用以測量數位齒鏡110的一姿態資訊P1及一運動軌跡P2。運算裝置120的處理器122用以接收此些牙齒影像，比對此些牙齒影像中每個像素點的對應位置，以產生一深度圖DP，將此些牙齒影像、深度圖DP及多個牙齒區域標識LB1_1~ LB1_n輸入一牙齒深度學習模型TM，牙齒深度學習模型TM輸出與此些牙齒區域標識LB1_1~ LB1_n數量相同的多個深度學習機率值A1~ A16，處理器122將姿態資訊P1、運動軌跡P2及多個牙齒區域標識LB3_1~LB3_4輸入一IMU動作深度學習模型IM， IMU動作深度學習模型IM輸出多個象限機率值UR、UL、LL及/或LR，將此些深度學習機率值A1~ A16及此些象限機率值UR、UL、LL及/或LR視為多個特徵值，處理器122將此些特徵值及多個牙齒區域標識LB4_1~LB4_n輸入多層感知機，多層感知機MLP輸出此些牙齒影像所對應的一牙齒位置機率。
於一實施例中，於第11A~11B圖中，數位齒鏡110的攝影機112依序拍攝到原始影像IMG_F、原始影像IMG_F’，數位齒鏡110的慣性測量單元114於拍攝到原始影像IMG_F的當下取得移動資訊IMU_D，於拍攝到原始影像IMG_F’的當下取得移動資訊IMU_D’，處理器122接收此些資訊並將原始影像IMG_F、原始影像IMG_F’、移動資訊IMU_D及移動資訊IMU_D’輸入深度地圖產生器DMG，以產生深度圖DP。其中，深度地圖產生器DMG可以由現有技術實現之，例如應用單視角影像、雙視角影像…等方式，以硬體電路或軟體實作深度地圖產生器DMG，故此處不贅述之。
由第11A~11B圖可知，方法400可選擇性地搭配方法700及/或方法500以產生多個特徵值。
例如，處理器122執行方法400(第11A圖)會產生多個深度學習機率值(例如A1~ A16)，處理器122執行方法700(第11B圖)會產生象限機率值UR、UL、LL及LR，則處理器122執行方法400搭配方法700會產生20個特徵值，處理器將此20個特徵值代入多層感知機MLP以推算出牙齒影像所對應的牙齒位置機率，例如，輸出層輸出：拍攝到左下位置38的機率(例如左下位置38對應的牙齒位置機率POS10為80%)、拍攝到左下位置37的機率(例如左下位置37對應的牙齒位置機率POS11為80%)...及拍攝到右下位置46的機率(例如右下位置46對應的牙齒位置機率POS21為30%)，若機率為80%為輸出層中數值最高，則處理器122判斷此些輸入影像對應的牙齒位置為牙位表示法中的左下位置38及左下位置37。
例如，處理器122執行方法400(第11A圖)會產生多個深度學習機率值(例如A1~ A16)，處理器122執行方法500(第11B圖)會產生左區域機率值RS及右區域機率值LS，則處理器122執行方法400搭配方法500會產生18個特徵值，處理器將此18個特徵值代入多層感知機MLP以推算出牙齒影像所對應的牙齒位置機率，例如，輸出層輸出：拍攝到左下位置38的機率(例如左下位置38對應的牙齒位置機率POS10為70%)、拍攝到左下位置37的機率(例如左下位置37對應的牙齒位置機率POS11為70%)...及拍攝到右下位置46的機率(例如右下位置46對應的牙齒位置機率POS21為40%)，若機率為70%為輸出層中數值最高，則處理器122判斷此些輸入影像對應的牙齒位置為牙位表示法中的左下位置38及左下位置37。
例如，處理器122執行方法400(第11A圖)會產生多個深度學習機率值(例如A1~ A16)，處理器122執行方法700(第11B圖)會產生象限機率值UR、UL、LL及LR，並且執行方法500(第11B圖)產生左區域機率值RS及右區域機率值LS，則處理器122執行方法400搭配方法500及方法700會產生22個特徵值，處理器將此22個特徵值代入多層感知機MLP以推算出牙齒影像所對應的牙齒位置機率，例如，輸出層輸出：拍攝到左下位置38的機率(例如左下位置38對應的牙齒位置機率POS10為95%)、拍攝到左下位置37的機率(例如左下位置37對應的牙齒位置機率POS11為95%)...及拍攝到右下位置46的機率(例如右下位置46對應的牙齒位置機率POS21為10%)，若機率為95%為輸出層中數值最高，則處理器122判斷此些輸入影像對應的牙齒位置為牙位表示法中的左下位置38及左下位置37。
本發明所示之牙區辨識系統，應用牙齒區域標識及牙齒深度學習模型，以達到自動並準確判斷牙齒影像對應實際牙齒位置的效果。
100:牙區辨識系統 110:電子裝置 LK:通訊連結 120:運算裝置 USR:使用者 112、124:攝影機 114:慣性測量單元 116:光源裝置 118、128:傳輸裝置 122:處理器 126:顯示器 200:牙區辨識方法之流程圖 210~260:步驟 11~18、21~28、31~38、42~48:牙齒位置 400:應用牙齒深度學習模型以取得深度學習機率值之方法 DP:深度圖 IMG_F、USR_F:原始影像 IMG_R:R通道陣列影像 IMG_G、USR_R:G通道陣列影像 IMG_B、USR_B:B通道陣列影像 LB1_1~ LB1_n、LB2_1~ LB2_n、LB3_1~LB3_4、LB4_1~LB4_n:牙齒區域標識 TM:牙齒深度學習模型 500:應用使用者影像深度學習模型以取得左區域機率值及右區域機率值之方法 UM:使用者影像深度學習模型 LS:右區域機率值 RS:左區域機率值 700:應用IMU動作深度學習模型取得象限機率值之方法 P1:姿態資訊 P2:運動軌跡 IM:IMU動作深度學習模型 UR、UL、LL、LR:象限機率值 x0~xt:時間0~t的IMU資料 h0~ht:時間0~t的隱藏狀態 F:單一遞歸神經網路模型 A1~A16:深度學習機率值 MLP:多層感知機 POS1~POS32:牙齒位置機率 f1~fm:輸入的特徵值 R1~Rm:神經元集合 Bias:偏權值 OT1~OTn:輸出結果 IMG_F、IMG_F’:原始影像 IMU_D、IMU_D’:移動資訊 DMG:深度地圖產生器
第1A圖係依照本發明一實施例繪示一種牙區辨識系統之示意圖。 第1B圖係根據本發明之一實施例繪示一種牙區辨識系統之方塊圖。 第2圖係根據本發明之一實施例繪示一種牙區辨識方法之流程圖。 第3A~3B圖係根據本發明之一實施例繪示一種牙區表示位置之示意圖。 第4圖係係根據本發明之一實施例繪示一種應用牙齒深度學習模型以取得深度學習機率值之方法的示意圖。 第5圖係根據本發明之一實施例繪示一種應用使用者影像深度學習模型以取得左區域機率值及右區域機率值之方法的示意圖。 第6圖係根據本發明之一實施例繪示一種卷積神經網路模型的示意圖。 第7圖係根據本發明之一實施例繪示一種應用IMU動作深度學習模型取得象限機率值之方法的示意圖。 第8圖係根據本發明之一實施例繪示一種遞歸神經網路模型的示意圖。 第9圖係根據本發明之一實施例繪示一種應用多層感知機MLP以推算出牙齒影像所對應的牙齒位置機率的示意圖。 第10圖係根據本發明之一實施例繪示一種牙區辨識方法的示意圖。 第11A~11B圖係根據本發明之一實施例繪示一種應用多層感知機MLP模型的示意圖。
200:牙區辨識方法
210~260:步驟

Claims (10)

  1. 一種牙區辨識系統，包含： 一電子裝置，包含 ： 一第一攝影機，用以拍攝複數個牙齒影像；以及 一運算裝置，包含： 一第二攝影機，用以拍攝一使用者影像；以及 一處理器，用以接收該些牙齒影像，比對該些牙齒影像中每個像素點的對應位置，以產生一深度圖，將該些牙齒影像、該深度圖及複數個第一牙齒區域標識輸入一牙齒深度學習模型，該牙齒深度學習模型輸出與該些第一牙齒區域標識數量相同的複數個深度學習機率值，該處理器將該使用者照片及複數個第二牙齒區域標識輸入一使用者影像深度學習模型，該使用者影像深度學習模型輸出一左區域機率值及一右區域機率值，該處理器將該些深度學習機率值、該左區域機率值與該右區域機率值視為複數個特徵值，將該些特徵值及複數個第三牙齒區域標識輸入一多層感知機(Multi-layer Perceptron Classifier)，該多層感知機輸出該些牙齒影像所對應的一牙齒位置機率。
  2. 如申請專利範圍第1項所述之牙區辨識系統，其中該電子裝置更包含： 一慣性測量單元（Inertial Measurement Unit，IMU），用以測量該電子裝置的一姿態資訊及一運動軌跡； 其中，該處理器將該姿態資訊、該運動軌跡及複數個第四牙齒區域標識輸入一IMU動作深度學習模型，該IMU動作深度學習模型輸出複數個象限機率值。
  3. 如申請專利範圍第2項所述之牙區辨識系統，其中該處理器將該些深度學習機率值、該左區域機率值、該右區域機率值、該些象限機率值視為該些特徵值，將該些特徵值及該些第三牙齒區域標識輸入該多層感知機，該多層感知機輸出該些牙齒影像所對應的該牙齒位置機率。
  4. 如申請專利範圍第1項所述之牙區辨識系統，其中該些牙齒影像包含R通道陣列影像、G通道陣列影像及B通道陣列影像。
  5. 如申請專利範圍第2項所述之牙區辨識系統，其中該牙齒深度學習模型及該使用者影像深度學習模型各自以一卷積神經網路(Convolutional Neural Network，CNN)模型實現，該IMU動作深度學習模型以一遞歸神經網路(Recurrent Neural Network，RNN)模型實現。
  6. 一種牙區辨識系統，包含： 一電子裝置，包含： 一第一攝影機，用以拍攝複數個牙齒影像；以及 一慣性測量單元（Inertial Measurement Unit，IMU），用以測量該電子裝置的一姿態資訊及一運動軌跡；以及 一運算裝置，包含： 一處理器，用以接收該些牙齒影像，比對該些牙齒影像中每個像素點的對應位置，以產生一深度圖，將該些牙齒影像、該深度圖及複數個第一牙齒區域標識輸入一牙齒深度學習模型，該牙齒深度學習模型輸出與該些第一牙齒區域標識數量相同的複數個深度學習機率值，該處理器將該姿態資訊、該運動軌跡及複數個第二牙齒區域標識輸入一IMU動作深度學習模型，該IMU動作深度學習模型輸出複數個象限機率值，將該些深度學習機率值及該些象限機率值視為複數個特徵值，該處理器將該些特徵值及複數個第三牙齒區域標識輸入該多層感知機，該多層感知機輸出該些牙齒影像所對應的一牙齒位置機率。
  7. 如申請專利範圍第6項所述之牙區辨識系統，其中該運算裝置更包含： 一第二攝影機，用以拍攝一使用者影像； 其中，該處理器將該使用者照片及複數個第四牙齒區域標識輸入一使用者影像深度學習模型，該使用者影像深度學習模型輸出一左區域機率值及一右區域機率值。
  8. 如申請專利範圍第7項所述之牙區辨識系統，其中該處理器將該些深度學習機率值、該左區域機率值與該右區域機率值視為複數個特徵值，將該些特徵值及複數個第三牙齒區域標識輸入該多層感知機，該多層感知機輸出該些牙齒影像所對應的該牙齒位置機率。
  9. 如申請專利範圍第8項所述之牙區辨識系統，其中該些牙齒影像包含R通道陣列影像、G通道陣列影像及B通道陣列影像。
  10. 如申請專利範圍第7項所述之牙區辨識系統，其中該牙齒深度學習模型及該使用者影像深度學習模型各自以一卷積神經網路(Convolutional Neural Network，CNN)模型實現，該IMU動作深度學習模型以一遞歸神經網路(Recurrent Neural Network，RNN)模型實現。
TW108132140A 2019-09-06 2019-09-06 牙區辨識系統 TWI721553B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW108132140A TWI721553B (zh) 2019-09-06 2019-09-06 牙區辨識系統
CN201910897528.6A CN112450861B (zh) 2019-09-06 2019-09-23 牙区辨识系统
US16/707,234 US11037317B2 (en) 2019-09-06 2019-12-09 Tooth-position recognition system
EP19219109.6A EP3789957A1 (en) 2019-09-06 2019-12-20 Tooth-position recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108132140A TWI721553B (zh) 2019-09-06 2019-09-06 牙區辨識系統

Publications (2)

Publication Number Publication Date
TWI721553B true TWI721553B (zh) 2021-03-11
TW202112120A TW202112120A (zh) 2021-03-16

Family

ID=69005465

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108132140A TWI721553B (zh) 2019-09-06 2019-09-06 牙區辨識系統

Country Status (4)

Country Link
US (1) US11037317B2 (zh)
EP (1) EP3789957A1 (zh)
CN (1) CN112450861B (zh)
TW (1) TWI721553B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357598B2 (en) * 2019-04-03 2022-06-14 Align Technology, Inc. Dental arch analysis and tooth numbering
TWI782538B (zh) * 2021-05-24 2022-11-01 廣達電腦股份有限公司 口腔掃描裝置和方法
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255948B1 (en) * 2008-04-23 2012-08-28 Google Inc. Demographic classifiers from media content
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
US10537463B2 (en) * 2015-01-13 2020-01-21 Align Technology, Inc. Systems and methods for positioning a patient's mandible in response to sleep apnea status
WO2017136471A1 (en) * 2016-02-01 2017-08-10 Martin Marco Dental imager and method for recording photographic impressions
CN106875386A (zh) * 2017-02-13 2017-06-20 苏州江奥光电科技有限公司 一种利用深度学习自动进行牙齿健康状况检测的方法
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
US10916053B1 (en) * 2019-11-26 2021-02-09 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
CN108389207B (zh) * 2018-04-28 2024-08-13 上海视可电子科技有限公司 一种牙病诊断方法、诊断设备及智能图像采集装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
取自https://hdl.handle.net/11296/4a3vhh *
取自https://hdl.handle.net/11296/82a6de 蔡宛樺（2014） *
國立成功大學資訊工程學系碩士論文，台南市 *
牙齒X光片影像牙齦病灶區域偵測之研究 *
王豫勇（2012） *
王豫勇（2012）。牙齒X光片影像牙齦病灶區域偵測之研究。靜宜大學資訊工程學系碩士論文，台中市。 取自https://hdl.handle.net/11296/82a6de
由環口攝影影像進行以模型為基礎之牙齒矯正參數評估 *
蔡宛樺（2014）。由環口攝影影像進行以模型為基礎之牙齒矯正參數評估。國立成功大學資訊工程學系碩士論文，台南市。 取自https://hdl.handle.net/11296/4a3vhh
靜宜大學資訊工程學系碩士論文，台中市 *

Also Published As

Publication number Publication date
CN112450861B (zh) 2022-06-17
CN112450861A (zh) 2021-03-09
US20210074011A1 (en) 2021-03-11
EP3789957A1 (en) 2021-03-10
US11037317B2 (en) 2021-06-15
TW202112120A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
TWI721553B (zh) 牙區辨識系統
WO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
TWI447658B (zh) 人臉影像擷取方法與裝置
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
CN106945035A (zh) 机器人控制设备及其控制方法和机器人系统
US20190380781A1 (en) Airway model generation system and intubation assistance system
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
US20230386045A1 (en) Systems and methods for automated teeth tracking
US11977615B2 (en) Method for facial authentication of a wearer of a watch
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
JP7037159B2 (ja) 被験者の顎運動を測定するためのシステム、プログラム、および方法
JP7152244B2 (ja) 学習装置、学習方法およびプログラム
JP2011118767A (ja) 表情モニタリング方法および表情モニタリング装置
WO2022176941A1 (ja) 口腔内カメラシステム及び歯牙識別方法
TW202000119A (zh) 氣道模型生成系統及插管輔助系統
TWM568113U (zh) 氣道模型生成系統及插管輔助系統
WO2023157803A1 (ja) 口腔内カメラシステム及び信号処理方法
WO2022176942A1 (ja) 口腔内カメラシステム及び撮影動作判定方法
JP2022127947A (ja) 口腔内カメラシステム及び歯牙列モデル生成方法
KR102615021B1 (ko) 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
WO2022244139A1 (ja) 口腔内形状取得装置及び口腔内形状取得方法
JP7492245B2 (ja) 演算装置、センサシステム、及び、コンピュータプログラム
US20230237843A1 (en) Information processing device
JP2023032243A (ja) 識別モデル生成装置、識別装置、識別モデル生成方法、識別方法、プログラム