TWI691933B - 一種圖像處理方法及裝置 - Google Patents

一種圖像處理方法及裝置 Download PDF

Info

Publication number
TWI691933B
TWI691933B TW107129563A TW107129563A TWI691933B TW I691933 B TWI691933 B TW I691933B TW 107129563 A TW107129563 A TW 107129563A TW 107129563 A TW107129563 A TW 107129563A TW I691933 B TWI691933 B TW I691933B
Authority
TW
Taiwan
Prior art keywords
image
image data
user
block
dimensional image
Prior art date
Application number
TW107129563A
Other languages
English (en)
Other versions
TW201913576A (zh
Inventor
歐陽聰星
Original Assignee
大陸商北京奇禹科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京奇禹科技有限公司 filed Critical 大陸商北京奇禹科技有限公司
Publication of TW201913576A publication Critical patent/TW201913576A/zh
Application granted granted Critical
Publication of TWI691933B publication Critical patent/TWI691933B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明屬於圖像處理技術領域，尤其是關於一種圖像處理方法及裝置，該方法為，接收內窺器發送的用戶的圖像資料，進行保存、拼接，獲得拼接後的圖像資料；根據保存的三維圖像框架資料庫，確定拼接後的圖像資料對應的區塊，並確定該區塊在保存的使用者的三維圖像輪廓中的位置，並將拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，更新當前保存的使用者的三維圖像模型；展示更新後的使用者的三維圖像模型。

Description

一種圖像處理方法及裝置
本發明屬於圖像處理技術領域，尤其是關於一種圖像處理方法及裝置。
傳統的口腔內窺器是用於牙科光學取模的一種設備，在使用時需要把取模用的光學槍頭在使用者上牙列、下牙列有序移動，不支援掃描槍頭在口腔內隨意漫遊，專業性很強，用戶互動效果差，需要專業人士才能操作。
目前，也出現了一種用戶自助式的口腔內窺器，使用者手持這種設備，將攝像頭部分放入口腔，轉動攝像頭對口腔進行內窺。但內窺圖像每次只能看到一個很小的局部，雖然也能看到牙齒的畫面，但難以確認這是哪一顆牙的畫面，也不知道當前所看到的細節處於口腔的哪個具體位置。並且，缺乏三維圖像資訊，無法對接全口牙列取模，無法即時生成當下的全口牙列數位化模型，因而也無法支撐牙模式潔齒器3D列印等牙科應用。
本發明實施例提供一種圖像處理方法及裝置，以解決現有技術中口腔圖像呈現的使用者互動效果差、難以支援用戶自助式的三維真彩取模的問題。
本發明實施例提供的具體技術方案如下：一種圖像處理方法，包括：步驟A：接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像；步驟B：保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；步驟C：根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊；步驟D：根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；步驟E：展示更新後的該使用者的三維圖像模型。
較佳的，該區塊的圖像資料包括：編號資訊、圖像特徵資訊； 該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
較佳的，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，具體包括：根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，具體包括：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊 的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配時，進一步包括：當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
較佳的，進一步包括：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
較佳的，將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，具體包括：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊；將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
較佳的，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型，具體包括：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像；進一步包括：根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
較佳的，進一步包括：當再次接收到內窺器發送的用戶的圖像資料，返回執行該步驟B。
較佳的，展示更新後的該使用者的三維圖像模型之後，進一步包括：接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
一種圖像處理裝置，該圖像處理裝置包括：收發機，記憶體 和至少一個處理器，其中，該至少一個處理器用於讀取該記憶體中的程式指令以執行下列過程：控制該收發機接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像；保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；展示更新後的該使用者的三維圖像模型。
較佳的，該區塊的圖像資料包括：編號資訊、圖像特徵資訊；該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指 令以執行下列過程：根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：當確定拼接後的圖像資料至少對應兩個區塊時，則根 據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊；將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像 模型中對應的確定的位置上的圖像；根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：當控制該收發機再次接收到內窺器發送的用戶的圖像資料，並返回執行該保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫和保存的該使用者的三維圖像輪廓，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型。
較佳的，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：控制該收發機接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
本發明實施例中，接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像；保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行 拼接，獲得拼接後的圖像資料；根據保存的三維圖像框架資料庫和保存的該使用者的三維圖像輪廓，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料；根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；展示更新後的該使用者的三維圖像模型，這樣，根據建立的三維圖像框架資料庫和使用者的三維圖像輪廓，接收到圖像資料時，進行保存、拼接，對拼接後的圖像資料進行處理、重構等操作，獲得重構後的三維圖像，並即時更新當前保存的使用者的三維圖像模型，進而進行展示，不需要內窺器對口腔連續有序掃描，使用者可以使用內窺器隨意掃描口腔，只要獲得口腔內表面各處圖像資料而不論是否有序，就可以重構出口腔的三維圖像，提高了三維圖像重構效率，並且，不需要專業人士操作，很好地支持了用戶自助式口腔內窺，以及不僅可以呈現使用者口腔的三維圖像，而且可以動態進行展示，展示效果更好，提升了用戶的使用體驗和互動效果，可以很好地支援用戶自助式的三維真彩取模。
而且，由於本發明實施例中建立了三維圖像框架資料庫，該三維圖像框架資料庫中至少包括預劃分的三維圖像框架的每一個區塊，並建立了完整的區塊的標籤體系，每一個區塊括：編號資訊、名稱資訊、檔案屬性描述資訊、立體曲面圖樣、圖像特徵資訊，以及每一個區塊相互之間的空間位置關係等。這使得本發明的圖像處理裝置在對接收到的圖像資料進行處理的過程中，能獲取從內窺器接收到的圖像資料的語義資訊。這 就為採用人工智慧技術來開展口腔內窺圖像檢查創造了條件。
100~140‧‧‧步驟
60‧‧‧接收單元
61‧‧‧處理單元
62‧‧‧展示單元
63‧‧‧操作單元
71‧‧‧收發機
72‧‧‧記憶體
73‧‧‧處理器
圖1為本發明實施例一提供的三維圖像處理方法流程圖；圖2為本發明實施例四提供的初始展示三維圖像；圖3為本發明實施例四提供的在掃描過程中展示的三維圖像；圖4為本發明實施例四提供的掃描完成後展示的三維圖像；圖5為本發明實施例五提供的環境架構示意圖；圖6為本發明實施例六提供的三維圖像處理裝置結構示意圖；圖7為本發明實施例七提供的圖像處理裝置的結構示意圖。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，並不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出進步性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
為了解決現有技術中口腔圖像呈現使用者互動效果差、難以支援用戶自助式口腔三維真彩掃描的問題，本發明實施例中，建立了三維圖像框架資料庫和三維圖像輪廓，對接收到的圖像資料進行處理，重構於使用者的三維圖像輪廓上，可以實現三維口腔圖像的建立，並且可以動態 展示重構的三維圖像。
下面通過具體實施例對本發明方案進行詳細描述，當然，本發明並不限於以下實施例。
值得說明的是，本發明實施例中，主要針對口腔三維圖像的重構，其中，內窺器可以為口腔內窺器，當然，本發明實施例中，並不僅限於口腔三維圖像，對於其它領域的三維圖像重構同樣也可以適用，下面僅以口腔為例進行說明。
實施例一：
參閱圖1所示，本發明實施例中，圖像處理方法的具體流程如下：步驟100：接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像。
實際中，用戶經常會有想要查看口腔的圖像的需求，例如，牙疼時或某個牙壞掉時，通過口腔內窺器掃描口腔，可以得到口腔中的圖像，但是，現有技術中，掃描口腔後，只能得到局部的圖像，不能呈現整體的三維圖像，使用者無法看到自己口腔的整體三維畫面，也無法確定壞掉的牙或出現問題的部位具體在口腔的哪個位置。目前，也有一種可以呈現口腔的三維圖像的技術，在三維圖像重構過程中，設定一個唯一的初始區域，之後，就把前述初始區域作為唯一的錨定點，對前端採集到的圖像序列依次不斷做圖像拼接，從而不斷擴大前述區域並衍生為主體區域，在口腔中連續掃描直到掃描完成。但是，這種方法，在三維重構過程中，如果採集到的某個圖像資料與前述初始區域或主體區域無法拼接，則會把該 圖像資料丟棄，即無法隨意掃描使用者想看到的部位，用戶只能看到一個由前述唯一初始區域連續拼接而形成的三維圖像。
本發明實施例中，將接收到圖像資料，直接重構於使用者的三維圖像輪廓中，不僅可以呈現口腔的三維圖像，而且可以支援多初始區域掃描拼接，使用者可以隨意掃描口腔中的任意部位，並且，可以看到圖像在口腔中的具體位置，用戶可以清楚地看到自己口腔的輪廓和三維圖像。
其中，內窺器，例如為口腔內窺器，該內窺器中設置有攝像單元，用於拍攝圖像，內窺器中可以設置有一個攝像單元，也可以設置有多個攝像單元，並且，拍攝到的圖像資料的類型為深度圖像，也就是紅綠藍深度(Red Green Blue Depth，RGBD)圖像，為三維真彩圖像，這樣可以獲取圖像的三維資訊，便於後續進行三維圖像重構。
步驟110：保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料。
其中，獲得的拼接後的圖像資料，表示所有經過拼接處理後的圖像資料，其中，不僅包括能夠拼接，並拼接成功、與其他圖像資料拼接後組成的更大面積的圖像資料，還包括經過判斷後拼接不成功，依舊孤立存在的圖像資料。
本發明實施例中，每次接收到圖像資料時，都會進行保存，並確定當前保存的所有的圖像資料相互之間是否能夠拼接，不僅僅只是針對一次接收到的圖像資料，而是針對當前保存的所有的圖像資料，先判斷 是否能夠拼接。
這是因為，對於口腔中內窺器，為便於用戶使用的舒適性和便利性，一般比較小，其每一個攝像單元一般採用微焦距的攝像單元。對於微焦距的攝像單元，每次採集到的圖像多數情況下都是面積很小的一塊曲面，例如，面積為2毫米(mm)*2mm或3mm*3mm，多數情況下無法完全覆蓋一個區塊，只是一個區塊的局部表面，因此，可以先把圖像資料進行拼接，再進行匹配，可以提高匹配的效率和準確性。
並且，每次接收到的圖像資料都會進行保存，也就是說，判斷是否能夠拼接時，保存的圖像資料中不僅包括本次接收到的圖像資料，還包括之前所有接收到的圖像資料，如果這些圖像其中部分能夠拼接，先進行拼接再匹配，也可以減少圖像數目，減少圖像與區塊的匹配次數，減少時間，也提高了執行效率。
步驟120：根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊。
本發明實施例中，預先建立了口腔的三維圖像框架資料庫和三維圖像輪廓。
其中，該區塊的圖像資料包括：編號資訊、圖像特徵資訊。
該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位 置關係。
其中，該圖像特徵資訊至少包括圖像的形狀、色彩和紋理相關的參數資訊。
該使用者的三維圖像輪廓，是基於該三維圖像框架資料庫或該使用者的三維圖像模型得到的；其中，該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
也就是說，本發明實施例中，建立了口腔的三維圖像框架資料庫和相應的三維圖像輪廓，並對口腔進行了區塊的劃分，以及記錄了相關的各種資訊，這樣，給本發明實施例中實現口腔的三維圖像的重構提供了技術基礎和支援，具體地，對於三維圖像框架資料庫和三維圖像輪廓，將在下文再詳細進行介紹。
執行步驟120時，具體包括：首先，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置。
其中，執行該步驟具體的方式，將在下文再進行詳細說明。
然後，將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料。
具體地：
1)根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊。
這樣，根據區塊的邊界特徵資訊，可以確定每個區塊的邊界特徵，例如，某拼接後的圖像資料P(a)對應於區塊1，但P(a)中可能覆蓋多於該區塊1的資訊，這時，可以根據區塊1的邊界特徵資訊，按照邊界從P(a)中提取相應的立體曲面圖像。
又例如，對於某些面積大的區塊，例如，上頜牙槽脊唇側黏膜區塊，該區塊上界為上口腔前庭溝的黏膜反折線，與上唇黏膜區塊相接。下界與上牙列牙齦唇側面相接。左界與上頜牙槽脊左頰側黏膜區塊相接。右界與上頜牙槽脊右頰側黏膜區塊相接。
如果此時獲得的拼接後的圖像資料，僅是該區塊的一部分，則也可以按照該區塊的各邊界特徵資訊，進行提取，例如，該拼接後的圖像資料是該區塊的，僅包含該區塊上界特徵資訊，從上界到下界中間的部分圖像，則在提取時，可以根據該區塊的上界特徵資訊，去除上界的外部圖像資料，保留屬於該區塊的上界以及上界向內的圖像資料。
這時，從拼接後的圖像資料中一次提取出來的該區塊的立體曲面圖像只是該區塊的一個局部圖像。之後展示時，展示的該區塊圖像也只是該區塊已經提取出的局部立體曲面圖像。之後，隨著掃描和圖像拼接的繼續進行，就能逐步展示出該區塊的完整立體曲面圖像。
2)將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
其中，將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，還可以分為以下幾種情況：第一種情況：具體包括： 首先，根據該第一映射關係或第二映射關係，確定拼接後的圖像資料對應於該三維圖像框架資料庫中的區塊。
然後，根據區塊相互之間的空間位置關係和/或編號資訊，分別判斷拼接後的圖像資料對應於該三維圖像框架資料庫中的區塊，是否在該使用者的三維圖像輪廓中存在。
最後，若是，則直接將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的區塊的圖像；若否，則根據區塊相互之間的空間位置關係，確定拼接後的圖像資料對應於該三維圖像框架資料庫中的區塊，在該使用者的三維圖像輪廓中的位置，並在該使用者的三維圖像輪廓中的位置上增加對應的區塊，以及若該使用者的三維圖像輪廓中的位置上已有其它區塊，則將該其它區塊刪除，以及，將提取出的立體曲面圖像替換該增加的對應的區塊的圖像。
也就是說，在重構三維圖像時，替換使用者的三維圖像輪廓中對應的確定的位置上的圖像時，可能會對三維圖像輪廓有以下幾種操作：直接替換區塊的圖像、增加或刪除區塊後再替換其圖像。例如，圖像1對應三維圖像框架資料庫中的區塊a、圖像2對應三維圖像框架資料庫中的區塊b、圖像3對應三維圖像框架資料庫中的區塊c，並且，區塊b在區塊a和區塊c之間，分別與區塊a和區塊c相鄰，則若在該使用者的三維圖像輪廓中，區塊a和區塊c是相鄰的，沒有包括區塊b，則將圖像1和圖像3直接替換三維圖像輪廓中區塊a和區塊c的圖像，並在區塊a和區塊c中間增加區塊b，並將圖像2替換在三維圖像輪廓中增加的區塊b的圖像。
具體地，再列舉以下場景進行說明。
1)區塊刪減操作：例如，用戶因外傷或牙病造成左下4牙齒脫落。若用戶的左下4牙齒脫落，在內窺圖像資料中表現為：1)左下3牙齒遠中鄰接面區塊左側的牙間縫空間會比較大，而此牙間縫的左側是左下5牙齒近中鄰面區塊；2)左下3牙齒遠中鄰面左側相接的牙齦溝再往左側相接的齦乳突區塊的面積比較大，該齦乳突區塊延展成為下牙槽脊頂端覆蓋的黏膜區塊。該黏膜區塊的左側通過牙齦溝與左下5牙齒近中鄰面相接。
因此，在圖像重構過程中，將把左下4牙齒的相關區塊剔除，包括：左下4牙齒頰側區塊、左下4牙齒近中鄰面區塊、左下4牙齒遠中鄰面區塊、左下4牙齒咬合面區塊、左下4牙齒舌側區塊、左下4齦乳突區塊等。以上就是圖像三維重構處理過程中的區塊刪減操作。
2)區塊增加操作：例如，用戶左下2牙齒舌側存在牙結石症狀。若用戶左下2牙齒舌側存在牙結石症狀，在內窺圖像資料中表現為：1)用戶左下2牙齒舌側區塊的下界至少有部分邊界與牙結石區塊的上界相接，而非與左下2舌側牙齦區塊相接；2)牙結石區塊的下界與左下2舌側牙齦區塊相接。
因此，在圖像重構過程中，將在左下2牙齒舌側區塊和左下2舌側牙齦區塊之間增加一個牙結石區塊(例如：區塊編號為2412203)。以上就是圖像三維重構處理過程中的區塊增加操作。
3)例如，使用者的三維圖像輪廓中的口腔黏膜區塊的中間 有潰瘍區塊，後來已經好轉，該潰瘍區塊消失了。重構後，替換掉三維圖像輪廓中口腔黏膜區塊的圖像，由於沒有獲得潰瘍區塊的圖，這時，口腔黏膜區塊中間的潰瘍區塊就被口腔黏膜區塊對應的拼接後的圖像資料直接覆蓋了。
這樣，在更新使用者的三維圖像輪廓，從更新後的三維圖像模型中提取輪廓時，針對該口腔黏膜區塊，直接提取到的就是替換後口腔黏膜區塊的拼接後的圖像資料的輪廓，就不會有潰瘍區塊的輪廓了。在該使用者的三維圖像輪廓中，該潰瘍區塊被覆蓋掉了並被刪除。
第二種情況，具體包括：首先，根據該第一映射關係或第二映射關係，確定拼接後的圖像資料對應於最新的三維圖像框架資料庫中對應的區塊；然後，分別判斷拼接後的圖像資料是否是相鄰的，若是，則進一步確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置是否是相鄰的，若不相鄰，則在該使用者的三維圖像輪廓中，將相鄰的拼接後的圖像資料對應的區塊之間的各區塊進行刪除。
例如，使用者之前掃描時，有左下2牙齒舌側存在牙結石症狀，後來，經過洗牙治療後，去除了左下2牙齒舌側的牙結石症狀。
則若用戶經洗牙治療去除了左下2牙齒舌側的牙結石症狀，在內窺圖像資料中表現為：1)用戶左下2牙齒舌側區塊的下界與左下2舌側牙齦區塊的上界相接； 2)用戶左下2牙齒舌側區塊的下界與左下2舌側牙齦區塊的上界之間的位置上沒有其他區塊。
因此，在圖像重構過程中，將把左下2牙齒舌側區塊和左下2舌側牙齦區塊之間的牙結石區塊(如：區塊編號為2412203)刪除。以上就是內窺圖像三維重構處理過程中的區塊刪除操作。
這樣，本發明實施例中，進一步地經過區塊增加或刪除，得到的三維圖像，可以更加反映使用者口腔的真實狀態，例如，使用者的三維圖像輪廓中有4個相連的區塊，依次為區塊a、區塊b、區塊c、區塊d。根據拼接後的圖像資料，確定刪除了區塊b，區塊a和區塊d之間通過區塊c相連，則將區塊a和區塊c、區塊d拼接。在展示時，用戶會看到，區塊a和區塊d之間僅通過區塊c相連，而原屬於區塊b的位置則變成空餘的部分，直接會顯示透明，不包括任何圖像。
當然，並不僅限於上述幾種情況，還可以包括其它情況，例如，也可以替換某個區塊的一部分的圖像，本發明實施例中並不進行限制，都可以基於本發明實施例中的方法，將提取出的立體曲面圖像替換使用者的三維圖像輪廓中對應的確定的位置上的圖像，實現更新使用者的三維圖像輪廓的效果。
也就是說，本發明實施例中，接收內窺器發送的圖像資料，進行保存和拼接，對拼接後的圖像資料進行識別和匹配，映射到區塊上，確定拼接後的圖像資料對應於使用者三維圖像輪廓上的位置，進而可以將拼接後的圖像資料中屬於對應的區塊的立體曲面圖像，替換三維圖像輪廓中對應的確定的位置上的圖像，這樣，不管使用者口腔中實際的區塊和三 維圖像輪廓中區塊是否完全一樣，都可以更新為使用者實際的口腔圖像。
進一步地，替換完之後，該區塊相接的其它區塊，相應地往外移動位置或向裡移動位置，保證替換後，相接的區塊仍然是相接的。
例如，對於用戶口腔中的某顆牙的區塊，可能該用戶這顆牙比較大，而三維圖像輪廓中這顆牙的區塊的面積比較小，這時，根據區塊的邊界特徵資訊，提取出該區塊的三維圖像曲面，直接替換三維圖像輪廓中這顆牙的區塊的圖像，得到的使用者的三維圖像輪廓中，該區塊和該用戶實際中該牙的區塊相同。
步驟130：根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓。
執行步驟130時，具體包括：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像。
這樣，每次得到重構後的三維圖像資料後，都可以不斷地替換使用者的三維圖像模型中相應位置上的圖像，實現動態更新使用者的三維圖像模型的效果。
進一步地，還可以更新使用者的三維圖像輪廓，具體為：根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
這樣，可以針對不同的用戶，會有相應的符合該使用者的口 腔三維圖像輪廓，在之後再進行掃描口腔時，可以更容易看到該使用者實際的口腔圖像資訊，並且，不斷更新使用者的三維圖像模型和該使用者的三維圖像輪廓，也可以提高匹配的效率和準確性。
這樣，可以不僅保存該使用者的三維圖像輪廓，還同時保存該使用者的三維圖像模型，根據該更新後的該使用者的三維圖像模型，構建一個針對該用戶的口腔內窺圖像資料庫，這樣，可以針對不同的使用者，分別記錄不同使用者的口腔狀況，便於後續進行跟蹤查詢，例如，可以追蹤該用戶的口腔健康狀況，跟蹤口腔治療情況等。
步驟140：展示更新後的該使用者的三維圖像模型。
進一步地，當再次接收到內窺器發送的用戶的圖像資料，返回執行上述步驟110。
這樣，本發明實施例中，一開始展示給使用者的是三維圖像輪廓，隨著不斷的重構完成，每次重構完成，就會更新當前保存的使用者的三維圖像模型，進而展示更新後的使用者的三維圖像模型，由於三維圖像輪廓中包含的是預設的單一顏色和單一紋理的圖像，例如為灰色的圖像，而獲取到的圖像資料為三維真彩圖像，包括實際的各種顏色的紋理，更新後，用戶可以看到，一開始展示的使用者的三維圖像模型，逐漸被三維真彩圖像替換，可以看作，逐漸點亮三維圖像模型，當掃描完成後，使用者看到的就是包括顏色和紋理等資訊的三維真彩圖像。
進一步地，執行步驟140之後還包括：接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
例如，用戶可以放大或縮小該使用者的三維圖像模型，也可以轉動該使用者的三維圖像模型，以便使用者更清楚地查看該使用者的三維圖像模型。
本發明實施例中，預設三維圖像框架資料庫和三維圖像輪廓，接收到內窺器發送的用戶圖像資料後，進行拼接，將拼接後的圖像資料重構於使用者的三維圖像輪廓中對應的確定的位置上，並更新當前保存的使用者的三維圖像模型，展示更新後的使用者的三維圖像模型，這樣，在三維重構過程中，只要能識別出攝像單元前端採集到的三維真彩圖像資訊對應於口腔中的哪一個區塊，就會用採集到的該區塊的三維真彩曲面圖像替換原三維圖像輪廓中該區塊對應位置的缺省曲面圖像，並在使用者的終端上進行展示，不需要確定一個唯一的初始區域後再進行拼接，因此，可以顯著提高三維重構的效率，這樣，不僅可以獲得使用者口腔的三維圖像，使得使用者可以查看口腔的具體部位，而且，使用者可以隨意掃描口腔中的任意位置，無需在口腔中從唯一的初始區域連續掃描，便於使用者使用，提升了用戶的使用體驗，進而動態展示掃描到的口腔的三維圖像，呈現效果更好，更加方便靈活。
並且，本發明實施例中建立了三維圖像框架資料庫和三維圖像輪廓，在使用者執行掃描操作之前，一開始展示的三維圖像模型為一個三維圖像輪廓，隨著使用者在口腔中的掃描操作，獲得更多的口腔的圖像資料，就可以基於本發明實例中的方法，實現重構和更新，這樣，三維圖像中的各個區塊就會逐漸被三維真彩圖像替換，而尚未完成重構和更新的部分，依舊展示的是三維圖像輪廓上缺省的圖像，因此，使用者可以直觀 地感知到哪些部分尚未重構，或未掃描到，使用者可以自主配合，通過操作內窺器，使得內窺器漫遊到那些依舊為缺省圖像的區塊。這樣，內窺器上的各個攝像單元就可以更多採集到那些依舊為缺省圖像的區塊的口腔三維真彩圖像。最終，內窺器的攝像單元採集到的三維真彩圖像，將逐漸覆蓋整個口腔內表面，將獲得全口腔數碼內窺圖像，不需要專業人士操作，可以更好地支持用戶自助式的口腔內窺掃描。
實施例二：
下面對實施例一中執行步驟120中，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，其具體執行方式進行介紹：具體為：至少根據該三維圖像框架資料庫中區塊的圖像特徵資訊，確定該拼接後的圖像資料對應於該使用者的三維圖像框架資料庫中的區塊，以及，根據該拼接後的圖像資料對應於該使用者的三維圖像框架資料庫中的區塊，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置。
具體地，分為以下幾種方式：
第一種方式：
1)根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
本發明實施例中，針對所有使用者的口腔建立三維圖像框架 資料庫，其中每一個區塊的圖像，均是三維真彩曲面，可以獲取其圖像特徵資訊，用於之後的圖像匹配。
具體地，本發明實施例中，例如，可以採用區塊窮舉匹配方式，即可以根據三維圖像框架資料庫中每一個區塊的圖像特徵資訊，將拼接後的圖像資料與三維圖像框架資料庫中每一個區塊進行匹配。
又例如，可以將三維圖像框架資料庫中的區塊，根據區域進行劃分，在匹配時，可以先確定拼接後的圖像資料屬於哪個區域，然後直接根據對應區域中的區塊的圖像特徵資訊，進行匹配，就不需要與三維圖像框架資料庫中每一個區塊進行匹配了。
2)根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
這樣，根據第一映射關係，就可以確定圖像資料對應的在三維圖像框架資料庫中的區塊，再確定在三維圖像框架資料庫中的區塊，在使用者的三維圖像輪廓中的位置，進而就可以確定拼接後的圖像資料在使用者的三維圖像輪廓中的位置。
也就是說，本發明實施例中，能夠對內窺器採集到的圖像進行識別匹配，進而可以確定該圖像對應於口腔中的具體位置，即可以判斷出內窺器採集到的三維真彩圖像對應於口腔中的哪一個或哪些區塊。
第二種方式：
1)若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及 該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係。
本發明實施例中，內窺器中也可以設置多個攝像單元，並且，預先設定這多個攝像單元在內窺器中的相對位置。
例如，有六個攝像單元，分別為攝像單元A、攝像單元B、攝像單元C和攝像單元D、攝像單元E和攝像單元F。其中，各個攝像單元固定預設的相對空間位置關係為：攝像單元A與攝像單元B互為對側，攝像單元A與口腔內窺器的拉伸部在同一側。攝像單元C與攝像單元D互為對側。攝像單元E與攝像單元F互為對側。攝像單元A、B連線與攝像單元C、D連線相互垂直，為正交關係。攝像單元A、B連線與攝像單元E、F連線相互垂直，為正交關係。攝像單元C、D連線與攝像單元E、F連線相互垂直，為正交關係。沿著攝像單元A、B連線從攝像單元B一側向攝像單元A(也即拉伸部一側)所在的一側看，攝像單元C在左側，攝像單元D在右側，攝像單元E在上側，攝像單元F在下側。
內窺器對攝像單元採集到圖像資料，都增加相應的攝像單元的標識，進而就可以根據攝像單元的相對空間位置關係，確定拍攝到的圖像資料之間的相對空間位置關係。
2)根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
3)根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
第二種方式在第一種方式的基礎上，針對內窺器中採用多個攝像單元以形成球狀視野的佈局方案，可以同時接收多個攝像單元同時採集到的圖像資料，提高圖像模式識別的準確性和效率，也可以減少識別操作，即確定映射關係所需的時間。
例如，通過攝像單元A實際獲取了同時涵蓋左下5第二前磨牙舌側區塊和左下6第一磨牙舌側區塊的圖像資訊P(A)之後，根據預設的圖像模式識別演算法和各個牙面區塊的圖像特徵資訊，獲知該圖像P(A)中涵蓋相鄰的前磨牙舌側區塊和磨牙舌側區塊，獲得圖像資訊P(A)與區塊之間的映射關係有四種可能，分別是：左下5第二前磨牙舌側區塊+左下6第一磨牙舌側區塊、或右下5第二前磨牙舌側區塊+右下6第一磨牙舌側區塊、或左上5第二前磨牙舌側區塊+左上6第一磨牙舌側區塊、或右上5第二前磨牙舌側區塊+右上6第一磨牙舌側區塊。
並且，在獲取圖像資訊P(A)期間，還通過其他攝像單元B、C、D、E、F同步採集到的圖像，獲取到了圖像資訊P(B)、P(C)、P(D)、P(E)、P(F)。
基於上述攝像單元A、攝像單元B、攝像單元C和攝像單元D、攝像單元E和攝像單元F之間相對空間位置關係，則若圖像資訊P(B)的上方為軟齶黏膜，下方為舌面，圖像資訊P(E)為硬齶黏膜，圖像資訊P(F)為舌面，這就進一步印證了圖像資訊P(A)為舌側區塊的曲面圖像， 而口腔內窺器當前位於用戶的固有口腔中。圖像資訊P(C)中有咬合間隙處的口腔黏膜，圖像資訊P(D)中有其他下牙的舌側曲面圖像。因此，這就可以確定口腔內窺器當前位於用戶固有口腔的左側，而圖像資訊P(A)涵蓋的是用戶左下牙舌側的曲面圖像。綜上，就可以判斷，圖像資訊P(A)對應的是用戶左下5第二前磨牙舌側區塊和左下6第一磨牙舌側區塊。
進一步地，第二種方式中，可以利用多個攝像單元之間的相對空間位置關係，這樣，同時接收到多個攝像單元拍攝到的圖像資料後，將這些圖像資料進行保存和拼接，進而將拼接後的圖像資料與三維圖像框架資料庫進行匹配識別，會分別對應相應的區塊，並且，一般不是相接的區塊，這就相當於可以同時構建多個初始區域，初始區域不是唯一的，例如為Q(0，m；m=1，2，3，4，5，6)。
這樣，無需使用者在口腔中接續掃描某一部位，可以隨意掃描口腔中的任何部位，隨著用戶將內窺器在口腔內部漫遊掃描，內窺器中每一個攝像單元就可以採集到更多的圖像資料，進而，可以基於接收到的更多的圖像資料，繼續進行匹配並拼接，可以使得每一個初始區域Q(0，m；m=1，2，3，4，5，6)的圖像面積逐漸擴大，多個初始區域可以並行進行圖像拼接，由此可以形成多個衍生的主體區域Q(n，m；m=1，2，3，4，5，6)，直到掃描完成或生成完整的口腔三維圖像，可以極大地提高三維重構的效率。
第三種方式：基於第一種方式和第二種方式，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配時，進一步包括： 當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
也就是說，第三種方式，可以是在第一種方式和第二種方式的基礎上，進一步依據區塊之間的空間位置關係，提高識別的準確性和效率。
本發明實施例中，在建立的三維圖像框架資料庫中，記錄了各個區塊之間的空間位置關係，例如為，每一個區塊相互之間的鄰接關係，這些鄰接關係包括：前界、後界、左界、右界、上界、下界，等等，這使得即使當獲取了足以涵蓋一個區塊全部表面的一幅圖像資訊也難以通過圖像模式識別確定這個圖像對應的區塊時，可以繼續執行拼接操作以獲取更大範圍的曲面圖像資訊直至覆蓋多個區塊。這時，就可以根據多個區塊相互之間的鄰接關係，把多個區塊的曲面圖像作為一個整體來做模式識別，就可以去除很多不確定性，提高識別匹配的準確性，縮短識別操作所需的時間。
例如，獲取了涵蓋左下5第二前磨牙的舌側區塊的一幅圖像資訊P(a)，由於左下4第一前磨牙舌側區塊、左下5第二前磨牙舌側區塊相似度較高，可能僅通過圖像模式識別的圖像特徵匹配，難以確定最終的映射關係。
隨著用戶把口腔內窺器在自己口腔內部漫遊，內窺器採集到更多圖像資訊並回傳，可以繼續執行拼接操作並使得P(a)圖像面積逐漸擴大。當P(a)圖像面積擴大為同時涵蓋左下5第二前磨牙舌側區塊和左 下6第一磨牙舌側區塊的圖像資訊P(b)之後，根據預設的圖像模式識別演算法和各個牙面區塊的圖像特徵資訊，可以獲知該圖像P(b)中涵蓋相鄰的左下前磨牙舌側區塊和左下磨牙舌側區塊。因磨牙與前磨牙的舌側區塊曲面形狀有明顯區別，而左下4第一前磨牙舌側區塊與左下6磨牙舌側區塊沒有鄰接關係，因此，就可以確定，圖像資訊P(b)涵蓋的是左下5第二前磨牙舌側區塊和左下6第一磨牙舌側區塊，P(a)對應的是左下5第二前磨牙舌側區塊。
值得說明的是，本發明實施例中，第一種方式可以針對內窺器中只有一個或多個攝像單元的情況，而第二種方式針對的是內窺器中有多個攝像單元的情況，第三種方式對於內窺器中只有一個或多個攝像單元的情況也都是適用的。
第一種方式，主要基於圖像模式識別，確定拼接後的圖像資料與三維圖像框架資料庫中區塊的映射關係；第二種方式中可以進一步參考攝像單元的相對空間位置關係，提高確定拼接後的圖像資料與區塊映射關係的準確性和效率，可以更加準確地確定拍攝到的資料對應於口腔中的具體位置；第三種方式，在第一種方式和第二種方式的基礎上，可以進一步參考區塊之間的空間位置關係，也可以提高確定拼接後的圖像資料與區塊的映射關係的準確性。
進一步地，基於上述第一種方式、第二種方式和第三種方式，還包括：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並 將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
上述整個過程，可以看作是一個搜尋樹構建的過程，例如，內窺器中設置有8個攝像單元，則每次可以接收到8個攝像單元拍攝到的圖像資料，即8個RGBD圖像，第一預設數目為3，第二預設數目為1000。
(1)假設第一次接收到圖像資料後，得到n(n>1)組第一映射關係，則根據置信度，從這n組第一映射關係中，選擇出置信度較大的前3組映射關係，例如，分別為n(11)、n(12)和n(13)，這時，共有3組。
(2)第二次接收到圖像資料後，基於n(11)、n(12)和n(13)這三組映射關係，分別得到相應的n組第一映射關係，即n(11)下有1,2,3，…n組，n(12)下有1,2,3，…n組，n(13)下有1,2,3，…n組，分別從每組中再選擇置信度較大的前3組，分別為n(111)、n(112)、n(113)，n(121)、n(122)、n(123)，以及n(131)、n(132)、n(133)，這時，共有3^2=9組。
(3)第三次接收到圖像資料後，基於n(111)、n(112)、n(113)，n(121)、n(122)、n(123)，以及n(131)、n(132)、n(133)這9組映射關係，分別得到相應的n組第一映射關係，即n(111)下有1,2,3，…n組，n(112)下有 1,2,3，…n組，n(113)下有1,2,3，…n組，依次類推，然後，分別從每組中再選擇置信度較大的前3組，分別為n(1111)、n(1112)、n(1113)，n(1121)、n(1122)、n(1123)，…，n(1331)、n(1332)、n(1333)，這時，共有3^3=27組。
(4)依次類推，直到第m次接收到圖像資料後，可以得到3^m組映射關係，若3^m為不大於1000的最大值，則進行決策，從這3^m組中，選擇其中一組疊加置信度最大的一組，作為拼接後的圖像資料與區塊的第二映射關係，即最終的映射關係，之後就可以基於第二映射關係，將拼接後的圖像資料重構於三維圖像輪廓上對應的確定的位置上，獲得重構後的三維圖像資料，進而更新使用者的三維圖像模型，並進行展示。
例如，步驟1：獲取到了包括左下5第二前磨牙舌側區塊局部表面的一幅圖像資訊P(1)之後，根據預設的圖像模式識別演算法和各個區塊的圖像特徵資訊，假設獲得P(1)的映射關係是牙齒表面相關區塊，可以得到多組第一映射關係，而非牙齦表面或舌面或各類口腔黏膜表面等等相關區塊。
步驟2：之後，隨著用戶把口腔內窺器在自己口腔內部漫遊，採集到更多圖像資訊並回傳，繼續執行拼接操作並使得P(1)圖像面積逐漸擴大。當P(1)面積擴大為涵蓋左下5第二前磨牙整個舌側區塊的圖像資訊P(2)之後，根據預設的圖像模式識別演算法和各個牙面區塊的圖像特徵資訊，基於P(1)對應的映射關係，獲得P(2)的映射關係是前磨牙舌側區塊，例如，左下4第一前磨牙或左下5第二前磨牙，或者是右下4第一前磨牙、右下5第二前磨牙、左上4第一前磨牙、左上5第二前磨牙、右上4第一前磨牙、右上5第二前磨牙等其他前磨牙。
步驟3：隨著用戶把口腔內窺器在自己口腔內部漫遊，獲取到更多的圖像資料，當P(2)面積擴大為同時涵蓋左下5第二前磨牙舌側區塊和左下6第一磨牙舌側區塊的圖像資訊P(3)之後，根據預設的圖像模式識別演算法和各個牙面區塊的圖像特徵資訊，可以得到該圖像中涵蓋相鄰的左下前磨牙舌側區塊和左下磨牙舌側區塊。因磨牙與前磨牙的舌側區塊的曲面形狀有明顯區別，而左下4第一前磨牙舌側區塊與左下6第一磨牙舌側區塊沒有鄰接關係，因此，根據置信度，可以確定圖像資訊P(3)涵蓋的是左下5第二前磨牙舌側區塊和左下6第一磨牙舌側區塊。
本發明實施例中，可以設置內窺器中攝像單元的拍攝間隔時間，例如，每秒20幀，這樣，可以在很短時間內獲取到多次拍攝到的圖像資料，進而在執行上述過程時，時間也比較短，也不會影響後續的展示過程，用戶不會有停頓的感知，不影響用戶的使用體驗。
也就是說，本發明實施例中，可能並不是每次接收到圖像資料時，都可以得到最終的映射關係，但隨著獲取到更多的圖像資料，可以依次進行確定，得到置信度最大的一組映射關係，進而再進行圖像重構和更新展示，這樣，可以進一步提高準確性。
實施例三：
基於上述實施例，下面對三維圖像框架資料庫和三維圖像輪廓進行詳細介紹。
1)三維圖像框架資料庫：本發明實施例中，三維圖像框架資料庫，基於人類口腔的各種情況進行構建，該三維圖像框架資料庫存儲了人類口腔的三維圖像模型的通用框 架資料，該框架資料涵蓋了各種情況下人類口腔全部表面區域的圖像特徵資訊，例如形狀特徵、色彩特徵、紋理特徵等資訊。這些情況包括成年人的健康口腔正常場景、口腔髒汙場景、口腔病理場景、口腔畸形場景、口腔外傷場景、乳牙向恒牙成長的替牙期場景，也包括兒童的健康口腔正常場景、口腔髒汙場景、口腔病理場景、口腔畸形場景、口腔外傷場景、乳牙萌出期場景。隨著本發明方法和裝置的普及使用，本發明的人類全口腔內表面三維圖像框架資料庫還可以進行不斷更新和擴展，例如，可以增加新的口腔病理場景下的圖像特徵資訊，或增加新的口腔外傷場景下的圖像特徵資訊。這樣，可以進一步提高匹配的準確性。
其中，三維圖像框架資料庫中至少包括預劃分的三維圖像框架的每一個區塊。本發明實施例中，在劃分區塊時，可以直接將三維圖像框架劃分成各個區塊，當然，在劃分區塊時，也可以先劃分出區域，然後在每一個區域中劃分各個區塊，這樣劃分效率更高，本發明實施例中，對此並不進行限制。
下面是以劃分成區域和區塊為例，進行說明的。本發明實施例中，根據人類口腔通用模型的實際形狀和面積，確定各個區域和各個區塊的空間佈局，把全口腔內表面劃分為一系列相互交接的區域，每一個區域劃分為一系列相互交接的區塊。
a、區域：本發明實施例中，區域的劃分，可以根據口腔中各部分的功能進行劃分。並且，各個區域也至少有一個編號資訊。
例如，可以將口腔內表面劃分為14個區域，分別為：口腔 前庭的前壁面區域、口腔前庭的後壁面區域、上口腔前庭溝區域、下口腔前庭溝區域、左咬合間隙區域、右咬合間隙區域、上牙列區域、下牙列區域、上頜牙槽脊底面區域、下頜牙槽脊頂面區域、固有口腔上壁面區域、固有口腔底壁面區域、舌體上表面區域、舌體下表面區域。
其中，每個區域對應一個編號資訊，例如，分別依次為1、2、3、4、5、6、7、8、9、10、11、12、13、14。
具體地，對於口腔中區域的劃分，本發明實施例中，並不進行限制，目的是將口腔劃分為各個可以區分的區域，並且各個區域可以相接組成完整的口腔的結構。
b、區塊：本發明實施例，在劃分區塊時，遵循的原則是：一個區塊的內部儘量為單一紋理、儘量單一顏色，且儘量接近平面佈局。
其中，區塊的面積大小、具體形狀，本發明實施例中，並不進行限制，可以綜合考慮三維圖像的精度要求和計算量要求予以確定。
其中，區塊的圖像資料包括：編號資訊、圖像特徵資訊。
區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係。
本發明實施例中，對每一個區塊與其他區塊之間的表面相接關係和相對空間位置關係做了系統化的梳理和描述，每一個區塊都有自己唯一的標籤(例如，名稱及其編號)和相關圖像特徵資訊等，建立了完整的區塊的標籤體系，可以很快找到每個區塊，並且，可以獲知每個區塊的圖像特徵資訊。
其中，建立的區塊的標籤體系，每一個區塊至少包括：編號資訊、圖像特徵資訊，以及每一個區塊相互之間的空間位置關係，還可以包括名稱資訊、檔案屬性描述資訊、立體曲面圖樣等。
例如，對於編號為2的口腔前庭的後壁面區域，可以劃分為6個區塊，分別為：區塊(2.1)，上頜牙槽脊唇側黏膜區塊。區塊(2.2)，上頜牙槽脊左頰側黏膜區塊相接。區塊(2.3)，上頜牙槽脊右頰側黏膜區塊。區塊(2.4)：下頜牙槽脊唇側黏膜區塊。區塊(2.5)，下頜牙槽脊左頰側黏膜區塊。區塊(2.6)，下頜牙槽脊右頰側黏膜區塊。
這樣，可以根據編號資訊，索引到某個區塊，並且也可以知道該區塊圖像特徵資訊，也包括邊界特徵資訊等。
同樣地，本發明實施例中，對於區域中的區塊的劃分，也不進行限制，可以根據實際情況進行劃分，保證各個區塊可以組成完整的相應的區域。
也就是說，本發明實施例中，構建的三維圖像框架資料庫，不僅對口腔進行了區域和區塊的劃分，還建立了區塊的標籤體系，可以很準確地標識口腔中的各個位置，便於進行三維圖像匹配和重構。並且，這使得本發明的圖像處理裝置在對接收到的圖像資料進行處理的過程中，能獲取從內窺器接收到的圖像資料的語義資訊，為採用人工智慧技術開展口腔內窺圖像檢查創造條件。
2)三維圖像輪廓：本發明實施例中，三維圖像輪廓存儲了人類全口腔內表面各個區域(含各個區塊)的三維圖像的形狀輪廓資料。
其中，使用者的三維圖像輪廓至少存儲了該使用者的口腔中各個區塊的三維圖像的形狀輪廓資料。
使用者的三維圖像輪廓，是基於該三維圖像框架資料庫或該使用者的三維圖像模型得到的；其中，該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
也就是說，本發明實施例中，三維圖像輪廓中涵蓋了口腔內窺全景的各個區塊的缺省圖像。三維圖像輪廓中的各個區塊的缺省圖像僅僅包括各個區塊的三維曲面形狀，且為單一顏色+單一紋理，也即不含各個區塊的真彩顏色和實際紋理。例如，設置三維圖像輪廓中各個區塊缺省圖像的三維曲面的外表面僅為光滑紋理的深灰色。
並且，本發明實施例中，在實際使用時，可以根據每個使用者的實際情況，更新該使用者的三維圖像輪廓，隨著不同使用者的使用，針對每個用戶，就會有屬於自己口腔的三維圖像輪廓。
例如，用戶首次使用時，一開始展示的是根據使用者年齡資訊預設的標準三維圖像輪廓。隨著使用者使用口腔內窺器掃描口腔，不斷採集口腔中的圖像，基於上述本發明實施例中的圖像處理方法，進行拼接、識別、重構等操作，只要完成了一個區塊的處理，就會用採集到的該區塊的三維真彩曲面圖像替換原輪廓中該區塊的缺省曲面圖像，並在使用者終端上進行展示。
隨著三維圖像輪廓中的一個又一個區塊的缺省曲面圖像不斷被採集到的三維真彩曲面圖像所替換，不斷地更新使用者的三維圖像模 型，使用者終端上展示的口腔內窺三維真彩曲面圖像越來越完整，而原三維圖像輪廓遺留的缺省曲面圖像越來越少。使用者完成全口腔內窺採集後，使用者終端上展示的口腔內窺全景圖像，就全部由三維真彩曲面圖像拼接組成。
進而，可以根據最後展示的三維真彩曲面圖像，即更新後的使用者的三維圖像模型，從中提取出三維圖像輪廓，更新之前預設的標準三維圖像輪廓，當該使用者下一次再使用口腔內窺器時，一開始展示的就是該用戶上一次更新後的三維圖像輪廓，也就是說，所有不同用戶第一次使用時，展示的都是根據使用者年齡資訊預設的標準三維圖像輪廓，隨著不同使用者的使用，三維圖像輪廓進行更新，是跟用戶相關的，可以表示該使用者實際的口腔三維圖像輪廓，針對不同的使用者，之後三維圖像輪廓不斷更新，得到的三維圖像輪廓是不同的。
實施例四：
下面採用一個具體的應用場景對上述實施例作出進一步詳細說明。具體參閱圖2所示，本發明實施例中，圖像處理方法的實現的示意圖。
例如，內窺器為口腔內窺器，口腔內窺器將採集到的口腔圖像上傳到智慧終端機，智慧終端機執行本發明實施例中的圖像處理方法，並在智慧終端機中動態展示口腔的三維圖像。
其中，智慧終端機，例如為手機、電腦等，本發明實施例中，並不進行限制，也可以是雲端執行匹配重構等操作，並在手機側進行展示口腔的三維圖像。
首先，當使用者使用口腔內窺器掃描口腔，並確定口腔內窺 器與智慧終端機通信連接時，參閱圖2所示，在智慧終端機中初始展示使用者的三維圖像模型為預設的三維圖像輪廓。此時，均是灰色的單一顏色、單一紋理的圖像。
然後，隨著使用者在口腔中的掃描，口腔內窺器中攝像單元會拍攝口腔中的三維真彩圖像，並上傳給智慧終端機，智慧終端機基於上述本發明實施例中的圖像處理方法，將接收到三維真彩圖像重構於使用者的三維圖像輪廓中對應的確定的位置上，並更新當前保存的使用者的三維圖像模型，進而展示更新後的使用者的三維圖像模型，例如，參閱圖3所示，為在掃描過程中，重構了部分三維圖像時，展示的更新後的使用者的三維圖像模型。從圖3中可以看到，上顎面保留原始框架，不點亮；舌背面保留原始框架，不點亮；上牙列從右邊數第一、第二顆牙的顎側面區塊點亮，表示已完成掃描；上牙列其他各個牙齒保留原始框架，不點亮；下牙列從左邊數第三、第四顆牙的舌側面區塊點亮，表示已完成掃描；下牙列其它各個牙齒保留原始框架，不點亮。其中，值得說明的是，已經點亮的部分實際中是三維真彩圖像，此處僅是為了與未點亮的部分進行區分，採用更深的灰色來進行說明。
此時，已經重構完成的部分，展示的使用者真實的口腔的三維真彩圖像，包括實際的顏色和紋理等資訊，未被重構的部分，仍然展示的是三維圖像輪廓中預設的灰色的單一顏色單一紋理的圖像。
最後，當掃描完成，或三維圖像輪廓中所有區塊都被替換完成後，使用者停止掃描，例如，參閱圖4所示，掃描完成後，當前展示的是所有區塊都重構完成後的三維圖像模型，此時，展示的就是一個包括顏 色、紋理等資訊的三維真彩圖像，(其中，圖4中也同樣僅是為了與未點亮的部分進行區分，採用更深的灰色來進行說明)。並且，該三維真彩圖像和使用者口腔的圖像一致，可以真實反映使用者口腔的圖像和狀況。
實施例五：
基於上述實施例，參閱圖5所示，本發明實施例五中，一種應用場景的環境架構示意圖。
可以開發一個應用軟體，用於實現本發明實施例中的圖像處理方法，並且，該應用軟體可以安裝在使用者終端，使用者終端分別與內窺器和網路子系統連接，實現通信。
其中，使用者終端可以為手機、電腦、ipad等任何智慧設備，本發明實施例五中僅以手機為例進行說明。
例如，使用者使用內窺器掃描口腔，採集口腔中圖像，內窺器將採集到的圖像發送給使用者終端，使用者終端通過網路子系統，從伺服器獲取三維圖像框架資料庫和三維圖像輪廓，進而對接收到的圖像資料進行處理，進行保存和拼接，確定拼接後的圖像資料對應於使用者的三維圖像輪廓中的位置，並將拼接後的圖像資料重構於使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，進而更新當前保存的使用者的三維圖像模型，進行展示，完成口腔內窺掃描，獲得使用者口腔的三維圖像。
實施例六：
基於上述實施例，參閱圖6所示，本發明實施例中，圖像處理裝置，具體包括： 接收單元60，用於接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像；處理單元61，用於保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；展示單元62，用於展示更新後的該使用者的三維圖像模型。
較佳的，該區塊的圖像資料包括：編號資訊、圖像特徵資訊；該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
較佳的，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，處理單元61具體用於： 根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，處理單元61具體用於：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，分別將該拼接後的圖像資料與該三維圖像框架資料 庫中區塊的圖像進行匹配時，處理單元61進一步用於：當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
較佳的，處理單元61進一步用於：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
較佳的，將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，處理單元61具體用於：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊；將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定 的位置上的圖像，獲得重構後的三維圖像資料。
較佳的，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型，處理單元61具體用於：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像；處理單元61進一步用於：根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
較佳的，接收單元60進一步用於：當再次接收到內窺器發送的用戶的圖像資料，並該處理單元61進一步用於返回執行該保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫和保存的該使用者的三維圖像輪廓，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型。
較佳的，展示更新後的該使用者的三維圖像模型之後，進一步包括：操作單元63，用於接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
值得說明的是，本發明實施例中，上述接收單元60、處理單元61、展示單元62和操作單元63，都可以集成在一個使用者終端中，例如都集成在手機中，當然，也可以分開，例如，對於帶有手柄的內窺器，可以將接收單元60和處理單元61集成在內窺器的手柄中，展示單元62和操作單元63集成在手機中；又或者，將接收單元60，以及處理單元61的部分功能集成在內窺器的手柄中，處理單元61的其它功能、展示單元62和操作單元63集成在手機中，在實際實現時，都是可以的，本發明實施例中並不進行限制。
實施例七：
基於上述實施例，參閱圖7所示，本發明實施例中，圖像處理裝置包括：收發機71，記憶體72和至少一個處理器73(圖7中以示出一個處理器為例)，其中，該至少一個處理器73用於讀取該記憶體72中的程式指令以執行下列過程：控制該收發機71接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料，並且該圖像資料的類型為深度圖像；保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲 有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；展示更新後的該使用者的三維圖像模型。
其中，在圖7中，匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由至少一個處理器73代表的一個或多個處理器和記憶體72代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排介面可以提供介面。收發機72可以是多個元件，即包括發送機和接收機，提供用於在傳輸介質上與各種其他裝置通信的單元。針對不同的使用者設備，使用者介面還可以是能夠外接內接需要設備的介面，連接的設備包括但不限於小鍵盤、顯示器、揚聲器、麥克風、操縱桿等。
至少一個處理器73負責管理匯流排架構和通常的處理，記憶體72可以存儲處理器73在執行操作時所使用的資料。
較佳的，該區塊的圖像資料包括：編號資訊、圖像特徵資訊；該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
較佳的，該至少一個處理器73還用於讀取該記憶體中的程式指令以執行下列過程：根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊； 將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像；根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：當控制該收發機71再次接收到內窺器發送的用戶的圖像資料，並返回執行該保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫和保存的該使用者的三維圖像輪廓，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型。
較佳的，該至少一個處理器73還用於讀取該記憶體72中的程式指令以執行下列過程：控制該收發機71接收使用者的操作指令，並根據該操作指令，對展示 的更新後的該使用者的三維圖像模型執行相應的操作。
本發明實施例還提供一種電腦可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現前述實施例中圖像處理方法的步驟。
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中包含有電腦可用程式碼的電腦可用存儲介質(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些電腦程式指令也可存儲在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得存儲在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料 處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
儘管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本進步性概念，則可對這些實施例作出另外的變更和修改。所以，所附申請專利範圍意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。
顯然，本領域的技術人員可以對本發明實施例進行各種改動和變型而不脫離本發明實施例的精神和範圍。這樣，倘若本發明實施例的這些修改和變型屬於本發明申請專利範圍及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
100~140‧‧‧步驟

Claims (20)

  1. 一種圖像處理方法，其特徵在於，包括：步驟A：接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料；步驟B：保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；步驟C：根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊；步驟D：根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；步驟E：展示更新後的該使用者的三維圖像模型。
  2. 如請求項1所述的圖像處理方法，其中，該區塊的圖像資料包括：編號資訊、圖像特徵資訊；該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單一顏色和單一紋理的圖像。
  3. 如請求項2所述的圖像處理方法，其中，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，具體包括： 根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
  4. 如請求項2所述的圖像處理方法，其中，根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，具體包括：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
  5. 如請求項3或4所述的圖像處理方法，其中，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配時，進一步包括：當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係。
  6. 如請求項5所述的圖像處理方法，其中，進一步包括：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
  7. 如請求項3或4所述的圖像處理方法，其中，將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，具體包括：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊；將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
  8. 如請求項1至4中任一項所述的圖像處理方法，其中，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型，具體包括：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像；進一步包括：根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
  9. 如請求項1至4中任一項所述的圖像處理方法，其中，進一步包括：當再次接收到內窺器發送的用戶的圖像資料，返回執行該步驟B。
  10. 如請求項1所述的圖像處理方法，其中，展示更新後的該使用者的三維圖像模型之後，進一步包括：接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
  11. 一種圖像處理裝置，其特徵在於，該圖像處理裝置包括：收發機，記憶體和至少一個處理器，其中，該至少一個處理器用於讀取該記憶體中的程式指令以執行下列過程：控制該收發機接收內窺器發送的用戶的圖像資料；其中，該圖像資料至少包括該內窺器中攝像單元拍攝到的圖像資料；保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫，確定該拼接後的圖像資料對應的區塊，並確定該區塊在保存的該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，其中，該三維圖像框架資料庫存儲有將三維圖像框架圖像劃分出的區塊的圖像資料以及每個區塊的圖像的位置資訊，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型；其中，該使用者的三維圖像模型的初始值為該使用者的三維圖像輪廓；展示更新後的該使用者的三維圖像模型。
  12. 如請求項11所述的圖像處理裝置，其中，該區塊的圖像資料包括：編號資訊、圖像特徵資訊；該區塊的圖像的位置資訊包括：每個區塊相互之間的空間位置關係；該三維圖像輪廓中每一個區塊的圖像，為基於該三維圖像框架資料庫或該使用者的三維圖像模型中區塊的圖像的三維曲面形狀，包括預設的單 一顏色和單一紋理的圖像。
  13. 如請求項12所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
  14. 如請求項12所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：若該內窺器中包括至少兩個預設的相對位置固定的攝像單元，則根據預設的內窺器中每一個攝像單元在內窺器中的相對空間位置關係，以及該圖像資料中攜帶的攝像單元的標識，分別確定該拼接後的圖像資料的相對空間位置關係；根據預設的圖像模式識別演算法，基於該三維圖像框架資料庫中區塊的圖像特徵資訊、和拼接後的圖像資料的相對空間位置關係，分別將該拼接後的圖像資料與該三維圖像框架資料庫中區塊的圖像進行匹配，獲得拼接後的圖像資料與該三維圖像框架資料庫中區塊的第一映射關係；根據區塊相互之間的空間位置關係和/或編號資訊，確定拼接後的圖像資料對應的該三維圖像框架資料庫中區塊，在該使用者的三維圖像輪廓中的位置。
  15. 如請求項13或14所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：當確定拼接後的圖像資料至少對應兩個區塊時，則根據該三維圖像框架資料庫中預設的區塊相互之間的空間位置關係，獲得拼接後的圖像資料 與該三維圖像框架資料庫中區塊的第一映射關係。
  16. 如請求項15所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：若獲得至少兩組第一映射關係，則根據每組第一映射關係的置信度，從該至少兩組第一映射關係中，選擇出第一預設數目的第一映射關係，並將該選擇出的第一預設數目的第一映射關係，用於下一次接收到內窺器發送的用戶的圖像資料時，計算第一映射關係中，以使針對下一次接收到的圖像資料，分別獲得基於該選擇出的第一預設數目的第一映射關係的各映射關係，直到獲取到不大於第二預設數目的最大值個第一映射關係時，分別判斷第二預設數目個第一映射關係中，每組第一映射關係的疊加置信度，若判斷出該第二預設數目個第一映射關係中任意一組第一映射關係的疊加置信度不小於預設閾值，則將該任意一組第一映射關係，作為拼接後的圖像資料與該三維圖像框架資料庫中區塊的第二映射關係。
  17. 如請求項13或14所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：根據該三維圖像框架資料庫中區塊的邊界特徵資訊，從該拼接後的圖像資料中提取出屬於對應的區塊的立體曲面圖像；其中，該圖像特徵資訊中至少包括區塊的邊界特徵資訊；將提取出的立體曲面圖像替換該使用者的三維圖像輪廓中對應的確定的位置上的圖像，獲得重構後的三維圖像資料。
  18. 如請求項11至14中任一項所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：將該重構後的三維圖像資料，替換掉當前保存的該使用者的三維圖像模型中對應的確定的位置上的圖像；根據更新後的該使用者的三維圖像模型，獲取更新後的該使用者的三維圖像模型對應的三維圖像輪廓，並根據該更新後的該使用者的三維圖像 模型對應的三維圖像輪廓，更新保存的該使用者的三維圖像輪廓。
  19. 如請求項11至14中任一項所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：當控制該收發機再次接收到內窺器發送的用戶的圖像資料，並返回執行該保存接收到的圖像資料，並分別判斷保存的圖像資料相互之間是否能夠拼接，當確定能夠拼接時，將保存的圖像資料進行拼接，獲得拼接後的圖像資料；並根據保存的三維圖像框架資料庫和保存的該使用者的三維圖像輪廓，確定該拼接後的圖像資料對應於該使用者的三維圖像輪廓中的位置，並將該拼接後的圖像資料重構於該使用者的三維圖像輪廓中對應的確定的位置上，獲得重構後的三維圖像資料，以及，根據該重構後的三維圖像資料，更新當前保存的該使用者的三維圖像模型。
  20. 如請求項11所述的圖像處理裝置，其中，該至少一個處理器還用於讀取該記憶體中的程式指令以執行下列過程：控制該收發機接收使用者的操作指令，並根據該操作指令，對展示的更新後的該使用者的三維圖像模型執行相應的操作。
TW107129563A 2017-08-25 2018-08-24 一種圖像處理方法及裝置 TWI691933B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710744863.3 2017-08-25
CN201710744863.3A CN107644454B (zh) 2017-08-25 2017-08-25 一种图像处理方法及装置
??201710744863.3 2017-08-25

Publications (2)

Publication Number Publication Date
TW201913576A TW201913576A (zh) 2019-04-01
TWI691933B true TWI691933B (zh) 2020-04-21

Family

ID=61110707

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107129563A TWI691933B (zh) 2017-08-25 2018-08-24 一種圖像處理方法及裝置

Country Status (5)

Country Link
US (1) US10937238B2 (zh)
EP (1) EP3675037A4 (zh)
CN (1) CN107644454B (zh)
TW (1) TWI691933B (zh)
WO (1) WO2019037582A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN109410318B (zh) * 2018-09-30 2020-09-08 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN109166625B (zh) * 2018-10-10 2022-06-07 欧阳聪星 一种牙齿虚拟编辑方法及系统
CN111125122A (zh) * 2018-10-31 2020-05-08 北京国双科技有限公司 数据的更新方法及装置
CN113240799B (zh) * 2021-05-31 2022-12-23 上海速诚义齿有限公司 一种基于医疗大数据的牙齿三维模型构建系统
CN114445388A (zh) * 2022-01-28 2022-05-06 北京奇禹科技有限公司 一种基于多光谱的图像识别方法、装置及存储介质
CN114407024B (zh) * 2022-03-15 2024-04-26 上海擎朗智能科技有限公司 一种位置引领方法、装置、机器人及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW576729B (en) * 2003-06-12 2004-02-21 Univ Nat Taipei Technology Apparatus and technique for automatic 3-D dental data required for crown reconstruction
US20080273773A1 (en) * 2004-01-27 2008-11-06 Maurice Moshe Ernst Three-dimensional modeling of the oral cavity
WO2014100950A1 (en) * 2012-12-24 2014-07-03 Carestream Health, Inc. Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
TWI524873B (zh) * 2011-01-11 2016-03-11 Advance Co Ltd Intraocular photography display system
TWI578964B (zh) * 2012-11-08 2017-04-21 美佳境植牙股份有限公司 產生假體影像之方法與系統
CN106663327A (zh) * 2014-08-27 2017-05-10 卡尔斯特里姆保健公司 3‑d表面的自动重新拼接

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
DE102007060263A1 (de) * 2007-08-16 2009-02-26 Steinbichler Optotechnik Gmbh Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
WO2010068499A1 (en) * 2008-11-25 2010-06-17 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
CN103392191B (zh) * 2011-02-22 2016-09-28 3M创新有限公司 混合拼接
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
US10453269B2 (en) * 2014-12-08 2019-10-22 Align Technology, Inc. Intraoral scanning using ultrasound and optical scan data
DE102015212806A1 (de) * 2015-07-08 2017-01-12 Sirona Dental Systems Gmbh System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
CN105654548B (zh) * 2015-12-24 2018-10-16 华中科技大学 一种基于大规模无序图像的多起点增量式三维重建方法
US9460557B1 (en) * 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
US10410365B2 (en) * 2016-06-02 2019-09-10 Verily Life Sciences Llc System and method for 3D scene reconstruction with dual complementary pattern illumination
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW576729B (en) * 2003-06-12 2004-02-21 Univ Nat Taipei Technology Apparatus and technique for automatic 3-D dental data required for crown reconstruction
US20080273773A1 (en) * 2004-01-27 2008-11-06 Maurice Moshe Ernst Three-dimensional modeling of the oral cavity
TWI524873B (zh) * 2011-01-11 2016-03-11 Advance Co Ltd Intraocular photography display system
TWI578964B (zh) * 2012-11-08 2017-04-21 美佳境植牙股份有限公司 產生假體影像之方法與系統
WO2014100950A1 (en) * 2012-12-24 2014-07-03 Carestream Health, Inc. Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
CN106663327A (zh) * 2014-08-27 2017-05-10 卡尔斯特里姆保健公司 3‑d表面的自动重新拼接

Also Published As

Publication number Publication date
US10937238B2 (en) 2021-03-02
US20200184723A1 (en) 2020-06-11
EP3675037A4 (en) 2021-06-02
EP3675037A1 (en) 2020-07-01
TW201913576A (zh) 2019-04-01
WO2019037582A1 (zh) 2019-02-28
CN107644454B (zh) 2020-02-18
CN107644454A (zh) 2018-01-30

Similar Documents

Publication Publication Date Title
TWI691933B (zh) 一種圖像處理方法及裝置
US11317999B2 (en) Augmented reality enhancements for dental practitioners
US11163976B2 (en) Navigating among images of an object in 3D space
AU2019284043B2 (en) Identification of areas of interest during intraoral scans
US11517272B2 (en) Simulated orthodontic treatment via augmented visualization in real-time
ES2724115T3 (es) Interfaz gráfica de usuario para el marcado de márgenes asistido por ordenador sobre dentaduras
CN111784754B (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
TWI712992B (zh) 一種圖像處理方法及裝置
EP4328861A2 (en) Jaw movements data generation apparatus, data generation method, and data generation program
WO2023174917A1 (en) Computerized dental visualization