TWI790176B - 多任務即時插管輔助系統 - Google Patents

Abstract

本發明揭露一種多任務即時插管輔助系統，其包含喉頭檢查裝置、攝影裝置以及控制裝置。喉頭檢查裝置是用於進入使用者的喉部以進行檢查。攝影裝置產生喉部影像。控制裝置連接於攝影裝置及喉頭檢查裝置，接收喉部影像，執行局部注意力之區域提議機制模組產生物件偵測輸出，物件偵測輸出對應於喉部內的特定器官，方向檢測模組通過方向檢測程序產生喉頭檢查裝置的導引方向。視覺里程計模組通過視覺里程檢測程序檢測攝影裝置的移動距離，藉由移動距離對喉頭檢查裝置進行定位。

Description

多任務即時插管輔助系統

本發明是關於一種多任務即時插管輔助系統，特別是關於一種基於局部注意力之區域提議機制模組的物件偵測，並結合方向檢測與視覺里程計檢測的多任務即時插管輔助系統。

醫療人員在對患者進行插管時，會通過內視鏡在插管過程中取得氣道影像，協助醫療人員進行插管步驟的輔助。然而，由於影像或畫面的限制，若是僅提供拍攝的影像，操作者恐難以辨識插入的狀況，即時做出反應。若是插管的路徑偏差或錯誤，容易造成其他器官的損傷，難以達到插管治療的效果，額外的傷害也容易產生醫療糾紛，對醫病雙方產生不良的影響。

在現有技術當中，針對攝影裝置取得的影像，會希望通過影像分析來建立喉腔內部的立體模型，提供操作者判斷裝置進入狀態，以提供更多的輔助。然而，現有的分析模型，在偵測上需要耗費大量運算資源，在操作速度上難以達成操作者的需求，且就現有技術並無法對於插入器材的路線進行導航，也無法計算器材移動的程度來進行定位，因此在協助操作者的功能上仍有相當的缺陷。

有鑑於此，目前影像分析技術在插管治療的應用上仍有其侷限性，無法有效協助操作者進行操作。因此，本發明之發明人思索並設計一種多任務即時插管輔助系統，針對現有技術之缺失加以改善，進而增進產業上之實施利用。

有鑑於上述習知技術之問題，本發明之目的就是在提供一種多任務即時插管輔助系統，以解決習知之影像分析技術難以即時處理物件辨識、方向導航及器材定位等多個任務之問題。

根據本發明之一目的，提出一種多任務即時插管輔助系統，其包含喉頭檢查裝置、攝影裝置以及控制裝置。喉頭檢查裝置是用於進入使用者的喉部以進行檢查。攝影裝置由喉頭檢查裝置的行進方向拍攝喉部，產生喉部影像。控制裝置連接於攝影裝置及喉頭檢查裝置，接收喉部影像，控制裝置包含處理器及記憶體，由處理器存取記憶體的定位及導航指令來執行以下模組：局部注意力之區域提議機制(Local Attentive Region Proposals,LARP)模組、方向檢測模組以及視覺里程計模組。局部注意力之區域提議機制模組通過特徵萃取器提取喉部影像的網路輸出特徵圖，經由注意力循環機制(Attentive Recurrent Mechanism,ARM)產生區域定位，將區域定位通過區域提議網路(Region Proposal Network,RPN)掃描產生感興趣區域(Region of Interest,RoI)，再將感興趣區域輸入偵測器進行分類及回歸以產生物件偵測輸出，物件偵測輸出對應於喉部內的特定器官。方向檢測模組通過方向檢測程序產生喉頭檢查裝置的導引方向。視 覺里程計模組通過視覺里程檢測程序檢測攝影裝置的移動距離，藉由移動距離對喉頭檢查裝置進行定位。

較佳地，方向檢測程序可包含對稱性檢測程序或槽邊檢測程序。

較佳地，對稱性檢測程序可藉由尺度不變特徵轉換(Scale Invariant Feature Transform,SIFT)演算法將喉部影像水平翻轉，比對特徵點以取得對稱線。

較佳地，槽邊檢測程序可藉由坎尼邊緣檢測法(Canny Edge Detection)及霍夫直線檢測法(Probability Hough Transform)偵測兩側邊緣線段，由兩側邊緣線段產生導引線。

較佳地，當局部注意力之區域提議機制模組產生物件偵測輸出，方向檢測程序可藉由對稱性檢測程序的對稱線作為該導引方向。

較佳地，當局部注意力之區域提議機制模組並未產生物件偵測輸出，方向檢測模組可判斷是否輸出過預設器官，若是，則方向檢測程序藉由槽邊檢測程序的導引線作為導引方向；若否，則方向檢測模組藉由對稱性檢測程序的對稱線作為該導引方向。預設器官可為懸雍垂。

較佳地，視覺里程檢測程序可藉由LK金字塔光流演算法(Lucas-Kanade Optical Flow method)進行特徵點比對，計算旋轉矩陣及平移向量，再以棋盤格作為初始值取得尺度資訊，產生移動距離。

較佳地，特定器官可包含懸雍垂、會厭、杓狀軟骨或聲帶。

較佳地，多任務即時插管輔助系統可進一步包含顯示裝置，連接於控制裝置，顯示裝置顯示喉部影像及喉頭檢查裝置的定位及導航資訊。

承上所述，依本發明之多任務即時插管輔助系統，其可具有一或多個下述優點：

(1)此多任務即時插管輔助系統能通過局部注意力之區域提議機制模組進行物件偵測，通過順序性的搜索來減少全域偵測所需耗費的大量運算資源，提升運算速率以達成及時偵測的效果。

(2)此多任務即時插管輔助系統能通過方向檢測模組及視覺里程計偵測模組取得喉頭檢查裝置的導引路線及定位位置，提供操作者更為清楚及正確的導航資訊及操作資訊，避免操作過程誤入錯誤路徑而造成其他器官損傷，提升系統操作的安全性。

(3)此多任務即時插管輔助系統能通過顯示介面呈現系統分析結果，提供操作者即時且正確的影像及模型分析資訊，增加操作者操作時的便利性。

1,3:多任務即時插管輔助系統

11,31:喉頭檢查裝置

12,32:攝影裝置

13,33:控制裝置

21:局部注意力之區域提議機制模組

22:方向檢測模組

23:視覺里程計模組

34:顯示裝置

121:喉部影像

131:處理器

132:記憶體

211:特徵萃取器

212:遮蔽狀態

213:區域定位及終止網路

214:裁剪

215:區域提議網路

216:感興趣區域

217:偵測器

221:對稱性檢測程序

222:槽邊檢測程序

223:導引方向

231:視覺里程檢測程序

232:移動距離

C1,C2,C3,C4,C5:卷積層

p:輸出區域定位

P4,P5:為特徵圖

S1~S6:步驟

TR:終止動作

為使本發明之技術特徵、內容與優點及其所能達成之功效更為顯而易見，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下：第1圖係為本發明實施例之多任務即時插管輔助系統之方塊圖。

第2圖係為本發明實施例之局部注意力之區域提議機制模組之示意圖。

第3圖係為本發明實施例之特徵提取網路之示意圖。

第4圖係為本發明實施例之注意力循環機制之架構圖。

第5圖係為本發明實施例之方向檢測模組與視覺里程計模組之示意圖。

第6圖係為本發明實施例之方向檢測模組之檢測流程圖。

第7圖係為本發明另一實施例之多任務即時插管輔助系統之方塊圖。

為利貴審查委員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

本文所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域的通常知識者通常理解的含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的含義，並且將不被解釋為理想化的或過度正式的意義，除非本文中明確地如此定義。

請參閱第1圖，其係為本發明實施例之多任務即時插管輔助系統之方塊圖。如圖所示，多任務即時插管輔助系統1包含喉頭檢查裝置11、攝影裝置12以及控制裝置13。喉頭檢查裝置11是用於進入使用者的喉部以進行檢查，例如喉頭鏡(laryngoscope)、插管通條(stylet)、光纖鏡(fiberscope)等。攝影裝置12由喉頭檢查裝置11的行進方向拍攝喉部，產生喉部影像121。攝影裝置12可為各種影像擷取裝置，例如攝影機、照相機、內視鏡等，通過將影像擷取裝置的鏡頭裝設於喉頭檢查裝置11上，朝向喉部，當喉頭檢查裝置11進入喉部時，通過攝影裝置12拍攝的喉部影像121，檢視喉頭檢查裝置11的插入狀態。

控制裝置13連接於攝影裝置12及喉頭檢查裝置11，接收喉部影像121，控制裝置13包含處理器131及記憶體132，由處理器131存取記憶體132的定位及導航指令來執行局部注意力之區域提議機制(LARP)模組21、方向檢測模組 22以及視覺里程計模組23。局部注意力之區域提議機制模組21通過特徵萃取器提取喉部影像的網路輸出特徵圖，經由注意力循環機制(ARM)產生區域定位，將區域定位通過區域提議網路(RPN)掃描產生感興趣區域(RoI)，再將感興趣區域輸入偵測器進行分類及回歸以產生物件偵測輸出，物件偵測輸出對應於喉部內的特定器官。相較於現有的物件偵測需要對影像進行全域偵測，造成運算資源過多的浪費，本揭露通過注意力循環機制與深度強化式學習來關主感興趣的特定區域，在經由偵測器運算後產生最終結果。過程模擬人眼將影像分區域做順序性的觀察，並確認區域內是否由對應的特定器官，例如懸雍垂、會厭、杓狀軟骨或聲帶等。

至於方向檢測模組22以及視覺里程計模組23則是作為定位及導航的模組，方向檢測模組22通過方向檢測程序產生喉頭檢查裝置11的導引方向，視覺里程計模組23通過視覺里程檢測程序檢測攝影裝置12的移動距離，藉由移動距離對喉頭檢查裝置11進行定位，確認喉頭檢查裝置11在喉腔內的位置，避免操作者操作喉頭檢查裝置11時產生失誤，例如誤入食道導致無法呼吸而產生醫療事故。以下實施例將進一步說明各個處理模組的內容。

請參閱第2圖，其係為本發明實施例之局部注意力之區域提議機制模組之示意圖。如圖所示，局部注意力之區域提議機制模組21的運作機制首先將喉部影像121輸入，通過特徵萃取器211進行特徵萃取以產生網路輸出特徵圖，特徵圖在遮蔽狀態(Masked State)212，由區域定位及終止網路(Region Localization and Termination Network,RL&TN)213訪問各個區域，並進行區域定位的裁剪214，直到搜尋中止，由區域定位通過區域提議網路(RPN)215掃描產生感興趣區域(RoI)216，再將感興趣區域(RoI)216的結果輸入偵測器217，經由複製 及全連接層的運算層進行回歸及分類，產生分類結果來對應於特定物件，也就是特定器官如懸雍垂、會厭、杓狀軟骨或聲帶等。整個過程如同人眼一樣將照片分區域順序性的觀察，相較於全域觀察的方法更為快速且合理。

在特徵萃取器211當中，使用的特徵提取網路可包含Fast R-CNN當中所使用的特徵提取網路，例如vgg16、res101、FPN等，但本揭露不侷限於此，特徵萃取器211可接上任意的特徵提取網路。以vgg16為例，使用conv1到con5_x的網路作為卷積層，將vgg16的全連接層加上平行的兩個全連接層作為偵測器217，當大小為(h ₀,w ₀)的圖片輸入特徵提取網路會得到大小為(h,w,512)的特徵圖，彼此間大小差異為16倍。在res101中，使用conv1到con4_x的網路作為卷積層，將res101的con5_x加上平行的兩個全連接層作為偵測器217，當大小為(h ₀,w ₀)的圖片輸入特徵提取網路會得到大小為(h,w,1024)的特徵圖，彼此間大小差異為16倍。

在實際運作時，res101的效能表現較vgg16好，但res101的輸出維度較vgg16大兩倍，在狀態空間變大的情況下，後續運行時間較久，對此，考量以特徵金字塔網路(Feature Pyramid Networks,FPN)的概念建構FPN@P4的特徵提取網路。特徵金字塔網路包含自底向上線路(bottom-up pathway)、自頂向下線路(top-down pathway)及橫向連接(lateral connection)，自底向上線路為如同vgg16、res101等特徵提取網路的方法，通過前饋計算得到多為度的特徵圖，將輸入影像的長寬逐漸變小、深度逐漸變大。自頂向下線路則是將高層的特徵圖做上採樣(up-coming)，得到與較下層特徵圖同樣的尺度，再將下層的特徵圖通過橫向連接進行結合。

請參閱第3圖，其係為本發明實施例之特徵提取網路之示意圖。如圖所示，自底向上線路為卷積層C1、C2、C3、C4、C5，如同vgg16網路中的conv1到con5_x，自頂向下線路則為特徵圖P4、P5，卷積層C5通過[1×1,256]的卷積核輸出深度為256的特徵圖P5，經過2倍上採樣使特徵圖長寬與卷積層C4相同，通過橫向連接與卷積層C4經過[1×1,256]的卷積核輸出的特徵圖相加，獲得特徵圖P4，再經過[3×3,256]的卷積核卷積後取得最後的輸出。在偵測器217方面則使用兩個1021-d的全連接層加上平行的兩個全連接層。在特徵提取網路當中，卷積層高層輸出的內容具備較多的語意訊息，但相對的位置訊息較不準確，相對地，卷積層低層輸出的內容則具備較少語意訊息，但位置訊息較準確。在本實施例中，通過建構FPN@P4的特徵提取網路，可以巧妙的融合高層與中低層的優勢，並且減小維度，使得整個演算過程的運作更加迅速。

區域定位及終止網路213當中，本實施例採用注意力循環機制(ARM)，注意力循環機制是基於注意力機制與強化式學習的搜尋模型，順序性的關注重要區域，並於認定搜索完成後停止，最後輸出關注的局部區域。若無終止，則利用區域定位選定認為有物件的區域輸入至區域提議網路215。以下將針對注意力循環機制的架構進行說明。

請參閱第4圖，其係為本發明實施例之注意力循環機制之架構圖。如圖所示，注意力循環機制的輸入為上一刻的隱藏狀態h _t-1 及狀態S _t (特徵圖)，將隱藏狀態與狀態各自做卷積運算後，相加輸入注意力路徑(Attention Path)以輸出區域定位(Region Localization)p。終止動作(Search Termination)TR則是經由注意力循環機制裡的隱藏狀態h _t 輸出產生，決定程式是否終止。

注意力機制主要分為軟性注意力機制(Soft Attention)及硬性注意力機制(Hard Attention)，軟性注意力機制在輸入一張圖片產生的特徵圖後會產生特徵間比重的分布，透過0到1的數值，表示圖片中那些區域應該受到關注，哪些區域在乘上軟性注意力機制輸出後的值會消失，藉此忽視無關區域。在這過程中數值式連續且可參數化的，因此軟性注意力機制可使用梯度下降類的方法來訓練。至於硬性注意力機制，是在輸入特徵圖後產生特徵間比重分布，取出最大值最為輸出，過程不具備連續性，不能微分，因此使用強化學習來訓練。在本實施例中，注意力循環機制結合軟性注意力機制及硬性注意力機制，由於具有硬性注意力機制，因此使用強化學習的方法來訓練。

就架構下半部的區域定位而言，注意力循環機制將狀態S _t 及隱藏狀態h _t-1 各自經過卷積運算後相加，再使用激勵函數tanh將輸出數值限制在1到-1之間，如公式(1)所示。

此式為α閘門，是在函數tanh乘上參數a來調整資料的集中或分散。得到k _t 後將其輸入卷積層中得到s _t ，再用激勵函數softmax將s _t 輸入得到介於0與1之間的輸出關注比重向量

，再將上一刻的關注比重向量

與此刻的關注比重向量

分別乘上1-g及g進行加權運算得到

，如公式(2)(3)所示。

將

做正規化，做為β閘門，如公式(4)所示。

當β越大，輸出結果越極端，最後將結果攤平，選定最大值的座標做為輸出的輸出區域定位p，如公式(5)(6)所示。

p=argmax α _i (6)

就架構上半部的循環神經網路而言，注意力循環機制將狀態S _t 及隱藏狀態h _t-1 各自經過卷積運算後相加，輸入激勵函數sigmoid使數值限制在0到1之間，得到重製閥參數r _t 以及更新閥參數z _t ，如公式(7)(8)所示。

將重製閥參數r _t 與隱藏狀態h _t-1 卷積運算後產物做點乘加上與狀態St及卷積運算後產物，將此結果經過激勵函數tanh激活後得到

，如公式(9)所示。

包含當前狀態S _t 以及上一刻隱藏狀態h _t-1 經選擇後的資訊，相當於記憶了當前的資訊。最後將

及隱藏狀態h _t-1 分別乘上1-z_t及z_t，分別代表記憶了多少當前資訊以及忘記多少過去的資訊，再將結果相加輸出隱藏狀態h _t 做為下一刻的隱藏狀態輸入，如公式(10)所示。

區域定位及終止網路包含注意力循環機制，通過深度強化式學習來訓練，必須先定義輸入狀態，其包含狀態S _t 及前一刻輸出的隱藏狀態h _t-1 ，其中S ₀ 為特徵提取網路輸出的特徵圖，d _base 為特徵圖厚度，h×w是特徵圖尺寸。每當 狀態更新時，在看過的局部區域上放上-1做為已關注過的依據，進而完成了狀態的轉移。

在判斷區域定位及終止動作的方式上，終止動作是由注意力循環機制產生的h _t 得到，先將h _t 經過兩層的卷積(公式(11))，再進行縮放使大小固定，輸出T _t (公式(12))，T _t 與W _d 相乘後經過函數sigmoid輸出結束動作TR(公式(12))。若TR大於0.5則程式終止，若TR不大於0.5則繼續。

TR=σ(W _T T _t ) (13)

區域定位則是由注意力循環機制產生的p得到，將p定為區域定位的中心，在周圍畫出長為0.25h、寬為0.25w的長方形做為預期區域定位輸出，使後方的區域提議網路215掃描產生感興趣區域216，於TR不大於0.5時輸出，TR大於0.5時停止輸出並終止程式。

在區域定位及終止網路的運作過程中，需要進行初始化使得程式能取得非零的初始值h ₀ ，避免第一次輸出的區域中心定位為(0,0)。另外，為了希望代理人可將預測的感興趣區域216與基準真相(ground truth)的準確度(Intersection over Union,IoU)變得越大越好，但又不想代理人為了提高IoU而看太多眼，造成時間的浪費並產生無用的感興趣區域216，因此提出了獎勵設計。g _i 是第一張照片中第i個基準真相，I ⁱ 為此張照片從最初到現在所有感興趣區域與g _i 的IoU中的最大者，

為此張照片在時間t所有感興趣區域與g _i 的IoU中的最大者，

是區域定位的獎勵，

是結束動作的獎勵，τ為IoU的閾值(threshold)，設為0.5，β為懲罰項，設為0.05。為了提高IoU，若是

>I ⁱ ，代表多看一眼時IoU提升， 給予獎勵

，為了減少觀看次數，每多看一眼給予懲罰

。當程式結束時，總結結果，若I ⁱ 的最小值比閾值τ大，代表都有找到對應的基準真相，給予獎勵

，若I ⁱ 的最小值比閾值τ小，代表程式結束時未找到完全對應的基準真相，給予懲罰

。

局部注意力之區域提議機制模組21在初始化時會先載入Fast R-CNN訓練好的權重，包括特徵萃取器211、區域提議網路215及偵測器217，再來會訓練區域定位及終止網路213及偵測器217，特徵萃取器211及區域提議網路215不會更動，在本實施例中，每一個批量大小(batch size)為1，也就是在一次迭代(iteration)只會拿一張圖來訓練。在訓練的第一階段中對於區域定位及終止網路213的訓練採用加強的訓練方法，當經過一次迭代後，輸出此次迭代對應的累積回報R _t ，如公式(14)所示，將迭代中每個區域定位獎勵以及終止動作獎勵經過折扣後加總。

其中γ為衰減率，t為時間，k為表示用來看照片的第幾眼，當完成50個迭代後，使用策略梯度與adam優化演算法來對參數θ _H 進行一次更新。此處的目標函數，即損失函數，可由公式(15)來表示，其為公式(14)結合後續的公式(16)至公式(18)而組成。

在公式(16)中，通過交叉熵(cross entropy)來評估區域定位採樣結果與其預測機率的離散程度。在公式(17)中，通過交叉熵來評估終止動作採樣結果與其預測機率的離散程度。公式(18)則是Rt經過50次迭代累積的平均數及標準差得到正規畫的累積回報

。

在第二階段時，區域定位及終止網路213及偵測器217都會進行訓練，區域定位及終止網路213訓練方式與上述第一階段相同，偵測器217先使用產生的感興趣區域216進行訓練，每次迭代均可訓練一次，偵測器217的損失函數如公式(19)所示。

其中，o為類別的預測值共K+1個，

為每個類 別的邊框修正量，x,y,w,h為預測框的中心座標及寬長，c為基準真相的類別，z為邊框修正量的基準真相，偵測器採用動量(Momentum)優化演算法來更新，動量為0.9，權重衰減為1e-4。損失函數的公式(19)可為公式(20)至公式(22)而組成。

L _cls (o,c)=-log o _c (20)

公式(20)為分類的損失函數，公式(21)為邊框回歸的損失函數，由於c=0時是背景，通過[C

1]將背景去除。一般邊框回歸可選擇平方損失函數或者絕對損失函數，此處則使用公式(22)，在數值大小時都能有良好輸出。

請參閱第5圖，其係為本發明實施例之方向檢測模組視覺里程計模組之示意圖。如圖所示，喉部影像121首先輸入局部注意力之區域提議機制模 組21，產生物件偵測輸出後，進入方向檢測模組22，通過對稱性檢測程序221或槽邊檢測程序222產生導引方向223。另一方面，物件偵測輸出同樣進入視覺里程計模組23，通過視覺里程檢測程序231確認攝影裝置的移動距離232，讓控制裝置能通過上述資訊，於人體喉腔示意圖上標示喉頭檢查裝置的位置，協助操作者對於喉頭檢查裝置插入步驟的狀態有更準確的了解，避免進入路線錯誤而損傷其他器官。

在方向檢測模組22當中，會依據局部注意力之區域提議機制模組21是否產生物件偵測輸出來決定使用的判斷程序，請參閱第6圖，其係為本發明實施例之方向檢測模組之檢測流程圖。如圖所示，方向檢測模組22可包含以下步驟(S1~S6)：

步驟S1：通過局部注意力之區域提議機制模組進行物件偵測。依據前述實施例所述，通過局部注意力之區域提議機制模組21檢測喉部影像121，將偵測結果輸入至步驟2，確認是否產生物件偵測輸出，即是否偵測到特定器官，例如懸雍垂、會厭、杓狀軟骨或聲帶。

步驟S2：確認物件偵測是否產生物件偵測輸出。若是，進入步驟S3，若否，進入步驟S4。當局部注意力之區域提議機制模組21輸出的結果中產生物件偵測輸出，表示由喉部影像121中偵測到特定器官，由於口腔內部是對稱的，因此會通過擷取偵測部位來做對稱性檢測，即進入步驟S3。若是沒有偵測到特定器官，則進入步驟S4，進一步確認是否看過預設器官，如懸雍垂。

步驟S3：進行對稱性檢測程序。對稱性檢測程序藉由尺度不變特徵轉換(SIFT)演算法將輸入影像進行水平翻轉，將原圖中的特徵點找出翻轉圖中的匹配點及對稱點，由兩點連線後於連線中心取垂直線作為對稱線。原圖中可 設定多個特徵點，進行所有特徵點的偵測後，依據角度及長度投票找出最高票者作為輸出的對稱線。

步驟S4：確認方向檢測模組是否輸出過預設器官。若否，進入步驟S3，若是，進入步驟S5。在喉頭檢查裝置由進入口腔直到會厭的過程中，預期會經由局部注意力之區域提議機制模組21偵測到懸雍垂，因此會通過對稱性檢測程序直到偵測到懸雍垂，當偵測到時，由於懸雍垂指向的方向即為會厭，在偵測到懸雍垂後會通過槽邊檢測程序直到找到終點會厭。因此，當物件偵測輸出並未檢測到特定器官時，系統需確認是否看過預設器官的懸雍垂，進而決定檢測的方式。若是並未輸出過懸雍垂，則以對稱性檢測程序，若是曾經偵測過，則使用槽邊檢測程序。

步驟S5：進行槽邊檢測程序。在懸雍垂到會厭的過程，左右兩側會形成類似道路形狀的線，因此基於此特性，藉由坎尼邊緣檢測法及霍夫直線檢測法偵測兩側邊緣線段，分別將左右兩側的線段求出，再依此求出導引線。詳細作法是先將影像轉成灰階，經過高斯濾波器將雜訊去除，使用坎尼邊緣檢測法找出圖像中可能是邊緣的地方，再通過霍夫直線檢測法求出可能為線段的地方，將找到的線段做直線擬合，找到左右兩側的線段，再將其角度平均以取得導引線段。

步驟S6：產生導引方向。由前述對稱性檢測程序或槽邊檢測程序所找出的對稱線或導引線，可作為喉頭檢查裝置在進入喉腔時的導引方向，例如通過對稱性檢測程序的對稱線引導找到懸雍垂，在經由槽邊檢測程序的導引線引導到會厭，讓喉頭檢查裝置能藉由導引方向正確地進入喉部。整個過程中， 輸出的方向角度可經過卡爾曼濾波器(Kalman filter)進行處理，使輸出結果更加穩定而不會有過度的震盪。

在視覺里程計模組23當中，視覺里程檢測程序231藉由LK金字塔光流演算法進行特徵點比對，計算旋轉矩陣及平移向量，再以棋盤格作為初始值取得尺度資訊，產生移動距離。由於單目的視覺里程計缺乏尺度因子，只能預測相機的前進方向，無法預測實際移動距離，因此在進入口腔前先將攝影裝置拍攝已知大小的棋盤格，檢測棋盤格的格點，由於棋盤格的點圍成區域的周長為已知，因此以此偵測到的棋盤格格點將周長作為依據，計算圖上2D特徵點的3D座標，經過求解本質矩陣、相機運動姿態後，由相機運動的函數輸出相應的旋轉矩陣及單位座標，在通過3D點座標圍成的周長與實際長度換算比值，乘上實際的3D座標及位移，還原實際的3D座標與位移的尺度。

在有初始位移尺度後，經過特徵點比對，即使用LK金字塔光流演算法、求解本質矩陣、求解相機姿態後，通過公式(23)(24)將下一個尺度因子算出。

R _n-1,n st+t _n-1,n =0 (24)

其中，

代表在上一刻實現尺度的3D點座標，x _n 代表此刻尺度 未經過還原的3D點座標，R _n-1,n 代表將座標n-1轉換為n的旋轉矩陣，t代表從n-1座標系看到的第n時間時攝影裝置的單位座標。經由整理後，利用公式(25)作為計算的方法計算尺度因子s。最後經過還原尺度後的st於每幀過後做累加，還原拍攝裝置實際所在的位置，作為定位功能的標定。

隨著時間的增加以及拍攝裝置移動特徵點逐漸減少，為傳遞3D特徵點以建構下一個尺度因子，使用此次的轉移矩陣、平移矩陣作為依據進行三角測量，求出新的3D特徵點，其做法可通過AKAZE演算法重新偵測特徵點，再經由LK金字塔光流演算法進行特徵點比對得到前後兩組新的特徵點。

請參閱第7圖，其係為本發明另一實施例之多任務即時插管輔助系統之方塊圖。如圖所示，多任務即時插管輔助系統3包含喉頭檢查裝置31、攝影裝置32、控制裝置33以及顯示裝置34。喉頭檢查裝置31是用於進入使用者的喉部以進行檢查，例如喉頭鏡、插管通條、光纖鏡等。攝影裝置32由喉頭檢查裝置31的行進方向拍攝喉部，產生喉部影像。攝影裝置32可為各種影像擷取裝置，例如攝影機、照相機，通過將影像擷取裝置的鏡頭裝設於喉頭檢查裝置31上，朝向喉部，當喉頭檢查裝置31進入喉部時，通過攝影裝置32拍攝喉部影像，檢視喉頭檢查裝置31的插入狀態。

控制裝置33連接於攝影裝置32及喉頭檢查裝置31，接收喉部影像，通過內部處理器及記憶體執行局部注意力之區域提議機制(LARP)模組、方向檢測模組以及視覺里程計模組，產生喉頭檢查裝置的導航與定位內容。各個模組的運作與前述實施例類似，相同內容不再重複描述。在本實施例中，多任務即時插管輔助系統3可設置顯示裝置34，顯示裝置34連接於控制裝置33，顯示喉部影像或者喉頭檢查裝置31的定位及導航資訊。

顯示裝置34可為控制裝置33的顯示介面，例如電腦裝置的顯示螢幕，或者顯示裝置34亦可為獨立的顯示裝置34，例如各種手持裝置，通過無線通訊網路傳輸方式接收控制裝置33的偵測結果，將攝影裝置32拍攝的喉頭影像以及模組運算後產生的喉頭檢查裝置31定位及導航資訊，通過顯示介面呈現。 操作者，例如醫療人員，在操作喉頭檢查裝置31的同時，能參考顯示裝置34所呈現的畫面，協助判斷喉頭檢查裝置31的操作方向及位置，避免操作過程誤傷其他器官。除了即時顯示狀態外，控制裝置33或顯示裝置34也可安裝錄製影像、拍攝照片後的資料儲存裝置，讓操作者能重新檢視每次操作喉頭檢查裝置31的狀態，達到教學、訓練或學習的效果。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1:多任務即時插管輔助系統

11:喉頭檢查裝置

12:攝影裝置

13:控制裝置

21:局部注意力之區域提議機制模組

22:方向檢測模組

23:視覺里程計模組

121:喉部影像

131:處理器

132:記憶體

Claims (10)

1. 一種多任務即時插管輔助系統，其包含：一喉頭檢查裝置，係用於進入使用者的一喉部以進行檢查；一攝影裝置，由該喉頭檢查裝置的行進方向拍攝該喉部，產生一喉部影像；以及一控制裝置，連接於該攝影裝置及該喉頭檢查裝置，接收該喉部影像，該控制裝置包含一處理器及一記憶體，由該處理器存取該記憶體的定位及導航指令來執行以下模組：一局部注意力之區域提議機制模組，通過一特徵萃取器提取該喉部影像的一網路輸出特徵圖，經由一注意力循環機制產生一區域定位，將該區域定位通過區域提議網路掃描產生一感興趣區域，再將該感興趣區域輸入偵測器進行分類及回歸以產生一物件偵測輸出，該物件偵測輸出對應於該喉部內的一特定器官；一方向檢測模組，通過一方向檢測程序產生該喉頭檢查裝置的一導引方向；以及一視覺里程計模組，通過一視覺里程檢測程序檢測該攝影裝置的一移動距離，藉由該移動距離對該喉頭檢查裝置進行定位。
2. 如請求項1所述之多任務即時插管輔助系統，其中該方向檢測程序包含一對稱性檢測程序或一槽邊檢測程序。
3. 如請求項2所述之多任務即時插管輔助系統，其中該對稱性檢測程序藉由一尺度不變特徵轉換演算法將該喉部影像水 平翻轉，比對特徵點以取得一對稱線。
4. 如請求項3所述之多任務即時插管輔助系統，其中該槽邊檢測程序藉由坎尼邊緣檢測法及霍夫直線檢測法偵測兩側邊緣線段，由該兩側邊緣線段產生一導引線。
5. 如請求項4所述之多任務即時插管輔助系統，其中當該局部注意力之區域提議機制模組產生該物件偵測輸出，該方向檢測程序藉由該對稱性檢測程序的該對稱線作為該導引方向。
6. 如請求項4所述之多任務即時插管輔助系統，其中當該局部注意力之區域提議機制模組並未產生該物件偵測輸出，該方向檢測模組判斷是否輸出過一預設器官，若是，則該方向檢測程序藉由該槽邊檢測程序的該導引線作為該導引方向；若否，則該方向檢測模組藉由該對稱性檢測程序的該對稱線作為該導引方向。
7. 如請求項6所述之多任務即時插管輔助系統，其中該預設器官為懸雍垂。
8. 如請求項1所述之多任務即時插管輔助系統，其中該視覺里程檢測程序藉由一LK金字塔光流演算法進行特徵點比對，計算旋轉矩陣及平移向量，再以棋盤格作為初始值取得尺度資訊，產生該移動距離。
9. 如請求項1所述之多任務即時插管輔助系統，其中該特定器官包含懸雍垂、會厭、杓狀軟骨或聲帶。
10. 如請求項1所述之多任務即時插管輔助系統，進一步包含一顯示裝置，連接於該控制裝置，該顯示裝置顯示該喉部影像 及該喉頭檢查裝置的定位及導航資訊。

Images