TW202000119A - 氣道模型生成系統及插管輔助系統 - Google Patents

Abstract

本案提出一種氣道模型生成系統，包含內視鏡裝置及計算機裝置，透過即時定位與地圖構建技術來建立患者氣道三維模型。本案另提供一種插管輔助系統，利用眾多患者的三維模型與機器學習技術，在醫護人員進行插管治療過程中提供輔助。

Description

氣道模型生成系統及插管輔助系統

本案是有關於一種內視鏡系統，特別是指一種氣道模型生成系統及插管輔助系統。

當患者需要進行全身麻醉或急救等患者無法自行呼吸的情形下，通常會對患者進行插管治療。然而，醫護人員往往依靠經驗來進行插管操作，若有不慎可能刺傷患者。

有鑑於此，本案提供一種氣道模型生成系統來建立患者氣道三維模型，並且利用眾多患者的三維模型與機器學習技術，提供一種插管輔助系統，在醫護人員進行插管治療過程中提供輔助。

所述氣道模型生成系統包含一內視鏡裝置及一計算機裝置。內視鏡裝置包含一可撓管、一攝影模組及一通訊模組。攝影模組位於可撓管的前端，以擷取可撓管進入氣道的過程中的多張氣道影像。通訊模組耦接攝影模組，以發送攝影模組擷取到的該些氣道影像。計算機裝置，通訊連接內視鏡裝置的通訊模組，以取得通訊模組發送的該些氣道影像，並根據該些氣道影像，利用即時定位與地圖構建（SLAM）技術建立氣道的三維模型。

所述插管輔助系統包含一內視鏡裝置及一計算機裝置。內視鏡裝置包含一可撓管、一攝影模組及一通訊模組。攝影模組位於可撓管的前端，以擷取可撓管進入目標患者的目標氣道的過程中的多張目標氣道影像。通訊模組耦接攝影模組，以發送攝影模組擷取到的該些目標氣道影像。計算機裝置包含一輸入模組、一儲存模組、一處理模組及一輸出模組。輸入模組供接收目標患者的一目標患者資料。儲存模組儲存一患者資料庫，患者資料庫包含對應各個患者的一氣道資料及一病理資料，各氣道資料包含對應患者一氣道的複數氣道影像及氣道之三維模型。處理模組將該些患者之病理資料及三維模型輸入至一第一學習模型。第一學習模型提供一第一邏輯以供評估該些病理資料中的一個或多個特徵值與對應的氣道的三維模型的相關性，並且將目標患者資料輸入至第一學習模型，以依據第一邏輯找出該些三維模型中的一相近者。處理模組還依據目標氣道影像判斷可撓管之前端位於該相近的三維模型中的一位置，以根據位置產生一導引資訊，而由輸出模組輸出該導引資訊。

綜上所述，本案實施例提供一種氣道模型生成系統，可在插管過程中建立患者的氣道三維模型。此外，本案實施例亦提供一種插管輔助系統，將各個患者的氣道三維模型與對應氣道影像進行建檔，並輸入學習模型中。透過機器學習找出病理資料與氣道三維模型的關聯，以及找出氣道影像與病理資料的關聯，能夠輔助醫護人員的插管操作，並提醒可能罹患的疾病。

參照圖1，係為本案一實施例之氣道模型生成系統與插管輔助系統之架構示意圖。所述氣道模型生成系統與插管輔助系統包含內視鏡裝置100及計算機裝置200。以下將先就氣道模型生成系統進行說明。

合併參照圖1及圖2，圖2為本案一實施例之氣道模型生成系統之方塊示意圖。內視鏡裝置100包含可撓管110、握持部120、攝影模組130及通訊模組140。可撓管110與握持部120相連接，以供醫護人員手持握持部120，將可撓管110插入患者的氣道中。可撓管110的前端設置攝影模組130，以擷取可撓管110前方影像。因此，在可撓管110進入患者口中之後而深入氣道的過程中，可連續地、間歇地、或經觸發地擷取氣道影像。攝影模組130可包含一個或多個攝影鏡頭，所述攝影鏡頭可為感光耦合元件（CCD）或互補性氧化金屬半導體（CMOS）影像感應器。通訊模組140可支援有線通訊技術或無線通訊技術，有線通訊技術可例如為低電壓差動訊號傳輸（LVDS）、複合視頻廣播訊號（CVBS）等，無線通訊可例如為無線保真（WiFi）、無線顯示（WiDi）、無線家庭數位介面（WHDI）等。通訊模組140耦接於攝影模組130，以將擷取到的氣道影像傳送至計算機裝置200。

計算機裝置200包含處理模組210及通訊模組220。通訊模組220支援與內視鏡裝置100的通訊模組140相同的通訊技術，以通訊連接於內視鏡裝置100的通訊模組140，而取得前述氣道影像。處理模組210耦接通訊模組220，以根據氣道影像利用SLAM技術建立該氣道的三維模型。處理模組210為中央處理器（CPU）、圖形處理器（GPU）、視覺處理器（VPU）等具運算能力之處理器。處理模組210可包含一個或多個上述之一種或多種處理器。

在一些實施例中，計算機裝置200為一台運算設備。

在一些實施例中，計算機裝置200由多台相同或不同的運算設備構成，例如採用分散式運算架構或電腦集群（cluster）技術。

計算機裝置200還包含儲存模組230、輸入模組240及輸出模組250，分別耦接於處理模組210。儲存模組230為非暫態儲存媒體，可供儲存前述氣道影像。輸出模組250可為影像輸出裝置，例如一台或多台顯示器，係可供顯示氣道影像。輸入模組240可為人機操作介面，包含如滑鼠、鍵盤、觸控螢幕等，以供醫護人員操作計算機裝置200。

在一些實施例中，內視鏡裝置100亦可配備顯示器（圖未示），以顯示攝影模組130擷取之氣道影像。

在一些實施例中，若內視鏡裝置100配備顯示器，計算機裝置200可不配備顯示器。

在一些實施例中，有別於前述內視鏡裝置100與計算機裝置200是兩個可分離的個體，內視鏡裝置100與計算機裝置200整合在同一電子設備中。

參照圖3，係為本案一實施例之生成氣道模型之方法流程圖，所述方法係經由前述處理模組210執行，以實現前述之SLAM技術。首先，讀取儲存在儲存模組230的氣道影像，並載入之（步驟S310）。接著，對氣道影像進行預處理，以去除氣道影像中的雜訊區域（步驟S320）。所述雜訊區域可例如為粘膜、氣泡等影響影像判讀之區域。在步驟S330中，透過特徵區域檢測算法擷取氣道影像的複數特徵點。所述特徵區域檢測算法可例如為加速強健特徵（SURF）、尺度不變特徵變換（SIFT）或定向BRIEF（ORB）等算法。於是，可依據每張氣道影像上對應的特徵點的位置與大小變化，換算可撓管110的移動方向與位移，以重建出三維模型（步驟S340）。

在一些實施例中，具有兩個鏡頭的攝影模組130所拍攝的影像可供處理模組210執行雙目視覺SLAM演算來重建三維模型。

參照圖4，係為本案另一實施例之氣道模型生成系統之方塊示意圖，與圖2之差異在於，本實施例之內視鏡裝置100更包含慣性測量模組150。慣性測量模組150包含至少一慣性測量單元151，設置在可撓管110上（如圖1所示）。慣性測量單元用以取得慣性訊號，例如加速度計，藉此能夠得知可撓管110的移動方向與加速度變化。慣性訊號透過通訊模組140傳送至計算機裝置200。於是，計算機裝置200根據慣性訊號及氣道影像，利用前述SLAM技術的其中一個分支，即視覺慣性里程計（VIO）技術來建立氣道的三維模型。

在一些實施例中，慣性測量單元151是沿著可撓管110的長軸方向上均勻分布。換言之，在可撓管110上，每間隔一段距離即設置有慣性測量單元151。藉此，可透過此些慣性測量單元151的慣性訊號得知可撓管110每個位置的彎折形變、位移方向與位移量。

參照圖5，係為本案另一實施例之生成氣道模型之方法流程圖，與圖3之差異在於，由於本實施例之內視鏡裝置100（如圖4所示）還包含慣性測量模組150，因此計算機裝置200根據前述步驟S310至步驟S330取得特徵點之後，是依據每張氣道影像上特徵的位置與大小變化及慣性訊號，來換算可撓管110的移動方向與位移，據以重建出三維模型（步驟S360）。此外，在步驟S360之前，還可對慣性訊號進行欲處理，而濾除慣性訊號的雜訊（步驟S350）。在此，步驟S250不限於在步驟S330與步驟S360之間執行，只要在步驟S360之前執行即可。所述濾除慣性訊號雜訊的方式可採用如卡爾曼（Kalman）濾波器、高斯（Gaussian）濾波器或粒子濾波器等。

在一些實施例中，前述步驟S320，即對氣道影像進行預處理，以去除氣道影像中的雜訊區域是利用機器學習方式來辨識該雜訊區域而將之去除。換言之，每個患者的氣道影像可被輸入至一學習模型中，所述學習模型可選自監督式學習、非監督式學習、半監督式學習及增強學習等類型，例如為神經網路、隨機森林、支援向量機（SVM）、決策樹或集群等。透過學習模型來評估氣道影像中的特定特徵點與雜訊區域的關聯性，據以指出氣道影像中的雜訊區域。

接下來，說明插管輔助系統，插管輔助系統供對於當前目標患者執行插管時輔助醫療人員正確操作，避免操作錯誤而傷及患者。插管輔助系統的硬體組成請參照圖1、圖2、圖4與前述說明，於此不重複贅述。

參照圖6，係為本案一實施例之插管輔助系統的運作示意圖。於此，特別要說明的是，計算機裝置200的儲存模組230會儲存患者資料庫。患者資料庫包含對應各個患者的氣道資料310與病理資料320。氣道資料310包含氣道影像311與經前述方法重建的氣道三維模型312。病理資料320是指患者的罹病資料、健康檢查數據等。在每次執行插管之前，醫護人員會透過前述輸入模組240來輸入當前目標患者的目標患者資料（如性別、身高、體重等基本資料或/及病歷資料），此目標患者資料將被加入至患者資料庫中。此資料之輸入可為人工輸入或透過其他方式（如讀取檔案、讀取晶片、調閱電子病歷等方式）進行。

處理模組210會將此些患者之病理資料320及三維模型312輸入至第一學習模型330。第一學習模型330可選自監督式學習、非監督式學習、半監督式學習及增強學習等類型，例如為神經網路、隨機森林、支援向量機（SVM）、決策樹或集群等。第一學習模型330提供一第一邏輯以供評估此些病理資料320中的一個或多個特徵值與對應的氣道的三維模型312的相關性。所述第一邏輯係指根據一個或多個特徵值的數值、權重等關係來計算對應至各個患者或部分患者的氣道三維模型312的機率。在一些實施例中，亦可根據該些患者的三維模型312產生數個具代表性的氣道模型範本，而前述第一邏輯則根據一個或多個特徵值的數值、權重等關係來計算對應至各個氣道模型範本的機率。例如，某幾種特徵值的表現代表容易發生困難插管（difficult airway）的氣道類型。

透過前述訓練之後，處理模組210將目標患者資料輸入至第一學習模型330，以依據第一邏輯找出該些三維模型312中的一相近者（亦即機率最高者）。於是，在醫護人員執行插管作業時，處理模組210依據目標患者的氣道影像（後稱目標氣道影像）或配合前述慣性訊號，透過前述的SLAM技術或VIO技術來判斷可撓管110之前端位於該相近的三維模型312中的位置，以根據該位置產生一導引資訊。所述導引資訊例如為方向的指引。輸出模組250可透過前述顯示器透過文字、圖示等方式來顯示導引資訊，或/及配合其他形式的輸出方式，如喇叭，而以語音等其他形式來輸出導引資訊。

在一些實施例中，處理模組210還將該些患者之氣道影像311輸入至第二學習模型340。第二學習模型340可選自監督式學習、非監督式學習、半監督式學習及增強學習等類型，例如為神經網路、隨機森林、支援向量機（SVM）、決策樹或集群等。第二學習模型340提供一第二邏輯以供評估此些氣道影像311中的一個或多個特徵值與對應的病理資料320中的至少一疾病的相關性。所述第二邏輯係指根據氣道影像311中的一個或多個特徵值的數值、權重等關係來計算對應罹患各種疾病的機率。在訓練過後，處理模組210將目標患者的目標氣道影像輸入至第二學習模型，以依據第二邏輯評估發生一種或多種疾病的機率。輸出模組250可透過前述顯示器透過文字、圖示等方式來顯示可能罹患之疾病名稱，或/及配合其他形式的輸出方式，如喇叭，而以語音等其他形式來輸出。

綜上所述，本案實施例提供一種氣道模型生成系統，可在插管過程中建立患者的氣道三維模型。此外，本案實施例亦提供一種插管輔助系統，將各個患者的氣道三維模型與對應氣道影像進行建檔，並輸入學習模型中。透過機器學習找出病理資料與氣道三維模型的關聯，以及找出氣道影像與病理資料的關聯，能夠輔助醫護人員的插管操作，並提醒可能罹患的疾病。

100‧‧‧內視鏡裝置110‧‧‧可撓管120‧‧‧握持部130‧‧‧攝影模組140‧‧‧通訊模組150‧‧‧慣性測量模組151‧‧‧慣性測量單元200‧‧‧計算機裝置210‧‧‧處理模組220‧‧‧通訊模組230‧‧‧儲存模組240‧‧‧輸入模組250‧‧‧輸出模組310‧‧‧氣道資料311‧‧‧氣道影像312‧‧‧三維模型320‧‧‧病理資料330‧‧‧第一學習模型340‧‧‧第二學習模型S310‧‧‧步驟S320‧‧‧步驟S330‧‧‧步驟S340‧‧‧步驟S350‧‧‧步驟S360‧‧‧步驟

[圖1]為本案一實施例之氣道模型生成系統與插管輔助系統之架構示意圖。 [圖2]為本案一實施例之氣道模型生成系統之方塊示意圖。 [圖3]為本案一實施例之生成氣道模型之方法流程圖。 [圖4]為本案另一實施例之氣道模型生成系統之方塊示意圖。 [圖5]為本案另一實施例之生成氣道模型之方法流程圖。 [圖6]為本案一實施例之插管輔助系統的運作示意圖。

100‧‧‧內視鏡裝置

110‧‧‧可撓管

120‧‧‧握持部

150‧‧‧慣性測量模組

151‧‧‧慣性測量單元

200‧‧‧計算機裝置

250‧‧‧輸出模組

Claims (8)

1. 一種氣道模型生成系統，包含： 一內視鏡裝置，包含： 一可撓管； 一攝影模組，位於該可撓管的前端，以擷取該可撓管進入一氣道的過程中的多張氣道影像；及 一通訊模組，耦接該攝影模組，以發送該攝影模組擷取到的該些氣道影像；及 一計算機裝置，通訊連接該內視鏡裝置的該通訊模組，以取得該通訊模組發送的該些氣道影像，並根據該些氣道影像，利用即時定位與地圖構建（SLAM）技術建立該氣道的三維模型。
2. 如請求項1所述之氣道模型生成系統，其中該內視鏡裝置更包含一慣性測量模組，該慣性測量模組包含至少一慣性測量單元，以取得至少一慣性訊號，該計算機裝置根據該至少一慣性訊號及該些氣道影像，利用視覺慣性里程計（VIO）技術建立該氣道的三維模型。
3. 如請求項2所述之氣道模型生成系統，其中該至少一慣性測量單元沿著該可撓管的長軸方向上均勻分布。
4. 如請求項2所述之氣道模型生成系統，其中該計算機裝置還對該至少一慣性訊號濾除雜訊。
5. 如請求項1所述之氣道模型生成系統，其中該計算機裝置包含一處理模組，該處理模組係配置以執行下列步驟： 載入該些氣道影像； 透過特徵區域檢測算法擷取該些氣道影像的複數特徵點；及 依據每張該氣道影像的該些特徵點的位置與大小變化，換算該可撓管的移動方向與位移，以SLAM技術重建出該三維模型。
6. 如請求項5所述之氣道模型生成系統，其中該處理模組還對該些氣道影像進行預處理，以去除該些氣道影像中的雜訊區域。
7. 一種插管輔助系統，包含： 一內視鏡裝置，包含： 一可撓管； 一攝影模組，位於該可撓管的前端，以擷取該可撓管進入一目標患者的一目標氣道的過程中的多張目標氣道影像；及 一通訊模組，耦接該攝影模組，以發送該攝影模組擷取到的該些目標氣道影像；及 一計算機裝置，包含： 一輸入模組，接收該目標患者的一目標患者資料； 一儲存模組，儲存一患者資料庫，該患者資料庫包含對應各個患者的一氣道資料及一病理資料，各該氣道資料包含對應該患者一氣道的複數氣道影像及該氣道之一三維模型； 一處理模組，將該些患者之該病理資料及該三維模型輸入至一第一學習模型，該第一學習模型提供一第一邏輯以供評估該些病理資料中的一個或多個特徵值與對應的該氣道的該三維模型的相關性，並且將該目標患者資料輸入至該第一學習模型，以依據該第一邏輯找出該些三維模型中的一相近者，該處理模組還依據該目標氣道影像判斷該可撓管之前端位於該相近的該三維模型中的一位置，以根據該位置產生一導引資訊；及 一輸出模組，輸出該導引資訊。
8. 如請求項7所述之插管輔助系統，其中該處理模組還將該些患者之該些氣道影像輸入至一第二學習模型，該第二學習模型提供一第二邏輯以供評估該些氣道影像中的一個或多個特徵值與對應的該病理資料中的至少一疾病的相關性，並且將該目標患者的該些目標氣道影像輸入至該第二學習模型，以依據該第二邏輯評估發生該至少一疾病的機率。

Images