TWI792761B

TWI792761B - 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法

Info

Publication number: TWI792761B
Application number: TW110146400A
Authority: TW
Inventors: 曾稼志; 吳俞樺; 黃琨義
Original assignee: 國立成功大學
Priority date: 2021-12-10
Filing date: 2021-12-10
Publication date: 2023-02-11
Also published as: TW202324442A

Abstract

本發明公開一種氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法。本發明先建立包含氣管插管過程中標的結構與重要步驟之影像的資料庫，同時依據資料庫中的影像來做機器學習，建構自動辨識上述標的結構的系統。其中，插管影像中的任兩個標的物之間的時間差定義為階段插管時間，依時間序鏈結階段插管時間以建立插管時間序列，以上作為氣管插管成效評量辦法並建立氣管插管分階段的成效評量模式。

Description

氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法

本發明關於一種處理方法與系統，特別關於一種氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法。

氣管插管(Tracheal intubation)為常見高風險、高技術的醫療行為，不僅如此，氣管插管必須在極短時間內完成，數分鐘內無法完成即可能造成重大器官傷害。限於插管工具及技術，目前評估插管困難度僅依操作者主觀判斷與臨床插管結果(所耗時間、次數等)來判定，或依特定影像辨識，造成困難插管評估的差異相當大，無法在研究上進行整合溝通，也無客觀評估方式來衡量此項所有醫師皆須具備技能的臨床教學訓練成果和合格與否。

近年影像輔助插管工具的多元與臨床使用上已普及，但是實際臨床發現，過去使用的評估插管困難度與插管方式並不完全能夠直接複製且應用於影像輔助插管的技術上。現有的作法會利用影像喉頭鏡(Video Laryngoscope)或影像式插管通條(Video Stylet)在插管過程中同步進行攝影，但是這些作法所錄製的影像僅供後續觀看學習，或分析局部結構差異，目前仍沒有針對插管過程影像進行系統化結構與時間序列的分析，進而作為插管困難度分析應用或插管教學訓練的成果評估。

本發明根據高風險性、高技術性氣管插管臨床操作及訓練需求，提供一種氣管插管影像的處理方法與系統，可提供全程影像的即時分割階段插管及整合時間的序列化處理及分析，進而建立一種氣管插管的成效評量方法，可以解決現階段主觀判斷及人工判讀之難以即時輔助操作與訓練回饋的問題。

為達上述目的，依據本發明之一種氣管插管影像的處理方法，包括：建立包括複數個結構標的物的資料庫，其中資料庫儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出該些結構標的物；依據定義的該些結構標的物進行第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；以及確認辨識出之該些目標標的物在第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列。

在一實施例中，是以插管難度量表為零的第一插管過程影像進行分析及建立模式，以定義出該些結構標的物。

在一實施例中，該些結構標的物選自唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線所構成的群組。

在一實施例中，該處理方法更包括：確認該些結構標的物在第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列；其中該些結構標的物在第一插管過程影像中出現的時間點定義出n個時間點，任兩個結構標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第一插管過程影像的該些結構標的物的插管時間序列；及依據該些結構標的物的階段插管時間以及插管時間序列，繪示第一插管過程影像的插管時間序列圖及插管能力時序分析圖。

在一實施例中，該處理方法更包括：依據該些目標標的物的階段插管時間以及插管時間序列，繪示第二插管過程影像的插管時間序列圖及插管能力時序分析圖。

為達上述目的，依據本發明之一種氣管插管影像的處理系統，包括一資料庫以及一電子裝置。資料庫儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出複數個結構標的物。電子裝置與資料庫電性連接，電子裝置包括一或多個處理單元及一記憶單元，該一或多個處理單元與記憶單元電性連接，記憶單元儲存一或多個程式指令，當該一或多個程式指令被該一或多個處理單元執行時，該一或多個處理單元進行：依據定義的該些結構標的物進行一第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；及確認辨識出之該些目標標的物在第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列。

在一實施例中，資料庫位於記憶單元或一雲端裝置中。

在一實施例中，該一或多個處理單元更進行：確認該些結構標的物在第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列；其中該些結構標的物在第一插管過程影像中出現的時間點定義出n個時間點，任兩個結構標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第一插管過程影像的該些結構標的物的插管時間序列；及依據該些結構標的物的階段插管時間以及插管時間序列，繪示第一插管過程影像的插管時間序列圖及插管能力時序分析圖。

在一實施例中，該一或多個處理單元更進行：依據該些目標標的物的階段插管時間以及插管時間序列，繪示第二插管過程影像的插管時間序列圖及插管能力時序分析圖。

為達上述目的，依據本發明之一種氣管插管的成效評量方法，包括上述的處理方法；以及依據該些目標標的物及該些結構標的物的階段插管時間以及插管時間序列，進行第二插管過程影像的氣管插管成效評量。

在一實施例中，該氣管插管成效評量包括：比較第一插管過程影像與第二插管過程影像的階段插管時間、插管時間序列圖及插管能力時序分析圖，以評估第二插管過程影像各階段的插管成效。

承上所述，在本發明的氣管插管影像的處理方法中，包括：建立包括複數個結構標的物的資料庫，其中資料庫儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出該些結構標的物；依據定義的該些結構標的物進行第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；以及確認辨識出之該些目標標的物在第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列等步驟。藉此，本發明根據高風險性、高技術性的氣管插管臨床操作及訓練需求，所提出的氣管插管影像的處理方法與系統，可以提供氣管插管的全程影像的階段插管時間及插管時間序列，進而提供即時分割階段插管及整合時間的序列化處理及分析，從而建立氣管插管的成效評量，可解決現階段主觀判斷及人工判讀之難以即時輔助操作與訓練回饋的問題。

1:氣管插管影像的處理系統

11:資料庫

12:電子裝置

121:處理單元

122:記憶單元

1221:程式指令

A:最後一個唇影像

B:第一個會厭影像

C:第一個喉頭影像

D:最後一個沒有管子的聲門影像

E:最後一條黑線影像

S01,S02,S03,S04,S05,S06,S07:步驟

Z:區域

圖1A為本發明一實施例之一種氣管插管影像的處理系統的功能方塊示意圖。

圖1B為本發明一實施例之一種氣管插管影像的處理方法的流程步驟示意圖。

圖2為本發明之氣管插管影像的處理方法的另一流程步驟示意圖。

圖3A及圖3B圖分別為本發明一實施例之第一插管過程影像的插管時間序列圖及插管能力時序分析圖。

圖4A及圖4B圖分別為本發明一實施例之第二插管過程影像的插管時間序列圖及插管能力時序分析圖。

圖5為本發明一實施例之氣管插管的成效評量方法的流程步驟示意圖。

以下將參照相關圖式，說明依本發明實施例之氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法，其中相同的元件將以相同的參照符號加以說明。

本文中所收錄氣管插管分析案例皆依人體試驗委員會通過原則進行收案(IRB NCKUH B-ER-107-088)。另外，本文中出現的處理系統也可稱為分析系統，處理方法也可稱為分析方法。此外，本文中出現的第一插管過程影像、第二插管過程影像只是為了區別，其皆為氣管插管過程中所錄製的全程影像。

圖1A為本發明一實施例之一種氣管插管影像的處理系統的功能方塊示意圖，而圖1B為本發明一實施例之一種氣管插管影像的處理方法的流程步驟示意圖。

請參照圖1A及圖1B所示，本實施例的氣管插管影像的處理系統1包括一資料庫11以及一電子裝置12。

資料庫11可儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像中可定義出複數個結構標的物。具體來說，為了進行分析、處理，以建立氣管插管成效的評量模式與標準，需先建立包括複數個結構標的物的資料庫11，而這些結構標的物是由至少一個第一插管過程影像中所定義出者；較佳者，這些結構標的物是由複數個第一插管過程影像中所定義出者。

在本實施例中，病患預計接受氣管插管全身麻醉之手術且在簽署完成同意書後，插管過程所錄製的全程影像會收入資料庫11，而分析所用的資訊是由資料庫11中挑選，並為麻醉科主治醫師插管成功的案例，所有患者皆以航道葉片(Trachway Blade)進行插管，但不限於Trachway Blade，同時以葉片前端預置之攝影鏡頭全程錄製整個插管過程，並在插管後執行插管難度量表(Intubation Difficulty Scale,IDS)分析以及插管時間的評估，藉以建立成功插管基本結構或特色的影像辨識，同時整合分析流程間隔之變異並予以自動化。

本實施例是以資料庫11中，是以插管難度量表為零(即容易插管案例)的第一插管過程影像進行分析及建立模式，以定義出該些結構標的物，該些結構標的物例如但不限於選自唇(Lip)、會厭(Epiglottis)、咽喉(Laryngopharynx)、聲門(Glottis)、氣管內管(Endotracheal Tube)、氣管內管黑色標線(Endotracheal Tube marked black line，內管共有例如兩條環狀黑線)所構成的任意群組，但不限於此。在本實施例中，這些結構標的物共6個，即包括唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線等所構成的群組，然並不以此為限，在不同實施例中，氣管插管影像所定義出的結構標的物可以不同，數量也可以大於或小於6個，使用者可依成效評估需求，由插管過程影像中定義出數量及結構不同於上述的結構標的物。

在一些實施例中，可以從儲存第一插管過程影像的資料庫11中挑選出例如33個插管過程的全程影像案例，透過多位資深專科醫師篩選，以將插管過程依時間序列解構成不同階段，並在影像中標註、確認所定義的各結構標的物，總計例如篩選出包含唇：27張，會厭：173張，咽喉：366張，聲門：377張，氣管內管：24張、氣管內管黑色標線：345張等，共例如6種依時間序出現的結構標的物的影像，這些結構標的物影像可用來訓練基於YOLOv3(Real-Time Object Detection)的標的物辨識模型，以供後續針對其他插管影像的標的物辨識之用。在一些實施例中，可先將第一插管過程影像的檔案切割為30fps的單張圖檔，再進行影像標的物的辨識(Object Detection)，其中，任意兩個標的物可組合成一個階段插管時間，因此可將插管影像剪裁成插管時間序列，藉此解析氣管插管流程中，各結構標的物的時序。

換句話說，是先建立包含氣管插管處理過程中，標的結構與重要步驟之影像的資料庫11，同時依據資料庫11中儲存的影像讓人工智慧(Artificial Intelligence,AI)進行學習，建構出可以自動辨識上述相關結構的AI辨識系統。在此，是將整個插管過程的影像，依時間辨識出的結構標的物分階段解構，藉此辨識出各結構標的物在影像序列中出現的對應時間點及操作意涵，進而得到階段插管時間以及這些階段插管時間經裁剪縫合後的插管時間序列。舉例來說，假設插管過程影像可定義出依時間序列進行的n個結構標的物(n

2)，這n個結構標的物分別依序對應影像中的n個不同時間點，則相鄰或不相鄰的任兩個結構標的物的時間(點)差可定義為一個階段插管時間。

以n=6為例，由於任兩個結構標的物可定義出一個階段插管時間，故整個插管過程依時間順序最少可解構出5個(6-1=5)階段插管時間所對應的5個插管階段，最多可解構出15個(6*5/2=15)階段插管時間所對應的15個插管階段，各插管階段有其時間及操作上的意義，再依時間序裁剪縫合階段插管時間，可得到整個插管過程的插管時間序列。其中，當n=6時，依時間出現順序的結構標的物：即第一結構標的物至第六結構標的物最少可解構出5個階段插管時間(例如t1~t5)所對應的5個插管階段。在此，階段插管時間t1對應於第一結構標的物與第二結構標的物之間，階段插管時間t2對應於第二結構標的物與第三結構標的物之間，階段插管時間t3對應於第三結構標的物與第四結構標的物之間，階段插管時間t4對應於第四結構標的物與第五結構標的物之間，階段插管時間t5對應於第五結構標的物與第六結構標的物之間，共計5個插管階段，將這五個階段插管時間(t1、t2、t3、t4、t5)依序裁剪縫合可得到這6個結構標的物的插管時間序列。如果將例如3個階段插管時間：(t1+t2)、t3、(t4+t5)依序裁剪縫合，也可得到這6個結構標的物的插管時間序列，只是其分別對應至第一結構標的物與第三結構標的物之間、第三結構標的物與第四結構標的物之間、第四結構標的物與第六結構標的物之間。在不同的實施例中，如果n=8，則整個插管過程最少可解構出7個(8-1=7)階段插管時間所對應的7個插管階段，最多可解構出28個(8*7/2=28)階段插管時間所對應的28個插管階段，再依時間順序裁剪縫合某些階段插管時間，可得到整個插管過程的插管時間序列，以此類推。

在本實施例中，是使用影像標註工具：LabelImg標記軟體為標的物的標註工具，根據標的物的結構及特性等召開專家會議，選取結構標的物、賦予各結構標的物定義原則、測試驗證以及修正，進而定義出上述的6個結構標的物，再利用這6個結構標的物來訓練人工智慧，經重覆驗證及修正後，使後續其他插管影像的標的物可以自動被AI系統辨識出，且準確率幾乎可以達到完美，進而達到對氣管插管影像的自動化成效評量。

為了讓AI辨識的準確率可以達到完美，必須對AI進行重覆驗證及修正步驟，以驗證標的物的辨識準確度。在此，除了利用上述定義出該些結構標的物的多個第一插管過程影像讓AI系統進行測試(驗證)外，更使用其他的插管過程影像(IDS=0或IDS≠0皆可)進行測試(驗證)，且持續地訓練並修正AI辨識能力，進而使AI系統對標的物的辨識準確率可以達到完美。

另外，值得說明的是，在氣管插管的過程中，各解剖結構的插管影像在時間上的意義如下。唇：插管流程起始點，唇消失表示攝影鏡頭已經進入口腔；會厭：攝影鏡頭進入口腔經過舌頭，已正確到達舌根部，對初學者來說，代表能將葉片滑入舌根，基本動作正確，未偏離中線太多；葉片在正中央會影響會厭移動範圍；聲門：從看見會厭以後，調整葉片位置及力道以及角度得到最佳聲門開啟視野；喉頭(Larynx)上視角：喉頭上視角能否快速見到聲門為困難插管在麻醉醫師心中的指標，但過去的插管影像無法特別標記這個時間；杓狀連合(Arytenoid commissure,AC)：插管過程中最早展露的咽喉結構，其形狀和食道開口不同，為分辨食道和氣管開口重要解剖結構；氣管內管前端：視野中出現氣管內管，代表已經可以把氣管內管由開口送到咽喉；氣管內管中段：氣管內管對準咽喉，確認可以順利控制氣管內管到達喉頭；氣管內管黑色標線：黑色標線如果消失，代表插管已到定位、完成插管程序。

請再參照圖1A所示，電子裝置12與資料庫11電性連接。電子裝置12可為電腦、伺服器(server)、手機或平板，並不限制。在一些實施例中，電子裝置12與資料庫11的電性連接可為無線或有線方式連接，無線方式連接例如透過Wi-Fi模組、藍牙模組或行動網路(3G、4G或5G)連接，藉此接收、儲存及處理資料庫11中所儲存的資料。其中，電子裝置12可包括一或多個處理單元121及一記憶單元122，一或多個處理單元121與記憶單元122電性連接。圖1A是以一個處理單元121與一個記憶單元122為例，而前述的資料庫11可位於記憶單元122或一雲端裝置中；或者，資料庫11也位於獨立的電腦可讀取儲存媒體(例如但不限於固態硬碟、USB、或任何型式的記憶體)或記憶晶片中。當資料庫11位於雲端裝置時，電子裝置12在進行處理、分析之前，需先由雲端裝置中下載資料庫11儲存的資料至記憶單元122，再由處理單元121進行處理、分析。若資料庫11位於記憶單元122中，則不需要進行下載步驟。當資料庫11位於獨立的電腦可讀取儲存媒體時，只要插入電子裝置即可由處理單元121讀取其儲存的內容。

處理單元121可存取記憶單元122所儲存的資料，並可包含電子裝置12的核心控制組件，例如可包含至少一中央處理器(CPU)及一記憶體，或包含其它控制硬體、軟體或韌體。另外，記憶單元122可為一非暫態電腦可讀取儲存媒體(non-transitory computer readable storage medium)，例如可包含至少一記憶體、一記憶卡、一記憶晶片、一光碟片、一錄影帶、一電腦磁帶，或其任意組合。在一些實施例中，前述的記憶體可包含唯讀記憶體(ROM)、快閃(Flash)記憶體、可程式化邏輯閘陣列(Field-Programmable Gate Array,FPGA)、或固態硬碟(SolidState Disk,SSD)、或其他形式的記憶體，或其組合。

記憶單元122可儲存至少一應用軟體，該應用軟體可包含一或多個程式指令1221，當建立上述的資料庫11之後，且當記憶單元122儲存的應用軟體的該一或多個程式指令1221被該一或多個處理單元121執行時，該一或多個處理單元121可至少進行：依據定義的該些結構標的物進行一第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物(圖1B的步驟S02)；以及確認辨識出之該些目標標的物在第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點可定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間(第二插管過程影像共可得到等於或大於(n-1)個階段插管時間)，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列(圖1B的步驟S03)。

另外，該一或多個處理單元121更可進行：依據該些目標標的物的階段插管時間以及插管時間序列，繪示第二插管過程影像的插管時間序列圖及插管能力時序分析圖(圖2的步驟S04)。此外，該一或多個處理單元121更可進行：確認該些結構標的物在第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列，其中該些結構標的物在第一插管過程影像中出現的時間點可定義出n個時間點，任兩個結構標的物之間的時間差定義為階段插管時間(第一插管過程影像共可得到等於或大於(n-1)個階段插管時間)，且依時間裁剪縫合複數個階段插管時間，以建立出第一插管過程影像的該些結構標的物的插管時間序列(圖2的步驟S05)；以及依據該些結構標的物的階段插管時間以及插管時間序列，繪示第一插管過程影像的插管時間序列圖及插管能力時序分析圖(圖2的步驟S06)。

以下會詳細說明上述的步驟S02至步驟S06。

如圖1B所示，本發明之氣管插管影像的處理方法可包括步驟S01至步驟S03。

步驟S01為：建立包括複數個結構標的物的資料庫11，其中資料庫11儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出該些結構標的物。如前所述，先確認且定義出至少一個第一插管過程影像(較佳為複數個)的結構標的物，以此建立後續辨識基準。在本實施例中，是以插管難度量表為零的複數個第一插管過程影像進行分析及建立模式，以定義出該些結構標的物。另外，本實施例的該些結構標的物依時間序出現例如但不限於包括上述的唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線等共6個標的結構(不限於6個)，且這6個結構標的物與第一插管過程影像、各階段插管時間及插管時間序列皆可儲存在資料庫11中。

步驟S02為：依據定義的該些結構標的物進行一第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物。其中，第二插管過程影像和辨識出的該些目標標的物也可儲存在資料庫11中。具體來說，為了評估後續的插管影像(即第二插管過程影像)的插管成效，需先對第二插管過程影像進行插管過程的標的物辨識，而且第二插管過程影像所辨識出的該些目標標的物與第一插管過程影像的該些結構標的物必須相同，如此，才能以相同的基準進行插管過程的各階段成效評估。在此，每一階段都可代表不同操作定義及意涵，可以獨立進行評估或改善。在一些實施例中，可利用上述訓練完成的AI系統對後續的插管過程影像進行標的物辨識，進而得到與結構標的物相同結構的多個目標標的物(同樣是6個或更多，但比較時需以相同數量的標的物和相同階段進行比較)。在本實施例中，第二插管過程影像例如是其他醫生(例如但不限於PGY實習醫師)在麻醉部門學習氣管插管實作所得到的氣管插管過程影像。

步驟S03為：確認辨識出之該些目標標的物在第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列。由於第二插管過程影像也是插管過程的時間序列影像，因此，可得到各目標標的物(例如唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線等，但不限於此)依序出現在第二插管過程影像中的時間點，如上所述，進而可得到該些目標標的物的階段插管時間，以及依這些階段插管時間剪裁縫合成的插管時間序列，以供後續評估之用。

在本實施例中，該些目標標的物在第二插管過程影像中依序出現的時間點可定義出例如6個時間點，任意兩個目標標的物之間的時間差可定義為一個階段插管時間，則第二插管過程影像最少可以得到5個階段插管時間(對應5個階段)，最多可得到15個階段插管時間(對應15個階段)，並且可以依目標標的物出現的時間順序剪裁、組合這些階段插管時間(及插管階段)以建立出第二插管過程影像的插管時間序列。換言之，假設唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線等6(n=6)個目標標的物在影像中依序出現的時間點為t1、t2、…、t6，則(t2-t1)為唇到會厭階段的階段插管時間，(t3-t2)為會厭到咽喉階段的階段插管時間，…，(t6-t5)為氣管內管到氣管內管黑色標線階段的階段插管時間；另外，(t3-t1)為咽喉到唇階段的階段插管時間，(t5-t2)為會厭到氣管內管階段的階段插管時間，(t6-t1)為唇到氣管內管黑色標線階段的階段插管時間，以此類推，共可得到等於或大於5個階段的階段插管時間(本實施例最多為15個)。

舉例來說，如果第一個出現的會厭影像(Epiglottis 1st image)與第一個出現的聲門影像(Glottis 1st image)相差7秒，表示會厭到聲門的階段所花費的時間為7秒(即階段插管時間為7秒)，以此類推。值得注意的是，兩個目標標的物(或兩個結構標的物)之間的時間差不限於時間序列上相鄰的兩個目標標的物(或兩個結構標的物)，也可對不相鄰的兩個目標標的物(或兩個結構標的物)進行階段插管時間的計算，以產生對應於該插管階段的階段插管時間，進而進行該插管階段的成效評估，例如可以單獨或同時計算(不相鄰的)聲門(時間點為t4)出現到氣管內管黑色標線消失(時間點為t6)的時間差(t6-t4)，而得到該插管階段的階段插管時間(t6-t4)，之後再對該插管階段進行成效評估，其他的插管階段也可以相同的作法進行。

請參照圖2所示，其為本發明之氣管插管影像的處理方法的另一流程步驟示意圖。在圖2中，除了上述的步驟S01至步驟S03外，該處理方法更可包括步驟S04至步驟S06。在此，步驟S04與步驟S05(及步驟S06)的時間順序不限，可進行步驟S04之後再進行步驟S05(及步驟S06)；或進行步驟S05(及步驟S06)之後再進行步驟S04；又或者，步驟S04和步驟S05(及步驟S06)同時進行。

以下先說明步驟S05和步驟S06後，再說明步驟S04。其中，步驟S05為：確認該些結構標的物在第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列；其中該些結構標的物在第一插管過程影像中出現的時間點定義出n個時間點，任兩個結構標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第一插管過程影像的該些結構標的物的插管時間序列。同樣地，由於第一插管過程影像也是插管過程的時間序列影像，因此，同上述步驟S03的第二插管過程影像的該些目標標的物的階段插管時間及插管時間序列的得到過程，可利用同樣的方法得到各結構標的物出現在第一插管過程影像中對應的例如6個時間點、以及等於或大於例如5個階段插管時間(最多例如為15個)，進而依時間剪裁縫合這些階段插管時間，以建立出第一插管過程影像的該些結構標的物的插管時間序列。

而步驟S06為：依據該些結構標的物的階段插管時間以及插管時間序列，繪示第一插管過程影像的插管時間序列圖及插管能力時序分析圖。在本實施例中，可依據上述資料庫11中，IDS等於0的(第一)插管影像檔案，由三位資深麻醉科主治醫師共同標註出上述6個結構標的物及其出現的對應時間序列點，建立複數個階段插管及標準氣道插管全程序的插管時間序列，作為後續的成效比對。其結果請參考圖3A所示的第一插管過程影像的插管時間序列圖，及圖3B所示的第一插管過程影像的插管能力時序分析圖。

此外，步驟S04為：依據該些目標標的物的階段插管時間以及插管時間序列，繪示第二插管過程影像的插管時間序列圖及插管能力時序分析圖。同樣地，根據例如PGY實習醫師進行的氣管插管所得到的第二插管過程影像中辨識出的6個目標標的物及其對應的插管時間序列(步驟S03)，可繪示出如圖4A所示的第二(新手)插管過程影像的階段插管時間及插管時間序列圖，以及圖4B所示的第二(新手)插管過程影像的插管能力時序分析圖。

在圖3A和圖4A中，橫座標為時間(秒)，A為最後一個唇影像(Lip last image)，B為第一個會厭影像(Epiglottis 1st image)，C為第一個喉頭影像(1st larynx image)，D為最後一個沒有管子的聲門(Last free glottis)影像，E為最後一條黑線(Last blackline)影像，由圖3A和圖4A中可以得到不同的氣管插管影像的各階段所花費的時間。值得注意的是，不一定全部的標的物(及其對應時間點)皆需出現在插管時間序列圖中，可視使用者評估作法的不同而使某一個或某些個標的物不出現該圖中。

在圖3A和圖4A的實施例中，6個標的物但只繪示出5個時間點及4個插管階段(4個階段插管時間為：A到B、B到C、C到D、D到E階段)，每一階段都可代表不同操作定義及意涵，可以獨立進行評估或改善，例如只對某一個插管階段、或對所有插管階段皆分別進行成效評估；當然，在不同的實施例中，6(n)個標的物的相鄰兩個標的物也可分別計算，以得到5個插管階段(5個階段插管時間)；或者，可依據使用者的需求進行調整，以產生大於5個的階段插管時間，再評估某一目標標的物與另一目標標的物之間的階段插管時間(例如上述的A到B、B到C、C到D、D到E等插管階段，或是整合B到D的插管階段、A到D的插管階段，…)及其成效，或對所有的階段插管皆分別解構其操作意義且各階段單獨進行成效評估，甚至只對某一個插管階段進行成效評估，本發明都不限制。

本發明還提出一種氣管插管的成效評量方法，可應用於上述的氣管插管影像的處理系統1和方法。氣管插管影像的處理系統1及方法已於上述中詳述，在此不再多作說明。本發明的氣管插管的成效評量方法可用以對氣管插管進行自動化評量，並可包括上述的氣管插管的處理方法(或步驟)以及一成效評量步驟。

如圖5所示，氣管插管的處理步驟(或方法)包括步驟S01至步驟S06，步驟S01至步驟S06已於上述中詳細說明，在此不再多作說明。另外，該成效評量步驟為：依據該些目標標的物及該些結構標的物的插管時間序列，進行第二插管過程影像的氣管插管成效評量。在此，第二插管過程影像的氣管插管成效評量包括圖5中的步驟S07：比較第一插管過程影像與第二插管過程影像的階段插管時間、插管時間序列圖及插管能力時序分析圖，以評估第二插管過程影像各階段的插管成效。在此，第一插管過程影像的階段插管時間、插管時間序列圖及插管能力時序分析圖仍以上述的圖3A和圖3B為例，而第二插管過程影像的階段插管時間、插管時間序列圖及插管能力時序分析圖仍以上述的圖4A和圖4B為例。

請再參照圖3A的第一插管過程影像的階段插管時間及插管時間序列圖，其中，A到B的階段代表插管的航道葉片能正確進入口腔到達舌根以下的過程及時間(階段插管時間約3秒)，B到C的階段為能挑動會厭且露出喉頭結構的過程及時間(階段插管時間約2.5秒)，C到D的階段為能調整葉片及適當施力露出最佳聲門結構，以及導引氣管內管至喉頭的過程及時間(階段插管時間約4秒)，D到E的階段為能將氣管內管由喉頭滑入氣管到定位的過程及時間(階段插管時間約4.5秒)，故A到E階段的氣管插管全部時間(階段插管時間差)約14秒。另外，由圖3B的第一插管過程影像的階段插管時間及插管能力時序分析圖中可以看出，資深麻醉科主治醫師的氣管插管能力皆落在75%~100%之間(即落在圖3B顯示的灰色區域內)，表示插管技術相當不錯。

在圖4A的第二(新手)插管過程影像的階段插管時間及插管時間序列圖中，A~E所代表的意義如上所述。在圖4A中，A到B的階段插管時間約6秒，B到C的階段插管時間約19秒，C到D的階段插管時間約30秒，D到E的階段插管時間約32秒，故A到E階段的氣管插管全部時間約87秒。圖4A與圖3A相比，明顯地可以看出，該PGY實習醫師的插管過程所花費的時間相當長，特別是C到D的階段、D到E的階段所花的時間很久，表示C到E階段的氣管插管的技術能力相當不足。

另外，在圖4B的第二(新手)插管過程影像的插管能力時序分析圖中，不同時間的插管影像可繪示出不同組的線條，一組線條構成一個四邊形，每一組線條代表一次的插管過程。由圖4B中也可看出，這些四邊形線條大都落在區域Z(圖4B的灰色區域，為插管能力低於預期的區域，例如氣管插管能力低於75%)，表示該PGY實習醫師初期的插管技術實力不足，有待加強。另外，相對於圖3B來說，圖4B中的會厭(Epiglottis)1st~聲門(Glottis)1st的階段能力也不足，該PGY實習醫師的插管過程中出現斷斷續續的情況(如圖4A的C到D、D到E階段)，顯見C到E的階段技術不夠純熟，此外，該PGY實習醫師也有零星在其他時序點能力不足的情況。藉由上述的分析、比較，除了可對該PGY實習醫師的氣管插管技術能力進行評估外，還可指出其能力不足階段以及後續需要加強訓練之處，藉此達到氣管插管成效的自動化評量目的。

承上，由上述揭示內容可知，本發明的氣管插管影像的處理方法以及包括該處理方法的氣管插管的成效評量方法，可將辨識出的標的物出現的時間點及其相互間的時間間隔，對應於氣道插管過程中各階段所耗費的操作時間，做為氣道插管的成效評量指標，亦可以做為探索階段危險因子之標的。透過與標準化的氣道插管時序做對照，將可用來了解新手醫師的學習成效，提供各階段更細部的學習回饋。此外，本發明也可用於分析不同工具、不同層級人員及不同困難插管分數之執行插管時的鑑別度或學習曲線。

本發明的特色在於：以往對氣管插管的影像分析主要著重在喉部(Cormack Grade)，未能辨別其他部分的影響，最重要的是，本發明經過多個解剖結構特色標定(標的物)，發展出時間序列的氣管插管的處理系統及方法，可以解構每次嘗試只有整體成功或失敗的傳統概念，將插管過程依標的物及時間解構成不同階段，並透過自動辨識標的物以分割出不同階段及其對應花費時間，進而建立氣管插管分階段的建構式成效評量模式。

本發明可根據高風險性、高技術性氣管插管臨床操作及訓練需求，發展人工智慧氣管插管影像的處理，提供全程影像即時時間序列化分析及客觀量化評估。另外，本發明還基於上述的處理(分析)方法，建立一個創新的氣管插管成效自動化評量系統，解決現階段主觀判斷及人工判讀之難以即時輔助操作與訓練回饋的問題。此外，本系統與方法將可對未來氣管插管個人學習過程技術之評估及發展，新插管工具或技術之開發及驗證，以及模擬訓練之教案評分。

綜上所述，在本發明的氣管插管影像的處理方法中，包括：建立包括複數個結構標的物的資料庫，其中資料庫儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出該些結構標的物；依據定義的該些結構標的物進行第二插管過程影像的標的物辨識，以得到第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；以及確認辨識出之該些標的物在第二插管影像中出現的時間點，以得到該些標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在第二插管過程影像中出現的時間點定義出n個時間點，任兩個目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出第二插管過程影像的該些目標標的物的插管時間序列等步驟。藉此，本發明根據高風險性、高技術性的氣管插管臨床操作及訓練需求，所提出的氣管插管影像的處理方法與系統，可以提供氣管插管的全程影像的階段插管時間及插管時間序列，進而提供即時分割階段插管及整合時間的序列化處理及分析，從而建立氣管插管的成效評量，可解決現階段主觀判斷及人工判讀之難以即時輔助操作與訓練回饋的問題。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S01,S02,S03:步驟

Claims

一種氣管插管影像的處理方法，其與一電子裝置配合應用，該處理方法包括：建立包括複數個結構標的物的一資料庫，其中該資料庫儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出該些結構標的物；由該電子裝置依據定義的該些結構標的物進行一第二插管過程影像的標的物辨識，以得到該第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；以及由該電子裝置確認辨識出之該些目標標的物在該第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在該第二插管過程影像中出現的時間點定義出n個時間點，任兩個該目標標的物之間的時間差定義為階段插管時間，且由該電子裝置依時間裁剪縫合複數個階段插管時間，以建立出該第二插管過程影像的該些目標標的物的插管時間序列。
如請求項1所述的處理方法，其中，是由資深專科醫師以插管難度量表為零的該第一插管過程影像進行分析及建立模式，以定義出該些結構標的物。
如請求項1所述的處理方法，其中該些結構標的物選自唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線所構成的群組。
如請求項1所述的處理方法，更包括：由該電子裝置確認該些結構標的物在該第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列；其中該些結構標的物在該第一插管過程影像中出現的時間點定義出n個時間點，任兩個該結構標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出該第一插管過程影像的該些結構標的物的插管時間序列；及由該電子裝置依據該些結構標的物的階段插管時間以及插管時間序列，繪示該第一插管過程影像的插管時間序列圖及插管能力時序分析圖。
如請求項4所述的處理方法，更包括：由該電子裝置依據該些目標標的物的階段插管時間以及插管時間序列，繪示該第二插管過程影像的插管時間序列圖及插管能力時序分析圖。
一種氣管插管影像的處理系統，包括：一資料庫，儲存至少一個第一插管過程影像，且由該至少一第一插管過程影像定義出複數個結構標的物；以及一電子裝置，與該資料庫電性連接，該電子裝置包括一或多個處理單元及一記憶單元，該一或多個處理單元與該記憶單元電性連接，該記憶單元儲存一或多個程式指令，當該一或多個程式指令被該一或多個處理單元執行時，該一或多個處理單元進行：依據定義的該些結構標的物進行一第二插管過程影像的標的物辨識，以得到該第二插管過程影像中，與該些結構標的物相同的複數個目標標的物；及確認辨識出之該些目標標的物在該第二插管過程影像中出現的時間點，以得到該些目標標的物的階段插管時間以及插管時間序列；其中，該些目標標的物在該第二插管過程影像中出現的時間點定義出n個時間點，任兩個該目標標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出該第二插管過程影像的該些目標標的物的插管時間序列。
如請求項6所述的處理系統，其中該資料庫位於該記憶單元或一雲端裝置中。
如請求項6所述的處理系統，其中，是以插管難度量表為零的該第一插管過程影像進行分析及建立模式，以定義出該些結構標的物。
如請求項6所述的處理系統，其中該些結構標的物選自唇、會厭、咽喉、聲門、氣管內管和氣管內管黑色標線所構成的群組。
如請求項6所述的處理系統，其中該一或多個處理單元更進行：確認該些結構標的物在該第一插管過程影像中出現的時間點，以得到該些結構標的物的階段插管時間以及插管時間序列；其中該些結構標的物在該第一插管過程影像中出現的時間點定義出n個時間點，任兩個該結構標的物之間的時間差定義為階段插管時間，且依時間裁剪縫合複數個階段插管時間，以建立出該第一插管過程影像的該些結構標的物的插管時間序列；及依據該些結構標的物的階段插管時間以及插管時間序列，繪示該第一插管過程影像的插管時間序列圖及插管能力時序分析圖。
如請求項6所述的處理系統，其中該一或多個處理單元更進行：依據該些目標標的物的階段插管時間以及插管時間序列，繪示該第二插管過程影像的插管時間序列圖及插管能力時序分析圖。
一種氣管插管的成效評量方法，包括：如請求項5所述的處理方法；以及由該電子裝置依據該些目標標的物及該些結構標的物的階段插管時間以及插管時間序列，進行該第二插管過程影像的氣管插管成效評量；其中，該第二插管過程影像的氣管插管成效評量包括：由該電子裝置比較該第一插管過程影像與該第二插管過程影像的階段插管時間、插管時間序列圖及插管能力時序分析圖，以評估該第二插管過程影像各階段的插管成效。