TWI766463B

TWI766463B - 清醒開顱手術輔助系統

Info

Publication number: TWI766463B
Application number: TW109142557A
Authority: TW
Inventors: 趙一平; 張韡瀚; 陳品元
Original assignee: 長庚大學
Priority date: 2020-12-03
Filing date: 2020-12-03
Publication date: 2022-06-01
Also published as: TW202223907A

Abstract

一種用於輔助清醒開顱手術的處理系統，其包含電腦裝置、攝影裝置、收音裝置和顯示裝置。該電腦裝置可指示該顯示裝置顯示欲令病患回答的任務題目，並藉由分析該收音裝置所傳送之語音信號而判定病患回答該任務題目的時間及正確性，且將有關病患回答任務題目之時間及正確性的資訊顯示在其顯示器上。此外，該電腦裝置亦可藉由分析來自該攝影裝置的影像資料而在顯示器上提供與病患顏面狀態有關的資訊。

Description

清醒開顱手術輔助系統

本發明係有關處理系統，更特別係有關用於輔助清醒開顱手術的處理系統。

為了避免傷害腦部中之掌管語言或運動等重要功能的區域，可採用清醒開顱手術方式來進行例如腦部腫瘤切除之開腦手術。在清醒開顱手術過程當中，接受手術的病患會被喚醒，並依照醫師指示觀看影像、與醫師對話、或者進行指定的問題回答、計數或手腳運動等認知任務，與此同時，醫師會以電極探針刺激病患的各個腦部部位，觀察並手動紀錄病患的反應、活動和生理狀況，來探測該等部位是否為重要功能區，例如，若病患遭受電擊刺激後產生語言延遲情況，可判定受電擊位置為語言區，若是發生臉部抽搐情況，則可判定受電擊位置為運動區。此外，若隨著手術進行，病患回答問題的反應速度或者正確率有發生變化，亦可判定手術作業處為涉及語言或認知功能的區域。

由於手術過程漫長，且任務題目繁多，憑藉習知技術，醫師難以詳細紀錄每項任務的結果，也無法準確測量病患的反應時間；此外，在病患臉部發生的微小抽搐也容易受到忽略。因此，醫師可能無法即時察覺所有徵兆，此為現有清醒開顱手術方法有需改善之處。

本揭示內容旨在提供可在清醒開顱手術當中輔佐醫師做出更為精準、快速之判斷的處理系統。

於本發明的一些實施態樣中，該處理系統包含一電腦裝置、與該電腦裝置連接的一收音裝置、以及與該電腦裝置連接的一顯示裝置。該電腦裝置具有一顯示器。該收音裝置被組配為可接收聲音，並將所接收到的聲音轉換成語音信號傳送給該電腦裝置。該顯示裝置被組配為可因應來自該電腦裝置的指令而顯示指示一任務題目的影像。該電腦裝置被組配為可進行下列作業：每隔一段具有預定長度的時間，計算在剛過去的具有該預定長度的一時間區段內所接收到的來自該收音裝置的該等語音信號之聲音振幅強度之平均值；在該顯示裝置顯示出該任務題目之後，當針對一第一時間區段對所計算出的聲音振幅強度之平均值小於一臨界值，且針對緊接在該第一時間區段之後的第一複數個時間區段所計算出的聲音振幅強度之平均值皆大於該臨界值時，將該等第一複數個時間區段中之最早時間區段的起始時間紀錄為一開始說話時間；在判定出該開始說話時間之後，當針對第二複數個時間區段所計算出的聲音振幅強度之平均值皆小於該臨界值時，將該等第二複數個時間區段中之最早時間區段的起始時間紀錄為一結束說話時間；以及在該顯示器上顯示與該開始說話時間和該結束說話時間其中至少一者有關的資訊。

於本發明的一些實施態樣中，該電腦裝置進一步被組配為可進行下列作業：提取在該開始說話時間及該結束說話時間之間所接收到的該等語音信號；根據該等語音信號獲取一回答矩陣，該回答矩陣為一梅爾倒頻譜係數(MFCC)矩陣；將該回答矩陣與儲存在一資料庫中的複數個解答矩陣作比對，以判定在該開始說話時間及該結束說話時間之間的該等語音信號所對應的語音內容，該等解答矩陣各係一MFCC矩陣；判定該語音內容是否與該任務題目的一預設答案相符；以及在該顯示器上顯示和該語音內容是否與該任務題目之預設答案相符有關的資訊。

於本發明的一些實施態樣中，該電腦裝置進一步被組配為可進行下列作業：指示該顯示裝置顯示複數個任務題目；針對該等複數個任務題目中之各者，在該顯示裝置顯示該任務題目後，判定出對應於該任務題目的開始說話時間、結束說話時間以及語音內容，並判定對應於該任務題目的該語音內容是否與該任務題目之預設答案相符；計算針對該等複數個任務題目所判定出的語音內容與該等任務題目之預設答案相符的比例；以及在該顯示器上顯示與該比例有關的資訊。

於本發明的一些實施態樣中，該處理系統進一步包含與該電腦裝置連接的一攝影裝置，該攝影裝置被組配為可拍攝多幀臉部影像，並將該等臉部影像的影像資料傳送給該電腦裝置。此外，該電腦裝置進一步被組配為可針對該等臉部影像中之每一臉部影像，進行下列作業：處理對應於該臉部影像的影像資料，以獲取對應於該臉部影像的複數個特徵點之位置，該等複數個特徵點包含對應於該臉部影像中之左臉部份中的第一特徵點、位在該臉部影像之右臉部份中且對應於該第一特徵點的第二特徵點、位在該臉部影像之左臉部份中的第三特徵點、及位在該臉部影像之右臉部份中且對應於該第三特徵點的第四特徵點；以及計算通過該等第一和第二特徵點的第一直線與通過該等第三和第四特徵點的第二直線之夾角。該電腦裝置更進一步被組配為可在該顯示器上顯示和該第一直線與該第二直線之該夾角有關的資訊。

於本發明的一些實施態樣中，該等複數個特徵點包含界定出複數個偵測軸的複數個對稱特徵點組，各對稱特徵點組包含分別位在該臉部影像之左臉和右臉部份且相互對應的兩個特徵點，且各對稱特徵點組界定通過所包含的該等兩個特徵點的一偵測軸。此外，該電腦裝置進一步被組配為可進行下列作業：計算該等偵測軸中之各者與該第一直線的夾角；以及當該等偵測軸中之過半數偵測軸與該第一直線的夾角均超過該等過半數偵測軸的預設夾角基準值時，在該顯示器上顯示警示資訊。

於本發明的一些實施態樣中，該攝影裝置為Kinect感應器。

100:處理系統

110:電腦裝置

111:顯示器

112:處理設備

113:輸入設備

120:攝影裝置

130:收音裝置

140:顯示裝置

X、Y、L:直線

本發明之其他特徵及功效將於後文針對較佳實施例之詳細說明中清楚呈現，該等說明至少有一部分係配合圖式而講述，其中：圖1是一個方塊圖，其依據本發明的一些實施例而例示出一種用於輔助清醒開顱手術的處理系統，並且圖2是一個示意圖，其依據本發明的一個實施例而例示出臉部特徵點分布。

圖1依據本發明的一些實施例而例示出一種處理系統100，可在進行清醒開顱手術時將此處理系統100架設在手術室內，以佐助該手術。如圖1所示，處理系統100包含電腦裝置110、攝影裝置120、收音裝置130以及顯示裝置140，其中，攝影裝置120、收音裝置130及顯示裝置140均連接至電腦裝置110以與電腦裝置110通訊。

依據本發明的一些實施例，攝影裝置120為可將光學影像轉換成電子訊號的攝影機，例如，在本發明的一個實施例中，攝影裝置120係藉由Kinect感應器來實施，但本發明並不如此受限。依據本發明的一些實施例，攝影裝置120係要在進行清醒開顱手術時被設置在可清楚拍攝接受手術的病患臉部的位置，以拍攝病患之臉部影像，並將所攝得的影像資料以電子訊號傳送給電腦裝置110進行分析。

依據本發明的一些實施例，收音裝置130為可將所接收到的聲音轉換成語音信號的麥克風，例如，在本發明的一個實施例中，收音裝置130係藉由單一指向式麥克風來實施，但本發明並不如此受限。依據本發明的一些實施例，收音裝置130係要在進行清醒開顱手術時被設置在可清楚接收病患說話聲音的位置，以獲取對應於病患說話內容的語音信號，並將該等訊號傳送給電腦裝置110進行分析。

依據本發明的一些實施例，顯示裝置140為可根據來自電腦裝置110之指令而顯示影像的顯示器，例如，在本發明的一個實施例中，顯示裝置140係藉由平板電腦或平板螢幕來實施，但本發明並不如此受限。依據本發明的一些實施例，顯示裝置140係要在進行清醒開顱手術時被設置在可使病患清楚觀看所顯示影像的位置。

依據本發明的一些實施例，電腦裝置110係具有資料處理功能的設備。如圖1所示，電腦裝置110包含顯示器111、處理設備112及輸入設備113，其中，顯示器111及輸入設備113均連接至處理設備112以與處理設備112通訊。依據本發明的一些實施例，電腦裝置110可係一架個人電腦或筆記型電腦，顯示器111為該個人電腦或筆記型電腦之顯示設備(例如螢幕)，處理設備112為該個人電腦或筆記型電腦之運算設備(例如主機或處理器)，且輸入設備113為該個人電腦或筆記型電腦之輸入設備(例如鍵盤、滑鼠或觸控板)，但本發明並不如此受限。

依據本發明的一些實施例，電腦裝置110受組配為可傳送指令給顯示裝置140，以在顯示裝置140上播放影像。依據本發明的一些實施例，在顯示裝置140上所播放的影像可為一組任務投影片，該組任務投影片各含有欲使病患回答的任務題目之問題及(或)答案。當病患回答任務題目時，收音裝置130會接收病患說話的聲音，將其轉換成語音信號，並將該等語音信號傳送給電腦裝置110以供電腦裝置110進行分析。

依據本發明的一些實施例，電腦裝置110受組配為可接收來自收音裝置130的語音信號，並對所接收到的語音信號進行分析，以辨識病患針對各個任務題目的回答內容，並計算回答時間以及回答正確率。依據本發明的一些實施例，電腦裝置110持續分析來自收音裝置130的連續語音信號，並每隔一段具有預定長度的時間計算在過去這段預定長度的時間區段當中所接收到的語音信號之聲音振幅強度之平均值。例如，在本發明的一個實施例中，收音裝置130之取樣頻率為四萬八千赫茲(48kHz)，且電腦裝置110被設定為要計算每十毫秒(10ms)內所接收到的語音資料之聲音振幅強度平均值，亦即，電腦裝置110會計算每480個語音信號的聲音振幅強度平均值。依據本發明的一些實施例，當電腦裝置110針對某一時間區段T_P(0)所計算出的聲音振幅強度平均值小於一預設臨界值，且針對緊接在該時間區段T_P(0)之後的連續N_S個(N_S為正整數)時間區段T_P(1)~T_P(NS)所計算出的聲音振幅強度平均值均大於該預設臨界值，電腦裝置110便會判定病患開始說話，將時間區段T_P(1)之起始時間紀錄為開始說話時間，並進入尋找結束時間狀態；在尋找結束時間狀態中，當電腦裝置110針對連續N_E個(N_E為正整數)時間區段T_P(X)至T_P(X+NE-1)所計算出的聲音振幅強度平均值皆小於該預設臨界值時，電腦裝置110便會判定病患結束說話，將時間區段T_P(X)之起始時間紀錄結束說話時間，並離開尋找結束時間狀態。在本發明的一個實施例中，N_S及N_E均為10，且預設臨界值為對應於五十分貝(50dB)音量之值，但本發明並不如此受限。

依據本發明的一些實施例，電腦裝置110受組配為可在顯示裝置140顯示一個任務題目後，藉由分析來自收音裝置130的語音信號，而判定出病患針對該任務題目的開始說話時間及結束說話時間，接著，電腦裝置110便提取在該等開始說話時間及結束說話時間之間的針對該題目的語音信號，並判斷該等語音信號所代表的語音內容是否符合該任務題目之預設答案，以判斷病患是否答對該任務題目。

依據本發明的一些實施例，係可利用梅爾倒頻譜係數(MFCC)來辨識語音內容，進而判斷病患回答是否正確，並紀錄判斷結果。此外，依據本發明的一些實施例，亦可藉由其他習知語音辨識技術來辨識語音內容，再藉由比較所辨識出的語音內容文本與預設答案的匹配程度來判定病患之回答是否正確。例如，在本發明的一個實施例中，係利用Google語音辨識應用程式介面(Google speech API)來取用Google語音辨識資料庫，而藉以辨識語音內容。又例如，在本發明的另一個實施例中，係利用經訓練的深度學習模型來進行語音辨識。

依據本發明的一些實施例，電腦裝置110受組配為可根據所紀錄的開始說話時間、結束說話時間、以及病患是否正確回答問題，而在顯示器111上顯示與病患在手術過程中回答任務題目的時間與正確率有關的資訊，以供醫護人員檢閱。例如，依據本發明的一些實施例，電腦裝置110受組配為可在顯示器111上即時顯示病患每次回答問題的反應時間長度(可藉由計算顯示裝置140出示一任務題目的時間及病患開始回答該任務題目的時間之差獲得)、病患每次說話的開始時間(可由所紀錄的開始說話時間獲得)、病患每次說話的時間長度(可由所紀錄的開始說話時間及結束說話時間獲得)、或者病患目前答題正確率(可藉由計算病患已正確回答之任務題目數量相較於已提出任務題目總數的比例獲得)其中一或多項資訊。此外，在本發明之一實施例中，電腦裝置110進一步受組配為可根據病患每次回答問題的反應時間長度，而偵測病患是否發生延遲反應情況，並在偵測出病患有延遲反應情況時於顯示器111上顯示警示訊號。

依據本發明的一些實施例，電腦裝置110受組配為可接收來自攝影裝置120的影像資料，並處理所接收到的影像資料，以獲得在攝影裝置120所攝得之每幀臉部影像中的臉部特徵資料。在攝影裝置120為Kinect感應器的一些實施例中，電腦裝置110係使用搭配的軟體研發套件(SDK)(即Kinect SDK)來分析來自攝影裝置120的影像資料，以抓取在每幀臉部影像中的臉部特徵資料。藉由Kinect SDK所分析得出的該臉部特徵資料包含121個臉部特徵點(以0至120編號)之位置，這121個的臉部特徵點包含如於圖2中所示出的位於額頭頂端的0號特徵點、位於下巴底端的43號特徵點、位於左額的14號特徵點、及位於右額的47號特徵點，電腦裝置110受組配為可將經過0號特徵點和43號特徵點的直線Y作為中心軸(對應於病患臉部之垂直中心線)，並將經過14號特徵點和47號特徵點的直線X作為水平軸。該等121個特徵點還包含廿二組分別位在左右臉上的對稱相應特徵點組，例如，其中四組對稱相應特徵點為由15號點和48號點所構成的點組、由27號點和60號點所構成的點組、由28號點和61號點所構成的點組、及由90號點和91號點所構成的點組，在該等實施例中，電腦裝置110進一步受組配為可將經過各組對稱特徵點的各個直線中之一或多者作為偵測軸(若採用全部廿二組對稱特徵點，則會有廿二個偵測軸)，計算在各幀臉部影像中的各個偵測軸與水平軸(即直線X)的夾角(若採用全部廿二組對稱特徵點，則需計算廿二個角度值)，並將各偵測軸與水平軸的夾角變化以圖像或數據方式(例如折線圖)顯示在顯示器111上以供醫療人員檢閱、並據以判定病患臉部是否發生例如歪斜、抖動或抽搐等不正常現象。例如，電腦裝置110可計算直線X與經過15號特徵點和48號特徵點的直線L在各幀影像中的夾角，並將此夾角的數值變化顯示在顯示器111上，以協助醫療人員判定病患眼部是否發生不正常現象。根據本發明的一些實施例，電腦裝置110可預先分析各偵測軸與水平軸在病患臉部完全正常狀態下的夾角值，以設定該等偵測軸的夾角基準值，當發現有過半偵測軸與水平軸之夾角超過該等偵測軸之夾角基準值時，可據此判定病患臉部發生不對稱情形。根據本發明的一些實施例，當發現有過半偵測軸與水平軸之夾角超過該等偵測軸之夾角基準值時，電腦裝置110可在顯示器111上顯示相關警示資訊。

雖然前文已為提供對於本發明實施例之通盤了解而詳述許多細節，然而，熟習本發明所屬技術領域中之通常知識者應可明顯看出，於實施本發明之其他一或多個實施例時並不一定要包含述於前文中的所有細節。此外，應可識出，於本說明書中對一實施例、一個實施例或者第幾實施例及其他諸如此類者之指涉係旨在指出以該方式實施本發明時可能具有的特定特徵、結構或特性。另，於本文中，有時係將許多特徵集合在單一個實施例、圖式或對該實施例或圖式之說明內容當中，這麼做只是為了使說明流暢並更有助於瞭解本發明之各種面向。應可識出，當實作本發明時，只要適宜，來自一個實施例的一或多個特徵或具體細節係有可能與來自另一個實施例的一或多個特徵或具體細節一起被實施。

雖然前文係藉由示範實施例來說明本發明，但，應瞭解，本發明並不僅限於前文所述之該等實施例，本發明應涵蓋所有落於本發明之精神與最廣義解釋之範疇中的所有設計，包含落於本發明之精神與最廣義解釋之範疇中的所有變化及等效設計。