TWI721533B

TWI721533B - 抖動辨識方法及其系統

Info

Publication number: TWI721533B
Application number: TW108129442A
Authority: TW
Inventors: 張榮森; 張焜傑
Original assignee: 國立中央大學
Priority date: 2019-08-19
Filing date: 2019-08-19
Publication date: 2021-03-11
Also published as: US20210052195A1; TW202109549A

Abstract

本發明提供一種抖動辨識方法及其系統。所述方法包括：投影第一光學圖樣至一待測部位，以在待測部位上相應地形成第二光學圖樣，其中第二光學圖樣經合成以包括至少一交叉點；對待測部位上的第二光學圖樣拍攝多個影像，並基於前述影像取得各交叉點的一動態特徵；以及基於各交叉點的動態特徵辨識待測部位的一抖動態樣。

Description

抖動辨識方法及其系統

本發明是有關於一種辨識方法及其系統，且特別是有關於一種抖動辨識方法及其系統。

巴金森氏症（Parkinson’s disease，PD）是一種常見的神經系統變性疾病，其臨床表現包括靜止性震抖動、運動遲緩、肌強直和姿勢步態障礙，同時病人可能伴有抑鬱、便秘和睡眠障礙等非運動症狀。在上述臨床表現中，靜止性震顫抖動（resting tremor）是最常見的症狀，但較難以肉眼觀察到相關的抖動情形。

在PD的相關研究中，多半是基於核磁共振成像（Magnetic Resonance Imaging，MRI）、單光子發射計算機斷層檢查（Single Photon Emission Computed Tomography，SPECT）、正子斷層造影（Positron Emission Tomography，PET）等高效能醫學影像來進行。然而，由於上述醫學影像在使用上不但具較高的成本，且亦會產生相關的輻射問題，故較難用於作為日常追蹤及治療效果評估的手段。

有鑑於此，本發明提供一種抖動辨識方法及其系統，其可用於解決上述技術問題。

本發明提供一種抖動辨識方法，包括：投影一第一光學圖樣至一待測部位，以在待測部位上相應地形成一第二光學圖樣，其中第二光學圖樣經合成以包括至少一交叉點；對待測部位上的第二光學圖樣拍攝多個影像，並基於前述影像取得各交叉點的一動態特徵；以及基於各交叉點的動態特徵辨識待測部位的一抖動態樣。

本發明一種抖動辨識系統，包括投影裝置、取像裝置及處理裝置。處理裝置耦接於取像裝置及投影裝置之間，並經配置以：控制投影裝置投影一第一光學圖樣至一待測部位，以在待測部位上相應地形成一第二光學圖樣，其中第二光學圖樣經合成以包括至少一交叉點；控制取像裝置對待測部位上的第二光學圖樣拍攝多個影像，並基於前述影像取得各交叉點的一動態特徵；以及基於各交叉點的動態特徵辨識待測部位的一抖動態樣。

基於上述，本發明提出的抖動辨識方法及其系統可基於投影於待測部位上的第二光學圖樣中交叉點的動態特徵來辨識待測部位的抖動態樣。藉此，可提供一種即時、低成本、非侵入性的抖動辨識機制。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

概略而言，本發明可在將具有交叉點的第一光學圖樣投射至待測部位上以形成第二光學圖樣之後，觀察第二光學圖樣上的交叉點隨著待測部位的移動而呈現的動態特徵，並由人工智慧模型據以辨識待測部位的抖動態樣。在相關應用中，由於PD患者身上出現的抖動態樣將有別於未患有PD的患者，因此在以PD患者/非PD患者的抖動態樣訓練上述人工智慧模型之後，即可讓人工智慧模型基於未知患者的抖動態樣來辨識未知患者為PD患者/非PD患者。以下將作進一步說明。

請參照圖1，其是依據本發明之一實施例繪示的辨識待測部位抖動態樣的示意圖。在圖1中，抖動辨識系統100包括投影裝置102、取像裝置104及處理裝置106。在不同的實施例中，投影裝置102例如是數位光學處理（Digital Light Processing，DLP）投影機或是其他類似的投影裝置，並可受控於處理裝置106而將指定的圖樣投射至指定的物體上。

以圖1為例，投影裝置102可受控於處理裝置106而將第一光學圖樣120投影至待測部位199（例如，手部）上。在本實施例中，第一光學圖樣120例如是摩爾紋（Moire），但本發明可不限於此。在其他實施例中，投影裝置102亦可投射具有其他態樣的圖樣作為第一光學圖樣120，只要其具有至少一個交叉點即可。在其他實施例中，亦可採用不具有任何交叉點的圖樣作為第一光學圖樣120，例如數條平行線等，但可不限於此。

取像裝置104例如是任何具有電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的攝影機，但本發明可不限於此。

在本實施例中，當第一光學圖樣120被投影至待測部位199上時，第一光學圖樣120將因應於待測部位199的輪廓而產生變形的現象，從而在待測部位199上形成第二光學圖樣130。在此情況下，取像裝置104可受控於處理裝置106而對第二光學圖樣130連續地拍攝多張影像。

在圖1中，由於第一光學圖樣120中可包括一或多個交叉點，因此在第一光學圖樣120被投影至待測部位199上之後，將相應地使得第二光學圖樣130亦經合成以包括一或多個交叉點（例如交叉點130a，如圖1所示。詳細而言，在第一光學圖樣120被投影至待測部位199上後，可在待測部位199上形成陰影，而此陰影可與第一光學圖樣120重疊、干涉，進而產生第二光學圖樣130（其例如呈現等高線的態樣）。

在此情況下，若待測部位199出現抖動（tremor）的情況，將使得第二光學圖樣130上的各交叉點在上述影像中的位置出現變化。因此，可藉由追蹤第二光學圖樣130上的各交叉點在前述影像中的位置變化而相應地推得待測部位199的抖動情況，但本發明可不限於此。

此外，在其他實施例中，若第一光學圖樣係實現為不具交叉點的態樣（例如一或多條平行線），則在第一光學圖樣被投影至待測部位199上後，可在待測部位199上形成另一種陰影（例如一或多條平行線），而此陰影可與第一光學圖樣重疊、干涉，進而產生第二光學圖樣，但本發明可不限於此。

處理裝置106耦接於投影裝置102及取像裝置104，並可以是為手機、智慧型手機、個人電腦（personal computer，PC）、筆記型電腦（notebook PC）、網本型電腦（netbook PC）、平板電腦（tablet PC），但本發明可不限於此。應了解的是，雖投影裝置102、取像裝置104及處理裝置106在圖1中係繪示為三個不同的裝置，但在其他的實施例中，此三者亦可整合為單一個裝置。

請參照圖2，其是依據本發明之一實施例繪示的抖動辨識方法流程圖。本實施例的方法可由圖1的抖動辨識系統100執行，以下即搭配圖1所示的元件來說明圖2各步驟的細節。

首先，在步驟S210中，處理裝置106可控制投影裝置102投影第一光學圖樣120至待測部位199，以在待測部位199上相應地形成第二光學圖樣130。承先前實施例所述的，在第一光學圖樣120包括至少一個交叉點的情況下，形成於待測部位199上的第二光學圖樣130亦會包括至少一個交叉點（例如交叉點130a）。在本實施例中，待測部位199例如是一未知患者的手部，但可不限於此。

接著，在步驟S220中，處理裝置106可控制取像裝置104對待測部位199上的第二光學圖樣130拍攝多個影像，並基於前述影像取得各交叉點的動態特徵。

在不同的實施例中，各交叉點的動態特徵可表徵為各交叉點的振幅、形狀、抖動頻率等，但本發明可不限於此。為便於說明，以下將基僅於第二光學圖樣130中的交叉點130a進行說明，而本領域具通常知識者應可依相關教示而推得處理裝置106基於第二光學圖樣130中的其他交叉點所進行的操作。

在一實施例中，處理裝置106可基於快速傅利葉轉換（Fast Fourier Transform，FFT）取得交叉點130a在取像裝置104所拍攝的影像中的抖動頻率。在另一實施例中，處理裝置106可取得交叉點130a在上述影像中的多個位置，並藉由分析前述位置的變化情形以得知交叉點130a的振幅，即交叉點130a在前述影像中的移動幅度。

之後，在步驟S230中，處理裝置106可基於各交叉點的動態特徵辨識待測部位199的抖動態樣。在一實施例中，處理裝置106可將各交叉點的動態特徵輸入至先前提及的人工智慧模型以辨識待測部位199的抖動態樣係屬於第一類抖動或第二類抖動。

為讓上述人工智慧模型具有辨識待測部位199的抖動態樣的能力，處理裝置106可預先以多個訓練影像訓練上述人工智慧模型，其中上述訓練影像包括多個第一類影像及多個第二類影像，其中上述第一類影像對應於該第一類抖動，上述第二類影像對應於第二類抖動。

在一實施例中，若欲讓上述人工智慧模型具有辨識PD的能力，則上述第一類影像可拍攝自患有PD的一或多個第一患者，而上述第二類影像可拍攝自未患有PD的一或多個第二患者。舉例來說，若待測部位199為一未知患者的手部，則第一類影像可以是各第一患者的手部影像，而第二類影像則可以是各第二患者的手部影像。在此情況下，人工智慧模型即可從第一類影像中學習到患有PD的第一患者的手部抖動態樣（即，第一類抖動），以及從第二類影像中學習到未患有PD的第二患者的手部抖動態樣（即，第二類抖動）。

此外，在人工智慧模型的訓練階段中，處理裝置106可控制投影裝置102投影第一光學圖樣120至第一患者（即，PD患者）的第一預設部位，以在第一預設部位上相應地形成第三光學圖樣（即，隨著第一預設部位的輪廓而變形的第一光學圖樣120）。在本實施例中，第三光學圖樣包括至少一第一交叉點，且第一預設部位對應於待測部位（例如，皆為手部）。之後，處理裝置106可控制取像裝置104對第一預設部位上的第三光學圖樣拍攝影像以作為上述第一類影像，並基於所拍攝的第一類影像取得各第一交叉點的抖動頻率。之後，處理裝置106可取得各第一交叉點的抖動頻率的一頻率峰值，並將各第一交叉點及對應的頻率峰值映射至第一標準部位圖以產生第一抖動分布圖。接著，處理裝置106可將第一抖動分布圖標記為第一類抖動，並饋入人工智慧模型以供人工智慧模型學習第一類抖動的特徵。

相似地，處理裝置106可控制投影裝置102投影第一光學圖樣120至第二患者（即，非PD患者）的第二預設部位，以在第二預設部位上相應地形成第四光學圖樣（即，隨著第二預設部位的輪廓而變形的第一光學圖樣120）。在本實施例中，第四光學圖樣包括至少一第二交叉點，且第二預設部位對應於待測部位（例如，皆為手部）。之後，處理裝置106可控制取像裝置104對第二預設部位上的第四光學圖樣拍攝影像以作為上述第二類影像，並基於所拍攝的第二類影像取得各第二交叉點的抖動頻率。之後，處理裝置106可取得各第二交叉點的抖動頻率的一頻率峰值，並將各第二交叉點及對應的頻率峰值映射至第二標準部位圖以產生第二抖動分布圖。接著，處理裝置106可將第二抖動分布圖標記為第二類抖動，並饋入人工智慧模型以供人工智慧模型學習第二類抖動的特徵。

為讓上述概念更為清楚，以下另輔以圖3進行說明。請參照圖3，其是依據本發明之一實施例繪示的標記訓練資料的示意圖。在本實施例中，假設PD患者將其第一預設部位399（即，手部）置放於本發明的投影裝置（未繪示）之下，而本發明的處理裝置（未繪示）可相應地控制投影裝置將第一光學圖樣投影至第一預設部位399，以在第一預設部位399上形成第三光學圖樣310。之後，處理裝置可基於取像裝置（未繪示）對第一預設部位399所拍攝的多張第一類影像來取得第三光學圖樣310上各第一交叉點的動態特徵。以第三光學圖樣310上的第一交叉點310a、310b、310c為例，處理裝置可將第一交叉點310a~310c的動態特徵表徵為各第一交叉點310a~310c的抖動頻率。

在圖3中，圖表320a、320b、320c分別可以是第一交叉點310a~310c經FFT而得的抖動頻率分布圖，但本發明可不限於此。

之後，處理裝置可取得各第一交叉點的抖動頻率的頻率峰值，並將各第一交叉點及其頻率峰值映射至第一標準部位圖330以產生第一抖動分布圖330a，其中具不同頻率峰值的第一交叉點可標示有不同的顏色。之後，處理裝置可將第一抖動分布圖330a標記為第一類抖動（即，PD患者的抖動），並饋入人工智慧模型以供人工智慧模型學習第一類抖動的特徵。

相似地，本發明的抖動辨識系統亦可對其他的第一患者（例如，PD患者）進行上述操作，以產生第一抖動分布圖330b、330c。之後，本發明的抖動辨識系統可將第一抖動分布圖330b、330c標記為第一類抖動（即，PD患者的抖動），並饋入人工智慧模型以供人工智慧模型學習第一類抖動的特徵。

此外，本發明的抖動辨識系統亦可對其他的第二患者（例如，非PD患者）進行上述操作，以產生第二抖動分布圖330d、330e、330f。之後，本發明的抖動辨識系統可將第二抖動分布圖330d、330e、330f標記為第二類抖動（即，非PD患者的抖動），並饋入人工智慧模型以供人工智慧模型學習第二類抖動的特徵。

在完成對人工智慧模型的訓練之後，處理裝置106即可將各交叉點的動態特徵（例如振幅、抖動頻率等）輸入人工智慧模型。舉例而言，處理裝置106可將各交叉點及其抖動頻率的頻率峰值亦映射至可饋入人工智慧模型的一標準部位圖，以在此標準部位圖上形成對應於待測部位199的抖動分布圖。

之後，人工智慧模型即可據以辨識待測部位199（即，未知患者的手部）的抖動態樣是屬於第一類抖動或第二類抖動。若待測部位199的抖動態樣屬於第一類抖動，即代表未知患者可能患有PD。相反地，若待測部位199的抖動態樣屬於第二類抖動，即代表未知患者可能未患有PD。

簡言之，在將PD患者/非PD患者的手部抖動態樣作為訓練資料來訓練人工智慧模型之後，此人工智慧模型即可基於未知患者手部抖動態樣來辨識未知患者是否患有PD，但本發明可不限於此。在其他實施例中，處理裝置106亦可基於PD患者/非PD患者其他部位的抖動態樣來訓練人工智慧模型，而不限於上述實施例中提及的手部。

在一些實施例中，本發明的概念可適用於辨識其他型態的待測部位的抖動態樣，舉凡植物、人類以外的其他動物、礦物等都可作為本發明所考慮的待測部位。在此情況下，本發明的系統可對人工智慧模型進行相應的訓練，從而讓其具有辨識植物、動物及礦物的抖動態樣的能力。相關細節可參照先前實施例中的說明，於此不另贅述。

綜上所述，本發明提出的抖動辨識方法及其系統可在將具有交叉點的第一光學圖樣投射至待測部位上以形成第二光學圖樣之後，觀察第二光學圖樣上的交叉點的動態特徵，並由人工智慧模型據以辨識待測部位的抖動態樣是屬於第一類抖動或第二類抖動。藉此，可提供一種即時、低成本、非侵入性、非接觸式的抖動辨識機制。並且，透過對人工智慧模型進行適當的訓練，可讓人工智慧模型具備辨識特定疾病（例如，PD）的能力，因此可有效地作為日常追蹤及治療效果評估的手段。並且，透過本發明提出的方法，還可在PD患者的抖動尚不明顯時即協助醫師作出相關的診斷，因而能夠讓相關的醫護人員採取對應的治療手段，從而有利於病情的控制。

此外，對於患有典型PD（即，抖動為肉眼可見）或非典型PD（即，抖動不為肉眼可見）的患者而言，本發明皆可用以協助辨識其身上待測部位的抖動態樣。進一步而言，即便患者的抖動情形因服藥後而有所減緩，但仍可藉由本發明的方法及其系統觀察到改善後餘存的微小振動模式（tremor pattern），進而有助於醫師作出相關的診斷。

並且，本發明還可用於辨識植物、動物、礦物等各式待測部位的抖動態樣，因而可用於協助相關的研究人員對所考慮的待測部位進行研究。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：抖動辨識系統 102：投影裝置 104：取像裝置 106：處理裝置 120：第一光學圖樣 130：第二光學圖樣 130a：交叉點 199：待測部位 310：第三光學圖樣 320a、320b、320c：圖表 330：第一標準部位圖 310a、310b、310c：第一交叉點 330a、330b、330c：第一抖動分布圖 330d、330e、330f：第二抖動分布圖 399：第一預設部位 S210~S230：步驟

圖1是依據本發明之一實施例繪示的辨識待測部位抖動態樣的示意圖。圖2是依據本發明之一實施例繪示的抖動辨識方法流程圖。圖3是依據本發明之一實施例繪示的標記訓練資料的示意圖。

S210~S230：步驟

Claims

一種抖動辨識方法，包括：投影一第一光學圖樣至一待測部位，以在該待測部位上相應地形成一第二光學圖樣，其中該第二光學圖樣經合成以包括至少一交叉點；對該待測部位上的該第二光學圖樣拍攝多個影像，並基於該些影像取得各該交叉點的一動態特徵，其中各該交叉點的該動態特徵包括各該交叉點的抖動頻率或振福，且基於該些影像取得各該交叉點的該動態特徵的步驟包括：當各該交叉點的該動態特徵包括各該交叉點的抖動頻率時，則對於該至少一交叉點中的一第一交叉點，基於一快速傅利葉轉換取得該第一交叉點在該些影像中的抖動頻率；或當各該交叉點的該動態特徵包括各該交叉點的振福時，則對於該至少一交叉點中的該第一交叉點，取得該第一交叉點在該些影像中的多個位置，並分析該些位置的一變化情形以得知該第一交叉點的振幅；以及基於各該交叉點的該動態特徵辨識該待測部位的一抖動態樣。
如申請專利範圍第1項所述的方法，其中該第一光學圖樣為一摩爾紋。
如申請專利範圍第1項所述的方法，其中基於各該交叉點的該動態特徵辨識該待測部位的該抖動態樣的步驟包括：將各該交叉點的該動態特徵輸入一人工智慧模型，以由該人工智慧模型辨識該待測部位的該抖動態樣係屬於一第一類抖動或一第二類抖動。
如申請專利範圍第3項所述的方法，更包括：以多個訓練影像訓練該人工智慧模型，其中該些訓練影像包括多個第一類影像及多個第二類影像，其中該些第一類影像對應於該第一類抖動，該些第二類影像對應於該第二類抖動。
如申請專利範圍第4項所述的方法，其中該些第一類影像拍攝自患有巴金森氏症的一第一患者，而該些第二類影像拍攝自未患有巴金森氏症的一第二患者。
如申請專利範圍第5項所述的方法，更包括：投影該第一光學圖樣至該第一患者的一第一預設部位，以在該第一預設部位上相應地形成一第三光學圖樣，其中該第三光學圖樣包括至少一第一交叉點，且該第一預設部位對應於該待測部位；對該第一預設部位上的該第三光學圖樣拍攝該些第一類影像，並基於該些第一類影像取得各該第一交叉點的一抖動頻率；取得各該第一交叉點的該抖動頻率的一頻率峰值；以及將各該第一交叉點及對應的該頻率峰值映射至一第一標準部位圖以產生一第一抖動分布圖；以及將該第一抖動分布圖標記為該第一類抖動，並饋入該人工智慧模型以供該人工智慧模型學習該第一類抖動的特徵。
如申請專利範圍第6項所述的方法，更包括：投影該第一光學圖樣至該第二患者的一第二預設部位，以在該第二預設部位上相應地形成一第四光學圖樣，其中該第四光學圖樣包括至少一第二交叉點，且該第二預設部位對應於該待測部位；對該第二預設部位上的該第四光學圖樣拍攝該些第二類影像，並基於該些第二類影像取得各該第二交叉點的一抖動頻率；取得各該第二交叉點的該抖動頻率的一頻率峰值；以及將各該第二交叉點及對應的該頻率峰值映射至一第二標準部位圖以產生一第二抖動分布圖；以及將該第二抖動分布圖標記為該第二類抖動，並饋入該人工智慧模型以供該人工智慧模型學習該第二類抖動的特徵。
如申請專利範圍第1項所述的方法，其中該待測部位為一未知患者的手部。
如申請專利範圍第1項所述的方法，其中該待測部位包括一植物、一動物及一礦物的至少其中之一。
一種抖動辨識系統，包括：一投影裝置；一取像裝置；一處理裝置，耦接該取像裝置及該投影裝置，並經配置以：控制該投影裝置投影一第一光學圖樣至一待測部位，以在該待測部位上相應地形成一第二光學圖樣，其中該第二光學圖樣經合成以包括至少一交叉點；控制該取像裝置對該待測部位上的該第二光學圖樣拍攝多個影像，並基於該些影像取得各該交叉點的一動態特徵；以及基於各該交叉點的該動態特徵辨識該待測部位的一抖動態樣，其中，各該交叉點的該動態特徵包括各該交叉點的抖動頻率或振福，而該處理裝置更經配置以：當各該交叉點的該動態特徵包括各該交叉點的抖動頻率時，則對於該至少一交叉點中的一第一交叉點，基於一快速傅利葉轉換取得該第一交叉點在該些影像中的抖動頻率；或當各該交叉點的該動態特徵包括各該交叉點的振福時，則對於該至少一交叉點中的該第一交叉點，取得該第一交叉點在該些影像中的多個位置，並分析該些位置的一變化情形以得知該第一交叉點的振幅。