TW202215451A - 注意力缺陷虛擬實境自動化診斷方法與系統 - Google Patents

Abstract

本發明關於一種注意力缺陷虛擬實境自動化診斷方法，包含：透過穿戴式虛擬實境套件在虛擬實境中向受測者展示與實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現；透過神經行為感測套件量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及執行基於機器學習方法建構之注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

Description

注意力缺陷虛擬實境自動化診斷方法與系統

本發明係有關於一種基於虛擬實境的自動化診斷方法與系統，尤其是指用於評估注意力缺陷的虛擬實境自動化診斷方法與系統。

虛擬實境(virtual reality,VR)技術是一種提供具有沉浸式體驗(immersive experiences)、可互動和富有想像力的電腦模擬技術，可以創建或模擬出一個由電腦虛構的仿真實環境，並允許使用者與之互動，近年來受惠於感測元件技術的進步以及軟體效能的優化，VR相關技術快速興起，諸如VR顯示器以及人機互動技術，且VR技術之應用已不再侷限於遊戲產業，開始在商業、娛樂、教育和醫療等產業蓬勃發展。

相對於具有實體的物理環境，VR技術的特色在於能以較低的成本，創造與模擬出需要的環境，虛擬世界內部的所有物理參數、事件(event)或干擾(distraction)，都可以透過軟體給予精確的控制，同時，虛擬環境具有較高的安全性，也具有良好的生態有效性。

加上可穿戴感測技術(wearable sensing)逐漸邁向成熟，許多原本需要仰賴大型感測設備的感測項目，已經能夠微型化製作為可穿戴設備，大幅擴展可穿戴感測技術的應用層面，尤其可以更便捷地量測各式神 經行為，例如：腦波(EEG)、眼球追蹤(eye tracking)、心律變異(HRV)、肌肉電(EMG)、慣性感測器(IMU)等。

在醫療和健康照護方面，VR和可穿戴感測技術的運用，與傳統診斷方法相比具有相當大的優勢，例如，VR模擬環境可以根據不同患者的不同需求，透過調整輸入參數而快速制定適合的系統和方案，獲得不同面向的病人資訊，並且可以以較低的成本重複使用系統，而且透過可穿戴感測器，原本在傳統診斷和評估方式中不易量測的動作及生理資訊變得容易取得，更多樣的醫療資訊能夠使診斷結果更加準確。

因此VR技術結合穿戴式感測技術，也逐漸受到神經認知(cognitive)領域的接受，並開始應用作為評估認知缺陷、認知能力水平和行為表現、認知研究、或認知缺陷矯正治療的有力工具，許多的發明家與研究人員紛紛嘗試將可穿戴感測技術與VR技術整合，透過虛擬環境提供各式的刺激與干擾，然後評估受測者的神經認知反應狀態、進行腦認知科學的探索、甚至針對神經性行為疾病進行行為刺激治療。

但綜觀現有VR技術結合穿戴式感測技術在神經認知領域的應用，大致有以下的不足之處，亟待進一步提出新技術予以克服：(1)VR評估與測試內容無法和臨床測試內容完全匹配；(2)缺少對人體生理與動作指標的處理能力，例如頭部轉動、肢體動作、腦波(EEG)、眼球軌跡追蹤(eye-tracking)等；(3)熱衷採用統計分析方法；以及(4)對於神經認知功能評估，皆採取個別指標進行評估，缺少整合個別指標而進行的總體評估或複合評估，易造成偏估。

職是之故，有鑑於習用技術中存在的缺點，發明人經過悉心 嘗試與研究，並一本鍥而不捨之精神，終構思出本案「注意力缺陷虛擬實境自動化診斷方法與系統」，能夠克服上述缺點，以下為本發明之簡要說明。

本發明提出注意力缺陷虛擬實境自動化檢測系統與方法，在VR技術的基礎上，結合可穿戴神經行為感測器，向受測者展示台灣本土教室的VR仿真情境，並在VR情境中內置多種注意力檢測，涵蓋選擇性注意力、持續性注意力以及執行功能，並可在檢測過程中發出各式干擾源，從而得到對於受測者注意力的最真實量化分析。

本發明系統在檢測過程將進一步實施多種評估量表檢測與多種任務表現檢測，最終結合神經行為感測器所感測到的神經行為表現，並綜合這三者，透過本發明建立的一個注意力評估電腦輔助診斷模型，來選擇性加權合併評估或診斷受測者的注意力缺陷程度；本發明提出的系統與方法，可以克服習用技術認知缺陷診斷存在的多數問題。

據此本發明提出一種注意力缺陷虛擬實境自動化診斷方法，包含：透過穿戴式虛擬實境套件在虛擬實境中向受測者展示與實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現；透過神經行為感測套件量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及執行基於機器學習方法建構之注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

較佳的，所述之注意力缺陷虛擬實境自動化診斷方法，還包 含以下步驟其中之一：在該虛擬實境中置入注意力測試任務模組、干擾測試模組、以及該神經行為感測套件；經由該注意力測試任務模組指揮該虛擬實境對該受測者實施該至少一種注意力測試方法；經由該干擾測試模組在該至少一種注意力測試方法實施過程中，對該受測者發出至少一干擾事件；透過該神經行為感測套件量測該受測者與該虛擬實境進行互動過程所產生的複數神經行為表現；透過該穿戴式虛擬實境套件量測該受測者與該虛擬實境進行互動過程所產生的複數反應參數；以及在該至少一種注意力測試方法的實施過程同步實施至少一種評估量表診斷以及至少一種任務表現診斷，以基於該等反應參數分別評估該受測者因應該至少一種注意力測試方法的該等量表表現以及該等任務表現。

較佳的，所述之注意力缺陷虛擬實境自動化診斷方法，其中該注意力評估電腦輔助診斷模型係經由實施以下步驟其中之一而建立：對該等量表表現、該等任務表現以及該等神經行為表現之複數評估指標，實施統計顯著性檢定，以計算該等評估指標的顯著檢定值；對該等評估指標，實施統計主成分分析法，以計算該等評估指標的特徵值；以及選出該特徵值與該顯著檢定值皆高於門檻值的該等評估指標作為訓練集資料而輸入該機器學習方法，經由訓練該機器學習方法而建立該等評估指標相對於注意力缺陷的關聯模式、診斷模式或者決策模式，以建立該注意力評估電腦輔助診斷模型。

本發明進一步提出一種注意力缺陷虛擬實境自動化診斷系統，包含：穿戴式虛擬實境套件，經配置向受測者展示虛擬實境以向該受測者實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一 種注意力測試方法之複數任務表現與複數量表表現；神經行為感測套件，經配置量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及運算單元，經配置向該穿戴式套件提供該虛擬實境，並執行基於機器學習方法建構之注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

上述發明內容旨在提供本揭示內容的簡化摘要，以使讀者對本揭示內容具備基本的理解，此發明內容並非揭露本發明的完整描述，且用意並非在指出本發明實施例的重要/關鍵元件或界定本發明的範圍。

1:注意力缺陷虛擬實境自動化診斷系統

10:穿戴式虛擬實境套件

11:頭戴式VR顯示裝置

12:控制器

13:動作感測套組

20:神經行為感測套件

21:腦波感測器

22:眼球軌跡追蹤器

23:頭部動作感應器

24:肢體動作感應器

30:運算單元

31:注意力評估電腦輔助診斷模型

ΘOFF:頭部轉動角度

110:沉浸式仿真互動VR環境模組

120:注意力測試模組

130:干擾測試模組

140:神經行為感測模組

200:本發明注意力缺陷虛擬實境自動化診斷方法

201~208:實施步驟

第1圖係揭示本發明注意力缺陷虛擬實境自動化診斷方法之整體架構示意圖；

第2圖係揭示本發明所建構之沉浸式仿真互動VR環境示意圖；

第3圖係揭示本發明透過沉浸式虛擬實境仿真互動環境產生持續性表現測驗之示意圖；

第4圖係揭示本發明透過沉浸式虛擬實境仿真互動環境產生威斯康辛卡分類測驗之示意圖；

第5圖係揭示本發明注意力測試任務之測試流程圖；

第6圖係揭示本發明眼球軌跡追蹤之目標區域之定義示意圖；

第7圖係揭示本發明頭部轉動總角度之定義示意圖；

第8圖係揭示本發明注意力評估電腦輔助診斷模型之建構流程示意 圖；

第9圖係揭示本發明注意力缺陷虛擬實境自動化診斷系統之系統架構視圖；以及

第10圖係揭示本發明注意力缺陷虛擬實境自動化診斷方法之實施步驟流程圖。

本發明將可由以下的實施例說明而得到充分瞭解，使得熟習本技藝之人士可以據以完成之，然本發明之實施並非可由下列實施案例而被限制其實施型態；本發明之圖式並不包含對大小、尺寸與比例尺的限定，本發明實際實施時其大小、尺寸與比例尺並非可經由本發明之圖式而被限制。

本文中用語“較佳”是非排他性的，應理解成“較佳為但不限於”，任何說明書或請求項中所描述或者記載的任何步驟可按任何順序執行，而不限於請求項中所述的順序，本發明的範圍應僅由所附請求項及其均等方案確定，不應由實施方式示例的實施例確定；本文中用語“包含”及其變化出現在說明書和請求項中時，是一個開放式的用語，不具有限制性含義，並不排除其他特徵或步驟。

注意力缺陷多動障礙(attention-deficit/hyperactivity disorder,ADHD)即兒童過動症是認知缺陷(cognitive deficiency)的一種，也是一種常見於兒童期的神經行為障礙，患病率約為3%至12%，患有ADHD的兒童智力基本正常，但在學校、社會、家庭等多種場合將表現出與年齡不符合的注意力集中困難，注意力持續時間短，碎動多或衝動行為等，患有ADHD 的兒童常伴有行為障礙或學習困難，易導致患者的學業、職業、社會生活的表現低下，嚴重影響了患者的生活品質與未來發展。

ADHD通常可在學齡前經診斷而確診，如果不及時有效地治療，約60%到70%的ADHD兒童其症狀將持續到青少年期甚至成人期，如果不接受相關治療和訓練，ADHD對患者的影響將持續終身，根據研究資料，在情緒管理方面，由於成年期自我控制能力的提高，患者的過動症狀將大大緩解甚至消失；然而，仍然可能存在著不同程度的注意力缺陷、情緒障礙和繼發性行為障礙，例如難以保持專注，不負責任，情緒上的自卑和行為上的衝動仍然存在。

ADHD的診斷和評估是進行治療的重要依據，現行的ADHD兒童評估工具主要有量表和神經心理測驗兩類，雖然評估量表在進行ADHD診斷時簡單方便，但是大部分的量表為他評量表，透過父母親或老師的觀察進行填寫，在填寫量表時帶有主觀性，不容易量化兒童的行為，影響評估結果的客觀性，例如使用SNAP-IV或是CONNERS等問卷式量表，再計算由量表得到的分數來判定兒童是否患有ADHD。

然而，傳統診斷方式的執行相當耗時，且在量化行為這方面的證據比較缺乏說服力，主要原因是它缺乏客觀的人體活動測量，使得行為過動的部分不易評估，而且可預測性十分有限，ADHD的診斷要求患兒的注意力缺陷或衝動在兩種及以上的場合出現才能被診斷，但是這在臨床中較難實現，只能從他人角度反映兒童在某個特定場合的特定表現，影響評估結果的正確性。

而神經心理測驗通常為透過電腦設備進行測驗，例如CPT測 試，測試分數可以部份反映兒童的行為表現，但是CPT測試過程缺少與真實情景結合，難以觀察兒童在自然情景中出現的行為表現，這類傳統測試仍然存在生態有效性的問題。

因此本發明以ADHD的認知缺陷為例，說明並提出注意力缺陷虛擬實境自動化檢測系統與方法，在VR技術的基礎上，結合可穿戴神經行為感測技術，包括腦波、眼球軌跡追蹤、頭部轉動以及肢體動作，向患兒展示台灣本土教室的VR情境，並在VR情境中內置多種注意力檢測，涵蓋選擇性注意力、持續性注意力以及執行功能，尤其在患兒接受檢測過程中，系統還可對患兒發出各式干擾源，包括視覺干擾、聽覺干擾、嗅覺干擾、綜合性干擾等，從而得到對於兒童注意力影響的最真實量化分析，且系統可以在檢測過程進一步實施多種評估量表檢測與多種任務表現檢測，以綜合評估患兒的量表表現以及任務表現，本發明提出的系統與方法，可以克服習用技術認知缺陷診斷存在的多數問題，尤其是ADHD診斷中遭遇到的問題。

第1圖係揭示本發明注意力缺陷虛擬實境自動化診斷方法之整體架構示意圖；本發明注意力缺陷虛擬實境自動化診斷方法涉及四個主要模組：沉浸式仿真互動VR環境模組110、注意力測試模組120、干擾測試模組130、以及神經行為感測模組140，在沉浸式仿真互動VR環境模組110的部分，主要透過一組穿戴式虛擬實境套件，向受測者提供一個沉浸式仿真互動VR環境場景，穿戴式虛擬實境套件包含頭戴式VR顯示裝置、控制器、以及動作感測套組等元件。

第2圖係揭示本發明所建構之沉浸式仿真互動VR環境示意 圖；本發明系統以台灣國民基本教育與義務教育制度中常見的傳統本土教室作為虛擬實境的3D建模對象，從而構建一個虛擬教室的3D場景環境，並透過頭戴式VR顯示裝置向受測者展示，場景中包括教室內部場景、虛擬教師、虛擬學生、投影螢幕、電視和窗外的室外場景等基本元素，所有的基本元素皆以台灣本土真實素材為主，而非採用卡通式人物或其他示意性元素，受測者頭戴式VR顯示裝置所觀看的VR場景如第2圖所揭示。

在本實施例，頭戴式VR顯示裝置較佳是選用例如但不限於VR頭盔顯示器、Oculus或者HTC Vive的頭戴式VR眼鏡，沉浸式仿真互動VR環境模組將進一步連結手持式控制器與動作感測套組，動作感測套組較佳是例如但不限於：光學位置追蹤套組、紅外光位置追蹤套組、雷射光位置追蹤套組、超音波位置追蹤套組或者電磁式位置追蹤套組，在本實施例，動作感測套組較佳是採用Valve軟體開發的Lighthouse光學位置追蹤套組，而構成一個沉浸式仿真互動VR環境。

配置在虛擬教室前方的投影螢幕，將專用於向受測者顯示至少一種注意力測試任務，注意力測試模組會透過投影螢幕顯示注意力測試任務，注意力測試模組較佳將提供至少三種測試方法，包含音頻測驗，持續性表現測驗(continuous performance tests,CPT)和威斯康辛卡分類測驗(Wisconsin card sorting test,WCST)等，以供檢測至少三種注意力，包含持續性注意力、選擇性注意力以及執行功能等。

音頻測驗是一項聽力任務，在每次測試之前給出確認標準，並且當在播放音頻時聽到特定數字的受測者，將被要求按下控制器上的「確認」按鈕，數字將從0到9當中選出，每輪的標準都會改變，例如，第一輪 採用的標準是，當聽到數字7然後接著聽到數字3的時候，按下確認按鈕，音頻播放的數字序列是27273293，受測者應該在聽到第一個3的時候按下確認按鈕，任務結果的輸出是反應時間以及受測者是否按下每個數字對應的按鈕。如果受測者正確按下按鈕，則輸出為True；否則輸出為False。

第3圖係揭示本發明透過沉浸式虛擬實境仿真互動環境產生持續性表現測驗之示意圖；CPT測試是一項視覺任務，在每一輪中，一系列由A到H、J、L和X組成的字母將出現在投影螢幕上，當字母X出現在螢幕上的字母A後面時，受測者應按下控制器上的「確認」按鈕，在其他情況下，受測者不應該按下按鈕，任務結果的輸出是反應時間以及受測者是否正確按下與每個字母對應的按鈕。

第4圖係揭示本發明透過沉浸式虛擬實境仿真互動環境產生威斯康辛卡分類測驗之示意圖；WCST測試是由問題庫中的四張刺激卡和128張響應卡組成。每張卡片都有不同數字，顏色和形狀的組合。數字從1到4，顏色為紅色，綠色，黃色和藍色，形狀為三角形，圓形，十字形和星形。受測者需要按數字，顏色或形狀對響應卡進行排序．排序規則由計算機設置為數字，顏色和形狀的循環。受測者不會事先被告知排序規則，並且需要通過反複試驗，分析和推理找到計算機設置的規則。當受測者連續六次或使用128個響應卡時確定正確的排序規則時，測試完成，任務結果的輸出是反應時間以及受測者是否正確排序每張卡。

為了研究教室內干擾源對於兒童的注意力影響，並探討干擾源對於患有ADHD兒童以及健康兒童的差異，本發明進一步在虛擬教室內置入干擾測試模組，在虛擬教室內對受測者發出一系列干擾，干擾的形式分 為：視覺干擾、聽覺干擾、嗅覺干擾、綜合性干擾，干擾的內容是以事件(event)的方式呈現，各種干擾事件如下述表1所列示。

表1：

為了同步量測注意力測試過程中的神經行為，本研究將虛擬教室與多模態神經行為感測器整合，多模態神經行為感測器至少包含：(1)腦波感測器：在本實施例較佳選用頭戴式陣列腦波感測設備，可以和頭戴式VR顯示裝置進行整合，量測位置為注意力相關的腦部位置，例如AF3和AF4；(2)眼球軌跡追蹤器：在本實施例較佳選用例如但不限於HTC Vive Pro Eye內置的TOBII眼球軌跡追蹤感測設備；(3)頭部動作感應器：在本實施例較佳選用例如但不限於HTC Vive的Lighthouse進行動作捕捉，量測兒童受測過程中的轉動軌跡；以及(4)肢體動作感應器：在本實施例較佳選用例如但不限於Myo手環的多軸慣性感測器，可穿戴在受測者的手腕上，量測手腕的三軸加速度資料。上述所有神經行為感測器皆與虛擬教室的數位內容同步化，以在注意力測試任務實施過程中，即時感測受測者的神經行為表現。

第5圖係揭示本發明注意力測試任務之測試流程圖；在本實施例，將注意力測試任務流程大致分為兩個階段，第一階段是在無干擾事件情況下的測試，第二階段加入各式干擾事件，每個階段持續4-5分鐘，所以每個測試任務將持續8-10分鐘，這個時間長度足以誘發注意力不集中的行為。

本發明提出的注意力評估電腦輔助(computer-assisted)診斷模型係以選擇性加權合併的方式，涵括三類型的評估結果，包含評估量表、測試任務表現以及神經行為感測資料等，其中在評估量表的部分，至少涵括CONNERS量表、SNAP-IV量表以及Weiss’s量表，測試任務表現則至少涵括反應時間、遺漏錯誤率、替代性錯誤率、完成時間等評估指標，神經行為感測資料則至少涵括腦波、眼球軌跡追蹤、頭部轉動、肢體動作等項目。

為了量化所量測的神經行為原始資料，依據虛擬教室的環境特性，分別設計不同的神經行為指標，以便神經行為感測資料將進一步量化為對應的神經行為指標，應用於後續基於機器學習方法的模型訓練。

在腦波指標的部分，區分為時域特徵和頻域特徵指標，時域特徵包含：Higuchi碎形維度(HFD)、Katz碎形維度(KFD)或者Petrosian碎形 維度(PFD)，頻域特徵包含：α波頻帶功率(band-power)、β波頻帶功率或者β波頻帶功率/θ波頻帶功率比。

第6圖係揭示本發明眼球軌跡追蹤之目標區域之定義示意圖；在眼球軌跡追蹤的部分，本發明提出眼球軌跡總長度指標以及目標區域注視比例指標，目標區域是虛擬教室前方的投影螢幕所形成之區域，如第6圖所揭示，眼球軌跡總長度L _EYE 係透過以下公式計算：

其中n是眼球注視位置總數，P _i 是眼球注視位置。

目標區域注視比例E _FOCUS 透過以下方式計算：

E _FOCUS =N _in /N _Total

其中N _in 是目標區域內的眼球注視位置數目，N _Total 是眼球注視位置總數。

第7圖係揭示本發明頭部轉動總角度之定義示意圖；在頭部轉動的部分，本發明提出頭部轉動總角度指標以及頭部專注區比例指標，頭部轉動總角度θ _HEAD 係透過以下公式計算：

其中n是頭部轉動總次數，θ _i 是頭部轉動角度。

頭部專注區比例H _FOCUS 係透過以下公式計算：

H _FOCUS =N _ΘOFF<10 /N _Total

其中N _ΘOFF < ₁₀ 是頭部轉動角度小於10度的次數，N _Total 是頭部轉動總次數。

在肢體動作的部分，本發明提出肢體動作軌跡長度指標，肢 體動作軌跡長度L _Hand 係透過以下公式計算：

其中Ai是加速度，N是動作總次數。

因此透過穿戴式虛擬實境套件包含的控制器與動作感測套組、以及神經行為感測器，可以感測並收集到受測者因應注意力測試的反應與神經行為指標等資料，這些資料將輸入注意力評估電腦輔助診斷模型進行診斷評估。

第8圖係揭示本發明注意力評估電腦輔助診斷模型之建構流程示意圖；本發明注意力評估電腦輔助診斷模型主要是以選擇性加權合併的方式，涵括下表的三類型的評估結果，大致涵蓋評估量表、測試任務表現以及神經行為感測等三大面向，每一類資料分別有不同的細節指標，如下述表2所列示。

表2：

注意力評估電腦輔助診斷模型係經由以下步驟建立，分述如下：

(1)評估各項指標對於注意力區分之顯著性的分析，首先對 於表2所列的各項指標，針對ADHD兒童以及健康兒童兩個群體，以t-test進行檢定，探索哪些指標對於ADHD兒童以及健康兒童的區分具有顯著性。

(2)以主成分分析法篩選與識別關鍵的評估指標，為了改善並增進後續評估運算的效能，對於具有高維度特性的資料指標，必須進行關鍵評估指標的識別。本發明提出以主成分分析法進行分析，篩選與識別關鍵的評估指標。

(3)以機器學習方法訓練以建立注意力評估電腦輔助診斷模型，保留R的特徵值大於1的且具統計顯著性的關鍵評估指標，使用機器學習方法訓練關鍵評估指標，建立ADHD兒童以及健康兒童的分類器，作為注意力評估電腦輔助診斷模型。

機器學習方法較佳選自深度學習(deep learning)演算法、類神經網路(ANN)演算法、深度神經網路(DNN)演算法、遞歸神經網路(RNN)演算法、卷積神經網路(CNN)演算法、卷積遞歸神經網路(CRNN)演算法、生成對抗網路(GAN)演算法、深度信念網路(DBN)演算法、全卷積神經網路(FCN)演算法、多列卷積神經網路(MCNN)演算法、遞歸神經網路(RNN)演算法、雙向神經網路(BRNN)演算法、深層循環神經網路(DRNN)演算法、殘差網路(DRN)演算法、限制玻爾茲曼機(RBM)演算法、多層感知(MLP)演算法、自編碼器演算法、注意力網路演算法、梯度提升樹方法、強梯度提升機方法、弱梯度提升機方法、回歸樹方法、隨機森林方法、決策樹方法、弱學習方法、強學習方法、強投票方法、弱投票方法、支援向量機(support vector machines)分類器、關聯法則及其組合其中之一。

將具有統計顯著性的關鍵評估指標切割為訓練集(training set)與測試集(test set)，交由機器學習(machine learning)技術大量讀取、辨識、學習和訓練，以找出隱含在這些關鍵評估指標中之關聯性與分類法則，以反覆訓練機器學習方法找出一套評估診斷模式與決策模式。

針對干擾源對於注意力之影響係經由實施以下步驟而評估：

(1)整體干擾對於健康兒童的注意力影響，對於表2所列關於測試任務表現以及神經行為感測的評估指標，使用健康兒童的資料，按測試的兩徊階段(無干擾/有干擾)分別運算該階段的評估指標，以t-test進行檢定，可分辨出哪些指標對於無干擾狀態以及有干擾狀態的差異具有顯著性。

(2)整體干擾對於ADHD兒童的注意力影響，對於表2所列關於測試任務表現以及神經行為感測的評估指標，使用ADHD兒童的資料，按測試的兩個階段(無干擾/有干擾)分別運算該階段的評估指標，以t-test進行檢定，可分辨出哪些指標對於無干擾狀態以及有干擾狀態的差異具有顯著性。

(3)個別干擾對於健康兒童的注意力影響，對於健康兒童有干擾階段的資料，每一個干擾出現前2秒、干擾出現期問、出現後2秒等三個時間段落，分別運算表2所列關於測試任務表現以及神經行為感測的評估指標，以單因子變異數分析(one-way ANOVA)，探討該干擾出現前、中、後的差異表現。

(4)個別干擾對於ADHD兒童的注意力影響，對於ADHD兒童有干擾階段的資料，每一個干擾出現前2秒、干擾出現期間、出現後2秒的三個時間段落，分別運算表2所列關於測試任務表現以及神經行為感測的評估指標，以單因子變異數分析(one-way ANOVA)，探討該干擾出現前、中、 後的差異表現。

第9圖係揭示本發明注意力缺陷虛擬實境自動化診斷系統之系統架構視圖(view)；小結而言，本發明提出的注意力缺陷虛擬實境自動化診斷系統1係包含：穿戴式虛擬實境套件10、神經行為感測套件20以及運算單元30等模組，穿戴式虛擬實境套件10包含頭戴式VR顯示裝置11、控制器12、以及動作感測套組13等元件，穿戴式虛擬實境套件10經配置向使用者展示虛擬實境以向使用者實施至少一種注意力測試方法，並感測與收集使用者應對該至少一種注意力測試方法之任務表現與量表表現。

神經行為感測套件20則包含腦波感測器21、眼球軌跡追蹤器22、頭部動作感應器23、肢體動作感應器24等元件，神經行為感測套件20經配置量測使用者應對該至少一種注意力測試方法的神經行為表現，而運算單元30內安裝一個注意力評估電腦輔助診斷模型31，經配置向穿戴式套件10提供該虛擬實境，並執行注意力評估電腦輔助診斷模型31以選擇性加權合併量表表現、任務表現以及神經行為表現，以綜合評估使用者的注意力缺陷程度。

第10圖係揭示本發明注意力缺陷虛擬實境自動化診斷方法之實施步驟流程圖；小結而言，本發明注意力缺陷虛擬實境自動化診斷方法200，較佳包含下列步驟：透過一穿戴式虛擬實境套件在一虛擬實境中向一受測者展示與實施至少一種注意力測試方法(步驟201)；在該虛擬實境中置入一注意力測試任務模組、一干擾測試模組、以及該神經行為感測套件(步驟202)；經由該注意力測試任務模組指揮該虛擬實境對該受測者實施該至少一種注意力測試方法(步驟203)；經由該干擾測試模組在該至少一種注意力 測試方法實施過程中，對該受測者發出至少一干擾事件(步驟204)；在該至少一種注意力測試方法的實施過程同步實施至少一種評估量表診斷以及至少一種任務表現診斷(步驟205)；透過穿戴式虛擬實境套件感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現(步驟206)；透過神經行為感測套件量測該受測者因應該至少一種注意力測試方法的複數神經行為表現(步驟207)；執行注意力評估電腦輔助診斷模型以選擇性加權合併該等量表表現、該等任務表現以及該等神經行為表現以綜合評估該受測者的注意力缺陷程度(步驟208)。

本發明還包含至少以下優點：(1)VR虛擬教室模擬了台式教室場景，內含豐富的環境元素，具有較好的生態有效性；(2)將多個注意力測試任務嵌入VR虛擬教室，有別於一般單純的電腦測試環境；(3)VR虛擬教室設計了多種形態的環境干擾因素，可以人為控制環境干擾的種類、強度、頻率，有助於探索環境干擾對於注意力的影響；(4)VR虛擬教室測試環境整合多種神經感測設備，包括腦波、眼球軌跡追蹤、頭部轉動、肢體動作，可以同步量測注意力測試過程中的多種神經行為資料，這些資料可以更真實反應受測者的認知行為反應；(5)使用機器學習方法，同時整合評估量表、測試任務表現以及神經行為感測資料等多種不同形態的資料，建立自動化評估/輔助診斷模型；(6)結合統計方法和主成分分析法，從眾多的評估指標篩選出關鍵的評估指標，降低資料分析的維度，提高自動化評估/輔助診斷模型的準確度以及運算效能；以及(7)同步所有環境干擾事件以及多種神經感測設備，可以精準的探索每一個環境干擾事件對於注意力的影響。

本發明以上各實施例彼此之間可以任意組合或者替換，從而 衍生更多之實施態樣，但皆不脫本發明所欲保護之範圍，茲進一步提供更多本發明實施例如次：

實施例1：一種注意力缺陷虛擬實境自動化診斷方法，包含：透過穿戴式虛擬實境套件在虛擬實境中向受測者展示與實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現；透過神經行為感測套件量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及執行基於機器學習方法建構之注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

實施例2：如實施例1所述之注意力缺陷虛擬實境自動化診斷方法，還包含以下步驟其中之一：在該虛擬實境中置入注意力測試任務模組、干擾測試模組、以及該神經行為感測套件；經由該注意力測試任務模組指揮該虛擬實境對該受測者實施該至少一種注意力測試方法；經由該干擾測試模組在該至少一種注意力測試方法實施過程中，對該受測者發出至少一干擾事件；透過該神經行為感測套件量測該受測者與該虛擬實境進行互動過程所產生的複數神經行為表現；透過該穿戴式虛擬實境套件量測該受測者與該虛擬實境進行互動過程所產生的複數反應參數；以及在該至少一種注意力測試方法的實施過程同步實施至少一種評估量表診斷以及至少一種任務表現診斷，以基於該等反應參數分別評估該受測者因應該至少一種注意力測試方法的該等量表表現以及該等任務表現。

實施例3：如實施例1所述之注意力缺陷虛擬實境自動化診斷方法，其中該注意力評估電腦輔助診斷模型係經由實施以下步驟其中之一 而建立：對該等量表表現、該等任務表現以及該等神經行為表現之複數評估指標，實施統計顯著性檢定，以計算該等評估指標的顯著檢定值；對該等評估指標，實施統計主成分分析法，以計算該等評估指標的特徵值；以及選出該特徵值與該顯著檢定值皆高於門檻值的該等評估指標作為訓練集資料而輸入機器學習方法，經由訓練該機器學習方法而建立該等評估指標相對於注意力缺陷的關聯模式、診斷模式或者決策模式，以建立該注意力評估電腦輔助診斷模型。

實施例4：如實施例3所述之注意力缺陷虛擬實境自動化診斷方法，其中該機器學習方法係選自深度學習(deep learning)演算法、類神經網路(ANN)演算法、深度神經網路(DNN)演算法、遞歸神經網路(RNN)演算法、卷積神經網路(CNN)演算法、卷積遞歸神經網路(CRNN)演算法、生成對抗網路(GAN)演算法、深度信念網路(DBN)演算法、全卷積神經網路(FCN)演算法、多列卷積神經網路(MCNN)演算法、遞歸神經網路(RNN)演算法、雙向神經網路(BRNN)演算法、深層循環神經網路(DRNN)演算法、殘差網路(DRN)演算法、限制玻爾茲曼機(RBM)演算法、多層感知(MLP)演算法、自編碼器演算法、注意力網路演算法、梯度提升樹方法、強梯度提升機方法、弱梯度提升機方法、回歸樹方法、隨機森林方法、決策樹方法、弱學習方法、強學習方法、強投票方法、弱投票方法、支援向量機(support vector machines)分類器、關聯法則及其組合其中之一。

實施例5：如實施例1所述之注意力缺陷虛擬實境自動化診斷方法，其中該穿戴式虛擬實境套件還包含頭戴式虛擬實境顯示裝置、麥克風耳機組、控制器以及動作感測套組，該動作感測套組係選自光學位置追 蹤套組、紅外光位置追蹤套組、雷射光位置追蹤套組、超音波位置追蹤套組以及電磁式位置追蹤套組其中之一。

實施例6：如實施例1所述之注意力缺陷虛擬實境自動化診斷方法，其中該神經行為感測套件還包含腦波感測器、眼球軌跡追蹤器、頭部動作感應器以及肢體動作感應器其中之一，該等神經行為表現係為腦波指標、眼球軌跡追蹤、頭部轉動以及肢體動作其中之一。

實施例7：如實施例2所述之注意力缺陷虛擬實境自動化診斷方法，其中該至少一種注意力測試方法還包含音頻測驗、持續性表現測驗以及威斯康辛卡分類測驗，以分別檢測該受測者之選擇性注意力、持續性注意力以及執行功能。

實施例8：如實施例2所述之注意力缺陷虛擬實境自動化診斷方法，其中該等量表表現係基於CONNERS評估量表、SNAP-IV評估量表以及Weiss’s評估量表其中之一而評估。

實施例9：如實施例2所述之注意力缺陷虛擬實境自動化診斷方法，其中該干擾事件係選自教室外出現噪音之事件、教室內播放廣播之事件、打雷事件、教室內老師起立之事件、教室內有紙飛機飛過之事件、教室同學交頭接耳之事件、閃電事件、燃燒煙味事件、垃圾味事件、教室同學打哈欠之事件、教室外有人推門進入然後離關之事件、教室窗外出現嗚笛而過的消防車之事件以及教室內播放電視節目之事件其中之一。

實施例10：一種注意力缺陷虛擬實境自動化診斷系統，包含：穿戴式虛擬實境套件，經配置向受測者展示虛擬實境以向該受測者實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意 力測試方法之複數任務表現與複數量表表現；神經行為感測套件，經配置量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及運算單元，經配置向該穿戴式套件提供該虛擬實境，並執行基於機器學習方法建構之注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

本發明各實施例彼此之間可以任意組合或者替換，從而衍生更多之實施態樣，但皆不脫本發明所欲保護之範圍，本發明保護範圍之界定，悉以本發明申請專利範圍所記載者為準。

200:本發明注意力缺陷虛擬實境自動化診斷方法

201~208:實施步驟

Claims (10)

1. 一種注意力缺陷虛擬實境自動化診斷方法，包含：

   透過一穿戴式虛擬實境套件在一虛擬實境中向一受測者展示與實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現；

   透過一神經行為感測套件量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及

   執行基於一機器學習方法建構之一注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。
2. 如請求項1所述之注意力缺陷虛擬實境自動化診斷方法，還包含以下步驟其中之一：

   在該虛擬實境中置入一注意力測試任務模組、一干擾測試模組、以及該神經行為感測套件；

   經由該注意力測試任務模組指揮該虛擬實境對該受測者實施該至少一種注意力測試方法；

   經由該干擾測試模組在該至少一種注意力測試方法實施過程中，對該受測者發出至少一干擾事件；

   透過該神經行為感測套件量測該受測者與該虛擬實境進行互動過程所產生的複數神經行為表現；

   透過該穿戴式虛擬實境套件量測該受測者與該虛擬實境進行互動過程所產生的複數反應參數；以及

   在該至少一種注意力測試方法的實施過程同步實施至少一種評估量表診斷以及至少一種任務表現診斷，以基於該等反應參數分別評估該受測者因應該至少一種注意力測試方法的該等量表表現以及該等任務表現。
3. 如請求項1所述之注意力缺陷虛擬實境自動化診斷方法，其中該注意力評估電腦輔助診斷模型係經由實施以下步驟其中之一而建立：

   對該等量表表現、該等任務表現以及該等神經行為表現之複數評估指標，實施一統計顯著性檢定，以計算該等評估指標的一顯著檢定值；

   對該等評估指標，實施一統計主成分分析法，以計算該等評估指標的一特徵值；以及

   選出該特徵值與該顯著檢定值皆高於門檻值的該等評估指標作為一訓練集資料而輸入該機器學習方法，經由訓練該機器學習方法而建立該等評估指標相對於注意力缺陷的關聯模式、診斷模式或者決策模式，以建立該注意力評估電腦輔助診斷模型。
4. 如請求項1所述之注意力缺陷虛擬實境自動化診斷方法，其中該機器學習方法係選自一深度學習(deep learning)演算法、一類神經網路(ANN)演算法、一深度神經網路(DNN)演算法、一遞歸神經網路(RNN)演算法、一卷積神經網路(CNN)演算法、一卷積遞歸神經網路(CRNN)演算法、一生成對抗網路(GAN)演算法、一深度信念網路(DBN)演算法、一全卷積神經網路(FCN)演算法、一多列卷積神經網路(MCNN)演算法、一遞歸神經網路(RNN)演算法、一雙向神經網路(BRNN)演算法、一深層循環神經網路(DRNN)演算法、一殘差網路(DRN)演算法、一限制玻爾茲曼機(RBM) 演算法、一多層感知(MLP)演算法、一自編碼器演算法、一注意力網路演算法、一梯度提升樹方法、一強梯度提升機方法、一弱梯度提升機方法、一回歸樹方法、一隨機森林方法、一決策樹方法、一弱學習方法、一強學習方法、一強投票方法、一弱投票方法、一支援向量機(support vector machines)分類器、一關聯法則及其組合其中之一。
5. 如請求項1所述之注意力缺陷虛擬實境自動化診斷方法，其中該穿戴式虛擬實境套件還包含一頭戴式虛擬實境顯示裝置、一麥克風耳機組、一控制器以及一動作感測套組，該動作感測套組係選自一光學位置追蹤套組、一紅外光位置追蹤套組、一雷射光位置追蹤套組、一超音波位置追蹤套組以及一電磁式位置追蹤套組其中之一。
6. 如請求項1所述之注意力缺陷虛擬實境自動化診斷方法，其中該神經行為感測套件還包含一腦波感測器、一眼球軌跡追蹤器、一頭部動作感應器以及一肢體動作感應器其中之一，該等神經行為表現係為一腦波指標、一眼球軌跡追蹤、一頭部轉動以及一肢體動作其中之一。
7. 如請求項2所述之注意力缺陷虛擬實境自動化診斷方法，其中該至少一種注意力測試方法還包含一音頻測驗、一持續性表現測驗以及一威斯康辛卡分類測驗，以分別檢測該受測者之選擇性注意力、持續性注意力以及執行功能。
8. 如請求項2所述之注意力缺陷虛擬實境自動化診斷方法，其中該等量表表現係基於一CONNERS評估量表、一SNAP-IV評估量表以及一Weiss’s評 估量表其中之一而評估。
9. 如請求項2所述之注意力缺陷虛擬實境自動化診斷方法，其中該干擾事件係選自一教室外出現噪音之事件、一教室內播放廣播之事件、一打雷事件、一教室內老師起立之事件、一教室內有紙飛機飛過之事件、教室同學交頭接耳之事件、一閃電事件、一燃燒煙味事件、一垃圾味事件、一教室同學打哈欠之事件、一教室外有人推門進入然後離開之事件、一教室窗外出現嗚笛而過的消防車之事件以及一教室內播放電視節目之事件其中之一。
10. 一種注意力缺陷虛擬實境自動化診斷系統，包含：

    一穿戴式虛擬實境套件，經配置向一受測者展示一虛擬實境以向該受測者實施至少一種注意力測試方法，並感測與收集該受測者因應該至少一種注意力測試方法之複數任務表現與複數量表表現；

    一神經行為感測套件，經配置量測該受測者因應該至少一種注意力測試方法的複數神經行為表現；以及

    一運算單元，經配置向該穿戴式套件提供該虛擬實境，並執行基於一機器學習方法建構之一注意力評估電腦輔助診斷模型，以根據該等量表表現、該等任務表現以及該等神經行為表現綜合評估該受測者的注意力缺陷程度。

Images