TWI605862B - 可偵測認知功能的個人化遊戲系統 - Google Patents

可偵測認知功能的個人化遊戲系統 Download PDF

Info

Publication number
TWI605862B
TWI605862B TW105123917A TW105123917A TWI605862B TW I605862 B TWI605862 B TW I605862B TW 105123917 A TW105123917 A TW 105123917A TW 105123917 A TW105123917 A TW 105123917A TW I605862 B TWI605862 B TW I605862B
Authority
TW
Taiwan
Prior art keywords
cognitive
game
user
level
correlation
Prior art date
Application number
TW105123917A
Other languages
English (en)
Other versions
TW201803631A (zh
Inventor
陳彥廷
侯春茹
黃敏偉
周珈穎
王襄
Original Assignee
南臺科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南臺科技大學 filed Critical 南臺科技大學
Priority to TW105123917A priority Critical patent/TWI605862B/zh
Application granted granted Critical
Publication of TWI605862B publication Critical patent/TWI605862B/zh
Publication of TW201803631A publication Critical patent/TW201803631A/zh

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

可偵測認知功能的個人化遊戲系統
本發明係有關於一種可偵測認知功能的個人化遊戲系統,尤指一種可改善高齡者在感知功能缺損,在人口老化與罹患慢性疾病比率提高情況下,醫療與長期照護服務的需求大幅增加,藉由本發明之生理資訊監測、體感遊戲等功能,能及早發現失智傾向,瞭解退化程度,透過多媒體遊戲系統的互動活化大腦,可以延緩失智速度,並改善及預防失智症的症狀為其應用發明者。
按,現代醫藥科技的進步及人民所得的提升,使國人平均壽命延長,使得「高齡化」已成為普遍的社經現象,高齡者在正常老化的歷程,必須面對生理機能的退化(感知功能缺損、慢性疾病等)、精神與心理層面的變化(失智症、精神疾病或社交障礙等)。綜合國家平均壽命延長、人口老化與罹患慢性疾病比率提高、老年疾病與功能缺損的情形上升,促使社會照顧需求、醫療與長期照護服務的需求大幅增加。面對數量龐大的在地老化的老年族群,如何妥善運用研究科技於社會、生活、經濟及醫療等環境,讓老人在身心靈各方面都能受到妥善的安排與規畫,是目前最重要的課題。
人類平均壽命雖然逐年增長,然而壽命延長並不代表健康狀況良好,就以失智症而言,失智症的徵兆經常伴隨老年憂鬱,通常會因心態不平衡而開始對自己生活的意義及樂趣產生否定或懷疑,進而影響生活滿意度及生活品質,甚至出現自殺、自傷等問題。失智症(Dementia)通常用於描述認知功能退化至損害社交和職業功能,其進展非常緩慢,需要數年的時間才會發生,而在各種明顯的損害出現之前,可以充分察覺到認知和行為輕微缺損,例如阿茲海默型(Alzheimer's disease,AD)失智症即為符合次項診斷準則的失智症類型之一;因此若大量的高齡人口罹患失智症,將會是因個人的生理功能的衰退而引發心理、甚至社會的重大問題。
今,發明人秉持多年該相關行業之豐富設計開發及實際製作經驗,針對現有之技術再予以研究改良,提供一種可偵測認知功能的個人化遊戲系統,以期可改善高齡者在感知功能缺損,達到改善及預防失智症的症狀的更佳實用價值性之目的者。
本發明之主要目的在於提供一種可改善高齡者在感知功能缺損,在人口老化與罹患慢性疾病比率提高情況下,醫療與長期照護服務的需求大幅增加,藉由本發明之生理資訊監測、體感遊戲等功能,能及早發現失智傾向,瞭解退化程度,透過多媒體遊戲系統的互動活化大腦,可以延緩失智速度,並可改善及預防失智症的症狀為其目的。
本發明可偵測認知功能的個人化遊戲系統主要目的與功效,係由以下具體技術手段所達成: 主要包含有體感偵測模組、身份辨識與遊戲紀錄模組、遊戲關卡成績模組及認知功能分析模組;在系統中利用體感感測技術,能開發適合高齡者的遊樂系統,同時透過顏面辨識的技巧,自動記錄使用者的身份,也可以輔助發現認知功能缺損,進一步系統以角色扮演的方式,吸引高齡者通過層層關卡,在遊戲過程中,分析偵測使用者的反應行為,透過統計分析的技巧了解心理認知功能的變化;藉此,能及早發現失智傾向,瞭解退化程度,透過多媒體遊戲系統的互動活化大腦,可以延緩失智速度,達到改善及預防失智症症狀的功效。
本發明可偵測認知功能的個人化遊戲系統的較佳實施例,其中該體感偵測模組主要為由影像偵測器(kinect)自動擷取使用者的姿態及手勢,用於偵測使用者在進行關卡時的姿態動作與反應,並推算使用者在虛擬的3D空間位置,以利關卡進行。
本發明可偵測認知功能的個人化遊戲系統的較佳實施例,其中該身份辨識與遊戲紀錄模組能透過影像偵測器(kinect)直接擷取現場照片,並結合影像偵測器(kinect)定位的肢體位置,擷取在照片中的顏面照片,將所取得顏面照片,透過顏面辨識法則,於系統資料庫中比對所有使用者的照片,取出正確使用者的身份資料及遊戲紀錄,並且可將遊戲紀錄歷史更新。
本發明可偵測認知功能的個人化遊戲系統的較佳實施例,其中該遊戲關卡成績模組為紀錄使用者於各遊戲關卡的答題速度、肢體反應(包含反應時間、手部的座標變化、動作速度、手部角度等)、正確率及答題時間等參數者。
本發明可偵測認知功能的個人化遊戲系統的較佳實施例,其中該認知功能分析模組具備有:(a)遊戲關卡與認知功能性分析,各關卡的分數與簡短智能測驗(MMSE)的問卷結果,運用統計分析的方法,分析各關卡的闖關 表現與認知力的相關性;(b)反應參數與認知功能性分析,各關卡的肢體反應參數紀錄與MMSE的問卷結果,運用統計分析的方法,分析肢體反應參數與認知力的相關性;(c)認知功能分析,透過(a)(b)的分析,分析遊戲者的認知力。
本發明可偵測認知功能的個人化遊戲系統的較佳實施例,其中該影像偵測器包含有一彩色攝影鏡頭、一紅外線發射器、一CMOS攝影鏡頭以及一陣列麥克風者。
(1)‧‧‧體感偵測模組
(2)‧‧‧身份辨識與遊戲紀錄模組
(3)‧‧‧遊戲關卡成績模組
(4)‧‧‧認知功能分析模組
(A)‧‧‧電子裝置
(B)‧‧‧影像偵測器
(C)‧‧‧投影布幕
(D)‧‧‧投影機
第一圖:本發明之架構示意圖
第二圖:本發明之系統架設示意圖
第三圖:本發明之系統操作示意圖
第四圖:本發明之實驗流程操作示意圖
為令本發明所運用之技術內容、發明目的及其達成之功效有更完整且清楚的揭露,茲於下詳細說明之,並請一併參閱所揭之圖式及圖號:首先,本發明實際運用技術與手段,請參閱第一~三圖所示,其係架構在一電子裝置(A)中,且該電子裝置(A)連結一影像偵測器(B),該系統包含有:一體感偵測模組(1),主要為由影像偵測器(B)(kinect)自動擷取使用者的姿態及手勢,用於偵測使用者在進行關卡時的姿態動作與反應,並推算使用者在虛擬的3D空間位置;進一步該影像偵測器(B)包含有一彩色攝影鏡頭、一紅外線發射器、一CMOS攝影鏡頭以及一陣列麥克風。
一身份辨識與遊戲紀錄模組(2),係透過影像偵測器(B)(kinect)直接擷取現場照片,並結合影像偵測器(B)(kinect)定位的肢體位置,擷取在照 片中的顏面照片,將所取得顏面照片,透過顏面辨識法則,於系統資料庫中比對所有使用者的照片,取出正確使用者的身份資料及遊戲紀錄,並且可將遊戲紀錄歷史更新;一遊戲關卡成績模組(3),為紀錄使用者於各遊戲關卡的答題速度、肢體反應(包含反應時間、手部的座標變化、動作速度、手部角度等)、正確率及答題時間之參數;一認知功能分析模組(4),為用來分析各關卡的闖關表現與認知力的相關性、分析肢體反應參數與認知力的相關性及分析遊戲者的認知力者。
於實際實施時,請參閱第一~二圖所示,其影像偵測器(B)採用Kinect互動式體感感測器,而電子裝置(A)採用PC/NB電腦設備,進一步更包含有投影布幕(C)與投影機(D)器材設備等。讓使用者位於投影布幕(C)前方觀看遊戲介面,而Kinect感測器與使用者距離約3-4公尺,可偵測認知功能的個人化遊戲系統之軟體安裝於電子裝置(A)〔PC/NB電腦設備〕中,且與Kinect感測器連結,並將螢幕轉接至投影機(D)。
本發明系統操作流程,係如第三圖所示,其流程包含:使用者身分自動辨識與登錄、關卡說明內容、可偵測認知功能的多重關卡遊戲、使用者操作表現記錄資料庫等。為了降低使用該系統的高齡者操作複雜度,該系統仍沿用先前的研究所採用的身分辨識法則,詳細演算法不再贅述。
進行遊戲之前,先利用該系統之身份辨識與遊戲紀錄模組(2),透過影像偵測器(B)(kinect)直接擷取現場照片,並結合影像偵測器(B)(kinect)定位的肢體位置,擷取在照片中的顏面照片,將所取得顏面照片,以顏面辨識技巧的方式辨識身份,首先先使用膚色及臉型等特徵篩選出所拍攝影像的顏面位 置,排除非人臉的影像部位後,利用尺度不變特徵轉換換(Scale Invariant Feature Transform,SIFT)運算元為自動產生顏面影像特徵點的方法,SIFT算法是一種提取局部特徵的算法,在尺度空間尋找極值點,演算法的主要特色:
a.圖像的局部特徵,其對旋轉、尺度縮放、亮度變化保持不變性,對視角的變化、鏡射變換、雜訊保持著一定程度的穩定性。
b.獨特性(Distinctiveness)佳,信息量豐富,適用於大量的特徵資料庫中進行快速、準確的匹配。
c.多量性,即使少量物體也可以產生大量SIFT特徵向量。
d.高速性,經過優化的SIFT匹配算法甚至可以達成即時匹配的能力。
e.可擴展性,可以很方便的與其他形式的特徵向量進行聯合。
如同上述透過顏面辨識法則,於資料庫中比對所有使用者的照片,取出正確使用者的身份資料及遊戲紀錄;當然,上述顏面辨識法則為列舉其一方式法則,亦可採其他辨識法則。
當確認身份之後遊戲開始,本發明可偵測認知功能的個人化遊戲系統中的遊戲關卡成績模組(3)透過簡易的故事劇情,設計與呈現具有各種認知功能偵測、評估與訓練的關卡,檢測六大項認知能力。藉由關卡所隱含認知意義的內容,獲得使用者操作關卡遊戲過程的各項參數,包含:動作紀錄、反應時間、決策結果等,並記錄到系統資料庫,提供後端進行認知功能狀況的評估與分析;以下係舉例說明關卡設計與操作方式:
A.第一關卡:招募盟友-故事劇情說明操作方式,當一同冒險的夥伴進入城門過程,使用者向陸陸續續前來的同伴打招呼示意歡迎,等待所有同 伴都進入屋子討論冒險細節。測驗使用者對於語音說明的口語理解與行為能力,以及注意力。
B.第二關卡:尋跡探寶-經歷一番驚險刺激的冒險,終於找到神祕的寶箱,身為隊長的你(使用者)代表全體向前打開寶箱,測驗使用者對於語音說明的口語理解與行為能力,以及注意力;行走距離約為1公尺,並觀察使用者步行過程的狀態。
C.第三關卡:臨門一腳-然而期望打開寶箱,必須找到合對大鎖的鑰匙,使用者是否能選出吻合的鑰匙呢?測驗使用者口語理解與行為能力、注意力,以及系統提示鑰匙類別的記憶力。此關卡操作紀錄反應時間以及答題次數。
D.第四關卡:有福同享-這趟冒險滿載而歸,身為隊長的你(使用者)需公平的均分寶物給每位隊友,感謝這趟旅程的合作與貢獻。測驗使用者對於語音說明的口語理解與行為能力,以及注意力;以及計算能力。
E.第五關卡:喜出望外-有了豐厚的財寶,大夥們討論一起出遊放鬆心情,身為隊長的你(使用者)統籌大家的意見,並正確的指示出要前往的地點。測驗使用者對於語音說明的口語理解與行為能力、注意力、以及定向感。系統將說出一段即將要去的場景地點,受測者須依照系統提示憑藉個人能力指出。
然而,系統所發展的各樣遊戲均具有特定的認知功能偵測。如表1列出本系列計畫所設計的遊戲與認知功能的對應關係,其中每項遊戲的設計內容可以偵測得到對於不同認知功能的表現。因此只要由遊戲歷程所記錄的遊戲資訊,便可了解遊戲使用者的認知反應在不同功能面向的表現。
實驗:共收集29位,其中,19位受測者為一般失智老年人,另10位受測者則因實驗討論時,認為曾患有「思覺失調症」(Schizophrenia)老年人也會具有失智現象,故於同樣的實驗條件下進行收錄,一併進行分析與觀察。
當在每位受測者之實驗資料收集分兩個步驟進行:(1)臨床認知功能障礙評估:由臨床心理師依照MMSE量表六項認知功能評估項目,評估受測者之MMSE分數;(2)利用本發明遊戲系統評估:對每位受測者詳細說明各關卡遊戲的操作方式,當受測者開始玩遊戲時,系統會自動記錄受測者玩遊戲時的反應時間和分數[請參閱第四圖所示]。
之後,經由系統中的認知功能分析模組(4)來分析:(a)遊戲關卡與認知功能性分析,各關卡的分數與簡短智能測驗(MMSE)的問卷結果,運用統計分析的方法,分析各關卡的闖關表現與認知力的相關性;如表2,實驗結果可對應MMSE量表中的注意力與計算能力此兩項認知功能:
(b)反應參數與認知功能性分析,各關卡的肢體反應參數紀錄與MMSE的問卷結果,運用統計分析的方法,分析肢體反應參數與認知力的相關性;而反應參數的分析變項包含反應時間、平均反應時間、評量項目總分和評量項目正確率。其定義如下:反應時間:受測者在每關卡題目操作過程,對評估系統做出回應所花費的時間。平均反應時間:每項認知功能項目評估受測者所花費的平均時間。評量項目總分:每項認知功能項目評估受測者系統評估功能分數。評量項目正確率:每項認知功能項目評估,依MMSE評估認知功能障礙程度,受測者在評估系統分數的正確百分比。
最後,再利用Spearman等級相關分析本系統與MMSE分數之間的相關性,探討系統在注意力和計算能力兩項功能上與MMSE分數具有顯著相關,如此,完成(c)認知功能分析,透過(a)(b)的分析,分析遊戲者的認知力。經過Speqarman等級相關分析結果顯示,遊戲與MMSE評估分數在注意力以及計算能力的認知功能項目,是具有正相關性。
然而前述之實施例或圖式並非限定本發明之產品結構或使用方式,任何所屬技術領域中具有通常知識者之適當變化或修飾,皆應視為不脫離本發明之專利範疇。
綜上所述,本發明實施例確能達到所預期之使用功效,又其所揭露之具體構造,不僅未曾見諸於同類產品中,亦未曾公開於申請前,誠已完全符合專利法之規定與要求,爰依法提出發明專利之申請,懇請惠予審查,並賜准專利,則實感德便。
(1)‧‧‧體感偵測模組
(2)‧‧‧身份辨識與遊戲紀錄模組
(3)‧‧‧遊戲關卡成績模組
(4)‧‧‧認知功能分析模組

Claims (6)

  1. 一種可偵測認知功能的個人化遊戲系統,其係架構在一電子裝置中,且該電子裝置連結一影像偵測器,該系統包含有:一體感偵測模組,主要為由影像偵測器自動擷取使用者的姿態及手勢,用於偵測使用者在進行關卡時的姿態動作與反應,並推算使用者在虛擬的3D空間位置;一身份辨識與遊戲紀錄模組,係透過影像偵測器直接擷取現場照片,並結合影像偵測器定位的肢體位置,擷取在照片中的顏面照片,將所取得顏面照片,透過顏面辨識法則,於資料庫中比對所有使用者的照片,取出正確使用者的身份資料及遊戲紀錄,並且可將遊戲紀錄歷史更新;一遊戲關卡成績模組,係包含複數個遊戲關卡,且紀錄使用者於各遊戲關卡的答題速度、肢體反應、正確率及答題時間之參數,其中該遊戲關卡係用以評估至少兩種以上之認知力;一認知功能分析模組,為用來分析使用者於各關卡的闖關表現與認知力的相關性、分析使用者的肢體反應參數與認知力的相關性及分析遊戲使用者的認知力者,其中該認知力係指使用者之注意力、記憶力、口語理解行為能力、建構力、運算能力與定向感。
  2. 如申請專利範圍第1項所述之可偵測認知功能的個人化遊戲系統,其中該影像偵測器包含有一彩色攝影鏡頭、一紅外線發射器、一CMOS攝影鏡頭以及一陣列麥克風者。
  3. 如申請專利範圍第1或2項所述之可偵測認知功能的個人化遊戲系統,其中該遊戲關卡成績模組中所述之肢體反應包含有反應時間、手部的座標變化、動作速度、手部角度進行記錄。
  4. 如申請專利範圍第1項所述之可偵測認知功能的個人化遊戲系統,其中該認知功能分析模組利用遊戲關卡與認知功能性分析,將各關卡的分數與簡短智能測驗(MMSE)的問卷結果,經統計分析各關卡的闖關表現與認知力的相關性者。
  5. 如申請專利範圍第4項所述之可偵測認知功能的個人化遊戲系統,其中該認知功能分析模組利用反應參數與認知功能性分析,將各關卡的肢體反應參數紀錄與簡短智能測驗(MMSE)的問卷結果,經統計分析肢體反應參數與認知力的相關性者。
  6. 如申請專利範圍第5項所述之可偵測認知功能的個人化遊戲系統,其中該認知功能分析模組中用來分析遊戲者的認知力係透過分析使用者於各關卡的闖關表現與認知力的相關性及分析使用者的肢體反應參數與認知力的相關性二者之結果後再分析而得。
TW105123917A 2016-07-28 2016-07-28 可偵測認知功能的個人化遊戲系統 TWI605862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105123917A TWI605862B (zh) 2016-07-28 2016-07-28 可偵測認知功能的個人化遊戲系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105123917A TWI605862B (zh) 2016-07-28 2016-07-28 可偵測認知功能的個人化遊戲系統

Publications (2)

Publication Number Publication Date
TWI605862B true TWI605862B (zh) 2017-11-21
TW201803631A TW201803631A (zh) 2018-02-01

Family

ID=61023195

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105123917A TWI605862B (zh) 2016-07-28 2016-07-28 可偵測認知功能的個人化遊戲系統

Country Status (1)

Country Link
TW (1) TWI605862B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816213A (zh) * 2018-12-29 2019-05-28 前锦网络信息技术(上海)有限公司 一种基于认知的游戏化人才测评系统和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI791323B (zh) * 2021-11-11 2023-02-01 朝陽科技大學 以人機互動遊戲預測簡易心智量表(mmse)分數的方法及電腦程式產品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201424692A (zh) * 2012-12-28 2014-07-01 zhong-zhi Lin 具有心智功能指標分析之系統
TW201606693A (zh) * 2014-08-08 2016-02-16 Univ Nan Kai Technology 具遠距監控之物理肢體復健系統及方法
TWI531396B (zh) * 2010-06-21 2016-05-01 微軟技術授權有限責任公司 用於推動互動故事的自然使用者輸入

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI531396B (zh) * 2010-06-21 2016-05-01 微軟技術授權有限責任公司 用於推動互動故事的自然使用者輸入
TW201424692A (zh) * 2012-12-28 2014-07-01 zhong-zhi Lin 具有心智功能指標分析之系統
TW201606693A (zh) * 2014-08-08 2016-02-16 Univ Nan Kai Technology 具遠距監控之物理肢體復健系統及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816213A (zh) * 2018-12-29 2019-05-28 前锦网络信息技术(上海)有限公司 一种基于认知的游戏化人才测评系统和方法

Also Published As

Publication number Publication date
TW201803631A (zh) 2018-02-01

Similar Documents

Publication Publication Date Title
US20210000404A1 (en) Systems and methods for automated recognition of bodily expression of emotion
Kaur et al. Prediction and localization of student engagement in the wild
Gupta et al. Daisee: Towards user engagement recognition in the wild
Rajagopalan et al. Self-stimulatory behaviours in the wild for autism diagnosis
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
Jaiswal et al. Muse: a multimodal dataset of stressed emotion
Goncalves et al. Projective testing of diurnal collective emotion
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
EP3897388A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
TWI605862B (zh) 可偵測認知功能的個人化遊戲系統
Steinert et al. Towards engagement recognition of people with dementia in care settings
Dhamija et al. Exploring contextual engagement for trauma recovery
Antonio Gomez Jauregui et al. Design and evaluation of postural interactions between users and a listening virtual agent during a simulated job interview
Zhang et al. Correlating speaker gestures in political debates with audience engagement measured via EEG
Singh et al. Do i have your attention: A large scale engagement prediction dataset and baselines
Guo et al. Social visual behavior analytics for autism therapy of children based on automated mutual gaze detection
Aigrain Multimodal detection of stress: evaluation of the impact of several assessment strategies
Soleymani et al. Behavioral and physiological responses to visual interest and appraisals: Multimodal analysis and automatic recognition
Buck et al. Measuring the dynamic stream of display: Spontaneous and intentional facial expression and communication.
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
Saha et al. A survey on image acquisition protocols for non-posed facial expression recognition systems
TWI603303B (zh) 運用懷舊體驗之認知偵測及情緒抒發系統
Soleymani Implicit and Automated Emtional Tagging of Videos
Yagi et al. Behavior understanding based on intention-gait model
Guhan et al. Developing an effective and automated patient engagement estimator for telehealth: A machine learning approach