TWI362632B - - Google Patents

Download PDF

Info

Publication number
TWI362632B
TWI362632B TW097103671A TW97103671A TWI362632B TW I362632 B TWI362632 B TW I362632B TW 097103671 A TW097103671 A TW 097103671A TW 97103671 A TW97103671 A TW 97103671A TW I362632 B TWI362632 B TW I362632B
Authority
TW
Taiwan
Prior art keywords
care
caretaker
camera
human body
host computer
Prior art date
Application number
TW097103671A
Other languages
English (en)
Other versions
TW200933538A (en
Inventor
Chi Yi Tsai
Fu Sheng Huang
Chen Yang Lin
Zhi Sheng Lin
Chun Wei Chen
Kai Tai Song
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW097103671A priority Critical patent/TW200933538A/zh
Priority to US12/062,843 priority patent/US8214082B2/en
Publication of TW200933538A publication Critical patent/TW200933538A/zh
Application granted granted Critical
Publication of TWI362632B publication Critical patent/TWI362632B/zh

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Alarm Systems (AREA)

Description

1362632 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種具有看護能力的自主式系統。 【先前技術】 已知有一種自動化個人輔助機器人(autonomous personal service r〇b〇t, US 7,225,203 ),其主要有偵測外在 環境’例如煙、熱和二氧化碳含量,可以提供藥品和量測 血壓等功能及具有一些和冰箱、音響連結的功能。但對於 被看護者本身的監控方面比較不足,無法及時掌握被看護 者身體不適的狀況。 另外,還有一種機器人移動平台(medical tele-robotic system,US 7,2 18,992),內含有機器手臂、螢幕和網路攝影 機(webcam)等溝通介面,可以遠端提醒被看護者服用藥 物’主要此機器人有一手臂可以代替遠端被看護者拿取物 體。雖然此機器人提供手臂拿取的功能,但是機器人本身 主要還是要靠遠端遙控,無法自主定位和導航。 此外,相關文獻方面,還有: [1 ] B. Graf, M. Hans, J. Kubacki and R. D. Schraft "Robotic home assistant Care-O-Robot, "in Proc. of the second joint EABS/BMES conference, Houston, USA, 2002, pp. 2343-2344.
[2 ] Z. Dehuai, X. Cunxi and L. Xuemei "Design and implementation of internet based health care robot system," in Proc. of Λε 2005 IEEE Engineering in Medicine and Biology 27th Annual Conference, Shanghai, China, 2005, pp. 577-580. 但文獻[1]與[2]的機器人著重在自主巡邏、陪伴或協助 1362632 被看護者的性質,缺乏危機處理功能,若被看護者發生意 外,機器人並無從得知,也無法採取相關的措施。 【發明內容】 [本發明欲解決之問題] 爲了解決上述問題,本發明之目的在於提供一種看護 系統,用以協助看護被看護者(例如:老人、小孩或病患), 使被看護者在發生緊急情況(如不慎跌倒)時,可以立刻通 知相關人員(例如:家屬或醫護人員)。 [解決問題之方法] 本發明係提供一種看護系統,其特徵爲具備:看護設 備,其具有:主電腦,用以控制整個看護設備:攝影機及 頭部運動機構,而該攝影機架設在該頭部運動機構上,並 由受到該主電腦之控制的頭部運動機構,而可進行多個角 度方向的轉動,用以擷取影像信號至該主電腦;移動平台, 其受控於該主電腦,用以使該看護設備移動:Zigbee模組, 用以接收來自後述無線感測網路之信號,並傳輸至該主電 腦;雷射掃描儀,用以偵測該看護設備周圍的障礙物,並 將資料傳輸至該主電腦;及輸入輸出裝置,其連接於該主 電腦,用以讓使用者與該看護設備進行溝通;人體姿態辨 識模組,其搭載於被看護者身上,且基於三軸加速度計來 判斷人體的姿態,以判斷被看護者是否發生跌倒,並產生 判斷結果信號;以及無線感測網路,其接收來自該人體姿 態辨識模組的判斷結果信號,並轉送至該看護設備。 [發明效果] 1362632 本發明結合了看護設備與佈建在環境中的無線感測節 點及配戴在被看護者身上的姿態辨識模組,使看護系統能 即時偵測被看護者的狀況並主動巡航至被看護者身邊,追 蹤人臉並以無線網路傳送即時影像通知家屬或醫護人員, 讓受傷的被看護者能更及時得到救援。 【實施方式】 <硬體架構>
本實施例之看護系統係架構在一個Zigbee無線感測網 路的環境之下,該系統之特徵爲具備機器人本體1〇〇、 Zigbee無線感測網路200及人體姿態辨識模組300。 以下將詳細描述之實施例的各機制之構成及操作細 節。 首先,在機器人本體(Robot of Living Aid,以下簡稱 RoLA) 100方面,如第1圖左側所示,建構在雙獨立驅動輪 式之移動平台106上’並控制移動機構1〇6的兩個馬逹速 度來使機器人在平面上運動;在該移動平台106後方另有 一被動式自由輪,三輪式的設計使R〇LA 100能夠平順穩定 的在室內環境中移動。
RoLA 100之頭部爲馬達驅動之旋轉-俯仰(pan_tiit)機 構102,其上搭載有網路攝影機(webcam) 1〇1,可控制攝影 機上下、左右轉動,用以實現人臉追蹤控制的功能。R〇LA 100前方下端裝有一雷射掃描儀1〇7,用來偵測前方的障礙 物以進行閃避,機器人之主電腦1〇4則採用工業型單板電 腦’其具有體積小及耗電量低的優點,適合應用在移動式 1362632 機器人上。RoLA 100上之Zigbee模組105作爲 Zigbee無線感測網路200之接收端。RoLA 100 觸控式螢幕103,便於與人互動。 接著,在人體姿態辨識模組300方面,本 以Zigbee無線感測網路200爲傳輸媒介,藉以 者301的人體姿態資訊給R〇LA 100。此人體姿 包含Zigbee RF晶片、微控制器及三軸加速度言i 組上的三軸加速度計可感測人體的加速度,進 • 下被看護者301的人體姿態。 在Zigbee無線感測網路200方面,其係由 Zigbee感測節點N1~N5所構成,並與被看護者 的人體姿態辨識模組300形成一個完整的感測 如第1圖右側所示,在此Zigbee無線感測網路 體姿態辨識模組300的資訊可透過節點N1~N5 RoLA 100的Zigbee模組105,以進行各種資料 <偵測方法> # 首先,將人體姿態辨識模組300配置於人 以此位置的加速度値來代表整個人體重心狀態 方、上方及後方分別定義爲X軸、Y軸及Z軸 度計可以感測到人體的動態加速度以及由地心 力加速度,而跌倒這個姿態只與人體產生的動 關。因此需要先將加速度訊號經過前置處理, 度與靜態加速度分離’並採用動態加速度訊號 倒的偵測。 接收環境中 前方更具有 實施例中是 提供被看護 態辨識模組 。透過此模 而判斷出當 環境中多個 3 0 1所配戴 網路架構。 200中,人 輾轉傳回給 的判讀。 體的腰部, 。將人體右 。三軸加速 引力產生重 態加速度有 使動態加速 用來進行跌 1362632 <訊號前置處理> 人體的運動頻率一般是小於20Hz,本實施例採用的取 樣頻率爲128Hz,在本實施例中則選擇每收集兩秒的資料 作一次姿態演算法的處理流程,亦即每256筆資料作一次 處理。利用小波轉換(wavelet transform)來計算出靜態加速 度,因爲取得的資料有25 6筆,可以作8層的Haar小波轉 換,在此只取最低頻的一層,即代表0〜〇.25Hz的小波係數, 將其還原到時域,代表此兩秒鐘的D C成分,則以原始加 • 速度訊號減去靜態加速度訊號而獲得動態加速度。第2圖 爲經過小波轉換動態與靜態加速度之結果。 <跌倒的判定> 由於跌倒產生的動態加速度遠大於身體的其他動作, 若將跌倒時的動態加速度以信號強度向量(signal magnitude vector,SMV)將動態加速度量化,根據實測資 料,當SMV>3.24便可能是跌倒的發生。 SMV — dynamic dynamic dynamic ( 1 ) 上式中\s\分別是X、γ、z方向之動態加速度値 (單位g)。根據實測資料,第3圖爲受測者在走路中經歷了 10次跌倒的波形圖,其中10個明顯的脈衝便是跌倒所發生 的時間,因此以SMV>3.24來判斷是否發生跌倒。 <室內定位設計> 在本實施例中,以Zigbee感測節點N1~N5所佈建之無 線感測網路2 0 0設計了 一套室內定位系統,此定位系統可 1362632 以定位出在佈建環境中任一配置有Zigbee模組105之物體 或人員。利用環境中的節點 N1~N5接收到目標物上之 Zigbee 模組 105 發出的訊號強度(received signal strength, RSS),以提供物體的實際位置資訊。定位系統在建立時, 分成兩個階段:(1)建立定位資料庫以及(2)位置估測,如以 下所述= (1) 建立定位資料庫 先在工作環境中建立足夠的參考點,在這些參考點 上,收集一定數量的訊號強度,利用這些收集來的樣本, 來產生定位資料庫。使用RSS當作空間特徵以前,都要先 建立一個定位資料庫,在每個參考點上收集到的訊號強度 取樣,都記錄其對每個Zigbee的訊號強度平均値,所以 在定位資料庫中記錄的每一筆資料都是以(Xi, yi,ss^, ss2i,…,ssni)來表示,其中Xi,yi表示環境中第i個參考點 的位置,ss^,ss2i, ...,ssni表示在(Xi,yi)收集到各個Zigbee 感測節點的平均訊號強度,其中η是環境中佈置的Zigbee 感測節點數.目,用這些訊號強度可以分辨每個參考點的位 置。 (2) 位置估測 利用在工作環境中未知位置上經由 RoLA 100身上的 Zigbee模組105收集到的訊號強度,與定位資料庫比對, 推測RoLA 1 00在環境中實際位置。本實施例中所使用的判 定演算法是 Nearest Neighbor Algorithm(NNA)及 Nearest Neighbor Average Algorithm(NN A A) 。 Nearest Neighbor -10- 1362632
Algorithm是直接根據所取得的RSS値和定位資料庫中的資 料做比對,以最接近的一組對應位置爲目前使用者所在位 置,此方法由環境中Zigbee節點N1~N5佈置所建構的資料 庫以決定定位精準度的大小,因此在Zigbee節點N1~N5的 佈置上需要多加考量,使用判定法最主要的關鍵在於最後 做判定的關係判定式,定位判定式可以表示爲
(〇 - Basemi (〇Γ \ί = \ J (2)
%表示此筆RSSI之可信賴度的權重値,“表示關係 判定的比較距離。欲表示位置與距離之特徵,最常使用有 歐幾里得距離(euclidean distance,P = 2),也有使用曼哈頓 量測距離(manhattan distance,P=l)等,判定關係式使用的 是歐幾里得距離。最小的一筆h就判定爲和RoLA 100接 收到訊號強度最接近的參考點,藉由這個方法來判定RoLA 100目前的位置。 [機器人導航行爲] <導航行爲設計>
RoLA 100之導航設計是採用基於彳了爲模式(behavior-based) 架構,將導航任務分成三種行爲來處理,分別爲「閃避障 礙物」、「目標物追蹤」、「沿牆行走」三種行爲,如第 4圖所示。 三種行爲之目的分別爲「使RoLA能閃避前方障礙 物」、「調整RoLA前進方向,使RoL A朝向目標物前進」、 「使RoLA能夠沿著環境的邊界來前進,並與較鄰近的那 1362632 一側的邊界,保持固定的距離」。三種行爲設計分別用三 個模糊(fuzzy)行爲控制器來完成,可以有效減少計算量, 加快處理速度。雷射掃描儀101的感測資訊、軸編碼器 (encoder)所建立的里程計以及Zigbee定位系統傳來之目標 物位置會輸入至主電腦104中的模糊行爲控制器,而模糊 行爲控制器會輸出兩輪轉速的修正値至移動平台106。因 此,RoLA 100會先以一初始的線性速度前進,若三個模糊 行爲控制器都沒有輸出信號時,RoLA 100會不改變方向地 往前行走,反之,若三個模糊行爲控制器都有輸出信號時, 則利用行爲融合的方式來計算出移動平台106兩輪的轉速 修正値,以達成RoLA 100的導航行爲。 <行爲融合> 對RoLA 100而言,如何因應環境之變化以選擇適當之 行爲是導航設計上必須要解決的問題。R 〇 L A 1 0 0由里程計 之位置估測、雷射掃描儀1 0 1的環境資訊以及目標物方向 作爲輸入,再利用行爲融合的方式來計算出移動平台106 兩輪的最後轉速,以達成導航行爲功能。 在行爲融合的設計方法上,本實施例採用一個模糊類 神經網路(fuzzy-neuro network)來決定各個行爲之權重。 第5圖係表示導航系統的架構圖。圖中之模糊分類網 路(fuzzy Kohonen clustering network, FKCN)是一種非監 督式學習的模糊類神經網路,原本的用途是作爲圖樣分類 與辨識’在此將與所設計的規則表(rule table)、目標物方 向一冋建从成ί了爲融合啓發性網路(heuristic network),其 -12- 1362632 用來計算對應於輸入的環境訊息所應產生的行爲融合比 重。 · 第6圖係表示FKCN行爲融合啓發性網路架構,圖中 的下半部爲原始FKCN網路的架構;FKCN架構共區分成輸 入層(input layer)、距離層(distance丨ayer)及歸屬層 (membership layer) 〇 網路的輸入層是等待辨識的圖樣輸入,在此的輸入端 是由雷射資訊所分成5組數據而成的一個有序向量,5組 數據分別表示R〇LA 100的左側、左前、正前、右前、右側 這5個方向的障礙物距離資訊》 得到輸入後,在距離層利用2-範數(2-norm)的方法去 計算與典型_樣的相差距離(4〜U,而設計的標準 型態,如第6圖所示。 最後,在歸屬層中,則是計算輸入的向量與典型圖樣 的歸屬程度(其歸屬程度並非行爲融合比重,而是 輸入的向量與設計的典型圖樣的相似度,搭配規則表所建 立的八種典型圖樣的融合比重跟定義出來的目標方位,即 可算出對應於輸入的環境訊息所應產生的行爲融合比重。 在建立規則表與典型圖樣的同時,必須先將輸入的有 序向量與目標物方向進行一量化處理。在量化的等級上, 如果量化的等級太多會增加規則表上構建的困難度,反 之’若量化的等級太小,則無法明確表達出環境類型。所 以在量化等級上只有區分成1到4級,分別表示極近、稍 近、稍遠、極遠’而處於極近跟極遠之間則使用介於1到 -13- 1362632 4之間的數字(包含小數)來進行表示,藉以增加解析度,使 得在計算差異度與相似程度時能較爲仔細。目標物方向定 義爲目標物位置在RoL A 100的哪一方向,將目標方向分割 成五個範圍,如第7圖所示。 典型圖樣的設計共含有八種環境類型,如第8圖所 示。當然,實際在環境中移動時所面對的環境類型絕對不 止這八種,然而只要將這八種環境圖樣加以模糊化就可以 用來應付其他尙未考慮的環境類型,也就是說將此設計做 • 一般化的處理,便可適應更多的環境類型,因此透過FKCN 的架構,只需建立少數的典型圖樣跟規則即可。最後根據 目標方向與8個典型圖樣去建立一規則表,如表一所示, 表一爲第8圖的八種典型圖樣與目標物方向所對應出來的 三種行爲的比重。左邊爲由雷射掃描儀107得到的前方環 境資訊將其劃分爲5組並將其劃分爲4個等級的輸入有序 向量;dir爲目標物方向値,其劃分方式如第7圖所示;Wg、 Wf、Wo爲依據典型圖樣所設定之三種行爲的比重。 1362632 \ 典型圖樣的顳合比重 dir = 1 dir = 2 dir = 5 dir = 4 dir = 5 典型圖樣 Wg W〇 Ww Wg Wo Ww Wg Wo Ww Wg Wo Wtt· Wg Wo Ww 4 4 4 4 4 1 0 0 I 0 0 1 0 0 1 0 0 1 0 0 4 4 4 4 1 1 0 0 1 0 0 1 0 0 0.7 0.3 0 0.5 0.5 0 1 4 4 4 4 0.5 0.5 0 0.7 0.3 0 1 0 0 1 0 0 1 0 0 4 4 1 1 1 0.2 as 0 0.4 0.6 0 0 0.7 0.3 0 0.5 0.5 0.5 0.5 0 1 1 1 4 4 0.5 0.5 0 0.5 0.5 0 0 0.7 0.3 0.4 0.6 0 0.2 O.S 0 4 4 1 4 4 0.4 0.6 0 0.2 0.8 0 0 1 0 0.2 O.S 0 0.4 0.6 0 1 2 4 4 4 0.4 0.6 0 0.5 0.5 0 0 0 1 0.3 0 0.7 0.7 0 0.3 4 4 4 2 1 0.7 0 0.3 0.3 0 0.7 0 0 0.5 0.5 0 0.4 0.6 0
表一、規則表 <人臉偵測追蹤系統> 爲了要暸解被看護者301在家中的狀況,在本實施例 中提出一種人臉偵測追蹤控制系統,其利用R〇LA 100上的 攝影機101擷取影像並偵測出畫面中人臉的位置,且在擁 有能夠上下左右移動的旋轉-俯仰(pan-tilt)機構102上,可 穩定的移動攝影機101並追蹤靜止及移動中被看護者301 的臉部,讓R〇LA 100能確實的掌握到被看護者301的情 況,最後利用無線網路將影像傳送出去,讓遠端使用者 400(家屬或醫護人員)也能看到被看護者301的狀況(參照 第1圖)。 <人臉偵測演算法> 要能順利的追蹤人臉’首先便要能夠在影像中正確的 偵測出人臉的位置,本實施例中使用了基於膚色偵測的即 時人臉偵測方法’並使用適應性的膚色搜尋法逹到人臉的 1362632 穩定追縱。 第9圖係表示人臉偵測追蹤演算法的流程圖:利用網 路攝影機101來擷取影像,除了即時的影像傳送外,也開 始人臉偵測的演算流程,利用膚色偵測得知人臉可能的位 置,在感興趣區域(region of interest, ROI)區域中定義出一 適應性膚色視窗,此視窗爲統計膚色分佈臨界値(threshold) 之區域,在本發明中是使用YCrCb色彩,第9圖上方即爲 色彩直方圖,先計算此視窗內之平均亮度並且根據平均亮 度以得到YCrCb三維色彩分佈之上下臨界値,然後定義出 上下限範圍來篩選,只留下中間多數具有此時代表性的膚 色色彩範圍作爲下次膚色分割的依據。 由於能即時的更新膚色分割的色彩範圍,讓此人臉偵 測系統具有能對抗光源變化的特性,在光源變亮或是變暗 的情況下,也能在影像中分割出人臉膚色的區域,偵測到 人臉的正確位置。這種適應性的膚色搜尋法能更穩定的追 蹤人臉的膚色區塊,讓人臉偵測追蹤能更加的穩定。成功 分辨出人臉區塊位置後,即能使用追蹤控制法則,並透過 RoLA 100的伺服控制器來控制旋轉-俯仰(pan-tilt)機構102 上的馬達來使攝影機101能夠轉動,讓攝影機101能一直 朝向人臉位置。 <人臉追蹤控制方法> 第10圖係機器人世界座標、攝影機座標及影像座標平 面間的關係圖。 爲了要設計一控制器來控制攝影機101的移動,而根 -16- 1362632 據第ίο圖的關係圖先對在影像平面上機器人的移動控制 推導出一個新的模型’將機器人與目標物之間的動態關係 模型化爲一線性時變系統(linear-time-varying system, LTV);爲了要控制這個系統,而將此系統模型轉換推導爲 動態誤差模型(dynamic error-state model),因此原本的視覺 追蹤控制問題就被轉換成一穩定性的問題,假如所有的誤 差都能收斂到零,就能解決這個視覺追蹤控制的問題,即 穩定的控制攝影機的方向讓目標物維持在影像平面的正中 央。 本發明使用極點放置法(pole placement approach)來設 計所需要的追蹤控制法則,並利用Lyapunov函數證明出此 系統對於參數的不確定性(parametric uncertainties)亦具有 強健(robust)的特性,將此控制器實現在RoLA 100上,藉 以達到穩定移動追蹤人臉的功能。基於以上的人臉偵測追 蹤方法,此人臉偵測追蹤系統能追蹤到人物的臉部位置, 並將人臉位置維持在畫面中央的部份,即時的追蹤人臉, 以達成所期望的功能。 <簡訊通知與視訊傳送> 若是被看護者301發生了緊急情況’ R〇LA 100要能夠 在最短的時間內通知家屬或醫護人員’而最好的方法以行 動電話傳送簡訊並且利用無線網路(例如WiFi或3G網路) 將視訊畫面傳達至家人的手機中’不論家屬身在何處’只 要在行動電話能收到訊號’訊息就能夠即時傳達到。當被 看護者發生跌倒情況時’機器人會即時偵測異常情況的發 -17- 1362632 生,並立刻透過通訊網路將簡訊發送至被看護者301的家 屬,使其能即時得知情況做出緊急的處理,讓被看護者301 能得到救援。 另外,爲了使遠端的家屬能更清楚地了解被看護者301 的狀況,本發明更具備一種能將攝影機擷取到的影像傳送 至遠端的傳送裝置,只要在有網路的環境下(例如:WiFi 或3G),在遠端的家屬即可使用行動電話、個人電腦、PDA 或是Smart Phone來即時觀看家中的情況;再結合上述的人 臉追蹤功能,就能即時觀看到被看護者30 1的影像,快速 掌握被看護者301的健康情況。 第11圖係表示影像傳送之架構設計,發送端是經由 USB網路攝影機1〇1擷取影像,使用JPEG壓縮後,通過 TCP Socket Port經由WiFi/3G網路傳送出去;接收端也是 使用TCP Socket Port從網路上接收到資料,將JPEG圖片 顯示在螢幕畫面上。 第1 2圖係表示看護系統運作之狀態流程圖,此圖說明 了看護系統的一個應用情境。當被看護者301身上配戴的 人體姿態辨識模組300偵測到被看護者30 1發生跌倒姿態 時’其訊號會經由Zigbee無線感測網路200傳送到RoLA 100之主電腦104端,通知緊急情況的發生,在主電腦1〇4 知道被看護者301跌倒的第一時間會先發送簡訊至家屬的 行動電話中’接著通過由Zigbee無線感測網路200所架構 的定位系統來判斷被看護者301的位置所在,RoLA 1〇〇即 能藉由自主移動行爲,主動移至被看護者3〇1身邊,此時 -18- 1362632
RoLA 100頂部的網路攝影機101自動的追蹤被看護者301 的臉部’並經由WiFi/3G無線網路500將影像即時的傳送 至外界’在遠處的醫護人員可由PDA或Smart phone觀看 被看護者301的即時影像,掌握最新最正確的情況,以給 予被看護者301適當的援助》 以上’雖本發明是以機器人型態來作爲實施例,但並 非侷限於此’也可以將此本發明之架構應用於例如電子寵 物之類的其他型態。另外,本發明雖以室內進行說明,但 只要是網路範圍可及之處,不論室內室外依然可以使用, 例如住家的室外庭院。 本發明已針對較佳實施例予以描述,但該等實施例係 僅描述而非限定於此,熟習於本項技藝之該等人士將理解 的是,可在不背離本發明下文申請專利範圍中所界定之本 發明的範疇及精神下,進行各種修正及變化。 【圖式簡單說明】 第1圖係RoLA系統之構成的方塊示意圖。 第2圖係經過小波轉換動態與靜態加速度之結果。 第3圖係受測者在走路中經歷跌倒的波形圖。 第4圖係表示將導航任務區分成三種行爲的示意圖。 第5圖係表示RoLA基於行爲融合之導航系統架構圖。 第6圖係行爲融合啓發性網路架構之示意圖。 第7圖係目標方向區分之示意圖。 第8圖係八種環境類型的示意圖。 第9圖係表示人臉偵測追蹤演算法的流程圖。 -19- 1362632 第ίο圖係機器人世界座標、攝影機座標及影像座標平 面間的關係圖。 第11圖係表示影像傳送之架構設計圖。 第1 2圖係表示看護系統之狀態流程圖。 【主要元件符號說明】
100 RoLA 101 網路攝影機 102 旋轉-俯仰機構
103 觸控式螢幕 104 主電腦 105 Zigbee 模組 106 移動平台 107 雷射掃描儀 200 Zigbee無線感測網路 300 人體姿態辨識模組 3 01 被看護者 400 遠端使用者 500 WiFi/3G無線網路 -20 -

Claims (1)

1362632 修正本 第097 1 03 67 1號「看護系統」專利申請案 (2011年9月5日修正) 十、申請專利範圍: 1.—種看護系統,其特徵爲具備: 看護設備,其具有:主電腦,用以控制整個看護設 備;攝影機及頭部運動機構,該攝影機架設在該頭部運 動機構上,並經由受到該主電腦之控制的頭部運動機 構,而可進行多個角度方向的轉動,用以擷取影像信號 至該主電腦;移動平台,其受控於該主電腦,用以移動 該看護設備;Zigbee模組,用以接收來自後述無線感測 網路之信號,並傳輸至該主電腦;雷射掃描儀,用以偵 測該看護設備周圍的障礙物,並將資料傳輸至該主電 腦;及輸入輸出裝置,其連接於該主電腦,用以讓使用 者與該看護設備進行溝通; 人體姿態辨識模組,其搭載於被看護者身上,且基 於三軸加速度計來判斷被看護者的人體姿態,以判定是 否發生意外,並產生判斷結果信號;以及 無線感測網路,其配置成一種定位系統,用以判斷 出在環境中備有該人體姿態辨識模組之被看護者的位 置,並接收來自該人體姿態辨識模組的判斷結果信號, 轉送至該看護設備; 其中,該主電腦將該看護設備與該被看護者之間的 動態關係模型化爲一線性時變系統(linear-time-varying system, LTV),並且’利用該攝影機之影像座標平面將該 1362632 修正本 看護設備之座標、及該攝影機之座標推導轉換爲一動態 誤差模型(dynamic error-state model),以使該被看護者之 影像維持在該攝影機之影像平面的正中央。 2. 如申請專利範圍第1項之看護系統,其中,更具備遠端 接收裝置’用以透過外部網路來接收該看護設備所發出 的信號。 3. 如申請專利範圍第2項之看護系統,其中,該外部網路爲 WiFi/3G網路系統。 4. 如申請專利範圍第2項之看護系統,其中,該遠端接收裝 置包含订動電話、個人電腦、PDA或Smart phone等。 5 .如申請專利範圍第1項之看護系統,其中,該主電腦更具 備以下功能: 人類臉部追蹤偵測之功能,其利用該攝影機來擷取 影像並偵測出畫面中人臉的位置,且控制該頭部運動機 構來穩定地移動該攝影機,以追蹤被看護者的臉部;以 及 導航行爲控制功能,用以控制該移動平台,使該看 護設備整合調控複數種特定的移動行爲。 6.如申請專利範圍第5項之看護系統,其中,複數種特定的 移動行爲至少包含: 閃避障礙物之行爲,使該看護設備能閃避前方障礙 物; 目標物追蹤之行爲,調整該看護設備之前進方向, 使該看護設備朝向該被看護者前進;以及 1362632 修正本 沿邊界行走之行爲,使該看護設備能沿著環 界來前進,並與較靠近之一側的邊界,保持固定距 行走。 7. 如申請專利範圍第1項之看護系統,其中,該人體姿 識模組係配置於被看護者的腰部,並以此位置的動 速度値來代表整個人體重心狀態。 8. 如申請專利範圍第7項之看護系統,其中,該人體姿 識模組係利用三軸加速度計來感測該被看護者之動 速度値,且擷取該動態加速度値來判斷該被看護者 體姿態。 9. 如申請專利範圍第8項之看護系統,其中,針對該三 速度計,將人體右方、上方及後方分別定義爲X軸, 及Z軸。 1 0 .如申請專利範圍第2項之看護系統,其中,該看護設 具備傳送緊急訊息之功能,能夠利用該外部網路來 緊急訊息至看護者的遠端接收裝置。 1 1 ·如申請專利範圍第1項之看護系統,其中,該攝影機 備:影像壓縮功能,用以處理所接收到的影像;視 功能’將接收到的影像傳輸至主電腦,並透過該 網路傳送至該遠端接收裝置。 12. 如申請專利範圍第1項之看護系統,其中,被看護者 是老人、小孩或病患等。 13. 如申請專利範圍第1〇項之看護系統,其中,看護者 是爲家屬或醫護人員。 的邊 離而 態辨 態加 態辨 態加 的人 軸加 Υ軸 備更 傳送 更具 訊傳 外部 可以 可以
TW097103671A 2008-01-31 2008-01-31 Nursing system TW200933538A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097103671A TW200933538A (en) 2008-01-31 2008-01-31 Nursing system
US12/062,843 US8214082B2 (en) 2008-01-31 2008-04-04 Nursing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097103671A TW200933538A (en) 2008-01-31 2008-01-31 Nursing system

Publications (2)

Publication Number Publication Date
TW200933538A TW200933538A (en) 2009-08-01
TWI362632B true TWI362632B (zh) 2012-04-21

Family

ID=40932469

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097103671A TW200933538A (en) 2008-01-31 2008-01-31 Nursing system

Country Status (2)

Country Link
US (1) US8214082B2 (zh)
TW (1) TW200933538A (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI410896B (zh) * 2010-03-16 2013-10-01 Nat Univ Tsing Hua 具結構保存之壓縮感知多媒體畫面調整方法
US8933907B2 (en) * 2010-04-30 2015-01-13 Microchip Technology Incorporated Capacitive touch system using both self and mutual capacitance
TWI463428B (zh) * 2010-10-15 2014-12-01 Netown Corp 自動移動健康照護裝置
TW201245931A (en) 2011-05-09 2012-11-16 Asustek Comp Inc Robotic device
CN102842114A (zh) * 2011-06-21 2012-12-26 株式会社东芝 确定填充长度的装置和方法及图像处理方法和装置
WO2015048815A1 (en) * 2013-09-30 2015-04-02 The Research Foundation For The State University Of New York Medium-access control schemes for ultrasonic communications in the body based on second order statistics
FI20145128L (fi) * 2014-02-10 2015-08-11 Murata Manufacturing Co Varhainen akuutin kaatumisriskin havaitseminen
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置
US10353359B1 (en) 2014-10-07 2019-07-16 State Farm Mutual Automobile Insurance Company Systems and methods for managing smart devices based upon electrical usage data
CN105448040A (zh) * 2015-12-23 2016-03-30 深圳市嘉兰图设计股份有限公司 具有预报警功能的跌倒报警系统
CN105678958A (zh) * 2016-03-11 2016-06-15 深圳前海勇艺达机器人有限公司 一种基于机器人的人体跌倒监测系统
US10216188B2 (en) 2016-07-25 2019-02-26 Amazon Technologies, Inc. Autonomous ground vehicles based at delivery locations
CN106444743A (zh) * 2016-08-15 2017-02-22 上海应用技术学院 一种复杂环境无线传感器定点部署装置
US10248120B1 (en) 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
US10514690B1 (en) 2016-11-15 2019-12-24 Amazon Technologies, Inc. Cooperative autonomous aerial and ground vehicles for item delivery
US11263579B1 (en) 2016-12-05 2022-03-01 Amazon Technologies, Inc. Autonomous vehicle networks
US10308430B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distribution and retrieval of inventory and materials using autonomous vehicles
CN107030706A (zh) * 2017-01-11 2017-08-11 上海未来伙伴机器人有限公司 一种新型家用机器人
US10325471B1 (en) 2017-04-28 2019-06-18 BlueOwl, LLC Systems and methods for detecting a medical emergency event
TWI612828B (zh) * 2017-06-27 2018-01-21 樹德科技大學 居家空間跌倒偵測系統及其方法
US10957427B2 (en) 2017-08-10 2021-03-23 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US20190197863A1 (en) * 2017-12-21 2019-06-27 Frank Kao WareAbouts: Proactive Care System through Enhanced Awareness
WO2019173353A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11515020B2 (en) 2018-03-05 2022-11-29 Nuance Communications, Inc. Automated clinical documentation system and method
US10825318B1 (en) 2018-04-09 2020-11-03 State Farm Mutual Automobile Insurance Company Sensing peripheral heuristic evidence, reinforcement, and engagement system
CN108732972B (zh) * 2018-06-08 2020-12-11 山东鲁商创新发展有限公司 用于多机器人的智能数据采集系统
CN109360374A (zh) * 2018-12-20 2019-02-19 湖南晖龙集团股份有限公司 一种基于物联网的人体摔倒自动预警系统
EP3935581A4 (en) 2019-03-04 2022-11-30 Iocurrents, Inc. DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING
CN110037860A (zh) * 2019-03-26 2019-07-23 北京理工大学 一种家用智能移动急救箱
JP7188232B2 (ja) * 2019-03-28 2022-12-13 新東工業株式会社 自律移動ロボット
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11894129B1 (en) 2019-07-03 2024-02-06 State Farm Mutual Automobile Insurance Company Senior living care coordination platforms
CN112294289A (zh) * 2019-08-02 2021-02-02 四川华友企业管理服务有限公司 一种健身房用人脸识别防猝死方法
US11367527B1 (en) 2019-08-19 2022-06-21 State Farm Mutual Automobile Insurance Company Senior living engagement and care support platforms
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
CN110737201B (zh) * 2019-10-11 2020-10-09 珠海格力电器股份有限公司 一种监护方法、装置、存储介质及空调
WO2021106162A1 (ja) * 2019-11-28 2021-06-03 日本電信電話株式会社 監視システム、監視方法、および監視プログラム
TWI742696B (zh) * 2020-05-28 2021-10-11 國立臺灣科技大學 多參數生理訊號量測方法
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11688516B2 (en) 2021-01-19 2023-06-27 State Farm Mutual Automobile Insurance Company Alert systems for senior living engagement and care support platforms

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005092177A1 (en) * 2004-03-22 2005-10-06 Bodymedia, Inc. Non-invasive temperature monitoring device
ATE524783T1 (de) * 2004-03-27 2011-09-15 Harvey Koselka Autonomer persönlicher dienstroboter
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
GB0620620D0 (en) * 2006-10-17 2006-11-29 Imp Innovations Ltd Pervasive sensing

Also Published As

Publication number Publication date
US8214082B2 (en) 2012-07-03
TW200933538A (en) 2009-08-01
US20090198374A1 (en) 2009-08-06

Similar Documents

Publication Publication Date Title
TWI362632B (zh)
CN110605724B (zh) 一种智能养老陪伴机器人
Stone et al. Fall detection in homes of older adults using the Microsoft Kinect
Mundher et al. A real-time fall detection system in elderly care using mobile robot and kinect sensor
Kepski et al. Fall detection using ceiling-mounted 3d depth camera
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
CA2809888A1 (en) System and method for tracking
Xiong et al. S3D-CNN: skeleton-based 3D consecutive-low-pooling neural network for fall detection
Delachaux et al. Indoor activity recognition by combining one-vs.-all neural network classifiers exploiting wearable and depth sensors
Chen et al. Fall detection system based on real-time pose estimation and SVM
Xu et al. Human posture recognition and fall detection using Kinect V2 camera
Dovgan et al. Intelligent elderly-care prototype for fall and disease detection
Li et al. Robot semantic mapping through wearable sensor-based human activity recognition
Spasova et al. A survey on automatic fall detection in the context of ambient assisted living systems
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
Yi et al. [Retracted] Home Interactive Elderly Care Two‐Way Video Healthcare System Design
CN113688740B (zh) 一种基于多传感器融合视觉的室内姿势检测方法
Kumrai et al. Human activity recognition with deep reinforcement learning using the camera of a mobile robot
Hu et al. Bayesian fusion of ceiling mounted camera and laser range finder on a mobile robot for people detection and localization
Banerjee et al. Monitoring hospital rooms for safety using depth images
Raghavan et al. Infant movement detection and constant monitoring using wireless sensors
Oumaima et al. Vision-based fall detection and prevention for the elderly people: A review & ongoing research
JP5418938B2 (ja) グループ行動推定装置およびサービス提供システム
Zhu Hand gesture and activity recognition in assisted living through wearable sensing and computing
CN115120250A (zh) 基于脑电信号和slam控制的智能脑控轮椅系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees