TWI470565B - 非接觸式醫療導覽系統及其控制方法 - Google Patents
非接觸式醫療導覽系統及其控制方法 Download PDFInfo
- Publication number
- TWI470565B TWI470565B TW101121534A TW101121534A TWI470565B TW I470565 B TWI470565 B TW I470565B TW 101121534 A TW101121534 A TW 101121534A TW 101121534 A TW101121534 A TW 101121534A TW I470565 B TWI470565 B TW I470565B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- image
- sensing
- operator
- target
- Prior art date
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本發明有關於一種導覽系統及其控制方法,且特別是一種非接觸式醫療導覽系統及其控制方法。
近年來,隨著醫療技術快速發展,大多數醫院所提供的服務項目與服務層面,例如醫療諮詢與護理項目、檢驗項目以及疾病照料範圍等,也越來越廣,且為了能完善提供這些醫療服務給民眾,醫院的大小也會相應的擴大。
為了能有效地服務來訪訪客,醫院通常除了透過設置展示牌與醫院地圖來引導訪客,幫助訪客了解院內環境,然展示牌與醫院地圖等靜態標示一般僅設置於特定地點,且標示簡單故通常無法有效地指引訪客。所以醫院另透過雇用志工來協助訪客,例如尋找各科門診位置與了解各科門診的醫療服務項目等。
然而,大多數志工的服務時間有限,且各醫院所擁有志工的人數亦有限制。另外,每一位志工於服務訪客前,甚至還必須先花時間與精力接受適當的教育訓練以後,才能夠服務訪客。
因此,此種訪客透過志工人員協助所獲取之關於醫療方面的資訊,才能妥善的接收到所需醫療觀光方面的協助,既花時間也花人力,有時還因志工所知有限或語言不通還不能有效地協助來訪訪客。再者,醫院內本就存在很多病菌,因此不論是對長時間於醫院的工作者或是來訪的訪客們已然存在感染的風險,進而近距離的與長時間待在醫院的志工進行互動,恐會增加細菌透過人與人之間的接觸
傳遞的風險,進而提高感染率,降低服務品質。
有鑑於此,本發明提供一種非接觸式醫療導覽系統及其控制方法,可即時提供醫院環境資訊與醫療資訊給操作者,並可透過主動感測與辨識操作者之肢體動作,對應的控制一操作介面,供操作者瀏覽,藉此有效地協助操作者熟悉醫院環境與服務,同時亦降低操作者於院內經由接觸而受到細菌感染的風險。
本發明實施例提供一種非接觸式醫療導覽系統,用以供一操作者醫療導覽。所述非接觸式醫療導覽系統包括三維深度影像感測裝置、導覽控制裝置以及顯示裝置。三維深度影像感測裝置可用於感測於一預設感測範圍內,操作者之肢體動作,並對應產出至少一影像資料以及一深度感應資料。導覽控制裝置包括影像分析模組、儲存單元、控制單元、操作介面產生單元以及資料傳輸介面單元。影像分析模組用以接收影像資料與深度感應資料並進行分析處理,對應地產出影像辨識資料。儲存單元用以儲存該影像辨識資料。儲存單元具有指令資料庫與醫療導覽資料庫,其中指令資料庫包括多筆參考影像資料及對應的指令資料,且醫療導覽資料庫則包括多筆醫療導覽資訊。控制單元用以比對影像辨識資料與參考影像資料,以獲取與影像辨識資料相符之參考影像資料相對應的指令資料來決定介面驅動資料。操作介面產生單元耦接於控制單元。操作介面產生單元用以讀取所述醫療導覽資訊以產生操作介面資料,並根據介面驅動資料讀取所述醫療導覽資訊以更新操作
介面資料。資料傳輸介面單元耦接該操作介面產生單元。該資料傳輸介面單元用以輸出操作介面資料。顯示裝置用以接收操作介面資料,以顯示對應操作介面資料的操作介面。
在本發明其中一個實施例中,上述的導覽控制裝置另包括通訊單元。通訊單元用以透過網路來與伺服器連線,並將伺服器所傳送之醫療導覽更新資料儲存於醫療導覽資料庫,以更新所述醫療導覽資訊。
在本發明其中一個實施例中,上述的三維深度影像感測裝置包括影像擷取模組以及紅外線偵測模組。影像擷取模用以擷取操作者的肢體動作以產生該影像資料。紅外線偵測模組擷取該操作者的一深度影像,並依據深度影像對應輸出深度感應資料,且深度感應資料包括影像資料的一亮度資訊與一色彩分佈資訊。
在本發明其中一個實施例中,上述的複數筆醫療導覽資訊的類型包括醫院簡介資訊、醫院環境資訊或衛教遊戲資訊。
本發明實施例提供一種非接觸式醫療導覽控制方法。此非接觸式醫療導覽控制方法可應用於非接觸式醫療導覽系統。所述非接觸式醫療導覽控制方法包括下列步驟。首先,當目標進入一預設感測範圍時,使用三維深度影像感測裝置感測目標之第一肢體動作,並對應產生第一影像資料與第一深度感應資料。其次,根據第一影像資料與第一深度感應資料進行影像辨識,以分析目標之第一肢體動作,並產生第一影像辨識資料。其後,根據第一影像辨識資料判斷目標是否為操作者。隨後,當判定目
標為操作者時,使用三維深度影像感測裝置感測操作者之第二肢體動作,並產生第二影像資料與第二深度感應資料。而後,根據第二影像資料與第二深度感應資料進行影像辨識,以分析操作者之第二肢體動作,並產生第二影像辨識資料。接著,根據第二影像辨識資料,驅動控制單元來使操作介面產生單元產生具有醫療導覽資訊的操作介面資料。最後,顯示對應操作介面資料之具有醫療導覽資訊的操作介面於顯示裝置。
綜上所述,本發明實施例提供一種非接觸式醫療導覽系統,此非接觸式醫療導覽系統用以提供醫療導覽資訊,供訪客進行瀏覽,以協助訪客了解醫院環境與接收醫療資訊。此非接觸式醫療導覽系統透過主動感測及辨識操作者的肢體動作與相對移動位置,對應地變換具醫療導覽資訊的操作介面,進而可讓操作者藉由肢體動作,控制具醫療導覽資訊的操作介面的運作。藉此,可隨時有效地協助操作者熟悉醫院環境與醫療服務,同時利用非接觸的導覽控制方式,降低操作者於院內透過人與人之間或人與物體之間的接觸而受到細菌感染的風險。
為使能更進一步瞭解本發明之特徵及技術內容,請參閱以下有關本發明之詳細說明與附圖,但是此等說明與所附圖式僅係用來說明本發明,而非對本發明的權利範圍作任何的限制。
請參照圖1,圖1繪示本發明實施例提供的非接觸式醫療導覽系統之具體實施例之應用示意圖。如圖1所示,
非接觸式醫療導覽系統1包括顯示裝置11、三維深度影像感測裝置13及導覽控制裝置(未繪示)。簡單地說,導覽控制裝置可用以配合三維深度影像感測裝置13所感測操作者2之肢體動作20(例如手勢或手指動作),即時地對顯示於顯示裝置11的操作介面進行相應介面控制,以供操作者2瀏覽醫療導覽內容。顯示裝置11與此實施例中,可例如為電腦螢幕或液晶電視螢幕等,但本發明實施例並不以此為限。
進一步地說,三維深度影像感測裝置13可例如為三維深度影像攝影機(3D Depth Video Camera),且設置於顯示裝置11上方並朝操作者2所在位置自動感測並擷取影像,以產生對應操作者2之肢體動作20與位置的至少一影像資料與一深度感應資料。三維深度影像感測裝置13另包括影像擷取模組131與光線偵測模組133。影像擷取模組131可用以擷取操作者2的肢體動作20影像,並對應產出影像資料。光線偵測模組133可包括光線發射器與光線感測器,分別設置於影像擷取模組131的左右兩側。光線發射器用以向操作者2所在空間發射光線,而光線感測器用以感測並記錄光線的反射現象(例如反射時間或反射斑點)以產生深度感應資料。
導覽控制裝置記錄三維深度影像感測裝置13所產生的影像資料與深度感應資料,以辨識操作者2是否進入一預設的控制範圍。導覽控制裝置並於操作者2進入控制範圍時,對影像資料與深度感應資料進行分析判斷操作者2的相對位置與肢體動作20,並對應地更新顯示於顯示裝置11的操作介面,從而達到依據操作者2的肢體動作20控制
瀏覽介面的效果。
也就是說,此非接觸式醫院導覽系統可使操作者2輕易透過肢體動作20隨意控制操作介面,即時獲取所需醫療服務方面的資訊,例如醫院簡介與環境介紹、醫療服務以及衛生教育資訊等。要說明的是,上述顯示裝置11及三維深度影像感測裝置13的種類或實體架構並非用以限定本發明。圖1僅為非接觸式醫療導覽系統之一具體實施應用示意圖,並非用以限定本發明。
接著,請參考圖2,圖2繪示本發明實施例提供的非接觸式醫療導覽系統之系統方塊圖。於此實施例中,非接觸式醫療導覽系統3包括顯示裝置11a、三維深度影像感測裝置13a、導覽控制裝置15、網路17以及伺服器19。導覽控制裝置15耦接於三維深度影像感測裝置13a與顯示裝置11a之間。伺服器19透過網路17耦接導覽控制裝置15。
三維深度影像感測裝置13a用於感測操作者(例如圖1之操作者2)於一預設感測範圍(例如距離三維深度影像感測裝置13a三到五公尺)內之一肢體動作(圖1之操作者2的肢體動作20),並對應產出至少一影像資料以及深度感應資料。三維深度影像感測裝置13a可如前述所述為三維深度影像攝影機。三維深度影像感測裝置13a包括影像擷取模組(未繪示)與光線偵測模組(未繪示)。影像擷取模組可例如為RGB彩色攝像機,用以擷取操作者的身體特徵,進行特徵辨識。換言之,影像擷取模組用以擷取操作者的影像,並對應產出影像資料。光線偵測模組可用以進行深度辨識,
感測操作者的相對位置與姿勢變化,並對應產生一深度感應資料。光線偵測模組可如前述由光線發射器與光線感測器所組成。
附帶一提是,於一實務應用上,光線偵測模組可使用飛行時間(Time of Flight)技術,並透過計算光線飛行的時間,來換算操作者的位置。舉例來說,可由光線發射器先往操作者方向,發出一脈衝光,再利用光線感測器感測及記錄操作者的反射光線,並產生具測量時間差之深度感應資料,以藉由測量時間差演算出操作者的距離。於另一實務應用上,光線偵測模組可為紅外線偵測模組,使用光線編碼(light coding)技術。光線偵測模組可利用連續發射紅外線對操作者所在的整個空間進行編碼,後經感測器讀取編碼的光線,產生成一張深度影像。進一步地說,光線發射器為紅外線發射器(infrared projector),而光線感測器為紅外線感應器(infrared sensor),例如為由互補式金屬氧化物半導體感應器所組成的紅外線攝影機(CMOS infrared camera)。
詳細地說,可透過紅外線發射器將雷射光(laser)平均射到操作者所在的空間中,當雷射光射到物體(例如操作者身體)上,會造成具有高度隨機性的散斑(speckle),其中散斑會隨著物體的距離而變換亮度,同時也會隨著物體移動變換顏色,據此,空間中任何兩處的散斑都會具有不同的顏色與亮度標示,進而整個空間會被加註標記。
隨後藉由紅外線感應器記錄反射的散斑,並對應轉換成一張有具深度影像資訊的深度感應資料,且利用不同亮度與顏色來標示不同的反射散斑。當操作者越靠近三維深度影像感測裝置13a,所記錄的亮度值越大,相對地當操作
者離三維深度影像感測裝置13a越遠時,所記錄的亮度值越小。據此,當操作者進入該空間或者是移動時,操作者的位置可被準確的記錄與辨識。
於此實施例中,三維深度影像感測裝置13a所使用的深度辨識方式為光線編碼(light coding)技術,而光線偵測模組即為紅外線偵測模組,但本實施例並不以此為限。因此,三維深度影像感測裝置13a會藉由感測操作者於一空間的肢體動作,對應產生至少一具有操作者身體特徵的影像資料以及對應於操作者位置的深度影像之一深度感應資料。於此實施例中,深度感應資料為具不同亮度資訊與顏色資訊的影像資料,其中,所述亮度強弱用以代表操作者與三維深度影像感測裝置13a之間的距離,故可用以排除操作者所在區域以外的背景資訊。三維深度影像感測裝置13a會將所產生的影像資料與深度感應資料傳送至導覽控制裝置15,以進行影像與深度辨識與演算以獲取對應的動作指令從而產出具特定醫療導覽資訊的操作介面資料,以對應地顯示於顯示裝置11a。
導覽控制裝置15包括影像分析模組150、控制單元151、操作介面產生單元153、資料傳輸介面單元155、通訊單元157以及儲存單元159。影像分析模組150耦接三維深度影像感測裝置13a。影像分析模組150並耦接控制單元151。控制單元151另分別耦接操作介面產生單元153、通訊單元157以及儲存單元159。操作介面產生單元153耦接資料傳輸介面單元155與儲存單元159。
影像分析模組150用以接收三維深度影像感測裝置13a產生的影像資料與深度感應資料,並對影像資料與深度
感應資料進行處理與分析,以對應產出影像辨識資料。影像分析模組150包括影像資料接收單元1501以及影像處理單元1503。影像資料接收單元1501耦接影像處理單元1503。
影像資料接收單元1501可利用輪詢方式(polling)或事件觸發方式(event)驅動三維深度影像感測裝置13a感測操作者,以連續或依特定條件(例如,當感測到目標進入預設感測範圍時)接收影像資料與深度感應資料,並觸發影像處理單元1503進行影像處理。
影像處理單元1503用以分別對影像資料與深度感應資料進行影像分析處理,獲取操作者的特徵與位置資訊,進而產生影像辨識資料。詳細地說,影像處理單元1503對所接收的每一個影像資料進行的影像處理方式可包括灰階轉換、濾波處理、影像二值化(image binarization)、邊緣擷取、特徵擷取、影像壓縮、影像切割與物件識別等影像處理技術。於實務上,可依照影像辨識的方式,選用適合的影像處理技術作為影像處理單元1503的影像處理方式。
於一具體實施例,影像處理單元1503可先對影像資料進行灰階轉換及雜訊濾波等前置處理操作,其後再利用如邊緣擷取、斷點連結、特徵擷取、特徵比對等運算方式分析畫面物件的特徵(例如,人體輪廓)或動作(例如,揮手或肢體動作等)。上述的影像處理方式皆為習知技術,本發明技術領域具有通常知識者應可依據實際演算需求而使用其他影像處理技術來達成影像處理單元1503的功能,在此不再贅述。此外,上述影
像處理方式僅為具體實施方式說明,並非用以限制本發明之範圍。
接著,影像處理單元1503對所接收的深度感應資料進行深度演算取得與三維深度影像感測裝置13a相對距離數據。如前述,深度感應資料可為具不同亮度與色彩的圖像資料。影像處理單元1503可藉由亮度分析操作者與三維深度影像感測裝置13a之間的距離。影像處理單元1503另透過色彩辨識操作者以及操作者肢體移動資訊。上述的深度辨識方式可例如為對像素陣列的亮度資訊進行演算,以換算出相對的距離。本發明技術領域具有通常知識者應可推知深度辨識方式的實際演算方式,故在此不再繼續贅述。此外,上述深度辨識方式僅為具體實施方式說明,並非用以限制本發明之範圍。
此外,影像處理單元1503同時可使用骨架追蹤分析技術,對所接收的影像資料與深度感應資料,進行操作者動作辨識。進一步地說,影像處理單元1503可藉由抓取人體骨架,追蹤操作者的肢體變化,其中,影像處理單元1503所使用的骨架追蹤分析技術可抓取至少15的關節點,包含頭部、四肢、骨盆以及軀幹等部分的關節。由於每一個連續動作可以是於預先設定的感測時間內一連串靜態分解動作的組合,因此一種動作解析方式可以是在每單位時間所測得骨架資訊都會被個別記錄。而後,從目前時間點往前推算一固定時距(例如1/4秒至1秒),並把每單位時間記錄的骨架資訊萃取出來,以做一動作判斷。藉此,影像處理單元1503可透過骨架追蹤分析方式辨識出操作者的手指、手勢及/或肢體動作。從而,影像處
理單元1503透過上述影像辨識、骨架追蹤分析與深度演算,可產生具操作者位置、與三維深度影像感測裝置13a的相對距離、動態資料以及特徵資料(靜態資料)等的影像辨識資料。
儲存單元159可為一般儲存記憶體,例如快閃儲存記憶體(flash memory)、唯讀記憶體晶片或隨機存取記憶體晶片等揮發性或非揮發性記憶晶片等。儲存單元159是用以儲存影像處理單元1503產生的影像辨識資料。此外,儲存單元159另具有指令資料庫1591與醫療導覽資料庫1593。指令資料庫1591可包含複數筆預先設置肢體動作參考影像資料以及對應的指令資料。舉例來說,參考影像資料可包含手勢動作與手指動作等。手勢動作可例如揮手、左、右揮動或移動、前後推動以及定點停置等動作。手指動作可例如為手指揮動或轉動等動作。指令資料則為對應上述動作的控制指令,例如介面游標的控制指令或介面轉換控制指令等。指令資料庫1591可例如是由具參考影像資料與指令資料的查找表所建立,但本實施例並不限制。另外,醫療導覽資料庫1593可包含複數筆醫療導覽資訊,例如醫院導覽首頁、醫院簡介、醫院公告、醫院環境或衛教遊戲等資訊。每一筆醫療導覽資訊可包括由圖案、動畫及/或文字透過軟體程式設計所建立的網頁、簡報檔或圖片檔案。
控制單元151用以比對影像辨識資料與指令資料庫1591中複數筆參考影像資料,並根據獲取之相對應的指令資料來產生介面驅動資料。控制單元151可將接收到影像辨識資料與指令資料庫1591中複數筆參考影像資料進行比對分析。當控制單元151於指令資料庫1591中找到與影像
辨識資料相匹配的參考影像資料時,獲取相應的指令資料,進而產生介面驅動資料,例如游標變換資料或介面更新資料等。
另外,控制單元151還可藉由分析影像辨識資料中與三維深度影像感測裝置13a的相對距離資訊、動態資訊以及臉部特徵資訊,判斷操作者是否停止操作或離開預設感測範圍,例如操作者與三維深度影像感測裝置13a的之間的相對距離大於一預設距離閥值(例如三公尺)或是並三維深度影像感測裝置13a未擷取到正面臉部特徵等符合操作者判定之辨識條件。
舉例來說,假設影像辨識資料中顯示操作者的肢體動作為一手勢移動時,經對比指令資料庫1591中複數筆參考影像資料後,其相應的指令資料可為游標移動資料,進而介面驅動資料包含操作介面讀取資料與游標的平面坐標及移動位置資料。又假設影像辨識資料並無顯示任何操作者手動或位置移動資訊時,其相應的指令資料可為不作動指令,進而介面驅動資料僅為對應的操作介面讀取資料。
假設影像辨識資料中顯示操作者的肢體動作為大幅度揮手(例如揮手角度大於一預設角度或是手掌的垂直位置高於對應的手肘的垂直位置高度等),且操作者是以正面朝向三維深度影像感測裝置13a時,相應的指令資料可例如為游標追蹤啟動指令,即將游標的控制權給於操作者,此時介面驅動資料則包含操作介面讀取資料與將游標位置設定資料(例如游標設於操作介面的中心點的位置資料)。其後,游標會隨著操作者的肢體動作來移動,進而操作者可透過肢體動作驅動控制游標的位置。
此外,本實施例中控制單元151還可配合分析影像辨識資料的距離資訊(如亮度資訊),判斷並選定目前醫療導覽系統的操作者。例如,當三維深度影像感測裝置13a感測到兩個以上的人員位於預設感測範圍(例如為距離三維深度影像感測裝置13a三到五公尺範圍)內,隨即會透過分析深度感應資料中的亮度資訊來換算出人員的相對距離後,且將距離三維深度影像感測裝置13a最近的人員(例如平均亮度最大),判定為主要感測目標,以並透過進一步的特徵辨識,例如色彩辨識,來鎖定為操作者。所述醫療導覽系統的操作者的詳細判定方式會藉由後述非接觸式醫療導覽系統3的運作模式之例來說明。
值得一提的是,控制單元151還可接收伺服器19所傳送的醫療導覽更新資料,並透過網路17經由通訊單元157儲存於醫療導覽資料庫1593,以隨時更新醫療導覽資料庫1593中的醫療導覽資訊。伺服器19中的資料可為醫療導覽系統之管理者(未繪示)自行提供並儲存。通訊單元157可例如為廣域網路傳輸介面或區域網路傳輸介面,且是用以作為導覽控制裝置15與伺服器19之間的通訊橋梁。
伺服器19可為電腦裝置,伺服器19的管理者可藉由物件導向的高級程式語言,例如C#(C sharp),來設計所述的醫療導覽資訊,且可透過Microsoft SQL Server 2008建立遠端資料庫。另外,管理者另可透過伺服器19將指定的醫療導覽資訊透過網路17傳送至導覽控制裝置15,以即時更新醫療導覽資料庫1593中特定的醫療導覽資訊。
操作介面產生單元153用於讀取儲存於醫療導覽資料庫1593中的複數筆醫療導覽資訊,並對應產生具有醫療導
覽資訊的操作介面資料。具有醫療導覽資訊的操作介面資料可以是利用設計動態程式介面的軟體,例如微軟的SilverlightTM
4或Adobe Flash等來做為主要的開發平台。操作介面產生單元153可依據介面驅動資料,主動於醫療導覽資料庫1593中的複數筆醫療導覽資訊選擇特定醫療導覽資訊,產生對應的操作介面資料。操作介面產生單元153還可依據介面驅動資料更新操作介面資料,例如切換頁面或移動游標的位置等。
資料傳輸介面單元155用以輸出操作介面資料至顯示裝置11a。資料傳輸介面單元155可例如為PCI Express顯示卡或USB顯示卡等影像訊號傳輸裝置,可依實體系統架構而定,本發明並不以此為限。顯示裝置11a接收操作介面資料並顯示對應操作介面資料的一操作介面,供操作者進行瀏覽。於此實施例中,顯示裝置11a可例如為一般發光二極體顯示器、電漿顯示器或是液晶顯示器等,但本實施例並不以此為限。
非接觸式醫療導覽系統3的運作模式以及判別操作者的方式可藉由下列例子來加以說明。
簡單來說,非接觸式醫療導覽系統3的運作分為三種型態:等待狀態(idle mode)、控制狀態(active mode)以及終止狀態(termination mode)。於等待狀態中,非接觸式醫療導覽系統3中的導覽控制裝置15進入操作者感測模式,驅動三維深度影像感測裝置13a感測及擷取影像資料以判斷操作者是否進入三維深度影像感測裝置13a的預設感測範圍。
當導覽控制裝置15辨識與判定該目標為操作者時,非
接觸式醫療導覽系統3隨即進入控制狀態。於控制狀態中,導覽控制裝置15會記錄操作者的初始影像資料與初始深度感應資料的初始影像辨識資料,並啟動操作介面。同時,三維深度影像感測裝置13a會持續感測及擷取對應於操作者的目前的影像資料與對應的深度感應資料,以產生對應操作者目前狀態的影像辨識資料,並與初始影像辨識資料進行比對,以計算當中的變化以及持續時間,從而控制操作介面的變換。
當導覽控制裝置15會分析操作者的影像資料及深度感應資料與初始影像資料及初始深度感應資料的變化差異大於一預設變異範圍(例如深度範圍或色彩分佈位置變化範圍)且符合一預設異常感測時間,例如3秒至五秒時,非接觸式醫療導覽系統3由控制狀態轉為終止狀態。於終止狀態中,導覽控制裝置15停止追蹤辨識操作者的位置與動作,非接觸式醫療導覽系統3重新進入等待狀態。
更進一步地說,當導覽控制裝置15處於等待狀態時,會藉由驅動三維深度影像感測裝置13a於預設感測範圍內(例如三到五公尺的範圍)感測到一個或多個目標出現時,三維深度影像感測裝置13a會即時地對所述預設感測範圍進行影像擷取與深度感測動作,以對應地產生至少一影像資料(第一影像資料)與深度感應資料(第一深度感應資料)。值得一提的是,第一影像資料包含操作者的臉部特徵資訊與肢體動作資訊。第一深度感應資料包含操作者與三維深度影像感測裝置13a之間的距離資訊與色彩分佈資訊,其中色彩分佈資訊可用於辨識影像料中不同的物體,以區隔出辨識操作者的特徵。
影像分析模組150對所接收的影像資料(第一影像資料)與深度感應資料(第一深度感應資料)進行影像處理與深度辨識,以產生具特徵辨識資訊(即臉部特徵與頭部、軀幹、骨盆以及上肢關節等骨架平面座標)與距離資訊的影像辨識資料(第一影像辨識資料)。控制單元151首先可依據第一影像辨識資料判斷進入預設感測範圍內的一個或多個目標其中之一是否為一操作者。舉例來說,可以與距離三維深度影像感測裝置13a之間最近(例如小於三公尺時)之目標為主要感測目標,同時排除相對距離較遠之目標。控制單元151隨後透過比對第一影像辨識資料與指令資料庫1591中已儲存之站姿或坐姿的參考影像資料,判斷主要感測目標是採站姿或坐姿(例如坐在輪椅上)以及主要感測目標的臉部是否以正面朝向三維深度影像感測裝置13a等。
其後,控制單元151可根據第一影像辨識資料判斷主要感測目標的肢體動作是否符合預設的啟動系統的一預設觸發動作,其中預設觸發動作可例如為單手揮動。具體地說,控制單元151可透過比對第一影像辨識資料與指令資料庫1591中複數筆參考影像資料來判斷主要感測目標的動作。控制單元151亦可透過分析第一影像辨識資料中的骨架資料,例如感測主要感測目標的一單手手掌之垂直高度是否高於其對應之肘部垂直高度,且手掌水平位置是否有於一短時間內(例如2~3秒鐘)呈現出大幅度的變化(如手掌水平位置座標的變化)。若第一影像辨識資料顯示主要感測目標符合上述判定條件控制單元151隨後依據上述測判斷結果,判定主要感測目標為操作者,並導覽控制裝置15的控制單元151驅動非接觸式醫療導覽系統3進入控制狀態
,亦即操作者控制模式。
當非接觸式醫療導覽系統3進入控制狀態時,控制單元151會先將確認操作者所擷取的第一影像辨識資料儲存於儲存單元159作為操作者的初始影像資料。導覽控制裝置15持續驅動三維深度影像感測裝置13a擷取的操作者的平面影像與深度影像,以產出對應於操作者的肢體動作(第二肢體動作)的至少一影像資料(第二影像資料)與深度感應資料(第二深度感應資料)。影像分析模組150對第二影像資料與第二深度感應資料進行辨識分析,並產出第二影像辨識資料。
控制單元151會先比對第二影像辨識資料與先前儲存的第一影像辨識資料,以辨識操作者的身分。具體地說,控制單元151會藉由比對第二影像辨識資料與第一影像辨識資料中的相對距離資訊、色彩分佈資訊等,來分析判斷操作者是否離開,例如所換算的相對距離的差值持續大於預設距離閥值或是當兩者之間的色彩分佈資訊具有顯著差異時,即可判定操作者已離開,進而導覽控制裝置15的控制單元151驅動非接觸式醫療導覽系統3由控制狀態轉為終止狀態。
反之,當控制單元151判定操作者並未離開,則控制單元151將第二影像辨識資料儲存於儲存單元159取代第一影像辨識資料作為操作者的初始影像資料,以作為下一輪操作者身分判定之依據。同時,控制單元151透過與指令資料庫1591的參考影像資料比對後,辨識操作者之動作,獲取之相對應的指令資料,並根據指令資料來產生介面驅動資料。控制單元151隨後藉由介面驅動資料控制操作
介面產生單元153可對應產出相對的操作介面資料,並顯示於顯示裝置11a,以供操作者進行瀏覽。
當控制單元151於指令資料庫1591中未找到匹配的指令資料時,控制單元151會驅動三維深度影像感測裝置13a重新擷取操作者的影像資料與深度資料,並重新執行影像資料與深度資料的分析、指令資料搜尋及產生介面驅動資料等動作。附帶一提的是,所述影像資料與深度資料的分析、指令資料搜尋及產生介面驅動資料等一系列指令產生時段可統稱作為一個指令週期。
值得一提的是,上述所換算的相對距離的差值持續大於預設距離閥值或是當兩者之間的色彩分佈資訊具有顯著差異的原因除了是操作者轉身離開之外,也有可能是因為操作者轉身或操作者的堧有前景物遮蔽三維深度影像感測裝置13a的鏡頭。據此於此實施例中,另藉由設置一計時裝置(未繪示)例如計時器,來避免辨識錯誤發生。也就是說,每當發生上述情況時,控制單元151會啟動計時裝置,若上述任一情況所持續的時間超出預設異常感測時間(如3秒至五秒),控制單元151則判定操作者已離開,導覽控制裝置15驅動非接觸式醫療導覽系統3由控制狀態轉為終止狀態。反之,控制單元151關閉計時裝置,並重新驅動三維深度影像感測裝置13a擷取操作者的影像資料與深度資料以及執行後續分析與指令產生等動作。
據此,操作者可於被三維深度影像感測裝置13a感測到的範圍內,隨心所欲藉由身體動作控制操作介面上的選單內容,以瀏覽非接觸式醫療導覽系統3提供的醫療或醫院方面的資訊。同樣地,導覽控制裝置15亦可於每次操作
完成後亦即當控制單元151已產生對應的介面驅動資料時,控制單元151會驅動三維深度影像感測裝置13a重新擷取操作者的影像資料與深度資料,並重新執行影像資料與深度資料的分析、指令資料搜尋及產生介面驅動資料等動作感測被鎖定之操作者是否已離開預設感測範圍或是準備離開預設感測範圍。例如當影像分析模組150無法由第二影像資料,獲取先前鎖定的操作者的臉部特徵時,即輸出對應之第二影像辨識資料,驅動控制單元151判定操作者已停止使用醫療導覽服務,控制單元151可停止變更操作介面或透過傳送介面驅動資料變換操作介面至一預設操作介面(例如回到預設的首頁)。非接觸式醫療導覽系統3由控制狀態轉為終止狀態。於終止狀態中,導覽控制裝置15停止追蹤辨識操作者的位置與動作,並於清除儲存單元159所儲存的第一及第二影像辨識資料,導覽控制裝置15驅動非接觸式醫療導覽系統3重新進入等待狀態。
接下來,請參照圖3A到3F。圖3A到3F分別繪示本發明實施例提供的非接觸式醫療導覽系統之操作介面示意圖。圖3A到3F所示的操作介面153a到153f,可例如為透過微軟SilverlightTM
4平台或Adobe Flash與C#程式語言來設計。
圖3A顯示非接觸式醫療導覽系統3的主要選單的操作介面153a,供操作者選擇想要瀏覽的資訊。如圖3A所示,操作介面153a的左上角可顯示醫院名稱。操作介面153a所提供的醫療導覽服務的選項列1533可包含「醫院簡介」、「院景服務」以及「衛教遊戲」。
於實際操作中,當非接觸式醫療導覽系統3處於控制
狀態時,操作者可透過肢體動作控制游標1531,以選擇醫療導覽服務。舉例來說,當操作者於閱讀「醫院簡介」時,可透過手勢移動並停留一段時間(例如2至3秒)於「醫院簡介」的選項位置,以選定進入「醫院簡介」的操作介面153b。於此期間,導覽控制裝置15驅動影像分析模組150透過接收與分析三維深度影像感測裝置13a經感測產生之影像資料與深度感應資料,使控制單元151控制游標1531移動到對應的位置。隨後,當控制單元151分析出操作者停留於醫院簡介選項的時間大於一預設停置時間閥值(例如2秒或3秒),即驅動操作介面產生單元153透過讀取醫療導覽資料庫1593中的醫院簡介的醫療導覽資訊,產生對應的操作介面資料,以顯示進入「醫院簡介」的操作介面153b於顯示裝置11a,供操作者閱覽相關資訊。
如圖3B所示,「醫院簡介」的操作介面153b提供具「公告」、「歷史」以及「照片」的選項列1533,供操作者進行閱覽。當操作者想閱覽其他醫療導覽服務,可透過控制列1535的「首頁」,即時返回主要選單的操作介面153a。
當操作者透過肢體動作選擇瀏覽公告進入如圖3C所示之操作介面153c,此時選項列1533列出關於院內發布的消息,供操作者透過手勢或手指動作控制游標1531來點閱,其中「公告」操作介面153c可包括公告標題、日期、單位以及內容。管理者可由伺服器19隨時或定期進行公告內容的更新。同樣地,操作者如果想閱覽其他服務,可透過控制列1535的「上一頁」返回操作介面153b或是「首頁」返回主要選單的操作介面153a。
「歷史」選項可提供「醫療志業體」、「創辦人介紹」
、「醫療特色」等操作介面(未繪示),供操作者翻閱,並透過軟體如微軟SilverlightTM
4將操作介面做成類似於一本書。據此,操作者可以像是在閱讀一本書一樣,一頁一頁地閱讀醫院歷史,進而提高操作者瀏覽的趣味性。「照片」選項可提供複數張醫院內的特色景點,並透過照片說明,讓操作用者可以一覽醫院之美。管理者亦可由伺服器19隨時增加照片內容,再由醫療控制裝置15下載並儲存於儲存單元159的醫療導覽資料庫1593。
圖3D顯示非接觸式醫療導覽系統3提供對應於「院景服務」的操作介面153d。操作介面153d提供醫院環境資訊,供操作者於選項列1533中選取樓層平面圖、360度平面圖或樓層全景圖等。操作者可於選定瀏覽功能時,進入圖3E所示之操作介面153e。以樓層平面圖為例,可顯示各樓層的平面示意圖,並藉由肢體動作例如手勢移動或往前推,控制游標1531進行移動與拖拉。操作者還可於選項列1533進行圖示的放大或縮小控制,以讓操作者更清楚醫院內環境,例如了解院內各類醫療服務的位置或搜尋前往某一醫療服務位置之路徑。操作者如果想閱覽其他服務,可透過控制列1535的「上一頁」返回「院景服務」操作介面153d。
圖3F為顯示對應於圖3A所示「衛教遊戲」的操作介面153f。「衛教遊戲」可包含衛生教育的相關遊戲,以透過遊戲互動方式教導操作者醫療資訊。操作者可由選項列1533中選擇想要玩的遊戲,例如「遊戲1」或「遊戲2」,其中遊戲可例如為答題測驗,操作者需要在時間內完成答題數量,如果選錯了,會即時顯示錯誤訊息,並告知正確
答案。每答對一個題目,導覽控制系統15還可做分數累加,最後答題結束,會依照分數的不同,給予不同的評價。上述遊戲類型僅唯一種實施方式,並非用以限定本發明。此外,本發明領域具有通常知識者應可推知其他遊戲類型,故不在此贅述。
要說明的是,圖3A到3F僅為本發明實施例提供的非接觸式醫療導覽系統3之操作介面的示意圖,且會可由非接觸式醫療導覽系統3的系統設計者依據實際需求來進行操作介面的變更,因此本發明並不以此為限定。
值得一提的是,實務上,導覽控制裝置15可例如為於一計算機裝置,例如桌上型電腦或筆記型電腦等。影像分析模組150、控制單元151以及操作介面產生單元153可透過轉寫程式碼整合於計算機裝置的中央處理單元(central processing unit,CPU)。
於一具體實際應用中,可於使用具有微軟作業系統例如Window 7的計算機裝置上安裝OpenNI、SensorKinect、NITE以及MIRIA SDK或是Microsoft KINECT SDK來作為三維深度影像感測裝置13a的驅動程式後,以使計算機裝置可讀取並分析讀取三維深度影像感測裝置13a輸出的影像資料以及的深度感應資料,藉此實現影像分析模組150。此外,也可於計算機裝置上安裝Microsoft SQL Server 2008,來建立並管理指令資料庫1591與醫療導覽資料庫1593。另外,可利用於Microsoft Visual Studio與微軟SilverlightTM
4等軟體介面使用C#進行物件導向程式碼設計以實現控制單元151的判斷功能以及操作介面產生單元所產生的操作介面資料。然而,上述的導覽控制裝置15的
實施方式可依據系統設計者的實際應用需求而定,因此導覽控制裝置15的種類、實體架構以及實際實施方式會隨系統設計者的設計而定,本發明並限制。
由上述的實施例,本發明可以歸納出一種非接觸式醫院導覽控制方法,適用於上述實施例所述之非接觸式醫院導覽系統。請參照圖4,並同時參照圖2,圖4繪示本發明實施例提供的非接觸式醫療導覽控制方法之流程圖。
首先,於步驟S10中,非接觸式醫院導覽系統3處於等待狀態時,導覽控制裝置15驅動三維深度影像感測裝置13a感測是否有目標進入三維深度影像感測裝置13a的一預設感測範圍,例如三至五公尺。當三維深度影像感測裝置13a感測到有目標進入三維深度影像感測裝置13a的預設感測範圍時,執行步驟S20。反之,若三維深度影像感測裝置13a並未感測到目標時,則重新執行步驟S10。當目標進入三維深度影像感測裝置13a的預設感測範圍時,由三維深度影像感測裝置13a感測目標之肢體動作(第一肢體動作)與位置,並對應產生第一影像資料與第一深度感應資料(步驟S20)。從而,導覽控制裝置15的影像分析模組150可對所接收的第一影像資料與第一深度感應資料進行影像辨識,以分析操作者之第一肢體動作(例如揮手),進而產生第一影像辨識資料。詳細地說,透過驅動影像分析模組150中的影像處理單元1503對第一影像資料與第一深度感應資料進行影像處理與分析。影像處理與分析方式可如前述實施例所述包含影像處理、特徵辨識(例如臉部或身體特徵等)、深度辨識(例如亮度分析)以及骨架追蹤等,但本發明並不
以此為限。其後,於步驟S30中,導覽控制裝置15的控制單元151可依據第一影像辨識資料,例如第一影像辨識資料中的距離資訊與色彩分佈資訊,來判斷目標是否為操作者。當判定目標為操作者時,非接觸式醫療導覽系統3隨即進入控制狀態,執行步驟S40。相反地,若目標並非為操作者,例如操作者與三維深度影像感測裝置13a之間的相對距離大於或等於一預設距離閥值,例如三公尺或是操作者背對三維深度影像感測裝置13a等,則重新執行步驟S10。
於步驟S40中,使用三維深度影像感測裝置13a再次感測目標之第二肢體動作,並產生第二影像資料與第二深度感應資料。接著,於步驟S50利用影像分析模組150對第二影像資料與第二深度感應資料進行影像辨識分析並對應產生第二影像辨識資料。於步驟S60中,控制單元151則會根據第二影像辨識資料來判斷操作者的身份以及操作者之第二肢體動作(例如手勢左右移動或前後推動等),並產生介面驅動資料。其中介面驅動資料可包括操作介面讀取資料、操作介面之游標位置資料或介面更換資料等驅動資料。隨後,利用介面驅動資料驅動操作介面產生單元153產生一具有對應醫療導覽資訊的操作介面資料以更新操作介面(步驟S70)。最後,於步驟S80顯示對應所述具醫療導覽資訊的操作介面資料之操作介面於顯示裝置11a,以供操作者進行瀏覽。並再次執行步驟S40,以重新感測目標之第二肢體動作,直至三維深度影像感測裝置13a或導覽系統裝置15被關閉。
接著,以下介紹上述步驟S30中判斷是否為操作者之
步驟的詳細方法流程。請參照圖5,圖5繪示本發明實施例提供的操作者判斷方法之流程圖。首先,於步驟S301中,影像分析模組150透過分析第一影像資料與第一深度感應資料以辨識目標之第一肢體動作,並根據分析結果來產生第一影像辨識資料。而後,於步驟S303中,控制單元151根據第一影像辨識資料判斷進入預設感測範圍內的一個或多個目標其中之一是否為一操作者。換言之,當預設感測範圍內的任一目標與三維深度影像感測裝置13a之間的相對距離最近(例如小於預設距離閥值時),則執行步驟S305判定該目標為主要感測目標。反之,若預設感測範圍內並無目標與三維深度影像感測裝置13a之間的相對距離小於預設距離閥值,則執行步驟S313。
接著,於步驟S307中,控制單元151確認主要感測目標的姿勢,亦即判斷主要感測目標的姿勢是採站姿或坐姿(例如坐在輪椅上)以及主要感測目標的臉部是否以正面朝向三維深度影像感測裝置13a。控制單元151若控制單元151判斷主要感測目標的臉部並未朝向三維深度影像感測裝置13a,則執行步驟S313,反之,執行步驟S309。
隨後,於步驟S309中控制單元151可根據第一影像辨識資料判斷主要感測目標之第一肢體動作是否符合啟動系統的預設觸發動作,其中預設觸發動作可例如為單手揮動。若主要感測目標之第一肢體動作符合啟動系統的預設觸發動作,執行步驟S311。反之,若主要感測目標之第一肢體動作不符合啟動系統的預設觸發動作,執行步驟S313。
當第一肢體動作符合預設觸發動作時,於步驟S311控制單元151隨即判定主要感測目標為操作者並將第一影像
辨識資料中的儲存於儲存單元159。導覽控制裝置15的控制單元151驅動非接觸式醫療導覽系統3進入控制狀態,亦即操作者控制模式。控制單元151隨即驅動三維深度影像感應裝置13a擷取操作者之第二肢體動作,以依據操作者的動作對應產生介面驅動資料,以觸發操作介面產生單元153,並將游標的控制權給於操作者,此後游標可依據操作者的肢體動作移動。另外,於步驟S313中控制單元151重新感測是否有新的目標進入三維深度影像感應裝置13a的預設感測範圍。
此外,控制單元151亦可根據第二影像辨識資料豬的臉部特徵資訊、色彩分佈資訊及/或距離資訊判斷操作者是否離開或準備離開對應於影像感應裝置13a的預設感測範圍。當判定操作者已離開三維深度影像感應裝置13a的預設感測範圍時,重複執行步驟S10(請參閱圖4),以重新感測第一影像資料及第一深度感應資料產生的該些步驟、第二影像資料與第二深度感應資料產生直至三維深度影像感測裝置13a或導覽系統裝置15已關閉。其餘非接觸式醫院導覽控制方法的詳細實施細節可以參照前述實施例的說明,故在此不加贅述。
據此,上述非接觸式醫院導覽控制方法可透過辨識操作者的肢體動作以及移動資訊,對應地控制一操作介面,例如圖3A到3F所示之操作介面,使操作者無須直接接觸螢幕或與人接觸溝通即可依需求,隨意地瀏覽操作介面的資訊。要說明的是,圖4到圖5僅用以描述一種非接觸式醫院導覽控制方法,故圖4到圖5並非用以限定本發明。
綜上所述,本發明實施例所提供的一種非接觸式醫療導覽系統與其控制方法,此非接觸式醫療導覽系統與其控制方法用以提供醫療導覽資訊,供訪客進行瀏覽,以協助訪客了解醫院環境與接收醫療資訊。所述非接觸式醫療導覽系統可藉由主動感測及辨識操作者的肢體動作與相對移動位置,對應地變換具醫療導覽資訊的操作介面,進而可讓操作者藉由肢體動作,驅動控制具醫療導覽資訊的操作介面的運作。
此外,非接觸式醫療導覽系統還可藉由身體特徵、深度辨識與空間色彩分佈資訊,辨識操作者是否已離開預設的感測範圍、排除遮蔽物體的干擾以及於多個目標中分析並鎖定當前的操作者等,從而使當前的操作者可準確且不受干擾的自由且有效地控制操作介面。
藉此,可隨時充分地協助操作者熟悉醫院環境與醫療服務,同時利用非接觸的導覽控制方式,降低操作者於院內透過人與人之間或人與物體之間的接觸而受到細菌感染的風險。
以上所述僅為本發明之實施例,其並非用以侷限本發明之專利範圍。
1、3‧‧‧非接觸式醫療導覽系統
11、11a‧‧‧顯示裝置
13、13a‧‧‧三維深度影像感測裝置
131‧‧‧影像擷取模組
133‧‧‧深度感測模組
15‧‧‧導覽控制裝置
150‧‧‧影像分析模組
1501‧‧‧影像資料接收單元
1503‧‧‧影像處理單元
151‧‧‧控制單元
153‧‧‧操作介面產生單元
153a~153f‧‧‧操作介面
1531‧‧‧游標
1533‧‧‧選項列
1535‧‧‧控制列
155‧‧‧資料傳輸介面單元
157‧‧‧通訊單元
159‧‧‧儲存單元
1591‧‧‧指令資料庫
1593‧‧‧醫療導覽資料庫
17‧‧‧網路
19‧‧‧伺服器
2‧‧‧操作者
20‧‧‧肢體動作
S10~S80、S301~S313‧‧‧步驟
圖1是本發明實施例提供的非接觸式醫療導覽系統之之具體實施例之應用示意圖。
圖2是本發明實施例提供的非接觸式醫療導覽系統之系統方塊圖。
圖3A~3F是本發明實施例提供的非接觸式醫療導覽系
統之操作介面示意圖。
圖4是本發明實施例提供的非接觸式醫療導覽控制方法之流程圖。
圖5是本發明實施例提供的操作者判斷方法之流程圖。
S10~S80‧‧‧步驟
Claims (10)
- 一種非接觸式醫療導覽系統,用以供一操作者醫療導覽,該系統包括:一三維深度影像感測裝置,用於感測於一預設感測範圍內該操作者之一肢體動作,並對應產出至少一影像資料以及一深度感應資料;一導覽控制裝置,包括:一影像分析模組,接收該影像資料與該深度感應資料並進行分析處理,對應地產出一影像辨識資料;一儲存單元,用以儲存該影像辨識資料,且該儲存單元另儲存一指令資料庫與一醫療導覽資料庫,該指令資料庫包括多筆參考影像資料及對應指令資料,該醫療導覽資料庫包括多筆醫療導覽資訊;一控制單元,用以比對該影像辨識資料與該參考影像資料,以獲取與該影像辨識資料相符之該參考影像資料相對應的指令資料來決定一介面驅動資料;一操作介面產生單元,耦接於該控制單元,該操作介面產生單元用以讀取所述醫療導覽資訊,以產生一操作介面資料,並根據該介面驅動資料讀取所述醫療導覽資訊以更新該操作介面資料;以及一資料傳輸介面單元,耦接該操作介面產生單元,且該資料傳輸介面單元用以輸出該操作介面資料;以及一顯示裝置,用以接收該操作介面資料,以顯示對應該操作介面資料的一操作介面;其中該導覽控制裝置於輸出該介面驅動資料之前是於該 預設感測範圍內判斷有該操作者;其中該預設感測範圍內判斷有該操作者是於該預設感測範圍內有一目標,且該目標與該三維深度影像感測裝置之間的相對距離小於一預設距離閥值時,該導覽控制裝置認定該目標為該操作者。
- 如申請專利範圍第1項所述之非接觸式醫療導覽系統,其中該導覽控制裝置更包括:一通訊單元,用以透過一網路來與一伺服器連線,並將該伺服器所傳送之一醫療導覽更新資料儲存於該醫療導覽資料庫,以更新所述醫療導覽資訊。
- 如申請專利範圍第1項所述之非接觸式醫療導覽系統,其中該三維深度影像感測裝置包括:一影像擷取模組,擷取該操作者的該肢體動作以產生該影像資料;以及一紅外線偵測模組,擷取該操作者的一深度影像,並依據該深度影像對應輸出該深度感應資料,且該深度感應資料包括該影像資料的一亮度資訊與一色彩分佈資訊。
- 如申請專利範圍第3項所述之非接觸式醫療導覽系統,其中該影像分析模組係透過一亮度分析來比對分析該深度感應資料以獲得該操作者與該三維深度影像感測裝置之一距離,以及透過一骨架分析方式與色彩分佈資訊辨識來比對分析該影像資料中的骨架特徵與臉部特徵,以產出該影像辨識 資料,其中該骨架分析方式包含手指辨識、手勢辨識以及肢體辨識的至少其中之一。
- 如申請專利範圍第1項所述之非接觸式醫療導覽系統,其中所述醫療導覽資訊包括一醫院簡介資訊、一醫院環境資訊或一衛教遊戲資訊。
- 如申請專利範圍第1項所述之非接觸式醫療導覽系統,其中該介面驅動資料包括該操作介面之一游標位置資料以及一介面更換資料的至少其中之一。
- 一種非接觸式醫療導覽控制方法,應用於一非接觸式醫療導覽系統,該非接觸式醫療導覽系統包括一三維深度影像感測裝置及一導覽控制裝置,該非接觸式醫療導覽控制方法包括:當一目標進入一預設感測範圍時,使用該三維深度影像感測裝置感測該目標之一第一肢體動作,並對應產生一第一影像資料與一第一深度感應資料;該導覽控制裝置根據該第一影像資料與該第一深度感應資料進行影像辨識,以分析該目標之該第一肢體動作,並產生一第一影像辨識資料;該導覽控制裝置根據該第一影像辨識資料判斷該目標是否為一操作者;當該目標與該三維深度影像感測裝置之間的相對距離小於一預設距離閥值時,該導覽控制裝置判定該目標為該操作者時,使用該三維深度影像感測裝置感測 該操作者之一第二肢體動作,並產生一第二影像資料與一第二深度感應資料;該導覽控制裝置根據該第二影像資料與該第二深度感應資料進行影像辨識,以分析該操作者之該第二肢體動作,並產生一第二影像辨識資料;根據該第二影像辨識資料,該導覽控制裝置驅動一控制單元來使一操作介面產生單元產生具有醫療導覽資訊的一操作介面資料;以及該導覽控制裝置顯示對應該操作介面資料之具有醫療導覽資訊的一操作介面於一顯示裝置。
- 如申請專利範圍第7項所述之非接觸式醫療導覽控制方法,其中判斷該目標是否為該操作者之該步驟更包括:該控制單元根據該第一影像辨識資料判斷該預設感測範圍內該目標與該三維深度影像感測裝置之間的距離是否小於一預設距離閥值;於該目標與該三維深度影像感測裝置之間的距離小於該預設距離閥值時,該控制單元根據該第一影像辨識資料判斷該目標的臉部是否朝向該三維深度影像感測裝置;當判斷該目標的臉部朝向該三維深度影像感測裝置時,根據該第一影像辨識資料判斷該目標之該第一肢體動作是否符合一預設觸發動作;以及當該第一肢體動作符合該預設觸發動作,判定該目標為該操作者,並觸發該操作介面產生單元,以對應產生具一游標位置資料的一預設操作介面資料並顯示於該顯示裝置。
- 如申請專利範圍第7項所述之非接觸式醫療導覽控制方法,更包括:驅動該控制單元於一預設異常感測時間內,持續比對分析該第一影像辨識資料與該第二影像辨識資料;當該第一影像辨識資料與第二影像辨識資料之間的一色彩分佈資訊差異並未超出一預設變異範圍時,判定為錯誤辨識,並驅動該三維深度影像感測裝置再次感測該操作者之該第二肢體動作,並產生該第二影像資料與該第二深度感應資料。
- 如申請專利範圍第7項所述之非接觸式醫療導覽控制方法,其中於該操作介面資料產生之該步驟後,更包括:依據該第二影像辨識資料判斷該操作者是否離開該預設感測範圍;以及當判定該操作者已離開該預設感測範圍時,持續感測是否有新的目標進入該預設感測範圍,並於感測到新的目標進入該預設感測範圍時,返回感測該目標之該第一肢體動作之該步驟直至該三維深度影像感測裝置關閉。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101121534A TWI470565B (zh) | 2012-06-15 | 2012-06-15 | 非接觸式醫療導覽系統及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101121534A TWI470565B (zh) | 2012-06-15 | 2012-06-15 | 非接觸式醫療導覽系統及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201351308A TW201351308A (zh) | 2013-12-16 |
TWI470565B true TWI470565B (zh) | 2015-01-21 |
Family
ID=50158055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101121534A TWI470565B (zh) | 2012-06-15 | 2012-06-15 | 非接觸式醫療導覽系統及其控制方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI470565B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI636691B (zh) * | 2017-06-20 | 2018-09-21 | 圓展科技股份有限公司 | 視訊畫面智能切換方法及其系統 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI540462B (zh) * | 2014-11-17 | 2016-07-01 | 緯創資通股份有限公司 | 手勢辨識方法及其裝置 |
TWI721324B (zh) * | 2018-10-10 | 2021-03-11 | 鴻海精密工業股份有限公司 | 電子裝置及立體物體的判斷方法 |
TWI686817B (zh) * | 2019-06-05 | 2020-03-01 | 彰化基督教醫療財團法人彰化基督教醫院 | 藥物傳遞系統及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020057383A1 (en) * | 1998-10-13 | 2002-05-16 | Ryuichi Iwamura | Motion sensing interface |
TW200917136A (en) * | 2007-10-03 | 2009-04-16 | Micro Star Int Co Ltd | Method of determining power-saving mode for multimedia applications |
TW201030562A (en) * | 2009-02-03 | 2010-08-16 | Hui-Hu Liang | A method of image controlled cursor |
US20110080340A1 (en) * | 2008-06-04 | 2011-04-07 | Robert Campesi | System And Method For Remote Control Of A Computer |
TW201120684A (en) * | 2009-10-07 | 2011-06-16 | Microsoft Corp | Human tracking system |
-
2012
- 2012-06-15 TW TW101121534A patent/TWI470565B/zh not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020057383A1 (en) * | 1998-10-13 | 2002-05-16 | Ryuichi Iwamura | Motion sensing interface |
TW200917136A (en) * | 2007-10-03 | 2009-04-16 | Micro Star Int Co Ltd | Method of determining power-saving mode for multimedia applications |
US20110080340A1 (en) * | 2008-06-04 | 2011-04-07 | Robert Campesi | System And Method For Remote Control Of A Computer |
TW201030562A (en) * | 2009-02-03 | 2010-08-16 | Hui-Hu Liang | A method of image controlled cursor |
TW201120684A (en) * | 2009-10-07 | 2011-06-16 | Microsoft Corp | Human tracking system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI636691B (zh) * | 2017-06-20 | 2018-09-21 | 圓展科技股份有限公司 | 視訊畫面智能切換方法及其系統 |
Also Published As
Publication number | Publication date |
---|---|
TW201351308A (zh) | 2013-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111989537B (zh) | 用于在无约束环境中检测人类视线和手势的系统和方法 | |
US11650659B2 (en) | User input processing with eye tracking | |
CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
US9519351B2 (en) | Providing a gesture-based interface | |
JP5859456B2 (ja) | プレゼンテーション用カメラ・ナビゲーション | |
JP4481663B2 (ja) | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム | |
US8525876B2 (en) | Real-time embedded vision-based human hand detection | |
US9342143B1 (en) | Determining display orientations for portable devices | |
KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
CN108022543B (zh) | 一种广告自主演示方法、系统和广告机及应用 | |
KR102174695B1 (ko) | 객체 움직임 인식 방법 및 장치 | |
JP2004246578A (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
US9703387B2 (en) | System and method of real-time interactive operation of user interface | |
KR20150116897A (ko) | Nui 관여의 검출 | |
TWI470565B (zh) | 非接觸式醫療導覽系統及其控制方法 | |
CN103502910B (zh) | 用于操作激光二极管的方法 | |
US11630569B2 (en) | System, method and devices for touch, user and object sensing for IoT experiences | |
JP6834197B2 (ja) | 情報処理装置、表示システム、プログラム | |
KR101964192B1 (ko) | 시뮬레이션용 스마트 테이블 장치 | |
JP2011243141A (ja) | 操作情報処理装置、方法及びプログラム | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
KR100969927B1 (ko) | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 | |
US11954241B2 (en) | Information display system and information display method | |
JP2022008717A (ja) | 音声と動作認識に基づいたスマートボードを制御する方法およびその方法を使用した仮想レーザーポインター | |
JP2023068571A (ja) | 被写体の動作を解析する動作解析システム、動作解析装置、動作解析方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees | ||
MM4A | Annulment or lapse of patent due to non-payment of fees |