TWI411935B - 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法 - Google Patents

利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法 Download PDF

Info

Publication number
TWI411935B
TWI411935B TW098144961A TW98144961A TWI411935B TW I411935 B TWI411935 B TW I411935B TW 098144961 A TW098144961 A TW 098144961A TW 98144961 A TW98144961 A TW 98144961A TW I411935 B TWI411935 B TW I411935B
Authority
TW
Taiwan
Prior art keywords
posture
user
image
static
hand
Prior art date
Application number
TW098144961A
Other languages
English (en)
Other versions
TW201122905A (en
Inventor
Ying Jieh Huang
Xu-Hua Liu
Fei Tan
Original Assignee
Primax Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Primax Electronics Ltd filed Critical Primax Electronics Ltd
Priority to TW098144961A priority Critical patent/TWI411935B/zh
Priority to US12/723,417 priority patent/US20110158546A1/en
Publication of TW201122905A publication Critical patent/TW201122905A/zh
Application granted granted Critical
Publication of TWI411935B publication Critical patent/TWI411935B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Description

利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以 及方法
本發明係一種自動控制系統及其方法,尤其係關於一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法。
隨著科技的日新月異,電子裝置的蓬勃發展為人類的生活帶來許多的便利性,因此如何讓電子裝置的操作更人性化是重要的課題。舉例來說,人們通常透過遙控器對相對應的設備進行控制,像是電視機的操作,透過遙控器的使用,我們可以在遠端對電視機進行變換頻道選擇自己欲看的節目,或是調整其音量的大小,然而若是在找不著遙控器的情況下,就得至電視機前利用機上的按鈕來進行操作,且有些電視機身上根本沒有控制按鈕,顯將對使用者帶來困擾。
再舉例來說,人們通常是經由滑鼠與鍵盤對電腦的各種應用程式進行操作,因此在長時間處於使用電腦的狀態下,會造成頸部、肩部、手等部位的肌肉過於疲勞,進而影響健康。再者,滑鼠與鍵盤皆屬於實體的裝置,此將佔用許多位置而造成可使用空間上的浪費。
有鑑於此,現有許多習知技術提出一種利用影像處理的方法來達到操作指令可輸入電子裝置的目的,詳言之,電子裝置上設有一攝影機,當使用者欲執行特定的操作指令時,即以身體擺出事先定義的姿式或動作,此時連結於電子裝置的攝影機擷取該姿勢或動作之影像,經由電子裝置的分析辨識,再與電子裝置內之指令影像資料庫進行比對,進而使電子裝置判斷出使用者欲傳達之操作指令。譬如說,當使用者雙手舉起時可使電腦中的影片播放程式被開啟,或是當使用者張開嘴巴呈O型嘴時可執行關閉電視機的電源。然而,人們的慣性動作會導致非欲執行的操作指令輸入電子裝置,如身體疲累時自然地伸懶腰動作容易與雙手舉起的動作混淆,或是想睡覺時自然地打哈欠動作容易與張開嘴巴呈O型嘴的動作混淆。
因此,有習知技術提出一種解決之方式來防止上述的誤判與達成執行操作指令的確認,其方式如以下所述,當使用者欲執行操作指令時,先擺出一特定的姿勢或動作代表要開始執行指令,接著擺出欲執行指令之相對應的姿勢或動作,最後再以特定的姿勢或動作代表執行指令之相對應的姿勢或動作已呈現完畢,同時亦代表執行指令的確認。譬如說,使用者先以右手手掌握拳的動作傳達電腦要開始執行操作指令,接著以雙手舉起的動作來執行開啟電腦中的影片播放程式,最後再以右手手掌握拳的動作傳達電腦本執行指令已輸入完畢且確認。藉由此一系列連續的姿勢或 動作而達到操作指令輸入與確認的目的,但此作法增加了輸入操作指令的時間,亦不符合人性化的考量。
此外,更有習之技術提出利用聲控技術作搭配來防止電子裝置的誤判,當使用者欲執行操作指令時,即擺出欲執行指令之相對應的姿勢或動作,並於此同時利用聲音之傳達如“開始”或“結束”來達成操作指令輸入與確認的目的。然而,此作法也有一定的侷限性,人們通常都比較渴望一種安靜的生活環境,太多的噪音會對周圍的環境造成污染,且對於聾啞人士而言此作法更是無法發揮出優勢。
本發明之主要目的在提供一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號的系統以及方法,尤其係關於一種藉由使用者之手部姿勢以及頭部姿勢所形成的組合姿勢而產生控制訊號之系統以及方法。
於一較佳實施例中,本發明提供一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其連結於電子裝置,且藉由使用者之手部姿勢以及頭部姿勢所形成之組合姿勢而控制電子裝置,該系統包括:影像擷取單元,用以擷取組合姿勢之影像; 影像分析單元,其連接於影像擷取單元,用以辨識組合姿勢之影像;資料庫單元,用以儲存複數參考影像資料與複數參考影像資料中之每一影像資料所對應之控制指令;比對單元,其連接於影像分析單元與資料庫單元,用以將組合姿勢之影像與資料庫單元之複數參考影像資料作比對,而搜尋出相對應之參考影像資料與參考影像資料所對應之控制指令;以及指令處理單元,其連接於比對單元與電子裝置,用以將比對單元所搜尋出之控制指令輸入電子裝置。
於一較佳實施例中,頭部姿勢更包括臉部表情或臉部表情之變化。
於一較佳實施例中,臉部表情之變化係為使用者之左眼開閉動作、使用者之右眼開閉動作、使用者之嘴巴開閉動作或以上任二動作之組合。
於一較佳實施例中,影像分析單元包括:手部影像分析單元,用以偵測組合姿勢之影像中使用者之手部位置,而分析使用者之手部姿勢;頭部影像分析單元,用以偵測組合姿勢之影像中使用者之頭部位置,而分析使用者之頭部姿勢;臉部影像分析單元,用以偵測組合姿勢之影像中使用者之臉 部五官間之相對位置,而分析使用者之臉部表情與臉部表情之變化;組合姿勢影像辨識單元,用以綜合手部影像分析單元、頭部影像分析單元以及臉部影像分析單元之分析而輸出組合姿勢之辨識結果。
於一較佳實施例中,頭部姿勢係為靜態頭部姿勢或動態頭部姿勢。
於一較佳實施例中,靜態頭部姿勢係為使用者之頭部朝向前方之姿勢、使用者之頭部朝向右方之姿勢、使用者之頭部朝向左方之姿勢、使用者之頭部朝向上方之姿勢、使用者之頭部歪向左方之姿勢或使用者之頭部歪向右方之姿勢。
於一較佳實施例中,動態頭部姿勢係為使用者之點頭動作、使用者之搖頭動作、使用者之頭部順時針畫圓動作或使用者之頭部逆時針畫圓動作。
於一較佳實施例中,手部姿勢係為靜態手勢或動態手勢。
於一較佳實施例中,靜態手勢係為靜態手部姿勢、靜態手臂姿勢或以上二姿勢之組合。
於一較佳實施例中,靜態手部姿勢係為使用者之左手靜態姿勢、使用者之右手靜態姿勢或以上二姿勢之組合。
於一較佳實施例中,左手靜態姿勢係為手部張開姿勢、手部握拳姿勢、手部單指伸出姿勢、手部雙指伸出姿勢、手部三指伸 出姿勢或手部四指伸姿勢。
於一較佳實施例中,右手靜態姿勢係為手部張開姿勢、手部握拳姿勢、手部單指伸出姿勢、手部雙指伸出姿勢、手部三指伸出姿勢或手部四指伸出姿勢。
於一較佳實施例中,靜態手臂姿勢係為使用者之左臂靜態姿勢、使用者之右臂靜態姿勢或以上二姿勢之組合。
於一較佳實施例中,左臂靜態姿勢係為左手臂朝任一方向擺放之姿勢。
於一較佳實施例中,右臂靜態姿勢係為右手臂朝任一方向擺放之姿勢。
於一較佳實施例中,動態手勢係為利用靜態手勢作單次移動行為或利用靜態手勢作重複性移動行為。
於一較佳實施例中,單次移動行為係為順時針畫圓動作、逆時針畫圓動作、點擊動作、打叉動作、打勾動作、畫三角形動作、往任一方向揮動之動作或以上任二動作之組合。
於一較佳實施例中,重複性移動行為係為複數次順時針畫圓動作、複數次逆時針畫圓動作、複數次點擊動作、複數次打叉動作、複數次打勾動作、複數次畫三角形動作、複數次往任意方向揮動之動作或以上任二動作之組合。
於一較佳實施例中本發明亦提供一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,用以操控電子裝置,包括: 擷取使用者之組合姿勢之影像,其中組合姿勢包括使用者之手部姿勢與使用者之頭部姿勢;辨識組合姿勢之影像;比對組合姿勢之影像之辨識結果與事先定義之參考影像而取得事先定義之參考影像所對應之控制指令;以及輸入控制指令於電子裝置。
於一較佳實施例中,手部姿勢係為靜態手勢或動態手勢,而頭部姿勢係為靜態頭部姿勢或動態頭部姿勢。
於一較佳實施例中,利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法更包括藉由影像中使用者之臉部特徵之位置而獲得使用者之靜態頭部姿勢,或藉由連續影像中使用者之靜態頭部姿勢之變化而判斷使用者之動態頭部姿勢。
於一較佳實施例中,使用者之臉部特徵係為眉毛之兩端、瞳孔、眼角、鼻子、嘴角或以上任二臉部特徵之組合。
於一較佳實施例中,利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法更包括藉由影像中使用者之手部特徵之位置而獲得使用者之靜態手勢,及/或藉由連續影像中使用者之靜態手勢之變化而判斷使用者之動態手勢。
於一較佳實施例中,使用者之手部特徵係為手掌部、手指部、手臂部或以上任二手部特徵之組合。
於一較佳實施例中,頭部姿勢更包括使用者之臉部表情或臉 部表情之變化。
於一較佳實施例中,利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法更包括藉由影像中使用者之臉部五官間之相對位置而獲得使用者之臉部表情,或藉由連續影像中使用者之臉部五官間之相對位置的變化而判斷臉部表情之變化。
請參閱圖1,其為本發明利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統一較佳實施例之方塊示意圖。系統1連接於電子裝置2,其藉由感應使用者3之手部姿勢以及頭部姿勢所形成的一組合姿勢而控制電子裝置2,其中,電子裝置2可以是一電腦、一電視機或是其他可被遙控操作的電子設備。此外,該組合姿勢中之頭部姿勢更可包括使用者3的臉部表情或是臉部表情的變化,使得該組合姿勢可以為手部姿勢、頭部姿勢以及臉部表情與變化一起搭配呈現的結果。
該系統1包括影像擷取單元11、影像分析單元12、資料庫單元13、比對單元14以及指令處理單元15。影像擷取單元11用以擷取組合姿勢的影像;而影像分析單元12連接於影像擷取單元11,用以辨識影像擷取單元11所拍攝之組合姿勢的影像,本較佳實施例中的影像分析單元12包括手部影像分析單元121、頭部影 像分析單元122、臉部影像分析單元123以及組合姿勢影像辨識單元124。其中,手部影像分析單元121用以偵測影像中手部的位置,進而分析手部的姿勢;頭部影像分析單元122用以偵測影像中頭部的位置,進而分析頭部的姿勢;臉部影像分析單元123用以偵測影像中臉部五官間的相對位置,進而分析臉部的表情與變化;組合姿勢影像辨識單元124用以綜合手部影像分析單元121、頭部影像分析單元122以及臉部影像分析單元123的分析結果辨識出組合姿勢之影像的呈現。特別說明的是,手部姿勢係由靜態手勢或動態手勢的方式而呈現,而頭部姿勢係由靜態頭部姿勢或動態頭部姿勢的方式呈現,都將於後詳述之。
再者,該系統的資料庫單元13儲存有複數參考影像的資料,以及複數參考影像資料中之每一影像資料所對應的控制指令;而比對單元14連接於影像分析單元12與資料庫單元13,用以將影像分析單元12所辨識出組合姿勢的影像與資料庫單元13內的複數影像資料作比對,進而搜尋出與組合姿勢之影像相同的參考影像資料,因此使系統1獲得使用者3之組合姿勢所對應之控制指令;系統1的指令處理單元15位於比對單元14與電子裝置2之間,並連接於比對單元14和電子裝置2,用以將系統1獲得的控制指令輸入電子裝置2,使電子裝置2因應該控制指令而被操作。
請參閱圖2,其為本發明一較佳利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法之流程圖,詳细說明如以下所述。
步驟S1,利用影像擷取單元11拍攝使用者3之組合姿勢的影像;步驟S2,利用影像分析單元12辨識影像擷取單元11所拍攝之組合姿勢的影像;詳言之,頭部影像分析單元122藉由一影像中使用者3之臉部特徵的位置而使獲得使用者3的靜態頭部姿勢,或藉由一連續影像中使用者3之靜態頭部姿勢的變化而判斷使用者3的動態頭部姿勢,亦即頭部運動方向,其中,臉部特徵位置可以是使用者3之眉毛的兩端、瞳孔、眼角、鼻子、嘴角或以上任二臉部特徵之組合;同樣地,手部影像分析單元121藉由一影像中使用者3之手部特徵的位置而獲得使用者3的靜態手勢,及/或藉由一連續影像中使用者3之靜態手勢的變化而判斷使用者3的動態手勢,亦即手勢運動方向,其中,手部特徵位置可以是使用者3之手掌、手指、手臂或以上任二手部特徵之組合;再者,臉部影像分析單元123藉由一影像中使用者3之臉部五官間的相對位置而獲得該使用者3的臉部表情,或藉由一連續影像中使用者3之臉部五官間相對位置的變化而判斷臉部表情的變化;最後,組合姿勢影像辨識單元124綜合以上之分析而輸出組合姿勢的辨識結果;步驟S3,將組合姿勢的辨識結果與資料庫單元13內的複數參考影像資料作比對,以搜索是否有匹配的參考影像資料,如有搜索出匹配的參考影像資料則發出相對應的控制指令予指令處理單 元15,如無搜索出匹配的參考影像資料則回到步驟S1;步驟S4,利用指令處理單元15將相對應的控制指令輸入至電子裝置1。
接下來說明本發明之手部姿勢的呈現方式,如先前所敘述,手部姿勢係由靜態手勢或動態手勢的方式而呈現,而靜態手勢係為靜態手部姿勢、靜態手臂姿勢或以上二姿勢之組合,且靜態手部姿勢又可細分為左手靜態姿勢、右手靜態姿勢或以上二姿勢之組合,以及靜態手臂姿勢可細分為左臂靜態姿勢、右臂靜態姿勢或以上二姿勢之組合。
請參閱圖3A,其為本發明一較佳實施例之右手靜態姿勢呈現示意圖,右手靜態姿勢係可為右手掌張開姿勢(如方塊1所示)、右手握拳姿勢(如方塊2所示)、右手單指伸出姿勢(如方塊3所示)、右手雙指伸出姿勢(如方塊4所示)、右手三指伸出姿勢(如方塊5所示)或右手四指伸姿勢(如方塊6所示)。同樣地,請參閱圖3B,其為本發明一較佳實施例之左手靜態姿勢呈現示意圖,左手靜態姿勢係可為左手掌張開姿勢(如方塊1所示)、左手握拳姿勢(如方塊2所示)、左手單指伸出姿勢(如方塊3所示)、左手雙指伸出姿勢(如方塊4所示)、左手三指伸出姿勢(如方塊5所示)或左手四指伸姿勢(如方塊6所示)。補充說明的是,以上圖示僅為較佳之呈現方式,呈現方式並不侷限於使用者3的特定手指,譬如說手部單指伸出姿勢並不侷限於如圖3A之方塊3或圖4A之方塊3所示之 食指,如使用中指來呈現亦可;並且呈現方式也不侷限於使用者3的特定手指方向,譬如說手指伸出方向並不侷限於如圖3所示之向上伸出方向,亦即向手指向任意方向伸出皆可。
再者,左臂靜態姿勢係為左手臂朝任一方向擺放的姿勢,請參閱圖4A,其為本發明一較佳實施例之左臂靜態姿勢呈現示意圖,左臂靜態姿勢的較佳呈現方式可為左手臂朝上擺放(如方塊1所示)、左手臂朝左擺放(如方塊2所示)、左手臂朝下擺放(如方塊3所示)或左手臂朝前擺放(如方塊4所示);同樣地,右臂靜態姿勢的較佳呈現方式可為右手臂朝任一方向擺放的姿勢,請參閱圖4B,其為本發明一較佳實施例之右臂靜態姿勢呈現示意圖,右臂靜態姿勢可為右手臂朝上擺放(如方塊1所示)、右手臂朝右擺放(如方塊2所示)、右手臂朝下擺放(如方塊3所示)或右手臂朝前擺放(如方塊4所示)。
因此,靜態手勢是由以上描述中任一的左手靜態姿勢、任一的右手靜態姿勢、任一的左臂靜態姿勢以及任一的右臂靜態姿勢互相搭配而呈現的結果。動態手勢則是利用左手靜態姿勢、右手靜態姿勢、左臂靜態姿或是右臂靜態姿勢作單次的移動行為使手勢具有一次性的運動方向,或是作重複性的移動行為使手勢具有重複性的往返運動。請參閱圖5,其為本發明一較佳實施例之動態手勢呈現示意圖,本較佳實施例以右手食指呈現,其較佳的移動行為係可為順時針畫圓動作(如方塊1所示)、逆時針畫圓動作(如 方塊2所示)、點擊動作(如方塊3所示)、打叉動作(如方塊4所示)、打勾動作(如方塊5所示)、畫三角形動作(如方塊6所示)、往上方揮動(如方塊7所示)、往左方揮動(如方塊8所示)、往右方揮動(如方塊9所示)或是以上任二動作之組合,當然呈現方式並不侷限於右手食指。補充說明的是,動態手勢係藉由任一左手靜態姿勢的移動、任一右手靜態姿勢的移動、任一左臂靜態姿勢的移動以及任一右臂靜態姿勢的移動互相搭配而呈現的結果,舉例來說,使用者3在左手食指重複往上揮動的同時,搭配右手握拳作一單次逆時針畫圓動作亦可為一種動態手勢的呈現。
接下來說明本發明之頭部姿勢的呈現方式,如先前所敘述,頭部姿勢係由靜態頭部姿勢或動態頭部姿勢的方式呈現,請參閱圖6,其為本發明一較佳實施例之靜態頭部姿勢呈現示意圖。靜態頭部姿勢的較佳呈現方式係可為使用者3之頭部朝向前方的姿勢(如方塊1所示)、使用者3之頭部朝向右方的姿勢(如方塊2所示)、使用者3之頭部朝向左方的姿勢(如方塊3所示)、使用者3之頭部朝向上方的姿勢(如方塊4所示)、使用者3之頭部歪向左方的姿勢(如方塊5所示)或是使用者3之頭部歪向右方的姿勢(如方塊6所示)。請參閱圖7,其為本發明一較佳實施例之動態頭部姿勢呈現示意圖,動態頭部姿勢係的較佳呈現方式係可為使用者3的點頭動作(如方塊1所示)、使用者3的搖頭動作(如方塊2所示)、使用者3的頭部順時針畫圓動作(如方塊3所示)或是使用者3的頭部逆 時針畫圓動作(如方塊4所示)。
最後說明本發明之臉部表情以及臉部表情變化的呈現方式,請參閱圖8,其為本發明一較佳實施例之臉部表情變化呈現示意圖,臉部表情的較佳呈現方式係可為使用者3的左眼開閉動作(如方塊1所示)、使用者3之右眼開閉動作(如方塊2所示)、使用者3之嘴巴開閉動作(如方塊3所示)或以上任二動作之組合。
綜合以上之說明,本發明之組合姿勢係利用以上描述中任一的手部姿勢搭配任一的頭部姿勢或者任一的臉部表情變化而呈現,且每一種呈現方式皆可對應於一種控制指令,由於組合姿勢的複雜度大於人們的慣性動作,因此,藉由組合姿勢的呈現可避免使用者3的慣性動作導致控制指令被誤入電子裝置2,亦即在使用者3以特定之組合姿勢傳達電子裝置2相對應的控制指令時,可同時完成控制指令的確認。
以上所述僅為本發明之較佳實施例,並非用以限定本發明之申請專利範圍,因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾,均應包含於本案之申請專利範圍內。
1‧‧‧系統
2‧‧‧電子裝置
3‧‧‧使用者
11‧‧‧影像擷取單元
12‧‧‧影像分析單元
13‧‧‧資料庫單元
14‧‧‧比對單元
15‧‧‧指令處理單元
121‧‧‧手部影像分析單元
122‧‧‧頭部影像分析單元
123‧‧‧臉部影像分析單元
124‧‧‧組合姿勢影像辨識單元
S1、S2、S3、S4‧‧‧步驟
圖1:係為本發明利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統一較佳實施例之方塊示意圖。
圖2:係為本發明一較佳利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法之流程圖。
圖3A:係為本發明一較佳實施例之右手靜態姿勢呈現示意圖。
圖3B:係為本發明一較佳實施例之左手靜態姿勢呈現示意圖。
圖4A:係為本發明一較佳實施例之左臂靜態姿勢呈現示意圖。
圖4B:係為本發明一較佳實施例之右臂靜態姿勢呈現示意圖。
圖5:係為本發明一較佳實施例之動態手勢呈現示意圖。
圖6:係為本發明一較佳實施例之靜態頭部姿勢呈現示意圖。
圖7:係為本發明一較佳實施例之動態頭部姿勢呈現示意圖。
圖8:係為本發明一較佳實施例之臉部表情及其變化呈現示意圖。
1‧‧‧系統
2‧‧‧電子裝置
3‧‧‧使用者
11‧‧‧影像擷取單元
12‧‧‧影像分析單元
13‧‧‧資料庫單元
14‧‧‧比對單元
15‧‧‧指令處理單元
121‧‧‧手部影像分析單元
122‧‧‧頭部影像分析單元
123‧‧‧臉部影像分析單元
124‧‧‧組合姿勢影像辨識單元

Claims (22)

  1. 一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其連結於一電子裝置,且藉由一使用者之一手部姿勢以及一頭部姿勢所形成之一組合姿勢而控制該電子裝置,該系統包括:一影像擷取單元,用以擷取該組合姿勢之影像,其中該組合姿勢中的該頭部姿勢更包括一臉部表情或一臉部表情之變化;一影像分析單元,其連接於該影像擷取單元,用以辨識該組合姿勢之影像,其中該影像分析單元包括:一手部影像分析單元,用以偵測該組合姿勢之影像中該使用者之手部位置,而分析該使用者之該手部姿勢;一頭部影像分析單元,用以偵測該組合姿勢之影像中該使用者之頭部位置,而分析該使用者之該頭部姿勢;一臉部影像分析單元,用以偵測該組合姿勢之影像中該使用者之臉部五官間之相對位置,而分析該使用者之該臉部表情與該臉部表情之變化;以及一組合姿勢影像辨識單元,用以綜合該手部影像分析單元、該頭部影像分析單元以及該臉部影像分析單元之分析而輸出該組合姿勢之辨識結果;一資料庫單元,用以儲存複數參考影像資料與該複數參考影像資料中之每一該影像資料所對應之一控制指令;一比對單元,其連接於該影像分析單元與該資料庫單元,用 以將該組合姿勢之影像與該資料庫單元之該複數參考影像資料作一比對,而搜尋出相對應之該參考影像資料與該參考影像資料所對應之該控制指令;以及一指令處理單元,其連接於該比對單元與該電子裝置,用以將該比對單元所搜尋出之該控制指令輸入該電子裝置。
  2. 如申請專利範圍第1項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該臉部表情之變化係為該使用者之一左眼開閉動作、該使用者之一右眼開閉動作、該使用者之一嘴巴開閉動作或以上任二動作之組合。
  3. 如申請專利範圍第1項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該頭部姿勢係為一靜態頭部姿勢或一動態頭部姿勢。
  4. 如申請專利範圍第3項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該靜態頭部姿勢係為該使用者之一頭部朝向前方之姿勢、該使用者之一頭部朝向右方之姿勢、該使用者之一頭部朝向左方之姿勢、該使用者之一頭部朝向上方之姿勢、該使用者之一頭部歪向左方之姿勢或該使用者之一頭部歪向右方之姿勢。
  5. 如申請專利範圍第3項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該動態頭部姿勢係為該使用者之一點頭動作、該使用者之一搖頭動作、該使用者之一頭部順時針 畫圓動作或該使用者之一頭部逆時針畫圓動作。
  6. 如申請專利範圍第1項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該手部姿勢係為一靜態手勢或一動態手勢。
  7. 如申請專利範圍第6項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該靜態手勢係為一靜態手部姿勢、一靜態手臂姿勢或以上二姿勢之組合。
  8. 如申請專利範圍第7項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該靜態手部姿勢係為該使用者之一左手靜態姿勢、該使用者之一右手靜態姿勢或以上二姿勢之組合。
  9. 如申請專利範圍第8項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該左手靜態姿勢係為一手部張開姿勢、一手部握拳姿勢、一手部單指伸出姿勢、一手部雙指伸出姿勢、一手部三指伸出姿勢或一手部四指伸姿勢。
  10. 如申請專利範圍第8項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該右手靜態姿勢係為一手部張開姿勢、一手部握拳姿勢、一手部單指伸出姿勢、一手部雙指伸出姿勢、一手部三指伸出姿勢或一手部四指伸出姿勢。
  11. 如申請專利範圍第10項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該靜態手臂姿勢係為該使用者 之一左臂靜態姿勢、該使用者之一右臂靜態姿勢或以上二姿勢之組合。
  12. 如申請專利範圍第11項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該左臂靜態姿勢係為一左手臂朝任一方向擺放之姿勢。
  13. 如申請專利範圍第11項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該右臂靜態姿勢係為一右手臂朝任一方向擺放之姿勢。
  14. 如申請專利範圍第7項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該動態手勢係為利用該靜態手勢作一單次移動行為或利用該靜態手勢作一重複性移動行為。
  15. 如申請專利範圍第14項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該單次移動行為係為一順時針畫圓動作、一逆時針畫圓動作、一點擊動作、一打叉動作、一打勾動作、一畫三角形動作、一往任一方向揮動之動作或以上任二動作之組合。
  16. 如申請專利範圍第14項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統,其中該重複性移動行為係為一複數次順時針畫圓動作、一複數次逆時針畫圓動作、一複數次點擊動作、一複數次打叉動作、一複數次打勾動作、一複數次畫三角形動作、一複數次往任意方向揮動之動作或以上任二動作之組合。
  17. 一種利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,用以操控一電子裝置,包括:擷取一使用者之一組合姿勢之影像,其中該組合姿勢包括該使用者之一手部姿勢與該使用者之一頭部姿勢,其中該手部姿勢係為一靜態手勢或一動態手勢,而該頭部姿勢係為一靜態頭部姿勢或一動態頭部姿勢;藉由一影像中該使用者之臉部特徵之位置而獲得該使用者之該靜態頭部姿勢,或藉由一連續影像中該使用者之該靜態頭部姿勢之變化而判斷該使用者之該動態頭部姿勢;辨識該組合姿勢之影像;比對該組合姿勢之影像之辨識結果與一事先定義之參考影像而取得該事先定義之參考影像所對應之一控制指令;以及輸入該控制指令於該電子裝置。
  18. 如申請專利範圍第17項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,其中該使用者之臉部特徵係為一眉毛之兩端、一瞳孔、一眼角、一鼻子、一嘴角或以上任二臉部特徵之組合。
  19. 如申請專利範圍第17項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,更包括藉由一影像中該使用者之手部特徵之位置而獲得該使用者之該靜態手勢,及/或藉由一連續影像中該使用者之該靜態手勢之變化而判斷該使用者之該動態手 勢。
  20. 如申請專利範圍第19項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,其中該使用者之手部特徵係為一手掌部、一手指部、一手臂部或以上任二手部特徵之組合。
  21. 如申請專利範圍第17項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,其中該頭部姿勢更包括一使用者之一臉部表情或一臉部表情之變化。
  22. 如申請專利範圍第21項所述之利用影像擷取裝置辨識使用者姿勢以產生控制訊號之方法,更包括藉由一影像中該使用者之臉部五官間之相對位置而獲得該使用者之該臉部表情,或藉由一連續影像中該使用者之臉部五官間之相對位置的變化而判斷該臉部表情之變化。
TW098144961A 2009-12-25 2009-12-25 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法 TWI411935B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098144961A TWI411935B (zh) 2009-12-25 2009-12-25 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
US12/723,417 US20110158546A1 (en) 2009-12-25 2010-03-12 System and method for generating control instruction by using image pickup device to recognize users posture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098144961A TWI411935B (zh) 2009-12-25 2009-12-25 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法

Publications (2)

Publication Number Publication Date
TW201122905A TW201122905A (en) 2011-07-01
TWI411935B true TWI411935B (zh) 2013-10-11

Family

ID=44187670

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098144961A TWI411935B (zh) 2009-12-25 2009-12-25 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法

Country Status (2)

Country Link
US (1) US20110158546A1 (zh)
TW (1) TWI411935B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
JP5783441B2 (ja) * 2011-03-09 2015-09-24 日本電気株式会社 入力装置、入力方法
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技(北京)有限公司 人机互动系统和方法
CN102541259A (zh) * 2011-12-26 2012-07-04 鸿富锦精密工业(深圳)有限公司 电子设备及其根据脸部表情提供心情服务的方法
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
TWI590098B (zh) * 2012-05-09 2017-07-01 劉鴻達 以臉部表情為輸入的控制系統
WO2013170129A1 (en) * 2012-05-10 2013-11-14 President And Fellows Of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
CN103425239B (zh) * 2012-05-21 2016-08-17 昆山超绿光电有限公司 以脸部表情为输入的控制系统
CN103425238A (zh) * 2012-05-21 2013-12-04 刘鸿达 以手势为输入的控制系统云端系统
US10890965B2 (en) 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
TWI587175B (zh) * 2012-09-11 2017-06-11 元智大學 Dimensional pointing control and interaction system
TWI582708B (zh) 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
JP5811360B2 (ja) * 2012-12-27 2015-11-11 カシオ計算機株式会社 運動情報表示システムおよび運動情報表示方法、運動情報表示プログラム
TWI492098B (zh) * 2013-03-04 2015-07-11 利用頭部進行控制之系統及方法
CN103309450A (zh) * 2013-06-09 2013-09-18 张家港市鸿嘉数字科技有限公司 一种识别用户面部表情操作平板电脑的方法
CN103336577B (zh) * 2013-07-04 2016-05-18 宁波大学 一种基于人脸表情识别的鼠标控制方法
KR102182398B1 (ko) * 2013-07-10 2020-11-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
RU2013146529A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Распознавание динамического жеста руки с избирательным инициированием на основе обнаруженной скорости руки
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
CN105468950B (zh) * 2014-09-03 2020-06-30 阿里巴巴集团控股有限公司 身份认证方法、装置、终端及服务器
CN104898828B (zh) * 2015-04-17 2017-11-14 杭州豚鼠科技有限公司 应用体感交互系统的体感交互方法
WO2017066209A1 (en) 2015-10-14 2017-04-20 President And Fellows Of Harvard College Automatically classifying animal behavior
JP6964596B2 (ja) 2016-03-18 2021-11-10 プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ 動物行動の自動分類方法
CN105836148B (zh) * 2016-05-19 2018-01-09 重庆大学 可穿戴旋翼飞行器
CN106022378B (zh) * 2016-05-23 2019-05-10 武汉大学 坐姿判断方法及基于摄像头与压力传感器颈椎病识别系统
TWI634487B (zh) * 2017-03-02 2018-09-01 合盈光電科技股份有限公司 Action gesture recognition system
CN107527033A (zh) * 2017-08-25 2017-12-29 歌尔科技有限公司 摄像头模组和社交系统
CN108021902A (zh) * 2017-12-19 2018-05-11 珠海瞳印科技有限公司 头部姿态识别方法、头部姿态识别装置和存储介质
US10430016B2 (en) * 2017-12-22 2019-10-01 Snap Inc. Augmented reality user interface control
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
CN111145274B (zh) * 2019-12-06 2022-04-22 华南理工大学 一种基于视觉的坐姿检测方法
CN112328071A (zh) * 2020-09-21 2021-02-05 深圳Tcl新技术有限公司 手势光标加速定位的方法、装置和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
TW200844871A (en) * 2007-01-12 2008-11-16 Ibm Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20090201389A1 (en) * 2008-02-11 2009-08-13 Samsung Techwin Co., Ltd. Digital image processing apparatus and method of controlling the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
TW200844871A (en) * 2007-01-12 2008-11-16 Ibm Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20090201389A1 (en) * 2008-02-11 2009-08-13 Samsung Techwin Co., Ltd. Digital image processing apparatus and method of controlling the same

Also Published As

Publication number Publication date
TW201122905A (en) 2011-07-01
US20110158546A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
Wachs et al. Vision-based hand-gesture applications
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US11567573B2 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
TWI590098B (zh) 以臉部表情為輸入的控制系統
TWI497347B (zh) 以手勢為輸入之控制系統
US20180024643A1 (en) Gesture Based Interface System and Method
EP2766790B1 (en) Authenticated gesture recognition
US8732623B2 (en) Web cam based user interaction
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
US20140258942A1 (en) Interaction of multiple perceptual sensing inputs
CN102117117A (zh) 利用图像提取装置辨识使用者姿势进行控制的系统及方法
CN113568506A (zh) 用于显示器控制和定制姿势解释的动态用户交互
CN103425238A (zh) 以手势为输入的控制系统云端系统
WO2013139181A1 (zh) 一种用户交互系统和方法
WO2018000519A1 (zh) 一种基于投影的用户交互图标的交互控制方法及系统
LaViola Jr Context aware 3D gesture recognition for games and virtual reality
CN103425239A (zh) 以脸部表情为输入的控制系统
LaViola Jr An introduction to 3D gestural interfaces
TWI665658B (zh) 智慧型機器人
Aditya et al. Recent trends in HCI: A survey on data glove, LEAP motion and microsoft kinect
Vyas et al. Gesture recognition and control
KR20190092751A (ko) 전자 장치 및 이의 제어 방법
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees