TWI610198B - 遙控裝置與根據至少一靜態手勢產生控制指令的方法 - Google Patents

遙控裝置與根據至少一靜態手勢產生控制指令的方法 Download PDF

Info

Publication number
TWI610198B
TWI610198B TW104112441A TW104112441A TWI610198B TW I610198 B TWI610198 B TW I610198B TW 104112441 A TW104112441 A TW 104112441A TW 104112441 A TW104112441 A TW 104112441A TW I610198 B TWI610198 B TW I610198B
Authority
TW
Taiwan
Prior art keywords
image
operator
remote control
control device
gesture
Prior art date
Application number
TW104112441A
Other languages
English (en)
Other versions
TW201638719A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Priority to TW104112441A priority Critical patent/TWI610198B/zh
Priority to CN201510230546.0A priority patent/CN106200890B/zh
Priority to US15/096,286 priority patent/US10802594B2/en
Publication of TW201638719A publication Critical patent/TW201638719A/zh
Application granted granted Critical
Publication of TWI610198B publication Critical patent/TWI610198B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)

Abstract

遙控裝置包含一物件偵測單元、一物件辨識單元及一靜態手勢處理單元。該物件偵測單元根據包含一操作者的深度影像和對應該操作者的臉部偵測結果，偵測對應該操作者的一物件。該物件辨識單元於該操作者移動該物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應該深度影像的一二維影像的組合之一，辨識該物件所形成的一手勢。該操作者在一第一預定時間內移動該物件於該預定位置並在該操作者移動該物件於該預定位置後拉回該物件。該靜態手勢處理單元根據該物件辨識單元所辨識的至少一靜態手勢，產生一第一控制指令控制一電子裝置。

Description

遙控裝置與根據至少一靜態手勢產生控制指令的方法
本發明是有關於一種遙控裝置與根據至少一靜態手勢產生控制指令的方法，尤指一種不須複雜的手勢動作、複雜的計算、運算能力強大的處理器與大容量的記憶體即可快速產生控制指令和符合人體力學的遙控裝置與根據至少一靜態手勢產生控制指令的方法。
一般說來，雖然觸控操作在智慧型手持式裝置中佔有主要地位，但卻無法廣泛地應用在智慧型電視上(因為操作者和智慧型電視之間的距離通常會大於操作者的手臂長度)。因此，在智慧型電視的遠端遙控運用中，體感操作取代觸控操作佔有主要地位。在現有技術中，遙控裝置透過影像感測裝置不斷地擷取包含操作者的影像。然後遙控裝置會對包含操作者的影像執行複雜的計算以產生操作者的骨架輪廓。在遙控裝置產生操作者的骨架輪廓後，遙控裝置可根據操作者的骨架輪廓，產生複雜的一游標控制指令或一姿勢控制指令。
然而，因為現有技術會對包含操作者的影像執行複雜的計算以產生操作者的骨架輪廓，所以現有技術需要運算能力強大的處理器與大容量的記憶體，導致現有技術對於操作者而言並非是一個較佳的選擇。
本發明的一實施例提供一種遙控裝置。該遙控裝置包含一物件偵測單元、一物件辨識單元及一靜態手勢處理單元。該物件偵測單元是用以根據包含一操作者的深度影像和對應於該操作者的臉部偵測結果，偵測對應於該操作者的一物件。該物件辨識單元是用以於該操作者移動該物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於該深度影像的一二維影像的組合之一，辨識該物件所形成的一手勢，其中該操作者是在一第一預定時間內移動該物件於該預定位置並在該操作者移動該物件於該預定位置後拉回該物件。該靜態手勢處理單元是用以根據該物件辨識單元所辨識的至少一手勢，產生一第一控制指令以控制一電子裝置。
本發明的另一實施例提供一種根據至少一靜態手勢產生控制指令的方法，其中一應用於該方法的遙控裝置包含一物件偵測單元、一物件辨識單元及一靜態手勢處理單元。該方法包含該物件偵測單元根據包含一操作者的深度影像和對應於該操作者的臉部偵測結果，偵測對應於該操作者的一物件；該物件辨識單元於該操作者移動該物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於該深度影像的一二維影像的組合之一，辨識該物件所形成的一手勢，其中該操作者是在一第一預定時間內移動該物件於該預定位置並在該操作者移動該物件於該預定位置後拉回該物件；及該靜態手勢處理單元根據該物件辨識單元所辨識的至少一手勢，產生一第一控制指令以控制一電子裝置。
本發明的另一實施例提供一種遙控裝置。該遙控裝置包含一物件辨識單元。該物件辨識單元是用以於一操作者移動對應於該操作者的一物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於包含該操作者的深度影像的一二維影像的組合之一，辨識該物件所形成的一手勢，其 中該操作者是在一第一預定時間內移動該物件於該預定位置並在該操作者移動該物件於該預定位置後拉回該物件。
本發明提供一種遙控裝置與根據至少一靜態手勢產生控制指令的 方法。該遙控裝置與該方法是利用一物件偵測單元根據包含一操作者的深度影像和對應於該操作者的臉部偵測結果，偵測對應於該操作者的一合法操作物件，利用一物件辨識單元辨識合該法操作物件所形成的至少一手勢，以及利用一靜態手勢處理單元根據該物件辨識單元所辨識的至少一手勢，產生一控制指令以控制一電子裝置。因此，相較於現有技術，本發明具有下列優點：第一、因為本發明所提供的控制指令僅由簡單的手勢組合所組成，所以本發明不須複雜的手勢動作和複雜的計算；第二、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明可提供符合人體力學友善操作的方法；第三、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明可提供快速產生控制指令的方法；第四、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明所提供的遙控裝置不須運算能力強大的處理器與大容量的記憶體。
100、1900‧‧‧遙控裝置
102‧‧‧第一感測器
104‧‧‧第二感測器
106‧‧‧前處理模組
108‧‧‧深度圖引擎
110‧‧‧臉部辨識單元
112‧‧‧臉部資料庫
114‧‧‧游標處理單元
116‧‧‧動態手勢處理單元
118‧‧‧物件偵測單元
120‧‧‧手勢資料庫
122‧‧‧物件辨識單元
124‧‧‧靜態手勢處理單元
1062‧‧‧同步單元
1064‧‧‧影像處理器
1066‧‧‧校正器
1068‧‧‧縮放器
1904‧‧‧光編碼裝置
200‧‧‧操作者
202‧‧‧臉
300‧‧‧電子裝置
302‧‧‧顯示幕
304、308‧‧‧游標
306‧‧‧圖像
CR、CR1‧‧‧游標操作範圍
CCC‧‧‧游標控制指令
DR‧‧‧大略距離
DI‧‧‧深度影像
DF‧‧‧距離
DV、UV‧‧‧向量
FDR‧‧‧臉部偵測結果
FI、EFI‧‧‧第一影像
FCC‧‧‧第一控制指令
FDI‧‧‧臉部辨識用影像
IO、IO’‧‧‧合法操作物件
L、RX、W‧‧‧寬
LPI‧‧‧影像
MT‧‧‧移動軌跡
OP‧‧‧平面
ODI‧‧‧原始深度影像
OBI‧‧‧物件辨識用影像
PP‧‧‧第一預定時間
PFI‧‧‧第一處理影像
PSI‧‧‧第二處理影像
PD‧‧‧預定距離
PL、PLU‧‧‧預定位置
RDI‧‧‧校正深度影像
RFI‧‧‧第一校正影像
RSI‧‧‧第二校正影像
RI‧‧‧參考影像
RY、H‧‧‧高
SI、CSI‧‧‧第二影像
SCC‧‧‧第二控制指令
T0-T5‧‧‧時間
TV‧‧‧臨界值
T‧‧‧設定時間
TI‧‧‧目標影像
VD‧‧‧有效距離
XFC‧‧‧中心
XC、YC、XS、YS、XI、YI‧‧‧座標
YFT‧‧‧頂點
2000-2016、2100-2114、2200-2214‧‧‧步驟
第1圖是本發明的一實施例說明一種遙控裝置的示意圖。
第2圖是說明包含操作者的深度影像的示意圖。
第3圖是說明操作者、遙控裝置和電子裝置之間的關係的示意圖。
第4圖是說明操作者在第一預定時間內向前移動合法操作物件於預定位置的示意圖。
第5圖是說明操作者移動合法操作物件的軌跡的示意圖。
第6圖是說明合法操作物件形成的多種手勢的示意圖。
第7圖是說明靜態手勢處理單元根據物件辨識單元所辨識的手勢，產生第一 控制指令的示意圖。
第8圖是說明物件辨識單元利用合法操作物件的移動量，辨識合法操作物件所形成的手勢的示意圖。
第9圖是說明靜態手勢處理單元根據物件辨識單元所辨識的手勢，產生第一控制指令的示意圖。
第10圖是說明操作者向下移動合法操作物件的示意圖。
第11圖是說明操作者向上移動合法操作物件的示意圖。
第12圖是說明操作者以圓形軌跡方式移動合法操作物件的示意圖。
第13圖是說明游標模式中單手控制模式的游標操作範圍的示意圖。
第14圖是說明游標模式中的雙手控制模式的游標操作範圍的示意圖。
第15圖是說明在第13圖中，當游標處理單元定義出游標操作範圍後，游標處理單元根據合法操作物件的位置，產生游標控制指令的示意圖。
第16、17圖是說明在單手控制模式中，操作者、合法操作物件與電子裝置的顯示幕的關係的示意圖。
第18圖是說明在游標模式的雙手控制模式中，操作者、合法操作物件與電子裝置的顯示幕的關係的示意圖。
第19圖是本發明的另一實施例說明一種遙控裝置的示意圖。
第20圖是本發明的另一實施例說明一種根據至少一靜態手勢產生第一控制指令的方法的流程圖。
第21圖是本發明的另一實施例說明一種根據動態手勢產生第二控制指令的方法的流程圖。
第22圖是本發明的另一實施例說明一種產生游標控制指令的方法的流程圖。
請參照第1圖，第1圖是本發明的一實施例說明一種遙控裝置100的示意圖。如第1圖所示，遙控裝置100包含一第一感測器102、一第二感 測器104、一前處理模組106、一深度圖引擎108、一臉部辨識單元110、一臉部資料庫112、一游標處理單元114、一動態手勢處理單元116、一物件偵測單元118、一手勢資料庫120、一物件辨識單元122及一靜態手勢處理單元124，其中前處理模組106包含一同步單元1062、一影像處理器1064、一校正器1066及一縮放器1068，且同步單元1062、影像處理器1064、校正器1066及縮放器1068不受限於第1圖所示的順序，亦即同步單元1062、影像處理器1064、校正器1066及縮放器1068在第1圖中的順序可改變，其中同步單元1062是耦接於第一感測器102和第二感測器104，影像處理器1064是耦接於同步單元1062，校正器1066是耦接於影像處理器1064，以及縮放器1068是耦接於校正器1066。如第1圖所示，因為在遙控裝置100開機後，第一感測器102是用以擷取複數個第一影像FI以及第二感測器104是用以擷取複數個第二影像SI，所以同步單元1062可輸出一第一同步信號至複數個第一影像FI中的每一第一影像EFI以及一對應的第二同步信號至複數個第二影像SI中的對應第一影像EFI的一第二影像CSI(如此影像處理器1064可根據第一同步信號和對應的第二同步信號，一起處理第一影像EFI和第二影像CSI)，其中複數個第一影像FI是複數個左眼影像，以及複數個第二影像SI是複數個右眼影像。在影像處理器1064接收第一影像EFI和第二影像CSI後，影像處理器1064可分別對第一影像EFI和第二影像CSI執行一影像處理以產生一第一處理影像PFI和一第二處理影像PSI，其中影像處理是色彩空間轉換，調整亮度，調整解析度，消除雜訊，強化邊緣，內插和對比度調整的組合之一。在校正器1066接收第一處理影像PFI和第二處理影像PSI後，校正器1066可分別對第一處理影像PFI和第二處理影像PSI執行一校正處理以產生一第一校正影像RFI和一第二校正影像RSI，其中校正處理包含一色彩空間校正和一組裝校正的組合之一。縮放器1068是用以縮放第一校正影像RFI和第二校正影像RSI，以產生符合複數個尺寸的影像，例如一參考影像RI、一目標影像TI、一臉部辨識用影像FDI與一物件辨識用影像OBI，其中臉部辨識 用影像FDI的尺寸和物件辨識用影像OBI的尺寸可以不等於參考影像RI的尺寸。但在本發明的另一實施例中，臉部辨識用影像FDI和物件辨識用影像OBI是參考影像RI。如第1圖所示，深度圖引擎108耦接於前處理模組106，其中當深度圖引擎108接收到參考影像R1和目標影像TI後，深度圖引擎108是根據參考影像RI和目標影像TI，產生包含一操作者200的深度影像DI(如第2圖所示)。另外，因為如何由複數個操作者判定一合法操作者並非本發明的重點，所以本發明是以一操作者為例說明本發明以下的實施例。另外，如第1圖所示，臉部辨識單元110可利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果FDR，其中操作者200的臉部偵測結果FDR包含對應於操作者200的臉202的長、寬、特徵點以及位置的資訊，且臉部資料庫112可儲存有關於操作者200的臉202的長、寬、特徵點以及位置的資訊。但本發明並不受限於操作者200的臉部偵測結果FDR只包含對應於操作者200的臉202的長、寬、特徵點以及位置的資訊。
當深度影像DI和對應於操作者200的臉部偵測結果FDR產生之後，遙控裝置100內的物件偵測單元118會先根據深度影像DI和對應於操作者200的臉部偵測結果FDR，確定操作者200和遙控裝置100之間的大略距離DR(如第3圖所示，例如操作者200和遙控裝置100之間的大略距離DR為2公尺，其中遙控裝置100是設置於電子裝置300(例如電視)之上)。但本發明並不受限於遙控裝置100在第3圖中的位置，亦即遙控裝置100亦可被整合於電子裝置300內。在物件偵測單元118確定操作者200和遙控裝置100之間的大略距離DR後，物件偵測單元118可根據大略距離DR，在操作者200的周圍偵測是否有一對應操作者200的合法操作物件IO(例如操作者200的右手)存在(例如物件偵測單元118會在操作者200的前方的一預定距離PD內偵測是否有合法操作物件IO存在)。當物件偵測單元118在操作者200的 前方的預定距離PD內偵測到有合法操作物件IO存在後，物件偵測單元118可提供有關於合法操作物件IO的色彩影像的資訊，其中合法操作物件IO的色彩影像的資訊包含合法操作物件IO的長、寬以及深度。但本發明並不受限於合法操作物件IO的色彩影像的資訊包含合法操作物件IO的長、寬以及深度。另外，在本發明的另一實施例中，當物件偵測單元118在操作者200的前方的預定距離PD內偵測到有合法操作物件IO存在後，物件偵測單元118是提供有關於合法操作物件IO的灰階影像的資訊，其中合法操作物件IO的灰階影像的資訊包含合法操作物件IO的長、寬以及深度。當物件偵測單元118在操作者200前方的預定距離PD內偵測到有合法操作物件IO存在後，遙控裝置100可通知操作者200開始操作。例如遙控裝置100可通過光閃爍方式或控制電子裝置300的顯示幕通知操作者200開始操作。
以合法操作物件IO位於操作者200前方為例，在遙控裝置100通知操作者200開始操作後，操作者200是在一第一預定時間內向前移動合法操作物件IO於一預定位置PL(如第4圖所示)並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO，其中如第4圖所示，當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離最小。但本發明並不受限於當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離最小，亦即只要當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離比操作者200和遙控裝置100之間的距離小即落入本發明的範疇。另外，本發明並不受限於操作者200是在第一預定時間內向前移動合法操作物件IO於預定位置PL，亦即在本發明的另一實施例中，操作者200可在第一預定時間內向上(或向下)移動合法操作物件IO於另一預定位置PLU(如第4圖所示)。
因為當操作者200觀看電子裝置300時，操作者200可能會隨意移動合法操作物件IO(如此操作者200隨意移動合法操作物件IO的動作可能使物件辨識單元122產生混亂)，所以物件辨識單元122可視操作者200於第4圖中移動合法操作物件IO的動作(操作者200在第一預定時間內向前移動合法操作物件IO於預定位置PL並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO)為一有效動作。請參照第5圖，第5圖是說明操作者200移動合法操作物件IO的軌跡的示意圖，其中第5圖的縱軸表示合法操作物件IO與遙控裝置100之間的距離，第5圖的橫軸表示時間，DF表示操作者200的臉202與遙控裝置100之間的距離，以及PP表示第一預定時間。如第5圖所示，在遙控裝置100通知操作者200開始操作後，操作者200是在第一預定時間PP內向前移動合法操作物件IO於預定位置PL並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO，所以合法操作物件IO與遙控裝置100之間的距離是逐漸減少至預定位置PL，然後再逐漸增加。因此，當合法操作物件IO與遙控裝置100之間的距離小於一有效距離VD(可由操作者200的臉202與遙控裝置100之間的距離DF決定)後，物件辨識單元122即可在合法操作物件IO位於預定位置PL時，利用手勢資料庫120、合法操作物件IO的色彩影像(或合法操作物件IO的灰階影像)以及對應於深度影像DP的一二維影像(例如物件辨識用影像OBI，但本發明並不受限於二維影像是物件辨識用影像OBI)的組合之一，辨識合法操作物件IO所形成的一手勢。請參照第6圖，第6圖是說明合法操作物件IO形成的多種手勢的示意圖。如第6圖所示，當合法操作物件IO位於預定位置PL時，物件辨識單元122可辨識由合法操作物件IO所形成的分別對應於數字0-9與確認的手勢，其中當合法操作物件IO位於預定位置PL時，合法操作物件IO必須完成操作者200所欲形成的手勢。但本發明並不受限於合法操作 物件IO位於預定位置PL時，合法操作物件IO僅能形成的分別對應於數字0-9與確認的手勢，亦即合法操作物件IO還可形成具有其他預定意義的手勢。
請參照第7圖，第7圖是說明靜態手勢處理單元124根據物件辨 識單元122所辨識的手勢，產生一第一控制指令FCC的示意圖。如第7圖所示，於時間T1時，操作者200由合法操作物件IO的起始位置(對應時間T0)向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「2」；於時間T2時，操作者200由預定位置PL拉回合法操作物件IO；於時間T3時，操作者200再次向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「4」；於時間T4時，操作者200由預定位置PL再次拉回合法操作物件IO；於時間T5時，操作者200再次向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「1」，其中合法操作物件IO的手勢(如第7圖所示的數字「2」、「4」、「1」)中的每一手勢必須在第5圖所示的第一預定時間PP內完成。例如物件辨識單元122辨識如第7圖所示的數字「2」所需的時間(時間T0-T1)、物件辨識單元122辨識如第7圖所示的數字「4」所需的時間(時間T2-T3)以及物件辨識單元122辨識如第7圖所示的數字「1」所需的時間(時間T4-T5)都不大於第一預定時間PP。另外，合法操作物件IO的手勢(如第7圖所示的數字「2」、「4」、「1」)中的每一手勢與一相鄰手勢之間的間隔不大於一設定時間T(例如2秒)，亦即時間T1-T2的時間間隔和時間T3-T4的時間間隔不大於設定時間T。但本發明並不受限於設定時間T是2秒。如果在時間T5後的設定時間T(例如2秒)內，合法操作物件IO沒有再形成新的手勢，則由於在時間T1-T5內，物件辨識單元122已根據合法操作物件IO的手勢，辨識出數字「2」、「4」、「1」，所以靜態手勢處理單元124可根據數字「2」、「4」、「1」，產生一第一控制指令FCC以控制電子裝置300。例 如第一控制指令FCC可控制電子裝置300切換至一特定頻道(例如頻道241台)。另外，如果在時間T5後的設定時間T內，操作者200使合法操作物件IO形成一確認手勢，則由於在確認手勢前，物件辨識單元122已根據合法操作物件IO的手勢，辨識出數字「2」、「4」、「1」，所以靜態手勢處理單元124可根據數字「2」、「4」、「1」，產生第一控制指令FCC以控制電子裝置300。 例如第一控制指令FCC可控制電子裝置300切換至特定頻道(例如頻道241台)。另外，在第4圖中，因為物件辨識單元122是當操作者200向前移動合法操作物件IO於預定位置PL時(如第4圖所示)，辨識合法操作物件IO所形成的一手勢(亦即合法操作物件IO相對於操作者200的臉202所在的平面OP具有顯著的Z座標變化)，所以當合法操作物件IO相對於操作者200的臉202所在的平面OP具有顯著的X、Y座標變化時，物件辨識單元122可忽略合法操作物件IO所形成的一手勢。另外，在物件辨識單元122辨識出合法操作物件IO所形成的一手勢後設定時間T內，物件辨識單元122沒有再辨識出合法操作物件IO所形成的另一手勢時，則靜態手勢處理單元124可根據物件辨識單元122當下所辨識出合法操作物件IO所形成的至少一手勢所代表的數字，產生一相對應控制指令以控制電子裝置300。另外，靜態手勢處理單元124亦可能無法根據物件辨識單元122當下所辨識出合法操作物件IO所形成的至少一手勢所代表的數字，產生另一相對應控制指令(因為物件辨識單元122當下所辨識出合法操作物件IO所形成的至少一手勢所代表的數字沒有對應任何一控制指令)。
另外，請參照第8圖，第8圖是說明物件辨識單元122利用合法操作物件IO的移動量，辨識合法操作物件IO所形成的手勢的示意圖，其中第8圖的縱軸表示合法操作物件IO的移動量，以及第8圖的橫軸表示時間。如第8圖所示，在時間T0至時間T1時，合法操作物件IO的移動量高於一臨界值TV，例如操作者200向前移動合法操作物件IO使合法操作物件IO 的移動量高於臨界值TV。在時間T1至時間T2時，合法操作物件IO的移動量下降至臨界值TV以下。如果合法操作物件IO靜止超過設定時間T後，物件辨識單元122開始辨識合法操作物件IO所形成的手勢。另外，當合法操作物件IO的移動量再次高於臨界值TV(時間T3)時，物件辨識單元122可根據上述操作原理再次辨識合法操作物件IO所形成的另一手勢。
請參照第9圖，第9圖是說明靜態手勢處理單元124根據物件辨 識單元122所辨識的手勢，產生一第一控制指令FCC的示意圖。如第9圖所示，在操作者200向前移動合法操作物件IO，合法操作物件IO靜止超過設定時間T，此時(時間T1)物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「2」；於時間T1至時間T2中，操作者200改變合法操作物件IO前一次所形成的手勢使合法操作物件IO的移動量高於臨界值TV後，合法操作物件IO再次靜止超過設定時間T，此時(時間T2)物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「4」；在時間T3時，操作者200晃動合法操作物件IO使合法操作物件IO的移動量高於臨界值TV；在操作者200晃動合法操作物件IO使合法操作物件IO的移動量高於臨界值TV後，合法操作物件IO再次靜止超過設定時間T，此時(時間T4)物件辨識單元122辨識出合法操作物件IO所形成的一手勢是代表數字「4」。由於在第9圖中，物件辨識單元122根據合法操作物件IO的手勢，辨識出數字「2」、「4」、「4」，所以靜態手勢處理單元124可根據數字「2」、「4」、「4」，產生一第一控制指令FCC以控制電子裝置300切換至另一特定頻道(例如頻道244台)。因此，在第9圖中，操作者200只要使合法操作物件IO的移動量高於臨界值TV後，靜止合法操作物件IO逾設定時間T，則物件辨識單元122即可開始辨識合法操作物件IO的手勢。
另外，本發明另提供對應於動態手勢的控制指令。如第1圖所示， 動態手勢處理單元116是耦接於物件偵測單元118。因為物件辨識單元122是當操作者200向前移動合法操作物件IO於預定位置PL時(如第4圖所示)，辨識合法操作物件IO所形成的一手勢(亦即物件辨識單元122是在合法操作物件IO相對於操作者200的臉202所在的平面OP具有顯著的Z座標變化後，辨識合法操作物件IO所形成的手勢)，所以動態手勢處理單元116必須是當合法操作物件IO相對於平面OP具有顯著的X、Y座標變化時，根據一第二預定時間內合法操作物件IO的移動軌跡，產生一第二控制指令SCC以控制電子裝置300。亦即物件辨識單元122和動態手勢處理單元116不能同時根據合法操作物件IO相對於平面OP的相同座標變化，執行相對應的動作。請參照第10、11圖，第10圖是說明操作者200向下移動合法操作物件IO的示意圖，和第11圖是說明操作者200向上移動合法操作物件IO的示意圖，其中深度圖引擎108所產生的深度影像DI的左右方向會鏡像於操作者200的左右方向。如第10圖所示，當操作者200於第二預定時間內移動合法操作物件IO時，動態手勢處理單元116根據第二預定時間內合法操作物件IO的移動軌跡MT(其中第二預定時間內合法操作物件IO的移動軌跡MT形成一往下的向量DV)，判定操作者200是向下移動合法操作物件IO，所以動態手勢處理單元116即可根據往下的向量DV，產生一相對應的第二控制指令SCC以控制電子裝置300(例如由電子裝置300的目前播放頻道切換至目前播放頻道的前一頻道)，亦即在第二預定時間內，合法操作物件IO相對於平面OP開始有X、Y座標變化直到合法操作物件IO靜止一段時間或是合法操作物件IO消失(例如操作者200拉回合法操作物件IO使其消失在遙控裝置100的影像擷取範圍內)。如第11圖所示，當操作者200於第二預定時間內移動合法操作物件IO時，動態手勢處理單元116根據第二預定時間內合法操作物件IO的移動軌跡MT(其中第二預定時間內合法操作物件IO的移動軌跡MT形成一往上的向量UV)，判定操作者200是向上移動合法操作物件IO，所以動態手勢 處理單元116即可根據往上的向量UV，產生一相對應的第二控制指令SCC以控制電子裝置300(例如由電子裝置300的目前播放頻道切換至目前播放頻道的下一頻道)。另外，當第二預定時間內合法操作物件IO的移動軌跡MT形成一往左的向量時，動態手勢處理單元116即可根據往左的向量，產生一相對應的第二控制指令SCC以控制電子裝置300(例如增加電子裝置300的目前播放音量)；當第二預定時間內合法操作物件IO的移動軌跡MT形成一往右的向量時，動態手勢處理單元116即可根據往右的向量，產生一相對應的第二控制指令SCC以控制電子裝置300(例如減少電子裝置300的目前播放音量)。另外，請參照第12圖，第12圖是說明操作者200以圓形軌跡方式移動合法操作物件IO的示意圖。如第12圖所示，當操作者200於第二預定時間內以圓形軌跡方式移動合法操作物件IO時，動態手勢處理單元116即可根據第二預定時間內合法操作物件IO的移動軌跡MT(例如第二預定時間內合法操作物件IO的移動軌跡MT形成二個圓形軌跡)，產生一相對應的第二控制指令SCC以控制電子裝置300(例如將電子裝置300關機或開機)。另外，本發明並不受限於上述第二控制指令SCC與合法操作物件IO的移動軌跡MT的對應關係。
另外，遙控裝置100另提供一學習功能。當操作者200進入遙控 裝置100的學習功能時，操作者200可使遙控裝置100學習操作者200想要改變或是新增的手勢。當遙控裝置100學習操作者200想要改變或是新增的手勢後，遙控裝置100可將操作者200想要改變或是新增的手勢儲存在遙控裝置100內的記憶體中。
另外，本發明另提供對應於游標模式的控制指令。如第1圖所示， 游標處理單元114是耦接於臉部辨識單元110。當臉部辨識單元110利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果 FDR後，因為操作者200的臉部偵測結果FDR包含對應於操作者200的臉202的長、寬、特徵點以及深度的資訊，所以游標處理單元114可根據臉部偵測結果FDR，定義出操作者200的臉202的中心XFC(如第13圖所示)，其中第13圖是游標模式中的單手控制模式。如第13圖所示，操作者200的臉202的寬為L以及操作者200的臉202的頂點為YFT。如果操作者200習慣使用右手，則游標處理單元114可在操作者200的一游標操作範圍CR內分別利用式(1)和式(2)找出對應於電子裝置300的顯示幕的中心座標為(XC,YC)，其中FratioH、FratioV為一預定比例：XC=XFC-(L * FratioH) (1)
YC=YFT-(L * FratioV) (2)
另外，游標處理單元114可根據式(1)和式(2)定義出游標操作範圍CR，其中游標操作範圍CR的水平範圍為XC±(L * FratioH)以及垂直範圍為YC±(L * FratioV)。在游標處理單元114定義出游標操作範圍CR後，游標處理單元114即可根據合法操作物件IO的位置，產生一游標控制指令CCC以控制電子裝置300。另外，在本發明的另一實施例中，游標處理單元114可根據深度影像DI內操作者200的臉202的深度以及一對應比例，計算出游標操作範圍CR。另外，如果操作者200習慣使用左手，則可利用上述方式定義出對應於操作者200的左手的游標操作範圍，在此不再贅述。
另外，請參照第14圖，第14圖是說明游標模式中雙手控制模式的游標操作範圍的示意圖。如第14圖所示，游標處理單元114可根據臉部偵測結果FDR，定義出操作者200的臉202的中心XFC(如第14圖所示)，其中操作者200的臉202的寬為L以及操作者200的臉202的頂點為YFT。因此，游標處理單元114可在操作者200的一游標操作範圍CR1內分別利用式(3) 和式(2)找出對應於電子裝置300的顯示幕的中心座標的座標(XC,YC)：XC=XFC (3)
另外，可根據式(3)和式(2)定義出游標操作範圍CR1，其中游標操作範圍CR1的水平範圍為XC±2 *(L * FratioH)以及垂直範圍為YC±(L * FratioV)。另外，在本發明的另一實施例中，游標處理單元114可根據深度影像DI內操作者200的臉202的深度以及對應比例，計算出游標操作範圍CR1。
請參照第15圖，第15圖是說明在第13圖中，當游標處理單元114定義出游標操作範圍CR後，游標處理單元114根據合法操作物件IO在游標操作範圍CR內的位置，產生游標控制指令CCC的座標(XI、YI)的示意圖。如第15圖所示，如果合法操作物件IO在游標操作範圍CR內的座標為(XI,YI)、游標操作範圍CR的左上角座標為(XS,YS)、游標操作範圍CR的寬和高分別為RX、RY以及電子裝置300的顯示幕的寬和高分別為W、H，則游標處理單元114可根據合法操作物件IO的座標(XI、YI)、式(4)和式(5)，在電子裝置300的顯示幕上的游標操作範圍CR內產生游標控制指令CCC的座標(X,Y)：X=W-((XI-XS)* W/RX) (4)
Y=(YI-YS)* H/RY (5)
另外，因為電子裝置300的顯示幕和操作者200的臉202是面對面，所以合法操作物件IO的位置的左右方向會鏡像於游標控制指令CCC的座標(X,Y)的左右方向。另外，因為電子裝置300的顯示幕的更新頻率通常會大於遙控裝置100擷取影像的頻率，所以游標處理單元114可另利用濾波器或內差的方式減少游標控制指令CCC的座標(X,Y)的跳動與增加其平滑度。
請參照第16-18圖，第16、17圖是說明在單手控制模式中，操作者200、合法操作物件IO與電子裝置300的顯示幕302的關係的示意圖，和第18圖是說明在游標模式的雙手控制模式中，操作者200、合法操作物件IO、IO’與電子裝置300的顯示幕302的關係的示意圖。如第16圖所示，當合法操作物件IO(例如操作者200的右手)在游標操作範圍CR內由上往下移動時，游標處理單元114可根據合法操作物件IO的位置，產生游標控制指令CCC以控制電子裝置300(亦即游標處理單元114可鏡射合法操作物件IO的移動路徑至電子裝置300的顯示幕302)，所以操作者200即可在顯示幕302上看見一游標304(對應於合法操作物件IO且具有式(4)和式(5)所產生的座標(X,Y))的移動路徑。另外，游標操作範圍CR的中心經游標處理單元114鏡射後是對應於顯示幕302的中心。另外，如第17圖所示，當顯示幕302顯示一圖形使用者介面(Graphical User Interface,GUI)時，顯示幕302可能不會顯示出游標304。因此，當顯示幕302是圖形使用者介面時，顯示幕302上被操作者200選擇的一圖像306的亮度會增加以對應合法操作物件IO的目前位置。如第18圖所示，在游標模式的雙手控制模式中，當合法操作物件IO(例如操作者200的右手)在游標操作範圍CR1內由上往下移動時，游標處理單元114可根據合法操作物件IO的位置，產生一游標控制指令CCC以控制電子裝置300，所以操作者200即可在顯示幕302上看見游標304(對應於合法操作物件IO)的移動路徑。另外，游標操作範圍CR1的中心經游標處理單元114鏡射後是對應於顯示幕302的中心。另外，本發明所提供的對應於游標模式的控制指令亦可進行多指觸控的應用。例如當合法操作物件IO’(例如操作者200的左手)在游標操作範圍CR1內靜止時，游標處理單元114可根據合法操作物件IO’的位置，產生另一游標控制指令CCC以控制電子裝置300，所以操作者200即可在顯示幕302上看見游標308(對應於合法操作物件IO’)靜止不動。
另外，對應於靜態手勢的控制指令FCC、對應於動態手勢的控制指令SCC和對應於游標模式的控制指令CCC可被設計成用於不同的場合。例如當顯示幕302顯示圖形使用者介面時，遙控裝置100可自動切換至游標模式；以及當顯示幕302非顯示圖形使用者介面(例如顯示幕302播放節目)時，遙控裝置100可自動切換至對應於動態手勢的控制指令或對應於靜態手勢的控制指令。
請參照第19圖，第19圖是本發明的另一實施例說明一種遙控裝置1900的示意圖。如第19圖所示，遙控裝置1900和遙控裝置100的差別在於遙控裝置1900利用一光編碼裝置1904取代包含遙控裝置100的第二感測器104，以及遙控裝置1900的深度圖引擎108是介於前處理模組106和光編碼裝置1904之間，其中前處理模組106包含一同步單元1062、一影像處理器1064、一校正器1066及一縮放器1068，且同步單元1062、影像處理器1064、校正器1066及縮放器1068不受限於第19圖所示的順序，亦即同步單元1062、影像處理器1064、校正器1066及縮放器1068在第19圖中的順序可改變。如第19圖所示，在遙控裝置1900開機後，第一感測器102是用以擷取複數個第一影像FI以及光編碼裝置1904是用以發射至少一預定圖案的單色光，以及擷取並輸出具有至少一預定圖案中一預定圖案的單色光的影像LPI。在影像LPI產生之後，深度圖引擎108可根據影像LPI，產生一原始深度影像ODI。影像處理器1064是耦接於第一感測器102，用以對複數個第一影像FI中的每一第一影像EFI執行一影像處理以產生一第一處理影像PFI，其中原始深度影像ODI是對應第一處理影像PFI；校正器1066耦接於同步單元1062，其中同步單元1062是用以使校正器1066同時分別對第一處理影像PFI和原始深度影像ODI執行一校正處理以產生一第一校正影像RFI和一校正深度影像RDI；縮放器1068是耦接於校正器1066，用以縮放第一校正影像RFI和校正深度影像RDI，以產生符合複數個尺寸的影像，例如一臉部辨 識用影像FDI、一物件辨識用影像OBI和深度影像DI，其中臉部辨識用影像FDI可以是第1圖所示的參考影像RI。另外，遙控裝置1900的其餘操作原理皆和遙控裝置100相同，在此不再在贅述。
另外，遙控裝置100和遙控裝置1900並不受限於應用在電視，亦即遙控裝置100和遙控裝置1900可應用在任何具有遙控功能的裝置。
請參照第1-7圖和第20圖，第20圖是本發明的另一實施例說明一種根據至少一靜態手勢產生一第一控制指令的方法的流程圖。第20圖的方法是利用第1圖的遙控裝置100說明，詳細步驟如下：步驟2000：開始；步驟2002：第一感測器102用以擷取複數個第一影像FI，以及第二感測器104用以擷取複數個第二影像SI；步驟2004：前處理模組106根據複數個第一影像FI中的每一第一影像產生一參考影像RI，以及根據複數個第二影像SI中的一對應的第二影像產生對應參考影像RI的一目標影像TI；步驟2006：深度圖引擎108根據參考影像RI和目標影像TI，產生包含操作者200的深度影像DI；步驟2008：臉部辨識單元110利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果FDR；步驟2010：物件偵測單元118根據深度影像DI和臉部偵測結果FDR，偵測對應於操作者200的一合法操作物件IO；步驟2012：物件辨識單元122於操作者200移動合法操作物 件IO於一預定位置PL時，利用手勢資料庫122、合法操作物件IO的色彩影像和對應於深度影像DI的一二維影像的組合之一，辨識合法操作物件IO所形成的一手勢；步驟2014：靜態手勢處理單元124根據物件辨識單元122所辨識的至少一手勢，產生一第一控制指令FCC以控制電子裝置300；步驟2016：結束。
在步驟2002中，第一感測器102所擷取的複數個第一影像FI是左眼影像，以及第二感測器104所擷取的複數個第二影像SI是右眼影像。在步驟2004中，前處理模組106內的同步單元1062可輸出一第一同步信號至複數個第一影像FI中的每一第一影像EFI以及一對應的第二同步信號至複數個第二影像SI中的對應第一影像EFI的一第二影像CSI(如此前處理模組106內的影像處理器1064可根據第一同步信號和對應的第二同步信號，一起處理第一影像EFI和第二影像CSI)。在影像處理器1064接收第一影像EFI和第二影像CSI後，影像處理器1064可同時分別對第一影像EFI和第二影像CSI執行一影像處理以產生一第一處理影像PFI和一第二處理影像PSI。在前處理模組106內的校正器1066接收第一處理影像PFI和第二處理影像PSI後，校正器1066可分別對第一處理影像PFI和第二處理影像PSI執行一校正處理以產生一第一校正影像RFI和一第二校正影像RSI。另外，前處理模組106內的縮放器1068可縮放第一校正影像RFI和第二校正影像RSI，以產生複數個尺寸的影像，例如參考影像RI、目標影像TI、一臉部辨識用影像FDI與一物件辨識用影像OBI。在步驟2008中，如第1圖所示，臉部辨識單元110可利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果FDR，其中操作者200的臉部偵測結果FDR包含對應於操作者 200的臉202的長、寬、特徵點以及位置的資訊，且臉部資料庫112可儲存有關於操作者200的臉202的長、寬、特徵點以及位置的資訊。但本發明並不受限於操作者200的臉部偵測結果FDR只包含對應於操作者200的臉202的長、寬、特徵點以及位置的資訊。
在步驟2010中，當深度影像DI和對應於操作者200的臉部偵測結果FDR產生之後，遙控裝置100內的物件偵測單元118會先根據深度影像DI和對應於操作者200的臉部偵測結果FDR，確定操作者200和遙控裝置100之間的大略距離DR(如第3圖所示，例如操作者200和遙控裝置100之間的大略距離DR為2公尺，其中遙控裝置100是設置於電子裝置300(例如電視)之上)。在物件偵測單元118確定操作者200和遙控裝置100之間的大略距離DR後，物件偵測單元118可根據大略距離DR，在操作者200的周圍偵測是否有對應操作者200的合法操作物件IO(例如操作者200的右手)存在(例如物件偵測單元118會在操作者200的前方的一預定距離PD內偵測是否有合法操作物件IO存在)。當物件偵測單元118在操作者200的前方的預定距離PD內偵測到有合法操作物件IO存在後，物件偵測單元118可提供有關於合法操作物件IO的色彩影像的資訊，其中合法操作物件IO的色彩影像的資訊包含合法操作物件IO的長、寬以及深度。另外，在本發明的另一實施例中，當物件偵測單元118在操作者200的前方的預定距離PD內偵測到有合法操作物件IO存在後，物件偵測單元118是提供有關於合法操作物件IO的灰階影像的資訊，其中合法操作物件IO的灰階影像的資訊包含合法操作物件IO的長、寬以及深度。當物件偵測單元118在操作者200前方的預定距離PD內偵測到有合法操作物件IO存在後，遙控裝置100可通知操作者200開始操作。例如遙控裝置100可通過光閃爍方式或控制電子裝置300的顯示幕通知操作者200開始操作。
在步驟2012中，以合法操作物件IO位於操作者200前方為例，在遙控裝置100通知操作者200開始操作後，操作者200是在一第一預定時間內向前移動合法操作物件IO於預定位置PL(如第4圖所示)並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO，其中如第4圖所示，當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離最小。但本發明並不受限於當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離最小，亦即只要當合法操作物件IO位於預定位置PL時，合法操作物件IO和遙控裝置100之間的距離比操作者200和遙控裝置100之間的距離小即落入本發明的範疇。另外，本發明並不受限於操作者200是在第一預定時間內向前移動合法操作物件IO於預定位置PL，亦即在本發明的另一實施例中，操作者200可在第一預定時間內向上(或向下)移動合法操作物件IO於另一預定位置PLU(如第4圖所示)。
因為當操作者200觀看電子裝置300時，操作者200可能會隨意移動合法操作物件IO(如此操作者200隨意移動合法操作物件IO的動作可能使物件辨識單元122產生混亂)，所以物件辨識單元122可視操作者200於第4圖中移動合法操作物件IO的動作(操作者200在第一預定時間內向前移動合法操作物件IO於預定位置PL並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO)為一有效動作。如第5圖所示，在遙控裝置100通知操作者200開始操作後，操作者200是在第一預定時間PP內向前移動合法操作物件IO於預定位置PL並在操作者200移動合法操作物件IO於預定位置PL後拉回合法操作物件IO，所以合法操作物件IO與遙控裝置100之間的距離是逐漸減少至預定位置PL，然後再逐漸增加。因此，當合法操作物件IO與遙控裝置100之間的距離小於一有效距離VD(可由操作者200的臉202與遙控裝置100之間的距離DF決定)後，物件辨識單元122即可在合法 操作物件IO位於預定位置PL時，利用手勢資料庫120、合法操作物件IO的色彩影像和對應於深度影像DP的一二維影像(例如物件辨識用影像OBI)的組合之一，辨識合法操作物件IO所形成的一手勢。如第6圖所示，當合法操作物件IO位於預定位置PL時，物件辨識單元122可辨識由合法操作物件IO所形成的分別對應於數字0-9與確認的手勢。但本發明並不受限於合法操作物件IO位於預定位置PL時，合法操作物件IO僅能形成的分別對應於數字0-9與確認的手勢。
如第7圖所示，於時間T1時，操作者200由合法操作物件IO的起始位置(對應時間T0)向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的手勢是代表數字「2」；於時間T2時，操作者200由預定位置PL拉回合法操作物件IO；於時間T3時，操作者200再次向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的手勢是代表數字「4」；於時間T4時，操作者200由預定位置PL再次拉回合法操作物件IO；於時間T5時，操作者200再次向前移動合法操作物件IO至預定位置PL，此時物件辨識單元122辨識出合法操作物件IO所形成的手勢是代表數字「1」，其中合法操作物件IO的手勢(如第7圖所示的數字「2」、「4」、「1」)中的每一手勢必須在第5圖所示的第一預定時間PP內完成。例如物件辨識單元122辨識如第7圖所示的數字「2」所需的時間(時間T0-T1)、物件辨識單元122辨識如第7圖所示的數字「4」所需的時間(時間T2-T3)以及物件辨識單元122辨識如第7圖所示的數字「1」所需的時間(時間T4-T5)都不大於第一預定時間PP。另外，合法操作物件IO的手勢(如第7圖所示的數字「2」、「4」、「1」)中的每一手勢與一相鄰手勢之間的間隔不大於一設定時間T(例如2秒)，亦即時間T1-T2的時間間隔和時間T3-T4的時間間隔不大於設定時間T。但本發明並不受限於設定時間T是2秒。如果在時間T5後的設定時間T(例如2秒)內，合法操作物件 IO沒有再形成新的手勢，則由於在時間T1-T5內，物件辨識單元122已根據合法操作物件IO的手勢，辨識出數字「2」、「4」、「1」，所以在步驟2014中，靜態手勢處理單元124可根據物件辨識單元122所辨識的分別代表數字「2」、「4」、「1」的手勢，產生第一控制指令FCC以控制電子裝置300。例如第一控制指令FCC可控制電子裝置300切換至一特定頻道(例如頻道241台)。另外，如果在時間T5後的設定時間T內，操作者200使合法操作物件IO形成一確認手勢，則由於在確認手勢前，物件辨識單元122已根據合法操作物件IO的手勢，辨識出數字「2」、「4」、「1」，所以靜態手勢處理單元124可根據物件辨識單元122所辨識的分別代表數字「2」、「4」、「1」的手勢，產生第一控制指令FCC以控制電子裝置300。另外，在第4圖中，因為物件辨識單元122是當操作者200向前移動合法操作物件IO於預定位置PL時(如第4圖所示)，辨識合法操作物件IO所形成的一手勢(亦即合法操作物件IO相對於操作者200的臉202所在的平面OP具有顯著的Z座標變化)，所以當合法操作物件IO相對於操作者200的臉202所在的平面OP具有顯著的X、Y座標變化時，物件辨識單元122可忽略合法操作物件IO所形成的一手勢。
請參照第10-12圖和第21圖，第21圖是本發明的另一實施例說明一種根據一動態手勢產生一第二控制指令的方法的流程圖。第21圖的方法是利用第1圖的遙控裝置100說明，詳細步驟如下：步驟2100：開始；步驟2102：第一感測器102用以擷取複數個第一影像FI，以及第二感測器104用以擷取複數個第二影像SI；步驟2104：前處理模組106根據複數個第一影像FI中的每一第一影像產生一參考影像RI，以及根據複數個第二影像SI中的一對應的第二影像產生對應參考影像RI的一目標影像TI； 步驟2106：深度圖引擎108根據參考影像RI和目標影像TI，產生包含操作者200的深度影像DI；步驟2108：臉部辨識單元110利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果FDR；步驟2110：物件偵測單元118根據深度影像DI和臉部偵測結果FDR，偵測對應於操作者200的一合法操作物件IO；步驟2112：動態手勢處理單元116根據一第二預定時間內合法操作物件IO的移動軌跡，產生一第二控制指令SCC以控制電子裝置300；步驟2114：結束。
第21圖的實施例和第20圖的實施例的差別在於在步驟2112中，如第10圖所示，當操作者200於第二預定時間內移動合法操作物件IO時，動態手勢處理單元116根據第二預定時間內合法操作物件IO的移動軌跡MT(其中第二預定時間內合法操作物件IO的移動軌跡MT形成一往下的向量DV)，判定操作者200是向下移動合法操作物件IO，所以動態手勢處理單元116即可根據往下的向量DV，產生相對應的第二控制指令SCC以控制電子裝置300(例如由電子裝置300的目前播放頻道切換至目前播放頻道的前一頻道)，亦即在第二預定時間內，合法操作物件IO相對於平面OP開始有X、Y座標變化直到合法操作物件IO靜止一段時間或是合法操作物件IO消失(例如操作者200拉回合法操作物件IO使其消失在遙控裝置100的影像擷取範圍內)。另外，動態手勢處理單元116產生其他第二控制指令SCC的方式可參照第11-12圖，在此不再贅述。
請參照第13-18圖和第22圖，第22圖是本發明的另一實施例說明一種產生游標控制指令的方法的流程圖。第22圖的方法是利用第1圖的遙控裝置100說明，詳細步驟如下： 步驟2200：開始；步驟2202：第一感測器102用以擷取複數個第一影像FI，以及第二感測器104用以擷取複數個第二影像SI；步驟2204：前處理模組106根據複數個第一影像FI中的每一第一影像產生一參考影像RI，以及根據複數個第二影像SI中的一對應的第二影像產生對應參考影像RI的一目標影像TI；步驟2206：深度圖引擎108根據參考影像RI和目標影像TI，產生包含操作者200的深度影像DI；步驟2208：臉部辨識單元110利用臉部辨識用影像FDI和臉部資料庫112，產生對應於操作者200的臉部偵測結果FDR；步驟2210：物件偵測單元118根據深度影像DI和臉部偵測結果FDR，偵測對應於操作者200的一合法操作物件IO；步驟2212：游標處理單元114根據合法操作物件IO的位置，產生一游標控制指令CCC以控制電子裝置300；步驟2214：結束。
第22圖的實施例和第20圖的實施例的差別在於在步驟2212中，如第13圖所示，操作者200的臉202的寬為L以及操作者200的臉202的頂點為YFT。如果操作者200習慣使用右手，則游標處理單元114可在操作者200的一游標操作範圍CR內分別利用式(1)和式(2)找出對應於電子裝置300的顯示幕的中心座標的座標(XC,YC)以及定義出游標操作範圍CR，其中游標操作範圍CR的水平範圍為XC±(L * FratioH)以及垂直範圍為YC±(L * FratioV)。在游標處理單元114定義出游標操作範圍CR後，游標處理單元114即可根據合法操作物件IO的位置，產生游標控制指令CCC以控制電子裝置300。另外，如果操作者200習慣使用左手，則可利用上述方式定義出對應於 操作者200的左手的游標操作範圍，在此不再贅述。
另外，如第14圖所示，游標處理單元114可根據臉部偵測結果FDR，定義出操作者200的臉202的中心XFC(對應游標模式中的雙手控制模式)，其中操作者200的臉202的寬為L以及操作者200的臉202的頂點為YFT。因此，游標處理單元114可在操作者200的游標操作範圍CR1內分別利用式(3)和式(2)找出對應於電子裝置300的顯示幕的中心座標的座標(XC,YC)，以及根據式(3)和式(2)定義出游標操作範圍CR1，其中游標操作範圍CR1的水平範圍為XC±2 *(L * FratioH)以及垂直範圍為YC±(L * FratioV)。
如第15圖所示，如果合法操作物件IO的座標為(XI,YI)、游標操作範圍CR的左上角座標為(XS,YS)、游標操作範圍CR的寬和高分別為RX、RY以及電子裝置300的顯示幕的寬和高分別為W、H，則游標處理單元114可根據合法操作物件IO的座標、式(4)和式(5)，產生游標控制指令CCC的座標(X,Y)。另外，因為電子裝置300的顯示幕和操作者200的臉202是面對面，所以合法操作物件IO的位置的左右方向會鏡像於游標控制指令CCC的座標的左右方向。另外，因為電子裝置300的顯示幕的更新頻率通常會大於遙控裝置100擷取影像的頻率，所以游標處理單元114可另利用濾波器或內差的方式減少游標控制指令CCC的座標的跳動與平滑度。
如第16圖所示，當合法操作物件IO(例如操作者200的右手)在游標操作範圍CR內由上往下移動時，游標處理單元114可根據合法操作物件IO的位置，產生游標控制指令CCC以控制電子裝置300(亦即游標處理單元114可鏡射合法操作物件IO的移動路徑至電子裝置300的顯示幕302)，所以操作者200即可在顯示幕302上看見一游標304(對應於合法操作物件IO)的移動路徑。另外，如第17圖所示，當顯示幕302顯示圖形使用者介面時，顯 示幕302可能不會顯示出游標304。因此，當顯示幕302是圖形使用者介面時，顯示幕302上被操作者200選擇的一圖像306的亮度會增加以對應合法操作物件IO的目前位置。如第18圖所示，在游標模式的雙手控制模式中，當合法操作物件IO(例如操作者200的右手)在游標操作範圍CR1內由上往下移動時，游標處理單元114可根據合法操作物件IO的位置，產生一游標控制指令CCC以控制電子裝置300，所以操作者200即可在顯示幕302上看見游標304(對應於合法操作物件IO)的移動路徑。另外，游標操作範圍CR1的中心經游標處理單元114鏡射後是對應於顯示幕302的中心。另外，本發明所提供的對應於游標模式的控制指令亦可進行多指觸控的應用。例如當合法操作物件IO’(例如操作者的左手)在游標操作範圍CR1內靜止時，游標處理單元114可根據合法操作物件IO’的位置，產生另一游標控制指令CCC以控制電子裝置300，所以操作者200即可在顯示幕302上看見游標308(對應於合法操作物件IO’)靜止不動。
另外，對應於靜態手勢的控制指令FCC、對應於動態手勢的控制指令SCC和對應於游標模式的控制指令CCC可被設計成用於不同的場合。例如當顯示幕302顯示圖形使用者介面時，遙控裝置100可自動切換至游標模式；以及當顯示幕302非顯示圖形使用者介面(例如顯示幕302播放節目)時，遙控裝置100可自動切換至對應於動態手勢的控制指令或對應於靜態手勢的控制指令。
綜上所述，本發明所提供的遙控裝置與根據至少一靜態手勢產生控制指令的方法是利用物件偵測單元根據包含操作者的深度影像和對應於操作者的臉部偵測結果，偵測對應於操作者的一合法操作物件，利用物件辨識單元辨識合法操作物件所形成的至少一手勢，以及利用靜態手勢處理單元根據物件辨識單元所辨識的至少一手勢，產生一控制指令以控制電子裝置。因 此，相較於現有技術，本發明具有下列優點：第一、因為本發明所提供的控制指令僅由簡單的手勢組合所組成，所以本發明不須複雜的手勢動作和複雜的計算；第二、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明可提供符合人體力學友善操作的方法；第三、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明可提供快速產生控制指令的方法；第四、因為本發明不須複雜的手勢動作和複雜的計算，所以本發明所提供的遙控裝置不須運算能力強大的處理器與大容量的記憶體。
100‧‧‧遙控裝置
102‧‧‧第一感測器
104‧‧‧第二感測器
106‧‧‧前處理模組
108‧‧‧深度圖引擎
110‧‧‧臉部辨識單元
112‧‧‧臉部資料庫
114‧‧‧游標處理單元
116‧‧‧動態手勢處理單元
118‧‧‧物件偵測單元
120‧‧‧手勢資料庫
122‧‧‧物件辨識單元
124‧‧‧靜態手勢處理單元
1062‧‧‧同步單元
1064‧‧‧影像處理器
1066‧‧‧校正器
1068‧‧‧縮放器
1904‧‧‧光編碼裝置
300‧‧‧電子裝置
CCC‧‧‧游標控制指令
DI‧‧‧深度影像
FDR‧‧‧臉部偵測結果
FI、EFI‧‧‧第一影像
FCC‧‧‧第一控制指令
FDI‧‧‧臉部辨識用影像
OBI‧‧‧物件辨識用影像
PFI‧‧‧第一處理影像
PSI‧‧‧第二處理影像
RFI‧‧‧第一校正影像
RSI‧‧‧第二校正影像
RI‧‧‧參考影像
SI、CSI‧‧‧第二影像
SCC‧‧‧第二控制指令
TI‧‧‧目標影像

Claims (23)

  1. 一種遙控裝置，包含：一物件偵測單元，用以根據包含一操作者的深度影像和對應於該操作者的臉部偵測結果，偵測對應於該操作者的一物件；一物件辨識單元，用以於該操作者移動該物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於該深度影像的一二維影像的組合之一，辨識該物件於該預定位置所形成的一靜態手勢，其中該操作者是在一第一預定時間內移動該物件於該預定位置並在該物件於該預定位置形成該靜態手勢後拉回該物件；及一靜態手勢處理單元，用以根據該物件辨識單元所辨識的至少一靜態手勢，產生一第一控制指令以控制一電子裝置。
  2. 如請求項1的遙控裝置，其中該物件是該操作者的一隻手，且該物件的色彩影像包含對應於該物件的長、寬以及深度的資訊。
  3. 如請求項1的遙控裝置，其中該操作者的臉部偵測結果包含對應於該操作者的臉的長、寬、特徵點以及位置的資訊。
  4. 如請求項1的遙控裝置，其中當該物件位於該預定位置時，該物件和該遙控裝置之間的距離最小。
  5. 如請求項1的遙控裝置，另包含：一動態手勢處理單元，耦接於該物件偵測單元，用以根據一第二預定時間內該物件的移動軌跡，產生一第二控制指令以控制該電子裝置。
  6. 如請求項1的遙控裝置，另包含： 一臉部辨識單元，用以利用一臉部辨識用影像和一臉部資料庫，產生對應於該操作者的臉部偵測結果。
  7. 如請求項6的遙控裝置，另包含：一游標處理單元，耦接於該臉部辨識單元，用以根據該物件的位置，產生一游標控制指令以控制該電子裝置。
  8. 如請求項1的遙控裝置，另包含：一第一感測器，用以擷取複數個第一影像；一第二感測器，用以擷取複數個第二影像；一前處理模組，耦接於該第一感測器和該第二感測器，其中該前處理模組用以根據該複數個第一影像中的每一第一影像產生一參考影像，以及根據該複數個第二影像中的一對應的第二影像產生對應該參考影像的一目標影像；及一深度圖引擎，耦接於該前處理模組，用以根據該參考影像和該目標影像，產生該深度影像。
  9. 如權利要求8的遙控裝置，其中該前處理模組包含：一同步單元，耦接於該第一感測器和該第二感測器；一影像處理器，耦接於該同步單元，其中該同步單元是用以使該影像處理器同時分別對該每一第一影像和該對應的第二影像執行一影像處理以產生一第一處理影像和一第二處理影像；一校正器，耦接於該影像處理器，用以分別對該第一處理影像和該第二處理影像執行一校正處理以產生一第一校正影像和一第二校正影像；及一縮放器，耦接於該校正器，用以縮放該第一校正影像和該第二校正影 像，以產生符合複數個尺寸的影像，其中該複數個尺寸的影像包含該參考影像和該目標影像。
  10. 如權利要求8的遙控裝置，其中該複數個第一影像是複數個左眼影像，以及該複數個第二影像是複數個右眼影像。
  11. 如權利要求8的遙控裝置，其中該二維影像是產生自該前處理模組的一物件辨識用影像。
  12. 如請求項1的遙控裝置，另包含：一第一感測器，用以擷取複數個第一影像；一光編碼裝置，用以發射至少一預定圖案的單色光，以及擷取並輸出具有該至少一預定圖案中一預定圖案的單色光的影像；一深度圖引擎，耦接於該光編碼裝置，用以根據具有該預定圖案的單色光的影像，產生一原始深度影像；及一前處理模組，耦接於該第一感測器和該深度圖引擎，其中該前處理模組用以根據該複數個第一影像中的每一第一影像產生一參考影像，以及根據該原始深度影像，產生該深度影像。
  13. 如權利要求12的遙控裝置，其中該前處理模組包含：一影像處理器，耦接於該第一感測器，用以對該每一第一影像執行一影像處理以產生一第一處理影像，其中該原始深度影像是對應該第一處理影像；一同步單元，耦接於該影像處理器和該深度圖引擎；一校正器，耦接於該同步單元，其中該同步單元是用以使該校正器同時分別對該第一處理影像和該原始深度影像執行一校正處理以產生一 第一校正影像和一校正深度影像；及一縮放器，耦接於該校正器，用以縮放該第一校正影像和該校正深度影像，以產生符合複數個尺寸的影像，其中該複數個尺寸的影像包含該參考影像和該深度影像。
  14. 如權利要求9或13的遙控裝置，其中該影像處理包含色彩空間轉換、調整亮度、調整解析度、消除雜訊、強化邊緣、內插和對比度調整的組合之一。
  15. 如權利要求9或13的遙控裝置，其中該校正處理包含一色彩空間校正和一組裝校正的組合之一。
  16. 一種根據至少一靜態手勢產生控制指令的方法，其中一應用於該方法的遙控裝置包含一物件偵測單元、一物件辨識單元及一靜態手勢處理單元，該方法包含：該物件偵測單元根據包含一操作者的深度影像和對應於該操作者的臉部偵測結果，偵測對應於該操作者的一物件；該物件辨識單元於該操作者移動該物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於該深度影像的一二維影像的組合之一，辨識該物件於該預定位置所形成的一靜態手勢，其中該操作者是在一第一預定時間內移動該物件於該預定位置並在該物件於該預定位置形成該靜態手勢後拉回該物件；及該靜態手勢處理單元根據該物件辨識單元所辨識的至少一靜態手勢，產生一第一控制指令以控制一電子裝置。
  17. 如請求項16的方法，其中該物件是該操作者的一隻手，且該物件的色彩 影像包含對應於該物件的長、寬以及深度的資訊。
  18. 如請求項16的方法，其中該操作者的臉部偵測結果包含對應於該操作者的臉的長、寬以及位置的資訊。
  19. 如請求項16的方法，其中當該物件位於該預定位置時，該物件和該遙控裝置之間的距離最小。
  20. 如請求項16的方法，另包含：該遙控裝置另包含的一臉部辨識單元利用一臉部辨識用影像和一臉部資料庫，產生對應於該操作者的臉部偵測結果。
  21. 一種遙控裝置，包含：一物件辨識單元，用以於一操作者移動一物件於一預定位置時，利用一手勢資料庫、該物件的色彩影像和對應於包含該操作者的深度影像的一二維影像的組合之一，辨識該物件於該預定位置所形成的一靜態手勢，其中該操作者是在一第一預定時間內移動該物件於該預定位置並在該物件於該預定位置形成該靜態手勢後拉回該物件。
  22. 如請求項21的遙控裝置，另包含：一物件偵測單元，用以根據包含該操作者的該深度影像和對應於該操作者的臉部偵測結果，偵測該操作者所移動之該物件。
  23. 如請求項21的遙控裝置，另包含：一靜態手勢處理單元，用以根據該物件辨識單元所辨識的至少一靜態手勢，產生一第一控制指令以控制一電子裝置。
TW104112441A 2015-04-17 2015-04-17 遙控裝置與根據至少一靜態手勢產生控制指令的方法 TWI610198B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104112441A TWI610198B (zh) 2015-04-17 2015-04-17 遙控裝置與根據至少一靜態手勢產生控制指令的方法
CN201510230546.0A CN106200890B (zh) 2015-04-17 2015-05-08 遥控装置与根据至少一静态手势产生控制指令的方法
US15/096,286 US10802594B2 (en) 2015-04-17 2016-04-12 Remote control system and method of generating a control command according to at least one static gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104112441A TWI610198B (zh) 2015-04-17 2015-04-17 遙控裝置與根據至少一靜態手勢產生控制指令的方法

Publications (2)

Publication Number Publication Date
TW201638719A TW201638719A (zh) 2016-11-01
TWI610198B true TWI610198B (zh) 2018-01-01

Family

ID=57128392

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104112441A TWI610198B (zh) 2015-04-17 2015-04-17 遙控裝置與根據至少一靜態手勢產生控制指令的方法

Country Status (3)

Country Link
US (1) US10802594B2 (zh)
CN (1) CN106200890B (zh)
TW (1) TWI610198B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI835053B (zh) * 2022-01-18 2024-03-11 大陸商廣州印芯半導體技術有限公司 手勢感測系統及其感測方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200411147A (en) * 2002-12-16 2004-07-01 Ind Tech Res Inst Method and apparatus for color depth inspection of a display
TW201237773A (en) * 2011-03-15 2012-09-16 Wistron Corp An electronic system, image adjusting method and computer program product thereof
TW201327358A (zh) * 2011-12-30 2013-07-01 Ind Tech Res Inst 立體互動影像之處理方法及系統
TW201426413A (zh) * 2012-12-24 2014-07-01 Ind Tech Res Inst 三維互動裝置及其操控方法
TW201445360A (zh) * 2013-05-24 2014-12-01 Univ Central Taiwan Sci & Tech 三維手勢影像控制行動電話
WO2015024449A1 (zh) * 2013-08-23 2015-02-26 珠海格力电器股份有限公司 智能空调控制的系统、方法及空调

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
KR101747892B1 (ko) * 2011-06-02 2017-06-16 한국전자통신연구원 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
KR20130100524A (ko) * 2012-03-02 2013-09-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
JP2015517134A (ja) * 2012-03-05 2015-06-18 マイクロソフト コーポレーション 光フォールオフに基づく奥行き画像の生成
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
CN102929528A (zh) * 2012-09-27 2013-02-13 鸿富锦精密工业（深圳）有限公司 具有图片切换功能的装置及图片切换方法
CN103713735B (zh) * 2012-09-29 2018-03-16 华为技术有限公司 一种使用非接触式手势控制终端设备的方法和装置
US20140191998A1 (en) * 2013-01-07 2014-07-10 Eminent Electronic Technology Corp. Ltd. Non-contact control method of electronic apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200411147A (en) * 2002-12-16 2004-07-01 Ind Tech Res Inst Method and apparatus for color depth inspection of a display
TW201237773A (en) * 2011-03-15 2012-09-16 Wistron Corp An electronic system, image adjusting method and computer program product thereof
TW201327358A (zh) * 2011-12-30 2013-07-01 Ind Tech Res Inst 立體互動影像之處理方法及系統
TW201426413A (zh) * 2012-12-24 2014-07-01 Ind Tech Res Inst 三維互動裝置及其操控方法
TW201445360A (zh) * 2013-05-24 2014-12-01 Univ Central Taiwan Sci & Tech 三維手勢影像控制行動電話
WO2015024449A1 (zh) * 2013-08-23 2015-02-26 珠海格力电器股份有限公司 智能空调控制的系统、方法及空调

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI835053B (zh) * 2022-01-18 2024-03-11 大陸商廣州印芯半導體技術有限公司 手勢感測系統及其感測方法

Also Published As

Publication number Publication date
CN106200890B (zh) 2019-11-26
US20160306432A1 (en) 2016-10-20
CN106200890A (zh) 2016-12-07
TW201638719A (zh) 2016-11-01
US10802594B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
US9569005B2 (en) Method and system implementing user-centric gesture control
JP4650381B2 (ja) 電子機器
US8442269B2 (en) Method and apparatus for tracking target object
US20200389691A1 (en) Display apparatus and remote operation control apparatus
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US11809637B2 (en) Method and device for adjusting the control-display gain of a gesture controlled electronic device
US9632592B1 (en) Gesture recognition from depth and distortion analysis
US9317135B2 (en) Method and system for triggering and controlling human-computer interaction operating instructions
US20120236180A1 (en) Image adjustment method and electronics system using the same
JP2010081466A (ja) 操作制御装置及び操作表示方法
WO2012120521A1 (en) Gestural interaction identification
JPWO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
JP2014137553A (ja) 情報処理装置、システム、情報処理方法およびプログラム
TWI451344B (zh) 手勢辨識系統及手勢辨識方法
JP2007086995A (ja) ポインティング装置
TWI610198B (zh) 遙控裝置與根據至少一靜態手勢產生控制指令的方法
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
TWI494792B (zh) 手勢辨識系統及方法
TW201421294A (zh) 游標控制系統及方法
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
US9251408B2 (en) Gesture recognition module and gesture recognition method
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
US20160320897A1 (en) Interactive display system, image capturing apparatus, interactive display method, and image capturing method
US9639161B2 (en) Gesture recognition module and gesture recognition method
JP2013171490A (ja) タッチ位置入力装置及びタッチ位置入力方法