TW201324245A - 人機介面裝置及其應用方法 - Google Patents

人機介面裝置及其應用方法 Download PDF

Info

Publication number
TW201324245A
TW201324245A TW100144083A TW100144083A TW201324245A TW 201324245 A TW201324245 A TW 201324245A TW 100144083 A TW100144083 A TW 100144083A TW 100144083 A TW100144083 A TW 100144083A TW 201324245 A TW201324245 A TW 201324245A
Authority
TW
Taiwan
Prior art keywords
human
machine interface
interface device
axis
light source
Prior art date
Application number
TW100144083A
Other languages
English (en)
Inventor
Guo-Ren Chen
Ming-Hua Wen
shun-zheng Lin
Original Assignee
Serafim Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Serafim Technologies Inc filed Critical Serafim Technologies Inc
Priority to TW100144083A priority Critical patent/TW201324245A/zh
Publication of TW201324245A publication Critical patent/TW201324245A/zh

Links

Landscapes

  • Position Input By Displaying (AREA)

Abstract

一種人機介面裝置(HID)及其應用方法，該HID包含至少一感應器其具有位置如畫素位置及光強度如訊號振幅值之辨識功能；及至少一光源如紅外線光源；在應用上，該HID能偵測並計算一特徵物體如手指在至少一垂直於該光源之投射光中心軸方向之一維(如X軸)上之相對位置或動作的資料以及在一平行於該光源之投射光中心軸方向(如Z軸)上之相對深度值或動作的資料，供可在一相配合之人機介面主機(HID Host)之二維顯示幕上同步產生相對應之二維的座標或動作，藉以完成一般滑鼠之使用功能；進一步再搭配應用程式以辨識各種不同手勢所產生不同之訊號組合，進而產生相對應之動作，達成一多功能HID的使用效果，而可避免習知滑鼠或觸控板(touch pad)等相關先前技術在使用上之諸多限制。

Description

人機介面裝置及其應用方法
本發明係有關一種人機介面裝置(HID)及其應用方法，尤指一種利用至少一感應器其具有位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能，並搭配一紅外線光源及數位訊號處理(DSP)功能，以分別偵測並計算一特徵物體在一X軸及一對應之第三軸Z軸上之相對位置或相對深度值及動作的資料，以在一與其連結使用之人機介面主機(HID Host)之二維顯示幕上同步產生相對應之二維座標及動作，藉以達成一多功能人機介面裝置的使用效果。
目前已有多種不同型態之使用者介面(user interface)或人機介面(HID，Human Interface Device)之系統及應用方法，可概分為觸控式及遙控式使用者介面；其中該觸控式使用者介面系統包含多種不同的觸控系統及方法如電阻式(Resistive)、電容式(Capacitive)、表面聲波式(SAW，Surface Acoustic Wave)、紅外光式(IR，Infrared)、光學式(optical imaging)等，其係藉由觸控物如手指或觸控筆直接觸摸在一觸控式顯示幕上以控制該顯示器之各項功能如點選作業、切換畫面、放大/縮小畫面或觸控遊戲等，用以取代一般常見之按鍵式或搖桿式控制方式。遙控式使用者介面系統則係利用一特徵物體如手勢或人體一部位，使其在一X、Y、Z三維空間產生相對位置及動作的變化，以藉由遙控方式控制該顯示器之各項功能，即該特徵物體不直接觸摸在該顯示幕上。目前在遙控式使用者介面(user interface)系統及方法的相關技術領域中，已存在多種先前技術，包含：PCT國際公開號WO 03/071410；美國專利：US 7,348,963、US 7,433,024、US 6,560,019；美國專利公開號：US 2008/ 0240502、US 2008/0106746、US 2009/0185274、US 2009/0096783、US 2009/0034649、US 2009/0185274、US 2009/0183125、US 2010/0020078等；及台灣專利公開號：200847061、201033938、201003564、201010424、201112161等。
在此以一滑鼠為例說明，一具有捲輪之光學式滑鼠，包含有線或無線滑鼠，為目前一常用之人機介面裝置(HID，Human Interface Device)，其係形成一結構體，其上一般設有左、右按鍵及一中間滾輪，使用時，使用者以手掌握住或操作滑鼠並以手指按壓該些按鍵或採作轉動該滾輪，以對電腦如桌上型電腦(PC)、筆記型電腦(NB)但不限制，進行控制或輸入工作。然，相關先前技術中之滑鼠，在應用上至少有下列缺點：
(1)習知滑鼠都是屬於接觸性之操作，使用者須以手接觸如握住滑鼠才能操作；然，男女使用者之手如手掌或手指之大小有別，若滑鼠之外殼結構體大小已經固定，即一滑鼠在製造後其大小尺寸已經設定，則該滑鼠不一定適用於任何男女使用者，因此，滑鼠之設計者或製造商，須要在滑鼠之結構體之大小或形狀上作出不同設計，以滿足不同使用者(消費者)之需要，相對造成製造上之困擾。
(2)，滑鼠之結構體內部須具相當空間以供容設相關之電子配備如左、右按鍵機構、捲輪機構、光學機構等，而該些機構又各具有相關構件，因此滑鼠之結構體之大小不但無法有效地薄、輕、短小化，且結構及組成構件也無法有效地簡化，相對造成製造成本無法有效地降低。
(3)習知滑鼠在接觸性使用之時間較久之後，如銀行、旅行社等公開場所中供消費者使用之公用電腦所配置之滑鼠，在滑鼠之外殼體表面必然會滋生很多細菌，不符合也不利於消費者之衛生要求。
(4)習知滑鼠在使用上侷限於輸入座標、點選物件、上下(前後)或左右捲動畫面等基本作業功能，並無法達成目前觸控式面板所具有之觸控功能，如觸控式面板可直接藉由不同之手勢以產生不同之相對應動作，如使用者能以不同之手勢以產生包含：游標上/下/左/右移動、捲動視窗、放大、縮小、畫面/圖片旋轉等多種相對應動作，然，習知滑鼠卻無法藉由不同之手勢以產生上述等不同之相對應動作。
由上可知，在人機介面裝置(HID)如滑鼠之技術領域中，發展並設計一種不須採用一預定大小供使用者握住並接觸弎操作之結構體，且結構簡化、成本節省及符合效率要求之人機介面裝置(HID)及其應用方法，確實有其需要性。
本發明主要目的係在於提供一種人機介面裝置(HID)及其應用方法，該人機介面裝置包含至少一感應器及至少一光源如一紅外線(IR light)光源；其中該至少一感應器具有位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能；本發明在應用上係利用該至少一感應器並搭配紅外線(IR light)光源及數位訊號處理(DSP)功能，用以偵測並計算一特徵物體，如使用者之手勢，在至少一垂直於該光源之投射光中心軸方向之一維(如X軸)上之相對位置或動作的資料以及在一平行於該光源之投射光中心軸方向之一維(如Z軸)上之相對深度值或動作的資料，供可在一相配合使用之人機介面主機(HID Host)之二維顯示幕上同步產生相對應之二維的座標或動作，藉以達成一滑鼠之基本使用功能。
本發明再一目的係在於提供一種人機介面裝置(HID)及其應用方法，其進一步可搭配應用程式以辨識各種不同手勢所產生不同之訊號組合以產生相對應之動作，如使用者能以不同之手勢以產生包含：游標上/下/左/右移動、捲動視窗、放大、縮小、畫面/圖片旋轉等多種相對應之動作，達成一多功能之人機介面裝置的使用效果，而可避免習知滑鼠或觸控板(touch pad)等相關先前技術在使用上之諸多限制。
為達成上述目的，本發明之人機介面裝置係利用至少一感應器及至少一光源構成，其可採用內建(embedded)方式或外接(plug/play)方式以與其他之人機介面主機(HID Host)如電腦、筆記型電腦、平板電腦等連結並配合使用；其中該至少一感應器可利用一鏡頭如線性感應器(Linear Sensor)或面積感應器(Area Sensor)及一近接感應器(proximity sensor)構成但不限制，藉以具有位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能；其中該至少一光源可利用一紅外線(IR light)光源構成但不限制。在應用上，本發明之人機介面裝置(HID)係利用該至少一感應器並搭配該紅外線(IR light)光源及數位訊號處理(DSP，digital signal processing)功能，用以偵測並計算一特徵物體，如手指或手勢，在一垂直於該光源之投射光中心軸方向之一維(如X軸)上之相對位置或動作的資料以及在一平行於該光源之投射光中心軸方向(即相對於該光源之遠近方向)之一維(如Z軸)上之相對深度值或動作的資料，藉以在該人機介面主機(HID Host)之二維顯示幕上同步產生相對應之二維的座標或動作，藉以完成一滑鼠之使用功能。
本發明之人機介面裝置(HID)再利用系統軟體之數位元訊號處理(DSP)功能，進一步搭配應用程式以辨識各種不同手勢所產生不同之訊號組合，進而產生相對應之動作，藉以讓使用者能以不同之手勢以產生包含：游標上/下/左/右移動、捲動視窗、放大、縮小、畫面/圖片旋轉等多種相對應之動作，達成一多功能人機介面裝置的使用效果。
藉由本發明之人機介面裝置(HID)及其應用方法，不但可達成一滑鼠之基本使用功能，更可達成辨識各種不同手勢以產生相對應動作的使用效果，而能避免習知滑鼠或觸控板(touch pad)等相關先前技術在使用上之諸多限制；故本發明之人機介面裝置與相關先前技術比較，具有方法簡化、結構簡化、成本降低及使用方便的優點。
為使本發明更加明確詳實，將本發明之結構、技術特徵及設計方法配合下列圖示詳述如後：
參考圖1-5所示，其係本發明之人機介面裝置(HID，Human Interface Device)一實施例之系統架構與操作狀態立體示意圖、上視說明圖及三個不同使用狀態說明圖。本發明之人機介面裝置10包含至少一感應器20及至少一光源30如圖1、2所示，其係用以與其他人機介面主機(HID Host)40連結以配合使用如圖3-5所示。在圖1、2中，該一般
該至少一感應器20可利用一鏡頭21如線性感應器(Linear Sensor)或面積感應器(Area Sensor)等一般VGA鏡頭及一近接感應器(proximity sensor)22構成如圖1、2所示但不限制，藉以具有位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能(容後再詳述)；其中該鏡頭21及該近接感應器(proximity sensor)22可設計為二分開之個體如圖2所示，或設計形成一單一組合體即感應器20如圖1所示，此可隨市場規格品之價格及設計需要而在二分別個體或單一個體之間決定適用之模式。
該至少一光源30可利用一不可見光如紅外線(IR light)光源構成但不限制，藉以避免受到操作環境中其他可見光之幹擾。
該人機介面主機(HID Host)40包含電腦、筆記型電腦、平板電腦等但不限制，如圖3-5所示係以一筆記型電腦為例說明。本發明之人機介面裝置10在與其他人機介面主機(HID Host)40配合使用時，二者之間的連結方式不限制，可採用內建(embedded)方式如圖3所示或外接方式如圖4、5所示。當採用內建(embedded)方式時，該人機介面裝置10係內建(embedded)在該人機介面主機(筆記型電腦)40之內部邊緣處，如圖3所示係設置在該筆記型電腦之右側角端，以使該人機介面裝置10能向外進行偵測功能。當採用外接方式時，該人機介面裝置10可利用有線方式，如利用一連接介面(interface)而以有線之外接方式連結至該人機介面主機(筆記型電腦)40，其中該連接介面(interface)包含但不限制：USB(Universal Serial Bus，通用串列匯流排)、1394連接介面及Thunderbolt連接介面(美國Intel公司設計)。該人機介面裝置10亦可利用無線方式，如利用一無線通訊方式而以無線之外接方式連結至該人機介面主機(筆記型電腦)40，其中該無線通訊方式包含但不限制：藍牙(Bluetooth)、無線網路(WiFi)、近場通訊(NFC，Near Field Communication)、無線(射頻)收發器如2.4GHz RF Transceiver。
在應用上，本發明之人機介面裝置(HID)係利用該至少一感應器20所具有之位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)(該訊號振幅值通常為電壓值)之辨識功能，並搭配該紅外線(IR light)光源30以及數位訊號處理(DSP，digital signal processing)功能，用以偵測並計算一特徵物體50，如圖1-2所示手指或手勢但不限制，在一垂直於該光源30之投射光中心軸31方向之一維(如圖1-5所示之X軸)上之相對位置或動作的資料，以及在一平行於該光源30之投射光中心軸31方向(即相對於該光源30之遠近方向)之另一維(如圖1-5所示之Z軸)上之相對深度值或動作的資料，藉以在該人機介面主機(HID Host)40之二維顯示幕41上同步產生相對應之二維的座標或動作。換言之，本發明之人機介面裝置10係藉由該至少一感應器20所具有在該X-Z軸上之二維(2-D)位置辨識功能，以偵測並計算取得將該特徵物體50在該X-Z軸上相對位置或動作的資料，進而在該人機介面主機(HID Host)40之二維顯示幕41上轉換並同步產生相對應之二維的座標或動作，藉以完成一滑鼠之基本使用功能，如包含輸入座標、點選物件、上下(前後)或左右捲動畫面等基本使用功能。
以圖1-5所示之實施例而言，上述之該X軸雖在此被定義為垂直於該光源30之投射光中心軸31之方向，但並非用來限制該X軸之方向，即該X軸亦可定義為垂直於該感應器20之光感應面(接收面)之法線23之方向如圖1所示，或定義為垂直於該鏡頭21或近接感應器(proximity sensor)22之光感應面(接收面)之法線23之方向如圖2所示。更言之，上述之該Z軸雖在此被定義為一平行於該光源30之投射光中心軸31之方向(即相對於該光源30之遠近方向)，但並非用來限制該Z軸之方向，即該Z軸亦可定義為平行於該感應器20之光感應面(接收面)之法線23之方向如圖1所示，或定義為平行於該鏡頭21或近接感應器(proximity sensor)22之光感應面(接收面)之法線23之方向如圖2所示。
在此進一步說明該至少一感應器20所具有位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能如下：
首先，本發明人機介面裝置(HID)10所使用之該感應器20或其中該鏡頭21，主要是用以對特徵物體50，如圖1-2所示手指或手勢但不限制，產生位置如畫素(pixel)位置之辨識功能。參考圖2、6所示，其係利用該感應器20(或該鏡頭21)並藉數位訊號處理(DSP，digital signal processing)功能，用以偵測並計算一特徵物體50，如使用者之手指或手勢但不限制，在一一維(1-D，1-Dimention)上如圖1-5所示之X軸，的相對位置及動作資料。以圖2、6為例說明，當該特徵物體50由一第一位置(pointer 1)移動至一第二位置(pointer 2)時，藉由該感應器20(或該鏡頭21)可分別偵測在第一位置及第二位置之兩個位置之訊號輸出值(signal output value)X1、X2，以及該兩個訊號輸出值(signal output value)X1、X2在X軸上之相差值(ΔX)，該相差值(ΔX)即代表由第一位置(pointer 1)移動至第二位置(pointer 2)時在X軸上之位移量，則藉由數位訊號處理(DSP)功能，即能在該人機介面主機(HID Host)40之二維(2-D，2-Dimention)顯示幕41上同步產生相對應之一維(X軸)的座標或動作。
再而，本發明人機介面裝置(HID)10所使用之該感應器20或其中該近接感應器(proximity sensor)22，主要是用以對特徵物體50，如圖1-2所示手指或手勢但不限制，產生光強度如訊號振幅值(Signal Amplitude)之辨識功能。參考圖2、7所示，其係利用該感應器20(或該近接感應器22)並藉數位訊號處理(DSP，digital signal processing)功能，用以偵測並計算一特徵物體50，如使用者之手指或手勢但不限制，在另一維(1-D，1-Dimention)上如圖1-5所示之Z軸，的相對位置及動作資料。以圖2、7為例說明，當該特徵物體50由一第一位置(pointer 1)移動至一第二位置(pointer 2)時，藉由該感應器20(或該或該近接感應器22)可分別偵測在第一位置及第二位置之兩個位置之光強度如訊號振幅值(Signal Amplitude value)Z1、Z2，以及該兩個光強度如訊號振幅值Z1、Z2在Z軸上之相差值(ΔZ)，即代表由第一位置(pointer 1)移動至第二位置(pointer 2)時在Z軸上之位移量，則藉由數位訊號處理(DSP)功能，即能在相配合使用之該人機介面主機(HID Host)40之二維(2-D，2-Dimention)顯示幕41上同步產生相對應之另一維的座標或動作。
該近接感應器(proximity sensor)22係搭配該紅外線(IR light)光源30使用，該紅外線光源30係向著特徵物體50之方向投射一定強度之紅外線，使該紅外線之投射範圍30a能包含特徵物體50之位置並涵蓋該特徵物體50周遭一範圍區域。該近接感應器(proximity sensor)22用以感應該紅外線之反射光，尤其是感應該紅外線投射在該特徵物體50之後所反射之紅外線。當特徵物體50產生Z軸方向之相對移動時，則該紅光線光源30投射在特徵物體50後所反射之紅光線光強度，如上述之訊號振幅值(Signal Amplitude value)就會產生一程度之變化，例如：當該特徵物體50在Z軸方向之移動是相對地向前靠近該紅外線光源30時，則該近接感應器22所感應到紅光線光強度(訊號振幅值)就會相對地變大(增強)；當該特徵物體50在Z軸方向之移動為相對地向後離開該紅外線光源30，則該近接感應器30所感應到紅光線光強度(訊號振幅值)就會相對地變小(減弱)；因此藉由該近接感應器22所感應到紅光線光強度(訊號振幅值)之相對增強或減弱的變化，即可用以偵測該特徵物體61在Z軸方向之移動是相對地向前靠近或向後離開該紅外線光源40。故該近接感應器22搭配該紅外線(IR light)光源30使用，並再藉由數位訊號處理(DSP)功能，即可用以偵測並計算該特徵物體50在相對於該一維(X軸)之另一維(Z軸)上之相對深度值資料，進而可在相配合使用之該人機介面主機(HID Host)40之二維(2-D，2-Dimention)顯示幕41上同步產生相對應之另一維的座標或動作。
當該鏡頭21與該近接感應器22設計形成一單一組合體即該感應器20時如圖1所示，則參考圖8所示，當該特徵物體50由一第一位置(pointer 1)移動至一第二位置(pointer 2)時，藉由該感應器20即可同時偵測在X軸上之兩個訊號輸出值(signal output value)X1、X2與其相差值(ΔX)以及在Z軸上之兩個光強度如訊號振幅值(Signal Amplitude value)Z1、Z2與其相差值(ΔZ)，則藉由數位訊號處理(DSP)功能，即能在相配合使用之該人機介面主機(HID Host)40之二維(2-D，2-Dimention)顯示幕41上同步產生相對應之二維的座標或動作。
本發明之人機介面裝置(HID)10係利用系統軟體之數位元訊號處理(DSP)功能，以使上述藉由該鏡頭21所得之X軸座標或動作的資料，進一步與藉由該近接感應器22所得之Z軸座標或動作的資料相耦合，用以計算該特徵物體50(如手指)在該X-Z二維空間(如人機介面裝置10前方之桌面上)的相對位置及動作資料，即X-Z軸之座標或動作之資料，供可輸出該特徵物體50在X-Z二維空間之座標或動作的資料，以在該二維顯示幕41上同步產生相對應之二維座標或動作。換言之，本發明人機介面裝置(HID)10之主要作用功效在於：根據該感應器20所偵測並計算取得之X-Z軸上的二維座標或動作，將其轉換成對應於該人機介面主機(HID Host)40之二維顯示幕41，使在該二維顯示幕41上同步產生對應於該X-Z軸之二維座標或動作。也就是由該感應器20所界定之X-Z軸二維座標或動作對應地轉換成該二維顯示幕41所界定之二維座標或動作。如此，本發明之人機介面裝置(HID)10即能達成一般滑鼠之基本使用功能如在顯示幕41上進行輸入座標、點選物件、上下(前後)或左右捲動畫面等作業功能。
此外，本發明之人機介面裝置(HID)10更能利用該至少一感應器20所具有之位置如畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能，並進一步再搭配系統已建置之應用程式，以供辨識各種不同手勢所產生不同之訊號組合，進而產生相對應之動作，藉以讓使用者能以不同之手勢以產生多種相對應之動作。例如，使用者可在該至少一感應器20之前方作用範圍區域中，進行各種不同手勢如包含但不限制：游標上/下/左/右移動手勢如圖9A所示；捲動視窗手勢如圖9B所示；放大畫面手勢如圖9C所示；縮小畫面手勢如圖9D所示；畫面/圖片旋轉手勢如圖9E所示等多種不同手勢，則本發明之人機介面裝置(HID)10即能辨識該些不同手勢所產生不同之訊號組合，進而產生相對應之動作，達成一多功能之人機介面裝置的使用效果。
在此以圖9D所示“縮小”之手勢為例說明，請參考圖9D及圖10、11所示，當二特徵物體50a、50b，如使用者以姆指(pointer 1)當特徵物體50a及以食指(pointer 2)當特徵物體50b，以在該至少一感應器20之前方作用範圍內進行相向靠近動作時，在此該姆指(50a)及食指(50b)相向靠近動作係類似於目前手機使用者在觸控式面板上以姆指及食指進行相近似之夾收靠近動作供用於將畫面縮小；則該二特徵物體50a、50b如圖9D所示之第一特徵物體50a(pointer 1)及第二特徵物體50b(pointer 2)，將會產生如圖10、11所示在X軸及Z軸上之變化，包括：如圖10所示由X軸上之X1a、X2a及ΔXa所界定之位置轉變至由X軸上之X1b、X2b、ΔXb所界定之位置；同時如圖11所示由Z軸上之Z1c、Z2c、ΔZc所界定之位置轉變至由Z軸上之Z1d、Z2d、ΔZd所界定之位置。本發明之人機介面裝置(HID)10即可搭配系統建置之應用程式，以進一步辨識該代表“縮小”之手勢所產生之訊號組合，即該二特徵物體50a、50b在X軸上及Z軸上產生如圖10及圖11所示之位置變化，進而在該二維顯示幕41上產生相對應之動作，也就是使該二維顯示幕41之畫面產生相對應之“縮小”動作。
同理，本發明之人機介面裝置(HID)10即可搭配系統建置之應用程式，以進一步辨識不同手勢所產生之訊號組合，如遊標上/下/左/右移動手勢如圖9A所示、捲動視窗手勢如圖9B所示、放大畫面手勢如圖9C所示、縮小畫面手勢如圖9D所示、畫面/圖片旋轉手勢如圖9E所示等多種不同手勢所產生不同之訊號組合，進而在該二維顯示幕41上產生相對應之動作，達成一多功能人機介面裝置的使用效果。而上述使用效果，即辨識不同手勢以在該二維顯示幕41上產生相對應動作，乃習知滾輪滑鼠所無法達成者，故本發明之人機介面裝置10與相關先前技術如習知任何滑鼠比較，具有方法簡化、結構簡化、成本降低、使用方便的優點，尤其更兼具有觸控式面板之多種手勢之觸控功能。
再參考圖1、2所示，本發明之人機介面裝置(HID)10中，該感應器20可與該紅外線(IR light)光源30安排設置在同一結構體上如圖1所示；或該感應器20又分為一鏡頭21及一近接感應器22，並再與該紅外線(IR light)光源30安排設置在同一人機介面裝置(HID)10之結構體上，但並非用來限制該二者或三者之間的結構安排；也就是，該鏡頭21、近接感應器22及紅外線光源30可以設置在同一人機介面裝置(HID)10之結構體上如圖1、2所示，亦可分開設置在不同之結構體上，或三者中任二個可結合設置在同一結構體上，因此在結構安排上有各種不同之結構設計，可隨製造者或使用者之方便性而選擇其中最有利之方式。又本實施例中該鏡頭21、紅外線光源30及近接感應器22是在該人機介面裝置(HID)10之結構體內依序安排成一直線排列，但並非用來限制該三者之間的位置及排列方式，也就是，該鏡頭21、紅外線光源30及近接感應器22可以不依序排列，也可以不安排成一縱向或橫向之直線排列。但為提昇本發明人機介面系統10之使用效率及方便性，如在後續步驟中使該X軸之一維座標或動作的資料能有效率地與該Z軸之一維座標或動作的資料相耦合，因此該鏡頭21、紅外線光源30及近接感應器22之作用方向及範圍以形成重疊狀態為較佳但不限制，也就是，本發明該鏡頭21、紅外線光源30及近接感應器22之作用方向及範圍並不要求一定要盡量形成重疊狀態為最佳。
針對本發明所揭示之系統軟體或其所具有之數位訊號處理(DSP)功能，可提供但不限制一處理器(processor)如數位訊號處理器(DSP，Digital Signal Processor)或微處理控制單元(MCU，Microcontroller Unit，或稱微控制器)以達成該等系統軟體或其所具有之數位訊號處理(DSP)功能，因此該些系統軟體或其所具有之數位元訊號處理(DSP)功能可建構於本發明之人機介面裝置(HID)10之結構體中如圖12所示，亦可建構於相配合使用之該人機介面主機(HID Host)40中(圖未示)。
參考圖12所示，其係本發明之人機介面裝置之系統功能一實施例之方塊示意圖，亦可視為圖4或圖5所示兩種使用狀態之說明圖。本實施例之人機介面裝置10除了包含至少一感應器20(包含鏡頭21及近接感應器22)及至少一光源30外，進一步可包含：一微處理控制單元(MCU，Microcontroller Unit，或稱微控制器)11但不限制、一類比數位轉換器(analog-to-digital vonverter)12及一光源控制線路(light source control circuit)13，用以分別連接至並控制該感應器20(包含鏡頭21及近接感應器22)、該光源30及該人機介面主機(HID Host)40如圖12所示，藉以達成一滑鼠或一多功能HID的使用功效。其中該微處理控制單元(MCU，Microcontroller Unit)11亦可為數位訊號處理器(DSP，Digital Signal Processor)。
就本發明之人機介面裝置10所包含之該感應器20或該鏡頭21與該近接感應器22、該紅外線光源30、該顯示器41等功能性裝置以及所利用之數位訊號處理(DSP)功能而言，由於上述各功能性裝置(20、21、22、30、40)及數位訊號處理(DSP)功能等，均可利用本技術領域之現有技術以達成本發明中各功能性裝置本身之作用功能，而且該等功能性裝置(20、21、22、30、40)及數位訊號處理(DSP)功能之個體本身，並非本發明之人機介面裝置10及其方法之主要技術特徵，故不另再詳細說明各個體本身之作用功能。
參考圖13所示，其係本發明之人機介面裝置10之作用方法一實施例之流程示意圖。本發明之人機介面裝置10之作用方法，包含下列步驟：步驟61：提供至少一感應器20(21，22)及至少一光源30；其中該至少一感應器20(21，22)具有畫素(pixel)位置及光強度如訊號振幅值(Signal Amplitude)之辨識功能；其中該訊號振幅值通常為電壓值；步驟62：利用該至少一感應器20及該至少一光源30，用以偵測一特徵物體50在該至少一感應器20之畫素(pixel)位置及訊號振幅值(Signal Amplitude)；步驟63：進行預處理，以計算該特徵物體50於一一維(X軸)之相對位置(X座標)及動作的資料，以及於另一維(Z軸)之相對深度值(Z座標)及動作的資料；及步驟64：輸出該特徵物體50之二維(X-Z)空間之相對位置(X-Z座標)及動作的資料。
其中，在該步驟64中，本發明係利用系統軟體之數位元訊號處理功能，以使該X軸之一維座標或動作的資料進一步與該Z軸一維座標或動作的資料相耦合，用以計算該特徵物體50在該X-Z軸二維空間之相對位置及動作的資料，再輸出該特徵物體50之二維空間之相對位置(即X-Z座標)及動作的資料至一相配合使用之人機介面主機(HID Host)40，藉以在該人機介面主機(HID Host)40之一二維顯示幕41上同步產生相對應之二維的座標或動作，藉以控制該顯示幕41之應用。
以上所示僅為本發明之優選實施例，對本發明而言僅是說明性的，而非限制性的。在本專業技術領域具通常知識人員理解，在本發明權利要求所限定的精神和範圍內可對其進行許多改變，修改，甚至等效的變更，但都將落入本發明的保護範圍內。
10．．．人機介面裝置
20．．．感應器
21．．．鏡頭
22．．．近接感應器
23．．．法線(感應面)
30．．．光源
30a．．．投射範圍
31．．．投射光中心軸
40．．．人機介面主機
41．．．顯示幕
50、50a、50b．．．特徵物體
X1、X2．．．訊號輸出值
ΔX．．．(訊號輸出值)相差值
Z1、Z2．．．光強度(訊號振幅值)
ΔZ．．．(光強度)相差值
圖1係本發明之人機介面裝置一實施例之系統架構與操作狀態立體示意圖。
圖2係本發明人機介面裝置一實施例之系統架構與操作狀態之上視說明圖。
圖3-5分別係本發明之人機介面裝置之三種使用狀態之說明圖。
圖6係本發明之人機介面裝置偵測一特徵物體並產生畫素位置之辨識功能說明圖。
圖7係本發明之人機介面裝置偵測一特徵物體並產生光強度(訊號振幅值)之辨識功能說明圖。
圖8係本發明之人機介面裝置偵測一特徵物體並同時產生畫素位置及光強度(訊號振幅值)之辨識功能說明圖。
圖9A-9E分別係本發明之人機介面裝置用以辨識遊標上/下/左/右移動手勢、捲動視窗手勢、放大畫面手勢、縮小畫面手勢及畫面/圖片旋轉手勢等不同手勢之訊號組合之說明圖。
圖10係本發明之人機介面裝置用以辨識縮小畫面手勢(如圖9D所示)之訊號組合在X軸上之變化說明圖。
圖11係本發明之人機介面裝置用以辨識縮小畫面手勢(如圖9D所示)之訊號組合在Z軸上之變化說明圖。
圖12係本發明之人機介面裝置之系統功能方塊示意圖。
圖13係本發明之人機介面裝置之作用方法一實施例之流程示意圖。
10．．．人機介面裝置
20．．．感應器
21．．．鏡頭
22．．．近接感應器
23．．．法線
30．．．光源
30a．．．投射範圍
31．．．投射光中心軸
50．．．特徵物體

Claims (18)

  1. 一種人機介面裝置，其係用以與至少一人機介面主機連結以供使用者使用，其中該人機介面主機具有至少一二維顯示幕，該人機介面裝置包含：至少一感應器，其係具有畫素位置及光強度之辨識功能，用以偵測至少一特徵物體在一X-Z軸二維平面上之相對位置或動作，以產生相對應之X-Z軸二維座標或動作的資料，其中該X軸係定義為一垂直於該光源之投射光束中心軸之方向或為垂直於該感應器之光感應面之法線之方向，該Z軸係定義為一平行於該光源之投射光束中心軸之方向或為平行於該感應器之光感應面之法線之方向；至少一光源，其係用以向外投射光束以在該X-Z軸二維平面上形成一投射範圍，以使該特徵物體能在該X-Z軸二維平面上之投射範圍內移動，以供該至少一感應器進行偵測；其中當應用時，該人機介面裝置可利用該至少一感應器所具有之辨識功能並搭配該光源，用以偵測並計算該特徵物體在X軸上之相對位置或動作的資料及在Z軸上之相對深度值或動作的資料，並再輸出該特徵物體之X-Z軸二維座標或動作的資料至該人機介面主機，供在該人機介面主機之二維顯示幕上同步產生相對應之二維的座標或動作，以達成一人機介面的使用效果。
  2. 如申請專利範圍第1項所述之人機介面裝置，其中該人機介面裝置進一步包含：一微處理控制單元、一類比數位轉換器及一光源控制線路，用以分別電性連接至該至少一感應器、該至少一光源及該人機介面主機以達成一人機介面的使用效果。
  3. 如申請專利範圍第1項所述之人機介面裝置，其中該至少一感應器係包含一鏡頭用以偵測一特徵物體在該X軸上之相對位置或動作及一近接感應器用以偵測一特徵物體在一Z軸上之相對位置或動作。
  4. 如申請專利範圍第3項所述之人機介面裝置，其中該近接感應器係搭配該光源使用，該光源係朝向包含該特徵物體位置之投射範圍投射一定強度之光束，該近接感應器用以感應該投射光束被特徵物體反射之反射光之光強度的變化，以形成Z軸之座標或動作的資料。
  5. 如申請專利範圍第1項所述之人機介面裝置，其中該光強度係一訊號振幅值(Signal Amplitude)，該訊號振幅值為一電壓值。
  6. 如申請專利範圍第1項所述之人機介面裝置，其中該光源為紅外線光源。
  7. 如申請專利範圍第1項所述之人機介面裝置，其中該
  8. 如申請專利範圍第1項所述之人機介面裝置，其中該人機介面主機包含電腦、筆記型電腦、平板電腦。
  9. 如申請專利範圍第1項所述之人機介面裝置，其中該人機介面裝置係採用內建方式或外接方式以與該人機介面主機連結。
  10. 如申請專利範圍第9項所述之人機介面裝置，其中當該人機介面裝置採用內建方式以與該人機介面主機連結時，該人機介面裝置係內建在該人機介面主機之內部邊緣處，以使該人機介面裝置能向外進行偵測功能。
  11. 如申請專利範圍第8項所述之人機介面裝置，其中當該人機介面裝置採用外接方式以與該人機介面主機連結時，該人機介面裝置係利用一連接介面而以有線之外接方式連結至該人機介面主機。
  12. 如申請專利範圍第11項所述之人機介面裝置，其中該連接介面包含：USB(Universal Serial Bus，通用串列匯流排)、1394連接介面、Thunderbolt連接介面。
  13. 如申請專利範圍第9項所述之人機介面裝置，其中當該人機介面裝置採用外接方式以與該人機介面主機連結時，該人機介面裝置係利用一無線通訊方式而以無線之外接方式連結至該人機介面主機。
  14. 如申請專利範圍第13項所述之人機介面裝置，其中該無線通訊方式包含：藍牙(Bluetooth)、無線網路(WiFi)、近場通訊(NFC，Near Field Communication)、無線(射頻)收發器如2.4GHz RF Transceiver。
  15. 如申請專利範圍第1項所述之人機介面裝置，其中該人機介面裝置係根據該感應器所偵測取得該特徵物體之X-Z軸二維座標或動作，並將其轉換以在該二維顯示幕上同步產生對應於該X-Z軸之二維座標或動作，供使用者能在該顯示幕上進行輸入座標、點選物件、上下(前後)或左右捲動畫面之作業功能。
  16. 如申請專利範圍第1項所述之人機介面裝置，其中該人機介面裝置進一步利用該至少一感應器所具有之畫素位置及光強度之辨識功能，並搭配應用程式，以進一步辨識以二該特徵物體形成之不同手勢所產生不同之訊號組合，進而產生相對應之動作，供使用者能以不同之手勢以產生多種相對應之動作，其中該不同之手勢包含：游標上、下、左、右移動手勢、捲動視窗手勢、放大畫面手勢、縮小畫面手勢、畫面旋轉手勢。
  17. 一種人機介面裝置之應用方法，包含下列步驟：步驟1：提供一人機介面裝置，其包含至少一感應器及至少一光源，其中該至少一感應器具有畫素位置及光強度之辨識功能，其中該光強度為一訊號振幅值；步驟2：利用該至少一感應器及該至少一光源以偵測至少一特徵物體在該至少一感應器之畫素位置及訊號振幅值；步驟3：進行預處理，以計算該特徵物體於一維X軸之X座標及動作的資料及於另一維Z軸之相對深度值即Z座標及動作的資料；及步驟4：輸出該特徵物體之X-Z軸二維空間之X-Z座標及動作的資料。
  18. 如申請專利範圍第17項所述之人機介面裝置之應用方法，其中該步驟4係利用系統軟體之數位訊號處理功能，以使該X軸之一維座標或動作的資料進一步與該Z軸一維座標或動作的資料相耦合，用以計算該至少一特徵物體在該X-Z軸二維空間之相對位置及動作的資料，再輸出該特徵物體之二維空間之相對位置即X-Z座標及動作的資料至一相配合使用之人機介面主機，藉以在該人機介面主機之一二維顯示幕上同步產生相對應之二維的座標或動作，藉以控制該顯示幕之應用。
TW100144083A 2011-12-01 2011-12-01 人機介面裝置及其應用方法 TW201324245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100144083A TW201324245A (zh) 2011-12-01 2011-12-01 人機介面裝置及其應用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100144083A TW201324245A (zh) 2011-12-01 2011-12-01 人機介面裝置及其應用方法

Publications (1)

Publication Number Publication Date
TW201324245A true TW201324245A (zh) 2013-06-16

Family

ID=49032980

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144083A TW201324245A (zh) 2011-12-01 2011-12-01 人機介面裝置及其應用方法

Country Status (1)

Country Link
TW (1) TW201324245A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20130657A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
US9910503B2 (en) 2013-08-01 2018-03-06 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20130657A1 (it) * 2013-08-01 2015-02-02 St Microelectronics Srl Procedimento, apparecchiatura e dispositivo per il riconoscimento di gesti, prodotto informatico relativo
US9910503B2 (en) 2013-08-01 2018-03-06 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor
US9971429B2 (en) 2013-08-01 2018-05-15 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor
US10551934B2 (en) 2013-08-01 2020-02-04 Stmicroelectronics S.R.L. Gesture recognition method, apparatus and device, computer program product therefor

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
US10613666B2 (en) Content creation using electronic input device on non-electronic surfaces
EP2778849A1 (en) Method and apparatus for operating sensors of user device
US10048779B2 (en) Virtual hand based on combined data
KR101844366B1 (ko) 터치 제스처 인식 장치 및 방법
TWI423096B (zh) 具可觸控投影畫面之投影系統
TWI471756B (zh) 虛擬觸控方法
CN104536691B (zh) 具有活动元素的两手指触摸触发选择和变换的手持式设备
US20150077400A1 (en) Removable protective cover with embedded proximity sensors
US20140267025A1 (en) Method and apparatus for operating sensors of user device
JP3201426U (ja) 入力装置のバーチャル２次元測位モジュール及びバーチャル入力デバイス
CN102331884A (zh) 具有可触控投影画面的投影系统
JP2013125247A (ja) ヘッドマウントディスプレイ及び情報表示装置
US20100271332A1 (en) Optical input device, electronic device, and optical input system
TWI452494B (zh) 將至少兩個觸控訊號結合於電腦系統中的方法
JP2014509768A (ja) 親指に装着可能なカーソル制御及び入力デバイス
WO2018018624A1 (zh) 一种可穿戴设备的手势输入方法及可穿戴设备
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
Hoye et al. Touch screens: A pressing technology
TW201439813A (zh) 顯示設備及其控制系統和方法
TW201037579A (en) Optical input device with multi-touch control
TW201324245A (zh) 人機介面裝置及其應用方法
TW201239717A (en) Method for detecting multi-object behavior of a proximity-touch detection device
TWM485448U (zh) 影像式虛擬互動裝置
CN203606780U (zh) 多点触摸和手势识别融合系统