TWI598809B - 手勢控制系統及方法 - Google Patents

Description

手勢控制系統及方法

本發明涉及一種電子裝置控制系統及方法，特別是關於一種通過手勢控制電子裝置的系統及方法。

目前許多電子裝置都可通過手勢、聲控等非接觸式的指令進行控制。當同一空間出現多個可接受手勢控制的電子裝置存在時，例如，客廳中的電視，空調系統或影音播放設備等，而為了貼近使用者手勢操控習慣，可能該多種電子裝置都採用相同的手勢控制，例如順時針畫圓可調高空調溫度，也可調高影音播放設備音量。儘管現有技術中存在將影像辨識用於手勢指令辨識的技術，但該技術主要應用于控制單一電子裝置。然而，多個電子裝置存在於同一空間的現象比較常見。因此，需要提供一種確定被控物件的方法。

鑒於以上內容，有必要提供一種手勢控制系統及方法，能夠在多個可接收手勢控制的電子裝置存在時確定手勢控制物件。

一種手勢控制系統，運行於一手勢控制裝置中，該手勢控制裝置與至少兩個電子裝置相連，每一電子裝置裝設有一攝像機，所述的手勢控制系統包括：獲取模組，用於從每一攝像機獲取具有深度資訊的包括手勢的圖像；座標確定模組，用於根據所獲取的包括手勢的圖像確定三維坐標系，並確定該 三維坐標系中手勢的起始端座標、手勢的結束端座標；計算模組，用於根據所確定的手勢起始端座標值、手勢結束端座標值、各電子裝置中心點座標值，分別計算從所述手勢起始端至所述各電子裝置的中心點之間的方向向量，並分別計算從所述手勢結束端至所述各電子裝置的中心點之間的方向向量；所述計算模組，還用於計算所述手勢起始端至所述電子裝置的中心點之間的方向向量與所述手勢結束端至所述電子裝置的中心點之間的方向向量之間的夾角；及確定模組，用於當所述夾角有一個夾角小於預設角度誤差上限值時，確定該小於預設角度誤差上限值的夾角對應的電子裝置為手勢控制物件。

一種手勢控制方法，包括：獲取步驟：從分別設置在至少兩電子裝置上的攝像機獲取所拍攝的包括手勢的影像；座標確定步驟：根據所獲取的包括手勢的圖像確定三維坐標系，並確定該三維坐標系中手勢的起始端座標、手勢的結束端座標；計算步驟一：根據所確定的手勢起始端座標值、手勢結束端座標值、各電子裝置中心點座標值，分別計算從所述手勢起始端至所述各電子裝置的中心點之間的方向向量，並分別計算從所述手勢結束端至所述各電子裝置的中心點之間的方向向量；計算步驟二：計算所述手勢起始端至所述電子裝置的中心點之間的方向向量與所述手勢結束端至所述電子裝置的中心點之間的方向向量之間的夾角；及確定步驟：當所述夾角中有一個小於預設角度誤差上限值時，確定該小於預設角度誤差上限值的夾角對應的電子裝置為手勢控制物件。

相較於現有技術，本發明所述的手勢控制系統及方法能夠在多個可接收手勢控制的電子裝置存在時確定手勢控制物件，以免造成誤操作。

2,3‧‧‧電子裝置

1‧‧‧手勢控制裝置

20,30‧‧‧攝像機

O1,O2‧‧‧攝像機中心

R1,R2‧‧‧攝像機拍攝範圍

10‧‧‧手勢控制系統

101‧‧‧獲取模組

102‧‧‧座標確定模組

103‧‧‧計算模組

104‧‧‧確定模組

11‧‧‧記憶體

12‧‧‧處理器

θ1‧‧‧第一角度

θ2‧‧‧第二角度

A‧‧‧手勢起始端

B‧‧‧手勢結束端

圖1係本發明較佳實施例的手勢控制裝置運行環境示意圖。

圖2係本發明手勢控制系統的較佳實施例的功能模組圖。

圖3係本發明確定手勢控制物件的一較佳實施例的示意圖。

圖4係本發明手勢控制方法的較佳實施例的流程圖。

圖1示出了本發明的手勢控制裝置的較佳實施例的運行環境示意圖。多個電子裝置(如圖中第一電子裝置2與第二電子裝置3)，例如電視、空調、影音播放設備、監視器、電腦等，與一手勢控制裝置1通過有線或無線等方式進行連接。該有線網路可以為傳統有線通訊的任何類型，例如網際網路、局域網。該無線網路可以為傳統無線通訊的任何類型，例如無線電、無線保真(Wireless Fidelity,WIFI)、蜂窩、衛星、廣播等。無線通訊技術可以包括，但不限於，全球移動通信系統(Global System for Mobile Communications，GSM)、通用分組無線業務(General Packet Radio Service，GPRS)、碼分多址(Code Division Multiple Access，CDMA)，寬頻碼分多址(W-CDMA)、CDMA2000、IMT單載波(IMT Single Carrier)、增強型資料速率GSM演進(Enhanced Data Rates for GSM Evolution，EDGE)、長期演進技術(Long-Term Evolution，LTE)、高級長期演進技術、時分長期演進技術(Time-Division LTE，TD-LTE)、高性能無線電局域網(High Performance Radio Local Area Network，HiperLAN)、高性能無線電廣域網路(High Performance Radio Wide AreaNetwork，HiperWAN)、本地多點派發業務(Local Multipoint Distribution Service，LMDS)、全微波存取全球互通(Worldwide Interoperability for Microwave Access，WiMAX)、紫蜂協定(ZigBee)、藍牙、正交頻分複用技術(Flash Orthogonal Frequency-Division Multiplexing，Flash-OFDM)、大容量空分多路存取(High Capacity Spatial Division Multiple Access，HC-SDMA)、通用移動電信系統(Universal Mobile Telecommunications System，UMTS)、通用移動電信系統時分雙工(UMTS Time-Division Duplexing，UMTS-TDD)、演進式高速分組接入(Evolved High Speed Packet Access，HSPA+)、時分同步碼分多址(Time Division Synchronous Code Division Multiple Access，TD-SCDMA)、演進數據最優化(Evolution-Data Optimized，EV-DO)、數位增強無繩通信(Digital Enhanced Cordless Telecommunications，DECT)及其他。

所述第一電子裝置2和第二電子裝置3分別包括一攝像裝置20、30。所述攝像裝置20、30為深度攝像機，用於拍攝有效範圍(如圖中第一拍攝範圍R1、第二拍攝範圍R2)內的手勢圖像，所述第一電子裝置2和第二電子裝置3根據該拍攝所得的手勢圖像控制其自身運作。該手勢控制裝置1可為一伺服器，也可內嵌在所述第一電子裝置2或第二電子裝置3內。當內嵌在所述第一電子裝置2或第二電子裝置3內時，所述控制裝置可為所述第一電子裝置2或第二電子裝置3內的一晶片或控制系統，也可為獨立於所述第一電子裝置2或第二電子裝置3且與所述第一電子裝置2或第二電子裝置3通信連接的裝置，譬如：電視機的機上盒。

圖2示出了本發明手勢控制系統的較佳實施例的功能模組圖。在該實施例中，所述手勢控制裝置1可包括，但不限於，記憶體11和處理器12。記憶體11可為所述手勢控制裝置1的內部存儲單元，例如，硬碟或記憶體，也可為插接式存儲裝置，例如：插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)。所述記憶體11也可既包括內部存儲單元也包括插接式存儲裝置。所述處理器12可為一中央處理器(Central Processing Unit,CPU)，微處理器或其他資料處理晶片。

手勢控制系統10安裝並運行於所述手勢控制裝置1中。在本實施例中，所述的手勢控制系統10包括，但不僅限於，獲取模組101、座標確定模組102，計算模組103，及確定模組104。本發明所稱的功能模組是指一種能夠被手勢控制裝置1的處理器12所執行並且能夠完成固定功能的一系列程式指令段，其存儲於手勢控制裝置1的記憶體11中。

所述獲取模組101可用於從第一電子裝置2或第二電子裝置3各自的深度攝像機20、30獲取所拍攝的具有深度資訊的影像。在至少一實施例中，所述深度攝像機20、30僅在其拍攝範圍內出現手勢操作時才將所拍攝影像傳送至所述獲取模組101。所拍攝的手勢影像包括多幅，根據多幅圖像中手勢的不同位置確定手勢的運動。

所述座標確定模組102用於根據所獲取的影像建立坐標系，計算電子裝置的中心點、手勢起始端與手勢結束端座標。其中所獲取的影像的深度資訊作為Z軸，所獲取影像的平面座標作為X軸和Y軸。所述手勢起始端和手勢結束端是指影像中手上某一特定點在手勢開始時的位置及手勢結束時的位置。手勢結束通常以某一特定時長範圍內手停止動作作為判斷標準。在本實施方式中，所述電子裝置的中心點座標為預設值，根據所述深度攝像機20、30在設置在所述電子裝置的位置來預設所述電子裝置的中心點座標值。例如，當所述電子裝置為電腦時，所述深度攝像機20設置在所述電腦顯示幕上方中心位置，那麼所述電子裝置的中心點為所述電腦顯示幕的中心點。

所述計算模組103用於計算從手勢起始端分別至所述第一電子裝置2的中心點和所述第二電子裝置3的中心點的第一方向向量和第二方向向量，如圖3中的向量O1A、O2A。

所述計算模組103還用於計算從手勢結束端分別至所述第一電子裝置2的中心點和所述第二電子裝置3的中心點的第三方向向量和第四方向向量，如圖3中的向量O1B、O2B。

所述計算模組103還用於計算所述第一方向向量和所述第三方向向量之間的第一夾角(如θ 1)以及所述第二方向向量和第四方向向量之間的第二夾角(如θ 2)。

所述確定模組104用於根據所計算的第一夾角與第二夾角確定手勢控制物件。如下結合圖3具體說明所述所述計算模組103及確定模組104的工作原理。

參圖3所示，所述手勢控制裝置1與第一電子裝置2和第二電子裝置3通信連接。所述第一電子裝置2和第二電子裝置3分別包括一第一攝像機20和第二攝像機30。所述第一電子裝置2具有中心點O1，所述第二電子裝置3具有中心點O2。當手勢出現在圖中所示區域時，所述攝像機20、30拍攝所述手勢的影像。所述手勢控制裝置1的座標確定模組102根據所拍攝的影像確定攝像機坐標系。在本實施例中，所述座標確定模組102針對每一攝像機拍攝的圖像分別建立坐標系，即第一攝像機20和第二攝像機30分別具有一坐標系，並根據各攝像機的坐標系來計算各電子裝置中心點分別與所述手勢起始端和手勢結束端之間的方向向量，並計算所述手勢起始端與所述第一電子裝置2的中心點之間的第一方向向量與所述手勢結束端與所述第一電子裝置2的中心點之間的第三方向向量之間的第一夾角θ 1，和計算所述手勢起始端與所述第二電子裝置3的中心點之間的第二方向向量與所述手勢結束端與所述第二電子裝置3的中心點之間的第四方向向量之間的第二夾角θ 2。

為計算所述第一夾角與第二夾角的角度值，所述計算模組103可先根據兩點的座標確定兩點之間方向向量，再根據兩個方向向量確定角度。根 據兩點的座標確定兩點之間的方向向量以手勢開始端A與手勢結束端B為例說明如下：假設手勢起始端A點座標為(x1，y1，z1)，手勢結束端B點座標為(x2，y2，z2)，假設第一電子裝置2的中心點O1座標為(x0，y0，z0)，則手勢起始端A點到第一電子裝置2的中心點的第一方向向量為O1A(x1-x0，y1-y0，z1-z0)，手勢結束端B點到第一電子裝置2的中心點的第三方向向量O1B(x2-x0，y2-y0，z2-z0)。假設第二電子裝置3的中心點O2座標為(x3，y3，z3)，同理可得，則手勢起始端A點到第二電子裝置3的中心點的第二方向向量為O2A(x1-x3，y1-y3，z1-z3)，手勢結束端B點到第二電子裝置3的中心點的第四方向向量O2B(x2-x3，y2-y3，z2-z3)。

根據方向向量確定兩方向向量之間的夾角θ，其公式為： ，其中=( a ₁, a ₂, a ₃)，=( b ₁, b ₂, b ₃)。由此可得：

所述確定模組104用於根據所計算的第一夾角與第二夾角確定手勢控制物件。參圖3所示，所述確定模組104分別判斷所述第一夾角和所述第二夾角與預設角度誤差上限值δ之間的大小。當所述第一夾角大於所述設角度誤差上限值δ，且所述第二夾角小於所述設角度誤差上限值δ時，則確定所述第二夾角對應的電子裝置為使用者要操控的裝置；當所述第一夾角小於所述設角度誤差上限值δ，且所述第二夾角大於所述設角度誤差上限值δ時，則確定所述第一夾角對應的電子裝置為使用者要操控的裝置；當所述第一夾角和所述第二夾角都小於所述預設角度誤差上限值δ時，則判定為資料錯誤，無法確定操控物件。

參閱圖4所示，是本發明手勢控制方法的較佳實施例的流程圖。該手勢控制方法可被圖1中的手勢控制裝置所執行。根據不同需求，該流程圖中步驟的順序可以改變，某些步驟可以省略或合併。

步驟401，所述手勢控制裝置1的獲取模組101從各深度攝像機獲取具有深度資訊的影像。所述影像包括多幅，分別包括有手勢起始點與手勢結束點的影像。

步驟402，所述手勢控制裝置的座標確定模組102根據所獲取的影像建立坐標系統，並確定電子裝置的中心點O、手勢起始端A與手勢結束端B的座標。具體地，所述攝像機所拍攝的圖像中，深度資訊作為Z軸，所獲取影像的平面座標作為X軸和Y軸。所述座標確定模組102確定手勢起始端與結束端時，可以手上的某一特定點，譬如手指指尖或手掌心或手的中心點等來確定手勢起始端與手勢結束端。當圖像中第一次出現手勢時手上該特定點的位置為手勢起始端，手勢停頓超過預定時長時該手上特定點的位置即為手勢結束端。根據確定的坐標系來計算手勢起始端與手勢結束端的座標值。

步驟403，所述計算模組103根據上述座標值計算從手勢起始端分別至所述第一電子裝置2的中心點和所述第二電子裝置3的中心點的第一方向向量和第二方向向量，如圖3中的向量O1A、O2A。具體計算方法參上述說明。

步驟404，所述計算模組103還計算從手勢結束端分別至所述第一電子裝置2的中心點和所述第二電子裝置3的中心點的第三方向向向量和第四方向向量，如圖3中的向量O1B、O2B。具體計算方法參上述說明。

步驟405，所述計算模組103還計算所述第一方向向量和所述第三方向向量之間的第一夾角以及所述第二方向向量和第四方向向量之間的第二夾角。具體計算方法參上述說明。

步驟406，所述確定模組104判定所述第一夾角和所述第二夾角中是否有一個小於預設角度誤差上限值。如果所述第一夾角和所述第二夾角中是否有一個小於預設角度誤差上限值，則進入步驟S407，否則流程結束。

步驟407，所述確定模組104確定所述第一夾角和所述第二夾角中小於預設角度誤差上限值的夾角對應的電子裝置為被手勢控制物件。具體地，當所述第一夾角大於所述設角度誤差上限值δ，且所述第二夾角小於所述設角度誤差上限值δ時，則確定所述第二夾角對應的電子裝置為使用者要操控的裝置；當所述第一夾角小於所述設角度誤差上限值δ，且所述第二夾角大於所述設角度誤差上限值δ時，則確定所述第一夾角對應的電子裝置為使用者要操控的裝置；當所述第一夾角和所述第二夾角都小於所述預設角度誤差上限值δ時，則判定為資料錯誤，無法確定操控物件。

本發明的手勢控制系統及方法，通過對手勢的具有深度資訊的影像分析手勢開始端和手勢結束端分別與電子裝置中心點的方向向量之間的夾角大小，來確定所述手勢控制的電子裝置。

以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或者等同替換都不應脫離本發明技術方案的精神和範圍。

1‧‧‧手勢控制裝置

10‧‧‧手勢控制系統

101‧‧‧獲取模組

102‧‧‧座標確定模組

103‧‧‧計算模組

104‧‧‧確定模組

11‧‧‧記憶體

12‧‧‧處理器

Claims (6)

1. 一種手勢控制系統，運行於一手勢控制裝置中，該手勢控制裝置與至少兩個電子裝置相連，每一電子裝置裝設有一攝像機，所述的手勢控制系統包括：獲取模組，用於從每一攝像機獲取具有深度資訊的包括手勢的圖像；座標確定模組，用於根據所獲取的包括手勢的圖像確定三維坐標系，並確定該三維坐標系中手勢的起始端座標、手勢的結束端座標，其中，所述手勢起始端和手勢結束段指圖像中手上某一特定點在手勢開始時的位置及手勢結束時的位置；計算模組，用於根據所確定的手勢起始端座標值、手勢結束端座標值、各電子裝置中心點座標值，分別計算從所述手勢起始端至所述各電子裝置的中心點之間的方向向量，並分別計算從所述手勢結束端至所述各電子裝置的中心點之間的方向向量；所述計算模組，還用於計算所述手勢起始端至所述電子裝置的中心點之間的方向向量與所述手勢結束端至所述電子裝置的中心點之間的方向向量之間的夾角；及確定模組，用於當所述夾角中有一個小於預設角度誤差上限值時，確定該小於預設角度誤差上限值的夾角對應的電子裝置為手勢控制物件。
2. 如申請專利範圍第1項所述的手勢控制系統，所述計算模組根據所述手勢起始端座標或所述手勢結束端座標和所述電子裝置中心點座標計算兩點之間的方向向量公式為：(x1-x0，y1-y0，z1-z0)，其中，所述手勢起始端座標或所述手勢結束端座標為(x1，y1，z1)，所述電子裝置中心點座標為(x0，y0，z0)。
3. 如申請專利範圍第1項所述的手勢控制系統，所述計算模組確定兩方向向量之間的夾角θ的公式為： ，其中 =( a ₁, a ₂, a ₃)，=( b ₁, b ₂, b ₃)。
4. 一種手勢控制方法，所述的手勢控制方法包括：獲取步驟：從分別設置在至少兩電子裝置上的攝像機獲取所拍攝的包括手勢的影像；座標確定步驟：根據所獲取的包括手勢的圖像確定三維坐標系，並確定該三維坐標系中手勢的起始端座標、手勢的結束端座標，其中，所述手勢起始端和手勢結束段指圖像中手上某一特定點在手勢開始時的位置及手勢結束時的位置；計算步驟一：根據所確定的手勢起始端座標值、手勢結束端座標值、各電子裝置中心點座標值，分別計算從所述手勢起始端至所述各電子裝置的中心點之間的方向向量，並分別計算從所述手勢結束端至所述各電子裝置的中心點之間的方向向量；計算步驟二：計算所述手勢起始端至所述電子裝置的中心點之間的方向向量與所述手勢結束端至所述電子裝置的中心點之間的方向向量之間的夾角；及確定步驟：當所述夾角中有一個小於預設角度誤差上限值時，確定該小於預設角度誤差上限值的夾角對應的電子裝置為手勢控制物件。
5. 如申請專利範圍第4項所述的手勢控制方法，所述計算步驟一中根據所述手勢起始端座標或所述手勢結束端座標和所述電子裝置中心點座標計算兩點之間的方向向量公式為：(x1-x0，y1-y0，z1-z0)，其中，所述手勢起始端座標或所述手勢結束端座標為(x1，y1，z1)，所述電子裝置中心點座標為(x0，y0，z0)。
6. 如申請專利範圍第4項所述的手勢控制方法，所述計算步驟二中確定兩方向向量之間的夾角θ的公式為： ，其中=( a ₁, a ₂, a ₃)，=( b ₁, b ₂, b ₃)。