TWI496028B - 三維手勢影像控制行動電話 - Google Patents

三維手勢影像控制行動電話 Download PDF

Info

Publication number
TWI496028B
TWI496028B TW102118468A TW102118468A TWI496028B TW I496028 B TWI496028 B TW I496028B TW 102118468 A TW102118468 A TW 102118468A TW 102118468 A TW102118468 A TW 102118468A TW I496028 B TWI496028 B TW I496028B
Authority
TW
Taiwan
Prior art keywords
mobile phone
palm
phone host
hand
image
Prior art date
Application number
TW102118468A
Other languages
English (en)
Other versions
TW201445360A (zh
Inventor
Ching Hua Chiu
Shih Pei Chang
Pei Lain Chen
Original Assignee
Univ Central Taiwan Sci & Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Central Taiwan Sci & Tech filed Critical Univ Central Taiwan Sci & Tech
Priority to TW102118468A priority Critical patent/TWI496028B/zh
Publication of TW201445360A publication Critical patent/TW201445360A/zh
Application granted granted Critical
Publication of TWI496028B publication Critical patent/TWI496028B/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

三維手勢影像控制行動電話
本發明是一種行動電話，尤其是關於一種以兩個攝影機拍攝並辨識手部位置且達到控制功能之行動電話。
智慧型眼鏡型行動電話無疑是這幾年發展最快速的電子產品。眼鏡型行動電話不再是眼鏡型行動電話，更是許多人必須隨身攜帶的行動助力、遊樂器材、資訊來源或導航系統。
控制智慧型眼鏡型行動電話之方式非常多元，傳統有鍵盤、觸控，近期則許多廠商致力發展聲控。多種控制模式係為了滿足使用者各種不同之使用需求，使用者可以更便利地控制智慧型眼鏡型行動電話。然而，目前觸控形式容易污染螢幕，而聲音控制則不是用於吵雜之環境下使用，使用受到許多限制。
為了解決既有行動電話之控制形式產生的不便與限制，本發明以非接觸式之手部控制手機，讓使用者可以不需 接觸螢幕，也不需以聲音控制，即可達到選單改變及執行應用程式。
本發明提供一種三維手勢影像控制行動電話，其包含一行動電話主機及一手部位置判斷模組，該手部位置判斷模組整合安裝於該行動電話主機，該手部位置判斷模組包含兩個以上手部拍攝攝影機所拍攝之二維影像，經過線性轉換後取得一使用者之手掌與該行動電話主機之間的位置關係與即時運動狀態，且該行動電話主機依據判斷後之該手掌位置顯示一包含複數個層頁面之虛擬選單，並依據該手掌之即時運狀態選擇是否執行每個層頁面之物件所對應之功能。
其中，該行動電話主機依據下列步驟判斷該手部拍攝攝影機所拍攝之手掌之位置與動作：啟動並同步兩個以上之該手部拍攝攝影機之拍攝內容；以顏色、輪廓或手勢特徵分別判斷兩個以上之該手部拍攝攝影機所擷取的影像中包含之手掌的於兩個以上之該手部拍攝攝影機之影像二維平面座標值；將手掌之二維平面座標值以一線性轉換參數轉換為一三維參考座標系統之座標值；以該三維參考座標系統之座標值之數值狀態是否落於一特定軸向座標範圍選擇顯示對應之層頁面，以及選擇執行一特定指令或應用程式。。
其中，其進一步包含一立體影像拍攝模組，該立體影像拍攝模組包含至少兩個間隔設置之攝影機，各攝影機以一 夾角關係拍攝相同的物件，透過角度之差異拍攝影像後輸出至該行動電話主機，使該行動電話主機依據該立體影像拍攝模組之攝影機對相同景物不同角度之影像進行立體影像處理，並予以儲存或播放。
其中，該行動電話主機執行一立體影像拍攝模式，步驟包含：啟動並同步立體影像拍攝模組之攝影機；擷取影像；該行動電話主機將兩個以上之該攝影機之影像立體化產生一立體影像，立體化包含一影像錯位疊合及分別形成紅、藍色調；及立體影像儲存或無線網路傳輸存檔。
其中，該行動電話主機於該手掌於特定軸向座標範圍改變時，以左右移動換頁方式轉換顯示不同之層頁面。
藉由前述說明可知，本發明具備下列特點：
1.透過複數個二維影像之轉換，判斷使用者手勢之位置，達到控制行動電話功能之目的。
2.本發明不需要透過手指直接觸碰，即可達到選單切換、選定所欲執行應用程式之功效，不僅解決既接觸控制、有聲音控制使用上的缺點，更大幅提昇未來行動電話控制之多樣性與可能性。
10‧‧‧行動電話主機
50‧‧‧手掌
C1 、C2 ‧‧‧手部拍攝攝影機
C3 、C4 ‧‧‧攝影機
第一圖為本發明較佳實施例之正視示意圖。
第二圖為本發明較佳實施例之使用示意圖。
第三圖為本發明較佳實施例之座標轉換示意圖。
第四圖為本發明較佳實施例之座標轉換示意圖。
第五圖為本發明較佳實施例之層頁面之顯示示意圖。
第六圖為本發明較佳實施例之立體影像拍攝示意圖。
第七圖為本發明較佳實施例之使用流程示意圖。
第八圖為本發明較佳實施例之座標轉換流程示意圖。
請參考第一圖至第四圖，其為本發明三維手勢影像控制行動電話，其包含一行動電話主機10、一手部位置判斷模組及一立體影像拍攝模組，該手部位置判斷模組整合安裝於該行動電話主機。該手部位置判斷模組接收使用者之一手掌50之一位置關係及一運動狀態後輸出至該行動電話主機10，使該行動電話主機10依據位置狀態及運動狀態選擇輸出一選單頁面以及執行該選單頁面中之功能物件。該位置關係包含該手部位置判斷模組20與該手掌50之一距離關係(Z)及一橫縱向位置關係(X、Y)，該運動狀態至少包含手掌50之距離關係之變化、橫縱向位置關係之變化。
該立體影像拍攝模組包含至少兩個間隔設置之攝影機(C3 、C4 )，該攝影機(C3 、C4 )以一夾角關係拍攝相同的物件，透過角度之差異拍攝影像後輸出至該行動電話主機10，使該行動電話主機10可依據該立體影像拍攝模組30之攝影機對相同景物不同角度之影像進行立體影像處理，並予以儲存或播放。請配合參考第六圖，該行動電話主機10執行一立體影像拍攝模式，執行立體影像之拍攝、儲存 與傳輸：
1.啟動攝影機C3 、C4 ：該行動電話主機10接受使用者之控制指令，開啟該攝影機C3 、C4 。
2.同步拍攝頻率：該行動電話主機10同步該攝影機C3 、C4 之擷取影像之影像擷取頻率。
3.擷取影像：該行動電話主機10驅使該攝影機C3 、C4 以不同相對角度拍攝一物件。C3
4.立體影像處理：該行動電話主機10將兩個該攝影機C3 、C4 之影像立體化產生一立體影像，所謂的立體化可能包含一影像錯位疊合及分別形成紅、藍色調。
5.立體影像儲存：該行動電話主機10將該立體影像予以儲存。
6.播放判斷：該行動電話主機10判斷使用者於輸入一播放指令後，執行顯示立體影像，將該立體影像播放於該行動電話主機10之顯示器。
7.無線網路傳輸存檔：該行動電話主機10產生立體影像後，如無播放指令，則將該立體影像儲存於一雲端資料庫，或等待下次拍攝之指令。
本實施例之該手部判斷模組包含二手部拍攝攝影機C1 ,C2 係相互間隔設於該行動電話主機10之表面，兩個該手部拍攝攝影機C1 ,C2 分別拍攝一手掌50部位之影像，透過定位影像座標及平面轉換立體座標轉換方式(如第三圖、第四圖所示)，判斷該手掌50與該手部拍攝攝影機C1 ,C2 之位置關係。以下，更進一步說明該行動電話主機10判斷手掌50位置之方式：
為了能夠透過兩個該手部拍攝攝影機C1 ,C2 之拍攝內容，推算該手掌50與該行動電話主機10之位置、距離關係，必須先取得兩部該手部拍攝攝影機C1 ,C2 之二維座標系統轉換一三維座標系統之轉換參數，其可如第八圖之步驟：
1.建立一參考座標系統(三維)及取得複數個座標數值：該手部拍攝攝影機C1 ,C2 固定並拍攝預先設置於一拍攝空間之複數個以陣列型式排列之反光球，其中，每個反光球置於該參考座標系統內的特定位置並具有一實體座標系統之座標值，例如：(Xi ,Yi ,Zi )，其中i=1 ,2 ,3 …n，n為反光球個數；每個反光球具備高光反射性，使環境光照射該反光球時產生強反射光。該反光球個數不限定，經實做及模擬，本實施例使用36個反光球可達到較佳手掌50之位置與座標解析效能，本實施例之每個反光求之座標標示為A1 (X1, Y1, Z1 )~A36 (X36, Y36, Z36 )於三維之該參考座標系統內。
2.將手部拍攝攝影機C1 ,C2 拍攝反光球之影像，進行二值化處理。所謂的二值化處理指對影像形成灰階或黑白狀態，藉以增加顯著位置之判定準確度。
3.擷取手部拍攝攝影機C1 ,C2 二值化處理後之影像，並決定反光球在該手部拍攝攝影機C1 ,C2 分別之二平面座標系統內之座標值(C1 (X1 ,Y1 )~C1 (X36 ,X36 )、C2 (X1 ,Y1 )~C2 (X36 ,Y36 ))，兩部該手部拍攝攝影機C1 ,C2 之拍攝空間對應，且對該拍攝空間之內部物件可於其對應之該平面座標系統內具有二維之座標值。由於該手部拍攝攝影機C1 ,C2 拍攝的影像之內物件、像素於平面座標內，其中各反光球之反射光線相對較強而具有較高的辨識度，每個反光球可於 每個攝影機C1 、C2 以對比度影像分析方式，找出反光球的位置及其對應之座標值。
4.取各反光球在三維參考座標系統之座標值A1 (X1 ,Y2 ,Z3 )~A36 (X36 ,Y36 ,Z36 )與二平面座標系統之座標值C1 (X1 ,Y1 )~C1 (X36 ,Y36 )、C2 (X1 ,Y1 )~C2 (X36 ,Y36 )執行一線性轉換運算將二維的平面座標轉換為三維座標；線性轉換運算方法可為一最小平方法。
5.取得並輸出且儲存二維轉換三維座標之線性轉換係數與其誤差。
請配合參考第三~八圖，該行動電話主機10可利用前述步驟所建立的線性轉換參數，執行一位置辨識方法(程式)，判斷手掌50與該行動電話主機10之位置關係，其步驟可包含：
1.啟動計時同步：該行動電話主機10接受使用者之控制指令，開啟該手部拍攝攝影機C1 ,C2 。
2.同步拍攝：該行動電話主機10同步該手部拍攝攝影機C1 ,C2 之擷取影像之影像擷取頻率。
3.將手部拍攝攝影機C1 ,C2 之擷取影像進行二值化處理。
4.擷取影像：該行動電話主機10驅使該手部拍攝攝影機C1 ,C2 以不同相對角度拍攝使用者之手掌50。
5.進行影像辨識比對：該行動電話主機10由兩個該手部拍攝攝影機C1 ,C2 之拍攝內容中找出該手掌50之局部特徵影像，其中，找出該手掌50之方式可以利用辨識該手掌50之顏色、輪廓或手勢特徵。為了降低辨識該手掌50錯誤之 機率，可以限制使用者欲執行操控功能時，必須使用特殊的手勢，例如手握拳緊食指突出手勢、手握拳緊拇指與食指突出手勢等。
6.取得辨識標的之平面座標：兩個該手部拍攝攝影機C1 ,C2 依據手掌50之辨識結果，定義該手掌50之特定部位之二維座標值，例如食指指尖F1 (X1 ,Y1 )、F2 (X1 ,Y1 )，第三圖。
7.二維至三維之座標系統線性轉換：將該手掌50之特定部位之兩組二維座標，取線性轉換參數進行線性轉換得一組三維之該參考座標系統之座標值F(X,Y,Z)。
8.輸出辨識標的之三維座標：該行動電話主機10取得並輸出該三維座標值，並持續追蹤該手掌50之三維座標之座標數值變化。
9.依據座標值與虛擬選單之座標關係：該行動電話主機10產生一虛擬選單(如第五圖所示)，該虛擬選單包含複數個層頁面L1 ~L4 ，每個層頁面L1 ~L4 對應該三維座標系統之一特定軸向座標範圍(如第五圖之Z軸向，L1 ~L5 於Z軸範圍分別為5cm)，當該手掌50之特定部位落於該三維之參考座標系之特定軸向座標範圍時，則該行動電話主機10由該虛擬選單中，選出對應之層頁面予以顯示。
以實際範例說明畫面呈現之形式與使用狀況：
(1)在畫面呈現的方式方面，該行動電話主機10可以於該手掌50進入可以達到位置辨識之該拍攝範圍後，於顯示畫面上顯示複數個堆疊之該層頁面。
(2)當該手掌5O之位置進入特定層頁面之特定軸向座標範圍時，則選出特定之該層頁面予以顯示。
(3)當該手掌50位置沿著該特定軸向移動並於不同的特定軸向座標範圍之間變換時，該行動電話主機10改變顯示不同的層頁面係以左右橫移抽離上下層之層頁面，藉以顯示該手掌50即時對應之該層頁面。
9.判斷辨識標的與虛擬選單之物件關係：該行動電話主機10由判斷該手掌50之橫縱向座標範圍，決定該手掌50是否對應某一層頁面之物件，其中，每個層頁面包含複數個物件，該物件種類可能是數字按鍵、應用程式圖示、功能指令等。當該手掌50在特定層頁面且對應特定物件超過一預設時間(例如2秒)，則該行動電話主機10執行該物件所對應的動作，例如撥號、執行應用程式或功能指令。
藉由前述說明可知，本發明具備下列特點：
1.透過複數個二維影像之轉換，判斷使用者手勢之位置，達到控制行動電話功能之目的。
2.本發明不需要透過手指直接觸碰，即可達到選單切換、選定所欲執行應用程式之功效，不僅解決既接觸控制、有聲音控制使用上的缺點，更大幅提昇未來行動電話控制之多樣性與可能性。
10‧‧‧行動電話主機
C1 、C2 ‧‧‧手部拍攝攝影機
C3 、C4 ‧‧‧攝影機

Claims (1)

  1. 一種三維手勢影像控制行動電話，其包含一行動電話主機、一手部位置判斷模組及一立體影像拍攝模組，其中：該手部位置判斷模組整合安裝於該行動電話主機，該手部位置判斷模組包含兩個以上手部拍攝攝影機所拍攝之二維影像，經過線性轉換後取得一使用者之手掌與該行動電話主機之間的位置關係與即時運動狀態；該行動電話主機依據判斷後之該手掌位置顯示一包含複數個層頁面之虛擬選單，並依據該手掌之即時運狀態選擇是否執行每個層頁面之物件所對應之功能，該行動電話主機依據下列步驟判斷該手部拍攝攝影機所拍攝之手掌之位置與動作：啟動並同步兩個以上之該手部拍攝攝影機之拍攝內容；以顏色、輪廓或手勢特徵分別判斷兩個以上之該手部拍攝攝影機所擷取的影像中包含之手掌的於兩個以上之該手部拍攝攝影機之影像二維平面座標值；將手掌之二維平面座標值以一線性轉換參數轉換為一三維參考座標系統之座標值；及以該三維參考座標系統之座標值之數值狀態是否落於一特定軸向座標範圍選擇顯示對應之層頁面，以及選擇執行一特定指令或應用程式該行動電話主機於該手掌於特定軸向座標範圍改變時，以左右移動換頁方式轉換顯示不同之層頁面，其中： 該行動電話主機由判斷該手掌之橫縱向座標範圍，決定該手掌是否對應某一層頁面之物件，其中，每個層頁面包含複數個物件，該物件種類包含數字按鍵、應用程式圖示及功能指令；及該行動電話主機判斷該手掌在特定層頁面且對應特定物件超過一預設時間，執行該物件所對應的動作；及該立體影像拍攝模組包含至少兩個間隔設置之攝影機，各攝影機以一夾角關係拍攝相同的物件，透過角度之差異拍攝影像後輸出至該行動電話主機，使該行動電話主機依據該立體影像拍攝模組之攝影機對相同景物不同角度之影像進行立體影像處理，並予以儲存或播放，該行動電話主機執行一立體影像拍攝模式，步驟包含：啟動並同步立體影像拍攝模組之攝影機；擷取影像；該行動電話主機將兩個以上之該攝影機之影像立體化產生一立體影像，立體化包含一影像錯位疊合及分別形成紅、藍色調；及立體影像儲存或無線網路傳輸存檔。
TW102118468A 2013-05-24 2013-05-24 三維手勢影像控制行動電話 TWI496028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102118468A TWI496028B (zh) 2013-05-24 2013-05-24 三維手勢影像控制行動電話

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102118468A TWI496028B (zh) 2013-05-24 2013-05-24 三維手勢影像控制行動電話

Publications (2)

Publication Number Publication Date
TW201445360A TW201445360A (zh) 2014-12-01
TWI496028B true TWI496028B (zh) 2015-08-11

Family

ID=52707067

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102118468A TWI496028B (zh) 2013-05-24 2013-05-24 三維手勢影像控制行動電話

Country Status (1)

Country Link
TW (1) TWI496028B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI610198B (zh) * 2015-04-17 2018-01-01 鈺立微電子股份有限公司 遙控裝置與根據至少一靜態手勢產生控制指令的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
CN201804207U (zh) * 2010-04-23 2011-04-20 张瑞聪 多彩全像的影像合成设备的光偏移补偿装置
TW201120681A (en) * 2009-12-10 2011-06-16 Tatung Co Method and system for operating electric apparatus
CN101995943B (zh) * 2009-08-26 2011-12-14 介面光电股份有限公司 立体影像互动系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
CN101995943B (zh) * 2009-08-26 2011-12-14 介面光电股份有限公司 立体影像互动系统
TW201120681A (en) * 2009-12-10 2011-06-16 Tatung Co Method and system for operating electric apparatus
CN201804207U (zh) * 2010-04-23 2011-04-20 张瑞聪 多彩全像的影像合成设备的光偏移补偿装置

Also Published As

Publication number Publication date
TW201445360A (zh) 2014-12-01

Similar Documents

Publication Publication Date Title
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
CN204465706U (zh) 终端装置
WO2022000992A1 (zh) 拍摄方法、装置、电子设备和存储介质
CN102822862B (zh) 计算装置接口
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
EP3395066B1 (en) Depth map generation apparatus, method and non-transitory computer-readable medium therefor
US20130181897A1 (en) Operation input apparatus, operation input method, and program
US9392248B2 (en) Dynamic POV composite 3D video system
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US8913037B1 (en) Gesture recognition from depth and distortion analysis
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
US20140071044A1 (en) Device and method for user interfacing, and terminal using the same
TWI596378B (zh) 可攜式虛擬實境系統
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US9268408B2 (en) Operating area determination method and system
KR20120126508A (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
CN107291221A (zh) 基于自然手势的跨屏幕自适应精度调整方法及装置
US11886643B2 (en) Information processing apparatus and information processing method
TWI496028B (zh) 三維手勢影像控制行動電話
TW201445970A (zh) 三維手勢影像控制之眼鏡型行動電話
KR101272458B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP6008911B2 (ja) 動作認識装置、動作認識方法、及び、プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees