TW201528119A - 一種基於筆影偵測模擬手繪板之方法 - Google Patents

一種基於筆影偵測模擬手繪板之方法 Download PDF

Info

Publication number
TW201528119A
TW201528119A TW103101123A TW103101123A TW201528119A TW 201528119 A TW201528119 A TW 201528119A TW 103101123 A TW103101123 A TW 103101123A TW 103101123 A TW103101123 A TW 103101123A TW 201528119 A TW201528119 A TW 201528119A
Authority
TW
Taiwan
Prior art keywords
brush
pen
hand
shadow
simulating
Prior art date
Application number
TW103101123A
Other languages
English (en)
Inventor
Chin-Shyurng Fahn
Bo-Yuan Su
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW103101123A priority Critical patent/TW201528119A/zh
Priority to CN201410079058.XA priority patent/CN104777944B/zh
Priority to US14/296,212 priority patent/US20150199033A1/en
Publication of TW201528119A publication Critical patent/TW201528119A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

本發明係揭露一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板。本發明方法包含有以下步驟：捕獲一影像；根據一預定畫板辨識程序針對該影像辨識出一畫板；根據一預定畫筆辨識程序以辨識進入該畫板之一畫筆；以及根據一預定筆影偵測程序以偵測該畫筆之一筆影，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。由於本發明方法僅需使用單一網路攝影機來模擬手繪板，其能減少使用傳統電子手繪板所面臨攜帶不便、重量太重及碰撞時易損壞等缺點，也能有效地降低成本。

Description

一種基於筆影偵測模擬手繪板之方法
本發明係揭露一種模擬手繪板之方法，並且特別地，本發明關於一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板。
習知手繪板是現今常見的一種電腦輸入裝置，通常由具有獨特構造的畫筆與畫板所組成，使用方式是持著畫筆於畫板上的感應區內書寫，其能用來模擬手寫效果和替代一般滑鼠的功能。在功能方面，以WACOM公司出產的手繪板為例，當畫筆在與畫板相當接近的上空移動時，可以控制滑鼠游標的移動，而當畫筆碰觸到畫板時，則可以模擬滑鼠左鍵的點擊事件，然後畫筆本身會附有一個按鈕，觸壓該按鈕可以模擬滑鼠右鍵的點擊事件。而在效用方面，手繪板除了能模擬滑鼠的移動與點擊功能外，通常為了使書寫效果更逼近真實情境，往往還會具有畫筆傾斜角和筆頭壓力的感測，藉由這兩種數據的感測，若配合特殊的繪圖軟體使用，即能提供反映筆跡的粗細與深淺之效果。
此外，由於習知手繪板是一種電子產品，由於其精密的構造以及複雜的設計，致使習知手繪板常有以下缺點：(1)重量過重：手繪板的內部是由複雜的電路所組成，隨著繪圖區域的擴大與功能的增加，重量也會跟著提 升，若是長期攜帶難免成為負擔。(2)體積太大：習知手繪板普遍沒有摺疊收納的功能，而繪圖區域越大的手繪板，其體積也相對的越大，這使得不論在存放或者攜帶時都必須留有足夠的空間來保存它才可以。(3)價格昂貴：習知手繪板隨著效能的增加與版本的更新，價格也跟著持續攀升，以WACOM公司出品的手繪板為例，其價位就普遍落在新台幣五千以上，尺寸稍大的甚至在一萬以上。(4)容易損壞：手繪板本身是一種電子產品，因此若遭遇碰撞或者壓迫，勢必會有損壞的風險，所以在保存或者攜帶時，必須非常小心謹慎。(5)實用性不佳：通常手繪板中實際提供作畫的感應區，都比手繪板整體小上很多，這意味著有許多空間是被浪費掉的。
根據以上說明可以知道習知電腦手繪板，由於其內部為電子結構，故具有價格昂貴、重量過重、碰撞時容易損壞和體積大但實際繪圖區域小的缺點，所以有必要加以改良以解決習知手繪板之缺點。
本發明係提出了一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板。本發明僅使用電腦視覺技術，攝錄任意矩形平面，並偵測進入該平面中的筆狀物體，將這兩者模擬成電腦手寫板與其所使用的數位筆。本發明方法能僅使用單一網路攝影機來模擬電腦手繪板，能夠有效的降低了成本，同時減少了使用習知電腦手繪板所會面臨的缺點。
為達成上述之目的，本發明提供一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板。本發明方法包含有以下步驟：捕獲一影像；根據一預定畫板辨識程序針對該影像辨識出一畫板；根據一 預定畫筆辨識程序以辨識進入該畫板之一畫筆；以及根據一預定筆影偵測程序以偵測該畫筆之一筆影，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。其中，該影像可以藉由單一網路攝影機所捕獲。本發明所採用之預定畫板辨識程序包含有以下子步驟：將該影像之紅/綠/藍(Red/Green/Blue,RGB)色彩空間轉成色相/飽和度/亮度值(Hue/Saturation/Value,HSV)之色彩空間，並做多值化處理；抓取一使用者選定之一畫板顏色區塊；取得最逼近該畫板顏色區塊之一四邊形之四個點；確認該四邊形是否可作為該畫板；以及記錄並儲存一畫板資訊。
本發明所採用之預定畫筆辨識程序包含有以下子步驟：清除該畫板、陰影與使用者手部之區域；抓取所有留存之色彩區塊；找出符合一畫筆特徵之區塊；計算該畫筆之傾斜角、筆尖與握筆手；以及記錄並儲存一畫筆資訊。
本發明所採用之預定畫影偵測程序包含有以下子步驟：清除該畫板、該畫筆與一使用者手部之區域；抓取該畫筆之一筆尖周遭之陰影；抓取該畫筆之一筆影；以及判斷該畫筆與該筆影之接觸與抽離關係。
相較於習知技術，本發明係提供一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板。本發明主要是藉由單一網路攝影機偵測與辨識三項物體與現象來達成其模擬手繪板之功能，分別是作為畫板之四邊形平面、作為畫筆之長條型的筆狀物體以及作為筆影之筆狀物體的影子。本發明藉由偵測筆影變化，可以判斷畫筆與筆影之接觸與抽離關係，來判斷畫筆的移動方向，便可以同時為畫筆定位和判斷畫筆與畫 板間是否有接觸，進而達成模擬功能複雜且成本較高的電腦手繪板。由於，本發明僅使用單一網路攝影機來模擬手繪板，本發明能夠有效的降低成本，同時亦能夠減少在使用傳統電腦手繪板時，所會面臨攜帶不便、重量太重及碰撞時容易損壞的缺點。
關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。
S1、S2、S3、S4、S21、S22、S23、S24、S25、S31、S32、S33、S34、S35、S41、S42、S43、S44、S210、S220、S222、S224、S226、S228、S320、S322、S324、S326、S328、S430、S432、S434、S436、S438‧‧‧流程步驟
220A‧‧‧第一搜尋位址
220B‧‧‧第一像素點
320A‧‧‧第二搜尋位址
320B‧‧‧周遭八個像素點
430A‧‧‧第三搜尋位址
430B‧‧‧周遭四個像素點
340‧‧‧畫筆
342‧‧‧最小矩形
344A‧‧‧下端點
344B‧‧‧上端點
346‧‧‧筆尖
346A‧‧‧第一角點
346B‧‧‧第二角點
348‧‧‧第一區域
420‧‧‧畫板
422‧‧‧筆影
440‧‧‧第一矩形
442‧‧‧第二矩形
446‧‧‧畫筆與筆影距離
圖一係繪示本發明之一種基於筆影偵測模擬手繪板之方法於一具體實施例之流程圖。
圖二係繪示本發明之一具體實施例之畫板辨識程序之流程圖。
圖三係繪示本發明之一具體實施例之畫筆辨識程序之流程圖。
圖四係繪示本發明之一具體實施例之筆影偵測程序之流程圖。
圖五係繪示本發明之一具體實施例之影像經由HSV多值化處理之示意圖。
圖六係繪示本發明之一具體實施例之畫板辨識程序之鄰近像素群組方法之處理示意圖。
圖七係繪示本發明之一具體實施例之畫板辨識程序之取得像素區塊中的四個點之示意圖。
圖八係繪示本發明之一具體實施例之畫筆辨識程序之鄰近像素群組方法之處理示意圖。
圖九係繪示本發明之一具體實施例之畫筆辨識程序之畫筆傾斜角偵測方式之示意圖。
圖十係繪示本發明之一具體實施例之畫筆辨識程序之畫筆筆尖偵測方式之示意圖。
圖十一係繪示本發明之一具體實施例之畫筆辨識程序之加速偵測的優先處理範圍之示意圖。
圖十二係繪示本發明之一具體實施例之筆影偵測程序之畫筆與筆影之示意圖。
圖十三係繪示本發明之一具體實施例之筆影偵測程序之鄰近像素群組方法之示意圖。
圖十四係繪示本發明之一具體實施例之筆影偵測程序之畫筆與筆影間的距離計算方式之示意圖。
為了讓本發明的目的、特徵和優點能夠更加明顯易懂，下面結合所附圖式對本發明的具體實施方式做詳細之說明。
本發明主要係關於一種基於筆影偵測模擬手繪板之方法，具體而言，係關於藉由單一網路攝影機偵測與辨識三項物體與現象來達成其功能，分別是作為畫板之四邊形平面、作為畫筆之長條型的筆狀物體以及作為筆影之筆狀物體的影子。
請參閱圖一，圖一為本發明之一種基於筆影偵測模擬手繪板之方法於一具體實施例之流程圖。在本實施例中，本發明提供一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板，其包含有以下步驟：(S1)捕獲一影像；(S2)根據一預定畫板辨識程序針對影像辨識出一畫 板；(S3)根據一預定畫筆辨識程序以辨識進入畫板之一畫筆；以及(S4)根據一預定筆影偵測程序以偵測畫筆之一筆影，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。
本發明係應用於電腦執行以模擬一虛擬手繪板，其中電腦可以是一個人電腦、筆記型電腦、平板電腦或是智慧型手持裝置等。首先，於本實施例中，本發明方法之步驟(S1)捕獲一影像係使用單一攝影機攝影以捕獲一影像，惟本發明不以此為限，於實際應用時，網路攝影機亦得以為配備有相當高解度之內建數位攝影機的電腦系統(如筆記型電腦、PDA等)，均屬其範疇。
請參閱圖二，圖二係繪示本發明之一具體實施例之畫板辨識程序之流程圖。於本發明方法之步驟(S2)根據一預定畫板辨識程序針對影像辨識出畫板中，在偵測畫板之前，可以先針對畫板的特徵做幾點定義：(1)矩形；(2)平滑面；(3)單色；(4)必須佔據攝影畫面足夠的大小。針對上述的定義，根據預定畫板辨識程序以辨識攝影畫面中符合條件的物體。在本實施例中，本發明方法之步驟(S2)所採用預定畫板辨識程序包含有以下子步驟：(S21)將影像之紅/綠/藍(Red/Green/Blue,RGB)色彩空間轉成色相/飽和度/亮度值(hue/saturation/value,HSV)之色彩空間，並做多值化處理；(S22)抓取一使用者選定之一畫板顏色區塊；(S23)取得最逼近畫板顏色區塊之一四邊形之四個點；(S24)確認四邊形是否可作為畫板；以及(S25)記錄並儲存一畫板資訊。
首先，在子步驟(S21)將影像之紅/綠/藍(Red/Green/Blue,RGB)色彩空間轉成色相/飽和度/亮度值(Hue/Saturation/Value,HSV)之色彩空間，並做多值 化處理。由於HSV色彩空間較接近人類感覺顏色的方法，所以先將原有為RGB色彩空間的影像畫面轉換為HSV色彩空間。接著，由於通常同一物體會有著較接近的色彩，因此透過將影像進行多值化處理後，能夠使影像中色彩接近的區域結合在一起，而差異大的區域亦能更清楚地被表現出來。
請參閱圖五，圖五係繪示本發明之一具體實施例之影像經由HSV多值化處理之示意圖。HSV中的H為色相(Hue)，其代表各種不同的顏色。利用多值化處理將不同的顏色做分群，依照想要的分群之精準度不同，可以作三值化(紅，綠，藍)、六值化(紅，綠，藍，紫，青，黃)或十二值化(紅，綠，藍，紫，青，黃，青藍，青綠，紫藍等)處理等。另外，HSV中的S(Saturation)代表係顏色的飽和度，對其採用自適應的二值化處理，區分的門檻值則是整個影像的平均值。接著，HSV中的V(Value)代表係顏色的亮度值，接著對其採用自適應的二值化處理，區分的門檻值則是整個影像的平均值。最後，影像經由(S21)HSV多值化處理之後，可得到如圖五所示之影像變化。
於子步驟(S22)抓取使用者選定之畫板顏色區塊中，當使用者點選了影像中欲作為畫板的物體後，滑鼠點選的像素顏色(已經由多值化處理)會被紀錄，然後從影像中依序搜尋所有像素點，並搜尋出所有相同顏色且位址相鄰的像素點。其中，本發明所採用搜尋方法是以從左至右、由上而下的方法進行，而當遇到要搜尋的顏色時，則判別目前所在像素點p(x,y)的左方像素點p(x-1,y)與上方像素點p(x,y-1)是否已分類。由於搜尋方法是從左至右、由上而下依序進行，所以僅需判別左方像素點與上方像素點即可，且搜尋到要搜尋顏色的當下就會立刻對其做分類，所以不會有遺漏分類的像素點。
請參閱圖六，圖六係繪示本發明之一具體實施例之畫板辨識程序之鄰近像素群組方法之處理示意圖。本發明所採用畫板辨識程序之鄰近像素群組方法係針對一第一搜尋位址220A以及一第一像素點220B，其中第一搜尋位址220A為目前所搜尋位址，而第一像素點220B為與影像中欲作為畫板的物體具有相同顏色之像素點。首先，(S220)從左至右、由上而下搜尋。再者，(S222)由於左方像素點與上方像素點皆未有類別，故給予第一搜尋位址220A一個新類別。接著，(S224)由於僅左方像素點有類別，故給予第一搜尋位址220A同左方像素點一樣的類別。再者，(S226)由於左方像素點與上方像素點皆已分類，且類別不同，故合併左方像素點與上方像素點兩類別到之中最先標記的類別，並將第一搜尋位址220A歸類至合併後的新類別。最後，(S228)由於左方像素點與上方像素點皆已分類，且類別相同，故將第一搜尋位址220A給予同該兩像素點的類別。
經由畫板辨識程序之鄰近像素群組之方法，可以將與畫板具有相同顏色之所有第一像素點220B搜尋出來，並給予位址相鄰區塊的相同類別，而位址分屬不同區塊的不同類別，然後再將這些分類結果存入一個列表值中，經由查找列表可以快速搜尋到使用者點選的物件位址，並做進一步的處理。
請參閱圖七、圖七係繪示本發明之一具體實施例之畫板辨識程序之取得像素區塊中的四個點之示意圖。於子步驟(S23)取得最逼近畫板顏色區塊之四邊形之四個點中，可以先取得使用者所選擇的物體其在攝影畫面中的所有像素點位址，然後再利用這些像素點位址，來計算構成物體的最大四 邊形。其中設定Object pixels 為所選擇的物體的所有像素點位址，p i (x,y)為Object pixels 其中的像素，其中i是像素點的編號(i=1,2,…n)，x和y是像素點在整張影像中的座標值，則構成物體的最大四邊形，如圖七所示。四個角點P upper-left 、P upper-right 、P lower-rihgt 和P lower-left 的計算方式分別如下列算式所示：P upper-left =p(x,y)
P upper-right =p(x,y)
P lower-right =p(x,y)
P lower-left =p(x,y)
此外，於子步驟(S24)確認四邊形是否可作為畫板中，當取得構成畫板的四個角點後，便可以進一步判斷，這四個角點組成的四邊形是否符合定義的畫板特徵，倘若無誤，則可進入下一步驟，否則返回提示訊息給使用者。
最後，於子步驟(S25)記錄並儲存畫板資訊中，會將畫板之位址、各像素座標資訊，與其原始色彩資訊等資訊紀錄存入記憶體中，留待畫筆偵測時使用。
請參閱圖三，圖三係繪示本發明之一具體實施例之畫筆辨識程序之流 程圖。於本發明步驟(S3)根據一預定畫筆辨識程序以辨識進入畫板之畫筆中，在偵測畫筆前，先對畫筆的特徵做出幾點定義：(1)外型為長條狀；(2)高為寬的兩倍以上；(3)使用時傾斜角通常在80度以內。在本實施例中，步驟(S3)之預定畫筆辨識程序包含有以下子步驟：(S31)清除畫板、陰影與使用者手部之區域；(S32)抓取所有留存之色彩區塊；(S33)找出符合一畫筆特徵之區塊；(S34)計算畫筆之傾斜角、筆尖與握筆手；以及(S35)記錄並儲存一畫筆資訊。
首先，於(S31)清除畫板、陰影與使用者手部之區域中，可以先藉由先前記錄並儲存之畫板資訊，與使用者手持畫筆進入攝影範圍的畫面，在HSV的色彩空間下做差值計算。設p now (x,y)係目前攝錄到的畫面像素，而p tablet (x,y)係之前已偵測到的畫板像素。而p dest (x,y)為兩者相減後取絕對值運算的結果，如下列算式所示：p dest (x,y)=|p now (x,y)-p tablet (x,y)|
其中，畫板在運算結果後被去除，藉以得到清除畫板之影像，此影像為在HSV色彩空間下進行差值處理後的結果。再藉由將HSV中的H色相(hue)過低的區域予以清除，能取得僅剩下畫筆與使用者握筆的手的新畫面，同時去除陰影。再將與使用者手部膚色相同的區域去掉，此時殘留的影像會是畫筆與使用者的衣袖。接著再進行二值化處理，得到清除陰影與使用者手部區域之影像。最後將這些剩餘的區域，存入一個列表中，以方便之後讀取。
請參閱圖八，圖八係繪示本發明之一具體實施例之畫筆辨識程序之鄰 近像素群組方法之處理示意圖。於子步驟(S32)抓取所有留存之色彩區塊中，依序讀取列表中的每個像素點p(x,y)，然後判別環繞其周遭的八個像素點p(x-1,y-1)、p(x,y-1)、p(x+1,y-1)、p(x-1,y)、p(x+1,y)、p(x-1,y+1)、p(x,y+1)和p(x+1,y+1)。其中處理的過程包含有一第二搜尋位址320A以及一周遭八個像素點320B，其中第二搜尋位址320A為目前所搜尋位址。首先，(S320)由於第二搜尋位址320A之周遭八個像素點320B都尚未分類，故給予第二搜尋位址320A一個新分類。再者，(S322)由於第二搜尋位址320A之周遭八個像素點320B僅有一個像素點已分類，故將第二搜尋位址320A歸類至該類別中。接著，(S324)由於第二搜尋位址320A之周遭八個像素點320B都尚未分類，故給予第二搜尋位址320A一個新分類。另外，(S326)由於第二搜尋位址320A之周遭八個像素點320B有超過兩個以上的像素點已分類，且類別不同，故合併上述像素點之不同類別到之中最先標記的類別，且將第二搜尋位址320A歸類至合併後的新類別。最後，(S328)由於第二搜尋位址320A之周遭八個像素點320B有超過兩個以上的像素點已分類，且全都隸屬於相同類別，故將第二搜尋位址320A歸類至該類別。此方法可適用於列表順序與像素點位址順序不一的情形，而當列表被完整讀過一遍以後，所有的像素點也都會全部歸類完成。
接著，於子步驟(S33)找出符合畫筆特徵之區塊中，首先抓取全部的像素群組，再去尋找包圍各像素區域的最小矩形。設Area pixels 是各個像素區域，p i (x,y)是屬於Area pixels 裡的其中一個像素點，而i為像素點的編號(i=1,2,…n)，x和y是該像素點在整張影像中的座標值，則包覆區塊內所有 像素點的矩形其四個角點、、和的計算方式如下列算式所示：
本發明所採用包覆畫筆的最小矩形之方法乃先將區塊內的所有像素作旋轉，從0到90度，每旋轉一次就用上述四個角點之算式計算一次包覆矩形，直到找到面積最小的包覆矩形為止。接著，再取得面積最小的包覆矩形後，再將該矩形反向旋轉回原來的角度，將得到完整包覆畫筆的最小矩形，其為旋轉回原來角度之包覆畫筆的最小矩形。
請參閱圖九，圖九係繪示本發明之一具體實施例之畫筆辨識程序之畫筆傾斜角偵測方式之示意圖。於子步驟(S34)計算畫筆之傾斜角、筆尖與握 筆手中，首先計算畫筆之傾斜角，根據一畫筆340產生一包覆畫筆340之最小矩形342，之後再取最小矩形342的左右其中一面的上下兩端點，以下端點344A為中心，計算上端點344B的角度，以作為筆的傾斜角。
在傾斜角計算方式上，可以先以雙參數的反正切函式計算出來的角度方向表示：
接者，必須將B點以A點為中心旋轉90度如下列算式所示：
最後，再計算出B點相對於A點的傾斜角角度(θ tilt angle )如下列算式所示：
最後，對所有抓取到的像素群組進行上述的計算，可以藉由計算出的值來判斷各個像素群組是否符合畫筆的特徵條件，從而決定畫筆的所在位置，倘若在影像中存在兩個以上符合條件的區塊，則將會以靠下方的區塊為主，因為通常畫筆的下方會是畫板，較不容易再有其他物體存在。
請參閱圖十，圖十係繪示本發明之一具體實施例之畫筆辨識程序之畫筆筆尖偵測方式之示意圖。通常使用者握筆寫字時，筆尖346都一定是朝下方的，所以以矩形朝下的邊之中心點作為筆尖346的位址。再者，將矩形朝下之第一角點346A視為A點，矩形朝下之第二角點346B視為B點，最後，求出筆尖(Nib)346如下列算式所示：Nib x =(B x -A x )×0.5+A x
Nib y =(B y -A y )×0.5+A y
接著，在取得筆尖(Nib)346後，以其為中線，計算已經由差值處理過後的畫面，求得左右兩邊的亮度(Brightness)，亮度高的一邊，即代表為使用者握筆手的一邊，且當使用者改變握筆手時，偵測到的資訊也會跟著更新。而左右兩邊的亮度(Brightness)如下列算式所示：
請參閱圖十一，圖十一係繪示本發明之一具體實施例之畫筆辨識程序之加速偵測的優先處理範圍之示意圖。當偵測完畫筆340之後，為了加速下一張攝影畫面的偵測速度，在處理時改從已偵測到的畫筆340鄰近區域開始。以包覆畫筆340的第一區域348，作為已偵測到畫筆後，下一張影像的優先處理範圍，其中該第一區域348為包覆畫筆340的矩形框所構成的九宮 格。因為畫筆340的移動是連續的，所以再連續的影像畫面當中，其畫筆340的位址也通常在相鄰的區域之中。而如果在優先區域中尋找不到畫筆340，便會再擴大處理範圍，每次每邊增列的範圍寬高，並以包覆畫筆340的矩形框為基準，直到找遍整張影像為止。
最後，子步驟(S35)記錄並儲存畫筆資訊，並將畫筆之各個像素位址、傾斜角、筆尖，與握筆手等資訊紀錄下來，留待之後辨識其影子時使用。
請參閱圖四，圖四係繪示本發明之一具體實施例之筆影偵測程序之流程圖。本發明方法之步驟(S4)乃根據一預定筆影偵測程序以偵測該畫筆之筆影，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。偵測畫筆之筆影的目的是為了判斷畫筆是否有碰觸到畫板，藉由觀察畫筆與畫板從接觸到離開時的關係，可以發現以下幾種情況：首先，當畫筆碰觸到畫板時，畫筆之筆影一定會從筆頭延伸出去；接著，畫筆碰觸到畫板前必須先經過一段畫筆與筆影合併的過程。經由上述兩點現象，本發明提出一預定筆影偵測程序，如圖四所示，來判斷畫筆與畫板間的關係。在本實施例中，步驟(S4)之預定畫筆影偵測程序包含有以下子步驟：(S41)清除畫板、畫筆與一使用者手部之區域；(S42)抓取畫筆之一筆尖周遭之陰影；(S43)抓取畫筆之筆影；以及(S44)判斷畫筆與筆影之接觸與抽離關係。
首先，(S41)清除畫板、畫筆與使用者手部之區域，先藉由先前記錄的畫板相關資訊，與使用者手持畫筆進入攝影範圍的畫面，在HSV的色彩空間下做差值計算，得到一清除畫板之影像。之後再依照之前偵測畫筆時，所取到的畫筆像素資訊來將該清除畫板之影像中屬於畫筆的區塊清除，如 此一來畫筆前端的周遭將只剩下陰影部分之影像。
請參閱圖十二，圖十二係繪示本發明之一具體實施例之筆影偵測程序之一畫筆與筆影之示意圖。再者，於步驟(S42)抓取畫筆之一筆尖周遭之陰影中，由於筆影422是依附於畫筆340產生，當畫筆340碰觸到畫板420時，筆影422會以畫筆340的筆尖346為中心向外延長。而由於判斷筆影422的目的僅是為了要偵測畫筆340與畫板420是否有碰觸，因此只需要知道筆尖346的周遭是否有筆影422存在，且外形為何就可以了，所以以偵測畫筆340時所取得筆尖(Nib)346之點為中心，計算周遭以r為半徑的圓形範圍，而圓中的各個像素點的x座標值與y座標值如下列算式所示：
因為畫筆影子不會映射在自身上面，所以在偵測筆影時，必須先扣除所偵測到的畫筆。假設q i 等於下列算式計算出來的各個像素點，其中i等於像素點的順序，然後這些點將構成一個像素集合Q，藉以其扣除畫筆像素的集合E，得到的結果如下列算式所示：q i =p(x i ,y i ),i=1,2,3,…n
Q={q 1 ,q 2 ,...q n }
接著，統計範圍內所有像素的亮度，取其最大值與最小值，藉此來調整該區域內的對比度，然後抓取調整後的各個像素點，其亮度大於50%的即將其視作為陰影。設b i 為範圍內的各個像素點的亮度，i=1,2,…n，其中B為b i 的集合，而調整該區域內的對比度如下列算式所示： B={b 1 ,b2 ,…b n }
請參閱圖十三，圖十三係繪示本發明之一具體實施例之筆影偵測程序之鄰近像素群組方法之處理流程圖。再者，於步驟(S43)抓取畫筆之筆影中，由於所抓取的筆影皆在筆尖的周遭，故筆尖的影子會是該群陰影中佔最大區域的區塊。因此，採用抓取筆頭周遭範圍最大的陰影區塊，計算方式僅判別周遭四個像素點p(x-1,y)、p(x+1,y)、p(x,y-1)和p(x,y+1)。因為所偵測的區域相當的小，加上影子本身並非物體，很容易出現邊角相連的情形，所以相對地必須提高分類之標準，以避免抓到其他非畫筆筆尖的陰影。處理的過程請參閱圖十三。其中處理的過程包含有一第三搜尋位址430A以及一周遭四個像素點430B，其中第三搜尋位址430A為目前所搜尋位址，而周遭四個像素點430B為第三搜尋位址430A周遭四個像素點。首先，(S430)由於周遭四個像素點430B都尚未分類，故給予第三搜尋位址430A一個新分類；再者，(S432)由於周遭四個像素點430B都尚未分類，故給予第三搜尋位址430A一個新分類；接著，(S434)由於周遭四個像素點430B都尚未分類，故給予第三搜尋位址430A一個新分類；另外，(S436)由於第三搜尋位址430A僅有一個像素點已分類，故將第三搜尋位址430A歸類至該類別中；最後，(S438)由於第三搜尋位址430A有超過兩個以上的像素點已分類，且類別不同，故合併各類別，且將第三搜尋位址430A歸至合併後的新類別。
取得了筆影所在的區塊後，再用下列算式來計算包覆區塊的矩形，藉此取得區塊的準確邊界與位址。先抓取全部的像素群組，再去尋找包圍各 像素區域的最小矩形，設Area pixels 是各個像素區域，p i (x,y)是屬於Area pixels 裡的其中一個像素點，而i為像素點的編號(i=1,2,…n)，x和y是該像素點在整張影像中的座標值，則包覆區塊內所有像素點的矩形其四個角點、、和的計算方式如下列算式所示：
請參閱圖十四，圖十四係繪示本發明之一具體實施例之筆影偵測程序之畫筆與筆影間的距離計算方式之示意圖。本發明方法之步驟(S44)判斷畫筆與筆影之接觸與抽離關係，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。本步驟乃藉由分析筆影422的變化，可以判斷出畫 筆340與畫板420間的關係。畫筆340在不同傾斜角下，與畫板420從接觸到離開時的情形，可以發現，畫筆340要接觸和離開畫板420，會經過一段畫筆340與筆影422合併和分離的過程。這段過程可以經由抓取數張連續的影格，然後計算各影格畫面中之畫筆與筆影距離446來取得畫筆340與筆影422合併和分離的過程。本步驟用於計算畫筆與筆影距離446的公式，其中i作為影格的編號，PB為包覆畫筆區塊之第一矩形440，SB為包覆筆影區塊之第二矩形442，取其兩者的上邊界與下邊界相減，以得到D(i)為畫筆與筆影距離446，而計算畫筆與筆影距離446的公式如下列算式所示：
首先，設當前影格的編號為n，畫筆與筆影距離為D(n)。再著，將當前影格的畫筆與筆影距離減掉前一個影格的畫筆與筆影距離為D(n-1)。接著D(n-1)減掉D(n-2)，D(n-2)減掉D(n-3)等等，以此類推。最後，將各個結果加總並平均，取得的結果係畫筆與筆影間的平均距離變動值，其中m為納入計算的影格數。而畫筆與筆影間的平均距離變動值如下列算式所示：
取得了平均距離變動值以後，將可判斷該值來得知目前畫筆的動作，當為正數時則畫筆離開畫板，當為負數時則畫筆接近畫板。其中T adv 為判斷變動的門檻值，用於過濾變動值過小的畫面，當變動的幅度小於門檻值時則維持上一次計算的結果。此外，本發明可以偵測出畫筆接觸畫板與離開畫板時的動作，而當把筆影的抓取範圍設到一個非常小的區域時， 則可以直接將偵測到的這兩種現象作為畫筆碰觸畫板與從畫板上抽離來使用，因為當抓取筆影的區域非常小時，將只有非常靠近畫筆的筆影才會被抓到，而筆影離畫筆很近時，意味著也離畫板很近，因此只要抓取到短距離的接觸與離開現象，便可以用此作為碰觸與抽離的依據。而判斷平均距離變動值偵測出目前畫筆的動作，以及偵測出畫筆接觸畫板與離開畫板時的動作如下列算式所示：
相較於習知技術，本發明提出一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板，以電腦視覺技術模擬手繪板，使用單一網路攝影機，照射於一個四邊形平面上，將此四邊形平面模擬作數位板，同時再偵測使用者手持的長條型的筆狀物體，藉此以模擬為數位筆，並藉由偵測物體的影子變化，可以判斷重疊物體間是否有碰觸彼此，來判斷該物體的移動方向，便可以同時為畫筆定位和判斷它與畫板間是否有接觸，來模擬功能複雜且成本較高的電腦手繪板。由於本發明僅使用單一網路攝影機來模擬電腦手繪板，其能夠有效的降低成本，同時亦能夠解決習知傳統電腦手繪板由於其精密的設計，致使在使用時會面臨到攜帶不便、重量太重及碰撞時容易損壞等缺點。
綜上所述，僅是本發明之較佳實施例而已，並非對本發明作任何形式上之限制。雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明。任何熟悉本領域之技術人員，在不脫離本發明技術方案範圍情況下，都可利用上述揭露之方法和技術內容對本發明技術方案做出許多可能之變 動和修飾，或修改為等同變化之等效實施例。因此，凡是未脫離本發明技術方案之內容，依據本發明的技術實質對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬於本發明技術方案保護知範圍內。
S1~S4‧‧‧流程步驟

Claims (9)

  1. 一種基於筆影偵測模擬手繪板之方法，應用於一電腦執行以模擬一虛擬手繪板，其包含有以下步驟：(S1)捕獲一影像；(S2)根據一預定畫板辨識程序針對該影像辨識出一畫板；(S3)根據一預定畫筆辨識程序以辨識進入該畫板之一畫筆；以及(S4)根據一預定筆影偵測程序以偵測該畫筆之一筆影，並藉由判斷該畫筆與該筆影之接觸與抽離關係以模擬該虛擬手繪板。
  2. 如申請專利範圍第1項所述之模擬手繪板之方法，其中步驟(S2)之該預定畫板辨識程序包含有以下子步驟：(S21)將該影像之紅/綠/藍(red/green/blue,RGB)色彩空間轉成色相/飽和度/亮度值(hue/saturation/value,HSV)之色彩空間，並做多值化處理；(S22)抓取一使用者選定之一畫板顏色區塊；(S23)取得最逼近該畫板顏色區塊之一四邊形之四個點；(S24)確認該四邊形是否可作為該畫板；以及(S25)記錄並儲存一畫板資訊。
  3. 如申請專利範圍第2項所述之模擬手繪板之方法，其中子步驟(S25)之該畫板資訊包含有該畫板之位址、各像素座標資訊與原始色彩資訊等。
  4. 如申請專利範圍第1項所述之模擬手繪板之方法，其中步驟(S3)之該預定畫筆辨識程序包含有以下子步驟：(S31)清除該畫板、陰影與使用者手部之區域； (S32)抓取所有留存之色彩區塊；(S33)找出符合一畫筆特徵之區塊；(S34)計算該畫筆之傾斜角、筆尖與握筆手；以及(S35)記錄並儲存一畫筆資訊。
  5. 如申請專利範圍第4項所述之模擬手繪板之方法，其中子步驟(S33)之該畫筆特徵包含有一物體之外型為長條狀、高為寬的兩倍以上以及使用時傾斜角通常在80度以內等。
  6. 如申請專利範圍第4項所述之模擬手繪板之方法，其中子步驟(S35)之該畫筆資訊包含有該畫筆之各個像素位址、傾斜角、筆尖以及握筆手等。
  7. 如申請專利範圍第1項所述之模擬手繪板之方法，其中步驟(S4)之該預定筆影偵測程序包含有以下子步驟：(S41)清除該畫板、該畫筆與一使用者手部之區域；(S42)抓取該畫筆之一筆尖周遭之陰影；(S43)抓取該畫筆之一筆影；以及(S44)判斷該畫筆與該筆影之接觸與抽離關係。
  8. 如申請專利範圍第1項所述之模擬手繪板之方法，其中該電腦可以是一個人電腦、筆記型電腦、平板電腦或是智慧型手持裝置等。
  9. 如申請專利範圍第1項所述之模擬手繪板之方法，其中該電腦包含有一網路攝影機，該影像是由該網路攝影機所捕獲。
TW103101123A 2014-01-13 2014-01-13 一種基於筆影偵測模擬手繪板之方法 TW201528119A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103101123A TW201528119A (zh) 2014-01-13 2014-01-13 一種基於筆影偵測模擬手繪板之方法
CN201410079058.XA CN104777944B (zh) 2014-01-13 2014-03-05 一种基于笔影检测模拟手绘板的方法
US14/296,212 US20150199033A1 (en) 2014-01-13 2014-06-04 Method for simulating a graphics tablet based on pen shadow cues

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103101123A TW201528119A (zh) 2014-01-13 2014-01-13 一種基於筆影偵測模擬手繪板之方法

Publications (1)

Publication Number Publication Date
TW201528119A true TW201528119A (zh) 2015-07-16

Family

ID=53521352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103101123A TW201528119A (zh) 2014-01-13 2014-01-13 一種基於筆影偵測模擬手繪板之方法

Country Status (3)

Country Link
US (1) US20150199033A1 (zh)
CN (1) CN104777944B (zh)
TW (1) TW201528119A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015052937A (ja) * 2013-09-06 2015-03-19 船井電機株式会社 デジタルペン
CN111739084B (zh) * 2019-03-25 2023-12-05 上海幻电信息科技有限公司 图片处理方法、图集处理方法、计算机设备和存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021032A1 (en) * 2001-06-22 2003-01-30 Cyrus Bamji Method and system to display a virtual input device
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP4900361B2 (ja) * 2008-10-21 2012-03-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8493340B2 (en) * 2009-01-16 2013-07-23 Corel Corporation Virtual hard media imaging
US9250742B1 (en) * 2010-01-26 2016-02-02 Open Invention Network, Llc Method and apparatus of position tracking and detection of user input information
WO2011154950A1 (en) * 2010-06-11 2011-12-15 N-Trig Ltd. Object orientation detection with a digitizer
US8861851B2 (en) * 2011-05-13 2014-10-14 Dolby Laboratories Licensing Corporation Color highlight reconstruction
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
CN102509357B (zh) * 2011-09-28 2014-04-23 中国科学院自动化研究所 基于笔触的铅笔素描模拟和绘制系统
CN102521857B (zh) * 2011-11-28 2013-10-23 北京盛世宣合信息科技有限公司 电子毛笔书写笔形角度控制方法
US8896579B2 (en) * 2012-03-02 2014-11-25 Adobe Systems Incorporated Methods and apparatus for deformation of virtual brush marks via texture projection
JP6028589B2 (ja) * 2013-01-23 2016-11-16 富士通株式会社 入力プログラム、入力装置および入力方法
US9939925B2 (en) * 2013-11-26 2018-04-10 Adobe Systems Incorporated Behind-display user interface

Also Published As

Publication number Publication date
CN104777944A (zh) 2015-07-15
CN104777944B (zh) 2018-06-22
US20150199033A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
US8768006B2 (en) Hand gesture recognition
US7729534B2 (en) Image-processing device and image-processing method for extracting a recognition-target area including a character from a target image
JP6046808B2 (ja) 画像認識のための適応閾値処理
US7916126B2 (en) Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
TW201303788A (zh) 圖像分割方法以及圖像分割系統
EP3100208A1 (en) Note capture and recognition with manual assist
Shah et al. Hand gesture based user interface for computer using a camera and projector
CN104932683A (zh) 一种基于视觉信息的游戏体感控制方法
US11157765B2 (en) Method and system for determining physical characteristics of objects
CN112686231A (zh) 动态手势识别方法、装置、可读存储介质及计算机设备
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
TW201528119A (zh) 一種基於筆影偵測模擬手繪板之方法
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
CN110442242B (zh) 一种基于双目空间手势交互的智能镜系统及控制方法
CN104732570B (zh) 一种图像生成方法及装置
CN103176603A (zh) 计算机手势输入系统
JP2016525235A (ja) 文字入力のための方法及びデバイス
WO2017041588A1 (zh) 擦除框的范围确定方法和系统
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备
CN105930813B (zh) 一种在任意自然场景下检测行文本的方法
TWI507919B (zh) 追蹤與記錄指尖軌跡的影像處理方法
CN104125386B (zh) 影像处理装置及其影像处理方法
WO2024093223A1 (zh) 一种显示设备及笔迹显示方法