TWI715252B - 電子裝置及其利用觸控資料的物件資訊辨識方法 - Google Patents
電子裝置及其利用觸控資料的物件資訊辨識方法 Download PDFInfo
- Publication number
- TWI715252B TWI715252B TW108137615A TW108137615A TWI715252B TW I715252 B TWI715252 B TW I715252B TW 108137615 A TW108137615 A TW 108137615A TW 108137615 A TW108137615 A TW 108137615A TW I715252 B TWI715252 B TW I715252B
- Authority
- TW
- Taiwan
- Prior art keywords
- touch
- frame
- cell
- image frame
- adjacent
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種電子裝置與其利用觸控資料的物件資訊辨識方法。透過觸控面板獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至多個觸控感測單元的多個圖幀胞元,每一圖幀胞元具有觸控原始資料,且這些圖幀胞元包括一目標圖幀胞元。依據當前觸控感測圖幀中相鄰於目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於目標圖幀胞元的新胞元值,以根據新胞元值產生轉化圖幀。將轉化圖幀轉換為觸控感測影像,並分析觸控感測影像來辨識觸控物件的物件資訊。
Description
本發明是有關於一種電子裝置,且特別是有關於一種電子裝置與其利用觸控資料的物件資訊辨識方法。
在現今資訊社會中,人類對於消費型的電子裝置之依賴性逐漸增加。為了達到更便利以及更人性化的目的,許多電子產品皆可使用觸控面板作為輸入裝置。近年來觸控式的電子產品由於操作方便且直覺性高,因此深受消費者喜愛而已漸漸成為市場上的主流趨勢。然而,就目前市場上的電子產品來看,與顯示器相整合的觸控螢幕皆用於接收使用者手部或觸控筆所下達的觸控事件,使電子產品可依據觸控事件執行後續動作。除了用以偵測使用者手部或觸控筆所下達的觸控事件之外,如何使觸控螢幕的觸控感測擴展至其他應用也為本領域技術人員所關心的議題。
有鑑於此,本發明提出一種電子裝置與其利用觸控資料的物件資訊辨識方法,其可準確地辨識出觸控面板上方之觸控物件的物件資訊。
本發明實施例提供一種利用觸控資料的物件資訊辨識方法。所述方法包括下列步驟。透過觸控面板獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至多個觸控感測單元的多個圖幀胞元,每一圖幀胞元具有觸控原始資料,且這些圖幀胞元包括一目標圖幀胞元。依據當前觸控感測圖幀中相鄰於目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於目標圖幀胞元的新胞元值,以根據新胞元值產生轉化圖幀。將轉化圖幀轉換為觸控感測影像,並分析觸控感測影像來辨識觸控物件的物件資訊。
本發明實施例提供一種電子裝置,其包括觸控面板、儲存有多個指令的儲存裝置與處理器。處理器耦接觸控面板與儲存裝置。處理器經配置執行上述指令以執行下列步驟。透過觸控面板獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至多個觸控感測單元的多個圖幀胞元,每一圖幀胞元具有觸控原始資料,且這些圖幀胞元包括一目標圖幀胞元。依據當前觸控感測圖幀中相鄰於目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於目標圖幀胞元的新胞元值,以根據新胞元值產生轉化圖幀。將轉化圖幀轉換為觸控感測影像,並分析觸控感測影像來辨識觸控物件的物件資訊。
基於上述,於本發明的實施例中,可將觸控面板所感測的當前觸控感測圖幀轉換為一張觸控感測影像,並依據此觸控感測影像的影像特徵來辨識出觸控物件的物件資訊。藉此,當觸控物件接觸或鄰近觸控面板時,電子裝置可獲取觸控物件的物件資訊並據以執行其他功能,從而提供一種新的使用者操作體驗並增加電子裝置的功能性。此外,本發明實施例更對當前觸控感測圖幀進行資料正規化處理,以消弭觸控面板的感測雜訊對辨識準確率帶來的不良影響。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。
應理解,當元件被稱作「連接」或「耦接」至另一元件時,其可直接地連接或耦接至另一元件,或可存在其他插入元件。換言之,除非特別限定,否則用語「連接」與「耦接」包括兩元件直接地與間接地連接與耦接。
圖1是依照本發明一實施例的電子裝置的示意圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹電子裝置中的所有構件以及配置關係,詳細功能與操作將配合圖2一併揭露。
請參照圖1,本實施例的電子裝置10例如是筆記型電腦、智慧型手機、平板電腦、電子書、遊戲機等具備觸控功能的電子裝置,本發明並不對此限制。電子裝置10包括觸控面板110、儲存裝置120及處理器130,其功能分述如下。
觸控面板110的種類例如是電容式(capacitive)觸控面板、電阻式觸控面板、電磁式觸控面板或光學式觸控面板等等。於一實施例中,觸控面板110可與顯示裝置(未繪示)整合為觸控螢幕。此顯示裝置例如是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light-Emitting Diode,LED)顯示器、場發射顯示器(Field Emission Display,FED)或其他種類的顯示器。觸控面板110包括陣列排列的多個觸控感測單元而可進行觸控感測,以獲取包括分別對應於觸控感測單元的觸控原始資料的觸控感測圖幀。
儲存裝置120用以儲存觸控資料、指令、程式碼、軟體元件等等資料,其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器130耦接觸控面板110與儲存裝置120,用以控制電子裝置10的構件之間的作動,其例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)、圖形處理器(Graphics Processing Unit,GPU或其他類似裝置或這些裝置的組合。處理器130可執行記錄於儲存裝置120中的程式碼、軟體模組、指令等等,以實現本發明實施例的利用觸控資料的物件資訊辨識方法。
然而,除了觸控面板110、儲存裝置120,以及處理器130之外,電子裝置10還可以包括未繪示於圖1的其他元件,像是揚聲器、麥克風、顯示裝置、相機、通訊模組、鍵盤等等,本發明對此不限制。
圖2是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。請參照圖1與圖2,本實施例的方法適用於圖1中的電子裝置10,以下即搭配電子裝置10中的各項元件說明本實施例方法的詳細流程。
於步驟S201,處理器130透過觸控面板110獲取當前觸控感測圖幀。當前觸控感測圖幀包括分別對應至觸控面板110之多個觸控感測單元的觸控原始資料。觸控原始資料的數目是依據觸控面板110之多個觸控感測單元的數目而定。舉例而言,假設觸控面板110具有m*n個觸控感測單元,則當前觸控感測圖幀將包括分別對應至m*n筆觸控原始資料的m*n的圖幀胞元(frame cell)。需說明的是,一般而言,電子裝置10當中的觸控IC或其他處理電路會對觸控原始資料與一過濾門檻值進行比較而濾除小於過濾門檻值的觸控原始資料,以偵測施於觸控面板110上的觸控事件。然而,於一實施例中,處理器130是獲取尚未經過過濾處理的觸控原始資料。亦即,處理器130所獲取當前觸控感測圖幀中的每一圖幀胞元(frame cell)皆具有觸控原始資料。
進一步而言,圖3A是依照本發明一實施例的觸控面板的示意圖。圖3B是依照本發明一實施例的觸控感測圖幀的示意圖。請先參照圖3A,觸控面板110可包括感測元件陣列111與觸控感測電路20,此感測元件陣列111包括呈現陣列排列的多個觸控感測單元(例如觸控感測單元CS11、CS12、CS21)。觸控感測電路20包括掃描驅動電路113、接收感測電路112、時序產生電路116等等。掃描驅動電路113透過掃描線(例如掃描線114)逐列施加驅動訊號到觸控感測單元。接收感測電路112透過感測線(例如感測線115)感測觸控感測單元的電荷變化量,以接收觸控感測訊號並輸出觸控原始資料d1。接收感測電路112可使用類比數位轉換器(ADC)將觸控感測單元所產生的觸控感測訊號轉換為數位的觸控原始資料d1而輸出。
請再參照圖3B,當前觸控感測圖幀F1包括分別對應至多個觸控感測單元(例如觸控感測單元CS11、CS12、CS21)的多個圖幀胞元(例如圖幀胞元FC11、FC12、FC21)。舉例而言,假設觸控面板110具有44*76個觸控感測單元,則當前觸控感測圖幀F1包括44*76個圖幀胞元。並且,每一個圖幀胞元皆具有對應的觸控原始資料。舉例而言,圖幀胞元FC11具有觸控原始資料‘3379’;圖幀胞元FC12具有觸控原始資料‘3323’;圖幀胞元FC21具有觸控原始資料‘3267’。換言之,當前觸控感測圖幀F1也可視為一個44*76的資料陣列,此資料陣列裡的陣列元素即為觸控原始資料。然而,圖3B僅用以示範性說明,其所示的數值皆為範例,並非用以限定本發明。
接著,於步驟S202,處理器130依據當前觸控感測圖幀中相鄰於目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於目標圖幀胞元的新胞元值,以根據新胞元值產生轉化圖幀。具體而言,這些圖幀胞元包括目標圖幀胞元。於一實施例中,當前觸控感測圖幀中各個圖幀胞元皆可為目標圖幀胞元。處理器130將當前觸控感測圖幀中的每一個圖幀胞元依序作為目標圖幀胞元,以產生對應至當前觸控感測圖幀中每一個圖幀胞元的新胞元值。於此,轉化圖幀係依據當前觸控感測圖幀中每一個圖幀胞元的新胞元值而產生。或者,於一實施例中,當前觸控感測圖幀中部份區塊裡的圖幀胞元可為目標圖幀胞元。
也就是說,透過依據目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料來計算出轉化圖幀中的新胞元值,處理器130可以對當前觸控感測圖幀裡的觸控原始資料進行平滑化處理,以平滑化當前觸控感測圖幀中的觸控感測雜訊成份。藉此,可降低觸控感測雜訊對於後續影像辨識處理所帶來的不良影響。上述的觸控感測雜訊可能是因為觸控面板110的製程、觸控面板110設置於電子裝置10上的設置方式、環境因素或其他因素而引起。換言之,轉化圖幀也可視為處理器130對當前觸控感測圖幀進行去某種噪處理而產生的結果。
於步驟S203,處理器130將轉化圖幀轉換為觸控感測影像。基於後續影像處理所需要的特定影像格式(例如機器學習模型所需的影像格式),處理器130可將轉化圖幀圖像化為符合上述特定影像格式的一張灰階影像或彩色影像(即觸控感測影像)。舉例而言,處理器130可依據轉化圖幀產生N-bits的灰階影像。亦即,處理器130需要將轉化圖幀中的新胞元值正規化為介於灰階區間0~(2
N-1)。此正規化操作可用以對轉化圖幀中新胞元值的數值範圍進行正規化。此外,於一實施例中,若後續影像處理對於影像尺寸有特別要求,則處理器130也可透過縮放處理與/或填補冗餘影像區塊,來使觸控感測影像的尺寸符合後續影像處理的需求。
之後,於步驟S204,處理器130分析觸控感測影像來辨識觸控物件的物件資訊。於一實施例中,處理器130可將觸控感測影像輸入至一個機器學習模型,以透過機器學習模型辨識觸控物件的物件資訊。物件資訊包括物件類別、物件型號、該觸控物件之零組件的位置或其他資訊等等。換言之,藉由讓觸控物件接觸或足夠靠近觸控面板,觸控感測影像可用以辨識出觸控物件的相關資訊。
在一實施例中,此機器學習模型為依據訓練影像集進行機器學習(例如深度學習)而事先建構的神經網路模型,其可儲存於儲存裝置120中。換言之,機器學習模型的模型參數(例如神經網路層數目與各神經網路層的權重等等)已經由事前訓練而決定並儲存於儲存裝置120中。當觸控感測影像輸入至機器學習模型時,機器學習模型首先進行特徵擷取而產生特徵向量(Feature vector)。之後,這些特徵向量會被輸入至機器學習模型中的分類器,分類器再依照此些特徵向量進行分類,進而辨識出觸控感測影像中的觸控物件的物件資訊。機器學習模型可為卷積層類神經網路(Convolution Neural Network,CNN)模型中用以進行物件偵測的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等,本發明對此不限制。需說明的是,於一實施例中,用以訓練機器學習模型的訓練影像集也是依據與步驟S201~步驟S203相似的方式而產生。
圖4是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的情境示意圖。請參照圖4,電子裝置10的觸控面板110與顯示裝置整合為觸控螢幕。當觸控物件30(例如手機)置放於觸控螢幕上方時,處理器130可獲取觸控面板110於一框週期(Frame period)所產生的當前觸控感測圖幀。接著,處理器130可對當前觸控感測圖幀進行去噪處理而產生轉化圖幀,並將轉化圖幀轉換為一張觸控感測影像。藉此,於本範例中,處理器130可利用機器學習模型與觸控感測影像辨識出觸控物件30的手機型號,並將包括手機型號的通知訊息N1顯示於觸控螢幕上。詳細而言,觸控感測單元所感測的觸控原始資料將反應於觸控物件30的內部/外部零組件與機殼的接近而發生對應電荷變化,因而使觸控感測影像帶有此觸控物件30的特徵資訊,致使觸控物件30的物件資訊可基於觸控感測影像來辨識。舉例而言,‘型號A’手機內部的金屬元件配置與‘型號B’手機內部的金屬元件配置並不相同。因此,反應於‘型號A’手機置放於觸控面板110上而產生的觸控感測影像的影像特徵會相異於反應於‘型號B’手機的手機置放於觸控面板110上而產生的另一張觸控感測影像的影像特徵。
然而,本發明的實現方式不限於上述說明,可以對於實際的需求而酌予變更或延伸上述實施例的內容。為了更清楚說明,以下即搭配圖1的電子裝置10的各元件列舉實施例。圖5是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
請同時參照圖1與圖5,於步驟S501,處理器130獲取來自觸控面板110的當前觸控感測圖幀F51,此當前觸控感測圖幀F51包括觸控面板110上每一觸控感測單元所產生的觸控原始資料。
於步驟S502,處理器130依據當前觸控感測圖幀F51進行圖幀處理而產生對應至當前觸控感測圖幀F51上每一圖幀胞元的新胞元值,以依據多個新胞元值產生轉化圖幀F52。在一實施例中,處理器130依序將當前觸控感測圖幀F51上每一圖幀胞元作為目標圖幀標元進行新胞元值的計算。處理器130將依據目標圖幀胞元的觸控原始資料與相鄰圖幀胞元的觸控原始資料之間的絕對差值與相鄰圖幀胞元的數量來產生對應於目標圖幀胞元的新胞元值。例如,處理器130可根據以下方程式(1)來產生對應於目標圖幀胞元的新胞元值。
方程式(1)
其中,在方程式(1)中,Num表示相鄰圖幀胞元的數目,RawT表示目標圖幀胞元的觸控原始資料,而Raw
i表示相鄰圖幀胞元的觸控原始資料。
在一實施例中,處理器130可依據取樣窗口(取樣遮罩)決定目標圖幀胞元與其相鄰圖幀胞元。目標圖幀胞元位於取樣窗口的中心,而相鄰圖幀胞元可以是取樣窗口中位於目標圖幀胞元之垂直相鄰方向、水平相鄰方向、或雙對角線相鄰方向上的圖幀胞元。取樣窗口的尺寸可以配置為3*3、5*5或其他尺寸,本發明對此不限制。
在一實施例中,相鄰圖幀胞元可包括位於目標圖幀胞元四周且與目標圖幀胞元直接相鄰的多個第一層相鄰圖幀胞元。換言之,第一層相鄰圖幀胞元可以是取樣窗口中與目標圖幀胞元直接相鄰的八個相鄰圖幀胞元,這八個相鄰圖幀胞元各自位於目標圖幀胞元之垂直相鄰方向、水平相鄰方向、與雙對角線相鄰方向上。
在一實施例中,除了與目標圖幀胞元直接相鄰的八個第一層相鄰圖幀胞元,用以計算新胞元值的相鄰圖幀胞元更包括位於目標圖幀胞元的垂直相鄰方向上與水平相鄰方向上且與目標圖幀胞元相隔第一層相鄰圖幀胞元的多個第二層相鄰圖幀胞元。請參照圖6,圖6是依照本發明一實施例的目標圖幀胞元與其相鄰圖幀胞元的示意圖。目標圖框胞元FC_T位於取樣窗口W1的中心。目標圖框胞元FC_T的相鄰圖框胞元包括位於垂直相鄰方向上與目標圖框胞元FC_T直接相鄰的第一層相鄰圖幀胞元FC_N1、FC_N2。目標圖框胞元FC_T的相鄰圖框胞元包括位於水平相鄰方向上與目標圖框胞元FC_T直接相鄰的第一層相鄰圖幀胞元FC_N3、FC_N4。目標圖框胞元FC_T的相鄰圖框胞元包括位於雙對角相鄰方向上與目標圖框胞元FC_T直接相鄰的第一層相鄰圖幀胞元FC_N5、FC_N6、FC_N7、FC_N8。此外,目標圖框胞元FC_T的相鄰圖框胞元更包括位於目標圖幀胞元的垂直相鄰方向上與水平相鄰方向上的第二層相鄰圖幀胞元FC_N9、FC_N10、FC_N11、FC_N12。亦即,於圖6的範例中,相鄰鄰圖框胞元的數目為12。
在圖6的範例中,依據方程式(1)計算,處理器130將把[|12*3217-38713|]/12的計算結果作為對應於目標圖框胞元FC_T的新胞元值,其中38713為第一層相鄰圖幀胞元FC_N1~FC_N8與第二層相鄰圖幀胞元FC_N9~FC_N12的觸控原始資料的總和。然而,圖6所示的數值僅為一示範性說明,並非用以限定本發明。在一實施例中,藉由將目標圖框胞元的觸控原始資料與相鄰圖框胞元的觸控原始資料之間的絕對差值的平均作為轉化圖幀的新胞元值,基於轉化圖幀而產生之觸控感測影像可更準確地描繪出觸控物件的物件特徵。藉此,依據觸控感測影像進行物件資訊辨識的辨識精準度可提高。
回到圖5的流程,於步驟S503,處理器130將轉化圖幀F52轉換為觸控感測影像Img5。在一實施例中,處理器130可對轉化圖幀F52內的新胞元值執行數值正規化操作。處理器130可依據轉化圖幀F52中的最大胞元值與最小胞元值正規化轉化圖幀F52中的新胞元值,以產生觸控感測影像Img5的像素值。觸控感測影像Img5例如為8-bits的灰階影像。
數值正規化操作可用以對轉化圖幀F52中的新胞元值的數值範圍進行正規化。例如,處理器130可根據以下方程式(2)執行數值正規化操作。
*255 方程式(2)
在方程式(2)中,X表示轉化圖幀F52中的某一個新胞元值,X
min表示轉化圖幀F52中的最小胞元值,X
max表示轉化圖幀F52中的最大胞元值,且X’表示觸控感測影像Img5上的像素值。根據方程式(2),轉化圖幀F52中的各個新胞元值可被調整為0至255之間的灰階值(grey-scaled value)。
最後,於步驟S504,處理器130可將觸控感測影像Img5輸入至機器學習模型,以辨識觸控物件相對於觸控面板110的位置與觸控物件的物件資訊Info1。舉例而言,處理器130可依據觸控感測影像Img5辨識出觸控物件的裝置型號,或辨識出觸控物件的相機鏡頭位置等等。
然而,前述實施例皆以一張當前觸控感測圖幀來產生用以辨識物件資訊的觸控感測影像,但本發明並不以此為限。在一實施例中,處理器130可依據當前觸控感測圖幀與至少一張當前觸控感測圖幀來產生用以辨識物件資訊的觸控感測影像。
具體而言,於一實施例中,處理器130可依據先前觸控感測圖幀的觸控原始資料與當前觸控感測圖幀的觸控原始資料來產生對應於目標圖幀胞元的新胞元值。圖7是依照本發明一實施例的先前觸控感測圖幀與當前觸控感測圖幀的示意圖。請參照圖7,處理器130可獲取對應於當前時間點t1的當前觸控感測圖幀F71以及對應於前一時間點t2的先前觸控感測圖幀F72。當要計算對應於目標圖幀胞元FC_T的新胞元值時,處理器130可依據當前觸控感測圖幀F71上取樣窗口W71內的相鄰圖幀胞元的觸控感測資料以及先前觸控感測圖幀F72上取樣窗口W72內的的參考圖幀胞元的觸控感測資料來進行計算。於一實施例中,取樣窗口W72中的圖幀胞元FC71的胞元位置相同於目標圖幀胞元FC_T的胞元位置,取樣窗口W72內的的參考圖幀胞元的胞元位置可相同於取樣窗口W71內的相鄰圖幀胞元的胞元位置。
綜上所述,於本發明實施例中,觸控感測圖幀中的原始觸控資料可以被使用來辨識觸控物件的物件資訊,而非僅用於偵測觸控手勢或觸控筆的輸入。藉由讓觸控物件接觸或足夠靠近觸控面板,電子裝置可準確辨識出觸控物件的相關物件資訊,以利使用觸控物件的相關物件資訊執行其他後續應用。如此一來,使用者可以透過更直覺的操作方式讓電子裝置實現其他應用,以提高電子裝置的操作便利性。除此之外,藉由對觸控感測圖幀進行去噪處理,可以消弭觸控感測雜訊對影像辨識所帶來的不良影響,可提昇機器學習的辨識準確度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置
110:觸控面板
120:儲存裝置
130:處理器
20:觸控感測電路
111:感測元件陣列
112:接收感測電路
113:掃描驅動電路
114:掃描線
115:感測線
116:時序產生電路
d1:觸控原始資料
CS11、CS12、CS21:觸控感測單元
30:觸控物件
N1:通知訊息
F1、F51、F71:當前觸控感測圖幀
F72:先前觸控感測圖幀
F52:轉化圖幀
Img5:觸控感測影像
Info1:物件資訊
FC_T:目標圖幀胞元
FC71:圖幀胞元
FC_N1~FC_N8:第一層相鄰圖幀胞元
FC_N9~FC_N12:第二層相鄰圖幀胞元
W1、W71、W72:取樣窗口
S201~S204、S501~S504:步驟
圖1是依照本發明一實施例的電子裝置的示意圖。
圖2是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
圖3A是依照本發明一實施例的觸控面板的示意圖。
圖3B是依照本發明一實施例的觸控感測圖幀的示意圖。
圖4是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的示意圖。
圖5是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
圖6是依照本發明一實施例的目標圖幀胞元與其相鄰圖幀胞元的示意圖。
圖7是依照本發明一實施例的先前觸控感測圖幀與當前觸控感測圖幀的示意圖。
S201~S204:步驟
Claims (14)
- 一種利用觸控資料的物件資訊辨識方法,所述方法包括:透過一觸控面板獲取當前觸控感測圖幀,其中該當前觸控感測圖幀包括分別對應至多個觸控感測單元的多個圖幀胞元,每一該些圖幀胞元具有觸控原始資料,且該些圖幀胞元包括一目標圖幀胞元;依據該當前觸控感測圖幀中相鄰於該目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於該目標圖幀胞元的新胞元值,以根據該新胞元值產生一轉化圖幀;將該轉化圖幀轉換為一觸控感測影像;以及分析該觸控感測影像來辨識一觸控物件的物件資訊,其中依據該當前觸控感測圖幀中相鄰於該目標圖幀胞元的該些相鄰圖幀胞元的觸控原始資料產生對應於該目標圖幀胞元的該新胞元值,以根據該新胞元值產生該轉化圖幀的步驟包括:依據該目標圖幀胞元的觸控原始資料與該些相鄰圖幀胞元的觸控原始資料之間的絕對差值與該些相鄰圖幀胞元的數量來產生對應於該目標圖幀胞元的該新胞元值。
- 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法,其中將該轉化圖幀轉換為該觸控感測影像的步驟包括:依據該轉化圖幀中的最大胞元值與最小胞元值正規化該轉化 圖幀中的該新胞元值,以產生該觸控感測影像的像素值。
- 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法,其中該些相鄰圖幀胞元包括位於該目標圖幀胞元四周且與該目標圖幀胞元直接相鄰的多個第一層相鄰圖幀胞元。
- 如申請專利範圍第3項所述的利用觸控資料的物件資訊辨識方法,其中該些相鄰圖幀胞元更包括位於該目標圖幀胞元的垂直相鄰方向上與水平相鄰方向上且與該目標圖幀胞元相隔該些第一層相鄰圖幀胞元的多個第二層相鄰圖幀胞元。
- 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法,其中依據該當前觸控感測圖幀中相鄰於該目標圖幀胞元的該些相鄰圖幀胞元的觸控原始資料產生對應於該目標圖幀胞元的該新胞元值,以根據該新胞元值產生該轉化圖幀的步驟包括:依據一先前觸控感測圖幀的觸控原始資料產生對應於該目標圖幀胞元的該新胞元值。
- 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法,其中分析該觸控感測影像來辨識該觸控物件的該物件資訊的步驟包括:將該觸控感測影像輸入至一機器學習模型,以透過該機器學習模型辨識該觸控物件的該物件資訊。
- 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法,其中該物件資訊包括物件類別、物件型號或該觸控物件之零組件的位置。
- 一種電子裝置,包括:一觸控面板,包括多個觸控感測單元;一儲存裝置,儲存多個指令;以及一處理器,耦接該觸控面板與該儲存裝置,經配置以執行該些指令以:透過該觸控面板獲取當前觸控感測圖幀,其中該當前觸控感測圖幀包括分別對應至該些觸控感測單元的多個圖幀胞元,每一該些圖幀胞元具有觸控原始資料,且該些圖幀胞元包括一目標圖幀胞元;依據該當前觸控感測圖幀中相鄰於該目標圖幀胞元的多個相鄰圖幀胞元的觸控原始資料產生對應於該目標圖幀胞元的新胞元值,以根據該新胞元值產生一轉化圖幀;將該轉化圖幀轉換為一觸控感測影像;以及分析該觸控感測影像來辨識一觸控物件的物件資訊,該處理器更經配置以:依據該目標圖幀胞元的觸控原始資料與該些相鄰圖幀胞元的觸控原始資料之間的絕對差值與該些相鄰圖幀胞元的數量來產生對應於該目標圖幀胞元的該新胞元值。
- 如申請專利範圍第8項所述的電子裝置,其中該處理器更經配置以:依據該轉化圖幀中的最大胞元值與最小胞元值正規化該轉化圖幀中的該新胞元值,以產生該觸控感測影像的像素值。
- 如申請專利範圍第8項所述的電子裝置,其中該些相鄰圖幀胞元包括位於該目標圖幀胞元四周且與該目標圖幀胞元直接相鄰的多個第一層相鄰圖幀胞元。
- 如申請專利範圍第8項所述的電子裝置,其中該些相鄰圖幀胞元更包括位於該目標圖幀胞元的垂直相鄰方向上與水平相鄰方向上且與該目標圖幀胞元相隔該些第一層相鄰圖幀胞元的多個第二層相鄰圖幀胞元。
- 如申請專利範圍第8項所述的電子裝置,其中該處理器更經配置以:依據一先前觸控感測圖幀的觸控原始資料產生對應於該目標圖幀胞元的該新胞元值。
- 如申請專利範圍第8項所述的電子裝置,其中該處理器更經配置以:將該觸控感測影像輸入至一機器學習模型,以透過該機器學習模型辨識該觸控物件的該物件資訊。
- 如申請專利範圍第8項所述的電子裝置,其中該物件資訊包括物件類別、物件型號或該觸控物件之零組件的位置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108137615A TWI715252B (zh) | 2019-10-18 | 2019-10-18 | 電子裝置及其利用觸控資料的物件資訊辨識方法 |
US16/824,704 US11086451B2 (en) | 2019-10-18 | 2020-03-20 | Electronic apparatus and object information recognition method by using touch data thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108137615A TWI715252B (zh) | 2019-10-18 | 2019-10-18 | 電子裝置及其利用觸控資料的物件資訊辨識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI715252B true TWI715252B (zh) | 2021-01-01 |
TW202117586A TW202117586A (zh) | 2021-05-01 |
Family
ID=75237284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108137615A TWI715252B (zh) | 2019-10-18 | 2019-10-18 | 電子裝置及其利用觸控資料的物件資訊辨識方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11086451B2 (zh) |
TW (1) | TWI715252B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9269022B2 (en) * | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
CN106662946A (zh) * | 2014-07-11 | 2017-05-10 | 微软技术许可有限责任公司 | 3d姿态识别 |
CN106687967A (zh) * | 2014-09-25 | 2017-05-17 | 齐科斯欧公司 | 用于对与触敏设备的接触进行分类的方法和装置 |
US20180121762A1 (en) * | 2016-11-01 | 2018-05-03 | Snap Inc. | Neural network for object detection in images |
TW201915943A (zh) * | 2017-09-29 | 2019-04-16 | 香港商阿里巴巴集團服務有限公司 | 對圖像內目標物體進行自動標註的方法、裝置及系統 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8135171B2 (en) * | 2008-08-19 | 2012-03-13 | Au Optronics Corp. | Multipoint tracking method and related device |
US20120182225A1 (en) * | 2011-01-17 | 2012-07-19 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Detection of Predetermined Objects with Capacitive Touchscreens or Touch Panels |
GB2547031B (en) * | 2016-02-05 | 2019-09-25 | Cambridge Touch Tech Ltd | Touchscreen panel signal processing |
-
2019
- 2019-10-18 TW TW108137615A patent/TWI715252B/zh active
-
2020
- 2020-03-20 US US16/824,704 patent/US11086451B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9269022B2 (en) * | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
CN106662946A (zh) * | 2014-07-11 | 2017-05-10 | 微软技术许可有限责任公司 | 3d姿态识别 |
CN106687967A (zh) * | 2014-09-25 | 2017-05-17 | 齐科斯欧公司 | 用于对与触敏设备的接触进行分类的方法和装置 |
US20180121762A1 (en) * | 2016-11-01 | 2018-05-03 | Snap Inc. | Neural network for object detection in images |
TW201915943A (zh) * | 2017-09-29 | 2019-04-16 | 香港商阿里巴巴集團服務有限公司 | 對圖像內目標物體進行自動標註的方法、裝置及系統 |
Also Published As
Publication number | Publication date |
---|---|
TW202117586A (zh) | 2021-05-01 |
US11086451B2 (en) | 2021-08-10 |
US20210117041A1 (en) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI731442B (zh) | 電子裝置及其利用觸控資料的物件資訊辨識方法 | |
US10872444B2 (en) | Display apparatus and control method thereof | |
US9646200B2 (en) | Fast pose detector | |
TWI462035B (zh) | 物件偵測後設資料 | |
WO2021196389A1 (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
US10311295B2 (en) | Heuristic finger detection method based on depth image | |
WO2016206279A1 (zh) | 触控显示装置及其触控方法 | |
CN110751043A (zh) | 基于人脸可见性的人脸识别方法、装置及存储介质 | |
WO2020220809A1 (zh) | 目标对象的动作识别方法、装置和电子设备 | |
KR102452653B1 (ko) | 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
JP2014075053A (ja) | 電子機器、電子機器の制御方法、プログラム、記憶媒体 | |
KR20180051772A (ko) | 영상처리장치 및 영상처리방법 | |
JP6877446B2 (ja) | 多重オブジェクト構造を認識するためのシステムおよび方法 | |
KR101559502B1 (ko) | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 | |
WO2018080204A1 (ko) | 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체 | |
TWI715252B (zh) | 電子裝置及其利用觸控資料的物件資訊辨識方法 | |
JP6987987B2 (ja) | メディア特徴の比較方法及び装置 | |
TWI718559B (zh) | 光學式指紋感測方法、指紋識別裝置及資訊處理裝置 | |
CN110222576B (zh) | 拳击动作识别方法、装置和电子设备 | |
US20170085784A1 (en) | Method for image capturing and an electronic device using the method | |
WO2019134606A1 (zh) | 终端的控制方法、装置、存储介质及电子设备 | |
US10713463B2 (en) | Display method of user interface and electronic apparatus thereof | |
CN112764565B (zh) | 电子装置及其利用触控数据的物件信息识别方法 | |
US20220050528A1 (en) | Electronic device for simulating a mouse | |
US10248214B2 (en) | Wearable device for writing and drawing |