TWI731442B - 電子裝置及其利用觸控資料的物件資訊辨識方法 - Google Patents

電子裝置及其利用觸控資料的物件資訊辨識方法 Download PDF

Info

Publication number
TWI731442B
TWI731442B TW108137617A TW108137617A TWI731442B TW I731442 B TWI731442 B TW I731442B TW 108137617 A TW108137617 A TW 108137617A TW 108137617 A TW108137617 A TW 108137617A TW I731442 B TWI731442 B TW I731442B
Authority
TW
Taiwan
Prior art keywords
touch
image frame
image
touch sensing
data
Prior art date
Application number
TW108137617A
Other languages
English (en)
Other versions
TW202117506A (zh
Inventor
黃志文
艾瑞克 崔
徐文正
楊朝光
黃彥碩
曹淩帆
柯傑斌
陳志強
茹泰
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW108137617A priority Critical patent/TWI731442B/zh
Priority to US16/721,796 priority patent/US11494045B2/en
Publication of TW202117506A publication Critical patent/TW202117506A/zh
Application granted granted Critical
Publication of TWI731442B publication Critical patent/TWI731442B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Abstract

一種電子裝置與其利用觸控資料的物件資訊辨識方法。在未有任何物件接觸觸控面板的情況下進行觸控感測，以透過觸控面板獲取特定背景圖幀。透過觸控面板獲取當前觸控感測圖幀。將當前觸控感測圖幀中第二圖幀胞元的觸控原始資料分別減去特定背景圖幀中第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的去背圖幀。將去背圖幀轉換為觸控感測影像。將觸控感測影像輸入至經訓練神經網路模型而辨識觸控物件的物件資訊。

Description

電子裝置及其利用觸控資料的物件資訊辨識方法
本發明是有關於一種電子裝置，且特別是有關於一種電子裝置與其利用觸控資料的物件資訊辨識方法。
在現今資訊社會中，人類對於消費型的電子裝置之依賴性逐漸增加。為了達到更便利以及更人性化的目的，許多電子產品皆可使用觸控面板作為輸入裝置。近年來觸控式的電子產品由於操作方便且直覺性高，因此深受消費者喜愛而已漸漸成為市場上的主流趨勢。然而，就目前市場上的電子產品來看，與顯示器相整合的觸控螢幕皆用於接收使用者手部或觸控筆所下達的觸控事件，使電子產品可依據觸控事件執行後續動作。除了用以偵測使用者手部或觸控筆所下達的觸控事件之外，如何使觸控螢幕的觸控感測擴展至其他應用也為本領域技術人員所關心的議題。
有鑑於此，本發明提出一種電子裝置與其利用觸控資料的物件資訊辨識方法，其可透過神經網路準確地辨識出觸控面板上方之觸控物件的物件資訊。
本發明實施例提供一種利用觸控資料的物件資訊辨識方法。所述方法包括下列步驟。在未有任何物件接觸觸控面板的情況下進行觸控感測，以透過觸控面板獲取特定背景圖幀。此特定背景圖幀包括分別對應至多個觸控感測單元的多個第一圖幀胞元，這些第一圖幀胞元分別具有觸控背景資料。透過觸控面板獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至觸控感測單元的多個第二圖幀胞元，每一第二圖幀胞元具有觸控原始資料。將當前觸控感測圖幀中第二圖幀胞元的觸控原始資料分別減去特定背景圖幀中第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的去背圖幀。將去背圖幀轉換為觸控感測影像。將觸控感測影像輸入至經訓練神經網路模型而辨識觸控物件的物件資訊。
本發明實施例提供一種電子裝置，其包括觸控面板、儲存有多個指令的儲存裝置與處理器。處理器耦接觸控面板與儲存裝置。處理器經配置執行上述指令以執行下列步驟。在未有任何物件接觸觸控面板的情況下進行觸控感測，以透過觸控面板獲取特定背景圖幀。此特定背景圖幀包括分別對應至多個觸控感測單元的多個第一圖幀胞元，這些第一圖幀胞元分別具有觸控背景資 料。透過觸控面板獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至觸控感測單元的多個第二圖幀胞元，每一第二圖幀胞元具有觸控原始資料。將當前觸控感測圖幀中第二圖幀胞元的觸控原始資料分別減去特定背景圖幀中第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的去背圖幀。將去背圖幀轉換為觸控感測影像。將觸控感測影像輸入至經訓練神經網路模型而辨識觸控物件的物件資訊。
基於上述，於本發明的實施例中，可將觸控面板所感測的當前觸控感測圖幀轉換為一張觸控感測影像，並依據此觸控感測影像的影像特徵與神經網路來辨識出觸控物件的物件資訊。藉此，當觸控物件接觸或足夠鄰近觸控面板時，電子裝置可獲取觸控物件的物件資訊並據以執行其他功能，從而提供一種新的使用者操作體驗並增加電子裝置的功能性。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10、80:電子裝置
110、810:觸控面板
120、820:儲存裝置
130、830:處理器
20:觸控感測電路
111:感測元件陣列
112:接收感測電路
113:掃描驅動電路
114:掃描線
115:感測線
116:時序產生電路
d1:觸控原始資料
CS11、CS12、CS21:觸控感測單元
30:觸控物件
N1:通知訊息
IF1~IF3:初始觸控感測圖幀
BF:特定背景圖幀
AF、F1:當前觸控感測圖幀
RF:去背圖幀
Img5:觸控感測影像
Info1:物件資訊
M1:經訓練神經網路模型
FC1~FC14、FC21:圖幀胞元
S201~S205、S501~S507、S901~S905:步驟
圖1是依照本發明一實施例的電子裝置的示意圖。
圖2是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
圖3A是依照本發明一實施例的觸控面板的示意圖。
圖3B是依照本發明一實施例的觸控感測圖幀的示意圖。
圖4是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的示意圖。
圖5是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
圖6是依照本發明一實施例的獲取特定背景圖幀的示意圖。
圖7是依照本發明一實施例的獲取去背圖幀的示意圖。
圖8是依照本發明一實施例的物件資訊辨識系統的示意圖。
圖9是依照本發明一實施例的利用觸控資料訓練神經網路的流程圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。
應理解，當元件被稱作「連接」或「耦接」至另一元件時，其可直接地連接或耦接至另一元件，或可存在其他插入元件。換言之，除非特別限定，否則用語「連接」與「耦接」包括兩元件直接地與間接地連接與耦接。
圖1是依照本發明一實施例的電子裝置的示意圖，但此 僅是為了方便說明，並不用以限制本發明。首先圖1先介紹電子裝置中的所有構件以及配置關係，詳細功能與操作將配合圖2一併揭露。
請參照圖1，本實施例的電子裝置10例如是筆記型電腦、智慧型手機、平板電腦、電子書、遊戲機等具備觸控功能的電子裝置，本發明並不對此限制。電子裝置10包括觸控面板110、儲存裝置120及處理器130，其功能分述如下。
觸控面板110的種類例如是電容式觸控面板、電阻式觸控面板、電磁式觸控面板或光學式觸控面板。於一實施例中，觸控面板110可與顯示裝置(未繪示於圖1)整合為觸控螢幕。此顯示裝置例如是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)或其他種類的顯示器。觸控面板110包括陣列排列的多個觸控感測單元而可進行觸控感測，以獲取包括分別對應於觸控感測單元的觸控原始資料的觸控感測圖幀。例如，電容式觸控面板包括多個電容感測器。觸控感測圖幀的幀尺寸(frame size)基於觸控感測單元的數目而定。
儲存裝置120用以儲存觸控資料、指令、程式碼、軟體元件等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器130耦接觸控面板110與儲存裝置120，用以控制電子裝置10的構件之間的作動，其例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、圖形處理器(Graphics Processing Unit，GPU或其他類似裝置或這些裝置的組合。處理器130可執行記錄於儲存裝置120中的程式碼、軟體模組、指令等等，以實現本發明實施例的利用觸控資料的物件資訊辨識方法。需說明的是，在一實施例中，觸控面板110可透過觸控控制器(touch IC)而連接至處理器130。
然而，除了觸控面板110、儲存裝置120，以及處理器130之外，電子裝置10還可以包括未繪示於圖1的其他元件，像是揚聲器、麥克風、顯示裝置、相機、通訊模組、鍵盤等等，本發明對此不限制。
圖2是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。請參照圖1與圖2，本實施例的方法適用於圖1中的電子裝置10，以下即搭配電子裝置10中的各項元件說明本實施例方法的詳細流程。
於步驟S201，觸控面板110在未有任何物件接觸觸控面板110的情況下進行觸控感測，以由處理器130透過觸控面板110 獲取特定背景圖幀。此特定背景圖幀包括分別對應至多個觸控感測單元的多個圖幀胞元(即第一圖幀胞元)，特定背景圖幀中的這些圖幀胞元分別具有觸控背景資料。特定背景圖幀中圖幀胞元(frame cell)的數目與是依據觸控面板110之多個觸控感測單元的數目而定。此特定背景圖幀取決於在沒有任何物件接觸觸控面板110的情況下進行觸控感測而產生之觸控原始資料。
具體而言，在一實施例中，在未有任何物件接觸觸控面板110的情況下透過觸控面板110獲取至少一初始觸控感測圖幀，處理器130可依據至少一初始觸控感測圖幀獲取特定背景圖幀。進一步而言，在一實施例中，特定背景圖幀中的觸控背景資料可以是對多張初始觸控感測圖幀中的觸控原始資料進行統計處理而產生，上述統計處理例如是平均處理等等。或者，在一實施例中，特定背景圖幀中的觸控背景資料也可以是單一張初始觸控感測圖幀中的觸控原始資料。需注意的是，這些初始觸控感測圖幀都是觸控面板110在未有任何物件接觸觸控面板110的情況下進行觸控感測而產生。
於步驟S202，處理器130透過觸控面板110獲取當前觸控感測圖幀。此當前觸控感測圖幀包括分別對應至觸控感測單元的多個圖幀胞元(即第二圖幀胞元)，當前觸控感測圖幀中每一圖幀胞元具有觸控原始資料。換言之，觸控原始資料的數目是依據觸控面板110之多個觸控感測單元的數目而定。舉例而言，假設觸控面板110具有m*n個觸控感測單元，則當前觸控感測圖幀將包 括分別對應至m*n筆觸控原始資料的m*n的圖幀胞元(frame cell)。需說明的是，一般而言，電子裝置10中的觸控IC或其他處理電路會對觸控原始資料與一過濾門檻值進行比較而濾除小於過濾門檻值的觸控原始資料，以偵測施於觸控面板110上的觸控事件。然而，於一實施例中，處理器130是獲取尚未經過過濾處理的觸控原始資料。亦即，處理器130所獲取當前觸控感測圖幀中的每一圖幀胞元皆具有由觸控面板110所產生的觸控原始資料。
進一步而言，圖3A是依照本發明一實施例的觸控面板的示意圖。圖3B是依照本發明一實施例的觸控感測圖幀的示意圖。圖3A與圖3B係以電容式觸控面板進行說明。請先參照圖3A，觸控面板110可包括感測元件陣列111與觸控感測電路20，此感測元件陣列111包括呈現陣列排列的多個觸控感測單元(例如觸控感測單元CS11、CS12、CS21)。觸控感測電路20包括掃描驅動電路113、接收感測電路112、時序產生電路116等等。掃描驅動電路113透過掃描線(例如掃描線114)逐列施加驅動訊號到觸控感測單元。接收感測電路112透過感測線(例如感測線115)感測觸控感測單元的電荷變化量，以接收觸控感測訊號並輸出觸控原始資料d1。接收感測電路112可使用類比數位轉換器(ADC)將觸控感測單元所產生的觸控感測訊號轉換為數位的觸控原始資料d1而輸出。換言之，於一實施例中，接收感測電路112可包括感測器驅動電路與觸控控制器。
請再參照圖3B，當前觸控感測圖幀F1包括分別對應至 多個觸控感測單元(例如觸控感測單元CS11、CS12、CS21)的多個圖幀胞元(例如圖幀胞元FC13、FC14、FC21)。舉例而言，假設觸控面板110具有44*76個觸控感測單元，則當前觸控感測圖幀F1包括44*76個圖幀胞元。並且，每一個圖幀胞元皆具有對應的觸控原始資料。舉例而言，圖幀胞元FC11具有觸控原始資料‘3379’；圖幀胞元FC12具有觸控原始資料‘3323’；圖幀胞元FC21具有觸控原始資料‘3267’。換言之，當前觸控感測圖幀F1也可視為一個44*76的資料陣列，此資料陣列裡的陣列元素即為觸控原始資料。然而，圖3B僅用以示範性說明，其所示的數值皆為範例，並非用以限定本發明。
於步驟S203，處理器130將當前觸控感測圖幀中第二圖幀胞元的觸控原始資料分別減去特定背景圖幀中第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的去背圖幀。換言之，此去背圖幀也包括多個圖幀胞元，而去背圖幀中的圖幀胞元分別具有對應的胞元值。去背圖幀中位於胞元位置(i,j)的胞元值是藉由將當前觸控感測圖幀中位於胞元位置(i,j)的觸控原始資料減去特定背景圖幀中同樣位於胞元位置(i,j)的觸控背景資料而產生。胞元位置(i,j)代表第i列第j行的陣列位置。
也就是說，透過當前觸控感測圖幀與特定背景圖幀之間的相減來計算出去背圖幀中的胞元值，處理器130可以某種程度濾除當前觸控感測圖幀中的觸控感測雜訊成份。藉此，可降低觸控感測雜訊對於後續物件資訊辨識所帶來的不良影響。上述的觸 控感測雜訊可能是因為觸控面板110的製程、觸控面板110設置於電子裝置10上的設置方式、環境因素或其他因素而引起。換言之，去背圖幀也可視為處理器130對當前觸控感測圖幀進行某種去噪處理而產生的結果。
於步驟S204，處理器130將去背圖幀轉換為觸控感測影像。基於經訓練神經網路模型所規範的特定影像格式，處理器130可將去背圖幀圖像化為符合上述特定影像格式的一張灰階影像或彩色影像(即觸控感測影像)。舉例而言，處理器130可依據去背圖幀產生N-bits的灰階影像。在一實施例中，處理器130需要將去背圖幀中的胞元值轉換為為介於灰階區間0~(2N-1)的數值。舉例而言，正規化操作可用以對去背圖幀中胞元值的數值範圍進行正規化。此外，於一實施例中，若後續影像處理對於影像尺寸有特別要求，則處理器130也可透過縮放處理與/或填補冗餘影像區塊，來使觸控感測影像的尺寸符合經訓練神經網路模型所規範的特定影像格式。
於步驟S205，處理器130將觸控感測影像輸入至經訓練神經網路模型而辨識觸控物件的物件資訊。於一實施例中，處理器130可將觸控感測影像輸入至一個經訓練神經網路模型，以透過經訓練神經網路模型辨識觸控物件的物件資訊。物件資訊包括物件類別、物件型號、物件位置、該觸控物件之零組件的位置或其他資訊等等。換言之，藉由讓觸控物件接觸或足夠靠近觸控面板，觸控感測影像可用以辨識出觸控物件的相關資訊。此觸控物 件可以是手持電子裝置、穿戴式電子裝置或其他可引發觸控感測單元的觸控感測結果發生變動的物件。舉例而言，處理器130可辨識觸控物件是那一型號的手機。或者，處理器130可辨識觸控物件是否為手機。或者，處理器130可辨識觸控物件的相機位置。
在一實施例中，此經訓練神經網路模型為依據訓練影像集進行深度學習而事先建構的機器學習模型，其可儲存於儲存裝置120中。換言之，經訓練神經網路模型的模型參數(例如神經網路層數目與各神經網路層的權重等等)已經由事前訓練而決定並儲存於儲存裝置120中。當觸控感測影像輸入至經訓練神經網路模型時，經訓練神經網路模型首先進行特徵擷取而產生特徵向量(Feature vector)。之後，這些特徵向量會被輸入至經訓練神經網路模型中的分類器，分類器再依照此些特徵向量進行分類，進而辨識出觸控感測影像中的觸控物件的物件資訊。經訓練神經網路模型可為卷積層類神經網路(Convolution Neural Network，CNN)模型中用以進行物件偵測的R-CNN、Fast R-CNN、Faster R-CNN、YOLO或SSD等等，本發明對此不限制。需說明的是，於一實施例中，用以訓練神經網路的訓練影像集也是依據與步驟S201~步驟S204相似的資料處理而產生，後續將有進一步說明。
圖4是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的情境示意圖。請參照圖4，電子裝置10的觸控面板110與顯示裝置整合為觸控螢幕。當觸控物件30(例如手機)置放於觸控螢幕上方時，處理器130可獲取觸控面板110於一框週期(Frame period)所產生的當前觸控感測圖幀。接著，處理器130可將當前觸控感測圖幀減去特定背景圖幀而產生去背圖幀，並將去背圖幀轉換為一張觸控感測影像。藉此，於本範例中，處理器130可利用經訓練經網路模型與觸控感測影像辨識出觸控物件30的手機型號，並將包括手機型號的通知訊息N1顯示於觸控螢幕上。詳細而言，在一實施例中，觸控感測單元所感測的觸控原始資料將反應於觸控物件30的內部/外部零組件與機殼的靠近而發生對應電荷變化，因而使觸控感測影像帶有此觸控物件30的特徵資訊，致使觸控物件30的物件資訊可基於觸控感測影像來辨識。舉例而言，‘型號A’手機內部的金屬元件配置與‘型號B’手機內部的金屬元件配置並不相同。因此，反應於‘型號A’手機置放於觸控面板110上而產生的觸控感測影像的影像特徵會相異於反應於‘型號B’手機的手機置放於觸控面板110上而產生的另一張觸控感測影像的影像特徵。
然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更或延伸上述實施例的內容。為了更清楚說明，以下即搭配圖1的電子裝置10的各元件列舉實施例。圖5是依照本發明一實施例的利用觸控資料的物件資訊辨識方法的流程圖。
請同時參照圖1與圖5，於步驟S501，在未有任何物件接觸觸控面板110的情況下，處理器130獲取來自觸控面板110的多張初始觸控感測圖幀FI1~FI3，初始觸控感測圖幀FI1~FI3 各自包括觸控面板110上每一觸控感測單元所產生的觸控原始資料。圖5係以3張初始觸控感測圖幀FI1~FI3為範例進行說明，但本發明對於初始觸控感測圖幀的數目並不限制。
於步驟S502，處理器130將初始觸控感測圖幀FI1~FI3中位於相同胞元位置的多個圖幀胞元(即第三圖幀胞元)的觸控原始資料進行統計處理，以產生包括各圖幀胞元(即第一圖幀胞元)所對應的觸控背景資料的特定背景圖幀BF。在一實施例中，統計處理為平均處理，但也可為其他統計處理，例如取中位數等等。具體而言，處理器130可針對每一個胞元位置而自初始觸控感測圖幀FI1~FI3取得對應的三筆觸控原始資料，並將上述三筆觸控原始資料的平均值作為特定背景圖幀BF中位於同一胞元位置的觸控背景資料。
舉例而言，圖6是依照本發明一實施例的獲取特定背景圖幀的示意圖。請參照圖6，針對第一列第一行的胞元位置，處理器130可分別自初始觸控感測圖幀FI1~FI3取得對應於圖幀胞元FC1、FC2、FC3的三筆觸控原始資料‘3333’、‘3341’、‘3325’。接著，處理器130計算三筆觸控原始資料‘3333’、‘3341’、‘3325’的平均值，以獲取特定背景圖幀BF中對應於圖幀胞元FC7的觸控背景資料‘3333’。相似的，針對第一列第二行的胞元位置，處理器130可分別自初始觸控感測圖幀FI1~FI3取得對應於圖幀胞元FC4、FC5、FC6的三筆觸控原始資料‘3295’、‘3301’、‘3311’。接著，處理器130計算三筆觸控原始資料‘3295’、‘3301’、‘3311’的 平均值，以基於平均值的整數部位獲取特定背景圖幀BF中對應於圖幀胞元FC8的觸控背景資料‘3302’。依此類推，處理器130可獲取特定背景圖幀BF中每一圖幀胞元的觸控背景資料。然而，圖6所示的數值僅為一示範性說明，並非用以限定本發明。
於步驟S503，處理器130獲取來自觸控面板110的當前觸控感測圖幀AF，此當前觸控感測圖幀AF包括觸控面板110上每一觸控感測單元所產生的觸控原始資料。於步驟S504，處理器130對當前觸控感測圖幀AF與特定背景圖幀BF進行相減處理，以產生去背圖幀RF。具體而言，針對每一個胞元位置，處理器130可將當前觸控感測圖幀AF中的觸控原始資料減去特定背景圖幀BF中的觸控背景資料，以將相減結果作為去背圖幀RF中位於同一胞元位置的胞元值。
舉例而言，圖7是依照本發明一實施例的獲取去背圖幀的示意圖。請參照圖7，針對第一列第一行的胞元位置，處理器130可自特定背景圖幀BF取得對應於圖幀胞元FC7的觸控背景資料‘3333’，並自當前觸控感測圖幀AF取得對應於圖幀胞元FC9的觸控原始資料‘3334’。接著，處理器130將對應於圖幀胞元FC9的觸控原始資料‘3334’減去對應於圖幀胞元FC7的觸控背景資料‘3333’，以獲取去背圖幀RF中對應於圖幀胞元FC11的胞元值‘1’。相似的，針對第一列第二行的胞元位置，處理器130可自特定背景圖幀BF取得對應於圖幀胞元FC8的觸控背景資料‘3302’，並自當前觸控感測圖幀AF取得對應於圖幀胞元FC10的觸控原始資料 ‘3302’。接著，處理器130將對應於圖幀胞元FC10的觸控原始資料‘3302’減去對應於圖幀胞元FC8的觸控背景資料‘3302’，以獲取去背圖幀RF中對應於圖幀胞元FC12的胞元值‘0’。依此類推，處理器130可獲取去背圖幀RF中每一圖幀胞元的胞元值。然而，圖7所示的數值僅為一示範性說明，並非用以限定本發明。在一實施例中，由於去背圖幀RF中的觸控感測雜訊已經某種程度被濾除，因此基於去背圖幀RF產生之觸控感測影像可更準確地描繪出觸控物件的物件特徵。因此，依據觸控感測影像進行物件資訊辨識的辨識精準度可提高。
回到圖5的流程，於步驟S505，處理器130將去背圖幀RF轉換為觸控感測影像Img5。舉例而言，觸控感測影像Img5例如為8-bits的灰階影像，則去背圖幀RF中的各個胞元值可被調整為0至255之間的灰階值(grey-scaled value)。在一實施例中，處理器130取去背圖幀RF中胞元值的最小胞元值。接著，處理器130將去背圖幀RF中每一胞元值減去最小胞元值，而產生觸控感測影像Img5的多個像素。舉例而言，假設去背圖幀RF中的最小胞元值為‘5’，則處理器130會將去背圖幀RF中每一個胞元值減5，並依據減去最小胞元值的結果產生觸控感測影像Img5。或者，在一實施例中，處理器130對去背圖幀RF中每一胞元值進行數值正規化操作，而產生觸控感測影像Img5的多個像素。處理器130可依據去背圖幀RF中的最大胞元值與最小胞元值正規化去背圖幀RF中的胞元值，以產生觸控感測影像Img5的像素值。
接著，於步驟S506，處理器130依據經訓練神經網路模型所規範的影像尺寸，對觸控感測影像Img5進行一影像放大處理。在一實施例中，經訓練神經網路模型所規範的影像尺寸為W*H，而W與H分別為2的冪次方。舉例而言，假設觸控面板110包括44*76個觸控感測單元，則去背圖幀RF具有44*76個圖幀胞元且未經縮放處理的觸控感測影像Img5包括44*76個像素。接著，處理器130將包括44*76個像素的觸控感測影像Img5放大為包括128*128個像素的觸控感測影像。如此一來，在觸控面板110的觸控感測單元的數目一般是有受限的情況下，藉由對觸控感測影像Img5進行影像放大處理可提昇經訓練神經網路模型的辨識準確度。
最後，於步驟S507，處理器130可將經過放大處理的觸控感測影像Img5輸入至經訓練神經網路模型，以辨識觸控物件相對於觸控面板110的位置與觸控物件的物件資訊Info1。物件資訊Info1可包括觸控物件的物件類型、物件位置、物件型號、或內部零組件的零件位置與零件種類。具體而言，經訓練神經網路模型的輸出包括觸控物件的物件類別(class)、物件位置與物件分類機率。物件類別(class)的設置可視實際應用情況而設定。以經訓練神經網路模型為CNN為例，經訓練神經網路模型是由至少一個的卷積層(Convolution Layer)、至少一個的池化層(Pooling Layer)、至少一個的全連接層(Fully connected layer)以及輸出層所構成。卷積層與池化層相互串連，並用來作為影像的特徵擷取來取得觸控感 測影像Img5的特徵值(亦稱為特徵向量)。全連接層與輸出層會根據經由卷積層與池化層所產生的特徵值來將觸控感測影像Img5中的影像物件進行分類，並且可以取得對應的物件資訊。舉例而言，處理器130可依據觸控感測影像Img5辨識出觸控物件的裝置型號，或辨識出觸控物件的相機鏡頭位置等等。
值得一提的是，在一實施例中，經訓練神經網路模型可以是基於由另一觸控面板所產生之另一特定背景圖幀而產生。也就是說，用以訓練神經網路而產生經訓練神經網路模型的另一電子裝置包括上述另一觸控面板。因此，藉由於訓練神經網路時也濾除觸控感測雜訊，經訓練神經網路模型可應用至不同的觸控電子裝置上並保有一定的辨識準確度。進一步來說，不同的觸控電子裝置的觸控感測雜訊是有所差異的，但由於在進行神經網路模型訓練與實際使用經訓練神經網路模型時皆進行背景雜訊濾除處理(即減去特定背景圖幀的操作)，因而可提昇經訓練神經網路模型的辨識準確度。
圖8是依照本發明一實施例的物件資訊辨識系統的示意圖。物件資訊辨識系統S1包括用以訓練神經網路並產生經訓練神經網路模型M1的電子裝置80以及使用經訓練神經網路模型M1進行物件辨識的電子裝置10。經訓練神經網路模型M1包括神經網路架構與權重參數。電子裝置10的硬體與操作如同前述實施例所示，於此不贅述。
需說明的是，電子裝置80包括觸控面板810、儲存裝置 820，以及處理器830。然而，觸控面板810、儲存裝置820，以及處理器830的功能與耦接關係相似於電子裝置10的觸控面板110、儲存裝置120，以及處理器130，於此不再贅述。
圖9是依照本發明一實施例的利用觸控資料訓練神經網路的流程圖。請參照圖8與圖9，本實施例的方法適用於圖8中的物件資訊辨識系統S1，以下即搭配物件資訊辨識系統S1中的各項元件說明本實施例方法的詳細流程。
於步驟S901，觸控面板810在未有任何物件接觸另一觸控面板810的情況下進行觸控感測，以透過另一觸控面板810獲取另一特定背景圖幀。在一實施例中，透過另一觸控面板810獲取的另一特定背景圖幀相異於透過觸控面板110獲取的特定背景圖幀。於步驟S902，處理器830透過另一觸控面板810獲取多張訓練觸控感測圖幀。在模型訓練階段，這些訓練觸控感測圖幀是在將至少一種已知物件置放於觸控面板810上進行觸控感測而產生。舉例而言，多種不同型號的手機將可被放於觸控面板810上，並據以產生訓練觸控感測圖幀。
於步驟S903，處理器830將每一訓練觸控感測圖幀中多個第四圖幀胞元的觸控原始資料分別減去另一特定背景圖幀中多個第五圖幀胞元的觸控背景資料，而獲取多張去背訓練圖幀。於步驟S904，處理器830將去背訓練圖幀轉換為多張訓練影像。步驟S903與步驟S904的資料預處理相似於步驟S203與步驟S204的資料預處理。換言之，用以訓練神經網路的訓練影像集也是依 據與步驟S203~步驟S204相似的方式而產生。
此外，在模型訓練階段，這些訓練影像中的解答物件皆已經被框選並賦予解答資訊。於步驟S905，處理器830依據訓練影像訓練上經標示的多個解答物件與對應的解答資訊訓練神經網路而建構出經訓練神經網路模型M1。具體而言，處理器112可將訓練影像逐一輸入至神經網路模型。藉由比對神經網路模型依據訓練影像所產生的輸出與解答物件的解答資訊來計算出誤差。之後，藉由此誤差並以倒傳遞的方式，來調整網路中每一個網路層的權重。其誤差計算的方式(即：損失函數)例如是平方差或Softmax等等。於是，處理器112將逐步訓練出一套可用以偵測物件的規則(即經訓練神經網路模型M1的權重)，最終以建立出經訓練神經網路模型M1。於是，電子裝置10便可依據經訓練神經網路模型M1來辨識觸控物件30的物件資訊。
綜上所述，於本發明實施例中，觸控感測圖幀中的原始觸控資料可以被使用來辨識觸控物件的物件資訊，而非僅用於偵測觸控手勢或觸控筆的輸入。藉由讓觸控物件接觸或足夠靠近觸控面板，電子裝置可準確辨識出觸控物件的相關物件資訊，以利使用觸控物件的相關物件資訊執行其他後續應用。如此一來，使用者可以透過更直覺的操作方式讓電子裝置實現其他應用，以提高電子裝置的操作便利性。除此之外，藉由對觸控感測圖幀進行去噪處理，可以消弭觸控感測雜訊對影像辨識所帶來的不良影響，可提昇神經網路模型的辨識準確度。亦即，當使用觸控資料 與神經網路辨識物件資訊時，本發明實施例提供一種恰當的資料預處理，從而提昇神經網路模型的辨識準確度。此外，藉由使用觸控資料與神經網路辨識物件資訊，觸控物件之零組件的相關資訊也可被辨識。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201～S205：步驟

Claims (17)

  1. 一種利用觸控資料的物件資訊辨識方法，所述方法包括：在未有任何物件接觸一觸控面板的情況下進行觸控感測，以透過該觸控面板獲取一特定背景圖幀，其中該特定背景圖幀包括分別對應至多個觸控感測單元的多個第一圖幀胞元，該些第一圖幀胞元分別具有觸控背景資料；透過該觸控面板獲取一當前觸控感測圖幀，其中該當前觸控感測圖幀包括分別對應至該些觸控感測單元的多個第二圖幀胞元，每一該些第二圖幀胞元具有觸控原始資料；將該當前觸控感測圖幀中該些第二圖幀胞元的該些觸控原始資料分別減去該特定背景圖幀中該些第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的一去背圖幀；將該去背圖幀轉換為一觸控感測影像；以及將該觸控感測影像輸入至一經訓練神經網路模型而辨識一觸控物件的物件資訊。
  2. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中在未有任何物件接觸該觸控面板的情況下進行觸控感測，以透過該觸控面板獲取該特定背景圖幀的步驟包括：在未有任何物件接觸該觸控面板的情況下，透過該觸控面板獲取多張初始觸控感測圖幀；以及將該些初始觸控感測圖幀中位於相同胞元位置的多個第三圖 幀胞元的觸控原始資料進行一統計處理，以產生包括該些第一圖幀胞元的觸控背景資料的該特定背景圖幀。
  3. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中將該去背圖幀轉換為該觸控感測影像的步驟包括：取該去背圖幀中該些胞元值的最小胞元值；以及將該去背圖幀中每一該些胞元值減去該最小胞元值，而產生該觸控感測影像的多個像素。
  4. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中將該去背圖幀轉換為該觸控感測影像的步驟包括：對該去背圖幀中每一該些胞元值進行數值正規化操作，而產生該觸控感測影像的多個像素。
  5. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中將該觸控感測影像輸入至該經訓練神經網路模型而辨識該觸控物件的該物件資訊的步驟包括：依據該經訓練神經網路模型所規範的影像尺寸，對該觸控感測影像進行一影像放大處理，其中該影像尺寸為W*H，而W與H分別為2的冪次方。
  6. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中該經訓練神經網路模型為卷積層類神經網路(Convolution Neural Network，CNN)模型。
  7. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中該物件資訊包括物件類別、物件型號、物件位置或該觸控物件之零組件的位置。
  8. 如申請專利範圍第1項所述的利用觸控資料的物件資訊辨識方法，其中該經訓練神經網路模型是基於由另一觸控面板所產生的另一特定背景圖幀而產生。
  9. 如申請專利範圍第8項所述的利用觸控資料的物件資訊辨識方法，所述方法更包括：在未有任何物件接觸該另一觸控面板的情況下進行觸控感測，以透過該另一觸控面板獲取該另一特定背景圖幀；透過該另一觸控面板獲取多張訓練觸控感測圖幀；將每一該些訓練觸控感測圖幀中多個第四圖幀胞元的觸控原始資料分別減去該另一特定背景圖幀中多個第五圖幀胞元的觸控背景資料，而獲取多張去背訓練圖幀；將該些去背訓練圖幀轉換為多張訓練影像；以及依據該些訓練影像上經標示的多個解答物件與對應的解答資訊訓練神經網路而建構出該經訓練神經網路模型。
  10. 一種電子裝置，包括：一觸控面板，包括多個觸控感測單元；一儲存裝置，儲存多個指令；以及一處理器，耦接該觸控面板與該儲存裝置，經配置以執行該些指令以： 在未有任何物件接觸該觸控面板的情況下進行觸控感測，以透過該觸控面板獲取一特定背景圖幀，其中該特定背景圖幀包括分別對應至該些觸控感測單元的多個第一圖幀胞元，該些第一圖幀胞元分別具有觸控背景資料；透過該觸控面板獲取一當前觸控感測圖幀，其中該當前觸控感測圖幀包括分別對應至該些觸控感測單元的多個第二圖幀胞元，每一該些第二圖幀胞元具有觸控原始資料；將該當前觸控感測圖幀中該些第二圖幀胞元的該些觸控原始資料分別減去該特定背景圖幀中該些第一圖幀胞元的觸控背景資料，而獲取包括多個胞元值的一去背圖幀；將該去背圖幀轉換為一觸控感測影像；以及將該觸控感測影像輸入至一經訓練神經網路模型而辨識一觸控物件的物件資訊。
  11. 如申請專利範圍第10項所述的電子裝置，其中該處理器更經配置以：在未有任何物件接觸該觸控面板的情況下，透過該觸控面板獲取多張初始觸控感測圖幀；以及將該些初始觸控感測圖幀中位於相同胞元位置的多個第三圖幀胞元的觸控原始資料進行一統計處理，以產生包括該些第一圖幀胞元的觸控背景資料的該特定背景圖幀。
  12. 如申請專利範圍第10項所述的電子裝置，其中該處理器更經配置以： 取該去背圖幀中該些胞元值的最小胞元值；以及將該去背圖幀中每一該些胞元值減去該最小胞元值，而產生該觸控感測影像的多個像素。
  13. 如申請專利範圍第10項所述的電子裝置，其中該處理器更經配置以：對該去背圖幀中每一該些胞元值進行數值正規化操作，而產生該觸控感測影像的多個像素。
  14. 如申請專利範圍第10項所述的電子裝置，其中該處理器更經配置以：依據該經訓練神經網路模型所規範的影像尺寸，對該觸控感測影像進行一影像放大處理，其中該影像尺寸為W*H，而W與H分別為2的冪次方。
  15. 如申請專利範圍第10項所述的電子裝置，其中該經訓練神經網路模型為卷積層類神經網路(Convolution Neural Network，CNN)模型。
  16. 如申請專利範圍第10項所述的電子裝置，其中該物件資訊包括物件類別、物件型號、物件位置或該觸控物件之零組件的位置。
  17. 如申請專利範圍第10項所述的電子裝置，其中該經訓練神經網路模型是基於另一觸控面板所產生的另一特定背景圖幀而產生。
TW108137617A 2019-10-18 2019-10-18 電子裝置及其利用觸控資料的物件資訊辨識方法 TWI731442B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108137617A TWI731442B (zh) 2019-10-18 2019-10-18 電子裝置及其利用觸控資料的物件資訊辨識方法
US16/721,796 US11494045B2 (en) 2019-10-18 2019-12-19 Electronic apparatus and object information recognition method by using touch data thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108137617A TWI731442B (zh) 2019-10-18 2019-10-18 電子裝置及其利用觸控資料的物件資訊辨識方法

Publications (2)

Publication Number Publication Date
TW202117506A TW202117506A (zh) 2021-05-01
TWI731442B true TWI731442B (zh) 2021-06-21

Family

ID=75491132

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108137617A TWI731442B (zh) 2019-10-18 2019-10-18 電子裝置及其利用觸控資料的物件資訊辨識方法

Country Status (2)

Country Link
US (1) US11494045B2 (zh)
TW (1) TWI731442B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11513631B1 (en) * 2021-05-12 2022-11-29 Microsoft Technology Licensing, Llc Electrical noise estimation for touch-sensitive electrodes
CN116048294A (zh) * 2021-10-28 2023-05-02 上海思立微电子科技有限公司 触控检测装置及电子设备、触控检测方法
KR20230064137A (ko) 2021-11-03 2023-05-10 삼성전자주식회사 터치 센서에 대한 노이즈를 예측하는 디스플레이 장치 및 컴퓨팅 시스템
TWI811927B (zh) * 2021-12-28 2023-08-11 大陸商北京集創北方科技股份有限公司 觸控訊號處理方法、觸控晶片、觸控顯示裝置及資訊處理裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5857030A (en) * 1995-08-18 1999-01-05 Eastman Kodak Company Automated method and system for digital image processing of radiologic images utilizing artificial neural networks
US20110007946A1 (en) * 2000-11-24 2011-01-13 Clever Sys, Inc. Unified system and method for animal behavior characterization with training capabilities
TW201401181A (zh) * 2012-06-20 2014-01-01 Pixart Imaging Inc 適用於影像處理的更新背景方法
US20150310630A1 (en) * 2008-03-25 2015-10-29 International Business Machines Corporation Real time processing of video frames
TW201830957A (zh) * 2016-11-02 2018-08-16 豪威科技股份有限公司 用於具有背景去除的主動深度成像儀的系統和方法
WO2019035295A1 (ja) * 2017-08-18 2019-02-21 富士フイルム株式会社 原稿検出装置、原稿検出方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2734143C (en) * 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
WO2014064489A1 (en) * 2012-10-25 2014-05-01 Nokia Corporation Foreign object detection
US9470911B2 (en) * 2013-08-22 2016-10-18 Bespoke, Inc. Method and system to create products
US9626084B2 (en) * 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
UA96456U (uk) * 2014-07-23 2015-02-10 Petro Mohyla Black Sea State Univ Спосіб навчання нейронної мережі
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US10042031B2 (en) * 2015-02-11 2018-08-07 Xerox Corporation Method and system for detecting that an object of interest has re-entered a field of view of an imaging device
CN104916184B (zh) * 2015-06-16 2018-02-06 中国科学院自动化研究所 一种面向术前培训的虚拟手术模拟训练系统及其训练方法
CN106997236B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 基于多模态输入进行交互的方法和设备
DE112017002468T5 (de) * 2016-05-13 2019-01-24 Numenta, Inc. Schlussfolgern und Lernen basierend auf sensomotorischen Eingabedaten
US10204274B2 (en) * 2016-06-29 2019-02-12 Cellular South, Inc. Video to data
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
WO2018118597A1 (en) * 2016-12-23 2018-06-28 Magic Leap, Inc. Techniques for determining settings for a content capture device
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations
JP7061784B2 (ja) * 2017-01-19 2022-05-02 国立大学法人 香川大学 触覚センサ、触覚測定装置、学習済みモデル、および識別装置
US11058948B1 (en) * 2017-08-18 2021-07-13 Amazon Technologies, Inc. Predictive modeling for multiplayer gaming
JP6815295B2 (ja) * 2017-09-14 2021-01-20 株式会社東芝 保持装置、およびハンドリング装置
EP3698121A1 (de) * 2017-10-16 2020-08-26 Imprintec GmbH Vorrichtung und verfahren zur automatischen werkstückprüfung
KR102026703B1 (ko) * 2017-12-22 2019-09-30 한국기술교육대학교 산학협력단 햅틱 툴 시스템
CN110377175B (zh) * 2018-04-13 2023-02-03 矽统科技股份有限公司 触控面板上敲击事件的识别方法及系统，及终端触控产品
CN108595047A (zh) * 2018-04-20 2018-09-28 北京硬壳科技有限公司 触控物识别方法及装置
CN108572765B (zh) * 2018-04-20 2021-03-12 北京硬壳科技有限公司 触控识别方法及装置
US10592747B2 (en) * 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP7302764B2 (ja) * 2018-06-22 2023-07-04 ビュー， インコーポレイテッド データ通信のためのシステム、方法、装置、および、非一時コンピュータ可読プログラム命令、並びに、建物を運用するための装置
CN109145903A (zh) * 2018-08-22 2019-01-04 阿里巴巴集团控股有限公司 一种图像处理方法和装置
CN112789578A (zh) * 2018-09-28 2021-05-11 美国斯耐普公司 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统
US10802667B1 (en) * 2019-06-03 2020-10-13 Bank Of America Corporation Tactile response for user interaction with a three dimensional rendering
KR102192540B1 (ko) * 2019-08-02 2020-12-17 주식회사 토포로그 인터랙티브 콘텐츠 제공 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5857030A (en) * 1995-08-18 1999-01-05 Eastman Kodak Company Automated method and system for digital image processing of radiologic images utilizing artificial neural networks
US20110007946A1 (en) * 2000-11-24 2011-01-13 Clever Sys, Inc. Unified system and method for animal behavior characterization with training capabilities
US20150310630A1 (en) * 2008-03-25 2015-10-29 International Business Machines Corporation Real time processing of video frames
TW201401181A (zh) * 2012-06-20 2014-01-01 Pixart Imaging Inc 適用於影像處理的更新背景方法
TW201830957A (zh) * 2016-11-02 2018-08-16 豪威科技股份有限公司 用於具有背景去除的主動深度成像儀的系統和方法
WO2019035295A1 (ja) * 2017-08-18 2019-02-21 富士フイルム株式会社 原稿検出装置、原稿検出方法

Also Published As

Publication number Publication date
TW202117506A (zh) 2021-05-01
US20210117025A1 (en) 2021-04-22
US11494045B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
TWI731442B (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法
WO2019137038A1 (zh) 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
WO2021196389A1 (zh) 面部动作单元识别方法、装置、电子设备及存储介质
JP4790653B2 (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
WO2016206279A1 (zh) 触控显示装置及其触控方法
US11861808B2 (en) Electronic device, image processing method, and computer-readable recording medium
CN110751043A (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
JP2014075053A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
US20220019311A1 (en) Machine learning method and system for suppressing display induced noise in touch sensors using information from display circuitry
CN108596955A (zh) 一种图像检测方法、图像检测装置及移动终端
WO2015088840A1 (en) Object detection in optical sensor systems
WO2021092808A1 (zh) 网络模型的训练方法、图像的处理方法、装置及电子设备
US20180284941A1 (en) Information processing apparatus, information processing method, and program
CN115393251A (zh) 印制线路板的缺陷检测方法、装置、存储介质及电子设备
US10977476B2 (en) Dermatoglyphics data acquisition device, acquisition method thereof and display device
TWI718559B (zh) 光學式指紋感測方法、指紋識別裝置及資訊處理裝置
CN109891459A (zh) 图像处理装置、图像处理方法及计算机可读记录介质
US20170085784A1 (en) Method for image capturing and an electronic device using the method
US10713463B2 (en) Display method of user interface and electronic apparatus thereof
CN109165648B (zh) 一种图像处理方法、图像处理装置及移动终端
TWI715252B (zh) 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112764565B (zh) 电子装置及其利用触控数据的物件信息识别方法
CN112764594B (zh) 电子装置及其利用触控数据的物件信息识别方法
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
TWI602098B (zh) 觸控感測裝置及觸碰點的感測方法