TWI774258B - 用於使用者介面的處理系統及處理方法 - Google Patents

用於使用者介面的處理系統及處理方法 Download PDF

Info

Publication number
TWI774258B
TWI774258B TW110108096A TW110108096A TWI774258B TW I774258 B TWI774258 B TW I774258B TW 110108096 A TW110108096 A TW 110108096A TW 110108096 A TW110108096 A TW 110108096A TW I774258 B TWI774258 B TW I774258B
Authority
TW
Taiwan
Prior art keywords
button
user interface
processor
similarity
frame
Prior art date
Application number
TW110108096A
Other languages
English (en)
Other versions
TW202236076A (zh
Inventor
周開祥
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW110108096A priority Critical patent/TWI774258B/zh
Priority to US17/475,441 priority patent/US11455179B1/en
Application granted granted Critical
Publication of TWI774258B publication Critical patent/TWI774258B/zh
Publication of TW202236076A publication Critical patent/TW202236076A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Communication Control (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

本發明公開一種用於使用者介面的處理系統及處理方法。處理方法包括學習階段及應用階段。經過學習階段建立特定模型後，可在應用階段自動找出代表關閉、拒絕等特定意義的使用者介面進行強調處理。

Description

用於使用者介面的處理系統及處理方法
本發明涉及一種處理系統及處理方法，特別是涉及一種用於使用者介面的處理系統及處理方法。
隨著個人電腦的普及化以及網路的蓬勃發展，現代人已十分習慣利用個人電腦來處理各項事務，並透過個人電腦中的瀏覽器來瀏覽網路上的各種資訊。基於商業考量，目前大部分商業網站所提供的網頁中會夾帶許多與網頁內容相關或是與其他業者相關之各項商品或服務的廣告。每當使用者連結到這些網頁或於特定時機，廣告可能彈出而出現在使用者面前，藉此達到廣告行銷效果。
然而，無論是手機畫面，或是瀏覽器畫面，現在都很容易被廣告覆蓋。在部分情況下，蓋版廣告甚至使整個畫面幾乎沒有使用者想要觀看的內容，只剩下廣告與快顯視窗。
然而，在上述情況下，無論是用滑鼠或是觸控，甚至是遙控器操作，都有很高的機率誤按，然後被引導到不想看的畫面，浪費使用者時間與精神。
本發明所要解決的技術問題在於，針對現有技術的不足提供一種用於使用者介面的處理系統及處理方法，可自動尋找關閉選項並對其進行強調處理。
為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一種用於使用者介面的處理方法，包括：配置一處理器進入一學習階段，包括：配置該處理器擷取一使用者介面的一第一畫面；配置該處理器偵測是否有來自一輸入模組的一使用者輸入，其中，該使用者輸入對應於該使用者介面上的一輸入位置；響應於偵測到該使用者輸入，配置該處理器擷取該使用者介面的一第二畫面；配置該處理器比較該第一畫面及該第二畫面的差異處，並儲存至一記憶體； 配置該處理器執行一第一識別程序，以依據該輸入位置從該差異處偵測一封閉外框以作爲一按鍵物件；配置該處理器執行一第二識別程序，以從該按鍵物件中識別出一特徵物件；及配置該處理器將該按鍵物件關聯於該特徵物件，並儲存至該記憶體；以及配置該處理器進入一應用階段，包括：配置該處理器擷取該使用者介面的一當前畫面，並以該第一識別程序偵測該按鍵物件是否存在於該當前畫面中；響應於偵測到該按鍵物件存在於該當前畫面中，配置該處理器執行該第二識別程序，以判斷該按鍵物件是否存在該特徵物件；及響應於該按鍵物件存在該特徵物件，配置該處理器於該使用者介面的該當前畫面中對該按鍵物件執行一強調處理。
為了解決上述的技術問題，本發明所採用的另外一技術方案是提供一種用於使用者介面的處理系統，包括一使用者介面、一輸入模組、記憶體及處理器。處理器經配置以進入一學習階段及一應用階段。其中，在該學習階段中，該處理器經配置以：擷取該使用者介面的一第一畫面；偵測是否有來自該輸入模組的一使用者輸入，其中，該使用者輸入對應於該使用者介面上的一輸入位置；響應於偵測到該使用者輸入，擷取該使用者介面的一第二畫面；比較該第一畫面及該第二畫面的差異處，並儲存至一記憶體； 執行一第一識別程序，以依據該輸入位置從該差異處偵測一封閉外框以作爲一按鍵物件；執行一第二識別程序，以從該按鍵物件中識別出一特徵物件；及將該按鍵物件關聯於該特徵物件，並儲存至該記憶體。其中，在該應用階段中，該處理器經配置以：擷取該使用者介面的一當前畫面，並以該第一識別程序偵測該按鍵物件是否存在於該當前畫面中；響應於偵測到該按鍵物件存在於該當前畫面中，執行該第二識別程序，以判斷該按鍵物件是否存在該特徵物件；及響應於該按鍵物件存在該特徵物件，於該使用者介面的該當前畫面中對該按鍵物件執行一強調處理。
本發明的其中一有益效果在於，本發明所提供的用於使用者介面的處理系統及處理方法，經過學習階段建立特定模型後，可自動找出代表關閉、拒絕等特定意義的使用者介面進行強調處理，以將感應範圍加大或是動態放大、著色、閃爍等，進而可提示使用者可以在這裡關閉不需要的廣告或視窗，以減少使用者誤觸的機會，同時減少浪費使用者的時間與精神。
此外，針對不同類型的按鍵，例如帶有文字物件或圖形物件的按鍵物件，本發明所提供的用於使用者介面的處理系統及處理方法均可針對上述物件的特徵進行針對式的學習，更甚至可針對非按鍵類型的物件進行學習，提升使用者在系統學習上的自由度。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明所公開有關“用於使用者介面的處理系統及處理方法”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
圖1為根據本發明實施例繪示的用於使用者介面的處理系統的功能方塊圖。參閱圖1所示，本發明實施例提供一種用於使用者介面的處理系統1，包括使用者介面10、輸入模組12、記憶體14及處理器16。
處理系統1例如是桌上型電腦、筆記型電腦、智慧型手機、平板電腦、遊戲機、電子書或智慧電視等等，本發明對此並不限制。
使用者介面10可例如是液晶顯示器（Liquid Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器、場發射顯示器（Field Emission Display，FED）、有機發光二極體（Organic Light-Emitting Diode，OLED）或其他種類的顯示器，本發明並不限制於此。在其他實施例中，使用者介面10可例如為處理器16於作業系統中執行的瀏覽器。
輸入模組12用以接收使用者下達的使用者操作，例如是滑鼠、鍵盤、觸控裝置或遙控器等等。
記憶體14用以儲存影像、程式碼、軟體模組等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
處理器16例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）、圖形處理器（Graphics Processing Unit，GPU或其他類似裝置或這些裝置的組合。處理器16可執行記錄於記憶體14中的程式碼、軟體模組、指令等等，以實現本發明實施例的廣告自動關閉方法。
圖2及圖3為根據本發明實施例繪示的用於使用者介面的處理方法的第一流程圖及第二流程圖。請參照圖2及圖3，本實施例的處理方法適用於上述實施例中的處理系統1，以下即搭配處理系統1中的各項元件說明本實施例用於使用者介面的處理方法的詳細步驟。
處理方法包括學習階段及應用階段，如圖2所示，學習階段可包括配置處理器16執行下列步驟：
步驟S20：擷取使用者介面10的第一畫面。舉例而言，可參閱圖4A，其爲根據本發明實施例的使用者介面的第一畫面的示意圖。其中，圖4A顯示了一行動裝置的瀏覽器畫面，圖上有一個伴隨著關閉選項的橫幅廣告區域，指示加入會員。
步驟S21：偵測是否有來自輸入模組12的使用者輸入inp。其中，如圖4A所示，使用者輸入inp對應於使用者介面10上的輸入位置。舉例而言，使用者輸入inp可例如通過掃描按鍵輸入來獲得，包括觸控輸入或遙控器輸入，並記錄此使用者輸入對應的鍵碼值(Key code)以及對應的輸入位置，例如，於使用者介面10上的座標。
響應於在步驟S21偵測到使用者輸入inp，進入步驟S22：擷取使用者介面10的第二畫面。可參閱圖4B，其爲根據本發明實施例的使用者介面的第二畫面的示意圖。其中，圖4B同樣顯示了一行動裝置的瀏覽器畫面，經過使用者點擊圖4A的關閉選項後，橫幅廣告區域消失。
響應於在步驟S21並未偵測到使用者輸入inp，則重複執行步驟S21直到偵測到使用者輸入inp，進入步驟S22。
詳細而言，步驟S20至S22主要是記錄使用者輸入後畫面的變化。例如，當網頁頁面上出現廣告區塊及伴隨的關閉選項，當使用者通過輸入模組12對關閉選項進行操作時，記錄此使用者輸入inp以及畫面產生的變化。可選的，可通過使用者介面10詢問使用者是否自動記錄此關聯性，或者可以自動同意記錄此關聯性。
步驟S23：比較第一畫面及第二畫面的差異處，並儲存至記憶體14。舉例而言，可將消失的廣告橫幅區域(包括關閉選項部分)視爲差異處並進行儲存。
步驟S24：執行第一識別程序，以依據輸入位置從差異處偵測封閉外框以作爲按鍵物件。第一識別程序可例如爲影像處理方法，將在下文中舉例說明。
可參閱圖5，其爲根據本發明實施例的第一識別程序的流程圖。如圖5所示，在一些實施例中，第一識別程序可包括：
步驟S50：根據輸入位置，執行斑點檢測(Blob Detection)程序，以輸入位置爲中心向外尋找封閉外框。在視覺領域，斑點檢測的主要概念在於從影像中檢測出比周圍像素的灰度值大或比周圍像素的灰度值小的區域，但本發明不限於此種影像處理方法。
步驟S51：以封閉外框為基準，加上設定餘量以取得按鍵外框。例如，以圖4A的關閉選項來說，此步驟將該選項外圍的圓圈視爲封閉外框，並由使用者設定或是預設的距離作爲設定餘量向外延伸，以產生按鍵外框。
步驟S52：將按鍵外框對應的擷取影像作爲按鍵物件。例如，以取得的按鍵外框對圖4A的第一畫面進行擷取，並將擷取的部分影像作爲按鍵物件。
請復參閱圖2，處理方法進入步驟S25：執行第二識別程序，以從按鍵物件中識別出特徵物件。詳細而言，此步驟可依據按鍵物件的內容不同，採用不同的識別方式，例如，針對按鍵物件中為文字，可使用文字識別，針對按鍵物件中為圖像，則使用圖像識別。
更詳細而言，可參閱圖6，其爲根據本發明實施例的第二識別程序的第一流程圖。如圖6所示，第二識別程序包括：
步驟S60：對第一識別程序取得的按鍵物件執行二值化前處理。詳細而言，考慮按鍵物件中的文字可能反白、 加邊框或是使用其他顏色來表示，因此，需要對按鍵物件進行二值化前處理後再行識別。然而，一般情況下，按鍵物件中的文字通常是要讓使用者便於閱讀，而不會刻意加入機器人阻擋機制，因此，此步驟不需要更高難度的影像前處理方式，但本發明不限於此。
步驟S61：執行文字識別程序以從經前處理的按鍵物件識別出文字物件，以作爲特徵物件。在此步驟中，文字識別程序可例如為光學文字識別(Optical Character Recognition, OCR)方式，此外，除了辨識個別文字之外，文字識別程序更可包括單字校正機制或短文校正機制。
此外，可參閱圖7，其爲根據本發明實施例的第二識別程序的第二流程圖。如圖7所示，第二識別程序包括：
步驟S70：執行圖形識別程序，以從按鍵物件識別出至少一圖形物件以作爲特徵物件。
在一些實施例中，圖形識別程序可涉及通過機器學習模型來辨識圖像特徵。例如，圖形識別程序可包括步驟S71：將第一識別程序取得的按鍵物件輸入機器學習模型，以訓練機器學習模型將包括圖形物件的按鍵物件分類爲按鍵圖形類別。
舉例而言，可利用機器學習模型(例如，YOLO V3模型)識別出按鍵物件中的圖形物件。在其他實施例中，機器學習模型可以是深度學習中的CNN模型、使用NMS算法的模型或其他可用以進行物件偵測的機器學習模型，本發明不限於此。
更詳細而言，用以辨識圖形物件的機器學習模型可由許多包括圖形物件的按鍵物件訓練而得。於機器學習模型的訓練過程中，可收集大量的按鍵物件的影像，並將大量的按鍵物件的影像輸入至機器學習模型來逐步訓練出一套可用以預測圖形物件的規則（即機器學習模型的參數），最終以建立出可用以偵測出圖形物件的機器學習模型。
請復參閱圖2，學習階段進入步驟S26：將按鍵物件關聯於特徵物件，並儲存至記憶體14，以用於後續的應用階段。
此外，響應於在步驟S23中，未從該差異處偵測到封閉外框，學習階段進入步驟S27：配置處理器執行第三識別程序，以從差異處識別出特徵物件。
在本發明的實施例中，第三識別程序包括執行一圖形識別程序(例如，前述的YOLO V3模型)。一般而言，特徵物件包括多個圖形物件，圖形識別程序可例如執行步驟S28：將差異處輸入機器學習模型，以訓練機器學習模型將差異處的圖形物件取出作爲物件串並儲存於記憶體中。
詳細而言，當無法偵測到封閉外框，亦可直接取出差異處作爲學習對象。例如，可以將整張截圖縮圖至固定大小，例如 400x400，並輸入機器學習模型以針對截圖進行訓練，以在後續應用階段中無法偵測到封閉外框時，可直接以圖比圖。
另一方面，如將計算量與儲存空間納入考量，在使用機器學習模型時，可進一步對差異處進行特徵偵測，並偵測到的特徵物件，例如房子、汽車、人物（在特定實施例中，也可以包括按鍵） 進行記錄以作爲物件串，例如，每個物件以MPEG-4標準中的視訊物件(Video Object)進行儲存，以形成物件串。
經過上述學習階段後，處理方法可進入應用階段。需要說明的是，上述學習階段意指為在線(On-line)學習，且主要是指使用者使用自己的裝置或平台進行學習，並自行建立資料庫。相對的，在其他實施例中，亦可採用離線(Off-line)學習，其指的是使用者可通過網路直接使用雲端的已經過學習的資料庫，而不用重新學習，且本發明不限於此。
另一方面，可進一步參閱圖3，應用階段包括配置處理器16以執行下列步驟：
步驟S30：擷取使用者介面的當前畫面。
步驟S31：通過第一識別程序偵測按鍵物件是否存在於當前畫面中。類似的，可通過步驟S50至S52判斷按鍵物件是否存在，在此不再贅述。需要說明的是，此步驟可先判斷當前畫面中是否存在按鍵外框，並與在學習階段中學習過的按鍵外框進行比對，以判斷按鍵物件是否存在。
響應於偵測到按鍵物件存在於當前畫面中，進入步驟S32：執行第二識別程序，以判斷按鍵物件是否存在特徵物件。誠如上文提到的，可依據按鍵物件的內容不同，採用不同的識別方式，換言之，在進行應用時亦是依據相同原理。
因此，可進一步參考圖8，其爲根據本發明實施例的應用階段的另一流程圖。在應用階段中，判斷按鍵物件是否存在特徵物件的步驟更包括：
步驟S80：對按鍵物件執行二值化前處理。
步驟S81：執行文字識別程序以從經前處理的按鍵物件識別出另一文字物件，並計算文字物件與另一文字物件的相似度。
舉例而言，可計算步驟S81識別出的文字物件與記憶體14中的文字物件相似的機率百分比(例如，信心分數)，或是計算兩者之間的誤差距離。其中，信心分數越高或者誤差距離越低，代表相似程度越高。並且，比對的方式可爲逐字比對或是逐字串比對，本發明不在此贅述。
步驟S82：判斷相似度是否大於預定相似度。可由使用者設定預定相似度，當高於一定程度即判斷步驟S81識別出的文字物件與記憶體14中的文字物件為相同的。
響應於相似度大於預定相似度，進入步驟S83：判斷按鍵物件存在特徵物件。
另一方面，可進一步參考圖9，其爲根據本發明實施例的應用階段的又一流程圖。在本實施例中，應用階段中判斷按鍵物件是否存在特徵物件的步驟更包括：
步驟S90：執行圖形識別程序以從按鍵物件識別出另一圖形物件，並計算至少一圖形物件與另一圖形物件的相似度。此步驟中，圖形識別程序可爲前述學習階段中經訓練的機器學習模型，藉由將步驟S31偵測到的按鍵物件輸入經訓練的機器學習模型，以判斷此按鍵物件是否會被分類為先前步驟中建立的按鍵類別。
步驟S91：判斷相似度是否大於預定相似度。
詳細而言，可進一步考慮圖形物件的面積，並在計算相似度時進行加權。舉例來說，可將步驟S31偵測到的按鍵物件的座標一併納入考量，例如，通過判斷記憶體中，圖形物件的左上方座標及右下方座標，來估計所學習的圖形物件的面積，同時在步驟90中識別出圖形物件時，判斷其左上方座標及右下方座標來估計當前畫面中圖形物件的面積，並考慮面積差異，並在計算相似度時以面積差異進行加權，進而計算相似度。
響應於相似度大於預定相似度，進入步驟S92：判斷按鍵物件存在特徵物件。
響應於按鍵物件存在特徵物件，進入步驟S33：於使用者介面的當前畫面中對按鍵物件執行強調處理。
可參考圖10，其爲依據本發明實施例繪示的強調處理的多個示例。如圖10所示，強調處理可包括將所偵測到的特徵物件放大、閃爍、著色或是其他醒目方式標明，亦可包括增加關閉選項的感應範圍，如圖10的斜線部分所示。在特定實施例中，亦可設定自動為使用者點選關閉選項，例如，可將學習階段中記錄的使用者輸入inp(例如，輸入對應的鍵碼值(Key code)以及對應的輸入位置)自動應用於關閉選項。
請復參考圖3，應用階段還可包括步驟S34：以第三識別程序偵測物件串是否存在於當前畫面中。此步驟的第三識別程序可包括執行步驟28所訓練出的圖形識別程序(例如，前述的YOLO V3模型)，藉此判斷先前學習階段中所記錄的物件串是否存在於當前畫面中。
響應於物件串存在於當前畫面中，進入步驟S35：於使用者介面的當前畫面中對物件串執行強調處理。
[實施例的有益效果]
本發明的其中一有益效果在於，本發明所提供的用於使用者介面的處理系統及處理方法，經過學習階段建立特定模型後，可在應用階段自動找出代表關閉、拒絕等特定意義的使用者介面進行強調處理，以將感應範圍加大或是動態放大、著色、閃爍等，進而可提示使用者可以在這裡關閉不需要的廣告或視窗，以減少使用者誤觸的機會，同時減少浪費使用者的時間與精神。
此外，針對不同類型的按鍵，例如帶有文字物件或圖形物件的按鍵物件，本發明所提供的用於使用者介面的處理系統及處理方法均可針對上述物件的特徵進行針對式的學習，更甚至可針對非按鍵類型的物件進行學習，提升使用者在系統學習上的自由度。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
1:處理系統 10:使用者介面 12:輸入模組 14:記憶體 16:處理器
圖1為根據本發明實施例繪示的用於使用者介面的處理系統的功能方塊圖。
圖2為根據本發明實施例繪示的用於使用者介面的處理方法的第一流程圖。
圖3為根據本發明實施例繪示的用於使用者介面的處理方法的第二流程圖。
圖4A爲根據本發明實施例的使用者介面的第一畫面的示意圖。
圖4B爲根據本發明實施例的使用者介面的第二畫面的示意圖。
圖5爲根據本發明實施例的第一識別程序的流程圖。
圖6爲根據本發明實施例的第二識別程序的第一流程圖。
圖7爲根據本發明實施例的第二識別程序的第二流程圖。
圖8爲根據本發明實施例的應用階段的另一流程圖。
圖9爲根據本發明實施例的應用階段的又一流程圖。
圖10爲依據本發明實施例繪示的強調處理的多個示例。
代表圖為流程圖，故無符號簡單說明。

Claims (10)

  1. 一種用於使用者介面的處理方法，包括： 配置一處理器進入一學習階段，包括： 配置該處理器擷取一使用者介面的一第一畫面； 配置該處理器偵測是否有來自一輸入模組的一使用者輸入，其中，該使用者輸入對應於該使用者介面上的一輸入位置； 響應於偵測到該使用者輸入，配置該處理器擷取該使用者介面的一第二畫面； 配置該處理器比較該第一畫面及該第二畫面的差異處，並儲存至一記憶體； 配置該處理器執行一第一識別程序，以依據該輸入位置從該差異處偵測一封閉外框以作爲一按鍵物件； 配置該處理器執行一第二識別程序，以從該按鍵物件中識別出一特徵物件；及 配置該處理器將該按鍵物件關聯於該特徵物件，並儲存至該記憶體；以及 配置該處理器進入一應用階段，包括： 配置該處理器擷取該使用者介面的一當前畫面，並以該第一識別程序偵測該按鍵物件是否存在於該當前畫面中； 響應於偵測到該按鍵物件存在於該當前畫面中，配置該處理器執行該第二識別程序，以判斷該按鍵物件是否存在該特徵物件；及 響應於該按鍵物件存在該特徵物件，配置該處理器於該使用者介面的該當前畫面中對該按鍵物件執行一強調處理。
  2. 如請求項1所述的處理方法，其中該第一識別程序包括： 根據該輸入位置，執行一斑點檢測(Bolb Detection)程序，以該輸入位置爲中心向外尋找該封閉外框； 以該封閉外框為基準，加上一設定餘量以取得一按鍵外框；以及 將該按鍵外框對應的擷取影像作爲該按鍵物件。
  3. 如請求項1所述的處理方法，其中該第二識別程序包括： 對該第一識別程序取得的該按鍵物件執行一二值化前處理；及 執行一文字識別程序以從經前處理的該按鍵物件識別出一文字物件，以作爲該特徵物件。
  4. 如請求項3所述的處理方法，其中，在該應用階段中，判斷該按鍵物件是否存在該特徵物件的步驟更包括： 對該按鍵物件執行該二值化前處理； 執行該文字識別程序以從經前處理的該按鍵物件識別出另一文字物件，並計算該文字物件與該另一文字物件的相似度，並判斷該相似度是否大於一預定相似度； 以及 響應於該相似度大於該預定相似度，判斷該按鍵物件存在該特徵物件。
  5. 如請求項1所述的處理方法，其中該第二識別程序包括： 執行一圖形識別程序，以從該按鍵物件識別出至少一圖形物件以作爲該特徵物件。
  6. 如請求項5所述的處理方法，其中，在該應用階段中，判斷該按鍵物件是否存在該特徵物件的步驟更包括： 執行該圖形識別程序以從該按鍵物件識別出另一圖形物件，並計算該至少一圖形物件與該另一圖形物件的相似度，並判斷該相似度是否大於一預定相似度； 以及 響應於該相似度大於該預定相似度，判斷該按鍵物件存在該特徵物件。
  7. 如請求項5所述的處理方法，該圖形識別程序包括將該第一識別程序取得的該按鍵物件輸入一機器學習模型，以訓練該機器學習模型將包括該圖形物件的該按鍵物件分類爲一按鍵圖形類別。
  8. 如請求項7所述的處理方法，其中，在該應用階段中，判斷該按鍵物件是否存在該特徵物件的步驟更包括： 將該按鍵物件輸入經訓練的該機器學習模型； 通過經訓練的該機器學習模型從該按鍵物件識別出另一圖形物件，並計算該至少一圖形物件與該另一圖形物件的相似度，並判斷該相似度是否大於一預定相似度； 以及 響應於該相似度大於該預定相似度，判斷該按鍵物件存在該特徵物件。
  9. 如請求項1所述的處理方法，更包括： 響應於未從該差異處偵測到該封閉外框，配置該處理器執行一第三識別程序，以從該差異處識別出該特徵物件。
  10. 一種用於使用者介面的處理系統，包括： 一使用者介面； 一輸入模組； 一記憶體；以及 一處理器，經配置以進入一學習階段及一應用階段， 其中，在該學習階段中，該處理器經配置以： 擷取該使用者介面的一第一畫面； 偵測是否有來自該輸入模組的一使用者輸入，其中，該使用者輸入對應於該使用者介面上的一輸入位置； 響應於偵測到該使用者輸入，擷取該使用者介面的一第二畫面； 比較該第一畫面及該第二畫面的差異處，並儲存至一記憶體； 執行一第一識別程序，以依據該輸入位置從該差異處偵測一封閉外框以作爲一按鍵物件； 執行一第二識別程序，以從該按鍵物件中識別出一特徵物件；及 將該按鍵物件關聯於該特徵物件，並儲存至該記憶體， 其中，在該應用階段中，該處理器經配置以： 擷取該使用者介面的一當前畫面，並以該第一識別程序偵測該按鍵物件是否存在於該當前畫面中； 響應於偵測到該按鍵物件存在於該當前畫面中，執行該第二識別程序，以判斷該按鍵物件是否存在該特徵物件；及 響應於該按鍵物件存在該特徵物件，於該使用者介面的該當前畫面中對該按鍵物件執行一強調處理。
TW110108096A 2021-03-08 2021-03-08 用於使用者介面的處理系統及處理方法 TWI774258B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110108096A TWI774258B (zh) 2021-03-08 2021-03-08 用於使用者介面的處理系統及處理方法
US17/475,441 US11455179B1 (en) 2021-03-08 2021-09-15 Processing system and processing method for performing emphasis process on button object of user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110108096A TWI774258B (zh) 2021-03-08 2021-03-08 用於使用者介面的處理系統及處理方法

Publications (2)

Publication Number Publication Date
TWI774258B true TWI774258B (zh) 2022-08-11
TW202236076A TW202236076A (zh) 2022-09-16

Family

ID=83116159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108096A TWI774258B (zh) 2021-03-08 2021-03-08 用於使用者介面的處理系統及處理方法

Country Status (2)

Country Link
US (1) US11455179B1 (zh)
TW (1) TWI774258B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1675869S (zh) * 2019-11-20 2021-01-04

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053776A (zh) * 2009-10-29 2011-05-11 深圳富泰宏精密工业有限公司 桌面管理系统及方法
CN102196161A (zh) * 2010-03-02 2011-09-21 佳能企业股份有限公司 数字放大影像的方法及图形使用者介面的操作方法
TW201239742A (en) * 2011-02-18 2012-10-01 Sony Corp Method and apparatus for navigating a hierarchical menu based user interface
TW201331815A (zh) * 2012-01-20 2013-08-01 Acer Inc 圖形化介面的選取方法與系統
TW201737134A (zh) * 2016-03-17 2017-10-16 艾維吉隆股份有限公司 用於藉由機器學習訓練物件分類器之系統及方法
CN112363919A (zh) * 2020-11-02 2021-02-12 北京云测信息技术有限公司 用户界面ai自动化测试方法、装置、设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7191407B1 (en) * 2000-07-12 2007-03-13 International Business Machines Corporation Method and apparatus for learning computer interface attributes
US8441476B2 (en) * 2007-11-16 2013-05-14 Sportvision, Inc. Image repair interface for providing virtual viewpoints
US10853903B1 (en) * 2016-09-26 2020-12-01 Digimarc Corporation Detection of encoded signals and icons
US11257198B1 (en) * 2017-04-28 2022-02-22 Digimarc Corporation Detection of encoded signals and icons
US11042784B2 (en) * 2017-09-15 2021-06-22 M37 Inc. Machine learning system and method for determining or inferring user action and intent based on screen image analysis
US10970577B1 (en) * 2017-09-29 2021-04-06 Snap Inc. Machine learned single image icon identification
US11842572B2 (en) * 2018-06-21 2023-12-12 Baseline Vision Ltd. Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation
US11270423B2 (en) * 2018-07-12 2022-03-08 TerraClear Inc. Object collection system and method
KR102046134B1 (ko) * 2019-04-02 2019-11-18 주식회사 루닛 복수의 이미지 간 차이점을 활용한 신경망 학습 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053776A (zh) * 2009-10-29 2011-05-11 深圳富泰宏精密工业有限公司 桌面管理系统及方法
CN102196161A (zh) * 2010-03-02 2011-09-21 佳能企业股份有限公司 数字放大影像的方法及图形使用者介面的操作方法
TW201239742A (en) * 2011-02-18 2012-10-01 Sony Corp Method and apparatus for navigating a hierarchical menu based user interface
TW201331815A (zh) * 2012-01-20 2013-08-01 Acer Inc 圖形化介面的選取方法與系統
TW201737134A (zh) * 2016-03-17 2017-10-16 艾維吉隆股份有限公司 用於藉由機器學習訓練物件分類器之系統及方法
CN112363919A (zh) * 2020-11-02 2021-02-12 北京云测信息技术有限公司 用户界面ai自动化测试方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US11455179B1 (en) 2022-09-27
TW202236076A (zh) 2022-09-16
US20220283824A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US10262356B2 (en) Methods and arrangements including data migration among computing platforms, e.g. through use of steganographic screen encoding
US9922431B2 (en) Providing overlays based on text in a live camera view
US10013624B2 (en) Text entity recognition
US8549418B2 (en) Projected display to enhance computer device use
JP6502923B2 (ja) コンピューティングデバイスのための認識インターフェース
JP2018536926A (ja) 手書き図入力を導くシステム及び方法
CN109358922B (zh) 一种个性化菜单展示方法、装置、智能终端及存储介质
CN102165404B (zh) 物体检测与用户设置
WO2021097750A1 (zh) 人体姿态的识别方法、装置、存储介质及电子设备
CN111243061B (zh) 一种商品图片的生成方法、装置、系统
US20210072880A1 (en) Method and electronic device for generating at least one data item from screenshot
US20210081104A1 (en) Electronic apparatus and controlling method thereof
CN116168038B (zh) 一种图像翻拍检测的方法、装置、电子设备及存储介质
US10621237B1 (en) Contextual overlay for documents
TWI774258B (zh) 用於使用者介面的處理系統及處理方法
US20190114065A1 (en) Method for creating partial screenshot
TWI704804B (zh) 電子裝置及其廣告自動關閉方法
CN114067797A (zh) 一种语音控制方法、装置、设备以及计算机存储介质
US20220335114A1 (en) Verification method and verification apparatus based on attacking image style transfer
CN115080837A (zh) 用于用户接口的处理系统及处理方法
CN111694477B (zh) 标签处理方法、装置及电子设备
JP6734445B2 (ja) データ入力装置、データ入力方法及びデータ入力プログラム
CN113138676A (zh) 表情符号显示方法及装置
CN115004261A (zh) 文本行检测
CN103699890A (zh) 一种扫描输入装置及扫描输入方法