TWI685816B - 圖像處理方法和相關的圖像處理裝置 - Google Patents

圖像處理方法和相關的圖像處理裝置 Download PDF

Info

Publication number
TWI685816B
TWI685816B TW107144761A TW107144761A TWI685816B TW I685816 B TWI685816 B TW I685816B TW 107144761 A TW107144761 A TW 107144761A TW 107144761 A TW107144761 A TW 107144761A TW I685816 B TWI685816 B TW I685816B
Authority
TW
Taiwan
Prior art keywords
objects
group
command
video
display device
Prior art date
Application number
TW107144761A
Other languages
English (en)
Other versions
TW201939435A (zh
Inventor
詹尊善
邱劭農
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201939435A publication Critical patent/TW201939435A/zh
Application granted granted Critical
Publication of TWI685816B publication Critical patent/TWI685816B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供了一種圖像處理方法和相關的圖像處理裝置。圖像處理方法包括通過裝置的處理器在顯示設備上播放視訊；處理器接收第一命令一次或多次；響應於接收第一命令一次或多次，由處理器執行關於視訊中的多個對象的分層方式的對象檢測。本發明的圖像處理方法和相關的圖像處理裝置能夠容易的找到用戶感興趣的對象。

Description

圖像處理方法和相關的圖像處理裝置
本發明涉及圖像中的對象檢測和選擇。特別地，本發明涉及用於檢測和選擇圖像中的對象的分層(hierarchical)方法。
除非本文另有說明，否則本部分中描述的方法不是後面列出的申請專利範圍的現有技術，並且不通過包含在本部分中而被認為是先前技術。
在可以在顯示設備上顯示以供用戶觀看的數位圖像中，可以利用人工智慧(AI)演算法來檢測圖像中的對象，以及在每個檢測到的對象周圍顯示框架或框，以突出顯示每個檢測到的對象。然而，當圖像中存在大量不同種類的對象和/或大量對象時，AI演算法對圖像中的所有對象執行對象檢測所需的計算時間和功率量可能過量。此外，由於用戶可能僅對圖像中的一個或幾個突出顯示的對象感興趣，因此通常不必檢測和突出顯示圖像中的所有對象。此外，由於圍繞檢測到的對象具有使用框架(frame)或框(box)突出顯示的大量對象，用戶查看圖像中的對象以查找和觀看感興趣的一個或多個對象可能是困難且耗時的。
有鑒於此，本發明提供以下技術方案： 根據本發明的第一方面，公開了一種圖像處理方法，包括通過裝置的處理器在顯示設備上播放視訊；處理器接收第一命令一次或多次；響應於接收第一命令一次或多次，由處理器執行關於視訊中的多個對象的分層方式的對象檢測。
根據本發明的第二方面，公開了一種圖像處理裝置，包括：顯示設備；以及處理器，通訊地耦合到所述顯示設備，所述處理器能夠：在所述顯示設備上播放視訊；一次或多次接收第一個命令；響應於一次或多次接收所述第一命令，相對於所述視訊中的多個對象以分層方式執行對象檢測。
本發明的圖像處理方法和相關的圖像處理裝置能夠容易的找到用戶感興趣的對象。
本發明的這些和其它目的在閱讀以下各個附圖和附圖中所示的優選實施例的詳細描述後，對於所屬領域具有通常知識者來說無疑將變得顯而易見。
100、200‧‧‧場景
105‧‧‧視訊圖像
110‧‧‧人
120‧‧‧汽車
112‧‧‧頭部
114‧‧‧上身
116‧‧‧下身
142‧‧‧領帶
144‧‧‧手帕
146‧‧‧紐扣
148‧‧‧手錶
150‧‧‧畫中畫
300‧‧‧操作流程
310~380、510~530‧‧‧塊
400‧‧‧系統
405‧‧‧裝置
410‧‧‧處理器
412‧‧‧分層對象檢測和選擇模塊
414‧‧‧顯示控制模塊
420‧‧‧顯示設備
430‧‧‧第一通訊設備
440‧‧‧第二通訊設備
450‧‧‧用戶接口設備
460‧‧‧用戶設備
470‧‧‧網路
472‧‧‧資料源
474‧‧‧在綫商店
500‧‧‧過程
5310~5350‧‧‧子塊
第1圖示出了根據本發明的實現的示例場景。
第2圖示出了根據本發明的實現的示例場景。
第3圖示出了根據本發明實施例的用於低複雜度檢測的方法的示例操作流程。
第4圖示出了根據本發明的實現的示例系統。
第5圖示出了根據本發明的實現的示例過程。
在以下詳細描述中，通過示例闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化，衍生物和/或擴展都在本 發明的保護範圍內。在一些實例中，可以在沒有細節的情況下以相對高的級別描述與本文公開的一個或多個示例實現有關的公知方法、過程、組件和/或電路，以避免不必要地模糊本發明的教導的各方面。
第1圖示出了根據本發明的實現的示例場景100。場景100可以涉及根據本發明的視訊中的對象的分層對象檢測。場景100可以在正在顯示設備上播放的視訊上實現。
參考第1圖的部分(A1)，當視訊正在顯示設備上播放時，(例如，通過諸如智慧顯示器或智慧電視(TV)的裝置的處理器)可以第一次接收用戶命令(例如，由於用戶按下遙控器上的“暫停”按鈕或智慧手機或顯示設備的觸摸面板上的“暫停”按鈕的圖標)。也就是說，用戶命令可以由用戶通過遙控器輸入。或者，用戶命令可以由用戶通過顯示視訊圖像105的智慧手機或顯示設備的觸摸板輸入。又或者，用戶命令可以是用戶使用手勢輸入的手勢控制。手勢可以是無觸摸手勢(例如，諸如手指的移動、用戶的手或眼睛的空中手勢)或觸摸感應手勢(例如，涉及在觸摸感應屏幕上的觸摸和/或移動的手勢)，以及手勢的圖案(例如，用戶的手指、手或眼睛移動的路徑)可以匹配對應於用戶命令(例如，“暫停”)的預定義模式。在接收到用戶命令時，可以暫停在顯示設備上播放視訊，並且可以執行分層對象檢測。參考第1圖的部分(A2)，在該示例中，暫停視訊的視訊圖像105示出了人110和汽車120。因此，在分層對象檢測的第一級別，人110和汽車120可被檢測為視訊圖像105中的兩個頂級或第一級對象。此外，視訊圖像105中的人110和汽車120中的每一個可以以各自的方式被突出顯示。例如，人110可以用圍繞人110的第一框架或框突出顯示，並且汽車120可以用環繞汽車120的第二框架或框突出顯示。第一框架或框可以以第一顏色、樣式(例如，粗綫或細綫，實綫或虛綫)和/或亮度顯示，第二框架或框可以以不同於第一框架或框的第二顏色、樣式和/或亮度顯示。在第1圖的部分(A2)中所 示的示例中，人110通過圍繞人110的一條粗實綫突出顯示，而汽車120由圍繞汽車120的一條粗虛綫突出顯示。
此外，默認情況下，可以隨機選擇(例如，通過AI演算法)檢測/突出顯示的對象之一作為所選對象。在場景100中，當前選擇的對象(無論是默認還是由用戶)由圍繞所選對象的一條粗實綫突出顯示。在該示例中，在分層對象檢測的第一級，人110可以是默認的所選對象。因此，人110通過圍繞人110的一條粗實綫突出顯示，如圖的部分(A2)所示。作為選擇，代替暫停視訊並在顯示設備上顯示視訊圖像105，視訊可以繼續在顯示設備上播放，而視訊圖像105可以在顯示設備的一部分中顯示為畫中畫(picture-in-picture，簡寫為PIP)。例如，在接收到用戶命令(例如，“暫停”)時，視訊可以繼續在顯示設備上播放，同時視訊圖像105(其可以是在接收到用戶命令時來自顯示在顯示設備上的視訊的視訊圖像)可以在顯示設備的角落附近(例如，右上角、左上角、左下角或右下角)顯示，以便不模糊觀看視訊。
參考第1圖的部分(B1)，可以第二次接收相同的用戶命令(例如，“暫停”)，作為當前檢測/突出顯示的對象都不是用戶感興趣的對象(下文中可互換地稱為“目標對象”)的指示。在第二次接收到用戶命令時，可以執行第二級分層對象檢測。由於人110默認是所選對象並且用戶沒有將選擇從人110改變為汽車120，所以可以對人110而不是汽車120執行第二級分層對象檢測。參考第1圖的部分(B2)，人110的頭部112、上身114和下身116可被檢測為視訊圖像105中的三個第二級對象。此外，視訊圖像105中的頭部112、上身114和下身116中的每一個可以以相應的方式突出顯示。例如，上身114可以用圍繞上身114的第三框架或框突出顯示，頭部112可以用圍繞頭部112的第四框架或框突出顯示，並且下身116可以用環繞下身116的第五框架或框突出顯示。第三框架或框可以以第三顏色、樣式和/或亮度顯示，而第四和第五框架或框中的每一個可以以不 同於第三框架或框的第四顏色、樣式和/或亮度顯示。在第1圖的部分(B2)中所示的示例中，上身114默認是所選擇的對象，並且由圍繞上身114的一條粗實綫突出顯示。另外，頭部112和下身116中的每一個由包圍頭部112和下身116的細虛綫突出顯示。
作為選擇，由於頭部112、上身114和下身116是人110內的物體，人110也可以用以不同顏色、樣式和/或亮度顯示的相應框架或框突出顯示。作為另一種選擇，代替在顯示設備上顯示相同的視訊圖像105，視訊圖像105的擴展和放大的局部視圖(例如，使所選對象居中，在該示例中是人110)可以顯示為不同的視訊圖像(未示出)。
參考第1圖的部分(C1)，可以第三次接收相同的用戶命令(例如，“暫停”)，作為當前檢測/突出顯示的對象都不是用戶的感興趣對象(目標對象)的指示。在第三次接收到用戶命令時，可以執行第三級分層對象檢測。由於人110的上身114默認是所選擇的對象並且用戶沒有將選擇從上身114改變為頭部112或下身116，所以可以在上身114而不是頭部112或下身116上執行第三級的分層對象檢測。參考第1圖的部分(C2)，上身114的領帶142、手帕144、紐扣146和手錶148可被檢測為視訊圖像105中的四個第三級對象。此外，視訊圖像105中的每個領帶142、手帕144、紐扣146和手錶148可以以相應的方式突出顯示。例如，領帶142可以用圍繞上身領帶142的第六框架或框突出顯示，手帕144可以用圍繞手帕144的第七框架或框突出顯示，紐扣146可以用圍繞紐扣146的第八框架或框突出顯示，並且可以用圍繞手錶148的第九框架或框突出顯示手錶148。第六框架或框可以以第五顏色、樣式和/或亮度顯示，並且第七、第八和第九框架或框中的每一個可以以與第五框架或框不同的第六顏色、樣式和/或亮度顯示。在第1圖的部分(C2)中所示的示例中，領帶142默認是所選擇的對象，並且由圍繞領帶142的一條粗實綫突出顯示。另外，手帕144、紐扣146和手錶148中 的每一個都由圍繞手帕144、紐扣146和手錶148細虛綫框突出顯示。
作為選擇，由於領帶142、手帕144、紐扣146和手錶148是人110的上身114內的物體，因此上身114也可以用以不同顏色、風格和/或亮度顯示的相應框架或框突出顯示。作為另一種選擇，代替在顯示設備上顯示相同的視訊圖像105，可以將視訊圖像105的擴展和放大的局部視圖(例如，使所選對象居中，在該示例中是上身114)顯示為不同的視訊圖像(未示出)。
因此，在所提出的方案下並且如第1圖中所示，關於場景100，可以對當前選擇的對象執行進一步的分層對象檢測(在粒度和/或細節方面從上層到下層)，而不對其他非選擇的對象執行，從而避免不必要的計算時間和功率。用戶可以利用或以其他方式輸入相同的命令(例如，“暫停”)以從較高級別移動到較低級別以用於分層對象檢測。因此，從頂層向下的降序的分層對象檢測的深度取決於輸入和接收這種用戶命令的次數。在分層對象檢測的每個級別，可以識別或以其他方式檢測相應級別的上下文內的每個可辨別對象，然後突出顯示。此外，較低級別的檢測對象可以是較高級別的單個對象的一部分。例如，在場景100中，在分層對象檢測的頂級或第一級，上下文是視訊圖像105中示出的整個場景，因此該級別的可辨別對象包括人110和汽車120。然後，在分層對象檢測的較低級別或第二級別，上下文是人110，因此該級別的可辨別對象包括頭部112、上身114和下身116。接下來，在下一個較低級別或第三級別，上下文是上身114，因此該級別的可辨別物體包括領帶142、手帕144、紐扣146和手錶148。
第2圖示出了根據本發明的實現的示例場景200。場景200可以涉及根據本發明在分層對象檢測之後選擇視訊的視訊圖像中的對象。場景200可以在正在顯示設備上播放的視訊上實現。在第1圖所示的示例中，在第2圖中，場景200是場景100的繼續。
參考第2圖的部分(A1)和(A2)，在場景200的開始，領帶142默認是所選對象(例如，由AI演算法隨機選擇)，因此領帶142與當前級別的其他檢測/突出顯示的對象(包括手帕144、紐扣146和手錶148)不同地突出顯示。可以接收不同的用戶命令(例如，“向左移動”、“向右移動”、“向上移動”或“向下移動”)作為用戶打算選擇檢測到/突出顯示的對象中除領帶142外的一個的指示。用戶命令可以由用戶通過遙控器輸入。或者，用戶命令可以由用戶通過顯示視訊圖像105的智慧手機或顯示設備的觸摸板輸入。又或者，用戶命令可以是用戶使用手勢輸入的手勢控制。手勢可以是無觸摸手勢(例如，諸如手指的移動、用戶的手或眼睛的空中手勢)或觸摸感應手勢(例如，在觸摸感測屏幕上涉及觸摸和/或移動的手勢)，且手勢的圖案(例如，用戶的手指、手或眼睛的路徑的移動)可以匹配與用戶命令相對應的預定義模式(例如，“向左移動”、“向右移動“、”向上移動“或”向下移動‘‘)。如第2圖的部分(A1)所示，接收選擇向右移動的用戶命令。
參考第2圖的部分(B1)和(B2)，當接收到“向右移動”命令時，所選擇的對象從領帶142改變為手帕144，因為如在視訊圖像105中所示，在該級別的檢測/突出顯示的對象中，手帕144位於領帶142的右側。手帕144由於用戶命令而成為所選擇的對象，因此手帕144與當前級別的其他檢測/突出顯示的對象不同地突出顯示，包括領帶142、紐扣146和手錶148。然後，可以接收又一個用戶命令作為用戶打算選擇檢測到/突出顯示的對象中除手帕144外的一個的指示。如第2圖的部分(B1)所示，接收用於向下移動選擇的用戶命令。
參考第2圖的部分(C1)和(C2)，當接收到“向下移動”命令時，所選擇的對象從手帕144變為手錶148，因為在該級別的檢測/突出顯示的對象中，手錶148位於手帕144下方，如視訊圖像105所示。作為用戶命令的結果，手錶148成為所選擇的對象，因此手錶148與當前級別的其他檢測/突出顯示的對象不同地 突出顯示，包括領帶142、手帕144和紐扣146。然後，如第2圖的部分(C1)所示，可以接收不同的用戶命令(例如，“選擇”)作為用戶想要選擇當前選擇的對象(即，手錶148)的指示。作為選項，用戶選擇的對象的放大和放大的局部視圖可以顯示在顯示設備(未示出)上或者作為視訊圖像105的一部分中的PIP 150顯示，如第2圖的部分(C2)所示。
參考第2圖的部分(D)，當用戶選擇了手錶148時，可以對手錶148執行一個或多個操作。例如，與手錶148相關的資訊(例如，品牌、型號、價格和賣方)可以搜索到或以其他方式獲得，並且該資訊可以顯示在顯示設備上(例如，在替換視訊圖像105的新圖像上顯示或者在視訊圖像105中顯示在手錶105旁邊)。可替代地或另外地，可以針對與手錶148相同或類似的手錶(例如，在在綫商店購買與手錶148相同或類似的手錶)呈現交易(transaction)。
第3圖示出了根據本發明實施例的用於低複雜度檢測的方法的示例操作流程300。操作流程300可以表示關於檢測和選擇圖像中的對象的分層方法實現所提出的概念和方案的方面。無論是部分還是全部地，操作流程300可以在場景100和/或場景200中實現。操作流程300可以包括由塊310、320、330、340、350、360、370和380中的一個或多個所示的一個或多個操作，動作或功能。儘管示出為離散塊，但是操作流程300的各種塊可以被劃分為附加塊、組合成更少的塊，或者根據期望的實現被消除。此外，操作流程300可以按照第3圖中所示的順序或者以不同的順序執行。操作流程300還可以包括第3圖中未示出的附加操作。可以迭代地執行操作流程300的一個或多個塊。操作流程300可以在塊310處開始。
在310處，操作流程300可以涉及用戶提供用戶命令。例如，用戶可按下遙控器上的“暫停”按鈕或智慧手機或顯示設備的觸摸面板上表示“暫停”按鈕的圖標。或者，用戶可以使用手勢來使用手勢控制輸入用戶命令“暫停”。操作 流程300可以從310進行到320。
在320處，操作流程300可以涉及根據本發明的執行分層對象檢測的裝置(例如，諸如智慧電視(TV)的智慧顯示器)的過程。操作流程300可以從320進行到330。
在330處，操作流程300可以涉及用戶確定是否已經檢測到感興趣對象(目標對象)。操作流程300可以在肯定確定(例如，檢測到目標對象)的情況下從330進行到340，或者在否定確定(例如，未檢測到目標對象)的情況下從330進行到370。
在340處，操作流程300可以涉及用戶將光標從一個對象移動到目標對象。例如，用戶可以按遙控器上的一個或多個箭頭(例如，“向上”、“向下”、“向左”和“向右”按鈕)或者在智慧手機或顯示設備的觸摸面板上表示“向上”、“向下”、“向左”和“向右”按鈕的一個或多個圖標。或者，用戶可以觸摸觸摸面板上顯示目標對象的位置以選擇目標對象。操作流程300可以從340進行到390。
在350處，操作流程300可以涉及用戶選擇目標對象。例如，用戶可以按下遙控器上的“選擇”或“進入”按鈕或者智慧手機或顯示設備的觸摸面板上表示“選擇”或“進入”按鈕的圖標。操作流程300可以從350進行到360。
在360處，操作流程300可以涉及處理器針對所選擇的(目標)對象執行一個或多個操作。例如，處理器可以搜索或以其他方式獲得與所選對象有關的資訊，並顯示該資訊以供用戶查看。可替代地或另外地，處理器可以呈現關於所選對象的交易(例如，在在綫商店購買與所選對象相同或相似的對象)。
在370處，操作流程300可以涉及用戶提供用戶命令。例如，用戶可以再次按下遙控器上的“暫停”按鈕或智慧手機或顯示設備的觸摸面板上表示“暫 停”按鈕的圖標。或者，用戶可以利用手勢來使用手勢控制來輸入用戶命令“暫停”。操作流程300可以從370進行到380。
在380處，操作流程300可以涉及處理器根據本發明執行進一步的分層對象檢測。操作流程300可以從380進行到320以重複至少部分上述操作。
第4圖示出了根據本發明的實現的示例系統400。系統400可以包括裝置405和用戶設備460。裝置405可以執行各種功能以實現本文描述的與分層對象檢測和選擇有關的方案、技術、過程和方法，包括關於上述場景100、場景200和操作流程300以及下面描述的過程500。
裝置405可以是電子裝置的一部分，其可以是智慧顯示裝置、便攜式或行動裝置、可穿戴裝置、無線通訊裝置或計算裝置。例如，裝置405可以在智慧電視、智慧電話、智慧手錶、個人數位助理、數位相機或諸如平板電腦、膝上型電腦或筆記本電腦的計算設備中實現。或者，裝置405可以以一個或多個集體電路(IC)晶片的形式實現，例如但不限於，一個或多個單核處理器、一個或多個多核處理器、或一個或多個複雜指令集計算(CISC)處理器。裝置405可以至少包括第4圖中所示的那些組件中的一部分，例如，處理器410等。裝置405還可以包括與本發明的提出的方案無關的一個或多個其他組件(例如，內部電源，記憶體/資料存儲和電源管理)，因此，裝置405的上述這種組件即未在第4圖中示出，為簡潔起見，下文也未對其進行描述。
在一個方面，處理器410可以以一個或多個單核處理器、一個或多個多核處理器或一個或多個CISC處理器的形式實現。也就是說，即使這裏使用單數術語“處理器”來指代處理器410，處理器410在一些實現中可以包括多個處理器，並且在根據本發明的其他實現中可以包括單個處理器。在另一方面，處理器410可以以具有電子組件的硬件(以及可選地，固件)的形式實現，所述電子組件包括例如但不限於一個或多個晶體管、一個或多個二極管、一個或多個電容 器、一個或多個電阻器、一個或多個電感器、一個或多個憶阻器和/或一個或多個變容二極管，其被配置和布置成實現根據本發明的特定目的。換句話說，在至少一些實現中，處理器410是專用機器，其專門設計、布置和配置成執行包括根據本發明的各種實施方式的分層對象檢測和選擇的特定任務。在一些實現中，處理器410可以包括分層對象檢測和選擇模塊412以及顯示控制模塊414。在一些實現中，分層對象檢測和選擇模塊412和顯示控制模塊414中的每一個可以在諸如電子電路的硬件中實現。或者，分層對象檢測和選擇模塊412和顯示控制模塊414中的每一個可以用軟件實現。又或者，分層對象檢測和選擇模塊412和顯示控制模塊414中的每一個可以以硬件和軟件兩者實現。
在一些實現中，裝置405可以包括能夠顯示視訊和靜止圖像的顯示設備420。在一些實現中，裝置405還可以包括能夠接收用戶輸入的用戶接口設備450。例如，用戶接口設備450可以包括觸摸板、鍵盤、小鍵盤、遙控器、圖像傳感器、視覺傳感器、光傳感器、聲學傳感器或其組合。在一些實現中，裝置405還可以包括能夠與用戶設備460通訊的第一通訊設備430，並且第一通訊設備430可以經由無線和/或有綫裝置與用戶設備460通訊。例如，第一通訊設備430能夠根據一個或多個無線協議、標準、規範和/或技術，包括例如但不限於，紅外(IR)、藍牙、近場通訊(NFC)、IEEE 802.11、Zigbee、超聲波和光學燈(optical light)與用戶設備460進行無線通訊(例如，發送資料和接收用戶命令)。在一些實現中，裝置405可以另外包括第二通訊設備440，其能夠經由網路470與一個或多個資料源472和一個或多個在綫商店474(例如，電子商務網站)通訊。網路470可以包括因特網和一個或多個其他網路，例如一個或多個局域網(LAN)、廣域網(WAN)、城域網(MAN)和/或移動蜂窩網路。
在一些實施方案中，處理器410的顯示控制電路414可在顯示裝置420上播放視訊。另外，處理器410可一次或多次接收第一命令。例如，處理器410 可以經由第一通訊設備430從用戶設備460接收第一命令。或者，處理器410可以經由用戶接口設備450接收第一命令。例如，用戶可以通過觸摸用戶接口設備450的觸摸板來輸入第一命令。或者，用戶可以通過手勢控制輸入第一命令，其中手勢表示第一命令(例如，用戶的手指、手或眼睛以預定義模式運動對應到第一個命令)。響應於一次或多次接收第一命令，處理器410可以關於視訊中的多個對象以分層方式執行對象檢測。例如，顯示控制電路414可以在顯示設備420上顯示來自視訊的視訊圖像。在接收到第N次的第一命令時，處理器410的分層對象檢測和選擇電路412可以執行以下操作：(1)在視訊圖像中檢測第一層級(hierarchical level)的多個對象中的第一組一個或多個對象，N是等於或大於1的正整數；(2)在顯示設備420上突出顯示第一組一個或多個對象。在接收到第(N+1)次的第一命令時，分層對象檢測和選擇電路412可以執行以下操作：(1)在視訊圖像中檢測第一層級之下的第二層級的多個對象中的第二組一個或多個對象；(2)在顯示設備420上突出顯示第二組一個或多個對象。第二組一個或多個對象中的每個對象可以是第一組一個或多個對象的相應對象的一部分。
在一些實現中，第一命令可以包括暫停播放視訊的命令。
在一些實施方案中，在從視訊顯示視訊圖像時，顯示控制電路414可暫停在視訊圖像處播放視訊以顯示視訊圖像。或者，在從視訊顯示視訊圖像時，顯示控制電路414可以繼續在顯示設備420上播放視訊，並在顯示設備420的一部分處將視訊圖像顯示為畫中畫(PIP)。
在一些實施方案中，在突出顯示第一組一個或多個對象時，分層對象檢測和選擇電路412可在第一組一個或多個對象的每一對象周圍顯示相應的框、圓或蝕(eclipse)。另外，在突出顯示第二組一個或多個對象時，分層對象檢測和選擇電路412可以在第二組一個或多個對象的每個對象周圍顯示相應的 框、圓或蝕。
在一些實施方式中，在突出顯示第一組一個或多個對象時，分層對象檢測和選擇電路412可以以第一方式突出顯示第一組一個或多個對象中的第一對象。另外，分層對象檢測和選擇電路412可以以不同於第一方式的第二方式突出顯示第一組一個或多個對象中的至少另一個對象。例如，分層對象檢測和選擇電路412可以用第一顏色、樣式和/或亮度突出顯示第一對象，並用與第一顏色、樣式和/或亮度不同的第二顏色、樣式和/或亮度突出顯示第一組一個或多個對象中的至少另一個對象。
在一些實施方式中，在突出顯示第二組一個或多個對象時，分層對象檢測和選擇電路412可以以第三方式突出顯示第二組一個或多個對象中的第二對象。此外，分層對象檢測和選擇電路412可以以不同於第三方式的第四方式突出顯示第二組一個或多個對象中的至少另一個對象。此外，分層對象檢測和選擇電路412可以去除第一組一個或多個對象中的至少一個對象的突出顯示。例如，分層對象檢測和選擇電路412可以用第三顏色、樣式和/或亮度突出顯示第二對象，並用與第三顏色、樣式和/或亮度不同的第四顏色、樣式和/突出顯示第二組一個或多個對象中的至少另一個對象。第三顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度或第二顏色、樣式和/或亮度相同。或者，第三顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度以及第二顏色、樣式和/或亮度不同。類似地，第四顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度或第二顏色、樣式和/或亮度相同。此外，第四顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度以及第二顏色、樣式和/或亮度不同。
在一些實施方案中，處理器410可進一步能夠執行額外操作。例如，處理器410可以接收第二命令。第二命令可以是，例如但不限於，用於移動顯示在顯示設備420上的光標的“移動”命令或者從用戶設備460或用戶接口設備450接 收的觸摸面板上的觸摸。或者，第二命令可以是用戶使用手勢(例如，使用用戶的手指、手或眼睛)的手勢控制。響應於接收到第二命令，處理器410可以執行以下任一操作：(1)在第N次接收第一命令之後且在第(N+1)次接收第一命令之前接收到第二命令時，改變第一組一個或多個對象的突出顯示，使得第一對象以第二方式突出顯示，並且第一組一個或多個對象的第三對象以第一方式突出顯示；或者(2)在接收到第(N+1)次的第一命令之後接收到第二命令時，改變第二組一個或多個對象的突出顯示，使得第二對象以第四方式突出顯示，且第二組一個或多個對象的第四對象以第三方式突出顯示。
在一些實施方式中，第二命令可以包括指示選擇的移動方向的命令。
在一些實施方案中，所述方向可指示從顯示裝置420上顯示的第一對象的位置到顯示裝置420上顯示的第三對象的位置的總體方向或從顯示設備420上顯示的第二對象的位置到顯示設備420上顯示的第四對象的位置的總體方向。
在一些實施方案中，處理器410可另外能夠執行其它操作。例如，處理器410可以接收第三命令，指示選擇第一組一個或多個對象或第二組一個或多個對象的對象。第三命令可以是，例如但不限於，“選擇”或“輸入”命令，用於在顯示設備420上顯示的突出顯示的對象中選擇目標對象，從用戶設備460或用戶接口設備450的觸摸面板上接收的觸摸，或用戶使用手勢控制做出的與用戶接口設備450感測到的“移動”命令相對應的手勢。另外，處理器410可以執行關於所選對象的操作。
在一些實施方式中，在執行關於所選對象的操作時，處理器410可以執行以下操作中的一個或多個：(1)搜索與所選對象有關的資訊；(2)在顯示設備420上顯示與所選對象有關的資訊；(3)呈現與所選對象有關的交易。例如，處理器410可以經由第二通訊設備440從資料源472(例如，一個或多個網 站和/或搜索引擎)搜索或以其他方式獲得與所選對象有關的資訊。另外，處理器410可以在顯示設備420上顯示與所選對象有關的資訊以供用戶查看。此外，交易可以涉及處理器410在在綫商店474購買與所選對象相同或相似的對象。
第5圖示出了根據本發明的實現的示例過程500。過程500可以表示實現所提出的概念和方案的方面，諸如以上關於第1圖-第4圖描述的各種方案、概念、實施例和示例中的一個或多個。更具體地，過程500可以表示所提出的概念和方案的一個方面，該概念和方案涉及在無線通訊中使用偶數長度序列(even-length sequence)進行同步和設備識別。例如，過程500可以是從RX角度(RX perspective)來看的上述所提出的方案、概念和示例的部分或全部的示例實現，用於在無線通訊中使用偶數長度序列進行同步和設備識別。過程500可以包括一個或多個操作，動作或功能，如塊510、520和530以及子塊5310、5320、5330、5340和5350中的一個或多個所示。儘管被示為離散塊，但是根據期望的實現，可以將過程500的各種塊劃分為附加塊，組合成更少的塊，或者消除。過程500還可以包括第5圖中未示出的附加操作和/或動作。此外，過程500的塊可以按照第5圖所示的順序，或者，可選地，以不同的順序執行。可以迭代地執行過程500的塊。過程500可以由裝置405或裝置405的任何變型實現。僅出於說明性目的而不限制範圍，下面參考裝置405描述過程500。過程500可以在塊510處開始。
在510處，過程500可以涉及裝置405的處理器410在顯示設備420上播放視訊。過程500可以從510進行到520。
在520處，過程500可以涉及處理器410一次或多次接收第一命令。例如，處理器410可以經由第一通訊設備430從用戶設備460接收第一命令。或者，處理器410可以經由用戶接口設備450接收第一命令。第一命令可以是，例如但不限於，用戶設備460(例如，智慧手機或遙控器)接收的“暫停”命令或用戶使用對應於“暫停”命令的手勢的手勢控制。過程500可以從520進行到530。
在530處，過程500可以涉及處理器410響應於一次或多次接收第一命令，對於視訊中的多個對象以分層方式執行對象檢測。具體地，過程500可以涉及處理器410執行由子塊5310~5350表示的多個操作。
在5310處，過程500可以涉及處理器410在顯示設備420上顯示來自視訊的視訊圖像。過程500可以從5310進行到5320。
在5320處，過程500可以涉及處理器410在接收到第N次的第一命令時，在視訊圖像中檢測第一層級的多個對象中的第一組一個或多個對象，其中N為等於或大於1的正整數。過程500可以從5320進行到5330。
在5330處，過程500可以涉及處理器410在顯示設備420上突出顯示第一組一個或多個對象。過程500可以從5330進行到5340。
在5340處，過程500可以涉及處理器410在接收到第(N+1)次的第一命令時，在視訊圖像中檢測低於第一層級的第二層級的多個對象中的第二組一個或多個對象。第二組一個或多個對象中的每個對象可以是第一組一個或多個對象的相應對象的一部分。過程500可以從5340進行到5350。
在5350處，過程500可以涉及處理器410在顯示設備420上突出顯示第二組一個或多個對象。
在一些實現中，第一命令可以包括暫停播放視訊的命令。
在一些實施方案中，在從視訊顯示視訊圖像時，過程500可涉及處理器410在視訊圖像處暫停播放視訊以顯示視訊圖像。或者，在從視訊顯示視訊圖像時，過程500可以包括處理器410繼續在顯示設備420上播放視訊並且在顯示設備420的一部分處將視訊圖像顯示為畫中畫(PIP)。
在一些實施方案中，在突出顯示第一組一個或多個對象時，過程500可涉及處理器410在第一組一個或多個對象的每一對象周圍顯示相應的框、圓或蝕。另外，在突出顯示第二組一個或多個對象時，過程500可以涉及處理器410 在第二組一個或多個對象的每個對象周圍顯示相應的框、圓或蝕。
在一些實施方案中，在突出顯示第一組一個或多個對象時，過程500可涉及處理器410以第一方式突出顯示第一組一個或多個對象中的第一對象。另外，過程500可以涉及處理器410以不同於第一方式的第二方式突出顯示第一組一個或多個對象中的至少另一個對象。例如，過程500可以涉及處理器410用第一顏色、樣式和/或亮度突出顯示第一對象，並用與第一顏色、樣式和/或亮度不同的第二顏色、樣式和/或亮度突出顯示第一組一個或多個對象中的至少另一個對象。
在一些實現中，在突出顯示第二組一個或多個對象時，過程500可以涉及處理器410以第三方式突出顯示第二組一個或多個對象中的第二對象。此外，過程500可以涉及處理器410以不同於第三方式的第四方式突出顯示第二組一個或多個對象中的至少另一個對象。此外，過程500可以涉及處理器410去除第一組一個或多個對象中的至少一個對象的突出顯示。例如，過程500可以涉及處理器410用第三顏色、樣式和/或亮度突出顯示第二對象，並用與第三顏色、樣式和/或亮度不同的第四顏色、樣式和/或亮度突出顯示第二組一個或多個對象中的至少另一個對象。第三顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度或第二顏色、樣式和/或亮度相同。或者，第三顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度以及第二顏色、樣式和/或亮度不同。類似地，第四顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度或第二顏色、樣式和/或亮度相同。此外，第四顏色、樣式和/或亮度可以與第一顏色、樣式和/或亮度以及第二顏色、樣式和/或亮度不同。
在一些實現中，過程500可以涉及處理器410執行附加操作。例如，過程500可以涉及處理器410接收第二命令。第二命令可以是，例如但不限於，用於移動顯示在顯示設備420上的光標的“移動”命令，從用戶設備460或用戶接口 設備450的觸摸面板上接收的觸摸，或者用戶使用對應於“移動”命令的手勢進行手勢控制。響應於接收到第二命令，過程500可以涉及處理器410執行以下任一操作：(1)在第N次接收第一命令之後且在第(N+1)次接收第一命令之前接收到第二命令時，改變第一組一個或多個對象的突出顯示，使得第一對象以第二方式突出顯示，並且第一組一個或多個對象的第三對象以第一方式突出顯示；或者(2)在接收到第(N+1)次的第一命令之後接收到第二命令時，改變第二組一個或多個對象的突出顯示，使得第二對象以第四方式突出顯示，且第二組一個或多個對象的第四對象以第三方式突出顯示。
在一些實施方案中，第二命令可包含指示選擇的移動方向的命令。
在一些實施方案中，所述方向可指示從顯示裝置420上顯示的第一對象的位置到顯示裝置420上顯示的第三對象的位置的總體方向或從顯示設備420上顯示的第二對象的位置到顯示設備420上顯示的第四對象的位置的總體方向。
在一些實現中，過程500可以涉及處理器410執行附加操作。例如，過程500可以涉及處理器410接收第三命令，指示選擇第一組一個或多個對象或第二組一個或多個對象的對象。第三命令可以是，例如但不限於，“選擇”或“輸入”命令，用於在顯示設備420上顯示的突出顯示的對象中選擇目標對象，從用戶設備460或用戶接口設備450的觸摸面板上接收的觸摸，或用戶使用手勢控制做出的與用戶接口設備450感測到的“選擇”或“輸入”命令相對應的手勢。另外，處理器410可以執行關於所選對象的操作。另外，過程500可以涉及處理器410對所選對象執行操作。
在一些實現中，在執行關於所選對象的操作時，過程500可以涉及處理器410執行以下操作中的一個或多個：(1)搜索與所選對象有關的資訊；(2)在顯示設備420上顯示與所選對象有關的資訊；(3)呈現與所選對象有關的交易。例如，過程500可以涉及處理器410經由第二通訊設備440從資料源472( 例如，一個或多個網站和/或搜索引擎)搜索或以其他方式獲得與所選對象有關的資訊。另外，處理器410可以在顯示設備420上顯示與所選對象有關的資訊以供用戶查看。此外，對於交易來說，過程500可以涉及處理器410在在綫商店474購買與所選對象相同或相似的對象。
本文描述的主題有時示出包含在不同其他組件內或與不同其他組件連接的不同組件。要理解的是，這樣描繪的架構僅僅是示例，並且實際上可以實現許多其他架構，其實現相同的功能。在概念意義上，實現相同功能的任何組件布置有效地“關聯”，使得實現期望的功能。因此，這裏組合以實現特定功能的任何兩個組件可以被視為彼此“關聯”，使得實現期望的功能，而不管架構或中間組件。同樣地，如此關聯的任何兩個組件也可以被視為彼此“可操作地連接”或“可操作地耦合”以實現期望的功能。可操作耦合的具體示例包括但不限於物理上可配對和/或物理上相互作用的組件和/或可無線交互和/或無線交互的組件和/或邏輯上相互作用和/或邏輯上可交互的組件。
此外，關於本文中基本上任何複數和/或單數術語的使用，所屬領域具有通常知識者可以從複數轉為單數轉換為單數和/或從單數轉換為複數，均適用於上下文和/或說明。為清楚起見，這裏可以明確地闡述各種單數/複數置換。
此外，所屬領域具有通常知識者將理解，通常，本文使用的術語，尤其是所附申請專利範圍書，例如所附申請專利範圍的主體，通常旨在作為“開放”術語，例如，術語“包括”應解釋為“包括但不限於”，術語“具有”應解釋為“至少具有”，術語“包含”應解釋為“包含但不限於”，所屬領域具有通常知識者將進一步理解，如果意圖引入特定數量的引入的申請專利範圍，則在申請專利範圍中將明確地陳述這樣的意圖，並且在沒有這樣的表述的情況下，不存在這樣的意圖。例如，為了幫助理解，以下所附申請專利範圍可以包含介紹性短語“至少一個”和“一個或多個”的使用以引入申請專利範圍表述。然而，這些短語的使用 不應被解釋為暗示由不定冠詞“一”或“一個”引用的申請專利範圍引用將包含這種引入的申請專利範圍的任何特定申請專利範圍限制於僅包含一個這樣的表述的實施，即使是相同的申請專利範圍包括引言短語“一個或多個”或“至少一個”，並且諸如“一個”應該被解釋為表示“至少一個”或“一個或多個”；對於使用引入申請專利範圍表述的定冠詞而言也是如此。另外，即使明確地引用了特定數量的引入的申請專利範圍表述，所屬領域具有通常知識者將認識到，這樣的表述應該被解釋為至少表示所引用的數字，例如，沒有其他修飾語的“兩個XX”的簡單表述，意味著至少兩個XX，或者兩個或更多個XX。此外，在使用類似於“A，B和C等中的至少一個”的約定的那些情況下，通常這樣的結構意圖在所屬領域具有通常知識者將理解該慣例的意義上，例如，“具有A、B和C中的至少一個的系統”包括但不限於僅具有A、單獨的B、單獨的C、A和B一起、A和C一起、B和C、A和B和C一起的系統。所屬領域具有通常知識者將進一步理解，實際上任何呈現兩個或更多個替代術語的析取詞和/或短語，無論是在說明書，申請專利範圍書或附圖中，都應該被理解為考慮包括其中一個術語、任一術語或兩個術語的可能性。例如，短語“A或B”將被理解為包括“A”或“B”或“A和B”的可能性。
從前述內容可以理解，本文已經出於說明的目的描述了本發明的各種實施方式，並且在不脫離本發明的範圍和精神的情況下可以進行各種修改。因此，本文公開的各種實施方式不旨在是限制性的，真正的範圍和精神由所附申請專利範圍指示。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
300‧‧‧操作流程
310~380‧‧‧塊

Claims (20)

  1. 一種圖像處理方法，其特徵在於，包括：通過裝置的處理器在顯示設備上播放視訊；該處理器接收第一命令一次或多次；以及響應於接收該第一命令一次或多次，由該處理器執行關於該視訊中的多個對象的分層方式的對象檢測，以對一個或多個對象進行逐層分層對象檢測。
  2. 如申請專利範圍第1項所述之圖像處理方法，其中，相對於該視訊中的該多個對象以該分層方式執行該對象檢測包括：在該顯示設備上顯示來自該視訊的視訊圖像；在接收到第N次的該第一命令時，在該視訊圖像中檢測第一層級的該多個對象中的第一組一個或多個對象，N是等於或大於1的正整數；在該顯示設備上突出顯示該第一組一個或多個對象；在第(N+1)次接收到該第一命令時，在該視訊圖像中檢測在該第一層級以下的第二層級的多個對象中的第二組一個或多個對象；以及在該顯示設備上突出顯示該第二組一個或多個對象；其中該第二組一個或多個對象中的每個對象是該第一組一個或多個對象的相應對象的一部分。
  3. 如申請專利範圍第1項所述之圖像處理方法，其中，該第一命令包括手勢控制或暫停該視訊的播放的命令，其中該手勢控制包括由該處理器檢測到的用戶的手勢，並且其中顯示來自該視訊的該視訊圖像包括在該視訊圖像處暫停播放該視訊以顯示該視訊圖像。
  4. 如申請專利範圍第1項所述之圖像處理方法，其中，顯示來自該視訊的該視訊圖像包括：繼續在該顯示設備上該播放視訊；以及在該顯示設備的一部分處將該視訊圖像顯示為畫中畫。
  5. 如申請專利範圍第1項所述之圖像處理方法，其中，突出顯示該第一組一個或多個對象包括在該第一組一個或多個對象的每個對象周圍顯示相應的框、圓或蝕，並且其中突出顯示該第二組一個或多個對象包括在該第二組一個或多個對象的每個對象周圍顯示相應的框、圓或蝕。
  6. 如申請專利範圍第1項所述之圖像處理方法，其中：該第一組一個或多個對象的突出顯示包括：以第一方式突出顯示該第一組一個或多個對象的第一對象；以及以不同於該第一方式的第二方式突出顯示該第一組一個或多個對象中的至少另一個對象，以及該第二組一個或多個對象的突出顯示包括：以第三方式突出顯示該第二組一個或多個對象的第二對象；以不同於該第三方式的第四方式突出顯示該第二組一個或多個對象中的至少另一個對象；以及去除該第一組一個或多個對象中的至少一個對象的突出顯示。
  7. 如申請專利範圍第6項所述之圖像處理方法，其中，還包括：該處理器接收第二命令；以及 響應於接收該第二命令，由該處理器執行以下操作：在第N次接收該第一命令之後且在第(N+1)次接收該第一命令之前接收到該第二命令時，改變該第一組一個或多個對象的突出顯示，使得該第一對象以該第二方式突出顯示，並且該第一組一個或多個對象的第三對象以該第一方式突出顯示；或者在接收到第(N+1)次的該第一命令之後接收到該第二命令時，改變該第二組一個或多個對象的突出顯示，使得該第二對象以該第四方式突出顯示，且該第二組一個或多個對象的第四對象以該第三方式突出顯示。
  8. 如申請專利範圍第7項所述之圖像處理方法，其中，該第二命令包括指示選擇的移動方向的命令。
  9. 如申請專利範圍第8項所述之圖像處理方法，其中，該方向指示從該顯示裝置上顯示的該第一對象的位置到該顯示裝置上顯示的該第三對象的位置的總體方向或從該顯示設備上顯示的該第二對象的位置到該顯示設備上顯示的該第四對象的位置的總體方向。
  10. 如申請專利範圍第1項所述之圖像處理方法，其中，還包括：該處理器接收指示選擇該第一組一個或多個對象或該第二組一個或多個對象的對象的第三命令；以及該處理器執行關於所選對象的操作。
  11. 如申請專利範圍第10項所述之圖像處理方法，其中，執行關於該 所選對象的操作包括執行以下操作中的一個或多個：搜索與該所選對象有關的資訊；在該顯示設備上顯示與該所選對象有關的該資訊；以及呈現相關於該所選對象的交易。
  12. 一種圖像處理裝置，其特徵在於，包括：顯示設備；以及處理器，通訊地耦合到該顯示設備，該處理器能夠：在該顯示設備上播放視訊；一次或多次接收第一個命令；響應於一次或多次接收該第一命令，相對於該視訊中的多個對象以分層方式執行對象檢測，以對一個或多個對象進行逐層分層對象檢測。
  13. 如申請專利範圍第12項所述之圖像處理裝置，其中，在相對於該視訊中的該多個對象以該分層方式執行該對象檢測時，該處理器執行包括以下操作的操作：在該顯示設備上顯示來自該視訊的視訊圖像；在接收到第N次的該第一命令時，在該視訊圖像中檢測第一層級的該多個對象中的第一組一個或多個對象，N是等於或大於1的正整數；在該顯示設備上突出顯示該第一組一個或多個對象；在第(N+1)次接收到該第一命令時，檢測該視訊圖像在該第一層級以下的第二層級處該多個對象中的第二組一個或多個對象；以及在該顯示設備上突出顯示該第二組一個或多個對象； 其中該第二組一個或多個對象中的每個對象是該第一組一個或多個對象的相應對象的一部分。
  14. 如申請專利範圍第12項所述之圖像處理裝置，其中，該第一命令包括手勢控制或暫停該視訊的播放的命令，其中該手勢控制包括由該處理器檢測到的用戶的手勢，並且其中，在顯示來自該視訊的該視訊圖像時，該處理器在該視訊圖像處暫停播放該視訊以顯示該視訊圖像。
  15. 如申請專利範圍第12項所述之圖像處理裝置，其中，在從該視訊顯示該視訊圖像時，該處理器執行包括以下操作的操作：繼續在該顯示設備上播放該視訊；以及在該顯示設備的一部分處將該視訊圖像顯示為畫中畫。
  16. 如申請專利範圍第12項所述之圖像處理裝置，其中，突出顯示第一組一個或多個對象以及突出顯示第二組一個或多個對象，在突出顯示該第一組一個或多個對象時，該處理器在該第一組一個或多個對象的每個對象周圍顯示相應的框、圓或蝕，並且其中，在突出顯示該第二組一個或多個對象時，該處理器在該第二組一個或多個對象的每個對象周圍顯示相應的框、圓或蝕。
  17. 如申請專利範圍第12項所述之圖像處理裝置，其中：突出顯示第一組一個或多個對象以及突出顯示第二組一個或多個對象，在突出顯示該第一組一個或多個對象時，該處理器執行包括以下操作的操作： 以第一方式突出顯示該第一組一個或多個對象的第一對象；以及以不同於該第一方式的第二方式突出顯示該第一組一個或多個對象中的至少另一個對象，以及在突出顯示該第二組一個或多個對象時，該處理器執行包括以下操作的操作：以第三方式突出顯示該第二組一個或多個對象的第二對象；以不同於該第三方式的第四方式突出顯示該第二組一個或多個對象中的至少另一個對象；以及去除該第一組一個或多個對象中的至少一個對象的突出顯示。
  18. 如申請專利範圍第17項所述之圖像處理裝置，其中，該處理器還能夠執行包括以下操作的操作：接收第二命令；以及響應接收該第二命令，執行以下任一操作：在第N次接收該第一命令之後且在第(N+1)次接收該第一命令之前接收到該第二命令時，改變該第一組一個或多個對象的突出顯示，使得該第一對象以該第二方式突出顯示，並且該第一組一個或多個對象的該第三對象以該第一方式突出顯示；或者在接收到第(N+1)次的該第一命令之後接收到該第二命令時，改變該第二組一個或多個對象的突出顯示，使得該第二對象以該第四方式突出顯示，並且該第二組一個或多個對象的該第四對象以該第三方式突出顯示。
  19. 如申請專利範圍第18項所述之圖像處理裝置，其中，該第二命令 包括指示選擇的移動方向的命令，並且其中，該方向指示從該顯示裝置上顯示的該第一對象的位置到該顯示裝置上顯示的該第三對象的位置的總體方向或從該顯示設備上顯示的該第二對象的位置到該顯示設備上顯示的該第四對象的位置的總體方向。
  20. 如申請專利範圍第12項所述之圖像處理裝置，其中，該處理器還能夠執行包括以下操作的操作：該處理器接收指示選擇該第一組一個或多個對象或該第二組一個或多個對象的對象的第三命令；以及該處理器通過執行以下操作中的一個或多個來執行關於所選對象的操作：搜索與該所選對象有關的資訊；在該顯示設備上顯示與該所選對象有關的該資訊；以及呈現相關於該所選對象的交易。
TW107144761A 2018-03-13 2018-12-12 圖像處理方法和相關的圖像處理裝置 TWI685816B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/920,369 2018-03-13
US15/920,369 US10796157B2 (en) 2018-03-13 2018-03-13 Hierarchical object detection and selection

Publications (2)

Publication Number Publication Date
TW201939435A TW201939435A (zh) 2019-10-01
TWI685816B true TWI685816B (zh) 2020-02-21

Family

ID=67905744

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144761A TWI685816B (zh) 2018-03-13 2018-12-12 圖像處理方法和相關的圖像處理裝置

Country Status (3)

Country Link
US (1) US10796157B2 (zh)
CN (1) CN110278483A (zh)
TW (1) TWI685816B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507619B2 (en) 2018-05-21 2022-11-22 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US10965985B2 (en) * 2018-05-21 2021-03-30 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
WO2020235724A1 (ko) * 2019-05-23 2020-11-26 엘지전자 주식회사 디스플레이 장치
JP7354686B2 (ja) * 2019-08-27 2023-10-03 株式会社リコー 出力制御装置、表示制御システム、出力制御方法およびプログラム
US20220012790A1 (en) * 2020-07-07 2022-01-13 W.W. Grainger, Inc. System and method for providing tap-less, real-time visual search
US20220207585A1 (en) * 2020-07-07 2022-06-30 W.W. Grainger, Inc. System and method for providing three-dimensional, visual search
US11985389B2 (en) * 2021-07-12 2024-05-14 Avago Technologies International Sales Pte. Limited Object or region of interest video processing system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359500A (zh) * 1999-03-02 2002-07-17 美国安利有限公司 能包括会员购买机会的市场交易和销售的方法
CN102106145A (zh) * 2008-07-30 2011-06-22 三星电子株式会社 用于显示再现图像的放大的目标区域的装置和方法
US20130263180A1 (en) * 2012-04-03 2013-10-03 Google Inc. Pre-fetch Ads while Serving Ads in Live Stream
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技（深圳）有限公司 图像处理方法及装置
TW201733373A (zh) * 2016-02-29 2017-09-16 夏普股份有限公司 服務通告中之組件指示

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142434B2 (en) * 2002-01-16 2006-11-28 Rockwell Automation Technologies, Inc. Vehicle drive module having improved EMI shielding
ATE528724T1 (de) * 2002-08-30 2011-10-15 Mvtec Software Gmbh Auf hierarchischen gliedern basierte erkennung von gegenständen
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US8230362B2 (en) * 2006-05-31 2012-07-24 Manheim Investments, Inc. Computer-assisted and/or enabled systems, methods, techniques, services and user interfaces for conducting motor vehicle and other inspections
US8363939B1 (en) * 2006-10-06 2013-01-29 Hrl Laboratories, Llc Visual attention and segmentation system
US7940985B2 (en) * 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
US8515160B1 (en) * 2007-10-04 2013-08-20 Hrl Laboratories, Llc Bio-inspired actionable intelligence method and system
US20090161912A1 (en) * 2007-12-21 2009-06-25 Raviv Yatom method for object detection
WO2009123628A1 (en) * 2008-04-01 2009-10-08 Hewlett-Packard Development Company, L.P. Systems and methods to increase speed of object detection in a digital image
US8411953B2 (en) * 2008-09-30 2013-04-02 International Business Machines Corporation Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
CN101783129B (zh) * 2009-01-04 2012-12-05 虹软(杭州)科技有限公司 影像缩放装置以及影像缩放方法
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
JP5615088B2 (ja) * 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
KR101753031B1 (ko) * 2010-11-15 2017-06-30 엘지전자 주식회사 이동 단말기 및 이것의 메타데이터 설정 방법
US9424471B2 (en) * 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
US8553981B2 (en) * 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN103051934A (zh) * 2011-10-14 2013-04-17 中国科学院计算技术研究所 智能电视人机交互方法、装置和系统
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
CN102722912B (zh) * 2012-05-25 2015-11-25 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US8595773B1 (en) * 2012-07-26 2013-11-26 TCL Research America Inc. Intelligent TV shopping system and method
CN103780973B (zh) * 2012-10-17 2017-08-04 三星电子（中国）研发中心 视频标签添加方法及装置
US20140164921A1 (en) * 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
JP6026007B2 (ja) * 2012-12-20 2016-11-16 インテル・コーポレーション ビデオモーション推定モジュールを用いた加速対象検出フィルタ
CN103971082A (zh) * 2013-01-31 2014-08-06 威联通科技股份有限公司 基于区域转换的视频对象检测系统及相关方法
US9268993B2 (en) * 2013-03-13 2016-02-23 Futurewei Technologies, Inc. Real-time face detection using combinations of local and global features
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9440152B2 (en) * 2013-05-22 2016-09-13 Clip Engine LLC Fantasy sports integration with video content
CN103491446B (zh) * 2013-08-15 2016-12-28 华为终端有限公司 一种用于截图的方法、机顶盒及电视设备
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
WO2015089115A1 (en) * 2013-12-09 2015-06-18 Nant Holdings Ip, Llc Feature density object classification, systems and methods
KR102070924B1 (ko) * 2014-01-20 2020-01-29 한화테크윈 주식회사 영상 기록 시스템
JP6270578B2 (ja) * 2014-03-26 2018-01-31 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN103888812A (zh) * 2014-04-02 2014-06-25 深圳创维－Rgb电子有限公司 基于云电视的信息处理方法及云电视系统
CN105100911A (zh) * 2014-05-06 2015-11-25 夏普株式会社 智能多媒体系统和方法
KR20150136890A (ko) * 2014-05-28 2015-12-08 삼성전자주식회사 디바이스에 객체를 표시하는 방법 및 그 디바이스
CN103986980B (zh) * 2014-05-30 2017-06-13 中国传媒大学 一种超媒体编辑制作方法及系统
US20160112727A1 (en) * 2014-10-21 2016-04-21 Nokia Technologies Oy Method, Apparatus And Computer Program Product For Generating Semantic Information From Video Content
US9805445B2 (en) * 2014-10-27 2017-10-31 Adobe Systems Incorporated Image zooming
US9940726B2 (en) * 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
IL236752B (en) * 2015-01-15 2019-10-31 Eran Jedwab Integrated security method and system
US9798949B1 (en) * 2015-03-19 2017-10-24 A9.Com, Inc. Region selection for image match
CN104837050B (zh) * 2015-03-23 2018-09-04 腾讯科技（北京）有限公司 一种信息处理方法及终端
US9505494B1 (en) * 2015-04-30 2016-11-29 Allstate Insurance Company Enhanced unmanned aerial vehicles for damage inspection
CN106358092B (zh) * 2015-07-13 2019-11-26 阿里巴巴集团控股有限公司 信息处理方法及装置
US20170054982A1 (en) * 2015-08-19 2017-02-23 Hitachi, Ltd. Real time video stream processing systems and methods thereof
JP6635188B2 (ja) * 2016-03-18 2020-01-22 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
US10366144B2 (en) * 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US10580140B2 (en) * 2016-05-23 2020-03-03 Intel Corporation Method and system of real-time image segmentation for image processing
CA2936854A1 (en) * 2016-07-22 2018-01-22 Edmond Helstab Methods and systems for assessing and managing asset condition
US10643264B2 (en) * 2016-07-25 2020-05-05 Facebook, Inc. Method and computer readable medium for presentation of content items synchronized with media display
GB2554361B8 (en) * 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
US10515289B2 (en) * 2017-01-09 2019-12-24 Qualcomm Incorporated System and method of generating a semantic representation of a target image for an image processing operation
CN107016374A (zh) * 2017-04-12 2017-08-04 电子科技大学 面向特定目标的智能检测追踪及时空轨迹的生成方法
KR102287043B1 (ko) * 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
JP6977337B2 (ja) * 2017-07-03 2021-12-08 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
US10319151B2 (en) * 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
US10289932B2 (en) * 2017-07-31 2019-05-14 Google Llc Object recognition state indicators
US10942966B2 (en) * 2017-09-22 2021-03-09 Pinterest, Inc. Textual and image based search
US20190102752A1 (en) * 2017-09-29 2019-04-04 Philip Valenti System and method of evaluating a commercial good prior to being placed in commerce
US10963700B2 (en) * 2018-09-15 2021-03-30 Accenture Global Solutions Limited Character recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359500A (zh) * 1999-03-02 2002-07-17 美国安利有限公司 能包括会员购买机会的市场交易和销售的方法
CN102106145A (zh) * 2008-07-30 2011-06-22 三星电子株式会社 用于显示再现图像的放大的目标区域的装置和方法
US20130263180A1 (en) * 2012-04-03 2013-10-03 Google Inc. Pre-fetch Ads while Serving Ads in Live Stream
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技（深圳）有限公司 图像处理方法及装置
TW201733373A (zh) * 2016-02-29 2017-09-16 夏普股份有限公司 服務通告中之組件指示

Also Published As

Publication number Publication date
CN110278483A (zh) 2019-09-24
TW201939435A (zh) 2019-10-01
US10796157B2 (en) 2020-10-06
US20190286912A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
TWI685816B (zh) 圖像處理方法和相關的圖像處理裝置
US11314804B2 (en) Information search method and device and computer readable recording medium thereof
CN105830422B (zh) 可折叠电子设备及其界面交互方法
US9247199B2 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
CN103914142B (zh) 在电子装置中使用头跟踪技术提供控制服务的设备和方法
WO2018217014A1 (en) System and method for context based interaction for electronic devices
TW201331825A (zh) 用以在螢幕間提供視覺過渡之裝置及方法
CN104871116B (zh) 信息处理装置、信息处理方法及介质
CN106663244A (zh) 丰富通知
CN103176744B (zh) 一种显示设备及其信息处理方法
CN106663243A (zh) 屏幕上的自适应通知
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
CN106796810B (zh) 在用户界面上从视频选择帧
CN108737739A (zh) 一种预览画面采集方法、预览画面采集装置及电子设备
CN106648141A (zh) 显示候选词的方法及装置
TWI646526B (zh) 子畫面佈局控制方法和裝置
JP6384659B2 (ja) 電子機器、タッチスクリーン制御方法及びプログラム
US10551960B2 (en) Input processing method and device
KR20170045101A (ko) 콘텐트를 외부 장치와 공유하는 전자 장치 및 이의 콘텐트 공유 방법
CN105955647A (zh) 用于界面调整的方法及装置
CN107580117A (zh) 电子设备控制方法及装置
WO2021044601A1 (ja) アプリケーション拡張プログラム、情報処理装置、および方法
KR20210096858A (ko) 전자 장치 및 이의 제어 방법
KR20150082963A (ko) 모션 인식을 이용한 서비스 실행 방법 및 이를 적용한 디스플레이 장치
TWI544400B (zh) 應用程式啟動方法及系統，及相關電腦程式產品