TWI618409B - 視頻中之局部變化偵測技術 - Google Patents

視頻中之局部變化偵測技術 Download PDF

Info

Publication number
TWI618409B
TWI618409B TW105100799A TW105100799A TWI618409B TW I618409 B TWI618409 B TW I618409B TW 105100799 A TW105100799 A TW 105100799A TW 105100799 A TW105100799 A TW 105100799A TW I618409 B TWI618409 B TW I618409B
Authority
TW
Taiwan
Prior art keywords
points
outlier
inner layer
point
current frame
Prior art date
Application number
TW105100799A
Other languages
English (en)
Other versions
TW201703500A (zh
Inventor
德米翠 比托克
阿爾提姆 茲尼維奇
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201703500A publication Critical patent/TW201703500A/zh
Application granted granted Critical
Publication of TWI618409B publication Critical patent/TWI618409B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本文論述與偵測視訊中之局部變化有關的技術。此類技術可包括基於來自先前圖框的內圍層要點來決定用於視訊序列之當前圖框之內圍層要點及離群值要點，基於該等當前圖框及先前圖框之離群值要點來偵測局部變化區域，及基於該所偵測局部變化區域來提供局部變化指示符。

Description

視頻中之局部變化偵測技術
本發明係有關於視頻中之局部變化偵測技術。
發明背景
諸如可穿戴式裝置的裝置可使用永遠開啟電腦視覺介面來實行。此永遠開啟電腦視覺介面可為裝置提供即使在裝置以其他方式閒置的情況下亦以有意義的方式回應裝置可見的刺激之能力，該有意義的方式諸如藉由完全通電、照亮顯示器、與刺激相互作用等。例如，永遠開啟電腦視覺介面可偵測場景中之變化，諸如使用者手出現，且以有意義的方式回應所偵測變化，諸如藉由基於由使用者所做的手勢來實行裝置功能等。
然而，可穿戴式裝置等可由於其有限的功率預算(例如，通常期望此類裝置以電池功率操作延長的時段)及其使用情境而對於電腦視覺技術產生許多困難。例如，此類電腦視覺介面可需要在幾乎無潛時的情況下偵測、追蹤且辨識出現在裝置之攝影機前面的物件，以提供強制使用者體驗。此外，電腦視覺任務在經由裝置獲得的整個影像圖框上的完全執行在功率效率方面可為次最佳的，且在一些狀況下可為冗餘的。例如，當裝置之攝影機正觀察靜態場 景時，電腦視覺任務在初始景物分析完成之後可不需要被執行。任何後續電腦視覺任務應由例如場景中之變化觸發。此外，可穿戴式裝置及其他小裝置可在穿戴者之身體移動時移動，從而使隨機顫動等之運動範圍及振幅實質上大於在其他電腦視覺情境中。
用於偵測場景中之變化之當前技術尤其對於可穿戴式裝置可不解決此類困難。例如，當前技術可包括推定靜態攝影機位置且使用背景模型化來偵測所擷取視訊中之變化的視訊監視技術、基於光流之技術、相位偵測技術及區塊匹配技術。如所論述，可穿戴式裝置實行方案可不提供靜態攝影機位置，且基於光流之技術、相位偵測技術及區塊匹配技術可僅處置有限範圍之總體及局部運動。此外，此類技術可要求若干先前圖框在記憶體中之儲存，此舉在所論述的功率有限情形下可並非可行的。
可為有利的是，提供功率有效且在藉由裝置進行的相對大的總體運動之狀況下適用的永遠開啟電腦視覺介面。關於此等及其他考慮，已需要目前改良。隨著提供高品質影像之願望變得更為廣泛，此類改良可變得關鍵。
依據本發明之一實施例，係特地提出一種用於提供視訊中之局部變化偵測之方法，該方法包含：基於一視訊序列之一或多個先前圖框中的一或多個第二內圍層要點來決定該視訊序列之一當前圖框中的一或多個內圍層要點及一或多個離群值要點；基於該當前圖框中之該等離群值 要點及該視訊序列之該等一或多個先前圖框中之一或多個第二離群值要點來偵測該視訊序列中之一局部變化區域；以及基於該視訊序列中之該所偵測局部變化區域來提供一局部變化指示符。
100、1200‧‧‧裝置
101‧‧‧影像信號處理器
102‧‧‧要點偵測模組
103‧‧‧描述符估計模組
104‧‧‧總體運動估計模組/總體估計模組
105‧‧‧內圍層及離群值偵測模組
106‧‧‧離群值修剪模組
107‧‧‧變化感興趣區域(ROI)估計模組
108、127‧‧‧總體運動歷史
109、125‧‧‧內圍層軌跡歷史
110、133‧‧‧離群值軌跡歷史
111‧‧‧加速計/回轉儀模組
121‧‧‧視訊序列(VS)
122、301、401‧‧‧要點
123‧‧‧描述符(D)
124、211~213‧‧‧總體運動估計
126‧‧‧運動資料
128‧‧‧內圍層/離群值資料(I/O D)
129、131‧‧‧內圍層軌跡(IT)
130‧‧‧內圍層/離群值資料
132‧‧‧離群值軌跡(OT)
134‧‧‧局部變化指示符
201‧‧‧當前圖框/圖框
202~204‧‧‧先前圖框/圖框
402~404‧‧‧先前圖框內圍層要點
410‧‧‧空間領域
501、503、604‧‧‧內圍層要點
502、504、601‧‧‧離群值要點
505‧‧‧映射
602‧‧‧定界框
700、800、900‧‧‧過程
701~710、801~811、901~903‧‧‧操作
1000、1100‧‧‧系統
1001‧‧‧中央處理單元(CPU)
1002‧‧‧圖形處理單元
1003‧‧‧記憶體儲存器
1102‧‧‧平台
1105‧‧‧晶片組
1110‧‧‧處理器
1112‧‧‧記憶體
1113‧‧‧天線
1114‧‧‧儲存器
1115‧‧‧圖形子系統
1116‧‧‧應用程式
1118‧‧‧無線電
1120、1204‧‧‧顯示器
1122‧‧‧使用者介面
1130‧‧‧內容服務裝置
1140‧‧‧內容傳送裝置
1150‧‧‧導航控制器
1160‧‧‧網路
1201‧‧‧前面
1202‧‧‧背面
1205‧‧‧攝影機
1206‧‧‧輸入/輸出(I/O)裝置
1208‧‧‧整合式天線
1210‧‧‧閃光燈
1212‧‧‧導航特徵
本文所描述之材料以實例之方式而非以限制之方式例示於附圖中。出於例示的簡單性及清晰性，諸圖中所例示的元件未必按比例繪製。例如，一些元件之尺寸可出於清晰性而相對於其他元件誇示。此外，在認為適當的情況下，已在諸圖間重複參考標號來指示對應或類似元件。在諸圖中：圖1例示用於提供局部變化偵測之示例性裝置；圖2例示包括當前圖框及多個先前圖框的示例性視訊序列；圖3例示示例性當前圖框之示例性要點；圖4例示當前圖框之要點之空間鄰域內的示例性先前圖框內圍層要點；圖5例示在當前圖框與先前圖框之間匹配的示例性內圍層要點；圖6例示指示局部變化區域的離群值要點之示例性叢集；圖7為例示用於提供視訊中之局部變化偵測之示例性過程的流程圖；圖8為例示用於決定用於當前圖框之內圍層要點及離 群值要點之示例性過程的流程圖；圖9為例示用於提供視訊中之局部變化偵測之示例性過程的流程圖；圖10為用於提供視訊中之局部變化偵測之示例性系統的例示性圖表；圖11為示例性系統的例示性圖表；以及圖12例示全部根據本揭示內容之至少一些實行方案佈置的示例性小形狀因素裝置。
較佳實施例之詳細說明
現參考附圖來描述一或多個實施例或實行方案。雖然論述特定組態及佈置，但是應理解此僅出於例示性目的而進行。熟習相關技術者將認識到，可在不脫離本描述之精神及範疇的情況下使用其他組態及佈置。熟習相關技術者將顯而易見，本文所描述之技術及/或佈置亦可使用於除本文所描述之系統及應用之外的各種其他系統及應用中。
雖然以下描述闡述了可在諸如例如系統單晶片(SoC)架構的架構方面得到證明的各種實行方案，但是本文所描述之技術及/或佈置之實行方案不局限於特定架構及/或計算系統，且可藉由用於類似目的的任何架構及/或計算系統來實行。例如，使用例如多個積體電路(IC)晶片及/或封裝，及/或各種計算裝置及/或諸如多功能裝置、平板電腦、智慧型電話等的消費者電子(CE)裝置的各種架構可實 行本文所描述之技術及/或佈置。此外，雖然以下描述可闡述諸如邏輯實行方案、系統組件之類型及相互關係、邏輯分割/整合選擇等的許多特定細節，但是可在無此類特定細節的情況下實踐所請求標的。在其他情況下，可不詳細地展示諸如(例如)控制結構及完全的軟體指令序列的一些材料，以便不使本文所揭示的材料難以理解。
本文所揭示的材料可以硬體、韌體、軟體或上述各者之任何組合來實行。本文所揭示的材料亦可實行為儲存在機器可讀媒體上的指令，該等指令可由一或多個處理器讀取且執行。機器可讀媒體可包括用於儲存或傳輸以可由機器(例如，計算裝置)讀取的形式之資訊的任何媒體及/或機構。例如，機器可讀媒體可包括唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光儲存媒體；快閃記憶體裝置；電、光、聲或其他形式的傳播信號(例如，載波、紅外信號、數位信號等)及其他。
在說明書中對「一個實行方案」、「一實行方案」、「一示例性實行方案」等的參考指示所述實行方案可包括特定特徵、結構或特性，但每個實施例可未必包括該特定特徵、結構或特性。此外，此類用語未必涉及相同實行方案。此外，當結合一實施例描述特定特徵、結構或特性時，認為該特定特徵、結構或特性在熟習此項技術者的用以結合無論本文是否明確描述的其他實行方案來實現此特徵、結構或特性的知識內。
本文描述與視訊序列中之局部變化偵測有關，且 尤其與基於與視訊序列之圖框相關聯的要點來偵測局部變化有關的方法、裝置、設備、計算平台及物品。
如以上所描述，在永遠開啟電腦視覺介面，尤其是實行於可穿戴式裝置中之那些永遠開啟電腦視覺介面中，目前用於視訊序列之場景的變化偵測技術可能無法解決與有限功率預算、偵測中之極低潛時之預期、裝置記憶體之有限或最小部分之使用、處置大範圍的總體運動之能力等相關聯的困難。本文所論述之技術可提供偵測視訊序列之圖框之間的大總體運動之情境中之諸如局部變化的變化。例如，此類技術可適用於低圖框率影像擷取且可提供記憶體之有限使用及低潛時。
例如，本文所論述之技術可基於影像要點及相關聯局部影像描述符之偵測及時間追蹤。藉由使用對應描述符來跨於相鄰影像圖框匹配描述符，可估計總體仿射運動且可決定離群值要點。例如，離群值要點可對應於與估計總體運動不一致的位置，且此類離群值要點之叢集可用來找到與藉由視訊序列擷取的場景中之局部變化相關聯的影像區域。所偵測影像區域可使用電腦視覺技術加以分析，以例如偵測場景中之新穎面或基於手勢等喚醒裝置。此類技術因此可對於諸如經由可穿戴式裝置實行的該等永遠開啟電腦視覺介面之永遠開啟電腦視覺介面中之使用為尤其有利的。
在一些實施例中，可藉由決定或偵測視訊序列之當前圖框中之內圍層及離群值要點來提供局部變化偵測。 例如，可基於施加至當前圖框之此類所偵測要點及先前圖框之內圍層要點的匹配技術來自所偵測要點及相關聯描述符決定此類內圍層要點及離群值要點，如本文進一步所論述。例如，來自先前圖框的內圍層要點可經翹曲至當前圖框之坐標，且可執行基於空間域及描述符域中之近接性的匹配。在一些實例中，當前圖框及先前圖框之離群值要點可經修剪(例如，再指派為內圍層要點)，如本文進一步論述，以產生用於當前圖框及先前圖框之最終離群值要點。
基於當前圖框之離群值要點及先前圖框之離群值要點，再次翹曲至當前圖框之坐標，可應用聚類技術以偵測視訊序列中之局部變化之任何區域。例如，當局部變化已發生時，來自當前圖框及先前圖框的此類離群值要點可叢類於一區域內。此類叢集可經偵測，且可提供局部變化之相關聯指示符(例如，局部運動偵測指示符或與叢集相關聯的定界框位置及大小等)。局部變化之此指示符可由裝置用以使裝置自低功率狀態喚醒，為裝置提供變化(例如，照亮顯示螢幕、提高影像擷取率等)，執行物件辨識等。此類技術可使用低功率、記憶體及計算資源來提供低潛時及高品質(例如，低誤肯定率)結果。
圖1例示根據本揭示內容之至少一些實行方案佈置的用於提供局部變化偵測之示例性裝置100。如圖1中所示，裝置100可包括影像信號處理器101、要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣 區域(ROI)估計模組107。此外，裝置100可包括記憶體(未標記)，該記憶體可提供與局部變化偵測相關聯的資料之儲存及對該資料之存取。例如，裝置100之記憶體可儲存以下各者且提供對以下各者之存取：總體運動歷史108、內圍層軌跡歷史109、離群值軌跡歷史110等。此外，裝置100可包括加速計/回轉儀模組111，該加速計/回轉儀模組可提供運動資料126，以用於由總體運動估計模組104在估計圖框之間的總體運動中使用，如本文進一步論述。裝置100可為任何適合的形狀因素裝置，諸如可穿戴式裝置。例如，裝置100可為智慧型手錶、智慧型眼鏡、可穿戴式配件、衣服等。然而，雖然本文關於可穿戴式裝置論述，但是裝置100可包括任何形狀因素裝置，包括電腦、膝上型電腦、平板電腦、智慧型電話、數位攝影機、顯示裝置等。例如，裝置100可提供局部變化偵測，如本文所論述。
如所示，要點偵測模組102可自影像信號處理器101接收視訊序列(VS)121。例如，影像信號處理器101可自裝置100之影像感測器(未示出)接收影像感測器資料。此影像感測器及影像信號處理器101可在被動模式、低功率模式、超低功率模式等中操作，以節約藉由裝置100進行的功率使用。例如，影像感測器及影像信號處理器101可提供具有低解析度及低圖框率的視訊序列121，以在用於裝置100之被動永遠開啟電腦視覺介面模式中節約功率。視訊序列121可包括以任何適合的解析度及圖框率的任何適合的影像圖框資料。
圖2例示根據本揭示內容之至少一些實行方案佈置的包括當前圖框201及多個先前圖框202-204的示例性視訊序列121。如所示，視訊序列121可包括當前圖框201及任何數目的先前圖框202-204。例如，關於視訊序列121例示三個先前圖框202-204且與局部變化偵測相關聯論述三個先前圖框202-204，然而，視訊序列121及此類局部變化偵測技術可涉及任何數目的先前圖框。如所論述，在一些實例中，視訊序列121可包括以相對低的圖框率的低解析度圖框201-204。例如，圖框201-204可以小於影像感測器之完全解析度的任何解析度，且以小於影像感測器之完全圖框率能力的任何圖框率，以為裝置100提供低功率處理。在一些實例中，圖框201-204可具有約5每秒框數(fps)或不超過5fps等的圖框率。在一些實例中，圖框201-204可具有介於約1fps與5fps之間的圖框率。在一些實例中，小於1fps的圖框率可提供不準確的局部變化偵測，然而可使用任何適合的圖框率。此外，視訊序列121之圖框率在一些實例中可為恆定的，且在其他實例中可變化。例如，裝置100可基於總體運動估計(以下進一步所論述；例如，使得較大偵測運動可與較高圖框率相關聯，且較低偵測運動可與較低圖框率相關聯)、使用者設定、諸如功率管理設定之其他裝置設定等來改變視訊序列121之圖框率。如所論述，圖框201-204可包括任何適合的影像資料。
亦如圖2中所示，可在圖框201-204之間或跨於圖框201-204執行總體運動估計，以提供圖框204與圖框203之 間的總體運動估計211、圖框203與圖框202之間的總體運動估計212及圖框202與圖框201之間的總體運動估計213等。可在如圖2中所示的逐圖框的基礎上或跨於多個圖框(例如，可跨越一些圖框之間的整體估計)執行此總體運動估計。此總體運動估計211-213可包括指示圖框之間或跨於圖框的總體變化的任何適合資料。例如，總體運動估計211-213可包括運動參數，諸如平移、標度、旋轉、偏斜等。例如，此總體運動估計211-213可包括用以定義全部圖框(例如，圖框201-204)之間的總體運動的參數。在一些實例中，此總體運動估計資料可由總體估計模組104提供，如本文進一步論述。
返回至圖1，要點偵測模組102可自影像信號處理器101在進行中的基礎上接收視訊序列121，且要點偵測模組102可基於視訊序列121產生要點(KP)122。例如，可針對視訊序列121之當前圖框產生要點122。要點偵測模組102可使用任何適合的技術或多種技術來產生要點122。例如，要點偵測模組102可偵測視訊序列121之圖框201-204內的感興趣點。例如，要點偵測模組102可實行邊緣偵測、拐角偵測、斑點偵測等以產生要點122。在一些實例中，要點偵測模組102可實行加速分段測試(AST)以產生要點122。此加速分段測試可包括經由實行主題像素之鄰域內的像素亮度比較的拐角偵測，以例如決定主題像素是否為要點。此類加速分段測試可提供穩健的要點偵測。要點122可包括與此類要點及要點偵測相關聯的任何適合資料，諸如此類要點之 影像圖框內的位置。
圖3例示根據本揭示內容之至少一些實行方案佈置的示例性當前圖框201之示例性要點301。如圖3中所示，可遍及圖框201決定要點301。此外，可經由圖框201內的位置識別要點301。雖然在圖3中及本文其他位置使用約12個要點301來例示以用於呈現之清晰性目的，但是圖框201可包括任何數目的要點301，諸如數百(例如，幾百)或數千的要點301。
返回至圖1，如所示，要點偵測模組102可將要點122提供至描述符估計模組103及/或裝置100之記憶體(未示出)。描述符估計模組103可自要點偵測模組102或記憶體接收要點122，且描述符估計模組103可產生與要點122相關聯的描述符(D)123。例如，描述符123可包括用於要點122中每一者之描述符。描述符估計模組103可使用任何適合的技術或多種技術來產生描述符123。此外，此類描述符123可包括任何適合的描述符或描述符族，諸如影像描述符等。例如，描述符123關於要點122可與像素色彩、亮度、梯度、擴張性、發光度、強度、像素塊之評估等相關聯。例如，描述符估計模組103可實行較低功率成本的描述符估計技術以節約用於裝置100之功率。在一些實例中，可對於要點122中每一者實行單個描述符。在其他實例中，可對於要點122中每一者實行二個、三個或更多描述符。如本文進一步所論述，此類描述符可用以找到相鄰圖框之要點之間的局部對應。如所示，描述符估計模組103可將描述符123提供 至總體估計模組104及/或裝置100之記憶體。
總體運動估計模組104可自加速計/回轉儀模組111接收描述符123、要點122、內圍層軌跡歷史125以及可選擇的運動資料126，且總體運動估計模組104可產生總體運動估計124。總體運動估計模組104可使用任何適合的技術或多種技術來產生總體運動估計124。例如，如所論述，要點122及描述符123可用以找到或決定當前圖框與任何數目的先前圖框之要點122之間的對應。總體運動估計模組104可使用要點之間的此對應來估計當前圖框與任何數目的先前圖框之間的仿射變換。例如，總體估計模組104可使用內圍層軌跡歷史125來基於內圍層要點之間的過去對應或映射估計或外推用於當前圖框之總體運動。例如，總體運動估計模組104可基於穩健迴歸技術等來決定此仿射變換。此仿射變換估計可包括或可用以決定圖框之間的總體運動，如本文所論述(請參考圖2)。例如，圖框之間的或跨於圖框的總體運動可包括運動參數，諸如平移、標度、旋轉、偏斜等。另外，如所示，總體運動估計模組104可包括或整合來自加速計/回轉儀模組111的運動資料126以產生此類總體運動參數。此運動資料126可包括指示裝置100隨時間推移之運動的任何適合資料。在一些實例中，總體運動估計模組104可整合運動資料126以改良總體運動估計124之準確度及/或穩健性。
如所論述，總體運動估計模組104可產生總體運動估計124(例如，指示圖框之間或跨於圖框的總體運動的 參數)。另外，如本文進一步所論述，可產生(例如，經由內圍層及離群值偵測模組105及/或離群值修剪模組106且如經由內圍層軌跡歷史109及離群值軌跡歷史110儲存)內圍層要點軌跡及離群值要點軌跡。此類總體運動估計及內圍層軌跡(及，在一些狀況下離群值軌跡)可經由裝置100用以執行其他任務，諸如基於來自若干相鄰圖框的內圍層軌跡的三維(3D)場景之估計、使用平滑總體運動估計的數位視訊穩定等。例如，此數位視訊穩定可尤其非常適合於使裝置100之可穿戴式裝置實行方案中之低圖框率視訊穩定，因為該數位視訊穩定可處置藉由裝置100的大範圍運動。如所示，總體運動估計模組104可將總體運動估計124提供至內圍層及離群值偵測模組105及總體運動歷史108。例如，總體運動歷史108可維持視訊序列121之任何數目N的最近圖框之間的總體運動估計值之歷史。例如，用於如本文所論述之處理的最近圖框之數目N可為二個、三個、四個或更多先前圖框。
內圍層及離群值偵測模組105可接收總體運動估計124、總體運動歷史127(例如，用於先前圖框之總體運動估計值或估計)、要點122及描述符123，且內圍層及離群值偵測模組105可自要點122之中決定內圍層及/或離群值且可產生內圍層/離群值資料(I/O D)128。內圍層及離群值偵測模組105可使用任何適合的技術或多種技術來產生內圍層/離群值資料128。例如，內圍層及離群值偵測模組105可基於一或多個先前圖框(例如，圖框202-204等)中之內圍層 要點來決定當前圖框(例如，圖框201)之內圍層要點及離群值要點。例如，內圍層及離群值偵測模組105可存取(例如，經由裝置100之記憶體)用於視訊序列121之任何數目N的最近圖框之內圍層及離群值要點，以產生指示要點122中哪些為內圍層要點及哪些為離群值要點的內圍層/離群值資料128。
例如，要點122中之內圍層要點可為與若干最近影像圖框之間的總體運動一致的該等要點。與若干最近影像圖框之間的總體運動不一致的該等要點可為離群值要點，且可與場景中之局部運動或局部變化相關聯，該場景與例如視訊序列121相關聯。此類離群值要點可在離群值修剪模組106處進一步加以測試，如本文進一步論述。
如所論述，內圍層及離群值偵測模組105可使用任何適合的技術或多種技術自要點122之中決定內圍層要點及/或離群值要點。在一些實例中，內圍層及離群值偵測模組105可使用來自總體運動歷史108(例如，總體運動歷史127)的總體運動估計資料以使內圍層要點自任何數目(例如，N)的最近圖框翹曲至當前圖框之坐標系統。例如，參考圖2，與圖框202相關聯的內圍層要點可基於總體運動估計213翹曲至圖框201之坐標系統，與圖框203相關聯的內圍層要點可基於總體運動估計212及總體運動估計213翹曲至圖框201之坐標系統，等等。
例如，首先，對於當前圖框(例如，圖框201)之每一要點，決定當前或主題要點之空間鄰域內的諸如先前 圖框202-204等之任何先前圖框(例如，先前圖框k，使得k N)中(例如，當前圖框之坐標中)之內圍層要點。例如，可決定在遠離最多R個像素處的來自先前圖框的所有翹曲內圍層要點。
圖4例示根據本揭示內容之至少一些實行方案佈置的當前圖框201之要點401之空間鄰域410內的示例性先前圖框內圍層要點402-404。如圖4中所示，對於當前圖框201之主題要點401，可提供空間鄰域410。空間鄰域410可為任何適合的大小或形狀。在所例示實例中，空間鄰域410為大體上正方形的，然而可使用諸如圓形、矩形等之任何鄰域形狀。此外，空間鄰域410可界定一鄰域，使得為描述符距離評估提供像素距離R內的先前圖框內圍層要點402-404，如本文論述。像素距離可為任何適合的像素距離，諸如10個像素、20個像素、50個像素等。
亦如所示，先前圖框內圍層要點402-404可在空間鄰域410內(例如，在經翹曲至當前圖框201之坐標之後)。在所例示實例中，例如，先前圖框內圍層要點402可與先前圖框202相關聯，先前圖框內圍層要點403可與先前圖框203相關聯，且先前圖框內圍層要點404可與先前圖框204相關聯。雖然使用先前圖框內圍層要點402、403、404中每二者例示，但任何數目的先前圖框要點可在空間鄰域410內。如本文進一步所論述，內圍層及離群值偵測模組105可基於空間鄰域410決定此類先前圖框內圍層要點402-404，且可基於該等先前圖框內圍層要點之相關聯描述符與當前圖框 201之要點401相關聯的描述符之比較來進一步評估此類先前圖框內圍層要點402-404。
例如，返回至圖1，基於此類所描述之先前圖框內圍層要點，可針對每一先前圖框決定用於先前圖框內圍層要點之最小描述符距離。例如，最小描述符距離可與先前圖框要點相關聯，該先前圖框要點具有含有關於當前圖框之當前要點或主題要點(例如，要點401)之描述符或多個描述符之最小差異的描述符或多個描述符。最小描述符距離可與臨限值進行比較，且若最小描述符距離小於臨限值，則可決定或宣告來自當前圖框的當前要點與來自先前圖框的最小描述符距離要點之間的匹配。可針對所有參與先前圖框(例如，針對N個圖框)重複此過程，以產生用於當前圖框之當前要點或主題要點之一或多個匹配(例如，用於每一先前圖框之一可能的匹配)。例如，對於當前圖框要點，在最近先前圖框中、在下一個最近先前圖框中等等可存在或可不存在匹配。
基於跨於先前圖框的一或多個匹配，可針對當前圖框之當前要點或主題要點產生匹配分數。可使用任何適合的技術或多種技術產生匹配分數。例如，匹配分數可為用於匹配之1或用於非匹配之0及重要性權重之乘積的跨於參與先前圖框的和。例如，重要性權重可比較大距離的過去圖框之匹配較高地衡量較近的過去圖框中之匹配。例如，可如關於方程式(1)所示地產生匹配分數：
其中S可為內圍層匹配分數(例如，(in)指示內圍層)，i可為用於當前圖框中之每一要點之計數器變數，t可為當前圖框之指示符，k可為用於先前圖框之計數器變數，N可為在決定中使用的先前圖框之數目(例如，使得可基於N個先前圖框中每一先前圖框k針對當前圖框t之每一要點i產生內圍層匹配分數S)，若在要點i與圖框t-k中之要點之間存在匹配，則M可為1，且w可為重要性權重。如所論述，重要性權重可對於較近的過去圖框較大，使得w 1>w 2 >w 3 >...>w N 。
如所論述，若用於要點i之內圍層匹配分數大於臨限值，則要點i可經標記為內圍層，且否則i可經標記為離群值。例如，臨限值可經特性化為匹配臨限值，且匹配臨限值可為具有提供較多內圍層要點(及可能的誤肯定)的較低值及提供較少內圍層要點(及可能的誤否定)的較高值的任何適合值。如圖1中所示，若要點i經標記為內圍層，則與該要點相關聯的內圍層軌跡可經產生(例如，基於由匹配要點橫越的軌跡)且作為內圍層軌跡(IT)129之部分提供至內圍層軌跡歷史109。此外，可針對當前圖框之所有要點進行此內圍層/離群值要點決定，且所得軌跡可作為內圍層軌跡129提供至內圍層軌跡歷史109以用於分類為內圍層要點的該等要點。此外，此類內圍層/離群值要點決定可用以產生內圍層/離群值資料128，該內圍層/離群值資料可使切合 的內圍層或離群值標記與要點122中每一要點相關聯。此內圍層/離群值資料128可經提供至裝置100之記憶體及/或離群值修剪模組106。內圍層/離群值資料128可包括任何適合的資料，諸如與要點122中每一要點相關聯的二進位指示符等。
如所論述，可基於針對當前圖框之要點決定與先前圖框之內圍層要點之匹配(若存在)來產生內圍層/離群值資料128。可基於空間距離(例如，先前圖框內圍層要點匹配必須在要點之空間鄰域諸如空間鄰域410內)及描述符距離(例如，先前圖框內圍層要點匹配必須具有小於臨限值的描述符差)來決定此匹配。此外，可基於用於每一要點之匹配分數與匹配分數臨限值之比較來產生內圍層/離群值資料128。此內圍層/離群值資料128可指示要點122之中的內圍層要點及離群值要點。在一些實例中，可進一步評估使用此類技術決定的離群值要點以決定一或多個此類離群值以及來自過去圖框的離群值是否產生匹配之鏈。若如此，此類先前決定的離群值要點可經改變至內圍層要點。此外，來自先前圖框的匹配離群值要點亦可經改變至內圍層要點(例如，匹配之整個鏈可經再指派給內圍層要點)。
例如，離群值修剪模組106可決定內圍層/離群值資料128之中的任何離群值要點將是否經重新標記為內圍層要點。離群值修剪模組106可使用任何適合的技術或多種技術來進行此決定。在一些實例中，離群值修剪模組106可藉由使用來自先前圖框的離群值要點偵測用於離群值要點 之匹配來偵測來自先前標記的離群值要點的內圍層要點。在一些實例中，若離群值在大多數此類先前圖框中具有匹配，則離群值及匹配(例如，來自先前圖框的先前標記的離群值)可經標記為內圍層。例如，若發現來自當前圖框的離群值要點匹配(例如，基於如本文所論述之空間及/或描述符距離)來自大多數先前圖框的離群值要點，則離群值要點及離群值要點匹配可經宣告為內圍層要點。此外，離群值修剪模組106可決定用於此類新標記的內圍層之內圍層軌跡(IT)131及用於仍然為離群值的該等離群值之離群值軌跡(OT)132，且將此類軌跡分別提供至內圍層軌跡歷史109及離群值軌跡歷史110。
如所論述，離群值修剪模組106可使用任何技術或多種技術來決定內圍層/離群值資料128之中的任何離群值要點將是否經重新標記為內圍層要點。在一些實例中，當前圖框中之離群值要點可與最近N個圖框中之離群值要點匹配。若當前圖框中之離群值要點中一者在大多數最近圖框中之離群值要點之中具有匹配，則當前圖框中之離群值要點及匹配(例如，來自先前圖框的匹配離群值要點)可經自離群值軌跡歷史110移除且經移動或附加至內圍層軌跡歷史109(例如，經由內圍層軌跡131)。在其他實例中，離群值匹配分數可經產生且與臨限值進行比較以決定離群值要點將是否經重新標記。例如，對於當前圖框中之每一離群值要點(例如，在內圍層/離群值資料128之中)i t ，可在先前圖框中決定匹配(例如，來自先前圖框的匹配離群值要點) 之鏈i,、i t-1 、...、i t-N ，使得若在圖框t-k中未發現匹配，則i t-k =0。此類匹配或匹配之鏈可基於空間近接性及描述符值近接性，如本文所論述。在一些實例中，可應用大多數測試，使得若在大多數先前圖框中發現匹配，則匹配的離群值要點經重標記為內圍層要點。
在其他實例中，可基於此類匹配(若存在)針對當前圖框中之每一離群值要點決定離群值匹配分數。可使用任何適合的技術或多種技術產生離群值匹配分數。例如，離群值匹配分數可為用於匹配之1或用於非匹配之0及重要性權重之乘積的跨於參與先前圖框的和。例如，重要性權重可比較大距離的過去圖框之匹配較高地衡量較近的過去圖框中之匹配。在一些實例中，可如關於方程式(2)所示地產生離群值匹配分數：
其中S可為離群值匹配分數(例如，(out)指示離群值)，i可為用於每一離群值要點之計數器變數，t可為當前圖框之指示符，k可為用於先前圖框之計數器變數，N可為在決定中使用的先前圖框之數目(例如，使得可基於N個先前圖框中每一先前圖框k針對當前圖框t之每一離群值要點i產生離群值匹配分數S)，若在離群值要點i與圖框t-k中之離群值要點之間存在匹配則M可為1，且w可為重要性權重。如所論述，重要性權重可對於較近的過去圖框較大，使得 w 1 >w 2 >w 3 >...>w N 。
如所論述，若用於離群值要點i之離群值匹配分數大於臨限值，則離群值要點i以及來自先前圖框的匹配要點可經標記為內圍層要點(例如，匹配要點之整個鏈可經重新標記為內圍層要點)，且否則離群值要點i可仍然為離群值。如圖1中所示，若離群值要點i經標記為(例如，重新標記為)內圍層要點，則與要點i相關聯的內圍層軌跡可經產生(例如，基於由匹配要點橫越的軌跡)且作為內圍層軌跡(IT)131之部分提供至內圍層軌跡歷史109。若離群值要點未經標記為內圍層要點(例如，該離群值要點仍然為離群值要點)，則與要點i相關聯的離群值軌跡可經產生且作為離群值軌跡(IT)132之部分提供至離群值軌跡歷史110。此外，可針對當前圖框之所有先前離群值標記的要點進行此此離群值修剪決定，且所得軌跡可分別作為內圍層軌跡131提供至內圍層軌跡歷史109或作為離群值軌跡132提供至離群值軌跡歷史110。此外，可基於此離群值要點修剪產生最終的內圍層/離群值資料130。此最終的內圍層/離群值資料(F I/O D)130可經提供至裝置100之記憶體且/或變化感興趣區域估計模組107。此最終的內圍層/離群值資料130可包括任何適合的資料，諸如與要點122中每一要點相關聯的二進位指示符等。
如所論述，可關於一或多個先前圖框決定當前圖框之內圍層要點及離群值要點。此類當前圖框內圍層要點可由內圍層及離群值偵測模組105映射至先前圖框之內圍 層要點且/或經由離群值修剪模組106映射至離群值要點。此類模組可如圖1中所示地單獨實行或一起實行為內圍層偵測模組或內圍層及離群值偵測模組等。
圖5例示根據本揭示內容之至少一些實行方案佈置的在當前圖框201與先前圖框202之間匹配的示例性內圍層要點。如圖5中所示，當前圖框201可包括使用諸如本文所論述之該等技術的任何技術決定的內圍層要點501及離群值要點502。此外，先前圖框202可包括使用諸如本文所論述之該等技術的任何技術決定的內圍層要點503及離群值要點504。如所示，當前圖框201之內圍層要點501與先前圖框202之內圍層要點503之間可具有映射505，使得相關聯之內圍層要點501及內圍層要點503(如由箭頭指示)匹配。如所論述，可如本文所論述地評估任何數目N個先前圖框，且可在當前圖框與任何數目的先前圖框之間及/或在此類先前圖框之間進行類似於映射505的映射。另外，如所論述，此類映射可提供或可用以提供用於內圍層要點501之內圍層軌跡。
返回至圖1，變化感興趣區域估計模組107可接收最終的內圍層/離群值資料130或最終的內圍層/離群值資料130之至少最終的離群值資料及離群值軌跡歷史133，且變化感興趣區域估計模組107可監視此資料且若適用則在局部變化偵測已發生時產生局部變化指示符134。變化感興趣區域估計模組107可使用任何適合的技術或多種技術偵測此類局部變化。例如，偵測局部變化區域可包括使來自先 前圖框的離群值要點翹曲至當前圖框之坐標系統及將聚類技術施加至當前圖框及先前圖框之離群值要點。例如，當此類離群值要點中至少一些指示叢集時，局部變化區域可經偵測。此叢集可指示局部運動已發生或與總體運動不相容的局部變化已發生的影像區域。
例如，變化感興趣區域估計模組107可基於諸如總體運動估計124之總體運動估計使來自任何數目N個先前圖框(例如，如經由離群值軌跡歷史133決定)的離群值要點翹曲至當前圖框之坐標系統。每一此翹曲的離群值要點可經指派重要性權重值，使得例如將較高權重給予來自較近圖框的離群值要點且將最高權重給予來自當前圖框的離群值要點。基於翹曲至當前圖框之坐標的此類離群值要點及該等離群值要點之相關聯重要性權重，變化感興趣區域估計模組107可施加聚類技術，諸如加權k均值(k-means)聚類技術等。此類叢集若經偵測則可用以產生局部變化指示符134。局部變化指示符134可為局部變化之任何適合的指示符，諸如局部運動偵測信號或指示符(例如，二進位信號)、叢集之中心之指示符、用以指示圍繞所偵測叢集的定界框的定界框位置及大小資料之指示符等。
圖6例示根據本揭示內容之至少一些實行方案佈置的指示局部變化區域的離群值要點601之示例性叢集。例如，如圖6中所示，當前圖框201可包括內圍層要點604(例如，經由實心圓指示)及離群值要點601之叢集(例如，經由開圓指示)。如所論述，離群值要點601之叢集可經由變化 感興趣區域估計模組107偵測，且可基於離群值要點601之叢集產生局部變化指示符134。此外，在一些實例中，局部變化指示符134可包括用以指示與離群值要點601之叢集相關聯的定界框的定界框位置及大小資料或與該定界框位置及大小資料相關聯。例如，局部變化指示符134可指示與離群值要點601之叢集相關聯的定界框602。例如，局部變化指示符134可指示定界框602之位置(例如，左上拐角)及定界框602之大小(例如，高度及寬度)。
返回至圖1，裝置100可將局部變化指示符134使用於任何適合的目的。例如，裝置100可回應於局部變化指示符134而自睡眠或閒置狀態喚醒(例如，經由功率管理單元(未示出)基於局部變化指示符執行自低功率狀態的喚醒)，照亮顯示裝置(未示出)，提高圖框擷取率，提高圖框擷取解析度，執行物件辨識或追蹤(例如，基於經由局部變化指示符134指示的定界框)等。在一些實例中，此物件辨識或追蹤可包括辨識由使用者進行以引起藉由裝置100進行之動作的手勢。
如所論述，裝置100可提供或執行視訊中之穩健局部變化偵測。本文所論述之技術與先前光感測模式(LSM)技術相比可減少誤肯定率，改良尤其用於手勢控制介面之回應時間，將用於具有局部變化之影像區域之定界框提供至電腦視覺模組，且/或估計圖框之間或跨於圖框的總體運動以用於在視訊穩定中使用等。此外，此類技術可在裝置100經歷大範圍之運動時適用且可節約記憶體空間、計算資 源及功率，因為不需要儲存全部先前圖框(例如，僅可儲存局部要點、描述符及軌跡)或執行完全圖框處理。此類特性可進行在諸如可穿戴式裝置之小形狀因素裝置中有利的所論述技術之實行方案，從而實行永遠開啟電腦視覺介面。
圖7例示根據本揭示內容之至少一些實行方案佈置的用於提供視訊中之局部變化偵測的示例性過程700。過程700可包括如圖7中所例示之一或多個操作701-710。過程700可由裝置(例如，裝置100或本文所論述之任何其他裝置或系統)執行，或過程700之部分可由裝置執行，以提供視訊中之局部變化偵測。可針對任何數目的影像圖框、視訊序列、上述各者之部分等重複過程700或該過程之部分。
如所示，過程700可開始於啟動操作701，在操作702處，「獲得視訊序列之圖框」，其中可獲得視訊序列之圖框。例如，可自影像信號處理器、影像感測器、影像處理管線等獲得視訊序列之當前圖框。例如，可獲得視訊序列121之當前圖框201。在一些實例中，先前圖框(例如，先前圖框202-204)可已經由過程700先前處理，使得先前已決定先前圖框之內圍層要點及離群值要點以及該等要點之個別軌跡。如所論述，當前圖框可為任何適合的當前圖框，諸如視訊序列之低解析度及低圖框率圖框。
處理可在操作703處繼續，「偵測要點」，其中可針對當前圖框偵測要點。如所論述，可使用諸如加速分段測試(AST)技術等之任何適合的技術或多種技術針對當前圖框偵測要點。例如，當前圖框可具有經由操作703決定的 數百要點。
處理可在操作704處繼續，「產生描述符」，其中可針對在操作703處決定的要點產生描述符。可使用任何適合的技術或多種技術來決定此類描述符，且可使用任何數目的描述符，諸如一個、二個、三個或更多描述符。例如，可針對當前圖框之每一要點產生一或多個描述符。如所論述，此類描述符可包括任何適合的描述符、描述符族或上述各者之組合，諸如像素色彩、亮度、梯度、擴張性、發光度、強度、像素塊之評估等。
處理可在操作705處繼續，「估計總體運動」，其中可針對當前圖框估計總體運動。此總體運動可使用任何適合的技術或多種技術來決定，諸如決定當前圖框中之要點與先前圖框中之要點之間的對應及/或先前圖框中之要點之間的對應，及基於穩健迴歸技術等來估計當前圖框與任何數目的先前圖框之間的仿射變換。此類總體運動估計值可包括任何總體運動參數，諸如平移、標度、旋轉、偏斜等。此外，如關於加速計/回轉儀模組111所論述，此總體運動估計可包括由加速計/回轉儀模組111產生的運動資料之評估。在一些實例中，在操作705處進行的總體運動估計可由其他裝置組件使用於視訊穩定技術等。
處理可在操作706處繼續，「偵測內圍層及離群值」，其中可針對當前圖框決定內圍層要點及離群值要點。此類內圍層要點及離群值要點可使用任何適合的技術或多種技術來決定，諸如本文關於圖8或本文其他地方所論述之 該等技術。例如，可基於視訊序列之一或多個先前圖框之內圍層要點來決定用於當前圖框之此類內圍層要點及離群值要點。例如，當前圖框之每一要點可經評估以決定與先前圖框中之內圍層要點之匹配(若存在)。此類匹配可基於先前圖框之要點之空間近接性(例如，翹曲至當前圖框)及先前圖框之要點之描述符值近接性。隨後可基於先前圖框是否具有匹配及用於先前圖框之重要性權重來針對當前圖框之每一要點決定匹配分數。基於匹配分數(例如，基於匹配分數與臨限值之比較)，每一要點可經分類為內圍層要點或離群值要點。在一些實例中，可修剪此類離群值要點，如本文進一步所論述。此外，可決定與此類內圍層要點及離群值要點相關聯的軌跡以用於進一步處理。
處理可在操作707處繼續，「將聚類技術施加至離群值」，其中聚類技術等可施加至當前圖框之離群值及來自先前圖框的翹曲離群值。此聚類技術可包括任何適合的聚類技術或多種技術，諸如加權k均值聚類技術、基於連接性之聚類、基於質心之聚類、基於分配之聚類、基於密度之聚類等。例如，此類聚類技術可試圖偵測指示當前圖框內之局部感興趣區域的離群值要點之叢集。
處理可在決策操作708處繼續，「局部感興趣區域經偵測？」，其中可進行關於是否已經由在操作707處施加的聚類技術偵測局部感興趣區域的決定。例如，若在操作707處識別或偵測叢集，則局部感興趣區域可經偵測。若無感興趣區域在決策操作708處經偵測，則過程700可在操作 702處繼續，如本文所論述，其中可載入且處理視訊序列之下一圖框，如所描述。替代地，若視訊序列已結束，則過程700可結束。
若局部感興趣區域在決策操作708處經偵測，則過程700可在操作709處繼續，「提供局部變化指示符」，其中局部變化指示符可經提供至裝置之其他模組等，且過程700可在結束操作710處結束。如所論述，此局部變化之指示符或局部變化指示符等可包括任何適合的資料或信號，且可用於任何適合的目的，諸如用以自睡眠或閒置狀態喚醒，照亮顯示裝置、提高圖框擷取率，提高圖框擷取解析度，執行物件辨識或追蹤等。
如所論述，過程700可用以提供視訊中之局部變化偵測。過程700可針對不同的影像圖框、視訊序列、上述各者之部分等重複任何數目次。此外，可針對當前圖框之要點串列地、並列地或部分並列地執行過程700。在一些實例中，當裝置進入低功率狀態模式或永遠開啟電腦視覺模式等時可引發過程700。
圖8為例示根據本揭示內容之至少一些實行方案佈置的用於決定用於當前圖框之內圍層要點及離群值要點之示例性過程800的流程圖。過程800可包括如圖8中所例示之一或多個操作801-811。過程800可由裝置(例如，裝置100或本文所論述之任何其他裝置或系統)執行，或過程800之部分可由裝置執行以決定用於當前圖框之內圍層要點及離群值要點。可針對任何數目的要點、影像圖框、視訊序列、 上述各者之部分等重複過程800或該過程之部分。在一些實例中，過程800或該過程之一部分可在過程700之手術706處執行。
如所示，過程800可開始於啟動操作801，在操作802處，「選擇要點」，其中可選擇諸如當前圖框之要點的要點。例如，可針對當前圖框之每一要點執行過程800以分類此類要點及內圍層要點或離群值要點。
處理可在操作803處繼續，「產生匹配分數」，其中可針對選定的要點產生匹配分數。可使用任何適合的技術或多種技術產生匹配分數。例如，可評估選定的要點及來自先前圖框的內圍層要點以決定此類先前圖框內之匹配內圍層要點(若存在)。例如，來自先前圖框的匹配內圍層要點可包括選定的要點之空間近接性(例如，空間鄰域)內(例如，在翹曲至當前圖框之坐標系統之後)及具有在選定的要點之描述符值之臨限值內的描述符值的該等要點。例如，可自選定的當前圖框要點之空間鄰域內的先前圖框內圍層要點之中決定具有最小描述符值距離的先前圖框內圍層要點。若最小描述符值距離(例如，選定的當前圖框要點之描述符值與具有最小描述符值距離的先前圖框內圍層要點之間的差)小於臨限值，則匹配可經宣告，且若並非小於臨限值，則無匹配可經宣告。可針對用於處理的每一先前圖框重複此過程，以針對來自先前圖框之內圍層要點的選定的要點決定匹配(若存在)。
基於此類匹配(例如，跨於先前圖框無匹配、一 個匹配或更多此類匹配)，可產生匹配分數。例如，匹配分數可為用於匹配之1或用於非匹配之0及重要性權重之乘積的跨於參與先前圖框的和。如所論述，重要性權重可比較大距離的過去圖框之匹配較高地衡量較近的過去圖框中之匹配。在一些實例中，可如關於方程式(1)所示地決定匹配分數。
處理可在決策操作804處繼續，「匹配分數>臨限值？」，其中可進行關於是否基於匹配分數將選定的要點指定為內圍層要點或離群值要點的決定。例如，匹配分數可與臨限值進行比較，以決定是將選定的要點指定為內圍層要點或是離群值要點。如所示，在一些實例中，可進行關於匹配分數是否大於臨限值的決定。此臨限值可特性化為匹配分數臨限值且可具有任何適合的值。
如所示，在一些實例中，若匹配分數大於臨限值，則處理可在操作805處繼續，「將要點指定為內圍層」，其中選定的要點可經指定為內圍層要點。例如，選定的要點可經由內圍層/離群值資料128指定為內圍層要點，且內圍層軌跡可經產生且儲存(例如，經由內圍層軌跡歷史110)。如所示，處理可針對標記為內圍層要點的選定的要點在決策操作810處繼續，如本文進一步所論述。
若匹配分數不大於臨限值，則處理可在操作806處繼續，「將要點指定為離群值」，其中選定的要點可經指定為離群值要點。例如，選定的要點可經由內圍層/離群值資料128指定為離群值要點。如所論述，此類離群值要點可 經受諸如離群值修剪之繼續處理，以決定該等離群值要點是否應重新標記為內圍層要點。此類離群值要點可經特性化為初始離群值要點、中間離群值要點等。例如，可執行此離群值修剪以自後續聚類操作移除不穩定離群值。例如，在操作806處標記的一些離群值可為不穩定的，或由於與局部運動無關等的原因而標記為離群值。此離群值修剪可重新標記此類不穩定離群值，並且回頭查看先前圖框以重新標記來自先前圖框的不穩定離群值(例如，如關於操作809所論述，來自當前圖框及先前圖框的所有離群值要點匹配可經重新標記或重新分類為內圍層要點)。
處理可在操作807處繼續，「產生離群值匹配分數」，其中可針對在操作806處標記為離群值要點的選定的要點產生離群值匹配分數。可使用任何適合的技術或多種技術產生離群值匹配分數。例如，當前離群值要點及來自先前圖框的離群值要點可經評估以決定與此類先前圖框內的離群值要點之匹配(若存在)。此類匹配或匹配之鏈可基於空間近接性及/或描述符值近接性，如本文所論述。基於此類匹配或此類匹配之鏈(例如，跨於先前圖框)，可產生離群值匹配分數。例如，離群值匹配分數可為用於匹配之1或用於非匹配之0及重要性權重之乘積的跨於參與先前圖框的和。如所論述，重要性權重可比較大距離的過去圖框之匹配較高地衡量較近的過去圖框中之匹配。例如，可如關於方程式(2)所示地決定離群值匹配分數。
處理可在決策操作808處繼續，「離群值匹配分數 >臨限值？」，其中可進行關於是否基於離群值匹配分數將先前標記的選定要點指定為離群值要點且將來自先前圖框的輪廓要點匹配之鏈指定為內圍層要點的決定。例如，離群值匹配分數可與臨限值進行比較，以決定是將匹配離群值要點指定為內圍層要點或是使該等匹配離群值要點保留為離群值要點。如所示，在一些實例中，可進行關於離群值匹配分數是否大於臨限值的決定。此臨限值可經特性化為離群值匹配分數臨限值且可具有任何適合的值。
如所示，在一些實例中，若離群值匹配分數大於臨限值，則處理可在操作805、809處繼續，「將要點及相關聯要點指定為內圍層」，其中先前標記為離群值要點的選定要點及來自先前圖框的匹配離群值要點之鏈可經指定(例如，重新指定)為內圍層要點。例如，此類先前指定的離群值要點可經由自內圍層/離群值資料128移除以產生最終的內圍層/離群值資料130指定為內圍層要點，且內圍層軌跡可經產生且儲存(例如，經由內圍層軌跡歷史110)以用於要點之鏈。
若離群值匹配分數不大於臨限值，則處理可在決策操作810處繼續，「最後要點？」。替代地，處理可在決策操作810處自操作809繼續，如所論述。在決策操作810處，可進行關於選定的要點或當前要點(例如，在操作802處所選擇的要點)是否為用於當前圖框之最後要點的決定。若否，則處理可在操作802處繼續，其中可選擇下一個或後續要點以用於處理，如所論述。若如此，則處理可在結束操 作811處繼續。如所論述，在一些實例中，過程800可經執行以實行過程700之操作706(請參考圖7)。在此類實行方案中，當當前圖框之最後要點已經處理時，處理可自決策操作810繼續至過程700之操作707。
如所論述，過程800可用以決定用於當前圖框之內圍層要點及離群值要點。過程800可針對不同要點、影像圖框、視訊序列、上述各者之部分等重複任何數目次。此外，可針對當前圖框之要點串列地、並列地或部分並列地執行過程800。此外，在一些實例中，可執行過程800之僅部分。例如，在一些實行方案中，過程800可包括僅操作802-806，且無後續離群值修剪可經執行。
圖9為例示根據本揭示內容之至少一些實行方案佈置的用於提供視訊中之局部變化偵測之示例性過程的流程圖。過程900可包括如圖9中所例示之一或多個操作901-903。過程900可形成局部變化偵測過程之至少部分。藉由非限制性實例之方式，過程900可形成由如本文所論述之裝置100執行的局部變化偵測過程之至少部分。此外，本文將參考圖10之系統1000描述過程900。
圖10為根據本揭示內容之至少一些實行方案佈置的用於提供視訊中之局部變化偵測之示例性系統1000的例示性圖表。如圖10中所示，系統1000可包括一或多個中央處理單元(CPU)1001、圖形處理單元1002及記憶體儲存器1003。亦如所示，圖形處理單元1002可包括要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層 及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107。此類模組可經實行來執行如本文所論述之操作。亦如所示，記憶體儲存器1003可包括總體運動歷史108、內圍層軌跡歷史109及離群值軌跡歷史110。在系統1000之實例中，記憶體儲存器1003可儲存視訊序列資料、視訊圖框、視訊圖框資料、要點資料、要點位置、描述符資料、總體運動估計值或總體運動估計資料、運動資料、內圍層/離群值要點資料、最終的內圍層/離群值要點資料、局部變化指示符、內圍層軌跡、離群值軌跡、映射資料、空間鄰域資料、重要性權重、匹配分數、離群值匹配分數、定界框資料、聚集資料等。
如所示，在一些實例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107可經由圖形處理單元1002實行。在其他實例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107中一或多者或部分可經由中央處理單元1001或系統1000之影像處理單元(未示出)實行。在其他實例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107中一或多者或部分可經由成像處理管線、圖形管線等實行。
圖形處理單元1002可包括任何數目及類型的圖 形處理單元，該等圖形處理單元可提供如本文所論述之操作。此類操作可經由軟體或硬體或軟體及硬體之組合實行。例如，圖形處理單元1002可包括專用於操縱自記憶體儲存器1003獲得的影像資料、CNN資料、強分類器等的電路。中央處理單元1001可包括任何數目及類型之處理單元或模組，該等處理單元或模組可為系統1000提供控制及其他高階功能且/或提供如本文所論述之任何操作。記憶體儲存器1003可為任何類型之記憶體，諸如依電性記憶體(例如，靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非依電性記憶體(例如，快閃記憶體等)等。在一非限制性實例中，記憶體儲存器1003可藉由快取記憶體實行。
在一實施例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107中一或多者或部分可經由圖形處理單元1002之執行單元(EU)實行。EU可包括例如可規劃邏輯或電路，諸如可提供大量可規劃邏輯功能的邏輯核心或多個核心。在一實施例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107中一或多者或部分可經由諸如固定功能電路等之專用硬體實行。固定功能電路可包括專用邏輯或電路，且可提供一組固定功能入口點，該組固定功能入口點可映射至專用邏輯以用於固定目的或 功能。在一些實施例中，要點偵測模組102、描述符估計模組103、總體運動估計模組104、內圍層及離群值偵測模組105、離群值修剪模組106及變化感興趣區域估計模組107中一或多者或部分可經由特定應用積體電路(ASIC)實行。ASIC可包括定製來執行本文所論述之操作的積體電路。
返回至圖9之論述，過程900可自操作901開始，「決定視訊序列之當前圖框中之內圍層要點及離群值要點」，其中可基於視訊序列之先前圖框中之內圍層要點在視訊序列之當前圖框中決定一或多個內圍層要點及一或多個離群值要點。例如，用於當前圖框之所偵測要點之匹配分數可與匹配臨限值進行比較，以決定要點為內圍層要點或為離群值要點。在一些實例中，決定內圍層要點可包括在先前圖框中之內圍層要點之中偵測匹配要點或若干匹配要點。例如，匹配要點可在當前圖框之要點之空間鄰域內，且可具有相對於來自空間鄰域內之先前圖框的任何其他內圍層要點之要點的最小描述符距離(例如，且最小描述符距離可小於臨限值)。在一些實例中，決定當前圖框之內圍層要點及離群值要點可包括針對當前圖框決定多個要點及相關聯局部影像描述符，使來自先前圖框的內圍層要點翹曲至與當前圖框相關聯的坐標，基於一或多個匹配針對一要點決定匹配分數，及將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點。此外，當要點經分類為離群值要點時，可基於要點與來自先前圖框的一或多個離群值匹配要點之間的一或多個離群值匹配針對要點 決定離群值匹配分數，且要點及匹配要點可基於離群值匹配分數與第二臨限值之比較經分類(例如，重新分類)為內圍層要點。
例如，如經由圖形處理單元1002實行的要點偵測模組102可產生用於視訊序列之當前圖框之要點，如經由圖形處理單元1002實行的描述符估計模組103可產生用於每一要點之描述符，如經由圖形處理單元1002實行的總體運動估計模組104可產生用於當前圖框之總體運動估計值，如經由圖形處理單元1002實行的內圍層及離群值偵測模組105可在要點之中決定內圍層要點及離群值要點，且離群值修剪模組106在一些情況下可將匹配離群值要點重新標記為內圍層要點。
處理可在操作902處繼續，「基於當前圖框中之離群值要點及先前圖框中之離群值要點偵測局部變化區域」，其中可基於當前圖框中之離群值要點及視訊序列之一或多個先前圖框中之離群值要點在視訊序列中偵測局部變化區域。例如，可藉由使一或多個先前圖框中之離群值要點翹曲至當前圖框之坐標系統及將聚類技術施加至當前圖框之離群值要點及一或多個先前圖框中之離群值要點，使得局部變化區域與離群值要點中至少一些之叢集相關聯，來偵測局部變化區域。在一些實例中，先前圖框之離群值要點可基於與離群值要點相關聯的先前圖框與加權值相關聯，使得較遠的先前圖框具有較小的加權值。例如，如經由圖形處理單元1002實行的變化感興趣區域估計模組107 可基於施加聚類技術等來決定局部變化區域。
處理可在操作903處繼續，「基於所偵測局部變化區域來提供局部變化指示符」，其中可基於視訊序列中之所偵測局部變化區域來提供局部變化指示符。例如，局部變化指示符可包括局部運動偵測指示符或信號、定界框位置及大小資料(例如，與定界所偵測局部變化區域的定界框相關聯)等。例如，如經由圖形處理單元1002實行的變化感興趣區域估計模組107可提供局部變化指示符。
過程900可基於輸入視訊圖框來提供局部變化偵測。過程900可針對任何數目的輸入視訊圖框、視訊序列等串列地或並列地重複任何數目次。如所論述，過程900可提供具有高品質及低實行方案覆蓋區(例如，記憶體、計算資源及功率消耗)的局部變化偵測。
本文所描述之系統之各種組件可以軟體、韌體及/或硬體及/或上述各者之任何組合來實行。例如，裝置100、系統1000、系統1100或裝置1200之各種組件可至少部分由計算系統單晶片(SoC)之硬體提供，諸如可見於諸如例如電腦、膝上型電腦、平板電腦或智慧型電話的計算系統中。例如，此類組件或模組可經由多核心SoC處理器實行。熟習此項技術者可認識到，本文所描述之系統可包括並未描繪於對應的圖中的額外組件。
雖然本文所論述之示例性過程之實行方案可包括以所例示次序展示的所有操作之承擔，但是本揭示內容在此方面不受限制，且在各種實例中，本文的示例性過程 之實行方案可包括所示操作、以相較於所例示的不同次序執行的操作或額外操作之僅一子集。
另外，可回應於由一或多個電腦程式產品提供的指令而承擔本文所論述之操作中一或多者。此類程式產品可包括提供指令的信號承載媒體，該等指令在由例如處理器執行時可提供本文所描述之功能。可以任何形式之一或多個機器可讀媒體提供電腦程式產品。因此，例如，包括一或多個圖形處理單元或處理器核心的處理器可回應於藉由一或多個機器可讀媒體傳達至處理器的程式碼及/或指令或指令集而承擔本文的示例性過程之方塊中一或多者。一般而言，機器可讀媒體可傳達以程式碼及/或指令或指令集之形式的軟體，該等程式碼及/或指令或指令集可使任何本文所描述之裝置及/或系統實行裝置100、系統1000、系統1100或裝置1200，或如本文所論述之任何其他模組或組件之至少部分。
如本文所描述之任何實行方案中所使用，「模組」一詞代表經組配來提供本文所描述之功能性的軟體邏輯、韌體邏輯、硬體邏輯及/或電路之任何組合。軟體可體現為軟體套件、碼及/或指令集或指令，且「硬體」(如本文所描述之任何實行方案中所使用)可單獨地或以任何組合包括例如硬連線(hardwired)電路、可規劃電路、狀態機電路、固定功能電路、執行單元電路及/或儲存由可規劃電路執行的指令之韌體。模組可共同地或個別地體現為形成較大系統(例如，積體電路(IC)、系統單晶片(SoC)等)之一部分的 電路。
圖11為根據本揭示內容之至少一些實行方案佈置的示例性系統1100的例示性圖表。在各種實行方案中，系統1100可為計算系統，但是系統1100不限於此情境。例如，系統1100可併入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、平板手機(phablet)、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型裝置(例如，智慧型電話、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、通信報裝置、資料通訊裝置、周邊裝置、遊戲控制台、可穿戴式裝置、顯示裝置、單體全備裝置、二合一裝置等中。
在各種實行方案中，系統1100包括平台1102，該平台耦接至顯示器1120。平台1102可自諸如內容服務裝置1130或內容傳送裝置1140或其他類似內容來源的內容裝置接收內容，該等其他類似內容來源諸如攝影機或攝影機模組等。包括一或多個導航特徵的導航控制器1150可用以與例如平台1102及/或顯示器1120互動。以下更詳細地描述此等組件中每一者。
在各種實行方案中，平台1102可包括晶片組1105、處理器1110、記憶體1112、天線1113、儲存器1114、圖形子系統1115、應用程式1116及/或無線電1118之任何組合。晶片組1105可提供處理器1110、記憶體1112、儲存器1114、圖形子系統1115、應用程式1116及/或無線電1118之 間的內部通信。例如，晶片組1105可包括儲存器配接器(未描繪)，該儲存器配接器能夠提供與儲存器1114的內部通信。
處理器1110可經實行為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容的處理器、多核心或任何其他微處理器或中央處理單元(CPU)。在各種實行方案中，處理器1110可為雙核心處理器、雙核心行動處理器等。
記憶體1112可實行為依電性記憶體裝置，諸如但不限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。
儲存器1114可經實行為非依電性儲存裝置，諸如但不限於磁碟驅動機、光碟驅動機、磁帶驅動機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備SDRAM(同步DRAM)及/或網路可存取儲存裝置。在各種實行方案中，例如，在包括多個硬驅動機時，儲存器1114可包括用以增加用於有價值的數位媒體之儲存效能增強型保護的技術。
圖形子系統1115可執行諸如靜態影像、圖形或視訊之影像之處理以用於顯示。圖形子系統1115可為例如圖形處理單元(GPU)、視覺處理單元(VPU)或影像處理單元。在一些實例中，圖形子系統1115可執行掃描影像再現，如本文所論述。可使用類比或數位介面來通訊地耦接圖形子系統1115及顯示器1120。例如，介面可為高清晰度多媒體介面、顯示埠、無線HDMI及/或無線HD順應性技術中任一 者。圖形子系統1115可整合至處理器1110或晶片組1105中。在一些實行方案中，圖形子系統1115可為通訊地耦接至晶片組1105的獨立裝置。
本文所描述之影像處理技術可以各種硬體架構來實行。例如，可將影像處理功能性整合於晶片組內。替代地，可使用離散圖形及/或影像處理器及/或特定應用積體電路。作為另一實行方案，影像處理可由包括多核心處理器的通用處理器提供。在進一步實施例中，功能可實行於消費者電子裝置中。
無線電1118可包括能夠使用各種適合的無線通訊技術來發射及接收信號的一或多個無線電。此類技術可涉及跨於一或多個無線網路之通訊。示例性無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、蜂巢式網路及衛星網路。在跨於此類網路之通訊中，無線電1118可根據呈任何版本之一或多個適用標準來操作。
在各種實行方案中，顯示器1120可包括任何扁平面監視器或顯示器。顯示器1120可包括例如電腦顯示螢幕、觸控螢幕顯示器、視訊監視器、電視類裝置及/或電視。顯示器1120可為數位的及/或類比的。在各種實行方案中，顯示器1120可為全像式顯示器。此外，顯示器1120可為可接收視覺投影的透明表面。此類投影可傳達各種形式之資訊、影像及/或物件。例如，此類投影可為用於行動擴增實境(MAR)應用的視覺覆蓋。在一或多個軟體應用程式1116 之控制下，平台1102可在顯示器1120上顯示使用者介面1122。
在各種實行方案中，內容服務裝置1130可由任何國家服務、國際服務及/或獨立服務代管，且因此為平台1102經由例如網際網路可存取的。內容服務裝置1130可耦接至平台1102及/或耦接至顯示器1120。平台1102及/或內容服務裝置1130可耦接至網路1160以往返於網路1160而通訊(例如，發送且/或接收)媒體資訊。內容傳送裝置1140亦可耦接至平台1102及/或耦接至顯示器1120。
在各種實行方案中，內容服務裝置1130可包括電纜電視盒、個人電腦、網路、電話、能夠傳送數位資訊及/或內容的網際網路允用裝置或設備，及能夠經由網路1160或直接地在內容提供者與平台1102及/顯示器1120之間單向地或雙向地通訊內容的任何其他類似裝置。將瞭解，可經由網路1160往返於系統1100中之組件中任一者及內容提供者而單向地及/或雙向地通訊內容。內容之實例可包括任何媒體資訊，包括例如視訊、音樂、醫學及遊戲資訊等等。
內容服務裝置1130可接收諸如包括媒體資訊、數位資訊的電纜電視規劃的內容及/或其他內容。內容提供者之實例可包括任何電纜或衛星電視或無線電或網際網路內容提供者。所提供的實例在任何情況下並非意味著限制根據本揭示內容之實行方案。
在各種實行方案中，平台1102可自具有一或多個導航特徵的導航控制器1150接收控制信號。導航控制器 1150之導航特徵可用來與例如使用者介面1122互動。在各種實施例中，導航控制器1150可為指向裝置，該指向裝置可為電腦硬體組件(具體而言，為人性化介面裝置)，該電腦硬體組件允許使用者將空間(例如，連續的及多維的)資料輸入至電腦中。許多系統諸如圖形使用者介面(GUI)以及電視及監視器允許使用者使用身體手勢來控制且提供資料至電腦或電視。
可藉由指標、游標、聚焦環或顯示在顯示器上的其他視覺指示符之移動來在顯示器(例如，顯示器1120)上複製導航控制器1150之導航特徵之移動。例如，在軟體應用程式1116之控制下，可將位於導航控制器1150上的導航特徵映射至例如顯示在使用者介面1122上的虛擬導航特徵。在各種實施例中，導航控制器1150可並非分開的組件，而是可整合至平台1102及/或顯示器1120中。然而，本揭示內容不限於本文所示或所述的元件或在本文所示或所述的方面不受限制。
在各種實行方案中，例如，在啟用時，驅動器(未示出)可包括用以在初始啟動之後允許使用者以按下按鈕來立刻打開及關閉如電視的平台1102的技術。即使在平台「關閉」時，程式邏輯亦可允許平台1102使內容串流至媒體配接器或其他內容服務裝置1130或內容傳送裝置1140。另外，晶片組1105可包括用於例如5.1環繞聲音訊及/或高清晰度7.1環繞聲音訊的硬體及/或軟體支援。驅動器可包括用於整合式圖形平台的圖形驅動器。在各種實施例中，圖形 驅動器可包含周邊組件互連(PCI)快速圖形卡。
在各種實行方案中，系統1100中所示的組件中任何一或多者可為整合式的。例如，平台1102及內容服務裝置1130可為整合式的，或平台1102及內容傳送裝置1140可為整合式的，或例如平台1102、內容服務裝置1130及內容傳送裝置1140可為整合式的。在各種實施例中，平台1102及顯示器1120可為整合式單元。例如，顯示器1120及內容服務裝置1130可為整合式的，或顯示器1120及內容傳送裝置1140可為整合式的。此等實例並非意味著限制本揭示內容。
在各種實施例中，系統1100可經實行為無線系統、有線系統或二者之組合。當實行為無線系統時，系統1100可包括適合於經由無線共享媒體通訊的組件及介面，諸如一或多個天線、發射器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共享媒體之實例可包括無線頻譜之部分，諸如RF頻譜等。當實行為有線系統時，系統1100可包括適合於經由有線通訊媒體通訊的組件及介面，諸如輸入/輸出(I/O)配接器、用以連接I/O配接器與對應有線通訊媒體的實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實例可包括電線、電纜、金屬導線、印刷電路板(PCB)、底板、交換機(switch)結構、半導體材料、雙絞線、同軸電纜、光纖等。
平台1102可建立一或多個邏輯通道或實體通道以通訊資訊。資訊可包括媒體資訊及控制資訊。媒體資訊 可涉及代表打算用於使用者的內容的任何資料。內容之實例可包括例如來自語音對話、視訊會議、串流視訊、電子郵件(「email」)訊息、語音郵件訊息、文數符號、圖形、影像、視訊、本文等的資料。來自語音對話的資料可為例如語言資訊、靜默時間、背景雜訊、舒適雜訊、音調等。控制資訊可代表表示打算用於自動系統的命令、指令或控制字的任何資料。例如，控制資訊可用以路由媒體資訊穿過系統，或指示節點來以預定方式處理媒體資訊。然而，實施例不限於圖11中所示或所描述之元件或在圖11中所示或所描述之方面不受限制。
如以上所描述，系統1100可以不同實體風格或形狀因素來體現。圖12例示根據本揭示內容之至少一些實行方案佈置的示例性小形狀因素裝置1200。在一些實例中，系統1100可經由裝置1200實行。在其他實例中，裝置100、系統1000、系統1100或裝置1200，或上述各者之部分可經由裝置1200實行。在各種實施例中，例如，裝置1200可經實行為具有無線能力的行動計算裝置。例如，行動計算裝置可代表具有處理系統及行動電源或電源供應(諸如一或多個電池)的任何裝置。
行動計算裝置之實例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、智慧型裝置(例如，智慧型電話、智慧型平板或智慧型行動電視)、行動網際網路裝置 (MID)、通信報裝置、資料通訊裝置、攝影機等。
行動計算裝置之實例亦可包括經佈置以由個人穿戴的電腦，諸如，手腕電腦、手指電腦、戒指電腦、眼鏡電腦、皮帶扣電腦、臂章電腦、鞋子電腦、服裝電腦及其他可穿戴式電腦。在各種實施例中，例如，行動計算裝置可經實行為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。儘管一些實施例可藉由實例之方式使用實行為智慧型電話的行動計算裝置來予以描述，但可瞭解，亦可使用其他無線行動計算裝置來實行其他實施例。實施例在此方面不受限制。
如圖12中所示，裝置1200可包括具有前面1201及背面1202的外殼。裝置1200包括顯示器1204、輸入/輸出(I/O)裝置1206及整合式天線1208。裝置1200亦可包括導航特徵1212。I/O裝置1206可包括用於將資訊輸入至行動計算裝置中的任何適合I/O裝置。I/O裝置1206之實例可包括文數鍵盤、數字小鍵盤、觸控墊、輸入鍵、按鈕、交換機、麥克風、揚聲器、語音辨識裝置及軟體等。資訊亦可藉由麥克風(未示出)輸入至裝置1200中，或可由語音辨識裝置數位化。如所示，裝置1200可包括整合至裝置1200之背面1202(或其他地方)中的攝影機1205(例如，包括透鏡、光圈及成像感測器)及閃光燈1210。在其他實例中，攝影機1205及閃光燈1210可整合至裝置1200之前面1201中，或可提供前面攝影機及背面攝影機兩者。攝影機1205及閃光燈1210可為用以首創處理至串流視訊中的影像資料的攝影機模組 之組件，該串流視訊經輸出至顯示器1204及/或經由例如天線1208以遠端方式自裝置1200通訊。
可使用硬體元件、軟體元件或二者之組合來實行各種實施例。硬體元件之實例可包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、現場可規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體之實例可包括軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、次常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字、值、符號或上述各者之任何組合。決定是否使用硬體元件及/或軟體元件來實行實施例可根據任何數目的因素而變化，該等因素諸如所要的計算速率、功率位準、耐熱性、處理週期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
至少一實施例之一或多個態樣可藉由儲存於機器可讀媒體上的代表性指令來實行，該機器可讀媒體表示處理器內的各種邏輯，該等指令在由機器讀取時使機器製造邏輯來執行本文中所描述之技術。此類表示(稱為IP核心)可儲存於有形的機器可讀媒體上，且可供應給各種用戶端或製造設施以載入至實際上製造該邏輯或處理器的製造機 中。
雖然已參考各種實行方案描述本文所闡述之某些特徵，但此描述並非意欲以限制性意義來理解。因此，本揭示內容所屬的技術中的技術者顯而易見對本文所描述之實行方案以及其他實行方案的各種修改在本揭示內容之精神及範疇內。
在一或多個第一實施例中，一種用於提供視訊中之局部變化偵測之方法包含基於視訊序列之一或多個先前圖框中之一或多個第二內圍層要點來決定視訊序列之當前圖框中之一或多個內圍層要點及一或多個離群值要點，基於當前圖框中之離群值要點及視訊序列之一或多個先前圖框中之一或多個第二離群值要點來偵測視訊序列中之局部變化區域，及基於視訊序列中之所偵測局部變化區域來提供局部變化指示符。
進一步關於第一實施例，決定一或多個內圍層要點及一或多個離群值要點包含：針對當前圖框之要點，將用於要點之匹配分數與匹配臨限值進行比較。
進一步關於第一實施例，決定一或多個內圍層要點包含：針對一或多個內圍層要點中之第一內圍層要點，偵測來自一或多個第二內圍層要點的匹配要點。
進一步關於第一實施例，決定一或多個內圍層要點包含：針對一或多個內圍層要點中之第一內圍層要點，偵測來自一或多個第二內圍層要點的匹配要點，其中匹配要點在第一內圍層要點之空間鄰域內，且具有相對於空間 鄰域內之一或多個第二內圍層要點中任一者之第一內圍層要點的最小描述符距離。
進一步關於第一實施例，偵測局部變化區域包含：使一或多個第二離群值要點翹曲至當前圖框之坐標系統及將聚類技術施加至離群值要點及一或多個第二離群值要點，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一些之叢集相關聯。
進一步關於第一實施例，偵測局部變化區域包含：使一或多個第二離群值要點翹曲至當前圖框之坐標系統及將聚類技術施加至離群值要點及一或多個第二離群值要點，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一些之叢集相關聯，其中一或多個先前圖框包含多個先前圖框，且其中一或多個第二離群值要點中之單獨離群值要點基於與單獨離群值要點相關聯的多個先前圖框中之一先前圖框與加權值相關聯。
進一步關於第一實施例，視訊序列包含以每秒不超過五個圖框之圖框率的低解析度視訊圖框。
進一步關於第一實施例，局部變化指示符包含局部運動偵測指示符或定界框位置及大小資料中至少一者。
進一步關於第一實施例，該方法進一步包含基於一或多個內圍層要點與一或多個第二內圍層要點之間的對應來估計與當前圖框相關聯的總體運動。
進一步關於第一實施例，決定當前圖框中之一或多個內圍層要點及一或多個離群值要點包含：針對當前圖 框決定多個要點及相關聯之局部影像描述符；使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標；針對該等多個要點中之第一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點。
進一步關於第一實施例，決定當前圖框中之一或多個內圍層要點及一或多個離群值要點包含：針對當前圖框決定多個要點及相關聯之局部影像描述符；使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標；針對該等多個要點中之第一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點，其中第一要點經分類為離群值要點，且該方法進一步包含：針對第一要點，基於第一要點與該等多個第二離群值要點中之一或多個離群值匹配要點之間的一或多個離群值匹配來決定離群值匹配分數，及基於離群值匹配分數與第二臨限值之比較將第一要點及一或多個離群值匹配要點分類為內圍層要點。
進一步關於第一實施例，該方法進一步包含基於局部變化指示符來執行自低功率狀態的喚醒。
在一或多個第二實施例中，一種用於提供視訊中之局部變化偵測之系統包含：記憶體，其經組配來接收視訊序列；以及圖形處理單元，其耦接至記憶體，該圖形處理單元用以基於視訊序列之一或多個先前圖框中之一或多個第二內圍層要點來決定視訊序列之當前圖框中之一或多個內圍層要點及一或多個離群值要點，基於當前圖框中之離群值要點及視訊序列之一或多個先前圖框中之一或多個第二離群值要點來偵測視訊序列中之局部變化區域，且基於視訊序列中之所偵測局部變化區域來提供局部變化指示符。
進一步關於第二實施例，圖形處理單元用以決定一或多個內圍層要點及一或多個離群值要點包含：針對當前圖框之要點，圖形處理單元用以將用於要點之匹配分數與匹配臨限值進行比較。
進一步關於第二實施例，圖形處理單元用以決定一或多個內圍層要點包含：針對一或多個內圍層要點之第一內圍層要點，圖形處理單元用以偵測來自一或多個第二內圍層要點的匹配要點。
進一步關於第二實施例，圖形處理單元用以決定一或多個內圍層要點包含：針對一或多個內圍層要點之第一內圍層要點，圖形處理單元用以偵測來自一或多個第二內圍層要點的匹配要點，其中匹配要點在第一內圍層要點之空間鄰域內，且具有相對於空間鄰域內之一或多個第二內圍層要點中任一者之第一內圍層要點的最小描述符距 離。
進一步關於第二實施例，圖形處理單元用以偵測局部變化區域包含：圖形處理單元用以使一或多個第二離群值要點翹曲至當前圖框之坐標系統且將聚類技術施加至離群值要點及一或多個第二離群值要點，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一者之叢集相關聯。
進一步關於第二實施例，視訊序列包含以每秒不超過五個圖框之圖框率的低解析度視訊圖框。
進一步關於第二實施例，局部變化指示符包含局部運動偵測指示符或定界框位置及大小資料中至少一者。
進一步關於第二實施例，圖形處理單元進一步用以基於一或多個內圍層要點與一或多個第二內圍層要點之間的對應來估計與當前圖框相關聯的總體運動。
進一步關於第二實施例，圖形處理單元用以決定當前圖框中之一或多個內圍層要點及一或多個離群值要點包含圖形處理單元用以針對當前圖框決定多個要點及相關聯之局部影像描述符；使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標；針對該等多個要點中之第一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點。
進一步關於第二實施例，圖形處理單元用以決定當前圖框中之一或多個內圍層要點及一或多個離群值要點包含圖形處理單元用以針對當前圖框決定多個要點及相關聯之局部影像描述符；使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標；針對該等多個要點中之第一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點，其中第一要點經分類為離群值要點，且其中圖形處理單元進一步用以針對第一要點，基於第一要點與該等多個第二離群值要點中之一或多個離群值匹配要點之間的一或多個離群值匹配來決定離群值匹配分數，且用以基於離群值匹配分數與第二臨限值之比較來將第一要點及一或多個離群值匹配要點分類為內圍層要點。
進一步關於第二實施例，該系統進一步包含功率管理單元，該功率管理單元用以基於局部變化指示符來執行自低功率狀態的喚醒。
進一步關於第二實施例，該系統進一步包含：影像感測器，其用以獲得與場景相關聯的原始影像資料；以及影像處理單元，其耦接至影像感測器且用以基於原始影像資料來將視訊序列之圖框提供至記憶體。
在一或多個第三實施例中，一種用於提供視訊中之局部變化偵測之系統包含：決定構件，其用於基於視訊 序列之一或多個先前圖框中之一或多個第二內圍層要點來決定視訊序列之當前圖框中之一或多個內圍層要點及一或多個離群值要點；偵測構件，其用於基於當前圖框中之離群值要點及視訊序列之一或多個先前圖框中之一或多個第二離群值要點來偵測視訊序列中之局部變化區域；以及提供構件，其用於基於視訊序列中之所偵測局部變化區域來提供局部變化指示符。
進一步關於第三實施例，用於決定一或多個內圍層要點及一或多個離群值要點之構件包含用於針對當前圖框之要點將用於要點之匹配分數與匹配臨限值進行比較之構件。
進一步關於第三實施例，用於決定一或多個內圍層要點之構件包含用於針對一或多個內圍層要點中之第一內圍層要點偵測來自一或多個第二內圍層要點的匹配要點之構件。
進一步關於第三實施例，用於決定一或多個內圍層要點之構件包含用於針對一或多個內圍層要點中之第一內圍層要點偵測來自一或多個第二內圍層要點的匹配要點之構件，其中匹配要點在第一內圍層要點之空間鄰域內，且具有相對於空間鄰域內之一或多個第二內圍層要點中任一者之第一內圍層要點的最小描述符距離。
進一步關於第三實施例，用於偵測局部變化區域之構件包含用於使一或多個第二離群值要點翹曲至當前圖框之坐標系統之構件及用於將聚類技術施加至離群值要點 及一或多個第二離群值要點之構件，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一者之叢集相關聯。
進一步關於第三實施例，用於偵測局部變化區域之構件包含用於使一或多個第二離群值要點翹曲至當前圖框之坐標系統之構件及用於將聚類技術施加至離群值要點及一或多個第二離群值要點之構件，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一者之叢集相關聯，其中一或多個先前圖框包含多個先前圖框，且其中一或多個第二離群值要點中之單獨離群值要點基於與單獨離群值要點相關聯的多個先前圖框中之一先前圖框與加權值相關聯。
進一步關於第三實施例，視訊序列包含以每秒不超過五個圖框之圖框率的低解析度視訊圖框。
進一步關於第三實施例，局部變化指示符包含局部運動偵測指示符或定界框位置及大小資料中至少一者。
進一步關於第三實施例，該系統進一步包含用於基於一或多個內圍層要點與一或多個第二內圍層要點之間的對應來估計與當前圖框相關聯的總體運動之構件。
進一步關於第三實施例，用於決定當前圖框中之一或多個內圍層要點及一或多個離群值要點之構件包含：用於針對當前圖框決定多個要點及相關聯之局部影像描述符之構件；用於使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標之構件；用於針對該等多個要點中之第 一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數之構件，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及用於將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點之構件。
進一步關於第三實施例，用於決定當前圖框中之一或多個內圍層要點及一或多個離群值要點之構件包含：針對當前圖框決定多個要點及相關聯之局部影像描述符之構件；用於使一或多個第二內圍層要點翹曲至與當前圖框相關聯的坐標之構件；用於針對該等多個要點中之第一要點，基於第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定匹配分數之構件，其中一或多個匹配要點來自一或多個先前圖框之不同圖框；以及用於將匹配分數與臨限值進行比較以將第一要點分類為內圍層要點或離群值要點之構件，其中第一要點經分類為離群值要點，且該系統進一步包含：用於針對第一要點，基於第一要點與該等多個第二離群值要點中之一或多個離群值匹配要點之間的一或多個離群值匹配來決定離群值匹配分數之構件；以及用於基於離群值匹配分數與第二臨限值之比較來將第一要點及一或多個離群值匹配要點分類為內圍層要點之構件。
進一步關於第三實施例，該系統進一步包含用於基於局部變化指示符來執行自低功率狀態之喚醒之構件。
在一或多個第四實施例中，至少一機器可讀媒體 包含多個指令，該等多個指令回應於在裝置上被執行而使該裝置藉由以下操作來提供局部變化偵測：基於視訊序列之一或多個先前圖框中之一或多個第二內圍層要點來決定視訊序列之當前圖框中之一或多個內圍層要點及一或多個離群值要點，基於當前圖框中之離群值要點及視訊序列之一或多個先前圖框中之一或多個第二離群值要點來偵測視訊序列中之局部變化區域，及基於視訊序列中之所偵測局部變化區域來提供局部變化指示符。
進一步關於第四實施例，決定一或多個內圍層要點及一或多個離群值要點包含：針對當前圖框之要點，將用於要點之匹配分數與匹配臨限值進行比較。
進一步關於第四實施例，決定一或多個內圍層要點包含：針對一或多個內圍層要點中之第一內圍層要點，偵測來自一或多個第二內圍層要點的匹配要點。
進一步關於第四實施例，偵測局部變化區域包含：使一或多個第二離群值要點翹曲至當前圖框之坐標系統及將聚類技術施加至離群值要點及一或多個第二離群值要點，其中局部變化區域與離群值要點及一或多個第二離群值要點中至少一些之叢集相關聯。
進一步關於第四實施例，局部變化指示符包含局部運動偵測指示符或定界框位置及大小資料中至少一者。
進一步關於第四實施例，該機器可讀媒體包含進一步指令，該等指令回應於在裝置上被執行而使該裝置藉由以下操作來提供局部變化偵測：基於一或多個內圍層要 點與一或多個第二內圍層要點之間的對應來估計與當前圖框相關聯的總體運動。
在一或多個第五實施例中，至少一機器可讀媒體可包括多個指令，該等多個指令回應於在計算裝置上被執行而使該計算裝置執行根據以上實施例中任一者之方法。
在一或多個第六實施例中，一種設備可包括用於執行根據以上實施例中任一者之方法之構件。
將認識到，實施例不限於如此描述之實施例，但可在不脫離隨附申請專利範圍之範疇的情況下使用修改及變化來加以實踐。例如，以上實施例可包括特徵之特定組合。然而，以上實施例在此方面不受限制，且在各種實行方案中，以上實施例可包括承擔此類特徵之僅一子集、承擔此類特徵之不同次序、承擔此類特徵之不同組合，及/或承擔相較於明確地列表的該等特徵的額外特徵。實施例之範疇以及等效物之全部範疇應參考隨附申請專利範圍來決定，此等請求項授予該等等效物權利。
100‧‧‧裝置
101‧‧‧影像信號處理器
102‧‧‧要點偵測模組
103‧‧‧描述符估計模組
104‧‧‧總體運動估計模組/總體估計模組
105‧‧‧內圍層及離群值偵測模組
106‧‧‧離群值修剪模組
107‧‧‧變化感興趣區域(ROI)估計模組
108、127‧‧‧總體運動歷史
109、125‧‧‧內圍層軌跡歷史
110、133‧‧‧離群值軌跡歷史
111‧‧‧加速計/回轉儀模組
121‧‧‧視訊序列(VS)
122‧‧‧要點
123‧‧‧描述符(D)
124‧‧‧總體運動估計
126‧‧‧運動資料
128‧‧‧內圍層/離群值資料(I/O D)
129、131‧‧‧內圍層軌跡(IT)
130‧‧‧內圍層/離群值資料
132‧‧‧離群值軌跡(OT)
134‧‧‧局部變化指示符

Claims (25)

  1. 一種用於提供視訊中之局部變化偵測之方法，該方法包含：基於一視訊序列之一或多個先前圖框中的一或多個第二內圍層要點來決定該視訊序列之一當前圖框中的一或多個內圍層要點及一或多個離群值要點；基於該當前圖框中之該等離群值要點及該視訊序列之該等一或多個先前圖框中之一或多個第二離群值要點來偵測該視訊序列中之一局部變化區域；以及基於該視訊序列中之該所偵測局部變化區域來提供一局部變化指示符。
  2. 如請求項1之方法，其中決定該等一或多個內圍層要點及該等一或多個離群值要點包含：針對該當前圖框之要點，將用於該等要點之匹配分數與一匹配臨限值進行比較。
  3. 如請求項1之方法，其中決定該等一或多個內圍層要點包含：針對該等一或多個內圍層要點中之一第一內圍層要點，偵測來自該等一或多個第二內圍層要點的一匹配要點。
  4. 如請求項3之方法，其中該匹配要點在該第一內圍層要點之一空間鄰域內，且具有相對於該空間鄰域內之該等一或多個第二內圍層要點中任一者之該第一內圍層要點的一最小描述符距離。
  5. 如請求項1之方法，其中偵測該局部變化區域包含：使該等一或多個第二離群值要點翹曲至該當前圖框之一坐標系統及將一聚類技術施加至該等離群值要點及該等一或多個第二離群值要點，其中該局部變化區域與該等離群值要點及該等一或多個第二離群值要點中至少一些之一叢集相關聯。
  6. 如請求項5之方法，其中該等一或多個先前圖框包含多個先前圖框，且其中該等一或多個第二離群值要點中之一單獨離群值要點基於與該單獨離群值要點相關聯的該等多個先前圖框中之一先前圖框與一加權值相關聯。
  7. 如請求項1之方法，其中該視訊序列包含以每秒不超過五個圖框之一圖框率的低解析度視訊圖框。
  8. 如請求項1之方法，其中該局部變化指示符包含一局部運動偵測指示符或定界框位置及大小資料中至少一者。
  9. 如請求項1之方法，其進一步包含：基於該等一或多個內圍層要點與該等一或多個第二內圍層要點之間的對應來估計與該當前圖框相關聯的總體運動。
  10. 如請求項1之方法，其中決定該當前圖框中之該等一或多個內圍層要點及該等一或多個離群值要點包含：針對該當前圖框，決定多個要點及相關聯之局部影像描述符；使該等一或多個第二內圍層要點翹曲至與該當前圖框相關聯的坐標； 針對該等多個要點中之一第一要點，基於該第一要點與該等多個第二內圍層要點中之一或多個匹配要點之間的一或多個匹配來決定一匹配分數，其中該等一或多個匹配要點來自該等一或多個先前圖框之不同圖框；以及將該匹配分數與一臨限值進行比較以將該第一要點分類為一內圍層要點或一離群值要點。
  11. 如請求項10之方法，其中該第一要點經分類為一離群值要點，該方法進一步包含：針對該第一要點，基於該第一要點與該等多個第二離群值要點之一或多個離群值匹配要點之間的一或多個離群值匹配來決定一離群值匹配分數；以及基於該離群值匹配分數與一第二臨限值之一比較來將該第一要點及該等一或多個離群值匹配要點分類為內圍層要點。
  12. 如請求項1之方法，其進一步包含：基於該局部變化指示符來執行自一低功率狀態的一喚醒。
  13. 一種用於提供視訊中之局部變化偵測之系統，該系統包含：一記憶體，其經組配來接收一視訊序列；以及一圖形處理單元，其耦接至該記憶體，該圖形處理單元用以基於該視訊序列之一或多個先前圖框中的一或多個第二內圍層要點來決定該視訊序列之一當前圖 框中的一或多個內圍層要點及一或多個離群值要點，基於該當前圖框中之該等離群值要點及該視訊序列之該等一或多個先前圖框中的一或多個第二離群值要點來偵測該視訊序列中之一局部變化區域，且基於該視訊序列中之該所偵測局部變化區域來提供一局部變化指示符。
  14. 如請求項13之系統，其中該圖形處理單元用以決定該等一或多個內圍層要點及該等一或多個離群值要點包含：針對該當前圖框之要點，該圖形處理單元用以將用於該等要點之匹配分數與一匹配臨限值進行比較。
  15. 如請求項13之系統，其中該圖形處理單元用以決定該等一或多個內圍層要點包含：針對該等一或多個內圍層要點中之一第一內圍層要點，該圖形處理單元用以偵測來自該等一或多個第二內圍層要點的一匹配要點。
  16. 如請求項13之系統，其中該圖形處理單元用以偵測該局部變化區域包含：該圖形處理單元用以使該等一或多個第二離群值要點翹曲至該當前圖框之一坐標系統且將一聚類技術施加至該等離群值要點及該等一或多個第二離群值要點，其中該局部變化區域與該等離群值要點及該等一或多個第二離群值要點中至少一些之一叢集相關聯。
  17. 如請求項13之系統，其中該局部變化指示符包含一局部運動偵測指示符或定界框位置及大小資料中至少一者。
  18. 如請求項13之系統，該圖形處理單元進一步用以基於該 等一或多個內圍層要點與該等一或多個第二內圍層要點之間的對應來估計與該當前圖框相關聯的總體運動。
  19. 如請求項13之系統，其進一步包含：一影像感測器，其用以獲得與一場景相關聯的原始影像資料；以及一影像處理單元，其耦接至該影像感測器且用以基於該原始影像資料來將該視訊序列之一圖框提供至該記憶體。
  20. 一種機器可讀媒體，其包含多個指令，該等多個指令回應於在一裝置上被執行而使該裝置藉由以下操作提供局部變化偵測：基於一視訊序列之一或多個先前圖框中的一或多個第二內圍層要點來決定該視訊序列之一當前圖框中的一或多個內圍層要點及一或多個離群值要點；基於該當前圖框中之該等離群值要點及該視訊序列之該等一或多個先前圖框中的一或多個第二離群值要點來偵測該視訊序列中之一局部變化區域；以及基於該視訊序列中之該所偵測局部變化區域來提供一局部變化指示符。
  21. 如請求項20之機器可讀媒體，其中決定該等一或多個內圍層要點及該等一或多個離群值要點包含：針對該當前圖框之要點，將用於該等要點之匹配分數與一匹配臨限值進行比較。
  22. 如請求項20之機器可讀媒體，其中決定該等一或多個內 圍層要點包含：針對該等一或多個內圍層要點中之一第一內圍層要點，偵測來自該等一或多個第二內圍層要點的一匹配要點。
  23. 如請求項20之機器可讀媒體，其中偵測該局部變化區域包含：使該等一或多個第二離群值要點翹曲至該當前圖框之一坐標系統及將一聚類技術施加至該等離群值要點及該等一或多個第二離群值要點，其中該局部變化區域與該等離群值要點及該等一或多個第二離群值要點中至少一些之一叢集相關聯。
  24. 如請求項20之機器可讀媒體，其中該局部變化指示符包含一局部運動偵測指示符或定界框位置及大小資料中至少一者。
  25. 如請求項20之機器可讀媒體，該機器可讀媒體包含進一步指令，該等進一步指令回應於在該裝置上被執行而使該裝置藉由以下操作來提供局部變化偵測：基於該等一或多個內圍層要點與該等一或多個第二內圍層要點之間的對應來估計與該當前圖框相關聯的總體運動。
TW105100799A 2015-03-18 2016-01-12 視頻中之局部變化偵測技術 TWI618409B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/661,406 2015-03-18
US14/661,406 US9860553B2 (en) 2015-03-18 2015-03-18 Local change detection in video

Publications (2)

Publication Number Publication Date
TW201703500A TW201703500A (zh) 2017-01-16
TWI618409B true TWI618409B (zh) 2018-03-11

Family

ID=56920429

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105100799A TWI618409B (zh) 2015-03-18 2016-01-12 視頻中之局部變化偵測技術

Country Status (5)

Country Link
US (1) US9860553B2 (zh)
EP (1) EP3271867B1 (zh)
CN (1) CN107257980B (zh)
TW (1) TWI618409B (zh)
WO (1) WO2016148791A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170094171A1 (en) * 2015-09-28 2017-03-30 Google Inc. Integrated Solutions For Smart Imaging
US9578207B1 (en) * 2015-09-30 2017-02-21 Csr Imaging Us, Lp Systems and methods for selectively screening image data
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10534964B2 (en) * 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
CA3055376A1 (en) * 2017-03-07 2018-09-13 Fiber Mountain, Inc. Connectivity appliance
TWI637341B (zh) * 2017-05-18 2018-10-01 緯創資通股份有限公司 穿戴式裝置、動態事件記錄系統及其動態事件記錄方法
CN115103166A (zh) * 2018-01-19 2022-09-23 深圳市大疆创新科技有限公司 视频处理方法及终端设备
CN112956203A (zh) * 2018-08-29 2021-06-11 英特尔公司 用于使用帧间预测的特征点跟踪的设备和方法
CN111274852B (zh) * 2018-12-05 2023-10-31 北京猎户星空科技有限公司 目标对象关键点检测方法和装置
IT201900001833A1 (it) 2019-02-08 2020-08-08 St Microelectronics Srl Un procedimento per rilevare oggetti in movimento mediante una telecamera in movimento, e relativo sistema di elaborazione, dispositivo e prodotto informatico
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技（深圳）有限公司 一种三维对象重建方法和装置
CN111523408B (zh) * 2020-04-09 2023-09-15 北京百度网讯科技有限公司 动作捕捉方法和装置
RU2747965C1 (ru) * 2020-10-05 2021-05-18 Самсунг Электроникс Ко., Лтд. Обработка окклюзий для frc c помощью глубокого обучения
US11889227B2 (en) 2020-10-05 2024-01-30 Samsung Electronics Co., Ltd. Occlusion processing for frame rate conversion using deep learning
US11361545B1 (en) * 2020-11-20 2022-06-14 Himax Technologies Limited Monitoring device for detecting object of interest and operation method thereof
KR102246303B1 (ko) * 2021-03-04 2021-04-29 한국과학기술원 다차원 데이터 스트림에서의 실시간 이상치 탐지 방법 및 장치
CN115166790B (zh) * 2022-05-23 2023-04-18 集度科技有限公司 道路数据的处理方法、装置、设备和存储介质
WO2024066123A1 (en) * 2022-09-28 2024-04-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Lossless hierarchical coding of image feature attributes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118880A1 (en) * 2000-11-02 2002-08-29 Che-Bin Liu System and method for gesture interface
EP2131329A2 (en) * 2008-06-06 2009-12-09 Sony Corporation Tracking point detecting device and method, program, and recording medium
CN102804231A (zh) * 2009-06-15 2012-11-28 微软公司 三维场景的分段平面重建
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US20140139454A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. User Gesture Input to Wearable Electronic Device Involving Movement of Device
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1293036B1 (en) * 2000-05-25 2008-10-22 Nxp B.V. Demodulation filter
US7609888B2 (en) * 2005-07-01 2009-10-27 Microsoft Corporation Separating a video object from a background of a video sequence
CN101493889B (zh) * 2008-01-23 2011-12-07 华为技术有限公司 对视频对象进行跟踪的方法及装置
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
JP2014062479A (ja) * 2012-09-20 2014-04-10 Suzuki Motor Corp エンジンの給油構造
US8867865B2 (en) * 2012-11-14 2014-10-21 Seiko Epson Corporation Point set matching with outlier detection
MY188908A (en) * 2012-12-10 2022-01-13 Mimos Berhad Method for camera motion estimation with presence of moving object
CN103106667B (zh) * 2013-02-01 2016-01-20 山东科技大学 一种面向遮挡和场景变换的运动对象追踪方法
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
CN104408741A (zh) * 2014-10-27 2015-03-11 大连理工大学 一种时序一致性约束的视频全局运动估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118880A1 (en) * 2000-11-02 2002-08-29 Che-Bin Liu System and method for gesture interface
EP2131329A2 (en) * 2008-06-06 2009-12-09 Sony Corporation Tracking point detecting device and method, program, and recording medium
CN102804231A (zh) * 2009-06-15 2012-11-28 微软公司 三维场景的分段平面重建
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video
US20140139454A1 (en) * 2012-11-20 2014-05-22 Samsung Electronics Company, Ltd. User Gesture Input to Wearable Electronic Device Involving Movement of Device

Also Published As

Publication number Publication date
TW201703500A (zh) 2017-01-16
CN107257980B (zh) 2021-10-29
CN107257980A (zh) 2017-10-17
EP3271867A1 (en) 2018-01-24
US9860553B2 (en) 2018-01-02
WO2016148791A1 (en) 2016-09-22
EP3271867A4 (en) 2018-08-15
US20160277645A1 (en) 2016-09-22
EP3271867B1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
TWI618409B (zh) 視頻中之局部變化偵測技術
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
TWI746674B (zh) 識別圖像中物件的類型預測方法、裝置及電子設備
US10685262B2 (en) Object recognition based on boosting binary convolutional neural network features
CN107810505B (zh) 实时图像捕获参数的机器学习
TWI590650B (zh) 在經編碼之視訊串流中的物件追蹤技術
US10430694B2 (en) Fast and accurate skin detection using online discriminative modeling
US9501716B2 (en) Labeling component parts of objects and detecting component properties in imaging data
CN109086747B (zh) 使用肤色检测的视频流的姿势预处理
US20130272609A1 (en) Scene segmentation using pre-capture image motion
WO2021077989A1 (zh) 推荐方法、装置、计算机设备及存储介质
US20160140391A1 (en) Automatic target selection for multi-target object tracking
TWI617996B (zh) 使用方向性濾波之物件檢測技術
CN104781828B (zh) 使用视频运动估计模块的加速对象检测过滤器
CN108701355B (zh) Gpu优化和在线基于单高斯的皮肤似然估计
US20160189425A1 (en) Determination of augmented reality information
CN110728167A (zh) 文本检测方法、装置及计算机可读存储介质
CN117716697A (zh) 基于事件映射的相机设置调整
CN111819567A (zh) 使用语义特征来匹配图像的方法和装置
TWI543107B (zh) 用於在圖形處理器中的連通物件標記之系統、設備及方法
US20230115371A1 (en) Efficient vision perception
WO2023059962A1 (en) Efficient vision perception
CN113722539A (zh) 视频分类方法、装置、电子设备及存储介质
CN118043859A (zh) 高效视觉感知

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees