TWI617996B - 使用方向性濾波之物件檢測技術 - Google Patents

使用方向性濾波之物件檢測技術 Download PDF

Info

Publication number
TWI617996B
TWI617996B TW104107271A TW104107271A TWI617996B TW I617996 B TWI617996 B TW I617996B TW 104107271 A TW104107271 A TW 104107271A TW 104107271 A TW104107271 A TW 104107271A TW I617996 B TWI617996 B TW I617996B
Authority
TW
Taiwan
Prior art keywords
pixels
feature
pixel
individual
weighted average
Prior art date
Application number
TW104107271A
Other languages
English (en)
Other versions
TW201539333A (zh
Inventor
李建國
陳可
易仁 邱
王禎
彭亞迪
王斌
Original Assignee
美商英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾公司 filed Critical 美商英特爾公司
Publication of TW201539333A publication Critical patent/TW201539333A/zh
Application granted granted Critical
Publication of TWI617996B publication Critical patent/TWI617996B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

討論有關於使用方向性濾波之物件檢測技術。此等技術包括針對一輸入影像之像素判定方向性加權平均,基於該等方向性加權平均產生該輸入影像之一特徵表示型態,及藉施用一多階段級聯分類器給該特徵表示型態而執行物件檢測。

Description

使用方向性濾波之物件檢測技術
本發明係有關使用方向性濾波之物件檢測技術。
發明背景
物件檢測可用以判定在一影像中是否及/或在何處出現有某個物件,諸如,人臉、人體、汽車等。舉例言之,面部檢測可用在人機互動、相簿管理、生物計量學、視訊監視、相機成像之自動對焦、影像或視訊之搜尋及取回等。
曾經提出數種物件檢測(例如,面部檢測)解決方案,包括維拉瓊斯(Viola-Jones)架構其可使用似哈爾(Haar-like)特徵,及一決策樹弱分類器方案及一似浪花特徵級聯技術其可使用似浪花(SURF-like)特徵及一級聯分類器方案。雖然似浪花技術已就維拉瓊斯架構做改良,但具現可能不適用以使用現代計算系統即時處理較高解析度影像,諸如,高畫質(HD)、全高畫質(例如,1080p)、或4K解析度(例如,具有約4,000像素水平解析度之內容)。又復,此等具現可能於檢測期間要求大部分記憶體(例如,高達該輸入影像尺寸的32倍)。因此,具現可能不適用於行動裝置 或深嵌裝置等。
因此,既有技術未能提供物件檢測用於行動裝置或深嵌裝置對較高解析度影像及/或解決方案的即時處理。
依據本發明之一實施例,係特地提出一種用於物件檢測的電腦實施方法,其包含下列步驟:至少部分基於一輸入影像之數個個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值,判定該等個體像素的方向性加權平均;至少部分基於該等方向性加權平均,產生該輸入影像之一特徵表示型態;以及藉由對該特徵表示型態施用一多階段級聯分類器而在該輸入影像上進行物件檢測。
100、1000、1100‧‧‧系統
101、1101‧‧‧輸入影像
102‧‧‧方向性加權平均模組
103、508‧‧‧方向性加權平均(DWA)
104‧‧‧特徵表示型態模組
105‧‧‧候選者檢測區域
106‧‧‧多階段級聯分類器模組
201‧‧‧個體像素
202‧‧‧鄰近像素
203、205-208‧‧‧圖樣
204、5011‧‧‧窗口
301、303、305、307、505‧‧‧個體像素權值
302、304、306、308、506‧‧‧鄰近像素權值
400‧‧‧似哈爾特徵圖樣
401、402‧‧‧區域
501‧‧‧部分
502‧‧‧個體像素值
503‧‧‧鄰近像素值
504‧‧‧加權圖樣
509‧‧‧臨界值
510‧‧‧指派值
510a‧‧‧最左上指派值
510b‧‧‧最末指派值
511、703‧‧‧方向
512‧‧‧二進位編碼表示型態
513‧‧‧十進位碼
600‧‧‧多個階段
601‧‧‧第一階段
602‧‧‧第二階段
603‧‧‧第N階段
702‧‧‧掃描窗口
704、705‧‧‧影像特徵
706‧‧‧物件檢測候選區域
800、900‧‧‧處理
801-814、901-903‧‧‧操作
1001‧‧‧圖形處理單元(GPU)
1004‧‧‧中央處理單元(CPU)
1005‧‧‧記憶庫
1102‧‧‧平台
1105‧‧‧晶片組
1110‧‧‧處理器
1112‧‧‧記憶體
1113、1208‧‧‧天線
1114‧‧‧儲存裝置
1115‧‧‧圖形子系統
1116‧‧‧應用程式、軟體應用程式
1118‧‧‧無線電
1120‧‧‧顯示器
1122‧‧‧使用者介面
1130‧‧‧內容服務裝置
1140‧‧‧內容傳遞裝置
1150‧‧‧導航控制器
1160‧‧‧網路
1200‧‧‧裝置
1202‧‧‧機殼
1204‧‧‧顯示器
1206‧‧‧輸入/輸出(I/O)裝置
1210‧‧‧螢幕
1212‧‧‧導航特性件
此處描述之材料係於附圖中藉舉例例示而非限制性。為求例示之簡明清晰,於附圖中例示之元件並不必然照比例繪製。舉例言之,有些元件之維度相對其它元件可誇大以求清晰。又,當若視為適當時,元件符號在數幅圖間重複以指示相對應的或類似的元件。附圖中:圖1為用以提供物件檢測之系統實施例之例示圖;圖2A、2B、2C、2D、及2E例示環繞一個體像素之圖樣實施例中之鄰近像素;圖3A、3B、3C、及3D例示用於一個體像素之鄰近像素之權實施例;圖4例示用於使用似哈爾特徵之特徵表示型態之區域; 圖5例示用於產生一特徵表示型態實施例之系統實施例之一部分;圖6例示一多階段級聯分類器實施例;圖7例示一輸入影像實施例及一候選區域實施例;圖8為一流程圖例示用於物件檢測之一方法實施例;圖9為一流程圖例示用於物件檢測之一方法實施例;圖10為一系統實施例之例示圖;圖11為一系統實施例之例示圖;及圖12例示一裝置實施例,全部皆係依據本文揭示之至少若干具現配置。
較佳實施例之詳細說明
現在參考揭示之附圖描述一或多個實施例或具現。雖然討論特定組態及配置,但須瞭解僅係用於例示目的。熟諳相關技藝人士將瞭解不背離本詳細說明部分之精髓及範圍可採用其它組態及配置。熟諳相關技藝人士顯然易知此處描述之技術及/或配置也可採用於除了此處描述者以外的多種其它系統及應用。
雖然後文詳細說明部分陳述可顯現在諸如單晶片系統(SoC)架構等架構之各種具現,但此處描述之技術及/或配置之具現並不限於特定架構及/或計算系統而可藉用於相似目的之任何架構及/或計算系統具現。舉例言之,各種架構採用例如,多積體電路(IC)晶片及/或封裝體、及/或各種計算裝置及/或消費性電子(CE)裝置諸如,機上盒、智 慧型電話等可具現此處描述之技術及/或配置。又,雖然後文詳細說明部分可能陳述無數特定細節,諸如邏輯具現、系統組件之型別及交互關係、邏輯分割/整合選擇等,但本案所請主旨可無此等特定細節而予實施。於其它情況下,有些內容諸如控制結構及全軟體指令順序可不以細節顯示以免遮掩了此處揭示之內容。
此處揭示之內容可於硬體、韌體、軟體、或其組合具現。此處揭示之內容也可具現為儲存於機器可讀取媒體上之指令,其可由一或多個處理器讀取及執行。一機器可讀取媒體可包括用於以可由一機器(例如,計算裝置)讀取之形式儲存或傳輸資訊之任何媒體及/或機構。舉例言之,一機器可讀取媒體可包括唯讀記憶體(ROM);隨機存取記憶體(RAM);磁碟儲存媒體;光學儲存媒體;快閃記憶體裝置;電氣、光、聲或其它形式之傳播信號(例如,載波、紅外線信號、數位信號等)及其它。
於本說明書中述及「一個具現」、「一具現」、「一具體實施例」等指示所描述之該具現可包括一特定特徵、結構、或特性,但每個實施例並非必然包括該特定特徵、結構、或特性。再者,此等片語並非必然指相同具現。又,當一特定特徵、結構、或特性係連結一實施例描述時,無論是否於此處明確陳述,係謂連結其它具現執行此種特徵、結構、或特性係落入於熟諳技藝人士之知識以內。
於此處描述,方法、裝置、設備、計算平台、及物件係關聯使用方向性濾波之物件檢測。
如前文描述,可優異地提供即時及/或較高解析度影像上之物件檢測(例如,面部檢測)。又復,可優異地提供於有有限記憶體資源之具現諸如行動裝置或深嵌裝置(例如,穿戴裝置諸如眼鏡或手表或機器人系統)等中之此種物件檢測。此種物件檢測、影像信號處理、或視覺分析可提供提升的使用者經驗。
於若干實施例中,物件檢測可包括針對一輸入影像之個體像素(例如,一輸入影像之部分或全部像素)基於該等個體像素中之各者之鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定方向性加權平均(例如,提供方向性加權濾波)。舉例言之,針對一像素之一方向性加權平均可基於該像素鄰近(例如,在該像素之一窗口或鄰近範圍)之多個像素之像素值之一加權平均判定。此種技術可應用至該輸入影像之個體像素以產生方向性加權平均。該輸入影像之一特徵表示型態可基於該等方向性加權平均判定。於各種實施例中,該特徵表示型態可包括一二進位編碼影像、似哈爾特徵、或似浪花特徵。為了生成包括一二進位編碼影像的一特徵表示型態,針對該輸入影像之一像素,該像素鄰近(例如,用以產生該像素之方向性加權平均之鄰近像素)之該等像素之像素值各自與該像素之方向性加權平均作比較,及基於該比較可指派1或0之一值給各個鄰近像素。例如,若該鄰近像素值係大於該像素之方向性加權平均則指派1之值,否則指派0之值。然後基於該等指派值(例如,藉有序排列該等 指派之1或0)可判定針對該像素之該二進位編碼表示型態。
於若干實施例中,使用一多階段級聯分類器基於該特徵表示型態(似哈爾、似浪花、或二進位編碼影像)可進行物件檢測。舉例言之,該輸入影像之一區域(例如,掃描窗口)可於多個階段評估,使得若一區域未能通過任何階段則被剔除,而若通過全部階段則被保留(例如,該區域之位置及大小被保留)作為含有該物件之一候選區域。該多階段分類器可施用至該輸入影像之許多區域,及該輸入影像之多重標度影像可經評估以定位候選區域。
於各種實施例中,該多階段級聯分類器可包括多個階段於該處基於該特徵表示型態判定之弱分類器係與一預定臨界值作比較。舉例言之,該等弱分類器可加總且與一預定臨界值作比較。如此處討論,若一區域未能通過任何階段則被剔除,而若通過一階段則可被移轉至下個階段用於評估。若該區域通過全部階段則可被保留作為一候選區域。舉例言之,該等弱分類器可包括以邏輯回歸為基礎之分類器或透過詢查表具現之貝葉斯(Bayesian)分類器等。於一實施例中,施用一階段包括針對該區域內之目標位置,判定該等目標位置包括一物件特徵之機率與該等目標位置不包括一物件特徵之機率間之多個差值。然後該等差值可加總且與一臨界值作比較以判定該區域是否通過該階段。隨後階段可包括例如,更多目標位置、不同目標位置、或更嚴格臨界值等。
圖1為依據本文揭示之至少若干具現配置的提供 物件檢測之一系統100實施例之一例示圖。如圖1中顯示,系統100可包括一方向性加權平均模組102、一特徵表示型態模組104、及一多階段級聯分類器模組106。也如圖顯示,方向性加權平均模組102可接收一輸入影像101。輸入影像101可包括任何合宜影像或影像檔案,諸如,一即時影像、一解碼影像、一擷取影像(例如,透過相機等)、一渲染影像、自一串列之視頻影像或圖框之一影像、自記憶體取回之一影像、或其類。於若干實施例中,輸入影像可為視訊圖形陣列(VGA)、高畫質(HD)、全高畫質(例如,1080p)、或4K解析度影像或視頻圖框。輸入影像101為一原始影像。於若干實施例中,輸入影像101可為彩色影像。於一實施例中,輸入影像101為一灰階影像。容後詳述,於若干實施例中,輸入影像101可為基於一輸入影像或目標影像改變大小(例如,縮放)的影像使得就系統100討論之操作可針對一輸入影像之各種縮放影像重複以檢測物件候選區域。
如圖顯示,方向性加權平均模組102可處理輸入影像101以產生基於輸入影像101的方向性加權平均(DWA)103。舉例言之,針對輸入影像101之個體像素,方向性加權平均模組102可基於該等個體像素中之各者之鄰近像素值之像素值,及該等鄰近像素值相對於該等個體像素之位置相關聯的權值而判定方向性加權平均103。舉例言之,該等鄰近像素可為於環繞該等個體像素中之各者之一圖樣中之該等鄰近像素。容後詳述,該等鄰近像素值之基於其權值的一加權平均可針對該個體像素判定,及針對輸 入影像101之部分或全部像素此等方向性加權平均可判定方向性加權平均103。
圖2A、2B、2C、2D、及2E例示依據本文揭示之至少若干具現配置的環繞一個體像素201之圖樣實施例中之鄰近像素。
如圖2A中顯示,於一實施例中,鄰近像素202(以圓圈例示)可為在環繞個體像素201(以X例示)之一窗口204內部之圖樣203實施例。如圖顯示,圖樣203可包括配置於角隅且沿5x5像素窗口204之邊緣取中排列的鄰近像素202(於圖2A-2E中,為求表示型態之清晰只標示若干鄰近像素),及圖樣203可包括個體像素201之8個鄰近像素202。舉例言之,各個鄰近像素202具有1個像素在其本身與圖樣203中之個體像素201間(例如,水平地、垂直地、或對角線取向)。於另一個實施例(圖中未顯示)中,窗口204可為7x7像素,及鄰近像素202可配置於角隅且沿7x7窗口之邊緣取中排列,及各個鄰近像素202可具有2個像素在其本身與個體像素間(例如,水平地、垂直地、或對角線取向)。
如圖2B中顯示,於一實施例中,鄰近像素202可為在環繞個體像素201之一窗口204內部之圖樣205實施例。如圖顯示,圖樣205可包括緊鄰環繞個體像素201且在一3x3像素窗口204內部排列的鄰近像素202。又復,如圖顯示,圖樣205可包括個體像素201之8個鄰近像素202。於另一個實施例(圖中未顯示)中,窗口204可為5x5像素,鄰近像素202可以兩層緊密環繞個體像素201排列(一層緊密環繞 個體像素201,及第二層緊密環繞該第一層),及該圖樣可包括24個鄰近像素。
如圖2C中顯示,於一實施例中,鄰近像素202可為在環繞個體像素201之一窗口204內部之圖樣206實施例。如圖顯示,圖樣206可包括環繞個體像素201呈菱形樣式且在一5x5像素窗口204內部排列的鄰近像素202。又復,如圖顯示,圖樣206可包括個體像素201之8個鄰近像素202。舉例言之,如圖顯示,該菱形樣式可延伸在沿窗口204之頂緣、側緣及底緣取中的四個鄰近像素202間。於另一個實施例(圖中未顯示)中,窗口204可為7x7像素,及鄰近像素202可配置成環繞個體像素201之菱形圖樣,其延伸在沿窗口204之頂緣、側緣及底緣取中的四個鄰近像素間使得該菱形圖樣可包括12個鄰近像素。於又另一個實施例(圖中未顯示)中,窗口204可為3x3像素,及鄰近像素202可配置成環繞個體像素201之菱形圖樣,其包括4個鄰近像素:在該個體像素201之緊鄰上下左右各有一個。
如圖2D中顯示,於一實施例中,鄰近像素202可為在環繞個體像素201之一窗口204內部之圖樣207實施例。如圖顯示,圖樣207可包括環繞個體像素201呈4像素菱形樣式且在一5x5像素窗口204的角隅使得圖樣207可包括個體像素201之8個鄰近像素202。舉例言之,該菱形樣式可環繞個體像素201且可包括4個鄰近像素緊鄰個體像素201之上下左右。於另一個實施例(圖中未顯示)中,窗口204可為7x7像素,及鄰近像素202類似圖2C之圖樣可排列成環繞 個體像素201之一菱形圖樣,及在該7x7窗口角隅的鄰近像素208使得該圖樣包括12個鄰近像素208。
如圖2E中顯示,於一實施例中,鄰近像素202可為在環繞個體像素201之一窗口204內部之圖樣208實施例。如圖顯示,圖樣208可包括以特選的或啟發式算法判定的圖樣環繞個體像素201排列的8個鄰近像素202。如圖顯示,鄰近像素202可在個體像素201之正右方,在個體像素201之正下方,在個體像素201之左下方,在窗口211之右上角,在窗口211之右下角,沿窗口211之底緣取中,在窗口211之左上角之右側,及在窗口211之左上角下方。於其它實施例中,鄰近像素202可以任何數目之鄰近像素202排列成特選的或啟發式算法判定的圖樣。
如圖顯示,於若干實施例中,鄰近像素可包括8個鄰近像素,但此處討論之實施例並非受此所限。可使用任何數目之鄰近像素諸如4、8、12、或於4-12範圍內之任何數目之像素,或更多個鄰近像素。又復,鄰近像素可在任何尺寸之一窗口內,諸如3x3像素、5x5像素、或7x7像素、或其類。再者,例示及討論之窗口為方形,但可使用其它形狀,諸如矩形。
如此處討論,方向性加權平均模組102(請參考圖1)針對輸入影像101之個體像素,基於個體像素中之各者之鄰近像素之像素值及該等鄰近像素值相對於個體像素之位置相關聯的權值,可判定方向性加權平均103。圖2A-2E例示鄰近像素圖樣之實施例,所例示之鄰近像素可具有基於 輸入影像101之灰階值、輸入影像101之亮度值、或其類之像素值。可使用針對鄰近像素202之任何合宜權值。
圖3A、3B、3C、及3D例示依據本文揭示之至少若干具現排列的一個體像素201之鄰近像素之權值實施例。
如圖3A中顯示,個體像素權值301及鄰近像素權值302可排列成在一窗口204內部之圖樣203(如先前於圖2A中例示)。如圖顯示,個體像素權值301及鄰近像素權值302(於圖3A-3D中為求清晰呈示只標示數個鄰近像素)可包括用於圖樣203中該個體像素及各個鄰近像素之一權值。於該具體實施例中,個體像素權值301為4,角隅鄰近像素權值302為1,及沿5x5像素窗口204之邊緣取中的鄰近像素權值302為2。於各種實施例中,個體像素權值301及鄰近像素權值302可包括例如,提供局部紋理改良、抗雜訊能力、及/或濾波給輸入影像101之任何合宜權值。舉例言之,個體像素權值301及鄰近像素權值302可於約0至2之範圍,於約0至4之範圍,於約1至4之範圍,或於約1至8之範圍等。
如圖3B中顯示,個體像素權值303及鄰近像素權值304可排列成在一窗口204內部之圖樣203(如先前於圖2A中例示)。如圖顯示,個體像素權值303及鄰近像素權值304可包括用於圖樣203中該個體像素及各個鄰近像素之一權值。於該具體實施例中,個體像素權值303為0(例如,個體像素201不用於判定該方向性加權平均),角隅鄰近像素權值302及沿5x5像素窗口204之邊緣取中的鄰近像素權值302為1。於圖3B之該實施例中,圖樣203之該等鄰近像素可全 部被相等加權。
如圖3C中顯示,個體像素權值305及鄰近像素權值306可排列成在一窗口204內部之圖樣206(如先前於圖2C中例示)。如圖顯示,個體像素權值305及鄰近像素權值306可包括用於圖樣206中該個體像素及各個鄰近像素之一權值。於該具體實施例中,個體像素權值305為0(例如,個體像素201不用於判定該方向性加權平均),及鄰近像素權值306全部皆為1。於圖3C之該實施例中,該等鄰近像素可全部被相等加權。於其它實施例中,鄰近像素權值306可包括不同權值。於若干實施例中,在窗口204之各邊緣中心的權值(例如,菱形206之各點)可具有比其餘鄰近像素權值306更大的一值。於其它實施例中,在窗口204之各邊緣中心的權值(例如,菱形206之各點)可具有比其餘鄰近像素權值306更小的一值。舉例言之,鄰近像素權值306可於約0至2之範圍,於約0至4之範圍,於約1至4之範圍,或於約1至8之範圍等。
如圖3D中顯示,個體像素權值307及鄰近像素權值308可排列成在一窗口204內部之圖樣207(如先前於圖2D中例示)。如圖顯示,個體像素權值307及鄰近像素權值308可包括用於圖樣207中該個體像素及各個鄰近像素之一權值。於該具體實施例中,個體像素權值307為0(例如,個體像素201不用於判定該方向性加權平均),角隅鄰近像素權值308為1,及環繞該個體像素排列成菱形(例如,該個體像素之上下左右)之鄰近像素權值308為2。於各種實施例中, 個體像素權值307及鄰近像素權值308可包括例如,提供局部紋理改良、抗雜訊能力、及/或濾波給輸入影像101之任何合宜權值。舉例言之,個體像素權值307及鄰近像素權值308可於約0至2之範圍,於約0至4之範圍,於約1至4之範圍,或於約1至8之範圍等。
同理,權值可經判定用於如此處討論之其它圖樣。於此等實施例中,個體像素權值及鄰近像素權值可包括例如,提供局部紋理改良、抗雜訊能力、及/或濾波給輸入影像101之任何合宜權值。舉例言之,個體像素權值及鄰近像素權值可於約0至2之範圍,於約0至4之範圍,於約1至4之範圍,或於約1至8之範圍等。於若干實施例中,權值可預先判定或啟發式算法判定或其類。
如此處討論,圖樣(例如,參考圖2A-2E)及權值(例如,參考圖3A-3D)可用以針對一輸入影像之像素判定適應性加權平均。於若干實施例中,具現之圖樣及權值可經預先界定或預先選定用於具現。於若干實施例中,具現之圖樣及權值可基於該輸入影像適應性選擇。舉例言之,輸入影像101可經評估用於各種狀況(例如,低光線狀況、良好照明狀況、高或低反差等),及圖樣及/或權值可基於評估判定。舉例言之,具有良好照明狀況之一輸入影像可具現具有較大鄰近地區及/或較多鄰近像素的一圖樣給所判定之適應性加權平均;而具有低光線狀況之一輸入影像可具現具有較小鄰近地區及/或較少鄰近像素的一圖樣給所判定之適應性加權平均。再者,此種圖樣及/或權值之調適可 在輸入影像101內部具現(例如,在輸入影像101之一部分或截割片等上)。
基於所討論之個體像素值、鄰近像素值、個體像素權值、及鄰近像素權值,方向性加權平均模組102(請參考圖1)可針對該個體像素判定一方向性加權平均。舉例言之,該方向性加權平均可為至少部分基於該等個體像素中之各者之鄰近像素值之像素值,及該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值(如此處討論)。於一實施例中,該方向性加權平均係產生為該等鄰近像素值之像素值各自與相關聯的第一多個權值各自之乘積之一總和除以該等第一多個權值之一總和。舉例言之,該方向性加權平均可如表示式(1)顯示判定: 於該處xa可為該個體像素之方向性加權平均,x0可為該個體像素值(例如,灰階值),x1,x2,...,x8可為該等鄰近像素值之像素值(例如,灰階值),w0可為該個體像素值權值,w1,w2,...,w8可為該等鄰近像素值權值。舉例言之,該個體像素值權值及該等鄰近像素值權值可如討論預先判定。舉例言之,該等鄰近像素值權值可基於其相對於該個體像素之位置預先判定。此種方向性加權平均可提供輸入影像之方向性加權濾波用於物件檢測。舉例言之,圖樣203及權值301、302可提供一低通濾波。
藉此方式,方向性加權平均模組102可針對輸入 影像101之像素判定方向性加權平均103。於若干實施例中,方向性加權平均模組102可針對輸入影像101之全部像素判定方向性加權平均103。於若干實施例中,方向性加權平均模組102可針對輸入影像101之部分或大部分像素判定方向性加權平均103。舉例言之,輸入影像101之邊界或邊緣像素可能沒有某些鄰近地區用以計算一方向性加權平均(例如,沿輸入影像101頂緣之一邊界像素可能沒有在其上方的鄰近地區)。此等邊界或邊緣像素可被拋棄,保持不變(例如,不取加權平均及該像素值可被使用),或可使用變更圖樣以判定用於邊界或邊緣像素之一方向性加權平均。
繼續圖1,方向性加權平均103可傳輸給特徵表示型態模組104。特徵表示型態模組104可基於方向性加權平均103而產生輸入影像101之一特徵表示型態(FR)105。舉例言之,特徵表示型態模組104可基於方向性加權平均103及/或輸入影像101而自輸入影像101擷取特徵(例如,用於物件檢測之相關資訊)。
於一實施例中,特徵表示型態105可包括基於方向性加權平均103之一似哈爾特徵表示型態。舉例言之,似哈爾特徵表示型態可包括針對在輸入影像101之不同區域等內部像素的方向性加權平均103之總和之差值。
圖4例示依據本文揭示之至少若干具現排列的使用似哈爾特徵之特徵表示型態區域401、402之實施例。如圖4中顯示,一似哈爾特徵圖樣400可基於區域401及區域402評估。舉例言之,方向性加權平均103可針對區域401加 總以判定一區域401方向性加權平均和,方向性加權平均103可針對區域402加總以判定一區域402方向性加權平均和。該區域401方向性加權平均和及該區域402方向性加權平均和可求取差值以判定該似哈爾特徵。容後詳述,基於似哈爾特徵圖樣400(及含2個或以上矩形之類似圖樣)可評估輸入影像101之各種區域(例如,圖7之掃描窗口702)以判定弱分類器。該等弱分類器可基於針對候選者特件辨識區域之判定的一加強級聯結構評估。於一實施例中,一或多整合影像可基於方向性加權平均103產生用於評估似哈爾特徵或特徵圖樣。
於另一個實施例中,特徵表示型態105可包括一似浪花特徵,其類似加速穩健特徵。舉例言之,似浪花特徵可包括水平梯度、垂直梯度、水平梯度及/或垂直梯度之絕對值、對角線梯度、反對角線梯度、及/或對角線梯度及/或反對角線梯度之絕對值。此等值可基於方向性加權平均103針對輸入影像之個體像素判定。舉例言之,方向性加權平均103可用以基於梯度濾波器或梯度濾波器核心等判定所討論之梯度。容後詳述,此等梯度可用以判定弱分類器。該等弱分類器可基於針對候選者特件辨識區域之判定的一加強級聯結構評估。舉例言之,該加強級聯結構可包括以回歸分析邏輯為基礎之分類器。至於與似浪花特徵及用於似浪花特徵之一加強級聯結構相關聯的額外資訊請參考美國專利申請案第13/977,137號(美國專利公告案第US 2013/0272575 A1號),2011年1月11日提出申請為 PCT/CN2011/081642,及名稱「使用擴延突波特徵之物件檢測」。
於另一個實施例中,特徵表示型態105可包括基於二進位編碼影像之方向性加權平均103及該等多個鄰近像素(例如,如此處討論之鄰近像素202)之像素值。舉例言之,產生二進位編碼影像可包括基於該等鄰近像素之像素值中之各者對針對該個體像素之該方向性加權平均的比較,指派0或1之一值給該個體像素之各個鄰近像素;及基於所指派值(例如,指派0或1)判定用於個體像素之二進位編碼表示型態。於一實施例中,若該鄰近像素之像素值係大於該個體像素之該方向性加權平均,則指派1之值給各個鄰近像素,否則指派0值。於一實施例中,該等被指派值之排列順序係基於始於一左上鄰近像素,及以順時針方向繼續通過該等鄰近像素,容後詳述。產生二進位編碼影像可不要求判定整合影像,其可提供較不密集的計算及記憶體要求。
圖5例示依據本文揭示之至少若干具現排列之用以產生特徵表示型態105實施例之系統100實施例之一部分。如圖5中顯示,方向性加權平均模組102可接收輸入影像101之一部分501(或基於所接收之輸入影像101等判定或生成部分501)。舉例言之,輸入影像101之一部分501可包括個體像素值502(例如,90之值)及鄰近像素值503(例如,10、20、30、40、50、60、70、及80之值;於圖5中,為求清晰只標記少數鄰近像素值503)。方向性加權平均模組102 也可接收(或判定等)加權圖樣504,其可在窗口507內部包括個體像素權值505及鄰近像素權值506(於圖5中,為求清晰只標記少數鄰近像素權值506)。於圖5之實施例中,加權圖樣504相對應於如就圖3C於此處討論之權值305、306之圖樣206,但此處討論之實施例並非受此所限。
如此處討論,方向性加權平均模組102可基於個體像素值502及鄰近像素值503之一加權平均,及基於個體像素權值505及鄰近像素權值506而判定該個體像素之一方向性加權平均508。基於該具體實施例,針對該個體像素之方向性加權平均508為45(例如,請參考表示式(1))。
於一實施例中,特徵判定模組104可判定特徵表示型態105如下。如圖顯示,特徵判定模組104可施加一臨界值509給鄰近像素值503以產生指派值510(於圖5中,為求清晰只標記少數指派值510)。舉例言之,臨界值508可為針對該個體像素之方向性加權平均(例如,TH=45)。於一實施例中,特徵判定模組104可基於鄰近像素值503中之各者對針對該個體像素之方向性加權平均508之比較,指派0或1之一值給該個體像素之該等鄰近像素中之各者以產生指派值510。舉例言之,若該鄰近像素值係大於方向性加權平均508,則可指派一值1及否則指派一值0。舉例言之,鄰近像素值503可與方向性加權平均508比較,使得若xi>xa,則指派1及否則指派0,於該處xi可為鄰近像素值503(例如,x1,x2,...,x8)及xa可為方向性加權平均508(例如,臨界值)。
如圖顯示,特徵判定模組104可基於一方向511 配置指派值510。於該具體實施例中,特徵判定模組104可以順時針方向排列指派值510,始於最左上指派值510a(例如,始於一左上位置及向右移動直到達到最左上指派值510a)且繼續直到達到一最末指派值510b。於一實施例中,特徵判定模組104可以順時針方向排列指派值510,始於最左上指派值,完成外部指派值,且繼續向內直到達到最末指派值(例如,參考圖2D及2E,於該處在從5x5緣向內前進至3x3緣等等之前,例示窗口之邊緣指派值可完成)。於該具體實施例中,特徵判定模組104可始於沿指派值510(例如,指派值510a;0之值)之該窗口的頂緣取中的該鄰近像素,及以順時針方向繼續以產生二進位編碼表示型態512。又如圖顯示,與該二進位編碼表示型態512相關聯的一十進位碼513選擇性地可藉特徵判定模組510a將二進位編碼表示型態512轉換成十進位碼(例如,二進位的00001111等於基數十的15)產生。如此處討論,於若干實施例中,基於鄰近像素之數目,二進位編碼表示型態512可包括8-位元。取決於評估的鄰近像素之數目,二進位編碼表示型態512可包括任何位元之數目,諸如4、8、12、於4-12之範圍的任何位元之數目,或以上。
如圖5中顯示,特徵判定模組104可將二進位編碼表示型態512及十進位碼513中之一者或兩者移轉給多階段分類器模組106(請參考圖1)。如針對與輸入影像101相關聯的部分、大部分、或全部像素之描述,特徵判定模組104可判定二進位編碼表示型態及/或十進位碼。舉例言之,方向 性加權平均模組102及特徵判定模組104可掃描或迴圈通過輸入影像101以便以二進位編碼表示型態及/或十進位碼編碼像素而產生特徵表示型態105。於此等實施例中,特徵表示型態105可描述為二進位編碼影像且可用作為輸入影像101之特徵表示型態。就似哈爾特徵及/或似浪花特徵而言,此等實施例為優異原因在於無需整合影像。
圖6例示依據本文揭示之至少若干具現配置之多階段級聯分類器102。藉施加一多階段級聯分類器至特徵表示型態105,多階段級聯分類器102可在輸入影像101上執行物件檢測。如圖顯示,多階段級聯分類器106可包括多個階段600諸如,第一階段601、第二階段602、及第N階段603。再者,多階段級聯分類器106可包括針對拋棄掃描窗口(例如,不通過通過多個階段600之一階段的掃描窗口)之一剔除窗口模組604。多個階段600可包括用於針對一影像之一區域評估分類器用以判定一候選區域之任何合宜數目之階段。於一實施例中,多個階段600包括4至12個階段。舉例言之,階段之數目可根據用以建立該等階段之一訓練集合的大小及品質判定。特徵表示型態105或部分特徵表示型態105可提供給多階段級聯分類器102用於評估,如圖6中顯示。
舉例言之,圖7例示依據本文揭示之至少若干具現配置之輸入影像101之一實施例及物件檢測候選區域706之一實施例(例如,一通過掃描窗口)。如圖顯示,一掃描窗口702可建立在輸入影像101內部。掃描窗口702可掃描橫過 (例如,於方向703)及向下通過輸入影像101,使得特徵表示型態105之各項特徵可在掃描窗口702內部評估。舉例言之,掃描窗口702可自輸入影像101之左上,自左至右,返回左側及向下橫過等掃描,但實施例並不限於特定掃描樣式。於一實施例中,掃描窗口702可經評估,及然後可移動一個像素或兩個像素等用於下次評估等等,使得可對輸入影像101進行許多評估。掃描窗口702例如可具有任何大小,諸如32x32像素。
回頭參考圖6,掃描窗口702可於第一階段601評估。若掃描窗口702通過通過第一階段601(以「P」指示),則可轉移到第二階段602。若掃描窗口702通過通過第二階段602,則可沿路通過第三階段等等。若掃描窗口702通過通過多個階段600之全部階段(例如,通過通過第N階段603),則可儲存或保留作為一候選區域706(例如,候選區域706可儲存於記憶體,顯示給一使用者,轉移用於進一步處理等)。如圖顯示,若掃描窗口702未能通過多個階段600中之任何階段,則可透過剔除窗口模組604被拋棄(例如,拋棄為不太可能含有關注物件,諸如臉部)。舉例言之,參考圖7,候選區域706可為與一影像特徵704(例如,人臉)相關聯的一通過通過掃描窗口。圖7也例示一影像特徵705(例如,人臉)。於若干實施例中,影像特徵705可能不透過掃描窗口702被檢測,但可於隨後改變輸入影像之大小而被檢測(例如,影像特徵705可能太小而無法於目前標度由掃描窗口檢測,但可於一不同縮放因數檢測)。
如此處討論,特徵表示型態105可包括例如,基於加權方向性平均之似哈爾特徵、基於加權方向性平均之似浪花特徵、基於加權方向性平均之二進位編碼表示型態,或其類。於實施例中於該處特徵表示型態105包括基於加權方向性平均之似哈爾特徵,多個階段600可包括似哈爾特徵(例如,針對掃描窗口702之不同區域內部像素之方向性加權平均之和間之差值;請參考圖4)與一預定的或預先訓練的臨界值作比較等。於一實施例中,多個階段600之各個階段可評估一不同似哈爾特徵(例如,於不同組態中之不同矩形部),尋求識別一物件之特性(例如,臉部的眼睛、鼻子等)。
於實施例中於該處特徵表示型態105包括基於加權方向性平均之似浪花特徵,多個階段600可包括使用基於邏輯回歸之分類器的一加強分類器級聯。舉例言之,各個階段可與掃描窗口702之一不同區域相關聯,且可評估施加的邏輯回歸模型界定弱分類器(例如,前文討論之梯度)指示一物件(例如,臉部)係在掃描窗口702內部的機率。
於實施例中於該處特徵表示型態105包括基於加權方向性平均之二進位編碼表示型態,多個階段600可包括透過詢查表(LUT)具現的簡單貝葉斯(Naive Bayesian)分類器。於一實施例中,多個階段600中之一或多者可經具現而對影像之一訓練集合中之多個位置於該處判定針對特徵表示型態之一範圍具有一物件特徵之機率之一貝葉斯表,及針對特徵表示型態之該範圍具有無物件特徵之機率之另一 貝葉斯表,基於多個位置各自之能力(power)而選擇目標位置以形成用於該階段之多個位置。又復,基於該等目標位置包括一物件特徵之機率與該等位置不含物件特徵之機率間之差值加總而針對該階段判定一臨界值,容後詳述。於若干實施例中,多個階段600可包括改變速率曲線下方面積(例如,AUC)訓練框架。
於一實施例中,針對一掃描窗口,評估多個階段600中之一或多者可包括針對該等目標位置(例如,於輸入影像101之一區域或掃描窗口中之多個位置),判定該等目標位置包括一物件特徵之機率與該等位置不含物件特徵之機率間之差值加總。容後詳述,該等差值可透過多個詢查表具現(例如,各個目標位置各有一個詢查表)使得各表包括與一特徵表示型態值相關聯的差值(例如,一似哈爾特徵,一或多個似浪花特徵諸如梯度或梯度絕對值,或一二進位編碼影像之二進位編碼表示型態等)。
於後文討論中,具現及施加階段係就二進位編碼影像之二進位編碼表示型態討論,但如此處討論,任何特徵表示型態皆可如此處討論具現,及特別,於以詢查表為基礎之多階段式系統。於一實施例中,具現該等階段包括基於一訓練集合之一受監督的評練。舉例言之,如此處討論,一輸入影像之一二進位編碼表示型態可包括8-位元二進位編碼影像於該處相關聯的十進位碼於0至255之範圍(例如,00000000至11111111)。一簡單貝葉斯模型可基於該二進位編碼影像建立如下。基於一訓練集合(例如,影像之 集合),針對一給定位置x(例如,在掃描窗口702內部),可判定下列機率:P(x=c|y=0)及P(x=c|y=0),於該處y=1用於存在有物件(例如,臉部),及y=0用於不存在有物件(例如,無臉部)。舉例言之,P(x=c|y=0)可讀取為一影像窗口不含該物件之機率,設x=c,於該處c為於位置x之該二進位編碼表示型態(例如,c可為0至255)。又復,基於該訓練集合可判定下列機率:P(y=0)及P(y=1)(例如,分別為一掃描窗口沒有一物件及確實有一物件之機率)。
於一實施例中,針對任何位置之P(x|y=1)及P(x|y=0)可提供為位置x的兩個貝葉斯表。舉例言之,各表可有與該等可能的二進位編碼值相關聯的256個值(例如,c可為0至255),使得P(x|y=1)可為在一位置x基於c該掃描窗口具有該物件之機率的一表(例如,該表可包括與c之各個可能值相關聯的一機率)。同理,P(x|y=1)可為在一位置x基於c該掃描窗口沒有該物件之機率的一表。
於一實施例中,一加強訓練框架可自該訓練集合之二進位編碼影像中選定一集合之位置{xi}。舉例言之,二進位編碼影像可如此處討論針對該訓練集合中之影像產生。舉例言之,該集合之位置之選擇可基於如由表示式(2)提供之各個位置之能力(例如,經區別之位置之能力): 於該處P(y=1| x=c)可為後驗概率,且如表示式(3)顯示可透過貝葉斯公式判定: 於此等實施例中,各個位置(例如,xi)及相對應於貝葉斯表可為方向性加權平均模組102之各個階段的一弱分類器。舉例言之,一階段(例如,加強階段)可包括一集合之經選擇的位置{xi}(例如,如前文討論選擇)及一經訓練之臨界值TH。舉例言之,如前文討論,一給定掃描窗口轉換成一二進位編碼影像,可進行如表示式(4)提供之加強貝葉斯分類:
舉例言之,臨界值TH可與該等(目標)位置包括一物件特徵之機率與該等位置不包括一物件特徵之機率間之差值之總和相關聯。於一實施例中,一詢查表值可定義如表示式(5)顯示:LUT(x i =c)=P(y=1|x i =c)-P(y=0|x i =c) (5)使得分類可如表示式(6)提供透過詢查表執行:
如表示式(5)及(6)顯示,針對於一輸入影像中之一區域(例如,掃描窗口等)中之多個目標位置各自,該等位置(例如,目標位置)包括一物件特徵之機率與該等位置不包 括一物件特徵之機率間之差值之總和可根據針對各個位置透過一詢查表具現的差值判定。各個詢查表可包括在該相關聯的目標位置各個特徵表示型態值(例如,二進位編碼表示型態)之一差值。該差值之總和可與預定臨界值作比較,若該和值係大於該臨界值,則掃描窗口(或區域等)通過通過分類器階段,否則該掃描窗口被剔除(請參考圖6)。
於一實施例中,前述針對多個階段600之一階段之分類可施用或進行(例如,於一物件檢測相)如下。針對於一掃描窗口之各個位置xi(例如,各階段可使用數個位置),可判定二進位編碼影像值(例如,二進位編碼表示型態或0至255範圍之十進位碼)。針對各個位置,如表示式(7)顯示,可存取一分開詢查表以基於在該位置之二進位編碼值而判定一詢查表值:LUT(x i =c) (7)
針對如表示式(8)顯示之全部位置可加總該詢查表值:
如表示式(9)顯示,該總和可與該預定及/或預先接受訓練的臨界值作比較: 過且被剔除至剔除窗口模組604(請參考圖6)。
前文討論之操作可一起執行或分開執行以提供物件檢測(例如,臉孔檢測)。
圖8為一流程圖例示依據本文揭示之至少若干具現配置之用於物件檢測之處理800之一實施例。如圖8中之例示,處理800可包括一或多個操作801-814。處理800可構成一物件檢測處理之至少一部分。藉由非限制性實施例,如此處討論,由系統100進行者,針對一或多個輸入影像,處理800可構成一物件檢測處理之至少一部分。
處理800可始於操作801,「選擇性地前處理影像」,於該處一輸入影像、目標影像、主題影像等可經預先處理。於一實施例中,前處理可包括將該影像自彩色影像轉換成灰階影像。該輸入影像可包括任何影像或影像檔案,諸如,一即時影像、一解碼影像、一擷取影像(例如,透過相機等)、一渲染影像、自一串列之視頻影像或圖框之一影像、自記憶體取回之一影像、或其類。舉例言之,一使用者或處理(例如,軟體處理)可透過系統100調用處理800。
處理800可於操作802繼續,「以標度i改變影像之大小」,於該處該影像可以標度i(例如,一計數變量)改變大小。舉例言之,於物件檢測中,可優異地以各種標度大小檢視該影像以檢測在該影像內部之不同大小的物件。於一實施例中,一掃描窗口可具有預定尺寸(例如,32x32像素),及該影像可被縮放至基於該掃描窗口的大小與掃描為可相 容之一大小。舉例言之,該影像首先可於其自然大小(例如,未執行任何改變大小)評估,及隨後迭代重複(例如,自判定操作813)可基於一縮放因數(例如,1.05、1.1、1.2、1.5等)縮放該影像,及重複該縮放直到該影像被縮放至該掃描窗口之大小或該掃描窗口之倍數等為止。一較小的縮放因數可提供更高品質但犧牲了速度減慢。於若干實施例中,於各種迭代重複中該縮放因數可維持常數,而於其它實施例中該縮放因數可改變。於一實施例中,影像為1080p影像,及掃描窗口為32x32像素。
處理800可繼續於操作803,「以標度i產生特徵表示型態」,於該處可產生影像之以標度i之特徵表示型態(例如,如此處討論之輸入影像101)。舉例言之,如此處討論,可產生特徵表示型態105。於一實施例中,產生該特徵表示型態包括判定該影像之像素於標度i之方向性加權平均,及基於該等方向性加權平均產生該特徵表示型態。於各種實施例中,該特徵表示型態可包括一基於似哈爾特徵之表示型態、一基於似浪花特徵之表示型態、或一基於二進位編碼影像之表示型態。於一實施例中,特徵表示型態105可判定為二進位編碼影像,如就圖5討論者。
處理800可繼續於操作804,「預測掃描窗口j」,於該處可預測或判定在該輸內部之一掃描窗口j(例如,一計數變量)。舉例言之,於第一迭代重複,該掃描窗口可在該輸入影像之左上,及於接續迭代重複(例如,自判定方塊811)該掃描窗口可朝右前進數個像素直到到達該輸入影像右 側,及然後向下前進數個像素,及然後返回影像左方等等直到已經掃描整個輸入影像為止。舉例言之,於各次迭代重複移動的像素數目可為1或2像素或以上,使得可評估許多掃描窗口。掃描窗口之較小型移動可提供較高品質但犧牲了例如處理資源及時間。
處理800可繼續於操作805,「評估級聯階段k」,於該處可評估一級聯階段k(例如,k為一計數變量)。舉例言之,針對掃描窗口j可評估多階段級聯分類器102之一階段。於一實施例中,評估於階段k之掃描窗口j可包括基於如此處討論,特徵表示型態評估弱分類器。於一實施例中,基於二進位編碼影像之一詢查表分類器可如就圖6及表示式(7)-(9)之討論進行。於一實施例中,階段k包括一詢查表(LUT)分類器。舉例言之,於第一迭代重複,可評估第一階段601及於接續迭代重複(若掃描窗口j已通過通過稍早迭代重複),可評估多個階段600之隨後各階段。當隨後各階段被評估時,掃描窗口j之分類及測試可基於不同影像特性分類及測試(例如,評估眼睛或牙齒等),及/或分類及測試可變成更加嚴格(例如,可評估更多位置{xi})及/或更難以通過(例如,有較高相對臨界值TH)。於一實施例中,第一階段包含10-20位置,第二階段包括20-40位置,及隨後階段各自包括多於40位置。
處理800可繼續於操作806,「通過階段k?」,於該處可判定掃描窗口j是否已經通過通過級聯階段k。若掃描窗口j未通過通過級聯階段k,則可拋棄掃描窗口j(例如, 透過剔除窗口模組604)及可於操作807繼續處理,「j=j+1」,於該處計數變量j可遞增1,掃描窗口可在輸入影像內部移動一階,及可於操作804繼續處理,「預測掃描窗口j」,於該處可預測或判定下個掃描窗口。
若掃描窗口j通過通過級聯階段k,則處理800可於操作808繼續,「k=k+1」,於該處計數變量k可遞增1,及於操作809繼續,「通過全部階段」,於該處判定掃描窗口j是否通過全部階段。若掃描窗口j尚未通過全部階段(例如,該多階段級聯中有更多個階段及k<階段之數目),則處理800可於操作805繼續,「評估級聯階段k」,如前文討論。
若掃描窗口j已經通過全部階段,則掃描窗口j可被儲存或保留(圖中未顯示)用於隨後於操作814之合併。於此等實施例中,掃描窗口j已被視為一物件候選區域或窗口(例如,一區域或窗口經判定為具有或可能具有其中之關注物件)。於若干實施例中,替代或除外被儲存或保留用於稍後之合併之外,掃描窗口j可呈示給一使用者(例如,於照相機顯示器中指示臉部辨識)。
處理800可於操作810繼續處理,「j=j+1」,於該處計數變量j可遞增1,及於操作811繼續處理,「完成全部掃描窗口」,於該處可判定是否已經完成全部掃描窗口(例如,針對一關注物件評估)。若尚未評估完成全部掃描窗口,則處理800可於操作804繼續處理,「預測掃描窗口j」,於該處可預測或判定接續的掃描窗口,如前文討論。
若已經完成全部掃描窗口,則處理800可於操作 812繼續處理,「i=i+1」,於該處計數變量i可遞增1,及於操作813繼續處理,「完成全部影像縮放」,於該處可判定是否已經完成全部影像縮放(例如,已經完成該目標影像之全部影像縮放)。若尚未完成全部影像縮放,則處理800可於操作802繼續處理,「以標度i改變影像大小」,於該處該影像可被改變大小用於如本文討論重複處理(例如,特徵表示型態之判定,掃描窗口之判定,透過級聯階段掃描窗口之評估等等)。
若已經完成全部影像縮放,則處理800可於操作814繼續處理,「合併結果」,於該處可合併結果。舉例言之,任何通過的掃描窗口(例如,物件候選區域)可被合併及儲存及/或呈示給一使用者。舉例言之,針對各個通過的掃描窗口,該物件候選區域之位置及大小(例如,基於如上標度)可被儲存,用於進一步處理,及/或呈示給一使用者等。於一實施例中,合併該等結果包括分組通過的掃描窗口,合併之,及進行非最大遏止。於一實施例中,一第一及第二掃描窗口可已經通過通過此處討論之多階段級聯分類器,及掃描窗口可合併作為物件候選區域。該等物件候選區域可藉儲存至記憶體、呈示給一使用者等處理。
處理800之部分可針對任何數目之像素、階段、或輸入影像串列地或並列地重複任何數目之次數以產生任何數目之物件候選區域。也如此處討論,該(等)輸入影像可包括一解碼影像、一擷取影像(例如,透過相機等)、一渲染影像、自一串列之視頻影像或圖框之一影像、自記憶體取 回之一影像、或其類。
圖9為流程圖例示依據本文揭示之至少若干具現配置之用以提供物件檢測之處理900之一實施例。處理900可包括如圖9例示之一或多個操作901-903。處理900可構成物件檢測處理之至少部分。藉由非限制性實施例,針對一或多個輸入影像,處理900可構成物件檢測處理之至少部分,如此處討論由系統100進行者。又,處理900將參考圖10之系統1000於此處描述。
圖10為依據本文揭示之至少若干具現配置系統1000之一實施例之例示圖。如圖10中顯示,系統1000可包括一圖形處理單元(GPU)1001、一或多個中央處理單元1004、及記憶庫1005。也如圖顯示,GPU 1001可包括方向性加權平均模組102、特徵表示型態模組104、及多階段級聯分類器模組106。於系統1000之實施例中,記憶庫1005可儲存影像內容,諸如輸入影像及/或物件檢測候選區域。
圖形處理單元1001可包括任何數目及任何型別之圖形處理單元其可提供如此處討論之操作。此等操作可透過軟體或硬體或其組合具現。舉例言之,圖形處理單元1001可包括專用以操縱自記憶體之影像用以呈示給一使用者的電路。中央處理單元1004可包括任何數目及任何型別之處理單元或模組其可提供控制及其它高階功能給系統1000。記憶庫1005可為任何型別之記憶體,諸如,依電性記憶體(例如,靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)等)或非依電性記憶體(例如,快閃記憶體 等)及其類。於一非限制性實施例中,記憶庫1005可藉快取記憶體具現。於一實施例中,方向性加權平均模組102、特徵表示型態模組104、及/或多階段級聯分類器106可透過圖形處理單元1001之一執行單元(EU)具現。該執行單元(EU)可包括例如,可規劃邏輯或電路,諸如可提供寬廣多種可規劃邏輯功能之一邏輯核心或多邏輯核心。於一實施例中,方向性加權平均模組102、特徵表示型態模組104、及/或多階段級聯分類器106可透過專用硬體具現,諸如固定功能電路等。固定功能電路可包括專用邏輯或電路,且可提供一集合之固定功能進入點其可對映至用於固定用途或功能之專用邏輯。
回頭參考圖9之討論,處理900可始於操作901,「判定一輸入影像之像素之方向性加權平均」,於該處可判定一輸入影像之像素之方向性加權平均。舉例言之,方向性加權平均103可藉方向性加權平均模組102透過如此處討論之圖形處理單元1001具現而予判定。於一實施例中,方向性加權平均103可包括針對一個體像素,基於該個體像素之鄰近像素之一圖樣的像素值,及鄰近像素之權值(根據各個鄰近像素相對於個體像素之位置)而判定一加權平均。
處理可於操作902繼續,「基於該等方向性加權平均產生一特徵表示型態」,於該處基於該等方向性加權平均可產生一特徵表示型態。舉例言之,特徵表示型態105可藉特徵表示型態模組104透過如此處討論之圖形處理單元1001具現而予產生。於各種實施例中,該特徵表示型態可 包括似哈爾特徵、似浪花特徵、或二進位編碼影像。
處理可於操作903繼續,「藉施用一多階段級聯分類器至該特徵表示型態而執行物件檢測」,於該處物件檢測可藉施用一多階段級聯分類器至該特徵表示型態而予執行。舉例言之,透過圖形處理單元1001具現之多階段級聯分類器106可執行基於特徵表示型態105之物件檢測。如此處討論,任何數目之階段(例如,5-12階段)可透過多階段級聯分類器106具現。於各種實施例中,該等階段可包括以邏輯回歸為基礎之分類器或透過詢查表具現之簡單貝葉斯模型等。
如此處討論,成功的掃描窗口或區域等選擇性地可被合併及/或儲存用於進一步處理或呈示給一使用者等。處理900可針對任何數目之輸入影像串列地或並列地重複任何數目之次數。
此處描述之系統之各種組件可於軟體、韌體、及/或硬體、及/或其組合具現。例如,系統100或系統1000之各種組件可至少部分由一單晶片計算系統(SoC)之硬體提供,諸如可見於計算系統諸如智慧型電話。熟諳技藝人士將瞭解此處描述之系統可包括於相對應圖式中未加描繪的額外組件。舉例言之,此處描述之系統可包括為求清晰而於此處未加描繪的額外組件,諸如位元串流多工器或解多工器模組等。
雖然此處討論之處理(例如,處理800及處理900)之實施例之具現可包括以例示順序顯示而進行的全部操 作,但本文揭示並不限於此一方面,於各種實施例中,此處討論之處理之實施例之具現可包括所顯示之該等操作只有一子集、以例示以外之不同順序執行之操作、或額外操作。
此外或另外,此處討論之該等操作中之任一者或多者可應答於由一或多個電腦程式產品提供的指令進行。此等程式產品可包括攜載信號之媒體提供指令其當由例如一處理器執行時可提供此處描述之功能。電腦程式產品可以一或多個機器可讀取媒體之任何形式提供。如此,舉例言之,包括一或多個圖形處理單元或處理器核心之一處理器可回應於由一或多個機器可讀取媒體傳遞給該處理器之程式碼及/或指令或指令集而進行此處處理實施例之該等方塊中之一或多者。一般而言,一機器可讀取媒體可以程式碼及/或指令或指令集形式傳遞軟體,其可使得此處描述之裝置及/或系統中之任一者具現系統100或1000之至少部分,或如此處討論之任何其它模組或組件。
如用於此處描述之任何具現,「模組」一詞指稱受組配成可提供此處描述之功能之軟體邏輯、韌體邏輯、硬體邏輯、及/或電路之任一項組合。軟體可呈軟體封包、碼、及/或指令集或指令實施,及「硬體」如用於此處描述之任何具現,可包括例如單獨使用或呈任一項組合,有線電路、可規劃電路、狀態機電路、固定功能電路、執行單元電路、及/或儲存藉可規劃電路執行的指令之韌體。該等模組可集合地或個別地實施為構成更大型系統之一部分的 電路,例如,積體電路(IC)、單晶片系統(SoC)等。
此處討論之物件檢測(例如,面部檢測)系統及處理可提供橫跨不同平台及不同解析度之即時物件檢測。如此處討論,此等物件檢測系統可用於人機互動、相簿管理、生物計量學、視訊監視、相機成像之自動對焦、影像或視訊之搜尋及取回等。又復,如此處討論之系統及處理用在模組及計算要求有相當少的記憶體腳印,此點對行動、平板、或深嵌系統具現為優異。如此處討論之系統及處理也提供提高的準確度。
比較先前技術,如此處討論之實施例可提供下列優點。舉例言之,如此處討論之處理可提供只有約100KB(比起其它先前方法大於1MB)之模型大小(例如,特徵表示型態)及只約1x影像大小之要求計算記憶體(比起若干先前方法8x或32x影像大小)。再者,如此處討論,於分類器級聯中之階段數目可為約4至12階段,於若干具現中只需4或5階段(比起若干先前方法高達30階段)。如此處討論之技術也可適用於固定點操作、並列處理、及/或單指令多執行(SIMD)操作,其可提供下列處理速度:約240fps(每秒圖框)給VGA,70fps給HD,及/或30fps給全高畫質(比起若干先前方法60-100fps給VGA,12-14fps給HD,及3-5fps給全高畫質)。只使用如此處討論,可在行動裝置具現的400MHz及16KB之快取記憶體的一CPU上達成如此處討論之技術之即時操作(例如,四分之一視訊圖形陣列(QVGA)上15fps)。於若干實施例中,使用執行單元(EU)具現及/或專用 硬體諸如固定功能電路等,可提供更快速處理(例如,約3倍至5倍快)。
又復,比起先前方法,如此處討論之技術可提供提升的或可相媲美的準確度。舉例言之,根據麻省州立大學臉部檢測資料集及基準點(UMass FDDB),就增加真陽性率及減低偽陽性率而言,如此處討論之技術提供提升的效能。
圖11為依據本文揭示之至少若干具現配置之系統1100之一實施例之例示圖。於各種具現中,系統1100可為媒體系統,但系統1100不限於此一情境。舉例言之,系統1100可結合入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、接觸板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如,智慧型電話、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、相機(例如,傻瓜相機、超廣角相機、數位單鏡頭反光(DSLR)相機)及其類。
於各種具現中,系統1100包含耦接至一顯示器1120之一平台1102。平台1102可自一內容裝置,諸如內容服務裝置1130或內容傳遞裝置1140或其它類似內容來源接收內容。包含一或多個導航特性件之一導航控制器1150可用來與例如平台1102及/或顯示器1120互動。此等組件各自容後詳述。
於各種具現中,平台1102可包括晶片組1105、處 理器1110、記憶體1112、儲存裝置1114、圖形子系統1115、應用程式1116及/或無線電1118之任一種組合。晶片組1105可提供處理器1110、記憶體1112、儲存裝置1114、圖形子系統1115、應用程式1116及/或無線電1118間之交互通訊。舉例言之,晶片組1105可包括能夠提供與儲存裝置1114交互通訊之一儲存裝置配接器(圖中未顯示)。
處理器1110可具現為複雜指令集電腦(CISC)處理器或精簡指令集電腦(RISC)處理器、x86指令集可相容處理器、多核心、或任何其它微處理器或中央處理單元(CPU)。於各種具現中,處理器1110可包括雙核心處理器、雙核心行動處理器等。
記憶體1112可具現為依電性記憶體,諸如但非僅限於,隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
儲存裝置1114可具現為非依電性記憶體,諸如但非僅限於磁碟驅動裝置、光碟驅動裝置、磁帶驅動裝置、內部儲存裝置、外接式儲存裝置、快閃記憶體、電池後備SDRAM(同步DRAM)、及/或網路可接取儲存裝置。於各種具現中,儲存裝置1114可包含技術以當包括例如多個硬碟驅動裝置時增加儲存效能,提升對有價值之數位媒體的保護。
圖形子系統1115可執行影像諸如靜像或視訊之處理用於顯示。圖形子系統1115可為例如圖形處理單元或視覺處理單元(VPU)。類比或數位介面可用以通訊式耦接圖 形子系統1115及顯示器1120。舉例言之,該介面可為高畫質多媒體介面(HDMI)、顯示器埠、無線HDMI、及/或無線HD依從性技術中之任一者。圖形子系統1115可整合入處理器1110或晶片組1105。圖形子系統1115可為通訊式耦接至晶片組1105之一獨立式卡片。
此處描述之圖形及/或視訊處理技術可於各種硬體架構具現。舉例言之,圖形及/或視訊功能可整合於一晶片組。另外,可使用分開的圖形及/或視訊處理器。至於又另一實施例,該等圖形及/或視訊功能可由一通用處理器,包括多核心處理器具現。於又一個實施例中,該等功能可於一消費性電子裝置具現。
無線電1118可包括能夠使用多種合宜無線通訊技術發射及接收信號之一或多個無線電。此等技術可涉及橫跨一或多個無線網路通訊。無線網路之實施例包括,但非限制性,無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、小區式網路、及衛星網路。橫跨此等網路通訊中,無線電1118可以任何版本根據一或多個適用標準操作。
於各種具現中,顯示器1120可包含任何電視型監視器或顯示器。顯示器1120可包含例如電腦顯示器螢幕、觸控螢幕顯示器、視訊監視器、電視狀裝置、及/或電視。顯示器1120可為數位及/或類比。於各種具現中,顯示器1120可為全像顯示器。又,顯示器1120可為接收視覺投影之一透明或不透明表面。此等投影可傳遞各種形式之資訊、影 像、及/或物件。舉例言之,此等投影可為行動增強實境(MAR)應用程式之一視覺疊加。於一或多個軟體應用程式1116之控制之下,平台1102可在顯示器1120上顯示使用者介面1122。
於各種具現中,內容服務裝置1130可藉任何國家、國際及/或獨立服務主持,及如此例如透過網際網路可存取平台1102。內容服務裝置1130可耦接至平台1102及/或顯示器1120。平台1102及/或內容服務裝置1130可耦接至一網路1160以通訊(例如發送及/或接收)媒體資訊至及自網路1160。內容傳遞裝置1140也可耦接至平台1102及/或顯示器1120。
於各種具現中,內容服務裝置1130可包含有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容之網際網路致動裝置或設施、及能夠透過網路1160或直接地在內容提供者與平台1102及顯示器1120間單向或雙向通訊內容的任何其它類似裝置。須瞭解內容可透過網路1160單向及/或雙向地至及自系統1100中之組件中之任一者及一內容提供者通訊。內容之實施例可包括任何媒體資訊,包括例如視訊、音樂、醫療及遊戲資訊等。
內容服務裝置1130接收內容,諸如有線電視節目,包括媒體資訊、數位資訊、及/或其它內容。內容提供者之實施例可包括任何有線或衛星電視或無線電或網際網路內容提供者。所提供之實例絕非意圖限制依據本文揭示之具現。
於各種具現中,平台1102可自具有一或多個導航特性件之導航控制器1150接收控制信號。控制器1150之導航特性件例如可用以介接使用者介面1122。於各種具現中,導航控制器1150可為一指標裝置,其可為一電腦硬體組件(特別人機介面裝置)其許可一使用者將空間(例如連續及多維)資料輸入一電腦。許多系統諸如圖形使用者介面(GUI)、及電視及監視器允許該使用者使用實體手勢以控制及提供資料給該電腦或電視。
控制器1150之導航特性件之移動可藉指標器、游標、調焦環、或顯示在顯示器上之其它視覺指示器而回響重複在一顯示器(例如顯示器1120)上。舉例言之,於軟體應用程式1116之控制之下,位在導航控制器1150上之導航特性件例如可對映至顯示在使用者介面1122上的虛擬導航特性件。於各種具現中,控制器1150可非一分開組件,反而係整合入平台1102及/或顯示器1120。但實施例絕非僅限於此處顯示的或描述的元件或情境。
於各種具現中,驅動裝置(圖中未顯示)可包括在初始啟動之後,技術許可使用者當致動時,類似電視機藉觸摸一鈕而即時開關平台1102。當該平台被「關閉」時,程式邏輯許可平台1102串流化內容至媒體配接器或其它內容服務裝置1130或內容傳遞裝置1140。此外,晶片組1105可包含例如支援5.1環繞音效音訊及/或高畫質7.1環繞音效音訊之硬體及/或軟體支援。驅動裝置可包括用於整合圖形平台之圖形驅動裝置。於各種具現中,該圖形驅動裝置可 包含一週邊組件互連(PCI)快速圖形卡。
於各種實施例中,系統1100中顯示之組件中之任一者或多者可經整合。舉例言之,平台1102及內容服務裝置1130可經整合,平台1102及內容傳遞裝置1140可經整合,或平台1102、內容服務裝置1130及內容傳遞裝置1140可經整合。於各種實施例中,平台1102及顯示器1120可為一整合單元。例如,顯示器1120及內容服務裝置1130可經整合,或顯示器1120及內容傳遞裝置1140可經整合。此等實施例絕非限制本文揭示之範圍。
於各種實施例中,系統1100可具現為無線系統、有線系統、或兩者的組合。當具現為無線系統時,系統1100可包括適用於透過無線分享媒體,諸如一或多個天線、發射器、接收器、收發器、放大器、濾波器、控制邏輯等通訊之組件及介面。無線分享媒體之一實施例可包括無線頻譜諸如RF頻譜等之一部分。當具現為有線系統時,系統1100可包括適用於透過有線通訊媒體,諸如輸入/輸出(I/O)配接器、連結該I/O配接器與一相對應有線通訊媒體之實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等通訊之組件及介面。有線通訊媒體之實施例可包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、開關組織結構、半導體材料、雙絞線、同軸纜線、光纖等。
平台1102可建立一或多個邏輯或實體通道以通訊資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指表示對一使用者有意義的內容之任何資料。內容之實施 例可包括例如,得自語音對話之資料、視訊會議、串流化視訊、電子郵件(「email」)訊息、語音郵件訊息、文數符號、圖形、影像、視訊、文字等。得自語音對話之資料例如可為口語資訊、無聲週期、背景雜訊、舒適噪音、語調等。控制資訊可指表示對一自動化系統有意義的命令、指令或控制字眼之任何資料。舉例言之,控制資訊可用以經由一系統路徑安排媒體資訊,或指示一節點以一預定方式處理該媒體資訊。但實施例絕非限於圖11中顯示的或描述的元件或情境。
如前文描述,系統1100可以各種實體風格或形狀因數實施。圖12例示其中可具體實施系統1100之小型形狀因數裝置1200。於各種具現中,例如裝置1200可具現為具有無線能力之一行動計算裝置。一行動計算裝置可指具有處理系統及行動電源或電源供應器諸如一或多個電池之任何裝置。
如前文描述,一行動計算裝置之實施例可包括一個人電腦、膝上型電腦、超膝上型電腦、平板、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話與PDA之組合、電視、智慧型裝置(例如智慧型電話、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、相機(例如,傻瓜相機、超廣角相機、數位單鏡頭反光(DSLR)相機)及其類。
一行動計算裝置之實施例也可包括配置以由個 人穿戴的電腦,諸如手腕電腦、手指電腦、指環電腦、眼鏡電腦、皮帶夾電腦、臂帶電腦、鞋電腦、衣著電腦、及其它可穿戴電腦。於各種具現中,例如行動計算裝置可具現為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。雖然若干實施例係以具現為智慧型電話的行動計算裝置舉例描述,但須瞭解其它實施例也可使用其它有線或無線行動運算裝置具現。該等實施例並非限於此一情境。
如圖12顯示,裝置1200可包括一殼體1202、一顯示器1204、一輸入/輸出(I/O)裝置1206、及一天線1208。裝置1200也可包括導航特性件1212。顯示器1204可包含適用於行動計算裝置顯示資訊的任何適當顯示器單元。I/O裝置1206可包括將資訊載入一行動計算裝置的任何合宜I/O裝置。I/O裝置1206之實施例可包括文數鍵盤、數字小鍵盤、觸控板、輸入鍵、按鈕、開關、翹板開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊也可藉麥克風(圖中未顯示)載入裝置1200。此種資訊可藉一語音辨識裝置(圖中未顯示)數位化。該等實施例並非限於此一情境。
各種實施例可使用硬體元件、軟體元件、或兩者之組合具現。硬體元件之實施例可包括處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、 晶片組等。軟體之實施例可包括軟體組件、程式、應用程式、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦碼、碼節段、電腦碼節段、字組、值、符號、或其任何組合。判定一實施例是否使用硬體元件及/或軟體元件具現可根據任何數目之因素改變,諸如期望計算速率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度及其它設計或效能限制。
至少一個實施例之一或多個面向可由儲存在一機器可讀取媒體上之代表性指令具現,該等指令表示於該處理器內之各種邏輯,其當由一機器讀取時使得該機器製造邏輯以從事此處描述之該等技術。此等表示型態稱作為「IP核心」可儲存於一具體有形的機器可讀取媒體上及供應給各式消費者或製造廠以載入實際上製作該邏輯或處理器之製造機器。
雖然此處陳述之某些特徵已經參考各種具現描述,但本文描述並非意圖解譯為限制性意義。因此,熟諳本文揭示之技藝人士顯然易知的此處描述之具現之各項修改以及其它具現被視為落入於本文揭示之精髓及範圍內。
下列實例係有關於進一步實施例。
於一或多個第一實施例中,一種用於物件檢測之電腦實施方法包含至少部分基於該等個體像素中之各者的 多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定針對一輸入影像之個體像素之方向性加權平均;至少部分基於該等方向性加權平均而產生該輸入影像之一特徵表示型態;及藉施用一多階段級聯分類器給該特徵表示型態而在該輸入影像上執行物件檢測。
關於該等第一實施例,該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像。
關於該等第一實施例,該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像及產生該二進位編碼影像包含,針對該等個體像素之之一第一個體像素,基於針對該第一個體像素之一第一多個鄰近像素之各個像素值與一第一方向性加權平均之一比較,指派0或1之一值給該第一個體像素之該等第一多個鄰近像素中之各者;及基於該等第一多個鄰近像素之該等指派值,判定針對該第一個體像素之一二進位編碼表示型態。
關於該等第一實施例,該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像,產生該二進位編碼影像包含,針對該等個體像素之之一第一個體像素,基於針對該第一個體像素之一第一多個鄰近像素之各個像素值與一第一方向性加權平均之一比較,指派0或1之一值給該第一個體像素之該 等第一多個鄰近像素中之各者;及基於該等第一多個鄰近像素之該等指派值,判定針對該第一個體像素之一二進位編碼表示型態,及若與該等第一多個鄰近像素中之一鄰近像素相關聯的一像素值係大於該第一方向性加權平均,則指派1之該值給該鄰近像素,及否則指派0之該值;及其中判定該二進位編碼表示型態包含基於始於該等第一多個鄰近像素中之一左上鄰近像素及以順時針方式繼續通過該等第一多個鄰近像素而依序排列該等被指派值。
關於該等第一實施例,針對一第一個體像素判定一第一方向性加權平均包含針對該第一個體像素之一第一多個鄰近像素之判定一第一多個像素值,其中該等第一多個鄰近像素係在環繞該第一個體像素之一窗口內部;判定與該等第一多個鄰近像素相關聯的一第一多個權值;及針對該第一個體像素產生該第一方向性加權平均為該等第一多個像素值中之各者與該等相關聯的第一多個權值中之各者之該等乘積之一總和除以該等第一多個權值之一總和。
關於該等第一實施例,施用該多階段級聯分類器之一階段包含針對在該輸入影像之一區域中之多個位置,判定該等位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之多個差值之一總和,其中該等多個差值係透過多個詢查表具現,及其中該等多個詢查表各自包含多個差值,各自與一特徵表示型態值相關聯;及比較該總和與一預定臨界值以判定該區域通過或不通過。
關於該等第一實施例,具現該多階段級聯分類器 之一階段包含針對在影像之一訓練集合中之多個位置,判定針對一範圍之特徵表示型態具有一物件特徵之機率的一第一貝葉斯表及針對該範圍之特徵表示型態沒有物件特徵之機率的一第二貝葉斯表;基於該等多個位置中之各者之一能力,針對該階段級聯分類器之一階段自該等多個位置中選擇多個目標位置;及針對該階段判定一臨界值,其中該臨界值係與該等目標位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之差值之一總和相關聯。
關於該等第一實施例,該特徵表示型態包含一似哈爾特徵表示型態。
關於該等第一實施例,該特徵表示型態包含一似浪花特徵,及其中該多階段級聯分類器包含以邏輯回歸為基礎之分類器。
關於該等第一實施例,該特徵表示型態包含一似哈爾特徵表示型態或一似浪花特徵中之至少一者。
關於該等第一實施例,該方法進一步包含藉由將一影像轉換成灰階及基於一縮放因數改變該經轉換之影像之大小而產生該輸入影像,其中在該輸入影像上執行該物件檢測包含在該輸入影像之多個掃描窗口上執行該物件檢測,其中一第一掃描窗口及一第二掃描窗口通過該多階段級聯分類器,該方法進一步包含合併該第一掃描窗口及該第二掃描窗口作為物件候選區域;及藉由儲存該等物件候選區域於記憶體或呈示該等物件候選區域給一使用者中之至少一者而處理該等物件候選區域。
於一或多個第二實施例中,一種在一計算裝置上提供物件檢測之系統包含受組配成可呈示影像資料之一顯示裝置;及耦接至該顯示裝置之一圖形處理單元,其中該圖形處理單元包含方向性加權平均電路受組配成可至少部分基於該等個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定針對一輸入影像之個體像素之方向性加權平均;特徵表示型態電路受組配成可至少部分基於該等方向性加權平均而產生該輸入影像之一特徵表示型態;及多階段級聯分類器電路受組配成可藉施用一多階段級聯分類器給該特徵表示型態而在該輸入影像上執行物件檢測。
關於該等第二實施例,該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像。
關於該等第二實施例,該方向性加權平均電路受組配成可判定針對該輸入影像之個體像素之方向性加權平均包含該方向性加權平均電路受組配成可,針對一第一個體像素,針對該第一個體像素之一第一多個鄰近像素之判定一第一多個像素值,其中該等第一多個鄰近像素係在環繞該第一個體像素之一窗口內部;判定與該等第一多個鄰近像素相關聯的一第一多個權值;及針對該第一個體像素產生該第一方向性加權平均為該等第一多個像素值中之各者與該等相關聯的第一多個權值中之各者之該等乘積之一總和除以該等第一多個權值之一總和。
關於該等第二實施例,該方向性加權平均電路受組配成可判定針對該輸入影像之個體像素之方向性加權平均包含該方向性加權平均電路受組配成可,針對一第一個體像素,針對該第一個體像素之一第一多個鄰近像素之判定一第一多個像素值,其中該等第一多個鄰近像素係在環繞該第一個體像素之一窗口內部;判定與該等第一多個鄰近像素相關聯的一第一多個權值;及針對該第一個體像素產生該第一方向性加權平均為該等第一多個像素值中之各者與該等相關聯的第一多個權值中之各者之該等乘積之一總和除以該等第一多個權值之一總和,其中該方向性加權平均電路受組配成可若與該等第一多個鄰近像素中之一鄰近像素相關聯的一像素值係大於該第一方向性加權平均,則指派1之該值給該鄰近像素,及否則指派0之該值,及其中該方向性加權平均電路受組配成可判定該二進位編碼表示型態包含基於始於該等第一多個鄰近像素中之一左上鄰近像素及以順時針方式繼續通過該等第一多個鄰近像素而依序排列該等被指派值。
關於該等第二實施例,該多階段級聯分類器電路受組配成可在該輸入影像上執行物件檢測包含該多階段級聯分類器電路受組配成可,針對該多階段級聯分類器之一階段,針對在該輸入影像之一區域中之多個位置,判定該等位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之多個差值之一總和,其中該等多個差值係透過多個詢查表具現,及其中該等多個詢查表各自包含多個 差值,各自與一特徵表示型態值相關聯;及比較該總和與一預定臨界值以判定該區域通過或不通過。
關於該等第二實施例,該特徵表示型態包含一似哈爾特徵表示型態或一似浪花特徵中之至少一者。
關於該等第二實施例,為了具現該多階段級聯分類器之一階段,該多階段級聯分類器電路受組配成可針對在影像之一訓練集合中之多個位置,判定針對一範圍之特徵表示型態具有一物件特徵之機率的一第一貝葉斯表及針對該範圍之特徵表示型態沒有物件特徵之機率的一第二貝葉斯表;基於該等多個位置中之各者之一能力,針對該階段級聯分類器之一階段自該等多個位置中選擇多個目標位置;及針對該階段判定一臨界值,其中該臨界值係與該等目標位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之差值之一總和相關聯。
關於該等第二實施例,該特徵表示型態包含一似哈爾特徵表示型態。
關於該等第二實施例,該特徵表示型態包含一似浪花特徵。
關於該等第二實施例,該系統進一步包含一記憶體受組配成可儲存該輸入影像。
於一或多個第三實施例中,一種在一計算裝置上提供物件檢測之系統包含受組配成可呈示影像資料之一顯示裝置;及耦接至該顯示裝置之一圖形處理單元,其中該圖形處理單元包含用於至少部分基於該等個體像素中之各 者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定針對一輸入影像之個體像素之方向性加權平均之構件;用於至少部分基於該等方向性加權平均而產生該輸入影像之一特徵表示型態之構件;及用於藉施用一多階段級聯分類器給該特徵表示型態而在該輸入影像上執行物件檢測之構件。
關於該等第三實施例,該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像。
關於該等第三實施例,該特徵表示型態包含一似哈爾特徵表示型態。
關於該等第三實施例,該特徵表示型態包含一似浪花特徵,及其中該多階段級聯分類器包含以邏輯回歸為基礎之分類器。
於一或多個第四實施例中,一種包含多個指令之至少一個機器可讀取媒體其回應於在一計算裝置上執行,使得該計算裝置藉下列操作而執行物件檢測:至少部分基於該等個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定針對一輸入影像之個體像素之方向性加權平均;至少部分基於該等方向性加權平均而產生該輸入影像之一特徵表示型態;及藉施用一多階段級聯分類器給該特徵表示型態而在該輸入影像上執行物件檢測。
關於該等第四實施例,該特徵表示型態包含基於 該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像。
關於該等第四實施例,其中該特徵表示型態包含基於該等方向性加權平均及該等多個鄰近像素之該等像素值之一二進位編碼影像,及其中產生該二進位編碼影像包含,針對該等個體像素之之一第一個體像素,基於針對該第一個體像素之一第一多個鄰近像素之各個像素值與一第一方向性加權平均之一比較,指派0或1之一值給該第一個體像素之該等第一多個鄰近像素中之各者;及基於該等第一多個鄰近像素之該等指派值,判定針對該第一個體像素之一二進位編碼表示型態。
關於該等第四實施例,針對一第一個體像素判定一第一方向性加權平均包含針對該第一個體像素之一第一多個鄰近像素之判定一第一多個像素值,其中該等第一多個鄰近像素係在環繞該第一個體像素之一窗口內部;判定與該等第一多個鄰近像素相關聯的一第一多個權值;及針對該第一個體像素產生該第一方向性加權平均為該等第一多個像素值中之各者與該等相關聯的第一多個權值中之各者之該等乘積之一總和除以該等第一多個權值之一總和。
關於該等第四實施例,施用該多階段級聯分類器之一階段包含針對在該輸入影像之一區域中之多個位置,判定該等位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之多個差值之一總和,其中該等多個差值係透過多個詢查表具現,及其中該等多個詢查表各自包 含多個差值,各自與一特徵表示型態值相關聯;及比較該總和與一預定臨界值以判定該區域通過或不通過。
關於該等第四實施例,具現該多階段級聯分類器之一階段包含針對在影像之一訓練集合中之多個位置,判定針對一範圍之特徵表示型態具有一物件特徵之機率的一第一貝葉斯表及針對該範圍之特徵表示型態沒有物件特徵之機率的一第二貝葉斯表;基於該等多個位置中之各者之一能力,針對該階段級聯分類器之一階段自該等多個位置中選擇多個目標位置;及針對該階段判定一臨界值,其中該臨界值係與該等目標位置包括一物件特徵之機率與該等位置不包括該物件特徵之機率間之差值之一總和相關聯。
於一或多個第五實施例中,至少一個機器可讀取媒體可包括多個指令其回應於在一計算裝置上執行,使得該計算裝置執行依據前述實施例中之至少一者之一方法。
於一或多個第六實施例中,一種設備可包括用於執行依據前述實施例中之至少一者之一方法之構件。
須瞭解本發明並非限於如此處描述之該等實施例,反而不背離隨附之申請專利範圍各項之範圍可以修改及變更而予實施。舉例言之,前述實施例可包括特徵之特定組合。然而,前述實施例並非受此所限,於各種具現中,前述實施例可包括只進行此等特徵之一子集,執行不同順序之此等特徵,進行此等特徵之一不同組合,及/或進行明確地列舉之該等特徵以外之額外特徵。因此,本發明之範圍須參考隨附之申請專利範圍連同此等申請專利範圍各項 應有的完整相當範圍判定。

Claims (22)

  1. 一種用於物件檢測的電腦實施方法,其包含下列步驟:至少部分基於一輸入影像之數個個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值,判定該等個體像素的方向性加權平均;至少部分基於該等方向性加權平均,產生該輸入影像之一特徵表示型態;以及藉由對該特徵表示型態施用一多階段級聯分類器而在該輸入影像上進行物件檢測。
  2. 如請求項1之方法,其中,該特徵表示型態包含以該等方向性加權平均及該等多個鄰近像素之該等像素值為基礎的一二進位編碼影像。
  3. 如請求項2之方法,其中,產生該二進位編碼影像之步驟包含:針對該等個體像素中之一第一個體像素:基於該第一個體像素之第一多個鄰近像素的各個像素值與該第一個體像素之第一方向性加權平均的比較結果,對該等第一多個鄰近像素中之各者指派為0或1的一值;以及基於該等第一多個鄰近像素之被指派的該等值,判定該第一個體像素之一二進位編碼表示型態。
  4. 如請求項3之方法,其中,當與該等第一多個鄰近像素中之一鄰近像素相關聯的像素值大於該第一方向性加權平均時,係對該鄰近像素指派為1的值,否則便指派為0的值;並且其中,判定該二進位編碼表示型態之步驟包含:基於由該等第一多個鄰近像素中之一左上鄰近像素開始並繼續以順時針方式通過該等第一多個鄰近像素的方式而將被指派的該等值依序排列。
  5. 如請求項1之方法,其中,判定一第一個體像素之第一方向性加權平均之步驟包含:判定該第一個體像素之第一多個鄰近像素之第一多個像素值,其中,該等第一多個鄰近像素係在環繞該第一個體像素的一窗口內;判定與該等第一多個鄰近像素相關聯的第一多個權值;以及以該等第一多個像素值中之各者與相關聯的該等第一多個權值中之各者之乘積之總和除以該等第一多個權值之總和,來產生該第一個體像素之該第一方向性加權平均。
  6. 如請求項1之方法,其中,施用該多階段級聯分類器之一階段之步驟包含:針對該輸入影像之一區域中的多個位置,判定在該等位置含有一物件特徵之機率與該等位置不含有該物件特徵之機率之間的多個差值之總和,其中,該等多個差值係經由多個詢查表施行,並且其中,該等多個詢查 表各含有各與一特徵表示型態值相關聯的多個差值;以及將該總和與一預定臨界值作比較,以判定要將該區域評定為通過還是不通過。
  7. 如請求項1之方法,其中,施用該多階段級聯分類器之一階段之步驟包含:針對在一影像訓練集合中的多個位置,判定含有一範圍之特徵表示型態有一物件特徵之機率的一第一貝葉斯表、及含有該範圍之特徵表示型態無物件特徵之機率的一第二貝葉斯表;基於該等多個位置中之各者之能力,針對該階段級聯分類器之一階段而自該等多個位置中選擇多個目標位置;以及判定用於該階段的一臨界值,其中,該臨界值係與在該等目標位置含有一物件特徵之機率與該等位置不含有該物件特徵之機率之間的差值之總和相關聯。
  8. 如請求項1之方法,其中,該特徵表示型態包含一似哈爾特徵表示型態。
  9. 如請求項1之方法,其中,該特徵表示型態包含一似浪花特徵,並且其中,該多階段級聯分類器包含以邏輯回歸為基礎的分類器。
  10. 如請求項1之方法,其進一步包含下列步驟:藉由將一影像轉換成灰階、並基於一縮放因數而重定經轉換之該影像之大小,而產生該輸入影像, 其中,在該輸入影像上進行物件檢測之步驟包含:在該輸入影像之多個掃描窗口上進行物件檢測,其中,一第一掃描窗口和一第二掃描窗口通過該多階段級聯分類器,該方法進一步包含下列步驟:將該第一掃描窗口和該第二掃描窗口合併為物件候選區域;及藉由將該等物件候選區域儲存在記憶體中、或向一使用者呈示該等物件候選區域此二種操作其中至少一者,來處理該等物件候選區域。
  11. 一種用於在計算裝置上提供物件檢測的系統,其包含:一顯示裝置,其受組配成可呈現影像資料;以及耦接至該顯示裝置的一圖形處理單元,其中,該圖形處理單元包含:方向性加權平均電路,其受組配成可至少部分基於一輸入影像之數個個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值而判定該等個體像素之方向性加權平均;特徵表示型態電路,其受組配成可至少部分基於該等方向性加權平均而產生該輸入影像之一特徵表示型態;以及多階段級聯分類器電路,其受組配成可藉由對該特徵表示型態施用一多階段級聯分類器而在該 輸入影像上進行物件檢測。
  12. 如請求項11之系統,其中,該特徵表示型態包含以該等方向性加權平均及該等多個鄰近像素之該等像素值為基礎的一二進位編碼影像。
  13. 如請求項11之系統,其中,受組配成可判定該輸入影像之個體像素之方向性加權平均的該方向性加權平均電路包含:該方向性加權平均電路受組配成可進行下列步驟:針對一第一個體像素:判定該第一個體像素之第一多個鄰近像素之第一多個像素值,其中,該等第一多個鄰近像素係在環繞該第一個體像素的一窗口內;判定與該等第一多個鄰近像素相關聯的第一多個權值;以及以該等第一多個像素值中之各者與相關聯之該等第一多個權值中之各者之乘積之總和除以該等第一多個權值之總和,來產生該第一個體像素之第一方向性加權平均。
  14. 如請求項11之系統,其中,受組配成可在該輸入影像上進行物件檢測的該多階段級聯分類器電路包含:該多階段級聯分類器電路受組配成可進行下列步驟:針對該多階段級聯分類器之一階段:針對該輸入影像之一區域中的多個位置,判定在該等位置含有一物件特徵之機率與該等位置不 含有該物件特徵之機率之間的多個差值之總和,其中,該等多個差值係經由多個詢查表施行,並且其中,該等多個詢查表各含有各與一特徵表示型態值相關聯的多個差值;以及將該總和與一預定臨界值作比較,以判定要將該區域評定為通過還是不通過。
  15. 如請求項11之系統,其中,該特徵表示型態包含似哈爾特徵表示型態或似浪花特徵其中至少一者。
  16. 如請求項11之系統,其進一步包含:一記憶體,其受組配成可儲存該輸入影像。
  17. 一種含有至少一部件之含有多個指令的機器可讀取媒體,該等指令會反應於在一計算裝置上被執行而致使該計算裝置藉由下列步驟而進行物件檢測:至少部分基於一輸入影像之數個個體像素中之各者的多個鄰近像素之像素值及與該等鄰近像素中之各者相對於該等個體像素之位置相關聯的權值,判定該等個體像素之方向性加權平均;至少部分基於該等方向性加權平均,產生該輸入影像之一特徵表示型態;以及藉由對該特徵表示型態施用一多階段級聯分類器而在該輸入影像上進行物件檢測。
  18. 如請求項17之機器可讀取媒體,其中,該特徵表示型態包含以該等方向性加權平均和該等多個鄰近像素之該等像素值為基礎的一二進位編碼影像。
  19. 如請求項17之機器可讀取媒體,其中,該特徵表示型態包含以該等方向性加權平均和該等多個鄰近像素之該等像素值為基礎的一二進位編碼影像,並且其中,產生該二進位編碼影像之步驟包含:針對該等個體像素中之一第一個體像素:基於該第一個體像素之第一多個鄰近像素之各個像素值與該第一個體像素之第一方向性加權平均之比較結果,對該等第一多個鄰近像素中之各者指派為0或1的一值;以及基於該等第一多個鄰近像素之被指派的該等值,判定該第一個體像素之一二進位編碼表示型態。
  20. 如請求項17之機器可讀取媒體,其中,判定一第一個體像素之第一方向性加權平均之步驟包含:判定該第一個體像素之第一多個鄰近像素之第一多個像素值,其中,該等第一多個鄰近像素係在環繞該第一個體像素的一窗口內;判定與該等第一多個鄰近像素相關聯的第一多個權值;以及以該等第一多個像素值中之各者與相關聯的該等第一多個權值中之各者之乘積之總和除以該等第一多個權值之總和,來產生該第一個體像素之該第一方向性加權平均。
  21. 如請求項17之機器可讀取媒體,其中,施用該多階段級 聯分類器之一階段之步驟包含:針對該輸入影像之一區域中的多個位置,判定在該等位置含有一物件特徵之機率與該等位置不含有該物件特徵之機率之間的多個差值之總和,其中,該等多個差值係經由多個詢查表施行,並且其中,該等多個詢查表各含有各與一特徵表示型態值相關聯的多個差值;以及將該總和與一預定臨界值作比較,以判定要將該區域評定為通過還是不通過。
  22. 如請求項17之機器可讀取媒體,其中,施用該多階段級聯分類器之一階段之步驟包含:針對在一影像訓練集合中的多個位置,判定含有一範圍之特徵表示型態有一物件特徵之機率的一第一貝葉斯表、及含有該範圍之特徵表示型態無物件特徵之機率的一第二貝葉斯表;基於該等多個位置中之各者之能力,針對該階段級聯分類器之一階段而自該等多個位置中選擇多個目標位置;以及判定用於該階段的一臨界值,其中,該臨界值係與在該等目標位置含有一物件特徵之機率與該等位置不含有該物件特徵之機率之間的差值之總和相關聯。
TW104107271A 2014-04-11 2015-03-06 使用方向性濾波之物件檢測技術 TWI617996B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2014/075165 WO2015154305A1 (en) 2014-04-11 2014-04-11 Object detection using directional filtering
??PCT/CN2014/075165 2014-04-11

Publications (2)

Publication Number Publication Date
TW201539333A TW201539333A (zh) 2015-10-16
TWI617996B true TWI617996B (zh) 2018-03-11

Family

ID=54287142

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104107271A TWI617996B (zh) 2014-04-11 2015-03-06 使用方向性濾波之物件檢測技術

Country Status (5)

Country Link
US (1) US10121090B2 (zh)
EP (1) EP3129915B1 (zh)
CN (1) CN106575364A (zh)
TW (1) TWI617996B (zh)
WO (1) WO2015154305A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264530A1 (en) 2010-04-23 2011-10-27 Bryan Santangelo Apparatus and methods for dynamic secondary content and data insertion and delivery
WO2016033468A1 (en) * 2014-08-28 2016-03-03 Retailmenot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US9710722B1 (en) * 2015-12-29 2017-07-18 Stmicroelectronics International N.V. System and method for adaptive pixel filtering
US10586023B2 (en) 2016-04-21 2020-03-10 Time Warner Cable Enterprises Llc Methods and apparatus for secondary content management and fraud prevention
US11055872B1 (en) * 2017-03-30 2021-07-06 Hrl Laboratories, Llc Real-time object recognition using cascaded features, deep learning and multi-target tracking
CN107301427B (zh) * 2017-06-19 2021-04-16 南京理工大学 基于概率阈值的Logistic-SVM目标识别算法
US10922626B2 (en) * 2018-03-09 2021-02-16 Qualcomm Incorporated Conditional branch in machine learning object detection
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
US11403849B2 (en) * 2019-09-25 2022-08-02 Charter Communications Operating, Llc Methods and apparatus for characterization of digital content
CN115428467B (zh) * 2020-04-14 2024-03-08 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
CN116385414B (zh) * 2023-04-10 2023-11-07 哈尔滨耐是智能科技有限公司 零部件多尺度缺陷特征提取方法、计算设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200704179A (en) * 2005-07-14 2007-01-16 Mavs Lab Inc Pixel data generating method
CN100357958C (zh) * 2004-03-10 2007-12-26 Lg电子有限公司 指纹图像的二进制编码方法
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN101520850A (zh) * 2009-04-17 2009-09-02 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应系统
CN1989525B (zh) * 2004-06-28 2010-05-05 高通股份有限公司 自适应滤波器和用于图像处理的设备、方法
CN102281388A (zh) * 2010-06-09 2011-12-14 联咏科技股份有限公司 适应性滤除影像噪声的方法及装置
US20130272575A1 (en) * 2011-11-01 2013-10-17 Intel Corporation Object detection using extended surf features

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050639B1 (en) 1999-11-24 2006-05-23 General Electric Company Image data compression employing multiple compression code tables
US8384122B1 (en) 2008-04-17 2013-02-26 The Regents Of The University Of California Tunneling transistor suitable for low voltage operation
US8242933B2 (en) 2009-07-18 2012-08-14 Ibis Tek, Llc Wireless traffic light controller
US8368127B2 (en) 2009-10-08 2013-02-05 Globalfoundries Singapore Pte., Ltd. Method of fabricating a silicon tunneling field effect transistor (TFET) with high drive current
US20110293173A1 (en) 2010-05-25 2011-12-01 Porikli Fatih M Object Detection Using Combinations of Relational Features in Images
US8258031B2 (en) 2010-06-15 2012-09-04 International Business Machines Corporation Fabrication of a vertical heterojunction tunnel-FET
US8309989B2 (en) 2010-08-18 2012-11-13 Purdue Research Foundation Tunneling field-effect transistor with low leakage current
US8983940B2 (en) 2011-09-02 2015-03-17 Adobe Systems Incorporated K-nearest neighbor re-ranking
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
JP5938631B2 (ja) 2011-12-19 2016-06-22 パナソニックIpマネジメント株式会社 物体検出装置及び物体検出方法
US9275300B2 (en) 2012-02-24 2016-03-01 Canon Kabushiki Kaisha Method and apparatus for generating image description vector, image detection method and apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100357958C (zh) * 2004-03-10 2007-12-26 Lg电子有限公司 指纹图像的二进制编码方法
CN1989525B (zh) * 2004-06-28 2010-05-05 高通股份有限公司 自适应滤波器和用于图像处理的设备、方法
TW200704179A (en) * 2005-07-14 2007-01-16 Mavs Lab Inc Pixel data generating method
CN101369315A (zh) * 2007-08-17 2009-02-18 上海银晨智能识别科技有限公司 人脸检测方法
CN101520850A (zh) * 2009-04-17 2009-09-02 中国科学院计算技术研究所 物体检测分类器的构造方法和物体检测方法与相应系统
CN102281388A (zh) * 2010-06-09 2011-12-14 联咏科技股份有限公司 适应性滤除影像噪声的方法及装置
US20130272575A1 (en) * 2011-11-01 2013-10-17 Intel Corporation Object detection using extended surf features

Also Published As

Publication number Publication date
US10121090B2 (en) 2018-11-06
TW201539333A (zh) 2015-10-16
US20170039444A1 (en) 2017-02-09
CN106575364A (zh) 2017-04-19
EP3129915A1 (en) 2017-02-15
EP3129915A4 (en) 2018-03-07
EP3129915B1 (en) 2021-07-07
WO2015154305A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
TWI617996B (zh) 使用方向性濾波之物件檢測技術
US9860553B2 (en) Local change detection in video
US10685262B2 (en) Object recognition based on boosting binary convolutional neural network features
US9940550B2 (en) Model compression in binary coded image based object detection
US11880770B2 (en) 3D object recognition using 3D convolutional neural network with depth based multi-scale filters
KR101752072B1 (ko) 오브젝트 검출을 가속하기 위한 하드웨어 컨볼루션 사전-필터
US10430694B2 (en) Fast and accurate skin detection using online discriminative modeling
WO2018035805A1 (en) Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
CN112561920A (zh) 用于在视频中进行密集语义分割的深度学习
TWI541762B (zh) 使用視訊移動估測模組之加速物件檢測過濾技術
TWI568256B (zh) 使用運動估計之物件偵測
US10810462B2 (en) Object detection with adaptive channel features
WO2022047783A1 (en) Poly-scale kernel-wise convolution for high-performance visual recognition applications
JP2023537446A (ja) 適応的ランタイム高効率画像分類のための入力画像サイズスイッチ可能ネットワーク
US9501830B2 (en) Blob detection in noisy images