TW201432617A - 具有邊緣保存雜訊抑制功能之影像處理器 - Google Patents

具有邊緣保存雜訊抑制功能之影像處理器 Download PDF

Info

Publication number
TW201432617A
TW201432617A TW102134368A TW102134368A TW201432617A TW 201432617 A TW201432617 A TW 201432617A TW 102134368 A TW102134368 A TW 102134368A TW 102134368 A TW102134368 A TW 102134368A TW 201432617 A TW201432617 A TW 201432617A
Authority
TW
Taiwan
Prior art keywords
image
edges
edge
pixels
type
Prior art date
Application number
TW102134368A
Other languages
English (en)
Inventor
Denis Vladimirovich Parkhomenko
Denis Vasilevich Parfenov
Denis Vladimirovich Zaytsev
Aleksey Alexandrovich Letunovskiy
Dmitry Nikolaevich Babin
Original Assignee
Lsi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lsi Corp filed Critical Lsi Corp
Publication of TW201432617A publication Critical patent/TW201432617A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示一種影像處理系統，其包括經組態以識別一影像中之邊緣、以將一第一類型濾波操作應用至與該等邊緣相關聯之該影像之部分且將一第二類型濾波操作應用至該影像之一或多個其他部分之一影像處理器。僅舉例而言，在一給定實施例中，將一分群操作應用至該影像以識別複數個群集、識別包括該等群集之邊緣之一第一組邊緣、應用一邊緣偵測操作至該影像以識別一第二組邊緣、基於該等第一及第二組邊緣識別一第三組邊緣且將該第一類型濾波操作應用至與該第三組邊緣之一或多個邊緣相關聯之該影像之部分。

Description

具有邊緣保存雜訊抑制功能之影像處理器
本發明大體上係關於影像處理，且更特定言之係關於減少或抑制一或多個影像中雜訊之技術。
通常期望減少或抑制一影像中雜訊。習知雜訊抑制技術之實例包含空間濾波操作(諸如高斯平滑)、非線性濾波操作(諸如中值平滑)、自適應濾波操作(諸如維納(Weiner)濾波)。當應用至高解析度影像(諸如藉由一數位相機而產生之相片或其他二維(2D)影像)時，此等技術大體上產生可接受結果。然而，許多重要機器視覺應用利用藉由深度成像器(諸如結構光(SL)相機或時差測距(ToF)相機)產生之三維(3D)影像。此等深度影像通常係低解析度影像且通常包含較高雜訊及模糊邊緣。應用至深度影像及其他類型之低解析度影像之習知雜訊抑制技術會進一步降低存在於影像中之邊緣之品質。這會破壞後續影像處理操作(諸如特徵提取、圖案識別、手勢辨識、物體辨識及追蹤)之有效性。
在一實施例中，一影像處理系統包括經組態以識別一影像中之邊緣，以將一第一類型濾波操作應用至與該等邊緣相關聯之該影像之部分且將一第二類型濾波操作應用至該影像之一或多個其他部分之一 影像處理器。
僅藉由實例，在一給定實施例中，將一分群操作應用至影像以識別複數個群集，識別包括群集邊緣之一第一組邊緣，應用一邊緣偵測操作至影像以識別一第二組邊緣，基於該等第一及第二組邊緣識別一第三組邊緣且應用第一類型濾波操作至與該第三組邊緣之一或多個邊緣相關聯之影像之部分。
本發明之其他實施例包含(但不限於)具有可於其中具體實施之電腦程式碼之方法、設備、系統、處理裝置、積體電路及電腦可讀儲存媒體。
100‧‧‧影像處理系統
102‧‧‧影像處理器
104‧‧‧網路
105‧‧‧影像源
106‧‧‧處理裝置
107‧‧‧影像目標
110‧‧‧分群模組
112‧‧‧邊緣偵測模組
114‧‧‧濾波模組
120‧‧‧處理器
122‧‧‧記憶體
124‧‧‧網路介面
200‧‧‧來自成像器之影像IN
202-1‧‧‧群集邊緣ICE
202-2‧‧‧經偵測邊緣Iedge
202-3‧‧‧具有真值邊緣ITE之影像
204‧‧‧具有較佳定義邊緣之雜訊消除影像IA
205‧‧‧應用低通濾波
206‧‧‧群集該影像
208‧‧‧發現群集邊緣
210‧‧‧應用邊緣偵測
212‧‧‧排除冗餘邊緣
214‧‧‧將低通濾波應用至除真值邊緣外之影像IN
216‧‧‧真值邊緣周邊之特殊濾波
400‧‧‧影像IN
600‧‧‧影像IN，ITE
615‧‧‧所得影像IA
圖1係包括在一實施例中具有邊緣保存雜訊抑制功能之一影像處理器之一影像處理系統之一方塊圖。
圖2係使用圖1系統之影像處理器之邊緣保存雜訊抑制之一例示性程序之一流程圖。
圖3至圖6係繪示圖2程序之各自部分之流程圖。
圖7展示繪示使用圖1系統之影像處理器之邊緣保存雜訊抑制之另一例示性程序中之滑動周邊之一影像之一部分。
本文將連同包含影像處理器或其他類型處理裝置之例示性影像處理系統及用於減少或抑制一給定影像中之雜訊同時亦保存影像中之邊緣的實施技術一起繪示說明本發明之實施例。應瞭解，然而本發明之實施例大體上更適用於保存邊緣同時抑制雜訊之任何影像處理系統或相關聯裝置或涉及一或多個影像處理之技術。
圖1展示本發明之一實施例中一影像處理系統100。該影像處理系統100包括自一或多個影像源105接受影像且提供經處理影像至一或多個影像目標107之一影像處理器102。影像處理器102亦經由一網路 104與複數個處理裝置106相通信。
儘管圖1中影像源105及影像目標107展示為與處理裝置分離，至少此等源及目標之一子集可利用處理裝置106之一或多者至少部分實施。因此，影像可經由網路104提供至來自處理裝置106之一或多者之用於處理之影像處理器102。相似地，經處理之影像可經由網路104藉由影像處理器102傳送至處理裝置106之一或多者。此等處理裝置因此可視為影像源或影像目標之實例。
一給定影像源可包括(例如)經組態以產生深度影像之一3D成像器(諸如一SL相機或一ToF相機)，或經組態以產生灰階影像、彩色影像、紅外影像或其他類型2D影像之一2D成像器。一影像源之另一實例係一儲存裝置或提供影像至用於處理之影像處理器102之伺服器。
一給定影像目標可包括(例如)一電腦或行動電話之一人機介面之一或多個顯示螢幕或至少一儲存裝置或自影像處理器102接收經處理影像之伺服器。
儘管圖1中之影像源105及影像目標107係展示為與影像處理器102分離，然而影像處理器102可在一共同處理裝置上與一或多個影像源及一或多個影像目標之至少一子集至少部分地組合。因此，(例如)一給定影像源及影像處理器102可共同在相同處理裝置上實施。相似地，一給定影像目標及影像處理器102可共同在相同處理裝置上實施。
在本實施例中，影像處理器102經組態以識別一影像中之邊緣以將一第一類型濾波操作應用至與該等邊緣相關聯之影像之部分，且將一第二類型濾波操作應用至影像之一或多個其他部分。更特定言之，在本實施例中，將一分群操作應用至影像以識別複數個群集且識別包括群集之邊緣之一第一組之邊緣。此外，一邊緣偵測操作應用至影像以識別一第二組之邊緣，且基於該等第一及第二組之邊緣識別第三組 之邊緣。第一類型之濾波操作應用至與第三組邊緣之一或多個邊緣相關聯之影像之部分。與各自邊緣相關聯之影像之部分可包括(例如)形成各自邊緣之邊緣像素組。
如圖1中繪示之影像處理器102包括一分群模組110、一邊緣偵測模組112及一濾波模組114。分群模組110經組態以識別影像中複數個群集。此等群集之邊緣可被識別為上述的第一組邊緣。邊緣偵測模組112經組態以識別上述的影像中第二組邊緣。濾波模組114經組態以將該等第一及第二濾波操作各自應用至影像之對應部分。
在此情境或本文之其他情境中，用語「影像」係用於極為一般性的意義，且對一影像或其部分之各種操作之應用應瞭解為包括對相關影像(諸如一給定輸入影像之經濾波或預處理版本或一給定輸入影像之其他相關版本之類型)應用此等操作。
在給定實施例中影像包括藉由一深度成像器(諸如一SL相機或一ToF相機)產生之一深度影像。各種邊緣組可係各自邊緣圖或其他類型邊緣影像之形式。認為此等邊緣影像係對應影像(此等邊緣影像源於此)之相關版本之實例。影像之其他類型及配置及相關聯之邊緣資訊可在其他實施例中接收、處理及產生。
圖1實施例中影像處理器102中所展示之模組之特定數目及配置在其他實施例中係可變動。舉例而言，在其他實施例中，此等模組之兩者或多者可組合至一更少數目個模組。經適當修改以執行如本文所揭示之處理操作之一另外習知影像處理積體電路或其他類型之影像處理電路可用作實施影像處理器102之模組110、112及114之一或多者之至少一部分。
將連同圖2至圖6之流程圖一起在下文中更詳細描述影像處理器102及其模組110、112及114之操作。此等流程圖之各者係與使用模組110、112及114而實施之用於邊緣保存雜訊抑制之一例示性程序相關 聯。將連同圖7一起在下文中描述使用滑動周邊之用於邊緣保存雜訊抑制之另一例示性程序。
藉由影像處理器102實施之來自一已知邊緣保存雜訊抑制程序之一所得輸出影像可受影像處理器102中之額外處理操作(諸如例如特徵提取、圖案識別、手勢辨識、物體辨識及追蹤)支配。
或者，藉由影像處理器102產生之所得輸出影像可經由網路104提供至處理裝置106之一或多者。一或多個此等處理裝置可包括經組態以執行上述的後續操作(諸如特徵提取、圖案識別、手勢辨識、物體辨識及追蹤)之各自影像處理器。
處理裝置106可包括(例如)可任意組合之電腦、行動電話、伺服器或儲存裝置。一或多個此等裝置亦可包含(例如)經利用以呈現藉由影像處理器102產生之影像之顯示螢幕或其他使用者介面。處理裝置106可因此包括經由網路104自影像處理器102接收經處理影像流之多種不同目標裝置，藉由實例包含自影像處理器102接收一或多個經處理影像流之至少一伺服器或儲存裝置。
儘管已展示與本實施例中處理裝置106分離，影像處理器102可至少部分與處理裝置106之一或多者組合。因此，舉例而言，影像處理器102可使用處理裝置106之一給定者，至少部分實施。藉由實例，一電腦或行動電話可經組態以併入影像處理器102及(可能)一給定影像源。該(等)影像源105可因此包括與一電腦、行動電話或其他處理裝置相關聯之相機或其他成像器。如前所述，影像處理器102可在一共同處理裝置上與一或多個影像源或影像目標至少部分地組合。
可設想本實施例之影像處理器102使用至少一處理裝置實施且包括耦合至一記憶體122之一處理器120。處理器120執行儲存在記憶體122中之軟體程式碼以控制影像處理操作之效能。影像處理器102亦包括支援經由網路104通信之一網路介面124。
處理器120可包括(例如)任意組合之一微處理器、一專用積體電路(ASIC)、場可程式閘陣列(FPGA)、一中央處理單元(CPU)、算術邏輯單元(ALU)、一數位信號處理器(DSP)或其他類似處理裝置組件以及其他類型及配置之影像處理電路。
記憶體122儲存用於藉由處理器120執行實施影像處理器102之功能之部分(諸如模組110、112及114之部分)之軟體程式碼。儲存用於藉由一對應處理器執行之軟體程式碼之一給定此記憶體係具有可於其中具體實施電腦程式碼之(更通常言之)稱為一電腦可讀媒體或其他類型電腦程式產品之一實例，且可包括(例如)電記憶體(諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM))、磁性記憶體、光學記憶體或任意組合之其他類型儲存裝置。如上所述，處理器可包括一微處理器、ASIC、FPGA、CPU、ALU、DSP或其他影像處理電路之部分或組合。
應瞭解，本發明之實施例可以積體電路之形式實施。在一給定此種積體電路實施方案中，相同晶粒通常係在一半導體晶圓之一表面上以一重複圖案中形成。各晶粒包含一影像處理器或如本文所描述之其他影像處理電路且可包含其他結構或電路。各自晶粒係自晶圓切割或分割，接著封裝為一積體電路。熟習此項技術者將知道如何分割晶圓及封裝晶粒以產生積體電路。如此製造之積體電路可視為本發明之實施例。
如圖1展示之影像處理系統100之一特定組態係僅例示性且其他實施例中系統100可包含除或代替已明確展示之包含在此一系統之一習知實施方案中常見之一類型之一或多個元件之此等之其他元件。
舉例而言，在一些實施例中，影像處理系統100係作為一視訊遊戲系統或處理影像流以辨識使用者手勢之基於手勢之系統之其他類型而實施。所揭示之技術相似地可經調適以在需要一基於手勢之人機介 面之多種其他系統中使用且除了手勢辨識以外，其亦可應用至其他應用場合(諸如機器人科學及其他工業應用中之機器視覺系統)。
現參考圖2，已展示用於圖1之影像處理系統100中邊緣保存雜訊抑制之一例示性程序。可設想圖2程序藉由使用其分群模組110、邊緣偵測模組112及濾波模組114之影像處理器102而實施。在此實施例中之程序以來自包括如方塊200處所指示之一成像器之一影像源105之一雜訊輸入影像IN開始。可設想在此實施例中，雜訊輸入影像(更特定言之)包括來自一深度成像器之一深度圖或其他深度影像。儘管所揭示之技術可以一直接方式調適為包含彩色影像之其他類型影像，亦可設想雜訊輸入影像係一灰階影像。
程序產生各自如方塊202-1、202-2及202-3所指示之額外相關影像ICE、Iedge及IT以及包括如方塊204所指示之具有較佳定義邊緣之一雜訊消除之影像IA之一輸出影像。如方塊202-1、202-2、202-3所指示之相關影像ICE、Iedge及ITE可係各自邊緣圖或其他類型邊緣影像之形式且可視為(更通常言之)各自稱為如上提及之第一、第二級第三組邊緣之實例。可設想輸入影像IN及相關影像ICE、Iedge及ITE之各者係實數之矩形m×n矩陣之一形式。因此，可設想本實施例中全部影像IN、ICE、Iedge及ITE具有相同大小像素或相同像素解析度。
程序包含步驟205、206、208、210、212、214及216。程序之目的係要產生雜訊消除之影像IA使得其相對於就信號-雜訊比率(SNR)、峰值SNR(PSNR)或其他量測(諸如各種優質因數)而言之雜訊輸入影像IN呈現顯著改進之影像品質。
在步驟205中，將一低通濾波操作應用至雜訊輸入影像IN。使用此低通濾波操作以消除高頻率雜訊且係(更通常言之)本文稱為一預處理操作之一實例。其他類型之預處理操作可應用在其他實施例中。當隨後分群操作可對於此雜訊敏感時，高頻率雜訊之消除在一些實施例 中係有優勢。
步驟205中應用之低通濾波操作不劣化輸出雜訊消除之影像IA中邊緣，因為經低通濾波之輸入影像IN係僅用於隨後分群。低通濾波操作之類型可隨特定影像處理應用之一功能變動，且可使用多種不同類型值線性或非線性平滑。舉例而言，可使用具有均方偏差等於0.66及高斯近似值等於5之高斯平滑。
包含步驟300至步驟308之圖3之流程圖中繪示此類型值低通濾波。矩陣G={gpq}係一高斯近似值，在此實例中，高斯近似值等於5，指數p,q=1,2,…,5。步驟300將影像像素指數i及j初始化且步驟302將其等現值與影像尺寸m及n比較。在此流程圖中I2標記受隨後群集支配之經低通濾波之影像。步驟304基於高斯近似值判定一特定經濾波影像像素(i,j)。步驟306在程序返回至步驟302後，增加i及j。最終，步驟308指示低通濾波完成且經低通濾波之影像I2及輸入影像IN對於圖2程序之下一步驟係可用。
在步驟206中，在步驟205中預處理之影像係使用至少一分群操作而分群。使用影像處理器102之分群模組110實施分群操作。如上提及，經低通濾波之影像I2係視作輸入影像IN之一相關版本，且兩者可稱為本文廣義使用之常見用語「影像」。
分群操作可涉及產生影像之一群集圖。藉由實例，代表輸入影像IN之一低通濾波版本之影像I2之一給定群集圖可以以下方式定義。若來自影像I2之全部像素組係分段為像素之不交叉子組，使得各此種子組代表一群集。在此情況中，群集圖可係具有與影像I2相同大小之一矩陣Cm之形式。來自Cm之元素(i,j)與I2之一特定群集(影像像素具有屬於其之座標(i,j))之指數相對應。其他類型之群集圖可在其他實施例中使用。因此如本文使用之用語「群集圖」旨在廣義解釋。
各種不同分群技術可在實施步驟206中使用。舉例而言，一或多 個此等技術可基於統計區域合併(SRM)。SRM之習知態樣在2004年11月之IEEE Transactions on Pattern Analysis and Machine Intelligence第26卷，第11號之R.Nock及F.Nielsen之「Statistical region merging」中揭示，其以引用方式併入本文中。
在此實施例中分群技術通常試圖確保經識別群集之邊界包含經成像場景中對應物體之有效邊界，即使該等物體可位於成像器之不同距離處或可呈現不同顏色或具有其他不同特徵。
基於SRM之分群技術通常係抗隨機雜訊且具有適中計算複雜性以及較佳量化誤差邊界。分段程度亦可以允許動態控制計算要求之一方式調節。
在一基於SRM之分群技術之一更特定實例中，影像之各像素係藉由與一最佳影像相關之一組獨立分佈隨機變數代表，使得實際影像被認為最佳影像之一特定觀察。該等實際及最佳影像使用規定內部各統計區域像素具有相同期望值且相鄰區域之期望值不同之一均勻規則各自分離為最佳統計區域。
此例示性基於SRM之技術使用一規定合併述詞P實施遞迴合併。藉由隨機變數Q代表I2之各像素。接著用於I2之兩個任意區域R1、R2之合併述詞可表示如下：,其中
其中|R|標記區域R、G像素數目，區域R、G標記I2之一給定像素之可能最大值(例如，來自一體感影像感測器之一影像之G=212)，且δ係比1小之一正值。因此，|R1-R2|標記區域R1中像素之數目與區域R2中像素之數目之差值。當P(R1,R2)為真值，此技術將區域R1及R2合 併成一單一群集。
此技術在像素級上開始，各像素初始視為一各自區域。區域合併之順序針對跟隨一不變量A之後之述詞P而測試，當兩個不同區域之兩個部分之間發生任何測試時，不變量A作出指示，此意味此等兩個區域內部全部測試此前均已發生。使用一函數f(pix1,pix2)=|pix1-pix2|，其中pixi係一影像像素值可達成此不變量A。
基於SRM之技術接著以如下方式進行。首先在函數f(pix1,pix2)=|pix1-pix2|之增加階中選出像素(pix1,pix2)之全部可行對，且所得之階僅經一次遍歷。對於像素(pix1,pix2)之任何當前對、R(pix1)≠R(pix2)，其中R(pix)標記像素所屬之當前區域，當且僅當測試轉為真值，執行測試P(R(pix1),R(pix2))且合併R(pix1)及R(pix2)。用於影像之合併程序完成時，影像像素已被分離成具有藉由此前描述類型之一群集圖所特徵化之群集之多個群集。
儘管可使用其他函數，在此實施例中，函數f(pix1,pix2)=|pix1-pix2|用作不變量A之一近似值。在以上描述之基於SRM之技術中，合併述詞及其他參數亦可不同。此外，可使用各種不基於SRM之分群技術。亦請注意，就此而言，分群模組110可實施需要不同等級計算資源之多種不同分群技術且可在基於影像處理器102之當前計算負荷之該等技術之間切換。
在步驟208中，識別群集之邊緣。如上所述，步驟206之輸出係以一群集圖形式。群集圖在步驟208中經處理以產生方塊202-1之相關影像ICE，其中ICE包括群集之邊緣。舉例而言，可產生相關影像ICE，當且僅當一對應周邊O(i,j,1)具有繞像素之一個像素半徑，使得座標(i,j)具有來自不同群集之像素，ICE(i,j)=1，否則ICE(i,j)=0。在其他實施例中亦可使用其他技術來識別群集邊緣。
在步驟210中，其可設想與該等步驟205、206及208同時執行， 一邊緣偵測操作應用至雜訊輸入影像IN以產生包括一第二組邊緣之相關邊緣影像Iedge。如上提及，在此實施例中，第一組邊緣包括邊緣影像ICE之群集邊緣。圖4中亦繪示程序之邊緣偵測部分，其接收藉由方塊400所指示之雜訊輸入影像IN且在步驟402中執行邊緣偵測以獲得邊緣影像Iedge。最終，步驟404指示邊緣偵測完成且邊緣影像Iedge及輸入影像IN對於圖2程序之下一步驟係可用。
可設想圖4之步驟402中產生之邊緣影像Iedge當且僅當具有座標(i,j)之像素屬於一邊緣時，滿足條件Iedge(i,j)=IN(i,j)，否則Iedge(i,j)=0。換言之，Iedge包括在一黑色或零強度背景上之邊緣。
可應用多種已知邊緣偵測技術之任一技術以產生步驟402中邊緣影像Iedge。此邊緣偵測技術之實例係在(例如)1986年11月之IEEE Transactions on Pattern Analysis and Machine Intelligence PAMI-8卷，Issue 6，第679至698頁之J.Canny之「A computational approach to edge detection」；2003年之International Journal of Computer Vision,53(3)：225-243之R.Kimmel及A.M.Bruckstein之「On regularized Laplacian zero crossings and other optimal edge integrators」及2001年John Wiley&Sons第三版之W.K.Pratt之Digital Image Processing中揭示，其等以引用方式併入本文中。
在步驟402中應用一給定邊緣偵測操作，任何相關聯之邊緣偵測臨限值應設定足夠低以確保重要邊緣之保留，因為將要描述之隨後處理將確保不可靠邊緣之剔除。
如上提及，如本文使用之用語「影像」旨在廣義解釋且本文中之邊緣影像Iedge可包括(例如)一邊緣圖或特徵化經偵測邊緣之其他組像素資訊。用語「邊緣」亦旨在廣義解釋以包含(例如)與一經成像物體之一周邊部分及影像之其他部分之間之一躍遷相關聯之一給定影像中一組像素。
在步驟212中，剔除冗餘邊緣。當步驟210中應用之邊緣偵測操作趨向識別大量數目個較不重要或假性邊緣，在步驟212中剔除此等或其他冗餘邊緣。此可涉及(例如)比較對應於各自邊緣影像ICE及Iedge之該等第一及第二組邊緣且剔除基於比較而判定為冗餘之一或多個邊緣。
本文中用語「冗餘邊緣」旨在廣義解釋且不應視為限制於與各自邊緣影像ICE及Iedge對應之該等第一及第二組邊緣之兩者中存在之邊緣。因此，本文中步驟212中一冗餘邊緣可係(例如)邊緣影像Iedge中存在之一邊緣，但不與邊緣影像ICE中任何特定群集邊緣對應。
其他標準可額外地或代替地用以剔除在邊緣影像ICE及Iedge之一或兩者中之邊緣。舉例而言，此等邊緣影像之一或兩者中之特定邊緣可由於尺寸太小而視情況予以剔除。
邊緣剔除步驟212之輸出係如方塊202-3所指示之具有可靠或「真值」邊緣之邊緣影像ITE。邊緣影像ITE係上述的第三組邊緣之一實例，且基於與各自邊緣影像ICE及Iedge對應之該等第一及第二組邊緣判定。
圖5中繪示在步驟212中使用之一例示性邊緣剔除程序。此程序大體上經組態以僅保留Iedge中位於近ICE中群集邊緣之此等邊緣。程序接收該等邊緣影像ICE及Iedge作為其輸入，且初始化步驟500中影像像素指數i及j。步驟502將指數i及j之當前值與減少一預定義臨限值d_thr之影像尺寸m及n比較。更特定言之，臨限值d_thr標記邊緣影像中集中在像素(i,j)上之一周邊OCE(i,j)之一半徑。因此，周邊定義具有與像素(i,j)之比d_thr小之歐基里得(Euclidean)距離之邊緣影像ICE之一組像素。儘管可使用其他值，本實施例中d_thr之一例示性值係15。
步驟504判定像素Iedge(i,j)是否非零，且若係非零，步驟506判定邊緣影像ICE中對應周邊OCE(i,j)是否具有至少一非零像素。若具有， 則非零像素Iedge(i,j)係近ICE中一群集邊緣且將其保留，且步驟510在程序返回至步驟502後增加i及j。否則，非零像素Iedge(i,j)係非近ICE中一群集邊緣且因此在步驟508藉由將其設定為零而剔除，其後，步驟510增加i及j且程序返回至步驟502。若在步驟504中，像素Iedge(i,j)經判斷係零而不係非零，步驟510亦增加i及j且程序返回至步驟502。
儘管圖5未明確展示，可設想邊緣影像ITE經初始化為程序開始處之邊緣影像Iedge且按要求與Iedge一起更新以移除與在步驟508中經剔除之邊緣相關聯之像素。最終，步驟505指示邊緣剔除程序完成且邊緣影像ITE及Iedge對於圖2程序之下一步驟係可用。經更新之Iedge及對應之真值邊緣影像ITE將僅含有就來自ICE之一群集邊緣之經定義周邊之部分而言係可靠之初始Iedge之該等邊緣。
在步驟214及216中，將分離及區別濾波操作應用至影像之不同部分。更特定言之，輸入影像IN之部分而非與邊緣影像ITE中真值邊緣相關聯之部分係受步驟214中低通濾波支配且將特殊濾波應用至與步驟216中邊緣影像ITE之真值邊緣相關聯之部分。所得輸出係如框204中指示之具有較佳定義邊緣雜訊消除之影像IA。
步驟214中應用之低通濾波繪示在圖6中且藉由實例包括具有均方偏差等於0.66且高斯近似值大小等於5之高斯平滑。至圖6程序之輸入包括如方塊600中指示之影像IN及ITE。步驟602、604、606及608實質上實施與此前應用至群集前之整個輸入影像IN相同之低通濾波，如在步驟205之低通濾波情況下，連同圖3之步驟300至步驟306所描述。步驟610、612、614、615、616及618亦經組態以將對應於邊緣影像ITE之真值邊緣之非零邊緣像素插入雜訊消除影像IA中相同像素位置。
圖5中未明確繪示應用至使用步驟216中真值邊緣周邊之邊緣像素之特殊濾波，但其可實施如下。對於每一邊緣像素(i,j)，判定相鄰像素p1,...,pQ之一指定數字Q。儘管可使用其他相鄰定義，此實例 中相鄰像素如全部像素經定義具有座標(k,l)，使得i-4<k<i+4，j-4<1<j+4。P1,...,PQ係與各自像素p1,...,pQ相關聯之值。可設想本實施例中值包括深度值或一深度圖或其他深度影像之各自像素之其他深度資訊，但在其他實施例中，可包括其他類型資訊(諸如一強度影像之各自像素之強度值)。若Q≠0，特殊濾波將邊緣像素(i,j)之值改變為用於全部可行(i,j)之。若對於當前像素，Q=0，則其值設定為0，因為若當前像素無沿邊緣之相鄰像素，則可設想其係歸因於邊緣之錯誤。
在其他實施例中，許多其他類型之特殊濾波可在邊緣像素插入雜訊消除影像IA之前應用至邊緣像素。舉例而言，邊緣像素(i,j)之值可代替地經設定等於各自相鄰像素p1,...,pQ之值P1,...,PQ之中數。
如本文使用之用語「周邊」旨在連同此前實例一起比所描述之例示性相鄰周邊解釋更廣義。可使用多種不同技術以選出且加權周邊像素以在一影像之濾波邊緣部分使用，且此等技術之一特定之一者藉由考慮諸如計算複雜度及所要邊緣品質之因素而判定以在一給定應用中使用。
應瞭解，圖2至圖6之流程圖中使用之特定程序步驟僅係例示性，且其他實施例可利用影像處理操作之不同類型及配置。舉例而言，識別可靠邊緣之特定方式及分離且區分濾波操作之特定方式可應用至在其他實施例中係可變動之一影像之邊緣或非邊緣部分。亦如上提及，在圖式中指示為連續執行之步驟可與其他實施例中一或多個其他步驟至少部分地一起執行。因此，在此等程序之一或多者中之各種操作可以一直觀方式管線式執行。
在一或多個可代替實施例中，避免對輸入影像IN之非邊緣部分應用單獨低通濾波係可行。現將參考圖7，描述此類型之實施例。此實 施例中程序包含以下步驟，其代替圖2程序之濾波步驟214及216而應用：
1.掃描輸入影像IN之像素。可使用順序掃描或平行掃描，且使用特定掃描順序不更改結果。
2.對於各像素，定義藉由當前點±周邊_寬度像素水平界定及藉由當前像素±周邊_高度像素垂直界定之一矩形周邊。儘管可使用其他值，在圖7展示之特定影像部分中，周邊藉由參數周邊_寬度=3及周邊_高度=2定義。圖7繪示用於兩個不同選定當前像素之兩個不同周邊。不同當前像素之周邊在影像之不同位置亦稱為「滑動周邊」。如圖式指示，使用各邊處之周邊_寬度像素或周邊_高度像素可均勻處理影像邊界。
3.若一當前像素之上述定義之周邊包含一邊緣像素，遮蔽該邊緣像素及比來自周邊中心之邊緣像素更遠之全部像素。此排除「外部」像素之考慮。
4.若周邊中心處之當前像素落入其他剩餘周邊像素之一亮度範圍外，則認為當前像素係一局部離群值且將其標記為以後設定成離範圍最近之值。
5.應用全部經延期像素值之改變。程序之此部分可使用兩組記憶體位置(一組儲存影像，其他組儲存遮罩)而實施。當滑動及考慮不同周邊位置時，僅遮罩係經改變。若遮罩在一給定位置具有一零值，則將不在影像中做出改變，否則來自遮罩之一新值將在影像之相同位置處改寫舊值。
6.在已掃描整個影像及已施加必要之改變後，在此情況中，改變至少一像素，程序可重複。當經校正像素之數目幾乎呈指數下降時，對於實務上低解析度之深度影像，約15至20之疊代通常將足以執行全部可行改變。可指定疊代之一最大數目步驟_最大值(例如步驟_最大 值等於10)。
以上描述邊緣保存雜訊抑制程序，且特定言之係對低解析度影像(諸如來自一SL相機或ToF相機之深度影像)提供相對於習知技術之增強影像品質。就諸如SNR及PSNR之量測以及諸如以上引用之普拉特參考所描述之品質因數R之其他量測而言，影像品質係相對於習知技術而改進。此促進涉及(例如)包含特徵提取、圖案識別、手勢辨識、物體辨識及追蹤之邊緣資訊之處理之隨後影像處理操作。
應再次強調，本文描述之本發明之實施例僅旨在繪示性。舉例而言，本發明之其他實施例可利用影像處理電路、模組及處理操作之多種不同類型及配置而非本文描述之特定實施例中利用之該等而實施。此外，本文之上下文所作之描述特定實施例之特定猜測無需在其他實施例中應用。以下申請專利範圍之範疇內之此等及無數其他可代替實施例對於習知此項技術者係顯而易見。
200‧‧‧來自成像器之影像IN
202-1‧‧‧群集邊緣ICE
202-2‧‧‧經偵測邊緣Iedge
202-3‧‧‧具有真值邊緣ITE之影像
204‧‧‧具有較佳定義邊緣之雜訊消除影像IA
205‧‧‧應用低通濾波
206‧‧‧群集該影像
208‧‧‧發現群集邊緣
210‧‧‧應用邊緣偵測
212‧‧‧排除冗餘邊緣
214‧‧‧將低通濾波應用至除真值邊緣外之影像IN
216‧‧‧真值邊緣周邊之特殊濾波

Claims (10)

  1. 一種方法，其包括：識別一影像中之邊緣；將一第一類型濾波操作應用至與該等邊緣相關聯之該影像之部分；且將一第二類型濾波操作應用至該影像之一或多個其他部分；其中該識別邊緣及應用第一及第二類型濾波係在包括耦合至一記憶體之一處理器之至少一處理裝置中實施。
  2. 如請求項1之方法，其中識別該影像中之邊緣包括：將一分群操作應用至該影像以識別複數個群集；且識別包括該等群集之邊緣之一第一組邊緣。
  3. 如請求項2之方法，其中識別該影像中之邊緣進一步包括：將一邊緣偵測操作應用至該影像以識別一第二組邊緣；且基於該等第一及第二組邊緣來識別一第三組邊緣；其中將該第一類型濾波操作應用至與該第三組邊緣之一或多個邊緣相關聯之該影像之部分；且其中識別該第三組邊緣包括比較該等第一及第二組邊緣且剔除基於該比較而被判定為冗餘邊緣之一或多個邊緣。
  4. 如請求項1之方法，其中該第一類型濾波操作係經組態以依據相鄰像素p1,...,pQ之一指定數字Q來更改一給定邊緣像素之一值，且其中該給定邊緣像素之值係根據以下之一者改變：(i)若Q≠0，則為，且若Q=0，則設定為零，其中P1,...,PQ標記該等相鄰像素p1,...pQ之各自值；且(ii)該等各自相鄰像素p1,...,pQ之值P1,...,PQ之一中數。
  5. 如請求項2之方法，其中應用至該影像之該分群操作包括基於將 該影像分離為各對應一不同統計區域之複數個群集之統計區域合併之一分群操作。
  6. 如請求項5之方法，其中基於統計區域合併之該分群操作根據以下方程式，使用用於該影像之兩個任意統計區域R1及R2之一規定合併述詞來實施遞迴合併： 其中|R1-R2|標記區域R1中像素之數目及區域R2中像素之數目之間之差值，且b(Ri)係區域Ri中像素之數目及在該影像中一像素之一可能最大值之一函數，使得若P(R1,R2)為真值，則區域R1及R2合併成一單一群集。
  7. 一種電腦可讀儲存媒體，其在其中收納有電腦程式碼，其中當該電腦程式碼在該處理裝置中執行時造成該處理裝置執行如請求項1之方法。
  8. 一種裝置，其包括：至少一處理裝置，其包括耦合至一記憶體之一處理器；其中該至少一處理裝置經組態以識別在一影像中之邊緣，以將一第一類型濾波操作應用至與該等邊緣相關聯之該影像之部分，且將一第二類型濾波操作應用至該影像之一或多個其他部分。
  9. 一種積體電路，其包括如請求項8之設備。
  10. 一種影像處理系統，其包括：一影像源，其提供一影像；一或多個影像目標；及一影像處理器，其耦合在該影像源及該一或多個影像目標之間； 其中該影像處理器經組態以識別一影像中之邊緣，以將一第一類型濾波操作應用至與該等邊緣相關聯之該影像之部分，且將一第二類型濾波操作應用至該影像之一或多個其他部分。
TW102134368A 2013-02-05 2013-09-24 具有邊緣保存雜訊抑制功能之影像處理器 TW201432617A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013104894/08A RU2013104894A (ru) 2013-02-05 2013-02-05 Процессор изображений с функциональностью сохраняющего контуры подавления шума

Publications (1)

Publication Number Publication Date
TW201432617A true TW201432617A (zh) 2014-08-16

Family

ID=51300033

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102134368A TW201432617A (zh) 2013-02-05 2013-09-24 具有邊緣保存雜訊抑制功能之影像處理器

Country Status (8)

Country Link
US (1) US9384411B2 (zh)
JP (1) JP2016505186A (zh)
KR (1) KR20150116833A (zh)
CN (1) CN104094284A (zh)
CA (1) CA2846649A1 (zh)
RU (1) RU2013104894A (zh)
TW (1) TW201432617A (zh)
WO (1) WO2014123584A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013104894A (ru) 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью сохраняющего контуры подавления шума
US9346127B2 (en) 2014-06-20 2016-05-24 Velo3D, Inc. Apparatuses, systems and methods for three-dimensional printing
CN105096322B (zh) * 2015-07-26 2018-11-23 郭新 基于谱聚类的边缘检测方法
CN108367498A (zh) 2015-11-06 2018-08-03 维洛3D公司 Adept三维打印
WO2017100695A1 (en) 2015-12-10 2017-06-15 Velo3D, Inc. Skillful three-dimensional printing
CN106920218B (zh) * 2015-12-25 2019-09-10 展讯通信（上海）有限公司 一种图像处理的方法及装置
KR102433384B1 (ko) * 2016-01-05 2022-08-18 한국전자통신연구원 텍스처 이미지 처리 장치 및 방법
US9919360B2 (en) 2016-02-18 2018-03-20 Velo3D, Inc. Accurate three-dimensional printing
US11691343B2 (en) 2016-06-29 2023-07-04 Velo3D, Inc. Three-dimensional printing and three-dimensional printers
WO2018005439A1 (en) 2016-06-29 2018-01-04 Velo3D, Inc. Three-dimensional printing and three-dimensional printers
US20180126460A1 (en) 2016-11-07 2018-05-10 Velo3D, Inc. Gas flow in three-dimensional printing
US10611092B2 (en) * 2017-01-05 2020-04-07 Velo3D, Inc. Optics in three-dimensional printing
US10389242B2 (en) * 2017-02-01 2019-08-20 Infineon Technologies Austria Ag Voltage and current sensing calibration for switching voltage regulators
US10357829B2 (en) 2017-03-02 2019-07-23 Velo3D, Inc. Three-dimensional printing of three-dimensional objects
US20180281282A1 (en) 2017-03-28 2018-10-04 Velo3D, Inc. Material manipulation in three-dimensional printing
US10348192B1 (en) * 2017-12-20 2019-07-09 Micron Technology, Inc. Electronic device with a charge recycling mechanism
US10272525B1 (en) 2017-12-27 2019-04-30 Velo3D, Inc. Three-dimensional printing systems and methods of their use
US11436706B2 (en) * 2018-03-19 2022-09-06 Sony Corporation Image processing apparatus and image processing method for improving quality of images by removing weather elements
CN111630558B (zh) * 2018-08-22 2024-03-01 深圳配天机器人技术有限公司 一种图像处理、匹配方法、装置及存储介质
KR102592605B1 (ko) 2018-12-06 2023-10-24 삼성전자주식회사 이미지 신호 처리기, 이미지 신호 처리기의 동작 방법, 및 이미지 신호 처리기를 포함하는 전자 장치
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
KR100242636B1 (ko) * 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
KR100234316B1 (ko) * 1997-04-04 1999-12-15 윤종용 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터
WO2002057955A1 (en) * 2000-11-15 2002-07-25 Yeda Research And Development Co., Ltd. Method and apparatus for data clustering including segmentation and boundary detection
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
US7349922B2 (en) * 2001-11-14 2008-03-25 Yeda Research And Development Co. Ltd. Method and apparatus for data clustering including segmentation and boundary detection
US7961357B2 (en) * 2004-12-08 2011-06-14 Electronics And Telecommunications Research Institute Block artifact phenomenon eliminating device and eliminating method thereof
US7548660B2 (en) * 2005-09-30 2009-06-16 Intel Corporation System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
US7983501B2 (en) 2007-03-29 2011-07-19 Intel Corporation Noise detection and estimation techniques for picture enhancement
WO2008137051A1 (en) 2007-05-01 2008-11-13 Compulink Management Center, Inc. Photo-document segmentation method and system
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
US8472746B2 (en) * 2010-02-04 2013-06-25 Sony Corporation Fast depth map generation for 2D to 3D conversion
CN101930597B (zh) * 2010-08-10 2012-05-02 浙江大学 一种基于数学形态学的图像边缘检测方法
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
RU2013104894A (ru) 2013-02-05 2014-08-10 ЭлЭсАй Корпорейшн Процессор изображений с функциональностью сохраняющего контуры подавления шума

Also Published As

Publication number Publication date
KR20150116833A (ko) 2015-10-16
JP2016505186A (ja) 2016-02-18
CN104094284A (zh) 2014-10-08
US20160026889A1 (en) 2016-01-28
RU2013104894A (ru) 2014-08-10
WO2014123584A1 (en) 2014-08-14
US9384411B2 (en) 2016-07-05
CA2846649A1 (en) 2014-08-05

Similar Documents

Publication Publication Date Title
TW201432617A (zh) 具有邊緣保存雜訊抑制功能之影像處理器
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
CN109325954B (zh) 图像分割方法、装置及电子设备
US9305360B2 (en) Method and apparatus for image enhancement and edge verification using at least one additional image
EP3333768A1 (en) Method and apparatus for detecting target
Park et al. Single image dehazing with image entropy and information fidelity
US9317784B2 (en) Image processing apparatus, image processing method, and program
Krig et al. Image pre-processing
KR20180065889A (ko) 타겟의 검측 방법 및 장치
EP1324265A2 (en) Method and system for improving an image characteristic based on image content
EP3477582B1 (en) Systems and methods for processing a stream of data values
EP3477585A1 (en) Systems and methods for processing a stream of data values
EP3480785B1 (en) Systems and methods for processing a stream of data values
CN109255792B (zh) 一种视频图像的分割方法、装置、终端设备及存储介质
WO2014133584A1 (en) Image processor with multi-channel interface between preprocessing layer and one or more higher layers
TW201432620A (zh) 具有邊緣選擇功能性之影像處理器
US20160000265A1 (en) Food Mixing Arrangement
Kwok et al. Design of unsharp masking filter kernel and gain using particle swarm optimization
US20210383161A1 (en) Systems and Methods for Processing a Stream of Data Values Using Data Value Subset Groups
Rosli et al. Some technique for an Image of defect in inspection process based on image processing
Fenyi et al. Colored Edge Detection Using Thresholding Techniques
Nnolim Improved Single Image de-hazing via Sky Region detection, classification and illumination refinement
Prasath et al. Face Image Analysis under Various Noisy Backgrounds Using Gaussian Median Filtering [GMF]
Dholay et al. Fingerprint recognition using image processing