TW202303518A - 處理電路的方法、包括處理電路的系統和包括處理器件的系統 - Google Patents

處理電路的方法、包括處理電路的系統和包括處理器件的系統 Download PDF

Info

Publication number
TW202303518A
TW202303518A TW111103811A TW111103811A TW202303518A TW 202303518 A TW202303518 A TW 202303518A TW 111103811 A TW111103811 A TW 111103811A TW 111103811 A TW111103811 A TW 111103811A TW 202303518 A TW202303518 A TW 202303518A
Authority
TW
Taiwan
Prior art keywords
pixel
confidence
neighboring
neighboring pixels
class
Prior art date
Application number
TW111103811A
Other languages
English (en)
Inventor
拉瑪 邁蒂利 瓦達利
邁尤蘭 維杰
奧列格 謝爾蓋耶維奇 霍魯日
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/503,121 external-priority patent/US11995156B2/en
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202303518A publication Critical patent/TW202303518A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種用於分類映射的可信度輔助上取樣的系統及方法。在一些實施例中，方法包含：判定影像的第一像素的類別，第一像素具有多個相鄰像素，相鄰像素中的每一者具有類別；以及基於經判定類別處理影像。判定可包含：計算相鄰像素中的每一者的可信度加權度量，可信度加權度量基於在相鄰像素中的每一者中的最大可信度值；以及基於相鄰像素中的每一者的可信度加權度量且基於相鄰像素中的一者的類別來判定第一像素的類別。

Description

處理電路的方法、包括處理電路的系統和包括處理器件的系統
根據本揭露的實施例的一或多個態樣是關於分類映射產生，且更特定言之，是關於經上取樣分類映射的產生。 相關申請的交叉引用
本申請案主張（i）於2021年2月3日申請的名為「藉由可信度加權的分類映射輔助的增強型最近相鄰上取樣」的美國臨時申請案第63/145,193號以及（ii）於2021年8月18日申請的名為「藉由可信度加權的分類映射輔助的增強型最近相鄰上取樣」的美國臨時申請案第63/234,649號的優先權及效益，兩者的全部內容以引用的方式併入本文中。
在用於處理影像及用於產生分類映射的系統及方法中，上取樣可在計算上有負擔，其複雜度可為O(N*C)（即，階數為N*C），其中N為像素的數目且C為分類資料的基數。此外，最近相鄰上取樣的先前技術方法可具有較低複雜度但品質亦可能較低，例如可在邊緣處受鋸齒狀假影影響。
因此，需要一種用於分類映射的上取樣的經改良系統及方法。
根據本揭露的實施例，提供一種方法，包含：判定影像的第一像素的類別，第一像素具有多個相鄰像素，相鄰像素中的每一者具有類別；以及基於經判定類別處理影像，判定包含：計算相鄰像素中的每一者的可信度加權度量，可信度加權度量基於在相鄰像素中的每一者中的最大可信度值；以及基於相鄰像素中的每一者的可信度加權度量且基於相鄰像素中的一者的類別來判定第一像素的類別。
在一些實施例中，可信度加權度量進一步基於空間濾波函數。
在一些實施例中，空間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，第一像素更接近第一相鄰像素而非第二相鄰像素。
在一些實施例中：空間濾波函數在(x2 – x) (y2 – y) / ((x2 – x1) (y2 – y1))的30%內，x1及y1為第一相鄰像素的座標，x2及y2為第二相鄰像素的座標，且x及y為第一像素的座標。
在一些實施例中，對於相鄰像素中的每一者，空間濾波函數在第一像素與相鄰像素之間的座標差的高斯函數（Gaussian function）的30%內。
在一些實施例中，可信度加權度量進一步基於區間濾波函數。
在一些實施例中，區間濾波函數（range filter function）對於第一相鄰像素的值大於對於第二相鄰像素的值，第一像素在強度（intensity）方面更接近第一相鄰像素而非第二相鄰像素。
在一些實施例中，可信度加權度量進一步基於空間濾波函數。
在一些實施例中，第一像素的類別的判定包含判定第一像素的類別為相鄰像素中的具有最大可信度加權度量的像素的類別。
在一些實施例中，第一像素的類別的判定包含判定第一像素的類別為在類別中的所有相鄰像素上的可信度加權度量總和最大的類別。
根據本揭露的實施例，提供一種包含處理電路的系統，處理電路經組態以：判定影像的第一像素的類別，第一像素具有多個相鄰像素，相鄰像素中的每一者具有類別；以及基於經判定類別處理影像，判定包含：計算相鄰像素中的每一者的可信度加權度量，可信度加權度量基於相鄰像素中的每一者的最大可信度值；以及基於相鄰像素中的每一者的可信度加權度量且基於相鄰像素中的一者的類別來判定第一像素的類別。
在一些實施例中，可信度加權度量進一步基於空間濾波函數。
在一些實施例中，空間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，第一像素更接近第一相鄰像素而非第二相鄰像素。
在一些實施例中：空間濾波函數在(x2 – x) (y2 – y) / ((x2 – x1) (y2 – y1))的30%內，x1及y1為第一相鄰像素的座標，x2及y2為第二相鄰像素的座標，且x及y為第一像素的座標。
在一些實施例中，對於相鄰像素中的每一者，空間濾波函數在第一像素與相鄰像素之間的座標差的高斯函數的30%內。
在一些實施例中，可信度加權度量進一步基於區間濾波函數。
在一些實施例中，區間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，第一像素在強度方面更接近第一相鄰像素而非第二相鄰像素。
在一些實施例中，可信度加權度量進一步基於空間濾波函數。
在一些實施例中，第一像素的類別的判定包含判定第一像素的類別為相鄰像素中的具有最大可信度加權度量的像素的類別。
根據本揭露的實施例，提供一種包含處理器件的系統，處理器件經組態以：判定影像的第一像素的類別，第一像素具有多個相鄰像素，相鄰像素中的每一者具有類別；以及基於經判定類別處理影像，判定包含：計算相鄰像素中的每一者的可信度加權度量，可信度加權度量基於相鄰像素中的每一者的最大可信度值；以及基於相鄰像素中的每一者的可信度加權度量且基於相鄰像素中的一者的類別來判定第一像素的類別。
以下結合隨附圖式闡述的實施方式意欲描述根據本揭露提供的用於對分類映射的上取樣的系統及方法的例示性實施例，且並不意欲表示可構造或利用本揭露的唯一形式。實施方式結合所示出實施例闡述本揭露的特徵。然而，應理解，可藉由亦意欲涵蓋於本揭露的範疇內的不同實施例實現相同或等效功能及結構。如本文中在別處所指示，相似附圖標號意欲指示相似元件或特徵。
在電腦視覺及影像處理領域中，自低解析度影像或映射至高解析度的2-D內插法（即上取樣）為常用操作。隨著電腦視覺中深度學習應用的出現，預測像素級分類資料的神經網路已變得至關重要。此神經網路可接收影像及產生分類映射。舉例而言，對於背景前的植物影像（例如下文在圖6及圖7A至圖7C中所論述），分類映射可為其中每一像素指定類別的映射，例如，在像素歸類為背景的一部分的情況下為零，及在像素為植物的一部分的情況下為一。在背景前具有貓、狗、以及植物的影像中，分類映射的每一像素可歸類為四個對應類別中的一者。在產生此分類映射的神經網路中，神經網路的中間特徵映射可包含含有四個通道的可信度體積，所述四個通道包含：針對每一像素指定像素為貓的一部分的機率的可信度體積的第一通道、針對每一像素指定像素為狗的一部分的機率的可信度體積的第二通道、針對每一像素指定像素為植物的一部分的機率的可信度體積的第三通道以及針對每一像素指定像素為背景的一部分的機率的可信度體積的第四通道。
在先前技術神經網路中，神經網路可以比輸入解析度更低的解析度操作神經網路的大部分層。為在神經網路的輸出處獲得輸入解析度下的分類映射（即，與輸入影像具有相同解析度的輸出映射），可在最終層中使用雙線性上取樣。此神經網路示出於圖1A中。其包含特徵提取及編碼電路105（如此電路的錐形所示出，其內的特徵映射大小顯著減小）、解碼器110（其內的特徵映射大小略增加）、雙線性上取樣電路115（其內的特徵映射大小進一步增加）以及產生分類映射的argmax電路120。雙線性上取樣電路115的輸出可為由C通道組成的可信度體積，其中C為類別的數目，包含映射的可信度體積的每一通道與輸入影像處於相同解析度（H x W）。argmax電路可隨後將可信度（即對應於類別的通道中的像素的可信度）最大的類別指定至輸出特徵映射的每一像素。
在圖1A的實施例中，對分對數的體積進行上取樣需要具有時間複雜性為 O( N*C)的實質運算，其中N為像素的數目且C為分類資料的基數（即類別或通道的數目）。此運算負擔可能使得此方法不適合用於一些即時應用。
相反，首先以較低解析度推導2-D分類映射且隨後僅對分類映射進行上取樣可具有僅為 O( N)的複雜度。然而，缺乏用於分類資料的有效及快速上取樣方法可為此最佳化的阻礙。分類值可不遵循任何排序或彼此之間的關係。因此，諸如雙線性內插法或多項式內插法的內插方法可不直接適用。實際上可對分類資料的上取樣使用最近相鄰內插法，如圖1B中所示出。在圖1B的實施例中，解碼器110的輸出為argmax電路120的輸入，所述argmax電路120接收可信度體積的C低解析度（H/s x W/s）通道且自其產生單個低解析度（H/s x W/s）分類映射。可隨後使用例如最近相鄰上取樣電路125將此低解析度分類映射上取樣為全解析度（H x W）類別映射。
然而，由於在與不同類別對應的區域邊界對應的邊緣處缺乏像素支援，最近相鄰上取樣可引入混淆。此混淆可以非所需階梯形狀及邊緣處的鋸齒假影形式表現自身（如以下在圖7B的上下文中所論述）。
在一些實施例中，藉由使用自運算角度不過度繁重的上取樣函數來緩和此等問題。上取樣函數使用基於可信度加權度量的方法來判定高解析度分類映射（可稱為目標分類映射
Figure 02_image001
）。對於每一目標像素，對應的像素鄰域限定於低解析度分類映射（可稱為源分類映射
Figure 02_image003
）中。可為每一相鄰源像素運算可信度加權度量。目標像素值可隨後設定為等於（i）具有最高可信度加權度量的相鄰源像素的分類值或（ii）類別中在所有相鄰像素上的可信度加權度量總和為最大的類別。
過程形象地繪示於圖2中。分類上取樣電路205的輸入（可為或包含處理電路（下文中進一步詳細論述））可包含低解析度分類映射210、低解析度可信度映射215以及高解析度導引影像220（繪示為灰度影像但可為彩色影像）；分類上取樣電路205的輸出可為高解析度分類映射225。如下文進一步詳細論述，神經網路可每一通道產生一個可信度體積的低解析度通道；可信度映射215可在每一像素中含有可信度體積的通道的對應像素在通道上的最大值。
圖3繪示在低解析度分類映射210中及在低解析度可信度映射215中的目標高解析度分類映射的像素p及其四個相鄰像素q 11、q 12、q 21以及q 22的位置。僅繪示目標像素中的一者；若繪示所有目標像素，則在一些實施例中，大量目標像素將存在於四個相鄰像素q 11、q 12、q 21以及q 22之間。在一些實施例中，可使用四個或大於四個相鄰像素（例如，9個或大於9個像素，可配置成方形或半圓形鄰域，所述半圓形鄰域可自方形拐角附近省略一些像素）。
在一些實施例中，可信度加權度量作為以下各者的函數運算：（i）可信度映射（ii）幾何鄰近至最近相鄰的量測以及（iii）高解析度導引影像的光度學（即強度或顏色）。目標高解析度分類映射的每一像素的類別可隨後基於像素的相鄰像素的可信度加權度量而判定（如下文進一步詳細論述）。圖4為此實施例的方塊圖。在圖4的實施例中，解碼器110的輸出各自以低解析度饋入至產生類別映射（類別映射的每一元素是在argmax電路405的輸入處可信度體積的通道的通道上的argmax）的argmax電路405中及產生可信度映射（可信度映射的每一元素在最大電路407的輸入處可信度體積的通道的通道上最大）的最大電路407中。可信度輔助上取樣電路隨後使用（如圖2中所示出）低解析度分類映射210、低解析度可信度映射215以及高解析度導引影像220產生目標高解析度分類映射。可信度加權度量的使用可涉及較小複雜性且因此大體上良好適合於即時分析，且其可能緩和可藉由最近相鄰上取樣呈現的階梯或鋸齒狀假影。
在一些實施例中，可信度加權度量定義為
Figure 02_image005
，
其中：
Figure 02_image009
指示
Figure 02_image003
中的目標像素
Figure 02_image011
的鄰域，
Figure 02_image013
為在
Figure 02_image015
處的可信度值（來自可信度映射215），
Figure 02_image017
為高解析度導引影像，
Figure 02_image019
為空間濾波函數，且
Figure 02_image021
為以
Figure 02_image023
處的影像值為中心的區間濾波函數。
對於
Figure 02_image025
，
Figure 02_image027
指示
Figure 02_image001
中對應的高解析度座標。
空間濾波
Figure 02_image029
可為考慮
Figure 02_image015
至
Figure 02_image031
的鄰近度的任何適合的函數，例如，通常對目標像素附近的相鄰像素的權重比距目標像素較遠的相鄰像素的權重更大的任何函數。舉例而言，空間濾波可為隨距離減小而單調增加的函數。在一些實施例中，空間濾波使用雙線性加權，像素q 11的權重計算如下：
f = (x2 – x) (y2 – y) / ((x2 – x1) (y2 – y1))，
其中x1及y1為像素q 11的座標，x2及y2為像素q 22的座標，且x及y為像素p的座標。在其他實施例中，空間濾波為以
Figure 02_image031
為中心的高斯函數；例如，像素q 11的權重可等於或與exp(-((x – x1) 2+ (y – y1) 2)/w 2)成比例，其中w為高斯函數的寬度。在一些實施例中，空間濾波約等於此函數，例如其在此函數的30%內。
區間濾波
Figure 02_image033
可在高解析度導引影像中量測像素
Figure 02_image027
與像素
Figure 02_image023
之間的光度學（強度或顏色）鄰近度。區間濾波的選擇可為應用相依的。區間濾波可為考慮導引影像中的
Figure 02_image015
及
Figure 02_image031
處的像素值的相似性的任何適合的函數，例如通常對具有與目標像素相似的值（例如，強度或顏色）的相鄰像素的權重比具有與目標像素的值更不同的值的相鄰像素的權重大的任何函數。舉例而言，區間濾波函數對於第一相鄰像素的值可大於對於第二相鄰像素的值，當目標像素在強度方面更接近第一相鄰像素而非第二相鄰像素時。如本文中所使用，當第一像素比第二像素「在強度方面更接近」目標像素時，其意謂第一像素的強度與目標像素的強度之間的差小於第二像素的強度與目標像素的強度之間的差。在一些實施例中，區間濾波為以
Figure 02_image035
為中心的高斯，例如對於像素q 11，其可等於或與exp(-((
Figure 02_image035
–
Figure 02_image037
) 2/ w 2)成比例，其中
Figure 02_image035
為導引影像中在與目標像素
Figure 02_image023
位於相同座標的像素的強度，
Figure 02_image037
為導引影像中在與相鄰像素q 11位於相同位置的像素的強度，以及w為高斯函數的寬度。在其他實施例中，區間濾波可為導引影像的對應像素的彩色分量之間的向量差（例如，紅色綠色藍色（red green blue；RGB）向量之間的差或亮度與色度（YUV）分量之間的差）的函數（例如高斯函數）。在一些實施例中，區間濾波約等於此函數，例如其在此函數的30%內。如本文中所使用，「區間濾波函數」為計算兩個像素的顯示值（例如強度或所顯示的顏色的態樣）相同至何種程度的量測的函數。
在一些實施例中，三個因數
Figure 02_image039
、
Figure 02_image041
以及
Figure 02_image043
並非全部存在於用於計算可信度加權度量的表達式中。舉例而言，空間濾波函數
Figure 02_image019
可設定為1以忽略空間分量，或區間濾波函數
Figure 02_image021
可設定為1以忽略光度學分量（或二者可設定為1）。
一旦已為相鄰像素中的每一者計算可信度加權度量，目標像素的類別可基於相鄰像素中的每一者的可信度加權度量且基於相鄰像素中的一個（或多個）的類別而判定。舉例而言，在
Figure 02_image023
處的內插值可（i）設定為當使用argmax操作時，等於
Figure 02_image009
中具有最高可信度加權度量
Figure 02_image045
的相鄰像素的分類值，或（ii）基於可稱為分類值上的加權直方圖或稱為「模態濾波（mode filter）」的方法而設定。
若使用argmax操作，則在
Figure 02_image023
處的分類值即
Figure 02_image047
可指定為如下：
Figure 02_image049
，
其中
Figure 02_image053
。
此操作將目標像素的類別設定為等於具有最高可信度加權度量的相鄰像素的類別。
若使用模態濾波，則可經由加權直方圖運算模態。
Figure 02_image057
，
其中
Figure 02_image061
，
Figure 02_image065
，
Figure 02_image069
指示可能的分類值的集合，且
Figure 02_image071
是為在鄰域
Figure 02_image009
中針對
Figure 02_image073
運算的加權直方圖。
此操作將目標像素的類別設定為等於在類別中的所有相鄰像素上可信度加權度量值總和為最大的類別。模態濾波為統計模態的變體；若所有相鄰像素的可信度加權度量相同，則由模態濾波返回的類別為相鄰像素的類別集合的統計模態。
圖5A至圖5C繪示三個處理方法的先前技術管線。在此等圖式中指定的影像尺寸僅為實例，且可基於應用需求而不同。在繪示分對數的雙線性上取樣的管線（對應於圖1A）的圖5A的實施例中，藉由雙線性調整大小電路510處理輸入影像505以產生經調整大小的影像515，所述影像515由產生的第一分對數陣列525的神經網路520處理。邊緣感測上取樣電路530隨後使用輸入影像505作為導引影像對第一分對數陣列525進行上取樣，以形成第二分對數陣列535。雙線性上取樣電路540隨後自第二分對數陣列535產生第三分對數陣列545，且自第三分對數陣列545，argmax電路550產生高解析度分類映射555（或在分段的情況下，為分段映射）且最大電路560產生高解析度可信度映射565。
在繪示分段映射的最近相鄰上取樣的管線（對應於圖1B）的圖5B的實施例中，第二分對數陣列535以與在圖5A中相同的方式產生。argmax電路550隨後自第二分對數陣列535產生低解析度分段映射552，所述低解析度分段映射552藉由最近相鄰上取樣電路554轉化為高解析度分類映射555，且最大電路560自第二分對數陣列535產生低解析度可信度映射562（可與圖2的可信度映射215相同），所述低解析度可信度映射562藉由雙線性調整大小電路564調整大小以形成高解析度可信度映射565。
在繪示藉由可信度加權輔助的分類映射的最近相鄰上取樣的管線（對應於圖4）的圖5C的實施例中，低解析度分段映射552及低解析度可信度映射562以與在圖5B中相同的方式產生。可信度輔助上取樣電路570隨後使用輸入影像505作為導引影像基於低解析度可信度映射562執行低解析度分段映射552的上取樣以形成高解析度分類映射555。可信度輔助上取樣電路570可執行本文所描述的方法中的一或多個，包含計算目標像素的多個相鄰像素中的每一者的可信度加權度量及指定類別至目標像素，例如使用argmax方法或模態濾波方法。
圖6為由圖4及圖5C的實施例處理的彩色影像的灰度版本，其中灰色疊對形狀繪示分段算法識別為與繪示於影像中的植物對應的區。圖7A至圖7C為影像的一部分的放大視圖（在圖6中的虛線矩形中的部分），繪示藉由（i）圖1A及圖5A、（ii）圖1B及圖5B、(iii)圖4及圖5C的三個對應分段算法處理的影像的結果。階梯及鋸齒狀假影在圖7B中尤其清楚。
圖8為在一些實施例中的方法的流程圖。方法包含：在805處判定影像的第一像素的類別，第一像素具有多個相鄰像素，相鄰像素中的每一者具有類別；以及在810處基於經判定類別處理影像。影像可為高解析度輸入影像505（其亦可用作導引影像），且高解析度分段映射555的產生可對應於判定高解析度輸入影像505的每一像素的類別。影像505在810處的處理可包含，例如以不同方式處理影像的不同部分（對應於不同類別），例如模糊分類為背景的像素區或增亮對應於一個類別的區以及暗化對應於另一類別的區。如本文中所使用，「處理影像」意謂直接處理影像或基於影像處理所執行的其他處理步驟的任何產物。如此，處理影像可包含（或由以下組成）：在其他處理步驟中（例如在用於載具的機械視覺類導航的算法中，將攝影機視野中的物體分類成不同類別（例如其他載具、建築物、街道標識或行人））使用高解析度分段映射555。
如本文中所使用，某物「的一部分」意謂事物「中的至少一些」，且因此可意謂少於事物的全部或所有事物。如此，作為特殊情況，事物「的一部分」包含整個事物，亦即，整個事物為事物的一部分的實例。如本文中所使用，當第二數量「在」第一數量X的「Y內」時，其意謂第二數量至少為X-Y且第二數量至多為X+Y。如本文中所使用，當第二數目「在」第一數目的「Y%內」時，其意謂第二數目為第一數目的至少（1-Y/100）倍且第二數目為第一數目的至多（1+Y/100）倍。如本文中所使用，術語「或」應解釋為「及/或」，使得例如「A或B」意謂「A」或「B」或「A及B」中的任一者。
術語「處理電路」及「處理器件」中的每一者在本文中用於意謂採用以處理資料或數位信號的硬體、韌體以及軟體的任何組合。處理電路硬體可包含例如特定應用積體電路（application specific integrated circuit；ASIC）、通用或專用中央處理單元（central processing unit；CPU）、數位信號處理器（digital signal processor；DSP）、圖形處理單元（graphics processing unit；GPU）以及諸如場可程式化閘陣列（field programmable gate array；FPGA）的可程式化邏輯裝置。在處理電路中，如本文中所使用，藉由組態（亦即，硬連線）以執行函數的硬體或藉由經組態以實行儲存於非暫時性儲存媒體中的指令的更通用硬體（諸如，CPU）來執行每一函數。處理電路可製造於單個印刷電路板（printed circuit board；PCB）上或分佈於若干互連PCB上。處理電路可含有其他處理電路；例如，處理電路可包含在PCB上互連的兩個處理電路FPGA及CPU。
如本文中所使用，術語「陣列」是指數字的有序集與如何儲存無關（例如，是否儲存在連續記憶體位置中或在鏈接清單中）。如本文中所使用，當將方法（例如調整）或第一數量（例如第一變數）稱為「基於」第二數量（例如第二變數）時，其意謂第二數量為方法的輸入或影響第一數量，例如，第二數量可為計算第一數量的函數的輸入（例如唯一輸入，或若干輸入中的一者），或第一數量可等於第二數量，或第一數量可與第二數量相同（例如，儲存於記憶體中的相同位置處）。如本文中所使用，「基於」」意謂「至少部分地基於」，亦即描述為基於第二數量的第一數量亦可基於第三數量。
應理解，儘管在本文中可使用術語「第一」、「第二」、「第三」等來描述各種元件、組件、區、層及/或區段，但此等元件、組件、區、層及/或區段不應受此等術語限制。此等術語僅用於區分一個元件、組件、區、層或區段與另一元件、組件、區、層或區段。因此，本文中所論述的第一元件、組件、區、層或區段可稱為第二元件、組件、區、層或區段，而不脫離本發明概念的精神及範疇。
本文中使用的術語僅出於描述特定實施例的目的，且並不意欲限制本發明概念。如本文中所使用，術語「實質上」、「約」以及類似術語用作表示近似的術語且不用作表示程度的術語，且意欲考慮所屬技術領域中具有通常知識者將辨識到的量測值或計算值中的固有偏差。
如本文中所使用，除非上下文另外明確指示，否則單數形式「一（a/an）」意欲同樣包含複數形式。將進一步理解，術語「包括（comprises）」及/或「包括（comprising）」在用於本說明書中時指明所陳述特徵、整數、步驟、操作、元件及/或組件的存在，但不排除一或多個其他特徵、整數、步驟、操作、元件、組件及/或其群組的存在或添加。如本文所使用，術語「及/或」包含相關聯所列項目中的一或多個中的任何及所有組合。諸如「……中的至少一者（at least one of）」的表述在位於元件清單之前時修飾元件的整個清單，而並不修飾清單中的個別元件。另外，當描述本發明概念的實施例時「可」的使用是指「本揭露的一或多個實施例」。同樣，術語「例示性」意欲指實例或說明。如本文中所使用，可認為術語「使用（use、using以及used）」分別與術語「利用（utilize、utilizing以及utilized）」同義。
本文中所列舉的任何數值範圍意欲包含所列舉範圍內所歸入的具有相同數值精確度的所有子範圍。舉例而言，「1.0至10.0」或「1.0與10.0之間」的範圍意欲包含所列舉的最小值1.0與所列舉的最大值10.0之間（且包含所列舉的最小值1.0及所列舉的最大值10.0）的所有子範圍，亦即，具有等於或大於1.0的最小值及等於或小於10.0的最大值，諸如（例如）2.4至7.6。類似地，描述為「在10的35%內」的區間意欲包含所列舉的最小值6.5（即（1-35/100）乘以10）與所列舉的最大值13.5（即，1+35/100乘以10）之間（且包含）的所有子範圍，即，具有等於或大於6.5的最小值及等於或小於13.5的最大值，諸如（例如）7.4至10.6。本文中所列舉的任何最大數值限制意欲包含經包含於其中的所有較低數值限制，且在本說明書中所列舉的任何最小數值限制意欲包含經包含於其中的所有較高數值限制。
儘管本文中已具體地描述及示出用於分類映射的上取樣的系統及方法的例示性實施例，但許多修改及變化對於所屬領域中具有通常知識者將顯而易見。因此，應理解，除如在本文中具體描述外，可體現根據本揭露的原理來建構的用於分類映射的上取樣的系統及方法。本發明亦限定於以下申請專利範圍及其等效物中。
105:特徵提取及編碼電路編碼電路 110:解碼器 115、540:雙線性上取樣電路 120、405、550:argmax電路 125、554:最近相鄰上取樣電路 205:分類上取樣電路 210:低解析度分類映射 215、562:低解析度可信度映射 220:高解析度導向導引影像 225、555:高解析度分類映射 407、560:最大電路 410、570:可信度輔助上取樣電路 505:輸入影像 510、564:雙線性調整大小電路 515:影像 520:神經網路 525:第一分對數陣列 530:邊緣感測上取樣電路 535:第二分對數陣列 545:第三分對數陣列 552:低解析度分段映射 565:高解析度可信度映射 805、810:步驟 p:像素 q 11、q 12、q 21、q 22:相鄰像素
將參考說明書、申請專利範圍以及隨附圖式來瞭解及理解本揭露的此等及其他特徵及優勢，在隨附圖式中： 圖1A為用於分析影像的系統的方塊圖。 圖1B為用於分析影像的系統的方塊圖。 圖2為繪示根據本揭露的實施例的上取樣電路的輸入及輸出的方塊圖。 圖3為根據本揭露的實施例的經上取樣像素及四個相鄰像素的圖。 圖4為根據本揭露的實施例的用於分析影像的系統的方塊圖。 圖5A為用於分析影像的管線的方塊圖。 圖5B為用於分析影像的管線的方塊圖。 圖5C為根據本揭露的實施例的用於分析影像的管線的方塊圖。 圖6為根據本揭露的實施例的經處理影像。 圖7A為根據本揭露的實施例的經處理影像的放大部分。 圖7B為根據本揭露的實施例的經處理影像的放大部分。 圖7C為根據本揭露的實施例的經處理影像的放大部分。 圖8為根據本揭露的實施例的方法的流程圖。
805、810:步驟

Claims (20)

  1. 一種處理電路的方法，包括： 判定影像的第一像素的類別，所述第一像素具有多個相鄰像素，所述多個相鄰像素中的每一者具有類別；以及 基於經判定的所述類別處理所述影像， 所述判定包括： 計算所述多個相鄰像素中的每一者的可信度加權度量，所述可信度加權度量基於在所述多個相鄰像素中的每一者中的最大可信度值；以及 基於所述多個相鄰像素中的每一者的所述可信度加權度量且基於所述多個相鄰像素中的一者的所述類別來判定所述第一像素的所述類別。
  2. 如請求項1所述的方法，其中所述可信度加權度量進一步基於空間濾波函數。
  3. 如請求項2所述的方法，其中所述空間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，所述第一像素更接近所述第一相鄰像素而非所述第二相鄰像素。
  4. 如請求項3所述的方法，其中： 所述空間濾波函數在(x2 – x) (y2 – y) / ((x2 – x1) (y2 – y1))的30%內， x1及y1為所述第一相鄰像素的座標， x2及y2為所述第二相鄰像素的座標，且 x及y為所述第一像素的座標。
  5. 如請求項4所述的方法，其中對於所述多個相鄰像素中的每一者，所述空間濾波函數在所述第一像素與所述多個相鄰像素中的所述每一者之間的座標差的高斯函數的30%內。
  6. 如請求項1所述的方法，其中所述可信度加權度量進一步基於區間濾波函數。
  7. 如請求項6所述的方法，其中所述區間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，所述第一像素在強度方面更接近所述第一相鄰像素而非所述第二相鄰像素。
  8. 如請求項6所述的方法，其中所述可信度加權度量進一步基於空間濾波函數。
  9. 如請求項1所述的方法，其中所述第一像素的所述類別的判定包括判定所述第一像素的所述類別為所述多個相鄰像素中的具有最大可信度加權度量的像素的所述類別。
  10. 如請求項1所述的方法，其中所述第一像素的所述類別的判定包括判定所述第一像素的所述類別為在所述類別中的所有所述多個相鄰像素上的所述可信度加權度量總和最大的所述類別。
  11. 一種包括處理電路的系統，所述處理電路經組態以： 判定影像的第一像素的類別，所述第一像素具有多個相鄰像素，所述多個相鄰像素中的每一者具有類別；以及 基於經判定的所述類別處理所述影像， 所述判定包括： 計算所述多個相鄰像素中的每一者的可信度加權度量，所述可信度加權度量基於所述多個相鄰像素中的每一者的最大可信度值；以及 基於所述多個相鄰像素中的每一者的所述可信度加權度量且基於所述多個相鄰像素中的一者的所述類別來判定所述第一像素的所述類別。
  12. 如請求項11所述的系統，其中所述可信度加權度量進一步基於空間濾波函數。
  13. 如請求項12所述的系統，其中所述空間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，所述第一像素更接近所述第一相鄰像素而非所述第二相鄰像素。
  14. 如請求項13所述的系統，其中： 所述空間濾波函數在(x2 – x) (y2 – y) / ((x2 – x1) (y2 – y1))的30%內， x1及y1為所述第一相鄰像素的座標， x2及y2為所述第二相鄰像素的座標，且 x及y為所述第一像素的座標。
  15. 如請求項14所述的系統，其中對於所述多個相鄰像素中的每一者，所述空間濾波函數在所述第一像素與所述多個相鄰像素中的所述每一者之間的座標差的高斯函數的30%內。
  16. 如請求項11所述的系統，其中所述可信度加權度量進一步基於區間濾波函數。
  17. 如請求項16所述的系統，其中所述區間濾波函數對於第一相鄰像素的值大於對於第二相鄰像素的值，所述第一像素在強度方面更接近所述第一相鄰像素而非所述第二相鄰像素。
  18. 如請求項16所述的系統，其中所述可信度加權度量進一步基於空間濾波函數。
  19. 如請求項11所述的系統，其中所述第一像素的所述類別的判定包括判定所述第一像素的所述類別為所述多個相鄰像素中的具有最大可信度加權度量的像素的所述類別。
  20. 一種包括處理器件的系統，所述處理器件經組態以： 判定影像的第一像素的類別，所述第一像素具有多個相鄰像素，所述多個相鄰像素中的每一者具有類別；以及 基於經判定的所述類別處理所述影像， 所述判定包括： 計算所述多個相鄰像素中的每一者的可信度加權度量，所述可信度加權度量基於所述多個相鄰像素中的每一者的最大可信度值；以及 基於所述多個相鄰像素中的每一者的所述可信度加權度量且基於所述多個相鄰像素中的一者的所述類別來判定所述第一像素的所述類別。
TW111103811A 2021-02-03 2022-01-28 處理電路的方法、包括處理電路的系統和包括處理器件的系統 TW202303518A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163145193P 2021-02-03 2021-02-03
US63/145,193 2021-02-03
US202163234649P 2021-08-18 2021-08-18
US63/234,649 2021-08-18
US17/503,121 US11995156B2 (en) 2021-10-15 Confidence aided upsampling of categorical maps
US17/503,121 2021-10-15

Publications (1)

Publication Number Publication Date
TW202303518A true TW202303518A (zh) 2023-01-16

Family

ID=82403216

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103811A TW202303518A (zh) 2021-02-03 2022-01-28 處理電路的方法、包括處理電路的系統和包括處理器件的系統

Country Status (4)

Country Link
KR (1) KR20220112211A (zh)
CN (1) CN114862752A (zh)
DE (1) DE102022102541A1 (zh)
TW (1) TW202303518A (zh)

Also Published As

Publication number Publication date
CN114862752A (zh) 2022-08-05
US20220245407A1 (en) 2022-08-04
DE102022102541A1 (de) 2022-08-04
KR20220112211A (ko) 2022-08-10

Similar Documents

Publication Publication Date Title
CA2995857C (en) Edge-aware bilateral image processing
JP4870779B2 (ja) デジタル画像露光量及びトーンスケールの調節
US7792386B1 (en) Using difference kernels for image filtering
JP6371553B2 (ja) 映像表示装置および映像表示システム
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP5965050B2 (ja) 画像内のデータを明らかにするための近傍関係に基づく画素の得点化及び調整
US20070121094A1 (en) Detecting objects of interest in digital images
US9367920B2 (en) Method and apparatus for processing images
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
US11295426B2 (en) Image processing system, server apparatus, image processing method, and image processing program
JP2016200970A (ja) 主被写体検出方法、主被写体検出装置及びプログラム
WO2020207134A1 (zh) 图像处理方法、装置、设备以及计算机可读介质
WO2024001360A1 (zh) 绿幕抠图方法、装置及电子设备
EP2782065B1 (en) Image-processing device removing encircling lines for identifying sub-regions of image
CN106940877B (zh) 图像处理装置及方法
US20070126876A1 (en) Locating digital image planar surfaces
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP2019175283A (ja) 認識装置、認識システム、プログラムおよび位置座標検出方法
JP4539964B2 (ja) 画像の領域分割
JP2021196451A (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
TW202303518A (zh) 處理電路的方法、包括處理電路的系統和包括處理器件的系統
JP2009094862A (ja) 映像信号処理装置
US11995156B2 (en) Confidence aided upsampling of categorical maps
JP2020140497A (ja) 演算装置、視差算出方法