TWI806500B - 影像分類裝置和方法 - Google Patents

影像分類裝置和方法 Download PDF

Info

Publication number
TWI806500B
TWI806500B TW111110045A TW111110045A TWI806500B TW I806500 B TWI806500 B TW I806500B TW 111110045 A TW111110045 A TW 111110045A TW 111110045 A TW111110045 A TW 111110045A TW I806500 B TWI806500 B TW I806500B
Authority
TW
Taiwan
Prior art keywords
image
mentioned
estimation result
categories
target image
Prior art date
Application number
TW111110045A
Other languages
English (en)
Other versions
TW202338728A (zh
Inventor
張嘉淵
鄭楷儒
陳毓訓
李浩平
許通明
丁敬原
陳少昂
陳冠中
Original Assignee
廣達電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廣達電腦股份有限公司 filed Critical 廣達電腦股份有限公司
Priority to TW111110045A priority Critical patent/TWI806500B/zh
Priority to CN202210350403.3A priority patent/CN116824199A/zh
Priority to US17/847,739 priority patent/US20230298316A1/en
Priority to EP22186669.2A priority patent/EP4246461A1/en
Application granted granted Critical
Publication of TWI806500B publication Critical patent/TWI806500B/zh
Publication of TW202338728A publication Critical patent/TW202338728A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85Markov-related models; Markov random fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Abstract

本發明提供了一影像分類裝置。影像分類裝置包括儲存裝置、運算電路和分類電路。儲存裝置可儲存複數影像類別對應之資訊。運算電路耦接儲存裝置。運算電路可從影像擷取裝置取得目標影像,並取得目標影像對應之特徵向量。此外,運算電路根據複數影像類別對應之資訊和上述特徵向量,取得對應目標影像之第一估測結果,以及根據參考影像,取得對應目標影像之第二估測結果,其中參考影像對應複數影像類別之一者。分類電路耦接運算電路。分類電路可根據第一估測結果和第二估測結果,將目標影像加入複數影像類別之一者。

Description

影像分類裝置和方法
本發明之實施例主要係有關於一影像分類技術,特別係有關於根據目標影像和複數分類影像相比所產生之一結果和藉由隱藏式馬可夫模型(Hidden Markov Model,HMM)演算法所產生之另一結果來進行影像分類之影像分類技術。
隨著科技的進步,影像分類之應用亦日益廣泛。因此,如何產生更精確之影像分類結果將是個值得研究之課題。
有鑑於上述先前技術之問題,本發明之實施例提供了一種影像分類裝置和方法。
根據本發明之一實施例提供了一種影像分類裝置。上述影像分類裝置包括一儲存裝置、一運算電路和一分類電路。儲存裝置可用以儲存複數影像類別對應之資訊。運算電路耦接上述儲存裝置。運算電路可從一影像擷取裝置取得一目標影像,並取得上述目標影像對應之一特徵向量。此外,運算電路可根據上述複數影像類別對應之上述資訊和上述特徵向量,取得對應上述目標影像之一第一估測結果,以及根據一參考影像,取得對應上述目標影像之一第二估測結果,其中參考影像對應上述複數影像類別之一者。分類電路耦接上述運算電路。上述分類電路可根據上述第一估測結果和上述第二估測結果,將上述目標影像加入上述複數影像類別之一者。
在一些實施例中,每一上述影像類別包括複數群影像。在一些實施例中,運算電路可根據上述特徵向量和每一上述影像類別之每一群影像之群心,分別計算出上述特徵向量對應上述每一上述影像類別之最短距離。當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值大於一臨界值時,上述運算電路捨棄上述目標影像。當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值未大於一臨界值時,上述運算電路根據上述特徵向量對應上述每一上述影像類別之上述最短距離和一機率分布演算法,計算出上述第一估測結果。
在一些實施例中,分類電路可將上述第一估測結果和上述第二估測結果相乘,以取得一第三估測結果,並根據上述第三估測結果將上述目標影像加入上述複數影像類別之一者。
在一些實施例中,分類電路可將上述第一估測結果乘以一第一權重值,以產生一第一結果,且將上述第二估測結果乘以一第二權重值,以產生一第二結果,且上述分類電路將上述第一結果和上述第二結果相加,以產生一第三估測結果,並根據上述第三估測結果將上述目標影像加入上述複數影像類別之一者。
在一些實施例中,分類電路可將上述目標影像加入上述複數影像類別之一者後,更新加入上述目標影像之上述影像類別對應之上述資訊。
根據本發明之一實施例提供了一種影像分類方法。上述影像分類方法適用一影像分類裝置。上述影像分類方法之步驟包括:從一影像擷取裝置取得一目標影像;藉由上述影像分類裝置之一運算電路取得上述目標影像對應之一特徵向量;藉由上述運算電路根據上述複數影像類別對應之上述資訊和上述特徵向量,取得對應上述目標影像之一第一估測結果;藉由上述運算電路根據一參考影像,取得對應上述目標影像之一第二估測結果,其中參考影像對應上述複數影像類別之一者;以及藉由上述影像分類裝置之一分類電路根據上述第一估測結果和上述第二估測結果,將上述目標影像加入上述複數影像類別之一者。
關於本發明其他附加的特徵與優點,此領域之熟習技術人士,在不脫離本發明之精神和範圍內,當可根據本案實施方法中所揭露之影像分類裝置和方法,做些許的更動與潤飾而得到。
本章節所敘述的是實施本發明之較佳方式,目的在於說明本發明之精神而非用以限定本發明之保護範圍,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
第1圖係顯示根據本發明之一實施例所述之一影像分類裝置100之方塊圖。如第1圖所示,影像分類裝置100可包括一儲存裝置110、一運算電路120以及一分類電路130。注意地是,在第1圖中所示之方塊圖,僅係為了方便說明本發明之實施例,但本發明並不以第1圖為限。影像分類裝置100中亦可包含其他元件或其他連接方式。根據本發明一實施例,運算電路120和分類電路130可整合於一晶片中。甚至,儲存裝置110、運算電路120和分類電路130亦可整合於一晶片中。
根據本發明之一實施例,儲存裝置110可係一揮發性記憶體(volatile memory)(例如:隨機存取記憶體(Random Access Memory, RAM)),或一非揮發性記憶體(Non-volatile memory)(例如:快閃記憶體(flash memory)、唯讀記憶體(Read Only Memory, ROM))、一硬碟或上述裝置之組合。儲存單元可用以儲存要進行影像分類所需之檔案和資料。
根據本發明之實施例,儲存裝置110可預先儲存複數影像類別(class)之影像。根據本發明一實施例,每一影像類別可分別對應到一區域,例如:口腔中的不同區域,但本發明不以此為限。此外,根據本發明之實施例,每一影像類別所包含之影像可預先經由一分群演算法分成複數群影像。
根據本發明一實施例,分群演算法可係一k-平均(k-means)演算法,但本發明不以此為限。在k-means演算法中,使用者可預先決定要將一影像類別所包含之影像分成幾個群(即預先決定每一影像類別所包含之群之個數)。此外,在k-means演算法中,每一群會對應k-means演算法中的一群心。也就是說,群心之數量會和群之數量相同。
根據本發明一實施例,影像分類裝置100可從一影像擷取裝置200取得一目標影像(即目前時間點,影像擷取裝置200所擷取到之影像),並將目標影像加入適當的影像類別中。在本發明之實施例中,在不同時間點,影像擷取裝置200可被移動到不同位置,以擷取不同影像類別(區域)對應之影像。關於如何將目標影像加入適當的影像類別中底下會有更詳細之描述。
根據本發明一實施例,當要將目標影像加入適當的影像類別中時,運算電路120會先擷取目標影像之一特徵向量。在一實施例中,運算電路120可將目標影像輸入一深度學習演算法模型,以取得目標影像對應之特徵向量。在此實施例中,深度學習演算法可係一卷積神經網路(Convolutional Neural Network,CNN)演算法(例如:MobileNet、EfficientNet、ResNet等),但本發明不以此為限。
運算電路120取得目標影像對應之特徵向量後,運算電路120會去計算目標影像對應之特徵向量和每一影像類別之每一群之群心之距離,並取出目標影像對應之特徵向量和每一影像類別所對應之一最短距離。舉例來說,若儲存裝置110中儲存了N個影像類別,且每一影像類別包含之影像被分成M群,目標影像對應之特徵向量為v,則目標影像對應之特徵向量v和每一影像類別所對應之最短距離可表示為:D v,n =min(d v,1 ,d v,2 ,...,d v,m ),n
Figure 111110045-A0305-02-0007-3
{1,2,...,N},m
Figure 111110045-A0305-02-0007-4
{1,2,...,M},其中D v,n 係表示目標影像對應之特徵向量v和第n個影像類別所對應之最短距離,
Figure 02_image009
係表示目標影像對應之特徵向量v和影像類別之每一群之群心之距離。
根據本發明一實施例,運算電路120會去判斷目標影像對應之特徵向量和每一影像類別所對應之最短距離之最小值是否大於一臨界值。
根據本發明一實施例,臨界值可係根據一四分位距(interquartile range,IQR)演算法所計算出,但本發明不以此為限。具體來說,儲存在儲存裝置110之所有影像和其所對應之群心間的距離可預先被計算出來。接著,再根據IQR演算法,將所有影像和其所對應之群心間的距離進行統計,以求得IQR演算法中的第一四分位數Q1、第二四分位數Q2和第三四分位數Q3,以及四分位距IQR(即IQR=Q3-Q1),並將臨界值設定為(Q3+1.5 IQR)。
若目標影像對應之特徵向量和每一影像類別所對應之最短距離之最小值大於臨界值(其意義表示目標影像和每一影像類別都不相似),運算電路120就會決定將此目標影像視為瑕疵影像,並捨棄此目標影像。以上面例子來說,若min(
Figure 02_image011
)
Figure 02_image013
臨界值,運算電路120就會決定捨棄此目標影像。
若目標影像對應之特徵向量和每一影像類別所對應之最短距離之最小值未大於臨界值,運算電路120可藉由一機率分布演算法將目標影像對應之特徵向量和每一影像類別所對應之最短距離的倒數進行一機率分布運算,以取得目標影像對應每一類別之機率(即第一估測結果)。
根據本發明一實施例,機率分布演算法可係一softmax演算法,但本發明不以此為限。softmax演算法可將多類別之數值轉換為分布範圍在[0,1]且總和為1之機率分布。以上面例子為例,目標影像對應每一類別之機率(即第一估測結果)可表示為:
Figure 02_image015
, 其中
Figure 02_image017
係表示目標影像i對應每一類別n(
Figure 02_image003
)之機率。
根據本發明之實施例,運算電路120亦會根據一隱藏式馬可夫模型(Hidden Markov Model,HMM)演算法和一參考影像,去計算目標影像對應每一類別之機率(即第二估測結果)。根據本發明一實施例,相較於目前時間點之目標影像,參考影像可係前一時間點之目標影像,且其所對應之影像類別係儲存裝置110所儲存之複數影像類別之一者。舉例來說,參考影像可係時間點t-1之目標影像,且其對應之影像類別(或區域)為已知(已估算,參考上述說明)。因此,參考影像和其對應之影像類別將可用來估算目前時間點t之目標影像對應每一影像類別之機率(即估算影像擷取裝置200從時間點t-1(參考影像)到目前時間點t(目標影像),參考影像所對應之影像類別(區域)移動到每一影像類別(區域)之機率)。
根據本發明一實施例,儲存裝置110更會儲存每一影像類別(區域)彼此對應之移動機率。具體來說,每一區域彼此對應之移動機率係表示,當影像擷取裝置200在連續之時間點擷取影像時,影像擷取裝置200從一區域移動到另一區域之機率。運算電路120可藉由HMM演算法,根據每一區域彼此對應之移動機率和參考影像對應之影像類別(區域),取得目標影像對應每一影像類別之機率(即第二估測結果)。
根據本發明另一實施例,儲存裝置110更會儲存每一影像類別(區域)彼此對應之距離資訊。更明確地來說,每一影像類別(區域)彼此對應之距離Z i,j會被預先量測,並記錄在儲存裝置110,其中Z i,j係表示從區域i移動到區域j之距離。此外,在此實施例中,運算電路120可根據一第一演算法取得目標影像和參考影像間的一位移資訊。
在一實施例中,第一演算法可係一影像比對演算法(例如:特徵點比對演算法)。在此實施例中,運算電路120可比對目標影像和參考影像包含之特徵點,並計算特徵點移動了多少畫素。運算電路120取得移動之畫素後,由於畫素與距離具有比例關係,即可推估參考影像和目標影像間的距離變化d(即位移資訊)。
在另一實施例,第一演算法可係一慣性測量單元(Inertial measurement unit,IMU)演算法。在此實施例中,運算電路120可根據參考影像之慣性測量單元(IMU)資訊和目標影像之慣性測量單元(IMU)資訊,取得參考影像和目標影像加速度變化和時間變化,進而估算出參考影像和目標影像間的距離變化d(即位移資訊)。
取得位移資訊後,運算電路120可藉由HMM演算法,根據每一影像類別(區域)彼此對應之距離資訊(即距離Z i,j)、參考影像對應之影像類別(區域) (例如:區域i)和計算出之位移資訊(即距離變化d),取得目標影像對應每一影像類別之機率(即第二估測結果)。具體來說,運算電路120可將距離變化d和距離Z i,j之差距(即
Figure 02_image019
)帶入一機率密度函數中,以產生一機率密度函數分布圖(即第二估測結果)。舉例來說,運算電路120會將距離變化d和距離Z i,j之差距(即
Figure 02_image019
)帶入一指數分布函數中:
Figure 02_image021
, 其中運算電路120將距離變化d和距離Z i,j之差距(即
Figure 02_image019
)作為指數分布函數之輸入值x。在此實施例中,距離變化d和距離Z i,j之差距(即
Figure 02_image019
)越小,表示從區域i(即參考影像對應之區域)移動到所對應到區域j(即目標影像可能對應到之區域)之機率值會越大。運算電路120可藉由該實施例估算目標影像對應每一影像類別之機率(即第二估測結果)。
根據本發明另一實施例,儲存裝置110更會儲存每一影像類別(區域)彼此對應之角度資訊。更明確地來說,每一影像類別(區域)此對應之角度r i,j會被預先量測,並記錄在儲存裝置110,其中r i,j係表示從區域i移動到區域j之角度。此外,在此實施例中,運算電路120根據一第二演算法取得目標影像和參考影像間的一角度變化資訊。
在一實施例,第二演算法可係一慣性測量單元演算法。在此實施例中運算電路120可根據參考影像之慣性測量單元(IMU)資訊和目標影像之慣性測量單元(IMU)資訊,取得參考影像和目標影像角速度變化和時間變化,估算出參考影像和目標影像間的轉動角度變化c(即角度變化資訊)。
取得角度變化資訊後,運算電路120可藉由HMM演算法,根據每一影像類別(區域)彼此對應之角度資訊(即角度r i,j)、參考影像對應之影像類別(區域) (例如:區域i)和角度變化資訊(即轉動角度變化c),取得目標影像對應每一影像類別之機率(即第二估測結果)。具體來說,運算電路120可將轉動角度變化c和角度r i,j之差距(即
Figure 02_image023
)帶入一機率密度函數中,以產生一機率密度函數分布圖(即第二位置估測結果)。舉例來說,運算電路120會將轉動角度變化c和角度r i,j之差距(即
Figure 02_image023
)帶入一指數分布函數中:
Figure 02_image021
, 其中運算電路120將轉動角度變化c和角度r i,j之差距(即
Figure 02_image023
)作為指數分布函數之輸入值x。在此實施例中,轉動角度變化c和角度r i,j之差距(即
Figure 02_image023
)越小,表示從區域i(即參考影像對應之區域)移動到所對應到區域j(即目標影像可能對應到之區域)之機率值會越大。運算電路120可藉由該實施例估算目標影像對應每一影像類別之機率(即第二估測結果)。
根據本發明之一實施例,當運算電路120取得第一估測結果和第二估測結果後,分類電路130可將第一估測結果和第二估測結果相乘,以取得一第三估測結果。接著,分類電路130可根據第三估測結果中的最大值,將目標影像加入對應第三估測結果中的最大值之影像類別(即目標影像最有可能對應之影像類別)中。舉例來說,若第一估測結果係
Figure 02_image017
且第二估測結果係
Figure 02_image025
,第三估測結果和第三估測結果中的最大值可分別表示為:
Figure 02_image027
Figure 02_image029
其中
Figure 02_image031
係表示對應目標影像i之第三估測結果,
Figure 02_image033
係表示第三估測結果中的最大值。
根據本發明之另一實施例,當運算電路120取得第一估測結果和第二估測結果後,分類電路130可將第一估測結果乘以一第一權重值,以產生一第一結果,且將第二估測結果乘以一第二權重值,以產生一第二結果。接著,分類電路130可將第一結果和第二結果相加,以產生一第三估測結果。最後,分類電路130可根據第三估測結果中的最大值,將目標影像加入對應第三估測結果中的最大值之影像類別(即目標影像最有可能對應之影像類別)中。舉例來說,若第一估測結果係{p i,1 ,p i,2 ,...,p i,N }且第二估測結果係{h i,1 ,h i,2 ,...,h i,N },第三估測結果和第三估測結果中的最大值可分別表示為:P i,n =w 1×p i,n +w 2×h i,n ,n
Figure 111110045-A0305-02-0013-5
{1,2,...,N},C i =argmax(P i,1 ,P i,2 ,...,P i,N )其中P i,n 係表示對應目標影像i之第三估測結果,w 1係表示第一權重值,w 2係表示第二權重值,C i 係表示第三估測結果中的最大值。
根據本發明之一實施例,當分類電路130將目標影像加入對應第三估測結果中的最大值之影像類別中後,分類電路130可再藉由分群演算法(例如:k-means演算法),更新加入目標影像之影像類別對應之資訊。舉例來說,目標影像加入一影像類別後,該影像類別所包含之每一群之群心可能會發生改變,用以更加準確地判斷下一時間點或下一張之目標影像所對應之影像類別。
第2圖係根據本發明之一實施例所述之一影像分類方法之流程圖。影像分類方法可適用影像分類裝置100。如第2圖所示,在步驟S210,影像分類裝置100從一影像擷取裝置取得一目標影像。
在步驟S220,影像分類裝置100之運算電路取得目標影像對應之一特徵向量。
在步驟S230,影像分類裝置100之運算電路根據複數影像類別對應之資訊和目標影像對應之特徵向量,取得對應標影像之一第一估測結果。
在步驟S240,影像分類裝置100之運算電路根據隱藏式馬可夫模型(Hidden Markov Model,HMM)演算法和一參考影像,取得對應目標影像之一第二估測結果,其中參考影像對應上述複數影像類別之一者。
在步驟S250,影像分類裝置100之分類電路根據第一估測結果和第二估測結果,將目標影像加入複數影像類別之一者。
根據本發明一實施例,在影像分類方法中,每一影像類別可包括複數群影像。
根據本發明一實施例,在影像分類方法之步驟430中,影像分類裝置100之運算電路可根據目標影像對應之特徵向量和每一影像類別之每一群影像之群心,分別計算出目標影像對應之特徵向量對應每一影像類別之最短距離。
根據本發明一實施例,在影像分類方法中,當目標影像對應之特徵向量對應每一影像類別之最短距離之最小值大於臨界值時,影像分類裝置100之運算電路可捨棄目標影像。當目標影像對應之特徵向量對應每一影像類別之最短距離之最小值未大於臨界值時,影像分類裝置100之運算電路根據目標影像對應之特徵向量對應每一上述影像類別之最短距離和一機率分布演算法,計算出第一估測結果。
根據本發明一實施例,在影像分類方法之步驟450中,影像分類裝置100之分類電路可將第一估測結果和第二估測結果相乘,以取得一第三估測結果,並根據第三估測結果將目標影像加入複數影像類別之一者。
根據本發明另一實施例,在影像分類方法之步驟450中,影像分類裝置100之分類電路可將第一估測結果乘以一第一權重值,以產生一第一結果,且將第二估測結果乘以一第二權重值,以產生一第二結果。接著,影像分類裝置100之分類電路可將第一結果和第二結果相加,以產生一第三估測結果,並根據第三估測結果將目標影像加入複數影像類別之一者。
根據本發明一實施例,在影像分類方法中,在將目標影像加入複數影像類別之一者後,影像分類裝置100之分類電路可更新加入目標影像之影像類別對應之資訊。
根據本發明提出之影像分類方法,將可藉由影像分類裝置更精確地取得目標影像所對應之影像類別。此外,根據本發明提出之影像分類方法,將可藉由影像分類裝置持續地更新每一影像類別所對之資訊,以增加後續影像分類之準確性。
本說明書中以及申請專利範圍中的序號,例如「第一」、「第二」等等,僅係為了方便說明,彼此之間並沒有順序上的先後關係。
本發明之說明書所揭露之方法和演算法之步驟,可直接透過執行一處理器直接應用在硬體以及軟體模組或兩者之結合上。一軟體模組(包括執行指令和相關數據)和其它數據可儲存在數據記憶體中,像是隨機存取記憶體(RAM)、快閃記憶體(flash memory)、唯讀記憶體(ROM)、可抹除可規化唯讀記憶體(EPROM)、電子可抹除可規劃唯讀記憶體(EEPROM)、暫存器、硬碟、可攜式應碟、光碟唯讀記憶體(CD-ROM)、DVD或在此領域習之技術中任何其它電腦可讀取之儲存媒體格式。一儲存媒體可耦接至一機器裝置,舉例來說,像是電腦/處理器(為了說明之方便,在本說明書以處理器來表示),上述處理器可透過來讀取資訊(像是程式碼),以及寫入資訊至儲存媒體。一儲存媒體可整合一處理器。一特殊應用積體電路(ASIC)包括處理器和儲存媒體。一用戶設備則包括一特殊應用積體電路。換句話說,處理器和儲存媒體以不直接連接用戶設備的方式,包含於用戶設備中。此外,在一些實施例中,任何適合電腦程序之產品包括可讀取之儲存媒體,其中可讀取之儲存媒體包括和一或多個所揭露實施例相關之程式碼。在一些實施例中,電腦程序之產品可包括封裝材料。
以上段落使用多種層面描述。顯然的,本文的教示可以多種方式實現,而在範例中揭露之任何特定架構或功能僅為一代表性之狀況。根據本文之教示,任何熟知此技藝之人士應理解在本文揭露之各層面可獨立實作或兩種以上之層面可以合併實作。
雖然本揭露已以實施例揭露如上,然其並非用以限定本揭露,任何熟習此技藝者,在不脫離本揭露之精神和範圍內,當可作些許之更動與潤飾,因此發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像分類裝置
110:儲存裝置
120:運算電路
130:分類電路
200:影像擷取裝置
S210~S250:步驟
第1圖係顯示根據本發明之一實施例所述之一影像分類裝置100之方塊圖。 第2圖係根據本發明之一實施例所述之影像分類方法之流程圖。
S210~S250:步驟

Claims (12)

  1. 一種影像分類裝置,包括:一儲存裝置,儲存複數影像類別對應之資訊;以及一運算電路,耦接上述儲存裝置,從一影像擷取裝置取得一目標影像,並取得上述目標影像對應之一特徵向量,其中上述運算電路根據上述複數影像類別對應之上述資訊和上述特徵向量,取得對應上述目標影像之一第一估測結果,且其中上述運算電路根據一參考影像,取得對應上述目標影像之一第二估測結果,其中上述參考影像對應上述複數影像類別之一者;以及一分類電路,耦接上述運算電路,其中上述分類電路根據上述第一估測結果和上述第二估測結果,將上述目標影像加入上述複數影像類別之一者,其中上述分類電路將上述第一估測結果和上述第二估測結果相乘,以取得一第三估測結果,並根據上述第三估測結果將上述目標影像加入上述複數影像類別之一者。
  2. 如請求項1之影像分類裝置,其中上述每一上述影像類別包括複數群影像。
  3. 如請求項2之影像分類裝置,其中上述運算電路根據上述特徵向量和每一上述影像類別之每一群影像之群心,分別計算出上述特徵向量對應上述每一上述影像類別之最短距離。
  4. 如請求項3之影像分類裝置,其中當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值大於一臨界值時,上述運算電路捨棄上述目標影像。
  5. 如請求項3之影像分類裝置,其中當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值未大於一臨界值時,上述運算電路根據上述特徵向量對應上述每一上述影像類別之上述最短距離和一機率分布演算法,計算出上述第一估測結果。
  6. 如請求項1之影像分類裝置,其中上述分類電路將上述目標影像加入上述複數影像類別之一者後,更新加入上述目標影像之上述影像類別對應之上述資訊。
  7. 一種影像分類方法,適用一影像分類裝置,包括:從一影像擷取裝置取得一目標影像;藉由上述影像分類裝置之一運算電路取得上述目標影像對應之一特徵向量;藉由上述運算電路根據上述複數影像類別對應之資訊和上述特徵向量,取得對應上述目標影像之一第一估測結果;藉由上述運算電路根據一參考影像,取得對應上述目標影像之一第二估測結果,其中上述參考影像對應上述複數影像類別之一者;以及 藉由上述分類電路將上述第一估測結果和上述第二估測結果相乘,以取得一第三估測結果,並根據上述第三估測結果將上述目標影像加入上述複數影像類別之一者。
  8. 如請求項7之影像分類方法,其中上述每一上述影像類別包括複數群影像。
  9. 如請求項8之影像分類方法,更包括:藉由上述運算電路根據上述特徵向量和每一上述影像類別之每一群影像之群心,分別計算出上述特徵向量對應上述每一上述影像類別之最短距離。
  10. 如請求項9之影像分類方法,更包括:當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值大於一臨界值時,藉由上述運算電路捨棄上述目標影像。
  11. 如請求項9之影像分類方法,更包括:當上述特徵向量對應上述每一上述影像類別之上述最短距離之最小值未大於一臨界值時,藉由上述運算電路根據上述特徵向量對應上述每一上述影像類別之上述最短距離和一機率分布演算法,計算出上述第一估測結果。
  12. 如請求項7之影像分類方法,更包括:藉由上述分類電路將上述目標影像加入上述複數影像類別之一者後,更新加入上述目標影像之上述影像類別對應之上述資訊。
TW111110045A 2022-03-18 2022-03-18 影像分類裝置和方法 TWI806500B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW111110045A TWI806500B (zh) 2022-03-18 2022-03-18 影像分類裝置和方法
CN202210350403.3A CN116824199A (zh) 2022-03-18 2022-04-02 图像分类装置和方法
US17/847,739 US20230298316A1 (en) 2022-03-18 2022-06-23 Image classifying device and method
EP22186669.2A EP4246461A1 (en) 2022-03-18 2022-07-25 Image classifying device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111110045A TWI806500B (zh) 2022-03-18 2022-03-18 影像分類裝置和方法

Publications (2)

Publication Number Publication Date
TWI806500B true TWI806500B (zh) 2023-06-21
TW202338728A TW202338728A (zh) 2023-10-01

Family

ID=82703037

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111110045A TWI806500B (zh) 2022-03-18 2022-03-18 影像分類裝置和方法

Country Status (4)

Country Link
US (1) US20230298316A1 (zh)
EP (1) EP4246461A1 (zh)
CN (1) CN116824199A (zh)
TW (1) TWI806500B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI528197B (zh) * 2013-09-26 2016-04-01 財團法人資訊工業策進會 相片分群系統及相片分群方法與電腦可讀取記錄媒體
TWI622020B (zh) * 2016-09-26 2018-04-21 財團法人成大研究發展基金會 使用二階區域二元圖的分群方法及疊代影像測試系統
TWI731542B (zh) * 2019-11-15 2021-06-21 財團法人資訊工業策進會 分類模型生成裝置及其分類模型生成方法
TWI744000B (zh) * 2020-09-21 2021-10-21 財團法人資訊工業策進會 影像標記裝置、方法及其電腦程式產品
TWI752455B (zh) * 2019-11-11 2022-01-11 大陸商深圳市商湯科技有限公司 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介
TW202203152A (zh) * 2020-05-22 2022-01-16 加拿大商日本電產理德檢驗加拿大股份有限公司 訓練自動缺陷分類之檢測儀器的方法與系統及其儲存媒體

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI721553B (zh) * 2019-09-06 2021-03-11 廣達電腦股份有限公司 牙區辨識系統
TWI744083B (zh) * 2020-11-10 2021-10-21 廣達電腦股份有限公司 口腔區域定位裝置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI528197B (zh) * 2013-09-26 2016-04-01 財團法人資訊工業策進會 相片分群系統及相片分群方法與電腦可讀取記錄媒體
TWI622020B (zh) * 2016-09-26 2018-04-21 財團法人成大研究發展基金會 使用二階區域二元圖的分群方法及疊代影像測試系統
TWI752455B (zh) * 2019-11-11 2022-01-11 大陸商深圳市商湯科技有限公司 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介
TWI731542B (zh) * 2019-11-15 2021-06-21 財團法人資訊工業策進會 分類模型生成裝置及其分類模型生成方法
TW202203152A (zh) * 2020-05-22 2022-01-16 加拿大商日本電產理德檢驗加拿大股份有限公司 訓練自動缺陷分類之檢測儀器的方法與系統及其儲存媒體
TWI744000B (zh) * 2020-09-21 2021-10-21 財團法人資訊工業策進會 影像標記裝置、方法及其電腦程式產品

Also Published As

Publication number Publication date
CN116824199A (zh) 2023-09-29
EP4246461A1 (en) 2023-09-20
US20230298316A1 (en) 2023-09-21
TW202338728A (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
US9613298B2 (en) Tracking using sensor data
EP3882820A1 (en) Node classification method, model training method, device, apparatus, and storage medium
JP5806606B2 (ja) 情報処理装置、情報処理方法
CN109323709B (zh) 视觉里程计方法、装置和计算机可读存储介质
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
JP2019046334A (ja) 分類モデル生成装置、画像データ分類装置およびそれらのプログラム
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111783997A (zh) 一种数据处理方法、装置及设备
JP5674550B2 (ja) 状態追跡装置、方法、及びプログラム
JP7384217B2 (ja) 学習装置、学習方法、及び、プログラム
JP5557189B2 (ja) 位置推定装置、位置推定方法及びプログラム
CN111914908A (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
US20220254148A1 (en) Defect detecting method based on dimensionality reduction of data, electronic device, and storage medium
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
CN109544632B (zh) 一种基于层次主题模型的语义slam对象关联方法
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
TWI806500B (zh) 影像分類裝置和方法
CN112580565A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110956131A (zh) 单目标追踪方法、装置及系统
JP2020166315A (ja) 学習データの生成方法、トレーニング方法、予測モデル、コンピュータプログラム
CN114511715A (zh) 一种驾驶场景数据挖掘方法
US10304181B2 (en) Method, apparatus for attitude estimating, and non-transitory computer-readable storage medium
US20220050997A1 (en) Method and system for processing an image by determining rotation hypotheses