TWI738131B - 影像系統及檢測方法 - Google Patents

影像系統及檢測方法 Download PDF

Info

Publication number
TWI738131B
TWI738131B TW108143482A TW108143482A TWI738131B TW I738131 B TWI738131 B TW I738131B TW 108143482 A TW108143482 A TW 108143482A TW 108143482 A TW108143482 A TW 108143482A TW I738131 B TWI738131 B TW I738131B
Authority
TW
Taiwan
Prior art keywords
value
clustering
processing unit
imaging system
neural network
Prior art date
Application number
TW108143482A
Other languages
English (en)
Other versions
TW202121335A (zh
Inventor
張均東
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW108143482A priority Critical patent/TWI738131B/zh
Priority to CN201911232929.6A priority patent/CN112861900B/zh
Priority to US16/776,491 priority patent/US11398057B2/en
Publication of TW202121335A publication Critical patent/TW202121335A/zh
Application granted granted Critical
Publication of TWI738131B publication Critical patent/TWI738131B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本揭示內容關於一種影像系統之檢測方法，包含下列步驟：透過影像系統之處理單元，接收多個終端裝置傳來的多的辨識標記資料組。判斷辨識標記資料組與影像資料的匹配程度值，且從儲存單元內取得對應於該些終端裝置的多個權重值。將權重值及對應的匹配程度值設定為多個標記點，且透過分群演算法，將標記點分為多個標記分群。計算出最大的標記分群的分群重心點，其中分群重心點對應於分群權重值及分群匹配值。在分群權重值或分群匹配值符合調整條件的情況下，根據最大的標記分群校正神經網路單元。

Description

影像系統及檢測方法
本揭示內容關於一種影像系統及檢測方法，特別是能接收影像，並對影像進行標記的技術。
科技的進步正逐漸改變著人們的生活。以影像辨識技術為例，透過人工智慧(Artificial Intelligence)、機器學習(Machine Learning)與網路技術的結合，電腦將能自動地進行精確的判斷及動作，而被廣泛地應用於道路交通、醫療保健、工業生產等各層面。
然而，影像辨識技術需要大量的資料，以對電腦進行機器學習並建構出學習模型。此外，用以機器學習的資料還必須經過標記(label)而分類儲存。「標記」係指將影像中的特定物件進行標示，例如：在一張影像中圈選出「汽車」的對應範圍。標記的正確性將直接影響到電腦的機器學習之效果。
本揭示內容之一態樣為一種影像系統之檢測 方法，包含下列步驟：透過影像系統之處理單元接收複數個終端裝置傳來的複數個辨識標記資料組。辨識標記資料組對應於儲存單元內的影像資料。判斷辨識標記資料組與影像資料間的匹配程度值，且匹配程度值對應於終端裝置。從儲存單元中取得對應於終端裝置的複數個權重值。將權重值與對應之匹配程度值設定為標記點，且透過分群演算法，將標記點分為複數個標記分群。根據該些標記分群中之最大者，計算分群重心點。分群重心點對應於分群權重值及分群匹配值。在判斷分群權重值或分群匹配值符合調整條件的情況下，根據標記分群中之最大者校正神經網路單元。
本揭示內容之另一態樣為一種影像系統，包含神經網路單元、儲存單元及處理單元。儲存單元用以儲存影像資料及複數個權重值。權重值對應於連線至影像系統的複數個終端裝置。處理單元電性或通訊連接於儲存單元及神經網路單元。處理單元用以根據終端裝置傳來的複數個辨識標記資料組，判斷辨識標記資料組與影像資料間的複數個匹配程度值。處理單元還用以將權重值與對應之匹配程度值設定為複數個標記點，且透過分群演算法將標記點分為複數個標記分群。處理單元還用以根據該些標記分群中之最大者，計算分群重心點，且在判斷分群重心點符合調整條件的情況下，根據標記分群中之最大者校正神經網路單元。
據此，透過多個終端裝置提供的複數個辨識標記資料組，處理單元將能設定標記點，並透過分群演算法，判斷標記點的匹配程度趨勢。若標記點呈現出的匹配程度趨 勢不符合常理(如：權重值高者雀匹配程度低)，代表神經網路單元的預測能力不夠完善，而可對神經網路單元做進一步的校正，輸入新的學習資料，以更新神經網路單元內的影像辨識程式。
100‧‧‧影像系統
110‧‧‧處理單元
120‧‧‧儲存單元
121‧‧‧影像模組
130‧‧‧神經網路單元
131‧‧‧影像辨識程式
210‧‧‧終端裝置
220‧‧‧終端裝置
230‧‧‧終端裝置
Dim‧‧‧影像資料
Dtest‧‧‧測試影像
Dt1‧‧‧辨識標記組
Dt2‧‧‧辨識標記組
Dt3‧‧‧辨識標記組
Dt0‧‧‧預測標記
Dpre‧‧‧預測資料組
Dcr‧‧‧正確標記資料組
Dor‧‧‧原始影像
N‧‧‧網際網路
S601~S608‧‧‧步驟
T1‧‧‧標記框
T2‧‧‧標記框
P1‧‧‧標記點
P2‧‧‧標記點
P3‧‧‧標記點
G1‧‧‧分群點
G2‧‧‧分群點
G3‧‧‧分群點
G4‧‧‧分群點
G5‧‧‧分群點
G6‧‧‧分群點
G7‧‧‧分群重心點
L1‧‧‧第一分群線
L2‧‧‧第二分群線
L3‧‧‧第三分群線
Wc‧‧‧權重值
W1‧‧‧權重值
W2‧‧‧權重值
W3‧‧‧權重值
S‧‧‧伺服器
第1A及1B圖為根據本揭示內容之部分實施例所繪示的影像系統的示意圖。
第2圖為根據本揭示內容之部分實施例所繪示的影像資料的示意圖。
第3圖為根據本揭示內容之部分實施例所繪示的辨識標記的示意圖。
第4A~4H圖為根據本揭示內容之部分實施例所繪示的分群演算法的示意圖。
第5圖為根據本揭示內容之部分實施例所繪示的標記分群的示意圖。
第6圖為根據本揭示內容之部分實施例所繪示的檢測方法的流程圖。
第7圖為根據本揭示內容之部分實施例中影像系統設定權重值的示意圖。
以下將以圖式揭露本發明之複數個實施方 式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。
於本文中，當一元件被稱為「連接」或「耦接」時，可指「電性連接」或「電性耦接」。「連接」或「耦接」亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用「第一」、「第二」、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。除非上下文清楚指明，否則該用語並非特別指稱或暗示次序或順位，亦非用以限定本發明。
請參閱第1A及1B圖所示，係根據本揭示內容之部份實施例所繪示的影像系統100之示意圖。影像系統100包含處理單元110、儲存單元120及神經網路單元130。在部份實施例中，處理單元110、儲存單元120及神經網路單元130係設於同一伺服器S中，用以提供影像辨識、標記及模型建立之雲端服務。使用者透過終端裝置210~230將至少一張影像上傳至伺服器S，且透過伺服器S提供的雲端影像辨識程式131，辨識並標記出影像內的各物件。舉例而言，伺服器S可透過神經網路單元130，辨識一張「都市道路」的照片，辨識出影像照片內的汽車、紅綠燈等物件，並分別加以標記及分類(例如：圈選出一輛小客車，並分類到「汽車」中)。在其他部份實施例中，神經網路單元130亦可設於其他電腦主機 中，且與處理單元110相連線。
神經網路單元130中包含多組辨識檔案，用以與待測的影像進行比對。舉例而言，辨識檔案中包含「汽車」在各種角度或光線下的影像，或包含多種不同類型的汽車影像，使得神經網路單元130能透過比對，判斷出待測影像內是否具有對應於「汽車」分類之物件。在部份實施例中，神經網路單元130為一種卷積神經網路(Convolutional Neural Networks)，用以根據多組辨識檔案進行深度學習，但神經網路單元130並不以此類型為限。由於本領域人士了解神經網路的基本架構與運作原理，故在此即不贅述。
神經網路單元130雖能分析使用者上傳的圖像，並辨識、標記各個物件，但仍需要定期進行機器學習，更新資料庫，方能確保辨識與標記的準確性。本揭示內容的其中一目的，就是提供一種預測方式，使影像系統S能判斷是否需要對神經網路單元130進行校正(adjust)。前述「校正」係指輸入新的學習資料至神經網路單元130，學習資料包含圖像以及圖像內各物件的標記(如：區域座標)，使神經網路單元130更新其內部的資料檔案。
請參閱第1A圖所示，儲存單元120用以儲存至少一筆影像資料Dim及多個權重值Wc(Weight coefficients)。在本實施例中，儲存單元120儲存有多筆影像資料Dim。儲存單元120可包含但不限於快閃(flash)記憶體、硬碟(HDD)、固態硬碟(SSD)、動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)。權重值Wc分別對 應於連線至伺服器S的多個終端裝置210~230。如第1A圖所示，在本實施例中，權重值Wc又可細分為權重值W1~W3，且分別對應於終端裝置210~230。前述「對應於終端裝置」亦指權重值W1~W3分別對應於不同的使用者，且處理單元110可辨識出不同的終端裝置210~230。舉例而言，終端裝置210~230的用戶以特定帳號連線至伺服器S，使得伺服器S能根據帳號辨識出用戶，且帳號會對應於權重值Wc。權重值Wc之相關細節及設定方式將於後續段落中說明。
為便於說明本案的運作方式，在此以圖式說明「標記」之動作。請參閱第2圖所示，為影像資料Dim的一種示意圖。影像資料Dim包含需要進行辨識與標記的原始影像Dor。在第2圖中，標記框T1的邊緣皆對應於交通號誌的邊緣，屬於正確且理想的標記範圍。標記框T2則為略有偏差。判斷「標記」之匹配程度值(Intersection over Union，簡稱IoU)的定義為：兩張圖像的交集面積除以兩張圖像的聯集面積。以第2圖為例，若以標記框T1為「對照標記」、標記框T2為「辨識標記」，則標記框T2的匹配程度值為「T1、T2的交集面積除以T1、T2的聯集面積」。
在部份實施例中，神經網路單元130用以透過深度學習，建立影像辨識程式131(或稱辨識模組)，以對使用者上傳的影像進行辨識及標記。如前所述，為了讓影像辨識程式131不斷地透過機器學習，提昇其精確性，影像系統100必須判斷神經網路單元130是否需要根據新的學習資料，對神經網路單元130進行校正。在本實施例中，處理單元110 即用以執行此一判斷動作。
處理單元110可包含但不限於單一處理器以及多個微處理器之集成，例如：中央處理器(Central Processing Unit,CPU)或繪圖處理器(Graphic Processing Unit,GPU)等。如第1B圖所示，處理單元110電性或通訊連接於儲存單元120及神經網路單元130，且透過網際網路N，將儲存單元120之影像資料Dim傳送給該些終端裝置210~230。在部份實施例中，影像資料Dim除了包含圖像外，還包含了神經網路單元130對影像資料Dim中的圖像進行自動預測後的預測資料組Dpre。
終端裝置210~230在接收到影像資料Dim後，終端裝置210~230對影像資料Dim進行標記，以產生多個辨識標記資料組(如第1B圖所示之Dt1、Dt2)。請參閱第3圖所示，舉例而言，每位使用者透過終端裝置210連上伺服器S後，透過伺服器S瀏覽影像資料Dim。使用者瀏覽影像資料Dim中的原始影像Dor以及預測資料組Dpre中的多個預測標記Dt0(第3圖中僅繪示其中之一)。使用者可對原始影像Dor中的預測標記Dt0進行調整(如：調整預測標記Dt0的面積、區域或位置)，確保標記範圍正確地對應到物件，以產生辨識標記組Dt1。在第3圖中，僅繪示出影像資料Dim的一個物件，但實際上，影像資料Dim中會包含大量的物件，因此使用者會透過終端裝置210~230標記多個預測標記。意即，辨識標記組Dt1包含一個或多個標記範圍。
在部份實施例中，終端裝置210~230產生的 辨識標記資料組Dt1~Dt3包含一組座標值或一個區域標記，用以對應於影像資料Dim中的某個區域。舉例而言，辨識標記資料組包含二對角座標值，用以對應於影像資料Dim中的一個矩形區域。例如：辨識標記資料組Dt1包含兩個座標「3，6」及「10，8」，座標「3，6」及「10，8」可視為一個矩形面積的兩個對角端點，該矩形面積即為終端裝置210標記影像資料Dim的標記結果。
處理單元110用以接收辨識標記資料組Dt1~Dt3，並根據辨識標記資料組Dt1~Dt3判斷每一個辨識標記資料組Dt1~Dt3與影像資料Dim的匹配程度值。「匹配程度值」代表辨識標記資料組Dt1~Dt3與預測的物件之間的對應程度(即，標記的正確性)。匹配程度值的計算方式將於後續段落中詳細說明。
在計算出匹配程度值後，處理單元110將對應於同一個終端裝置210~230的權重值W1~W3及計算出的匹配程度值設定為標記點。舉例而言，若終端裝置210對應的權重值為「0.6」，且其產生的標記資料組Dt1與影像資料Dim之間的匹配程度值為「85%」，則標記點即為橫軸座標為0.6、縱軸座標為「85」的座標點。
承上，在設定複數個標記點後，透過分群演算法，將標記點分為複數個標記分群。處理單元110根據所有標記分群中最大的一群中的標記點，計算出分群重心點。若分群重心點符合伺服器S內預設的調整條件，則處理單元110根據最大的該群標記分群，對神經網路單元130進行校正。
請參閱第4A~4H圖所示，為分群演算法的示意圖。第4A~4H圖中之座標圖的縱軸為匹配程度(IoU，介於0~100之間)、橫軸則為權重值(W，介於0~1之間)。處理單元110計算出每個終端裝置210~230對應的匹配程度值後，將搭配權重值，設定標記點。如第4A圖所示，每個標記點都對應於終端裝置210~230中的其中之一。例如標記點P1對應於終端裝置210，且分別對應匹配程度值「50%」、權重值「0.35」，因此標記點P1的座標即為「0.35，50」。同理，標記點P2、P3分別對應於終端裝置220~230。
在部份實施例中，分群演算法為K-means分群演算法。在執行分群演算法時，處理單元110將隨機挑選任意個初始分群點，初始分群點的數量將取決於最後分群的數量。標記分群的數量可由處理單元110決定。以第4B圖為例，處理單元110先隨機設定兩個初始分群點G1、G2。接著，處理單元110計算每個標記點到兩個初始分群點G1、G2的距離，且將標記點分類到較近的初始分群點。如第4C圖所示，標記點P2與初始分群點G1的距離小於標記點P2與初始分群點G2的距離，因此標記點P2被分類對應於初始分群點G1。
如第4D圖所示，在計算出每個標記點到兩個初始分群點G1、G2的距離後，所有的標記點皆分別對應到一個初始分群點，而形成兩個分群(如：標記點P4~P6對應於初始分群點G2)。初步分群可由第一分群線L1區隔。接著，處理單元110再分別計算每個分群的重心點，而將原先的初始分群點G1、G2更新為新的分群點G3、G4(如第4E圖所示)。
在取得分群點G3、G4後，處理單元110再次計算每個標記點到兩個分群點G3、G4的距離，使得所有的標記點皆分別對應到分群點G3或分群點G4。如第4F及4G圖所示，重新計算每個標記點的分群歸屬之後，將會形成第二分群線L2，以區隔出新的分群。接著，如第4G圖所示，再計算每個新的分群的更新點，以將分群點G3、G4更新為分群點G5、G6。以此類推，反覆地執行「計算每個標記點對於分群點的距離」、「更新分群」、「將更新後的分群的重心點設定為分群點」。如第4H圖所示，最後產生的分群點G5、G6即分別代表兩個標記分群(兩個標記分群分別位於第三分群線L3的兩側)。由於本領域人士能理解K-means分群演算法的數學原理及公式，故在此不再贅述。此外，在部份實施例中，處理單元110亦可使用K-medians演算法或Hierarchical演算法來產生多個標記分群。
如第4H圖所示，在該實施例中，分群點G5所對應的標記分群具有7個標記點，分群點G6所對應的標記分群具有6個標記點，因此分群點G5所對應的標記分群為「最大的標記分群」，且分群點G5即為「最大的標記分群」的分群重心點。「重心點」係指一個標記分群中，和每個標記點的距離總和最小的位置點。重心點對應於分群權重值(如：橫向座標值為0.8)及分群匹配值(如：縱向座標值為85%)。
處理單元110用以根據計算出的分群重心點(如：第4H圖所示的G5)，判斷是否符合調整條件。調整條件可為一個權重門檻值或一個匹配門檻值，或同時包含權重 門檻值及匹配門檻值。例如：權重門檻值為「0.6」、匹配門檻值為「70」。以常理而言，影像標記之經驗較豐富者，應該會具有較準確的標記能力，對應的匹配程度應該也較高。因此，若最大群的標記分群的重心點對應到的分群權重值過低(即，分群重心點的分群權重值低於權重門檻值)，代表大部分的標記結果都靠近「經驗較低者」。此一狀況與常理不符，故應對神經網路單元130進行校正。
同理，若最大群的標記分群的重心點對應到的分群匹配值過低(即，分群重心點的分群匹配值低於匹配門檻值)，代表大部分的標記結果的匹配程度都不高，也屬於異常，符合調整條件，應對神經網路單元130進行校正。
在部份實施例中，當處理單元110判斷分群重心點符合調整條件，而須對神經網路單元130進行校正時，處理單元110將根據最大群的標記分群中的所有標記點，取得對應之辨識標記資料組，並將這些辨識標記資料組設為新的學習資料，使神經網路單元130進行深度學習。
據此，透過將辨識標記資料組對應的匹配程度值及權重值設定為標記點，並計算出最大分群的分群重心點，處理單元110將能判斷神經網路單元130的預測結果與終端裝置210~230之使用者的辨識結果間是否大致吻合。若處理單元110判斷神經網路單元130的預測結果與終端裝置210~230之使用者的辨識結果間具有偏差、符合調整條件，即可選擇性地將辨識標記資料組作為學習資料，以校正神經網路單元130。
請參閱第5圖所示，若處理單元110將辨識標記資料組對應的匹配程度值及權重值設定為標記點後，取得的標記分群為「權重值低者對應於較高的匹配程度」，此一趨勢將不符合常理(如第5圖所示，分群重心點G7對應的權重值偏低)。處理單元110能將此一狀況認定為符合調整條件(即，分群權重值低於權重門檻值)。另外，在其他實施例中，若處理單元110將辨識標記資料組對應的匹配程度值及權重值設定為標記點後，取得的標記分群為「多數標記點的匹配程度皆過低」(即，多數標記點對應的匹配程度值都過低)，代表神經網路單元130提供的預測資料組Dpre與終端裝置210~230上傳的辨識標記資料組Dt1~Dt3皆有明顯差異，應該校正神經網路單元130。因此，此一情況亦可判斷為符合調整條件(即，分群匹配值低於匹配門檻值)。
在此說明「匹配程度值」的計算方式如後。在部份實施例中，神經網路單元130對影像資料Dim進行運算，以取得預測資料組(如第3圖所示的Dt0)。處理單元110比對各辨識標記資料組Dt1~Dt3與預測資料組間的相似程度，以將比對結果作為匹配程度值。意即，「匹配程度值」的計算式為：「預測資料組與辨識標記組的交集面積」除以「預測資料組與辨識標記組的聯集面積」。若以第3圖為例，計算式即為「Dt0及Dt1的交集面積除以Dt0及Dt1的聯集面積」
在其他實施例中，處理單元110比對辨識標記資料組之間的相似程度，以將比對結果作為匹配程度值。 舉例而言，處理單元110接收到終端裝置210~230傳來的辨識標記資料組Dt1~Dt3。在計算終端裝置210之辨識標記資料組Dt1對應的匹配程度值時，計算式為：「辨識標記資料組Dt1與另一個辨識標記資料組的交集面積」除以「辨識標記資料組Dt1與另一個辨識標記資料組的聯集面積」。根據此一計算式，分別計算標記資料組Dt1相對於辨識其他標記資料組Dt2、Dt3的匹配程度值，最後加以平均，將結果作為「辨識標記資料組Dt1與影像資料Dim的匹配程度值」。舉例而言，計算「標記資料組Dt1與影像資料Dim的匹配程度值」時，先分別計算「Dt1及Dt2的交集面積除以Dt1及Dt2的聯集面積」、「Dt1及Dt3的交集面積除以Dt1及Dt3的聯集面積」，再將兩個數值總和後計算平均值。前述平均結果即可視為「標記資料組Dt1與影像資料Dim的匹配程度值」。
請參閱第6圖所示，在此以影像系統100的執行步驟，說明檢測方法如下。在步驟S601中，如第1A圖所示，處理單元110將影像資料Dim傳送給終端裝置210~230。影像資料Dim包含神經網路單元130利用影像辨識程式131所自動辨識出的預測資料組Dpre。
在步驟S602中，如第1B圖所示，處理單元110接收終端裝置210~230傳來的辨識標記資料組Dt1~Dt3。辨識標記資料組Dt1~Dt3係對應於影像資料Dim(即，對應於影像資料Dim中的部份面積)。
在步驟S603中，處理單元110判斷辨識標記資料組Dt1~Dt3與影像資料Dim間的匹配程度值，且將判斷 出的匹配程度值對應於上傳辨識標記資料組Dt1~Dt3的終端裝置210~230。在部份實施例中，處理單元110根據每個辨識標記資料組Dt1~Dt3與神經網路單元130自動辨識出的預測資料組Dpre間的相似程度，計算出匹配程度值。在其他部份實施例中，處理單元110比對辨識標記資料組Dt1~Dt3之間的相似程度，以將比對結果作為匹配程度值。
在步驟S604中，處理單元110從儲存單元120中取得對應於終端裝置210~230的複數個權重值W1~W3。在步驟S605中，處理單元110將權重值W1~W3與對應之該些匹配程度值設定為複數個標記點，且透過分群演算法，將標記點分為多個標記分群。
在步驟S606中，根據標記分群中之最大者，計算出分群重心點，且分群重心點會對應於分群權重值及分群匹配值。在步驟S607中，處理單元110判斷分群權重值或分群匹配值是否符合調整條件(如：分群權重值低於分群門檻值，分群匹配值低於匹配門檻值)？若分群權重值或分群匹配值符合調整條件，在步驟S608中，處理單元110將該些標記分群中之最大者所對應的辨識標記資料組Dt1~Dt3傳送給神經網路單元130，使得神經網路單元130據以進行深度學習，並校正其內部的資料庫。
若分群權重值或分群匹配值並未符合調整條件，代表還無須校正神經網路單元130。此時，處理單元110能將儲存單元120內的其他影像資料Dim傳給終端裝置210~230，以進行另一次的檢測程序。
在此說明「權重值」的設定方式。一般言，經驗越豐富的使用者，其標記準確度應該越高，因此，「權重值」與使用者的經驗成正比。請參閱第7圖所示，在部份實施例中，處理單元110會傳送至少一張測試影像Dtest至終端裝置210~230。終端裝置210~230的使用者會針對接收到的測試影像Dtest進行標記，以產生測試標記資料組D01~D03。處理單元110接收終端裝置210~230回傳的測試標記資料組D01~D03後，將測試標記資料組D01~D03與儲存單元120內事先儲存的正確標記資料組Dcr進行比對(如：由伺服器S管理者事先確認的正確標記，每一個正確標記資料組Dcr會對應於一個測試影像Dtest)，以根據比對結果產生該些權重值。權重值與比對結果的匹配度為正比關係。例如：終端裝置210上傳的測試標記資料組D01和正確標記資料組Dcr的匹配程度為「90%」，則其權重值W1設定為「0.9」。終端裝置220上傳的測試標記資料組D02和正確標記資料組Dcr的匹配程度為「60%」，則其權重值W1設定為「0.6」。
在部份實施例中，當處理單元110判斷神經網路單元130需要校正，且提供辨識標記資料組至神經網路單元，以完成深度學習後，校正後之神經網路單元130能在伺服器S內重新建立(更新)影像辨識程式131。據此，後續當其他遠端裝置(如：某一個終端裝置220)的使用者再次連上伺服器S，並上傳原始影像(如：某張需要標記的照片)時，校正後之神經網路單元130將可利用影像辨識程式131，對原始影像進行計算，以自動辨識出原始影像內的各個物件，進而 於儲存單元120中建構影像模組121。
前述各實施例中的各項元件、方法步驟或技術特徵，係可相互結合，而不以本揭示內容中的文字描述順序或圖式呈現順序為限。
雖然本發明內容已以實施方式揭露如上，然其並非用以限定本發明內容，任何熟習此技藝者，在不脫離本發明內容之精神和範圍內，當可作各種更動與潤飾，因此本發明內容之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧影像系統
110‧‧‧處理單元
120‧‧‧儲存單元
121‧‧‧影像模組
130‧‧‧神經網路單元
131‧‧‧影像辨識程式
210‧‧‧終端裝置
220‧‧‧終端裝置
230‧‧‧終端裝置
Dim‧‧‧影像資料
Dt1‧‧‧辨識標記組
Dt2‧‧‧辨識標記組
Dt3‧‧‧辨識標記組
N‧‧‧網際網路
Wc‧‧‧權重值
W1‧‧‧權重值
W2‧‧‧權重值
W3‧‧‧權重值
S‧‧‧伺服器

Claims (12)

  1. 一種影像系統之檢測方法，包含：透過一影像系統之一處理單元，接收複數個終端裝置傳來的複數個辨識標記資料組，其中該些辨識標記資料組對應於一儲存單元內的一影像資料；判斷該些辨識標記資料組與該影像資料間的複數個匹配程度值，且該些匹配程度值對應於該些終端裝置；從該儲存單元中取得對應於該些終端裝置的複數個權重值；將該些權重值與對應之該些匹配程度值設定為複數個標記點，且透過一分群演算法，將該些標記點分為複數個標記分群；根據該些標記分群中之最大者，計算一分群重心點，該分群重心點對應於一分群權重值及一分群匹配值；以及在判斷該分群權重值或該分群匹配值符合一調整條件的情況下，根據該些標記分群中之最大者校正一神經網路單元；其中判斷該分群權重值或該分群匹配值符合該調整條件的方法還包含：判斷該分群匹配值是否低於一匹配門檻值；或判斷該分群權重值是否低於一權重門檻值。
  2. 如請求項1所述之影像系統之檢測方法，其中判斷該些辨識標記資料組與該影像資料的該些匹配程度值 的方法包含：比對該些辨識標記資料組之間的相似程度，以將比對結果作為該些匹配程度值。
  3. 如請求項1所述之影像系統之檢測方法，其中判斷該些辨識標記資料組與該影像資料的該些匹配程度值的方法包含：利用該神經網路單元對該影像資料進行運算，以取得一預測資料組；以及比對該些辨識標記資料組與該預測資料組間的相似程度，以將比對結果作為該些匹配程度值。
  4. 如請求項1所述之影像系統之檢測方法，還包含：透過校正後之該神經網路單元，在一伺服器建立一影像辨識程式；接收一遠端裝置上傳至至該伺服器的一原始影像；根據校正後之該神經網路單元對該原始影像進行計算，以建構一影像模組。
  5. 如請求項1所述之影像系統之檢測方法，其中該些辨識標記資料組中之一者包含至少二對角座標值，該二對角座標值用以對應於該影像資料中的一矩形區域。
  6. 如請求項1所述之影像系統之檢測方法，還包含：透過該處理單元，傳送一測試影像至該些終端裝置；接收該些終端裝置回傳的複數個測試標記資料組；以及將該些測試標記資料組與該儲存單元內之一正確標記資料組進行比對，以根據比對結果產生該些權重值。
  7. 一種影像系統，包含：一神經網路單元；一儲存單元，用以儲存一影像資料及複數個權重值，其中該些權重值對應於連線至該影像系統的複數個終端裝置；以及一處理單元，電性或通訊連接於該儲存單元及該神經網路單元，其中該處理單元用以根據該些終端裝置傳來的複數個辨識標記資料組，判斷該些辨識標記資料組與該影像資料間的複數個匹配程度值；其中該處理單元還用以將該些權重值與對應之該些匹配程度值設定為複數個標記點，且透過一分群演算法，將該些標記點分為複數個標記分群；其中該處理單元還用以根據該些標記分群中之最大者，計算一分群重心點，且在判斷該分群重心點符合一調整條件的情況下，根據該些標記分群中之最大者校正該神經網路單元；其中該處理單元還用以判斷該分群匹配值是否低於一匹 配門檻值，或用以判斷該分群權重值是否低於一權重門檻值。
  8. 如請求項7所述之影像系統，其中該分群重心點對應於一分群權重值及一分群匹配值；該處理單元在判斷該分群權重值或該分群匹配值符合該調整條件的情況下，根據該些標記分群中之最大者校正該神經網路單元。
  9. 如請求項8所述之影像系統，其中該處理單元用以比對該些辨識標記資料組之間的相似程度，以將比對結果作為該些匹配程度值。
  10. 如請求項8所述之影像系統，其中該處理單元用以利用該神經網路單元對該影像資料進行運算，以取得一預測資料組；該處理單元還用以比對該些辨識標記資料組與該預測資料組間的相似程度，以將比對結果作為該些匹配程度值。
  11. 如請求項8所述之影像系統，其中該些辨識標記資料組中之一者包含至少二對角座標值，該二對角座標值用以對應於該影像資料中的一矩形區域。
  12. 如請求項8所述之影像系統，其中該處理單元還用以傳送一測試影像至該些終端裝置，且接收該些終端 裝置回傳的複數個測試標記資料組；該處理單元還用以將該些測試標記資料組與該儲存單元內之一正確標記資料組進行比對，以根據比對結果產生該些權重值。
TW108143482A 2019-11-28 2019-11-28 影像系統及檢測方法 TWI738131B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108143482A TWI738131B (zh) 2019-11-28 2019-11-28 影像系統及檢測方法
CN201911232929.6A CN112861900B (zh) 2019-11-28 2019-12-05 影像系统及检测方法
US16/776,491 US11398057B2 (en) 2019-11-28 2020-01-29 Imaging system and detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108143482A TWI738131B (zh) 2019-11-28 2019-11-28 影像系統及檢測方法

Publications (2)

Publication Number Publication Date
TW202121335A TW202121335A (zh) 2021-06-01
TWI738131B true TWI738131B (zh) 2021-09-01

Family

ID=75996053

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143482A TWI738131B (zh) 2019-11-28 2019-11-28 影像系統及檢測方法

Country Status (3)

Country Link
US (1) US11398057B2 (zh)
CN (1) CN112861900B (zh)
TW (1) TWI738131B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
TW201818349A (zh) * 2016-11-09 2018-05-16 安克生醫股份有限公司 細胞學影像處理裝置及細胞學影像特徵量化方法
TW201913040A (zh) * 2017-08-18 2019-04-01 國家災害防救科技中心 山區洪水偵測方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195169A (en) * 1989-03-03 1993-03-16 Sharp Kabushiki Kaisha Control device for controlling learning of a neural network
JP4312392B2 (ja) * 1999-08-03 2009-08-12 三菱電機株式会社 エレベーター群管理装置
KR100991146B1 (ko) * 2008-11-17 2010-11-01 한국항공우주연구원 신경 회로망을 이용한 위성 영상 보정 방법 및 장치
US10762891B2 (en) * 2017-02-10 2020-09-01 Synaptics Incorporated Binary and multi-class classification systems and methods using connectionist temporal classification
US10762427B2 (en) * 2017-03-01 2020-09-01 Synaptics Incorporated Connectionist temporal classification using segmented labeled sequence data
US10423855B2 (en) * 2017-03-09 2019-09-24 Entit Software Llc Color recognition through learned color clusters
CN107239514A (zh) * 2017-05-19 2017-10-10 邓昌顺 一种基于卷积神经网络的植物识别方法及系统
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
US11380422B2 (en) * 2018-03-26 2022-07-05 Uchicago Argonne, Llc Identification and assignment of rotational spectra using artificial neural networks
US10635979B2 (en) * 2018-07-20 2020-04-28 Google Llc Category learning neural networks
US11783917B2 (en) * 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US11010894B1 (en) * 2019-04-02 2021-05-18 NakedPoppy, Inc. Deriving a skin profile from an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
US9031331B2 (en) * 2012-07-30 2015-05-12 Xerox Corporation Metric learning for nearest class mean classifiers
TW201818349A (zh) * 2016-11-09 2018-05-16 安克生醫股份有限公司 細胞學影像處理裝置及細胞學影像特徵量化方法
TW201913040A (zh) * 2017-08-18 2019-04-01 國家災害防救科技中心 山區洪水偵測方法

Also Published As

Publication number Publication date
TW202121335A (zh) 2021-06-01
US20210166429A1 (en) 2021-06-03
US11398057B2 (en) 2022-07-26
CN112861900A (zh) 2021-05-28
CN112861900B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
WO2021189906A1 (zh) 基于联邦学习的目标检测方法、装置、设备及存储介质
WO2021208735A1 (zh) 行为检测方法、装置及计算机可读存储介质
WO2021218314A1 (zh) 基于位置定位的事件识别方法、装置、设备及存储介质
US9355302B2 (en) Method and electronic equipment for identifying facial features
WO2023071121A1 (zh) 一种基于多模型融合的目标检测方法、装置、设备及介质
US8402027B1 (en) System and method for hybrid hierarchical segmentation
US20200304954A1 (en) Positioning method, positioning apparatus, server, and computer-readable storage medium
US11821751B2 (en) Verifying map data using challenge questions
WO2019000472A1 (zh) 导航方法、装置、存储介质以及服务器
WO2023213158A1 (zh) 医疗图像的分割方法、装置、设备、存储介质及程序产品
US11481577B2 (en) Machine learning (ML) quality assurance for data curation
US20120170835A1 (en) Determining the Uniqueness of a Model for Machine Vision
JP2022542199A (ja) キーポイントの検出方法、装置、電子機器および記憶媒体
CN114495241B (zh) 一种图像识别方法及装置、电子设备、存储介质
US11308364B1 (en) Automatic benchmarking of labeling tasks
US20120170834A1 (en) Determining the Uniqueness of a Model for Machine Vision
CN113723280B (zh) 基于静态人脸的对抗样本检测方法、装置、设备、介质
CN113469091B (zh) 人脸识别方法、训练方法、电子设备及存储介质
TWI738131B (zh) 影像系統及檢測方法
CN110866437B (zh) 颜值判定模型优化方法、装置、电子设备及存储介质
WO2012092132A2 (en) Determining the uniqueness of a model for machine vision
KR102594562B1 (ko) 치아 탐지 방법 및 장치
CN110826501B (zh) 一种基于稀疏关键点校准的人脸关键点检测方法与系统
CN113378871A (zh) 数据标注方法、装置及计算设备
CN117710944B (zh) 模型缺陷检测方法、模型训练方法、目标检测方法和系统