TW202026958A - 深度模型訓練方法及裝置、電子設備及儲存介質 - Google Patents

深度模型訓練方法及裝置、電子設備及儲存介質 Download PDF

Info

Publication number
TW202026958A
TW202026958A TW108143792A TW108143792A TW202026958A TW 202026958 A TW202026958 A TW 202026958A TW 108143792 A TW108143792 A TW 108143792A TW 108143792 A TW108143792 A TW 108143792A TW 202026958 A TW202026958 A TW 202026958A
Authority
TW
Taiwan
Prior art keywords
training
model
trained
training sample
information
Prior art date
Application number
TW108143792A
Other languages
English (en)
Inventor
李嘉輝
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202026958A publication Critical patent/TW202026958A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本公開實施例公開了一種深度模型訓練方法及裝置、電子設備及儲存介質。所述深度模型訓練方法包括：獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型經過n次訓練；獲取待訓練模型輸出的第n+1標注資訊n為大於或等於1的整數；基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練。

Description

深度模型訓練方法及裝置、電子設備及 儲存介質
本公開關於資訊技術領域但不限於資訊技術領域，尤其關於一種深度模型訓練方法及裝置、電子設備及儲存介質。
深度學習模型可以通過訓練集的訓練之後，具有一定的分類或識別能力。所述訓練集通常包括：訓練資料及訓練資料的標注資料。但是一般情況下，標注資料都需要人工進行手動標注。一方面純手動標注所有的訓練資料，工作量大、效率低，且標注過程中存在人工錯誤；另一方面，若需要實現高精度的標注，例如以圖像領域的標注為例，需要實現像素級分割，純人工標注要達到像素級分割，難度非常大且標注精度也難以保證。
故基於純人工標注的訓練資料進行深度學習模型的訓練，會存在訓練效率低、訓練得到的模型因為訓練資料自身精度低導致模型的分類或識別能力精度達不到預期。
有鑑於此，本公開實施例期望提供一種深度模型訓練方法及裝置、電子設備及儲存介質。
本公開的技術方案是如下這樣實現的。
本公開實施例第一方面提供一種深度學習模型訓練方法，包括：
獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型已經過n輪訓練；n為大於或等於1的整數；
基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；
將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練。
基於上述方案，所述基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本，包括：
基於所述訓練資料及所述第n+1標注資訊、及第1訓練樣本生成第n+1訓練樣本；或者，
基於所述訓練資料及所述第n+1標注資訊、及第n訓練樣本生成第n+1訓練樣本，其中，所述第n訓練樣本包括：所述訓練資料及第一標注資訊構成的第1訓練樣本、及前n-1輪訓練得到的標注資訊與所述訓練樣本分別構成的第2訓練樣本至第n-1訓練樣本待訓練模型。
基於上述方案，所所述方法包括：
確定n是否小於N，其中，N為所述待訓練模型的最大訓練輪數；
所述獲取待訓練模型輸出的第n+1標注資訊，包括：
若n小於N，獲取所述待訓練模型輸出的第n+1標注資訊。
基於上述方案，所述方法包括：
獲取所述訓練資料及所述訓練資料的初始標注資訊；
基於所述初始標注資訊，生成所述第一標注資訊。
基於上述方案，所所述獲取所述訓練資料及所述訓練資料的初始標注資訊，包括：
獲取包含有多個分割目標的訓練圖像及所述分割目標的外接框；
所述基於所述初始標注資訊，生成所述第一標注資訊，包括：
基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓。
基於上述方案，所述基於所述初始標注資訊，生成所述第一標注資訊，還包括：
基於所述外接框，生成具有重疊部分的兩個所述分割目標的分割邊界。
基於上述方案，所述基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓，包括：
基於所述外接框，在所述外接框內繪製與細胞形狀一致的所述外接框的內接橢圓。
本公開實施例第二方面提供一種深度學習模型訓練裝置，包括：
標注模組，配置為獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型已經過n輪訓練；n為大於或等於1的整數；
第一生成模組，配置為基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；
訓練模組，配置為將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練待訓練模型。
基於上述方案，所述第一生成模組，配置為基於所述訓練資料及所述第n+1標注資訊、及第1訓練樣本生成第n+1訓練樣本；或者，基於所述訓練資料及所述第n+1標注資訊、及第n訓練樣本生成第n+1訓練樣本，其中，所述第n訓練樣本包括：所述訓練資料及第一標注資訊構成的第1訓練樣本、及前n-1輪訓練得到的標注資訊與所述訓練樣本分別構成的第2訓練樣本至第n-1訓練樣本。
基於上述方案，所述裝置包括：
確定模組，配置為確定n是否小於N，其中，N為所述待訓練模型的最大訓練輪數；
所述標注模組，配置為若n小於N，獲取所述待訓練模型輸出的第n+1標注資訊。
基於上述方案，所述裝置包括：
獲取模組，配置為獲取所述訓練資料及所述訓練資料的初始標注資訊；
第二生成模組，配置為基於所述初始標注資訊，生成所述第一標注資訊。
基於上述方案，所述獲取模組，配置為獲取包含有多個分割目標的訓練圖像及所述分割目標的外接框；
所述第二生成模組，配置為基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓。
基於上述方案，所述第一生成模組，配置為基於所述外接框，生成具有重疊部分的兩個所述分割目標的分割邊界。
基於上述方案，所述第二生成模組，配置為基於所述外接框，在所述外接框內繪製與細胞形狀一致的所述外接框的內接橢圓。
本公開實施例第三方面提供一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被執行後，能夠實現前述任意一個技術方案提供的深度學習模型訓練方法。
本公開實施例第五方面提供一種電子設備，包括：
記憶體；
處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現前述任意一個技術方案提供的深度學習模型訓練方法。
本公開實施例第五方面提供一種電腦程式產品，所述程式產品包括電腦可執行指令；所述電腦可執行指 令被執行後，能夠實現前述任意一個技術方案提供的深度學習模型訓練方法。
本公開實施例提供的技術方案，會利用深度學習模型前一輪訓練完成之後對訓練資料進行標注獲得標注資訊，該標注資訊用作下一輪訓練的訓練樣本，可以利用非常少的初始標注(例如，初始的人工標注或者設備標注)的訓練資料進行模型訓練，然後面利用逐步收斂的待訓練模型自身識別輸出的標注資料作為下一輪訓練樣本，由於待訓練模型在前一輪訓練過程中模型參數會依據大部分標注正確的資料生成，而少量標注不正確或者標注精度低的資料對待訓練模型的模型參數影響小，如此反復反覆運算多次，待訓練模型的標注資訊會越來越精確，訓練結果也越來越好。由於模型利用自身的標注資訊構建訓練樣本，如此，減少了人工手動標注等初始標注的資料量，減少了人工手動標注等初始標注所導致的效率低及人工錯誤，具有模型訓練速度快及訓練效果好的特點，且採用這種方式訓練的深度學習模型，具有分類或識別精確度高的特點。
110‧‧‧標注模組
120‧‧‧第一生成模組
130‧‧‧訓練模組
圖1為本公開實施例提供的第一種深度學習模型訓練方法的流程示意圖；
圖2為本公開實施例提供的第二種深度學習模型訓練方法的流程示意圖；
圖3為本公開實施例提供的第三種深度學習模型訓練方法的流程示意圖；
圖4為本公開實施例提供的一種深度學習模型訓練裝置的結構示意圖；
圖5為本公開實施例提供的一種訓練集的變化示意圖；
圖6為本公開實施例提供的一種電子設備的結構示意圖。
以下結合說明書附圖及具體實施例對本公開的技術方案做進一步的詳細闡述。
如圖1所示，本實施例提供一種深度學習模型訓練方法，包括：
步驟S110：獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型已經過n輪訓練；
步驟S120：基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；
步驟S130：將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練。
本實施例提供的深度學習模型訓練方法可以用於各種電子設備中，例如，各種大資料模型訓練的伺服器中。
在進行第1輪訓練時，獲取待訓練模型的模型結構。以待訓練模型為神經網路為例進行說明，首先需要確定神經網路的網路結構，該網路結構可包括：網路的層數、每 層包括的節點數，層與層之間的節點的連接關係，以及初始的網路參數。該網路參數包括：節點的權重和/或閾值。
獲取第1訓練樣本，所述第一訓練樣本可包括：訓練資料和訓練資料的第一標注資料；以圖像分割為例，所述訓練資料為圖像；所述第一標注資料可為圖像分割目標和背景的遮罩圖像；在本公開實施例中所有的第一標注資訊和第二標注資訊，可包括但不限於對圖像的標注資訊。該圖像可包括醫療圖像等。該醫療圖像可為平面(2D)醫療圖像或者由多個2D圖像形成的圖像序列構成的立體(3D)醫療圖像。各所述第一標注資訊和所述第二標注資訊，可為對醫療圖像中器官和/或組織的標注，也可以是對細胞內不同細胞結構的標注，如，細胞核的標注。在一些實施例中，所述圖像不限於是醫療圖像，還可應用於交通道路領域的交通道路狀況的圖像。
利用第1訓練樣本訓練對待訓練模型進行第一輪訓練。神經網路等深度學習模型被訓練之後，深度學習模型的模型參數(例如，神經網路的網路參數)發生改變；利用改變了模型參數的待訓練模型對圖像進行處理輸出標注資訊，該標注資訊與初始的第一標注資訊進行比對，通過比對的結果計算深度學習模型的當前的損失值；若當前的損失值小於損失閾值可以停止該輪訓練。
在本實施例中的步驟S110中，首先會利用已經完成n輪訓練的待訓練模型對訓練資料進行處理，此時待訓 練模型會獲得輸出，該輸出即為所述第n+1標注資料，該第n+1標注資料與訓練資料對應起來，就形成了訓練樣本。
在一些實施例中，可以將訓練資料和第n+1標注資訊直接作為第n+1訓練樣本，用於待訓練模型的第n+1輪訓練樣本。
在還有一些實施例中，可以將訓練資料和第n+1標注資料，及第1訓練樣本共同組成待訓練模型的第n+1輪訓練樣本。
所述第1訓練樣本為對待訓練模型進行第1輪訓練的訓練樣本；第M訓練樣本為對待訓練模組進行第M輪訓練的訓練樣本，M為正整數。
此處的第1訓練樣本可為：初始獲得訓練資料及訓練資料的第一標注資訊，此處的第一標注資訊可為人工手動標注的資訊。
在還有一些實施例中，訓練資料和第n+1標注資訊，並將這個訓練樣本和第n輪訓練時採用的第n訓練樣的並集構成第n+1訓練樣本。
總之，上述三種生成第n+1訓練樣本的方式都是設備自動生成樣本的方式，如此，無需使用者手動標注等其他設備來標注獲得第n+1輪訓練的訓練樣本，減少了人工手動標等初始標注注樣本所消耗的時間，提升了深度學習模型的訓練速率，且減少深度學習模型因為手動標注的不準確或不精確導致的模型訓練後的分類或識別結果的不夠精確 的現象，提升了深度學習模型訓練後的分類或識別結果的精確度。
在本實施例中完成一輪訓練包括：待訓練模型對訓練集中的每一個訓練樣本都完成了至少一次學習。
在步驟S130中利用第n+1訓練樣本對待訓練模型進行第n+1輪訓練。
在本實施例中，若初始標注中有少量錯誤，由於模型訓練過程中會關注訓練樣本的共同特點，則這些錯誤的影響對模型訓練就越來越小，從而模型的精確度也越來越局。
例如，以所述訓練資料為S張圖像為例，則第1訓練樣本可為S張圖像及這S張圖像的人工標注結果，若S張圖像中有一張圖像標注圖像精確度不夠，但是待訓練模型在第一輪訓練過程中，由於剩餘S-1張圖像的標注結構精確度達到預期閾值，則這S-1張圖像及其對應的標注資料對待訓練模型的模型參數影像更大。在本實施例中，所述深度學習模型包括但不限於神經網路；所述模型參數包括但不限於：神經網路中網路節點的權值和/或閾值。所述神經網路可為各種類型的神經網路，例如，U-net或V-net。所述神經網路可包括：對訓練資料進行特徵提取的編碼部分和基於提取的特徵獲取語義資訊的解碼部分。
例如，編碼部分可以對圖像中分割目標所在區域等進行特徵提取，得到區分分割目標和背景的遮罩圖像， 解碼器基於遮罩圖像可以得到一些語義資訊，例如，通過像素統計等方式獲得目標的組學特徵等。
該組學特徵可包括：目標的面積、體積、形狀等形態特徵，和/或，基於灰度值形成的灰度值特徵等。
所述灰度值特徵可包括：長條圖的統計特徵等。
總之，在本實施例中，經過第一輪訓練後的待訓練模型在識別S張圖像時，會初始標注精度不夠的那一張圖像待訓練模型的模型參數的影響度相比於另外S-1張的響度小的。待訓練模型將利用從其他S-1張圖像上學習獲得網路參數來進行標注，而此時初始標注精度不夠的圖像的標注精度是向其他S-1張圖像的標注精度靠齊的，故這一張圖像所對應的第2標注資訊是會比原始的第1標注資訊的精度提升的。如此，構成的第2訓練集包括：S張圖像和原始的第一標注資訊構成的訓練資料、及S張圖像和待訓練模型自行標注的第二標注資訊構成的訓練資料。故在本實施例中，可以利用待訓練模型在訓練過程中會基於大多數正確或高精度的標注資訊進行學習，逐步抑制初始標注精度不夠或不正確的訓練樣本的負面影響，從而採用這種方式進行深度學習模型的自動反覆運算，不僅能夠實現訓練樣本的人工標注大大的減少，而且還會通過自身反覆運算的特性逐步提升訓練精度，使得訓練後的待訓練模型的精確度達到預期效果。
在上述舉例中所述訓練資料以圖像為例，在一些實施例中，所述訓練資料還可以圖像以外的語音片段、所 述圖像以外的文本資訊等；總之，所述訓練資料的形式有多種，不局限於上述任意一種。
在一些實施例中，如圖2所示，所述方法包括：
步驟S100：確定n是否小於N，其中，N為所述待訓練模型的最大訓練輪數；
所述步驟S110可包括：
若n小於N，待訓練模型獲取待訓練模型輸出的第n+1標注資訊。
在本實施例中在構建第n+1訓練集之前，首先會確定目前待訓練模型的訓練輪數是否達到預定的最大訓練輪數N，若未大達到才生成第n+1標注資訊，以構建第n+1訓練集，否則，則確定模型訓練完成停止所述深度學習模型的訓練。
在一些實施例中，所述N的取值可為4、5、6、7或8等經驗值或者統計值。
在一些實施例中，所述N的取值範圍可為3到10之間，所述N的取值可以是訓練設備從人機交互介面接收的使用者輸入值。
在還有一些實施例中，確定是否停止待訓練模型的訓練還可包括：
利用測試集進行所述待訓練模型的測試，若測試結果表明所述待訓練模型的對測試集中測試資料的標注結果的精確度達到特定值，則停止所述待訓練模型的訓練，否則進入到所述步驟S110以進入下一輪訓練。此時，所述測試集可 為精確標注的資料集，故可以用於衡量一個待訓練模型的每一輪的訓練結果，以判定是否停止待訓練模型的訓練。
在一些實施例中，如圖3所示，所述方法包括：
步驟S210：獲取所述訓練資料及所述訓練資料的初始標注資訊；
步驟S220：基於所述初始標注資訊，生成所述第一標注資訊。
在本實施例中，所述初始標注資訊可為所述訓練資料的原始標注資訊，該原始標注資訊可為人工手動標注的資訊，也可以是其他設備標注的資訊。例如，具有一定標注能力的其他設備標注的資訊。
本實施例中，獲取到訓練資料及初始標注資訊之後，會基於初始標注資訊生成第一標注資訊。此處的第一標注資訊可直接包括所述初始標注資訊和/或根據所述初始標準資訊生成的精細化的第一標注資訊。
例如，若訓練資料為圖像，圖像包含有細胞成像，所述初始標注資訊可為大致標注所述細胞成像所在位置的標注資訊，而所述第一標識資訊可為精確指示所述細胞所在位置的標注資訊，總之，在本實施例中，所述第一標注資訊對分割物件的標注精確度可高於所述初始標注資訊的精確度。
如此，即便由人工進行所述初始標注資訊的標注，也降低了人工標注的難度，簡化了人工標注。
例如，以細胞成像為例，細胞由於其橢圓球體的形態，一般在二維平面圖像內細胞的外輪廓都呈現為橢圓形。所述初始標注資訊可為醫生手動繪製的細胞的外接框。所述第一標注資訊可為：訓練設備基於手動標注的外接框生成的內接橢圓。在計算內接橢圓相對於外接框，減少細胞成像中不屬於細胞成像的像素個數，故第一標注資訊的精確度是高於所述初始標注信息的精確度的。
故進一步地，所述步驟S210可包括：獲取包含有多個分割目標的訓練圖像及所述分割目標的外接框；
所述步驟S220可包括：基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓。
在一些實施例中，所述與分割目標形狀一致的標注輪廓可為前述橢圓形，還可以為圓形，或者，三角形或者其他對邊形等於分割目標形狀一致的形狀，不局限於橢圓形。
在一些實施例中，所述標注輪廓為內接於所述外接框的。所述外接框可為矩形框。
在一些實施例中，所述步驟S220還包括：
基於所述外接框，生成具有重疊部分的兩個所述分割目標的分割邊界。
在一些圖像中，兩個分割目標之間會有重疊，在本實施例中所述第一標注資訊還包括：兩個重疊分割目標之間的分割邊界。
例如，兩個細胞成像，細胞成像A疊在細胞成像B上，則細胞成像A被繪製出細胞邊界之後和細胞B成像被繪製出細胞邊界之後，兩個細胞邊界交叉形成一部分框出了兩個細胞成像之間的交集。在本實施例中，可以根據細胞成像A和細胞成像B之間的位置關係，擦除細胞成像B的細胞邊界位於細胞成像A內部的部分，並以細胞成像A的位於細胞成像B中的部分作為所述分割邊界。
總之，在本實施例中，所述步驟S220可包括：利用兩個分割目標的位置關係，在兩者的重疊部分繪製分割邊界。
在一些實施例中，在繪製分割邊界時，可以通過修正兩個具有重疊邊界的分割目標其中一個的邊界來實現。為了突出邊界，可以通過像素膨脹的方式，可以加粗邊界。例如，通過細胞成像A的細胞邊界在所述重疊部分向細胞成像B方向上擴展預定個像素，例如，1個或多個像素，加粗重疊部分的細胞成像A的邊界，從而使得該加粗邊界被識別為分割邊界。
在一些實施例中，所述基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓，包括：基於所述外接框，在所述外接框內繪製與細胞形狀一致的所述外接框的內接橢圓。
在本本實施例中分割目標為細胞成像，所述標注輪廓包括所述細胞形狀這一張的外接框的內接橢圓。
在本實施例中，所述第一標注資訊包括以下至少之一：
所述細胞成像的細胞邊界(對應於所述內接橢圓)；
重疊細胞成像之間的分割邊界。
若在一些實施例中，所述分割目標不是細胞而是其他目標，例如，分割目標為集體相中的人臉，人臉的外接框依然可以是矩形框，但是此時人臉的標注邊界可能是鵝蛋形臉的邊界，圓形臉的邊界等，此時，所述形狀不局限於所述內接橢圓。
當然以上僅是舉例，總之在本實施例中，所述待訓練模型在自身的訓練過程中利用自身前一輪的訓練結果輸出訓練資料的標注資訊，以構建下一輪的訓練集，通過反復反覆運算多次完成模型訓練，無需手動標注大量的訓練樣本，具有訓練速率快及通過反復反覆運算可以提升訓練精確度。
如圖4所示，本實施例提供一種深度學習模型訓練裝置，包括：
標注模組110，配置為獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型已經過n輪訓練；n為大於或等於1的整數；
第一生成模組120，配置為基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；
訓練模組130，配置為將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練。
在一些實施例中，所述標注模組110，第一生成模組120及訓練模組130可為程式模組，所述程式模組被處理器執行後，能夠實現前述第n+1標注資訊的生成、第n+1訓練集的構成及待訓練模型的訓練。
在還有一些實施例中，所述標注模組110，第一生成模組120及訓練模組130可為軟硬結合模型；所述軟硬結合模組可為各種可程式設計陣列，例如，現場可程式設計陣列或複雜可程式設計陣列。
在另外一些實施例中，所述標注模組110，第一生成模組120及訓練模組130可純硬體模組，所述純硬體模組可為專用積體電路。
在一些實施例中，所述第一生成模組120，配置為基於所述訓練資料及所述第n+1標注資訊、及第1訓練樣本生成第n+1訓練樣本；或者，基於所述訓練資料及所述第n+1標注資訊、及第n訓練樣本生成第n+1訓練樣本，其中，所述第n訓練樣本包括：所述訓練資料及第一標注資訊構成的第1訓練樣本、及前n-1輪訓練得到的標注資訊與所述訓練樣本分別構成的第2訓練樣本至第n-1訓練樣本。
在一些實施例中，所述裝置包括：
確定模組，配置為確定n是否小於N，其中，N為所述待訓練模型的最大訓練輪數；
所述標注模組110，配置為若n小於N，待訓練模型獲取所述待訓練模型輸出的第n+1標注資訊。
在一些實施例中，所述裝置包括：
獲取模組，配置為獲取所述訓練資料及所述訓練資料的初始標注資訊；
第二生成模組，配置為基於所述初始標注資訊，生成所述第一標注資訊。
在一些實施例中，所述獲取模組，配置為獲取包含有多個分割目標的訓練圖像及所述分割目標的外接框；
所述基於所述初始標注資訊，生成所述第一標注資訊，包括：
基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓。
在一些實施例中，所述第一生成模組120，配置為基於所述外接框，生成具有重疊部分的兩個所述分割目標的分割邊界。
在一些實施例中，所述第二生成模組，配置為基於所述外接框，在所述外接框內繪製與細胞形狀一致的所述外接框的內接橢圓。
以下結合上述實施例提供一個具體示例：
示例1：
本示例提供一種深度學習模型的自學習式弱監督學學習方法。
以圖5中每一個物體的包圍矩形框作為輸入，進行自我學習，能夠輸出該物體，以及其他沒有標注的物體的像素分割結果。
以細胞分割為例子，一開始有圖中部分細胞的包圍矩形標注。觀察發現細胞大部分是橢圓，於是在矩形中畫個最大內接橢圓，不同橢圓之間畫好分割線，橢圓邊緣也畫上分割線；作為初始監督信號。此處的監督信號即為訓練集中的訓練樣本；
訓練一個分割模型。
此分割模型在此圖上預測，得到的預測圖和初始標注圖作並集，作為新的監督信號，再重複訓練該分割模型。
通過觀測發現圖中的分割結果變得越來越好。
如圖5所示，對原始圖像進行標注得到一個掩膜圖像構建第一訓練集，利用第一訓練集進行第一輪訓練，訓練完之後，利用深度學習模型進行圖像識別得到第2標注資訊，基於第二標注資訊構建第2訓練集。利用第二訓練集完成第二輪訓練之後輸出第3標注資訊，基於第三標注資訊得到第3訓練集。如此反復反覆運算訓練多輪之後停止訓練。
在相關技術中，總是複雜的考慮第一次分割結果的概率圖，做峰值、平緩區域等等的分析，然後做區域生長等，對於閱讀者而言，複現工作量大，實現困難。本示例提供的深度學習模型訓練方法，不對輸出分割概率圖做任何計算，直接拿來和標注圖做並集，再繼續訓練模型，這個過程實現簡單。
如圖6示，本公開實施例提供了一種電子設備，包括：
記憶體，用於儲存資訊；
處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令，能夠實現前述一個或多個技術方案提供的深度學習模型訓練方法，例如，如圖1至圖3所示的方法中的一個或多個。
該記憶體可為各種類型的記憶體，可為隨機記憶體、唯讀記憶體、快閃記憶體等。所述記憶體可用於資訊儲存，例如，儲存電腦可執行指令等。所述電腦可執行指令可為各種程式指令，例如，目的程式指令和/或來源程式指令等。
所述處理器可為各種類型的處理器，例如，中央處理器、微處理器、數位訊號處理器、可程式設計陣列、數位訊號處理器、專用積體電路或影像處理器等。
所述處理器可以通過匯流排與所述記憶體連接。所述匯流排可為積體電路匯流排等。
在一些實施例中，所述終端設備還可包括：通信介面，該通信介面可包括：網路介面、例如，局域網介面、收發天線等。所述通信介面同樣與所述處理器連接，能夠用於資訊收發。
在一些實施例中，所述電子設備還包括攝影頭，該攝影頭可採集各種圖像，例如，醫療影像等。
在一些實施例中，所述終端設備還包括人機交互介面，例如，所述人機交互介面可包括各種輸入輸出設備，例如，鍵盤、觸控式螢幕等。
本公開實施例提供了一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行代碼；所述電腦可執行代碼被執行後，能夠實現前述一個或多個技術方案提供的深度學習模型訓練方法，例如，如圖1至圖3所示的方法中的一個或多個。
所述儲存介質包括：移動儲存裝置、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以儲存程式碼的介質。所述儲存介質可為非瞬間儲存介質。
本公開實施例提供一種電腦程式產品，所述程式產品包括電腦可執行指令；所述電腦可執行指令被執行後，能夠實現前述任意實施提供的深度學習模型訓練方法，例如，如圖1至圖3所示的方法中的一個或多個。
在本公開所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可 以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本公開各實施例中的各功能單元可以全部集成在一個處理模組中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本公開一種實施例中公開一種電腦程式產品，程式產品包括電腦可執行指令；該電腦可執行指令被執行後，能夠實現上述實施例中的深度模型訓練方法。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動儲存裝置、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述，僅為本公開的具體實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述申請專利範圍的保護範圍為準。
圖1代表圖為流程圖，無元件符號說明。

Claims (9)

  1. 一種深度學習模型訓練方法，包括：
    獲取待訓練模型輸出的第n+1標注資訊，所述待訓練模型已經過n輪訓練；n為大於或等於1的整數；
    基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本；
    將所述第n+1訓練樣本對所述待訓練模型進行第n+1輪訓練。
  2. 根據請求項1所述的方法，其中，所述基於所述訓練資料及所述第n+1標注資訊生成第n+1訓練樣本，包括：
    基於所述訓練資料及所述第n+1標注資訊、及第1訓練樣本生成第n+1訓練樣本；或者，
    基於所述訓練資料及所述第n+1標注資訊、及第n訓練樣本生成第n+1訓練樣本，其中，所述第n訓練樣本包括：所述訓練資料及第一標注資訊構成的第1訓練樣本、及前n-1輪訓練得到的標注資訊與所述訓練樣本分別構成的第2訓練樣本至第n-1訓練樣本待訓練模型。
  3. 根據請求項1或2所述的方法，其中，所述方法包括：
    確定n是否小於N，其中，N為所述待訓練模型的最大訓練輪數；
    所述獲取待訓練模型輸出的第n+1標注資訊，包括：
    若n小於N，獲取所述待訓練模型輸出的第n+1標注資訊。
  4. 根據請求項2所述的方法，其中，所述方法包括：
    獲取所述訓練資料及所述訓練資料的初始標注資訊；
    基於所述初始標注資訊，生成所述第一標注資訊。
  5. 根據請求項4所述的方法，其中，
    所述獲取所述訓練資料及所述訓練資料的初始標注資訊，包括：
    獲取包含有多個分割目標的訓練圖像及所述分割目標的外接框；
    所述基於所述初始標注資訊，生成所述第一標注資訊，包括：
    基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓。
  6. 根據請求項5所述的方法，其中，所述基於所述初始標注資訊，生成所述第一標注資訊，還包括：
    基於所述外接框，生成具有重疊部分的兩個所述分割目標的分割邊界。
  7. 根據請求項5所述的方法，其中，
    所述基於所述外接框，在所述外接框內繪製與所述分割目標形狀一致的標注輪廓，包括：
    基於所述外接框，在所述外接框內繪製與細胞形狀一致的所述外接框的內接橢圓。
  8. 一種電腦儲存介質，所述電腦儲存介質儲存有電腦可執行指令；所述電腦可執行指令被執行後，能夠實現請求項1至7任一項所述的方法。
  9. 一種電子設備，包括：
    記憶體；
    處理器，與所述記憶體連接，用於通過執行儲存在所述記憶體上的電腦可執行指令實現前述請求項1至7任一項所述的方法。
TW108143792A 2018-12-29 2019-11-29 深度模型訓練方法及裝置、電子設備及儲存介質 TW202026958A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811646430.5 2018-12-29
CN201811646430.5A CN109740752B (zh) 2018-12-29 2018-12-29 深度模型训练方法及装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
TW202026958A true TW202026958A (zh) 2020-07-16

Family

ID=66362804

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108143792A TW202026958A (zh) 2018-12-29 2019-11-29 深度模型訓練方法及裝置、電子設備及儲存介質

Country Status (7)

Country Link
US (1) US20210118140A1 (zh)
JP (1) JP7158563B2 (zh)
KR (1) KR20210028716A (zh)
CN (1) CN109740752B (zh)
SG (1) SG11202100043SA (zh)
TW (1) TW202026958A (zh)
WO (1) WO2020134532A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740752B (zh) * 2018-12-29 2022-01-04 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN110399927B (zh) * 2019-07-26 2022-02-01 玖壹叁陆零医学科技南京有限公司 识别模型训练方法、目标识别方法及装置
CN110909688B (zh) * 2019-11-26 2020-07-28 南京甄视智能科技有限公司 人脸检测小模型优化训练方法、人脸检测方法及计算机系统
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN113487575B (zh) * 2021-07-13 2024-01-16 中国信息通信研究院 用于训练医学影像检测模型的方法及装置、设备、可读存储介质
CN113947771B (zh) * 2021-10-15 2023-06-27 北京百度网讯科技有限公司 图像识别方法、装置、设备、存储介质以及程序产品

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074034B (zh) * 2011-01-06 2013-11-06 西安电子科技大学 多模型人体运动跟踪方法
CN102184541B (zh) * 2011-05-04 2012-09-05 西安电子科技大学 多目标优化人体运动跟踪方法
CN102622766A (zh) * 2012-03-01 2012-08-01 西安电子科技大学 多目标优化的多镜头人体运动跟踪方法
JP2015114172A (ja) * 2013-12-10 2015-06-22 オリンパスソフトウェアテクノロジー株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN106250874B (zh) * 2016-08-16 2019-04-30 东方网力科技股份有限公司 一种服饰及随身物品的识别方法和装置
KR20180044739A (ko) * 2016-10-24 2018-05-03 삼성에스디에스 주식회사 딥 러닝을 이용한 룰 생성방법 및 장치
US20180268292A1 (en) * 2017-03-17 2018-09-20 Nec Laboratories America, Inc. Learning efficient object detection models with knowledge distillation
EP3625677A4 (en) * 2017-05-14 2021-04-21 Digital Reasoning Systems, Inc. SYSTEMS AND METHODS FOR QUICKLY CREATING, MANAGING AND SHARING LEARNING MODELS
CN107169556A (zh) * 2017-05-15 2017-09-15 电子科技大学 基于深度学习的干细胞自动计数方法
US20190102674A1 (en) * 2017-09-29 2019-04-04 Here Global B.V. Method, apparatus, and system for selecting training observations for machine learning models
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN108764372B (zh) * 2018-06-08 2019-07-16 Oppo广东移动通信有限公司 数据集的构建方法和装置、移动终端、可读存储介质
CN109066861A (zh) * 2018-08-20 2018-12-21 四川超影科技有限公司 基于机器视觉的智能巡检机器人自动充电控制方法
CN109740752B (zh) * 2018-12-29 2022-01-04 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20210028716A (ko) 2021-03-12
SG11202100043SA (en) 2021-02-25
JP7158563B2 (ja) 2022-10-21
CN109740752B (zh) 2022-01-04
US20210118140A1 (en) 2021-04-22
JP2021533505A (ja) 2021-12-02
CN109740752A (zh) 2019-05-10
WO2020134532A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
TWI747120B (zh) 深度模型訓練方法及裝置、電子設備及儲存介質
TW202026958A (zh) 深度模型訓練方法及裝置、電子設備及儲存介質
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
CN108734120B (zh) 标注图像的方法、装置、设备和计算机可读存储介质
EP3989119A1 (en) Detection model training method and apparatus, computer device, and storage medium
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
EP4009231A1 (en) Video frame information labeling method, device and apparatus, and storage medium
CN112767329B (zh) 图像处理方法及装置、电子设备
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
JP2022535219A (ja) 画像分割方法及び装置、電子機器並びに記憶媒体
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
CN112580584A (zh) 起立行为检测方法、装置、系统及存储介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN114330542A (zh) 一种基于目标检测的样本挖掘方法、装置及存储介质
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器
CN112597328B (zh) 标注方法、装置、设备及介质
WO2023056833A1 (zh) 背景图生成、图像融合方法、装置、电子设备及可读介质
CN117372286B (zh) 一种基于Python的图像噪声优化方法及系统
WO2022227218A1 (zh) 药名识别方法、装置、计算机设备和存储介质
WO2023230927A1 (zh) 图像处理方法、装置及可读存储介质
CN117789275A (zh) 模型优化方法、装置、电子设备及存储介质
CN117333626A (zh) 图像采样数据获取方法、装置、计算机设备及存储介质