TW202131225A - 機器學習方法及機器學習用資訊處理裝置 - Google Patents

機器學習方法及機器學習用資訊處理裝置 Download PDF

Info

Publication number
TW202131225A
TW202131225A TW110102261A TW110102261A TW202131225A TW 202131225 A TW202131225 A TW 202131225A TW 110102261 A TW110102261 A TW 110102261A TW 110102261 A TW110102261 A TW 110102261A TW 202131225 A TW202131225 A TW 202131225A
Authority
TW
Taiwan
Prior art keywords
reliability
image
learning
analysis
machine learning
Prior art date
Application number
TW110102261A
Other languages
English (en)
Other versions
TWI754520B (zh
Inventor
樋口晴彦
池田光二
Original Assignee
日商日立全球先端科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日立全球先端科技股份有限公司 filed Critical 日商日立全球先端科技股份有限公司
Publication of TW202131225A publication Critical patent/TW202131225A/zh
Application granted granted Critical
Publication of TWI754520B publication Critical patent/TWI754520B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

[課題] 目的為提供一種提示出能夠提升影像解析之精度的學習條件的手法。 [解決手段] 一種機器學習用資訊處理裝置，係具備：正誤資訊生成部，係將影像解析結果之正誤資訊，加以生成；和信賴性判定部，係將影像解析處理中關於解析的信賴性，予以判定；和學習條件輸出部，係基於正誤資訊及信賴性而提示出學習條件。

Description

機器學習方法及機器學習用資訊處理裝置
本發明係有關於涉及機器學習的資訊處理技術。
於使用機器學習的處理裝置中，係被要求藉由學習所得之辨識等之處理的信賴性或精度之提升。
例如在專利文獻1中係揭露，於使用機器學習的影像辨識技術中，選擇學習用資料的技術。若依據專利文獻1中所揭露的技術，則對想定外的環境變化，可抑制學習所致之影像辨識處理的辨識精度之降低。
又在非專利文獻1中係報告了，於深度學習中，將辨識時的不確定性(Epistemic Uncertainty)與偶發的不確定性(Aleatoric Uncertainty)予以評價的技術。 [先前技術文獻] [專利文獻]
[專利文獻1]日本特開2019-21201號公報 [非專利文獻]
[非專利文獻1]“What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?” Alex Kendall et.al, 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA。
[發明所欲解決之課題]
在專利文獻1中，係在進行影像辨識處理時，將判別之信賴度為低且頻繁度為少的資料，選擇作為學習時所使用的資料。
可是，像是電子顯微鏡所致之材料解析這類，需要解析的資料的量較多的資料或者是需要從資料辨識出來的對象中具有不同重要度的這類情況下，即使將判別之信賴度為低且頻繁度為少的資料使用於學習，也有可能導致解析精度降低。例如，即使攝影環境有所改變，仍要求要能夠偵測出重要度較高的物體。
本發明的目的在於，提供一種提示出能夠提升影像解析之精度的學習條件的手法。 [用以解決課題之手段]
本發明的理想之一側面，係為一種機器學習用資訊處理裝置，係具備：正誤資訊生成部，係將影像解析結果之正誤資訊，加以生成；和信賴性判定部，係將影像解析處理中關於解析的信賴性，予以判定；和學習條件輸出部，係基於正誤資訊及信賴性而提示出學習條件。
本發明的理想之另一側面，係為一種被安裝有適用了使用學習資料之機器學習的模型，並對已被輸入之影像進行影像解析的影像解析裝置之機器學習方法。在該方法中係執行：第1步驟，係對關於已被輸入之影像的影像解析裝置之解析結果，進行正誤判定；第2步驟，係將包含模型之信賴性及資料之信賴性之至少一者的影像解析之信賴性，予以評價；第3步驟，係基於正誤判定與影像解析之信賴性，而提示出：維持現狀、將已被輸入之影像利用於學習資料之建議、不要將已被輸入之影像利用於學習資料之建議、及學習設定值之變更之至少一者。 若說明更具體的態樣，則執行第4步驟，係將模型之信賴性與所定之閾值進行比較並識別大小；在第3步驟中，解析結果為正確，且模型之信賴性為大時，提示出維持現狀；解析結果為正確，且模型之信賴性為小時，提示出將前記已被輸入之影像利用於學習資料之建議；解析結果為錯誤，且模型之信賴性為大時，提示出學習設定值之變更；解析結果為錯誤，且模型之信賴性為小時，提示出將前記已被輸入之影像利用於學習資料之建議。
若說明另一更具體的態樣，則執行第5步驟，係將資料之信賴性與所定之閾值進行比較並識別大小；在第3步驟中，解析結果為正確，且資料之信賴性為大時，提示出維持現狀；解析結果為正確，且資料之信賴性為小時，提示出不要將前記已被輸入之影像利用於學習資料之建議；解析結果為錯誤，且資料之信賴性為大時，提示出學習設定值之變更；解析結果為錯誤，且資料之信賴性為小時，提示出不要將前記已被輸入之影像利用於學習資料之建議。 [發明效果]
若依據本發明，則可提示出能夠提升影像解析之精度的學習條件。上記以外的課題、構成、及效果，係可藉由以下的實施形態之說明而明瞭。
以下根據圖式，詳述本發明的實施形態。此外，以下所說明的實施形態並非用來限定申請專利範圍中所涉及之發明，又，實施形態之中所說明的各元件及其組合之全部並不一定是發明的解決手段所必須。又，將實施形態之中所說明的各元件做適宜組合的形態，也是被包含在本案所揭露的實施形態中。
以下所說明的發明之構成中，相同部分或具有同樣機能的部分係在不同圖式間共通使用相同的符號，且有時候會省略重複的說明。
相同或具有同樣機能的元件是有複數存在的情況下，則會有對同一符號附加不同的字尾來做說明的情況。但是，在沒有必要區別複數元件的情況下，則有省略字尾來做說明的情況。
本說明書等中的「第1」、「第2」、「第3」等之記載，係為了識別構成元件而標示，並不必為用來限定數量、順序、或者其內容。又，構成元件之識別所需的號碼是依每個文章脈絡而使用，一個文章脈絡中所使用的號碼，在其他文章脈絡中並不一定是表示相同的構成。又，被某個號碼所識別的構成元件，並不妨礙其兼具被其他號碼所識別的構成元件之機能。
圖式等中所表示的各構成之位置、大小、形狀、範圍等，係為了容易理解發明而為之，會有並非表示實際之位置、大小、形狀、範圍等的情況。因此，本發明並不必被圖式等中所揭露的位置、大小、形狀、範圍等所限定。
本說明書中所引用的刊物、專利及專利申請案，係直接構成了本說明書的說明之一部分。
本說明書中以單數形所表示的構成元件，若無特別以文章脈絡來明示，則視為亦包含複數形。
實施例中所說明的機器學習用資訊處理裝置之一例，係被使用於支援機器學習所被適用之解析裝置之學習的用途上。作為機器學習係可舉出，使用學習資料(訓練資料)來將神經網路予以學習者。該裝置係具備：正誤資訊生成部，係將影像解析結果之正誤資訊，加以生成；和信賴性判定部，係將影像解析處理中關於解析的信賴性，予以判定；和學習條件輸出部，係基於正誤資訊及信賴性而提示出學習條件。
此種機器學習用資訊處理裝置，係可藉由一般的資訊處理裝置，例如伺服器來構成。與一般的伺服器同樣地，所述的機器學習用資訊處理裝置，係具備：控制裝置、記憶裝置、輸入裝置、輸出裝置、連接各部的匯流排。藉由裝置所被執行的程式，係假設預先就被安裝在記憶裝置中。在以下的說明中，資訊處理裝置所必定具備的控制裝置、記憶裝置、輸入裝置、輸出裝置就不特別圖示，而是著眼於藉由裝置所被實現的機能來做說明。
具體而言，各機能係藉由被記憶在記憶裝置中，而被處理裝置所執行的程式，來加以實現。亦即，本實施例中計算或控制等之機能，係藉由被儲存在記憶裝置中的程式是被處理裝置所執行，而使預定之處理是與其他硬體協同運作而被實現。計算機等所執行的程式、其機能、或者用以實現該機能的手段，有時候會稱之為「機能」、「手段」、「部」、「單元」、「模組」等。
機器學習用資訊處理裝置的構成，係可由單體的裝置所構成，或者亦可為，輸入裝置、輸出裝置、處理裝置、記憶裝置之任意部分，是由以網路所被連接的其他電腦所構成。這就發明的思想而言係為等價，並沒改變其本質。
本實施例中，與使用軟體所構成之機能同等的機能，係亦可藉由FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等之硬體來加以實現。如此的態樣也被包含在本案發明的範圍內。
圖1係為實施形態所述之機器學習用資訊處理裝置100之構成例的區塊圖。機器學習用資訊處理裝置100係具備：正誤資訊生成部101、信賴性判定部102、學習條件輸出部103及顯示內容生成部104。正誤資訊生成部101、信賴性判定部102、學習條件輸出部103及顯示內容生成部104，係透過匯流排106而被連接。匯流排106，係將匯流排106上所被連接的各處理部中所處理的資料、控制資訊及解析資訊予以保持、或是仲介傳輸。
如開頭所說明，在本實施例中，正誤資訊生成部101、信賴性判定部102、學習條件輸出部103及顯示內容生成部104係由軟體來實作。又，機器學習用資訊處理裝置100假設係具備有身為資訊處理裝置所一般具備的各種之輸出入裝置或介面。
機器學習用資訊處理裝置100，係透過匯流排106而被連接至影像解析裝置110及輸出入裝置111。機器學習用資訊處理裝置100，係可與影像解析裝置110及輸出入裝置111做有線連接，也可做無線連接。此外，在圖1中雖然是以影像解析裝置110及輸出入裝置111是被設置在機器學習用資訊處理裝置100之外部的例子來圖示，但亦可內建於機器學習用資訊處理裝置100中。
影像解析裝置110，係具有從影像而解析出特定之對象的機能。將影像進行解析的處理係亦可為，將影像分類成是否具有特定之特徵，而算出1個以上之分類結果；亦可為，於影像中偵測出包含特定對象之領域，將對象位於影像中的位置或大小予以算出；亦可為，於影像中將包含特定對象之領域分割成為區段，作為與其他對象區分顏色之影像的方式而予以算出。以下，為了概括表示這些影像之分類、影像之偵測、影像之區段分割，而把從影像解析出特定之對象的處理，稱作影像解析。至於影像解析處理，係使用公知的技術。
影像解析裝置110，作為典型的例示，係可由藉由具有教師的學習而被設定了內部參數的深度神經網路(DNN)等所構成。該當構成，係亦可藉由軟體來實作，亦可藉由FPGA這類硬體來構成。影像解析裝置110，一般而言是以針對所定之輸入而會進行所定之輸出的函數近似器的方式，而被定義。在設成一般的函數近似器的情況下，輸入係可如上記般地為影像資料，亦可把聲音或其他種類之資料當作輸入。
圖2中圖示影像解析裝置110所致之影像解析結果之例子。攝影影像210係作為以顯微鏡所拍攝的影像之例子而圖示了有新月狀之物體201與橢圓狀之物體202混合存在的狀態。影像解析裝置110係例如，一旦把攝影影像210當作輸入，就會將新月狀之物體201與橢圓狀之物體202加以識別並分類。
例如，針對該攝影影像210，新月狀之物體201是被分色成白色而做區段化，橢圓狀之物體202及背景則是被分色成灰色而做區段化，如此進行影像解析的結果之影像例，示於解析結果影像220。
在解析結果影像220中係有：將新月狀之物體201A、201B、201D正確地區段化成白色的區段211A、211B、211D、及將橢圓狀之物體202A正確地區段化成灰色的區段212A。另一方面，也還含有新月狀之物體201C未被正確地區段化的區段211C、橢圓狀之物體202B未被正確地區段化的區段212B。
輸出入裝置111係具有：將已被影像解析裝置110所處理之解析結果的正誤之相關資訊，輸出至機器學習用資訊處理裝置100的機能。作為將正誤之相關資訊予以輸出的例子係為例如，將影像解析裝置110所致之解析結果以像是解析結果影像220般的形態而對輸出入裝置111以影像的方式加以顯示，讓利用者來選擇解析的正誤，並將選擇之結果輸出至機器學習用資訊處理裝置100。
此情況下，輸出入裝置111，作為例子是由具有顯示影像的顯示器與可讓利用者操作的滑鼠或是鍵盤的PC所構成，但只要是能夠把解析結果影像220輸出給利用者，藉由利用者來輸入解析結果之正誤的構成即可。例如亦可為智慧型手機或平板終端所具有的觸控面板顯示器，亦可將影像結果以印表機來列印，亦可藉由語音來輸入利用者之選擇。
被輸出入裝置111所處理並輸出至機器學習用資訊處理裝置100的資訊，係亦可為由利用者所選擇的解析結果之正誤的資訊，亦可為藉由利用者所作成的所被期待之解析結果的資訊。又，作為將正誤之相關資訊予以輸出的另一例子，係將異於影像解析裝置110之解析手段所致之資訊，從輸出入裝置111輸出至機器學習用資訊處理裝置100。例如，使用單眼相機拍攝物體而得的影像，以影像解析裝置110來解析相機至物體之距離的情況下，係把事前以雷射掃描儀或TOF相機等之3D感測器所計測到的距離當作正確資訊，輸出入裝置111係將該正確資訊，輸出至機器學習用資訊處理裝置100。至於獲得正確資訊的手段，係使用公知的技術。
使用圖3來說明由利用者來選擇解析之正誤的方法之例子。提示給利用者的影像310，係基於解析結果影像220所作成，而催促利用者來選擇解析結果之正誤。作為利用者所做的選擇之例子，在圖3中係讓其操作游標301來選擇各區段之正誤。利用者所選擇後的結果，示於正誤選擇結果影像320。
利用者所做的選擇之結果，針對判斷為解析結果是正確(新月狀之物體201是被區段化成白色，或是橢圓狀之物體202是被區段化成灰色)者，係顯示成「正」；針對判斷為解析結果是有誤(不是新月狀之物體201卻區段化成白色，或是將新月狀之物體201區段化成灰色)者是顯示成「誤」；而判斷為解析結果不重要(不需要反映至以後的學習)者則是顯示成「未選擇」。
正誤資訊生成部101，係基於從輸出入裝置111所輸入的資訊，而生成影像解析結果之正誤資訊。正誤資訊的粒度係為任意，在圖3的例子中，是以對應於區段的方式來給予正誤資訊。亦即，在此例中，正誤資訊係對應於影像的部分性領域。或者，亦可隨著正誤的計算數或正誤之比率，而每一影像地進行正誤判定。
信賴性判定部102，係判定影像解析之信賴性。這裡所謂的信賴性，係指影像解析中的不確定性。將影像解析處理藉由機器學習等進行統計學上的模型化時，若模型化不是充分地精緻，則在給予解析難度高的資料時，已模型化之解析處理會帶有不確定性，因此可能導致解析結果發生參差而降低解析精度。此時可稱之為「模型是不確定」，以下稱作「模型的信賴性為低」。此案例係在前述的非專利文獻1中被稱作辨識時的不確定性。
又，即使影像解析處理之模型化是充分地精緻，解析對象之資料是相較於他者而含有局部性雜訊而導致解析難度變高的這類情況下，會因為該當資料帶有不確定性，而可能導致解析結果發生參差而降低解析精度。此時可稱之為「資料是不確定」，以下稱作「資料的信賴性為低」。此案例係在前述的非專利文獻1中被稱作偶發性不確定性。
在信賴性判定部102中，係將模型之信賴性及資料之信賴性予以算出。信賴性判定部102所判定的信賴性，係亦可為只有模型之信賴性，亦可為只有資料之信賴性，亦可為模型之信賴性與資料之信賴性之雙方。至於將模型之信賴性及資料之信賴性予以算出的手法，係使用例如非專利文獻1所記載之公知的技術。如非專利文獻1中亦有記載，模型之信賴性及資料之信賴性，係可作為對應於影像之部分性領域的連續值，而以例如對比度或色差來做視覺性呈現。
學習條件輸出部103，係根據藉由正誤資訊生成部101所生成的影像解析結果之正誤資訊與藉由信賴性判定部102所判斷的影像解析之信賴性，來判定學習條件並提示。
圖4係基於影像解析結果之正誤資訊與影像解析之信賴性，來判定學習條件的規則之例子的表圖。如此的規則，係可由使用者預先決定，例如以表格形式之資料的方式記憶在機器學習用資訊處理裝置100的記憶裝置(未圖示)中。學習條件輸出部103係參照該當規則而進行判定。
圖4之中的表格410係為根據解析結果之正誤資訊及模型之信賴性來判定學習條件的例子，是對模型之信賴性使用閾值a或b來判定信賴性是否為高。閾值係由使用者預先給定來作為規則之一部分。
在410(1)中，由於判定是解析結果為正確且模型之信賴性為高，因此影像解析裝置110的學習被認為是適切。此情況下，提示出維持學習條件(維持現狀)的判定結果。
在410(2)(4)中，由於模型之信賴性為低，因此皆判定為，藉由把該筆資料追加至學習資料而進行學習就可提升解析精度。藉由把閾值b設定成小於閾值a，就可使得解析結果為錯誤的(4)會被優先地追加至學習資料。
圖5係圖示了正誤選擇結果影像320與信賴性顯示影像510之關係。信賴性顯示影像510係於非專利文獻1中也有揭露，是表示了模型之信賴性，但資料之信賴性也可同樣地顯示。在此例中，信賴性低於閾值的部分以灰色表示，閾值以上的部分以白色表示。此處，區段511之部分係相當於，解析結果為正確但模型之信賴性為低的410(2)。區段512之部分係相當於，解析結果為錯誤且模型之信賴性為低的410(4)。
對學習資料之追加，係只要將對應於正誤選擇結果影像320的原影像(對影像解析裝置110的輸入影像)與正確答案之組合，追加至學習資料即可。或者，亦可將影像中的該當之部分(例如區段511或512所對應之部分)以游標301加以指定而切出，並追加至學習資料。
在410(3)中，係為就算解析結果有誤但模型之信賴性為高的狀態，對應於圖5的區段513之部分。此處係判斷為，與其追加學習資料不如變更學習設定值反而可以有效地大幅變更模型。所謂學習設定值，係為例如學習執行時用來設定學習條件的參數、或將模型進行調校用的超參數。
另一方面，圖4之中的表格420係為根據解析結果之正誤資訊及資料之信賴性來判定學習條件的例子，是對資料之信賴性使用閾值c或d來判定信賴性是否為高。
在420(1)中，由於是判定解析結果為正確且資料之信賴性為高，因此提示出維持學習條件的判定結果。
在420(2)(4)中，資料之信賴性為低且被認為該筆資料中發生了偶發性雜訊，即使將該筆資料追加至學習資料仍無法提升解析精度，反而可能導致解析精度降低。亦即，該筆資料不要使用於學習資料，反而比較好。基於此理由，提示出不建議把該當資料當作學習資料來使用。而且為了將學習資料進行追加以提升解析精度，而還提示出資料的再次取得。所謂再次取得係為，針對不同對象而取得影像、與針對相同對象而再次取得影像之雙方都有可能。這是因為，即使是關於相同對象的影像，隨著條件(例如攝影條件)不同，仍有可取得適合於學習資料的可能性。具體而言，藉由再度的攝影，可以期待影像中的雜訊或光暈會獲得改善。
在420(3)中，係為即使解析結果有誤但資料之信賴性為高的狀態，因而判斷為與其再次取得資料不如變更學習設定值反而更能有效地大幅變更模型。
顯示內容生成部104，係如圖3中所說明，在利用者使用輸出入裝置111來選擇影像解析之正誤之際，生成提示給利用者的顯示內容。只要是能夠讓利用者判斷解析結果是正確還是錯誤的顯示內容即可，若是影像分類則亦可將分類結果以文字方式做顯示，也可以影像方式做顯示。若是影像的偵測，則亦可在影像之中將所偵測到的領域以框框或賦予顏色而顯示，亦可僅將所偵測到的領域予以切出而顯示。若是影像的區段分割，則亦可在影像之中對區段分割出來的領域賦予顏色而顯示，亦可僅將區段分割出來的領域予以切出而顯示。除此以外，只要能夠在影像之中呈現影像解析之結果的手法，則任何公知的技術均無妨。又，亦可將有2個以上的複數之影像解析結果加以並排而顯示，而讓人從其中選擇影像解析之正誤的顯示內容也無妨。
又，顯示內容生成部104，係也生成用來顯示學習條件輸出部103之輸出結果所需之影像資料。又，會進行如後面以圖7所說明的介面影像之生成。
圖4所示的，基於模型之信賴性的判定，與基於資料之信賴性的判定，係亦可只獨立進行單方，亦可雙方都進行。雙方都進行的情況下，係先進行基於資料之信賴性的判定，將420(6)(8)中不被建議採用作為學習資料的影像予以排除之後，才進行基於模型之信賴性的判定，藉此可以防止非建議資料被使用作為學習資料。
圖6係為機器學習用資訊處理裝置100所致之機器學習用資訊處理的流程圖。在圖6中，係將根據解析結果之正誤資訊及模型之信賴性來判定學習條件的處理，以流程圖來圖示。
對機器學習用資訊處理裝置100的輸入，係為從影像解析裝置110所被輸入的影像解析結果、與從輸出入裝置111所被輸入的例如使用者所做的正確答案。在想定了學習資料之追加的情況下，作為影像解析裝置110之解析對象是使用學習資料以外的新的影像(欲追加的學習資料候補)。
在S601中，係基於從影像解析裝置110與輸出入裝置111所被輸入之資訊，而由正誤資訊生成部101生成正誤資訊。正誤資訊，係亦可針對解析結果影像之每一者做賦予，亦可如圖3的例子般地針對解析結果影像中所含之1個以上之解析結果之每一者做賦予。又，亦可只針對輸出入裝置111中利用者判斷過正誤的影像而生成正誤資訊，此情況下，在S603中視為對象的資料，係限定為利用者判斷過正誤的資料。
在S602中，係藉由信賴性判定部102來判定模型之信賴性。模型之信賴性係亦可對於解析結果影像而為例如影像之大小(水平方向像素數×垂直方向像素數)有多少種就具有多少個數值，亦可對於1個解析結果影像而具有單一之數值。關於信賴性判定之具體例，係在例如非專利文獻1中有揭露。
在S603中，係在解析結果影像之中，判定出在本實施例中所要參照的資料(例如欲追加的學習資料候補)，執行S604至S610之處理直到對象資料全部的參照都完成。一旦參照全部完成，就結束處理。
在S604中，係參照解析結果之正誤資訊，若解析結果為「正」則往S605，若解析結果為「誤」則往S606前進。在S605中，判定模型之信賴性是否為閾值a以上，而往S607或S608前進。在S606中，判定模型之信賴性是否為閾值b以上，而往S609或S610前進。關於S607至S610中所示的學習條件，係如同前述。
在圖6中，雖然說明使用模型之信賴性的判定，但即使是資料之信賴性也可進行相同的處理。此時，作為閾值是使用c、d，這應無須贅述。
圖7中圖示，機器學習用資訊處理裝置100的執行時所使用的GUI(Graphical User Interface)之例子。
GUI的畫面700係具備：執行模式704、用來指定儲存有初始深層網路模型之目錄的欄705、用來指定儲存有輸入資料及學習資料之目錄的欄706、用來指定儲存有推定結果資料、信賴性資料、及學習後的深層網路模型之目錄的欄707、用來指定儲存有解析後的建議資料或深層網路模型之目錄的欄708、用來輸入執行參數或解析用參數的欄711、執行鈕714、報告輸出鈕715、影像或信賴性資料顯示畫面702、用來指定畫面702中所顯示之資訊的欄701、703、716～721。
畫面700的內容，係由顯示內容生成部104所生成，而被顯示在輸出入裝置111的例如影像監視器上。在欄705中係選擇要安裝在影像解析裝置110中的模型。在欄706中係將記憶裝置中已經記憶的各種資料，予以選擇並叫出。在欄707中，係將所生成的資料，保存至記憶裝置。在欄708中，係將圖6所示之處理的結果所得的建議資料或模型，加以保存。在欄711中，係將模型之學習時或執行時所要設定的參數，予以輸入。執行鈕714，係會執行學習或解析之處理。報告輸出鈕715，係將例如圖6所示之處理的結果所得的建議資料，以報告形式予以輸出。在畫面702中，係將如圖2、圖3、圖5所示的影像，予以同時或切換顯示。
欄716及719係可選擇：輸入資料(例如可如圖2的210般地顯示)、正確資料(學習資料)、訓練資料、推論結果資料(例如可如圖2的220般地顯示)、信賴性資料(例如可如圖3的310般地顯示)等。在欄717及720中，係將欄716及719中所選擇的資料之清單予以一覽顯示。各資料係事先儲存在機器學習用資訊處理裝置100的記憶裝置或外部之記憶裝置中。欄718及721係為，表示將欄717及720中所被顯示之清單之位置的捲動條。
在欄701中，可選擇合成(濃淡)、合成(彩色)，將欄717及720中所被選擇的資料，按照703的捲動條之比率進行合成後的資料，會被顯示在畫面702。亦即，在此例中，係可將不同的影像，做重疊顯示。除此以外，亦可將複數影像做排列顯示。
執行模式704中係可選擇訓練(training)、推論(inference)、解析(analysis)等。
首先，以執行模式704來設定為訓練模式或是推論模式，在欄705～707中設定適切的目錄，在欄711中設定執行參數，一旦按下執行鈕714，就會依照所設定的目錄及執行參數，來執行影像解析裝置110的模型之訓練或推論。模型的訓練或推論，係可藉由公知的程序而執行。執行後，學習後的深層網路模型、推論結果資料、信賴性資料，係被儲存至輸出目錄。
執行後，可藉由設定欄701、703、716～721，而在畫面702中顯示出所欲顯示的資料。亦即，可以參照輸入資料、學習資料、訓練資料、推論結果資料、信賴性資料。
接著，設定成解析模式，在欄708中設定儲存有解析後之建議資料等的目錄。一旦執行解析模式，圖6所示的處理就被執行。所謂解析後的建議資料，係為被建議要追加成為學習資料的資料，係為圖6的處理S608、S610中所被追加的資料。
將欄701、703、716～721予以設定，而在畫面702中顯示出欲顯示之資料，進行正誤之選擇等，藉此就可執行解析結果的正誤資訊之生成處理S601。話說回來，解析結果的正誤資訊亦可在事前就加以生成並記憶。其後，藉由按下執行鈕714，處理S602～S610就被執行而在欄708的目錄中就會儲存有建議資料。
又，在圖6的處理S607中若為應維持學習條件之判定結果的情況下，則輸出入裝置111係也會在例如畫面702顯示出該意旨。在圖6的處理S609中若為應變更學習設定值之判定結果的情況下，則使用者係在欄711中調整任意之參數。
如此執行了追加學習或參數變更之後，設定成訓練模式，將欄706設定成建議資料所被儲存的目錄，藉由按下執行鈕714，在欄707的目錄中就會儲存有已被改善之學習後的深層網路模型、推論結果資料、信賴性資料。
100:機器學習用資訊處理裝置 101:正誤資訊生成部 102:信賴性判定部 103:學習條件輸出部 104:顯示內容生成部 106:匯流排 110:影像解析裝置 111:輸出入裝置 210:攝影影像 201A~201D:新月狀之物體 202A,202B:橢圓狀之物體 211A~211D,212A,212B:區段 220:解析結果影像 301:游標 310:影像 320:正誤選擇結果影像 410,420:表格 510:信賴性顯示影像 511~513:區段 700:畫面 701,703,705~708,711,716~721:欄 702:畫面 704:執行模式 714:執行鈕 715:報告輸出鈕
[圖1]機器學習用資訊處理裝置之機能構成例的區塊圖。 [圖2]解析對象之影像及解析結果之影像之一例的說明圖。 [圖3]說明由利用者來選擇解析之正誤的方法之例子的說明圖。 [圖4]用來說明學習條件之判定之例子的表圖。 [圖5]信賴性與解析結果之正誤的對應之一例的說明圖。 [圖6]機器學習用資訊處理的流程圖。 [圖7]機器學習用資訊處理中所使用的介面之畫面例的平面圖。
100:機器學習用資訊處理裝置
101:正誤資訊生成部
102:信賴性判定部
103:學習條件輸出部
104:顯示內容生成部
106:匯流排
110:影像解析裝置
111:輸出入裝置

Claims (15)

  1. 一種機器學習用資訊處理裝置，係具備： 正誤資訊生成部，係將影像解析結果之正誤資訊，加以生成；和 信賴性判定部，係將影像解析處理中關於解析的信賴性，予以判定；和 學習條件輸出部，係基於前記正誤資訊及前記信賴性而提示出學習條件。
  2. 如請求項1所記載之機器學習用資訊處理裝置，其中， 於前記正誤資訊生成部中， 根據利用者對前記影像解析結果與前記影像解析結果所輸入的操作結果，而生成前記正誤資訊。
  3. 如請求項1所記載之機器學習用資訊處理裝置，其中， 於前記正誤資訊生成部中， 把藉由別的手法而將解析對象之影像進行解析的結果當作正確資訊，藉由比對前記影像解析結果與前記正確資訊而生成前記正誤資訊。
  4. 如請求項1所記載之機器學習用資訊處理裝置，其中， 於前記正誤資訊生成部中， 對於1個影像生成1個正誤資訊。
  5. 如請求項1所記載之機器學習用資訊處理裝置，其中， 於前記正誤資訊生成部中， 對於1個影像中所含之2個以上之解析結果，生成2個以上之正誤資訊。
  6. 如請求項1所記載之機器學習用資訊處理裝置，其中， 前記學習條件係包含： 將已被生成前記正誤資訊的影像解析結果所對應之影像，追加至學習資料中。
  7. 如請求項1所記載之機器學習用資訊處理裝置，其中， 前記學習條件係包含： 將已被生成前記正誤資訊的影像解析結果所對應之影像追加至學習資料中的這件事情，設成不建議。
  8. 如請求項1所記載之機器學習用資訊處理裝置，其中， 前記學習條件係包含： 變更關於學習之設定值。
  9. 如請求項1所記載之機器學習用資訊處理裝置，其中， 前記學習條件係包含： 將已被生成前記正誤資訊的影像解析結果所對應之影像，予以再次取得。
  10. 如請求項1所記載之機器學習用資訊處理裝置，其中， 於前記學習條件輸出部中， 將信賴性視為數值，在該當數值大於閾值時、該當數值小於閾值時，提示出不同的學習條件。
  11. 如請求項1所記載之機器學習用資訊處理裝置，其中， 有關前記關於解析的信賴性，是 使用起因於影像解析處理之模型的模型之信賴性。
  12. 如請求項1所記載之機器學習用資訊處理裝置，其中， 有關前記關於解析的信賴性，是 使用起因於解析對象也就是影像資料的資料之信賴性。
  13. 一種機器學習方法，係為被安裝有適用了使用學習資料之機器學習的模型，並對已被輸入之影像進行影像解析的影像解析裝置之機器學習方法，其係執行： 第1步驟，係對關於已被輸入之影像的影像解析裝置之解析結果，進行正誤判定； 第2步驟，係將包含模型之信賴性及資料之信賴性之至少一者的影像解析之信賴性，予以評價； 第3步驟，係基於前記正誤判定與前記影像解析之信賴性，而提示出：維持現狀、將前記已被輸入之影像利用於學習資料之建議、不要將前記已被輸入之影像利用於學習資料之建議、及學習設定值之變更之至少一者。
  14. 如請求項13所記載之機器學習方法，其中， 執行第4步驟，係將前記模型之信賴性與所定之閾值進行比較並識別大小； 在前記第3步驟中， 解析結果為正確，且模型之信賴性為大時，提示出維持現狀； 解析結果為正確，且模型之信賴性為小時，提示出將前記已被輸入之影像利用於學習資料之建議； 解析結果為錯誤，且模型之信賴性為大時，提示出學習設定值之變更； 解析結果為錯誤，且模型之信賴性為小時，提示出將前記已被輸入之影像利用於學習資料之建議。
  15. 如請求項13所記載之機器學習方法，其中， 執行第5步驟，係將前記資料之信賴性與所定之閾值進行比較並識別大小； 在前記第3步驟中， 解析結果為正確，且資料之信賴性為大時，提示出維持現狀； 解析結果為正確，且資料之信賴性為小時，提示出不要將前記已被輸入之影像利用於學習資料之建議； 解析結果為錯誤，且資料之信賴性為大時，提示出學習設定值之變更； 解析結果為錯誤，且資料之信賴性為小時，提示出不要將前記已被輸入之影像利用於學習資料之建議。
TW110102261A 2020-02-12 2021-01-21 機器學習方法及機器學習用資訊處理裝置 TWI754520B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020021453A JP7308775B2 (ja) 2020-02-12 2020-02-12 機械学習方法および機械学習用情報処理装置
JP2020-021453 2020-02-12

Publications (2)

Publication Number Publication Date
TW202131225A true TW202131225A (zh) 2021-08-16
TWI754520B TWI754520B (zh) 2022-02-01

Family

ID=77291505

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110102261A TWI754520B (zh) 2020-02-12 2021-01-21 機器學習方法及機器學習用資訊處理裝置

Country Status (4)

Country Link
US (1) US20230080978A1 (zh)
JP (1) JP7308775B2 (zh)
TW (1) TWI754520B (zh)
WO (1) WO2021161628A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI792511B (zh) * 2021-08-20 2023-02-11 長庚大學 影像辨識方法及系統

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623387B2 (ja) * 2008-09-04 2011-02-02 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
US9373087B2 (en) * 2012-10-25 2016-06-21 Microsoft Technology Licensing, Llc Decision tree training in machine learning
JP6291844B2 (ja) * 2014-01-06 2018-03-14 日本電気株式会社 データ処理装置
US20160292769A1 (en) * 2015-03-31 2016-10-06 Stitch Fix, Inc. Systems and methods that employ adaptive machine learning to provide recommendations
TWI592883B (zh) * 2016-04-22 2017-07-21 財團法人車輛研究測試中心 Image recognition system and its adaptive learning method
CN107341428B (zh) * 2016-04-28 2020-11-06 财团法人车辆研究测试中心 影像辨识系统及自适应学习方法
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
JP6897042B2 (ja) * 2016-09-27 2021-06-30 日本電気株式会社 画像検査装置、画像検査方法および画像検査プログラム
JP7020626B2 (ja) * 2017-02-01 2022-02-16 エルジー ハウスホールド アンド ヘルスケア リミテッド メイクアップ評価システム及びその動作方法
JP6614198B2 (ja) * 2017-04-26 2019-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6946812B2 (ja) * 2017-07-20 2021-10-06 株式会社デンソー 学習サーバ及び支援システム
JP6936957B2 (ja) * 2017-11-07 2021-09-22 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP6573226B2 (ja) * 2017-12-15 2019-09-11 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP6812381B2 (ja) * 2018-02-08 2021-01-13 日本電信電話株式会社 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム
JP2019211969A (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法
JP7527769B2 (ja) * 2019-09-30 2024-08-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2022185436A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI792511B (zh) * 2021-08-20 2023-02-11 長庚大學 影像辨識方法及系統

Also Published As

Publication number Publication date
JP2021128415A (ja) 2021-09-02
US20230080978A1 (en) 2023-03-16
WO2021161628A1 (ja) 2021-08-19
JP7308775B2 (ja) 2023-07-14
TWI754520B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
US10930037B2 (en) Image processing device for displaying object detected from input picture image
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
US10438077B2 (en) Face liveness detection method, terminal, server and storage medium
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
US10073602B2 (en) System and method for displaying a suggested luminance adjustment for an image
KR20110124223A (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
WO2015074521A1 (en) Devices and methods for positioning based on image detection
JP2007122218A (ja) 画像分析装置
WO2020039882A1 (ja) 判別装置及び機械学習方法
TW201638784A (zh) 自動測試裝置
JP2007052575A (ja) メタデータ付与装置およびメタデータ付与方法
US9111346B2 (en) Image processing apparatus, image processing method, and recording medium
TW202131225A (zh) 機器學習方法及機器學習用資訊處理裝置
US20230177705A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US10922864B2 (en) Image processing device, image processing method and program, for object detection in an image
Gamal et al. Owl Eye: An AI-Driven Visual Testing Tool
CN113160049A (zh) 一种基于拼接融合系统的多投影仪无缝拼接融合方法
KR102582431B1 (ko) 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템
US12080057B2 (en) Image analysis apparatus, image analysis method, and storage medium
US20220239836A1 (en) Image processing device, control method thereof, imaging apparatus, and program storage medium
US20240282089A1 (en) Learning apparatus, inference apparatus, learning method, inference method, non-transitory computer-readable storage medium
US20230126046A1 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
WO2023188160A1 (ja) 入力支援装置、入力支援方法、及び非一時的なコンピュータ可読媒体
EP4372695A1 (en) Saliency maps for deep learning models
KR102558969B1 (ko) 퍼지 심리 상태를 측정하는 문제 풀이를 통한 강화된 온라인 학습 방법