TWI804953B - 訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法 - Google Patents

訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法 Download PDF

Info

Publication number
TWI804953B
TWI804953B TW110130785A TW110130785A TWI804953B TW I804953 B TWI804953 B TW I804953B TW 110130785 A TW110130785 A TW 110130785A TW 110130785 A TW110130785 A TW 110130785A TW I804953 B TWI804953 B TW I804953B
Authority
TW
Taiwan
Prior art keywords
label
training data
unit
training
support device
Prior art date
Application number
TW110130785A
Other languages
English (en)
Other versions
TW202215387A (zh
Inventor
野口威
岡山敏之
Original Assignee
日商斯庫林集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商斯庫林集團股份有限公司 filed Critical 日商斯庫林集團股份有限公司
Publication of TW202215387A publication Critical patent/TW202215387A/zh
Application granted granted Critical
Publication of TWI804953B publication Critical patent/TWI804953B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

使用預先所準備之學習模型，應被賦予訓練資料之標籤藉由推定部而被推定為第一標籤。被推定之第一標籤係由提示部所提示。應被賦予訓練資料之標籤，藉由受理部而被受理為第二標籤。或者，第一標籤與第二標籤是否不同係由判定部所判定。當被判定為第一標籤與第二標籤不同時，則藉由報知部來進行報知。回應使用者之指示，與第一標籤不同之第二標籤藉由賦予部而被賦予訓練資料。

Description

訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法
本發明係關於訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法。
被使用於監督式學習的訓練資料，係藉由正確表示物體或文字等之圖像資料所賦予的標籤所生成。當被賦予之標籤不正確時，監督式學習的精準度則降低。因此，被要求進行正確之標籤的賦予(標記或標誌；labeling)。
例如，於日本專利特開2019-96319號公報所記載之資料標記作業檢查方法中，有關一個影像資料之標記資訊係由複數個作業員所提出。各作業員所提出之標記資訊被比較，並於未判斷為所有標記資訊一致之情形時，則被要求再作業。
為了進行高精度之監督式學習，其需要製作大量的訓練資料。然而，當對大量的訓練資料進行標記時，由於需要長時間的作業，因此其存在有作業員之判斷會因集中力降低或疲勞等而產生偏差的情形。因此，難以對大量的訓練資料進行正確的標記。
本發明之目的在於提供訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法，其可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
(1) 本發明一態樣之訓練資料製作支援裝置係支援對訓練資料賦予標籤者；其具備有：推定部，其使用預先所準備之學習模型，將應被賦予訓練資料之標籤推定為第一標籤；提示部，其提示由推定部所推定之第一標籤；及受理部，其將應被賦予訓練資料之標籤受理為第二標籤。
於該訓練資料製作支援裝置中，作為應被賦予訓練資料的標籤，使用學習模型而由推定部所推定之第一標籤，其由提示部所提示。因此，使用者在對受理部指定應被賦予訓練資料之第二標籤時，可參照由提示部所提示的第一標籤。又，使用者在即便因集中力降低或疲勞等而進行錯誤之指定的情形時，仍可輕易地察覺到錯誤。藉此，可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
(2) 又，推定部對被推定之第一標籤的信賴度進行評定，而提示部進一步提示由推定部所評定之信賴度，如此亦可。於該情形時，使用者只要僅針對第一標籤之信賴度較低的訓練資料謹慎地判斷應指定的第二標籤即可。藉此，則可進一步減輕使用者的負擔。
(3) 又推定部推定應被分別賦予複數個訓練資料之複數個第一標籤，並且對被推定之各第一標籤的信賴度進行評定，提示部以信賴度的順序來提示由推定部所推定之複數個第一標籤，如此亦可。於該情形時，使用者可謹慎地進行判斷而容易地認知應指定第二標籤之複數個訓練資料的群組。藉此，則可進一步減低使用者的負擔。
(4) 又，訓練資料包含表示圖像之圖像資料，提示部以與第一標籤相對應之方式進一步提示基於訓練資料的圖像，如此亦可。於該情形時，使用者可容易地認知表示圖像之訓練資料、與針對訓練資料所推定之第一標籤之間的對應關係。
(5) 本發明另一態樣之訓練資料製作支援裝置係支援對訓練資料賦予標籤者；其具備有：推定部，其使用預先所準備之學習模型，將應被賦予訓練資料之標籤推定為第一標籤；受理部，其將應被賦予訓練資料之標籤受理為第二標籤；判定部，其判定第一標籤與第二標籤是否不同；報知部，其於藉由判定部而被判定為第一標籤與第二標籤不同之情形時進行報知；及賦予部，其回應使用者之指示，將與第一標籤不同之第二標籤賦予訓練資料。
於該訓練資料製作支援裝置中，當藉由判定部被判定為，被指定為應被賦予訓練資料之標籤的第二標籤與使用學習模型而由推定部所推定之第一標籤不同時，其藉由報知部來進行報知。因此，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，仍可輕易地察覺到錯誤。又，當使用者判斷為指定無誤時，與第一標籤不同之第二標籤則藉由賦予部而被賦予於訓練資料。藉此，則可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
(6) 又，訓練資料製作支援裝置進一步具備有提示部，該提示部顯示在藉由判定部而被判定為第一標籤與第二標籤不同時之判定的根據，如此亦可。於該情形時，使用者可考慮所提示的根據，而針對應賦予之第二標籤進行再次判斷。藉此，則可進一步減低使用者的負擔。
(7) 又，訓練資料包含表示圖像之圖像資料，提示部藉由可目視確認地表示基於訓練資料之圖像的部分，來顯示判定的根據，如此亦可。根據該構成，使用者於針對應賦予之第二標籤進行再次判斷時，則可容易地認知應考慮之圖像的部分。
(8) 又，提示部提示基於訓練資料的圖像，受理部針對表示由提示部所提示之圖像的訓練資料而受理第二標籤，如此亦可。於該情形時，使用者則可容易地認知應指定第二標籤的訓練資料。
(9) 又，推定部將第一標籤推定為第一成績，受理部將第二標籤受理為第二成績，判定部於第一成績與第二成績的差在預先所決定之臨限值以上的情形時，則判定為第一標籤與第二標籤不同，如此亦可。根據該構成，即便於學習模型由學習迴歸問題所建構之情形時，則仍可容易地判定第一標籤與第二標籤是否不同。
(10) 又，訓練資料製作支援裝置進一步具備有更新部，該更新部回應使用者之指示，並根據第二標籤、及與該第二標籤對應之訓練資料來更新學習模型，如此亦可。藉此，則可更正確地推定應賦予於訓練資料的第一標籤。
(11) 本發明又一態樣之訓練資料製作支援系統具備有：第一發明之訓練資料製作支援裝置；及顯示裝置，其顯示由訓練資料製作支援裝置之提示部所提示的第一標籤。
於該訓練資料製作支援系統中，由上述之訓練資料製作支援裝置之提示部所提示的第一標籤，被顯示於顯示裝置。因此，使用者在指定應被賦予於訓練資料的第二標籤時，可參照被顯示於顯示裝置的第一標籤。又，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，則仍可輕易地察覺到錯誤。藉此，可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
(12) 本發明又一態樣之訓練資料製作支援系統具備有：第二發明態樣之訓練資料製作支援裝置；及顯示裝置，其顯示由訓練資料製作支援裝置之提示部所提示之判定的根據。
於該訓練資料製作支援系統中，由上述之訓練資料製作支援裝置之提示部所提示之基於訓練資料之圖像的部分作為判定的根據，其可被目視確認地顯示於顯示裝置。藉此，則可一邊減輕使用者的負擔，一邊製作正確的訓練資料。又，使用者於針對應賦予之第二標籤進行再次之判斷的情形時，則可容易地認知到應考慮之圖像的部分。
(13) 本發明又一態樣之訓練資料製作支援方法係支援對訓練資料賦予標籤者；其包含有：使用預先所準備之學習模型，將應被賦予於訓練資料之標籤推定為第一標籤的步驟；提示被推定之第一標籤的步驟；及將應被賦予於訓練資料之標籤受理為第二標籤的步驟。
根據該訓練資料製作支援方法，作為應被賦予於訓練資料之標籤，使用學習模型所推定之第一標籤則被提示。因此，使用者於指定應被賦予於訓練資料之第二標籤時，可參照被提示的第一標籤。又，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，仍可輕易地察覺到錯誤。藉此，則可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
(14) 本發明又一態樣之訓練資料製作支援方法係支援對訓練資料賦予標籤者，其包含有：使用預先所準備之學習模型，將應被賦予訓練資料之標籤推定為第一標籤的步驟；將應被賦予訓練資料之標籤受理為第二標籤的步驟；判定第一標籤與第二標籤是否不同的步驟；於被判定為第一標籤與第二標籤不同之情形時進行報知的步驟；及回應使用者之指示，將與第一標籤不同之第二標籤賦予於訓練資料的步驟。
根據該訓練資料製作支援方法，當被判定為，被指定為應被賦予於訓練資料之標籤的第二標籤與使用學習模型而被推定之第一標籤不同的情形時，則進行報知。因此，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，仍可輕易地察覺到錯誤。又，於使用者判斷為指定無誤之情形時，其與第一標籤不同之第二標籤則被賦予訓練資料。藉此，可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
以下，對本發明之實施形態之訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法，使用圖式來進行說明。在以下之說明中，將訓練資料製作支援裝置簡稱為支援裝置，將訓練資料製作支援系統簡稱為支援系統，並將訓練資料製作支援方法簡稱為支援方法。
[1] 第一實施形態 (1) 支援系統的構成 圖1係表示本發明第一實施形態之支援系統之構成圖。如圖1所示，支援系統100包含處理裝置10及檢查裝置20。處理裝置10係由CPU(中央運算處理裝置)11、RAM(隨機存取記憶體)12、ROM(唯讀記憶體)13、儲存裝置14、操作部15、顯示裝置16及輸出入I/F(介面)17所構成。CPU 11、RAM 12、ROM 13、儲存裝置14、操作部15、顯示裝置16及輸出入I/F 17被連接於匯流排18。
RAM 12係作為CPU 11之作業區域來使用。於ROM 13儲存有系統程式。儲存裝置14包含硬碟或半導體記憶體等的儲存媒體，而儲存訓練資料製作支援程式(以下，簡稱為支援程式)。支援程式亦可被儲存於ROM 13或其他外部儲存裝置。又，儲存裝置14儲存預先所準備的學習模型。
用以執行訓練資料製作支援處理(以下，簡稱為支援處理)之支援裝置30係由CPU 11、RAM 12及ROM 13所構成。於支援處理中，根據學習模型來支援對訓練資料之標籤的賦予(標記)。對支援裝置30及支援處理的細節，將於後述。
操作部15係鍵盤、滑鼠或觸控面板等的輸入元件。使用者可藉由操作操作部15，來對支援裝置30進行後述之應賦予訓練資料之標籤的指定。顯示裝置16係液晶顯示裝置等的顯示元件，其顯示基於訓練資料的圖像等。輸出入I/F 17被連接於檢查裝置20。
檢查裝置20例如為基板檢查裝置，藉由依序拍攝檢查對象之複數片基板，來生成分別表示複數片基板之圖像的複數個圖像資料。固有的識別編號等被賦予所生成的各圖像資料。又，檢查裝置20將所生成的各圖像資料作為訓練資料而供予支援裝置30。再者，所謂基板係指半導體基板、液晶顯示裝置或有機EL(Electro Luminescence；電致發光)顯示裝置之等FPD(Flat Panel Display；平面顯示器)用基板、光碟用基板、磁碟用基板、光磁碟用基板、光罩用基板、陶瓷基板或太陽能電池用基板等。
圖2係表示圖1之支援裝置30之構成圖。如圖2所示，支援裝置30作為功能部而包含有取得部31、推定部32、提示部33、受理部34及賦予部35。支援裝置30的功能部係藉由圖1之CPU 11執行被儲存於ROM 13或儲存裝置14等之支援程式所實現。支援裝置30之功能部的一部分或全部，亦可由電子電路等的硬體所實現。
取得部31自檢查裝置20依序取得分別表示複數片基板之圖像的複數個訓練資料。推定部32使用被儲存於儲存裝置14之學習模型，來推定應分別被賦予於由取得部31所取得之複數個訓練資料的複數個標籤。於本例中，標籤包含分別表示訓練資料所示之圖像中基板為正常或異常的「OK」或「NG」。又，推定部32根據被儲存於儲存裝置14之學習模型，來評定被推定之各標籤的信賴度(機率)。
提示部33以與將由推定部32所推定之複數個標籤、及基於訓練資料之圖像對應的方式使顯示裝置16顯示。又，提示部33可將由推定部32所評定之各標籤的信賴度以與該標籤對應之方式使顯示裝置16顯示。此外，提示部33可根據來自操作部15的指示，將顯示裝置16所顯示之複數個標籤的順序設為信賴度之升序或降序。
受理部34自操作部15受理由取得部31所取得之應被賦予於各訓練資料的標籤。使用者可於顯示裝置16所顯示之標籤指定畫面中，一邊目視確認由學習模型所產生之複數個標籤及信賴度，一邊藉由操作操作部15而對受理部34指定應被賦予於各訓練資料的標籤。賦予部35針對各訓練資料，將由受理部34所受理的標籤賦予於該訓練資料。
(2) 藉由顯示裝置所進行的顯示 圖3係表示圖2之顯示裝置16所顯示之標籤指定畫面之一例的圖。如圖3所示，標籤指定畫面40包含有選擇圖像顯示區域41、圖像選擇區域42、圖像清單顯示區域43、基本資訊顯示區域44及標籤資訊顯示區域45。於本例中，選擇圖像顯示區域41包含有全體圖像顯示部41a、放大圖像顯示部41b及推定標籤顯示部41c。
根據選擇中的訓練資料，自圖2之檢查裝置20所拍攝之部分的全體其全體圖像被顯示於全體圖像顯示部41a。使用者可藉由目視確認被顯示於全體圖像顯示部41a的圖像，而容易地認知應指定標籤之選擇中的訓練資料。全體圖像之任意部分被放大的放大圖像，則被顯示於放大圖像顯示部41b。於本例中，全體圖像顯示部41a中由虛線之矩形所包圍之圖像的部分，被放大顯示於放大圖像顯示部41b。
針對選擇中之訓練資料而由圖2之推定部32所推定之標籤，被顯示於推定標籤顯示部41c。使用者可藉由目視確認選擇圖像顯示區域41，容易地認知表示圖像之訓練資料、與對訓練資料所推定之標籤的對應關係。針對選擇中之訓練資料而由推定部32所評定之信賴度，亦可進一步被顯示於選擇圖像顯示區域41。
用以選擇作業對象之訓練資料的操作按鈕42a、42b，被顯示於圖像選擇區域42。使用者可使用圖2之操作部15來操作操作按鈕42a或操作按鈕42b，藉此選擇所期望的訓練資料。與被選擇之訓練資料對應之圖像，則被顯示於選擇圖像顯示區域41。又，被選擇之訓練資料的識別編號及作業的進度，進一步被顯示於圖像選擇區域42。於圖3之例子中，2380個訓練資料中之識別編號為「1115」的訓練資料被選擇，而作業的進度為47%。
基於自圖2之取得部31所取得之複數個訓練資料的複數個縮圖圖像，分別以依識別編號之順序排列的方式被顯示於圖像清單顯示區域43。又，與選擇中之訓練資料相對應的縮圖圖像，被顯示為可藉由游標43a或強調顯示等來識別。又如對各訓練資料由推定部32所評定之信賴度，使其以與縮圖圖像相對應的方式進一步被顯示於圖像清單顯示區域43亦可。使用者即便藉由使用操作部15來選擇任意之縮圖圖像，仍可選擇作業對象的訓練資料。
表示選擇中之訓練資料的製作時日等的基本資訊，被顯示於基本資訊顯示區域44。而分別與標籤「OK」及「NG」相對應之核取框(check box)45a、45b，則被顯示於標籤資訊顯示區域45。使用者可藉由使用操作部15來操作核取框45a、45b之任一者，而指示應被賦予於選擇中之訓練資料的標籤。再者，具有同樣功能的下拉式選單等，亦可取代核取框45a、45b而被顯示於標籤資訊顯示區域45。
又，表示由推定部32所推定之各標籤之總數的表45c，被顯示於標籤資訊顯示區域45。於圖3之例子中，被推定為「OK」之標籤的總數為1763，而被推定為「NG」之標籤的總數為617。使用者於指示應賦予訓練資料之標籤時，可參照被顯示於表45c之各標籤的總數。
圖4係表示被顯示於圖2之顯示裝置16的標籤指定畫面40之另一例的圖。於圖4之例子中，分別基於由取得部31所取得之複數個訓練資料的複數個縮圖圖像，以由推定部32所評定之信賴度的降序，被顯示於圖像清單顯示區域43。複數個縮圖圖像亦可以用信賴度之升序，被顯示於圖像清單顯示區域43。使用者可藉由使用操作部15來進行既定之操作，而將圖像清單顯示區域43之顯示態樣，在圖3之例子與圖4之例子間進行切換。
有關被推定標籤的信賴度較高的訓練資料，使用者可容易地指定正確的標籤。因此，使用者只要僅對被推定標籤之信賴度較低的訓練資料謹慎地判斷應指定的標籤即可。因此，即便於圖3之例子中，使用者仍可藉由目視確認其信賴度，謹慎地判斷而容易認知應指定標籤的訓練資料。藉此，則可減低使用者的負擔。
又，於圖4之例子中，分別與複數個訓練資料對應之複數個縮圖圖像，被以依信賴度之順序排列的方式顯示於圖像清單顯示區域43。因此，使用者可謹慎地判斷而容易認知應指定標籤之複數個訓練資料的群組。因此，可進一步減低使用者的負擔。於圖4之例子中，與各縮圖圖像相對應之識別編號亦可進一步被顯示於圖像清單顯示區域43。
(3) 支援處理 圖5係表示藉由圖2之支援裝置30所進行之支援處理的流程圖。圖5之支援處理係藉由圖1之CPU 11在RAM 12上執行被儲存於ROM 13或儲存裝置14等之支援程式所進行。以下，使用圖2之支援裝置30、圖3或圖4之標籤指定畫面40、及圖5之流程圖，對支援處理進行說明。
首先，取得部31自檢查裝置20依序取得複數個訓練資料(步驟S1)。其次，推定部32根據學習模型，來推定應被賦予在步驟S1所取得之各訓練資料的標籤(步驟S2)。又，推定部32根據學習模型，來評定在步驟S2所推定之各標籤的信賴度(步驟S3)。藉此，標籤指定畫面40則被顯示於顯示裝置16。
接著，提示部33使分別與步驟S1所取得之複數個訓練資料相對應之複數個縮圖圖像顯示於顯示裝置16中標籤指定畫面40的圖像清單顯示區域43(步驟S4)。於本例之初始設定中，複數個縮圖圖像係依識別編號之順序排列的方式被顯示。識別編號及步驟S3中評定之標籤的信賴度，亦可以與所對應之縮圖圖像相對應的方式進一步顯示於圖像清單顯示區域43。
其後，提示部33判定是否已有指示縮圖圖像之配置之順序的變更(步驟S5)。於未被指示順序之變更之情形時，提示部33前進至步驟S7。當已被指示順序之變更時，提示部33則變更縮圖圖像之配置的順序(步驟S6)，並前進至步驟S7。每當步驟S6被執行，縮圖圖像之配置的順序便在識別編號之順序與在步驟S3所評定之信賴度之順序間進行切換。
在步驟S7中，提示部33判定任一個訓練資料是否已被選擇(步驟S7)。於訓練資料未被選擇時，提示部33前進至步驟S11。當訓練資料已被選擇時，提示部33對基於所選擇之訓練資料的圖像及該訓練資料，使在步驟S2所推定之標籤顯示於顯示裝置16中之標籤指定畫面40的選擇圖像顯示區域41(步驟S8)。有關所選擇之訓練資料於步驟S3所評定之標籤的信賴度，亦可進一步被顯示於選擇圖像顯示區域41。
其次，受理部34對在步驟S7所選擇之訓練資料，判定標籤的指定是否已被受理(步驟S9)。當標籤之指定未被受理時，受理部34前進至步驟S11。當標籤之指定已被受理時，賦予部35將被受理之標籤賦予在步驟S7所選擇之訓練資料(步驟S10)，並前進至步驟S11。
在步驟S11中，賦予部35判定是否已被指示結束(步驟S11)。使用者可藉由使用操作部15來進行既定之操作而指示結束或繼續進行。當未被指示結束時，賦予部35返回至步驟S5。因此，當未被賦予標籤之訓練資料剩餘時、或於變更曾被賦予之標籤時，使用者指示繼續進行。當結束已被指示之情形時，賦予部35結束支援處理。
(4) 效果 於本實施形態之支援裝置30中，應被賦予使用學習模型而由推定部32所推定之訓練資料的標籤，係藉由提示部33所提示。因此，使用者對受理部34指定應被賦予訓練資料之標籤時，可參照由提示部33所提示之標籤。又，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，仍可輕易地察覺到錯誤。藉此，可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
[2] 第二實施形態 (1)支援系統的構成 以下第二實施形態之支援裝置30與第一實施形態之支援裝置30的不同點進行說明。圖6係表示本發明第二實施形態之支援裝置30的構成圖。如圖2所示，支援裝置30作為功能部除了包含有取得部31、推定部32、提示部33、受理部34及賦予部35外，還進一步包含有判定部36、報知部37及更新部38。支援裝置30的功能部係藉由圖1之CPU 11執行被儲存於ROM 13或儲存裝置14等的支援程式所實現。支援裝置30之功能部的一部分或全部，亦可藉由電子電路等的硬體所實現。
判定部36判定由推定部32所推定的標籤、與由受理部34所受理的標籤是否不同。報知部37於藉由判定部36而被判定為標籤不同時則進行報知。於本例中，藉由受理部34所受理之標籤與由推定部32所推定之標籤並不相同的文字被顯示於顯示裝置16，以進行報知。使用者藉由認知到該報知，可得到再次判斷所指定之標籤是否正確的機會。
報知雖使用顯示裝置16來進行，但本發明之實施形態並不限定於此。例如，於支援系統100包含聲音輸出裝置時，報知亦可藉輸出表示內容為自受理部34所受理之標籤與自推定部32所推定之標籤並不相同之聲音、或蜂鳴器等的警告聲來進行。或者，於支援系統100包含燈具等之顯示燈時，報知亦可藉由使顯示燈點亮、熄滅或閃爍來進行。
提示部33當藉由判定部36而被判定為標籤不同時，則提示判定的根據。於該情形時，使用者可考慮所提示的根據，而對應賦予之標籤進行再次的判斷。於本例中，藉由基於訓練資料之圖像的部分可目視確認地被顯示於顯示裝置16，則對判定部36提示判定的根據。根據該構成，使用者對應賦予之標籤進行再次判斷時，則可容易地認知應考慮之圖像的部分。
當報知係由報知部37所進行時，使用者再次判斷所指示之標籤是否正確。其結果，使用者於判斷為所指示之標籤為錯誤時，則可對受理部34再次指示應被賦予訓練資料的標籤。另一方面，使用者於判斷所指定之標籤為正確時，則可藉由操作操作部15，而對賦予部35指示賦予所指定的標籤。
賦予部35在即便由受理部34所受理之標籤與由推定部32所推定之標籤不同時，仍會回應使用者的指示，而將由受理部34所受理的標籤賦予訓練資料。更新部38回應使用者的指示，並根據由受理部34所受理之標籤、及與該標籤相對應之訓練資料，來更新被儲存於儲存裝置14的學習模型。藉此，於以後的支援處理中，推定部32可對訓練資料來推定更正確的標籤。
(2) 藉由顯示裝置所進行的顯示 圖7係表示被顯示於圖6之顯示裝置16的標籤指定畫面40之一例的圖。圖7之標籤指定畫面40與圖3之標籤指定畫面40的不同點如下。於本實施形態中，由圖6之推定部32所推定之標籤及所評定之信賴度，未被顯示於標籤指定畫面40。因此，推定標籤顯示部41c未被顯示於選擇圖像顯示區域41。又，表45c未被顯示於標籤資訊顯示區域45。
於標籤指定畫面40中，使用者依序選擇各訓練資料，並對所選擇之訓練資料來指定應賦予的標籤。此處，在被判定為所指定之標籤與由推定部32所推定之標籤不同時，則提示該內容的報知畫面會被顯示於顯示裝置16。
圖8係表示被顯示於圖6之顯示裝置16的報知畫面之一例的圖。如圖8所示，報知畫面50包含有文字顯示區域51、圖像顯示區域52、再指定按鈕53及賦予按鈕54。例如表示與所推定之標籤不同之標籤已被指定的文字、及促使使用者再次判斷的文字，被顯示於文字顯示區域51。
與所推定之標籤不同之標籤已被指定之訓練資料的圖像，被顯示於圖像顯示區域52。於圖像中，被判定所指定之標籤與所推定之標籤不同之根據的部分，被顯示為可目視確認。於本例中，標記52a藉由Grad-CAM(Gradient-weighted Class Activation Mapping；梯度加權類別活化映射)等而被附加於圖像的對應部分，藉此，所根據之部分則可目視確認地被顯示。又，訓練資料的識別編號、所推定的標籤及信賴度、以及所指定的標籤，則進一步被顯示於圖像顯示區域52。
使用者經再次判斷的結果，當認為自己的判斷錯誤時，使用圖6的操作部15來操作再指定按鈕53，藉此指示標籤的再指定。在此情形時，於顯示裝置16則再次顯示圖7之標籤指定畫面40。藉此，可對判斷對象的訓練資料，再次指定應賦予之標籤。
另一方面，使用者經再次判斷的結果，當認為自己的判斷無誤時，使用操作部15來操作賦予按鈕54，藉此而指示標籤的賦予。藉此，即便於所指定的標籤與所推定的標籤不同時，所指定的標籤仍會被賦予訓練資料。又，根據所指定之標籤與訓練資料，被儲存於圖6之儲存裝置14的學習模型則被更新。
(3) 支援處理 圖9係表示藉由圖6之支援裝置30所進行之支援處理的流程圖。圖9之支援處理係藉由圖1之CPU 11在RAM 12上執行被儲存於ROM 13或儲存裝置14等之支援程式所進行。以下，使用圖6之支援裝置30、圖7之標籤指定畫面40、圖8之報知畫面50及圖9之流程圖，對支援處理進行說明。
首先，取得部31自檢查裝置20依序取得複數個訓練資料(步驟S31)。藉此，標籤指定畫面40則被顯示於顯示裝置16。其次，推定部32判定任一個訓練資料是否已被選擇(步驟S32)。當訓練資料未被選擇時，推定部32前進至步驟S43。當訓練資料已被選擇時，推定部32根據學習模型，來推定應被賦予所選擇之訓練資料的標籤(步驟S33)。又，推定部32根據學習模型，來評定在步驟S33所推定之標籤的信賴度(步驟S34)。
接著，受理部34對在步驟S32所選擇之訓練資料，判定標籤的指定是否已被受理(步驟S35)。當標籤之指定未被受理時，受理部34前進至步驟S43。當標籤之指定已被受理時，判定部36判定在步驟S35所受理之標籤、與在步驟S33所推定之標籤是否不同(步驟S36)。再者，步驟S33、S34亦可在步驟S35與步驟S36之間被執行。
當標籤並無不同時，賦予部35將所受理之標籤賦予在步驟S32所選擇之訓練資料(步驟S37)，並前進至步驟S43。當標籤不同時，報知部37藉由於顯示裝置16顯示報知畫面50而進行報知(步驟S38)。在步驟S33所推定之標籤及在步驟S34所評定之信賴度，亦可進一步被顯示於報知畫面50。
其後，受理部34判定標籤之再指定是否已被指示(步驟S39)。於標籤之再指定已被指示的情形時，受理部34返回至步驟S32。於該情形時，標籤指定畫面40被再次顯示於顯示裝置16。藉此，使用者可選擇任意之訓練資料，針對所選擇之訓練資料進行標籤之再指定。
當標籤之再指定未被指示時，賦予部35判定標籤之賦予是否已被指示(步驟S40)。當標籤之賦予未被指示時，賦予部35返回至步驟S39。重複進行步驟S39、S40之處理，直至標籤之再指定被指示、或標籤之賦予被指示為止。
當標籤之賦予已被指示時，賦予部35在即便於步驟S35所受理之標籤與在步驟S33所推定之標籤不同時，仍會將在步驟S35所受理之標籤賦予訓練資料(步驟S41)。又，更新部38根據在步驟S41被賦予標籤之訓練資料、及對應的標籤，來更新學習模型(步驟S42)。
最後，賦予部35判定是否已被指示結束(步驟S43)。使用者可藉由使用操作部15進行既定之操作，來指示結束或繼續進行。當結束未被指示時，賦予部35返回至步驟S32。因此，當未被賦予標籤之訓練資料剩餘時、或變更曾被賦予之標籤時，使用者指示繼續進行。當結束已被指示時，賦予部35則結束支援處理。
(4) 效果 本實施形態之支援裝置30中，當使用者所指定之標籤與使用學習模型而由推定部32所推定之標籤不同時，係由報知部37進行報知。因此，使用者在即便因集中力降低或疲勞等而進行錯誤之指定時，仍可輕易地察覺到錯誤。又，當使用者判斷為指定並無錯誤時，則以與所推定之標籤不同的標籤藉由賦予部35被賦予訓練資料。藉此，可一邊減輕使用者的負擔，一邊製作正確的訓練資料。
[3] 其他實施形態 (1) 於上述實施形態中，支援系統100雖包含有用以檢查基板之檢查裝置20，且被使用於表示基板之圖像之訓練資料之製作的支援，但本發明之實施形態並不受限於此。支援系統100亦可被使用於其他訓練資料之製作的支援。又，訓練資料雖包含顯示圖像之圖像資料，但本發明之實施形態並不受限於此。訓練資料亦可為例如撥放聲音的聲音資料。
(2) 於上述實施形態中，訓練資料被分類為兩個種類，且標籤「OK」或「NG」被賦予所分類之訓練資料之各者，但本發明之實施形態並不受限於此。訓練資料亦可被分類為三個種類以上，且標籤被賦予各個所分類之訓練資料。
又，於第二實施形態中，學習模型雖由學習分類問題所構建，但本發明之實施形態並不受限於此。學習模型亦可由學習迴歸問題所構建。於該情形時，推定部32將第一標籤推定為第一成績，而受理部34將第二標籤受理為第二成績。又，判定部36於第一成績與第二成績之差在預先所決定之臨限值以上時，則判定第一標籤與第二標籤不同。
(3) 於上述實施形態中，推定部32雖評定所推定之標籤的信賴度，但本發明之實施形態並不受限於此。推定部32亦可不評定所推定之標籤的信賴度。於該情形時，在第一實施形態中，複數個縮圖圖像並非以信賴度之順序，而是以例如識別編號之順序而被顯示於圖像清單顯示區域43。
(4) 於第二實施形態中，提示部33當被判定為標籤不同時，雖其藉由提示圖像之部分來提示判定的根據，但本發明之實施形態並不受限於此。提示部33亦可藉由文字或聲音等來提示判定的根據。或者，提示部33亦可不提示判定的根據。
(5) 於第二實施形態中，學習模型雖根據由使用者所指定之標籤、及與已被指定該標籤之標籤相對應的訓練資料而被更新，但本發明之實施形態並不受限於此。學習模型亦可不更新。於該情形時，支援裝置30不包含更新部38。
[4] 申請專利範圍之各構成元件與實施形態之各部分的對應關係 以下，雖對申請專利範圍之各構成元件與實施形態之各元件的對應例進行說明，但本發明並不被限定於下述的例子。作為申請專利範圍之各構成元件，亦可使用具有申請專利範圍所記載之構成或功能的其他各種元件。
於上述實施形態中，支援裝置30係訓練資料製作支援裝置的例子，推定部32係推定部的例子，提示部33係提示部的例子，受理部34係受理部的例子，判定部36係判定部的例子。報知部37係報知部的例子，更新部38係更新部的例子，顯示裝置16係顯示裝置的例子，而支援系統100係訓練資料製作支援系統的例子。
10:處理裝置 11:CPU 12:RAM 13:ROM 14:儲存裝置 15:操作部 16:顯示裝置 17:輸出入I/F 18:匯流排 20:檢查裝置 30:支援裝置 31:取得部 32:推定部 33:提示部 34:受理部 35:賦予部 36:判定部 37:報知部 38:更新部 40:標籤指定畫面 41:選擇圖像顯示區域 41a:全體圖像顯示部 41b:放大圖像顯示部 41c:推定標籤顯示部 42:圖像選擇區域 42a、42b:操作按鈕 43:圖像清單顯示區域 43a:游標 44:基本資訊顯示區域 45:標籤資訊顯示區域 45a、45b:核取框 45c:表 50:報知畫面 51:文字顯示區域 52:圖像顯示區域 52a:標記 53:再指定按鈕 54:賦予按鈕 100:支援系統
圖1係表示本發明第一實施形態之支援系統之構成圖。 圖2係表示圖1之支援裝置之構成圖。 圖3係表示圖2之顯示裝置所顯示之標籤指定畫面之一例的圖。 圖4係表示圖2之顯示裝置所顯示之標籤指定畫面之另一例的圖。 圖5係表示藉由圖2之支援裝置所進行之支援處理的流程圖。 圖6係表示本發明第二實施形態之支援裝置之構成圖。 圖7係表示圖6之顯示裝置所顯示之標籤指定畫面之一例的圖。 圖8係表示圖6之顯示裝置所顯示之報知畫面之一例的圖。 圖9係表示藉由圖6之支援裝置所進行之支援處理的流程圖。
14:儲存裝置
15:操作部
16:顯示裝置
20:檢查裝置
30:支援裝置
31:取得部
32:推定部
33:提示部
34:受理部
35:賦予部
100:支援系統

Claims (14)

  1. 一種訓練資料製作支援裝置，係支援對訓練資料賦予標籤者；其具備有： 推定部，其使用預先所準備之學習模型，將應被賦予上述訓練資料之標籤推定為第一標籤； 提示部，其提示由上述推定部所推定之上述第一標籤；及 受理部，其將應被賦予上述訓練資料之標籤受理為第二標籤。
  2. 如請求項1之訓練資料製作支援裝置，其中， 上述推定部對被推定之上述第一標籤的信賴度進行評定， 上述提示部進一步提示由上述推定部所評定之上述信賴度。
  3. 如請求項2之訓練資料製作支援裝置，其中， 上述推定部推定應被分別賦予複數個上述訓練資料之複數個上述第一標籤，並且對被推定之各第一標籤的上述信賴度進行評定， 上述提示部以上述信賴度的順序來提示由上述推定部所推定之複數個上述第一標籤。
  4. 如請求項1至3中任一項之訓練資料製作支援裝置，其中， 上述訓練資料包含表示圖像之圖像資料， 上述提示部以與上述第一標籤相對應之方式進一步提示基於上述訓練資料的圖像。
  5. 一種訓練資料製作支援裝置，係支援對訓練資料賦予標籤者；其具備有： 推定部，其使用預先所準備之學習模型，將應被賦予上述訓練資料之標籤推定為第一標籤； 受理部，其將應被賦予上述訓練資料之標籤受理為第二標籤； 判定部，其判定上述第一標籤與上述第二標籤是否不同； 報知部，其於藉由上述判定部而被判定為上述第一標籤與上述第二標籤不同之情形時進行報知；及 賦予部，其回應使用者之指示，將與上述第一標籤不同之上述第二標籤賦予上述訓練資料。
  6. 如請求項5之訓練資料製作支援裝置，其中， 其進一步具備有提示部，該提示部顯示在藉由上述判定部而被判定為上述第一標籤與上述第二標籤不同之情形時之判定的根據。
  7. 如請求項6之訓練資料製作支援裝置，其中， 上述訓練資料包含表示圖像之圖像資料， 上述提示部藉由可目視確認表示基於上述訓練資料之圖像的部分，來顯示上述判定的根據。
  8. 如請求項7之訓練資料製作支援裝置，其中， 上述提示部提示基於上述訓練資料的圖像， 上述受理部對表示由上述提示部所提示之圖像的上述訓練資料受理為上述第二標籤。
  9. 如請求項5至7中任一項之訓練資料製作支援裝置，其中， 上述推定部將上述第一標籤推定為第一成績， 上述受理部將上述第二標籤受理為第二成績， 上述判定部於上述第一成績與上述第二成績的差在預先所決定之臨限值以上的情形時，則判定上述第一標籤與上述第二標籤不同。
  10. 如請求項1至3及5至8中任一項之訓練資料製作支援裝置，其中， 其進一步具備有更新部，該更新部回應使用者之指示，並根據上述第二標籤、及與該第二標籤相對應之上述訓練資料來更新學習模型。
  11. 一種訓練資料製作支援系統，其具備有： 請求項1至4中任一項所記載之訓練資料製作支援裝置；及 顯示裝置，其顯示由上述訓練資料製作支援裝置之上述提示部所提示的上述第一標籤。
  12. 一種訓練資料製作支援系統，其具備有： 請求項6至8中任一項所記載之訓練資料製作支援裝置；及 顯示裝置，其顯示由上述訓練資料製作支援裝置之上述提示部所提示之上述判定的根據。
  13. 一種訓練資料製作支援方法，係支援對訓練資料賦予標籤者；其包含有： 使用預先所準備之學習模型，將應被賦予於上述訓練資料之標籤推定為第一標籤的步驟； 提示被推定之上述第一標籤的步驟；及 將應被賦予於上述訓練資料之標籤受理為第二標籤的步驟。
  14. 一種訓練資料製作支援方法，係支援對訓練資料賦予標籤者；其包含有： 使用預先所準備之學習模型，將應被賦予上述訓練資料之標籤推定為第一標籤的步驟； 將應被賦予上述訓練資料之標籤受理為第二標籤的步驟； 判定上述第一標籤與上述第二標籤是否不同的步驟； 當被判定為上述第一標籤與上述第二標籤不同之情形時進行報知的步驟；及 回應使用者之指示，將與上述第一標籤不同之上述第二標籤賦予上述訓練資料的步驟。
TW110130785A 2020-09-08 2021-08-20 訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法 TWI804953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-150845 2020-09-08
JP2020150845A JP2022045256A (ja) 2020-09-08 2020-09-08 教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法

Publications (2)

Publication Number Publication Date
TW202215387A TW202215387A (zh) 2022-04-16
TWI804953B true TWI804953B (zh) 2023-06-11

Family

ID=80682016

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110130785A TWI804953B (zh) 2020-09-08 2021-08-20 訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法

Country Status (4)

Country Link
JP (1) JP2022045256A (zh)
KR (1) KR20220033026A (zh)
CN (1) CN114239843A (zh)
TW (1) TWI804953B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1010170B1 (en) * 1996-10-02 2009-08-19 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
TW201013549A (en) * 2008-09-22 2010-04-01 Univ Nat Sun Yat Sen Method of estimation of the examinee's ability on the computerized adaptive testing using adaptive network-based fuzzy inference system
EP3081161B1 (en) * 2015-04-16 2018-10-10 Siemens Healthcare GmbH Method and system for advanced transcatheter aortic valve implantation planning
US10198957B2 (en) * 2013-04-12 2019-02-05 Raytheon Company Computer-based virtual trainer
US10252128B2 (en) * 2011-11-02 2019-04-09 Toca Football, Inc. Ball throwing machine and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1010170B1 (en) * 1996-10-02 2009-08-19 Sri International Method and system for automatic text-independent grading of pronunciation for language instruction
TW201013549A (en) * 2008-09-22 2010-04-01 Univ Nat Sun Yat Sen Method of estimation of the examinee's ability on the computerized adaptive testing using adaptive network-based fuzzy inference system
US10252128B2 (en) * 2011-11-02 2019-04-09 Toca Football, Inc. Ball throwing machine and method
US10198957B2 (en) * 2013-04-12 2019-02-05 Raytheon Company Computer-based virtual trainer
EP3081161B1 (en) * 2015-04-16 2018-10-10 Siemens Healthcare GmbH Method and system for advanced transcatheter aortic valve implantation planning

Also Published As

Publication number Publication date
CN114239843A (zh) 2022-03-25
JP2022045256A (ja) 2022-03-18
KR20220033026A (ko) 2022-03-15
TW202215387A (zh) 2022-04-16

Similar Documents

Publication Publication Date Title
US20110191722A1 (en) Nested controls in a user interface
JP2005235198A (ja) Ｇｕｉプログラム
JP2000010689A (ja) フリーキーレイアウト設定装置
TW202001795A (zh) 瑕疵分類標記系統及瑕疵分類標記方法
JP2002251603A (ja) 画像処理プログラム作成方法およびそのシステム
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
US20110173552A1 (en) Gui evaluation system, gui evaluation method, and gui evaluation program
TWI804953B (zh) 訓練資料製作支援裝置、訓練資料製作支援系統及訓練資料製作支援方法
CN107292937B (zh) 设置地形贴图的方法以及装置
JP5777492B2 (ja) 監視操作画面試験支援装置
US7705249B2 (en) Electronic scales configured to determine a profile and perform a weighing operation, and associated method
JP2009175443A (ja) 輝度補正装置、輝度補正処理プログラムおよび輝度補正方法
JPH05342218A (ja) 作業手順作成・評価装置及び作業手順作成・評価方法
JP2007305102A (ja) 生産方式決定システムおよび生産方式決定方法
TW201944270A (zh) 提示方法及其電腦系統
CN115437531A (zh) 画面显示程序
KR20090005684A (ko) 도형상표 검색제공시스템 및 방법, 도형상표 데이터베이스,도형상표 데이터베이스 생성방법 및 생성시스템,클라이언트 측의 도형상표 검색 시스템 및 방법,클라이언트 도형상표 검색 프로그램이 내장된 저장매체
US20220178986A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP2022120876A (ja) 学習支援装置、学習システム及び学習支援方法
JP2011043917A (ja) 数式表示演算装置およびプログラム
JP2000022385A (ja) 実装方法及び検査方法
WO2023112601A1 (ja) グラフ描画プログラム及びサーバ
JP2010032968A (ja) 模擬ソフトウェアシステム及びその実行方法
JP2008250154A (ja) 図形評価プログラムおよび図形評価装置
CN117827345A (zh) 显示窗口界面布局方法及装置、视觉平台系统和存储介质