TWI814268B - 資料生成裝置、資料生成方法及電腦程式產品 - Google Patents
資料生成裝置、資料生成方法及電腦程式產品 Download PDFInfo
- Publication number
- TWI814268B TWI814268B TW111107753A TW111107753A TWI814268B TW I814268 B TWI814268 B TW I814268B TW 111107753 A TW111107753 A TW 111107753A TW 111107753 A TW111107753 A TW 111107753A TW I814268 B TWI814268 B TW I814268B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- enhancement
- generated
- parameters
- source
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 51
- 238000013500 data storage Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Stored Programmes (AREA)
- Image Analysis (AREA)
Abstract
本發明為一種資料生成裝置，生成對於對象物進行判斷的機器學習的資料，且包括：原始資料顯示部，將實施資料增強的包含對象物的第一源資料顯示於顯示部；參數受理部，受理與資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於顯示部，所述生成資料是基於參數藉由對第一源資料中的對象物以外的資料的資料增強而生成；以及可否採用受理部，受理是否採用基於參數的資料增強。
Description
本申請案基於2021年3月15日提出申請的日本申請案編號2021-40980，將其記載內容援用於此。
本發明是有關於一種資料生成裝置、資料生成方法及電腦程式產品。
為了構建機器學習模型，需要使用大量的訓練用資料進行訓練。為了獲得充分量的訓練用資料，正利用藉由資料增強(data augmentation)來增加資料量的方法。
例如引用文獻1~引用文獻3中記載有下述方法：藉由資料增強對原本的訓練用資料附加變化，藉此由有限的源資料生成多樣的訓練用資料。
專利文獻1：日本專利特開2020-34998號公報
專利文獻2：日本專利特開2019-185483號公報
專利文獻3：日本專利特開2020-166397號公報
例如於根據學習環境的差異來擴張訓練資料的情形等時，大多情況下根據利用者的見解可於某種程度上設想宜進行何種資料增強。然而，先前的方法中並無支援下述情況的結構，即：基於利用者的見解來靈活地設定資料增強的方針。
本發明是鑒於所述情況而成，其目的在於通過一種支援利用者決定資料增強的方針的結構。
本發明為了解決所述課題，採用以下的結構。
本發明的一側面的資料生成裝置生成對於對象物進行判斷的機器學習的資料，且包括：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用基於所述參數的所述資料增強。所謂對象物，成為判斷的對象，所述判斷成為機器學習的利用目的。例如可列舉：圖像識別的識別對象(車輛識別的車輛等)、或者聲音識別的除了雜訊或環境音以外的聲音資料、含意提取的文本等學習模型應不受資料獲取環境或資料獲取條件的影響而可
識別的對象物。
根據所述結構，可一方面確認基於利用者所指定的參數的、資料生成的結果，一方面決定最終採用的參數，因而可有效率地進行基於利用者的見解的資料增強。
而且，亦可包括：生成資料保存部，於採用基於所述參數的所述資料增強時，保存所述生成資料。藉此，可將符合利用者的利用目的之生成資料作為訓練資料而保存。
而且，所述參數亦可設為與所述對象物以外的資料有關的資訊、及/或資料獲取條件的變更方法。藉此，可於學習模型進行識別的識別對象等在資料增強的前後應不變的對象物不變化的情況下，增加訓練資料的變化，或變換為符合用途的訓練資料。
而且，所述參數亦可設為與所述變更方法的程度有關的資訊。藉此，可使變更程度的強弱或大小等靈活地變更。
而且，亦可更包括：參數記憶部，將實施所述資料增強時所用的所述第一源資料作為第二源資料，將採用該資料增強時的所述參數的資訊與所述第二源資料關聯地記憶；以及類似度計算部，算出於所述參數記憶部記憶有所述參數的資訊的所述第二源資料、與欲實施所述資料增強的所述第一源資料的類似度，所述生成資料顯示部基於與欲實施所述資料增強的所述第一源資料的類似度最高的第二源資料所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。藉此，可基於以往的記錄對類似的資料提示同樣的資料增強的參數，故而可使利用者的
作業更有效率。
而且，亦可更包括：利用目的受理部，受理由所述資料增強所得的所述生成資料的利用目的之輸入；以及參數記憶部，將採用所述資料增強時的所述參數的資訊與所述利用目的關聯地記憶，所述生成資料顯示部基於與所輸入的所述利用目的一致的利用目的所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。藉此，可根據使用訓練資料的學習模型的種類等來選擇利用目的，基於以往的記錄高效率地決定資料增強的方針。
而且亦可為，所述第一源資料為圖像資料，所述參數設為拍攝距離的變更、拍攝角度的變更、拍攝時刻的變更、背景圖像的變更及拍攝時的天氣條件的變更中的至少一個。藉此，可高效率地進行圖像識別模型等的訓練資料的生成。
而且亦可為，所述第一源資料為聲音資料或波形資料，所述參數設為環境音的賦予及雜訊的賦予中的至少一個變更方法。藉此，可高效率地進行聲音識別模型等的訓練資料的生成。
而且亦可為，所述第一源資料為文本資料，所述參數設為置換、語序更換及感嘆詞賦予中的至少一個變更方法。藉此，可高效率地進行含意分析模型等的訓練資料的生成。
而且，亦可更包括：原始資料記憶部，記憶包含多個第一源資料的一個以上的資料集；以及資料集指定受理部，受理實施所述資料增強的資料集的指定，所述生成資料顯示部顯示對所
指定的資料集所含的多個第一源資料中的一個所實施的所述資料增強的結果，所述生成資料保存部於採用所述資料增強時，對該資料集所含的全部的第一源資料實施所採用的所述資料增強，並保存全部的生成資料。藉此，可對以相同的環境或獲取條件獲得的多個源資料一起實施資料增強。
本發明的一側面的資料生成方法中，電腦生成對於對象物進行判斷的機器學習的資料，且所述資料生成方法包括下述步驟：電腦將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；電腦受理與所述資料增強有關的參數的輸入；電腦將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及電腦受理是否採用基於所述參數的所述資料增強。
根據所述結構，可一方面確認基於利用者指定的參數的、資料生成的結果，一方面決定最終採用的參數，因此可有效率地進行基於利用者的見解的資料增強。
本發明的一側面的電腦程式產品使生成對於對象物進行判斷的機器學習的資料的電腦作為下述各部發揮功能：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用
基於所述參數的所述資料增強。
根據所述結構，可一方面確認基於利用者指定的參數的、資料生成的結果，一方面決定最終採用的參數，因而可有效率地進行基於利用者的見解的資料增強。
根據本發明，可提供一種支援利用者決定資料增強的方針的結構。
10:資料生成裝置
11:記憶體
12:CPU
13:視訊適配器
14:串列埠介面
15:硬碟驅動器介面
16:硬碟驅動器
51:顯示器
52:滑鼠
53:鍵盤
54:揚聲器
101:資料集指定受理部
102:原始資料顯示部
103:參數受理部
104:生成資料顯示部
105:可否採用受理部
106:生成資料保存部
107:類似度計算部
108:利用目的受理部
161:原始資料記憶部
162:生成資料記憶部
163:參數記憶部
P1:資料集顯示區域
P2:源資料顯示區域
P3:生成資料顯示區域
P4:顯示按鈕
P5:源資料選擇部
P6:變換方法選擇部
P7:變換水準選擇部
P8:採用按鈕
P9:適用按鈕
P10:任務輸入部
P11:任務決定按鈕
S101~S108、S201、S202、S301~S303、S401、S402、S501~S503:步驟
圖1為說明本發明的實施形態的資料生成處理的概要的圖。
圖2為表示本發明的實施形態的資料生成裝置的硬體結構的一例的圖。
圖3為表示本發明的實施形態的資料生成裝置的功能結構的一例的圖。
圖4為表示本發明的實施形態的資料生成裝置的動作的一例的流程圖。
圖5的(a)及圖5的(b)為說明本發明的實施形態的資料生成處理的一例的圖。
圖6為表示本發明的實施形態的資料生成裝置的動作的一例的流程圖。
圖7為表示本發明的實施形態的資料生成裝置的功能結構的一例的圖。
圖8的(a)及圖8的(b)為說明本發明的實施形態的資料生成處理的一例的圖。
圖9為表示本發明的實施形態的資料生成裝置的動作的一例的流程圖。
圖10為表示本發明的實施形態的資料生成裝置的動作的一例的流程圖。
圖11為表示本發明的實施形態的資料生成裝置的功能結構的一例的圖。
圖12的(a)及圖12的(b)為說明本發明的實施形態的資料生成處理的一例的圖。
圖13為表示本發明的實施形態的資料生成裝置的動作的一例的流程圖。
圖14的(a)及圖14的(b)為例示藉由本發明的實施形態的資料生成裝置進行聲音資料的資料增強時的資料生成畫面的圖。
圖15的(a)及圖15的(b)為例示藉由本發明的實施形態的資料生成裝置進行文本資料的資料增強時的資料生成畫面的圖。
以下，基於圖式對本發明的一側面的實施形態(以下亦表述為「本實施形態」)進行說明。然而，以下說明的實施形態於所有方面僅為本發明的例示。當然可於不偏離本發明的範圍的情
況下進行各種改良或變形。即，於實施本發明時，亦可適當採用與實施形態相應的具體結構。再者，藉由自然語言來說明本實施形態中出現的資料，但更具體而言，以電腦可識別的偽語言、命令、參數、機器語言等指定。
§1 適用例
使用圖1對適用本發明的場景的一例進行說明。本發明的資料生成裝置10為藉由資料增強來生成用於深層學習模型的學習等的訓練資料的裝置，尤其提供支援利用者決定資料增強的方針的用戶介面。再者，資料增強亦有時稱為資料擴張。
圖1為例示藉由資料生成裝置10顯示於顯示器的資料生成畫面的圖。利用者可於資料生成畫面上一方面確認實際生成的資料，一方面決定資料增強的方針(參數)。參數中，包含變更方法(拍攝距離、拍攝時刻等)及變更的程度(距離、時刻等)。
資料生成畫面包括資料集顯示區域P1、源資料顯示區域P2、生成資料顯示區域P3、顯示按鈕P4、源資料選擇部P5、變換方法選擇部P6、變換水準選擇部P7及採用按鈕P8作為結構。源資料選擇部P5及變換方法選擇部P6例如為下拉菜單(pull-down menu)，變換水準選擇部P7例如為滑動條(slider)。
利用者進行下述操作：自顯示於資料集顯示區域P1的資料集中，選擇成為資料增強的對象的資料集(例如於農場A拍攝的圖像的資料集)。進而，操作源資料選擇部P5，自對象資料集中選擇作為樣本的圖像資料。具體而言，於下拉菜單，顯示有利用
者所選擇的對象資料集所含的圖像文檔的列表，故而可自其中選擇一個文檔。而且，亦可不自列表選擇，而顯示作為源資料所記憶的圖像資料，自其中選擇任意的圖像資料。
若利用者操作顯示按鈕P4，則於源資料顯示區域P2顯示作為樣本所選擇的源資料。而且，基於作為初始值所設定的參數來實施對源資料的資料增強，將所生成的圖像顯示於生成資料顯示區域P3。例如，若設定有變更方法「拍攝距離」、變更的程度「10m」作為初始值，則生成設想將拍攝距離設為距被攝體(例如樹)10m的距離而拍攝的圖像。
利用者可確認所顯示的生成資料而調節資料增強的參數。利用者於欲使變更方法改變的情形時操作變換方法選擇部P6，於欲使變更的程度改變的情形時操作變換水準選擇部P7。例如，可操作變換水準選擇部P7的滑動條而使拍攝距離更遠(近)。變更參數後，若操作顯示按鈕P4，則將基於變更後的參數所生成的圖像資料顯示於生成資料顯示區域P3。
利用者確認所顯示的生成資料，判斷變更方法或變更的程度並無問題後，選擇採用按鈕P8。若選擇採用按鈕P8，則對成為對象的資料集所含的全部資料實施利用所採用的參數的資料增強，並保存所生成的資料。
再者，本實施形態中，不進行使圖像資料中的對象物自身(圖1的示例中為「樹」)變化的資料增強，而進行使對象物的周圍(背景等)或拍攝條件(拍攝距離、拍攝角度等)變化的資
料增強。藉此，可於圖像識別等的學習模型中，生成識別對象不變化而變更了拍攝條件或拍攝環境的訓練資料。
所生成的資料例如為具有域泛化(domain generalization)學習用的既定結構的資料，與源資料一併用於域泛化學習的訓練資料。域泛化學習若為用於域泛化的元學習(Meta-Learning for Domain Generalization，MLDG)或多任務生成對抗網路(Multi-Task Adversarial Network，MTAN)等域泛化學習的方法，則可為任意方法。
§2 結構例
(1.硬體結構)
繼而，一方面參照圖2，一方面對本實施形態的資料生成裝置10的硬體結構的一例加以說明。
資料生成裝置10為包括記憶體11、中央處理單元(Central Processing Unit，CPU)12、視訊適配器(video adaptor)13、串列埠介面14、硬碟驅動器介面15、硬碟驅動器16作為硬體資源的電腦系統。
硬碟驅動器16為碟媒體(例如磁記錄媒體或光磁記錄媒體)。於硬碟驅動器16，除了CPU12所執行的電腦程式、或成為資料增強的對象的源資料以外，還記憶有資料增強所必需的材料(用於聲音資料的擴張的環境音材料、或用於文本資料的擴張的詞匯變換的對應表等)。
於視訊適配器13，連接有顯示器51。顯示器51顯示用
戶介面等，所述用戶介面等用於受理作為資料增強的對象而選擇的源資料、資料增強後的資料、及來自用戶的指示。
於串列埠介面14，連接有滑鼠52、鍵盤53及揚聲器54。再者，除了滑鼠52及鍵盤53以外，亦可連接有觸控板(touch pad)等其他輸入器件。再者，資料生成裝置10的硬體結構不限於圖2所示。
(2.功能結構)
繼而，使用圖3對本實施形態的資料生成裝置10的功能結構的一例加以說明。圖3為表示由CPU12所執行的功能模組的區塊圖。如圖3所示，於功能模組，包含資料集指定受理部101、原始資料顯示部102、參數受理部103、生成資料顯示部104、可否採用受理部105、生成資料保存部106。
於硬碟驅動器16，安裝有原始資料記憶部161及生成資料記憶部162。於原始資料記憶部161，針對每個資料集記憶有資料增強的源資料。於生成資料記憶部162，記憶有藉由資料增強所生成的資料。
§3 動作例
繼而，使用圖1的畫面圖及圖4的流程圖，對本實施形態的資料生成裝置10進行的資料生成方法加以說明。此處，說明對成為源資料的圖像資料實施資料增強的示例，但如後述般，資料增強的對象不限於圖像資料，亦可為聲音資料、波形資料、文本資料等。
步驟S101中，資料生成裝置10的原始資料顯示部102自原始資料記憶部161獲取由利用者所指定的源資料，顯示於顯示器51的源資料顯示區域P2。所顯示的源資料為藉由在圖1所示的資料生成畫面上中由利用者操作源資料選擇部P5從而選擇的圖像資料。
步驟S102中，若檢測出利用者操作顯示按鈕P4，則資料生成裝置10的生成資料顯示部104基於資料增強的參數的初始值來實施所指定的源資料的資料增強，將所生成的圖像資料顯示於生成資料顯示區域P3。參數的初始值預先記憶於硬碟驅動器16。
步驟S103中，資料生成裝置10受理是否採用步驟S102中的資料增強的結果。利用者於採用結果的情形時，選擇採用按鈕P8(是(YES))。於選擇了採用按鈕P8的情形時，進入步驟S107。另一方面，利用者於不採用結果的情形時，操作變換方法選擇部P6而使變更方法改變，或操作變換水準選擇部P7而使變更的程度改變，藉此變更參數。
步驟S104中，資料生成裝置10的參數受理部103受理經變更的參數。進而，步驟S105中，生成資料顯示部104基於變更後的參數來實施資料增強，將步驟S106中生成的圖像資料顯示於生成資料顯示區域P3。然後，再次回到步驟S103，重複步驟S104~步驟S106直至由利用者採用資料增強的結果為止。
若藉由操作採用按鈕P8從而採用結果，則步驟S107中，對於對象的資料集總體實施利用所採用的參數的資料增強。進
而，步驟S108中，將所生成的資料保存於生成資料記憶部162。
§4 其他實施例
(實施例1)
繼而，使用圖5的(a)及圖5的(b)的資料生成畫面圖以及圖6的流程圖，對本實施形態的資料生成裝置10進行的資料生成方法的另一實施例加以說明。實施例1中，利用者能以多個方針進行資料增強。
圖5的(a)及圖5的(b)的示例中，除了圖1的資料生成畫面的結構以外，進而設有適用按鈕P9。步驟S101~步驟S106中，與圖4的流程圖的示例同樣地，基於利用者所指定的參數進行資料增強，將所生成的資料顯示於生成資料顯示區域P3(圖5的(a))。
利用者於欲進而利用其他方法對資料附加變更的情形時，選擇適用按鈕P9。藉此，藉由利用初始指定的參數的變更而暫且決定生成資料。進而，利用者如圖5的(b)所示，操作變換方法選擇部P6及變換水準選擇部P7而輸入與第二階段的變更有關的參數。圖5的(b)的示例中，指定「時刻」(拍攝的時段)作為變更方法。越使變換水準選擇部P7向右滑動則成為越遲的時段，能以畫面總體變暗的方式進行變更。
資料生成裝置10若於步驟S201中探測到利用者指定追加的參數(是(YES))，則於步驟S202中基於所指定的參數對暫且決定的生成資料進行變換，將所生成的資料顯示於生成資料顯
示區域P3。
然後，再次回到步驟S103，與圖4的流程圖同樣地，重複步驟S104~步驟S202直至由利用者採用資料增強的結果為止。
若藉由操作採用按鈕P8從而採用結果，則步驟S107中，對於對象的資料集總體實施利用所採用的參數的資料增強。進而，步驟S108中，將所生成的資料保存於生成資料記憶部162。
(實施例2)
繼而，使用圖7的功能結構圖、圖8的(a)及圖8的(b)的資料生成畫面圖以及圖9的流程圖，對本實施形態的資料生成裝置10進行的資料生成方法的另一實施例加以說明。實施例2中，利用者可自以往實施有資料增強的資料中，檢測與所指定的源資料類似的資料，以同樣的參數進行資料增強。
如圖7所示，於實施例2中，除了圖3的功能模組以外，還包含類似度計算部107。而且，於硬碟驅動器16安裝有參數記憶部163。於參數記憶部163，如圖8所示，與以往實施有資料增強的源資料(「源資料」)關聯地記錄有變更方法(「擴張方針」)、變更的程度(「擴張強度」)。
步驟S101中，資料生成裝置10將所指定的源資料(第一源資料)顯示於源資料顯示區域P2。繼而，資料生成裝置10的類似度計算部107於步驟S301中，判斷是否於參數記憶部163記錄有以往的參數的資訊。於記錄有以往的參數的情形時(是(YES))進入步驟S302，於未記錄有以往的參數的情形時(否
(NO))進入步驟S104。
步驟S302中，類似度計算部107將所指定的源資料與記錄於參數記憶部163的各源資料(第二源資料)進行比較，算出類似度。關於類似度的算出，可利用特徵點映射等既有的方法。
步驟S303中，生成資料顯示部104以與類似度最高的源資料關聯的參數來實施所指定的源資料的增強。
然後，進入步驟S103，與圖4的流程圖同樣地，重複步驟S104~步驟S106直至由利用者採用資料增強的結果為止。
若藉由操作採用按鈕P8從而採用結果，則步驟S107中，對於對象的資料集總體實施利用所採用的參數的資料增強。進而，步驟S108中，將所生成的資料保存於生成資料記憶部162。
圖8的(a)表示以往進行的資料增強的示例，此時的源資料及參數的資訊記錄於參數記憶部163。若利用者指定圖8的(b)所示的源資料，則由類似度計算部107根據源資料的類似度的高度來選擇圖8的(a)之時的參數。其結果為，如圖8的(b)所示，與圖8的(a)同樣地實施變更拍攝距離的資料增強。利用者確認生成資料，於欲變更參數的情形時，可操作畫面而使變更方法或變更的程度改變。
圖10的流程圖表示圖9的流程圖的步驟S303的處理的變形例。步驟S401中，生成資料顯示部104以與類似度高的上位多個(例如三個)源資料關聯的參數分別實施資料增強，並顯示於生成資料顯示區域P3。
進而，若利用者進行選擇所顯示的多個生成資料中的一個的操作，則限制於與所選擇的生成資料對應的參數，然後進入步驟S103。然後，與圖9的流程圖同樣地，重複步驟S104~步驟S106直至由利用者採用資料增強的結果為止。
(實施例3)
繼而，使用圖11的功能結構圖、圖12的(a)及圖12的(b)的資料生成畫面圖以及圖13的流程圖，對本實施形態的資料生成裝置10進行的資料生成方法的另一實施例加以說明。實施例3中，若利用者指定任務(使用訓練資料的學習模型的用途)，則使用以往用於相同任務而生成資料時的參數來進行資料增強。
如圖11所示，實施例3中，除了圖7的功能模組以外，還包含利用目的受理部108。而且，於參數記憶部163，如圖12所示，與以往實施的資料增強的「任務」的資訊關聯地記錄有變更方法(「擴張方針」)、變更的程度(「擴張強度」)。而且，如圖12的(a)及圖12的(b)所示，除了圖5的(a)及圖5的(b)的資料生成畫面的結構以外，還設有任務輸入部P10及任務決定按鈕P11。
如圖13所示，步驟S101中，資料生成裝置10將所指定的源資料顯示於源資料顯示區域P2。於利用者指定任務而進行資料增強的情形時，於任務輸入部P10輸入任務名，並操作任務決定按鈕P11，藉此指定任務。
資料生成裝置10的利用目的受理部108若於步驟S501
中探測到指定有任務(是(YES))，則進入步驟S502。於未指定任務的情形時(否(NO))，進入步驟S104。
步驟S502中，利用目的受理部108判斷是否於參數記憶部163記錄有與所指定的任務關聯的、以往的參數的資訊。於記錄有以往的參數的情形時(是(YES))進入步驟S503，於未記錄的情形時(否(NO))進入步驟S104。
步驟S503中，生成資料顯示部104以與所指定的任務關聯的以往的參數來實施資料增強，將生成資料顯示於生成資料顯示區域P3。
然後，進入步驟S103，與圖4的流程圖同樣地，重複步驟S104~步驟S106直至由利用者採用資料增強的結果為止。
若藉由操作採用按鈕P8從而採用結果，則於步驟S107中，對於對象的資料集總體實施利用所採用的參數的資料增強。進而，步驟S108中，將所生成的資料保存於生成資料記憶部162。
圖12的(a)表示以往進行的資料增強的示例，此時的任務及參數的資訊記錄於參數記憶部163。若利用者如圖12的(b)所示般指定任務名(「葉面積預測」)，則由利用目的受理部108選擇以往指定有相同任務名的、圖12的(a)之時的參數。其結果為，如圖12的(b)所示，與圖12的(a)同樣地實施變更拍攝時刻的資料增強。利用者確認生成資料，於欲變更參數的情形時，可操作畫面而使變更方法或變更的程度改變。
所述實施例中，進行圖像資料的增強，但對象資料亦可
為圖像資料以外的資料。以下，作為示例，對將本發明適用於聲音資料、波形資料、文本資料的資料增強的情形加以說明。
圖14的(a)、圖14的(b)例示進行聲音資料的資料增強時的資料生成畫面的圖。如圖14的(a)及圖14的(b)所示，顯示聲音資料的某時刻的頻率成分。與圖像資料的情形同樣地，若利用者指定源資料，並指定變更方法(例如「環境音賦予(道路)」)及變更的程度作為參數，則再生以所指定的參數進行變換而成的聲音資料。而且，若操作採用按鈕P8，則對所選擇的資料集總體適用利用相同參數的資料增強。
而且，如圖14的(b)所示，亦可將多個參數組合而進行二階段的資料增強。例如，可首先進行賦予環境音(道路)的處理，繼而實施賦予麥克風雜訊(microphone noise)的處理而生成資料。
於賦予環境音(車、電車、說話聲、風等)的情形時，亦可首先將原本的聲音資料所含的雜訊或環境音去除後，疊加預先錄音的環境音。而且，亦可根據源資料的長度將環境音複製、結合後疊加。而且，變更的程度可設為訊雜比(Signal to Noise Ratio，S/N比)的大小。
而且，於賦予麥克風雜訊的情形時，亦可將源資料所含的雜訊或環境音去除後，賦予由高斯分布或均勻分布所生成的雜音。變更的程度可設為S/N比的大小或音壓。
圖15的(a)、圖15的(b)為例示進行文本資料的資料
增強時的資料生成畫面的圖。與圖像資料的情形同樣地，若利用者指定源資料，並指定變更方法(例如「句尾變換(
)」)作為參數，則顯示以所指定的參數進行變換而成的文本資料。而且，若操作採用按鈕P8，則對所選擇的資料集總體適用利用相同參數的資料增強。
而且，如圖15的(b)所示，亦可將多個參數組合而進行二階段的資料增強。例如，可首先進行將句尾變換為「
」的處理，進而實施賦予感嘆詞「
」的處理而生成資料。
作為文本資料的變更方法的示例，可列舉「置換」、「語序更換」、「感嘆詞賦予」等。「置換」例如為將句尾由「~
」變換為「~
」般的處理，亦可按照預先準備的置換表進行置換。而且，「語序更換」為將原本的文本資料分為詞素(morpheme)，將「SOV」的語序調換為「OSV」般的處理。而且，「感嘆詞賦予」為追加「
！」或「
~
…」般的不改變原本的文本的含意般的詞語的處理。再者，文本資料的增強中並無變更的程度的概念，故而變換水準選擇部P7亦可不顯示。
如以上般，根據本實施形態，顯示利用者所指定的源資料、及對源資料進行資料增強而成的生成資料，利用者可一方面確認生成資料，一方面設定資料增強的方針(參數)。藉此，利用者可一方面確認基於所指定的參數的、資料生成的結果，一方面決定最終採用的參數，因而可有效率地進行基於利用者的見解的資料增強。
而且，關於資料增強的方針，可指定對較理想為於變換前後不變的對象物以外的資料進行的、資料增強的方針。藉此，可使適於泛化學習的訓練資料的變化增加，或變換為符合用途的訓練資料。
而且，自以往的記錄中，提示對與所指定的源資料類似的資料所實施的、資料增強的參數，故而可使利用者的作業更有效率。
而且，自以往的記錄中，提示與利用者所指定的利用目的一致的、資料增強的參數，故而可使欲生成符合利用目的之資料的、利用者的作業有效率。
以上，對本發明的實施形態進行了詳細說明，但所述說明於所有方面僅為本發明的例示。當然可於不偏離本發明的範圍的情況下進行各種改良或變形。再者，所述實施形態的一部分或全部亦可如以下的附註般記載，但不限於以下。
(附註1)
一種資料生成裝置，生成對於對象物進行判斷的機器學習的資料，且包括：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外
的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用基於所述參數的所述資料增強。
(附註2)
如附註1所記載的資料生成裝置，包括：生成資料保存部，於採用基於所述參數的所述資料增強時，保存所述生成資料。
(附註3)
如附註1或附註2所記載的資料生成裝置，其中所述參數為與所述對象物以外的資料有關的資訊、及/或資料獲取條件的變更方法。
(附註4)
如附註3所記載的資料生成裝置，其中所述參數為與所述變更方法的程度有關的資訊。
(附註5)
如附註1至附註4中任一項所記載的資料生成裝置，更包括：參數記憶部，將實施所述資料增強時所用的所述第一源資料作為第二源資料，將採用所述資料增強時的所述參數的資訊與所述第二源資料關聯地記憶；以及類似度計算部，算出於所述參數記憶部記憶有所述參數的資訊的所述第二源資料、與欲實施所述資料增強的所述第一源資料的類似度，
所述生成資料顯示部基於與欲實施所述資料增強的所述第一源資料的類似度最高的第二源資料所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。
(附註6)
如附註1至附註5中任一項所記載的資料生成裝置，更包括：利用目的受理部，受理由所述資料增強所得的所述生成資料的利用目的之輸入；以及參數記憶部，將採用所述資料增強時的所述參數的資訊與所述利用目的關聯地記憶，所述生成資料顯示部基於與所輸入的所述利用目的一致的利用目的所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。
(附註7)
如附註3所記載的資料生成裝置，其中所述第一源資料為圖像資料，所述參數為拍攝距離的變更、拍攝角度的變更、拍攝時刻的變更、背景圖像的變更及拍攝時的天氣條件的變更中的至少一個。
(附註8)
如附註3所記載的資料生成裝置，其中所述第一源資料為聲音資料或波形資料，所述參數為環境音的賦予及雜訊的賦予中的至少一個變更方法。
(附註9)
如附註3所記載的資料生成裝置，其中所述第一源資料為文本資料，所述參數為置換、語序更換及感嘆詞賦予中的至少一個變更方法。
(附註10)
如附註2所記載的資料生成裝置，更包括：原始資料記憶部，記憶包含多個第一源資料的一個以上的資料集；以及資料集指定受理部，受理實施所述資料增強的資料集的指定，所述生成資料顯示部顯示對所指定的資料集所含的多個第一源資料中的一個所實施的所述資料增強的結果，所述生成資料保存部於採用所述資料增強時，對所述資料集所含的全部的第一源資料實施所採用的所述資料增強，並保存全部的生成資料。
(附註11)
一種資料生成方法，為電腦生成對於對象物進行判斷的機器學習的資料，且所述資料生成方法包括下述步驟：電腦將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；電腦受理與所述資料增強有關的參數的輸入；電腦將生成資料顯示於所述顯示部，所述生成資料是基於所
述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及電腦受理是否採用基於所述參數的所述資料增強。
(附註12)
一種程式，使生成對於對象物進行判斷的機器學習的資料的電腦作為下述各部發揮功能：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用基於所述參數的所述資料增強。
S101~S108:步驟
Claims (12)
- 一種資料生成裝置，生成對於對象物進行判斷的機器學習的資料，且包括：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用基於所述參數的所述資料增強。
- 如請求項1所述的資料生成裝置，包括：生成資料保存部，於採用基於所述參數的所述資料增強時，保存所述生成資料。
- 如請求項1或請求項2所述的資料生成裝置，其中所述參數為與所述對象物以外的資料有關的資訊、及/或資料獲取條件的變更方法。
- 如請求項3所述的資料生成裝置，其中所述參數為與所述變更方法的程度有關的資訊。
- 如請求項1或請求項2所述的資料生成裝置，更包括：參數記憶部，將實施所述資料增強時所用的所述第一源資料作為第二源資料，將採用所述資料增強時的所述參數的資訊與所 述第二源資料關聯地記憶；以及類似度計算部，算出於所述參數記憶部記憶有所述參數的資訊的所述第二源資料、與欲實施所述資料增強的所述第一源資料的類似度，所述生成資料顯示部基於與欲實施所述資料增強的所述第一源資料的類似度最高的第二源資料所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。
- 如請求項1或請求項2所述的資料生成裝置，更包括：利用目的受理部，受理由所述資料增強所得的所述生成資料的利用目的之輸入；以及參數記憶部，將採用所述資料增強時的所述參數的資訊與所述利用目的關聯地記憶，所述生成資料顯示部基於與所輸入的所述利用目的一致的利用目的所關聯的所述參數來實施所述資料增強，將所述生成資料顯示於所述顯示部。
- 如請求項3所述的資料生成裝置，其中所述第一源資料為圖像資料，所述參數為拍攝距離的變更、拍攝角度的變更、拍攝時刻的變更、背景圖像的變更及拍攝時的天氣條件的變更中的至少一個。
- 如請求項3所述的資料生成裝置，其中所述第一源資料為聲音資料或波形資料，所述參數為環境音的賦予及雜訊的賦予中的至少一個變更方 法。
- 如請求項3所述的資料生成裝置，其中所述第一源資料為文本資料，所述參數為置換、語序更換及感嘆詞賦予中的至少一個變更方法。
- 如請求項2所述的資料生成裝置，更包括：原始資料記憶部，記憶包含多個第一源資料的一個以上的資料集；以及資料集指定受理部，受理實施所述資料增強的資料集的指定，所述生成資料顯示部顯示對所指定的資料集所含的多個第一源資料中的一個所實施的所述資料增強的結果，所述生成資料保存部於採用所述資料增強時，對所述資料集所含的全部的第一源資料實施所採用的所述資料增強，並保存全部的生成資料。
- 一種資料生成方法，為電腦生成對於對象物進行判斷的機器學習的資料，且所述資料生成方法包括下述步驟：電腦將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；電腦受理與所述資料增強有關的參數的輸入；電腦將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及 電腦受理是否採用基於所述參數的所述資料增強。
- 一種電腦程式產品，使生成對於對象物進行判斷的機器學習的資料的電腦作為下述各部發揮功能：原始資料顯示部，將實施資料增強的包含所述對象物的第一源資料顯示於顯示部；參數受理部，受理與所述資料增強有關的參數的輸入；生成資料顯示部，將生成資料顯示於所述顯示部，所述生成資料是基於所述參數藉由對所述第一源資料中的所述對象物以外的資料的所述資料增強而生成；以及可否採用受理部，受理是否採用基於所述參數的所述資料增強。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021040980A JP2022140916A (ja) | 2021-03-15 | 2021-03-15 | データ生成装置、データ生成方法及びプログラム |
| JP2021-040980 | 2021-03-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202238461A TW202238461A (zh) | 2022-10-01 |
| TWI814268B true TWI814268B (zh) | 2023-09-01 |
Family
ID=83321235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111107753A TWI814268B (zh) | 2021-03-15 | 2022-03-03 | 資料生成裝置、資料生成方法及電腦程式產品 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240311690A1 (zh) |
| EP (1) | EP4310774A1 (zh) |
| JP (1) | JP2022140916A (zh) |
| CN (1) | CN116964623A (zh) |
| TW (1) | TWI814268B (zh) |
| WO (1) | WO2022196293A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7568766B2 (ja) | 2022-11-01 | 2024-10-16 | 株式会社安川電機 | 生成システム、プログラム、及び波形評価モデルの生成方法 |
| US20240144101A1 (en) * | 2022-11-01 | 2024-05-02 | Kabushiki Kaisha Yaskawa Denki | Generation system, computer-readable storage medium, and method for generating waveform evaluation model |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI552013B (zh) * | 2012-07-26 | 2016-10-01 | 萬國商業機器公司 | 對患者組織超音波衰減影像中可疑關注區域分類之方法、裝置和電腦程式產品 |
| US20180247156A1 (en) * | 2017-02-24 | 2018-08-30 | Xtract Technologies Inc. | Machine learning systems and methods for document matching |
| US20200042796A1 (en) * | 2019-04-16 | 2020-02-06 | Lg Electronics Inc. | Artificial intelligence apparatus for recognizing object and method therefor |
| TW202014993A (zh) * | 2018-10-11 | 2020-04-16 | 日商三菱電機股份有限公司 | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 |
| CN112132058A (zh) * | 2020-09-25 | 2020-12-25 | 山东大学 | 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7124404B2 (ja) | 2018-04-12 | 2022-08-24 | 富士通株式会社 | 機械学習プログラム、機械学習方法および機械学習装置 |
| JP7014100B2 (ja) | 2018-08-27 | 2022-02-01 | 日本電信電話株式会社 | 拡張装置、拡張方法及び拡張プログラム |
| JP2020166397A (ja) | 2019-03-28 | 2020-10-08 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2021
- 2021-03-15 JP JP2021040980A patent/JP2022140916A/ja active Pending
-
2022
- 2022-02-25 WO PCT/JP2022/007911 patent/WO2022196293A1/ja active Application Filing
- 2022-02-25 CN CN202280018059.6A patent/CN116964623A/zh active Pending
- 2022-02-25 EP EP22771049.8A patent/EP4310774A1/en active Pending
- 2022-02-25 US US18/546,847 patent/US20240311690A1/en active Pending
- 2022-03-03 TW TW111107753A patent/TWI814268B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI552013B (zh) * | 2012-07-26 | 2016-10-01 | 萬國商業機器公司 | 對患者組織超音波衰減影像中可疑關注區域分類之方法、裝置和電腦程式產品 |
| US20180247156A1 (en) * | 2017-02-24 | 2018-08-30 | Xtract Technologies Inc. | Machine learning systems and methods for document matching |
| TW202014993A (zh) * | 2018-10-11 | 2020-04-16 | 日商三菱電機股份有限公司 | 資訊處理裝置、記錄媒體、程式產品及資訊處理方法 |
| US20200042796A1 (en) * | 2019-04-16 | 2020-02-06 | Lg Electronics Inc. | Artificial intelligence apparatus for recognizing object and method therefor |
| CN112132058A (zh) * | 2020-09-25 | 2020-12-25 | 山东大学 | 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4310774A1 (en) | 2024-01-24 |
| WO2022196293A1 (ja) | 2022-09-22 |
| TW202238461A (zh) | 2022-10-01 |
| CN116964623A (zh) | 2023-10-27 |
| US20240311690A1 (en) | 2024-09-19 |
| JP2022140916A (ja) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI814268B (zh) | 資料生成裝置、資料生成方法及電腦程式產品 | |
| KR102101044B1 (ko) | 텍스트 투 스피치 및 시맨틱스에 기초한 오디오 인적 상호 증명 기법 | |
| WO2018187234A1 (en) | Hands-free annotations of audio text | |
| US20180033434A1 (en) | System and method for eliciting open-ended natural language responses to questions to train natural language processors | |
| JP2006208696A (ja) | プレゼンテーション用アプリケーションをリモートコントロールするための装置，方法，プログラム及び記録媒体 | |
| US20110093263A1 (en) | Automated Video Captioning | |
| US11281707B2 (en) | System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information | |
| JPH0375860A (ja) | パーソナライズド端末 | |
| US8725505B2 (en) | Verb error recovery in speech recognition | |
| KR102476099B1 (ko) | 회의록 열람 문서 생성 방법 및 그 장치 | |
| US10923106B2 (en) | Method for audio synthesis adapted to video characteristics | |
| US8239199B2 (en) | Replacing an audio portion | |
| CN113743267A (zh) | 一种基于螺旋和文本的多模态视频情感可视化方法及装置 | |
| JP2020027182A (ja) | 学習データ生成方法、学習方法、及び評価装置 | |
| CN117219046A (zh) | 一种交互语音情感控制方法及系统 | |
| KR101804679B1 (ko) | 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법 | |
| CN114882868A (zh) | 语音合成、情绪迁移、交互方法、存储介质、程序产品 | |
| Bhargav et al. | Voice-based intelligent virtual assistant for windows | |
| JP2006189799A (ja) | 選択可能な音声パターンの音声入力方法及び装置 | |
| CN110895938B (zh) | 语音校正系统及语音校正方法 | |
| KR20210145536A (ko) | 회의록 관리 방법 및 장치 | |
| US20190019497A1 (en) | Expressive control of text-to-speech content | |
| KR102185784B1 (ko) | 음향 데이터 탐색 방법 및 장치 | |
| EP3846164B1 (en) | Method and apparatus for processing voice, electronic device, storage medium, and computer program product | |
| US20240320519A1 (en) | Systems and methods for providing a digital human in a virtual environment |