WO2024252682A1 - データ精錬装置、データ精錬方法、及びプログラム - Google Patents

データ精錬装置、データ精錬方法、及びプログラム Download PDF

Info

Publication number
WO2024252682A1
WO2024252682A1 PCT/JP2023/021613 JP2023021613W WO2024252682A1 WO 2024252682 A1 WO2024252682 A1 WO 2024252682A1 JP 2023021613 W JP2023021613 W JP 2023021613W WO 2024252682 A1 WO2024252682 A1 WO 2024252682A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
cluster
label
clusters
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021613
Other languages
English (en)
French (fr)
Inventor
あゆみ 櫟
将裕 横田
太一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/021613 priority Critical patent/WO2024252682A1/ja
Publication of WO2024252682A1 publication Critical patent/WO2024252682A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram

Definitions

  • the present invention relates to the technical field of machine learning.
  • Machine learning has been applied to a variety of fields, including image recognition, natural language processing, and natural sciences. Machine learning learns latent rules and patterns based on a huge number of past cases. This makes it possible to obtain the desired output (label) even for input of unknown cases that are not included in the model's learning.
  • supervised learning which involves learning supervised learning data consisting of pairs of input data and output data (labels), tends to have high learning accuracy and has been very effective.
  • time series data as input to predict time series data
  • time series data with a different trend is given as the correct answer when time series data with a similar trend is input.
  • the present invention has been made in consideration of the above points, and aims to provide a technology that enables machine learning to converge on a training dataset and learn correctly.
  • an input unit that inputs learning data, which is a set of pairs of data and labels; a calculation unit that generates a plurality of clusters by performing clustering on a set of data in the set of training data, and calculates a unified label for each cluster in the plurality of clusters by performing clustering on a set of labels corresponding to the set of data included in the cluster.
  • the disclosed technology makes it possible to converge machine learning learning to a training dataset and enable correct learning.
  • FIG. 1 is a configuration diagram of a data refining device 100.
  • FIG. 13 is a diagram for explaining an outline of the process.
  • FIG. 11 is a diagram illustrating an example of input data.
  • 13 is a flowchart illustrating a processing procedure of a data refinement process.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the data refining device 100.
  • the data refining device 100 refines data for a data set having different teacher data for similar input data. Specifically, the data refining device 100 refines the data by applying a clustering method to the input data and the corresponding teacher data and unifying the teacher data for similar input data.
  • the clustering method is not limited to the k-means method. Clustering methods other than the k-means method may also be used.
  • (Configuration Example of Data Refining Device 100) 1 shows an example of the functional configuration of a data refining device 100 that refines learning data of a machine learning model in this embodiment.
  • the data refining device 100 includes an input unit 110, a calculation unit 120, an output unit 130, and a storage unit 140.
  • Learning data to be refined is input from the input unit 110, and the learning data is stored in the memory unit 140.
  • the calculation unit 120 reads out the learning data from the memory unit 140 and executes processing for refinement, and the output unit 130 outputs the refined learning data.
  • the memory unit 140 also stores data of the calculation results and data in the middle of the calculation.
  • the data refining device 100 may not include the output unit 130 that outputs the refined learning data.
  • the data refining device 100 may have a function of learning a machine learning model, and may learn the machine learning model using the refined learning data obtained by the calculation unit 120.
  • step 100 data to be subjected to data refinement is input by the input unit 110 of the data refinement device 100.
  • the calculation unit 120 executes a data refinement process on the input data.
  • the output unit 130 outputs the data that has been subjected to the data refinement process.
  • the input data, output data, and data refinement process are each described below.
  • the data to be refined is a set of training data for a machine learning model D ⁇ Rnd and a set of correct labels L ⁇ Rnl (nd and nl are arbitrary natural numbers) corresponding to the training data.
  • the set L_D is input from the input unit 110.
  • Figure 3 shows an example of training data belonging to a set L_D of data and label pairs.
  • four-dimensional data belonging to a label set L is assigned as a label to six-dimensional data belonging to a data set D.
  • Data in which data d ⁇ D is paired with a corresponding label l ⁇ L constitutes one sample, and a set of N samples of this constitutes set L_D.
  • the calculation unit 120 of the data refining device 100 acquires a training data set L_D * that has resolved this situation (refined the input data).
  • the output unit 130 outputs the training data set L_D * that has been subjected to data refinement.
  • ⁇ S1 Acquire clusters of data>
  • the calculation unit 120 acquires a data set D ⁇ R nd from the storage unit 140.
  • the calculation unit 120 performs clustering on the data set D using the k-means method, and in S1-3, obtains m clusters C1, C2, ... Cm.
  • m is a parameter and is an arbitrary natural number.
  • the variable i which indicates the number of processing times, is set to 1.
  • ⁇ S2 Obtaining label set>
  • the calculation unit 120 extracts Ci (1 ⁇ i ⁇ m) in S2-1, and obtains a set Li of labels corresponding to data d belonging to Ci in S2-2.
  • ⁇ S4 Obtaining the cluster with the largest number of elements>
  • the calculation unit 120 obtains the cluster with the largest number of elements from among the t clusters obtained in S3, and designates this cluster as C(Li).
  • ⁇ S5 Obtain average value>
  • the calculation unit 120 calculates the average value of the elements included in C(Li) obtained in S4, and sets the average value as li. Note that, as li, the value of the cluster center of gravity of C(Li) may be calculated.
  • the data refining device 100 described in this embodiment can be realized, for example, by causing a computer to execute a program.
  • This computer may be a physical computer or a virtual machine on the cloud.
  • the device can be realized by using hardware resources such as a CPU and memory built into a computer to execute a program corresponding to the processing performed by the device.
  • the program can be recorded on a computer-readable recording medium (such as a portable memory) and then stored or distributed.
  • the program can also be provided via a network such as the Internet or email.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the computer.
  • the computer in FIG. 5 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., all of which are interconnected by a bus BS.
  • the computer may further include a GPU.
  • the program that realizes the processing on the computer is provided by a recording medium 1001, such as a CD-ROM or a memory card.
  • a recording medium 1001 storing the program is set in the drive device 1000, the program is installed from the recording medium 1001 via the drive device 1000 into the auxiliary storage device 1002.
  • the program does not necessarily have to be installed from the recording medium 1001, but may be downloaded from another computer via a network.
  • the auxiliary storage device 1002 stores the installed program as well as necessary files, data, etc.
  • the memory device 1003 When an instruction to start a program is received, the memory device 1003 reads out and stores the program from the auxiliary storage device 1002.
  • the CPU 1004 realizes functions related to the data refining device 100 in accordance with the program stored in the memory device 1003.
  • the interface device 1005 is used as an interface for connecting to a network, etc.
  • the display device 1006 displays a GUI (Graphical User Interface) based on a program, etc.
  • the input device 1007 is composed of a keyboard and mouse, buttons, a touch panel, etc., and is used to input various operational instructions.
  • the output device 1008 outputs the results of calculations.
  • the data refining device 100 As described above, the data refining device 100 according to this embodiment generates a unified label for similar input data in the case where similar input data (input data having a close distance to each other) in the training data is assigned a label with a different tendency (labels having a large distance to each other).
  • the data refining device 100 clusters this "input data" using an arbitrary clustering method to generate clusters based on similarity, and then applies the arbitrary clustering method again to the label data corresponding to the data in each cluster to assign a unified label.
  • data refining device 100 refines the set of data and label pairs L_D ⁇ D ⁇ L using the k-means method, and outputs the set of data label pairs L_D * obtained by the refinement.
  • the data refining device 100 can output a set of refined data-label pairs by assigning a unified label to similar time series data from 1 to t with the aim of converging the learning and improving the accuracy.
  • the data refinement device 100 makes it possible to obtain refined learning data, which is expected to result in convergence of learning and improved accuracy.
  • Memory at least one processor coupled to the memory; Including, The processor, Input training data, which is a set of data and label pairs, A data refining device that generates a plurality of clusters by performing clustering on the set of data in the set of training data, and calculates a unified label for each cluster in the plurality of clusters by performing clustering on a set of labels corresponding to the set of data included in the cluster.
  • a data refining device that generates a plurality of clusters by performing clustering on the set of data in the set of training data, and calculates a unified label for each cluster in the plurality of clusters by performing clustering on a set of labels corresponding to the set of data included in the cluster.
  • the data refining device according to claim 1, wherein the processor calculates the unified label based on the labels in a cluster having the largest number of elements among a plurality of clusters obtained by performing clustering on the set of labels.
  • a data refining method executed by a data refining device An input step of inputting learning data, which is a set of pairs of data and labels; a calculation step of generating a plurality of clusters by performing clustering on the set of data in the set of training data, and calculating a unified label for each cluster in the plurality of clusters by performing clustering on a set of labels corresponding to the set of data included in the cluster.
  • a non-transitory storage medium storing a program for causing a computer to function as each unit in the data refining device according to any one of claims 1 to 4.
  • Data refining device 110 Input unit 120 Calculation unit 130 Output unit 140 Storage unit 1000 Drive device 1001 Recording medium 1002 Auxiliary storage device 1003 Memory device 1004 CPU 1005 Interface device 1006 Display device 1007 Input device 1008 Output device

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

データ精錬装置において、データとラベルとの組の集合である学習データを入力する入力部と、前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する演算部とを備える。

Description

データ精錬装置、データ精錬方法、及びプログラム
　本発明は、機械学習の技術分野に関連するものである。
　近年、機械学習が画像認識、自然言語処理、自然科学などのさまざまな分野で応用されている。機械学習では過去の膨大な事例に基づいて、潜在的なルールやパターンを学習する。これによって、モデルの学習に含まれていない未知の事例の入力に対しても、求められる出力（ラベル）を得ることができる。
　特に、入力データと出力データ（ラベル）の対からなる教師付き学習データを学習させる教師あり学習は学習精度が高い傾向にあり、大きな効果を上げている。
A.Likas et al., "The global k-means clustering algorithm," vol.36, no.2, pp.451-461, 2003.
　しかしながら、教師あり学習においても、学習するデータの内容によっては適切に学習ができず、学習に時間を要する。特に、教師付き学習データにおいて、類似した入力データに対して異なる教師データが正解として付与されている事例が多数存在するような回帰問題の場合、学習が収束しない・学習精度が低いなど適切に学習できないことが十分に考えられる。
　例えば、時系列データを入力として時系列データを予測するような手法では、同様の傾向の時系列データの入力に対して、異なる傾向の時系列データが正解として与えられるケースが多数存在することが見込まれる。
　本発明は上記の点に鑑みてなされたものであり、学習データセットに対して、機械学習の学習を収束させ、正しく学習できるようにするための技術を提供することを目的とする。
　開示の技術によれば、データとラベルとの組の集合である学習データを入力する入力部と、
　前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する演算部と
　を備えるデータ精錬装置が提供される。
　開示の技術によれば、学習データセットに対して、機械学習の学習を収束させ、正しく学習できるようにすることが可能となる。
データ精錬装置１００の構成図である。 処理の概要を説明するための図である。 入力データの例を示す図である。 データ精錬処理の処理手順を説明するためのフローチャートである。 データ精錬装置１００のハードウェア構成例を示す図である。
　以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
　（実施の形態の概要）
　本実施の形態では、前述した課題を解決するために、データ精錬装置１００が、類似した入力データに対して異なる教師データをもつデータセットに対してデータの精錬を行う。具体的には、データ精錬装置１００は、入力データ、及びそれに対応する教師データに対して、クラスタリング手法を適用し、類似した入力データに対する教師データを統一することでデータの精錬を行う。
　なお、本実施の形態では、クラスタリング手法としてｋ－ｍｅａｎｓ法を用いることを想定しているが、クラスタリング手法はｋ－ｍｅａｎｓ法に限定されるわけではない。ｋ－ｍｅａｎｓ法以外のクラスタリング手法を用いてもよい。
　（データ精錬装置１００の構成例）
　図１に、本実施の形態において、機械学習モデルの学習データの精錬を行うデータ精錬装置１００の機能構成例を示す。図１に示すように、データ精錬装置１００は、入力部１１０、演算部１２０、出力部１３０、及び記憶部１４０を備える。
　入力部１１０から精錬対象の学習データが入力され、当該学習データは記憶部１４０に格納される。演算部１２０は、記憶部１４０から学習データを読み出して、精錬のための処理を実行し、出力部１３０が、精錬された学習データを出力する。記憶部１４０には、計算結果のデータ、及び、計算途中のデータ等も格納される
　なお、データ精錬装置１００において、精錬された学習データを出力する出力部１３０を備えないこととしてもよい。例えば、データ精錬装置１００は、機械学習モデルの学習を行う機能を備え、演算部１２０により得られた精錬された学習データを用いて機械学習モデルの学習を行うこととしてもよい。
　以下、上記構成を備えるデータ精錬装置１００の動作例を説明する。
　（データ精錬装置１００の動作例）
　図２を参照して、全体の処理動作を説明する。Ｓ１００（ステップ１００）において、データ精錬の対象となるデータが、データ精錬装置１００の入力部１１０により入力される。
　Ｓ２００において、演算部１２０が、入力データに対してデータ精錬処理を実行する。Ｓ３００において、出力部１３０が、データ精錬処理が施されたデータを出力する。以下、入力データ、出力データ、データ精錬処理のそれぞれを説明する。
　＜入力／出力データ、データ精錬処理の概要について＞
　データ精錬の対象となるデータは、機械学習モデルの訓練データの集合Ｄ⊂Ｒｎｄと、訓練データに対応する正解のラベルの集合Ｌ⊂Ｒｎｌ（ｎｄ，ｎｌは任意の自然数）である。
　本実施の形態では、データ精錬の対象となるデータ（入力データ）を、データｄ∈Ｄと対応するラベルｌ∈Ｌが対になったデータの集合Ｌ＿Ｄ⊂Ｄ×Ｌ＝｛（ｄ，ｌ）｜ｄ∈Ｄ、ｌ∈Ｌ｝とする。図２のＳ１００において、集合Ｌ＿Ｄが入力部１１０から入力される。
　図３に、データとラベルの組の集合Ｌ＿Ｄに属する学習データの一例を示す。図３に示す例では、データ集合Ｄに属する６次元のデータに対して、ラベル集合Ｌに属する４次元のデータがラベルとして付与されている。データｄ∈Ｄと対応するラベルｌ∈Ｌが対になったデータが１つのサンプルとなり、これをＮサンプル取得した集合が集合Ｌ＿Ｄとなる。
　この時、２つの学習データ（ｄ１，ｌ１），（ｄ２，ｌ２）∈Ｌ＿Ｄについて、ｄ１，ｄ２の距離が小さく、ｌ１，ｌ２の距離が大きなデータのペアが機械学習モデルの学習データに多く含まれていると学習が収束しない、もしくは精度が低下する。そのため、データ精錬装置１００の演算部１２０が、この状況を解消した（入力データを精錬した）学習データセットＬ＿Ｄ＊を取得する。出力部１３０が、データ精錬を行った学習データセットＬ＿Ｄ＊を出力する。
　＜データ精錬処理の詳細＞
　以下、データの集合Ｌ＿Ｄが入力された後に、演算部１２０が実行するデータ精錬処理の処理手順を、図４のフローチャートの手順に沿って詳細に説明する。
　　　＜Ｓ１：データのクラスタ取得＞
　Ｓ１－１において、演算部１２０は、記憶部１４０からデータ集合Ｄ∈Ｒｎｄを取得する。
　演算部１２０は、Ｓ１－２において、データ集合Ｄに対してｋ－ｍｅａｎｓ法によってクラスタリングを行い、Ｓ１－３において、ｍ個のクラスタＣ１，Ｃ２，…Ｃｍを取得する。ｍはパラメータであり、任意の自然数である。Ｓ１の後、処理回数を表す変数ｉを１とする。
　　　＜Ｓ２：ラベル集合取得＞
　演算部１２０は、Ｓ２－１において、Ｃｉ（１≦ｉ≦ｍ）を取り出し、Ｓ２－２において、Ｃｉに属するデータｄに対応するラベルの集合Ｌｉを取得する。ラベル集合Ｌｉは、Ｌｉ＝｛ｌ｜ｄ∈Ｃｉ，（ｄ，ｌ）∈Ｌ＿Ｄ｝として定義できる。
　　　＜Ｓ３：ラベルのクラスタ取得＞
　演算部１２０は、Ｓ３－１において、ラベル集合Ｌｉに対してＳ１と同様にｋ－ｍｅａｎｓ法によってクラスタリングを行い、Ｓ３－２において、ｔ個のクラスタＣ´１，Ｃ´２，…Ｃ´ｔを取得する。
　　　＜Ｓ４：最多要素数のクラスタ取得＞
　Ｓ４において、演算部１２０は、Ｓ３で得られたｔ個のクラスタのうち、最も要素数の多いクラスタを取得し、そのクラスタをＣ（Ｌｉ）とする。
　　　＜Ｓ５：平均値取得＞
　Ｓ５において、演算部１２０は、Ｓ４で取得したＣ（Ｌｉ）に含まれる要素の平均値を計算し、それをｌｉとする。なお、ｌｉとして、Ｃ（Ｌｉ）のクラスタ重心の値を算出してもよい。
　平均値をｌｉとする場合、Ｃ（Ｌｉ）に含まれるデータの要素数をＮ、ｊ番目の要素に対応するラベルをｌ（ｊ）としたとき、ｌｉ＝Σｊ Ｎｌ（ｊ）／Ｎ（１≦ｊ≦Ｎ）となる。
　　　＜Ｓ６：精錬データ追加＞
　クラスタＣｉに属するデータｄに対応するラベルはｌｉに統一するものとする。すなわち、Ｓ６において、演算部１２０は、｛（ｄ，ｌｉ）｜ｄ∈Ｃｉ｝を出力データの集合Ｌ＿Ｄ＊へ追加する。
　以降、演算部１２０は、ｉを１ずつ増加させながらＳ２～Ｓ６を繰り返し実行し、ｉ＝ｍとなった時点で本処理手順を終了する。
　（ハードウェア構成例）
　本実施の形態で説明したデータ精錬装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
　すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
　図５は、上記コンピュータのハードウェア構成例を示す図である。図５のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。
　当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、データ精錬装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
　（実施の形態のまとめ）
　以上説明したとおり、本実施の形態に係るデータ精錬装置１００は、機械学習モデルの学習時に学習データにおいて類似した（入力データ同士の距離が近い）入力データに対して、異なる傾向のラベル（ラベル同士の距離が遠い）データが付与されてしまっている場合に対して、類似入力データに対する統一ラベルを生成する。
　すなわち、データ精錬装置１００に対し、機械学習モデルの学習データ（入力データ・ラベルデータ）を入力すると、データ精錬装置１００は、このうちの「入力データ」を任意のクラスタリング手法でクラスタリングして類似度別にクラスタを生成し、各クラスタのデータに対応するラベルデータに対して再度、任意のクラスタリング手法を適用して統一ラベルの付与を行う。
　より具体的には、データ精錬装置１００に対し、データ集合Ｄ∈Ｒｎｄとラベルの集合Ｌ∈Ｒｎｌを入力すると、データ精錬装置１００は、データ・ラベルの組の集合Ｌ＿Ｄ∈Ｄ×Ｌを、ｋ－ｍｅａｎｓ法を用いて精錬し、精錬により得られたデータ・ラベルの組の集合Ｌ＿Ｄ＊を出力する。
　また、例えば、時刻１～ｔの時系列データｔ＋１～ｔ＋Ｎに対する時系列データをラベルとしたデータを機械学習モデルで学習する際に、データ精錬装置１００は、学習を収束および精度向上させることを目的として、類似した１～ｔの時系列データに対して、統一したラベルを付与することで、データ精錬されたデータ・ラベルの組の集合を出力することができる。
　データ精錬装置１００により、錬された学習データを取得することが可能となり、その結果、学習を収束させ、精度を高めることが期待される。
　（実施の形態の効果）
　機械学習の教師あり学習においてモデルを学習する場合において、類似した入力データに対して異なる教師データをもつ学習データが存在することによる、学習の収束にかかる時間の増加および学習精度の低下を改善することが可能になる。
　以上の実施形態に関し、更に以下の付記を開示する。
　＜付記＞
（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　データとラベルとの組の集合である学習データを入力し、
　前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する
　データ精錬装置。
（付記項２）
　前記プロセッサは、前記ラベルの集合に対してクラスタリングを行って得られた複数のクラスタのうち、最も要素数の多いクラスタにおけるラベルに基づいて、前記統一ラベルを算出する
　付記項１に記載のデータ精錬装置。
（付記項３）
　前記プロセッサは、最も要素数の多い前記クラスタにおけるラベルの平均値又は重心値を前記統一ラベルとする
　付記項２に記載のデータ精錬装置。
（付記項４）
　前記プロセッサは、データと、当該データに対応する前記統一ラベルとの組の集合を、精錬された学習データとして出力する
　付記項１ないし３のうちいずれか１項に記載のデータ精錬装置。
（付記項５）
　データ精錬装置が実行するデータ精錬方法であって、
　データとラベルとの組の集合である学習データを入力する入力ステップと、
　前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する演算ステップと
　を備えるデータ精錬方法。
（付記項６）
　コンピュータを、付記項１ないし４のうちいずれか１項に記載のデータ精錬装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。
　以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１００　データ精錬装置
１１０　入力部
１２０　演算部
１３０　出力部
１４０　記憶部
１０００　ドライブ装置
１００１　記録媒体
１００２　補助記憶装置
１００３　メモリ装置
１００４　ＣＰＵ
１００５　インタフェース装置
１００６　表示装置
１００７　入力装置
１００８　出力装置

Claims (6)

  1. 　データとラベルとの組の集合である学習データを入力する入力部と、
    　前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する演算部と
    　を備えるデータ精錬装置。
  2. 　前記演算部は、前記ラベルの集合に対してクラスタリングを行って得られた複数のクラスタのうち、最も要素数の多いクラスタにおけるラベルに基づいて、前記統一ラベルを算出する
    　請求項１に記載のデータ精錬装置。
  3. 　前記演算部は、最も要素数の多い前記クラスタにおけるラベルの平均値又は重心値を前記統一ラベルとする
    　請求項２に記載のデータ精錬装置。
  4. 　データと、当該データに対応する前記統一ラベルとの組の集合を、精錬された学習データとして出力する出力部
    　を更に備える請求項１に記載のデータ精錬装置。
  5. 　データ精錬装置が実行するデータ精錬方法であって、
    　データとラベルとの組の集合である学習データを入力する入力ステップと、
    　前記学習データの集合における前記データの集合に対してクラスタリングを行うことにより複数のクラスタを生成し、前記複数のクラスタにおけるクラスタごとに、クラスタに含まれるデータの集合に対応するラベルの集合に対してクラスタリングを行うことにより、統一ラベルを算出する演算ステップと
    　を備えるデータ精錬方法。
  6. 　コンピュータを、請求項１ないし４のうちいずれか１項に記載のデータ精錬装置における各部として機能させるためのプログラム。
PCT/JP2023/021613 2023-06-09 2023-06-09 データ精錬装置、データ精錬方法、及びプログラム Ceased WO2024252682A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021613 WO2024252682A1 (ja) 2023-06-09 2023-06-09 データ精錬装置、データ精錬方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021613 WO2024252682A1 (ja) 2023-06-09 2023-06-09 データ精錬装置、データ精錬方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024252682A1 true WO2024252682A1 (ja) 2024-12-12

Family

ID=93795854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021613 Ceased WO2024252682A1 (ja) 2023-06-09 2023-06-09 データ精錬装置、データ精錬方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024252682A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013857A (ja) * 2016-07-19 2018-01-25 富士通株式会社 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置
JP2018195089A (ja) * 2017-05-17 2018-12-06 富士通株式会社 クラスタリング方法、クラスタリングプログラム、および情報処理装置
JP2020077343A (ja) * 2018-11-09 2020-05-21 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
JP2021056591A (ja) * 2019-09-27 2021-04-08 楽天株式会社 教師データ生成システム、教師データ生成方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013857A (ja) * 2016-07-19 2018-01-25 富士通株式会社 センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置
JP2018195089A (ja) * 2017-05-17 2018-12-06 富士通株式会社 クラスタリング方法、クラスタリングプログラム、および情報処理装置
JP2020077343A (ja) * 2018-11-09 2020-05-21 富士通株式会社 ルール生成装置、ルール生成方法及びルール生成プログラム
JP2021056591A (ja) * 2019-09-27 2021-04-08 楽天株式会社 教師データ生成システム、教師データ生成方法、及びプログラム

Similar Documents

Publication Publication Date Title
Burns et al. A dataset for interactive vision-language navigation with unknown command feasibility
JP7262539B2 (ja) 会話推薦方法、装置及び機器
He et al. Mitigating hallucinations in llm using k-means clustering of synonym semantic relevance
JP7285893B2 (ja) 医療データ検証方法、装置及び電子機器
Sulaiman et al. Evaluation of transfer learning and adaptability in large language models with the glue benchmark
CN114386604B (zh) 基于多教师模型的模型蒸馏方法、装置、设备及存储介质
US10346751B2 (en) Extraction of inference rules from heterogeneous graphs
CN114610900A (zh) 知识图谱补全方法及系统
US12462169B2 (en) Machine learning techniques for generating visualization recommendations
JP2019191827A (ja) 質問応答装置、質問応答方法及びプログラム
CN111461757B (zh) 信息处理方法及装置、计算机存储介质、电子设备
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
Singh et al. Exploring prompt engineering: A systematic review with swot analysis
Ki et al. KoTAB: Korean template-based arithmetic solver with BERT
Jin et al. An evaluation of requirements modeling for cyber-physical systems via llms
Chen et al. Difficulty-controllable visual question generation
CN119005165A (zh) 监督模型预测结果纠错方法、装置、设备、存储介质及产品
Yousefnezhad et al. A new selection strategy for selective cluster ensemble based on diversity and independency
Sun et al. Apollo: An optimized training approach for long-form numerical reasoning
JP6770709B2 (ja) 機械学習用モデル生成装置及びプログラム。
WO2023166747A1 (ja) 学習データ生成装置、学習データ生成方法、及びプログラム
WO2024252682A1 (ja) データ精錬装置、データ精錬方法、及びプログラム
CN109543114A (zh) 异构信息网络链接预测方法、可读存储介质和终端
US10852354B1 (en) System and method for accelerating real X detection in gate-level logic simulation
Liu et al. A novel multi-scale graph neural network for metabolic pathway prediction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940778

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE