WO2022259517A1 - モデル学習装置、モデル学習方法、プログラム - Google Patents

モデル学習装置、モデル学習方法、プログラム Download PDF

Info

Publication number
WO2022259517A1
WO2022259517A1 PCT/JP2021/022291 JP2021022291W WO2022259517A1 WO 2022259517 A1 WO2022259517 A1 WO 2022259517A1 JP 2021022291 W JP2021022291 W JP 2021022291W WO 2022259517 A1 WO2022259517 A1 WO 2022259517A1
Authority
WO
WIPO (PCT)
Prior art keywords
loss
data
model
risk
learning
Prior art date
Application number
PCT/JP2021/022291
Other languages
English (en)
French (fr)
Inventor
圭吾 若山
翔一郎 齊藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/022291 priority Critical patent/WO2022259517A1/ja
Priority to JP2023526801A priority patent/JP7540595B2/ja
Publication of WO2022259517A1 publication Critical patent/WO2022259517A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to machine learning technology.
  • machine learning has been used in fields such as acoustic event detection, image segmentation, and image recognition.
  • a general procedure for machine learning is described below.
  • One label (correct label) indicating the class to which the data belongs is assigned to one piece of data, and data to which the correct label is assigned is generated. By performing this work on a large amount of data, a set of data to which correct labels are assigned is generated.
  • Non-Patent Document 1 proposes machine learning with the following procedure.
  • One label (complementary label) indicating a class to which the data does not belong is assigned to one piece of data, and data to which the complementary label, which is an incorrect label, is assigned is generated. By performing this operation on a large amount of data, a set of data to which complementary labels are assigned is generated.
  • the estimation accuracy in estimating the correct class using the trained model generated according to the procedure of Non-Patent Document 1 is about the same as the estimation accuracy in estimating the correct class using the trained model generated according to the general procedure. be.
  • Non-Patent Document 1 is aimed at a problem in which one data belongs to one class (hereinafter referred to as a multi-class classification problem), and for one data, the class to which the data belongs is targeted. is not limited to one (that is, there may be two or more) (hereinafter referred to as a multi-label classification problem).
  • the purpose of the present invention is to provide a model learning technique using complementary labels for multi-label classification problems.
  • One aspect of the present invention is a learning data generation unit that generates a set of data to which one complementary label is assigned (hereinafter referred to as a learning data set) from a set of data to which one or more complementary labels are assigned.
  • a learning data set a set of data to which one complementary label is assigned
  • a first risk calculation unit that calculates the risk -R (g : -loss ) of the decision function g regarding the loss function -loss calculated by the following equation; (where K is the number of classes for classifying data, loss is a loss function used when learning a model using a set of data to which one or more correct labels are assigned), risk - R (g: - loss ) to update the model using .
  • One aspect of the present invention is a learning data generation unit that generates a set of data to which one complementary label is assigned (hereinafter referred to as a learning data set) from a set of data to which one or more complementary labels are assigned.
  • model learning using complementary labels is possible for multi-label classification problems.
  • FIG. 1 is a block diagram showing the configuration of a model learning device 100;
  • FIG. 4 is a flow chart showing the operation of the model learning device 100;
  • 2 is a block diagram showing the configuration of a model learning device 200;
  • FIG. 4 is a flow chart showing the operation of the model learning device 200.
  • FIG. It is a figure which shows an example of the functional structure of the computer which implement
  • ⁇ (caret) represents a superscript.
  • x y ⁇ z means that y z is a superscript to x
  • x y ⁇ z means that y z is a subscript to x
  • _ (underscore) represents a subscript.
  • x y_z means that y z is a superscript to x
  • x y_z means that y z is a subscript to x.
  • Embodiments of the present invention use data to which one or more complementary labels have been assigned to learn a model for a multi-label classification problem. It should be noted that embodiments of the present invention can also be used to train a model for a multi-class classification problem using data with one or more complementary labels.
  • the correct labels are labels indicating belonging to class 1, .
  • Data to which one or more complementary labels have been assigned is handled as follows in the embodiment of the present invention.
  • M data to which one complementary label is assigned are generated from the data.
  • correct label learning refers to learning a model using a set of data to which one or more correct labels have been assigned
  • complementary label learning refers to data to which one or more complementary labels have been assigned. It means to learn a model using a set of
  • Risk R(g:loss) can also be expressed by the following equation.
  • the following binary cross-entropy and multi-label soft margin can be used as the loss function loss.
  • y k represents 1 if class k exists and 0 otherwise.
  • Risk - R(g : -loss) can also be expressed by the following equation.
  • Loss function - loss is calculated by the following equation using the loss function loss.
  • a model can also be learned using a set of data to which one or more correct labels have been assigned and a set of data to which one or more complementary labels have been assigned.
  • the risk R(g) of the decision function g should be calculated using the following equation.
  • ⁇ is a constant that satisfies 0 ⁇ 1.
  • FIG. 1 is a block diagram showing the configuration of the model learning device 100.
  • FIG. 2 is a flow chart showing the operation of the model learning device 100.
  • model learning device 100 includes learning data generator 110 , first risk calculator 120 , model updater 130 , end condition determiner 140 , and recorder 190 .
  • the recording unit 190 is a component that appropriately records information necessary for processing of the model learning device 100 .
  • model learning device 100 The operation of the model learning device 100 will be described according to FIG.
  • the learning data generation unit 110 generates a set of data to which one complementary label is assigned (hereinafter referred to as a set of data to which one complementary label is assigned) from a set of data to which one or more complementary labels are assigned (hereinafter referred to as an input complementary labeled data set). , called the training data set).
  • the first risk calculator 120 uses a batch that is a subset of the learning data set generated in S110 to calculate the risk of the decision function g regarding the loss function -loss calculated by the following equation -R(g : - loss).
  • K is the number of classes for classifying data
  • loss is a loss function used when learning a model using a set of data to which one or more correct labels are assigned.
  • the model update unit 130 updates the model using the risk -R(g : -loss ) calculated in S120. Specifically, the model updating unit 130 updates the model so as to minimize the risk -R(g : -loss).
  • the model When training a model for use in acoustic event detection, the model can be a DNN model with a self-attention mechanism described in [1]. Also, when learning a model for image segmentation, the model can be a DNN model with a class activation map as described in Reference 2.
  • the learning data generation unit 110 generates a batch that is a subset of the input complementary labeled data set from a set of data to which one or more complementary labels have been assigned (hereinafter referred to as an input complementary labeled data set). Then, a set of data to which one complementary label is assigned (hereinafter referred to as a learning data set) is generated from the batch.
  • the first risk calculator 120 uses the learning data set generated in S110 to calculate the risk -R(g : -loss) of the decision function g regarding the loss function -loss calculated by Equation (1). do.
  • the model update unit 130 updates the model using the risk -R(g : -loss ) calculated in S120.
  • the termination condition determination unit 140 terminates the process with the model obtained in the process of S130 as a trained model. return.
  • FIG. 3 is a block diagram showing the configuration of the model learning device 200.
  • FIG. 4 is a flow chart showing the operation of the model learning device 200.
  • the model learning device 200 includes a learning data generator 110, a first risk calculator 120, a second risk calculator 220, a third risk calculator 230, a model updater 240, and an end A condition determination unit 140 and a recording unit 190 are included.
  • the recording unit 190 is a component that appropriately records information necessary for processing of the model learning device 200 .
  • model learning device 200 The operation of the model learning device 200 will be described according to FIG.
  • the first risk calculator 120 uses a batch that is a subset of the learning data set generated in S110 to calculate the risk of the decision function g regarding the loss function -loss calculated by the following equation -R(g : - loss).
  • K is the number of classes for classifying data
  • loss is a loss function used when learning a model using a set of data to which one or more correct labels are assigned.
  • the second risk calculator 220 uses a batch that is a subset of a set of data to which one or more correct labels have been assigned (hereinafter referred to as an input correct labeled data set) to determine the loss function loss. Calculate the risk R(g:loss) of the function g.
  • the model updating unit 240 updates the model using the risk R(g) calculated at S230. Specifically, the model updating unit 240 updates the model so as to minimize the risk R(g).
  • the model described in Reference Non-Patent Document 1 is used when learning a model used for acoustic event detection
  • the model described in Reference Non-Patent Document 2 is used when learning a model used for image segmentation. can do.
  • the termination condition determination unit 140 terminates the processing using the model obtained in the processing of S240 as a trained model. Return to the processing of S220.
  • the learning data generation unit 110 generates a batch that is a subset of the input complementary labeled data set from a set of data to which one or more complementary labels have been assigned (hereinafter referred to as an input complementary labeled data set). Then, a set of data to which one complementary label is assigned (hereinafter referred to as a learning data set) is generated from the batch.
  • the first risk calculator 120 uses the learning data set generated in S110 to calculate the risk -R(g : -loss) of the decision function g regarding the loss function -loss calculated by Equation (2). do.
  • the second risk calculator 220 uses a batch that is a subset of a set of data to which one or more correct labels have been assigned (hereinafter referred to as an input correct labeled data set) to determine the loss function loss. Calculate the risk R(g:loss) of the function g.
  • the model updating unit 240 updates the model using the risk R(g) calculated at S230.
  • the termination condition determination unit 140 terminates the processing using the model obtained in the processing of S240 as a trained model. Return to the processing of S220.
  • model learning using complementary labels for multi-label classification problems is possible.
  • complementary labeled data it is possible to learn using more data, improve the accuracy of estimation using a trained model, and estimate for more classes. .
  • FIG. 5 is a diagram showing an example of a functional configuration of a computer that implements each device (ie, each node) described above.
  • the processing in each device described above can be performed by causing the recording unit 2020 to read a program for causing the computer to function as each device described above, and causing the control unit 2010, the input unit 2030, the output unit 2040, and the like to operate.
  • the apparatus of the present invention includes, for example, a single hardware entity, which includes an input unit to which a keyboard can be connected, an output unit to which a liquid crystal display can be connected, and a communication device (for example, a communication cable) capable of communicating with the outside of the hardware entity.
  • a communication device for example, a communication cable
  • CPU Central Processing Unit
  • memory RAM and ROM hard disk external storage device
  • input unit, output unit, communication unit a CPU, a RAM, a ROM, and a bus for connecting data to and from an external storage device.
  • the hardware entity may be provided with a device (drive) capable of reading and writing a recording medium such as a CD-ROM.
  • a physical entity with such hardware resources includes a general purpose computer.
  • the external storage device of the hardware entity stores a program necessary for realizing the functions described above and data required for the processing of this program (not limited to the external storage device; It may be stored in a ROM, which is a dedicated storage device). Data obtained by processing these programs are appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • the data necessary for processing each program are read into the memory as needed, and interpreted, executed and processed by the CPU as appropriate.
  • the CPU realizes a predetermined function (each structural unit represented by the above, . . . unit, . . . means, etc.).
  • a program that describes this process can be recorded on a computer-readable recording medium.
  • Any computer-readable recording medium may be used, for example, a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, or the like.
  • magnetic recording devices hard disk devices, flexible disks, magnetic tapes, etc., as optical discs, DVD (Digital Versatile Disc), DVD-RAM (Random Access Memory), CD-ROM (Compact Disc Read Only Memory), CD-R (Recordable) / RW (ReWritable), etc.
  • magneto-optical recording media such as MO (Magneto-Optical disc), etc. as semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. can be used.
  • this program is carried out, for example, by selling, assigning, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded.
  • the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or the program transferred from the server computer once in its own storage device. When executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition. may be It should be noted that the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • ASP Application Service Provide
  • a hardware entity is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

マルチラベル分類問題を対象とする、補ラベルを用いたモデル学習技術を提供する。１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成部と、前記学習データ集合の部分集合であるバッチを用いて、所定の式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算部と、リスク-R(g:-loss)を用いて、モデルを更新するモデル更新部と、を含む。

Description

モデル学習装置、モデル学習方法、プログラム
　本発明は、機械学習技術に関する。
　近年、音響イベント検知、画像セグメンテーション、画像認識などの分野において、機械学習が用いられている。機械学習の一般的な手順について、以下説明する。
（１）１つのデータに対してそのデータが属するクラスを示すラベル（正解ラベルという）を１つ付与し、正解ラベルが付与されたデータを生成する。この作業を多くのデータに対して行うことにより、正解ラベルが付与されたデータの集合を生成する。
（２）正解ラベルが付与されたデータの集合を用いてモデルを学習する。
（３）学習済モデルを用いて、入力されたデータが属するクラス（正解クラスという）を推定する。
　上記手順に従い生成した学習済モデルを用いた正解クラスの推定において、推定精度を高めようとする場合、より多くの正解ラベルが付与されたデータが必要になる。また、推定対象となる、データが属するクラスの数を増やそうとする場合も、より多くの正解ラベルが付与されたデータが必要になる。しかし、正解ラベルを付与する作業は非常に手間がかかるものであり、正解ラベルが付与されたデータを大量に生成するのは困難である。
　そこで、非特許文献１では、以下の手順の機械学習を提案している。
（１）１つのデータに対してそのデータが属さないクラスを示すラベル（補ラベルという）を１つ付与し、間違ったラベルである補ラベルが付与されたデータを生成する。この作業を多くのデータに対して行うことにより、補ラベルが付与されたデータの集合を生成する。
（２）補ラベルが付与されたデータの集合を用いてモデルを学習する。
（３）学習済モデルを用いて、入力されたデータが属するクラス（正解クラスという）を推定する。
　あるデータに正解ラベルを付与するよりも補ラベルを付与する方が手間がかからないため、より多くのラベルが付与されたデータを生成することができる。また、非特許文献１の手順に従い生成した学習済モデルを用いた正解クラスの推定における推定精度は、一般的な手順に従い生成した学習済モデルを用いた正解クラスの推定における推定精度と同程度である。
T. Ishida et al., "Complementary-Label Learning for Arbitrary Losses and Models," ICML 2019, pp.2971-2980, 2019.
　非特許文献１の技術では、１つのデータに対してそのデータが属するクラスが１つである問題（以下、多クラス分類問題という）を対象としており、１つのデータに対してそのデータが属するクラスが１つとは限らない（つまり、２つ以上ある場合もある）問題（以下、マルチラベル分類問題という）を扱うことができない。
　そこで本発明では、マルチラベル分類問題を対象とする、補ラベルを用いたモデル学習技術を提供することを目的とする。
　本発明の一態様は、１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成部と、前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算部と、
Figure JPOXMLDOC01-appb-M000005
 （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）、リスク-R(g:-loss)を用いて、モデルを更新するモデル更新部と、を含む。
　本発明の一態様は、１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成部と、前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算部と、
Figure JPOXMLDOC01-appb-M000006
 （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）、１個以上の正解ラベルが付与されたデータの集合の部分集合であるバッチを用いて、損失関数lossに関する決定関数gのリスクR(g:loss)を計算する第２リスク計算部と、リスク-R(g:-loss)とリスクR(g:loss)から、R(g)=α-R(g:-loss)+(1-α)(g:loss)（ただし、αは0<α<1を満たす定数）により、リスクR(g)を計算する第３リスク計算部と、リスクR(g)を用いて、モデルを更新するモデル更新部と、を含む。
　本発明によれば、マルチラベル分類問題を対象とする、補ラベルを用いたモデル学習が可能となる。
モデル学習装置１００の構成を示すブロック図である。 モデル学習装置１００の動作を示すフローチャートである。 モデル学習装置２００の構成を示すブロック図である。 モデル学習装置２００の動作を示すフローチャートである。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　各実施形態の説明に先立って、この明細書における表記方法について説明する。
　^（キャレット）は上付き添字を表す。例えば、xy^zはyzがxに対する上付き添字であり、xy^zはyzがxに対する下付き添字であることを表す。また、_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
　また、ある文字xに対する^xや~xのような上付き添え字の”^”や”~”は、本来”x”の真上に記載されるべきであるが、明細書の記載表記の制約上、^xや~xと記載しているものである。
＜技術的背景＞
　本発明の実施形態では、１個以上の補ラベルが付与されたデータを用いてマルチラベル分類問題に対するモデルを学習する。なお、本発明の実施形態を用いて、１個以上の補ラベルが付与されたデータを用いて多クラス分類問題に対するモデルを学習することもできる。
　以下、データが属する可能性があるクラス、つまり、データを分類するクラスの数をK、正解ラベルの集合[K]={1, …, K}とする。ここで、正解ラベルとは、クラス1に属すことを示すラベル、…、クラスKに属すことを示すラベルのことであり、それぞれ、1, …, Kで表す。
　K個の補ラベルを考える。ここで、K個の補ラベルとは、クラス1に属さないことを示すラベル、…、クラスKに属さないことを示すラベルのことであり、それぞれ、-1, …, -Kで表すこととする。また、補ラベルの集合[-K]={-1, …, -K}で表すこととする。
　そして、１以上の補ラベルが付与されたデータについて、本発明の実施形態では、次のように取り扱うこととする。M個の補ラベルが付与されたデータに対して、Mが2以上である場合、当該データから1個の補ラベルが付与されたデータM個生成する。このことを以下で説明する記号を用いて説明すると、“M個の補ラベルが付与されたデータ（xi, (-y1, …, -yM)）（ただし、xi∈χ, -y1, …, -yM∈[-K]）から、1個の補ラベルが付与されたデータ（xi, -y1）, …, （xi, -yM)を生成する”となる。
　以下、正解ラベル学習、補ラベル学習について詳しく説明する。ここで、正解ラベル学習とは、１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習することをいい、補ラベル学習とは、１個以上の補ラベルが付与されたデータの集合を用いてモデルを学習することをいう。
［正解ラベル学習］
　χをデータの集合、g:χ→RKを決定関数とする。また、gkを決定関数gの第k要素とする。Dをχ×[K]上の分布（ただし、分布Dの確率変数を(X, Y)～Dと表す）、{Pk}k=1 K（ただし、Pk=P(X|Y=k)）、{πk}k=1 K（ただし、πk=P(Y=k)）、loss:[K]×RK→R+を正解ラベル学習の損失関数とすると、損失関数loss, 分布Dに関する決定関数gのリスクR(g:loss)は、次式で表される。
Figure JPOXMLDOC01-appb-M000007
 　また、リスクR(g:loss)は、次式で表すこともできる。
Figure JPOXMLDOC01-appb-M000008
 　マルチラベル分類問題に対するモデルを学習する場合、損失関数lossとして、以下のバイナリクロスエントロピーやマルチラベルソフトマージンを用いることができる。ここで、ykはクラスkが存在する場合は1、それ以外の場合は0を表すものとする。
（バイナリクロスエントロピー）
Figure JPOXMLDOC01-appb-M000009
 （マルチラベルソフトマージン）
Figure JPOXMLDOC01-appb-M000010
 　なお、多クラス分類問題に対するモデルを学習する場合、損失関数lossとして、ソフトマックスクロスエントロピーを用いることができる。
［補ラベル学習］
　-Dをχ×[-K]上の分布（ただし、分布-Dの確率変数を(X, -Y)～-Dと表す）、{-Pk}k=1 K（ただし、-Pk=P(X|-Y=k)）、{-πk}k=1 K（ただし、-πk=P(-Y=k)）、-loss:[-K]×RK→R+を補ラベル学習の損失関数とすると、損失関数-loss, 分布-Dに関する決定関数gのリスク-R(g:-loss)は、次式で表される。
Figure JPOXMLDOC01-appb-M000011
 　また、リスク-R(g:-loss)は、次式で表すこともできる。
Figure JPOXMLDOC01-appb-M000012
 　損失関数-lossは、損失関数lossを用いた次式で計算される。
Figure JPOXMLDOC01-appb-M000013
 　なお、１個以上の正解ラベルが付与されたデータの集合と１個以上の補ラベルが付与されたデータの集合とを用いてモデルを学習することもできる。この場合、決定関数gのリスクR(g)は、次式を用いて計算するとよい。
Figure JPOXMLDOC01-appb-M000014
 　ただし、αは0<α<1を満たす定数である。
＜第１実施形態＞
　以下、図１～図２を参照してモデル学習装置１００について説明する。図１は、モデル学習装置１００の構成を示すブロック図である。図２は、モデル学習装置１００の動作を示すフローチャートである。図１に示すようにモデル学習装置１００は、学習データ生成部１１０と、第１リスク計算部１２０と、モデル更新部１３０と、終了条件判定部１４０と、記録部１９０を含む。記録部１９０は、モデル学習装置１００の処理に必要な情報を適宜記録する構成部である。
　図２に従いモデル学習装置１００の動作について説明する。
　Ｓ１１０において、学習データ生成部１１０は、１個以上の補ラベルが付与されたデータの集合（以下、入力補ラベル付きデータ集合という）から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する。
　Ｓ１２０において、第１リスク計算部１２０は、Ｓ１１０で生成した学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する。
Figure JPOXMLDOC01-appb-M000015
 （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
　Ｓ１３０において、モデル更新部１３０は、Ｓ１２０で計算したリスク-R(g:-loss)を用いて、モデルを更新する。具体的には、モデル更新部１３０は、リスク-R(g:-loss)を最小化するように、モデルを更新する。音響イベント検知に用いるモデルを学習する場合、モデルは、参考非特許文献１に記載の自己注意機構を備えたDNNモデルとすることができる。また、画像セグメンテーションに用いるモデルを学習する場合、モデルは、参考非特許文献２に記載のクラスアクティベーションマップを備えたDNNモデルとすることができる。
（参考非特許文献１：Q. Kong et al., “Sound Event Detection of Weakly Labelled Data with CNN-Transformer and Automatic Threshold Optimization,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol.28, pp.2450-2460, 2020.）
（参考非特許文献２：Y. Wang et al., “Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation,” CVPR 2020, pp.12275-12284, 2020.）
　Ｓ１４０において、終了条件判定部１４０は、所定の終了条件が満たされる場合には、Ｓ１３０の処理で得られたモデルを学習済みモデルとして処理を終了し、それ以外の場合には、Ｓ１２０の処理に戻る。終了条件には、例えば、モデル更新回数の上限に達したか否かという条件を用いることができる。
（変形例）
　上記Ｓ１１０～Ｓ１４０の処理は、以下のようにしてもよい。
　Ｓ１１０において、学習データ生成部１１０は、１個以上の補ラベルが付与されたデータの集合（以下、入力補ラベル付きデータ集合という）から、入力補ラベル付きデータ集合の部分集合であるバッチを生成し、当該バッチから、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する。
　Ｓ１２０において、第１リスク計算部１２０は、Ｓ１１０で生成した学習データ集合を用いて、式(1)で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する。
　Ｓ１３０において、モデル更新部１３０は、Ｓ１２０で計算したリスク-R(g:-loss)を用いて、モデルを更新する。
　Ｓ１４０において、終了条件判定部１４０は、所定の終了条件が満たされる場合には、Ｓ１３０の処理で得られたモデルを学習済みモデルとして処理を終了し、それ以外の場合には、Ｓ１１０の処理に戻る。
　本発明の実施形態によれば、マルチラベル分類問題を対象とする、補ラベルを用いたモデル学習が可能となる。補ラベルを付与したデータを用いることにより、より多くのデータを用いた学習が可能となり、学習済みモデルを用いた推定の精度を向上させることやより多くのクラスを対象とする推定が可能となる。
＜第２実施形態＞
　以下、図３～図４を参照してモデル学習装置２００について説明する。図３は、モデル学習装置２００の構成を示すブロック図である。図４は、モデル学習装置２００の動作を示すフローチャートである。図３に示すようにモデル学習装置２００は、学習データ生成部１１０と、第１リスク計算部１２０と、第２リスク計算部２２０と、第３リスク計算部２３０と、モデル更新部２４０と、終了条件判定部１４０と、記録部１９０を含む。記録部１９０は、モデル学習装置２００の処理に必要な情報を適宜記録する構成部である。
　図４に従いモデル学習装置２００の動作について説明する。
　Ｓ１１０において、学習データ生成部１１０は、１個以上の補ラベルが付与されたデータの集合（以下、入力補ラベル付きデータ集合という）から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する。
　Ｓ１２０において、第１リスク計算部１２０は、Ｓ１１０で生成した学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する。
Figure JPOXMLDOC01-appb-M000016
 （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
　Ｓ２２０において、第２リスク計算部２２０は、１個以上の正解ラベルが付与されたデータの集合（以下、入力正解ラベル付きデータ集合という）の部分集合であるバッチを用いて、損失関数lossに関する決定関数gのリスクR(g:loss)を計算する。
　Ｓ２３０において、第３リスク計算部２３０は、Ｓ１２０で計算したリスク-R(g:-loss)とＳ１３０で計算したリスクR(g:loss)から、R(g)=α-R(g:-loss)+(1-α)(g:loss)（ただし、αは0<α<1を満たす定数）により、リスクR(g)を計算する。
　Ｓ２４０において、モデル更新部２４０は、Ｓ２３０で計算したリスクR(g)を用いて、モデルを更新する。具体的には、モデル更新部２４０は、リスクR(g)を最小化するように、モデルを更新する。また、第１実施形態と同様、音響イベント検知に用いるモデルを学習する場合は参考非特許文献１に記載のモデル、画像セグメンテーションに用いるモデルを学習する場合は参考非特許文献２に記載のモデルとすることができる。
　Ｓ１４０において、終了条件判定部１４０は、所定の終了条件が満たされる場合には、Ｓ２４０の処理で得られたモデルを学習済みモデルとして処理を終了し、それ以外の場合には、Ｓ１２０の処理、Ｓ２２０の処理に戻る。
（変形例）
　上記Ｓ１１０～Ｓ１４０の処理は、以下のようにしてもよい。
　Ｓ１１０において、学習データ生成部１１０は、１個以上の補ラベルが付与されたデータの集合（以下、入力補ラベル付きデータ集合という）から、入力補ラベル付きデータ集合の部分集合であるバッチを生成し、当該バッチから、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する。
　Ｓ１２０において、第１リスク計算部１２０は、Ｓ１１０で生成した学習データ集合を用いて、式(2)で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する。
　Ｓ２２０において、第２リスク計算部２２０は、１個以上の正解ラベルが付与されたデータの集合（以下、入力正解ラベル付きデータ集合という）の部分集合であるバッチを用いて、損失関数lossに関する決定関数gのリスクR(g:loss)を計算する。
　Ｓ２３０において、第３リスク計算部２３０は、Ｓ１２０で計算したリスク-R(g:-loss)とＳ１３０で計算したリスクR(g:loss)から、R(g)=α-R(g:-loss)+(1-α)(g:loss)（ただし、αは0<α<1を満たす定数）により、リスクR(g)を計算する。
　Ｓ２４０において、モデル更新部２４０は、Ｓ２３０で計算したリスクR(g)を用いて、モデルを更新する。
　Ｓ１４０において、終了条件判定部１４０は、所定の終了条件が満たされる場合には、Ｓ２４０の処理で得られたモデルを学習済みモデルとして処理を終了し、それ以外の場合には、Ｓ１１０の処理、Ｓ２２０の処理に戻る。
　本発明の実施形態によれば、マルチラベル分類問題を対象とする、補ラベルを用いたモデル学習が可能となる。補ラベルを付与したデータを用いることにより、より多くのデータを用いた学習が可能となり、学習済みモデルを用いた推定の精度を向上させることやより多くのクラスを対象とする推定が可能となる。
＜補記＞
　図５は、上述の各装置（つまり、各ノード）を実現するコンピュータの機能構成の一例を示す図である。上述の各装置における処理は、記録部２０２０に、コンピュータを上述の各装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成部）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　上述の本発明の実施形態の記載は、例証と記載の目的で提示されたものである。網羅的であるという意思はなく、開示された厳密な形式に発明を限定する意思もない。変形やバリエーションは上述の教示から可能である。実施形態は、本発明の原理の最も良い例証を提供するために、そして、この分野の当業者が、熟考された実際の使用に適するように本発明を色々な実施形態で、また、色々な変形を付加して利用できるようにするために、選ばれて表現されたものである。すべてのそのような変形やバリエーションは、公正に合法的に公平に与えられる幅にしたがって解釈された添付の請求項によって定められた本発明のスコープ内である。

Claims (6)

  1. 　１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成部と、
    　前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算部と、
    Figure JPOXMLDOC01-appb-M000001
     （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
    　リスク-R(g:-loss)を用いて、モデルを更新するモデル更新部と、
    　を含むモデル学習装置。
  2. 　１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成部と、
    　前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算部と、
    Figure JPOXMLDOC01-appb-M000002
     （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
    　１個以上の正解ラベルが付与されたデータの集合の部分集合であるバッチを用いて、損失関数lossに関する決定関数gのリスクR(g:loss)を計算する第２リスク計算部と、
    　リスク-R(g:-loss)とリスクR(g:loss)から、R(g)=α-R(g:-loss)+(1-α)(g:loss)（ただし、αは0<α<1を満たす定数）により、リスクR(g)を計算する第３リスク計算部と、
    　リスクR(g)を用いて、モデルを更新するモデル更新部と、
    　を含むモデル学習装置。
  3. 　モデル学習装置が、１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成ステップと、
    　前記モデル学習装置が、前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算ステップと、
    Figure JPOXMLDOC01-appb-M000003
     （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
    　前記モデル学習装置が、リスク-R(g:-loss)を用いて、モデルを更新するモデル更新ステップと、
    　を含むモデル学習方法。
  4. 　モデル学習装置が、１個以上の補ラベルが付与されたデータの集合から、１個の補ラベルが付与されたデータの集合（以下、学習データ集合という）を生成する学習データ生成ステップと、
    　前記モデル学習装置が、前記学習データ集合の部分集合であるバッチを用いて、次式で計算される損失関数-lossに関する決定関数gのリスク-R(g:-loss)を計算する第１リスク計算ステップと、
    Figure JPOXMLDOC01-appb-M000004
     （ただし、Kはデータを分類するクラスの数、lossは１個以上の正解ラベルが付与されたデータの集合を用いてモデルを学習する場合に用いる損失関数）
    　前記モデル学習装置が、１個以上の正解ラベルが付与されたデータの集合の部分集合であるバッチを用いて、損失関数lossに関する決定関数gのリスクR(g:loss)を計算する第２リスク計算ステップと、
    　前記モデル学習装置が、リスク-R(g:-loss)とリスクR(g:loss)から、R(g)=α-R(g:-loss)+(1-α)(g:loss)（ただし、αは0<α<1を満たす定数）により、リスクR(g)を計算する第３リスク計算ステップと、
    　前記モデル学習装置が、リスクR(g)を用いて、モデルを更新するモデル更新ステップと、
    　を含むモデル学習方法。
  5. 　請求項３または４に記載のモデル学習方法であって、
    　損失関数lossは、バイナリクロスエントロピーまたはマルチラベルソフトマージンである
    　ことを特徴とするモデル学習方法。
  6. 　請求項３ないし５のいずれか１項に記載のモデル学習方法をコンピュータに実行させるためのプログラム。
PCT/JP2021/022291 2021-06-11 2021-06-11 モデル学習装置、モデル学習方法、プログラム WO2022259517A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/022291 WO2022259517A1 (ja) 2021-06-11 2021-06-11 モデル学習装置、モデル学習方法、プログラム
JP2023526801A JP7540595B2 (ja) 2021-06-11 2021-06-11 モデル学習装置、モデル学習方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022291 WO2022259517A1 (ja) 2021-06-11 2021-06-11 モデル学習装置、モデル学習方法、プログラム

Publications (1)

Publication Number Publication Date
WO2022259517A1 true WO2022259517A1 (ja) 2022-12-15

Family

ID=84424627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022291 WO2022259517A1 (ja) 2021-06-11 2021-06-11 モデル学習装置、モデル学習方法、プログラム

Country Status (2)

Country Link
JP (1) JP7540595B2 (ja)
WO (1) WO2022259517A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4219122B2 (ja) 2002-06-25 2009-02-04 富士通株式会社 特徴語抽出システム
CN111540468B (zh) 2020-04-21 2023-05-16 重庆大学 一种诊断原因可视化的icd自动编码方法与系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEIGO WAKAYAMA, SHOICHIRO SAITO: "Sound event detection based on complementary-label learning", IEICE TECHNICAL REPORT, vol. 121, no. 112 (EA2021-17), 17 July 2021 (2021-07-17), JP, pages 77 - 82, XP009542135 *
TAKASHI ISHIDA; GANG NIU; WEIHUA HU; MASASHI SUGIYAMA: "Learning from Complementary Labels", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 22 May 2017 (2017-05-22), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080972706 *
YUZHOU CAO; SHUQI LIU; YITIAN XU: "Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 23 July 2020 (2020-07-23), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081705190 *

Also Published As

Publication number Publication date
JPWO2022259517A1 (ja) 2022-12-15
JP7540595B2 (ja) 2024-08-27

Similar Documents

Publication Publication Date Title
US12067571B2 (en) Systems and methods for generating models for classifying imbalanced data
US11048870B2 (en) Domain concept discovery and clustering using word embedding in dialogue design
JP5734503B2 (ja) 語義推定装置、方法及びプログラム
JP6212217B2 (ja) 機械学習における重みの生成
US8635171B1 (en) Systems and methods for reducing false positives produced by heuristics
JP7342242B2 (ja) 学習を転移させるための学習のためのフレームワーク
JP7304488B2 (ja) 強化学習ベースの局所解釈可能モデル
WO2014199920A1 (ja) 予測関数作成装置、予測関数作成方法、及びコンピュータ読み取り可能な記録媒体
US11037073B1 (en) Data analysis system using artificial intelligence
JP2022082524A (ja) 機械学習を通じての学習モデルを使った情報提供方法および装置
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
JP2018041300A (ja) 機械学習用モデル生成装置及びプログラム。
WO2022259517A1 (ja) モデル学習装置、モデル学習方法、プログラム
Benyacoub et al. Credit scoring model based on HMM/Baum-Welch method
WO2023139755A1 (ja) モデル学習装置、モデル学習方法、プログラム
US20230267175A1 (en) Systems and methods for sample efficient training of machine learning models
JP7543903B2 (ja) ベクトル推定プログラム、ベクトル推定装置、及び、ベクトル推定方法
JP7517435B2 (ja) 学習装置、推論装置、それらの方法、およびプログラム
KR20230131651A (ko) 지식 그래프 임베딩 모델의 성능 향상을 위한 프레임워크 시스템 및 이의 학습 방법
WO2020255299A1 (ja) 異常度推定装置、異常度推定方法、プログラム
CN113723436A (zh) 数据的处理方法、装置、计算机设备和存储介质
Salter-Townshend et al. Sentiment analysis of online media
JP7226568B2 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
WO2023002561A1 (ja) 学習装置、学習方法、プログラム
JP7505555B2 (ja) 学習装置、学習方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945190

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023526801

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21945190

Country of ref document: EP

Kind code of ref document: A1