JP7293498B2 - サンプル一致度評価による能動学習 - Google Patents
サンプル一致度評価による能動学習 Download PDFInfo
- Publication number
- JP7293498B2 JP7293498B2 JP2022511319A JP2022511319A JP7293498B2 JP 7293498 B2 JP7293498 B2 JP 7293498B2 JP 2022511319 A JP2022511319 A JP 2022511319A JP 2022511319 A JP2022511319 A JP 2022511319A JP 7293498 B2 JP7293498 B2 JP 7293498B2
- Authority
- JP
- Japan
- Prior art keywords
- training samples
- unlabeled training
- unlabeled
- entropy
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
- G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
一般的に、教師あり機械学習モデルは、正確に結果を予測するために、ラベル付けされた訓練データを大量に必要とする。しかしながら、ラベル付けされていないデータを大量に取得するのは簡単なことが多いものの、データをラベル付けすることは往々にして非常に難しい。すなわち、膨大な量のデータをラベル付けすることは、全く不可能ではないにしても、法外に費用がかかることが多い。そのような訳で、能動学習は、最も影響が大きい(すなわち精度の上昇が最も大きい)であろうデータのみについてモデルを訓練するために、ラベル付けされていないデータに優先順位を付けることが可能な、普及しているタイプの機械学習である。典型的に、能動学習アルゴリズムは、先ず、ラベル付けされたデータの小さなサブセットについて訓練され、次に、能動的に教師にクエリし、ラベル付けされていない訓練サンプルを選択してラベル付けする。ラベル付けされていない訓練サンプルを選択するプロセスは、活発に研究されている分野である。
本開示のある局面は、サンプル一致度評価による能動学習の方法を提供する。この方法は、データ処理ハードウェアが、ラベル付けされていない訓練サンプルのセットを取得するステップを含む。複数の能動学習サイクルのうちの各能動学習サイクル中に、ラベル付けされていない訓練サンプルのセット内の各々のラベル付けされていない訓練サンプルごとに、この方法は、データ処理ハードウェアが、ラベル付けされていない訓練サンプルを摂動させて拡張訓練サンプルを生成するステップを含む。この方法はまた、データ処理ハードウェアが、ラベル付けされていない訓練サンプルと拡張訓練サンプルとを入力として受けるように構成された機械学習モデルを用いて、ラベル付けされていない訓練サンプルの予測ラベルと、拡張訓練サンプルの予測ラベルとを生成するステップと、データ処理ハードウェアが、ラベル付けされていない訓練サンプルの不一致度値を決定するステップとを含む。不一致度値は、ラベル付けされていない訓練サンプルの予測ラベルと拡張訓練サンプルの予測ラベルとの間の相違を表す。この方法はまた、データ処理ハードウェアが、不一致度値に基づいて、ラベル付けされていない訓練サンプルのセット内のラベル付けされていない訓練サンプルを降順でソートするステップと、データ処理ハードウェアが、ラベル付けされていない訓練サンプルのセット内の、ソートしたラベル付けされていない訓練サンプルから選択された、しきい値数のラベル付けされていない訓練サンプルのうちの、各々のラベル付けされていない訓練サンプルごとに、グラウンドトゥルースラベルを取得するステップとを含む。この方法は、データ処理ハードウェアが、ラベル付けされた訓練サンプルの現在のセットを選択するステップを含む。ラベル付けされた訓練サンプルの現在のセットは、ラベル付けされていない訓練サンプルのセット内の、ソートしたラベル付けされていない訓練サンプルから選択された、しきい値数のラベル付けされていない訓練サンプルのうちの、各々のラベル付けされていない訓練サンプルを、対応する取得したグラウンドトゥルースラベルと対にしたものを含む。この方法はまた、データ処理ハードウェアが、ラベル付けされた訓練サンプルの現在のセットと、ラベル付けされていない訓練サンプルのセットのうちのラベル付けされていない訓練サンプルの適切なサブセットとを用いて、機械学習モデルを訓練するステップを含む。
膨大な量のデータの獲得がより低コストにかつより簡単になるのに伴って、機械学習の進歩は、大量のデータに対して深層学習法を用いるモデルの訓練に利用されている。しかしながら、これは新たな課題を提起する、というのも、典型的にデータはラベル付けされていないので、教師あり学習または半教師あり学習モデルに使用される前にラベル付けを必要とするからである。従来、訓練データをラベル付けするのは人間のオペレータである。たとえば、画像データのフレームを用いて物体検出を実行するモデルのために訓練サンプルを準備する場合、熟練したアノテータ(たとえば訓練された人間)が歩行者の周りにバウンディングボックスを描くことによって画像データのフレームにラベル付けすることができる。データの量が膨大である場合、手作業でデータのラベル付けをすることは、良くても高コスト、最悪の場合は不可能である。
Claims (21)
- 機械学習モデルを訓練する方法(400)であって、前記方法(400)は、
データ処理ハードウェア(12)が、ラベル付けされていない訓練サンプル(112U)のセットを取得するステップと、
複数の能動学習サイクルのうちの各能動学習サイクル中に、
前記ラベル付けされていない訓練サンプル(112U)のセット内の各々のラベル付けされていない訓練サンプル(112U)ごとに、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)を摂動させて拡張訓練サンプル(112A)を生成するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)と前記拡張訓練サンプル(112A)とを入力として受けるように構成された前記機械学習モデル(130)を用いて、前記ラベル付けされていない訓練サンプル(112U)の予測ラベル(132PU)と、前記拡張訓練サンプル(112A)の予測ラベル(132PA)とを生成するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)の不一致度値(142)を決定するステップとを含み、前記不一致度値(142)は、前記ラベル付けされていない訓練サンプル(112U)の前記予測ラベル(132PU)と前記拡張訓練サンプル(112A)の前記予測ラベル(132PA)との間の相違を表し、前記方法はさらに、
前記データ処理ハードウェア(12)が、前記不一致度値(142)に基づいて、前記ラベル付けされていない訓練サンプル(112U)のセット内のラベル付けされていない訓練サンプル(112U)を降順でソートするステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択された、しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)ごとに、グラウンドトゥルースラベル(132G)を取得するステップと、
前記データ処理ハードウェア(12)が、ラベル付けされた訓練サンプル(112U)の現在のセットを選択するステップとを含み、前記ラベル付けされた訓練サンプルの現在のセットは、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択された、前記しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)を、対応する前記取得したグラウンドトゥルースラベル(132G)と対にしたものを含み、前記方法はさらに、
前記データ処理ハードウェア(12)が、前記ラベル付けされた訓練サンプル(112U)の現在のセットと、前記ラベル付けされていない訓練サンプル(112U)のセットのうちのラベル付けされていない訓練サンプルの適切なサブセット(112UP)とを用いて、前記機械学習モデル(130)を訓練するステップを含む、方法。 - 前記しきい値数のラベル付けされていない訓練サンプル(112UT)は、前記ラベル付けされていない訓練サンプル(112U)のセットのカーディナリティ未満である、請求項1に記載の方法(400)。
- 前記しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)の前記不一致度値(142)は、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択されない、各々のラベル付けされていない訓練サンプル(112U)の前記不一致度値(142)よりも大きい、請求項1または2に記載の方法(400)。
- 前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセットから、前記しきい値数のラベル付けされていない訓練サンプル(112UT)を取り除くことにより、前記ラベル付けされていない訓練サンプル(112U)のセットから、前記ラベル付けされていない訓練サンプルの適切なサブセット(112UP)を取得するステップをさらに含む、請求項1~3のいずれか1項に記載の方法(400)。
- 前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から、最初のM個のラベル付けされていない訓練サンプル(112U)を、前記しきい値数のラベル付けされていない訓練サンプル(112UT)として、選択するステップをさらに含む、請求項1~4のいずれか1項に記載の方法(400)。
- 初期能動学習サイクル中に、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルのランダムなセット(112UR)を、ランダムに選択するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルのランダムなセット(112UR)内の、各々のラベル付けされていない訓練サンプル(112U)ごとに、対応するグラウンドトゥルースラベル(132G)を取得するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルのランダムなセット(112UR)と、前記対応するグラウンドトゥルースラベル(132G)とを用いて、前記機械学習モデル(130)を訓練するステップとをさらに含む、請求項1~4のいずれか1項に記載の方法(400)。 - 前記初期能動学習サイクル中に、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルの候補セット(112UC)を特定するステップをさらに含み、前記ラベル付けされていない訓練サンプルの候補セット(112UC)のカーディナリティは、前記ラベル付けされていない訓練サンプル(112U)のセットのカーディナリティ未満であり、さらに、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)に対して前記機械学習モデル(130)を用いて生成された予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第1の交差エントロピー(320)を求めるステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルのセット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)に対して前記機械学習モデル(130)を用いて生成された予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第2の交差エントロピー(330)を求めるステップと、
前記データ処理ハードウェア(12)が、前記第1の交差エントロピー(320)は前記第2の交差エントロピー(330)以上か否かを判断するステップと、
前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)以上である場合、前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの候補セット(112UC)を、前記機械学習モデル(130)を初期訓練するための開始サイズとして、選択するステップとを含む、請求項6に記載の方法(400)。 - 前記ラベル付けされていない訓練サンプル(112U)のセットから、前記ラベル付けされていない訓練サンプルの候補セット(112UC)を特定するステップは、前記ラベル付けされていない訓練サンプル(112U)のセットのうちの、各々のラベル付けされていない訓練サンプル(112U)ごとに、前記不一致度値(142)を決定するステップを含む、請求項7に記載の方法(400)。
- 前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)未満である場合、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルの拡大されたセットをランダムに選択するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの候補セット(112UC)を、前記ラベル付けされていない訓練サンプル(112U)のセットからランダムに選択した前記ラベル付けされていない訓練サンプル(112U)の拡大されたセットを含むように、更新するステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプル(112U)のセットを、前記ラベル付けされていない訓練サンプル(112U)のセットのうちの前記ラベル付けされていない訓練サンプル(112U)の拡大されたセットから、各々のラベル付けされていない訓練サンプル(112U)を取り除くことにより、更新するステップと、
直後の能動学習サイクル中に、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの前記更新した候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)について、前記機械学習モデル(130)を用いて生成された、予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第1の交差エントロピー(320)を求めるステップと、
前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの前記更新した候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)について、前記機械学習モデル(130)を使用して生成された、予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第2の交差エントロピー(330)を求めるステップと、
前記データ処理ハードウェア(12)が、前記第1の交差エントロピー(320)は前記第2の交差エントロピー(330)以上か否かを判断するステップと、
前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)以上である場合、前記データ処理ハードウェア(12)が、前記ラベル付けされていない訓練サンプルの前記更新された候補セット(112UC)を、前記機械学習モデル(130)を初期訓練するための開始サイズとして、選択するステップとをさらに含む、請求項7に記載の方法(400)。 - 前記機械学習モデル(130)は畳み込みニューラルネットワークを含む、請求項1~9のいずれか1項に記載の方法(400)。
- システム(100)であって、
データ処理ハードウェア(12)と、
前記データ処理ハードウェア(12)と通信するメモリハードウェア(14)とを備え、前記メモリハードウェア(14)は、前記データ処理ハードウェア(12)によって実行されると前記データ処理ハードウェア(12)に動作を実行させる命令を格納し、前記動作は、
ラベル付けされていない訓練サンプル(112U)のセットを取得することと、
複数の能動学習サイクルのうちの各能動学習サイクル中に、
前記ラベル付けされていない訓練サンプル(112U)のセット内の各々のラベル付けされていない訓練サンプル(112U)ごとに、
前記ラベル付けされていない訓練サンプル(112U)を摂動させて拡張訓練サンプル(112A)を生成することと、
前記ラベル付けされていない訓練サンプル(112U)と前記拡張訓練サンプル(112A)とを入力として受けるように構成された機械学習モデル(130)を用いて、前記ラベル付けされていない訓練サンプル(112U)の予測ラベル(132PU)と、
前記拡張訓練サンプル(112A)の予測ラベル(132PA)とを生成することと、
前記ラベル付けされていない訓練サンプル(112U)の不一致度値(142)を決定することとを含み、前記不一致度値(142)は、前記ラベル付けされていない訓練サンプル(112U)の前記予測ラベル(132PU)と前記拡張訓練サンプル(112A)の前記予測ラベル(132PA)との間の相違を表し、前記動作はさらに、
前記不一致度値(142)に基づいて、前記ラベル付けされていない訓練サンプル(112U)のセット内のラベル付けされていない訓練サンプル(112U)を降順でソートすることと、
前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択された、しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)ごとに、グラウンドトゥルースラベル(132G)を取得することと、
ラベル付けされた訓練サンプル(112U)の現在のセットを選択することとを含み、前記ラベル付けされた訓練サンプルの現在のセットは、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択された、前記しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)を、対応する前記取得したグラウンドトゥルースラベル(132G)と対にしたものを含み、前記動作はさらに、
前記ラベル付けされた訓練サンプル(112U)の現在のセットと、前記ラベル付けされていない訓練サンプル(112U)のセットのうちのラベル付けされていない訓練サンプルの適切なサブセット(112UP)とを用いて、前記機械学習モデル(130)を訓練することを含む、システム(100)。 - 前記しきい値数のラベル付けされていない訓練サンプル(112UT)は、前記ラベル付けされていない訓練サンプル(112U)のセットのカーディナリティ未満である、請求項11に記載のシステム(100)。
- 前記しきい値数のラベル付けされていない訓練サンプル(112UT)のうちの、各々のラベル付けされていない訓練サンプル(112U)の前記不一致度値(142)は、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から選択されない、各々のラベル付けされていない訓練サンプル(112U)の前記不一致度値(142)よりも大きい、請求項11または12に記載のシステム(100)。
- 前記動作は、前記ラベル付けされていない訓練サンプル(112U)のセットから、前記しきい値数のラベル付けされていない訓練サンプル(112UT)を取り除くことにより、前記ラベル付けされていない訓練サンプル(112U)のセットから、前記ラベル付けされていない訓練サンプルの適切なサブセット(112UP)を取得することをさらに含む、請求項11~13のいずれか1項に記載のシステム(100)。
- 前記動作は、前記ラベル付けされていない訓練サンプル(112U)のセット内の、前記ソートしたラベル付けされていない訓練サンプル(112U)から、最初のM個のラベル付けされていない訓練サンプル(112U)を、前記しきい値数のラベル付けされていない訓練サンプル(112UT)として、選択することをさらに含む、請求項11~14のいずれか1項に記載のシステム(100)。
- 前記動作は、初期能動学習サイクル中に、
前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルのランダムなセット(112UR)を、ランダムに選択することと、
前記ラベル付けされていない訓練サンプルのランダムなセット(112UR)内の、各々のラベル付けされていない訓練サンプル(112U)ごとに、対応するグラウンドトゥルースラベル(132G)を取得することと、
前記ラベル付けされていない訓練サンプルのランダムなセット(112UR)と、前記対応するグラウンドトゥルースラベル(132G)とを用いて、前記機械学習モデル(130)を訓練することとをさらに含む、請求項11~15のいずれか1項に記載のシステム(100)。 - 前記動作は、前記初期能動学習サイクル中に、
前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルの候補セット(112UC)を特定することをさらに含み、前記ラベル付けされていない訓練サンプルの候補セット(112UC)のカーディナリティは、前記ラベル付けされていない訓練サンプル(112U)のセットのカーディナリティ未満であり、さらに、
前記ラベル付けされていない訓練サンプルの候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)に対して前記機械学習モデル(130)を用いて生成された予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第1の交差エントロピー(320)を求めることと、
前記ラベル付けされていない訓練サンプルのセット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)に対して前記機械学習モデル(130)を用いて生成された予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第2の交差エントロピー(330)を求めることと、
前記第1の交差エントロピー(320)は前記第2の交差エントロピー(330)以上か否かを判断することと、
前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)以上である場合、前記ラベル付けされていない訓練サンプルの候補セット(112UC)を、前記機械学習モデル(130)を初期訓練するための開始サイズとして、選択することとを含む、請求項16に記載のシステム(100)。 - 前記ラベル付けされていない訓練サンプル(112U)のセットから、前記ラベル付けされていない訓練サンプルの候補セット(112UC)を特定することは、前記ラベル付けされていない訓練サンプル(112U)のセットのうちの、各々のラベル付けされていない訓練サンプル(112U)ごとに、前記不一致度値(142)を決定することを含む、請求項17に記載のシステム(100)。
- 前記動作は、前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)未満である場合、
前記ラベル付けされていない訓練サンプル(112U)のセットから、ラベル付けされていない訓練サンプルの拡大されたセットをランダムに選択することと、
前記ラベル付けされていない訓練サンプルの候補セット(112UC)を、前記ラベル付けされていない訓練サンプル(112U)のセットからランダムに選択した前記ラベル付けされていない訓練サンプル(112U)の拡大されたセットを含むように、更新することと、
前記ラベル付けされていない訓練サンプル(112U)のセットを、前記ラベル付けされていない訓練サンプル(112U)のセットのうちの前記ラベル付けされていない訓練サンプル(112U)の拡大されたセットから、各々のラベル付けされていない訓練サンプル(112U)を取り除くことにより、更新することと、
直後の能動学習サイクル中に、
前記ラベル付けされていない訓練サンプルの前記更新した候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)について、前記機械学習モデル(130)を用いて生成された、予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第1の交差エントロピー(320)を求めることと、
前記ラベル付けされていない訓練サンプルの前記更新した候補セット(112UC)内の前記ラベル付けされていない訓練サンプル(112U)について、前記機械学習モデル(130)を使用して生成された、予測ラベルの分布と、グラウンドトゥルースラベルの分布との間の、第2の交差エントロピー(330)を求めることと、
前記第1の交差エントロピー(320)は前記第2の交差エントロピー(330)以上か否かを判断することと、
前記第1の交差エントロピー(320)が前記第2の交差エントロピー(330)以上である場合、前記ラベル付けされていない訓練サンプルの前記更新された候補セット(112UC)を、前記機械学習モデル(130)を初期訓練するための開始サイズとして、選択することとをさらに含む、請求項17に記載のシステム(100)。 - 前記機械学習モデル(130)は畳み込みニューラルネットワークを含む、請求項11~19のいずれか1項に記載のシステム(100)。
- 前記データ処理ハードウェア(12)に、請求項1~10のいずれか1項に記載の方法を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023094205A JP2023126769A (ja) | 2019-08-22 | 2023-06-07 | サンプル一致度評価による能動学習 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962890379P | 2019-08-22 | 2019-08-22 | |
US62/890,379 | 2019-08-22 | ||
PCT/US2020/047534 WO2021035193A1 (en) | 2019-08-22 | 2020-08-21 | Active learning via a sample consistency assessment |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023094205A Division JP2023126769A (ja) | 2019-08-22 | 2023-06-07 | サンプル一致度評価による能動学習 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022545476A JP2022545476A (ja) | 2022-10-27 |
JP7293498B2 true JP7293498B2 (ja) | 2023-06-19 |
Family
ID=72560891
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511319A Active JP7293498B2 (ja) | 2019-08-22 | 2020-08-21 | サンプル一致度評価による能動学習 |
JP2023094205A Pending JP2023126769A (ja) | 2019-08-22 | 2023-06-07 | サンプル一致度評価による能動学習 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023094205A Pending JP2023126769A (ja) | 2019-08-22 | 2023-06-07 | サンプル一致度評価による能動学習 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20210056417A1 (ja) |
EP (1) | EP4018382A1 (ja) |
JP (2) | JP7293498B2 (ja) |
KR (1) | KR20220047851A (ja) |
CN (1) | CN114600117A (ja) |
WO (1) | WO2021035193A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11423264B2 (en) * | 2019-10-21 | 2022-08-23 | Adobe Inc. | Entropy based synthetic data generation for augmenting classification system training data |
WO2022202456A1 (ja) * | 2021-03-22 | 2022-09-29 | 株式会社日立製作所 | 外観検査方法および外観検査システム |
CN113033537B (zh) * | 2021-03-25 | 2022-07-01 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备、介质和程序产品 |
CN113033665A (zh) * | 2021-03-26 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 样本扩展方法、训练方法和系统、及样本学习系统 |
CN113158051B (zh) * | 2021-04-23 | 2022-11-18 | 山东大学 | 一种基于信息传播和多层上下文信息建模的标签排序方法 |
CN113408650B (zh) * | 2021-07-12 | 2023-07-18 | 厦门大学 | 基于一致性训练的半监督三维形状识别方法 |
CN113761842A (zh) * | 2021-09-07 | 2021-12-07 | 联想(北京)有限公司 | 数据处理方法、装置及电子设备 |
WO2023055410A1 (en) * | 2021-09-30 | 2023-04-06 | Google Llc | Contrastive siamese network for semi-supervised speech recognition |
WO2023067792A1 (ja) * | 2021-10-22 | 2023-04-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
CN114925773A (zh) * | 2022-05-30 | 2022-08-19 | 阿里巴巴(中国)有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
CN117009883B (zh) * | 2023-09-28 | 2024-04-02 | 腾讯科技(深圳)有限公司 | 对象分类模型构建方法、对象分类方法、装置和设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217348A (ja) | 2008-03-07 | 2009-09-24 | Kddi Corp | サポートベクトルマシンの再学習方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8825570B2 (en) * | 2012-07-31 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | Active learning with per-case symmetrical importance scores |
US9378065B2 (en) * | 2013-03-15 | 2016-06-28 | Advanced Elemental Technologies, Inc. | Purposeful computing |
US10534809B2 (en) * | 2016-08-10 | 2020-01-14 | Zeekit Online Shopping Ltd. | Method, system, and device of virtual dressing utilizing image processing, machine learning, and computer vision |
US10726313B2 (en) * | 2018-04-19 | 2020-07-28 | Adobe Inc. | Active learning method for temporal action localization in untrimmed videos |
US11361197B2 (en) * | 2018-06-29 | 2022-06-14 | EMC IP Holding Company LLC | Anomaly detection in time-series data using state inference and machine learning |
US11580002B2 (en) * | 2018-08-17 | 2023-02-14 | Intensity Analytics Corporation | User effort detection |
-
2020
- 2020-08-21 US US17/000,094 patent/US20210056417A1/en active Pending
- 2020-08-21 EP EP20775092.8A patent/EP4018382A1/en active Pending
- 2020-08-21 WO PCT/US2020/047534 patent/WO2021035193A1/en unknown
- 2020-08-21 JP JP2022511319A patent/JP7293498B2/ja active Active
- 2020-08-21 CN CN202080073812.2A patent/CN114600117A/zh active Pending
- 2020-08-21 KR KR1020227009141A patent/KR20220047851A/ko unknown
-
2023
- 2023-06-07 JP JP2023094205A patent/JP2023126769A/ja active Pending
- 2023-06-13 US US18/333,998 patent/US20230325676A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009217348A (ja) | 2008-03-07 | 2009-09-24 | Kddi Corp | サポートベクトルマシンの再学習方法 |
Non-Patent Citations (2)
Title |
---|
Melanie Ducoffe et al.,"Adversarial Active Learning for Deep Networks: a Margin Based Approach",arXiv.org [online],arXiv:1802.09841v1,Cornell University,2018年,[検索日 2023.05.01], インターネット:<URL: https://arxiv.org/abs/1802.09841v1> |
皆川 雅俊 ほか,「画像列を用いた物体認識へのActive Learningの適用」,SSII2013 第19回 画像センシングシンポジウム 講演論文集 [CD-ROM],画像センシング技術研究会,2013年06月12日,pp.IS2-12-1~IS2-12-6 |
Also Published As
Publication number | Publication date |
---|---|
JP2023126769A (ja) | 2023-09-12 |
CN114600117A (zh) | 2022-06-07 |
EP4018382A1 (en) | 2022-06-29 |
JP2022545476A (ja) | 2022-10-27 |
US20210056417A1 (en) | 2021-02-25 |
KR20220047851A (ko) | 2022-04-19 |
WO2021035193A1 (en) | 2021-02-25 |
US20230325676A1 (en) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7293498B2 (ja) | サンプル一致度評価による能動学習 | |
US11720822B2 (en) | Gradient-based auto-tuning for machine learning and deep learning models | |
JP7303377B2 (ja) | ラベルノイズが存在する状態でのロバストな訓練 | |
EP3924893A1 (en) | Incremental training of machine learning tools | |
US20230021555A1 (en) | Model training based on parameterized quantum circuit | |
JP7342242B2 (ja) | 学習を転移させるための学習のためのフレームワーク | |
US11157779B2 (en) | Differential classification using multiple neural networks | |
US20210117802A1 (en) | Training a Neural Network Using Small Training Datasets | |
US11823058B2 (en) | Data valuation using reinforcement learning | |
CN114547307A (zh) | 文本向量模型训练方法、文本匹配方法、装置及设备 | |
US11829442B2 (en) | Methods and systems for efficient batch active learning of a deep neural network | |
KR20230054167A (ko) | 기계학습모델의 생성 방법 및 그 장치 | |
WO2019108926A1 (en) | Identifying organisms for production using unsupervised parameter learning for outlier detection | |
Liu et al. | A weight-incorporated similarity-based clustering ensemble method | |
US20230108177A1 (en) | Hardware-Aware Progressive Training Of Machine Learning Models | |
Sugawara et al. | Adaptive rotation forests: Decision tree ensembles for sequential learning | |
Shelke et al. | Node Degree Classification using Graph Modelling | |
CN116361625A (zh) | 一种新兴技术的预测方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7293498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |