JP7292506B2 - 距離に基づく学習信頼度モデル - Google Patents
距離に基づく学習信頼度モデル Download PDFInfo
- Publication number
- JP7292506B2 JP7292506B2 JP2022518767A JP2022518767A JP7292506B2 JP 7292506 B2 JP7292506 B2 JP 7292506B2 JP 2022518767 A JP2022518767 A JP 2022518767A JP 2022518767 A JP2022518767 A JP 2022518767A JP 7292506 B2 JP7292506 B2 JP 7292506B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- query
- class
- distance
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 284
- 238000013145 classification model Methods 0.000 claims description 73
- 230000015654 memory Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000009499 Vanilla fragrans Nutrition 0.000 description 2
- 244000263375 Vanilla tahitensis Species 0.000 description 2
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000001667 episodic effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
機械学習モデルは、入力を受信し、受信された入力に基づいて、出力、たとえば、予測された出力を生成する。機械学習モデルは、データ上でトレーニングされる。しかしながら、予測のためにトレーニングされたモデルの信頼を定量化すること(信頼度較正としても知られる)は、課題である。「よく較正された」モデルの場合、より高い信頼度を有する予測は、正確である可能性がより高いはずである。しかしながら、モデル信頼度として誤って解釈される、パイプラインの終わりに得られる予測確率(softmax出力)は、モデルの判定品質の較正が不十分であり、信頼度値は、分類が不正確であるときでさえ大きい傾向がある。
本開示の一態様は、分類モデルおよび信頼度モデルを合わせてトレーニングするための方法を提供する。本方法は、データ処理ハードウェアにおいて、複数のトレーニングデータサブセットを含むトレーニングデータセットを受信することを含む。各トレーニングデータサブセットは、異なるそれぞれのクラスに関連付けられ、それぞれのクラスに属する複数の対応するトレーニング例を有する。トレーニングデータセット内の2つ以上のトレーニングデータサブセットから、本方法は、データ処理ハードウェアが、トレーニング例のサポートセットおよびトレーニング例のクエリセットを選択することも含む。トレーニング例のサポートセットは、2つ以上のトレーニングデータサブセットの各々からサンプリングされたK個のトレーニング例を含み、トレーニング例のクエリセットは、トレーニング例のサポートセットに含まれない、2つ以上のトレーニングデータサブセットの各々からサンプリングされたトレーニング例を含む。2つ以上のトレーニングデータサブセットに関連付けられるそれぞれのクラスごとに、本方法は、さらに、データ処理ハードウェアが、分類モデルを用いて、それぞれのクラスに属する、トレーニング例のサポートセット内のK個のトレーニング例に関連付けられるK個のサポート符号化を平均することによって、重心値を求めることを含む。トレーニング例のクエリセットにおける各トレーニング例について、本方法は、データ処理ハードウェアが、分類モデルを用いて、クエリ符号化を生成することと、データ処理ハードウェアが、クエリ符号化とそれぞれのクラスごとに求められた重心値との間のそれぞれの距離を表すクラス距離尺度を求めることと、データ処理ハードウェアが、クエリ符号化と、トレーニング例のクエリセット内の対応するトレーニング例に関連付けられる正解ラベルとの間の正解距離を求めることと、データ処理ハードウェアが、クラス距離尺度および正解距離に基づいて分類モデルのパラメータを更新することも含む。誤分類されたと識別された、トレーニング例のクエリセットにおける各トレーニング例について、本方法はさらに、データ処理ハードウェアが、信頼度モデルを用いて、対応する誤分類されたトレーニング例について分類モデルによって生成されたクエリ符号化の標準偏差値を生成することと、データ処理ハードウェアが、標準偏差値およびクエリ符号化を用いて、対応する誤分類されたトレーニング例について新たなクエリ符号化をサンプリングすることと、データ処理ハードウェアが、新たなクエリ符号化に基づいて信頼度モデルのパラメータを更新することとを含む。
詳細な説明
ディープニューラルネットワーク(DNN)をトレーニングするための従来の技法は、典型的には、較正不良のDNNをもたらす。DNNは、多くの重要な意思決定場面において展開されるので、較正不良は、費用が非常にかかり得る誤った判断をもたらし得る。DNNによって行われた誤った判断に基づいて動作すること防止するために、DNNが、DNNによって出力される判断上で信頼度推定を出力することは、望ましい。この目的のために、あるシステムは、低い信頼度でDNNによって出力された決定に基づいて動作するのを控えることができ、そのような決定に基づくことを回避でき、および/または人間の専門家に相談することができ、その結果、これらの低信頼度の決定が信頼され、それらに基づいて動作する場合に、有害な結果を避けることができる。残念ながら、正確な信頼度推定は、DNNにとって、特に較正不良のDNNにとっては、困難である。
Claims (20)
- 分類モデル(210)および信頼度モデル(220)を合わせてトレーニングするための方法(500)であって、
データ処理ハードウェア(104)において、複数のトレーニングデータサブセット(112)を含むトレーニングデータセット(110)を受信することを含み、各トレーニングデータサブセット(112)は、異なるそれぞれのクラスに関連付けられ、前記それぞれのクラスに属する複数の対応するトレーニング例(114)を有し、前記方法はさらに、
前記トレーニングデータセット(110)内の2つ以上のトレーニングデータサブセット(112)から、
前記データ処理ハードウェア(104)が、トレーニング例のサポートセット(114S)を選択することを含み、前記トレーニング例のサポートセット(114S)は、前記2つ以上のトレーニングデータサブセット(112)の各々からサンプリングされたK個のトレーニング例(114)を含み、前記方法はさらに、前記トレーニングデータセット(110)内の前記2つ以上のトレーニングデータサブセット(112)から、
前記データ処理ハードウェア(104)が、トレーニング例のクエリセット(114Q)を選択することを含み、前記トレーニング例のクエリセット(114Q)は、前記トレーニング例のサポートセット(114S)に含まれない、前記2つ以上のトレーニングデータサブセット(112)の各々からサンプリングされたトレーニング例(114)を含み、前記方法はさらに、
前記2つ以上のトレーニングデータサブセット(112)に関連付けられるそれぞれのクラスごとに、前記データ処理ハードウェア(104)が、前記分類モデル(210)を用いて、前記それぞれのクラスに属する、前記トレーニング例のサポートセット(114S)内の前記K個のトレーニング例(114)に関連付けられるK個のサポート符号化(212S)を平均することによって、重心値(214)を求めることと、
前記トレーニング例のクエリセット(114Q)における各トレーニング例について、
前記データ処理ハードウェア(104)が、前記分類モデル(210)を用いて、クエリ符号化(212Q)を生成することと、
前記データ処理ハードウェアが、前記クエリ符号化(212Q)とそれぞれのクラスごとに求められた前記重心値(214)との間のそれぞれの距離を表すクラス距離尺度を求めることと、
前記データ処理ハードウェアが、前記クエリ符号化(212Q)と、前記トレーニング例のクエリセット(114Q)内の対応するトレーニング例に関連付けられる正解ラベル(214G)との間の正解距離を求めることと、
前記データ処理ハードウェアが、前記クラス距離尺度および前記正解距離に基づいて前記分類モデル(210)のパラメータを更新することと、
誤分類されたと識別された、前記トレーニング例のクエリセット(114Q)における各トレーニング例について、
前記データ処理ハードウェア(104)が、前記信頼度モデル(220)を用いて、対応する誤分類されたトレーニング例について前記分類モデル(210)によって生成された前記クエリ符号化(212Q)の標準偏差値(222)を生成することと、
前記データ処理ハードウェア(104)が、前記標準偏差値(222)および前記クエリ符号化(212Q)を用いて、前記対応する誤分類されたトレーニング例について新たなクエリ符号化(224)をサンプリングすることと、
前記データ処理ハードウェア(104)が、前記新たなクエリ符号化(224)に基づいて前記信頼度モデル(220)のパラメータを更新することとを含む、方法。 - 前記正解ラベル(214G)は、距離に基づく表現空間内に正解重心値を含む、請求項1に記載の方法(500)。
- 前記クラス距離尺度および前記正解距離に基づいて前記分類モデル(210)の前記パラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、前記分類モデル(210)をトレーニングする、請求項1または2に記載の方法(500)。
- 前記信頼度モデルは、より大きい正解距離について前記標準偏差値を最大化し、距離に基づく表現空間内においてそれぞれの正解重心値に近い新たなクエリ符号化(224)をサンプリングするようにトレーニングされる、請求項1~3のいずれか1項に記載の方法(500)。
- 誤分類されたと識別された、前記トレーニング例のクエリセット(114Q)内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、前記トレーニング例のクエリセット(114Q)内の任意のトレーニング例を含む、請求項1~4のいずれか1項に記載の方法(500)。
- 前記信頼度モデル(220)は、距離閾値を満たす正解距離を含む、前記トレーニング例のクエリセット(114Q)におけるトレーニング例では、トレーニングされない、請求項1~5のいずれか1項に記載の方法(500)。
- 前記信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化(212Q)について、より大きな標準偏差値(222)を出力するように前記信頼度モデル(220)を促すように、前記信頼度モデル(220)の前記パラメータを更新することを含む、請求項1~6のいずれか1項に記載の方法(500)。
- 前記トレーニング例(114)は画像データを含む、請求項1~7のいずれか1項に記載の方法(500)。
- 前記分類モデル(210)は、ディープニューラルネットワーク(DNN)を含む、請求項1~8のいずれか1項に記載の方法(500)。
- 前記信頼度モデル(220)は、ディープニューラルネットワーク(DNN)を含む、請求項1~9のいずれか1項に記載の方法(500)。
- 分類モデル(210)および信頼度モデル(220)を合わせてトレーニングするためのシステム(100)であって、
データ処理ハードウェア(104)と、
前記データ処理ハードウェア(104)と通信するメモリハードウェア(106)とを備え、前記メモリハードウェア(106)は、前記データ処理ハードウェア(104)上で実行されると前記データ処理ハードウェア(104)に動作を実行させる命令を記憶し、前記動作は、
複数のトレーニングデータサブセット(112)を含むトレーニングデータセット(110)を受信することを含み、各トレーニングデータサブセット(112)は、異なるそれぞれのクラスに関連付けられ、前記それぞれのクラスに属する複数の対応するトレーニング例(114)を有し、前記動作はさらに、
前記トレーニングデータセット(110)内の2つ以上のトレーニングデータサブセット(112)から、
トレーニング例のサポートセット(114S)を選択することを含み、前記トレーニング例のサポートセット(114S)は、前記2つ以上のトレーニングデータサブセット(112)の各々からサンプリングされたK個のトレーニング例(114)を含み、前記動作はさらに、前記トレーニングデータセット(110)内の前記2つ以上のトレーニングデータサブセット(112)から、
トレーニング例のクエリセット(114Q)を選択することを含み、前記トレーニング例のクエリセット(114Q)は、前記トレーニング例のサポートセット(114S)に含まれない、前記2つ以上のトレーニングデータサブセット(112)の各々からサンプリングされたトレーニング例(114)を含み、前記動作はさらに、
前記2つ以上のトレーニングデータサブセット(112)に関連付けられるそれぞれのクラスごとに、前記分類モデル(210)を用いて、前記それぞれのクラスに属する、前記トレーニング例のサポートセット(114S)内の前記K個のトレーニング例(114)に関連付けられるK個のサポート符号化(212S)を平均することによって、重心値(214)を求めることと、
前記トレーニング例のクエリセット(114Q)における各トレーニング例について、
前記分類モデル(210)を用いて、クエリ符号化(212Q)を生成することと、
前記クエリ符号化(212Q)とそれぞれのクラスごとに求められた前記重心値(214)との間のそれぞれの距離を表すクラス距離尺度を求めることと、
前記クエリ符号化(212Q)と、前記トレーニング例のクエリセット(114Q)内の対応するトレーニング例に関連付けられる正解ラベル(214G)との間の正解距離を求めることと、
前記クラス距離尺度および前記正解距離に基づいて前記分類モデル(210)のパラメータを更新することと、
誤分類されたと識別された、前記トレーニング例のクエリセット(114Q)における各トレーニング例について、
前記信頼度モデル(220)を用いて、対応する誤分類されたトレーニング例について前記分類モデル(210)によって生成された前記クエリ符号化(212Q)の標準偏差値(222)を生成することと、
前記標準偏差値(222)および前記クエリ符号化(212Q)を用いて、前記対応する誤分類されたトレーニング例について新たなクエリ符号化(224)をサンプリングすることと、
前記新たなクエリ符号化(224)に基づいて前記信頼度モデル(220)のパラメータを更新することとを含む、システム。 - 前記正解ラベル(214G)は、距離に基づく表現空間内に正解重心値を含む、請求項11に記載のシステム(100)。
- 前記クラス距離尺度および前記正解距離に基づいて前記分類モデル(210)の前記パラメータを更新することは、クラス内距離を最小化し、クラス間距離を最大化するように、前記分類モデル(210)をトレーニングする、請求項11または12に記載のシステム(100)。
- 前記信頼度モデルは、より大きい正解距離について前記標準偏差値を最大化し、距離に基づく表現空間内においてそれぞれの正解重心値に近い新たなクエリ符号化(224)をサンプリングするようにトレーニングされる、請求項11~13のいずれか1項に記載のシステム(100)。
- 誤分類されたと識別された、前記トレーニング例のクエリセット(114Q)内の任意のトレーニング例は、距離閾値を満たさない正解距離を含む、前記トレーニング例のクエリセット(114Q)内の任意のトレーニング例を含む、請求項11~14のいずれか1項に記載のシステム(100)。
- 前記信頼度モデル(220)は、距離閾値を満たす正解距離を含む、前記トレーニング例のクエリセット(114Q)におけるトレーニング例では、トレーニングされない、請求項11~15のいずれか1項に記載のシステム(100)。
- 前記信頼度モデルのパラメータを更新することは、より大きなクラス距離尺度に関連付けられるクエリ符号化(212Q)について、より大きな標準偏差値(222)を出力するように前記信頼度モデル(220)を促すように、前記信頼度モデル(220)の前記パラメータを更新することを含む、請求項11~16のいずれか1項に記載のシステム(100)。
- 前記トレーニング例(114)は画像データを含む、請求項11~17のいずれか1項に記載のシステム(100)。
- 前記分類モデル(210)は、ディープニューラルネットワーク(DNN)を含む、請求項11~18のいずれか1項に記載のシステム(100)。
- 前記信頼度モデル(220)は、ディープニューラルネットワーク(DNN)を含む、請求項11~19のいずれか1項に記載のシステム(100)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023093008A JP2023116599A (ja) | 2019-09-24 | 2023-06-06 | 距離に基づく学習信頼度モデル |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962904978P | 2019-09-24 | 2019-09-24 | |
US62/904,978 | 2019-09-24 | ||
PCT/US2020/052451 WO2021061951A1 (en) | 2019-09-24 | 2020-09-24 | Distance-based learning confidence model |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023093008A Division JP2023116599A (ja) | 2019-09-24 | 2023-06-06 | 距離に基づく学習信頼度モデル |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022549006A JP2022549006A (ja) | 2022-11-22 |
JP7292506B2 true JP7292506B2 (ja) | 2023-06-16 |
Family
ID=72811982
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022518767A Active JP7292506B2 (ja) | 2019-09-24 | 2020-09-24 | 距離に基づく学習信頼度モデル |
JP2023093008A Pending JP2023116599A (ja) | 2019-09-24 | 2023-06-06 | 距離に基づく学習信頼度モデル |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023093008A Pending JP2023116599A (ja) | 2019-09-24 | 2023-06-06 | 距離に基づく学習信頼度モデル |
Country Status (6)
Country | Link |
---|---|
US (2) | US11487970B2 (ja) |
EP (1) | EP4035090A1 (ja) |
JP (2) | JP7292506B2 (ja) |
KR (1) | KR20220049573A (ja) |
CN (1) | CN114424212A (ja) |
WO (1) | WO2021061951A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230386450A1 (en) * | 2022-05-25 | 2023-11-30 | Samsung Electronics Co., Ltd. | System and method for detecting unhandled applications in contrastive siamese network training |
US20240062529A1 (en) * | 2022-08-18 | 2024-02-22 | Microsoft Technology Licensing, Llc | Determining media documents embedded in other media documents |
KR20240105073A (ko) * | 2022-12-28 | 2024-07-05 | 한국전자기술연구원 | 다양한 응용을 위한 경량 인공지능 연산 처리 장치 및 그 동작 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018529159A (ja) | 2015-08-25 | 2018-10-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | トレーニングされた機械学習モデルのパフォーマンスを改善するための方法 |
JP2019125340A (ja) | 2018-01-15 | 2019-07-25 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 時空間画像の変化を自動推論するためのシステムおよび方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991430A (ja) * | 1995-09-27 | 1997-04-04 | Hitachi Ltd | パターン認識装置 |
US8068654B2 (en) * | 2007-02-02 | 2011-11-29 | Siemens Akteingesellschaft | Method and system for detection and registration of 3D objects using incremental parameter learning |
US8311319B2 (en) * | 2010-12-06 | 2012-11-13 | Seiko Epson Corporation | L1-optimized AAM alignment |
US8306257B2 (en) * | 2011-01-31 | 2012-11-06 | Seiko Epson Corporation | Hierarchical tree AAM |
US9396412B2 (en) * | 2012-06-21 | 2016-07-19 | Siemens Aktiengesellschaft | Machine-learnt person re-identification |
US20150302317A1 (en) * | 2014-04-22 | 2015-10-22 | Microsoft Corporation | Non-greedy machine learning for high accuracy |
US20170068906A1 (en) * | 2015-09-09 | 2017-03-09 | Microsoft Technology Licensing, Llc | Determining the Destination of a Communication |
US20170068904A1 (en) * | 2015-09-09 | 2017-03-09 | Microsoft Technology Licensing, Llc | Determining the Destination of a Communication |
US10423874B2 (en) * | 2015-10-02 | 2019-09-24 | Baidu Usa Llc | Intelligent image captioning |
WO2017203262A2 (en) * | 2016-05-25 | 2017-11-30 | Metail Limited | Method and system for predicting garment attributes using deep learning |
US11194846B2 (en) * | 2016-11-28 | 2021-12-07 | Here Global B.V. | Method and apparatus for providing automated generation of parking restriction data using machine learning |
AU2018324122B2 (en) * | 2017-09-01 | 2021-09-09 | Percipient.ai Inc. | Identification of individuals in a digital file using media analysis techniques |
US10657391B2 (en) * | 2018-01-05 | 2020-05-19 | Uatc, Llc | Systems and methods for image-based free space detection |
US11068737B2 (en) * | 2018-03-30 | 2021-07-20 | Regents Of The University Of Minnesota | Predicting land covers from satellite images using temporal and spatial contexts |
US10825227B2 (en) * | 2018-04-03 | 2020-11-03 | Sri International | Artificial intelligence for generating structured descriptions of scenes |
US10878296B2 (en) * | 2018-04-12 | 2020-12-29 | Discovery Communications, Llc | Feature extraction and machine learning for automated metadata analysis |
US11630995B2 (en) * | 2018-06-19 | 2023-04-18 | Siemens Healthcare Gmbh | Characterization of amount of training for an input to a machine-learned network |
US10832003B2 (en) * | 2018-08-26 | 2020-11-10 | CloudMinds Technology, Inc. | Method and system for intent classification |
US10878297B2 (en) * | 2018-08-29 | 2020-12-29 | International Business Machines Corporation | System and method for a visual recognition and/or detection of a potentially unbounded set of categories with limited examples per category and restricted query scope |
US11087177B2 (en) * | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US10885384B2 (en) * | 2018-11-15 | 2021-01-05 | Intel Corporation | Local tone mapping to reduce bit depth of input images to high-level computer vision tasks |
US20200193552A1 (en) * | 2018-12-18 | 2020-06-18 | Slyce Acquisition Inc. | Sparse learning for computer vision |
US11756291B2 (en) * | 2018-12-18 | 2023-09-12 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
US11941493B2 (en) * | 2019-02-27 | 2024-03-26 | International Business Machines Corporation | Discovering and resolving training conflicts in machine learning systems |
US11657094B2 (en) * | 2019-06-28 | 2023-05-23 | Meta Platforms Technologies, Llc | Memory grounded conversational reasoning and question answering for assistant systems |
US11631029B2 (en) * | 2019-09-09 | 2023-04-18 | Adobe Inc. | Generating combined feature embedding for minority class upsampling in training machine learning models with imbalanced samples |
-
2020
- 2020-09-24 US US17/031,144 patent/US11487970B2/en active Active
- 2020-09-24 EP EP20789357.9A patent/EP4035090A1/en not_active Withdrawn
- 2020-09-24 WO PCT/US2020/052451 patent/WO2021061951A1/en unknown
- 2020-09-24 KR KR1020227009166A patent/KR20220049573A/ko unknown
- 2020-09-24 CN CN202080066367.7A patent/CN114424212A/zh active Pending
- 2020-09-24 JP JP2022518767A patent/JP7292506B2/ja active Active
-
2022
- 2022-10-11 US US18/045,722 patent/US12039443B2/en active Active
-
2023
- 2023-06-06 JP JP2023093008A patent/JP2023116599A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018529159A (ja) | 2015-08-25 | 2018-10-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | トレーニングされた機械学習モデルのパフォーマンスを改善するための方法 |
JP2019125340A (ja) | 2018-01-15 | 2019-07-25 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 時空間画像の変化を自動推論するためのシステムおよび方法 |
Non-Patent Citations (1)
Title |
---|
Tiago Ramalho et al.,Density estimation in representation space to predict model uncertainty,arXiv [オンライン],2019年08月20日,pp.1-10,インターネット:<URL:https://arxiv.org/pdf/1908.07235v1.pdf> |
Also Published As
Publication number | Publication date |
---|---|
JP2023116599A (ja) | 2023-08-22 |
US11487970B2 (en) | 2022-11-01 |
WO2021061951A1 (en) | 2021-04-01 |
US12039443B2 (en) | 2024-07-16 |
JP2022549006A (ja) | 2022-11-22 |
EP4035090A1 (en) | 2022-08-03 |
US20230120894A1 (en) | 2023-04-20 |
US20210279517A1 (en) | 2021-09-09 |
CN114424212A (zh) | 2022-04-29 |
KR20220049573A (ko) | 2022-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7303377B2 (ja) | ラベルノイズが存在する状態でのロバストな訓練 | |
JP7292506B2 (ja) | 距離に基づく学習信頼度モデル | |
US10606982B2 (en) | Iterative semi-automatic annotation for workload reduction in medical image labeling | |
US20210117760A1 (en) | Methods and apparatus to obtain well-calibrated uncertainty in deep neural networks | |
WO2022121289A1 (en) | Methods and systems for mining minority-class data samples for training neural network | |
US11823058B2 (en) | Data valuation using reinforcement learning | |
US10929578B2 (en) | Minimizing uncertainty envelopes in trajectories of evolving ensemble members | |
CN114467095A (zh) | 基于强化学习的局部可解释模型 | |
JP6172317B2 (ja) | 混合モデル選択の方法及び装置 | |
WO2020173270A1 (zh) | 用于分析数据的方法、设备和计算机存储介质 | |
Zhang et al. | Combining MLC and SVM classifiers for learning based decision making: Analysis and evaluations | |
US11455531B2 (en) | Trustworthy predictions using deep neural networks based on adversarial calibration | |
JP6233432B2 (ja) | 混合モデルの選択方法及び装置 | |
CN112348161A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
US20240249204A1 (en) | Active Selective Prediction Using Ensembles and Self-training | |
JP2020191006A (ja) | 学習装置、学習方法、および、学習プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220628 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7292506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |