JP6928371B2 - 分類器、分類器の学習方法、分類器における分類方法 - Google Patents
分類器、分類器の学習方法、分類器における分類方法 Download PDFInfo
- Publication number
- JP6928371B2 JP6928371B2 JP2017149271A JP2017149271A JP6928371B2 JP 6928371 B2 JP6928371 B2 JP 6928371B2 JP 2017149271 A JP2017149271 A JP 2017149271A JP 2017149271 A JP2017149271 A JP 2017149271A JP 6928371 B2 JP6928371 B2 JP 6928371B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- input
- network
- classifier
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
まず、本実施の形態に従う分類器の応用例について説明する。本実施の形態に従う分類器は、入力データがいずれのクラスに属するのかを出力する。このような分類器は、例えば、話者がいずれの言語を話しているのかを特定する言語自動選択システムに応用できる。
本実施の形態に従う分類器は、教師ありcGANベースのフレームワークを有している。図2は、本実施の形態に従う分類器10の機能構成を示す模式図である。図2を参照して、分類器10は、生成ネットワーク22と、識別ネットワーク24とを含む。生成ネットワーク22および識別ネットワーク24としては、任意のニューラルネットワークを採用することができ、その層数などについても任意に設計できる。例えば、多層パーセプトロンまたはCNN(Convolutional Neural Network)を採用することができる。
上述の(5)式に示される目的関数は、第1の訓練サンプル(実サンプル32:xD real)からなる入力および第1の訓練サンプルと第2の訓練サンプル(生成サンプル30:xfake)との結合からなる入力を識別ネットワーク24にそれぞれ与えたときに出力されるサンプルの種別を互いに識別できる確率を示す目的関数VDと、識別ネットワーク24から出力されるクラスが対応する訓練データに付与されたクラスラベルとが一致する確率を示す目的関数VCとの結合になっている。
[C.分類器10を実現するハードウェア構成]
次に、分類器10を実現するハードウェア構成の一例について説明する。図3は、本実施の形態に従う分類器10を実現するためのハードウェア構成の一例を示す模式図である。分類器10は、典型的には、汎用コンピュータを用いて実現される。
次に、本実施の形態に従う分類器10を構築および利用する場合の処理手順について説明する。
まず、本実施の形態に従う分類器10を構築する学習フェーズでの処理手順について説明する。図4は、本実施の形態に従う分類器10に対する学習フェーズの処理手順を示すフローチャートである。図4に示す各ステップは、図3に示すコンピュータ20(プロセッサ100)が学習プログラム114を実行することで実現される。
続いて、コンピュータ20は、分類器10全体としての学習終了条件が成立したか否かを判断する(ステップS132)。学習終了条件としては、例えば、バリデーションデータの認識率の改善量が予め定められた値より小さいことなどを含む。
次に、本実施の形態に従う分類器10を用いた運用フェーズでの処理手順について説明する。図5は、本実施の形態に従う分類器10を用いた運用フェーズの処理手順を示すフローチャートである。図5に示す各ステップは、図3に示すコンピュータ20(プロセッサ100)がプログラムを実行することで実現される。
[E.運用形態]
上述したように、本実施の形態に従う分類器10は、学習フェーズおよび運用フェーズのいずれにおいても、同様のネットワーク構成が採用される。汎用的な応用を考慮すると、学習フェーズにおいて最適化されたネットワークを同一のタスクを実行する複数のシステムに応用する場合には、学習によって得られたネットワークパラメータのみを配布するようにしてもよい。
次に、本実施の形態に従う分類器10の性能評価の一例について説明する。以下では、本実施の形態に従う分類器10を言語認識タスクに応用した場合の性能評価の一例を示す。
以下の性能評価においては、2つのi−ベクトルデータセットを用いた。1番目のi−ベクトルデータセットは、"X. Lu, P. Shen, Y. Tsao, H. Kawai, Regularization of neural network model with distance metric learning for i-vector based spoken language identification, Computer Speech & Language, 2017"に詳述されているものである。以下、1番目のi−ベクトルデータセットを「NIST50」とも称す。2番目のi−ベクトルデータセットは、13言語のデータセット(英語、日本語、北京語、韓国語、タイ語、ビルマ語、ベトナム語、インドネシア語、フランス語、スペイン語、ロシア語、ポルトガル語、アラビア語)である。以下、2番目のi−ベクトルデータセットを「NIST13」とも称す。
NIST50言語認識データに対する評価結果の一例を表2に示す。表2中の数字は、誤り率を示し、その値が小さい程、分類性能が高いと言える。
次に、NIST13言語認識データに対する評価結果の一例を表3に示す。表3中の数字は、誤り率を示し、その値が小さい程、分類性能が高いと言える。
次に、本実施の形態に従う分類器10をMINST(mixed national institute of standards and technology database)に適用した場合の評価結果を示す。MINSTは、手書きの数字(0〜9)に正解ラベルが付与されたデータセットである。
本実施の形態に従う分類器は、教師ありcGANベースのフレームワークを有している。従来のGANモデルは、イメージ生成または準教師あり学習の用途に用いられることを主目的としていたが、本実施の形態に従う分類器は、教師あり学習のフレームワークとして用いることができるとともに、そのフレームワークのまま分類タスクにも応用が可能である。すなわち、十分に学習されたネットワークをそのまま用いて分類を行なうことができる。
Claims (6)
- 入力データがいずれのクラスに属するのかを出力する分類器であって、
予め定められた変換関数を用いて前記入力データに含まれる特徴量を示す第1のサンプルを生成する変換手段と、
前記入力データに関連付けられた条件情報およびノイズの入力を受けて、第2のサンプルを生成する生成ネットワークと、
前記第1のサンプルからなる入力または前記第1のサンプルと前記第2のサンプルとの結合からなる入力を受けて、入力されるサンプルの種別、および、前記入力データが属するクラスを出力する識別ネットワークと、
予めクラスラベルが付与された訓練データを前記入力データとして、前記変換手段により第1の訓練サンプルを生成するとともに、前記生成ネットワークにより第2の訓練サンプルを生成する訓練サンプル生成手段と、
前記第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別が互いに識別されるとともに、前記識別ネットワークから出力されるクラスが対応する訓練データに付与されたクラスラベルと一致するように、前記識別ネットワークのパラメータを更新する第1の更新手段とを備える、分類器。 - 前記第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別が互いに一致するように、前記生成ネットワークのパラメータを更新する第2の更新手段をさらに備える、請求項1に記載の分類器。
- 前記第1の更新手段は、前記第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別を互いに識別できる確率と、前記識別ネットワークから出力されるクラスが対応する訓練データに付与されたクラスラベルとが一致する確率とを要素として含む目的関数に基づいて、前記識別ネットワークのパラメータを更新する、請求項1または2に記載の分類器。
- 入力データがいずれのクラスに属するのかを出力する分類器であって、
予め定められた変換関数を用いて前記入力データに含まれる特徴量を示す第1のサンプルを生成する変換手段と、
前記入力データに関連付けられた条件情報およびノイズの入力を受けて、第2のサンプルを生成する生成ネットワークと、
前記第1のサンプルからなる入力または前記第1のサンプルと前記第2のサンプルとの結合からなる入力を受けて、入力されるサンプルの種別、および、前記入力データが属するクラスを出力する識別ネットワークと、
任意の入力データから前記変換手段により前記第1のサンプルを生成するとともに、前記生成ネットワークにより前記第2のサンプルを生成し、前記第1のサンプルと前記第2のサンプルとの結合からなる入力を前記識別ネットワークに与えたときに出力されるクラスを前記任意の入力データが属するクラスを出力する分類手段とを備え、
前記識別ネットワークのパラメータは、前記変換手段により訓練データから生成された第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記生成ネットワークにより生成された第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別が互いに識別されるとともに、前記識別ネットワークから出力されるクラスが対応する訓練データに付与されたクラスラベルと一致するように決定されている、分類器。 - 入力データがいずれのクラスに属するのかを出力する分類器の学習方法であって、
予め定められた変換関数を用いて前記入力データに含まれる特徴量を示す第1のサンプルを生成するステップと、
前記入力データに関連付けられた条件情報およびノイズの入力を受けて、同次元の第2のサンプルを生成する生成ネットワークを学習するステップと、
前記第1のサンプルからなる入力または前記第1のサンプルと前記第2のサンプルとの結合からなる入力を受けて、入力されるサンプルの種別、および、前記入力データが属するクラスを出力する識別ネットワークを学習するステップと、
予めクラスラベルが付与された訓練データから前記変換関数を用いた第1の訓練サンプルを生成するとともに、前記訓練データを前記生成ネットワークに入力して第2の訓練サンプルを生成するステップとを備え、
前記識別ネットワークを学習するステップは、前記第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別が互いに識別されるとともに、前記識別ネットワークから出力されるクラスが対応する訓練データに付与されたクラスラベルと一致するように、前記識別ネットワークのパラメータを更新するステップを備える、分類器の学習方法。 - 入力データがいずれのクラスに属するのかを出力する分類器における分類方法であって、
任意の入力データから予め定められた変換関数を用いて当該前記入力データに含まれる特徴量を示す第1のサンプルを生成するステップを備え、前記分類器は、
前記入力データに関連付けられた条件情報およびノイズの入力を受けて、第2のサンプルを生成する生成ネットワークと、
前記第1のサンプルからなる入力または前記第1のサンプルと前記第2のサンプルとの結合からなる入力を受けて、入力されるサンプルの種別、および、前記入力データが属するクラスを出力する識別ネットワークとを備え、前記分類方法は、
前記任意の入力データから前記生成ネットワークを用いて前記第2のサンプルを生成するステップと、
前記第1のサンプルと前記第2のサンプルとの結合からなる入力を前記識別ネットワークに与えたときに出力されるクラスとして前記任意の入力データが属するクラスを出力するステップとを備え、
前記識別ネットワークのパラメータは、前記変換関数により訓練データから生成された第1の訓練サンプルからなる入力および前記第1の訓練サンプルと前記生成ネットワークにより生成された第2の訓練サンプルとの結合からなる入力を前記識別ネットワークにそれぞれ与えたときに出力されるサンプルの種別が互いに識別されるとともに、前記識別ネットワークから出力されるクラスが対応する訓練データに付与されたクラスラベルと一致するように決定されている、分類器における分類方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017149271A JP6928371B2 (ja) | 2017-08-01 | 2017-08-01 | 分類器、分類器の学習方法、分類器における分類方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017149271A JP6928371B2 (ja) | 2017-08-01 | 2017-08-01 | 分類器、分類器の学習方法、分類器における分類方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019028839A JP2019028839A (ja) | 2019-02-21 |
JP6928371B2 true JP6928371B2 (ja) | 2021-09-01 |
Family
ID=65478597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017149271A Active JP6928371B2 (ja) | 2017-08-01 | 2017-08-01 | 分類器、分類器の学習方法、分類器における分類方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6928371B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7103987B2 (ja) * | 2019-03-22 | 2022-07-20 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110097130B (zh) * | 2019-05-07 | 2022-12-13 | 深圳市腾讯计算机系统有限公司 | 分类任务模型的训练方法、装置、设备及存储介质 |
CN111985601A (zh) * | 2019-05-21 | 2020-11-24 | 富士通株式会社 | 用于增量学习的数据识别方法 |
EP3742346A3 (en) * | 2019-05-23 | 2021-06-16 | HTC Corporation | Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium |
JP7443030B2 (ja) | 2019-11-21 | 2024-03-05 | キヤノン株式会社 | 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法 |
KR102364865B1 (ko) * | 2019-12-23 | 2022-02-18 | 주식회사 엘지씨엔에스 | 제품의 양불을 판정하는 방법 및 장치 |
CN111310592B (zh) * | 2020-01-20 | 2023-06-16 | 杭州视在科技有限公司 | 一种基于场景分析和深度学习的检测方法 |
JP7444625B2 (ja) | 2020-02-03 | 2024-03-06 | 株式会社野村総合研究所 | 質問回答装置 |
KR102263438B1 (ko) * | 2020-02-06 | 2021-06-10 | 엔에이치엔 주식회사 | 딥러닝 기반의 게임 플레이 서버를 이용한 게임 난이도 예측 방법 및 그 장치 |
CN111553811B (zh) * | 2020-05-02 | 2022-09-20 | 大连理工大学 | 基于迭代机器学习的供水管网泄漏区域识别方法 |
CN111625697A (zh) * | 2020-05-12 | 2020-09-04 | 深圳赋乐科技有限公司 | 一种基于条件生成对抗网络的网络数据标识过滤方法 |
JP7290608B2 (ja) * | 2020-06-16 | 2023-06-13 | Kddi株式会社 | 機械学習装置、機械学習方法及び機械学習プログラム |
CN111767949B (zh) * | 2020-06-28 | 2024-06-18 | 华南师范大学 | 一种基于特征和样本对抗共生的多任务学习方法及其系统 |
CN112115264B (zh) * | 2020-09-14 | 2024-03-22 | 中科苏州智能计算技术研究院 | 面向数据分布变化的文本分类模型调整方法 |
JP7464517B2 (ja) | 2020-12-25 | 2024-04-09 | Kddi株式会社 | 訓練データ生成装置、訓練データ生成方法及び訓練データ生成プログラム |
KR20220120052A (ko) * | 2021-02-22 | 2022-08-30 | 삼성전자주식회사 | 데이터를 생성하는 전자 장치 및 그 동작 방법 |
CN115114467B (zh) * | 2021-03-17 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 图片神经网络模型的训练方法以及装置 |
CN113222147B (zh) * | 2021-05-11 | 2024-02-13 | 北华航天工业学院 | 一种条件双对抗学习推理模型的构建方法 |
CN113269139B (zh) * | 2021-06-18 | 2023-09-26 | 中电科大数据研究院有限公司 | 一种针对复杂场景的自学习大规模警员图像分类模型 |
CN114501164A (zh) * | 2021-12-28 | 2022-05-13 | 海信视像科技股份有限公司 | 音视频数据的标注方法、装置及电子设备 |
CN117612020B (zh) * | 2024-01-24 | 2024-07-05 | 西安宇速防务集团有限公司 | 基于sgan对抗神经网络遥感影像要素变化的检测方法 |
-
2017
- 2017-08-01 JP JP2017149271A patent/JP6928371B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019028839A (ja) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6928371B2 (ja) | 分類器、分類器の学習方法、分類器における分類方法 | |
US20190354810A1 (en) | Active learning to reduce noise in labels | |
Raschka et al. | Python machine learning: Machine learning and deep learning with Python, scikit-learn, and TensorFlow 2 | |
Zhang et al. | Dive into deep learning | |
US11062179B2 (en) | Method and device for generative adversarial network training | |
CN111602148B (zh) | 正则化神经网络架构搜索 | |
JP7193252B2 (ja) | 画像の領域のキャプション付加 | |
Jia et al. | Caffe: Convolutional architecture for fast feature embedding | |
US11455527B2 (en) | Classification of sparsely labeled text documents while preserving semantics | |
Chen et al. | Big data deep learning: challenges and perspectives | |
Lee et al. | Emotion recognition using a hierarchical binary decision tree approach | |
JP5171962B2 (ja) | 異種データセットからの知識移転を伴うテキスト分類 | |
CN111356997A (zh) | 具有颗粒化注意力的层次神经网络 | |
CN115485696A (zh) | 机器学习模型的对抗预训练 | |
US10796104B1 (en) | Systems and methods for constructing an artificially diverse corpus of training data samples for training a contextually-biased model for a machine learning-based dialogue system | |
CN107209861A (zh) | 使用否定数据优化多类别多媒体数据分类 | |
US20200242736A1 (en) | Method for few-shot unsupervised image-to-image translation | |
US20190311258A1 (en) | Data dependent model initialization | |
EP3916597A1 (en) | Detecting malware with deep generative models | |
WO2014073206A1 (ja) | 情報処理装置、及び、情報処理方法 | |
US11868440B1 (en) | Statistical model training systems | |
WO2023088174A1 (zh) | 目标检测方法及装置 | |
Raschka et al. | Python machine learning second edition | |
Pargent et al. | Predictive modeling with psychological panel data | |
US10546246B2 (en) | Enhanced kernel representation for processing multimodal data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6928371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |