JP7548047B2 - 判定処理プログラム、判定処理方法および情報処理装置 - Google Patents

判定処理プログラム、判定処理方法および情報処理装置 Download PDF

Info

Publication number
JP7548047B2
JP7548047B2 JP2021023333A JP2021023333A JP7548047B2 JP 7548047 B2 JP7548047 B2 JP 7548047B2 JP 2021023333 A JP2021023333 A JP 2021023333A JP 2021023333 A JP2021023333 A JP 2021023333A JP 7548047 B2 JP7548047 B2 JP 7548047B2
Authority
JP
Japan
Prior art keywords
data
classification model
converter
input
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021023333A
Other languages
English (en)
Other versions
JP2022125637A (ja
Inventor
孝 河東
健人 上村
優 安富
友裕 早瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021023333A priority Critical patent/JP7548047B2/ja
Priority to EP21208183.0A priority patent/EP4047528A1/en
Priority to US17/542,420 priority patent/US20220261690A1/en
Publication of JP2022125637A publication Critical patent/JP2022125637A/ja
Application granted granted Critical
Publication of JP7548047B2 publication Critical patent/JP7548047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本発明は、判定処理プログラム等に関する。
ラベル付きデータセットを入力とした機械学習を実行することで、機械学習モデルが生成され、学習済みの機械学習モデルにデータを適用して、データを複数のクラスに分類している。
ここで、時間経過等に伴い、適用するデータの分布が、機械学習を行った時点のデータの分布から、徐々に変化する場合がある。係るデータの分布の変化をドメインシフトと表記する。たとえば、従来技術では、ドメインシフトによって、機械学習モデルの精度が劣化するため、機械学習モデルの劣化を検出すると、機械学習モデルに対して再学習を実行する対応を行っている。
Ming-Yu Liu,Thomas Breuel,Jan Kautz "Unsupervised Image-to-Image Translation Networks" nVIDIA,NIPS 2017
しかしながら、上述した従来技術では、ドメインシフトに対応するための再学習にコストがかかるという問題がある。
1つの側面では、本発明は、ドメインシフトに対応するための再学習に要するコストを削減することができる判定処理プログラム、判定処理方法および情報処理装置を提供することを目的とする。
第1の案では、コンピュータに次の処理を実行させる。コンピュータは、分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを分類モデルに入力することで分類モデルから出力される複数の第2判定結果との類似度を算出する。コンピュータは、類似度を基にして、複数のデータ変換器からデータ変換器を選択する。コンピュータは、選択したデータ変換器を用いて、分類モデルでのデータ入力における前処理を行う。
ドメインシフトに対応するための再学習に要するコストを削減することができる。
図1は、参考技術を説明するための図である。 図2は、本実施例に係る情報処理装置の処理のポイント1を説明するための図である。 図3は、本実施例に係る情報処理装置のポイント2を説明するための図である。 図4は、本実施例に係る情報処理装置のポイント3を説明するための図(1)である。 図5は、本実施例に係る情報処理装置のポイント3を説明するための図(2)である。 図6は、本実施例に係る情報処理装置の処理を説明するための図(1)である。 図7は、本実施例に係る情報処理装置の処理を説明するための図(2)である。 図8は、本実施例に係る情報処理装置の処理を説明するための図(3)である。 図9は、本実施例に係る情報処理装置の処理を説明するための図(4)である。 図10は、本実施例に係る情報処理装置の処理を説明するための図(5)である。 図11は、本実施例に係る情報処理装置の処理を説明するための図(6)である。 図12は、本実施例に係る情報処理装置の処理を説明するための図(7)である。 図13は、本実施例に係る情報処理装置の処理を説明するための図(8)である。 図14は、本実施例に係る情報処理装置の処理を説明するための図(9)である。 図15は、本実施例に係る情報処理装置の処理を説明するための図(10)である。 図16は、本実施例に係る情報処理装置の処理を説明するための図(11)である。 図17は、本実施例に係る情報処理装置の処理を説明するための図(12)である。 図18は、本実施例に係る情報処理装置の効果を説明するための図である。 図19は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。 図20は、学習データセットのデータ構造の一例を示す図である。 図21は、データセットテーブルのデータ構造の一例を示す図である。 図22は、スタイル変換器テーブルのデータ構造の一例を示す図である。 図23は、学習データセットテーブルのデータ構造の一例を示す図である。 図24は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図25は、選択部のその他の処理を説明するための図である。 図26は、本実施例に係る学習装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する判定処理プログラム、判定処理方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施例の説明を行う前に、参考技術について説明する。図1は、参考技術を説明するための図である。参考技術を実行する装置を「参考装置」と表記する。参考装置は、ラベル付きのデータセットを用いて、分類モデルC10を学習済みとする。分類モデルC10は、入力されたデータを、いずれかの分類クラスに分類するモデルであり、NN(Neural Network)等の機械学習モデルによって実現される。
参考装置は、ドメインシフトによって、分類モデルC10の劣化を検出すると、以下のステップS1~S5に示すような、モデル修復処理を行う。たとえば、時刻t1において、劣化(ドメインシフト)が検出され、時刻t1より前のデータを、劣化前データ(データセット)d1とする。時刻t1より後のデータを、劣化後データ(データセット)d2とする。
ステップS1について説明する。参考装置は、劣化前データd1と、劣化後データd2とを基にして、スタイル変換器T10を学習する。スタイル変換器T10は、劣化前データd1を、劣化後データd2にスタイル変換するモデルである。スタイル変換器T10は、NN等の機械学習モデルによって実現される。
ステップS2について説明する。参考装置は、劣化前データd1を、分類モデルC10に入力することで、劣化前データd1の分類クラスを特定する。劣化前データd1の分類クラスを、推定ラベルL1とする。参考装置は、複数の劣化前データd1に対して、ステップS2を繰り返し実行する。
ステップS3について説明する。参考装置は、劣化前データd1を、スタイル変換器T10に入力することで、劣化後データd3にスタイル変換する。参考装置は、複数の劣化前データd1に対して、ステップS3を繰り返し実行する。
ステップS4について説明する。参考装置は、ステップS2で特定した推定ラベルを「正解ラベル」、ステップS3でスタイル変換した劣化後データd3を「入力データ」とするデータ(データセット)を用いて、分類モデルC10を再学習する。再学習した分類モデルC10を、分類モデルC11とする。
ステップS5について説明する。参考装置は、分類モデルC11を用いて、劣化後データd2の推定ラベルL2を特定する。
ここで、図1に説明した参考技術では、分類モデルC10(C11)の劣化を検出するたびに、スタイル変換器T10、分類モデルC10の機械学習を再度実行するため、分類システムを再開するまでに時間を要してしまう。
次に、本実施例に係る情報処理装置の処理のポイント1~3について説明する。まず、「ポイント1」について説明する。本実施例に係る情報処理装置は、ドメインシフトによって、分類モデルの劣化を検出した場合に、劣化前から劣化後にデータを変換するスタイル変換器を学習し、保存しておく。情報処理装置は、保存された複数のスタイル変換器の中で、現在のドレインシフトと類似する変換を行うスタイル変換器が存在する場合には、かかるスタイル変換器を用いて、分類モデルの機械学習を実行する。スタイル変換器は「データ変換器」の一例である。
図2は、本実施例に係る情報処理装置の処理のポイント1を説明するための図である。たとえば、時刻t2-1、t2-2、t2-3において、分類モデルの劣化を検出しているものとする。情報処理装置は、時刻t2-1を基準とする劣化前、劣化後のデータを基にして、スタイル変換器T21を機械学習する。情報処理装置は、時刻t2-2を基準とする劣化前、劣化後のデータを基にして、スタイル変換器T22を機械学習する。情報処理装置は、時刻t2-3を基準とする劣化前、劣化後のデータを基にして、スタイル変換器T23を機械学習する。
情報処理装置は、時刻t2-4において、分類モデルの劣化を検出した場合に、次の処理を行う。時刻t2-4より前のデータを、劣化前データd1-1とする。時刻t2-4より後のデータを、劣化後データd1-2とする。情報処理装置は、劣化前データd1-1を、スタイル変換器T22に入力することで、変換データdt2にスタイル変換する。ここで、情報処理装置は、変換データdt2と、劣化後データd1-2とが類似する場合に、劣化前データd1-1から劣化後データd1-2へのドメインシフトと類似するスタイル変換を実行するスタイル変換器が存在することを特定する。劣化後データは、「第1入力データ」の一例である。劣化前データは、「第2入力データ」の一例である。
情報処理装置は、劣化前データd1-1から劣化後データd1-2へのドメインシフトと類似するスタイル変換を実行するスタイル変換器が存在する場合、スタイル変換器T22を再利用し、新たなスタイル変換器を生成する処理をスキップする。これによって、新たにスタイル変換器を生成するためのコストを削減することができる。
続いて、「ポイント2」について説明する。情報処理装置は、劣化後データを分類モデルに入力した際の出力結果と、劣化前データをスタイル変換器に入力した際の出力結果との差を、ドメインシフトの類似性として利用する。情報処理装置は、出力結果の差が小さいスタイル変換器を、再利用するスタイル変換器として特定する。
図3は、本実施例に係る情報処理装置のポイント2を説明するための図である。図3では、時刻t2-4において、分類モデルC20の劣化が検出され、時刻t2-4より前のデータを、劣化前データd1-1とする。時刻t2-4より後のデータを、劣化後データd1-2とする。スタイル変換器T21~T23に関する説明は、図2で行ったスタイル変換器T21~T23に関する説明と同様である。
情報処理装置は、劣化前データd1-1を、スタイル変換器T21に入力することで、変換データdt1にスタイル変換する。情報処理装置は、劣化前データd1-1を、スタイル変換器T22に入力することで、変換データdt2にスタイル変換する。情報処理装置は、劣化前データd1-1を、スタイル変換器T23に入力することで、変換データdt3にスタイル変換する。
情報処理装置は、劣化後データd1-2を、分類モデルC20に入力することで、出力ラベルの分布dis0を特定する。情報処理装置は、変換データdt1を、分類モデルC20に入力することで、出力ラベルの分布dis1を特定する。情報処理装置は、変換データdt2を、分類モデルC20に入力することで、出力ラベルの分布dis2を特定する。情報処理装置は、変換データdt3を、分類モデルC20に入力することで、出力ラベルの分布dis3を特定する。
情報処理装置は、分布dis0と分布dis1との差、分布dis0と分布dis2との差、分布dis0と分布dis3との差をそれぞれ算出すると、分布dis0と分布dis2との差が最も小さい。分布dis2に対応する変換データは、変換データdt2であり、劣化前データd1-1から、変換データdt2にスタイル変換したスタイル変換器は、スタイル変換器T22である。このため、情報処理装置は、スタイル変換器T22を、再利用するスタイル変換器として特定する。
スタイル変換器T22は、劣化前データd1-1から、劣化後データd1-2へのドメインシフトと類似するスタイル変換を実行可能なスタイル変換器となる。
続いて、「ポイント3」について説明する。情報処理装置は、直近の一定期間に複数回、類似のドメインシフトとして使用されたスタイル変換器が存在する場合、ポイント2で説明した処理で特定したスタイル変換器と、複数回使用されたスタイル変換器とを用いて、分類モデルの再学習を行う。
図4は、本実施例に係る情報処理装置のポイント3を説明するための図(1)である。図4では、時刻t3において、分類モデルC20の劣化が検出され、時刻t3より前のデータを、劣化前データd3-1とする。時刻t3より後のデータを、劣化後データd3-2とする。スタイル変換器T24~T26は、分類モデルC20の劣化が検出されるたびに学習されたスタイル変換器とする。
情報処理装置が、ポイント2で説明した処理を実行して特定したスタイル変換器を、スタイル変換器T24とする。また、直近の一定期間に、複数回、類似のドメインシフトとして使用されたスタイル変換器とスタイル変換器T26とする。
情報処理装置は、劣化前データd3-1を、スタイル変換器T24に入力することで、変換データdt4にスタイル変換する。情報処理装置は、変換データdt4を、スタイル変換器T26に入力することで、変換データdt6にスタイル変換する。
情報処理装置は、変換データdt4,dt6を用いて、分類モデルC20の再学習を実行する。たとえば、変換データdt4,dt6に対応する正解ラベルは、劣化前データd3-1を、分類モデルC20に入力した際の、推定ラベルとなる。
図5は、本実施例に係る情報処理装置のポイント3を説明するための図(2)である。図5では、時刻t3において、分類モデルC20の劣化が検出され、時刻t3より前のデータを、劣化前データd3-1とする。時刻t3より後のデータを、劣化後データd3-2とする。スタイル変換器T24~T26は、分類モデルC20の劣化が検出されるたびに学習されたスタイル変換器とする。
情報処理装置が、ポイント2で説明した処理を実行して特定したスタイル変換器を、スタイル変換器T24とする。また、直近の一定期間に、複数回(所定回数以上)、類似のドメインシフトとして使用されたスタイル変換器とスタイル変換器T25,T26とする。
情報処理装置は、劣化前データd3-1を、スタイル変換器T24に入力することで、変換データdt4にスタイル変換する。情報処理装置は、変換データdt4を、スタイル変換器T25に入力することで、変換データdt5にスタイル変換する。情報処理装置は、変換データdt5を、スタイル変換器T26に入力することで、変換データdt6にスタイル変換する。
情報処理装置は、変換データdt4~dt6を用いて、分類モデルC20の再学習を実行する。たとえば、変換データdt4~dt6に対応する正解ラベルは、劣化前データd3-1を、分類モデルC20に入力した際の、推定ラベルとなる。
本実施例に係る情報処理装置は、ポイント1~3に基づいて、スタイル変換器T10の流用、分類モデルC10の再学習を実行する。以下において、情報処理装置の処理の一例について説明する。図6~図17は、本実施例に係る情報処理装置の処理を説明するための図である。
図6について説明する。情報処理装置は、時刻t4-1において、正解ラベル付きの学習データセット141を用いて、分類モデルC20の機械学習を実行する。学習データセット141には、入力データxと、正解ラベルyとの組が複数含まれている。
情報処理装置は、入力データxを分類モデルC20に入力することで、分類モデルC20から出力される出力結果y´と、正解ラベルyとの誤差(classification loss)が、小さくなるように、分類モデルC20のパラメータを学習する。たとえば、情報処理装置は、誤差逆伝播法を用いて、誤差が小さくなるように、分類モデルC20のパラメータを学習する。
情報処理装置は、分類モデルC20に、入力データxを入力した場合の、出力結果y´の平均確信度を算出し、平均確信度を用いて、分類モデルC20の劣化を検出する。情報処理装置は、平均確信度が、閾値以下となった場合に、分類モデルC20の劣化を検出する。たとえば、閾値を「0.6」とする。図6に示す例では、情報処理装置は、学習データセット141の入力データxを分類モデルC20に入力した場合の平均確信度を「0.9」とすると、平均確信度が閾値より大きいため、分類モデルC20に劣化が発生していないと判定する。
図7の説明に移行する。情報処理装置は、時刻t4-2において、データセット143aに含まれる入力データxを、分類モデルC20に入力することで、出力結果y´(分類結果)を取得する処理を繰り返すことで、データセット143aを分類する。図7に示す例では、情報処理装置は、データセット143aの入力データxを分類モデルC20に入力した場合の平均確信度を「0.9」とすると、平均確信度が閾値より大きいため、分類モデルC20に劣化が発生していないと判定する。
図8の説明に移行する。情報処理装置は、時刻t4-3において、データセット143bに含まれる入力データxを、分類モデルC20に入力することで、出力結果y´(分類結果)を取得する処理を繰り返すことで、データセット143bを分類する。図8に示す例では、情報処理装置は、データセット143bの入力データxを分類モデルC20に入力した場合の平均確信度を「0.6」とすると、平均確信度が閾値以下であるため、分類モデルC20に劣化が発生したと判定する。
図9の説明に移行する。情報処理装置は、図9で説明する処理を行うことで、データセット143aの入力データx1を、データセット143bの入力データx2にスタイル変換するスタイル変換器T31を機械学習する。スタイル変換器T31は、エンコーダEn1と、デコーダDe1とを有する。情報処理装置は、スタイル変換器T31に加えて、エンコーダEn1´と、デコーダDe1´と、識別器Di1とを設定する。
エンコーダEn1,En1´は、入力データを、特徴量空間の特徴量に変換する機械学習モデルである。デコーダDe1,De1´は、特徴量空間の特徴量を、入力データに変換する機械学習モデルである。識別器Di1は、入力データが、Realであるか、Fakeであるかを識別する機械学習モデルである。たとえば、識別器Di1は、入力データが、データセット143bの入力データであると判定した場合に「Real」を出力し、データセット143b以外の入力データであると判定した場合に「Fake」を出力する。エンコーダEn1,En1´、デコーダDe1,De1´、識別器Di1は、NN等の機械学習モデルである。
スタイル変換器T31は、データセット143aの入力データx1が入力され、x2´を出力する。x2´は、エンコーダEn1´に入力されて特徴量に変換された後、デコーダDe1´によって、x2´´に変換される。
識別器Di1は、スタイル変換器T31から出力されたx2´、または、データセット143bの入力データx2の入力を受け付けた場合に、入力されたデータが、データセット143bの入力データであるか否かに応じて、RealまたはFakeを出力する。
情報処理装置は、図9の入力データ「x1」と、出力データ「x2´´」との誤差が小さくなり、かつ、出力データx2´が、識別器Di1に入力された場合に、識別器Di1によって、「Real」が出力されるように、エンコーダEn1,En1´、デコーダDe1,De1´、識別器Di1のパラメータを機械学習する。情報処理装置が、係る機械学習を実行することで、データセット143aの入力データx1を、データセット143bの入力データx2にスタイル変換するスタイル変換器T31が機械学習される。たとえば、情報処理装置は、誤差逆伝播法を用いて、誤差が小さくなるように、各パラメータを機械学習する。
図10の説明に移行する。情報処理装置は、図10で説明する処理を行うことで、学習データセット145aを生成する。情報処理装置は、データセット143aの入力データx1を、スタイル変換器T31に入力することで、入力データx1を、入力データx2´にスタイル変換する。情報処理装置は、入力データx1を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
情報処理装置は、入力データx2´と、正解ラベルy´との組を、学習データセット145aに登録する。情報処理装置は、データセット143aに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145aを生成する。
図11の説明に移行する。情報処理装置は、図11で説明する処理を行うことで、分類モデルC20の再学習を行う。情報処理装置は、正解ラベル付きの学習データセット145aを用いて、分類モデルC20の機械学習を再度、実行する。学習データセット145aには、入力データxと、正解ラベルyとの組が複数含まれている。
情報処理装置は、入力データxを分類モデルC20に入力することで、分類モデルC209から出力される出力結果y´と、正解ラベルyとの誤差(classification loss)が、小さくなるように、分類モデルC20のパラメータを再学習する。たとえば、情報処理装置は、誤差逆伝播法を用いて、誤差が小さくなるように、分類モデルC20のパラメータを学習する。
情報処理装置は、分類モデルC20に、入力データxを入力した場合の、出力結果y´の平均確信度を算出し、平均確信度を用いて、分類モデルC20の劣化を検出する。情報処理装置は、平均確信度が、閾値以下となった場合に、分類モデルC20の劣化を検出する。図11に示す例では、情報処理装置は、学習データセット145aの入力データxを分類モデルC20に入力した場合の平均確信度を「0.9」とすると、平均確信度が閾値より大きいため、分類モデルC20に劣化が発生していないと判定する。
図12の説明に移行する。情報処理装置は、時刻t4-4において、データセット143cに含まれる入力データx3を、分類モデルC20に入力することで、出力結果(分類結果)を取得する処理を繰り返すことで、データセット143cを分類する。たとえば、情報処理装置は、データセット143cの入力データx3を分類モデルC20に入力した場合の平均確信度を「0.6」とすると、平均確信度が閾値以下であるため、分類モデルC20に劣化が発生したと判定する。
情報処理装置は、データセット143cによって、再度、分類モデルC20の劣化を検出すると、データセット143bからデータセット143cへの変化が、スタイル変換器T31によるスタイル変化に類似した変化か否かを、次の処理により判定する。情報処理装置は、データセット143bの入力データx2を、スタイル変換器T31に入力することで、変換データx2´にスタイル変換する。
情報処理装置は、変換データx2´を、分類モデルC20に入力することで、出力ラベルy2´が出力される。出力ラベルy2´の分布を、分布dis1-1とする。情報処理装置は、データセット143cの入力データx3を、分類モデルC20に入力することで、出力ラベルy3´が出力される。出力ラベルy3´の分布を、分布dis1-2とする。
情報処理装置は、分布dis1-1と、分布dis1-2との差が閾値以上であり、不一致であると判定する。すなわち、情報処理装置は、データセット143bからデータセット143cへの変化が、スタイル変換器T31によるスタイル変化に類似した変化ではないと判定する。
図13の説明に移行する。情報処理装置は、データセット143bの入力データを、データセット143cの入力データにスタイル変換するスタイル変換器T32を機械学習する。スタイル変換器T32を機械学習する処理は、図9で説明したスタイル学習T31を機械学習する処理と同様である。スタイル変換器T32は、エンコーダEn2と、デコーダDe2とを有する。
情報処理装置は、次の処理を実行することで、学習データセット145bを生成する。情報処理装置は、データセット143bの入力データx2を、スタイル変換器T32に入力することで、入力データx2を、入力データx3´にスタイル変換する。情報処理装置は、入力データx2を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
情報処理装置は、入力データx3´と、正解ラベルy´との組を、学習データセット145bに登録する。情報処理装置は、データセット143bに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145bを生成する。
図14の説明に移行する。情報処理装置は、図14に示す処理を実行することで、学習データセット145cを生成する。情報処理装置は、スタイル変換器T32から出力されるデータx3´を、入力データとして、スタイル変換器T31に入力することで、出力データx3´´を得る。データx3´は、データセット143bの入力データx2を、スタイル変換器T32に入力することで算出されるデータである。
情報処理装置は、入力データx2を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
情報処理装置は、入力データx3´´と、正解ラベルy´との組を、学習データセット145cに登録する。情報処理装置は、データセット143bに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145cを生成する。なお、学習データセット145bを生成する処理は、図13で説明した。
図15の説明に移行する。情報処理装置は、図15で説明する処理を行うことで、分類モデルC20の再学習を行う。情報処理装置は、正解ラベル付きの学習データセット145b,145cを用いて、分類モデルC20の機械学習を再度、実行する。学習データセット145b,145cには、入力データxと、正解ラベルyとの組が複数含まれている。
情報処理装置は、入力データxを分類モデルC20に入力することで、分類モデルC209から出力される出力結果y´と、正解ラベルyとの誤差(classification loss)が、小さくなるように、分類モデルC20のパラメータを再学習する。たとえば、情報処理装置は、誤差逆伝播法を用いて、誤差が小さくなるように、分類モデルC20のパラメータを学習する。
情報処理装置は、分類モデルC20に、入力データxを入力した場合の、出力結果y´の平均確信度を算出し、平均確信度を用いて、分類モデルC20の劣化を検出する。情報処理装置は、平均確信度が、閾値以下となった場合に、分類モデルC20の劣化を検出する。図15に示す例では、情報処理装置は、学習データセット145b,145cの入力データxを分類モデルC20に入力した場合の平均確信度を「0.9」とすると、平均確信度が閾値より大きいため、分類モデルC20に劣化が発生していないと判定する。
図16の説明に移行する。情報処理装置は、時刻t4-5において、データセット143dに含まれる入力データx4を、分類モデルC20に入力することで、出力結果(分類結果)を取得する処理を繰り返すことで、データセット143dを分類する。たとえば、情報処理装置は、データセット143dの入力データx4を分類モデルC20に入力した場合の平均確信度を「0.6」とすると、平均確信度が閾値以下であるため、分類モデルC20に劣化が発生したと判定する。
情報処理装置は、データセット143dによって、再度、分類モデルC20の劣化を検出すると、データセット143cからデータセット143dへの変化が、スタイル変換器T31またはスタイル変換器T32によるスタイル変化に類似した変化か否かを、次の処理により判定する。情報処理装置は、データセット143cの入力データx2を、スタイル変換器T31,T32に入力することで、変換データx3´,x3´´にスタイル変換する。
情報処理装置は、変換データx3´を、分類モデルC20に入力することで、出力ラベルy3´が出力される。出力ラベルy3´の分布を、分布dis2-1とする。情報処理装置は、変換データx3´´を、分類モデルC20に入力することで、出力ラベルy3´´が出力される。出力ラベルy3´´の分布を、分布dis2-2とする。情報処理装置は、データセット143dの入力データx4を、分類モデルC20に入力することで、出力ラベルy4´が出力される。出力ラベルy4´の分布を、分布dis2-3とする。
情報処理装置は、分布dis2-3と、分布dis2-2との差が閾値以上であり、不一致であると判定する。すなわち、情報処理装置は、データセット143cからデータセット143dへの変化が、スタイル変換器T32によるスタイル変化に類似した変化ではないと判定する。
一方、情報処理装置は、分布dis2-3と、分布dis2-1との差が閾値以上であり、一致すると判定する。すなわち、情報処理装置は、データセット143cからデータセット143dへの変化が、スタイル変換器T31によるスタイル変化に類似した変化である判定する。この場合、情報処理装置は、新たなスタイル変換器を生成しないで、スタイル変換器T31を再利用する。
図17の説明に移行する。情報処理装置は、図16で説明したように、データセット143cの入力データを、データセット143dの入力データにスタイル変換するスタイル変換器として、スタイル変換器T31を流用する。
情報処理装置は、次の処理を実行することで、学習データセット145dを生成する。情報処理装置は、データセット143cの入力データx3を、スタイル変換器T31に入力することで、入力データx3を、入力データx4´にスタイル変換する。情報処理装置は、入力データx3を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
情報処理装置は、入力データx4´と、正解ラベルy´との組を、学習データセット145dに登録する。情報処理装置は、データセット143cに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145dを生成する。図示を省略するが、情報処理装置は、学習データセット145dを用いて、分類モデルC20を再学習する。
上記のように、本実施例に係る情報処理装置は、分類モデルの劣化を検出した場合に、すでに学習済みのスタイル変換器のうち、劣化検出前のデータから、劣化検出後のデータにスタイル変換可能なスタイル変換器が存在するか否かを判定する。情報処理装置は、劣化検出前のデータから、劣化検出後のデータにスタイル変換可能なスタイル変換器が存在する場合には、かかるスタイル変換器を流用して、学習データセットを生成し、分類モデルの再学習を実行する。これによって、分類モデルの劣化を検出するたびに、スタイル変換器を学習する処理を抑止できるので、ドメインシフトに対応するための再学習に要するコストを削減することができる。
図18は、本実施例に係る情報処理装置の効果を説明するための図である。参考技術では、分類モデルの劣化を検出するたびに、スタイル変換器の学習、および、分類モデルの再学習を実行するが、情報処理装置では、スタイル変換器を流用する。これによって、劣化が検出された場合のスタイル変換器の学習回数が減るため、システムの再開までの時間を短縮することができる。
また、情報処理装置は、使用回数の多いスタイル変換器を更に用いて、入力データのスタイル変換を実行し、学習データセットに追加する。これにより、よく起こるドメインシフトに対して劣化を起こさない分類モデルが学習されるため、再学習した分類モデルの劣化が発生しにくくなる。
次に、本実施例に係る情報処理装置の構成の一例について説明する。図19は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図19に示すように、この情報処理装置は、通信部110と、入力部120と、出力部130と、記憶部140と、制御部150とを有する。
通信部110は、NIC(Network Interface Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した外部の装置と制御部150との通信を制御する。
入力部120は、キーボードやマウス等の入力デバイスを用いて実現され、利用者による入力操作に対応して、制御部150に対して処理開始などの各種指示情報を入力する。
出力部130は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
記憶部140は、学習データセット141、分類モデルデータ142、データセットテーブル143、スタイル変換器テーブル144、学習データセットテーブル145を有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
学習データセット141は、分類モデルC20の機械学習に使用するラベル付きのデータセットである。図20は、学習データセットのデータ構造の一例を示す図である。図20に示すように、この学習データセット141は、入力データと、正解ラベルとを対応付ける。入力データは、画像データ、音声データ、テキストデータ等の各種の情報に対応する。本実施例では一例として、入力データを、画像データとして説明するが、これに限定されるものではない。正解ラベルは、入力データに対してあらかじめ設定されるラベルである。たとえば、正解ラベルとして、所定の分類クラスが設定される。
分類モデルデータ142は、分類モデルC20のデータである。たとえば、分類モデルC20は、ニューラルネットワークの構造を有し、入力層、隠れ層、出力層を持つ。入力層、隠れ層、出力層は、複数のノードがエッジで結ばれる構造となっている。隠れ層、出力層は、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジには、重みが設定される。以下の説明では、バイアス値および重みを「パラメータ」と表記する。
データセットテーブル143は、複数のデータセットを保持するテーブルである。データセットテーブル143に含まれるデータセットは、異なる時刻(時期)に収集されたデータセットである。図21は、データセットテーブルのデータ構造の一例を示す図である。図21に示すように、データセットテーブル143は、データセット識別情報と、データセットとを対応付ける。
データセット識別情報は、データセットを識別する情報である。データセットには、複数の入力データが含まれる。
以下の説明では、データセット識別情報「Da143a」のデータセットを、データセット143aと表記する。データセット識別情報「Da143b」のデータセットを、データセット143bと表記する。データセット識別情報「Da143c」のデータセットを、データセット143cと表記する。データセット識別情報「Da143d」のデータセットを、データセット143dと表記する。たとえば、データセット143a~143dは、異なる時刻に生成されたデータセットであり、データセット143a,143b,143c,143dの順にデータセットテーブル143に登録されるものとする。
スタイル変換器テーブル144は、複数のスタイル変換器のデータを保持するテーブルである。図22は、スタイル変換器テーブルのデータ構造の一例を示す図である。図22に示すように、スタイル変換器テーブル144は、スタイル変換器識別情報と、スタイル変換器と、選択履歴とを対応付ける。
スタイル変換器識別情報は、スタイル変換器を識別する情報である。スタイル変換器は、スタイル変換器のデータであり、エンコーダと、デコーダとを有する。エンコーダは、入力データ(画像データ)を特徴空間の特徴量に変換(射影)するモデルである。デコーダは、特徴空間の特徴量を、画像データに変換するモデルである。
たとえば、エンコーダおよびデコーダは、ニューラルネットワークの構造を有し、入力層、隠れ層、出力層を持つ。入力層、隠れ層、出力層は、複数のノードがエッジで結ばれる構造となっている。隠れ層、出力層は、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジには、重みが設定される。
以下の説明では、スタイル変換器識別情報「ST31」のスタイル変換器を、スタイル変換器T31と表記する。スタイル変換器識別情報「ST32」のスタイル変換器を、スタイル変換器T32と表記する。
選択履歴は、スタイル変換器が選択された日時のログである。選択履歴を用いることで、所定時間前から現在までにスタイル変換器が選択された回数を特定することができる。所定時間前から現在までにスタイル変換器が選択された回数を「直近の選択回数」と表記する。
学習データセットテーブル145は、複数の学習データセットを保持するテーブルである。図23は、学習データセットテーブルのデータ構造の一例を示す図である。図23に示すように、学習データセットテーブル145は、学習データセット識別情報と、学習データセットとを対応付ける。
学習データセット識別情報は、学習データセットを識別する情報である。学習データセットは、それぞれ、入力データと、正解ラベルとの組を複数有する。図10等で説明したように、学習データセットテーブル145に含まれる各学習データセットの正解ラベルは、分類モデルC20を用いて推定された推定ラベルに対応する。
図19の説明に戻る。制御部150は、取得部151と、学習部152と、分類部153と、選択部154と、生成部155と、前処理部156とを有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部151は、外部装置等から各種のデータを取得する処理部である。取得部151は、外部装置等から、学習データセット141を受信した場合、受信した学習データセット141を、記憶部140に格納する。取得部151は、外部装置等から、データセットを取得する度に、取得したデータセットを、データセットテーブル143に登録する。たとえば、取得部151は、データセットを定期的に取得する。
学習部152は、学習データセット141を基にして、分類モデルの機械学習を実行する処理部である。図6等で説明したように、学習部152は、入力データxを分類モデルC20に入力することで、分類モデルC20から出力される出力結果y´と、正解ラベルyとの誤差(classification loss)が、小さくなるように、分類モデルC20のパラメータを学習(訓練)する。たとえば、学習部152は、誤差逆伝播法を用いて、誤差が小さくなるように、分類モデルC20のパラメータを学習する。学習部152は、学習した分類モデルC20のデータを、分類モデルデータ142として、記憶部140に登録する。
学習部152は、前処理部156から、再学習要求を受け付けた場合、学習データセットテーブル145に含まれる学習データセットを用いて、分類モデルC20の再学習を実行する。学習部152は、再学習した分類モデルC20のデータによって、分類モデルデータ142を更新する。
分類部153は、データセットテーブル143に登録されたデータセットを、分類モデルC20を用いて分類する処理部である。図7等で説明したように、分類部153は、データセット(たとえば、データセット143a)に含まれる入力データxを、分類モデルC20に入力することで、出力結果y´(分類結果)を取得する処理を繰り返すことで、データセットを分類する。分類部153は、データセットの分類結果を、出力部130に出力してもよい。
分類部153は、データセットの分類を行う場合に、出力結果y´の平均確信度を算出する。分類部153は、平均確信度が、閾値Th1以下である場合に、分類モデルC20の劣化を検出する。たとえば、閾値Th1を、0.6とする。分類部153は、分類モデルC20の劣化を検出した場合には、劣化を検出した旨の情報を、選択部154に出力する。
選択部154は、分類部153から分類モデルC20の劣化を検出した旨の情報を取得した場合に、スタイル変換器テーブル144に含まれる複数のスタイル変換器から、スタイル変換器を選択する処理部である。
選択部154の処理を、図16を用いて説明する。スタイル変換器テーブル144には、スタイル変換器T31と、スタイル変換器T32が含まれているものとする。また、データセット143dを、分類モデルC20に適用した場合に、劣化が検出されたものとする。
選択部154は、データセット143cからデータセット143dへの変化が、スタイル変換器T31またはスタイル変換器T32によるスタイル変化に類似した変化か否かを、次の処理により判定する。選択部154は、データセット143cの入力データx2を、スタイル変換器T31,T32に入力することで、変換データx3´,x3´´にスタイル変換する。
選択部154は、変換データx3´を、分類モデルC20に入力することで、出力ラベルy3´が出力される。出力ラベルy3´の分布を、分布dis2-1とする。選択部154は、変換データx3´´を、分類モデルC20に入力することで、出力ラベルy3´´が出力される。出力ラベルy3´´の分布を、分布dis2-2とする。選択部154は、データセット143dの入力データx4を、分類モデルC20に入力することで、出力ラベルy4´が出力される。出力ラベルy4´の分布を、分布dis2-3とする。
選択部154は、分布dis2-3と、分布dis2-1との類似度、分布dis2-3と、分布dis2-2との類似度を算出する。選択部154は、各分布の差が小さいほど、類似度の値を大きくする。選択部154は、分布dis2-3と、分布dis2-2との類似度が閾値Th2未満であるため、分布dis2-2に対応するスタイル変換器T32を、選択対象から除外する。
一方、選択部154は、分布dis2-3と、分布dis2-1との類似度が閾値Th2以上であるため、分布dis2-1に対応するスタイル変換器T31を選択する。選択部154は、選択したスタイル変換器T31を、前処理部156に出力する。選択部154は、選択したスタイル変換器T31に対応する選択履歴を、スタイル変換器テーブル144に登録する。選択部154は、図示しないタイマから、現在の日付の情報を取得し、選択履歴に設定する。
選択部154は、類似度が閾値以上となるスタイル変換器が、スタイル変換器テーブル144に存在しない場合には、スタイル変換器の作成要求を、生成部155に出力する。
ところで、選択部154は、スタイル変換器テーブル144の選択履歴を基にして、直近の選択回数が、所定回数以上となるスタイル変換器を追加で選択してもよい。選択部154は、追加で選択したスタイル変換器の情報を、前処理部156に出力する。
生成部155は、選択部154から、スタイル変換器の作成要求を取得した場合に、スタイル変換器を作成する処理部である。生成部155は、作成したスタイル変換器の情報を、スタイル変換器テーブル144に登録する。また、生成部155は、スタイル変換器の情報を、前処理部156に出力する。
生成部155の処理を、図9を用いて説明する。生成部155は、スタイル変換器T31と、エンコーダEn1´、デコーダDe1´、識別器Di1を設定する。たとえば、生成部155は、スタイル変換器T31のエンコーダEn1、デコーダDe1、エンコーダEn1´、デコーダDe1´、識別器Di1のパラメータをそれぞれ初期値に設定し、次の処理を実行する。
生成部155が、スタイル変換器T31に、データセット143aの入力データx1を入力することで、x2´を出力させる。x2´は、エンコーダEn1´に入力されて特徴量に変換された後、デコーダDe1´によって、x2´´に変換される。
識別器Di1は、スタイル変換器T31から出力されたx2´、または、データセット143bの入力データx2の入力を受け付け、入力されたデータが、データセット143bの入力データであるか否かに応じて、RealまたはFakeを出力する。
生成部155は、図9の入力データ「x1」と、出力データ「x2´´」との誤差が小さくなり、かつ、出力データx2´が、識別器Di1に入力された場合に、識別器Di1によって、「Real」が出力されるように、エンコーダEn1,En1´、デコーダDe1,De1´、識別器Di1のパラメータを機械学習する。生成部155が、係る機械学習を実行することで、データセット143aの入力データx1を、データセット143bの入力データx2にスタイル変換するスタイル変換器T31が機械学習(生成)する。たとえば、生成部155は、誤差逆伝播法を用いて、誤差が小さくなるように、各パラメータを機械学習する。
前処理部156は、選択部154によって選択されたスタイル変換器を用いて、劣化前データを、劣化後データにスタイル変換する処理部である。前処理部156は、劣化前データを、分類モデルC20に入力して、劣化後データの正解ラベルを推定する。選択部154は、上記処理を繰り返すことで、学習データセットを生成し、学習データセットを、学習データセットテーブル145に登録する。
前処理部156は、生成部155から、新たなスタイル変換器の情報を取得した場合には、かかるスタイル変換器を用いて、学習データセットを生成する。たとえば、前処理部156は、劣化前データを、新たなスタイル変換器に入力して、劣化後データにスタイル変換する。前処理部156は、劣化前データを、分類モデルC20に入力して、劣化後データの正解ラベルを推定する。
前処理部156の処理を、図10を用いて説明する。一例として、選択部154によって、スタイル変換器T31が選択されたものとする。前処理部156は、データセット143aの入力データx1を、スタイル変換器T31に入力することで、入力データx1を、入力データx2´にスタイル変換する。前処理部156は、入力データx1を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
前処理部156は、入力データx2´と、正解ラベルy´との組を、学習データセット145aに登録する。前処理部156は、データセット143aに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145aを生成する。
ところで、前処理部156は、選択部154によって、追加でスタイル変換器が選択されている場合には、複数のスタイル変換器を用いて、複数の学習データセットを生成する。
前処理部156の処理を、図14を用いて説明する。図14では、選択部154によって、類似度に基づいて選択されたスタイル変換器を、スタイル変換器T32とする。選択部154によって、直近の選択回数に基づいて追加で選択されたスタイル変換器を、スタイル変換器T31とする。
まず、前処理部156は、データセット143bの入力データx2を、スタイル変換器T32に入力することで、入力データx2を、入力データx3´にスタイル変換する。前処理部156は、入力データx2を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
前処理部156は、入力データx3´と、正解ラベルy´との組を、学習データセット145bに登録する。前処理部156は、データセット143bに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145bを生成する。
前処理部156は、スタイル変換器T32から出力されるデータx3´を、入力データとして、スタイル変換器T31に入力することで、出力データx3´´を得る。データx3´は、データセット143bの入力データx2を、スタイル変換器T32に入力することで算出されるデータである。
前処理部156は、入力データx2を、分類モデルC20に入力した場合の分類結果を基にして、推定ラベル(正解ラベル)y´を特定する。
前処理部156は、入力データx3´´と、正解ラベルy´との組を、学習データセット145cに登録する。前処理部156は、データセット143bに含まれる各入力データxについて、上記処理を繰り返し実行することで、学習データセット145cを生成する。
前処理部156は、上記の処理を実行することで、学習データセットを生成し、学習データセットテーブル145に登録する。また、前処理部156は、学習部152に対して、再学習要求を出力する。再学習要求には、再学習で使用する学習データセット識別情報が設定される。たとえば、前処理部156は、図14の処理を実行して、学習データセット145b,145cを生成した場合には、学習データセット145b,145cを識別する学習データセット識別情報を、再学習要求に設定する。これによって、学習部152は、学習データセット145b,145cを用いて、分類モデルC20を再学習する。
次に、本実施例に係る情報処理装置100の処理手順の一例について説明する。図24は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図24に示すように、情報処理装置100の学習部152は、学習データセット141を基にして、分類モデルの機械学習を実行する(ステップS101)。
情報処理装置100の分類部153は、分類モデルにデータを入力し、平均確信度を算出する(ステップS102)。分類部153は劣化を検出しない場合には(ステップS103,No)、ステップS111に移行する。
一方、分類部153は、劣化を検出した場合には(ステップS103,Yes)、ステップS104に移行する。情報処理装置100の選択部154は、ドメイン変化と同等のスタイル変換器が存在する場合には(ステップS104,Yes)、ステップS105に移行する。選択部154は、ドメイン変化と同等のスタイル変換器を選択する。情報処理装置100の前処理部156は、選択されたスタイル変換器で、学習データセットを生成し(ステップS105)、ステップS108に移行する。
一方、選択部154は、ドメイン変化と同等のスタイル変換器が存在しない場合には(ステップS104,No)、ステップS106に移行する。情報処理装置100の生成部155は、スタイル変換器を学習して、スタイル変換器テーブル144に保存する(ステップS106)。前処理部156は、生成されたスタイル変換器で、学習データセットを生成する(ステップS107)。
選択部154は、直近の選択回数が所定回数以上のスタイル変換器が存在しない場合には(ステップS108,No)、ステップS110に移行する。一方、選択部154は、直近の選択回数が所定回数以上のスタイル変換器が存在する場合には(ステップS108,Yes)、ステップS109に移行する。
前処理部156は、変換後のデータを、再度スタイル変換器で変換し、学習データを追加する(ステップS109)。学習部152は、生成された学習データセットを基にして、分類モデルを再学習する(ステップS110)。
情報処理装置100は、次のデータが存在する場合には(ステップS111,Yes)、ステップS102に移行する。一方、情報処理装置100は、次のデータが存在しない場合には(ステップS111,No)、処理を終了する。
次に、本実施例に係る情報処理装置100の効果について説明する。情報処理装置100は、分類モデルの劣化が発生した場合に、劣化前から劣化後へのドメイン変化を再現可能なスタイル変換器を、複数のスタイル変換器から選択し、選択したスタイル変換器を再利用して、劣化前のデータを、劣化後のデータに変換して、前処理を行う。これによって、分類モデルの劣化が発生する度に、スタイル変換器を生成することを抑止し、スタイル変換器の学習回数を削減することができる。学習回数を削減することで、分類モデルを用いるシステムを再開させるまでの時間を短縮することができる。また、ドメインシフトに対応するための再学習に要するコストを削減することができる。
情報処理装置100は、劣化前のデータを分類モデルに入力することで、正解ラベルを特定し、劣化前のデータをスタイル変換器に入力することで、変換データを生成する。情報処理装置100は、正解ラベルと変換データとを対応付けることで、学習データを生成する。かかる学習データを用いることで、分類モデルの再学習を実行することができる。
情報処理装置100は、図4、図5で説明したように、複数のスタイル変換器を選択した場合には、複数のスタイル変換器を用いて、複数の変換データを生成し、分類モデルの学習データに用いる。これによって、学習データのバリエーションを増やして、分類モデルの機械学習を実行できるので、分類モデルの精度劣化を抑止できる。すなわち、再学習により、分類モデルを用いるシステムを停止しにくくすることができる。
情報処理装置100は、分類モデルの劣化が発生した場合に、劣化前から劣化後へのドメイン変化を再現可能なスタイル変換器が存在しない場合には、新たなスタイル変換器を生成する。これによって、劣化前から劣化後へのドメイン変化を再現可能なスタイル変換器が存在しない場合でも、分類モデルの再学習に対応することができる。
情報処理装置100は、学習データセットに登録された学習データセットを用いて、分類モデルの再学習を実行する。これによって、ドメインシフトが発生しても、かかるドメインシフトに対応可能な分類モデルを再学習して利用することができる。
ところで、本実施例に係る情報処理装置100の選択部154は、図3で説明したポイント2を基にして、流用するスタイル変換器を選択していたが、これに限定されるものではない。たとえば、選択部154は、図25に示す処理を行って、流用するスタイル変換器を選択してもよい。
図25は、選択部のその他の処理を説明するための図である。図25では、一例として、複数の分類モデルC20-1,C20-2,C20-3,C20-4が存在するものとする。すなわち、システムで、複数の分類モデルが利用されている。また、スタイル変換器T31,T32,T33が存在するものとする。選択部154は、劣化後データd4によって、分類モデルC20-3,C20-4の劣化が検出されたものとする。
選択部154は、劣化後データd4を、スタイル変換器T31に入力して、変換データd4-1にスタイル変換する。選択部154は、劣化後データd4を、スタイル変換器T32に入力して、変換データd4-2にスタイル変換する。選択部154は、スタイル変換器T33に入力して、変換データd4-3にスタイル変換する。
選択部154は、変換データd4-1を、分類モデルC20-1~C20-4に入力して、劣化が検出されるか否かを判定する。たとえば、変換データd4-1によって、分類モデルC20-1,C20-3によって、劣化が検出されたものとする。
選択部154は、変換データd4-2を、分類モデルC20-1~C20-4に入力して、劣化が検出されるか否かを判定する。たとえば、変換データd4-2によって、分類モデルC20-3,C20-4によって、劣化が検出されたものとする。
選択部154は、変換データd4-2を、分類モデルC20-1~C20-4に入力して、劣化が検出されるか否かを判定する。たとえば、変換データd4-3によって、分類モデルC20-4によって、劣化が検出されたものとする。
ここで、劣化後データd4を分類モデルC20-1~C20-4に入力した際の劣化検出の結果と、変換データd4-3を分類モデルC20-1~C20-4に入力した際の劣化検出の結果とが一致する。このため、選択部154は、スタイル変換器T32を、流用するスタイル変換器として選択する。これによって、流用可能なスタイル変換器を選択することができる。
次に、本実施例に示した情報処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図26は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図26に示すように、コンピュータ300は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置205とを有する。コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、学習プログラム207b、分類プログラム207c、選択プログラム207d、生成プログラム207e、前処理プログラム207fを有する。CPU301は、取得プログラム207a、学習プログラム207b、分類プログラム207c、選択プログラム207d、生成プログラム207e、前処理プログラム207fを読み出してRAM306に展開する。
取得プログラム207aは、取得プロセス206aとして機能する。学習プログラム207bは、学習プロセス206bとして機能する。分類プログラム207cは、分類プロセス206cとして機能する。選択プログラム207dは、選択プロセス206dとして機能する。生成プログラム207eは、生成プロセス206eとして機能する。前処理プログラム207fは、前処理プロセス206fとして機能する。
取得プロセス206aの処理は、取得部151の処理に対応する。学習プロセス206bの処理は、学習部152の処理に対応する。分類プロセス206cの処理は、分類部153の処理に対応する。選択プロセス206dの処理は、選択部154の処理に対応する。生成プロセス206eの処理は、生成部155の処理に対応する。前処理プロセス206fの処理は、前処理部156の処理に対応する。
なお、各プログラム207a~207fについては、必ずしも最初からハードディスク装置207に記憶させておかなくてもよい。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207dを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)コンピュータに、
分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、
前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択し、
選択したデータ変換器を用いて、前記分類モデルでのデータ入力における前処理を行う
処理を実行させることを特徴とする判定処理プログラム。
(付記2)前記前処理は、前記第2入力データを前記分類モデルに入力することで、前記第2入力データに対応する正解ラベルを特定し、前記正解ラベルと、前記変換後データとを対応付けた学習データを生成することを特徴とする付記1に記載の判定処理プログラム。
(付記3)前記選択する処理は、前記データ変換器を選択する度に、前記データ変換器の選択回数を計数し、計数した回数を基にして、前記複数のデータ変換器から、第1データ変換器を選択し、前記類似度を基にして、前記複数のデータ変換器から、第2データ変換器を選択し、前記前処理は、前記第2入力データを、前記第1データ変換器に入力することで変換される第1変換後データと、前記第1変換後データを、前記第2データ変換器に入力することで変換される第2変換後データと、前記正解ラベルとを基にして、学習データを生成することを特徴とする付記2に記載の判定処理プログラム。
(付記4)前記第1判定結果と類似する第2判定結果が存在しない場合に、前記第1入力データと、前記第2入力データとを基にして、新たなデータ変換器を生成する処理を更に実行することを特徴とする付記1に記載の判定処理プログラム。
(付記5)前記学習データを基にして、前記分類モデルに対する機械学習を実行する処理を更に実行することを特徴とする付記2または3に記載の判定処理プログラム。
(付記6)データを複数の分類モデルに入力した場合の劣化検出の結果と、前記データを前記複数のデータ変換器に入力して得られる複数の変換後データを、前記複数の分類モデルに入力した場合の劣化検出の結果とを基にして、前記複数のデータ変換器からデータ変換器を選択する処理を更に実行することを特徴とする付記1に記載の判定処理プログラム。
(付記7)コンピュータが実行する判定処理方法であって、
分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、
前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択し、
選択したデータ変換器を用いて、前記分類モデルでのデータ入力における前処理を行う
処理を実行することを特徴とする判定処理方法。
(付記8)前記前処理は、前記第2入力データを前記分類モデルに入力することで、前記第2入力データに対応する正解ラベルを特定し、前記正解ラベルと、前記変換後データとを対応付けた学習データを生成することを特徴とする付記7に記載の判定処理方法。
(付記9)前記選択する処理は、前記データ変換器を選択する度に、前記データ変換器の選択回数を計数し、計数した回数を基にして、前記複数のデータ変換器から、第1データ変換器を選択し、前記類似度を基にして、前記複数のデータ変換器から、第2データ変換器を選択し、前記前処理は、前記第2入力データを、前記第1データ変換器に入力することで変換される第1変換後データと、前記第1変換後データを、前記第2データ変換器に入力することで変換される第2変換後データと、前記正解ラベルとを基にして、学習データを生成することを特徴とする付記8に記載の判定処理方法。
(付記10)前記第1判定結果と類似する第2判定結果が存在しない場合に、前記第1入力データと、前記第2入力データとを基にして、新たなデータ変換器を生成する処理を更に実行することを特徴とする付記7に記載の判定処理方法。
(付記11)前記学習データを基にして、前記分類モデルに対する機械学習を実行する処理を更に実行することを特徴とする付記8または9に記載の判定処理方法。
(付記12)データを複数の分類モデルに入力した場合の劣化検出の結果と、前記データを前記複数のデータ変換器に入力して得られる複数の変換後データを、前記複数の分類モデルに入力した場合の劣化検出の結果とを基にして、前記複数のデータ変換器からデータ変換器を選択する処理を更に実行することを特徴とする付記7に記載の判定処理方法。
(付記13)分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択する選択部と、
選択したデータ変換器を用いて、前記分類モデルでのデータ入力における前処理を行う前処理部と
を有することを特徴とする情報処理装置。
(付記14)前記前処理部は、前記第2入力データを前記分類モデルに入力することで、前記第2入力データに対応する正解ラベルを特定し、前記正解ラベルと、前記変換後データとを対応付けた学習データを生成することを特徴とする付記13に記載の情報処理装置。
(付記15)前記選択部は、前記データ変換器を選択する度に、前記データ変換器の選択回数を計数し、計数した回数を基にして、前記複数のデータ変換器から、第1データ変換器を選択し、前記類似度を基にして、前記複数のデータ変換器から、第2データ変換器を選択し、前記前処理は、前記第2入力データを、前記第1データ変換器に入力することで変換される第1変換後データと、前記第1変換後データを、前記第2データ変換器に入力することで変換される第2変換後データと、前記正解ラベルとを基にして、学習データを生成することを特徴とする付記14に記載の情報処理装置。
(付記16)前記第1判定結果と類似する第2判定結果が存在しない場合に、前記第1入力データと、前記第2入力データとを基にして、新たなデータ変換器を生成する生成部を更に有することを特徴とする付記13に記載の情報処理装置。
(付記17)前記学習データを基にして、前記分類モデルに対する機械学習を実行する学習部を更に有することを特徴とする付記14または15に記載の情報処理装置。
(付記18)前記選択部は、データを複数の分類モデルに入力した場合の劣化検出の結果と、前記データを前記複数のデータ変換器に入力して得られる複数の変換後データを、前記複数の分類モデルに入力した場合の劣化検出の結果とを基にして、前記複数のデータ変換器からデータ変換器を選択する処理を更に実行することを特徴とする付記13に記載の情報処理装置。
100 情報処理装置
110 通信部
120 入力部
130 出力部
140 記憶部
141 学習データセット
142 分類モデルデータ
143 データセットテーブル
144 スタイル変換器テーブル
145 学習データセットテーブル
150 制御部
151 取得部
152 学習部
153 分類部
154 選択部
155 生成部
156 前処理部

Claims (8)

  1. コンピュータに、
    分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、
    前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択し、
    選択したデータ変換器を用いて、前記分類モデルのデータ入力における前処理を行う
    処理を実行させることを特徴とする判定処理プログラム。
  2. 前記前処理は、前記第2入力データを前記分類モデルに入力することで、前記第2入力データに対応する正解ラベルを特定し、前記正解ラベルと、前記変換後データとを対応付けた学習データを生成することを特徴とする請求項1に記載の判定処理プログラム。
  3. 前記選択する処理は、前記データ変換器を選択する度に、前記データ変換器の選択回数を計数し、計数した回数を基にして、前記複数のデータ変換器から、第1データ変換器を選択し、前記類似度を基にして、前記複数のデータ変換器から、第2データ変換器を選択し、前記前処理は、前記第2入力データを、前記第1データ変換器に入力することで変換される第1変換後データと、前記第1変換後データを、前記第2データ変換器に入力することで変換される第2変換後データと、前記正解ラベルとを基にして、学習データを生成することを特徴とする請求項2に記載の判定処理プログラム。
  4. 前記第1判定結果と類似する第2判定結果が存在しない場合に、前記第1入力データと、前記第2入力データとを基にして、新たなデータ変換器を生成する処理を更に実行することを特徴とする請求項1に記載の判定処理プログラム。
  5. 前記学習データを基にして、前記分類モデルに対する機械学習を実行する処理を更に実行することを特徴とする請求項2または3に記載の判定処理プログラム。
  6. データを複数の分類モデルに入力した場合の劣化検出の結果と、前記データを前記複数のデータ変換器に入力して得られる複数の変換後データを、前記複数の分類モデルに入力した場合の劣化検出の結果とを基にして、前記複数のデータ変換器からデータ変換器を選択する処理を更に実行することを特徴とする請求項1に記載の判定処理プログラム。
  7. コンピュータが実行する判定処理方法であって、
    分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、
    前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択し、
    選択したデータ変換器を用いて、前記分類モデルのデータ入力における前処理を行う
    処理を実行することを特徴とする判定処理方法。
  8. 分類モデルの劣化が発生した場合に、劣化が発生した後の第1入力データを分類モデルに入力することで前記分類モデルから出力される第1判定結果と、劣化が発生する前の第2入力データを、複数のデータ変換器に入力することで変換された複数の変換後データを前記分類モデルに入力することで前記分類モデルから出力される複数の第2判定結果との類似度を算出し、前記類似度を基にして、前記複数のデータ変換器からデータ変換器を選択する選択部と、
    選択したデータ変換器を用いて、前記分類モデルでのデータ入力における前処理を行う前処理部と
    を有することを特徴とする情報処理装置。
JP2021023333A 2021-02-17 2021-02-17 判定処理プログラム、判定処理方法および情報処理装置 Active JP7548047B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021023333A JP7548047B2 (ja) 2021-02-17 2021-02-17 判定処理プログラム、判定処理方法および情報処理装置
EP21208183.0A EP4047528A1 (en) 2021-02-17 2021-11-15 Determination processing program, determination processing method, and information processing apparatus
US17/542,420 US20220261690A1 (en) 2021-02-17 2021-12-05 Computer-readable recording medium storing determination processing program, determination processing method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021023333A JP7548047B2 (ja) 2021-02-17 2021-02-17 判定処理プログラム、判定処理方法および情報処理装置

Publications (2)

Publication Number Publication Date
JP2022125637A JP2022125637A (ja) 2022-08-29
JP7548047B2 true JP7548047B2 (ja) 2024-09-10

Family

ID=78621763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021023333A Active JP7548047B2 (ja) 2021-02-17 2021-02-17 判定処理プログラム、判定処理方法および情報処理装置

Country Status (3)

Country Link
US (1) US20220261690A1 (ja)
EP (1) EP4047528A1 (ja)
JP (1) JP7548047B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12067571B2 (en) * 2020-03-11 2024-08-20 Synchrony Bank Systems and methods for generating models for classifying imbalanced data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079034A (ja) 2017-10-26 2019-05-23 株式会社日立製作所 自己学習自然言語理解を伴うダイアログ・システム
WO2019215904A1 (ja) 2018-05-11 2019-11-14 日本電気株式会社 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム記録媒体
JP2020530925A (ja) 2017-08-01 2020-10-29 スリーエム イノベイティブ プロパティズ カンパニー 画像の多様化及び認識のためのニューラルスタイル変換
JP2020198041A (ja) 2019-06-05 2020-12-10 株式会社Preferred Networks 訓練装置、訓練方法、推定装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020530925A (ja) 2017-08-01 2020-10-29 スリーエム イノベイティブ プロパティズ カンパニー 画像の多様化及び認識のためのニューラルスタイル変換
JP2019079034A (ja) 2017-10-26 2019-05-23 株式会社日立製作所 自己学習自然言語理解を伴うダイアログ・システム
WO2019215904A1 (ja) 2018-05-11 2019-11-14 日本電気株式会社 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム記録媒体
JP2020198041A (ja) 2019-06-05 2020-12-10 株式会社Preferred Networks 訓練装置、訓練方法、推定装置及びプログラム

Also Published As

Publication number Publication date
EP4047528A1 (en) 2022-08-24
JP2022125637A (ja) 2022-08-29
US20220261690A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US10332033B2 (en) Self-learning based dialogue apparatus and method for incremental dialogue knowledge
CN110377911B (zh) 对话框架下的意图识别方法和装置
US9177550B2 (en) Conservatively adapting a deep neural network in a recognition system
WO2019052337A1 (zh) 语音活动检测方法及语音活动检测模型建立方法、计算机设备及存储介质
WO2019202941A1 (ja) 自己訓練データ選別装置、推定モデル学習装置、自己訓練データ選別方法、推定モデル学習方法、およびプログラム
US11715487B2 (en) Utilizing machine learning models to provide cognitive speaker fractionalization with empathy recognition
JP4862446B2 (ja) 障害原因推定システム、方法、及び、プログラム
EP4141746A1 (en) Machine learning program, method of machine learning, and machine learning apparatus
US20210073645A1 (en) Learning apparatus and method, and program
JP7548047B2 (ja) 判定処理プログラム、判定処理方法および情報処理装置
US20220198316A1 (en) Systems and Methods for Automatic Extraction of Classification Training Data
JP4594885B2 (ja) 音響モデル適応装置、音響モデル適応方法、音響モデル適応プログラム及び記録媒体
JP2019219915A (ja) 検知装置、検知方法および検知プログラム
US20230376833A1 (en) Hybrid model and system for predicting quality and identifying features and entities of risk controls
Coman et al. An incremental turn-taking model for task-oriented dialog systems
KR20200018154A (ko) 브이에이이 모델 기반의 반지도 학습을 이용한 음향 정보 인식 방법 및 시스템
US20230113524A1 (en) Reactive voice device management
JP2018156418A (ja) 修正装置、修正方法および修正プログラム
US11727269B2 (en) Dual model incremental learning
US11816422B1 (en) System for suggesting words, phrases, or entities to complete sequences in risk control documents
CN117076672A (zh) 文本分类模型的训练方法、文本分类方法及装置
TW202316215A (zh) 用於工業機器的預測性維護
JP7505582B2 (ja) 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム
JP7526591B2 (ja) 音響認識システム、音響認識方法
WO2022044243A1 (ja) 学習装置、推論装置、それらの方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240812

R150 Certificate of patent or registration of utility model

Ref document number: 7548047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150