JP7196933B2 - 学習装置および学習方法 - Google Patents

学習装置および学習方法 Download PDF

Info

Publication number
JP7196933B2
JP7196933B2 JP2020558814A JP2020558814A JP7196933B2 JP 7196933 B2 JP7196933 B2 JP 7196933B2 JP 2020558814 A JP2020558814 A JP 2020558814A JP 2020558814 A JP2020558814 A JP 2020558814A JP 7196933 B2 JP7196933 B2 JP 7196933B2
Authority
JP
Japan
Prior art keywords
output
attribute information
prediction
correspondence
unknown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020558814A
Other languages
English (en)
Other versions
JPWO2020121378A1 (ja
Inventor
智哉 坂井
泰弘 十河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020121378A1 publication Critical patent/JPWO2020121378A1/ja
Application granted granted Critical
Publication of JP7196933B2 publication Critical patent/JP7196933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、未知のタスクを対象とする実数値予測または未知のクラスも対象とする多値分類を可能にする学習装置および学習方法に関する。
未知のタスクまたは未知のクラスに対しても予測を可能とする学習方法として、例えば、非特許文献１に記載されているような属性を用いるゼロショット学習がある。
非特許文献１に記載されているようなゼロショット学習では、まず、学習事例がある入出力データと既知タスクまたは既知クラスの補助情報としての属性情報とを用いて予測器が構築される。そして、構築された予測器を用いて、新たなタスクまたは新たなクラスの属性情報を用いて予測が実行される。属性情報は、例えば、タスクやクラスを説明する、単一もしくは複数の連続値またはカテゴリ値である。なお、新たなタスクまたは新たなクラスは、学習事例がないタスクまたはクラスである。新たなタスクまたは新たなクラスを未知タスクまたは未知クラスともいう。
B. Romera-Paredes and P. H.S. Torr, "An embarrassingly simple approach to zero-shot learning", Proceedings of the 32nd International Conference on Machine Learning, vol.37, 2015, pp.2152-2161
一般に、ゼロショット学習では、既知タスクまたは既知クラスについて、全てのタスクまたはクラスに関する入出力データと属性情報とを用いて新しい予測器を構築する。すなわち、既存の予測システムを活かすことはしない。予測器を構成するために、計算資源、計算時間、人件費など様々なコストがかかる。また、多数の予測対象がある場合には、予測対象の数に応じて計算資源、計算時間、人件費が増加する。したがって、未知タスクまたは未知クラスのために予測器を新たに構成することが求められるようなゼロショット学習法を導入するためのコストは高い。
本発明は、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現することを目的とする。
本発明による学習装置は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段とを備える。
本発明による学習方法は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。
本発明による学習プログラムは、コンピュータに、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する処理とを実行させる。
本発明によれば、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現できる。
学習装置の一実施形態の構成例を示すブロック図である。 予測部の構成例を示すブロック図である。 実数値予測を行う予測部を含む学習装置の動作を示すフローチャートである。 多値分類を行う予測部を含む学習装置の動作を示すフローチャートである。 属性情報の予測値に対する寄与の程度の表示例を示す説明図である。 表示されるグラフの一例を示す説明図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 学習装置の主要部を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
学習装置の入力をｘ、学習装置の出力をｙ、各タスクまたはクラスｔに対する予測器をｈｔ、各タスクまたは各クラスの特性を表す属性情報をａｔ で表す。本実施形態の学習装置は、未知タスクまたは未知クラスに対する予測を可能にするために、追加された属性情報と既に運用中の予測器とを用いる。追加された属性情報は、未知タスクまたは未知クラスに対応する属性情報である。また、運用中の予測器は、学習済みの予測器である。なお、一般に、クラスにはラベルが付随する。ラベルは、属性情報に含まれていてもよい。
入力は、ｄ次元ベクトルで表される。出力は、スカラ値で表される。出力値のドメイン（終域）は、実数値予測では実数体である。ドメインは、多値分類では離散集合である。
既知タスクまたは既知クラスの数がｋ個あるとする。また、各タスクまたはクラスに対応する既に運用中のｋ個の予測器があると仮定する。なお、スカラ値を返すｋ個の個別の予測器が存在してもよいが、ｋ個のスカラ値を出力する一つの予測器が存在してもよい。例えば、前者の場合には、各予測器ｈｔに応じて、属性情報ａｔ として、異なる属性ベクトルが得られているとする。後者の場合には、予測器の各出力次元（次元数ｋは、タスク数またはクラス数に相当）に対して、属性情報ａｔ として、一つの属性ベクトルが得られているとする。なお、属性情報は、ｍ次元の属性ベクトルで表されるとする。
運用中の予測器ｈｔは、入力ｘを受けとる。実数値予測を実施する予測器ｈｔは、予測値そのものを出力する関数である。多値分類を実施する予測器ｈｔは、入力ｘがクラスｔに属する度合いを表すスコア（予測スコア）を出力する関数である。多値分類を実施する予測器ｈｔは、スコアが最も高いクラスを予測クラスｙとして出力する。
運用中の予測器として、例えば重回帰法や深層学習など任意の統計的学習手法やヒューリスティクスによって、既存のタスクまたは既存のクラスのそれぞれについて、入力ｘと出力ｙとの対応関係を学習した予測器が得られているとする。
次に、運用中の予測器ｈｔを活用した未知タスクまたは未知クラスに対する予測法を説明する。以下、ｋ個の個別の予測器が存在する場合を例にする。また、追加された属性情報（未知タスクまたは未知クラスに対応する属性情報）は、あらかじめ取得されている。
予測したいテスト入力点に対して、運用中の予測器の出力値を得る。すなわち、テスト入力点に対応するテスト入力データを受けた予測器は、予測値またはスコアを出力値として出力する。そして、得られた出力値と既知の属性ベクトルとの間の対応関係を学習する。例えば、既知の属性ベクトルと、対応する予測器の出力値とを、入出力の組として、既存の任意の学習アルゴリズムに与えて対応関係を得る。利用される学習アルゴリズムは、任意である。学習アルゴリズムの一例として、リッジ回帰、ランダムフォレスト、深層学習が使用可能である。また、ノイズに対して頑健な学習アルゴリズムを用いると、後述する対応関係推論部における、予測器や属性情報に対するノイズの影響が減少する。例えば、対応関係推論部が、フーバー回帰やロバスト・サポートベクトル回帰を用いる場合には、運用中の予測器の誤差や属性情報のノイズに対して頑健な対応関係の学習が可能になる。また、対応関係の推論に決定木や線形モデルを用いると、結果の解釈が容易になる。
一つのテスト入力点だけを扱うのではなく、複数のテスト入力点を考慮した予測も可能である。その場合には、一つの既知の属性ベクトルに対して、対応する予測器の出力値が複数得られるので、多値出力関数を学習するアルゴリズムを用いることができる。また、複数のテスト入力点の情報を考慮した様々な正則化を実施することができる。すなわち、誤差関数に制約（事前知識）を表す項を追加することによって性能が向上するエントロピー正則化、多様体正則化、グループ正則化、構造正則化等の学習アルゴリズムを利用することができる。
実数値予測の場合には、得られた対応関係を用いて、未知タスクの属性ベクトルに対する予測出力（予測値）を計算できる。多値分類の場合には、得られた対応関係を用いて、既知クラスおよび未知クラスの属性ベクトルに対するすべての予測値を計算してスコアを出力する。そして、スコアが最も高いクラスをテスト入力データに対する予測クラスのラベル（予測クラスラベル）とする。
次に、属性情報と運用中の予測器の出力との対応関係を推論する方法を説明する。一例として、線形モデルを用いて、その結果を解釈する方法を説明する。なお、線形モデルは一例であって、他のタイプのモデルが用いられてもよい。
正則化としてL1正則化を用いると、パラメータの多くがゼロになり、求めたパラメータの解釈が例えばL2正則化と比べて容易になる。したがって、L1正則化を用いると、予測に有効な属性情報を可視化するときに視認性が向上する。
さらに、テストデータ点が複数ある場合には、それらのテストデータ点に対するパラメータベクトルを個別に推定するのではなく、テストデータ点をまとめて取り扱うことが好ましい。パラメータベクトルもまとめてパラメータ行列として扱うときには、そのパラメータ行列に対して正則化を実施することが考えられる。例えば、L_{2,1} 正則化やトレースノルム正則化を適用することができる。そのような処理によって、既知タスクまたは既知クラスのうち、予測値をよく説明するもの数個を選んで、その結果を可視化できる。
次に、学習装置の実施形態の構成例を説明する。
図１は、学習装置の一実施形態の構成例を示すブロック図である。図１に示すように、学習装置１は、入力部１０と、演算部２０と、出力部４０とを含む。
実数値予測が行われるときには、入力部１０は、予測器を入力し、かつ、実数値予測の対象となるテスト入力データと各タスクの属性情報とを入力する。例えば、入力部１０には、各タスクに対応する予測器、および、既知の各タスクの特性が記述された属性情報が既知の属性情報として与えられる。さらに、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知タスクの属性情報とが、テストデータとして与えられる。
多値分類が行われるときには、入力部１０は、予測器を入力し、かつ、多値分類の対象となるテスト入力データと各クラスの属性情報とを入力する。例えば、入力部１０には、各クラスに対応する予測器、および、既知の各クラスの特性が記述された属性情報が既知の属性情報として与えられる。また、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知クラスの属性情報とが、テストデータとして与えられる。
演算部２０は、予測器記憶部２１と、既知属性記憶部２２と、テストデータ記憶部２３と、予測部２４とを含む。
予測部２４は、テストデータ記憶部２３から予測に必要なデータ（すなわち、テスト入力データ）を読み出す。そして、予測部２４は、予測器のテスト入力データに対する出力結果と既知属性記憶部２２に記憶された複数の属性ベクトルとの対応関係を推論する。さらに、予測部２４は、テスト入力データと未知タスクまたは未知クラスの属性情報とについて、推論された対応関係を用いて予測値を算出する。
実数値予測が行われているときには、すなわち、実数値予測を行う予測部２４が設けられているときには、出力部４０は、予測部２４が算出した予測値を予測結果（予測出力）として出力する。多値分類が行われているときには、すなわち、多値分類を行う予測部２４が設けられているときには、出力部４０は、予測部２４が計算した予測スコアと予測クラスとを予測結果（予測出力）として出力する。
図２は、予測部２４の構成例を示すブロック図である。図２に示すように、予測部２４は、初期化部３１、対応関係推論部３２、対応関係記憶部３３、および予測実行部３４を含む。
初期化部３１は、運用中の予測器を予測器記憶部２１から読み出す。また、初期化部３１は、既知タスクまたは既知クラスの属性ベクトルを既知属性記憶部２２から読み出す。さらに、初期化部３１は、予測結果が必要なデータとタスクまたはクラスの属性ベクトルとをテストデータ記憶部２３から読み出す。
対応関係推論部３２は、テスト入力データに対する学習済み予測器（運用中の予測器）の出力を得る。そして、対応関係推論部３２は、予測器の出力と既知属性記憶部２２から読み出した複数の属性ベクトルとの対応関係を推論する。対応関係記憶部３３は、推論された対応関係を記憶する。
予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。
次に、図３および図４のフローチャートを参照して学習装置１の動作を説明する。図３は、実数値予測を行う予測部２４を含む学習装置１の動作を示すフローチャートである。
実数値予測が行われる場合に、入力部１０は、入力された各タスクにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ａ）。入力部１０は、入力された各タスクの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ａ）。入力部１０は、入力されたテスト入力データと入力された未知タスクの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ａ）。テスト入力データは、予測結果が望まれるデータである。
予測部２４は、予測器記憶部２１と既知属性記憶部２２とテストデータ記憶部２３とから、予測器と上述したデータとを読み出す（ステップＳ１２）。具体的には、予測部２４において、初期化部３１は、予測器記憶部２１から予測器を読み出す。初期化部３１は、既知属性記憶部２２から既知タスクの属性ベクトルを読み出す。初期化部３１は、テストデータ記憶部２３から、テスト入力データと未知タスクの属性ベクトルとを読み出す。
次に、予測部２４は、テスト入力データに対する予測器の出力を得る（ステップＳ１３）。具体的には、予測部２４において、対応関係推論部３２は、予測器記憶部２１から読み出した予測器を用いて、テストデータ記憶部２３から読み出したテスト入力データに対する予測器の出力を得る。
次いで、対応関係推論部３２は、推論のための所定のアルゴリズムを用いて、予測器の出力と既知の属性情報との対応関係を推論する（ステップＳ１４）。予測部２４は、所定のアルゴリズムとして、例えば、正則化最小二乗法や、サポートベクトル回帰、ランダムフォレストを利用する。対応関係推論部３２は、推論した対応関係を対応関係記憶部３３に格納する。
そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する（ステップＳ１５Ａ）。出力部４０は、計算された予測結果を出力する（ステップＳ１６Ａ）。
図４は、多値分類を行う予測部２４を含む学習装置１の動作を示すフローチャートである。
多値分類が行われる場合に、入力部１０は、入力された各クラスにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ｂ）。入力部１０は、入力された各クラスの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ｂ）。入力部１０は、入力されたテスト入力データと入力された未知クラスの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ｂ）。テスト入力データは、予測結果が望まれるデータである。
予測部２４は、図３に示されたステップＳ１２～Ｓ１４の処理と同様の処理を実行する。ただし、初期化部３１は、ステップＳ１２の処理で、既知属性記憶部２２から既知クラスの属性ベクトルを読み出す。
そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する。すなわち、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測スコアと予測クラスとを計算する（ステップＳ１５Ｂ）。出力部４０は、計算された予測結果を出力する。なお、予測部２４は、例えば、予測スコアが最も高いクラスを予測クラスとして出力したり、当該予測クラスに対応するラベルを予測ラベルとして出力する。
以上に説明したように、本実施形態の学習装置１は、ゼロショット学習に基づく学習を行うが、未知タスクまたは未知クラスに対する予測を行うときに、新たに予測器を生成することはなく、学習済みの既存の予測器を活用する。したがって、低コストで学習装置を得ることができる。
実数値予測を行う予測部２４を含む学習装置１の実施例として、商品需要予測を行う学習装置を説明する。
学習装置１において、予測器記憶部２１には、既存の複数種類の商品それぞれに対する需要予測を行う運用中の予測器が記憶される。既知属性記憶部２２には、既存商品に対する、商品名、原材料および栄養成分などを適切な統計量に変換したデータが属性ベクトルとして記憶される。テストデータ記憶部２３には、新商品の属性ベクトルと、予測を行いたい日時や天気の情報とがテストデータとして記憶される。
本実施例では、学習装置１は、商品をタスクとして需要を予測する。図３のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の出力と、既知属性記憶部２２から読み出した既知の属性情報とを用いて、商品の属性情報と商品の需要予測値との対応関係を、例えば正則化最小二乗法を用いて推論する。ステップＳ１５Ａでは、予測実行部３４は、推論された対応関係に基づいて、新商品の属性情報に対応する需要予測値を計算する。出力部４０は、計算した需要予測値を出力する。
多値分類を行う予測部２４を含む学習装置１の実施例として、ニュース記事分類を行う学習装置を説明する。
本実施例では、予測器記憶部２１には、ニュース配信サイトにおける、ニュース記事が属するカテゴリを予測する予測器が記憶される。既知属性記憶部２２には、カテゴリの特性を示す統計量が属性ベクトルとして記憶される。テストデータ記憶部２３には、新たに追加されたカテゴリの属性情報と新しいニュース記事とが記憶される。
図４のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の予測スコアと既知の属性情報とを用いて、適当な学習アルゴリズムで既知の属性情報と予測スコアとの対応関係を推論する。ステップＳ１５Ｂでは、予測実行部３４は、推論された対応関係に基づいて、新たに追加されたクラスの属性に対する予測スコアを計算する。そして、予測実行部３４は、既知の属性情報の予測スコアおよび新たに計算した予測スコアの中で、最も予測スコアが高い属性情報に対応するカテゴリを予測ラベルとして選択する。出力部４０は、計算した予測ラベルと予測スコアを出力する。
実施形態における出力部４０は、得られた結果を可視化をすることもできる。以下、可視化の実施例を説明する。
例えば、対応関係を学習するアルゴリズムとして、解釈が容易になる正則化を線形モデルに加えた学習アルゴリズムを用いることによって、出力部４０は、線形モデルのパラメータを可視化表示することができる。
図５は、属性情報の予測値に対する寄与の程度の表示例を示す説明図である。上述したように、対応関係推論部３２の処理において、L1正則化などが用いられる場合には、パラメータの数が削減される。本実施例に当てはめると、予測値に寄与した属性情報のみが選定される。
図５において、横軸は属性情報を示す。なお、本実施例では、属性情報は、２０次元の属性ベクトルで表されているとする。横軸の数値は、２０次元の属性ベクトルの各次元に対応する。縦軸は、テスト入力点の番号を示す。白表示は、予測に利用された属性情報に対応する。黒表示は、予測にほとんど利用されなかった（パラメータ値がかなり小さい）属性情報に対応する。学習装置１の使用者は、テスト入力点の予測値に寄与する属性情報がどれであるかを視覚的に把握することができる。
なお、出力部４０には、図５に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。
また、出力部４０は、得られたパラメータ値を二値化し、二値化されたパラメータ値によって属性情報の利用の有無を表示してもよいが、得られたパラメータ値をそのまま表示してもよい。その場合には、予測に影響する属性情報の影響の程度が視認可能になる。
さらに、出力部４０は、利用される正則化およびテスト入力データ点に応じて、属性、パラメータおよび予測値の様々な関係を表示することもできる。
対応関係を学習するアルゴリズムとして決定木のような予測値を計算する過程を解釈しやすいアルゴリズムを予測部２４が用いる場合には、出力部４０は、予測値の計算過程を、グラフで示すことができる。
図６は、表示されるグラフの一例を示す説明図である。上述したように、対応関係の推論に決定木や線形モデルを用いると結果の解釈が容易になる。例えば、結果が表示された場合に、結果が視認されやすくなる。本実施例では、対応関係推論部３２の処理において、決定木が用いられる。
図６に示す例では、例えば、未知タスクの属性ベクトルとして、属性１から属性５に対応する値が（７、５、４、３、－３）で表されるとき、予測実行部３４が、ノード１、ノード２、ノード５を経由して、予測出力（予測値）として１を返すことが視認される。
なお、出力部４０には、図６に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。
図７は、ＣＰＵ（Central Processing Unit ）を有するコンピュータの一例を示すブロック図である。コンピュータは、学習装置１に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された学習装置１における演算部２０の各記憶部以外の機能を実現する。また、図２に示された予測部２４における初期化部３１および対応関係推論部３２の機能を実現する。なお、ＣＰＵ１０００に代えて、または、ＣＰＵ１０００とともに、ＧＰＵ（Graphics Processing Unit）が用いられてもよい。
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。また、図１に示された予測器記憶部２１、既知属性記憶部２２、およびテストデータ記憶部２３と、図２に示された対応関係記憶部３３は、メモリ１００２または記憶装置１００１で実現される。
図８は、学習装置の主要部を示すブロック図である。図８に示す学習装置１００は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段１１０（実施形態では、対応関係推論部３２で実現される。）と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段１２０（実施形態では、予測実行部３４で実現される。）とを備える。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。
（付記１）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。
（付記２）前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
付記１の学習装置。
（付記３）前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
付記１または付記２の学習装置。
（付記４）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
付記３の学習装置。
（付記５）前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
付記１または付記２の学習装置。
（付記６）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。
（付記７）前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
付記６の学習方法。
（付記８）前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
付記６または付記７の学習方法。
（付記９）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
付記８の学習方法。
（付記１０）前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程を表示器にグラフ表示する
付記６または付記７の学習方法。
（付記１１）コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。
（付記１２）コンピュータに、
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用させる
付記１１の学習プログラム。
（付記１３）コンピュータに、
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用させ、
前記予測出力に寄与する属性情報を視認可能に表示器に表示させる
付記１１または付記１２の学習プログラム。
（付記１４）コンピュータに、
前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示させる
付記１３の学習プログラム
（付記１５）コンピュータに、
前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用させ、
前記予測出力が計算される過程を表示器にグラフ表示させる
付記１１または付記１２の学習プログラム。
（付記１６）コンピュータが、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。
１，１００ 学習装置
１０ 入力部
２０ 演算部
２１ 予測器記憶部
２２ 既知属性記憶部
２３ テストデータ記憶部
２４ 予測部
３１ 初期化部
３２ 対応関係推論部
３３ 対応関係記憶部
３４ 予測実行部
４０ 出力部
１１０ 対応関係推論手段
１２０ 予測手段
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

Claims (10)

  1. 既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
    推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
    を備える学習装置。
  2. 前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
    請求項１に記載の学習装置。
  3. 前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
    前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
    請求項１または請求項２に記載の学習装置。
  4. 前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
    請求項３に記載の学習装置。
  5. 前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
    前記予測出力が計算される過程をグラフ表示する出力部を備える
    請求項１または請求項２に記載の学習装置。
  6. 既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
    計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
    推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
    学習方法。
  7. 前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
    請求項６に記載の学習方法。
  8. 前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
    前記予測出力に寄与する属性情報を視認可能に表示器に表示する
    請求項６または請求項７に記載の学習方法。
  9. 前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
    請求項８に記載の学習方法。
  10. コンピュータに、
    既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
    計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
    推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
    を実行させるための学習プログラム。
JP2020558814A 2018-12-10 2018-12-10 学習装置および学習方法 Active JP7196933B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045321 WO2020121378A1 (ja) 2018-12-10 2018-12-10 学習装置および学習方法

Publications (2)

Publication Number Publication Date
JPWO2020121378A1 JPWO2020121378A1 (ja) 2021-10-07
JP7196933B2 true JP7196933B2 (ja) 2022-12-27

Family

ID=71075742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020558814A Active JP7196933B2 (ja) 2018-12-10 2018-12-10 学習装置および学習方法

Country Status (3)

Country Link
US (1) US20220027760A1 (ja)
JP (1) JP7196933B2 (ja)
WO (1) WO2020121378A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114444696A (zh) * 2020-11-03 2022-05-06 华为云计算技术有限公司 一种任务学习系统、方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123574A (ja) 2009-12-08 2011-06-23 Canon Inc 推論装置、推論方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011123574A (ja) 2009-12-08 2011-06-23 Canon Inc 推論装置、推論方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
太田貴大ほか，回帰木を用いた識別器のモールディングによる文字認識の高速化，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2009年12月10日，第109巻, 第344号，pp.1-6，ISSN:0913-5685

Also Published As

Publication number Publication date
WO2020121378A1 (ja) 2020-06-18
JPWO2020121378A1 (ja) 2021-10-07
US20220027760A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
US20150254554A1 (en) Information processing device and learning method
Shouzhen et al. Linguistic induced generalized aggregation distance operators and their application to decision making
JP6311851B2 (ja) 共クラスタリングシステム、方法およびプログラム
US20140317034A1 (en) Data classification
JP6971514B1 (ja) 情報処理装置、情報処理方法及びプログラム
US10635078B2 (en) Simulation system, simulation method, and simulation program
Anandhi et al. Regression techniques in software effort estimation using cocomo dataset
Mendonça et al. Approximating network centrality measures using node embedding and machine learning
CN114219562A (zh) 模型的训练方法、企业信用评估方法和装置、设备、介质
Mori et al. Inference in hybrid Bayesian networks with large discrete and continuous domains
JP7196933B2 (ja) 学習装置および学習方法
Rachmawan et al. Optimization of missing value imputation using reinforcement programming
WO2018154662A1 (ja) 価格最適化システム、価格最適化方法および価格最適化プログラム
JP6687011B2 (ja) クラスタリングシステム、方法およびプログラム
CN109728958B (zh) 一种网络节点信任预测方法、装置、设备及介质
CN112154459A (zh) 模型解释
Jadli et al. A Novel LSTM-GRU-Based Hybrid Approach for Electrical Products Demand Forecasting.
KR20210042709A (ko) 기업 관계 데이터를 이용한 주가 예측 방법 및 서버
JP7424373B2 (ja) 分析装置、分析方法及び分析プログラム
CN108629062A (zh) 用于定价优化的方法、装置和系统
Li et al. Short-term bus passenger flow forecast based on deep learning
Judy et al. Parallel fuzzy cognitive map using evolutionary feature reduction for big data classification problem
Shokry et al. Mixed-integer multiparametric approach based on machine learning techniques
Hong et al. Fuzzy nonlinear regression model based on LS-SVM in feature space
JP6577515B2 (ja) 分析装置、分析方法及び分析プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R151 Written notification of patent or utility model registration

Ref document number: 7196933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151