JPWO2019092931A1 - 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム - Google Patents

Abstract

判別モデル生成装置８０は、算出部８１と、学習部８２とを備えている。算出部８１は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する。学習部８２は、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する。

Description

本発明は、学習データに基づいて判別モデルを生成する判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラムに関する。

現在や将来予測される状況を判別するため、学習データから判別に用いるモデルを生成することが行われる。具体的には、目的変数ｙが数値で表される場合に、その目的変数ｙがしきい値θより大きいか否かに基づいて、対象とする事例を判別するモデルを生成する場合がある。

このような事例として、例えば、ある状態値ｙが危険水準θに達するか否か、飲食店の評価値ｙが高評価θ以上になるか否か、新商品発売後１週間で一定数θ以上売り上げるか否か、などが挙げられる。

例えば、特許文献１には、監視領域内に滞留している人や物を識別する識別器を学習するための装置が記載されている。特許文献１に記載された装置は、検出対象が滞留していることを示す画像を正例、検出対象が滞留していないことを示す画像を負例として、検出対象が滞留しているか否かを識別する識別器を学習する。このように生成された識別器を用いることで、任意の入力画像に対し、正例または負例に属する確からしさを示す滞留度を得ることが可能になる。

なお、特許文献２には、機械学習における能動学習方法が記載されている。特許文献２に記載された能動学習方法では、学習データの取得順序に応じて学習データに重みを設定し、以前から蓄積されているデータよりも、新しく取得されたデータを重要視した学習を行う。

国際公開２０１６／１３６２１４号 国際公開２００８／０７２４５９号

状況を判別する方法として、回帰分析を行い、生成された予測モデルによる予測値に対して判別を行う方法が一案として考えられる。ただし、ある状態になるか否かを判別する状況においては、目的変数の精度自体は必ずしも必要ではない。例えば、正例を示すデータが少ないような状況では、興味のない領域の精度が、興味領域の精度を下げてしまう場合がある。

例えば、交通事故が発生するか否かを判別するような事例を考える。一般に、交通事故が発生する状況は、交通事故が発生しない状況に比べて大幅に少ない。このような事例において回帰分析を行うと、交通事故が発生する状況が興味領域であるにもかかわらず、交通事故が発生しない状況に最もフィットするようなモデルが生成されてしまう。

一方、特許文献１に記載された装置は、予め正例と負例とにラベル付けされた学習データに基づいて識別器が学習される。ところで、識別器を学習する際に用いられる学習データとして、学習データに含まれる識別対象（目的変数）の実測値が、正例（例えば、１）か負例（例えば、０）かの２値ではなく、実測値そのものとして入手できる場合がある。

このような場合、例えば数値データとして入手可能な値を、数値データから正例（１）か、負例（０）かの２値に変換してから学習を行うことが考えられる。しかし、このような変換は、数値データが使えるにも関わらず、値を０または１に縮約してしまうため、利用可能な情報量が減ってしまい、モデルの判別精度に悪影響を与える場合がある。

判別モデルを生成するには、より多くの学習データを利用できることが好ましい。しかし、学習データが少ない場合であっても、少ない学習データをより効率的に用いて精度のよいモデルを学習できることが望まれている。

そこで、本発明は、学習データが少ない場合でも精度のよい判別モデルを学習できる判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラムを提供することを目的とする。

本発明による判別モデル生成装置は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出部と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えたことを特徴とする。

本発明による判別モデル生成方法は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出することを特徴とする。

本発明による判別モデル生成プログラムは、コンピュータに、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出処理、および、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させることを特徴とする。

本発明によれば、学習データが少ない場合でも精度のよい判別モデルを学習できるという技術的効果を奏する。

本発明による判別モデル生成装置の第１の実施形態の構成例を示すブロック図である。 学習データの例を示す説明図である。 学習データに基づいてラベルを算出した結果の例を示す説明図である。 第１の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明による判別モデル生成装置の第２の実施形態の構成例を示すブロック図である。 学習データから正例のデータおよび負例のデータを生成する処理の例を示す説明図である。 学習データに基づいて重みを算出した結果の例を示す説明図である。 第２の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明による判別モデル生成装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明によるラベル生成装置の一実施形態を示すブロック図である。 実施例における学習データの分布を示す説明図である。 しきい値に基づいてサンプルを正例のデータおよび負例のデータに分類した結果の例を示す。 評価結果の例を示す説明図である。 本発明による判別モデル生成装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。本実施形態で生成する判別モデルは、上述するような、目的変数ｙが数値で表される場合に、判別対象（予測対象）の目的変数ｙが、あるしきい値θを超える（すなわち、ｙ＞θになる）か否かを判別するモデルであるとする。

実施形態１．
図１は、本発明による判別モデル生成装置の第１の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置１００は、記憶部１０と、ラベル算出部２０と、学習器３０とを備えている。

記憶部１０は、学習データを記憶する。なお、学習データのことを、サンプルと記すこともある。また、記憶部１０は、後述するラベル算出部２０および学習器３０が用いるパラメータなどのデータを記憶していてもよい。記憶部１０は、例えば、磁気ディスク装置等により実現される。

図２は、学習データの例を示す説明図である。図２に例示する学習データは、ある商品の日付ごとの売上データを示す。図２に例示する学習データは、１週間前の売上、休日か否かを示す休日フラグ、温度、および、売上を含む。これらのデータは、判別モデルにおける説明変数として用いられる。また、図２に例示する判定結果は、売上が１００を超えたか否か（超えている場合１、超えていない場合０）を示す。

ラベル算出部２０は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出する。具体的には、ラベル算出部２０は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する。

例えば、正例を表すラベルを「１」とし、負例を表すラベルを「０」とする。そして、「１」に近い値ほど、より正例らしさを表すラベルを表し、「０」に近い値ほど、より負例らしさを表すラベルを表すとする。このとき、ラベル算出部２０は、目的変数の値がしきい値に比べて大きくなるほど、「１」に近い値を示すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、「０」に近い値を示すラベルを算出してもよい。このように、本発明で算出するラベルは、正例らしさおよび負例らしさを完全に区別するものではなく、柔軟なラベルであることから、ソフトラベル（ｓｏｆｔ−Ｌａｂｅｌ）と言うことができる。一方、ソフトラベルの対として、正例らしさおよび負例らしさを完全に区別するラベル（例えば、正例を表すラベルが「１」、負例を表すラベルが「０」）のことを、以下、ハードラベルと記す。

ラベル算出部２０は、目的変数と閾値との差に基づいて値を決定する関数を用いて、ラベルを算出してもよい。ラベル算出部２０は、例えば、目的変数の値としきい値とが等しい場合に、正例および負例らしさが同等（０．５）になり、目的変数の値がしきい値よりも大きくなるにしたがって１に近づき、目的変数の値がしきい値よりも小さくなるにしたがって０に近づくシグモイド関数を用いて、ラベルを算出してもよい。

しきい値をθとし、データｉの目的変数の値をｙ_ｉとすると、シグモイド関数ｆは、以下に示す式１で表される。なお、式１において、Ｔは、温度パラメータである。

なお、ラベル算出部２０がラベルの算出に用いる関数は、シグモイド関数に限定されない。例えば、正例を表すラベルを「１」とし、負例を表すラベルを「０」とした場合には、目的変数の値について単調非減少、かつ値域が［０，１］に収まる関数であれば、その内容は任意である。

図３は、学習データに基づいてラベルを算出した結果の例を示す説明図である。図３に示す例では、上記に示す式１に基づいてラベルを算出した結果を示す。ここでは、温度パラメータＴ＝１０としている。一般的な方法の場合、例えば、ｉｄ＝２のデータが示す売上は、９９であり、極めて正例に近いデータであるにもかかわらず、閾値１００より小さいため、ｉｄ＝２のデータは単なる負例（０）のデータとして用いられる。

しかし、本実施形態では、ラベル算出部２０が、負例とされるデータであっても、正例に近いようなデータには、負例の中でも正例に近いことを示すラベルを算出する。言い換えると、ラベル算出部２０は、学習データに含まれる目的変数の値としきい値とを比較したときには負例と判別される学習データであっても、その学習データについて正例らしさを表すラベルを算出する。そのため、学習データが少ない場合でも、その学習データを効率的に利用できるため、より精度のよい判別モデルを学習できる

学習器３０は、ラベル算出部２０が算出したラベルを対応付けた学習データを用いて、判別モデルを学習する。具体的には、学習器３０は、しきい値を超えるか否かを目的変数とし、図２に例示するような変数を説明変数とするような判別モデルを生成する。なお、本実施形態では、学習データの目的変数に対応する値として、「しきい値を超えるか否か」を表すようなハードラベルの代わりにソフトラベルを用いる。すなわち、ソフトラベルをあたかも目的変数のように扱って学習が行われる。例えば、説明変数をｘ、ソフトラベルをｓ、ハードラベルをｙと定義した場合、一般的な判別モデルの学習では（ｘ，ｙ）が学習データとして用いられるところ、本実施形態では（ｘ，ｓ）が学習データとして用いられる。なお、学習器３０が学習を行う方法は任意である。学習器３０は、例えば、ロジスティック回帰を用いて判別モデルを学習してもよい。

ラベル算出部２０と、学習器３０とは、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、ラベル算出部２０および学習器３０として動作してもよい。また、推奨発注数決定装置の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

ラベル算出部２０と、学習器３０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

また、判別モデル生成装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本実施形態の判別モデル生成装置の動作を説明する。図４は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。ラベル算出部２０は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出する（ステップＳ１１）。具体的には、ラベル算出部２０は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する。そして、学習器３０は、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する（ステップＳ１２）。

以上のように、本実施形態では、ラベル算出部２０が、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出し、学習器３０が、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する。よって、学習データが少ない場合でも精度のよい判別モデルを学習できる。

実施形態２．
次に、本発明による判別モデル生成装置の第２の実施形態を説明する。第１の実施形態では、ラベル算出部２０が、各学習データについて、目的変数の値としきい値との差に応じて正例らしさまたは負例らしさを表すラベルを算出する方法を説明した。本実施形態では、各学習データについて、正例のデータとしたときの重み（正例の重み）と、負例のデータとしたときの重み（負例の重み）をそれぞれラベルとして算出する方法を説明する。

図５は、本発明による判別モデル生成装置の第２の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置２００は、記憶部１０と、重み算出部２１と、学習器３１とを備えている。記憶部１０が記憶する内容は、第１の実施形態と同様である。

重み算出部２１は、目的変数の値に関わらず、学習データから、正例のデータおよび負例のデータを生成する。図６は、学習データから正例のデータおよび負例のデータを生成する処理の例を示す説明図である。図６に示す例では、重み算出部２１が、図２に例示する学習データを、それぞれ正例のデータおよび負例のデータとして生成していることを示す。

例えば、図２に例示するｉｄ＝０のデータは、判定結果から正例のデータである。一方、本実施形態では、正例のデータからも敢えて負例として用いるデータを生成する。具体的には、重み算出部２１は、図２に例示するｉｄ＝０の正例データから、図６に例示するｉｄ＝０の正例データだけでなく、ｉｄ＝５の負例データを生成する。同様に、重み算出部２１は、図２に例示するｉｄ＝１のデータからｉｄ＝１の正例データ及びｉｄ＝６の負例データを生成する。

同様に、本実施形態では、負例のデータからも正例として用いるデータを生成する。具体的には、重み算出部２１は、図２に例示するｉｄ＝２の負例データから、図６に例示するｉｄ＝７の負例データだけでなく、ｉｄ＝２の正例データを生成する。同様に、重み算出部２１は、図２に例示するｉｄ＝３のデータからｉｄ＝３の正例データ及びｉｄ＝８の負例データを生成し、図２に例示するｉｄ＝４のデータからｉｄ＝４の正例データ及びｉｄ＝９の負例データを生成する。

重み算出部２１は、生成した正例のデータに対しては、目的変数の値がしきい値に比べて大きくなるほど、正例の重みを高く算出する。また、生成した負例のデータに対しては、目的変数の値がしきい値に比べて小さくなるほど、負例の重みを高く算出する。この正例の重みおよび負例の重みが、第１の実施形態のラベルと言うことができる。

具体的には、重み算出部２１は、第１の実施形態におけるラベル算出部２０がラベルを算出する方法と同様の方法で、正例の重みを算出してもよい。重み算出部２１は、例えば、目的変数の値がしきい値に比べて大きくなるほど、「１」に近くなるような正例の重みを算出する。そして、重み算出部２１は、算出した正例の重みを１から減ずることにより、負例の重みを算出してもよい。すなわち、ｉ番目の学習データをｘ_ｉとし、正例のデータの重み（正例の重み）をｗ_ｉとした場合、重み算出部２１は、負例のデータの重みを１−ｗ_ｉで算出してもよい。

また、重み算出部２１は、目的変数と閾値との差に基づいて値を決定する関数を用いて、正例の重みおよび負例の重みを算出してもよい。具体的には、重み算出部２１は、上記式１に示すシグモイド関数を用いて、正例の重みを算出してもよく、目的変数の値について単調非減少、かつ値域が［０，１］に収まる関数を用いて正例の重みを算出してもよい。

図７は、学習データに基づいて重みを算出した結果の例を示す説明図である。図７に示す例でも、上記に示す式１に基づいて重みを算出しており、温度パラメータＴ＝１０である。例えば、図７に例示するｉｄ＝５のデータは、本来は正例であるデータから生成された負例のデータである。しかし、本実施形態では、ソフトラベルを用いることで、可能性として存在する負例の重みを算出できる。このように、図７に例示する結果と図３に例示する結果とを比較すると、負例のデータについても重みが算出されるため、学習データを増やすことが可能になる。

例えば、負例であっても目的変数の値が閾値に近いサンプル（例えば、事故の有無を示すデータにおける“ヒヤリハット”のような事例）は、正例のサンプルとしての利用価値もあるサンプルと考えられる。本実施形態では、重み算出部２１は、学習データに含まれる目的変数の値としきい値とを比較したときには負例と判別される学習データであっても、その学習データについて正例らしさを表すラベル（すなわち、正例のデータ）を算出する。すなわち、このようなサンプルに正例の重みを設定することで、学習データを増やすことが可能になる。

また、後述する学習器３１が、ハードラベルを学習できるように、重み算出部２１は、算出した重みｗ_ｉに定数Ｃを加えてもよい。すなわち、重み算出部２１は、ｗ_ｉ＋Ｃを重みとして算出してもよい。

また、重み算出部２１は、機械学習における不均衡問題（ｉｍｂａｌａｎｃｅｄ問題）への対応と同様に、正例と負例の重みの合計のバランスを１：１などに調整してもよい。重み算出部２１は、例えば、正例の重みをｗ_ｉ／Σｗ_ｉ、負例の重みを（１−ｗ_ｉ）／（Σ１−ｗ_ｉ）と調整してもよい。

学習器３１は、重み算出部２１が算出した正例の重みまたは負例の重みを対応付けた学習データを用いて、判別モデルを学習する。第１の実施形態と同様、学習器３１は、しきい値を超えるか否かを目的変数とし、図６に例示するような変数を説明変数とするような判別モデルを、重み付けされたサンプルを用いて学習することにより生成する。なお、学習器３１が学習を行う方法は任意である。学習器３１は、例えば、ロジスティック回帰を用いて判別モデルを学習してもよい。

重み算出部２１および学習器３１も、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサによって実現される。

次に、本実施形態の判別モデル生成装置の動作を説明する。図８は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。重み算出部２１は、学習データから、正例のデータおよび負例のデータを生成する（ステップＳ２１）。重み算出部２１は、しきい値と、学習データに含まれる目的変数の値との差に応じて、正例の重みおよび負例の重みを算出する（ステップＳ２２）。具体的には、重み算出部２１は、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みを算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みを算出する。学習器３１は、算出された正例の重みおよび負例の重みを対応付けた学習データを用いて、判別モデルを学習する（ステップＳ２３）。

以上のように、本実施形態では、重み算出部２１が、学習データから、正例のデータおよび負例のデータを生成する。その際、重み算出部２１は、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する。よって、第１の実施形態の効果に加え、正例および負例のデータを使用して学習する既存の手法を利用することが可能になる。

実施形態３．
次に、本発明による判別モデル生成装置の第３の実施形態を説明する。本実施形態では、複数の判別モデルを学習し、より評価の高い判別モデルを選択する方法を説明する。図９は、本発明による判別モデル生成装置の第３の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置３００は、記憶部１０と、算出部２２と、学習器３２と、評価部４０とを備えている。記憶部１０が記憶する内容は、第１の実施形態と同様である。

算出部２２は、学習データに付加するラベルを算出する。算出部２２が算出するラベルは、第１の実施形態のラベル算出部２０が算出するラベルであってもよく、第２の実施形態の重み算出部２１が算出する正例の重みおよび負例の重みであってもよい。

また、本実施形態の算出部２２は、複数の観点に基づいて、各学習データに対して複数のラベルを算出する。観点の選択方法は任意である。例えば、上記の式１を用いてラベルを算出する場合、算出部２２は、温度パラメータＴを変更させて複数のラベルを算出してもよい。すなわち、算出部２２は、閾値と目的変数との値の差に応じて変化させる度合いを変更させながら複数のラベルを算出してもよい。また、算出部２２は、複数種類の関数を用いて複数のラベルを算出してもよい。

学習器３２は、算出部２２が算出したラベルを用いて、観点ごとに判別モデルを学習する。学習器３２が行う学習方法は、算出部２２が作成するラベルの内容に応じて定めておけばよい。

評価部４０は、学習器３２が学習した各判別モデルの評価を行う。評価部４０は、例えば、交差検証等、任意の方法を用いて評価を行えばよい。また、評価部４０は、評価結果を出力してもよい。

算出部２２、学習器３２および評価部４０も、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサによって実現される。

次に、本実施形態の判別モデル生成装置の動作を説明する。図１０は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。算出部２２は、複数の観点に基づいて、各学習データに対して複数のラベルを算出する（ステップＳ３１）。学習器３２は、算出部２２が算出したラベルを用いて、観点ごとに判別モデルを学習する（ステップＳ３２）。評価部４０は、学習器３２が学習した各判別モデルの評価を行う（ステップＳ３３）。

以上のように、本実施形態では、算出部２２が、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、学習器３２が、観点ごとに判別モデルを学習する。そして、評価部４０が、学習された各判別モデルの評価を行う。よって、第１の実施形態および第２の実施形態の効果に加え、より精度の高い判別モデルを選択することが可能になる。

実施形態４．
次に、本発明の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、算出されたラベルに基づいて判別モデルを生成する判別モデル生成装置について説明した。一方、学習データに対応付けるラベルを算出する機能で一つの装置が実現されていてもよい。

図１１は、本発明によるラベル生成装置の一実施形態を示すブロック図である。本実施形態のラベル生成装置４００は、記憶部１０と、ラベル算出部２０とを備えている。すなわち、本実施形態のラベル生成装置４００は、第１の実施形態の判別モデル生成装置１００から、学習器３０を除いた構成に対応する。なお、ラベル算出部２０が、第２の実施形態における重み算出部２１、または、第３の実施形態における算出部２２で実現されていてもよい。

図１１に例示するラベル生成装置を用いてラベルを対応付けた学習データを生成することで、少ない学習データから、効率的な学習データを生成することが可能になる。

以下、具体的な実施例及び図面を用いて本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。

図１２は、本実施例の学習データの分布を示す説明図である。図１２に例示するサンプルは、正規分布に従う３０００のサンプルである。本実施例では、しきい値を２０に設定した。図１３は、しきい値に基づいてサンプルを正例のデータおよび負例のデータに分類した結果の例を示す。本実施例では、正例のデータ数が２５５、負例のデータ数が２７４５であり、正例のデータ数の割合が１割弱である。

また、本実施例では、正例のデータの重みｗ_ｉを、上記に示す式１で算出した。また、学習に用いる損失関数として、以下に例示する式２を用いた。

また、図１２に例示するサンプルの一部を学習データとして用い、一部を評価用として用いた。具体的には、生成した判別モデルに対し、評価用のサンプルを用いてＡＵＣ（Area Under the Curve）評価を行った。本評価が、上述する評価部４０が行う処理に対応する。

まず、一般的な手法を用いて、サンプルを正例（１）および負例（０）に分類してから判別モデルを生成した。一方、本願発明を用いて生成された判別モデルを用いた判別（以下、ｓｏｆｔ−Ｌａｂｅｌ判別と記す。）において、上記に示す式１の温度パラメータＴを１２種類（Ｔ＝０．００１，０．００３，０．０１，０．０３，０．１，０．３，１，３，１０，３０，１００，３００）に変化させてラベルを生成し、判別モデルを生成した。

図１４は、評価結果の例を示す説明図である。図１４に例示する破線で示すグラフは、一般的な手法を用いた場合のＡＵＣの値（ＡＵＣ＝０．９８２）を示す。また、図１４に例示する実線で示すグラフは、ｓｏｆｔ−Ｌａｂｅｌ判別において温度パラメータＴの値を変化させた場合のＡＵＣの値を示す。図１４に例示するように、温度パラメータＴの値を上げることで、一般的な手法を用いた場合よりも精度が向上することを確認できた。

次に、本発明の概要を説明する。図１５は、本発明による判別モデル生成装置の概要を示すブロック図である。本発明による判別モデル生成装置８０は、正例または負例を判別するためのしきい値（例えば、しきい値θ）と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出部８１（例えば、ラベル算出部２０）と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部８２（例えば、学習器３０）とを備えている。

そのような構成により、学習データが少ない場合でも精度のよい判別モデルを学習できる。

具体的には、算出部８１は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出してもよい。

また、算出部８１（例えば、重み算出部２１）は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出してもよい。

また、算出部８１は、正例の重みの合計および負例の重みの合計に基づいて、その正例の重みおよび負例の重みを調整してもよい。

また、算出部８１は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出してもよい。

具体的には、算出部８１は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数（例えば、上記に示す式１）を用いてラベルを算出してもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えたことを特徴とする判別モデル生成装置。

（付記２）算出部は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する付記１記載の判別モデル生成装置。

（付記３）算出部は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する付記１または付記２記載の判別モデル生成装置。

（付記４）算出部は、正例の重みの合計および負例の重みの合計に基づいて、当該正例の重みおよび負例の重みを調整する付記３記載の判別モデル生成装置。

（付記５）算出部は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出する付記１から付記４のうちのいずれか１つに記載の判別モデル生成装置。

（付記６）学習データに含まれる目的変数の値としきい値とを比較したときに負例と判別される当該学習データについて、正例らしさを表すラベルを算出する付記１から付記５のうちのいずれか１つに記載の判別モデル生成装置。

（付記７）算出部は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数を用いてラベルを算出する付記１から付記６のうちのいずれか１つに記載の判別モデル生成装置。

（付記８）学習された判別モデルを評価する評価部を備え、算出部は、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、学習部は、前記観点ごとに判別モデルを学習し、前記評価部は、学習された各判別モデルの評価を行う付記１から付記７のうちのいずれか１つに記載の判別モデル生成装置。

（付記９）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出し、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習することを特徴とする判別モデル生成方法。

（付記１０）各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する付記９記載の判別モデル生成方法。

（付記１１）学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する付記９または付記１０記載の判別モデル生成方法。

（付記１２）コンピュータに、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出処理、および、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させるための判別モデル生成プログラム。

（付記１３）コンピュータに、前記算出処理で、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出させ、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出させる付記１２記載の判別モデル生成プログラム。

（付記１４）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部を備えたことを特徴とするラベル生成装置。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１７年１１月７日に出願された日本特許出願２０１７−２１４６８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 記憶部
２０ ラベル算出部
２１ 重み算出部
２２ 算出部
３０，３１，３２ 学習器
４０ 評価部
１００，２００，３００ 判別モデル生成装置
４００ ラベル生成装置

Claims (14)

1. 正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部と、
   算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えた
   ことを特徴とする判別モデル生成装置。
2. 算出部は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する
   請求項１記載の判別モデル生成装置。
3. 算出部は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する
   請求項１または請求項２記載の判別モデル生成装置。
4. 算出部は、正例の重みの合計および負例の重みの合計に基づいて、当該正例の重みおよび負例の重みを調整する
   請求項３記載の判別モデル生成装置。
5. 算出部は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出する
   請求項１から請求項４のうちのいずれか１項に記載の判別モデル生成装置。
6. 学習データに含まれる目的変数の値としきい値とを比較したときに負例と判別される当該学習データについて、正例らしさを表すラベルを算出する
   請求項１から請求項５のうちのいずれか１項に記載の判別モデル生成装置。
7. 算出部は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数を用いてラベルを算出する
   請求項１から請求項６のうちのいずれか１項に記載の判別モデル生成装置。
8. 学習された判別モデルを評価する評価部を備え、
   算出部は、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、
   学習部は、前記観点ごとに判別モデルを学習し、
   前記評価部は、学習された各判別モデルの評価を行う
   請求項１から請求項７のうちのいずれか１項に記載の判別モデル生成装置。
9. 正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出し、
   算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する
   ことを特徴とする判別モデル生成方法。
10. 各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する
    請求項９記載の判別モデル生成方法。
11. 学習データから、正例のデータおよび負例のデータを生成し、
    目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する
    請求項９または請求項１０記載の判別モデル生成方法。
12. コンピュータに、
    正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出処理、および、
    算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させる
    ための判別モデル生成プログラム。
13. コンピュータに、
    算出処理で、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出させ、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出させる
    請求項１２記載の判別モデル生成プログラム。
14. 正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部を備えた
    ことを特徴とするラベル生成装置。

Images