JP6299759B2 - 予測関数作成装置、予測関数作成方法、及びプログラム - Google Patents

Description

本発明は、説明変数と目的変数とを含むサンプルの集合から、目的変数を導く予測関数を作成するための、予測関数作成装置、予測関数作成方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

種々のビジネスの分野において、入手可能なデータから、将来の予測を行うことは業務改善に有用である。例えば商店において、直近２週間の売り上げデータから将来の売り上げの予測を行うことができれば、在庫管理を適切に行うことができる。また、コールセンターでの応対の業務記録から、お客様からの苦情が来るかを予測し、どのような応対をすると、苦情が起こるのかを予測できれば苦情を減らすことができる。

ここで、本明細書では、直近２週間の売り上げデータ、コールセンターでの応対の業務記録など、予測の手がかりとするデータを「説明変数」と呼び、将来の売り上げ、苦情が来るかなど予測したい変数を「目的変数」と呼ぶことにする。また、「予測」とは、説明変数の関数を作り、目的変数の予測値を求めることとする。

また、予測の手がかりとして、過去のデータが使えるとする。過去のデータは、説明変数と目的変数との組からなるサンプルの集合である。以下、このサンプルの集合を「訓練データ」と呼ぶこととする。

ところで、訓練データを用いて予測を行う方法の一つとして、機械学習を用いる方法が挙げられる。機械学習とは、訓練データに基づいて、説明変数を入力として、目的変数の予測値を出力する関数を作成することである。

但し、機械学習の適用には問題がある。それは、訓練データの説明変数の中に欠損値が生じた場合に適用できないことである。例えば、ある時間帯に特定の商品が棚になかった場合、特定の商品の売り上げは欠損してしまうので、機械学習は適用できなくなる。また、対応したオペレータが記録を忘れたことにより、業務記録の一部が欠損した場合も、機械学習は適用できなくなる。即ち、機械学習を用いる方法の多くは、欠損値を含むデータに適用できないという問題がある。

一方、欠損値を平均値で補完する方法，他の説明変数の値から欠損値を予測して補完する方法も存在するが、補完に大きな誤差が生じてしまった場合に、これらの方法では、目的変数の予測に余計な誤差を生じさせてしまう。

このような問題を解決するため、例えば、非特許文献１は、入力となる訓練データの一部において説明変数の欠損が含まれている場合であっても、予測を行なうことができる予測システムを開示している。図１１は、従来からの予測システムの一例を示すブロック図である。

図１１に示すように、予測システム２０は、データ分割手段２１と、予測関数学習手段２２とを備えている。データ分割手段２１は、訓練データが入力されると、これを分割し、分割した訓練データを出力する。予測関数学習手段２２は、分割された訓練データが入力されると、それぞれに対して学習を行なって予測関数を生成し、生成した予測関数を出力する。

また、図１１に示す従来からの予測システムは、以下のように動作する。まず、データ分割手段２１は、入力された訓練データの各サンプルに対し、どの説明変数が欠損しているか（以下「欠損の仕方」と呼ぶ）を参照し、欠損の仕方が同じとなっているサンプルに同じラベルを付与する。

次に、予測関数学習手段２２は、データ分割手段２１によって出力されたラベル付きの訓練データを入力とし、ラベル毎に、同ラベルが付与されているサンプルの集合のみを訓練データとした機械学習を行い、これによって予測関数を出力する。

"Handling Missing Values when Applying Classification Models",Maytal Saar-Tsechansky and Foster Provost, Journal of Machine Learning Research 8 (2007) 1625-1657

しかしながら、上記非特許文献１に開示された予測システムには問題点が存在する。問題点は、サンプル毎の欠損の仕方のバリエーションが多い場合に予測値の精度が落ちてしまう事である。なぜなら、欠損の仕方のバリエーションが多い場合は、それに合わせて、データ分割手段２１が付与するラベルの種類も多くなってしまう。そのため、同ラベルのサンプルの集合におけるサンプルサイズが小さくなってしまう。そして、サンプルサイズが小さい場合、予測関数により作成される予測値の精度は低くなってしまう。

このため、説明変数の欠損の仕方のバリエーションが多い場合でも、欠損を含む入力のもとで、高い精度で予測を実行できる、予測装置の実現が求められている。

［発明の目的］
本発明の目的の一例は、上記問題を解消し、説明変数の欠損の仕方のバリエーションが多い場合でも、高い精度で予測を実行でき得る、予測関数作成装置、予測関数作成方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

上記目的を達成するため、本発明の一側面における予測関数作成装置は、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための装置であって、
各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、クラスタリング部と、
設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、子モデル作成部と、
ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、混合モデル作成部と、
を備えていることを特徴とする。

また、上記目的を達成するため、本発明の一側面における予測関数作成方法は、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための方法であって、
（ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
（ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
（ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
を備えていることを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
（ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
（ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。

以上のように、本発明によれば、説明変数の欠損の仕方のバリエーション、即ち、説明変数の欠損パターンが多い場合でも、高い精度で予測を実行することができる。

図１は、本発明の実施の形態における予測関数作成装置の概略構成を示すブロック図である。 図２は、図１に示す予測関数作成装置の構成を更に具体的に示すブロック図である。 図３は、本発明の実施の形態における予測関数作成装置の動作を示すフロー図である。 図４は、本発明の実施の形態における予測関数作成装置を実現するコンピュータの一例を示すブロック図である。 図５は、実施例で用いられる訓練データの一例を示す図である。 図６は、実施例において想定される非欠損変数集合の種類毎の計算結果の一例を示す図である。 図７は、実施例における欠損変数パターンと候補との距離についての計算結果の一例を示す図である。 図８は、実施例において各ラベルに設定された重みの一例を示す図である。 図９は、実施例における部分訓練データの一例を示す図である。 図１０は、実施例で得られた最終予測関数の具体例を示す図である。 図１１は、従来からの予測システムの一例を示すブロック図である。

（発明の概要）
本発明は、上記非特許文献１に開示されたシステムと同様に、予測が難しい説明変数（欠損値）の補完を行なったときに、誤差の増大を防ぐことを目的としている。本発明でも、上記非特許文献１に開示されたシステムと同様に、説明変数の欠損パターンに応じて、異なる予測関数が作成される。サンプル毎に、最適な予測関数を用いることができるので、予測精度の低下が抑制される。

但し、本発明では、上記非特許文献１に開示されたシステムと異なり、説明変数の欠損パターンのクラスタリングが行われる。それにより、各予測関数に用いるサンプルの数を増やすことができるので、欠損パターンの種類が多くなった場合であっても、予測精度の低下が抑制される。

また、本明細書において、「サンプル」とは、説明変数と目的変数とを含むデータを意味する。通常、サンプルには、複数の説明変数が含まれており、これらは説明変数ベクトルを構成している。「説明変数ベクトル」は、数値、又は欠損していることを示す記号、を要素とするベクトルである。

また、本明細書において、「訓練データ」とは、サンプルの集合を意味する。「子モデル」とは、本発明の予測関数作成装置が中間出力する予測関数群を意味する。「部分訓練データ」とは、訓練データのサンプルおよび変数の部分集合から作られるデータを意味する。部分訓練データは、子モデルを学習する時の入力となる。「最終予測関数」とは、説明変数の欠損パターンそれぞれについて目的変数の値を求めるための、予測関数を意味する。最終予測関数は、本発明の予測関数作成装置の出力に該当する。

（実施の形態）
以下、本発明の実施の形態１における、予測関数作成装置、予測関数作成方法、及びプログラムについて、図１〜図４を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における予測関数作成装置１０の概略構成について説明する。図１は、本発明の実施の形態における予測関数作成装置の概略構成を示すブロック図である。

図１に示す本実施の形態における予測関数作成装置１０は、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、目的変数を導く予測関数を作成する装置である。図１に示すように、予測関数作成装置１０は、クラスタリング部１１と、子モデル作成部１２と、混合モデル作成部１３とを備えている。

クラスタリング部１１は、各サンプルにおける説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与する。また、クラスタリング部１１は、各ラベルに、それが付与されているサンプルにおける説明変数の欠損のパターンに合せて重みを設定する。なお、ここでいう「欠損のパターン」には、単独の説明変数が欠損している場合、複数の説明変数が欠損している場合、空集合の場合（いずれの説明変数も欠損していない場合）が含まれる。

子モデル作成部１２は、設定された重みに基づいて、訓練データの一部を部分訓練データとする。また、子モデル作成部１２は、部分訓練データとなったサンプルにおける説明変数の欠損のパターンに基づいて、ラベル毎に、説明変数の中から、予測関数を構成する説明変数（以下、「予測変数」と表記する。）を決定する。

混合モデル作成部１３は、ラベル毎に決定された説明変数（予測変数）及び部分訓練データを用いて、説明変数の欠損のパターン毎に、目的変数を導く予測関数（以下「最終予測関数」と表記する。）を作成する。

このように、本実施の形態では、説明変数の欠損のパターンに応じて、クラスタリングが行なわれ、クラスタリング結果から作成された部分訓練データを用いて、欠損のパターン毎のサンプル数を増加させることができる。このため、本実施の形態によれば、説明変数の欠損のパターンが多い場合でも、高い精度で予測を実行することができる。

続いて、図２を用いて、本実施の形態における予測関数作成装置１０の具体構成について説明する。図２は、図１に示す予測関数作成装置の構成を更に具体的に示すブロック図である。

図２に示すように、本実施の形態では、予測関数作成装置１０は、プログラムによってコンピュータ１００上に構築されている。また、コンピュータ１００には、ユーザの端末１１０が、ネットワーク等を介して接続されている。訓練データは、この端末１１０から送信されている。また、図２に示すように、予測関数作成装置１０は、上述したクラスタリング部１１、子モデル作成部１２、及び混合モデル作成部１３に加えて、欠損変数補完部１４を更に備えている。

本実施の形態では、クラスタリング部１１は、各サンプルにおける説明変数の欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、該当するサンプル群、即ち、各種類を構成する説明変数の集合が欠損していないサンプル群を特定する。

次に、クラスタリング部１１は、説明変数の欠損のパターン毎に、それぞれの欠損のパターンに該当しないサンプルと、特定したサンプル群それぞれと、の共通するサンプルを特定する。

そして、クラスタリング部１１は、特定した共通するサンプルの数が一定以上となるサンプル群それぞれに対して、ラベルを付与する。その後、クラスタリング部１１は、各ラベルに、欠損のパターン毎に、特定した共通するサンプルが多いほど値が大きくなるように、重みを設定する。

また、本実施の形態では、子モデル作成部１２は、閾値以上の重みが設定されたラベルが付与されているサンプル群を、部分訓練データとする。次に、子モデル作成部１２は、重みが設定されたラベル毎に、そのラベルが付与されている部分訓練データにおける予測変数を決定する。このときの予測変数には、各ラベルにおいて，自身が欠損していないサンプルの数が多くなること，変数の数が多いことが求められる。

本実施の形態では、混合モデル作成部１３は、まず、重みが設定されたラベル毎に、そのラベルが付与されている部分訓練データを用いて、予測変数から目的変数を導く予測関数（以下「中間予測関数」と表記する。）を作成する。そして、混合モデル作成部１３は、欠損のパターン毎に、そのパターンについて設定された重みと、この重みが設定されているラベルについての中間予測関数とを用いて、最終予測関数を作成する。

つまり、本実施の形態では、混合モデル作成部１３は、子モデル作成部１２によって抽出された部分訓練データから、予測変数を用いて、ラベル毎に、子モデルを学習する。そして、混合モデル作成部１３は、ラベル毎に学習した子モデルを足し合せることによって、混合モデルを学習する。

また、欠損変数補完部１４は、部分訓練データにおいて、それに付与されているラベルの予測変数（説明変数）が欠損しているサンプルが存在する場合に、そのサンプルにおける欠損している予測変数を補完する。この場合、混合モデル作成部１３は、補完された部分訓練データを用いて、中間予測関数を作成する。

具体的には、欠損変数補完部１４は、まず、部分訓練データを入力として、予測変数毎に、他の説明変数の値からその予測変数を推定する関数を学習する。そして、欠損変数補完部１４は、子モデル作成部１２から、補完するべきサンプルが入力されると、サンプルの欠損値を、学習した関数を用いて推定し、推定した値を含むサンプル（部分訓練データ）を、混合モデル作成部１３に出力する。

［装置動作］
次に、本発明の実施の形態における予測関数作成装置１０の動作について図３を用いて説明する。図３は、本発明の実施の形態における予測関数作成装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図２を参酌する。また、本実施の形態では、予測関数作成装置１０を動作させることによって、予測関数作成方法が実施される。よって、本実施の形態における予測関数作成方法の説明は、以下の予測関数作成装置１０の動作説明に代える。

図３に示すように、最初に、クラスタリング部１１は、入力された訓練データを構成する各サンプルに対し、説明変数の欠損のパターンを特定する。（ステップＡ１）。次に、クラスタリング部１１は、各サンプルにおける説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なって各ラベルに対する重みを設定する（ステップＡ２）。

ステップＡ２における「クラスタリング」とは、各欠損のパターンに対して、有限個のラベルと重みとを割り当てることである。

具体的には、ステップＡ２では、クラスタリング部１１は、説明変数の欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、各種類に該当するサンプル群（各種類を構成する説明変数の集合が欠損していないサンプル群）を特定する。そして、クラスタリング部１１は、説明変数の欠損のパターン毎に、各パターンに該当しないサンプルと、特定したサンプル群それぞれとの共通するサンプルを特定する。また、クラスタリング部１１は、特定したサンプルの数が一定以上となる候補を選択し、選択した各候補にラベルを付与する。また、クラスタリング部１１は、各ラベルに、欠損のパターン毎に、特定した共通するサンプルが多いほど値が大きくなるように、重みを設定する。

ステップＡ２で付与されたラベル毎に、後述する「子モデル」の学習が行なわれる。また、本実施の形態では、ステップＡ２のクラスタリングによって付与された各ラベルを、以下においては「Ｌ」と表記する。

子モデル作成部１２は、重みが設定されたラベルＬが付与されている候補を特定し，特定した候補に含まれるサンプル群を、部分訓練データとして抽出する（ステップＡ３）。また、子モデル作成部１２は、ラベルＬに設定された重みを、部分訓練データを構成する各サンプルの重みとしても紐づける。

次に、子モデル作成部１２は、重みが設定されたラベル毎に、そのラベルが付与されている部分訓練データにおいて、説明変数の中から予測変数を決定する（ステップＡ４）。

次に、欠損変数補完部１４は、ステップＡ３で抽出された部分訓練データにおいて、それに付与されているラベルの、ステップＡ４で決定された予測変数が、いずれかのサンプルで欠損しているかどうかを確認する。そして、欠損変数補完部１４は、欠損している場合は、そのサンプルにおける欠損している予測変数を補完し、部分訓練データを更新する（ステップＡ５）。

次に、混合モデル作成部１３は、重みが設定されたラベル毎に、そのラベルが付与されている部分訓練データを用いて、予測変数から目的変数を導く中間予測関数（子モデル）を学習する（ステップＡ６）。

次に、混合モデル作成部１３は、全てのラベルで子モデルを学習すると、欠損のパターン毎に、そのパターンについて設定された重みと、この重みが設定されているラベルについての子モデルとを用いて、最終予測関数を学習する（ステップＡ７）。

以上のように本実施の形態では、説明変数の欠損のパターンに応じて、異なる最終予測関数が作成される。また、欠損パターンのうち、共通の変数を予測変数とするようなパターンはまとめられ、共通のサンプルで学習が実行される。言い換えると、本実施の形態では、最終予測関数の作成においては、欠損パターン毎に、欠損していない説明変数が共通しているサンプルがまとめられて、学習が行なわれている。従って、本実施の形態によれば、説明変数の欠損のパターンが多い場合でも、高い精度で予測を実行することができる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図３に示すステップＡ１〜Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における予測関数作成装置１０と予測関数作成方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、クラスタリング部１１、子モデル作成部１２、混合モデル作成部１３、及び欠損変数補完部１４として機能し、処理を行なう。

ここで、本実施の形態におけるプログラムを実行することによって、予測関数作成装置１０を実現するコンピュータについて図４を用いて説明する。図４は、本発明の実施の形態における予測関数作成装置を実現するコンピュータの一例を示すブロック図である。

図４に示すように、コンピュータ１００は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１００における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

上述した実施の形態に対応する実施例について図５〜図１０を用いて説明する。また、以下の説明では、図３に示した各ステップに沿って説明する。

図５は、実施例で用いられる訓練データの一例を示す図である。図５に示すように、本実施例では、訓練データを構成する各サンプルには番号が付与されている。また、各サンプルは、説明変数として、Ｘ１、Ｘ２、Ｘ３の３つを有し、目的変数としてＹを有している。また、説明変数における欠損は、記号「ＮＡ」で表わされている。

また、図５において、「＊」が示された箇所には、何らかの数値が入っているものとする。図５の例では、サンプル番号１−５で欠損なし、サンプル番号６−１０でＸ１のみが欠損、サンプル番号１１−２０でＸ１とＸ２が欠損、サンプル番号２１−４０でＸ３が欠損している。このような訓練データが入力された場合の具体的な処理は、以下の通りである。

［ステップＡ１］
まず、クラスタリング部１１は、訓練データの各サンプルに対して、想定され得る説明変数の欠損のパターン（以下「欠損変数パターン」と表記する。）を特定する。サンプルの説明変数が、Ｘ１、Ｘ２、Ｘ３であるので、クラスタリング部１１は、欠損のパターンとしては、空集合（欠損なし）、Ｘ１が欠損、Ｘ２が欠損、Ｘ３が欠損、Ｘ１とＸ２が欠損、Ｘ２とＸ３が欠損、Ｘ１とＸ３が欠損、Ｘ１〜Ｘ３全てが欠損、の８通りを特定する。

なお、図５の例では、サンプル番号１〜４０について、クラスタリング部１１は、サンプル番号１−５では欠損なし、サンプル番号６−１０でＸ１が欠損、サンプル番号１１−２０ではＸ１及びＸ２が欠損、サンプル番号２１−４０でＸ３が欠損している、と判断する。

［ステップＡ２］
次に、クラスタリング部１１は、各サンプルにおける説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルに重みを設定する。

具体的には、以下のように、クラスタリング部１１は、サンプルに対してラベルと重みとを割り当てて、クラスタリングを行なう。まず、クラスタリング部１１は、説明変数が３つとも欠損していない場合、２つ欠損していない（１つだけ欠損する）場合、１つだけ欠損していない（２つ欠損する）場合、３つとも欠損している場合等を特定する。本実施例では、説明変数は３つであるので、想定される場合は、実際には８通りである。そして、想定される各場合における欠損していない説明変数の集合（以下「非欠損変数集合」と表記する。）をＡとして、非欠損変数集合Ａの種類毎に、クラスタリング部１１は、次の計算を行なう。本実施例では、計算は、［Ａが欠損していないサンプル数］に［Ａの要素数］を乗算することによって行なわれる（＝［Ａが欠損していないサンプル数］＊［Ａの要素数］）。

図６は、実施例において想定される非欠損変数集合の種類毎の計算結果の一例を示す図である。そして、クラスタリング部１１は、図６に示す乗算値が得られると、乗算値が閾値以上となるＡを全て候補として、各候補を構成するサンプル群に、候補毎に割り当てられた番号をラベルとして付与する。

図６の例では、閾値は２０に設定されているとする。この場合、クラスタリング部１１は、閾値以上となる非欠損変数集合それぞれ、即ち、Ｘ１、Ｘ２、Ｘ３、（Ｘ１，Ｘ２）、及び（Ｘ２，Ｘ３）を候補とし、これらにラベルを表す番号を付与する（図９参照）。また、候補は、以下においては、候補（Ｘ１）、候補（Ｘ２）、候補（Ｘ３）、候補（Ｘ１、Ｘ２）、候補（Ｘ２、Ｘ３）のように示す。更に、候補（Ｘ１）、候補（Ｘ２）、候補（Ｘ３）、候補（Ｘ１、Ｘ２）、候補（Ｘ２、Ｘ３）には、後述の図８に示すように、順に、ラベルとして、番号５、１、２、３、４が付与されている。

次に、クラスタリング部１１は、想定され得る欠損変数パターン毎に、各候補との距離ｄ（Ｉ，Ｌ）を計算する。具体的には、クラスタリング部１１は、両者間で共通して欠損していない説明変数を特定し、特定した変数が欠損していなサンプルの数が大きい程、距離ｄの値が大きくなるように計算する。例えば、欠損変数パターンＸ１と候補（Ｘ２）とであれば、共通して欠損していない説明変数はＸ２であるので、説明変数Ｘ２が欠損していないサンプルの数に基づいて距離ｄが計算される。

例えば、欠損変数パターンにおける、欠損していない説明変数のサンプル集合をＩ_１、ラベルＬの候補の欠損していない変数のサンプル集合をＩ_２として、クラスタリング部１１は、距離ｄを下記数１を用いて計算することができる。

また、上記数１において、αは任意の整数を示し、Ｉは任意の欠損変数パターンを示し、Ｌは任意のラベル番号を示している。また、｜・｜は、集合「・」の要素数を表し、「Ａ＼Ｂ」は、Aの要素のうち、Bの要素でないものの集合を表すとする。また、上記数１において、α=２とした場合の計算結果は、図７に示す通りとなる。図７は、実施例における欠損変数パターンと候補との距離についての計算結果の一例を示す図である。

次に、クラスタリング部１１は、欠損変数パターンＩそれぞれについて、各候補との距離ｄが閾値未満である場合は、距離ｄが閾値未満となった候補との類似度を、下記の数２を用いて計算する。

次に、クラスタリング部１１は、欠損変数パターンＩそれぞれにおいて、距離ｄが閾値未満となった候補について計算された類似度の和が１となるように、下記の数３を用いて各類似度を正規化する。そして、クラスタリング部１１は、得られた値を、欠損変数パターンＩに対するラベルＬの重みｗ（Ｉ，Ｌ）として出力する。

上記数３の算出結果の具体例は、図８に示す通りである。図８は、実施例において各ラベルに設定された重みの一例を示す図である。なお、図８の例は、距離ｄの閾値を２として算出されている。

また、本実施例では、上述の想定し得る非欠損変数集合（候補）を用いた方法とは別の方法によってクラスタリングを実行することもできる。例えば、説明変数の次元の｛０，１｝値ベクトルを、各サンプルで、その成分の説明変数が欠損していれば１、欠損していなければ０として定義し、既存のk-means法、デンドログラム法などを用いてクラスタリングを実行することもできる。

［ステップＡ３］
次に、子モデル作成部１２は、ラベルに設定された重みが大きい欠損変数パターンとなっているサンプルを、訓練データから抽出し，ラベルへの重みが大きいほど、大きいサンプル重みを紐づけて、部分訓練データとして出力する。

例えば、子モデル作成部１２は、欠損変数パターン毎に、ラベルＬに正の重みが付いたサンプル集合を特定し、特定した各サンプルに、ラベルＬに設定された重みを、サンプル重みとして紐づける。そして、子モデル作成部１２は、サンプル重みが紐付けられたサンプルの集合を部分訓練データとする。

［ステップＡ４］
次に、子モデル作成部１２は、ラベル毎に、説明変数の中から、予測に用いる説明変数（予測変数）を選択する。その際、子モデル作成部１２は、部分訓練データ中において、予測変数として選択される説明変数の数が可能な限り多くなり、且つ、予測変数として選択される説明変数が欠損していないサンプルの数が、他の説明変数が欠損していないサンプルの数よりも多くなるようにする。

具体的には、本実施例では、子モデル作成部１２は、クラスタリング時に候補と決定した非欠損変数集合を構成する説明変数（以下「候補変数」と表記する。）を、各ラベルの予測変数とする。よって、子モデル作成部１２は、ラベル１についてＸ２、ラベル２についてＸ３、ラベル３についてＸ１及びＸ２、ラベル４についてＸ２及びＸ３、ラベル５についてＸ１と、予測変数を選択する。また、子モデル作成部１２は、この時点で、訓練データ中で候補変数がひとつも欠損していないサンプルを特定し、部分訓練データに追加する。

また、本実施例では、ラベルが付与された部分訓練データにおいて欠損していない説明変数から、予測変数が選択されているが、これに限定される趣旨ではない。例えば、部分訓練データにおいて欠損している説明変数から、予測変数が選択され、その後に補完されても良い。

図９は、実施例における部分訓練データの一例を示す図である。図９に示すように、本実施例では、ラベル毎に部分訓練データが特定されている。また、図９に示されたサンプル番号は、図３に示した各サンプルの番号と一致している。

［ステップＡ５］
次に、欠損変数補完部１４は、部分訓練データにおいて、予測変数が欠損しているサンプルがあった場合は、そのサンプルに対して補完を行う。例えば、欠損変数補完部１４は、予測変数が欠損しているサンプルにおける、欠損している予測変数の値として、他の予測変数の平均値を代入することによって、補完を行なうことができる。また、欠損変数補完部１４は、他の変数からの回帰を行う単一代入法、多重代入法などを用いて補完を行なうこともできる。なお、本実施例では、部分訓練データは、予測変数が欠損しているサンプルが発生しないように特定されている。

［ステップＡ６］
次に、混合モデル作成部１３は、部分訓練データを用い、例えば、線型回帰、Support Vector Regression等の方法を利用することによって、ラベルＬ毎に、予測変数から目的変数への予測関数を作成する。また、この場合、混合モデル作成部１３は、サンプルの重みに応じて，損失関数または尤度関数を重みづけして計算する。

具体的には、混合モデル作成部１３は、まず、サンプルｉの重みをｗ_ｉ、モデルの損失関数をｌ（ｘ_ｉ，ｙ_ｉ）として、下記数４を用いてパラメータβを推定し、ラベルＬ毎に、βを含む予測関数ｆ_Ｌを作成する。

また、混合モデル作成部１３は、例えば，二乗誤差を最小化するように線形回帰を行う場合は、下記数５を用いてパラメータβを推定し、ラベルＬ毎に、βを含む予測関数ｆ_Ｌを作成する。

［ステップＡ７］
最後に、混合モデル作成部１３は、欠損変数パターンＩ毎に、ラベルＬの重みｗ（Ｉ，Ｌ）が大きいほど、該当するラベルＬにおいて作成された予測関数が重視されるように、最終予測関数ｆ_Ｉ（ｘ）を生成する。最終予測関数ｆ_Ｉ（ｘ）の具体例は、下記数６の通りとなる。

図１０は、実施例で得られた最終予測関数の具体例を示す図である。なお、図１０に示した最終予測関数は、図３の訓練データの例において示されていない欠損変数パターンについてもｗ（Ｉ，Ｌ）を計算することによって得られている。

以上のように本実施例では、図１０に示すように、欠損変数パターンに応じて、異なる最終予測関数が作成される。従って、本実施例から、説明変数の欠損パターンが多い場合でも、高い精度で予測を実行することができることが分かる。

上述した実施の形態及び実施例の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための装置であって、
各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、クラスタリング部と、
設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、子モデル作成部と、
ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、混合モデル作成部と、
を備えていることを特徴とする予測関数作成装置。

（付記２）
前記クラスタリング部が、
前記欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、該当するサンプル群を特定し、
更に、前記欠損のパターン毎に、当該パターンに該当しないサンプルと、特定した前記サンプル群それぞれとの共通するサンプルを特定し、
そして、特定した前記共通するサンプルの数が一定以上となるサンプル群それぞれに対して、ラベルを付与し、
その後、各ラベルに、前記欠損のパターン毎に、特定した前記共通するサンプルが多いほど値が大きくなるように、前記重みを設定する、
付記１に記載の予測関数作成装置。

（付記３）
前記子モデル作成部が、
前記重みが設定されたラベルが付与されているサンプル群を、前記部分訓練データとし、
前記重みが設定されたラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を選択する、
付記２に記載の予測関数作成装置。

（付記４）
前記混合モデル作成部が、
前記重みが設定されたラベル毎に、当該ラベルが付与されている前記部分訓練データを用いて、決定された前記説明変数から前記目的変数を導く第２の予測関数を作成し、
そして、前記欠損のパターン毎に、当該パターンについて設定された前記重みと、当該重みが設定されているラベルについての前記第２の予測関数とを用いて、前記予測関数を作成する、
付記３に記載の予測関数作成装置。

（付記５）
前記部分訓練データにおいて、それに付与されているラベルについて決定された、前記予測関数を構成する説明変数が欠損しているサンプルが存在する場合に、当該サンプルにおける欠損している説明変数を補完する、欠損変数補完部を更に備え、
前記混合モデル作成部が、補完された前記部分訓練データを用いて、前記第２の予測関数を作成する、
付記４に記載の予測関数作成装置。

（付記６）
説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための方法であって、
（ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
（ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
（ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
を備えていることを特徴とする予測関数作成方法。

（付記７）
前記（ａ）のステップにおいて、
前記欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、該当するサンプル群を特定し、
更に、前記欠損のパターン毎に、当該パターンに該当しないサンプルと、特定した前記サンプル群それぞれとの共通するサンプルを特定し、
そして、特定した前記共通するサンプルの数が一定以上となるサンプル群それぞれに対して、ラベルを付与し、
その後、各ラベルに、前記欠損のパターン毎に、特定した前記共通するサンプルが多いほど値が大きくなるように、前記重みを設定する、
付記６に記載の予測関数作成方法。

（付記８）
前記（ｂ）のステップにおいて、
前記重みが設定されたラベルが付与されているサンプル群を、前記部分訓練データとし、
前記重みが設定されたラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を選択する、
付記７に記載の予測関数作成方法。

（付記９）
前記（ｃ）のステップにおいて、
前記重みが設定されたラベル毎に、当該ラベルが付与されている前記部分訓練データを用いて、決定された前記説明変数から前記目的変数を導く第２の予測関数を作成し、
そして、前記欠損のパターン毎に、当該パターンについて設定された前記重みと、当該重みが設定されているラベルについての前記第２の予測関数とを用いて、前記予測関数を作成する、
付記８に記載の予測関数作成方法。

（付記１０）
（ｄ）前記部分訓練データにおいて、それに付与されているラベルについて決定された、前記予測関数を構成する説明変数が欠損しているサンプルが存在する場合に、当該サンプルにおける欠損している説明変数を補完する、ステップを更に有し、
前記（ｃ）のステップにおいて、補完された前記部分訓練データを用いて、前記第２の予測関数を作成する、
付記９に記載の予測関数作成方法。

（付記１１）
コンピュータによって、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
（ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
（ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。

（付記１２）
前記（ａ）のステップにおいて、
前記欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、該当するサンプル群を特定し、
更に、前記欠損のパターン毎に、当該パターンに該当しないサンプルと、特定した前記サンプル群それぞれとの共通するサンプルを特定し、
そして、特定した前記共通するサンプルの数が一定以上となるサンプル群それぞれに対して、ラベルを付与し、
その後、各ラベルに、前記欠損のパターン毎に、特定した前記共通するサンプルが多いほど値が大きくなるように、前記重みを設定する、
付記１１に記載のコンピュータ読み取り可能な記録媒体。

（付記１３）
前記（ｂ）のステップにおいて、
前記重みが設定されたラベルが付与されているサンプル群を、前記部分訓練データとし、
前記重みが設定されたラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を選択する、
付記１２に記載のコンピュータ読み取り可能な記録媒体。

（付記１４）
前記（ｃ）のステップにおいて、
前記重みが設定されたラベル毎に、当該ラベルが付与されている前記部分訓練データを用いて、決定された前記説明変数から前記目的変数を導く第２の予測関数を作成し、
そして、前記欠損のパターン毎に、当該パターンについて設定された前記重みと、当該重みが設定されているラベルについての前記第２の予測関数とを用いて、前記予測関数を作成する、
付記１３に記載のコンピュータ読み取り可能な記録媒体。

（付記１５）
（ｄ）前記部分訓練データにおいて、それに付与されているラベルについて決定された、前記予測関数を構成する説明変数が欠損しているサンプルが存在する場合に、当該サンプルにおける欠損している説明変数を補完する、ステップを、更に前記コンピュータに実行させ、
前記（ｃ）のステップにおいて、補完された前記部分訓練データを用いて、前記第２の予測関数を作成する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年６月１２日に出願された日本出願特願２０１３−１２３４８２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように、本発明によれば、説明変数の欠損の仕方のバリエーション、即ち、説明変数の欠損パターンが多い場合でも、高い精度で予測を実行することができる。本発明は、業務ログの分析、購買履歴からの将来購買予測といった、予測分析の分野に有用である。

１１ クラスタリング部
１２ 子モデル作成部
１３ 混合モデル作成部
１４ 欠損変数補完部
１００ コンピュータ
１１０ 端末
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (7)

1. 説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための装置であって、
   各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、クラスタリング部と、
   設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、子モデル作成部と、
   ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、混合モデル作成部と、
   を備えていることを特徴とする予測関数作成装置。
2. 前記クラスタリング部が、
   前記欠損のパターンそれぞれにおける欠損していない説明変数の集合の種類毎に、該当するサンプル群を特定し、
   更に、前記欠損のパターン毎に、当該パターンに該当しないサンプルと、特定した前記サンプル群それぞれとの共通するサンプルを特定し、
   そして、特定した前記共通するサンプルの数が一定以上となるサンプル群それぞれに対して、ラベルを付与し、
   その後、各ラベルに、前記欠損のパターン毎に、特定した前記共通するサンプルが多いほど値が大きくなるように、前記重みを設定する、
   請求項１に記載の予測関数作成装置。
3. 前記子モデル作成部が、
   前記重みが設定されたラベルが付与されているサンプル群を、前記部分訓練データとし、
   前記重みが設定されたラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を選択する、
   請求項２に記載の予測関数作成装置。
4. 前記混合モデル作成部が、
   前記重みが設定されたラベル毎に、当該ラベルが付与されている前記部分訓練データを用いて、決定された前記説明変数から前記目的変数を導く第２の予測関数を作成し、
   そして、前記欠損のパターン毎に、当該パターンについて設定された前記重みと、当該重みが設定されているラベルについての前記第２の予測関数とを用いて、前記予測関数を作成する、
   請求項３に記載の予測関数作成装置。
5. 前記部分訓練データにおいて、それに付与されているラベルについて決定された、前記予測関数を構成する説明変数が欠損しているサンプルが存在する場合に、当該サンプルにおける欠損している説明変数を補完する、欠損変数補完部を更に備え、
   前記混合モデル作成部が、補完された前記部分訓練データを用いて、前記第２の予測関数を作成する、
   請求項４に記載の予測関数作成装置。
6. 説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するための方法であって、
   （ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
   （ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
   （ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
   を備えていることを特徴とする予測関数作成方法。
7. コンピュータによって、説明変数と目的変数とを含むサンプルの集合を訓練データとして用いて、前記目的変数を導く予測関数を作成するためのプログラムであって、
   前記コンピュータに、
   （ａ）各サンプルにおける前記説明変数の欠損のパターンに応じて、各サンプルに対して、クラスタリングを行なってラベルを付与し、各ラベルには、当該ラベルが付与されているサンプルにおける前記説明変数の欠損のパターンに合せて重みを設定する、ステップと、
   （ｂ）設定された前記重みに基づいて、訓練データの一部を部分訓練データとし、前記部分訓練データとなった前記サンプルにおける前記説明変数の欠損のパターンに基づいて、ラベル毎に、前記説明変数の中から、前記予測関数を構成する説明変数を決定する、ステップと、
   （ｃ）ラベル毎に決定された前記説明変数及び前記部分訓練データを用いて、前記欠損のパターン毎に、前記予測関数を作成する、ステップと、
   を実行させるプログラム。

Images