JP7251642B2 - 学習装置、推定装置、学習方法、推定方法及びプログラム - Google Patents

学習装置、推定装置、学習方法、推定方法及びプログラム Download PDF

Info

Publication number
JP7251642B2
JP7251642B2 JP2021546124A JP2021546124A JP7251642B2 JP 7251642 B2 JP7251642 B2 JP 7251642B2 JP 2021546124 A JP2021546124 A JP 2021546124A JP 2021546124 A JP2021546124 A JP 2021546124A JP 7251642 B2 JP7251642 B2 JP 7251642B2
Authority
JP
Japan
Prior art keywords
data
objective function
representing
history
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021546124A
Other languages
English (en)
Other versions
JPWO2021053775A1 (ja
Inventor
具治 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021053775A1 publication Critical patent/JPWO2021053775A1/ja
Application granted granted Critical
Publication of JP7251642B2 publication Critical patent/JP7251642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、学習装置、推定装置、学習方法、推定方法及びプログラムに関する。
或る情報と別の或る情報とが同時に出現するか否か等の共起関係を表す共起情報が知られている。共起情報は、例えば、推薦システムや文書クラスタリング、ソーシャルネットワーク解析等に用いられる。このような共起情報の具体例としては、例えば、商品Ａと商品Ｂとを同時に購入した人の人数を表す情報、或る文書中に単語Ａと単語Ｂとが出現する回数を表す情報、病歴として病気Ａと病気Ｂとに罹患したことがある人の人数を表す情報等が挙げられる。
ここで、例えば、購入履歴や病歴等の個人情報が含まれるデータはプライバシー保護の観点から共起情報が公開されない場合がある。一方で、プライバシーに関する情報が含まれないように集約された集約データ（例えば、商品毎の購入回数を表すデータ等）は公開されている場合がある。このため、集約データから共起回数を推定する手法が提案されている（例えば、非特許文献１参照）。
Aleksandra B. Slavkovic, Partial Information Releases for Condential Contingency Table Entries: Present and Future, Journal of Privacy and Condentiality (2009) 1, Number 2, pp. 253-264
しかしながら、従来から提案されている手法では、例えば、商品の説明等を表す補助的なデータを共起情報の推定に活用することができなかった。このため、共起情報の推定精度が必ずしも高くない場合があった。
本発明の実施の形態は、上記の点に鑑みてなされたもので、共起情報を高い精度で推定することを目的とする。
上記目的を達成するため、本発明の実施の形態における学習装置は、第１の対象毎の第２の対象に関する履歴を表す履歴データを所定の観点で集約した集約データと、前記第２の対象に関する補助的な情報を表す補助データと、前記履歴データに含まれる一部の部分履歴データとを入力として、２つの前記第２の対象間の共起関係を表す共起情報と前記集約データ、前記補助データ及び前記部分履歴データとの合致度を表す所定の目的関数の値と、前記目的関数のパラメータに関する微分値とを計算する計算手段と、前記計算手段により計算された前記目的関数の値と前記微分値とを用いて、前記目的関数の値を最大化又は最小化するように前記パラメータを更新する更新手段と、を有することを特徴とする。
共起情報を高い精度で推定することができる。
本発明の実施の形態における推定装置の機能構成の一例を示す図である。 本発明の実施の形態における推定処理の一例を示すフローチャートである。 評価結果の一例を示す図である。 本発明の実施の形態における推定装置のハードウェア構成の一例を示す図である。
以下、本発明の実施の形態について説明する。本発明の実施の形態では、集約データと、補助データと、少数の履歴データとが与えられた場合に、共起情報を高い精度で推定することが可能な推定装置１０について説明する。また、当該共起情報を推定するためのパラメータを学習する学習装置２０についても説明する。
ここで、集約データとは、履歴データが或る観点（例えば、商品毎の購入回数、病気毎の罹患経験人数等）で集約されたデータのことである。集約データの具体例としては、商品毎の購入回数を表すデータ、病気毎の罹患経験人数を表すデータ等が挙げられる。
履歴データとは、或る第１の対象（例えば、ユーザ等）毎の或る第２の対象（例えば、商品、病気等）に関する履歴を表すデータである。履歴データの具体例としては、ユーザ毎の商品の購入履歴を表すデータ、ユーザ毎の病気の罹患履歴を表すデータ等が挙げられる。
補助データとは、第２の対象に関する補助的な情報（補助情報）を表すデータのことである。補助データの具体例としては、商品の特徴に関する情報（例えば、ジャンル、発売日、説明文等）を表すデータ、病気の特徴に関する情報（例えば、病名、説明文等）を表すデータ等が挙げられる。
以降で説明する実施の形態では、一例として、履歴データはユーザ毎の商品の購入履歴であるものとする。ただし、これは一例であって、本発明の実施の形態は、履歴データがユーザ毎の病気の罹患履歴である場合についても同様に適用可能である。また、履歴データが文書毎の単語の出現回数（出現履歴）を表す場合であっても同様に適用可能である。すなわち、本発明の実施の形態は、第１の対象毎の第２の対象に関する履歴を表す任意の履歴データについて同様に適用可能である。
＜理論的構成＞
まず、本発明の実施の形態の理論的構成について説明する。以降では、一例として、商品の総数（商品の種類数）をＩとして、各商品には１～Ｉまでのインデックスが付与されているものとする。また、ユーザの総数をＵとして、各ユーザには１～Ｕまでのインデックスが付与されているものとする。
このとき、集約データとしては、商品毎の購入回数
Figure 0007251642000001
 が与えられるものとする。ここで、ｙｉは商品ｉを購入したユーザ数を表す。
補助データとしては、商品情報
Figure 0007251642000002
 が与えられるものとする。ここで、ｓｉ∈ＲＤは、商品ｉの特徴を表すＤ次元の実ベクトルである。商品の特徴としては、例えば、商品のジャンル、発売日、説明文等の任意の特徴を用いることができる。なお、Ｄは商品の特徴数であり、ｓｉは商品ｉに関するＤ個の特徴をＤ次元の実ベクトルで表現したものである。
少数の履歴データとしては、少数のユーザの購入履歴
Figure 0007251642000003
 が与えられるものとする。ここで、Ｕ＊はＵと比べて非常に少ない数（つまり、Ｕ＊＜＜Ｕ）であるものとする。また、ｒｕ∈｛０，１｝ＩはＩ次元の二値ベクトルであり、そのｉ番目の要素ｒｕｉは、ユーザｕが商品ｉを購入している場合はｒｕｉ＝１、ユーザｕが商品ｉを購入していない場合はｒｕｉ＝０であるものとする。
本発明の実施の形態では、全ての商品ペアｉ，ｊ∈｛１，・・・，Ｉ｝に関して、共起情報
Figure 0007251642000004
 を推定する。ここで、
Figure 0007251642000005
 は商品ｉと商品ｊの両方を購入しなかったユーザ数、
Figure 0007251642000006
 は商品ｉは購入しなかったが商品ｊは購入したユーザ数、
Figure 0007251642000007
 は商品ｉは購入したが商品ｊは購入しなかったユーザ数、ｚｉｊは商品ｉと商品ｊの両方を購入したユーザ数を表す。なお、このｚｉｊが商品ｉと商品ｊの共起回数を表す。
商品ｉと商品ｊの両方を購入したユーザ数ｚｉｊ（つまり、共起回数ｚｉｊ）が得られた場合、共起情報ｘｉｊに含まれる他の要素（変数）は、ｙｉ、ｙｊ及びＵを用いて、以下の式（１）によりそれぞれ推定することができる。
Figure 0007251642000008
 このため、共起情報ｘｉｊを得るためには共起回数ｚｉｊのみを推定するだけでもよい。この場合、ｚｉｊには以下の式（２）に示す制約条件が存在するため、この制約条件を満たすようにｚｉｊを推定する。
ｍａｘ（０，ｙｉ＋ｙｊ－Ｕ）≦ｚｉｊ≦ｍｉｎ（ｙｉ，ｙｊ） （２）
そこで、以降では、共起回数ｚｉｊを推定する場合について説明する。本発明の実施の形態では、与えられた集約データｙ、補助データＳ及び少数の履歴データＲと合致するように共起回数ｚｉｊを推定する。このときの合致の度合いを表す指標値としては、例えば、以下の式（３）に示す尤度Ｌを用いることができる。
Figure 0007251642000009
 ここで、
Figure 0007251642000010
 は共起回数集合、ｐ（ｘｉｊ｜βｉｊ）はβｉｊが与えられたときの共起回数の確率、βｉｊは補助データＳ等から計算されるパラメータであり、
Figure 0007251642000011
 と表される。また、Ψはβｉｊを得るためのパラメータ（具体的には、例えば、後述するスカラーパラメータαとニューラルネットワークｆ０（・），ｆ０１（・），ｆ１（・）のパラメータとをまとめたもの）、λはハイパーパラメータ、ｘ＊ ｉｊは少数の履歴データＲから計算された共起情報である。
上記の式（３）に示す尤度Ｌを目的関数として、上記の式（２）に示す制約条件の下で当該目的関数を最大化させるパラメータΨを最適化手法により推定することで、このΨにより計算されるパラメータβｉｊを用いてｐ（ｘｉｊ｜βｉｊ）により共起回数ｚｉｊを推定することができる。
上記の確率ｐ（ｘｉｊ｜βｉｊ）としては、例えば、以下の式（４）に示すディリクレ多項分布を用いることができる。
Figure 0007251642000012
 ここで、Γ（・）はガンマ関数を表す。
なお、上記の式（４）に示すディリクレ多項分布の代わりに、例えば、ポアソン分布や多項分布等が用いられてもよい。ここで、ｐ（ｘ＊ ｉｊ｜βｉｊ）については、上記の式（４）に含まれるｚｉ´ｊ´をｚ＊ ｉ´ｊ´に読み替えればよい。ポアソン分布や多項分布等についても同様に読み替えればよい。ここで、ｚ＊ ｉ´ｊ´は少数の履歴データＲから計算された商品ｉ´と商品ｊ´の共起回数である。
上記のパラメータβｉｊは、補助データＳに含まれる補助情報ｓｉ及びｓｊを入力とする関数で計算される。このような関数としては、例えば、ニューラルネットワークｆ０（・），ｆ０１（・），ｆ１（・）を用いることができる。これらのニューラルネットワークｆ０（・），ｆ０１（・），ｆ１（・）を用いて、パラメータβｉｊは、以下の式（５）～（８）により計算することができる。
Figure 0007251642000013
 ここで、
Figure 0007251642000014
 は経験的な商品ｉの購入確率、α＞０はスカラーパラメータである。
なお、商品ｉと商品ｊとの間の共起関係は転置しても不変であるため、その性質を利用した以下の式（９）及び式（１０）に示すニューラルネットワークが用いられてもよい。
ｆ０（ｓｉ，ｓｊ）＝ρ０（φ０（ｓｉ）＋φ０（ｓｊ）） （９）
ｆ１（ｓｉ，ｓｊ）＝ρ１（φ１（ｓｉ）＋φ１（ｓｊ）） （１０）
ここで、ρ０（・），φ０（・），ρ１（・），φ１（・）はニューラルネットワークである。
なお、共起回数ｚｉｊは上記の式（２）に示す制約条件を満たす必要があるが、ｚｉｊを以下の式（１１）により置換することで、ｚ´ｉｊは、上記の式（２）に示す制約条件を自然に満たすようにすることができる。
Figure 0007251642000015
 このため、共起回数ｚｉｊを上記の式（１１）により置換することで、ｚｉｊの代わりに、－∞＜ｚ´ｉｊ＜∞を推定してもよい。
＜機能構成＞
以降では、本発明の実施の形態における推定装置１０の機能構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における推定装置１０の機能構成の一例を示す図である。
図１に示すように、本発明の実施の形態における推定装置１０は、読込部１０１と、目的関数計算部１０２と、パラメータ更新部１０３と、終了条件判定部１０４と、共起情報推定部１０５と、記憶部１０６とを有する。
記憶部１０６は、各種データを記憶する。記憶部１０６に記憶されている各種データには、例えば、集約データ、補助データ、少数の履歴データ、目的関数のパラメータ（例えば、上記の式（３）に示す尤度ＬのパラメータΨ）等がある。
読込部１０１は、記憶部１０６に記憶されている集約データｙと補助データＳと少数の履歴データＲとを読み込む。なお、読込部１０１は、例えば、集約データｙと補助データＳと少数の履歴データＲとを所定のサーバ装置等から取得（ダウンロード）することで読み込んでもよい。
目的関数計算部１０２は、読込部１０１により読み込んだ集約データｙと補助データＳと少数の履歴データＲとを用いて、所定の目的関数（例えば、上記の式（３）に示す尤度Ｌ等）の値とそのパラメータに関する微分値とを計算する。このとき、制約条件（例えば、上記の式（２）に示す制約条件）が存在する場合には、目的関数計算部１０２は、この制約条件の下で目的関数値と微分値とを計算する。
パラメータ更新部１０３は、目的関数計算部１０２により計算された目的関数の値と微分値とを用いて、目的関数の値が高く（又は低く）なるようにパラメータを更新する。
終了条件判定部１０４は、所定の終了条件を満たすか否かを判定する。終了条件判定部１０４により終了条件を満たすと判定されるまで、目的関数計算部１０２による目的関数値及び微分値の計算とパラメータ更新部１０３によるパラメータの更新とが繰り返し実行される。これにより、共起情報を推定するためのパラメータが学習される。
なお、終了条件としては、例えば、繰り返し回数が所定の回数を超えたこと、繰り返しの前後で目的関数値の変化量が所定の第１の閾値以下となったこと、更新の前後でパラメータの変化量が所定の第２の閾値以下となったこと等が挙げられる。
共起情報推定部１０５は、学習済みのパラメータを用いて共起情報ｘｉｊを推定する。例えば、上記の式（３）に示す尤度Ｌが目的関数として用いられた場合、共起情報推定部１０５は、上記の式（４）により共起回数ｚｉｊを推定することができる。このとき、共起情報推定部１０５は、例えば、最も確率の高い共起回数ｚｉｊを推定結果とすればよい。これにより、共起情報推定部１０５は、上記の式（１）により共起情報ｘｉｊを推定することができる。なお、共起情報推定部１０５は必ずしも共起情報ｘｉｊまでを推定する必要はなく、共起回数ｚｉｊのみを推定してもよい。
ここで、読込部１０１と目的関数計算部１０２とパラメータ更新部１０３と終了条件判定部１０４と記憶部１０６とで学習装置２０が実現される。すなわち、共起情報を推定するためのパラメータを学習する各機能部（読込部１０１、目的関数計算部１０２、パラメータ更新部１０３及び終了条件判定部１０４）と記憶部１０６とで学習装置２０が実現される。
なお、図１に示す推定装置１０の機能構成は一例であって、他の機能構成であってもよい。例えば、推定装置１０と学習装置２０とが異なる装置で実現されており、通信ネットワーク等を介して互いに通信可能なように構成されていてもよい。
＜推定処理の流れ＞
以降では、共起情報を推定するためのパラメータの学習と学習済みのパラメータを用いた共起情報の推定とを行う推定処理の流れについて、図２を参照しながら説明する。図２は、本発明の実施の形態における推定処理の一例を示すフローチャートである。
まず、読込部１０１は、記憶部１０６に記憶されている集約データｙと補助データＳと少数の履歴データＲとを読み込む（ステップＳ１０１）。
次に、目的関数計算部１０２は、上記のステップＳ１０１で読み込んだ集約データｙと補助データＳと少数の履歴データＲとを用いて、所定の目的関数（例えば、上記の式（３）に示す尤度Ｌ等）の値とそのパラメータに関する微分値とを計算する（ステップＳ１０２）。このとき、制約条件（例えば、上記の式（２）に示す制約条件）が存在する場合には、目的関数計算部１０２は、この制約条件の下で目的関数値と微分値とを計算する。
次に、パラメータ更新部１０３は、上記のステップＳ１０２で計算された目的関数値及び微分値を用いて、当該目的関数値が高く（又は低く）なるようにパラメータを更新する（ステップＳ１０３）。
次に、終了条件判定部１０４は、所定の終了条件を満たすか否かを判定する（ステップＳ１０４）。終了条件を満たすと判定されなかった場合はステップＳ１０２に戻る。一方で、終了条件を満たすと判定された場合はステップＳ１０６に進む。
最後に、共起情報推定部１０５は、学習済みのパラメータ（すなわち、上記のステップＳ１０２～ステップＳ１０３の繰り返しによって更新されたパラメータ）を用いて共起情報ｘｉｊを推定する（ステップＳ１０５）。上述したように、共起情報推定部１０５は、例えば、上記の式（４）により最も確率の高い共起回数ｚｉｊを推定結果として推定すればよい。これにより、共起情報推定部１０５は、上記の式（１）により共起情報ｘｉｊを推定することができる。
＜評価＞
以降では、本発明の実施の形態の評価について説明する。本発明の実施の形態を評価するため、ユーザ毎の商品の購入履歴を表す履歴データを用いた。また、評価指標としては、全てのユーザの購入履歴を用いて共起回数を実際に計算することで得られた真の共起回数の確率との誤差（ｅｒｒｏｒ）とした。このとき、各評価対象の評価結果を図３に示す。
各評価対象は以下の通りである。
ＩＮＤ：各商品の購入が独立であると仮定して従来技術により共起回数を推定した場合
ＭＬ：少数のユーザの購入履歴に関する尤度を最大化して従来技術により共起回数を推定した場合
Ｙ：商品毎の購入ユーザ数（つまり、集約データｙ）のみを用いて本発明の実施の形態により共起回数を推定した場合
Ｒ：少数のユーザの購入履歴（つまり、少数の履歴データＲ）のみを用いて本発明の実施の形態により共起回数を推定した場合
ＹＲ：商品毎の購入ユーザ数と少数のユーザの購入履歴とを用いて本発明の実施の形態により共起回数を推定した場合
ＹＳ：商品毎の購入ユーザ数と商品毎の補助情報（つまり、補助データＳ）とを用いて本発明の実施の形態により共起回数を推定した場合
ＲＳ：少数のユーザの購入履歴と商品毎の補助情報とを用いて本発明の実施の形態により共起回数を推定した場合
ＹＲＳ；商品毎の購入ユーザ数と少数のユーザの購入履歴と商品毎の補助情報とを用いて本発明の実施の形態により共起回数を推定した場合
図３に示すように、ＹＲＳが最も誤差が小さいことがわかる。すなわち、集約データと補助データと少数の履歴データとを用いることで、本発明の実施の形態では、共起回数を高い精度で推定できていることがわかる。
＜ハードウェア構成＞
最後に、本発明の実施の形態における推定装置１０のハードウェア構成について、図４を参照しながら説明する。図４は、本発明の実施の形態における推定装置１０のハードウェア構成の一例を示す図である。なお、学習装置２０についても、推定装置１０と同様のハードウェア構成により実現可能である。
図４に示すように、本発明の実施の形態における推定装置１０は、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。
入力装置２０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２０２は、例えばディスプレイ等であり、推定装置１０の処理結果等を表示する。なお、推定装置１０は、入力装置２０１及び表示装置２０２の少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。推定装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、推定装置１０が有する各機能部（例えば、読込部１０１、目的関数計算部１０２、パラメータ更新部１０３、終了条件判定部１０４及び共起情報推定部１０５等）を実現する１以上のプログラム等が記録されていてもよい。
記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
通信Ｉ／Ｆ２０４は、推定装置１０を通信ネットワークに接続するためのインタフェースである。推定装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
プロセッサ２０５は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、メモリ装置２０６等からプログラムやデータを読み出して処理を実行する演算装置である。推定装置１０が有する各機能部は、メモリ装置２０６等に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。
メモリ装置２０６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等であり、プログラムやデータが格納される記憶装置である。推定装置１０が有する記憶部１０６は、メモリ装置２０６等により実現される。
本発明の実施の形態における推定装置１０は、図４に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図４に示すハードウェア構成は一例であって、推定装置１０は、他のハードウェア構成を有していてもよい。例えば、推定装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。
本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更等が可能である。
１０ 推定装置
２０ 学習装置
１０１ 読込部
１０２ 目的関数計算部
１０３ パラメータ更新部
１０４ 終了条件判定部
１０５ 共起情報推定部
１０６ 記憶部

Claims (8)

  1. 第１の対象毎の第２の対象に関する履歴を表す履歴データを所定の観点で集約した集約データと、前記第２の対象に関する補助的な情報を表す補助データと、前記履歴データに含まれる一部の部分履歴データとを入力として、２つの前記第２の対象間の共起関係を表す共起情報と前記集約データ、前記補助データ及び前記部分履歴データとの合致度を表す所定の目的関数の値と、前記目的関数のパラメータに関する微分値とを計算する計算手段と、
    前記計算手段により計算された前記目的関数の値と前記微分値とを用いて、前記目的関数の値を最大化又は最小化するように前記パラメータを更新する更新手段と、
    を有することを特徴とする学習装置。
  2. 所定の終了条件を満たすか否かを判定する判定手段を有し、
    前記学習装置は、
    前記判定手段により終了条件を満たすと判定されるまで、前記計算手段による前記目的関数の値及び前記微分値の計算と、前記更新手段による前記パラメータの更新とを繰り返す、ことを特徴とする請求項１に記載の学習装置。
  3. 前記履歴データは、ユーザ毎の商品の購入履歴を表すデータ、ユーザ毎の病気の罹患履歴を表すデータ、又は文書毎の単語の出現回数を表すデータのいずれかであり、
    前記第２の対象に関する補助的な情報は、前記商品の特徴に関する情報、前記病気の特徴に関する情報、又は前記単語の特徴に関する情報のいずれかである、ことを特徴とする請求項１又は２に記載の学習装置。
  4. 前記目的関数は、前記補助データから計算される前記パラメータが与えられた場合における前記共起情報の第１の確率分布と前記部分履歴データから計算された共起情報の第２の確率分布とを用いた尤度で表される、ことである請求項１乃至３の何れか一項に記載の学習装置。
  5. 第１の対象毎の第２の対象に関する履歴を表す履歴データを所定の観点で集約した集約データと、前記第２の対象に関する補助的な情報を表す補助データと、前記履歴データに含まれる一部の部分履歴データとを入力として、２つの前記第２の対象間の共起関係を表す共起情報と前記集約データ、前記補助データ及び前記部分履歴データとの合致度を表す所定の目的関数の値と、前記目的関数のパラメータに関する微分値とを計算する計算手段と、
    前記計算手段により計算された前記目的関数の値と前記微分値とを用いて、前記目的関数の値を最大化又は最小化するように前記パラメータを更新する更新手段と、
    前記更新手段により更新された前記パラメータを用いて、前記共起情報を推定する推定手段と、
    を有することを特徴とする推定装置。
  6. 第１の対象毎の第２の対象に関する履歴を表す履歴データを所定の観点で集約した集約データと、前記第２の対象に関する補助的な情報を表す補助データと、前記履歴データに含まれる一部の部分履歴データとを入力として、２つの前記第２の対象間の共起関係を表す共起情報と前記集約データ、前記補助データ及び前記部分履歴データとの合致度を表す所定の目的関数の値と、前記目的関数のパラメータに関する微分値とを計算する計算手順と、
    前記計算手順で計算された前記目的関数の値と前記微分値とを用いて、前記目的関数の値を最大化又は最小化するように前記パラメータを更新する更新手順と、
    をコンピュータが実行することを特徴とする学習方法。
  7. 第１の対象毎の第２の対象に関する履歴を表す履歴データを所定の観点で集約した集約データと、前記第２の対象に関する補助的な情報を表す補助データと、前記履歴データに含まれる一部の部分履歴データとを入力として、２つの前記第２の対象間の共起関係を表す共起情報と前記集約データ、前記補助データ及び前記部分履歴データとの合致度を表す所定の目的関数の値と、前記目的関数のパラメータに関する微分値とを計算する計算手順と、
    前記計算手順で計算された前記目的関数の値と前記微分値とを用いて、前記目的関数の値を最大化又は最小化するように前記パラメータを更新する更新手順と、
    前記更新手順で更新された前記パラメータを用いて、前記共起情報を推定する推定手順と、
    をコンピュータが実行することを特徴とする推定方法。
  8. コンピュータを、請求項１乃至４の何れか一項に記載の学習装置における各手段、又は、請求項５に記載の推定装置における各手段として機能させるためのプログラム。
JP2021546124A 2019-09-18 2019-09-18 学習装置、推定装置、学習方法、推定方法及びプログラム Active JP7251642B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036650 WO2021053775A1 (ja) 2019-09-18 2019-09-18 学習装置、推定装置、学習方法、推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021053775A1 JPWO2021053775A1 (ja) 2021-03-25
JP7251642B2 true JP7251642B2 (ja) 2023-04-04

Family

ID=74884412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021546124A Active JP7251642B2 (ja) 2019-09-18 2019-09-18 学習装置、推定装置、学習方法、推定方法及びプログラム

Country Status (3)

Country Link
US (1) US20220351052A1 (ja)
JP (1) JP7251642B2 (ja)
WO (1) WO2021053775A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015704A (ja) 2001-06-29 2003-01-17 Aie Research Inc 最適化計算方法、最適化システムおよびプログラム
WO2018042606A1 (ja) 2016-09-01 2018-03-08 株式会社日立製作所 分析装置、分析システムおよび分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015704A (ja) 2001-06-29 2003-01-17 Aie Research Inc 最適化計算方法、最適化システムおよびプログラム
WO2018042606A1 (ja) 2016-09-01 2018-03-08 株式会社日立製作所 分析装置、分析システムおよび分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
海野 裕也，人と機械の言語獲得，認知科学，日本，日本認知科学会，2017年03月01日，第２４巻，第１号，ｐ．１６－２２

Also Published As

Publication number Publication date
US20220351052A1 (en) 2022-11-03
JPWO2021053775A1 (ja) 2021-03-25
WO2021053775A1 (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
US11170395B2 (en) Digital banking platform and architecture
CN105701191B (zh) 一种推送信息点击率估计方法和装置
TWI631518B (zh) 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法
JP5988419B2 (ja) 予測方法、予測システムおよびプログラム
EP2428926A2 (en) Rating prediction device, rating prediction method, and program
CN113256367B (zh) 用户行为历史数据的商品推荐方法、系统、设备及介质
Chou et al. Predictive analytics for customer repurchase: Interdisciplinary integration of buy till you die modeling and machine learning
Maldonado et al. Advanced conjoint analysis using feature selection via support vector machines
US20200320382A1 (en) Digital Experience Enhancement Using An Ensemble Deep Learning Model
Rath et al. Modern approach for loan sanctioning in banks using machine learning
Marcos de Moraes et al. A double weighted fuzzy gamma naive bayes classifier
CN110348947B (zh) 对象推荐方法及装置
KR20210144330A (ko) 협업 필터링 신경망을 이용하여 상품을 추천하는 방법 및 장치
Goin et al. Identification of spikes in time series
CN114511387A (zh) 产品推荐方法、装置、电子设备及存储介质
CN112991026A (zh) 一种商品推荐方法、系统、设备及计算机可读存储介质
Shi et al. A forward and backward stagewise algorithm for nonconvex loss functions with adaptive lasso
JP7251642B2 (ja) 学習装置、推定装置、学習方法、推定方法及びプログラム
WO2020026646A1 (ja) 解析装置、解析方法及びプログラム
CN110956530A (zh) 推荐方法、装置、电子设备及计算机可读存储介质
CN115471260A (zh) 基于神经网络的销售预测方法、装置、设备及介质
US20230076149A1 (en) Methods and apparatus for data imputation of a sparse time series data set
CN116361540A (zh) 一种基于用户多意图的社会化推荐方法、装置及介质
US10937087B2 (en) Systems and methods for optimal bidding in a business to business environment
CN114529399A (zh) 用户数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R150 Certificate of patent or registration of utility model

Ref document number: 7251642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150