JP6523498B1 - 学習装置、学習方法および学習プログラム - Google Patents

Abstract

【課題】利用者と対応する情報の推定精度を向上させること。【解決手段】本願に係る学習装置は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得部と、前記第１モデルに所定の入力情報を入力した際に、前記第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習部とを有することを特徴とする。【選択図】図１

Description

本発明は、学習装置、学習方法および学習プログラムに関する。

従来、各種の情報を利用者に対して提供する技術が知られている。このような技術の一例として、利用者が過去に選択した情報や利用者の属性等といった利用者と関連する情報に基づいて、利用者と関連性が高い情報や利用者が興味を有する情報等、利用者と対応する情報を推定し、推定した情報を利用者に提供する技術が知られている。

特開２０１２−１５０５６１号公報

しかしながら、上述した従来技術では、利用者と対応する情報を適切に推定できない恐れがある。

例えば、上述した従来技術では、利用者の選択履歴に基づいて、利用者と関連する情報と配信対象となる情報との間の共起性を学習し、学習した共起性に基づいて、利用者と対応する情報を推定する。しかしながら、このような技術では、利用者の選択履歴が不十分な場合、学習精度が低下し、利用者と対応する情報を精度良く推定できなくなる恐れがある。

また、複数のサービスを利用する利用者に対して、あるサービスの利用時に、他のサービスに関する情報を提供するクロスドメインレコメンデーションの技術が知られている。例えば、ある属性を有する第１利用者が映画配信サービスを利用する際に、ウェブ検索サービスにおける検索履歴が第１利用者と共通する第２利用者が映画配信サービスにおいて選択した映画コンテンツを提案するといった技術が知られている。しかしながら、各サービスを共通して利用する利用者の数が少ない場合、このようなクロスドメインレコメンデーションにおいて提案する情報を精度良く推定できなくなる恐れがある。

本願は、上記に鑑みてなされたものであって、利用者と対応する情報の推定精度を向上させることを目的とする。

本願に係る学習装置は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得部と、前記第１モデルに所定の入力情報を入力した際に、前記第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習部とを有することを特徴とする。

実施形態の一態様によれば、利用者と対応する情報の推定精度を向上させることができる。

図１は、実施形態に係る情報提供装置の一例を示す図である。 図２は、実施形態に係るモデルが有する構造の概念の一例を示す図である。 図３は、実施形態に係る情報提供装置が有する機能構成の一例を示す図である。 図４は、実施形態に係る第１ドメイン情報データベースに登録される情報の一例を示す図である。 図５は、実施形態に係る第２ドメイン情報データベースに登録される情報の一例を示す図である。 図６は、実施形態に係る情報提供装置が生成する学習モデルのバリエーションを説明する図である。 図７は、実施形態に係る情報提供装置が実行する学習処理の流れの一例を示すフローチャートである。 図８は、ハードウェア構成の一例を示す図である。

以下に、本願に係る学習装置、学習方法および学習プログラムおよび情報提供装置を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る学習装置、学習方法および学習プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．情報提供装置の概要〕
以下、図１を用いて、学習装置の一例となる情報提供装置１０の一例について説明する。図１は、実施形態に係る情報提供装置の一例を示す図である。なお、図１に示す例では、情報提供装置１０が第１ドメインサーバ１００および第２ドメインサーバ２００が提供する情報を用いて実行する学習処理の一例について記載した。

情報提供装置１０は、インターネット等の所定のネットワークＮ（例えば、図３を参照。）を介して、第１ドメインサーバ１００および第２ドメインサーバ２００と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置１０は、ネットワークＮを介して、任意の数の第１ドメインサーバ１００および第２ドメインサーバ２００（以下、単に「サーバ」と総称する場合がある。）と通信可能であってもよい。また、情報提供装置１０は、任意のドメインに属する任意の数のサーバと通信可能であるものとする。

第１ドメインサーバ１００は、所定のサービスを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。また、第１ドメインサーバ１００は、所定の第１ドメインが示すサービスの提供を行う。例えば、第１ドメインサーバ１００は、所定のドメイン名「ドメイン＃１」を含むＵＲＬ（Uniform Resource Locator）によりアクセス可能なウェブコンテンツを利用者に配信し、利用者に配信したウェブコンテンツを介して各種のコンテンツを利用者に提供するコンテンツ配信サービスを提供する。

第２ドメインサーバ２００は、所定のサービスを提供する情報処理装置であり、サーバ装置やクラウドシステム等により実現される。また、第２ドメインサーバ２００は、第１ドメインとは異なる所定の第２ドメインが示すサービスの提供を行う。例えば、第２ドメインサーバ２００は、所定のドメイン名「ドメイン＃２」を含むＵＲＬ（Uniform Resource Locator）によりアクセス可能なウェブコンテンツを利用者に配信し、利用者に配信したウェブコンテンツを介して各種のコンテンツを利用者に提供するコンテンツ配信サービスを提供する。

なお、上述したドメイン＃１とドメイン＃２とは、それそれ異なるドメインであればよく、完全に独立したドメインである必要はない。例えば、ドメイン＃１とドメイン＃２とは、共通するドメイン＃０に属するサブドメインであってもよく、それぞれ異なるドメインに属するサブドメインであってもよい。

ここで、第１ドメインサーバ１００および第２ドメインサーバ２００は、ログとして、配信されたコンテンツと、コンテンツの配信先となる利用者に関する利用者情報とを対応付けて保持する。例えば、第１ドメインサーバ１００および第２ドメインサーバ２００は、利用者情報として、利用者を識別するための識別子、利用者のデモグラフィック属性やサイコグラフィック属性等といった属性情報等を保持する。なお、第１ドメインサーバ１００および第２ドメインサーバ２００は、ある利用者に対し、各ドメインで共通の同一の識別子や属性情報を保持してもよく、異なる識別子や属性情報を保持してもよい。また、第１ドメインサーバ１００および第２ドメインサーバ２００は、利用者が予め登録した属性情報を保持してもよく、利用者の閲覧履歴や購入履歴、利用者が入力した検索クエリの履歴等に基づいて推定した属性情報を保持してもよい。このような属性情報の推定は、任意の推定技術が採用可能である。

また、第１ドメインサーバ１００および第２ドメインサーバ２００は、任意のサービスを提供してもよい。例えば、第１ドメインサーバ１００および第２ドメインサーバ２００は、電子商店街において商品や役務を紹介もしくは購入するためのウェブコンテンツを配信してもよく、ニュース、ウェブ検索、ポータルサイト等に関するウェブコンテンツを配信してもよい。また、第１ドメインサーバ１００および第２ドメインサーバ２００は、ＳＮＳ（Social Networking Service）やマイクロブログの配信を行ってもよい。

以下、情報提供装置１０が実行する学習処理の一例として、第１ドメインサーバ１００および第２ドメインサーバ２００は、第１ドメインおよび第２ドメインに関するサービスとして、動画等といったコンテンツの配信サービスを提供するものとする。

〔１−１．学習処理の概要について〕
ここで、ある利用者に対してコンテンツを配信する配信処理において、利用者が興味を有すると推定されるコンテンツや、利用者が選択する可能性が高いコンテンツ等、利用者に対応するコンテンツを配信若しくは提案するといった手法が考えられる。例えば、利用者が過去に選択したコンテンツの履歴と、その利用者の属性情報との間の共起性をあらかじめ学習し、学習結果に基づいて、配信先となる利用者と対応するコンテンツを推定する技術が考えられる。しかしながら、このような技術では、利用者が選択したコンテンツの履歴と、利用者の属性情報との組があまり多くない場合に、コンテンツの推定精度が低下する恐れがある。

また、第１ドメインにおけるコンテンツの視聴履歴や選択履歴に基づいて、第２ドメインにおけるコンテンツのうち、利用者の視聴履歴や選択履歴を推定するといったクロスドメインレコメンデーションの技術が考えられる。例えば、ある属性を有する第１利用者が映画配信サービスを利用する際に、ウェブ検索サービスにおける検索履歴が第１利用者と共通する第２利用者が映画配信サービスにおいて選択した映画コンテンツを提案するといった技術が知られている。しかしながら、各サービスを共通して利用する利用者の数が少ない場合、このようなクロスドメインレコメンデーションにおいて提案する情報を精度良く推定できなくなる恐れがある。

そこで、情報提供装置１０は、以下の学習処理を実行する。まず、情報提供装置１０は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する。そして、情報提供装置１０は、第１モデルに所定の入力情報を入力した際に、第１モデルが所定の入力情報と対応する所定の出力情報を出力し、かつ、複数の中間層のうち所定の中間層が出力する中間情報が、所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行う。

ここで、情報提供装置１０は、所定の入力情報として第１ドメインと関連する入力情報を第１モデルに入力した際に、出力情報として入力された所定の入力情報の分類を示す情報を出力し、かつ、中間情報が、第１ドメインとは異なる第２ドメインと関連する対応情報を考慮した特徴情報に近づくように、第１モデルの学習を行う。

例えば、情報提供装置１０は、所定の入力情報として第１情報とその第１情報に紐付けられる第２情報とを第１モデルに入力した際に、出力情報として、第１情報に応じた第２情報の分類結果を出力し、かつ、中間情報が、第１情報と紐付けられる第３情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行う。より具体的な例を挙げると、情報提供装置１０は、第１ドメインに属する第１情報および第２情報と、第１ドメインとは異なる第２ドメインに属する第３情報とを用いて、第１モデルの学習を行う。例えば、情報提供装置１０は、利用者の特徴を示す第１情報と、第１情報が示す特徴を有する利用者が選択した選択対象を示す第２情報と、第１情報が示す特徴を有する利用者が選択した選択対象であって、第２情報が示す選択対象とは異なる選択対象を示す第３情報とを用いて、第１モデルの学習を行う。

例えば、第１ドメインに属するコンテンツとそのコンテンツが配信された利用者の属性情報との組が十分に存在する場合、これらコンテンツと属性情報との共起性を学習させたモデルは、利用者の属性情報から利用者と対応するコンテンツを精度良く推定することができる。一方、第２ドメインに属するコンテンツとそのコンテンツが配信された利用者の属性情報との組が十分に存在しない場合、これらコンテンツと属性情報との共起性を学習させたモデルは、利用者の属性情報から利用者と対応するコンテンツを精度良く推定することができないと考えられる。この結果、例えば、第２ドメインに属するサービスが開始されてから時間があまり経過していない場合等には、所謂コールドスタート問題が生じる。

一方で、第２ドメインに属するサービスにおいて配信されるコンテンツ、すなわち、第２ドメインに属するコンテンツについては、第２ドメインに属するサービスの開始時点においても、ある程度の数が存在すると考えられる。また、第２ドメインに属するコンテンツのうち配信先の利用者と対応するコンテンツは、第１ドメインに属するコンテンツのうち、配信先の利用者と対応するコンテンツと対応するとも考えられる。例えば、第１ドメインにおいてニュースが配信され、第２ドメインにおいて動画像が配信される場合、第１ドメインにおいて所定のニュースを選択した利用者は、その所定のニュースと共起性を有する動画像を気に入る可能性が高いとも考えられる。

そこで、情報提供装置１０は、第１ドメインに属する利用者の属性情報とコンテンツを示す情報（例えば、コンテンツのメタデータ）との間の共起性をモデルに学習させる際に、第２ドメインに属するコンテンツが有する特徴を考慮した学習を行う。例えば、情報提供装置１０は、第２ドメインに属するコンテンツの特徴を学習させた第２モデルをあらかじめ生成する。より具体的には、情報提供装置１０は、第２ドメインに属するコンテンツの特徴を抽出する第２モデルをあらかじめ生成する。そして、情報提供装置１０は、第１ドメインのコンテンツを示す情報、そのコンテンツを選択した利用者の属性情報との間の共起性を第１モデルに学習させる際に、そのコンテンツを示す情報を第２モデルに入力することで得られる特徴に基づいた補正を行う。

このように、情報提供装置１０は、第１ドメインに属する情報が有する特徴の学習を行う際に、第２ドメインに属する情報が有する特徴を考慮した学習を行う。より具体的には、情報提供装置１０は、第１ドメインに属するサービスにおける動画像と利用者との間の関係性が有する特徴（例えば、共起性の特徴）を第１モデルに学習させる際に、第１モデルが有する中間層の出力を、第２ドメインに属する情報が有する特徴を示す情報と類似するように、第１モデルの学習を行う。

このような補正を行った場合、第１モデルは、第１ドメインに属する動画像から、第１ドメインに属する動画像の特徴を示す情報として、第２ドメインに属する動画像の特徴を示す情報に類似する情報を生成する。すなわち、第１モデルは、第２ドメインに属する動画像の特徴に応じた観点で、第１ドメインに属する動画像の特徴を示す情報を生成する。この結果、第１モデルは、第２ドメインに属する動画像の特徴をある程度考慮した推定を実現するので、第２ドメインにおける配信履歴の数が少ない場合にも、ある程度の精度を持って、第２ドメインにおける動画像と利用者との関係性を推定することができる。

〔１−２．学習処理の一例について〕
以下、情報提供装置１０が実行する学習処理の一例について説明する。なお、以下の説明では、第１モデルとして、ＤＳＮ（Domain Separation Network）を採用する例について説明するが、実施形態は、これに限定されるものではない。また、以下の説明では、情報提供装置１０が実行する学習処理の一例として、第１ドメインに属するコンテンツと利用者との関係性の特徴を学習する際に、第２ドメインに属するコンテンツの特徴に基づいた補正を行うことで、第２ドメインに関するコンテンツと配信先となる利用者の属性との間の関係性を推定する第１モデルを学習する処理の一例について説明する。

まず、情報提供装置１０は、第２ドメインサーバ２００から、配信対象となるコンテンツを示す情報として、配信対象となるコンテンツのメタデータを受付ける（ステップＳ１）。例えば、情報提供装置１０は、第２ドメインのサービスにおいて映画が配信される場合、コンテンツのメタデータとして、コンテンツの題名、ジャンル、監督、出演者、上映時間、公開念等を示すメタデータを受付ける。

このような場合、情報提供装置１０は、配信対象となるコンテンツのメタデータが有する特徴を第２モデルに学習させる（ステップＳ２）。例えば、情報提供装置１０は、第２モデルとして、多段に接続された複数のノードを有し、入力された情報（以下、「入力情報」と記載する。）次元数を徐々に低下させることで、入力情報の特徴を示す情報（以下、「特徴情報」と記載する。）を生成し、生成した特徴情報の次元数を徐々に増加させることで、入力情報に対応する出力情報を生成するモデルを生成する。より具体的な例を挙げると、情報提供装置１０は、所謂オートエンコーダと呼ばれるモデルの学習を行う。

例えば、情報提供装置１０は、オートエンコーダとなる第２モデルに対し、第２ドメインに属するコンテンツのメタデータを入力情報Ｆ_Ｉとして入力し、第２モデルが出力する入力情報Ｆ_０を得る。そして、情報提供装置１０は、入力情報Ｆ_Ｉと入力情報Ｆ_０との差が小さくなるように、第２モデルが有するノード間の接続係数、すなわち、重みの値を修正する。例えば、情報提供装置１０は、バックプロパゲーション等の学習手法を用いて、入力情報と出力情報とが同じ値になるように、第２モデルの学習を行う。この結果、情報提供装置１０は、第２ドメインに属するコンテンツの特徴を学習した第２モデルを得ることができる。

続いて、情報提供装置１０は、ＤＳＮを用いて、利用者情報とメタデータとをそれぞれ符号化し、符号化情報から利用者情報とメタデータとをそれぞれ復号するとともに、メタデータを符号化した情報に基づいてメタデータの分類を行うための第１モデルを取得する（ステップＳ３）。より具体的には、情報提供装置１０は、第１情報と第２情報とが入力された場合に、第１情報と第２情報との関係性に基づいた第２情報の分類結果を示す第１モデルを生成する。例えば、情報提供装置１０は、利用者情報として利用者の属性情報と、コンテンツのメタデータとが入力されると、入力されたメタデータを有するコンテンツに対し、入力された利用者情報と対応する利用者がそのコンテンツと対応する確度を示す情報を出力する構成の第１モデルを生成する。

例えば、情報提供装置１０は、第１エンコーダ、第２エンコーダ、第３エンコーダ、デコーダ、および分類器により構成される第１モデルを生成する。このような第１エンコーダ、第２エンコーダ、第３エンコーダ、デコーダ、および分類器は、それぞれがＤＮＮ、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ等、任意の構造を有するニューラルネットワークにより実現されてもよい。なお、第１モデルは、全体として、少なくとも複数の中間層（隠れ層）を有するニューラルネットワークにより構成されるものとする。

以下、第１モデルの具体例について説明する。例えば、情報提供装置１０は、第１モデルに入力される第１情報Ｘ^ｔを符号化する第１エンコーダを取得する。このような第１エンコーダは、第１情報Ｘ^ｔに対し、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第１情報Ｘ^ｔを符号化した第１符号化情報ｈ^Ｔ _ｐを生成する。なお、このような第１エンコーダは、例えば、Ｔａｒｇｅｔ ｐｒｉｖａｔｅ ｅｎｃｏｄｅｒと呼ばれる場合がある。

また、情報提供装置１０は、第１モデルに入力される第２情報Ｘ^Ｓを符号化する第２エンコーダを取得する。このような第２エンコーダは、第２情報Ｘ^Ｓに対し、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第２情報Ｘ^Ｓを符号化した第２符号化情報ｈ^Ｓ _ｐを生成する。なお、このような第２エンコーダは、例えば、Ｓｏｕｒｃｅ ｐｒｉｖａｔｅ ｅｎｃｏｄｅｒと呼ばれる場合がある。

また、情報提供装置１０は、第１情報Ｘ^ｔと第２情報Ｘ^Ｓとを符号化する第３エンコーダを取得する。このような第３エンコーダは、第１情報Ｘ^ｔに対し、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第１情報Ｘ^ｔを符号化した第３符号化情報ｈ^Ｔ _Ｃを生成する。また、このような第３エンコーダは、第２情報Ｘ^Ｓに対し、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第２情報Ｘ^Ｓを符号化した第４符号化情報ｈ^Ｓ _Ｃを生成する。

ここで、第３エンコーダは、第１情報Ｘ^ｔを符号化するエンコーダ（以下、「第１副エンコーダ」と記載する。）と、第２情報Ｘ^Ｓとを符号化するエンコーダ（以下、「第２副エンコーダ」と記載する。）とにより実現されてもよい。例えば、第１副エンコーダおよび第２副エンコーダとは、同じ構成を有するニューラルネットワークにより構成される。より具体的には、第１副エンコーダと第２副エンコーダとは、同じ数の層を有し、各層に同じ数のノードを含み、かつ、ノード間の接続形態が同じニューラルネットワークにより構成されてもよい。

また、第３エンコーダは、第１副エンコーダの機能と第２副エンコーダの機能とを有する単一のニューラルネットワークにより実現されてもよい。すなわち、第３エンコーダは、単一のニューラルネットワークを用いて、第１情報Ｘ^ｔを符号化した第３符号化情報ｈ^Ｔ _Ｃを生成するとともに、第２情報Ｘ^Ｓを符号化した第４符号化情報ｈ^Ｓ _Ｃを生成する機能を有していてもよい。なお、このような第３エンコーダは、Ｓｈａｒｅｄ ｅｎｃｏｒｄｅｒと呼ばれる場合がある。

また、情報提供装置１０は、第１符号化情報ｈ^Ｔ _ｐと第３符号化情報ｈ^Ｔ _Ｃとから、第１復号化情報Ｘ’^Ｔを生成し、第２符号化情報ｈ^Ｓ _ｐと第４符号化情報ｈ^Ｓ _Ｃとから、第２復号化情報Ｘ’^Ｓを生成するデコーダを取得する。例えば、情報提供装置１０は、第１符号化情報ｈ^Ｔ _ｐと第３符号化情報ｈ^Ｔ _Ｃとの和に対して、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第１復号化情報Ｘ’^Ｔを生成し、第２符号化情報ｈ^Ｓ _ｐと第４符号化情報ｈ^Ｓ _Ｃとの和に対して、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第２復号化情報Ｘ’^Ｓを生成するデコーダを取得する。

なお、このようなデコーダは、第３エンコーダと同様に、第１符号化情報ｈ^Ｔ _ｐと第３符号化情報ｈ^Ｔ _Ｃとから、第１復号化情報Ｘ’^Ｔを生成するニューラルネットワークと、第２符号化情報ｈ^Ｓ _ｐと第４符号化情報ｈ^Ｓ _Ｃとから、第２復号化情報Ｘ’^Ｓを生成するニューラルネットワークとによって実現されてもよい。また、デコーダは、単一のニューラルネットワークを用いて、第１符号化情報ｈ^Ｔ _ｐと第３符号化情報ｈ^Ｔ _Ｃとから、第１復号化情報Ｘ’^Ｔを生成するとともに、第２符号化情報ｈ^Ｓ _ｐと第４符号化情報ｈ^Ｓ _Ｃとから、第２復号化情報Ｘ’^Ｓを生成してもよい。なお、このようなデコーダは、Ｓｈａｒｅｄ ｄｅｃｏｒｄｅｒと呼ばれる場合がある。また、図１に示す例では、Ｘ’をハット記号を付したＸで示した。

また、情報提供装置１０は、複数の中間層を有し、第３エンコーダが生成した第４符号化情報ｈ^Ｓ _Ｃから、第２情報Ｘ^Ｓの分類結果を示す分類情報ｙ’を生成する分類器を取得する。このような分類器は、第４符号化情報ｈ^Ｓ _Ｃに対して、各層のノードと対応する活性化関数やノード間の接続係数に基づいた演算を行うことで、第４符号化情報ｈ^Ｓ _Ｃの分類結果を示す分類情報ｙ’を生成する。なお、分類器がどのような観点に基づいた分類を行うかについては、後述する学習処理により説明する。なお、このような分類器は、Ｃｌａｓｓｉｆｉｅｒと呼ばれる場合がある。また、図１に示す例では、ｙ’をハット記号を付したｙで示した。

続いて、情報提供装置１０は、利用者情報と選択された第１ドメインのコンテンツのメタデータとの組を第１ドメインサーバ１００から受付ける（ステップＳ４）。より具体的には、情報提供装置１０は、第１ドメインに属するコンテンツ（すなわち、動画像）のメタデータと、そのコンテンツの配信を受付けた利用者の利用者情報との組を学習データとして受付ける。

このような場合、情報提供装置１０は、第２モデルにメタデータを入力した際に第２モデルの中間層が出力する特徴情報と、第１モデルに利用者情報とメタデータとを入力した際に分類器の中間層が出力する情報とが類似するように、第１モデルの学習を行う（ステップＳ５）。より具体的には、情報提供装置１０は、第１モデルに対して、第１情報Ｘ^Ｔとして利用者情報を入力し、第２情報Ｘ^Ｓとしてメタデータを入力し、第１復号化情報Ｘ’^Ｔと第２復号化情報Ｘ’^Ｓと分類情報ｙ’とを取得する。そして、情報提供装置１０は、第１復号化情報Ｘ’^Ｔと第１情報Ｘ^Ｔとの差がより小さくなり、かつ第２復号化情報Ｘ’^Ｓと第２情報Ｘ^Ｓとの差がより小さくなるように、第１モデルの学習を行う。また、情報提供装置１０は、入力されたメタデータを有するコンテンツと入力された利用者情報を有する利用者とが対応する旨を示す値と分類情報ｙ’の値との差がより小さくなるように、第１モデルの学習を行う。すなわち、情報提供装置１０は、入力されたメタデータを、入力された利用者情報を有する利用者が選択した旨を示す分類情報ｙ’を出力するように、第１モデルの学習を行う。例えば、情報提供装置１０は、第１モデルに含まれる各エンコーダ、デコーダ、分類器に含まれるノード間の接続係数を更新する。

ここで、情報提供装置１０は、第１モデルに入力したメタデータを第２モデルに入力し、第２モデルが有する中間層のうち、所定の中間層が出力する情報を特徴情報ｈ_ｉとして取得する。例えば、情報提供装置１０は、第２モデルにメタデータを入力した際に、第２モデルが有する中間層のうちノードの数が最も少ない中間層、すなわち、最も端的に入力された情報の特徴を示す情報を出力する中間層の出力を、特徴情報ｈ_ｉとして取得する。また、情報提供装置１０は、分類器に含まれる中間層のうち、最も出力層側に近い中間層の出力を、中間情報Ｖ_ｋとして取得する。そして、情報提供装置１０は、特徴情報ｈ_ｉと中間情報Ｖ_ｋとの差が小さくなるように、第１モデルの学習を行う。

例えば、情報提供装置１０は、あるメタデータと利用者情報とを入力した際に、第１復号化情報Ｘ’^Ｔと第１情報Ｘ^Ｔとの差を第１指標とし、第２復号化情報Ｘ’^Ｓと第２情報Ｘ^Ｓとの差を第２指標とし、所望する分類情報の値と実際の分類情報ｙ’の値との差を第３指標とし、第２ドメインに属するコンテンツの特徴を学習した第２モデルを用いてメタデータから抽出した特徴情報ｈ_ｉと分類器の中間層の出力である中間情報Ｖ_ｋとの差を第４指標とする。そして、情報提供装置１０は、第１指標から第４指標までの和を最小化するように、第１モデルが有する接続係数の更新を行う。

このような学習を行った場合、第１モデルは、第２情報（すなわち、第１ドメインに属するコンテンツのメタデータ）と同じクラス（分類）に属する情報であって第２ドメインに属する第３情報（すなわち、第２ドメインに属するコンテンツのメタデータ）の特徴を考慮して、第１ドメインに属する第１情報と第２情報との関係性を学習する。すなわち、第１モデルは、第２ドメインに属するコンテンツの特徴を考慮した状態で、第１ドメインに属するコンテンツの特徴と利用者情報の特徴との間の関係性の特徴を学習することとなる。

このような学習が行われた第１モデルに対し、第２ドメインに属するサービスを受けようとする利用者の利用者情報と、その利用者に配信しようとする第２ドメインのコンテンツのメタデータとを入力した場合、第２ドメインに属するコンテンツの特徴を考慮した状態で、第２ドメインに属するコンテンツの分類を行うことができると推定される。このため、情報提供装置１０は、第２ドメインに属するサービスを受けた利用者の履歴が少ない場合にも、第２ドメインに属するコンテンツを利用者の属性に応じて分類可能なモデルを得ることができる。

例えば、情報提供装置１０は、第２ドメインサーバ２００から配信候補となるコンテンツのメタデータと配信先の利用者情報とを受付ける（ステップＳ６）。このような場合、情報提供装置１０は、学習済のＤＳＮである第１モデルに対し、配信候補となるコンテンツのメタデータと配信先の利用者情報とを入力し、分類器による分類結果を取得する（ステップＳ７）。より具体的には、情報提供装置１０は、配信先の利用者の利用者情報を第１情報とし、配信候補となるコンテンツのメタデータを第２情報として、第１モデルに入力する。

そして、情報提供装置１０は、第１モデルの分類器が出力する分類結果を第２ドメインサーバ２００へと提供する（ステップＳ８）。例えば、情報提供装置１０は、配信候補となるコンテンツが、配信先の利用者と対応するコンテンツであるか否かを示す分類結果を提供する。このような処理の結果、情報提供装置１０は、コールドスタート時等、第２ドメインの利用履歴が少ない場合にも、第２ドメインに属するコンテンツと配信先の利用者とが対応するか否かを精度良く推定することができる。

〔１−３．第１モデルの学習について〕
上述したように、情報提供装置１０は、所定の入力情報として第１情報と第１情報と紐付けられる第２情報とを第１モデルに入力した際に、出力情報として第２情報の分類結果を出力し、かつ、中間情報が、第１情報と紐付けられる第３情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行う。より具体的には、情報提供装置１０は、第１ドメインに属する第１情報および第２情報と、第１ドメインとは異なる第２ドメインに属する第３情報とを用いて、第１モデルの学習を行う。

例えば、情報提供装置１０は、利用者の特徴を示す第１情報（すなわち、利用者情報）と、第１情報が示す特徴を有する利用者が選択した選択対象を示す第２情報（例えば、第１ドメインに属するコンテンツのメタデータ）と、第２情報が示す選択対象とは異なる選択対象を示す第３情報（例えば、第２ドメインに属するコンテンツのメタデータ）とを用いて、第１モデルの学習を行う。より具体的な例を挙げると、情報提供装置１０は、第３情報の特徴を学習した第２モデルを取得する。そして、情報提供装置１０は、第１モデルの学習において、中間情報が、第２情報から第２モデルが生成した特徴情報に近づくように、第１モデルの学習を行う。

例えば、情報提供装置１０は、第２モデルとして、第２情報と同じ種別の情報（例えば、同じ種別の対象を示す情報）である第３情報の特徴を学習した第２モデルを取得する。また、情報提供装置１０は、第１情報と第２情報とを第１モデルに入力した際に、出力情報として第２情報の分類を示す情報を出力し、かつ、第２情報を第２モデルに入力した際に第２モデルが生成した特徴情報に中間情報が近づくように、第１モデルの学習を行う。

また、情報提供装置１０は、第１情報が入力された場合に第１情報を符号化した第１符号化情報を出力する第１エンコーダを有する第１モデルを取得する。また、情報提供装置１０は、第２情報が入力された場合に第２情報を符号化した第２符号化情報を出力する第２エンコーダを有する第１モデルを取得する。また、情報提供装置１０は、第１情報と第２情報とが入力された場合に第１情報を符号化した第３符号化情報と、第２情報を符号化した第４符号化情報とを出力する第３エンコーダを有する第１モデルを取得する。

また、情報提供装置１０は、第１符号化情報と第３符号化情報とから第１復号化情報を復号し、第２符号化情報と第４符号化情報とから第２復号化情報を復号するデコーダを含む第１モデルを取得する。また、情報提供装置１０は、複数の中間層を有し、第４符号化情報から、第２情報の分類結果を示す分類情報を生成する分類部を有する第１モデルを取得する。そして、情報提供装置１０は、第１情報と第１復号化情報とが類似し、第２情報と第２復号化情報とが類似するとともに、分類部が有する複数の中間層のうち所定の中間層が出力する情報が特徴情報に近づくように、第１モデルの学習を行う。

例えば、情報提供装置１０は、第３エンコーダとして、複数の層を有するモデルを取得し、第１情報から第３符号化情報を生成する際に第３符号化部が有する各層が出力する情報と、第２情報から第４符号化情報を生成する際に第３符号化部が有する各層が出力する情報とが近づくように、第１モデルの学習を行う。

以下、数式を用いて、情報提供装置１０が実行する学習処理の一例を説明する。例えば、第１モデルとしてＤＳＮが採用される場合、情報提供装置１０は、以下の式（１）に示すＬ_ＤＳＮの値を最小化するように、第１モデルに含まれるノード間の接続係数を補正する。

ここで、式（１）におけるＬ_ｔａｓｋとは、ＤＳＮにおけるクラシフィケーションロスであり、第１情報と第２情報との組に対応するラベル（例えば、第１情報が示す利用者が第２情報が示すコンテンツを気に入るか否かや、利用者がコンテンツを気に入る確度）と、分類情報が示すラベルとの誤差を示す情報である。例えば、情報提供装置１０は、以下の式（２）に示すＬ_ｔａｓｋを設定する。ここで、式（２）に示すｙ_ｉとは、教師データとしてｉ番目に第１モデルに入力された第１情報と第２情報との組に対応するラベルを示し、ハットが付されたｙ_ｉは、その第１情報と第２情報との組を第１モデルに入力した際に、第１モデルが出力した情報、すなわち、予測された第２情報のラベルを示す情報である。

また、式（１）におけるＬ_{ｒｅｃｏｎ}とは、入力された第１情報と第１復号化情報との差、および、入力された第２情報と第２復号化情報との差により示されるリコンストラクションエラーである。例えば、情報提供装置１０は、以下の式（３）に示すＬ_{ｒｅｃｏｎ}を設定する。ここで式（３）に示すＸ_ｉ ^Ｔは、ｉ番目に教師データとして入力された第１情報を示し、ハットが付されたＸ_ｉ ^Ｔは、教師データとしてＸ_ｉ ^Ｔが示す第１情報が入力された際に第１モデルが出力した第１復号化情報を示す。また、式（３）に示すＸ_ｉ ^Ｓは、ｉ番目に教師データとして入力された第２情報を示し、ハットが付されたＸ_ｉ ^Ｓは、教師データとしてＸ_ｉ ^Ｓが示す第２情報が入力された際に第１モデルが出力した第２復号化情報を示す。

また、式（１）におけるＬ_{ｄｉｆｆｅｒｅｎｃｅ}とは、入力された情報から異なる種別の特徴を抽出するように各エンコーダの学習を行うために設定される項である。例えば、情報提供装置１０は、以下の式（４）に示すＬ_{ｄｉｆｆｅｒｅｎｃｅ}の値を設定する。ここで、式（４）に示すＨ^ｔ _Ｃは、第３エンコーダが抽出した第３符号化情報ｈ^Ｔ _Ｃに基づく行列である。また、式（４）に示すＨ^ｔ _ｐは、第１エンコーダが抽出した第１符号化情報ｈ^Ｔ _Ｐに基づく行列である。また、式（４）に示すＨ^Ｓ _Ｃは、第３エンコーダが抽出した第４符号化情報ｈ^Ｓ _Ｃに基づく行列である。また、式（４）に示すＨ^Ｓ _ｐは、第２エンコーダが抽出した第２符号化情報ｈ^Ｓ _Ｐに基づく行列である。

また、式（１）におけるＬ_{ｓｉｍｉｌａｒｉｔｙ}とは、第３エンコーダが第１情報から生成する第３符号化情報と、第３エンコーダが第２情報から生成する第４符号化情報とが類似するように（差別化が難しくなるように）学習を行うために設定される項である。例えば、情報提供装置１０は、以下の式（５）に示すＬ_{ｓｉｍｉｌａｒｉｔｙ}の値を設定する。ここで、式（５）に示すｄ_ｉとは、ｉ番目に入力された教師データのドメインを示すバイナリラベルであり、ハットが付されたｄ_ｉは、第１モデルが予測したドメインラベルを示す。

一方、オートエンコーダを第２モデルとした場合、情報提供装置１０は、第２モデルに第２ドメインに属するコンテンツを示す第３情報を入力した際に、第３情報と類似する情報を第２モデルが出力するように、第２モデルの学習を行う。例えば、情報提供装置１０は、以下の式（６）に示すＬ_ＳＤＡＥの値が小さくなるように、第２モデルが有する接続係数の値を修正する。ここで、式（６）に示すｘ_ｉは、第２ドメインに属するコンテンツを示す情報（例えば、メタデータ）であり、ハットが付されたｘ_ｉは、ｘ_ｉを第２モデルに入力した際に第２モデルが出力するデータを示す。

ここで、第２ドメインに属するコンテンツのメタデータを教師データとし、式（６）に示すＬ_ＳＤＡＥの値が小さくなるように第２モデルの学習を行った場合、第２モデルは、第２ドメインに属するコンテンツのメタデータが有する特徴（すなわち、第２ドメインに属するコンテンツの特徴）を学習することができる。より具体的には、第２モデルは、第２ドメインに属するコンテンツのメタデータが第３情報として入力された場合は、第３情報が有する特徴を示す特徴情報を抽出し、抽出した特徴情報から元も第３情報を復元して出力する。

一方、第１モデルは、第１ドメインに属するコンテンツのメタデータを第２情報とし、第２情報を符号化した情報から第２情報の分類を示す分類結果を出力することとなる。すなわち、第１モデルの一部は、第２モデルと同様に、入力された情報が有する特徴を抽出し、抽出した特徴から入力された情報の分類結果を出力する。

ここで、第１ドメインに属するコンテンツの種別と、第２ドメインに属するコンテンツの種別とが類似する場合、第２モデルは、第１ドメインに属するコンテンツの特徴をある程度精度良く抽出することができると推定される。より具体的には、第２モデルは、第２ドメインに属するコンテンツを用いた学習が行われた場合、第２ドメインに属するコンテンツが有する特徴を考慮して、第１ドメインに属するコンテンツの特徴を抽出することができると考えられる。

この結果、第１モデルが第１ドメインに属する第２情報から抽出する特徴が、第２モデルが第２情報から抽出した特徴に類似するように第１モデルの学習を行った場合、第１モデルは、第２ドメインに属するコンテンツの特徴を考慮して、コンテンツと利用者との間の共起性を学習することができると考えられる。そこで、情報提供装置１０は、以下の式（７）に示すＥの値が最小化するように、第１モデルおよび第２モデルの学習を行う。

ここで、式（７）に示すＬ_ＤＳＮは、式（１）に示すＬ_ＤＳＮである。また、式（７）に示すＬ_ｉｔｅｍは、第１モデルが第２情報から抽出した第２情報の特徴と、第２モデルが第２情報から抽出した第２情報の特徴とか類似するように、第１モデルの学習を行うための項である。例えば、情報提供装置１０は、Ｌ_ｉｔｅｍとして、以下の式（８）に示す項を設定する。ここで、式（８）に示すｖ_ｙｉとは、ｉ番目の第２情報を第１モデルに入力した際に、第１モデルの分類器に含まれる隠れ層のうち、出力層の前段の隠れ層が出力したベクトル（すなわち、ソフトマックスに対する重み）である。すなわち、式（８）に示すｖ_ｙｉとは、第１モデルが有する分類器が第２情報の分類を行う際に用いる第２情報の特徴を示す特徴情報である。また、式（８）に示すｈ_ｉとは、ｉ番目の第２情報を第２モデルに入力した際に、第２モデルが有する隠れ層のうち最も次元数が少ない情報を出力する隠れ層が出力したベクトルを示す。

なお、式（７）に示すλ_ｉｔｅｍとは、Ｌ_ｉｔｅｍに対する所定の重みである。また、式（７）に示すＬ_ＩＲとは、第１モデルおよび第２モデルに入力した第２情報と、第２モデルが出力した第２情報との差を示す損失関数である。また、式（７）に示すλ_ＩＲとは、Ｌ_ＩＲに対する所定の重みである。

すなわち、情報提供装置１０は、第１ドメインに属する第１情報と第２情報との組に対応するラベルと、第１モデルが出力する分類情報が示すラベルとが類似するように第１モデルの学習を行う。また、情報提供装置１０は、第１情報と第１復号化情報との差および第２情報と第２復号化情報との差が小さくなるように第１モデルの学習を行う。また、情報提供装置１０は、第１エンコーダ、第２エンコーダ、および第３エンコーダが入力された第１情報および第２情報から異なる特徴を抽出するように第１モデルの学習を行う。また、情報提供装置１０は、第３エンコーダが第１情報から生成する第３符号化情報と、第３エンコーダが第２情報から生成する第４符号化情報とが類似するように第１モデルの学習を行う。また、情報提供装置１０は、第２モデルが第２情報から生成した特徴情報と、第１モデルが第２情報から生成した特徴情報とが類似するように第１モデルの学習を行う。また、情報提供装置１０は、上述した第１モデルの学習と平行して、第２モデルに第２情報を入力した際に、第２情報と類似する情報を出力するように、第２モデルの学習を行う。

例えば、図２は、実施形態に係るモデルが有する構造の概念の一例を示す図である。図２に示す例では、図１に示した第１モデルおよび第２モデルにより構成されるモデル全体の構造（アーキテクチャ）の概念について記載した。

例えば、第１モデルは、利用者情報とコンテンツのメタデータとが入力された場合、複数の隠れ層による演算処理を実行することで、利用者情報を示すユーザベクトルｕを生成するとともに、コンテンツの特徴を示すコンテンツベクトルｖ_ｋを生成する。ここで、コンテンツベクトルｖ_ｋは、分類器が有する隠れ層のうち、出力層の前段の隠れ層が出力する情報（すなわち、ソフトマックス演算を行う前段の情報）であり、式（８）に示すｖ_ｙｉに対応する。また、ユーザベクトルｕは、分類器が有する隠れ層のうち、コンテンツベクトルｖ_ｋを出力する層よりも前段の隠れ層が出力する情報である。そして、第１モデルは、生成したコンテンツベクトルｖ_ｋに基づいて、コンテンツが各クラスに分類される確度を分類結果として出力する。

一方、第２モデルは、コンテンツのメタデータが入力された場合に、入力された情報の次元数を圧縮することでコンテンツの特徴を示す特徴情報ｈを生成し、生成した特徴情報ｈに基づいて出力情報を生成する。そして、情報提供装置１０は、特徴情報ｈとコンテンツベクトルｖ_ｋとが類似するように、第１モデルおよび第２モデルの学習を行う。

このような学習処理の結果、情報提供装置１０は、第２ドメインに属する第３情報の特徴を考慮した状態で、第１ドメインに属する第１情報と第２情報との共起性を第１モデルに学習させることができる。また、第２情報と第３情報との種別が類似する場合、第１ドメインにおける第１情報と第２情報との共起性は、第２ドメインにおける第１情報と第３情報との共起性に類似すると考えられる。このため、情報提供装置１０は、第２ドメインに属する教師データが少ない場合にも、上述した学習処理を実行することで、第２ドメインにおける第１情報と第３情報との共起性を推定可能なモデルを得ることができる。

また、情報提供装置１０は、第１ドメインに属する第２情報の特徴を第１モデルに学習させる。ここで、第２ドメインに属する第３情報が第１ドメインに属する第２情報と種別が類似する場合、第１モデルは、第２ドメインに属する情報の特徴をある程度の精度で抽出することができると推定される。この結果、情報提供装置１０は、第２ドメインに属する第３情報に、第１ドメインに属する第２情報とは異なる情報が含まれる場合にも、第３情報の特徴に基づいた分類を行うことができるので、第２ドメインに属する情報の分類を実現することができる。

〔２．情報提供装置の構成〕
続いて、図３を用いて、情報提供装置１０が有する機能構成の一例について説明する。図３は、実施形態に係る情報提供装置が有する機能構成の一例を示す図である。通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、第１ドメインサーバ１００および第２ドメインサーバ２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、第１ドメイン情報データベース３１、第２ドメイン情報データベース３２、およびモデルデータベース３３を記憶する。

第１ドメイン情報データベース３１は、第１ドメインに属する情報が登録される。例えば、図４は、実施形態に係る第１ドメイン情報データベースに登録される情報の一例を示す図である。図４に示すように、第１ドメイン情報データベース３１には、「データＩＤ（Identifier）」、「ドメイン情報」、「利用者情報」および「コンテンツ情報」といった項目を有する情報が登録される。

ここで、「データＩＤ」とは、登録された情報を識別するための識別子である。また、「ドメイン情報」とは、情報が属するドメインを示す情報である。また、「利用者情報」とは、対応付けられたコンテンツ情報が示すコンテンツを選択した利用者を示す情報であり、例えば、利用者の属性を示す属性情報である。また、「コンテンツ情報」とは、対応付けられた利用者情報が示す利用者により選択されたコンテンツであって、対応付けられたドメイン情報が示すドメインに属するコンテンツを示す情報である。例えば「コンテンツ情報」とは、コンテンツのメタデータである。

例えば、図４に示す例では、第１ドメイン情報データベース３１には、データＩＤ「データ＃１−１」、ドメイン情報「ドメイン＃１」、利用者情報「利用者＃１」およびコンテンツ情報「コンテンツ＃１−１」が対応付けて登録されている。このような情報は、データＩＤ「データ＃１−１」が示す情報がドメイン情報「ドメイン＃１」が示すドメインに属する情報であり、利用者情報「利用者＃１」が示す属性情報と、コンテンツ情報「コンテンツ＃１−１」が示すメタデータとの組である旨を示す。

なお、図４に示す例では、「利用者＃１」や「コンテンツ＃１−１」といった概念的な値を記載したが、実際には、第１ドメイン情報データベース３１には、利用者の属性を示す各種の属性情報や、コンテンツのメタデータ等が登録されることとなる。また、図４に示す情報以外にも、第１ドメイン情報データベース３１には、任意の情報が登録されていてよい。

図３に戻り、説明を続ける。第２ドメイン情報データベース３２は、第２ドメインに属する情報が登録される。例えば、図５は、実施形態に係る第２ドメイン情報データベースに登録される情報の一例を示す図である。図５に示すように、第２ドメイン情報データベース３２には、「データＩＤ」、「ドメイン情報」、および「コンテンツ情報」といった項目を有する情報が登録される。

例えば、図５に示す例では、第２ドメイン情報データベース３２には、データＩＤ「データ＃２−１」、ドメイン情報「ドメイン＃２」、およびコンテンツ情報「コンテンツ＃２−１」が対応付けて登録されている。このような情報は、データＩＤ「データ＃２−１」が示す情報がドメイン情報「ドメイン＃２」が示すドメインに属する情報であり、コンテンツ情報「コンテンツ＃２−１」が示すメタデータを含む旨を示す。

なお、図５に示す例では、「コンテンツ＃２−１」といった概念的な値を記載したが、実際には、第２ドメイン情報データベース３２には、コンテンツのメタデータ等が登録されることとなる。また、図５に示す情報以外にも、第２ドメイン情報データベース３２には、任意の情報が登録されていてよい。

図３に戻り、説明を続ける。モデルデータベース３３には、第１モデルおよび第２モデルを含むモデル（以下、「学習モデル」と記載する場合がある。）が登録される。

例えば、モデルデータベース３３には、学習モデルに入力される情報である入力情報が入力される入力層と、入力層に入力された入力情報に対して所定の処理を順次行う複数の中間層（隠れ層）と、中間層の出力に基づいて、入力情報に対応する出力情報を生成する出力層とを有する学習モデルのデータが登録されている。より具体的には、モデルデータベース３３には、各ノードの接続関係や、ノード間の接続係数を示すデータが登録される。

ここで、学習モデルは、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、入力層に入力された情報と対応する情報を出力層から出力するようコンピュータを機能させる。なお、学習モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定されるものであってもよい。

例えば、モデルデータベース３３には、図１に示す構造を有する第１モデルおよび第２モデルを含む学習モデルが登録される。例えば、モデルデータベース３３には、複数の中間層を有し、第１情報を符号化することで第１符号化情報を生成する第１エンコーダ、複数の中間層を有し、第２情報を符号化することで第２符号化情報を生成する第２エンコーダ、複数の中間層を有し、第１情報を符号化することで第３符号化情報を生成するとともに第２情報を符号化することで第４符号化情報を生成する第３エンコーダを含む第１モデルが登録される。また、モデルデータベース３３には、複数の中間層を有し、第１符号化情報と第３符号化情報とから第１復号化情報を生成するとともに、第２符号化情報と第４符号化情報とから第２復号化情報を生成するデコーダを含む第１モデルが登録される。また、モデルデータベース３３には、複数の中間層を有し、第４符号化情報から第１情報に応じた第２情報の分類結果を示す分類情報を生成する分類器を含む第１モデルが登録される。また、モデルデータベース３３には、複数の中間層を有し、入力された情報の特徴を示す特徴情報を生成する第２モデルが登録される。

このような学習モデルは、第１モデルの入力層に第１情報と第２情報とが入力され、第２モデルの入力層に第２情報が入力された場合に、第１モデルの出力層から、第１情報と類似する第１符号化情報と、第２情報に類似する第２符号化情報と、第１情報に応じた第２情報の分類を示す分類情報とを出力するように学習が行われる。また、学習モデルは、分類器に含まれる中間層が出力した第２情報に基づく中間情報が、第２モデルの中間層が出力する特徴情報と類似するように学習が行われる。

このような学習モデルは、第１モデルの入力層に第１情報と第３情報が入力された場合に、第１情報に応じた第３情報の分類を示す分類情報を出力するようにコンピュータを機能させる。例えば、学習モデルは、ＣＰＵ及びメモリを備えるコンピュータにて用いられる。具体的には、コンピュータのＣＰＵが、メモリに記憶された学習モデルからの指令に従って、学習モデルの入力層に入力された情報に対して、ニューラルネットワークにおける学習済みの重みづけ係数と応答関数等に基づく演算を行い、出力層から入力情報に対応する出力情報を出力するよう動作する。

例えば、学習モデルは、第１モデルの入力層に第２ドメインに属するサービスを利用する利用者を示す第１情報（例えば、利用者の属性情報）と、第２ドメインに属するコンテンツを示す第２情報（例えば、コンテンツのメタデータ）とが入力された場合、第１情報に応じた第２情報の分類結果を出力するようコンピュータを機能させる。すなわち、学習モデルは、第１モデルの入力層に第２ドメインに属するサービスを利用する利用者を示す第１情報と、第２ドメインに属するコンテンツを示す第２情報とが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された第１情報および第２情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、第１情報に応じた第２情報の分類結果を出力するようコンピュータを機能させる。例えば、学習モデルは、入力された属性情報を有する利用者が、入力されたメタデータと対応するコンテンツを気に入るか否かを、コンテンツを気に入る確度を示す数値等を分類結果として出力する。

ここで、学習モデルをＤＮＮ等、１つまたは複数の中間層を有するニューラルネットワークで実現される場合、学習モデルが含む第１要素とは、入力層または中間層が有するいずれかのノードと見做すことができ、第２要素とは、第１要素と対応するノードから値が伝達されるノード、すなわち、次段のノードと対応し、第１要素の重みとは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重み、すなわち、接続係数である。

ここで、情報提供装置１０は、第１ドメイン情報データベース３１および第２ドメイン情報データベース３２に登録された情報を用いて学習モデルを生成する。すなわち、学習モデルは、第２ドメインに属する第３情報の特徴を学習した第２モデルを含み、第１ドメインに属する第１情報と第２情報とを第１モデルに入力し、第１ドメインに属する第２情報を第２モデルに入力した際に、第１モデルが第１情報に応じた第２情報の分類結果を出力するとともに、第１モデルが有する中間層のうち所定の層が出力する情報が、第２モデルが第２情報から抽出した第２情報の特徴を示す特徴情報に近づくように、学習が行われたモデルである。

このように、第１ドメイン情報データベース３１および第２ドメイン情報データベース３２に登録される学習データは、第１情報と第２情報とが入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、第１情報と第２情報との特徴を反映させた重みに基づく演算を行うことにより、入力された第１情報と第２情報とに対応する出力情報（例えば、第１情報に応じた第２情報の分類結果）を出力層から出力するよう、コンピュータを機能させるためのデータである。

なお、情報提供装置１０は、上述したニューラルネットワーク等、任意の構造を有するモデルを用いて、分類結果の算出を行ってよい。具体的には、学習モデルは、第２ドメインに属する第３情報の特徴を学習した第２モデルを有し、第１モデルに第１ドメインに属する第１情報および第２情報とが入力された際に、第１情報に応じた第２情報の分類結果を出力するとともに、第１モデルが第１情報と第２情報とから生成した中間情報が、第２モデルに第２情報を入力した際に第２モデルの中間層が出力した第２情報の特徴を示す特徴情報と類似するように学習が行われたものであればよい。また、学習モデルは、第２ドメインに属する第３情報が入力された際に、第３情報の分類結果を出力するものであればよい。

ここで、学習モデルは、第１情報と第３情報とが入力された際に、第１情報に応じた第３情報の分類結果を出力するように計数が設定される。情報提供装置１０は、このような学習モデルを用いて、第１情報に対応する第３情報の分類結果を得る。

なお、上記例では、学習モデルが、第１情報と第３情報とが入力された際に第１情報に応じた第３情報の分類結果を出力するモデル（以下、モデルＸとする）である例を示した。しかし、実施形態に係る学習モデルは、モデルＸにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、学習モデルは、利用者の属性情報を示す第１情報と、コンテンツのメタデータを示す第３情報とを入力とし、モデルＸが出力する第３情報の分類結果を出力とするよう学習されたモデル（モデルＹ)であってもよい。または、学習モデルは、第１情報および第３情報を入力とし、モデルＹの出力値を出力とするよう学習されたモデルであってもよい。

また、情報提供装置１０がＧＡＮ（Generative Adversarial Networks）を用いた学習処理を行う場合、学習モデルは、ＧＡＮの一部を構成するモデルであってもよい。

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

また、制御部４０は、記憶部３０に記憶される学習モデルを実行することで、学習モデルの入力層に入力された第１情報と第３情報とに対し、学習モデルが有する係数（すなわち、学習モデルが学習した各特徴に対応する係数）に基づく演算を行い、入力された第１情報に応じた第３情報の分類結果を示す分類情報を生成し、学習モデルの出力層から出力する。

図３に示すように、制御部４０は、収集部４１、取得部４２、学習部４３、受付部４４、演算部４５、および提供部４６を有する。収集部４１は、モデルの学習に用いる教師データの収集を行う。より具体的には、収集部４１は、第１ドメインに属する第１情報およびその第１情報と紐付けられる第２情報との組を収集する。また、収集部４１は、第２情報と同じ種別の情報であって、第１ドメインとは異なる第３ドメインに属する第２情報を収集する。

例えば、収集部４１は、第１ドメインサーバ１００から、第１ドメインに属するコンテンツのメタデータを第２情報とし、その第２情報が示すメタデータを有するコンテンツを選択した利用者の属性情報を第１情報として収集する。そして、収集部４１は、収集した第１情報および第２情報を第１ドメイン情報データベース３１に登録する。また、収集部４１は、第２ドメインサーバ２００から、第２ドメインに属するコンテンツのメタデータを第３情報として収集する。そして、収集部４１は、収集した第３情報を第２ドメイン情報データベース３２に登録する。

取得部４２は、学習モデルを取得する。例えば、取得部４２は、学習部４３から学習処理を行う旨の通知を受付けると、モデルデータベース３３に登録された学習モデルを取得する。なお、取得部４２は、モデルデータベース３３にモデルが登録されていない場合は、モデルの生成を行ってもよい。すなわち、以下に説明する「取得」とは、記憶領域上に登録されたモデルのデータを取得する処理のみならず、モデルのデータを生成することでモデルを取得する処理をも含む概念である。

例えば、取得部４２は、ＤＮＮにより構成されるモデルを学習モデルとして取得する。例えば、取得部４２は、第１モデルと、第２モデルとを含む学習モデルを取得する。より具体的には、取得部４２は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する。

より具体的な例を挙げると、取得部４２は、第１モデルとして、第１情報が入力された場合に第１情報を符号化した第１符号化情報を出力する第１エンコーダを含む第１モデルを取得する。また、取得部４２は、第２情報が入力された場合に第２情報を符号化した第２符号化情報を出力する第２エンコーダを有する第１モデルを取得する。また、取得部４２は、第１情報と第２情報とが入力された場合に第１情報を符号化した第３符号化情報と、第２情報を符号化した第４符号化情報とを出力する第３エンコーダを有する第１モデルを取得する。また、取得部４２は、第１符号化情報と第３符号化情報とから第１復号化情報を復号し、第２符号化情報と第４符号化情報とから第２復号化情報を復号するデコーダを有する第１モデルを取得する。また、取得部４２は、複数の中間層を有し、第４符号化情報から、第２情報の分類結果を示す分類情報を生成する分類器を有する第１モデルを取得する。

また、取得部４２は、第３情報の特徴を学習した第２モデルを含む学習モデルを取得する。例えば、取得部４２は、第２モデルとして、第２情報と同じ種別の第３情報が有する特徴をあらかじめ学習したモデルを取得する。例えば、取得部４２は、オートエンコーダを第２モデルとして生成し、生成した第２モデルに、第３情報が有する特徴を学習させる。より具体的には、取得部４２は、第２ドメイン情報データベース３２に登録されたコンテンツ情報（すなわち、コンテンツのメタデータ）を第３情報として第２モデルに入力し、第２モデルの出力が入力した第３情報に類似するように、バックプロパゲーション等の学習技術を用いて、第２モデルが有する接続係数を修正する。この結果、取得部４２は、第２ドメインに属する第３情報の特徴を学習した第２モデルを取得することができる。そして、取得部４２は、第１モデルと第２モデルとを学習部４３に提供する。

学習部４３は、学習モデルを生成し、生成した学習モデルを記憶部３０のモデルデータベース３３に格納する。例えば、学習部４３は、第１ドメインに属する第１情報と第２情報とを第１モデルに入力した際に、第１情報に応じた第２情報の分類結果を示す分類情報を第１モデルが出力するとともに、第１モデルが有する所定の中間層（例えば、分類器が有する複数の中間層のうち所定の中間層）が出力する情報が、第２モデルに第２情報を入力した際に第２モデルが有する所定の中間層（例えば、出力する情報の次元数が最も少ない中間層）が出力する特徴情報と類似するように、学習モデルが有する接続係数を修正することで、学習モデルの学習を行う。

なお、学習部４３は、いかなる学習アルゴリズムを用いて学習モデルの学習を行ってもよい。例えば、学習部４３は、ニューラルネットワーク（neural network）、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて学習モデルを生成してもよい。一例として、学習部４３がニューラルネットワークを用いて学習モデルを生成する場合、学習モデルは、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。そして、学習部４３は、第１ドメイン情報データベース３１に登録された情報を用いて、学習モデルが有する接続係数を修正することで、学習モデルの学習を実現する。

例えば、学習部４３は、第１モデルに所定の入力情報を入力した際に、第１モデルが所定の入力情報と対応する所定の出力情報を出力し、かつ、複数の中間層のうち所定の中間層が出力する中間情報が、所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行う。例えば、学習部４３は、所定の入力情報として第１ドメインと関連する入力情報を前記第１モデルに入力した際に、出力情報として入力情報の分類を示す情報を出力し、かつ、中間情報が、第１ドメインとは異なる第２ドメインと関連する対応情報を考慮した特徴情報に近づくように、第１モデルの学習を行う。

また、学習部４３は、所定の入力情報として第１情報とその第１情報と紐付けられる第２情報とを第１モデルに入力した際に、出力情報として第２情報の分類結果を出力し、かつ、中間情報が、その第２情報が有する特徴に応じた特徴情報であって、第１情報と紐付けられる第３情報が有する特徴を考慮した特徴情報に近づくように、第１モデルの学習を行う。また、学習部４３は、第１ドメインに属する第１情報および第２情報と、第１ドメインとは異なる第２ドメインに属する第３情報とを用いて、第１モデルの学習を行う。

例えば、学習部４３は、利用者の特徴を示す第１情報と、その第１情報が示す特徴を有する利用者が選択した選択対象を示す第２情報と、その第２情報が示す選択対象とは異なる選択対象を示す第３情報とを用いて、第１モデルの学習を行う。また、学習部４３は、中間情報が、第２情報から第２モデルが生成した特徴情報に近づくように、第１モデルの学習を行う。また、学習部４３は、第１情報と第２情報とを第１モデルに入力した際に、出力情報として第２情報の分類を示す情報を出力し、かつ、第２情報を第２モデルに入力した際に第２モデルが生成した特徴情報に中間情報が近づくように、第１モデルの学習を行う。また、学習部４３は、第１情報と第１復号化情報とが類似し、第２情報と第２復号化情報とが類似するとともに、分類器が有する複数の中間層のうち所定の中間層が出力する情報が特徴情報に近づくように、第１モデルの学習を行う。

以下、学習部４３が実行する学習処理の一例について説明する。まず、学習部４３は、学習処理を実行する所定のタイミングで、取得部４２に対し、学習モデルの取得を指示する。このような場合、取得部４２は、上述した第１エンコーダ、第２エンコーダ、第３エンコーダ、デコーダおよび分類器を有する第１モデルと、第２ドメイン情報データベース３２に登録されたコンテンツ情報の特徴を学習した第２モデル、すなわち、第２ドメインに属する第３情報の特徴を学習した第２モデルを取得し、取得した第１モデルおよび第２モデルを学習部４３に提供する。

続いて、学習部４３は、第１ドメイン情報データベース３１から、教師データとなる第１情報と第２情報との組を取得する。すなわち、学習部４３は、第１ドメインに属するコンテンツを選択した利用者の利用者情報を第１情報として取得し、第１情報として取得した利用者情報が示す利用者が選択したコンテンツのコンテンツ情報を第２情報として取得する。そして、学習部４３は、第１モデルに第１情報と第２情報とを入力するとともに、第２モデルに第２情報を入力する。例えば、学習部４３は、第１モデルが有する第１エンコーダおよび第３エンコーダに第１情報を入力し、第２エンコーダおよび第３エンコーダに第２情報を入力するとともに、第２モデルに対して第２情報を入力する。

ここで、第１情報および第２情報が入力された場合、第１モデルは、第１情報から第１符号化情報を生成し、第２情報から第２符号化情報を生成するとともに、第１情報および第２情報から第３符号化情報および第４符号化情報を生成する。また、第１モデルは、第１符号化情報と第３符号化情報とに基づいて、第１復号化情報を生成し、第２符号化情報と第４符号化情報とに基づいて、第２符号化情報を生成する。また、第１モデルは、第４符号化情報に基づいて、分類情報を生成する。また、第２モデルは、第２情報から、第２情報が有する特徴を示す特徴情報を生成する。

そして、学習部４３は、第１復号化情報と第１情報とが類似し、第２復号化情報と第２情報とが類似し、分類情報が第１情報に応じた第２情報の分類結果に類似するとともに、第１モデルが有する所定の中間層が出力する中間情報が、第２モデルが生成した特徴情報と類似するように、学習モデルの学習を行う。例えば、学習部４３は、上述した式（７）が最小化するように、第１モデルが有する接続係数の修正を行うことで、学習モデルの学習を行う。その後、学習部４３は、学習を行った学習モデルをモデルデータベース３３に登録する。

このような学習処理の結果、学習モデルは、第２ドメインに属する第３情報の特徴を考慮した状態で、第１情報と第２情報との間の関係性を学習する。ここで、第２情報と第３情報とが同じクラスに属するため、学習モデルは、間接的に第１情報と第３情報との間の関係性を学習することとなる。この結果、学習モデルは、教師データとなる第１情報と第３情報との数が少ない場合にも、第１情報と第３情報との間の関係性を学習できる。また、学習モデルは、第２ドメインに属する第３情報に、第１ドメインに属する第２情報と共通しない情報が含まれる場合にも、第３情報の特徴を考慮した学習を行うので、第１情報に応じた第３情報の分類を実現することができる。

受付部４４は、学習モデルを用いた推定処理の実行要求を受付ける。例えば、第２ドメインサーバ２００は、第２ドメインにアクセスした利用者の利用者情報を取得し、取得した利用者情報を推定処理の実行要求と共に受付部４４に送信する。このような場合、受付部４４は、第２ドメインサーバ２００から受付けた利用者情報を演算部４５に出力する。

演算部４５は、学習モデルを用いた演算を行うことで、第１情報に応じた第３情報の分類結果を推定する推定処理を実行する。例えば、演算部４５は、モデルデータベース３３に登録された学習モデルを読み出す。そして、演算部４５は、第２ドメインサーバ２００から受付けた利用者情報を第１情報とし、第２ドメイン情報データベース３２に登録されたコンテンツ情報を第３情報として学習モデルに入力することで、第１情報に応じた第３情報の分類結果を取得する。例えば、演算部４５は、第２ドメイン情報データベース３２に登録された各コンテンツ情報ごとに、第２ドメインサーバ２００から受付けた利用者情報に応じた分類情報を生成する。

すなわち、演算部４５は、学習モデルに従った情報処理により、利用者の情報と第２ドメインに属するコンテンツの情報とを学習モデルの入力層に入力する。そして、演算部４５は、入力した情報を中間層と出力層に伝播させることで出力層から利用者の情報に応じたコンテンツの分類結果（例えば、コンテンツを利用者が気に入るか否かを示す情報や、コンテンツを利用者が気に入る確度）を出力させる。すなわち、演算部４５は、学習モデルに利用者の情報とコンテンツの情報とを入力することで、利用者に応じたコンテンツの分類を推定する。

例えば、演算部４５は、第２ドメインサーバ２００から受付けた利用者情報を第１情報として第１モデルの第１エンコーダと第３エンコーダとに入力し、第２ドメインに属するコンテンツのコンテンツ情報を第３情報として第２エンコーダおよび第３エンコーダに入力する。そして、演算部４５は、学習モデルの分類器が出力した分類情報を取得する。

提供部４６は、演算部４５によって取得された分類結果を提供する。例えば、提供部４６は、演算部４５によって推定された第２ドメインに属する各コンテンツの分類結果を第２ドメインサーバ２００に提供する。この結果、第２ドメインサーバ２００は、例えば、利用者がより気に入ると推定されるコンテンツの情報を優先的に利用者に提供することができる。

〔３．変形例〕
上記では、情報提供装置１０による学習処理および推定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、学習処理および推定処理のバリエーションについて説明する。

〔３−１．モデル構成について〕
上述した説明では、情報提供装置１０は、第１モデルと第２モデルとを含む学習モデルの学習を行い、学習モデルを用いた推定処理を実行した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、第１モデルと第２モデルとを個別のモデルとして取り扱ってもよい。例えば、情報提供装置１０は、第１モデルを学習モデルとし、第２モデルを用いて、学習モデルの学習を行ってもよい。また、情報提供装置１０は、第１モデルのみを用いて、上述した推定処理を実行してもよい。

また、情報提供装置１０は、ＤＳＮの構成以外にも、任意の構成を有する第１モデルを学習モデルとして採用してもよい。例えば、情報提供装置１０は、ＤＮＮ、ＣＮＮ、ＲＮＮ、ＬＳＴＭ等、任意の構造を有するニューラルネットワークを第１モデルとして生成する。より具体的には、情報提供装置１０は、第１情報と第２情報とを入力する入力層と、中間層と、第１情報に応じた第２情報の分類結果を出力する出力層とを有する第１モデルを生成する。そして、情報提供装置１０は、第１モデルに対して第１情報と第２情報とを入力した際に、第１モデルが第１情報に応じた第２情報の分類情報を出力し、かつ、第１モデルが有する所定の中間層の出力が、第２情報の特徴情報と類似するように、第１モデルの学習を行えばよい。

ここで、情報提供装置１０は、任意の構造を有する第１モデルにおける任意の中間層の出力を中間情報とし、中間情報が特徴情報に類似するように第１モデルの学習を行えばよい。例えば、情報提供装置１０は、第１情報に基づく情報（例えば、第１情報に基づく値が伝達されるノードが出力した値）と、第２情報に基づく情報（例えば、第２情報に基づく値が伝達されるノードが出力した値）との両方が伝達される中間層、すなわち、第１情報と第２情報とに基づく値を出力する中間層が出力する情報を中間情報とすればよい。

また、情報提供装置１０は、第３情報の特徴を考慮した情報であれば、任意の情報を特徴情報として採用してよい。例えば、情報提供装置１０は、第３ドメインに属する各コンテンツから任意の手法で予め生成した特徴情報を用いて、第１モデルの学習を行ってもよい。例えば、情報提供装置１０は、第１ドメインに属するコンテンツのコンテンツ情報を第２情報として第１モデルの学習を行う場合、そのコンテンツと類似する第２ドメインのコンテンツを特定し、特定したコンテンツの特徴を示す情報を特徴情報として取得する。そして、情報提供装置１０は、第１モデルの学習を行う際、第１モデルが出力する中間情報が、取得した特徴情報に類似するように、第１モデルの学習を行えばよい。

ここで、式（７）を用いて学習モデルの学習を行う場合、第１モデルが出力する各復号化情報は、入力した第１情報や第２情報に類似するように学習が行われる。このような学習が行われた場合、第１モデルが学習する第１情報と第２情報との関係性は、ある程度担保されうる。そこで、情報提供装置１０は、中間情報が、任意の第３情報の特徴を示す特徴情報に類似するように、第１モデルの学習を行ってもよい。

また、クロスドメインレコメンデーションを考慮すると、第２ドメインに属するコンテンツの情報は、第１ドメインに属するサービスを受けた利用者が選択しうるコンテンツを示す情報となる。このため、第３情報は、第１情報と紐付けられる情報であって、第１情報とは異なるドメインに属する情報であると言える。そこで、情報提供装置１０は、第１情報と紐付けられる情報であれば、学習モデルの利用目的に応じた任意の情報の特徴を示す特徴情報を用いて、第１モデルの学習を行ってよい。

すなわち、情報提供装置１０は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルであれば、任意の構成を有するモデルを第１モデルとして採用してよい。また、情報提供装置１０は、第１モデルに所定の入力情報を入力した際に、第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、かつ、複数の中間層のうち所定の中間層が出力する中間情報が、所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行うのであれば、任意の学習手法を採用してよい。

〔３−２．第１モデルのアーキテクチャについて〕
上述した説明では、情報提供装置１０は、利用者情報とコンテンツ情報とを入力すると、コンテンツ情報が示すコンテンツを利用者情報が示す利用者が気に入るか否か、若しくは、利用者が気に入る確度を示す分類情報を出力するよう、学習モデルの学習を行った。しかしながら、実施形態は、これに限定されるものではない。

例えば、図６は、実施形態に係る情報提供装置が生成する学習モデルのバリエーションを説明する図である。図６に示す学習モデルは、基本的に図１に示す学習モデルと同様に、各エンコーダ、デコーダ、および分類器を有する第１モデルと、第２モデルとを有する。ここで、図６に示す例では、情報提供装置１０は、第２ドメインに属する各コンテンツが共通して有する特徴を第２モデルに学習させ、第２モデルが出力する特徴情報と分類器が生成する中間情報とを類似させることで、第１モデルに対して第２ドメインに属する各コンテンツが共通して有する特徴を学習させる。

例えば、情報提供装置１０は、第２モデルの入力層に対し、第２ドメインに属する各コンテンツのメタデータを並列に入力し、入力した各コンテンツのメタデータの次元数を減少させ、その後、元のメタデータを復元するように、第２モデルの学習を行う。このような学習処理の結果、第２モデルは、第２ドメインに属する各コンテンツが共通して有する特徴を抽出するようになる。

そして情報提供装置１０は、第２ドメインに属する各コンテンツが共通して有する特徴を特徴情報とし、第１モデルの分類器が生成する中間情報が特徴情報に近づくように学習を行う。具体的には、情報提供装置１０は、第１モデルの分類器が生成する中間情報と、第２ドメインに属する各コンテンツが共通して有する特徴を示す特徴情報との差分が最小化するように、第１モデルの学習を行う。このような処理の結果、情報提供装置１０は、第２ドメインに属するコンテンツの特徴を考慮して、第１ドメインに属するコンテンツと利用者との間の関係性を学習モデルに学習させることができる。

〔３−３．推定処理について〕
ここで情報提供装置１０は、第２ドメインに属するコンテンツのうち利用者と対応するコンテンツを推定する場合、学習モデルの全体を用いて推定を行ってもよく、学習モデルの一部から生成された推定モデルを用いて、推定を行ってもよい。例えば、情報提供装置１０は、上述した学習処理により学習モデルの学習を実行した場合は、学習モデルから第２エンコーダ、第３エンコーダ、および分類器を抽出し、抽出した第２エンコーダ、第３エンコーダ、および分類器を含む推定モデルを生成する。そして、情報提供装置１０は、推定処理を実行する場合は、利用者情報を第１情報とし、第２ドメインに属するコンテンツのメタデータを第２情報として、推定モデルの第２エンコーダおよび第３エンコーダに入力することで、第１情報に応じた第２情報の分類結果を推定してもよい。

〔３−４．配信対象について〕
上述した例では、情報提供装置１０は、第１ドメインまたは第２ドメインに属するコンテンツの配信を行う例について記載した。ここで、情報提供装置１０は、動画像、音楽、ウェブページ等といったコンテンツを配信対象としてもよく、広告に関するコンテンツを配信対象としてもよい。

例えば、情報提供装置１０は、第１ドメインに属するウェブページを閲覧中に利用者が選択した広告の情報（以下、「広告情報」と記載する。）を第２情報とし、第２ドメインに属するウェブページを閲覧中に配信される広告の広告情報を第３情報としてもよい。そして、情報提供装置１０は、上述した学習処理および推定処理を実行することで、第２ドメインに属するウェブページを閲覧中に利用者が選択する可能性が高い広告を推定し、推定した広告を配信対象としてもよい。

また、第１ドメインに属するコンテンツと第２ドメインに属するコンテンツとは、異なる種別のコンテンツであってもよい。例えば、第１ドメインに属するコンテンツがニュースである場合、第２ドメインに属するコンテンツは、動画像であってもよい。また、情報提供装置１０は、第２情報や第３情報として、配信対象となるコンテンツのデータそのものを採用してもよい。

〔３−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔４．情報提供装置が実行する処理の流れの一例〕
続いて、図７を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図７は、実施形態に係る情報提供装置が実行する学習処理の流れの一例を示すフローチャートである。

例えば、情報提供装置１０は、第２ドメインに属するコンテンツのメタデータを取得し（ステップＳ１０１）、第２ドメインに属するコンテンツが有する特徴を第２モデルに学習させる（ステップＳ１０２）。例えば、情報提供装置１０は、オートエンコーダである第２モデルに第２ドメインに属するコンテンツのメタデータを入力し、入力したメタデータの次元数を減少させた後で元のメタデータを復元するように、第２モデルが有する接続係数を修正することで、第２モデルの学習を行う。

続いて、情報提供装置１０は、第１モデルを取得し（ステップＳ１０３）、第１ドメインに属するコンテンツのメタデータと、そのコンテンツを選択した利用者の利用者情報とを教師データとして取得する（ステップＳ１０４）。また、情報提供装置１０は、第１モデルに教師データを入力するとともに、第２モデルに教師データに含まれるコンテンツのメタデータを入力する（ステップＳ１０５）。そして、情報提供装置１０は、第１モデルの中間層が出力する情報であって、コンテンツのメタデータの特徴に基づく情報（すなわち、中間情報）と、第２モデルの中間層が出力する情報（すなわち、特徴情報）とが類似するように、第１モデルの学習を行い（ステップＳ１０６）、処理を終了する。

〔５．プログラム〕
上述した実施形態に係る情報提供装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が実施形態に係る情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０上にロードされたプログラムまたはデータ（例えば、学習モデル）を実行することにより、制御部４０の機能を実現する。コンピュータ１０００の演算装置１０３０は、これらのプログラムまたはデータ（例えば、学習モデル）を一次記憶装置１０４０や二次記憶装置１０５０から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔６．効果〕
上述したように、情報提供装置１０は、入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する。そして、情報提供装置１０は、第１モデルに所定の入力情報を入力した際に、第１モデルがその所定の入力情報と対応する所定の出力情報を出力し、かつ、複数の中間層のうち所定の中間層が出力する中間情報が、所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、第１モデルの学習を行う。

このような学習処理の結果、情報提供装置１０は、入力情報と対応する対応情報が有する特徴を考慮した状態で、入力情報が有する特徴に基づき、入力情報に対応する出力情報を出力する第１モデルを生成することができる。このため、情報提供装置１０は、例えば、あるドメインに属する教師データの数が少ない場合にも、そのドメインに属する情報のうち利用者と対応する情報を推定する学習モデルの学習を実現できる。

また、情報提供装置１０は、所定の入力情報として第１ドメインと関連する入力情報を第１モデルに入力した際に、出力情報としてその入力情報の分類を示す情報を出力し、かつ、中間情報が、第１ドメインとは異なる第２ドメインと関連する対応情報を考慮した特徴情報に近づくように、第１モデルの学習を行う。このような処理の結果、情報提供装置１０は、第１ドメインに属する教師データを用いて、第２ドメインに属する情報の分類を実現する学習モデルの学習を行うことができる。

また、情報提供装置１０は、所定の入力情報として第１情報とその第１情報と紐付けられる第２情報とを第１モデルに入力した際に、出力情報としてその第２情報の分類結果を出力し、かつ、中間情報が、第２情報が有する特徴に応じた特徴情報であって、第１情報と紐付けられる第３情報が有する特徴を考慮した特徴情報に近づくように、第１モデルの学習を行う。例えば、情報提供装置１０は、第１ドメインに属する第１情報および第２情報と、第１ドメインとは異なる第２ドメインに属する第３情報とを用いて、第１モデルの学習を行う。例えば、情報提供装置１０は、利用者の特徴を示す第１情報と、その第１情報が示す特徴を有する利用者が選択した選択対象を示す第２情報と、第２情報が示す選択対象とは異なる選択対象を示す第３情報とを用いて、第１モデルの学習を行う。このような処理の結果、情報提供装置１０は、第１情報と紐付けられる第３情報の数が少ない場合にも、第１情報に応じた第３情報の分類を実現する第１モデルの学習を実現できる。

また、情報提供装置１０は、第３情報の特徴を学習した第２モデルをさらに取得し、中間情報が、第２情報から第２モデルが生成した特徴情報に近づくように、第１モデルの学習を行う。また、情報提供装置１０は、第２モデルとして、第２情報と同じ種別の第３情報が有する特徴をあらかじめ学習したモデルを取得する。このため、情報提供装置１０は、第３情報の特徴を考慮して、第１情報と第２情報との関係を第１モデルの学習させることができる。

また、情報提供装置１０は、第１情報と第２情報とを第１モデルに入力した際に、出力情報として第２情報の分類を示す情報を出力し、かつ、第２情報を第２モデルに入力した際にその第２モデルが生成した特徴情報に中間情報が近づくように、第１モデルの学習を行う。このため、情報提供装置１０は、第３情報の特徴を考慮して、第１情報と第２情報との関係性を適切に第１モデルに学習させることができる。

また、情報提供装置１０は、第１モデルとして、第１情報が入力された場合にその第１情報を符号化した第１符号化情報を出力する第１エンコーダ、第２情報が入力された場合にその第２情報を符号化した第２符号化情報を出力する第２エンコーダ、第１情報と第２情報とが入力された場合にその第１情報を符号化した第３符号化情報と、その第２情報を符号化した第４符号化情報とを出力する第３エンコーダ、第１符号化情報と第３符号化情報とから第１復号化情報を復号し、第２符号化情報と第４符号化情報とから第２復号化情報を復号するデコーダ、および、複数の中間層を有し、第４符号化情報から、第２情報の分類結果を示す分類情報を生成する分類器を有するモデルを取得する。そして、情報提供装置１０は、第１情報と第１復号化情報とが類似し、第２情報と第２復号化情報とが類似するとともに、分類器が有する複数の中間層のうち所定の中間層が出力する情報が特徴情報に近づくように、第１モデルの学習を行う。このように、情報提供装置１０は、所謂ＤＳＮの構成を有する第１モデルに対し、第３情報の特徴を考慮した状態で、第１情報と第２情報との間の関係性を学習させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 第１ドメイン情報データベース
３２ 第２ドメイン情報データベース
３３ モデルデータベース
４０ 制御部
４１ 収集部
４２ 取得部
４３ 学習部
４４ 受付部
４５ 演算部
４６ 提供部
１００ 第１ドメインサーバ
２００ 第２ドメインサーバ

Claims (14)

1. 入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得部と、
   前記第１モデルに所定の入力情報として第１ドメインと関連する入力情報を前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該入力情報の分類を示す情報を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記所定の入力情報と対応する対応情報であって、前記第１ドメインとは異なる第２ドメインと関連する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習部と
   を有することを特徴とする学習装置。
2. 入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得部と、
   前記第１モデルに所定の入力情報として第１情報と当該第１情報と紐付けられる第２情報とを前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該第２情報の分類結果を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記第２情報が有する特徴に応じた特徴情報であって、前記第１情報と紐付けられる第３情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習部と
   を有することを特徴とする学習装置。
3. 前記学習部は、第１ドメインに属する前記第１情報および前記第２情報と、第１ドメインとは異なる第２ドメインに属する前記第３情報とを用いて、前記第１モデルの学習を行う
   ことを特徴とする請求項２に記載の学習装置。
4. 前記学習部は、利用者の特徴を示す前記第１情報と、当該第１情報が示す特徴を有する利用者が選択した選択対象を示す第２情報と、前記第２情報が示す選択対象とは異なる選択対象を示す第３情報とを用いて、前記第１モデルの学習を行う
   ことを特徴とする請求項３に記載の学習装置。
5. 前記取得部は、前記第３情報の特徴を学習した第２モデルをさらに取得し、
   前記学習部は、前記中間情報が、前記第２情報から前記第２モデルが生成した特徴情報に近づくように、前記第１モデルの学習を行う
   ことを特徴とする請求項２〜４のうちいずれか１つに記載の学習装置。
6. 前記取得部は、前記第２モデルとして、第２情報と同じ種別の第３情報が有する特徴をあらかじめ学習したモデルを取得する
   ことを特徴とする請求項５に記載の学習装置。
7. 前記学習部は、前記第１情報と前記第２情報とを前記第１モデルに入力した際に、前記出力情報として前記第２情報の分類を示す情報を出力し、かつ、前記第２情報を前記第２モデルに入力した際に当該第２モデルが生成した特徴情報に前記中間情報が近づくように、前記第１モデルの学習を行う
   ことを特徴とする請求項５または６に記載の学習装置。
8. 第１情報が入力された場合に当該第１情報を符号化した第１符号化情報を出力する第１符号化部、第２情報が入力された場合に当該第２情報を符号化した第２符号化情報を出力する第２符号化部、前記第１情報と前記第２情報とが入力された場合に当該第１情報を符号化した第３符号化情報と、当該第２情報を符号化した第４符号化情報とを出力する第３符号化部、前記第１符号化情報と前記第３符号化情報とから第１復号化情報を復号し、前記第２符号化情報と前記第４符号化情報とから第２復号化情報を復号する復号化部、および、複数の中間層を有し、前記第４符号化情報から、前記第２情報の分類結果を示す分類情報を生成する分類部を有する第１モデルを取得する取得部と、
   前記第１モデルに所定の入力情報を入力した際に、前記第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、前記第１情報と前記第１復号化情報とが類似し、前記第２情報と前記第２復号化情報とが類似するとともに、前記分類部が有する複数の中間層のうち所定の中間層が出力する情報が、前記所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習部と
   を有することを特徴とする学習装置。
9. 学習装置が実行する学習方法であって、
   入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得工程と、
   前記第１モデルに所定の入力情報として第１ドメインと関連する入力情報を前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該入力情報の分類を示す情報を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記所定の入力情報と対応する対応情報であって、前記第１ドメインとは異なる第２ドメインと関連する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習工程と
   を含むことを特徴とする学習方法。
10. 入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得手順と、
    前記第１モデルに所定の入力情報として第１ドメインと関連する入力情報を前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該入力情報の分類を示す情報を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記所定の入力情報と対応する対応情報であって、前記第１ドメインとは異なる第２ドメインと関連する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習手順と
    をコンピュータに実行させるための学習プログラム。
11. 学習装置が実行する学習方法であって、
    入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得工程と、
    前記第１モデルに所定の入力情報として第１情報と当該第１情報と紐付けられる第２情報とを前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該第２情報の分類結果を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記第２情報が有する特徴に応じた特徴情報であって、前記第１情報と紐付けられる第３情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習工程と
    を含むことを特徴とする学習方法。
12. 入力情報を入力する入力層と、入力された入力情報が有する特徴に基づいた演算を行う複数の中間層と、中間層の出力に応じた出力情報を出力する出力層とを有する第１モデルを取得する取得手順と、
    前記第１モデルに所定の入力情報として第１情報と当該第１情報と紐付けられる第２情報とを前記第１モデルに入力した際に、当該所定の入力情報と対応する所定の出力情報として当該第２情報の分類結果を前記第１モデルが出力し、かつ、前記複数の中間層のうち所定の中間層が出力する中間情報が、前記第２情報が有する特徴に応じた特徴情報であって、前記第１情報と紐付けられる第３情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習手順と
    をコンピュータに実行させるための学習プログラム。
13. 学習装置が実行する学習方法であって、
    第１情報が入力された場合に当該第１情報を符号化した第１符号化情報を出力する第１符号化部、第２情報が入力された場合に当該第２情報を符号化した第２符号化情報を出力する第２符号化部、前記第１情報と前記第２情報とが入力された場合に当該第１情報を符号化した第３符号化情報と、当該第２情報を符号化した第４符号化情報とを出力する第３符号化部、前記第１符号化情報と前記第３符号化情報とから第１復号化情報を復号し、前記第２符号化情報と前記第４符号化情報とから第２復号化情報を復号する復号化部、および、複数の中間層を有し、前記第４符号化情報から、前記第２情報の分類結果を示す分類情報を生成する分類部を有する第１モデルを取得する取得工程と、
    前記第１モデルに所定の入力情報を入力した際に、前記第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、前記第１情報と前記第１復号化情報とが類似し、前記第２情報と前記第２復号化情報とが類似するとともに、前記分類部が有する複数の中間層のうち所定の中間層が出力する情報が、前記所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習工程と
    を含むことを特徴とする学習方法。
14. 第１情報が入力された場合に当該第１情報を符号化した第１符号化情報を出力する第１符号化部、第２情報が入力された場合に当該第２情報を符号化した第２符号化情報を出力する第２符号化部、前記第１情報と前記第２情報とが入力された場合に当該第１情報を符号化した第３符号化情報と、当該第２情報を符号化した第４符号化情報とを出力する第３符号化部、前記第１符号化情報と前記第３符号化情報とから第１復号化情報を復号し、前記第２符号化情報と前記第４符号化情報とから第２復号化情報を復号する復号化部、および、複数の中間層を有し、前記第４符号化情報から、前記第２情報の分類結果を示す分類情報を生成する分類部を有する第１モデルを取得する取得手順と、
    前記第１モデルに所定の入力情報を入力した際に、前記第１モデルが当該所定の入力情報と対応する所定の出力情報を出力し、前記第１情報と前記第１復号化情報とが類似し、前記第２情報と前記第２復号化情報とが類似するとともに、前記分類部が有する複数の中間層のうち所定の中間層が出力する情報が、前記所定の入力情報と対応する対応情報が有する特徴に応じた特徴情報に近づくように、前記第１モデルの学習を行う学習手順と
    をコンピュータに実行させるための学習プログラム。

Images