JP6906456B2 - 学習装置、学習方法、及び学習プログラム - Google Patents

Description

本発明は、学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデルに関する。

テキストを装置に生成させる技術が知られている。例えば、装置に文書の要約文を生成させる技術が知られている。装置にテキストを生成させることで、人がテキストを生成する手間を省くことができる。

特開２００５−１１５６２８号公報 特開２００５−１７４１７３号公報

近年、機械学習が注目されている。テキストの生成は、例えば、複数組のテキスト（例えば、文書とその要約文を１組とした複数組のテキスト）を学習データとして学習した学習モデル（以下、単にモデルという。）を使用することで実現可能である。

学習用のテキストの組を多く準備することができれば、精度の高いモデルを実現可能である。しかし、テキストの組は人の手で作成されるため、用意できるテキストの組の数には限界がある。テキストの組の数の数が少ないと、精度の高いモデルの実現は困難となる。モデルの精度が低いと、装置が生成するテキストは精度（例えば、正確性）が低いものとなる。

本願は、上記に鑑みてなされたものであって、精度が高いテキストを生成できるようにすることを目的とする。

本願に係る学習装置は、第１のテキストと第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから第３のテキストに対応する第４のテキストを生成する生成部と、第３のテキストと第４のテキストとの関係性に基づいて学習を行う学習部と、を備える。

実施形態の一態様によれば、精度が高いテキストを生成できるようにすることができる。

図１は、実施形態１に係る情報処理装置が実行する処理の一例を示す図である。 図２は、コンテンツが表示された端末装置を示す図である。 図３は、学習データデータベースに登録される学習データの一例を示す図である。 図４は、擬似見出しが格納された学習データの一例を示す図である。 図５は、モデルの一例を示す図である。 図６は、実施形態２に係る情報処理装置が実行する処理の一例を示す図である。 図７は、実施形態に係る情報処理装置の構成例を示す図である。 図８は、学習データデータベースに登録される情報の一例を示す図である。 図９は、モデルデータベースに登録される情報の一例を示す図である。 図１０は、コンテンツ情報データベースに登録される情報の一例を示す図である。 図１１は、学習処理の一例を示すフローチャートである。 図１２は、生成処理の一例を示すフローチャートである。 図１３は、実施形態に係る情報処理装置が実行する処理の他の例を示す図である。 図１４は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデルを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下の実施形態により本願に係る学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデルが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔実施形態１〕
〔１−１．情報処理装置の一例〕
最初に、生成装置および学習装置の一例である情報処理装置が実行する学習処理の一例について説明する。図１は、実施形態１に係る情報処理装置１０が実行する処理の一例を示す図である。情報処理装置１０は、インターネット等の所定のネットワークを介して、所定のクライアントが使用するデータサーバ２０および端末装置３０と通信可能である。

情報処理装置１０は、後述の学習処理及び生成処理を実行する装置である。情報処理装置１０は、サーバ装置やクラウドシステム等により実現される。

データサーバ２０は、情報処理装置１０が後述する学習処理を実行する際に用いる学習データや、情報処理装置１０が後述する生成処理を実行する際に出力する配信コンテンツを管理する情報処理装置である。データサーバ２０は、サーバ装置やクラウドシステム等により実現される。データサーバ２０は、例えば、端末装置３０に対してニュースや、利用者によって投稿された各種のコンテンツを配信する配信サービスを実行する。このような配信サービスは、例えば、各種ニュースの配信サイトやＳＮＳ（Social Networking Service）等により実現される。

端末装置３０は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置３０は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。

〔１−２．要約コンテンツの配信について〕
ここで、データサーバ２０は、配信対象となる配信コンテンツが複数存在する場合には、各コンテンツを全て配信するのではなく、各コンテンツの要約となるテキストが含まれる要約コンテンツを端末装置３０へと配信することがある。配信コンテンツは、例えば、情報媒体或いは情報の配信主体から取得したニュース記事である。一例として、要約コンテンツは、配信コンテンツへのリンクが張られたポータルサイトのトップページである。

なお、情報媒体とは、情報の配信媒体或いは掲載媒体を示す情報であり、例えば、“新聞”、“雑誌”等を示す情報である。また、配信主体とは、ニュース記事等の情報を配信する組織或いは個人である。例えば、配信主体は、新聞社、出版社、放送局（テレビ局、ラジオ局）等のマスメディアである。勿論、配信主体はマスメディアに限定されない。配信主体は、ポータルサイトの運営者であってもよいし、携帯電話会社であってもよい。配信主体は、情報処理装置１０の運営者自身であってもよい。

図２は、コンテンツが表示された端末装置３０を示す図である。図２の状態Ｊ１は、ポータルサイトのトップページが表示された様子を示す図であり、図２の状態Ｊ２は、配信コンテンツＣ１１を含むページが表示された様子を示す図である。配信コンテンツＣ１１は、例えば、所定の配信主体から情報処理装置１０の運営者（例えば、ポータルサイトの運営者）が取得したニュース記事である。状態Ｊ１に示す端末装置３０には、記事へのリンクが張られたタイルが複数配置されたページが表示されている。各タイルには、配信コンテンツの内容を示すテキスト（以下、見出しという。）が表示されている。例えば、縦一列に並ぶ複数のタイルの一番上のタイルには、見出しＵ１１が表示されている。見出しＵ１１は配信コンテンツＣ１１の内容に対応するテキストである。ユーザが見出しＵ１１が表示されたタイルをタップすると、端末装置３０には、配信コンテンツＣ１１を含む画面が表示される。配信コンテンツＣ１１には、記事の本文Ｋ１１と、記事のタイトルＴ１１が含まれている。

配信コンテンツに対応付けられるテキスト（例えば、ポータルサイトのトップページに掲載される見出し）は、配信コンテンツの内容に基づいて人が作成する。例えば、見出しＵ１１は、配信コンテンツＣ１１に含まれるタイトルＴ１１をポータルサイトの運営者の従業員が読んで要約することにより作成される。しかしながら、配信コンテンツごとに、人手で見出しを生成するのは、手間がかかる。

そこで、各種情報が有する特徴を学習した学習モデル（以下、単にモデルという。）を用いて、配信コンテンツから見出しを自動的に生成することが考えらえる。例えば、配信コンテンツに含まれるテキスト（例えば、タイトル）から、見出しとなるタイトルを自動的に生成することが考えられる。

精度が高い見出し（例えば、正確性が高い見出し）を作成するには、精度が高いモデルの生成が必要となる。精度が高いモデルを生成するには、学習データとなるテキストの組を大量に準備する必要がある。しかし、テキストの組は人の手で作成されるため、用意できるテキストの組の数には限界がある。テキストの組の数の数が少ないと、精度の高いモデルの実現は困難となる。モデルの精度が低いと、装置が生成するテキストは精度（例えば、正確性）が低いものとなる。

〔１−３．再帰的学習〕
そこで、情報処理装置１０は、以下の学習処理を実行することで、モデルＭ１を生成するための学習を行う。モデルＭ１は、配信コンテンツに含まれるテキスト（例えば、タイトル）から見出しとなるテキストを生成するためのモデルである。以下、図１を参照しながら情報処理装置１０が実行する学習処理の一例について説明する。

まず、情報処理装置１０は、データサーバ２０から学習データとなる情報を取得する。例えば、情報処理装置１０は、データサーバ２０から、過去、ユーザに配信された配信コンテンツを取得する。そして、情報処理装置１０は、データサーバ２０から取得した情報を学習データデータベースに登録する。

図３は、学習データデータベースに登録される学習データの一例を示す図である。学習データデータベースには、学習データとして、本文、タイトル、見出しおよびスコアを関連付けた情報が登録される。本文、タイトル、および見出しの組には、それぞれ、学習データＩＤ（Identifier）が付されている。「本文」及び「タイトル」は、配信コンテンツに含まれるテキストである。

「見出し」は、配信コンテンツの内容をユーザが容易に把握するためのテキストである。見出しは、配信コンテンツに含まれるテキスト（例えば、本文或いはタイトル）に対応するテキストである。学習データとなる見出しは、配信コンテンツに含まれるテキストを所定の者（例えば、ポータルサイトの運営者の従業員）が読んで要約することにより作成される。なお、見出しは、所定の条件を満たすよう生成される。例えば、見出しは、所定の文字数以下となるよう生成される。一例として、見出しは、１３.５文字以下となるよう生成される。このとき、１３.５文字は、全角文字１個を１文字とした文字数である。半角文字１文字は０．５文字である。以下の説明では、所定の条件のことを「生成条件」という。生成条件は、１３．５文字以下に限定されない。生成条件となる文字数は、１３．５文字より多くてもよいし少なくてもよい。勿論、生成条件は文字数に限定されない。

なお、「見出し」は、要約、タイトル、短縮タイトル、トピック、トピック見出し等と言い換えることができる。同様に、配信コンテンツに含まれる「タイトル」も、要約等と言い換えることができる。本実施形態では、「見出し」は、配信コンテンツに含まれる「タイトル」に基づき作成される短縮テキストであるものとする。勿論、「見出し」は本文に基づき作成された短縮テキストであってもよい。なお、構文上は文が短縮されていても、「見出し」の文字数が「タイトル」の文字数より多くなることがあり得る。例えば、「タイトル」に含まれる略語を正式名称に置き換えた場合は、構文上は文が短縮されていても、結果として文字数が増えることがある。このような場合も、「見出し」は「タイトル」の短縮テキストである。

図３の例の場合、見出しＵ１１はタイトルＴ１１或いは本文Ｋ１１に基づきサイトの運営者の従業員（以下、単に運営者という。）が作成した見出しである。また、見出しＵ１２はタイトルＴ１２或いは本文Ｋ１２に基づき運営者が作成した見出しである。また、見出しＵ１３はタイトルＴ１３或いは本文Ｋ１３に基づき運営者が作成した見出しである。なお、一部のデータには、「見出し」の項目に情報が格納されていない。例えば、図３の例であれば、学習データＩＤが２００１以降のデータには「見出し」の項目に情報が格納されていない。これは、運営者により見出しが作成していないことを示している。以下の説明では見出しが生成されているデータ群をグループＧ１、見出しが生成されていないデータ群をグループＧ２という。見出しは人の手で作成されるので、実際には、グループＧ１に属するコンテンツの数に対して、グループＧ２に属するコンテンツの数が圧倒的に多い。一例を挙げると、グループＧ１に属するコンテンツの数が１０万であるのに対し、グループＧ２に属するコンテンツの数は１００万である。グループＧ２に属するコンテンツをモデルの学習に有効利用できれば、情報処理装置１０は、精度の高いモデルを取得できる。

本実施形態では、情報処理装置１０は、グループＧ１に属するコンテンツ（例えばタイトルと見出し）を使って第１のモデル（以下、モデルＭ１という。）を学習する。例えば、情報処理装置１０は、タイトルと見出しとの関係性に基づく学習によりモデルＭ１を生成する。そして、情報処理装置１０は、モデルＭ１を使ってグループＧ２に属するコンテンツの擬似的な見出し（以下、擬似見出しという。）を生成する。そして、情報処理装置１０は、生成した擬似見出しを学習データの「見出し」の項目に格納していく。図４は、擬似見出しが格納された学習データの一例を示す図である。図４の例の場合、見出しＰＵ１１〜ＰＵ１６が擬似見出しである。そして、情報処理装置１０は、グループＧ２に属するコンテンツ（例えば、タイトル）とその擬似見出しを使って第２のモデル（以下、モデルＭ２という。）を学習する。グループＧ２に属するコンテンツの数はグループＧ１に属するコンテンツの数と比べて圧倒的に多いので、情報処理装置１０は、精度の高いモデルを取得できる。

図１に戻り、情報処理装置１０は、学習データデータベースに登録されたデータの中から、タイトルと見出しとの組を複数組取得する。例えば、情報処理装置１０は、グループＧ１に属するコンテンツのタイトルと見出しを取得する。そして、情報処理装置１０の学習部は、タイトルと見出しとの関係性に基づく学習によりモデルＭ１を生成する（ステップＳ１）。ここで、モデルＭ１は、モデルに入力されるテキスト（以下、入力テキストという。）から生成条件を満たすテキスト（以下、出力テキストという。）を生成するモデルである。情報処理装置１０は、タイトルを入力データ、見出しを正解データとして学習（例えば、教師あり学習）を行うことによりモデルＭ１を生成する。

なお、以下の説明では、学習の際、入力データとなるテキスト（本実施形態の場合、グループＧ１に属するコンテンツのタイトル）のことを第１のテキスト、正解データとなるテキスト（本実施形態の場合、グループＧ１に属するコンテンツの見出し）のことを第２のテキストということがある。また、以下の説明では、正解データのことを教師ラベルということもある。

第１のテキストは、例えば、所定の配信主体からのテキストである。一例として、第１のテキストは、所定の配信主体から取得した記事のタイトルである。また、第２のテキストは、例えば、第１のテキストを、生成条件を満たすように変換した短縮タイトル（すなわち、見出し）である。また、第１のテキストは、例えば、所定の情報媒体からのテキストであってもよい。一例として、第１のテキストは、所定の情報媒体から取得した記事のタイトルである。また、第２のテキストは、例えば、第１のテキストを、生成条件を満たすように変換した短縮タイトル（すなわち、見出し）である。

モデルＭ１は、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、特徴情報から出力テキストを生成するデコーダと、を含むモデルであってもよい。図５は、モデルＭ１の一例を示す図である。具体的には、図５では、モデルＭ１の一例であるモデルＭを示している。

モデルＭは、ＲＮＮ（Recurrent Neural Network）の一例であるＬＳＴＭ（Long Short Term Memory）を用いたSequence to Sequence Model（以下、Ｓｅｑ２Ｓｅｑともいう。)である。Ｓｅｑ２Ｓｅｑは、エンコーダ−デコーダモデルの一種であり、異なる長さのワード列 （Sequence）を入力とし、異なる長さのワード列(Sequence)を出力とすることを可能とする。図５に示すモデルＭは、エンコーダＥ１とデコーダＤ１とから構成されている。

エンコーダＥ１は、入力テキストが有する特徴を抽出する。エンコーダＥ１は、入力層Ｘと中間層（隠れ層）Ｈ１とを有する。エンコーダＥ１には、第１のテキスト（本実施形態の場合、タイトル）に含まれるワード（図５に示すワードＷ１１〜Ｗ１３）が順次入力される。＜ＥＯＳ＞は、End Of Statementの略であり、テキストの終わりであることを示す。図５に示すエンコーダＥ１は、入力層Ｘと中間層Ｈ１を時間軸方向に展開した図である。中間層Ｈ１には、入力層Ｘからの出力に加えて前回の中間層Ｈ１の出力が入力される。なお、図５に示す例では、第１のテキストに含まれるワードが、ワードＷ１１〜Ｗ１３までの３つとなっているが、第１のテキストに含まれるワードは、３つより多くてもよい。エンコーダＥ１は、入力されたテキストの特徴を示す多次元量（例えば、ベクトル）である特徴情報Ｆを出力する。

なお、エンコーダＥ１には、入力されるテキストの分類を示す分類情報Ｐを入力するための層（以下、入力層Ｎ１という。）が用意されている。分類情報Ｐは、例えば、入力層Ｘに入力されるテキスト（例えば、タイトル）の分類を示す情報である。例えば、分類情報Ｐは、例えば、入力層Ｘに入力されるテキストがスポーツ関連のテキストか政治関連のテキストかを示す情報である。入力層Ｎ１は、分類情報Ｐを中間層Ｈ１の入力に対応する次元数の多次元量（例えば、ベクトル）に変換する。図５の例では、テキストの先頭ワードであるワードＷ１１が入力される前に入力層Ｎ１の出力が中間層Ｈ１に入力されている。エンコーダＥ１に、第１のテキストの分類情報Ｐを入力することにより、エンコーダＥ１は、第１のテキストの分類も加味して、第１のテキストが有する特徴を学習できる。勿論、エンコーダＥ１には、入力層Ｎ１は用意されていなくてもよい。

デコーダＤ１は、入力テキストが短縮されたテキスト（すなわち、短縮テキスト）を出力する。デコーダＤ１は、中間層（隠れ層）Ｈ２と出力層Ｙとを有する。図５に示すデコーダＤ１は、エンコーダＥ１と同じく、中間層（隠れ層）Ｈ２と出力層Ｙを時間軸方向に展開した図である。デコーダＤ１には、エンコーダＥ１から出力された特徴情報Ｆが入力され、出力層Ｙから短縮テキストとなるワード（図５に示すワードＷ２１〜Ｗ２３）が順次出力される。なお、図５に示す例では、短縮テキストに含まれるワードが、ワードＷ２１〜Ｗ２３までの３つとなっているが、短縮テキストに含まれるワードは、３つより多くてもよい。

情報処理装置１０は、エンコーダＥ１に第１のテキストを入力した際に、デコーダＤ１から第１のテキストに対応する第２のテキストが出力されるよう、モデルＭの学習を行う。例えば、情報処理装置１０は、デコーダＤ１が出力した短縮テキストが、第２のテキストに近づくように、バックプロパゲーション等の手法により、各ノード間で値が伝達する際に考慮される重み（すなわち、接続係数）の値を修正する。これにより、情報処理装置１０は、モデルＭに第１のテキストが有する特徴を学習させる。なお、情報処理装置１０は、短縮テキストの分散表現となるベクトルと第２のテキストの分散表現となるベクトルとのコサイン類似度に基づいて重みの値を修正してもよい。

図１に戻り、情報処理装置１０は、学習データデータベースに登録されたデータの中から、見出しが生成されていないタイトルを入力データとして取得する。例えば、情報処理装置１０は、グループＧ２に属するコンテンツのタイトルを取得する。このとき、見出しが生成されていないタイトルが複数あるのであれば、情報処理装置１０は、複数のタイトルを取得する。そして、情報処理装置１０の生成部は、取得したタイトルをモデルＭ１に入力することにより、入力したタイトルに対応する擬似見出し（出力データ）を生成する。なお、取得したタイトルが複数あるのであれば、情報処理装置１０は、複数のタイトルをそれぞれモデルＭ１に入力し、複数の擬似見出しを生成する（ステップＳ２）。

そして、情報処理装置１０の学習データ生成部は、入力データ（タイトル）と出力データ（生成した擬似見出し）とに基づいて学習データデータベースに登録するデータを生成する。そして、情報処理装置１０の学習データ生成部は、生成したデータを学習データデータベースに登録する（ステップＳ３）。

なお、以下の説明では、モデルＭ１への入力データとなるテキストのことを第３のテキスト、モデルＭ１に第３のテキストを入力することにより得られる出力テキストのことを第４のテキストということがある。第３のテキストは、例えば、グループＧ２に属するコンテンツのタイトルである。また、第４のテキストは、例えば、グループＧ２に属するコンテンツの擬似見出しである。

そして、ステップＳ１に戻り、情報処理装置１０の学習部は、第３のテキストと第４のテキストとの関係性に基づいて再帰的に学習を行う。具体的には、情報処理装置１０は、学習データデータベースに登録されたデータの中から、グループＧ２に属するコンテンツのタイトルと擬似見出しとの組を複数組取得する。ここで取得する擬似見出しは、ステップＳ２で生成された擬似見出しである。そして、情報処理装置１０は、タイトルと擬似見出しとの関係性に基づく学習によりモデルＭ１を更新する（ステップＳ１）。以後、情報処理装置１０は、ステップＳ１〜ステップＳ３の処理を繰り返し実行する。

情報処理装置１０は、再帰的学習により生成されたモデルＭ１を使って入力テキストから出力テキストを生成し、端末装置３０に出力する。

本実施形態によれば、情報処理装置１０は、モデルＭ１を使ってグループＧ２に属するコンテンツの擬似見出しを生成する。そして、情報処理装置１０は、グループＧ２に属するコンテンツ（例えば、タイトル）とその擬似見出しを使ってモデルＭ２を生成する。上述したように、グループＧ２に属するコンテンツの数はグループＧ１に属するコンテンツの数と比べて圧倒的に多い。そのため、情報処理装置１０は、精度の高いモデルを取得できる。しかも、情報処理装置１０は、再帰的に学習を実行するので、さらに精度の高いモデルを取得できる。

〔実施形態２〕
〔１−４．情報処理装置の他の例〕
次に、情報処理装置１０が実行する学習処理および生成処理の他の例について説明する。図６は、実施形態２に係る情報処理装置１０が実行する処理の一例を示す図である。情報処理装置１０、データサーバ２０、及び端末装置３０の構成は実施形態１と同じである。

〔１−５．学習処理について〕
情報処理装置１０は、以下の学習処理を実行することで、配信コンテンツに含まれるテキスト（例えば、タイトル）から見出しとなるテキストを生成するためのモデルの学習を行う。以下、図６を参照しながら情報処理装置１０が実行する学習処理の一例について説明する。

まず、情報処理装置１０は、データサーバ２０から学習データとなる情報を取得する（ステップＳ１０１）。例えば、情報処理装置１０は、データサーバ２０から、過去、ユーザに配信された配信コンテンツを取得する。そして、情報処理装置１０は、データサーバ２０から取得した情報を例えば図３に示すように学習データデータベースに登録する。上述したように、図３に示す学習データベースに登録された学習データは、見出しが生成されているデータ群（グループＧ１）と、見出しが生成されていないデータ群（グループＧ２）とに分かれている。

本実施形態では、情報処理装置１０は、グループＧ１に属するコンテンツ（例えばタイトルと見出し）を使って第１のモデル（以下、モデルＭ１という。）を学習する。例えば、情報処理装置１０は、タイトルと見出しとの関係性に基づく学習によりモデルＭ１を生成する。そして、情報処理装置１０は、モデルＭ１を使ってグループＧ２に属するコンテンツの擬似的な見出し（以下、擬似見出しという。）を生成する。そして、情報処理装置１０は、生成した擬似見出しを図４に示すように学習データの「見出し」の項目に格納していく。

なお、自然言語処理のための学習モデル（例えば、ＲＮＮ（Recurrent Neural Network））は、現在〜過去に入力した１又は複数のワードから尤もらしい次のワードを予測するモデルでもある。そのため、情報処理装置１０は、学習モデルの学習結果（例えば、生成されたニューラルネットワーク）に基づいて、学習モデルが生成したテキストの尤もらしさを示すスコア（以下、単にスコアという。）を算出可能である。なお、スコアは尤度と言い換えることもできる。情報処理装置１０は、モデルの更なる精度向上のため、図３及び図４に示すように、学習データに「スコア」の項目を設け、算出したスコアを学習データに格納してもよい。例えば、情報処理装置１０は、タイトルＴ２１から見出しＰＵ２１が形成される確率（例えば、Ｐ（ＰＵ２１｜Ｔ２１））であるスコアＶ２１を学習データＩＤ“２００１”の「スコア」の項目に格納する。同様に、情報処理装置１０は、タイトルＴ２２〜Ｔ２６から見出しＰＵ２２〜ＰＵ２６が形成される確率であるスコアＶ２２〜Ｖ２６を学習データの「スコア」の項目に格納する。スコアの使用方法については後述する。

図６に戻り、情報処理装置１０は、学習データデータベースに登録されたデータの中から、タイトルと見出しとの組を複数組取得する。例えば、情報処理装置１０は、グループＧ１に属するコンテンツのタイトルと見出しを取得する。そして、情報処理装置１０の学習部は、タイトルと見出しとの関係性に基づく学習によりモデルＭ１を生成する（ステップＳ１０２）。情報処理装置１０は、タイトルを入力データ、見出しを正解データとした学習によりモデルＭ１の学習（例えば、教師あり学習）を行う。

なお、以下の説明では、実施形態１と同様に、学習の際、入力データとなるテキスト（本実施形態の場合、グループＧ１に属するコンテンツのタイトル）のことを第１のテキスト、正解データとなるテキスト（本実施形態の場合、グループＧ１に属するコンテンツの見出し）のことを第２のテキストということがある。また、以下の説明では、実施形態１と同様に、正解データのことを教師ラベルということもある。

図６に戻り、情報処理装置１０は、学習データデータベースに登録されたデータの中から、見出しが生成されていないタイトルを入力データとして取得する。例えば、情報処理装置１０は、グループＧ２に属するコンテンツのタイトルを取得する。このとき、見出しが生成されていないタイトルが複数あるのであれば、情報処理装置１０は、複数のタイトルを取得する。そして、情報処理装置１０の生成部は、取得したタイトルをモデルＭ１に入力することにより、入力したタイトルに対応する擬似見出し（出力データ）を生成する。なお、取得したタイトルが複数あるのであれば、情報処理装置１０は、複数のタイトルをそれぞれモデルＭ１に入力し、複数の擬似見出しを生成する（ステップＳ１０３）。

そして、情報処理装置１０の学習データ生成部は、入力データ（タイトル）と出力データ（生成した擬似見出し）とに基づいて学習データデータベースに登録するデータを生成する。そして、情報処理装置１０の学習データ生成部は、生成したデータを学習データデータベースに登録する（ステップＳ１０４）。

なお、以下の説明では、実施形態１と同様に、モデルＭ１への入力データとなるテキストのことを第３のテキスト、モデルＭ１に第３のテキストを入力することにより得られる出力テキストのことを第４のテキストということがある。第３のテキストは、例えば、グループＧ２に属するコンテンツのタイトルである。また、第４のテキストは、例えば、グループＧ２に属するコンテンツの擬似見出しである。

続いて、情報処理装置１０は、学習データデータベースに登録されたデータの中から、グループＧ２に属するコンテンツのタイトルと擬似見出しとの組を複数組取得する。ここで取得する擬似見出しは、ステップＳ３で生成された擬似見出しである。そして、情報処理装置１０は、タイトルと擬似見出しとの関係性に基づく学習によりモデルＭ２を生成する（ステップＳ１０５）。ここで、モデルＭ２は、モデルＭ１と同様に、入力テキストから出力テキストを生成するモデルである。ここで、モデルＭ２は、モデルＭ１と同じ構成であってもよいし、異なる構成であってもよい。本実施形態の場合、モデルＭ２は、ＬＳＴＭを用いたＳｅｑ２Ｓｅｑである。

例えば、モデルＭ２が、図５に示すモデルＭと同じ構成であるとする。このとき、情報処理装置１０は、エンコーダＥ１に第３のテキスト（例えば、タイトル）を入力した際に、デコーダＤ１から第３のテキストに対応する第４のテキスト（例えば、擬似見出し）が出力されるよう、モデルＭ２の学習を行う。例えば、情報処理装置１０は、デコーダＤ１が出力した短縮テキストが、第４のテキストに近づくように、バックプロパゲーション等の手法により、各ノード間で値が伝達する際に考慮される重み（すなわち、接続係数）の値を修正する。これにより、情報処理装置１０は、モデルＭに第１のテキストが有する特徴を学習させる。なお、情報処理装置１０は、短縮テキストの分散表現となるベクトルと第２のテキストの分散表現となるベクトルとのコサイン類似度に基づいて重みの値を修正してもよい。

なお、情報処理装置１０は、グループＧ２に属するコンテンツのタイトル（第３のテキスト）と擬似見出し（第４のテキスト）のみならず、グループＧ１に属するコンテンツのタイトル（第１のテキスト）と見出し（第２のテキスト）をモデルＭ２の学習用のテキストとしてもよい。そして、情報処理装置１０は、第１のテキストと第２のテキストと第３のテキストと第４のテキストとに基づいて、第２のモデルの学習を行ってもよい。例えば、モデルＭ２が、図５に示すモデルＭと同じ構成であるとする。このとき、情報処理装置１０は、エンコーダＥ１に第１のテキスト或いは第３のテキストを入力した際に、デコーダＤ１から第２のテキスト或いは第４のテキストが出力されるよう、モデルＭの学習を行う。これにより、情報処理装置１０は、より多くのテキストの組を学習データとできる。しかも、情報処理装置１０は、第４のテキスト（擬似見出し）より正確性が高いと思われる第２のテキスト（見出し）を学習データとできる。そのため、情報処理装置１０は、精度の高いモデルＭ２を生成できる。

なお、ステップＳ１０３において、情報処理装置１０は、複数の擬似見出しを生成したが、必ずしも、生成した擬似見出し全てを学習用のデータとして使用する必要はない。情報処理装置１０は、ステップＳ１０３で生成した複数の擬似見出し（複数の第４のテキスト）の中から所定の基準に従い選択された擬似見出し（第４のテキスト）を学習用のデータとして選択してもよい。このとき、情報処理装置１０は、モデルＭ１の学習結果に基づき算出されるスコアであって擬似見出しの尤もらしさを示すスコア（尤度）に基づいて、モデルＭ２の学習に使用する擬似見出しを選択してもよい。例えば、情報処理装置１０は、スコアが所定の値を超えている擬似見出しを学習用のデータとして選択してもよい。或いは、情報処理装置１０は、スコアが高い順に所定数の擬似見出しを学習用のデータとして選択してもよい。なお、スコアは例えば学習データデータベースに登録したスコア（例えば図４に示すＶ２１〜Ｖ２６）であってもよい。そして、情報処理装置１０は、擬似見出しと、選択された擬似見出しに対応するタイトルとに基づいて、モデルＭ２の学習を行う。これにより、情報処理装置１０は、複数の擬似見出しの中でスコアが高い擬似見出しのみを学習データとできる。そのため、情報処理装置１０は、精度の高いモデルＭ２を生成できる。

〔１−６．生成処理について〕
次に、上述した学習処理によって学習が行われたモデルを用いて、入力テキストに対応する出力テキストを生成する生成処理の一例について説明する。このとき、出力テキストは、生成条件を満たすテキストであってもよい。例えば、出力テキストは入力テキストの短縮テキストである。

まず、情報処理装置１０は、データサーバ２０からモデルＭに入力される情報を取得する（ステップＳ１０５）。例えば、情報処理装置１０は、データサーバ２０から、配信予定の配信コンテンツ（本文及びタイトル）を取得する。

そして、情報処理装置１０は、モデルＭ２に入力テキスト（例えば、タイトル）を入力することにより、入力テキストに対応する出力テキスト（例えば、見出し）を生成する（ステップＳ１０６）。例えば、モデルＭ２が図５に示すモデルＭなのであれば、情報処理装置１０は、入力テキストに含まれるワードを、順次、エンコーダＥ１に入力する。そして、情報処理装置１０は、デコーダＤ１から、順次、出力テキストとワードを取得する。このとき、情報処理装置１０は、出力テキストの精度を高めるため、入力テキストの分類情報をエンコーダＥ１に入力してもよい。

出力テキストが生成されたら、情報処理装置１０は、出力テキストを用いて、要約コンテンツを生成する。そして、情報処理装置１０は、要約コンテンツを端末装置３０に配信する（ステップＳ１０７）。

本実施形態によれば、情報処理装置１０は、モデルＭ１を使ってグループＧ２に属するコンテンツの擬似見出しを生成する。そして、情報処理装置１０は、グループＧ２に属するコンテンツ（例えば、タイトル）とその擬似見出しを使ってモデルＭ２を生成する。上述したように、グループＧ２に属するコンテンツの数はグループＧ１に属するコンテンツの数と比べて圧倒的に多い。そのため、情報処理装置１０は、精度の高いモデルを取得できる。

〔２．情報処理装置の構成例〕
以上、本実施形態の情報処理装置１０の動作を述べたが、以下、情報処理装置１０の構成を説明する。

情報処理装置１０は、端末装置３０等のクライアントコンピュータからの要求を処理するサーバ用ホストコンピュータ（以下、単に「サーバ」という。）である。情報処理装置１０は、ＰＣサーバであってもよいし、ミッドレンジサーバであってもよいし、メインフレームサーバであってもよい。また、情報処理装置１０は、１つのサーバにより構成されていてもよいし、協働して処理を実行する複数のサーバにより構成されていてもよい。情報処理装置１０が複数のサーバで構成される場合、これらサーバの設置場所は離れていてもよい。設置場所が離れていたとしても、協働して処理を実行するのであれば、これらサーバは１つの情報処理装置とみなすことができる。情報処理装置１０は、生成装置および学習装置として機能する。

上述したように、情報処理装置１０は、データサーバ２０及び端末装置３０とネットワークを介して接続されている。ネットワークは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

図７は、実施形態に係る情報処理装置１０の構成例を示す図である。情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。なお、図７に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。

通信部１１は、外部の装置と通信する通信インタフェースである。通信部１１は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部１１は、ＮＩＣ（Network Interface Card）等のＬＡＮインタフェースであってもよいし、ＵＳＢ（Universal Serial Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインタフェースであってもよい。また、通信部１１は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部１１は、情報処理装置１０の通信手段として機能する。通信部１１は、制御部１３の制御に従ってデータサーバ２０及び端末装置３０と通信する。

記憶部１２は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部１２は、情報処理装置１０の記憶手段として機能する。記憶部１２は、学習データデータベース１２１、モデルデータベース１２２、及びコンテンツ情報データベース１２３を記憶する。

学習データデータベース１２１には、学習データが登録される。図８は、学習データデータベース１２１に登録される情報の一例を示す図である。学習データデータベース１２１には、「学習データＩＤ（Identifier）」、「本文」、「タイトル」、「見出し」、および「スコア」といった項目を有する情報が登録される。

なお、図８に示す情報のうち「本文」、「タイトル」、「見出し」、および「スコア」は、図３又は図４に示す「本文」、「タイトル」、「見出し」、および「スコア」に対応する。なお、学習データデータベース１２１には、図８に示す情報以外にも、学習データや要約データを閲覧した利用者に関する各種の情報が登録されていてもよい。なお、図８に示す例では、学習データデータベース１２１に登録される情報として、「Ｋ１１、Ｋ１２、Ｋ２１、Ｋ２２」、「Ｔ１１、Ｔ１２、Ｔ２１、Ｔ２２」、「Ｕ１１、Ｕ１２、ＰＵ２１」、「Ｖ２１」といった概念的な情報を示したが、実際には、テキストデータやバイナリデータが登録されることとなる。

ここで、「学習データＩＤ」とは、学習データを識別するための識別子である。また、「属性情報」とは、テキストの属性を示す情報である。また、「本文」とは、ユーザに配信されたコンテンツ（例えば、記事）に含まれる本文となるテキストである。また「タイトル」とは、コンテンツ或いは当該コンテンツに含まれる本文に付されたタイトルである。また、「見出し」とは、コンテンツ（本文或いはタイトル）に付された見出しである。

例えば、図８に示す例では、学習データデータベース１２１には、学習データＩＤ「１００１」、本文「Ｋ１１」、タイトル「Ｔ１１」、および見出し「Ｕ１１」といった情報が対応付けて登録されている。このような情報は、例えば、学習データＩＤ「１００１」が示す学習データに、「Ｋ１１」が示す本文と、「Ｔ１１」が示すタイトルと、「Ｕ１１」が示す見出しとが含まれる旨を示す。また、学習データデータベース１２１には、学習データＩＤ「２００１」、本文「Ｋ２１」、タイトル「Ｔ２１」、擬似見出し「ＰＵ２１」、およびスコア「Ｖ２１」といった情報が対応付けて登録されている。このような情報は、例えば、学習データＩＤ「２００１」が示す学習データに、「Ｋ２１」が示す本文と、「Ｔ２１」が示すタイトルと、「ＰＵ２１」が示す擬似見出しと、「Ｖ２１」が示すスコアが含まれる旨を示す。

図７に戻り、モデルデータベース１２２には、情報処理装置１０が有するモデルのデータが登録される。図９は、モデルデータベース１２２に登録される情報の一例を示す図である。図９に示す例では、モデルデータベース１２２には、「モデルＩＤ」、および「モデルデータ」といった情報が登録されている。

ここで、「モデルＩＤ」とは、各モデルを識別するための情報である。また、「モデルデータ」とは、対応付けられた「モデルＩＤ」が示すモデルのデータであり、例えば、各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報である。

例えば、図９に示す例では、モデルＩＤ「３００１」およびモデルデータ「Ｍ１」といった情報が対応付けて登録されている。このような情報は、例えば、「３００１」が示すモデルのデータが「Ｍ１」である旨を示す。なお、図９に示す例では、モデルデータベース１２２に登録される情報として、「Ｍ１〜Ｍ３」といった概念的な情報を記載したが、実際には、モデルの構造や接続係数を示す文字列や数値等が登録されることとなる。

モデルＭは、例えば、第１のテキストと第１のテキストに対応する第２のテキストとに基づいて学習したモデルＭ１（第１のモデル）である。また、モデルＭは、第３のテキストとモデルＭ１に第３のテキストを入力することにより生成された第４のテキストとに基づいて学習したモデルＭ２（第２のモデル）であってもよい。また、また、モデルＭは、第３のテキストとモデルＭ２に第３のテキストを入力することにより生成された第５のテキストとに基づいて学習したモデルＭ３（第３のモデル）であってもよい。

モデルＭは、入力テキストから所定の条件を満たす出力テキストを生成する。このようなモデルＭは、テキストが入力される入力層と、入力層に入力されたテキストに対応するテキストであって生成条件を満たすテキストを出力する出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重み（すなわち、接続係数）とに基づく演算を行うことにより、入力層に入力されたテキストに対応するテキストであって生成条件を満たすテキストを出力層から出力するよう、コンピュータを機能させるためのモデルである。

ここで、モデルＭが「y=a1*x1+a2*x2+・・・+ai*xi」で示す回帰モデルで実現されるとする。この場合、モデルＭが含む第１要素は、x1やx2等といった入力データ（xi）に対応する。また、第１要素の重みは、xiに対応する係数aiに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。

また、モデルＭがＤＮＮ（Deep Neural Network）等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、モデルＭが含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。

情報処理装置１０は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、出力テキストの算出を行う。具体的には、モデルＭは、テキスト（例えば、タイトル）が入力された場合に、入力されたテキストに対応するテキストであって生成条件を満たすテキスト（例えば、見出し）を出力するように係数が設定される。モデルＭは、テキスト及び当該テキストの属性情報が入力された場合に、入力されたテキストに対応するテキストであって生成条件を満たすテキストを出力するように係数が設定されてもよい。情報処理装置１０は、このようなモデルＭを用いて、生成条件を満たすテキスト（例えば、見出し）を生成する。

なお、上記例では、モデルＭが、テキスト（及び当該テキストの属性情報）が入力された場合に、入力されたテキストに対応するテキストであって生成条件を満たすテキスト（例えば、見出し）を出力するモデル（以下、モデルＶという。）である例を示した。しかし、実施形態に係るモデルＭは、モデルＶにデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルＶは、「テキスト（及び当該テキストの属性情報）」を入力とし、モデルＶが出力する「入力されたテキストに対応するテキストであって生成条件を満たすテキスト」を出力とするよう学習されたモデルであってもよい。

また、情報処理装置１０がＧＡＮ（Generative Adversarial Networks）を用いた学習処理或いは生成処理を行う場合、モデルＭは、ＧＡＮの一部を構成するモデルであってもよい。

図７に戻り、コンテンツ情報データベース１２３には、ユーザに配信されるコンテンツの情報が登録される。例えば、コンテンツ情報データベース１２３には、コンテンツパートナーから取得した記事等が登録される。図１０は、コンテンツ情報データベース１２３に登録される情報の一例を示す図である。コンテンツ情報データベース１２３には、「コンテンツＩＤ」、「本文」、及び「タイトル」といった項目を有する情報が登録される。なお、「コンテンツＩＤ」とは、コンテンツのデータを識別するための識別子である。「本文」及び「タイトル」は、図８に示す「本文」及び「タイトル」と同様である。

図７に戻り、制御部１３は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１３は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

また、制御部１３は、記憶部１２に記憶されるモデルＭ（モデルＭ１、Ｍ２、Ｍ３等）に従った情報処理により、モデルＭの入力層に入力された入力テキスト（例えば、タイトル）に対し、モデルＭが有する係数（すなわち、モデルＭが学習した各種の特徴に対応する係数）に基づく演算を行い、モデルＭの出力層から出力テキスト（例えば、見出し）を出力する。入力層には、入力テキスト以外に、当該入力テキストの属性情報が入力されてもよい。

制御部１３は、図７に示すように、学習データ取得部１３１と、学習部１３２と、学習データ生成部１３３と、生成部１３４と、出力制御部１３５と、を備える。制御部１３を構成するブロック（学習データ取得部１３１〜出力制御部１３５）はそれぞれ制御部１３の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ或いは１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部１３は上述の機能ブロックとは異なる機能単位で構成されていてもよい。

学習データ取得部１３１は、学習データとして、第１のテキストと、第１のテキストに対応する第２のテキストと、を取得する。例えば、学習データ取得部１３１は、学習データとして、所定のコンテンツパートナーが作成した記事（本文及び／又はタイトル）をデータサーバ２０から取得する。さらに、学習データ取得部１３１は、学習データとして、当該記事に付された見出しを取得する。見出しは、当該記事を過去ユーザに配信したポータルサイトの運営者が作成したものであってもよい。そして、学習データ取得部１３１は、取得した各データを対応付けて学習データデータベース１２１に登録する。

また、学習データ取得部１３１は、学習データとして、第３のテキストと、第３のテキストに対応する第４のテキストと、を取得する。例えば、学習データ取得部１３１は、学習データとして、所定のコンテンツパートナーが作成した記事（本文及び／又はタイトル）をデータサーバ２０から取得する。さらに、学習データ取得部１３１は、学習データとして、生成部１３４が、記事（本文及び／又はタイトル）をモデルＭ１（第１のモデル）に入力することにより生成されたテキスト（例えば、見出し）を取得する。そして、学習データ取得部１３１は、取得した各データを対応付けて学習データデータベース１２１に登録する。

なお、学習データ取得部１３１は、学習データとして、第３のテキストと、第３のテキストに対応する第５のテキストと、を取得してもよい。第５のテキストは、例えば、生成部１３４が、記事（本文及び／又はタイトル）をモデルＭ２（第２のモデル）に入力することにより生成されたテキスト（例えば、見出し）である。

学習部１３２は、モデルＭの学習を行い、学習したモデルＭをモデルデータベース１２２に格納する。モデルＭはモデルＭ１であってもよいしモデルＭ２であってもよい。勿論、モデルＭは、モデルＭ１、Ｍ２以外のモデル（例えば、後述するモデルＭ３）であってもよい。学習部１３２は、学習データに含まれる第１のテキスト（例えば、タイトル）をモデルＭに入力した際に、モデルＭが学習データに含まれる第２のテキスト（例えば、入力したタイトルに対応する見出し）を出力するように、モデルＭの接続係数の設定を行う。すなわち、学習部１３２は、入力テキストを入力した際に、モデルＭが、入力テキストに対応する出力テキストを出力するように、モデルＭの学習を行う。

例えば、学習部１３２は、モデルＭが有する入力層のノードであって、入力層に入力される情報と対応する特徴を学習したエンコーダＥ１の入力層と対応するノードに所定のテキスト（例えば、タイトル）を入力し、各中間層を辿ってモデルＭの出力層までデータを伝播させることで、上記所定のテキストに対応するテキスト（例えば、見出し）を出力させる。そして、学習部１３２は、モデルＭが実際に出力したテキストと、学習データに含まれる第２のテキスト（例えば、見出し）との差に基づいて、モデルＭの接続係数を修正する。或いは、学習部１３２は、モデルＭが実際に出力したテキストと、学習データに含まれる第４のテキスト（例えば、擬似見出し）若しくは第５のテキスト（例えば、後述する第２の擬似見出し）との差に基づいて、モデルＭの接続係数を修正する。例えば、学習部１３２は、バックプロパゲーション等の手法を用いて、接続係数の修正を行ってもよい。また、学習部１３２は、第２のテキストの分散表現となるベクトルと、モデルＭが実際に出力したテキストの分散表現となるベクトルとのコサイン類似度に基づいて、接続係数の修正を行ってもよい。また、学習部１３２は、第４のテキスト若しくは第５のテキストの分散表現となるベクトルと、モデルＭが実際に出力したテキストの分散表現となるベクトルとのコサイン類似度に基づいて、接続係数の修正を行ってもよい。

なお、学習部１３２は、いかなる学習アルゴリズムを用いてモデルＭを学習してもよい。例えば、学習部１３２は、ニューラルネットワーク、サポートベクターマシン（support vector machine）、クラスタリング、強化学習等の学習アルゴリズムを用いて、モデルＭを学習してよい。

ここで、学習部１３２は、第３のテキストと第４のテキストとに基づいて、入力テキストから出力テキストを生成するモデルＭ２（第２のモデル）の学習を行う。このとき、モデルＭ２は、出力テキストとして、所定の文字数以下のテキストを生成するモデルであってもよい。なお、第３のテキストは、未だ見出しが対応付けられていないタイトルであってもよい。また、第４のテキストは、第１のテキスト（例えば、タイトル）と第１のテキストに対応する第２のテキスト（例えば、見出し）とに基づいて学習したモデルＭ１（第１のモデル）に第３のテキストを入力することにより生成されるテキスト（例えば、擬似見出し）であってもよい。例えば、生成部１３４が、モデルＭ１に第３のテキストを入力することにより、第３のテキストに対応する第４のテキストを生成してもよい。

このとき、学習部１３２は、第１のテキストと第２のテキストと第３のテキストと第４のテキストとに基づいて、モデルＭ２の学習を行ってもよい。

なお、生成部１３４は、モデルＭ（第１のモデル）に複数の第３のテキストを入力することにより、複数の第４のテキストを生成してもよい。この場合、学習部１３２は、生成部１３４で生成された複数の第４のテキストの中から所定の基準に従い選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて、モデルＭ２の学習を行ってもよい。

例えば、学習部１３２は、第１のモデルの学習結果に基づき算出されるスコアであって第４のテキストの尤もらしさを示す第１のスコアに基づいて、生成部１３４で生成された複数の第４のテキストの中からモデルＭ２の学習に使用する第４のテキストを選択する。そして、学習部１３２は、選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて、モデルＭ２の学習を行う。

また、学習部１３２は、第３のテキストと第５のテキストとに基づいて、入力テキストから出力テキストを生成するモデルＭ３（第３のモデル）の学習を行う。このとき、第５のテキストは、第３のテキストに対応するテキストであってもよい。より具体的には、第５のテキストは、生成部１３４が、モデルＭ２に第３のテキストを入力することにより生成したテキストであってもよい。

このとき、学習部１３２は、第１のテキストと第２のテキストと第３のテキストと第５のテキストとに基づいてモデルＭ３の学習を行ってもよい。

なお、生成部１３４は、モデルＭ２（第２のモデル）に複数の第３のテキストを入力することにより、複数の第５のテキストを生成してもよい。この場合、学習部１３２は、複数の第５のテキストの中から所定の基準に従い選択された第５のテキストと選択された第５のテキストに対応する第３のテキストとに基づいて、モデルＭ３（第３のモデル）の学習を行ってもよい。

例えば、学習部１３２は、第１のモデル或いは第２のモデルの学習結果に基づき算出されるスコアであって第５のテキストの尤もらしさを示す第２のスコアに基づいて、生成部１３４で生成された複数の第４のテキストの中からモデルＭ３の学習に使用する第５のテキストを選択する。そして、学習部１３２は、選択された第５のテキストと選択された第５のテキストに対応する第３のテキストとに基づいて、モデルＭ３の学習を行う。

また、学習部１３２は、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、特徴情報から出力テキストを生成するデコーダと、を含むモデルＭの学習を行う。なお、モデルＭは、モデルＭ１〜Ｍ３（第１〜第３のモデル）のいずれであってもよい。

また、学習データ生成部１３３は、モデルＭから出力されたテキストに基づいて学習に使用するテキストを生成する。

また、学習部１３２は、第３のテキストと第４のテキストとの関係性に基づいて学習を行う。

また、学習部１３２は、第３のテキストと第４のテキストとの関係性に基づいて再帰的に学習を行う。

また、学習部１３２は、第３のテキストと第４のテキストとの関係性を学習することによりモデルとは異なる第２のモデルを生成する。

なお、第３のテキストと第４のテキストとの関係性に基づき生成される第２のモデルのパーセプトロンの構造は、第１のテキストと第２のテキストとの関係性に基づいて生成されるモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが多い構造であってもよい。

また、第３のテキストと第４のテキストとの関係性に基づき生成される第２のモデルのパーセプトロンの構造は、第１のテキストと第２のテキストとの関係性に基づいて生成されるモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが少ない構造であってもよい。

また、学習部１３２は、第１のテキストと第２のテキストとの関係性と、第３のテキストと第４のテキストとの関係性と、に基づく学習により第２のモデルを生成する。

また、学習部１３２は、複数の第４のテキストの中から所定の基準に従い選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとの関係性に基づく学習により第２のモデルを生成する。

また、学習部１３２は、上記モデルの学習結果に基づき算出されるスコアであって第４のテキストの尤もらしさを示すスコアに基づいて、生成部で生成された複数の第４のテキストの中から学習に使用する第４のテキストを選択する。そして、学習部１３２は、選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて学習を行う。

また、学習部１３２は、第３のテキストと第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う。

学習部１３２は、第１のテキストと第２のテキストとの関係性と、第３のテキストと第５のテキストとの関係性と、に基づく学習により第３のモデルを生成する。

また、学習部１３２は、複数の第５のテキストの中から所定の基準に従い選択された第５のテキストと選択された第５のテキストに対応する第３のテキストとの関係性に基づく学習により第３のモデルを生成する、

なお、上記モデルは、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、特徴情報から出力テキストを生成するデコーダと、を含んでいてもよい。

また、学習部１３２は、第３のテキストと第３のテキストに対応する擬似見出しとの関係性に基づいて学習を行う。

生成部１３４は、モデルＭに入力テキストを入力することにより、入力テキストに対応する出力テキストを生成する。このとき、モデルＭは、モデルＭ１〜Ｍ３（第１〜第３のモデル）のいずれであってもよい。また、生成部１３４は、出力テキストとして、生成条件を満たすテキストを生成してもよい。例えば、生成部１３４は、出力テキストとして、所定の文字数以下のテキストを生成してもよい。

また、生成部１３４は、第１のテキストと第１のテキストに対応する第２のテキストとに基づいて学習したモデルＭ１（第１のモデル）に第３のテキストを入力することにより、第３のテキストに対応する第４のテキストを生成する。このとき、生成部１３４は、モデルＭ１に複数の第３のテキストを入力することにより、複数の第４のテキストを取得してもよい。

また、生成部１３４は、モデルＭ２（第２のモデル）に第３のテキストを入力することにより、第３のテキストに対応する第５のテキストを生成する。このとき、生成部１３４は、モデルＭ２に複数の第３のテキストを入力することにより、複数の第５のテキストを取得してもよい。

また、生成部１３４は、モデルＭ３（第３のモデル）に第３のテキストを入力することにより、第３のテキストに対応する第６のテキスト（例えば、見出し）を生成する。このとき、生成部１３４は、生成部１３４は、モデルＭ３に複数の第３のテキストを入力することにより、複数の第６のテキストを取得してもよい。

また、生成部１３４は、第１のテキストと第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから第３のテキストに対応する第４のテキストを生成する。このとき、生成部１３４は、第１のモデルに複数の第３のテキストを入力することにより、複数の第４のテキストを生成してもよい。

また、生成部１３４は、第１のテキストと第１のテキストに対応する見出しとに基づく学習により生成されたモデルを用いて、第３のテキストから第３のテキストに対応する擬似見出しを生成する。

また、生成部１３４は、第３のテキストと、第１のテキストと第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて第３のテキストから生成された第４のテキストと、の関係性に基づく学習により生成された所定のモデルを用いて、入力テキストから入力テキストに対応する出力テキストを生成する。

例えば、生成部１３４は、第３のテキストと、第１のテキストと第１のテキストに対応する見出しとの関係性に基づく学習により生成されたモデルを用いて第３のテキストから生成された擬似見出しと、の関係性に基づく学習により生成された所定のモデルを用いて、入力テキストから入力テキストに対応する見出しを生成する。

出力制御部１３５は、生成部１３４が生成したテキストを利用者に対して出力する。例えば、出力制御部１３５は、端末装置３０からの要求に応じて、生成部１３４が生成したテキストが含まれるコンテンツを配信する。なお、出力制御部１３５は、生成部１３４が生成したテキストが含まれるコンテンツをデータサーバ２０に提供し、データサーバ２０から配信させてもよい。

〔３．情報処理装置の処理フロー〕
次に、情報処理装置１０が実行する処理の手順について説明する。情報処理装置１０は学習処理と生成処理とを実行する。情報処理装置１０は例えばマルチタスクＯＳを備え、これらの処理を並行して実行可能である。

〔３−１．学習処理〕
最初に学習処理を説明する。図１１は、学習処理の一例を示すフローチャートである。学習処理は、入力テキストから出力テキストを生成するモデルＭを学習する処理である。情報処理装置１０は、ユーザから処理開始命令を受信すると、学習処理を実行する。

まず、情報処理装置１０は、学習データを取得する（ステップＳ１１）。例えば、情報処理装置１０は、データサーバ２０から配信コンテンツ（本文及びタイトル）の情報を取得する。また、情報処理装置１０は、配信コンテンツに対応する見出しが存在するのであれば、その見出しを取得する。そして、情報処理装置１０は、学習データデータベース１２１に取得したデータを登録する。

続いて、情報処理装置１０は、ステップＳ１１で取得した学習データの中から、タイトル（第１のテキスト）と見出し（第２のテキスト）の組を取得する（ステップＳ１２）。そして、情報処理装置１０は、第１のテキストを入力データ、第２のテキストを正解データ（教師ラベル）とした学習に基づいて第１のモデル（モデルＭ１）を生成する（ステップＳ１３）。

続いて、情報処理装置１０は、第１のモデルにタイトル（第３のテキスト）を入力して擬似見出し（第４のテキスト）を生成する（ステップＳ１４）。このとき、第１のモデルにタイトルは、見出しが未だ生成されていないタイトルである。そして、情報処理装置１０は、学習データデータベース１２１に生成した擬似見出しを登録する。

続いて、情報処理装置１０は、学習データデータベース１２１に登録されている学習データからタイトル（第３のテキスト）と擬似見出し（第４のテキスト）の組を取得する（ステップＳ１５）。そして、情報処理装置１０は、第３のテキストを入力データ、第４のテキストを正解データ（教師ラベル）とした学習により所定のモデルを生成する（ステップＳ１６）。所定のモデルは、第１のモデル（モデルＭ１）そのものであってもよいし、第１のモデルとは異なる第２のモデル（モデルＭ２）であってもよい。

学習の実行が終了したら、情報処理装置１０は、学習処理を終了する。

〔３−２．生成処理〕
次に生成処理を説明する。図１２は、生成処理の一例を示すフローチャートである。生成処理は、入力テキストから出力テキスト（入力テキストの短縮テキスト）を生成する処理である。情報処理装置１０は、ユーザから処理開始命令を受信すると、生成処理を実行する。

まず、情報処理装置１０は、コンテンツ情報を取得する（ステップＳ２１）。例えば、情報処理装置１０は、データサーバ２０から配信コンテンツ（本文及びタイトル）の情報を取得する。

続いて、情報処理装置１０は、ステップＳ２１で取得したデータの中から、第２のモデル（モデルＭ２）に入力する入力テキストを選択する（ステップＳ２２）。例えば、情報処理装置１０は、タイトルを入力テキストとして選択する。

そして、情報処理装置１０は、入力テキストを第２のモデルに入力して出力テキストを生成する（ステップＳ２３）。出力テキストの生成が終了したら、情報処理装置１０は、生成処理を終了する。

〔４．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

例えば、上述の実施形態では、情報処理装置１０は、第１のテキストをタイトル、第２のテキストを見出し（タイトルの短縮テキスト）としてモデルＭ１の学習を行った。しかし、情報処理装置１０は、第１のテキストを本文、第２のテキストを見出し（本文或いはタイトルの短縮テキスト）としてモデルＭ１の学習を行ってもよい。また、上述の実施形態では、情報処理装置１０は、第３のテキストをタイトル、第４のテキストを見出し（タイトルの短縮テキスト）としてモデルＭ２の学習を行った。しかし、情報処理装置１０は、第３のテキストを本文、第４のテキストを見出し（本文或いはタイトルの短縮テキスト）としてモデルＭ２の学習を行ってもよい。このとき、情報処理装置１０は、本文をモデルＭ２に入力する入力テキストとして出力テキストの生成を行ってもよい。

その他、第１のテキスト、第２のテキスト、第３のテキスト、第４のテキストとするテキストは任意に変更可能である。この場合、第３のテキストに対応する第４のテキストは擬似テキストと言い換えることができる。例えば、所定のモデルが本文からタイトルを生成するモデルであるとする。そして、第３のテキストが本文であるとする。この場合、第３のテキストを所定のモデルに入力して生成される第４のテキストは擬似タイトルである。

また、上述の実施形態では、情報処理装置１０は、モデルＭ１（第１のモデル）に第３のテキスト（例えば、タイトル）を入力することにより、第３のテキストに対応する第４のテキスト（例えば、擬似見出し）を生成した。そして、情報処理装置１０は、第３のテキストと第４のテキストとに基づいて、入力テキストから出力テキストを生成するモデルＭ２（第２のモデル）の学習を行った。しかし、情報処理装置１０は、さらに、第２のモデルに第３のテキストを入力することにより、第３のテキストに対応する第５のテキストを生成してもよい。そして、情報処理装置１０は、第３のテキストと第５のテキストとに基づいて、入力テキストから出力テキストを生成するモデルＭ３（第３のモデル）の学習を行ってもよい。

以下、図１３を使ってモデルＭ３の学習について説明する。図１３は、実施形態に係る情報処理装置１０が実行する処理の他の例を示す図である。なお、図１３に示すステップＳ１０２〜ステップＳ１０４は、図６に示すステップＳ１０２〜ステップＳ１０４と同じである。情報処理装置１０は、モデルＭ２の学習が終了すると（ステップＳ１０４）、グループＧ２に属するコンテンツのタイトル（第３のテキスト）をモデルＭ２に入力することにより、入力したタイトルに対応する擬似見出し（第５のテキスト）を生成する。なお、取得したタイトルが複数あるのであれば、情報処理装置１０は、複数の擬似見出しをそれぞれモデルＭ２に入力し、複数の擬似見出しを生成する（ステップＳ２０１）。

そして、情報処理装置１０は、グループＧ２に属するコンテンツのタイトル（第３のテキスト）と擬似見出し（第５のテキスト）とに基づいてモデルＭ３の学習を行う（ステップＳ２０２）。ここで、モデルＭ３は、モデルＭ１、Ｍ２と同様に、入力テキストから出力テキストを生成するモデルである。なお、モデルＭ２は、モデルＭ１、Ｍ２と同じ構成であってもよいし、異なる構成であってもよい。

なお、情報処理装置１０は、グループＧ２に属するコンテンツのタイトル（第３のテキスト）と擬似見出し（第５のテキスト）のみならず、グループＧ１に属するコンテンツのタイトル（第１のテキスト）と見出し（第２のテキスト）をモデルＭ３の学習用のテキストとしてもよい。

なお、ステップＳ２０１において、情報処理装置１０は、複数の擬似見出しを生成したが、必ずしも、生成した擬似見出し全てを学習用のデータとして使用する必要はない。情報処理装置１０は、ステップＳ２０１で生成した複数の擬似見出し（複数の第５のテキスト）の中から所定の基準に従い選択された擬似見出し（第５のテキスト）を学習用のデータとして選択してもよい。このとき、情報処理装置１０は、モデルＭ２の学習結果に基づき算出されるスコアであって擬似見出しの尤もらしさを示すスコア（尤度）に基づいて、モデルＭ３の学習に使用する擬似見出しを選択してもよい。

その後、情報処理装置１０は、モデルＭ３に入力テキスト（例えば、タイトル）を入力することにより、入力テキストに対応する出力テキスト（例えば、見出し）を生成する（ステップＳ２０３）。

なお、情報処理装置１０は、ステップＳ２０１とステップＳ２０２を繰り返し実行することで、第４、第５、・・・、第Ｎのモデルを生成してもよい。このときＮは整数である。なお、ステップＳ２０１とステップＳ２０２を繰り返す際、ステップＳ２０１のモデルＭ２はステップＳ２０２のモデルＭ３に置き換える。そして、ステップＳ２０２のモデルＭ３は新たなモデルに置き換える。

例えば、今回の周回でステップＳ２０１のモデルＭ２が第２のモデル、ステップＳ２０２のモデルＭ３が第３のモデルであったとする。このとき、情報処理装置１０は、新たな周回では、ステップＳ２０１のモデルＭ２を第３のモデル、ステップＳ２０２のモデルＭ３を第４のモデルに置き換える。これにより、情報処理装置１０は、モデルの生成を繰り返すたびにモデルの精度を高くすることができる。

なお、上述の実施形態では、生成部１３４は、第１のモデルに第３テキストを入力することにより、第３テキストに対応する第４テキストを生成した。その後、学習部１３２は、第３のテキストと第４のテキストとに基づいて、入力テキストから出力テキストを生成する第２のモデルの学習を行った。このとき、生成部１３４が使用する“第１のモデル”は、第（Ｎ−１）のモデルに置き換えることがきる。また、学習部１３２が使用する“第２のモデル”は、第Ｎのモデルに置き換えることがきる。このとき、Ｎは整数である。一例を挙げると、生成部１３４は、第３のモデルに第３テキストを入力することにより、第３テキストに対応する第４テキストを生成する。その後、学習部１３２は、第３のテキストと第４のテキストとに基づいて、入力テキストから出力テキストを生成する第４のモデルの学習を行う。

なお、第（Ｎ−１）のモデルを第１のモデル、第Ｎのモデルを第２のモデルとみなすことも可能である。例えば、モデルＭ２を第１のモデル、モデルＭ３を第２のモデルとみなすことも可能である。第１のモデル、第２のモデルとみなすモデルは任意に変更可能である。

なお、第２のモデルは、第１のモデルをデータが増えた分だけ複雑なモデルにしたものであってもよい。具体的には、第２のモデルのパーセプトロンの構造は、第１のモデルのパーセプトロンの構造よりも複雑であってもよい。例えば、第２のモデルのパーセプトロンの構造は、第１のモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが多い構造であってもよい。

第２のモデルは、第１のモデルの圧縮や蒸留（distillation）により、第１のモデルより小さなモデルとしてもよい。具体的には、第２のモデルのパーセプトロンの構造は、第１のモデルのパーセプトロンの構造よりも小さなモデルであってもよい。例えば、第２のモデルのパーセプトロンの構造は、第１のモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが少ない構造であってもよい。

また、上述の実施形態では、モデルＭを構成するエンコーダおよびデコーダは、ＬＳＴＭにより構成されるものとしたが、ＬＳＴＭ以外のＲＮＮにより構成されていてもよい。モデルＭを構成するエンコーダおよびデコーダは、ＣＮＮ（Convolution Neural Network）等、ＲＮＮ以外のニューラルネットワークであってもよい。その他、モデルＭを構成するエンコーダおよびデコーダは、単純に入力された情報量の次元数を変化させるニューラルネットワークであってもよい。このとき、モデルＭを構成するエンコーダは、入力された情報の次元量を圧縮することで入力された情報が有する特徴を抽出するよう構成されていてもよい。また、モデルＭを構成するデコーダは、エンコーダによって抽出された特徴の次元量を増大させ、エンコーダに入力された情報よりも次元数が少ない情報を出力するよう構成されていてもよい。

本実施形態の情報処理装置１０を制御する制御装置は、専用のコンピュータシステムによって実現してもよいし、通常のコンピュータシステムにより実現してもよい。例えば、上述の動作を実行するためのプログラムまたはデータ（例えば、モデルＭ）を、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布し、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成してもよい。制御装置は、情報処理装置１０の外部の装置（例えば、パーソナルコンピュータ）であってもよいし、内部の装置（例えば、制御部１３）であってもよい。また、上記プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。

また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５．ハードウェア構成〕
実施形態及び変形例に係る情報処理装置１０は、例えば図１４に示すような構成のコンピュータ１０００によっても実現可能である。図１４は、情報処理装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インタフェース（Ｉ／Ｆ）１５００、入出力インタフェース（Ｉ／Ｆ）１６００、及びメディアインタフェース（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インタフェース１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インタフェース１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インタフェース１６００を介して出力装置へ出力する。

メディアインタフェース１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインタフェース１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、モデルＭ）を実行することにより、制御部１３を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、モデルＭ）を記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムまたはデータ（例えば、モデルＭ）を取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔６．効果〕
本実施形態によれば、情報処理装置１０は、第１のテキストと第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから第３のテキストに対応する第４のテキストを生成する。そして、情報処理装置１０は、第３のテキストと第４のテキストとの関係性に基づいて学習を行う。これにより、情報処理装置１０は、第３のテキスト（例えば、タイトル）と第４のテキスト（例えば、擬似見出し）の組も学習用のデータとするので、精度の高いモデルを取得できる。取得したモデルを使用することで、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第３のテキストと第４のテキストとの関係性に基づいて再帰的に学習を行う。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第３のテキストと第４のテキストとの関係性を学習することによりモデルとは異なる第２のモデルを生成する。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

第３のテキストと第４のテキストとの関係性に基づき生成される第２のモデルのパーセプトロンの構造は、第１のテキストと第２のテキストとの関係性に基づいて生成されるモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが多い構造である。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

第３のテキストと第４のテキストとの関係性に基づき生成される第２のモデルのパーセプトロンの構造は、第１のテキストと第２のテキストとの関係性に基づいて生成されるモデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが少ない構造である。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第２のテキストとの関係性と、第３のテキストと第４のテキストとの関係性と、に基づく学習により第２のモデルを生成する。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、上記モデルに複数の第３のテキストを入力することにより、複数の第４のテキストを生成する。そして、情報処理装置１０は、複数の第４のテキストの中から所定の基準に従い選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとの関係性に基づく学習により第２のモデルを生成する。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、上記モデルの学習結果に基づき算出されるスコアであって第４のテキストの尤もらしさを示すスコアに基づいて、生成部で生成された複数の第４のテキストの中から学習に使用する第４のテキストを選択する。そして、選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて学習を行う。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第２のモデルに第３のテキストを入力することにより、第３のテキストに対応する第５のテキストを生成する。そして、情報処理装置１０は、第３のテキストと第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第２のテキストとの関係性と、第３のテキストと第５のテキストとの関係性と、に基づく学習により第３のモデルを生成する。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第２のモデルに複数の第３のテキストを入力することにより、複数の第５のテキストを生成する。そして、情報処理装置１０は、複数の第５のテキストの中から所定の基準に従い選択された第５のテキストと選択された第５のテキストに対応する第３のテキストとの関係性に基づく学習により第３のモデルを生成する。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

上記モデルは、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、特徴情報から出力テキストを生成するデコーダと、を含む。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第１のテキストに対応する見出しとに基づく学習により生成されたモデルを用いて、第３のテキストから第３のテキストに対応する擬似見出しを生成する。そして、情報処理装置１０は、第３のテキストと第３のテキストに対応する擬似見出しとの関係性に基づいて学習を行う。これにより、情報処理装置１０は、精度の高いモデルを取得できるので、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、入力テキストを取得する。そして、情報処理装置１０は、第３のテキストと、第１のテキストと第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて第３のテキストから生成された第４のテキストと、の関係性に基づく学習により生成された所定のモデルを用いて、入力テキストから入力テキストに対応する出力テキストを生成する。これにより、情報処理装置１０は、精度の高い出力テキストを取得できる。

情報処理装置１０は、第３のテキストと、第１のテキストと第１のテキストに対応する見出しとの関係性に基づく学習により生成されたモデルを用いて第３のテキストから生成された擬似見出しと、の関係性に基づく学習により生成された所定のモデルを用いて、入力テキストから入力テキストに対応する見出しを生成する。これにより、情報処理装置１０は、精度の高い見出しを取得できる。

情報処理装置１０は、第１のテキストと第１のテキストに対応する第２のテキストとに基づいて学習した第１のモデルに第３のテキストを入力することにより、第３のテキストに対応する第４のテキストを生成する。そして、情報処理装置１０は、第３のテキストと第４のテキストとに基づいて、入力テキストから出力テキストを生成する第２のモデルの学習を行う。これにより、情報処理装置１０は、第３のテキスト（例えば、タイトル）と第４のテキスト（例えば、擬似見出し）の組も学習用のデータとするので、精度の高いモデルを取得できる。取得した第２のモデルを使用することで、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第２のテキストと第３のテキストと第４のテキストとに基づいて、第２のモデルの学習を行う。これにより、情報処理装置１０は、第３のテキストと第４のテキストとの組のみならず、第１のテキストと第２のテキストとの組も学習用のデータとするので、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のモデルに複数の第３のテキストを入力することにより、複数の第４のテキストを生成する。そして、情報処理装置１０は、複数の第４のテキストの中から所定の基準に従い選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて、第２のモデルの学習を行う。これにより、情報処理装置１０は、生成された複数の第４のテキストを単純に学習用のデータとするのではなく、複数の第４のテキストの中から選択したテキストを学習用のデータとするので、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のモデルの学習結果に基づき算出されるスコアであって第４のテキストの尤もらしさを示す第１のスコアに基づいて、生成された複数の第４のテキストの中から第２のモデルの学習に使用する第４のテキストを選択する。そして、情報処理装置１０は、選択された第４のテキストと選択された第４のテキストに対応する第３のテキストとに基づいて、第２のモデルの学習を行う。これにより、情報処理装置１０は、複数の擬似テキストの中でも尤度の高い擬似テキストを学習用のデータとするので、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第２のモデルに第３のテキストを入力することにより、第３のテキストに対応する第５のテキストを生成する。そして、情報処理装置１０は、第３のテキストと第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う。これにより、情報処理装置１０は、第１のモデルから精度がよくなった第２のモデルを使って生成した擬似テキストを学習用のデータとするので、さらに精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第２のテキストと第３のテキストと第５のテキストとに基づいて第３のモデルの学習を行う。これにより、情報処理装置１０は、第３のテキストと第５のテキストとの組のみならず、第１のテキストと第２のテキストとの組も学習用のデータとするので、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第２のモデルに複数の第３のテキストを入力することにより、複数の第５のテキストを生成する。情報処理装置１０は、複数の第５のテキストの中から所定の基準に従い選択された第５のテキストと選択された第５のテキストに対応する第３のテキストとに基づいて、第３のモデルの学習を行う。これにより、情報処理装置１０は、複数の擬似テキストの中でも尤度の高い擬似テキストを学習用のデータとするので、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、特徴情報から出力テキストを生成するデコーダと、を含むモデルの学習を行う。これにより、情報処理装置１０は、精度の高いモデルを取得できる。結果として、情報処理装置１０は、精度の高い出力テキストを生成するようにすることができる。

情報処理装置１０は、第１のテキストと第１のテキストに対応する見出しとに基づいて学習した第１のモデルに第３のテキストを入力することにより、第３のテキストに対応する擬似見出しを生成する。そして、情報処理装置１０は、第３のテキストと第３のテキストに対応する擬似見出しとに基づいて、入力テキストから入力テキストに対応する見出しを生成する第２のモデルの学習を行う。これにより、情報処理装置１０は、見出しを生成するための精度の高いモデルを取得できる。取得したモデルを使用することで、情報処理装置１０は、精度の高い見出しを生成するようにすることができる。

情報処理装置１０は、第３のテキストと、第１のテキストと第１のテキストに対応する第２のテキストとに基づいて学習した第１のモデルに第３のテキストを入力することにより生成された第４のテキストと、に基づいて学習した第２のモデルに入力される入力テキストを取得する。そして、情報処理装置１０は、第２のモデルに入力テキストを入力することにより、入力テキストに対応する出力テキストを生成する。これにより、情報処理装置１０は、精度の高い出力テキストを取得できる。

情報処理装置１０は、第３のテキストと、第１のテキストと第１のテキストに対応する見出しとに基づいて学習した第１のモデルに第３のテキストを入力することにより生成された擬似見出しと、に基づいて学習した第２のモデルに入力される入力テキストを取得する。そして、情報処理装置１０は、第２のモデルに入力テキストを入力することにより、入力テキストに対応する見出しを生成する。これにより、情報処理装置１０は、精度の高い見出しを取得できる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、学習部は、学習手段や学習回路に読み替えることができる。

１０…情報処理装置
１１…通信部
１２…記憶部
１２１…学習データデータベース
１２２…モデルデータベース
１２３…コンテンツ情報データベース
１３…制御部
１３１…学習データ取得部
１３２…学習部
１３３…学習データ生成部
１３４…生成部
１３５…出力制御部
２０…データサーバ
３０…端末装置
Ｍ１、Ｍ２、Ｍ３…モデル
Ｅ１…エンコーダ
Ｄ１…デコーダ
Ｆ…特徴情報
Ｐ…分類情報

Claims (12)

1. 第１のテキストと前記第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから前記第３のテキストに対応する第４のテキストを生成する生成部と、
   前記第３のテキストと前記第４のテキストとの関係性に基づいて学習を行う学習部と、を備え、
   前記学習部は、前記第３のテキストと前記第４のテキストとの関係性を学習することにより前記モデルとは異なる第２のモデルを生成し、
   前記生成部は、前記第２のモデルに前記第３のテキストを入力することにより、前記第３のテキストに対応する第５のテキストを生成し、
   前記学習部は、前記第３のテキストと前記第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う、
   ことを特徴とする学習装置。
2. 前記第３のテキストと前記第４のテキストとの関係性に基づき生成される前記第２のモデルのパーセプトロンの構造は、前記第１のテキストと前記第２のテキストとの関係性に基づいて生成される前記モデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが多い構造であることを特徴とする請求項１に記載の学習装置。
3. 前記第３のテキストと前記第４のテキストとの関係性に基づき生成される前記第２のモデルのパーセプトロンの構造は、前記第１のテキストと前記第２のテキストとの関係性に基づいて生成される前記モデルのパーセプトロンの構造よりも、中間層数及びニューロン数の少なくとも１つが少ない構造であることを特徴とする請求項１に記載の学習装置。
4. 前記学習部は、前記第１のテキストと前記第２のテキストとの関係性と、前記第３のテキストと前記第４のテキストとの関係性と、に基づく学習により第２のモデルを生成する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の学習装置。
5. 前記生成部は、前記モデルに複数の前記第３のテキストを入力することにより、複数の前記第４のテキストを生成し、
   前記学習部は、複数の前記第４のテキストの中から所定の基準に従い選択された前記第４のテキストと選択された前記第４のテキストに対応する前記第３のテキストとの関係性に基づく学習により第２のモデルを生成する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の学習装置。
6. 前記学習部は、
   前記モデルの学習結果に基づき算出されるスコアであって前記第４のテキストの尤もらしさを示すスコアに基づいて、前記生成部で生成された複数の前記第４のテキストの中から学習に使用する前記第４のテキストを選択し、
   選択された前記第４のテキストと選択された前記第４のテキストに対応する前記第３のテキストとに基づいて学習を行う、
   ことを特徴とする請求項５に記載の学習装置。
7. 前記学習部は、前記第１のテキストと前記第２のテキストとの関係性と、前記第３のテキストと前記第５のテキストとの関係性と、に基づく学習により第３のモデルを生成する、
   ことを特徴とする請求項１〜６のいずれか１項に記載の学習装置。
8. 前記生成部は、前記第２のモデルに複数の前記第３のテキストを入力することにより、複数の前記第５のテキストを生成し、
   前記学習部は、複数の前記第５のテキストの中から所定の基準に従い選択された前記第５のテキストと選択された前記第５のテキストに対応する前記第３のテキストとの関係性に基づく学習により前記第３のモデルを生成する、
   ことを特徴とする請求項１〜７のいずれか１項に記載の学習装置。
9. 前記モデルは、入力テキストから入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、前記特徴情報から出力テキストを生成するデコーダと、を含む、
   ことを特徴とする請求項１〜８のいずれか１項に記載の学習装置。
10. 前記生成部は、前記第１のテキストと前記第１のテキストに対応する見出しとに基づく学習により生成された前記モデルを用いて、前記第３のテキストから前記第３のテキストに対応する擬似見出しを生成し、
    前記学習部は、前記第３のテキストと前記第３のテキストに対応する前記擬似見出しとの関係性に基づいて学習を行う、
    ことを特徴とする請求項１〜９のいずれか１項に記載の学習装置。
11. 学習装置が実行する学習方法であって、
    第１のテキストと前記第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから前記第３のテキストに対応する第４のテキストを生成する生成工程と、
    前記第３のテキストと前記第４のテキストとの関係性に基づいて学習を行う学習工程と、を含み、
    前記学習工程では、前記第３のテキストと前記第４のテキストとの関係性を学習することにより前記モデルとは異なる第２のモデルを生成し、
    前記生成工程では、前記第２のモデルに前記第３のテキストを入力することにより、前記第３のテキストに対応する第５のテキストを生成し、
    前記学習工程では、前記第３のテキストと前記第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う、
    ことを特徴とする学習方法。
12. 第１のテキストと前記第１のテキストに対応する第２のテキストとの関係性に基づく学習により生成されたモデルを用いて、第３のテキストから前記第３のテキストに対応する第４のテキストを生成する生成手順と、
    前記第３のテキストと前記第４のテキストとの関係性に基づいて学習を行う学習手順と、をコンピュータに実行させ、
    前記学習手順では、前記第３のテキストと前記第４のテキストとの関係性を学習することにより前記モデルとは異なる第２のモデルを生成し、
    前記生成手順では、前記第２のモデルに前記第３のテキストを入力することにより、前記第３のテキストに対応する第５のテキストを生成し、
    前記学習手順では、前記第３のテキストと前記第５のテキストとに基づいて、入力テキストから出力テキストを生成する第３のモデルの学習を行う、
    ことを特徴とする学習プログラム。

Images