JP7315321B2 - 生成装置、生成方法および生成プログラム - Google Patents

Description

本発明は、生成装置、生成方法および生成プログラムに関する。

従来、画像に含まれる各種のオブジェクトを認識する画像認識に関する技術が知られている。このような技術の一例として、入力された画像に撮影されているオブジェクトやオブジェクトの状態等を示すキャプションを生成する技術が知られている。

特開２０１７－１９９３８３号公報

しかしながら、上述した従来技術では、入力された画像のキャプションを生成しているに過ぎず、利用者に興味を抱かせるような文章を生成しているとは言えない場合がある。

本願は、上記に鑑みてなされたものであって、入力された情報から利用者に対して興味を抱かせるような文章を生成することを目的とする。

本願に係る生成装置は、入力情報が示すオブジェクトを特定する特定部と、特定部により特定されたオブジェクトに基づいて、所定の制約を満たす形式の文章を生成する生成部とを有することを特徴とする。

実施形態の一態様によれば、入力された情報から利用者に対して興味を抱かせるような文章を生成することができる。

図１は、実施形態に係る情報提供装置の一例を示す図である。 図２は、実施形態に係る情報提供装置が実行する公開処理と修正処理との一例について説明する図である。 図３は、実施形態に係る情報提供装置が実行する公開処理と修正処理との他の例について説明する図である。 図４は、実施形態に係る情報提供装置の構成例を示す図である。 図５は、実施形態に係るモデルデータベースの一例を示す図である。 図６は、実施形態に係る生成処理の流れの一例を示すフローチャートである。 図７は、ハードウェア構成の一例を示す図である。

以下に、本願に係る生成装置、生成方法および生成プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法および生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

［実施形態］
〔１－１．情報提供装置の一例について〕
まず、図１を用いて、実施形態に係る生成装置の一例である情報提供装置１０の一例について説明する。図１は、実施形態に係る情報提供装置の一例を示す図である。図１では、提供装置の一例である情報提供装置１０によって実行される生成処理の一例として、所定の端末装置１００によって撮影された動画像から、所定の制約を有する形式の文章として俳句を生成する生成処理の一例について記載した。しかしながら、後述した説明で明らかとなるように、実施形態は、これに限定されるものではない。

図１に示す情報提供装置１０は、生成処理を行う情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークＮ（例えば、図４参照）を介して、利用者が使用する端末装置１００との間で通信を行う。

端末装置１００は、ＰＣ（Personal Computer）、サーバ装置、スマートテレビジョン、スマートフォン若しくはタブレット等といったスマートデバイス等により実現され、ネットワークＮを介して、情報提供装置１０との間で通信を行うことができる携帯端末装置である。また、端末装置１００は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、情報提供装置１０から配信されるコンテンツに対する各種の操作を受付け可能な機能を有していてもよい。

ここで、端末装置１００は、画像（動画或いは静止画）を撮像するための撮像装置を有する。例えば、端末装置１００は、ＣＣＤ（Charged-coupled devices）センサやＣＭＯＳ（Complementary metal-oxide-semiconductor）センサ等の撮像素子により構成されるカメラ有し、任意の静止画像若しくは動画像を撮影可能である。なお、端末装置１００は、背面側（画面が設置された面の反対側の面）に設置されるメインカメラと、正面側（画面が設置された面）に設置されるサブカメラとにより構成されるカメラを有していてもよい。

〔１－２．生成処理について〕
ここで、撮影された画像に撮影されているオブジェクトやオブジェクトの状態を示すキャプションを生成する技術が知られている。このような技術では、撮影対象とキャプションとの間の関係性をあらかじめ学習したモデルを用いて、画像から画像に撮影されたオブジェクトやオブジェクトの状態を示すキャプションを生成する。例えば、このような技術では、木の横に象が佇んでいる画像から、「象が木のそばにいる」といったキャプションを生成する。しかしながら、このような技術では、単に画像に撮影されているオブジェクトの説明を出力しているに過ぎず、画像等の入力情報から利用者の興味を生じさせるような文章を生成しているとは言えない。

ここで、利用者に文章を印象づける手法としては、インパクトのある内容の文章を作成する他にも、文章が有する形式を所定の形式に揃える手法が考えられる。例えば、俳句や短歌は、各文節の文字数（音数）を所定の数に揃えることで、利用者に内容を覚えやすくさせることができると考えられる。また、俳句や短歌以外にも、中国語における律詩やソネット等の定型詩は、文字数や単語数といった形式に対して所定の制約を課すことで、文章全体を利用者に対してより強く印象づけ、利用者に記憶させやすくすることができる。また、文章中において所定の場所に含まれる単語の韻を揃える押韻の手法により、利用者に対して文章をより強く印象付け、記憶させやすくすることができると考えられる。

そこで、情報提供装置１０は、以下の生成処理を実行する。まず、情報提供装置１０は、入力情報が示すオブジェクトを特定する。例えば、情報提供装置１０は、入力情報として受付けられた動画像に撮影されたオブジェクトを特定する。そして、情報提供装置１０は、特定されたオブジェクトに基づいて、所定の制約を満たす形式の文章を生成する。すなわち、情報提供装置１０は、単に入力情報が示すオブジェクトに基づいた文章を生成するのではなく、利用者に強く印象づけられるような所定の制約を満たす形式の文章を生成する。例えば、情報提供装置１０は、所定の制約を満たす形式の文章として、俳句の形式を有する文章や、同一又は類似の韻を有する単語を同一又は類似の位置に含む文章等、所定の定型詩の形式を有する文章を生成する。

このような処理の結果、情報提供装置１０は、利用者に強く印象付けるような文章を生成することができるので、利用者の興味を引くことができる。この結果、情報提供装置１０は、利用者に対して興味を抱かせるような文章を生成することができる。

〔１－３．生成処理の一例について〕
以下、図１を用いて、情報提供装置１０が実行する生成処理の一例について説明する。まず、端末装置１００は、利用者の操作に応じて、任意の動画像を撮影する（ステップＳ１）。図１に示す例では、端末装置１００は、蛙が池に飛び込む際の動画像Ｐ１を撮影する。そして、端末装置１００は、撮影した動画像Ｐ１を情報提供装置１０へと送信する（ステップＳ２）。

このような場合、情報提供装置１０は、動画像に撮影された撮影対象や撮影対象の動作を特定する（ステップＳ３）。すなわち、情報提供装置１０は、動画像に撮影された各種のオブジェクトを特定する。ここで、情報提供装置１０は、任意の画像認識技術を用いて、オブジェクトの特定を行ってよい。例えば、情報提供装置１０は、動画像を入力した際に、入力された静止画像や動画像に撮影されている撮影対象を示す単語や文字列を出力するように学習が行われたニューラルネットワーク等を用いて、動画像に撮影された撮影対象をオブジェクトとして特定してもよい。

なお、情報提供装置１０は、任意の撮影対象をオブジェクトとして特定してもよい。例えば、情報提供装置１０は、動画像に撮影された主となる被写体をオブジェクトとして特定してもよく、空や室内等、背景を構成する各種の被写体をオブジェクトとして特定してもよい。また、情報提供装置１０は、動画像に撮影されたオブジェクトの動きを特定してもよい。例えば、情報提供装置１０は、動画像Ｐ１に蛙が池に飛び込んでいる映像が含まれる場合、「蛙」をオブジェクトとして特定するだけではなく、「蛙」の動作である「飛び込む」を特定してもよい。このような特定は、各種公知の画像解析技術により実現可能である。例えば、図１に示す例では、情報提供装置１０は、動画像Ｐ１から、オブジェクト「カエル」や「池」を特定するとともに、オブジェクトの動作である「飛び込む」を特定する。そして、情報提供装置１０は、特定したオブジェクトやオブジェクトの動作を示す文字列のリストをオブジェクトリストＯＬとして生成する。

ここで、俳句には、予め定められた単語であって、季節を示す単語である季語を含める必要がある。そこで、情報提供装置１０は、特定結果と季語リストとの比較結果に基づいて、季語の選択を行う（ステップＳ４）。すなわち、情報提供装置１０は、特定されたオブジェクトに基づいて、複数の季語の中からいずれかの季語を選択する。

例えば、図１に示す例では、季語リストＳＷＬには、「かわず」、「子猫」、「山繭」といった季語が含まれている。情報提供装置１０は、このような季語リストＳＷＬとオブジェクトリストＯＬとを比較する、動画像Ｐ１から検出されたオブジェクトやオブジェクトの動作と関連性が高い季語を選択する。例えば、図１に示す例では、オブジェクトリストＯＬに「カエル」が含まれており、季語リストＳＷＬには「カエル」の別名である「かわず」が含まれている。このような場合、情報提供装置１０は、季語リストＳＷＬから季語「かわず」を選択する。

そして、情報提供装置１０は、選択した季語と、特定した撮影対象と、各種の品詞とを組み合わせることで、所定の条件を満たす文章を生成する（ステップＳ５）。例えば、図１に示す例では、情報提供装置１０は、動詞、接続詞、名詞等の各種品詞が登録された品詞リストＰＬを有する。このような場合、情報提供装置１０は、選択した季語「かわず」、動画像Ｐ１から特定したオブジェクトを示す「カエル」、「池」、オブジェクトの動きを示す「飛び込む」、および品詞リストＰＬに含まれる各種の品詞から、俳句が有する形式的な制約を満たす文章を生成する。例えば、情報提供装置１０は、５文字の第１文章、第１文章に続く文章であって７文字の第２文章、および第２文章に続く文章であって５文字の第３文章からなる文章、すなわち、俳句を生成する。換言すると、情報提供装置１０は、文字制限を有する３つの文節からなる文章を生成する。

例えば、情報提供装置１０は、「カエル」、「池」、「飛び込む」といったオブジェクトリストと関連性が高いと推定される名刺や、文章を成立させるための各種の品詞を品詞リストＰＬから抽出する。例えば、情報提供装置１０は、「池」と関連性が高いと推定される「水」という単語や、「飛び込む」と関連性が高いと推定される「音」といった単語を抽出する。また、情報提供装置１０は、体言となる「や」、連体修飾語を示す「の」等、各種の品詞を接続することで文章を成立させるための品詞を品詞リストＰＬから抽出する。なお、このような処理は、例えば、ｗ２ｖ等の技術を用いて、共起性を有する単語を特定したり、単語間の関連度を推定する各種の推定技術により実現可能である。

そして、情報提供装置１０は、抽出した各品詞と、季語と、特定したオブジェクトを示す単語等を組み合わせることで、第１文章、第２文章、および第３文章を生成する。例えば、情報提供装置１０は、各文章ののいずれかに季語を含め、かつ、各文章の文字列が制約を満たすように、各品詞、季語、および単語を組み合わせることで、各文章を生成してもよい。例えば、情報提供装置１０は、第１文章「古池や」、第２文章「かわず飛び込む」、第３文章「水の音」といった俳句を構成する複数の文章であって、それぞれ文字数の制約を有する文章を生成する。

このような文章の生成は、各文章の制約条件を満たすように、各品詞、季語、および単語を組み合わせることで実現されてもよい。また、このような文章の生成は、例えば、各品詞、季語、および単語が入力された場合に、制約条件を満たす文章を出力するように学習が行われたモデルを用いて実現されてもよい。このようなモデルは、例えば、ＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long short-term memory）等の各種ニューラルネットワークを用いた公知技術が採用可能である。

そして、情報提供装置１０は、生成した文章、すなわち、動画像Ｐ１と対応する俳句を端末装置１００に提供する（ステップＳ６）。このような処理の結果、情報提供装置１０は、利用者の興味を抱かせるような情報を動画像Ｐ１から生成することができる。

〔１－４．季語の選択について〕
上述した処理では、情報提供装置１０は、季語リストＳＷＬに登録された季語の中から、動画像Ｐ１から特定されたオブジェクトやオブジェクトの動きと関連性が高い季語を選択した。しかしながら、実施形態は、これに限定されるものではない。

例えば、情報提供装置１０は、季語リストＳＷＬの中から季語をランダムに選択し、選択した季語を含む俳句の生成を行ってもよい。また、情報提供装置１０は、オブジェクトリストに登録された単語からランダムに選択された季語と関連性が高い単語を選択し、選択した単語と、季語と、品詞とを用いた俳句の生成を行ってもよい。このように、ランダムな季語が選択された場合、利用者が思いもしなかった内容の俳句が作成されるので、利用者の興味をより強く引くことができる。

また、情報提供装置１０は、端末装置１００が動画像Ｐ１を撮影した日時と対応する季語を選択してもよい。例えば、情報提供装置１０は、動画像Ｐ１を端末装置１００から取得した日時を特定し、特定した日時と対応する季節を示す季語を選択してもよい。また、情報提供装置１０は、動画像Ｐ１に付与されているメタ情報を用いて、動画像Ｐ１が撮影された日時を特定し、特定した日時と対応する季節を示す季語を選択してもよい。

また、情報提供装置１０は、動画像Ｐ１を撮影した位置と日時とに対応する季節を推定し、推定した季節と対応する季語を特定してもよい。例えば、情報提供装置１０は、動画像Ｐ１に撮影されたオブジェクトに基づいて、動画像Ｐ１を撮影した際の端末装置１００の位置を推定する。なお、情報提供装置１０は、例えば、端末装置１００が（Global Positioning System）等の測位技術を用いて特定した位置の履歴から、動画像Ｐ１を撮影した際の端末装置１００の位置を推定してもよい。また、情報提供装置１０は、推定した位置と、動画像Ｐ１を撮影した日時とから、利用者が動画像Ｐ１を撮影した位置において、利用者が動画像Ｐ１を撮影した季節を推定する。例えば、情報提供装置１０は、動画像Ｐ１が日本で１２月に撮影されていた場合は、季節「冬」を推定し、動画像Ｐ１がオーストラリアで１２月に撮影されていた場合は、季節「夏」を推定する。そして、情報提供装置１０は、推定した季節と対応する季語を選択してもよい。

また、情報提供装置１０は、動画像Ｐ１を撮影した際の気象に応じて季語の選択を行ってもよい。例えば、情報提供装置１０は、動画像Ｐ１を撮影した日時や位置を推定し、推定した位置において推定した日時における天気や気温等の気象情報を特定する。そして、情報提供装置１０は、特定した気象情報と対応する季語を選択してもよい。

また、情報提供装置１０は、オブジェクトの状態と対応する季節を示す季語を選択してもよい。例えば、情報提供装置１０は、動画像Ｐ１に空や雲の映像が含まれている場合、空の色彩や雲の形等から動画像Ｐ１が撮影された季節を推定する。より具体的には、情報提供装置１０は、動画像Ｐ１に積乱雲が撮影されている場合や、夕焼けの映像が含まれている場合は、動画像Ｐ１が夏に撮影されたと推定してもよい。そして、情報提供装置１０は、推定された季節を示す季語を選択してもよい。

なお、情報提供装置１０は、季節ごとに異なる季語リストＳＷＬを保持し、動画像Ｐ１に撮影されたオブジェクトやオブジェクトの動き、動画像Ｐ１が撮影された日時や動画像Ｐ１を取得した日時と対応する季節を特定し、特定した季節と対応する季語リストＳＷＬの中から、季語の選択を行ってもよい。

なお、このような季語リストに含まれる季語は、予め登録されたものであってもよく、利用者から登録されたものであってもよい。例えば、情報提供装置１０は、利用者から季語となる文字列と、その季語に対応する季節との登録を受付けてもよい。

〔１－５．オブジェクトの特定について〕
また、情報提供装置１０は、動画像Ｐ１に撮影されたオブジェクトの中から、重要性が高いと推定されるオブジェクトを特定し、特定したオブジェクトに基づいた文章を生成してもよい。例えば、情報提供装置１０は、動画像に撮影された複数のオブジェクトのうち、撮影された時間もしくは撮影された大きさに応じた優先度が所定の閾値を超えるオブジェクトを特定する。そして、情報提供装置１０は、特定したオブジェクトに基づいて、俳句等の文章を生成してもよい。

例えば、情報提供装置１０は、動画像Ｐ１に撮影されたオブジェクトを特定するとともに、特定したオブジェクトごとに、動画像Ｐ１中に撮影されている期間を特定する。そして、情報提供装置１０は、特定した期間が長ければ長いほど、より高い値の優先度を算出し、算出された優先度が所定の閾値を超えるオブジェクトを示すオブジェクトリストＯＬを生成してもよい。また、情報提供装置１０は、優先度が所定の閾値を超えるオブジェクトの動きのみを特定してもよい。

また、情報提供装置１０は、動画像Ｐ１に撮影されたオブジェクトを特定し、特定したオブジェクトごとに、撮影されている面積の累積を算出する。そして、情報提供装置１０は、算出した累積に基づいて、優先度の算出を行ってもよい。例えば、情報提供装置１０は、撮影されている面積の累積が大きければ大きいほど、高い値の優先度を算出してもよい。また、情報提供装置１０は、撮影されている期間と、撮影されている面積とに基づいて、優先度の算出を行ってもよい。

また、情報提供装置１０は、撮影されている面積や期間以外にも、任意の情報に基づいて、動画像Ｐ１の撮影目的の主題となりえるオブジェクトを推定し、推定したオブジェクトを示すオブジェクトリストＯＬを生成してもよい。例えば、情報提供装置１０は、動画像Ｐ１の中心部分に撮影されているオブジェクトや、焦点が合っているオブジェクト、注視点を含むオブジェクト等を推定し、推定したオブジェクトを示すオブジェクトリストＯＬを生成してもよい。

また、例えば、情報提供装置１０は、動画像のうち所定の範囲に含まれているオブジェクトを主題となるオブジェクトとして特定してもよい。例えば、情報提供装置１０は、動画像のうち先頭に位置する所定の範囲（例えば、再生開始１０秒）と、動画像のうち終端に位置する所定の範囲（例えば、最後の１０秒）とに撮影されたオブジェクトを主題となりえるオブジェクトとして特定してもよい。

また、情報提供装置１０は、動画像の先頭と最後との比較結果から、オブジェクトの動きを推定してもよい。例えば、情報提供装置１０は、動画像の先頭におけるあるオブジェクトの状態と、動画像の末尾におけるそのオブジェクトの状態とを推定し、推定した状態の遷移を示す単語を、オブジェクトの動きを示す単語として特定してもよい。また、情報提供装置１０は、主題となるオブジェクトについて、そのオブジェクトの動きお示す単語の特定を行ってもよい。

また、情報提供装置１０は、入力情報として受付けられた音声に基づいて、入力情報が示すオブジェクトを特定してもよい。例えば、情報提供装置１０は、動画像Ｐ１に含まれる音声を解析し、解析した音声と関連性を有するオブジェクトを推定する。そして、情報提供装置１０は、推定したオブジェクトを示すオブジェクトリストＯＬを生成してもよい。例えば、情報提供装置１０は、動画像Ｐ１に蝉の音声が含まれる場合は、「蝉」といったオブジェクトを推定してもよく、動画像Ｐ１に含まれる音声そのものである「蝉の声」をオブジェクトとして推定してもよい。なお、このような推定は、各種の音声認識技術により実現可能である。

〔１－６．入力情報について〕
なお、上述した説明では、動画像Ｐ１や動画像Ｐ１に含まれる音声から、オブジェクトの特定を行う処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、動画像以外にも、各種の静止画像に含まれる撮影対象等をオブジェクトとして特定し、特定したオブジェクトに基づいた俳句等の文章を生成してもよい。また、情報提供装置１０は、音声のみからオブジェクトの特定を行ってもよい。

また、情報提供装置１０は、小説等のテキスト情報から、テキスト情報が示すオブジェクトのうち主体となるオブジェクト（例えば、主人公等）を特定し、特定したオブジェクトに基づいた俳句等の文章を生成してもよい。

また、例えば、情報提供装置１０は、入力情報として受付けられた利用者の行動履歴を示す履歴情報が示すオブジェクトを特定してもよい。例えば、情報提供装置１０は、端末装置１００がＧＰＳ等の測位技術を用いて特定した位置の履歴を取得する。続いて、情報提供装置１０は、取得した位置の履歴と対応するオブジェクトを特定する。例えば、情報提供装置１０は、利用者が訪問する頻度に応じて、利用者の自宅や職場等といった拠点を特定し、特定した拠点のうち所定の期間内に訪問した拠点をオブジェクトとして特定してもよい。また、情報提供装置１０は、各種の地図情報を用いて、利用者が訪問した店舗の名称や店舗の種別（例えば、レストランや喫茶店等）、利用者が訪問した地域等をオブジェクトとして特定してもよい。また、情報提供装置１０は、位置の履歴に基づいて、利用者の移動態様を示すオブジェクト（例えば、「渋谷から東京」）を特定してもよい。

そして、情報提供装置１０は、特定した各種のオブジェクトに基づいて、俳句等の文章を生成してもよい。例えば、情報提供装置１０は、利用者の位置の履歴が、渋谷のカフェを訪問した後に、東京の美術館に移動した旨を示す場合、「カフェの後、渋谷東京、美術館」といった文章を生成してもよい。

また、情報提供装置１０は、利用者が閲覧したコンテンツが示すオブジェクトの特定を行い、特定したオブジェクトに応じた文章を生成してもよい。例えば、情報提供装置１０は、利用者が閲覧したニュース記事等からオブジェクトを示す単語の抽出を行い、抽出した単語を含む文章を生成してもよい。

なお、情報提供装置１０は、端末装置１００により撮影された動画像をリアルタイムに取得してもよく、例えば、端末装置１００が有する記憶装置内に保持されていた動画像を取得してもよい。

〔１－７．パーソナライズについて〕
また、情報提供装置１０は、動画像Ｐ１を撮影した利用者等、入力情報を入力した利用者に応じた文章のパーソナライズを行ってもよい。例えば、情報提供装置１０は、入力情報を入力した利用者の投稿履歴若しくは検索履歴に基づく表現を含む文章を生成してもよい。

例えば、情報提供装置１０は、動画像Ｐ１を撮影した利用者がＳＮＳ等に投稿した情報である投稿情報や、利用者が入力した検索クエリの履歴である検索履歴を取得する。そして、情報提供装置１０は、投稿情報や検索履歴に基づいて、動画像Ｐ１を入力した利用者による使用頻度が高い表現や使用頻度が高い単語を、動画像Ｐ１を入力した利用者による表現の特徴として特定する。その後、情報提供装置１０は、特定した特徴と類似する特徴の文章を生成する。例えば、情報提供装置１０は、利用者の投稿情報や検索クエリにおいて頻繁に用いられる表現や単語を含む文章を生成する。

なお、例えば、情報提供装置１０は、利用者の投稿情報や検索履歴の特徴をモデルに学習させ、学習済モデルを用いることで文章の作成を行ってもよい。例えば、情報提供装置１０は、形態素解析の技術を用いて、利用者の投稿情報から単語を抽出し、抽出した単語を入力した際に、利用者の投稿情報を出力するようにモデルの学習を行う。そして、情報提供装置１０は、学習を行ったモデルに、オブジェクトを示す単語や季語等を入力することで、あたかも利用者が作成したような文章を生成してもよい。

また、情報提供装置１０は、動画像Ｐ１を撮影した際の利用者の感情を推定し、推定した感情に応じた文章を生成してもよい。例えば、動画像Ｐ１の大部分に空が含まれている場合や、彩度や明度が低い映像が含まれている場合、利用者の感情は、暗い状態であると推定される。一方、動画像Ｐ１の大部分に多くの人物が含まれている場合や、彩度や明度が高い映像が含まれている場合、利用者の感情は、明るい状態であると推定される。

そこで、情報提供装置１０は、動画像Ｐ１に含まれるオブジェクトに基づいて、利用者の感情を推定する。例えば、情報提供装置１０は、動画像Ｐ１に含まれるオブジェクトの種別や、彩度や明度に基づいて、利用者の感情が明るい状態であるか、暗い状態であるかを推定する。そして、情報提供装置１０は、推定した結果に応じた文章を生成する。例えば、情報提供装置１０は、利用者の感情が明るい状態であると推定される場合は、文章全体の印象が明るくなるように、文章の表現を調整したり、文章に含める季語や単語を選択する。一方、情報提供装置１０は、利用者の感情が暗い状態であると推定される場合は、文章全体の印象が暗くなるように、文章の表現を調整したり、文章に含める季語や単語を選択する。

なお、このような処理は、例えば、各単語が明るい感情と紐づくか、暗い感情と紐づくかを示す辞書をあらかじめ作成し、推定された感情と対応する単語を優先的に利用することで、実現可能である。また、情報提供装置１０は、推定された利用者の感情のみに基づいて、文章の生成を行ってもよい。例えば、情報提供装置１０は、推定された感情と対応する季語や単語を抽出し、抽出した季語や単語を組み合わせた文章を生成してもよい。

なお、情報提供装置１０は、動画像を撮影していた際の利用者の表情に基づいて、利用者の感情を推定してもよい。例えば、端末装置１００は、メインカメラを用いて動画像Ｐ１を撮影するとともに、サブカメラを用いて、動画像Ｐ１を撮影中の利用者の表情を撮影する。そして、端末装置１００は、動画像Ｐ１と、利用者の表情を撮影した画像や動画像を情報提供装置１０へと送信する。このような場合、情報提供装置１０は、利用者の表情から利用者の感情を推定し、推定した感情や、動画像Ｐ１から特定されたオブジェクトに応じた文章を生成してもよい。

〔１－８．生成手法について〕
上述した説明では、情報提供装置１０は、単一の動画像Ｐ１から３つの文章（上の句、中の句、下の句）により構成される文章を生成した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、複数の動画像から文章の作成を行ってもよい。例えば、情報提供装置１０は、第１動画像～第３動画像を取得した場合、第１動画像を用いて上の句を生成し、第２動画像を用いて中の句を生成し、第３動画像を用いて下の句を生成してもよい。また、情報提供装置１０は、このような処理を実行する際、第１動画像～第３動画像に共通して撮影されているオブジェクトを特定し、特定したオブジェクトに基づいて季語の選択を行ってもよい。すなわち、情報提供装置１０は、複数の動画像において共通するオブジェクトを特定し、特定したオブジェクトに基づいて文章の生成を行ってもよい。

また、上述した説明では、生成文章の制約として、文字数の制限について説明した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、生成する複数の文章において、季語がいずれかの文章に１回だけ出現するように、文章の生成を行ってもよい。また、情報提供装置１０は、季語と同義の他の単語が含まれないように、文章の生成を行ってもよい。

また、情報提供装置１０は、例えば、文章における各文節の末尾の韻が共通するように、文章に含まれる単語や品詞の選択を行ってもよい。また、情報提供装置１０は、あいうえお作文のように、各文節の先頭の音や文字が所定の制約に従った文章を生成してもよい。すなわち、情報提供装置１０は、各文章に含まれる単語数や文字数、文字を呼んだ際の音等といった形式に関する任意の制約を採用してもよい。

なお、このような制約は、情報提供装置１０が生成する文章の言語に応じて適宜変化させてもよい。例えば、情報提供装置１０は、日本語で俳句を生成する場合は、５文字の第１文章、７文字の第２文章、および５文字の第３文章を生成し、英語で俳句を生成する場合は、５単語の第１文章、７単語の第２文章、および５単語の第３文章を生成してもよい。

また、情報提供装置１０は、既存の著名な文章が有する特徴を学習したモデルを用いて、文章の生成を行ってもよい。例えば、情報提供装置１０は、所定の俳人が作成した俳句や、所定の詩人が作成した詩を学習データとして収集する。続いて、情報提供装置１０は、収集した学習データから各単語や品詞を抽出し、抽出した各単語や品詞を入力した際に、元の俳句や詩を出力するようにモデルの学習を行う。そして、情報提供装置１０は、学習を行ったモデルに対して、オブジェクトやオブジェクトの動きを示す単語や季語を入力することで、俳句や詩の作成を行ってもよい。また、情報提供装置１０は、利用者から俳人や詩人の指定を受付けた場合は、指定された俳人や詩人による文章の特徴を学習したモデルを用いて、文章の生成を行ってもよい。

また、情報提供装置１０は、同一の動画像から複数の文章を生成してもよい。例えば、情報提供装置１０は、同一の動画像Ｐ１から、それぞれ異なる季語を含む複数の俳句を生成し、生成した俳句の中から、最終的な生成結果として提供若しくは公開する俳句の指定を利用者から受付けてもよい。また、情報提供装置１０は、それぞれ異なる利用者が撮影した複数の動画像から、オブジェクトの特定を行い、特定したオブジェクトに応じた単一の文章の生成を行ってもよい。

なお、情報提供装置１０は、上述した各種の技術を組み合わせて実現してもよい。例えば、情報提供装置１０は、撮影されたオブジェクト、各オブジェクトの優先度、動画像が撮影された季節との関連度等に応じたスコアを季語ごとに算出し、算出されたスコアに基づいて、季語の選択を行ってもよい。また、このような処理を行う際に、どの情報を重要視するかといった重みづけについては、任意の設定が採用可能である。

〔１－９．文章の利用について〕
なお、上述した生成処理により生成された文章は、例えば、利用者の操作によりＳＮＳ等に投稿されてもよい。このような利用態様において、生成された文章は、例えば、利用者が過去の出来事を思い出すために利用される。なお、情報提供装置１０は、例えば、動画像と、その動画像から生成した文章とをまとめた情報を１つの投稿としてＳＮＳに投稿してもよい。

〔２．評価を用いた処理について〕
上述した説明では、情報提供装置１０は、利用者から受付けた動画像Ｐ１から俳句等の文章の生成を行った。しかしながら、実施形態は、これに限定されるものではない。以下の説明では、上述した生成処理により生成された文章の提供態様のバリエーションや、文章に対する評価に基づいて、文章を生成するモデルの修正を行う処理の一例について説明する。

〔２－１．文章の公開について〕
例えば、情報提供装置１０は、それぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開し、公開された文章に対する評価を受付けてもよい。また、情報提供装置１０は、例えば、情報提供装置１０は、それぞれ異なる利用者から受付けた入力情報であって、各利用者が所定の主題に沿って生成した入力情報から、文章を入力情報ごとに生成し、公開してもよい。そして、情報提供装置１０は、受付けられた評価結果に基づいて、特定されたオブジェクトから文章を生成する際に用いるモデルを修正してもよい。

例えば、図２は、実施形態に係る情報提供装置が実行する公開処理と修正処理との一例について説明する図である。図２に示す例では、情報提供装置１０は、各利用者Ｕ１、Ｕ２からそれぞれ動画像を受付けるとともに、受付けた動画像から俳句を生成し、生成した俳句に対する評価を受付けることで、利用者Ｕ１、Ｕ２のどちらがより適切な動画像を撮影したかを競う対戦型のサービスを提供する処理の一例について記載した。また、図２に示す例では、評価結果に応じて、俳句を生成するためのモデルを修正する処理の一例について記載した。

例えば、情報提供装置１０は、利用者Ｕ１および利用者Ｕ２に対し、お題となる文章を提供する（ステップＳ１）。このような場合、利用者Ｕ１、Ｕ２は、お題となる文章を生成しうる動画像の撮影を行う。そして、利用者Ｕ１は、端末装置１０１を介して、利用者Ｕ１が撮影した第１動画像を情報提供装置１０へと送信する（ステップＳ２）。一方、利用者Ｕ２は、端末装置１００は、装置１０２を介して、利用者Ｕ２が撮影した第２動画像を情報提供装置１０へと送信する（ステップＳ３）。

このような場合、情報提供装置１０は、上述した生成処理を実行することで、第１動画像から第１文章を生成し、第２動画像から第２文章を生成する（ステップＳ４）。そして、情報提供装置１０は、第１文章と第２文章とを任意の利用者ＥＵに対して公開する（ステップＳ５）。また、情報提供装置１０は、利用者ＥＵから、第１文章および第２文章に対する評価結果を受付ける（ステップＳ６）。例えば、情報提供装置１０は、第１文章や第２文章に対して個別に「いいね！」といった評価や、任意の点数等を評価結果として受付けてもよい。また、情報提供装置１０は、第１文章と第２文章とのいずれかよかったか、より主題にそった内容であるか等といった評価を受付ける。

そして、情報提供装置１０は、第１文章と第２文章とのうち、より評価が高かった文章を特定する。その後、情報提供装置１０は、特定した文章の元となる利用者に対して、各種のポイントを付与してもよい。なお、情報提供装置１０は、３人以上の利用者がそれぞれ個別に撮影した動画像から文章をそれぞれ個別に生成し、各動画像に対する評価を受付け、受付けた評価に対応する各種の処理を実現してもよい。

ここで、各文章に対する評価結果は、各動画像から文章を生成する際に用いるモデルの修正に用いられてもよい。例えば、情報提供装置１０は、評価結果に基づいて、制約に沿った文章を生成するためのモデルを再学習してもよい（ステップＳ７）。例えば、情報提供装置１０は、第１動画像から第１文章を生成する際は、第１モデルを利用し、第２動画像から第２文章を生成する場合は、第１モデルとは各種のパラメータと変更した第２モデルを利用する。そして、情報提供装置１０は、第１文章よりも第２文章の方が評価が高い場合は、以後の生成処理において、第２モデルを用いて各種のオブジェクトから文章の生成を行ってもよい。

〔２－２．文章の比較を用いた処理について〕
また、情報提供装置１０は、動画像から生成された文章と、お題となる文章との類似度に応じた対戦型のサービスを提供してもよい。例えば、図３は、実施形態に係る情報提供装置が実行する公開処理と修正処理との他の例について説明する図である。なお、図３に示す処理のうち、ステップＳ１～ステップＳ４については、図２に示すステップＳ１～ステップＳ４と同様の処理であるものとして、説明を省略する。

例えば、お題となる文章に沿った動画像が撮影された場合、撮影された動画像から生成される文章は、お題となる文章により近い内容の文章になると考えられる。そこで、情報提供装置１０は、生成された文章であって、利用者が所定の文章に沿って生成した入力情報から生成された文章と、所定の文章とを比較する。そして、情報提供装置１０は、複数の利用者により入力された入力情報のうち、生成された文章が、所定の文章に最も類似する入力情報を判定する。

例えば、情報提供装置１０は、第１文章とお題として利用者Ｕ１に提供した文章との間の類似度を算出する。また、情報提供装置１０は、第２文章と、お題として利用者Ｕ２に提供した文章との間の類似度を算出する。そして、情報提供装置１０は、類似度がより高い文章を特定し、特定した文章の元となる動画像を撮影した利用者に対してポイントを付与する。なお、情報提供装置１０は、類似度を利用者ＥＵに対して公開してもよい。

また、情報提供装置１０は、お題との一致度に基づいて、制約に沿った文章を生成するためのモデルを再学習してもよい（ステップＳ５）。例えば、情報提供装置１０は、第１動画像から第１文章を生成する際は、第１モデルを利用し、第２動画像から第２文章を生成する場合は、第１モデルとは各種のパラメータと変更した第２モデルを利用する。そして、情報提供装置１０は、第１文章よりも第２文章の方がお題との類似度が高い場合は、以後の生成処理において、第２モデルを用いて各種のオブジェクトから文章の生成を行ってもよい。

〔２－３．評価内容について〕
ここで、情報提供装置１０は、撮影された文章をＳＮＳ等に自動的に投稿してもよい。このような処理を行った場合、利用者ＥＵから受付けられる評価は、文章を投稿したＳＮＳにおいてどれくらい人気が出たか（すなわち、バズりやすいか）の指標となりえる。このような指標を用いて、情報提供装置１０は、そのＳＮＳにおいて人気が出やすい文章を生成するようなモデルの学習を行ってもよい。例えば、情報提供装置１０は、そのＳＮＳにおいて人気が出た文章と類似する文章を生成するように、文章を生成するモデルの学習や修正を行ってもよい。

〔３．情報提供装置の構成〕
以下、上記した情報提供装置１０が有する機能構成の一例について説明する。図４は、実施形態に係る情報提供装置の構成例を示す図である。図４に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、品詞データベース３１、季語データベース３２、およびモデルデータベース３３を記憶する。

品詞データベース３１には、各種の品詞が登録されている。例えば、品詞データベース３１には、各種の名詞や動詞、連体詞、副詞、接続詞等を構成する文字列が登録されている。なお、品詞データベース３１は、例えば、公知の文章生成技術において用いられる辞書データが採用可能であるものとする。

季語データベース３２には、各種の季語が登録されている。例えば、季語データベース３２には、各種の季語と、その季語が示す季節とが対応付けて登録されているものとする。

モデルデータベース３３には、生成処理において用いられる各種のモデルが登録されている。例えば、図５は、実施形態に係るモデルデータベースの一例を示す図である。なお、モデルデータベース３３には、ＤＮＮ（Deep Neural Network）、ＲＮＮ、ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ等の各種ネットワークがモデルとして登録されていてもよく、各種文章の生成を行うためのプログラム等がモデルとして登録されていてもよい。

図５に示す例では、モデルデータベース３３には、「モデルＩＤ（Identifier）」、「モデル種別」、「モデルデータ」、「入力情報」、および「制約条件」が対応付けて登録されている。ここで、「モデルＩＤ」とは、モデルを識別するための識別子である。また、「モデル種別」とは、モデルがどのような処理を実行するのかを示す情報である。また、「モデルデータ」とは、モデルのデータである。また、「入力情報」、とは、モデルに対して入力する情報である。また、「制約条件」とは、対応付けられたモデルに対応付けられた「入力情報」を入力した際に出力する文章の形式に対する制約条件を示す情報である。なお、図５に示す情報以外にも、モデルデータベース３３には、各種のモデルが登録されていてもよく、モデルに関する各種の情報が登録されていてもよい。

例えば、図５に示す例では、モデルＩＤ「モデル＃１」、モデル種別「認識モデル」、モデルデータ「モデルデータ＃１」、および入力情報「動画像」が対応付けて登録されている。このような情報は、モデルＩＤ「モデル＃１」が示すモデルが、動画像からオブジェクトを認識するための「認識モデル」であり、モデルのデータが「モデルデータ＃１」である旨を示す。また、このような情報は、モデルＩＤ「モデル＃１」が示すモデルに入力する情報の種別が「動画像」である旨を示す。

また、図５に示す例では、モデルＩＤ「モデル＃２」、モデル種別「俳句生成モデル」、モデルデータ「モデルデータ＃２」、入力情報「動画像、品詞、季語」、制約条件「第１文章：５文字＿第２文章：７文字＿第３文章：５文字＿入力季語をいずれかの文章に含む」が対応付けて登録されている。このような情報は、モデルＩＤ「モデル＃２」が示すモデルが、俳句を生成する「俳句生成モデル」であり、データが「モデルデータ＃２」である旨を示す。また、このような情報は、モデルＩＤ「モデル＃２」が示すモデルに対し、入力情報「動画像、品詞、季語」が示す種別の情報を入力した際に、制約条件「第１文章：５文字＿第２文章：７文字＿第３文章：５文字＿入力季語をいずれかの文章に含む」を満たすような文章を生成する旨を示す。

なお、図５に示す例では、「モデルデータ＃２」といった概念的な値を記載したが、実際には、各種モデルのパラメータやプログラムデータ等がモデルデータベース３３に登録されることとなる。また、図５に示す例では、制約条件として「第１文章：５文字＿第２文章：７文字＿第３文章：５文字＿入力季語をいずれかの文章に含む」といった情報を記載したが、実際には、このような制約条件の内容を示す各種の数式やパラメータが登録されることとなる。

図４に戻って説明を続ける。制御部４０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１０内部の記憶装置に記憶されている各種プログラム（通知プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図４に示すように、制御部４０は、取得部４１、特定部４２、生成部４３、提供部４４、公開部４５、受付部４６、および修正部４７を有する。取得部４１は、各種の入力情報を端末装置１００から取得する。例えば、取得部４１は、利用者によって撮影された動画像を入力情報として取得する。なお、取得部４１は、入力情報として、音声や利用者の位置履歴、投稿履歴、検索履歴、閲覧履歴等、各種の情報を取得してもよい。

特定部４２は、入力情報が示すオブジェクトを特定する。例えば、特定部４２は、入力情報として受付けられた動画像が示すオブジェクトを特定する。例えば、特定部４２は、動画像に撮影されたオブジェクトを認識するための認識モデルをモデルデータベース３３から読出し、読み出した認識モデルに動画像を入力することで、動画像に撮影されたオブジェクトの特定を行う。

なお、特定部４２は、動画像に撮影された複数のオブジェクトのうち、撮影された時間もしくは撮影された大きさに応じた優先度が所定の閾値を超えるオブジェクトを特定してもよい。例えば、特定部４２は、各オブジェクトが動画像内に現れる秒数や面積等に基づいて、オブジェクト毎の優先度を特定し、特定した優先度が所定の閾値を超えるオブジェクトを特定してもよい。

また、特定部４２は、入力情報として受付けられた音声に基づいて、入力情報が示すオブジェクトを特定してもよい。例えば、特定部４２は、取得された音声の解析を行い、音声の元となるオブジェクトを特定してもよい。また、特定部４２は、受付けられた利用者の行動履歴を示す履歴情報が示すオブジェクトを特定してもよい。例えば、特定部４２は、利用者が訪れた店舗や地域等をオブジェクトとして特定してもよい。また、特定部４２は、動画像に撮影されたオブジェクトの動きを特定してもよい。また、特定部４２は、それぞれ異なる利用者によって撮影された動画像等、複数の入力情報のそれぞれについてオブジェクトの特定を行ってもよい。

生成部４３は、特定されたオブジェクトに基づいて、所定の制約を満たす形式の文章を生成する。例えば、生成部４３は、所定の制約を満たす形式の文章として、所定の定型詩の形式を有する文章を生成してもよく、同一又は類似の韻を有する単語を同一又は類似の位置に含む文章を生成してもよい。また、生成部３４は、俳句の形式を有する文章を生成してもよい。

以下、俳句を生成する際の処理の一例について説明する。まず、生成部４３は、季語データベース３２を参照し、動画像から特定されたオブジェクトやオブジェクトの動きに基づいて、いずれかの季語を選択する。なお、生成部４３は、ランダムに季語の選択を行ってもよく、動画像が撮影された日時と対応する季語を選択してもよい。また、生成部４３は、特定されたオブジェクトやオブジェクトの動きと関連する季節を推定し、推定した季節と対応する季語を選択してもよい。

また、生成部４３は、品詞データベース３１を参照し、特定されたオブジェクトやオブジェクトの動きを示す単語や、各単語とともに文章を構成するための品詞を抽出する。そして、生成部４３は、各種の品詞、特定されたオブジェクトやオブジェクトの動きを示す単語、および選択された季語とを含む文章であって、俳句の形式を有する文章を生成する。例えば、生成部４３は、俳句生成モデルをモデルデータベース３３から読出し、読み出した俳句生成モデルに各種の単語、品詞、および季語を入力することで、俳句の形式を有する文章を生成する。なお、生成部４３は、予め定めれられた単語であって、季節を示す単語である季語と、前記オブジェクトを示す単語と、所定の品詞とを組み合わせることで、俳句の形式を有する文章の生成を実現してもよい。

また、生成部４３は、入力情報を入力した利用者の投稿履歴若しくは検索履歴に基づく表現を含む文章を生成してもよい。例えば、生成部４３は、動画像を撮影した利用者の投稿履歴や検索履歴から、利用者が頻繁に利用する単語や表現を特定し、特定した単語や表現が有する特徴を俳句生成モデルに学習させる。そして、生成部４３は、特徴を学習した俳句生成モデルを用いて、俳句の形式を有する文章の生成を行ってもよい。また、生成部４３は、利用者が頻繁に利用する単語を用いた文章の生成を行ってもよい。

また、生成部４３は、各入力情報と対応する複数の文節を含む文章を生成してもよい。例えば、特定部４２は、上の句と対応する第１動画像、中の句と対応する第２動画像、および下の句と対応する第３動画像の各動画像からオブジェクトやオブジェクトの動きを特定する。そして、生成部４３は、第１動画像から特定されたオブジェクトやオブジェクトの動きを示す単語等から上の句を生成し、第２動画像から特定されたオブジェクトやオブジェクトの動きを示す単語等から中の句を生成し、第３動画像から特定されたオブジェクトやオブジェクトの動きを示す単語等から下の句を生成してもよい。

また、生成部４３は、特定されたオブジェクトに基づいて、入力情報を入力した利用者の感情を推定し、推定した感情に応じて文章を生成してもよい。例えば、生成部４３は、特定されたオブジェクトの種別や、動画像の彩度や明度等に応じて、利用者の感情を推定し、推定された感情に沿った雰囲気を醸成する単語や表現を含めるように文章の作成を行ってもよい。

なお、生成部４３は、それぞれ異なる利用者から所定の主題に沿って撮影された動画像を受付けた場合は、動画像ごとに、文章の生成を行うこととなる。

提供部４４は、生成された文章を端末装置１００に提供する。例えば、提供部４４は、生成部４３により生成された文章を、動画像から生成された文章として端末装置１００に送信する。

公開部４５は、それぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開する。例えば、公開部４５は、それぞれ異なる利用者が所定の主題に沿って撮影した動画像から生成された複数の文章を、任意の利用者に対して公開する。例えば、公開部４５は、所定のＳＮＳやウェブコンテンツを介して各文章を公開してもよく、各利用者が利用する端末装置１００に対して文章を送信してもよい。

受付部４６は、公開された文章に対する評価を受付ける。例えば、受付部４６は、公開部４５によって公開された文章に対する評価を各利用者から受付ける。そして、受付部４６は、受付けた評価結果を、各文章の元となる動画像を撮影した利用者や他の任意の利用者に対して提供する。

修正部４７は、評価結果に基づいて、生成部４３が文章を生成する際に用いるモデルを修正する。例えば、生成部４３は、動画像ごとにパラメータを変更した俳句生成モデルを用いて、複数の利用者から受付けた動画像ごとに俳句の生成を行う。そして、修正部４７は、最も評価が高かった俳句を生成したパラメータを、俳句生成モデルの新たなパラメータとして採用する。ここで、パラメータとは、例えば、ニューラルネットワークが有するノード間の接続係数や、文章を生成する際に用いられる各種のパラメータである。

なお、制御部４０は、お題となった文章と、お題にそって各利用者が撮影した動画像から生成された文章との比較結果に基づいた処理を実行してもよい。例えば、公開部４５は、利用者が所定の文章に沿って生成した入力情報から生成された文章を公開するとともに、生成された文章と、お題となった所定の文章との類似度を算出し、算出した類似度を公開してもよい。また、公開部４５は、複数の利用者により入力された入力情報のうち、生成された文章が、所定の文章に最も類似する入力情報を判定し、判定された入力情報を示す情報を公開してもよい。例えば、公開部４５は、お題となった所定の文章との類似度が最も高い文章の元となった動画像を公開してもよく、その動画像を撮影した利用者を示す情報を公開してもよい。

〔４．処理手順〕
次に、図６を用いて、実施形態に係る情報提供装置１０による生成処理の手順について説明する。図６は、実施形態に係る生成処理の流れの一例を示すフローチャートである。なお、図６に示す例では、情報提供装置１０が動画像から俳句を生成する処理の一例について記載した。

まず、情報提供装置１０は、動画像を取得する（ステップＳ１０１）。このような場合、情報提供装置１０は、撮影対象、すなわち、オブジェクトの特定を行う（ステップＳ１０２）。続いて、情報提供装置１０は、特定結果に基づいて、季語リストから季語を１つ選択する（ステップＳ１０３）。そして、情報提供装置１０は、選択した季語を含み、俳句の制約条件を満たす文章を生成する（ステップＳ１０４）。その後、情報提供装置１０は、生成した文章を利用者に提供し（ステップＳ１０５）、処理を終了する。

〔５．変形例〕
上述した情報提供装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、情報提供装置１０の他の実施形態について説明する。

〔５－１．実行主体について〕
上記実施形態では、情報提供装置１０が、端末装置１００から受付けた動画像からオブジェクトやオブジェクトの動きを特定し、特定したオブジェクトやオブジェクトの動きを示す単語を含む俳句等、形式に所定の制約を有する文章を生成した。しかしながら、実施形態は、これに限定されるものではない。例えば、上述した生成処理は、端末装置１００により実行されるアプリケーションにより実現されてもよい。このような場合、端末装置１００は、図４に示す各部４１～４４の機能構成を有することとなる。

〔５－２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５－３．プログラム〕
また、上述した実施形態に係る情報提供装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

〔６．効果〕
上述してきたように、情報提供装置１０は、入力情報が示すオブジェクトを特定し、特定されたオブジェクトに基づいて、所定の制約を満たす形式の文章を生成する。このような処理の結果、情報提供装置１０は、利用者が覚えやすく興味を持ちやすい文章を生成することができる。

また、情報提供装置１０は、所定の制約を満たす形式の文章として、所定の定型詩の形式を有する文章を生成する。また、情報提供装置１０は、同一又は類似の韻を有する単語を同一又は類似の位置に含む文章を生成する。また、情報提供装置１０は、俳句の形式を有する文章を生成する。例えば、情報提供装置１０は、予め定めれられた単語であって、季節を示す単語である季語と、オブジェクトを示す単語と、所定の品詞とを組み合わせることで、文章を生成する。このような処理の結果、情報提供装置１０は、利用者が覚えやすく、興味を持ちやすい文章を生成することができる。

また、情報提供装置１０は、複数の季語の中からランダムに選択された季語を含む文章を生成する。このため、情報提供装置１０は、利用者が想定していなかった内容の文章を生成することができる結果、利用者の興味をより強く引くことができる文章を生成できる。

また、情報提供装置１０は、特定されたオブジェクトに基づいて、複数の季語の中からいずれかの季語を選択し、選択した季語を含む文章を生成する。また、情報提供装置１０は、入力情報として受付けられた動画像が示すオブジェクトを特定し、動画像が撮影された日時と対応する季語を含む文章を生成する。このため、情報提供装置１０は、適切な季語を含む俳句を生成することができる。

また、情報提供装置１０は、入力情報として受付けられた動画像に撮影された複数のオブジェクトのうち、撮影された時間もしくは撮影された大きさに応じた優先度が所定の閾値を超えるオブジェクトを特定する。このため、情報提供装置１０は、例えば、主題となるオブジェクトに応じた内容の文章を生成することができる。

また、情報提供装置１０は、入力情報を入力した利用者の投稿履歴若しくは検索履歴に基づく表現を含む文章を生成する。また、情報提供装置１０は、入力情報として受付けられた動画像に撮影されたオブジェクトを特定する。また、情報提供装置１０は、入力情報として受付けられた音声に基づいて、その入力情報が示すオブジェクトを特定する。また、情報提供装置１０は、入力情報として受付けられた利用者の行動履歴を示す履歴情報が示すオブジェクトを特定する。この結果、情報提供装置１０は、各種の情報から、俳句等の文章を生成することができる。

また、情報提供装置１０は、入力情報として受付けられた動画像に撮影されたオブジェクトの動きをさらに特定し特定されたオブジェクトの動きを示す単語を含む文章を生成する。このため、情報提供装置１０は、オブジェクトの動きを示す文章を生成することができる。

また、情報提供装置１０は、複数の入力情報のそれぞれについてオブジェクトを特定し、各入力情報と対応する複数の文節を含む文章を生成する。このため、情報提供装置１０は、より複雑な内容の文章を生成することができる。

また、情報提供装置１０は、特定されたオブジェクトに基づいて、入力情報を入力した利用者の感情を推定し、推定した感情に応じて文章を生成する。このため、情報提供装置１０は、利用者の感情を反映させた文章を生成することができる。

また、情報提供装置１０は、それぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開し、公開された文章に対する評価を受付ける。また、情報提供装置１０は、それぞれ異なる利用者から受付けた入力情報であって、各利用者が所定の主題に沿って生成した入力情報から、文章を入力情報ごとに生成する。また、情報提供装置１０は、利用者が所定の文章に沿って生成した入力情報から生成された文章と、その所定の文章とを比較し、複数の利用者により入力された入力情報のうち、生成された文章が、所定の文章に最も類似する入力情報を判定する。このため、情報提供装置１０は、このため、情報提供装置１０は、例えば、主題とより対応性が高い動画像を誰が撮影できるかというアクティビティを利用者に提供することができる。

また、情報提供装置１０は、評価結果に基づいて、オブジェクトから文章を生成する際に用いるモデルを修正する。このため、情報提供装置１０は、より利用者が興味を有する文章を生成することができる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 品詞データベース
３２ 季語データベース
３３ モデルデータベース
４０ 制御部
４１ 取得部
４２ 特定部
４３ 生成部
４４ 提供部
４５ 公開部
４６ 受付部
４７ 修正部
１００ 端末装置

Claims (11)

1. 入力情報として受付けられた利用者の位置の履歴から当該利用者が訪問した場所の名称をオブジェクトの名称として特定する特定部と、
   特定部により特定されたオブジェクトの名称を含む文章であって、所定の制約を満たす形式の文章を生成する生成部と、
   前記生成部がそれぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開する公開部と、
   前記公開部により公開された文章に対する評価を受付ける受付部と
   を有することを特徴とする生成装置。
2. 前記生成部は、前記所定の制約を満たす形式の文章として、所定の定型詩の形式を有する文章を生成する
   ことを特徴とする請求項１に記載の生成装置。
3. 前記生成部は、同一又は類似の韻を有する単語を同一又は類似の位置に含む文章を生成する
   ことを特徴とする請求項２に記載の生成装置。
4. 前記生成部は、俳句の形式を有する文章を生成する
   ことを特徴とする請求項２または３に記載の生成装置。
5. 前記特定部は、複数の入力情報のそれぞれについてオブジェクトを特定し、
   前記生成部は、各入力情報と対応する複数の文節を含む文章を生成する
   ことを特徴とする請求項１～４のうちいずれか１つに記載の生成装置。
6. 前記生成部は、前記特定部により特定されたオブジェクトに基づいて、前記入力情報を入力した利用者の感情を推定し、推定した感情に応じて前記文章を生成する
   ことを特徴とする請求項１～５のうちいずれか１つに記載の生成装置。
7. 前記生成部は、前記生成部がそれぞれ異なる利用者から受付けた入力情報であって、各利用者が所定の主題に沿って生成した入力情報から、前記文章を入力情報ごとに生成する
   ことを特徴とする請求項１に記載の生成装置。
8. 前記受付部により受付けられた評価結果に基づいて、前記生成部が前記特定部により特定されたオブジェクトから前記文章を生成する際に用いるモデルを修正する修正部
   を有することを特徴とする請求項１または７に記載の生成装置。
9. 前記生成部により生成された文章であって、利用者が所定の文章に沿って撮影した動画像から生成された文章と、当該所定の文章とを比較する比較部と、
   複数の利用者が前記所定の文章に沿って撮影した動画像のうち、前記生成部により生成された文章が、前記所定の文章に最も類似する動画像を判定する判定部と
   を有することを特徴とする請求項１～６のうちいずれか１つに記載の生成装置。
10. 生成装置が実行する生成方法であって、
    入力情報として受付けられた利用者の位置の履歴から当該利用者が訪問した場所の名称をオブジェクトの名称として特定する特定工程と、
    特定工程により特定されたオブジェクトの名称を含む文章であって、所定の制約を満たす形式の文章を生成する生成工程と、
    前記生成工程がそれぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開する公開工程と、
    前記公開工程により公開された文章に対する評価を受付ける受付工程と
    を含むことを特徴とする生成方法。
11. 入力情報として受付けられた利用者の位置の履歴から当該利用者が訪問した場所の名称をオブジェクトの名称として特定する特定手順と、
    特定手順により特定されたオブジェクトの名称を含む文章であって、所定の制約を満たす形式の文章を生成する生成手順と、
    前記生成手順がそれぞれ異なる利用者から受付けた入力情報ごとに生成した複数の文章を公開する公開手順と、
    前記公開手順により公開された文章に対する評価を受付ける受付手順と
    をコンピュータに実行させるための生成プログラム。

Images