JP6480900B2 - 生成装置、生成方法、及び生成プログラム - Google Patents

Description

本発明は、生成装置、生成方法、及び生成プログラムに関する。

従来、種々の情報に基づいて、画像を生成する技術が提供されている。例えば、推薦画像に含まれる対象物を組み合わせる対象としてユーザによって選択された画像に基づいて、推薦画像を出力（生成）する技術が提供されている。

特開２０１５−０９７０３６号公報

Alec Radford, Luke Metz, Soumith Chintala, "Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks", arXiv preprint arXiv:1511.06434 (2016) & ICLR(International Conference on Learning Representations)-2016 Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, "A Neural Algorithm of Artistic Style", arXiv preprint arXiv:1508.06576

しかしながら、上記の従来技術では、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することが難しい場合がある。例えば、ユーザへの推薦画像にも関わらず、ユーザが推薦画像に含まれる対象物を組み合わせる対象として画像を選択する必要が生じたりするため、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することが難しい。

本願は、上記に鑑みてなされたものであって、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。

本願に係る生成装置は、端末装置を利用するユーザに関するユーザ情報を取得する取得部と、前記取得部により取得されたユーザ情報と、入力情報に応じて画像を出力するモデルとに基づいて、前記端末装置に提供する提供画像を生成する生成部と、を備えたことを特徴とする。

実施形態の一態様によれば、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができるという効果を奏する。

図１は、実施形態に係る生成処理の一例を示す図である。 図２は、実施形態に係る生成装置の構成例を示す図である。 図３は、実施形態に係るユーザ属性情報記憶部の一例を示す図である。 図４は、実施形態に係る行動履歴情報記憶部の一例を示す図である。 図５は、実施形態に係る行動予定情報記憶部の一例を示す図である。 図６は、実施形態に係るシード情報記憶部の一例を示す図である。 図７は、実施形態に係るモデル情報記憶部の一例を示す図である。 図８は、実施形態に係る生成処理の一例を示すフローチャートである。 図９は、変形例に係る生成処理の一例を示す図である。 図１０は、変形例に係る生成装置の構成例を示す図である。 図１１は、変形例に係るスタイル情報記憶部の一例を示す図である。 図１２は、変形例に係る生成処理の一例を示すフローチャートである。 図１３は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．生成処理〕
図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１では、生成装置１００は、ユーザのユーザ情報に基づいて、ユーザが利用する端末装置１０へ提供する提供画像を生成する場合を示す。また、図１では、生成装置１００は、提供画像として、メールアプリＡのテーマ画像を生成する場合を示す。なお、図１の例では、メールアプリＡのテーマ画像が提供画像である場合を一例として示すが、提供画像はユーザに提供する画像であればどのような画像（コンテンツ）であってもよい。

図１に示すように、生成システム１には、端末装置１０と、生成装置１００とが含まれる。端末装置１０と、生成装置１００とは図示しない所定の通信網を介して、有線または無線により通信可能に接続される。また、図１に示した生成システム１には、複数台の端末装置１０や、複数台の生成装置１００が含まれてもよい。

生成装置１００は、ユーザ情報と、入力情報に応じて画像を出力する画像生成モデル（以下、単に「モデル」ともいう）とに基づいて、端末装置１０に提供する提供画像を生成する情報処理装置である。例えば、生成装置１００は、モデル情報記憶部１２５に示すように、メールアプリＡのテーマ画像を生成するために用いるモデルＭ１を有する。なお、生成装置１００は、生成する画像に応じて複数のモデルを有してもよい。

例えば、図１に示す例において、生成装置１００が用いるモデルＭ１等のモデルは、畳み込みニューラルネットワーク（Convolutional Neural Network）等の種々の従来技術を適宜用いて生成された学習器であってもよい。例えば、生成装置１００が用いるモデルＭ１等のモデルは、非特許文献１のようなＤＣＧＡＮｓ（Deep Convolutional Generative Adversarial Networks）により生成されたモデルであってもよい。例えば、生成装置１００は、種々の画像から抽出した入力情報（例えば、Ｎ次元のベクトル（Ｎは１以上の任意の数））等を学習データとして用いることにより、モデルＭ１等のモデルを生成してもよい。例えば、生成装置１００は、メールアプリＡのテーマ画像に関する種々の画像から抽出した入力情報（例えば、Ｎ次元のベクトル）等を学習データとして用いることにより、モデルＭ１を生成してもよい。なお、上記は一例であり、生成装置１００は、モデルＭ１等の所望のモデルを生成可能であれば、どのような手法によりモデルを生成してもよい。

図１の例では、生成装置１００は、モデル情報記憶部１２５に示すように、モデルＭ１を生成する。また、モデル情報記憶部１２５に示すように、モデルＭ１に関するモデル情報は、素性１の重みが「０．５」、素性２の重みが「−０．４」、素性３の重みが「０．２」等であることを示す。例えば、生成装置１００は、モデルＭ１にＮ次元のベクトル等の所定の入力情報を入力することにより、入力した入力情報から画像を生成する。なお、生成装置１００は、モデルＭ１等の所望のモデルを外部の情報処理装置から取得してもよい。

また、生成装置１００は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づくパラメータを用いて提供画像を生成する。なお、ここでいうコンテキストは、ユーザや端末装置１０の状況やユーザや端末装置１０の環境（背景）を意味する。例えば、コンテキストは、ユーザによって端末装置１０が使われている状況や、端末装置１０を所持するユーザが置かれている状態に対応する情報である。また、コンテキストには、ユーザに提供されるコンテンツの内容、ユーザの発話の内容、ユーザの属性、ユーザの現在位置、現在時刻、ユーザが置かれた物理環境、ユーザが置かれた社会環境、ユーザの運動状態、および、ユーザの感情等の種々の情報に基づいて推定されてもよい。

なお、図１の例では、ユーザ属性情報記憶部１２１に示すように、コンテキストをコンテキストＣＮ１１やコンテキストＣＮ２１等のように抽象的な記号で示すが、各コンテキストはユーザの具体的な状況を示す情報であってもよい。例えば、コンテキストＣＮ１１は、「アニメ好きのユーザがキャラＡに関心を持っている」状況に対応するコンテキストであってもよい。例えば、コンテキストＣＮ２１は、「サッカーの試合を観戦する予定がある」状況に対応するコンテキストであってもよい。

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等により実現される。図１に示す例においては、端末装置１０がユーザが利用するスマートフォンである場合を示す。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。具体的には、図１では、端末装置１０がユーザＩＤ「Ｕ１」により識別されるユーザ（以下、「ユーザＵ１」とする場合がある）が利用するスマートフォンである場合を示す。

また、図１に示す例においては、端末装置１０の画面の表示に応じて、端末装置１０を端末装置１０−１、１０−２として説明する。なお、端末装置１０−１、１０−２は同一の端末装置１０である。また、以下では、端末装置１０−１、１０−２について、特に区別なく説明する場合には、端末装置１０と記載する。

まず、図１に示すように、端末装置１０は、ユーザＵ１の操作に応じてメールアプリＡの起動を開始する（ステップＳ１１）。そして、端末装置１０は、メールアプリＡのテーマ画像を生成装置１００に要求する（ステップＳ１２）。また、図１の例では、端末装置１０は、メールアプリＡのテーマ画像を生成装置１００に要求する際に、ユーザＵ１のユーザ情報を送信する。なお、生成装置１００がユーザＵ１のユーザ情報を取得済みである場合、端末装置１０は、ステップＳ１２においてユーザＵ１のユーザ情報を送信しなくてもよい。

例えば、端末装置１０−１は、端末装置１０を利用するユーザＵ１が２０代女性であることを示す情報を生成装置１００に送信する。なお、生成装置１００がユーザＵ１に関するユーザ情報を記憶している場合、端末装置１０−１は、端末装置１０を利用するユーザＵ１が２０代女性であることを示す情報を生成装置１００に送信しなくてもよい。また、図１の例では、端末装置１０がメールアプリＡを起動する際に、メールアプリＡのテーマ画像を生成装置１００に要求する場合を示すが、端末装置１０は予め生成装置１００からメールアプリＡのテーマ画像を取得し、メールアプリＡの起動の際に、そのテーマ画像を表示してもよい。

ユーザＵ１が利用する端末装置１０からメールアプリＡのテーマ画像の要求を取得した生成装置１００は、ユーザＵ１に関するコンテキストを推定する（ステップＳ１３）。生成装置１００は、ユーザＵ１のユーザ情報を用いて、ユーザＵ１に関するコンテキストを推定する。例えば、生成装置１００は、ユーザ属性情報記憶部１２１や行動履歴情報記憶部１２２や行動予定情報記憶部１２３等に記憶されたユーザＵ１に関する各種情報を用いて、ユーザＵ１に関するコンテキストを推定する。例えば、生成装置１００は、ユーザの行動履歴、ユーザの行動予定、ユーザの属性、ユーザの現在位置、現在時刻、ユーザが置かれた物理環境、ユーザが置かれた社会環境、ユーザの運動状態、および、ユーザの感情等の種々の情報等に基づいてユーザのコンテキストを推定する。

図１の例では、生成装置１００は、ユーザＵ１がアニメＡに登場するキャラＡに関する検索を行ったことや、アニメＡの映画を観賞する予定があること等を含むユーザ情報からユーザＵ１のコンテキストを推定する。例えば、生成装置１００は、ユーザ属性情報記憶部１２１−１に示すように、ユーザＵ１のコンテキストをコンテキストＣＮ１１であると推定する。なお、ユーザ属性情報記憶部１２１−１は、ユーザＵ１のコンテキストに関する情報がコンテキスト「ＣＮ１１」に更新された点以外は、ユーザ属性情報記憶部１２１と同様である。このように、図１の例では、生成装置１００は、ユーザＵ１のコンテキストを「アニメ好きのユーザがキャラＡに関心を持っている」状況に対応するコンテキストＣＮ１１であると推定する。

その後、生成装置１００は、シードを抽出する（ステップＳ１４）。ここでいうシードとは、モデルに入力するベクトルの基となるシードベクトルである。図１の例では、生成装置１００がシード情報記憶部１２４に複数のシードを格納する場合を示す。例えば、シードＩＤ「ＳＤ１」により識別されるシード（以下、「シードＳＤ１」ともいう）は、モデルＭ１に入力された場合、花模様のテーマ画像が生成されるベクトルであるものとする。例えば、シードＩＤ「ＳＤ２」により識別されるシード（以下、「シードＳＤ２」ともいう）は、モデルＭ１に入力された場合、サッカー風のテーマ画像が生成されるベクトルであるものとする。例えば、シードＩＤ「ＳＤ３」により識別されるシード（以下、「シードＳＤ３」ともいう）は、モデルＭ１に入力された場合、アニメ風のテーマ画像が生成されるベクトルであるものとする。

図１の例では、生成装置１００は、ユーザＵ１のコンテキストが「アニメ好きのユーザがキャラＡに関心を持っている」状況であることを示すコンテキストＣＮ１１に基づいて、シードＳＤ３を抽出（選択）する。例えば、生成装置１００は、ユーザＵ１がアニメに関心を持っている状況に基づいて、アニメ風のテーマ画像が生成されるシードＳＤ３を抽出する。なお、図１の例では、生成装置１００がユーザＵ１のコンテキストＣＮ１１に基づいて、複数のシードＳＤ１〜ＳＤ３等からシードＳＤ３を抽出する場合を示したが、生成装置１００は、他の情報を適宜用いてシードを抽出したり、シードを生成したりしてもよい。

その後、生成装置１００は、シードＳＤ３に基づいて入力情報を生成する（ステップＳ１５）。なお、以下では、入力情報が１００次元のベクトルである場合を一例として説明する。例えば、生成装置１００は、ユーザＵ１のコンテキストに基づいてシードＳＤ３の各次元の数値を変動させた入力情報を生成する。例えば、生成装置１００は、ユーザのコンテキストに基づくパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。

ここで、生成装置１００は、１００次元のベクトルのうち、どの次元のベクトルが生成する画像にどのような影響を与えるかの対応付けに関する情報を有するものとする。例えば、生成装置１００は、１００次元のベクトルのうち、５次元目の数値が大きいベクトル程、生成される画像に花柄の要素が強くなることを示す情報を有するものとする。すなわち、生成装置１００は、１００次元のベクトルのうち、５次元目が生成される画像における花柄の要素に影響を与える次元であることを示す情報を有する。

また、例えば、生成装置１００は、１００次元のベクトルのうち、３次元目の数値が大きいベクトル程、生成される画像に猫の要素が強くなることを示す情報を有するものとする。すなわち、生成装置１００は、１００次元のベクトルのうち、３次元目が生成される画像における猫の要素に影響を与える次元であることを示す情報を有する。なお、このようなどの次元がどの要素に影響を与えるかの対応関係を示す情報は、生成装置１００の管理者等が生成装置１００に入力し、設定してもよいし、生成装置１００が自動で学習してもよい。

ここで、上述したキャラＡが猫のキャラである場合を一例として説明する。生成装置１００は、ユーザＵ１のコンテキストＣＮ１１に基づくパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。図１の例では、生成装置１００は、ユーザＵ１がコンテキストＣＮ１１、すなわち「アニメ好きのユーザがキャラＡに関心を持っている」状況であるため、例えば、入力情報において、キャラＡの対象である猫の要素が強くなるようなパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。この場合、パラメータは、猫の要素に関する次元の数値を大きくする等の情報であってもよい。なお、パラメータは、シード中の所望の次元の値を変更可能であれば、どのような情報であってもよい。

例えば、生成装置１００は、猫の要素に関する次元の数値を大きくすることを示すパラメータを用いて、１００次元のベクトルのうち３次元目の数値が大きくなるようにシードＳＤ３の各次元の数値を変動させた入力情報を生成する。図１の例では、生成装置１００は、入力情報リストＩＬ１に示すように、シードＳＤ３から猫の要素に関する次元である３次元目の数値を大きくした入力情報を生成する。具体的には、生成装置１００は、３次元目の数値がシードＳＤ３中の「０．１」から「１．０」に変更された入力情報ＳＤ３−１を生成する。このように、生成装置１００は、アニメ風のテーマ画像に関するシードＳＤ３が猫の要素が強くなるように変更された入力情報ＳＤ３−１を用いることにより、ユーザＵ１のコンテキストＣＮ１１に適した、アニメ風の猫に関するテーマ画像が生成されやすくする。

その後、生成装置１００は、モデルＭ１に入力情報ＳＤ３−１を入力する（ステップＳ１６）。生成装置１００により入力情報ＳＤ３−１が入力されたモデルＭ１は、テーマ画像を出力する（ステップＳ１７）。図１の例では、生成装置１００により入力情報ＳＤ３−１が入力されたモデルＭ１は、テーマ画像ＩＭ１を出力する。図１に示すように、入力情報ＳＤ３−１が入力されたモデルＭ１は、ユーザＵ１のコンテキストＣＮ１１に適した、アニメ風の猫に関するテーマ画像ＩＭ１を出力する。

その後、生成装置１００は、ステップＳ１７において生成したテーマ画像を端末装置１０へ提供する（ステップＳ１８）。図１の例では、生成装置１００は、アニメ風の猫に関するテーマ画像ＩＭ１を端末装置１０へ提供する。

生成装置１００からテーマ画像ＩＭ１を提供された端末装置１０は、メールアプリＡに関する表示を行う（ステップＳ１９）。図１の例では、端末装置１０−１から端末装置１０−２へ表示が遷移される。

端末装置１０−２の画面には、メールアプリＡのアプリ画面ＡＰ１が表示される。図１の例では、端末装置１０−２の画面には、テーマ画像ＩＭ１を用いたメールアプリＡのアプリ画面ＡＰ１が表示される。

上述したように、生成装置１００は、ユーザのコンテキストに応じて変動する入力情報を用いてテーマ画像を生成することにより、ユーザに適したテーマ画像をユーザに提供することができる。したがって、生成装置１００は、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

なお、生成装置１００は、モデルＭ１に限らず、種々のモデルを適宜用いて、画像を生成してもよい。例えば、生成装置１００は、複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成してもよい。例えば、生成装置１００は、カテゴリごとに生成された複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成してもよい。例えば、生成装置１００は、スポーツや花等の種々のカテゴリごとに生成された複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成してもよい。また、例えば、生成装置１００は、男性が関心を有する可能性が高い画像群を用いて生成したモデルや女性が関心を有する可能性が高い画像群を用いて生成したモデルを用いて、入力情報から画像を生成してもよい。例えば、生成装置１００は、男性のクリック率が女性のクリック率に比べて相対的に高い画像群を用いて生成したモデルや、女性のクリック率が男性のクリック率に比べて相対的に高い画像群を用いて生成したモデルを用いて、入力情報から画像を生成してもよい。この場合、例えば、生成装置１００は、要求元のユーザが男性である場合、男性が関心を有する可能性が高い画像群を用いて生成したモデルを用いて、テーマ画像を生成してもよい。また、例えば、生成装置１００は、要求元のユーザが女性である場合、女性が関心を有する可能性が高い画像群を用いて生成したモデルを用いて、テーマ画像を生成してもよい。

また、上述した例では、生成装置１００がテーマ画像ＩＭ１を生成する例を示したが、生成装置１００は、テーマ画像ＩＭ１に限らず種々の画像を生成してもよい。例えば、生成装置１００は、入力情報に応じて種々のオブジェクトを生成するモデル（以下、「オブジェクト生成モデル」ともいう）を用いて、キャラクタ等の種々のオブジェクトを生成してもよい。この場合、生成装置１００は、ユーザのコンテキストに基づいて変動する入力情報をオブジェクト生成モデルに入力することにより、ユーザのコンテキストに応じたオブジェクトを生成してもよい。また、生成装置１００は、ユーザのコンテキストに応じて生成されたオブジェクトを所定のテーマ画像に適用し、そのオブジェクトが適用されたテーマ画像をユーザに生成してもよい。図１の例では、生成装置１００は、テーマ画像ＩＭ１中の猫のキャラクタ（以下、「猫キャラ」とする）等の種々のオブジェクトを生成するオブジェクト生成モデルを用いて、ユーザのコンテキストに応じたオブジェクトを生成してもよい。この場合、生成装置１００は、ユーザＵ１のコンテキストＣＮ１１に応じて生成された入力情報をオブジェクト生成モデルに入力することにより、猫キャラを生成してもよい。また、生成装置１００は、ユーザＵ１のコンテキストＣＮ１１に応じて生成された猫キャラを所定のテーマ画像に適用し、猫キャラが適用されたテーマ画像（例えば、テーマ画像ＩＭ１）をユーザに生成してもよい。

また、生成装置１００は、生成したテーマ画像を提供したユーザが、そのテーマ画像を継続して使用するかに関する情報を収集してもよい。例えば、生成装置１００は、生成したテーマ画像を提供したユーザが、そのテーマ画像を使用するテーマ画像として設定したかどうかに関する情報を収集してもよい。また、例えば、生成装置１００は、あるコンテキスト（コンテキストＣＮ１００）に応じて生成されたテーマ画像ＩＭ５０の設定率が他のテーマ画像の設定率よりも高い場合、コンテキストＣＮ１００とテーマ画像ＩＭ５０との相関が高いと判定し、ユーザのコンテキストがコンテキストＣＮ１００の場合テーマ画像ＩＭ５０が生成されるような入力情報を用いてもよい。

〔２．生成装置の構成〕
次に、図２を用いて、実施形態に係る生成装置１００の構成について説明する。図２は、実施形態に係る生成装置１００の構成例を示す図である。図２に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図２に示すように、ユーザ属性情報記憶部１２１と、行動履歴情報記憶部１２２と、行動予定情報記憶部１２３と、シード情報記憶部１２４と、モデル情報記憶部１２５とを有する。

（ユーザ属性情報記憶部１２１）
実施形態に係るユーザ属性情報記憶部１２１は、ユーザに関する各種情報を記憶する。例えば、ユーザ属性情報記憶部１２１は、ユーザ属性に関する各種情報を記憶する。図３は、実施形態に係るユーザ属性情報記憶部の一例を示す図である。図３に示すユーザ属性情報記憶部１２１は、「ユーザＩＤ」、「年齢」、「性別」、「居住地」、「関心」、「コンテキスト」といった項目が含まれる。

「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「年齢」は、ユーザＩＤにより識別されるユーザの年齢を示す。なお、「年齢」は、例えば３５歳など、ユーザＩＤにより識別されるユーザの具体的な年齢であってもよい。また、「性別」は、ユーザＩＤにより識別されるユーザの性別を示す。

また、「居住地」は、ユーザＩＤにより識別されるユーザの居住する地域を示す。なお、「居住地」は、ユーザＩＤにより識別されるユーザの具体的な住所であってもよい。また、「関心」は、ユーザＩＤにより識別されるユーザが関心のある対象を示す。なお、「関心」は、複数登録されてもよい。また、「コンテキスト」は、ユーザＩＤにより識別されるユーザのコンテキストを示す。

例えば、図３に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）の年齢は、「２０代」であり、性別は、「女性」であることを示す。また、例えば、図３に示す例において、ユーザＵ１は、居住地が「Ａ地域」であり、関心のある対象が「アニメ」であることを示す。また、ユーザＵ１は、コンテキストが「−」、すなわち未推定であることを示す。

例えば、図３に示す例において、ユーザＩＤ「Ｕ２」により識別されるユーザ（ユーザＵ２）の年齢は、「３０代」であり、性別は、「男性」であることを示す。また、例えば、図３に示す例において、ユーザＵ２は、居住地が「Ｂ地域」であり、関心のある対象が「スポーツ」であることを示す。また、ユーザＵ２は、ユーザ情報に基づいて推定された最新のコンテキストが「ＣＮ２１」であることを示す。

なお、ユーザ属性情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ属性情報記憶部１２１は、年齢や性別に加えて他のデモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、ユーザ属性情報記憶部１２１は、氏名、勤務地、家族構成、収入、ライフスタイル等の情報を記憶してもよい。

（行動履歴情報記憶部１２２）
実施形態に係る行動履歴情報記憶部１２２は、行動履歴に関する各種情報を記憶する。図４は、実施形態に係る行動履歴情報記憶部の一例を示す図である。例えば、行動履歴情報記憶部１２２は、ユーザが過去に行った行動に関する情報を記憶する。図４に示す行動履歴情報記憶部１２２には、「ユーザＩＤ」、「行動情報」といった項目が含まれる。

「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「行動情報」には、対応するユーザの行動に関する情報を示し、「行動ＩＤ」、「日時」、「内容」といった項目が含まれる。

「行動ＩＤ」は、各行動を識別するための識別情報を示す。「日時」は、対応する行動が行われた日時を示す。なお、図４の例では、「日時」に記憶される情報を「ＤＡ１−１」等の符号で図示するが、「日時」には、「２０１６年８月３１日２０時１６分４３秒」等の具体的な日時が記憶されるものとする。「内容」は、対応するユーザの行動の種別やその行動において対象となった内容等を示す。

例えば、図４に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）は、行動ＩＤ「ＡＣ１−１」により識別される行動や行動ＩＤ「ＡＣ１−２」により識別される行動を行ったことを示す。また、例えば、図４に示す例において、行動ＩＤ「ＡＣ１−１」により識別される行動は、日時「ＤＡ１−１」に行われ、その内容がコンテンツＡの閲覧であることを示す。また、例えば、図４に示す例において、行動ＩＤ「ＡＣ１−２」により識別される行動は、日時「ＤＡ１−２」に行われ、その内容がクエリ「キャラＡ」を用いた検索であることを示す。

なお、行動履歴情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、行動履歴情報記憶部１２２は、行動が所定の期間継続して行われたものであれば、その期間に関する情報を記憶してもよい。

（行動予定情報記憶部１２３）
実施形態に係る行動予定情報記憶部１２３は、行動予定に関する各種情報を記憶する。図５は、実施形態に係る行動予定情報記憶部の一例を示す図である。例えば、行動予定情報記憶部１２３は、ユーザが将来行う行動の予定に関する情報を記憶する。例えば、行動予定情報記憶部１２３は、ユーザのスケジュールに関する情報を記憶してもよい。図５に示す行動予定情報記憶部１２３には、「ユーザＩＤ」、「予定情報」といった項目が含まれる。

「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「予定情報」には、対応するユーザの行動に関する情報を示し、「予定ＩＤ」、「開始日時」、「内容」といった項目が含まれる。

「予定ＩＤ」は、各予定を識別するための識別情報を示す。「開始日時」は、対応する予定行動が行われる（開始される）日時を示す。なお、図５の例では、「開始日時」に記憶される情報を「ＦＤ１−１」等の符号で図示するが、「開始日時」には、「２０１６年９月１５日１８時４５分」等の具体的な日時が記憶されるものとする。「内容」は、対応するユーザの行動の種別やその行動において対象となる内容等を示す。

例えば、図５に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）は、予定ＩＤ「ＰＤ１−１」により識別される予定に関する行動を今後行う予定があることを示す。また、例えば、図５に示す例において、予定ＩＤ「ＰＤ１−１」により識別される行動が行われる予定の日時は、日時「ＦＤ１−１」であり、その内容がアニメＡの映画鑑賞であることを示す。

例えば、図５に示す例において、ユーザＩＤ「Ｕ２」により識別されるユーザ（ユーザＵ２）は、予定ＩＤ「ＰＤ２−１」により識別される予定に関する行動を今後行う予定があることを示す。また、例えば、図５に示す例において、予定ＩＤ「ＰＤ２−１」により識別される行動が行われる予定の日時は、日時「ＦＤ２−１」であり、その内容がサッカーチームＡの試合観戦（スポーツ観戦）であることを示す。

なお、行動予定情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、行動予定情報記憶部１２３は、行動が終了する終了日時に関する情報を記憶してもよい。例えば、行動予定情報記憶部１２３は、行動が所定の期間継続して行われるものであれば、その期間に関する情報を記憶してもよい。

（シード情報記憶部１２４）
実施形態に係るシード情報記憶部１２４は、シードに関する各種情報を記憶する。図６に、実施形態に係るシード情報記憶部１２４の一例を示す。図６に示すシード情報記憶部１２４は、「シード（ベクトル）」、「次元１」、「次元２」、「次元３」といった項目を有する。なお、項目「次元」は、各シードの次元数だけ設けられ、ベクトルがＮ次元である場合、「次元Ｎ」まで設けられる。具体的には、シードが１００次元のベクトルの場合、項目「次元１」、「次元２」、「次元３」・・・「次元１００」まで設けられる。

「シード（ベクトル）」は、各シードを識別するための識別情報を示す。「次元１」、「次元２」、「次元３」は、対応する次元の数値を示す。

例えば、図６に示す例において、シードＩＤ「ＳＤ１」により識別されるシード（シードＳＤ１）に対応するベクトル情報は、次元１の数値が「０．５」、次元２の数値が「０．２」、次元３の数値が「−０．７」等であることを示す。

なお、シード情報記憶部１２４は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、シード情報記憶部１２４は、各シードがモデルに入力された場合にどのような画像が生成されるかに関する情報を記憶してもよい。例えば、シードＳＤ１は、モデルＭ１に入力された場合、花模様のテーマ画像が生成されるベクトルであることを示す情報を記憶してもよい。例えば、シードＳＤ２は、モデルＭ１に入力された場合、サッカー風のテーマ画像が生成されるベクトルであることを示す情報を記憶してもよい。例えば、シードＳＤ３は、モデルＭ１に入力された場合、アニメ風のテーマ画像が生成されるベクトルであることを示す情報を記憶してもよい。

（モデル情報記憶部１２５）
実施形態に係るモデル情報記憶部１２５は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２５は、生成処理により生成されたモデル情報を記憶する。図７は、実施形態に係るモデル情報記憶部の一例を示す図である。図７に示すモデル情報記憶部１２５は、モデル情報として、各モデルＭ１等に対応させて「素性１」〜「素性３」等といった項目を有する。なお、図７では、モデルＭ１のみを図示するが、モデルＭ２、Ｍ３等の複数のモデル情報が記憶されてもよい。

例えば、図７に示す例において、モデルＭ１に関するモデル情報は、素性１の重みが「０．５」、素性２の重みが「−０．４」、素性３の重みが「０．２」等であることを示す。例えば、モデルの素性（特徴量）がｍ次元のベクトルで表現される場合、素性数はｍ個になり、素性１〜素性ｍの重みが記憶される。

なお、モデル情報記憶部１２５は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。

（制御部１３０）
図２の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、生成部１３３と、提供部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、ユーザ属性情報記憶部１２１、行動履歴情報記憶部１２２、行動予定情報記憶部１２３、シード情報記憶部１２４、モデル情報記憶部１２５等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得してもよい。

例えば、取得部１３１は、端末装置１０を利用するユーザに関するユーザ情報を取得する。なお、取得部１３１は、端末装置１０を利用するユーザに関するユーザ情報をユーザが利用する端末装置１０以外の外部装置から取得してもよい。取得部１３１は、端末装置１０を利用するユーザに関するユーザ情報を収集する情報処理装置からユーザ情報を取得してもよい。

図１の例では、取得部１３１は、ユーザＵ１が利用する端末装置１０からユーザＵ１のユーザ情報を取得する。例えば、取得部１３１は、端末装置１０を利用するユーザＵ１が２０代女性であることを示す情報を端末装置１０から取得する。例えば、取得部１３１は、端末装置１０を利用するユーザＵ１の行動履歴や行動予定等の種々の情報を端末装置１０から取得する。また、取得部１３１は、ユーザ属性情報記憶部１２１や行動履歴情報記憶部１２２や行動予定情報記憶部１２３に取得したユーザ情報を格納する。

また、例えば、取得部１３１は、シード情報記憶部１２４（図６参照）に記憶されるシードに関する情報やモデル情報記憶部１２５（図７参照）に記憶されるモデルに関する情報を取得してもよい。例えば、取得部１３１は、シード情報記憶部１２４（図６参照）に記憶されるシードに関する情報やモデル情報記憶部１２５（図７参照）に記憶されるモデルに関する情報を外部の情報処理装置から取得してもよい。

（抽出部１３２）
抽出部１３２は、各種情報を抽出する。例えば、抽出部１３２は、シードを抽出する。例えば、抽出部１３２は、シード情報記憶部１２４に記憶された複数のシードのうち、ユーザのコンテキストに対応するシードを抽出する。

図１の例では、抽出部１３２は、ユーザＵ１のコンテキストが「アニメ好きのユーザがキャラＡに関心を持っている」状況であることを示すコンテキストＣＮ１１に基づいて、シードＳＤ３を抽出（選択）する。例えば、抽出部１３２は、ユーザＵ１がアニメに関心を持っている状況に基づいて、アニメ風のテーマ画像が生成されるシードＳＤ３を抽出する。

また、抽出部１３２は、ユーザのコンテキストを抽出（推定）してもよい。例えば、抽出部１３２は、ユーザＵ１のユーザ情報に基づいて、ユーザＵ１に関するコンテキストを推定する。図１の例では、抽出部１３２は、ユーザ属性情報記憶部１２１や行動履歴情報記憶部１２２や行動予定情報記憶部１２３等に記憶されたユーザＵ１に関する各種情報を用いて、ユーザＵ１に関するコンテキストを推定する。例えば、抽出部１３２は、ユーザの行動履歴、ユーザの行動予定、ユーザの属性、ユーザの現在位置、現在時刻、ユーザが置かれた物理環境、ユーザが置かれた社会環境、ユーザの運動状態、および、ユーザの感情等の種々の情報等に基づいてユーザのコンテキストを推定する。

図１の例では、抽出部１３２は、ユーザＵ１がアニメＡに登場するキャラＡに関する検索を行ったことや、アニメＡの映画を観賞する予定があること等を含むユーザ情報からユーザＵ１のコンテキストを推定する。例えば、図１の例では、抽出部１３２は、ユーザＵ１のコンテキストを「アニメ好きのユーザがキャラＡに関心を持っている」状況に対応するコンテキストＣＮ１１であると推定する。

（生成部１３３）
生成部１３３は、各種情報を生成する。例えば、生成部１３３は、取得部１３１により取得されたユーザ情報と、入力情報に応じて画像を出力するモデルとに基づいて、端末装置１０に提供する提供画像を生成する。

例えば、生成部１３３は、ユーザの属性情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。また、例えば、生成部１３３は、ユーザが関心を有する対象に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。また、例えば、生成部１３３は、ユーザの行動履歴を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。また、例えば、生成部１３３は、ユーザの行動予定に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。

例えば、生成部１３３は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づいて、端末装置１０に提供する提供画像を生成する。また、例えば、生成部１３３は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づくパラメータを用いて提供画像を生成する。また、例えば、生成部１３３は、パラメータにより変動する入力情報をモデルに入力することにより提供画像を生成する。

また、例えば、生成部１３３は、モデルを生成してもよい。例えば、生成部１３３は、モデル情報記憶部１２５（図７参照）に示すように、モデルＭ１を生成する。例えば、生成装置１００は、素性１の重みが「０．５」、素性２の重みが「−０．４」、素性３の重みが「０．２」等であるモデルＭ１を生成する。例えば、生成装置１００は、モデルＭ１にＮ次元のベクトル等の所定の入力情報を入力することにより、入力した入力情報から画像を生成する。

また、例えば、生成部１３３は、複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成してもよい。例えば、生成部１３３は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づくパラメータを用いて提供画像を生成する。

図１の例では、生成部１３３は、シードＳＤ３に基づいて入力情報を生成する。例えば、生成部１３３は、ユーザＵ１のコンテキストに基づいてシードＳＤ３の各次元の数値を変動させた入力情報を生成する。例えば、生成装置１００は、ユーザのコンテキストに基づくパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。

また、図１の例では、生成部１３３は、ユーザＵ１のコンテキストＣＮ１１に基づくパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。例えば、生成部１３３は、ユーザＵ１がコンテキストＣＮ１１、すなわち「アニメ好きのユーザがキャラＡに関心を持っている」状況であるため、例えば、入力情報において、キャラＡの対象である猫の要素が強くなるようなパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報を生成する。

例えば、生成部１３３は、猫の要素に関する次元の数値を大きくすることを示すパラメータを用いて、１００次元のベクトルのうち３次元目の数値が大きくなるようにシードＳＤ３の各次元の数値を変動させた入力情報を生成する。図１の例では、生成部１３３は、入力情報リストＩＬ１に示すように、シードＳＤ３から猫の要素に関する次元である３次元目の数値を大きくした入力情報を生成する。具体的には、生成部１３３は、３次元目の数値がシードＳＤ３中の「０．１」から「１．０」に変更された入力情報ＳＤ３−１を生成する。

また、例えば、生成部１３３は、モデルに入力情報を入力することによりテーマ画像を生成する。図１の例では、生成部１３３は、モデルＭ１に入力情報ＳＤ３−１を入力することによりテーマ画像ＩＭ１を生成する。例えば、生成部１３３は、ユーザＵ１のコンテキストＣＮ１１に適した、アニメ風の猫に関するテーマ画像ＩＭ１を生成する。

（提供部１３４）
提供部１３４は、各種情報を提供する。例えば、提供部１３４は、端末装置１０に各種情報を提供する。例えば、提供部１３４は、生成部１３３により生成されたテーマ画像に基づくサービスを提供する。例えば、提供部１３４は、生成部１３３により生成されたテーマ画像を端末装置１０へ提供する。図１の例では、提供部１３４は、生成部１３３により生成されたアニメ風の猫に関するテーマ画像ＩＭ１を端末装置１０へ提供する。

〔３．生成処理のフロー〕
次に、図８を用いて、実施形態に係る生成システム１による生成処理の手順について説明する。図８は、実施形態に係る生成処理の一例を示すフローチャートである。

図８に示すように、生成装置１００は、ユーザ情報を取得する（ステップＳ１０１）。例えば、生成装置１００は、端末装置１０を利用するユーザに関するユーザ情報をユーザが利用する端末装置１０から取得する。

その後、生成装置１００は、推定したユーザのコンテキストに基づいてシード（ベクトル）を抽出する（ステップＳ１０２）。図１の例では、生成装置１００は、ユーザＵ１のコンテキストが「アニメ好きのユーザがキャラＡに関心を持っている」状況であることを示すコンテキストＣＮ１１に基づいて、シードＳＤ３を抽出（選択）する。

その後、生成装置１００は、抽出したシードに基づいて入力情報を生成する（ステップＳ１０３）。図１の例では、生成装置１００は、ユーザＵ１のコンテキストＣＮ１１に基づくパラメータを用いて、シードＳＤ３の各次元の数値を変動させた入力情報ＳＤ３−１を生成する。

その後、生成装置１００は、入力情報と画像生成モデル（モデル）とに基づいてテーマ画像を生成する（ステップＳ１０４）。図１の例では、生成装置１００は、モデルＭ１に入力情報ＳＤ３−１を入力することによりテーマ画像ＩＭ１を生成する。

〔４．変形例〕
上記の実施形態に限らず、生成装置１００は種々の情報に基づいて画像を生成してもより。変形例に係る生成装置１００Ａは、所定の画風（スタイル）を画像に適用した画像を生成してもよい。この点について、図９〜図１２を基に説明する。なお、実施形態と同様の構成については、同一の符号を付して説明を省略する。

〔４−１．生成処理〕
まず、変形例に係る生成処理について説明する。図９は、変形例に係る生成処理の一例を示す図である。図９では、生成装置１００Ａは、ユーザのユーザ情報に基づいて、ユーザが利用する端末装置１０へ提供する提供画像を生成する場合を示す。また、図９では、生成装置１００Ａは、ユーザのコンテキストに応じて決定される画風をユーザから取得した画像に適用した提供画像を生成する場合を示す。

図９に示すように、生成システム１Ａには、端末装置１０と、生成装置１００Ａとが含まれる。端末装置１０と、生成装置１００Ａとは図示しない所定の通信網を介して、有線または無線により通信可能に接続される。また、図９に示した生成システム１Ａには、複数台の端末装置１０や、複数台の生成装置１００Ａが含まれてもよい。このように、生成システム１Ａは、生成装置１００に替えて生成装置１００Ａを含む点において、生成システム１と相違する。

生成装置１００Ａは、ユーザ情報から推定されるユーザのコンテキストに応じて決定される画風と、画像とに基づいて、端末装置１０に提供する提供画像を生成する情報処理装置である。例えば、生成装置１００Ａは、スタイル情報記憶部１２６に示すように、複数の画風（以下、「スタイル」ともいう）のうち、ユーザのコンテキストに対応するスタイルを決定（抽出）し、抽出したスタイルを他の画像に適用する処理を行う。

まず、図９に示すように、生成装置１００Ａは、ユーザＵ１が利用する端末装置１０からユーザＵ１のユーザ情報を取得する（ステップＳ２１）。例えば、生成装置１００Ａは、端末装置１０を利用するユーザＵ１が近日中に絵画の美術鑑賞を行う予定があることを示す予定情報を取得する。なお、生成装置１００ＡがユーザＵ１に関するユーザ情報を取得済みである場合、ステップＳ２１の処理を行わなくてもよい。

そして、生成装置１００Ａは、端末装置１０からシード画像を取得する（ステップＳ２２）。なお、ここでいうシード画像とは、ユーザのコンテキストに応じてスタイルを適用する対象となる画像をいう。なお、シード画像はユーザから取得しなくてもよい。例えば、シード画像は図１の例におけるテーマ画像であってもよい。図９の例では、生成装置１００Ａは、端末装置１０から対象として犬を含むシード画像ＩＭ２１を取得する。

ユーザＵ１が利用する端末装置１０からシード画像ＩＭ２１を取得した生成装置１００Ａは、ユーザＵ１に関するコンテキストを推定する（ステップＳ２３）。生成装置１００Ａは、図１に示すステップＳ１３と同様に、ユーザＵ１のユーザ情報を用いて、ユーザＵ１に関するコンテキストを推定する。例えば、生成装置１００Ａは、行動予定情報記憶部１２３−１に記憶されたユーザＵ１に行動予定情報を用いて、ユーザＵ１に関するコンテキストを推定する。なお、行動予定情報記憶部１２３−１は、アニメＡの映画鑑賞に替えて行動予定に絵画の美術鑑賞が含まれる点以外は、図１中の行動予定情報記憶部１２３と同様である。

図９の例では、生成装置１００Ａは、ユーザＵ１が近日中に絵画の美術鑑賞を行う予定等を含むユーザ情報からユーザＵ１のコンテキストを推定する。例えば、生成装置１００Ａは、ユーザ属性情報記憶部１２１−２に示すように、ユーザＵ１のコンテキストをコンテキストＣＮ１２であると推定する。なお、ユーザ属性情報記憶部１２１−２は、ユーザＵ１のコンテキストに関する情報がコンテキスト「ＣＮ１２」に更新された点以外は、ユーザ属性情報記憶部１２１と同様である。このように、図９の例では、生成装置１００Ａは、ユーザＵ１のコンテキストを「近日中に絵画を鑑賞する予定がある」状況に対応するコンテキストＣＮ１２であると推定する。

その後、生成装置１００Ａは、スタイルを抽出する（ステップＳ２４）。例えば、ここでいうスタイルとは、その画像に現れた作風、すなわち画風であり、その画像を創作した作者が創作した画像群の傾向や特徴等を意味する。図９の例では、生成装置１００Ａがスタイル情報記憶部１２６に複数のスタイルを格納する場合を示す。

例えば、図９に示す例において、スタイルＩＤ「ＳＴ１」により識別されるスタイル（以下、「スタイルＳＴ１」と記載する場合がある）は、対応する画像「ＳＴＭ１」に表現されており、その画風が「アニメＸ風」であることを示す。また、例えば、図９に示す例において、スタイルＩＤ「ＳＴ２」により識別されるスタイル（以下、「スタイルＳＴ２」と記載する場合がある）は、対応する画像「ＳＴＭ２」に表現されており、その画風が「画家Ｙ風」であることを示す。このように、図９の例では、生成装置１００Ａがスタイル情報記憶部１２６に複数のスタイルを格納する。

そこで、図９の例では、生成装置１００Ａは、ユーザＵ１のコンテキストが「近日中に絵画を鑑賞する予定がある」状況であることを示すコンテキストＣＮ１２に基づいて、スタイルＳＴ２を、シード画像ＩＭ２１に画風を適用するスタイルとして抽出（決定）する。

その後、生成装置１００Ａは、抽出したスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、画像を生成する（ステップＳ２５）。図９の例では、生成装置１００Ａは、画家Ｙ風のスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、スタイルＳＴ２を適用した適用後画像ＩＭ２２を生成する。例えば、生成装置１００Ａは、非特許文献２に記載された画風を変換するアルゴリズム等の種々の従来技術を適宜用いて、抽出したスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、画像を生成する。

その後、生成装置１００Ａは、ステップＳ２５において生成した画像を端末装置１０へ提供する（ステップＳ２６）。図９の例では、生成装置１００Ａは、画家Ｙ風のスタイルが適用された適用後画像ＩＭ２２を端末装置１０へ提供する。

上述したように、生成装置１００Ａは、ユーザのコンテキストに応じて決定されるスタイルを用いて画像を生成することにより、ユーザに適した画像をユーザに提供することができる。上述した例では、ユーザＵ１は、スタイルを適用（変更）したい画像を生成装置１００Ａに送信するだけで、自身のコンテキストに応じたスタイルが適用された画像を生成することができる。したがって、生成装置１００Ａは、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。なお、生成装置１００Ａは、上述したスタイルの適用をテーマ画像に対して行ってもよい。例えば、生成装置１００Ａは、所定のテーマ画像にユーザのコンテキストに応じて抽出されたスタイルを適用し、スタイル適用後のテーマ画像をユーザに提供してもよい。例えば、生成装置１００Ａは、図１に示す例のようにメールアプリＡを利用するユーザＵ１に、ユーザＵ１のコンテキストに基づいて抽出されたスタイルを適用したテーマ画像を提供してもよい。

〔４−２．決定装置の構成〕
次に、図１０を用いて、変形例に係る生成装置１００Ａの構成について説明する。図１０は、変形例に係る決定装置１００Ａの構成例を示す図である。図１０に示すように、生成装置１００Ａは、通信部１１０と、記憶部１２０Ａと、制御部１３０Ａとを有する。なお、生成装置１００Ａは、生成装置１００Ａの管理者等から各種操作を取得する入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（記憶部１２０Ａ）
記憶部１２０Ａは、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。変形例に係る記憶部１２０Ａは、図１０に示すように、ユーザ属性情報記憶部１２１と、行動履歴情報記憶部１２２と、行動予定情報記憶部１２３と、スタイル情報記憶部１２６とを有する。記憶部１２０Ａは、スタイル情報記憶部１２６を有する点で実施形態に係る記憶部１２０と相違する。

（スタイル情報記憶部１２６）
変形例に係るスタイル情報記憶部１２６は、スタイルに関する各種情報を記憶する。図１１は、変形例に係るスタイル情報記憶部の一例を示す図である。図１１に示すスタイル情報記憶部１２６は、「スタイルＩＤ」、「画像」、「内容」といった項目を有する。

「スタイルＩＤ」は、スタイルを識別するための識別情報を示す。「画像」は、対応するスタイルの特徴を示す画像（画像情報）を示す。具体的には、「画像」は、そのスタイルの特徴が顕著に表現されている画像を示す。図１１では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「内容」は、画像に対応付けて付される情報であり、画像のスタイル（画風）に含まれる対象を示す。

例えば、図１１に示す例において、スタイルＩＤ「ＳＴ１」により識別されるスタイルは、対応する画像「ＳＴＭ１」に表現されており、その画風が「アニメＸ風」であることを示す。また、例えば、図１１に示す例において、スタイルＩＤ「ＳＴ２」により識別されるスタイルは、対応する画像「ＳＴＭ２」に表現されており、その画風が「画家Ｙ風」であることを示す。

なお、スタイル情報記憶部１２６は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、スタイル情報記憶部１２６は、「画像」に限らず、スタイルの特徴を示す情報であれば、どのような情報を記憶してもよい。

（制御部１３０Ａ）
図１０の説明に戻って、制御部１３０Ａは、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、生成装置１００Ａ内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０Ａは、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図１０に示すように、制御部１３０Ａは、取得部１３１と、抽出部１３２Ａと、生成部１３３Ａと、提供部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

（抽出部１３２Ａ）
抽出部１３２Ａは、種々の情報を抽出する。例えば、抽出部１３２Ａは、実施形態に係る抽出部１３２と同様の処理を行う。例えば、抽出部１３２Ａは、スタイルを抽出する。例えば、抽出部１３２Ａは、スタイル情報記憶部１２６からスタイルを抽出する。図９の例では、抽出部１３２Ａは、ユーザＵ１のコンテキストが「近日中に絵画を鑑賞する予定がある」状況であることを示すコンテキストＣＮ１２に基づいて、スタイルＳＴ２を、シード画像ＩＭ２１に画風を適用するスタイルとして抽出（決定）する。

（生成部１３３Ａ）
生成部１３３Ａは、種々の情報を生成する。例えば、生成部１３３Ａは、実施形態に係る生成部１３３と同様の処理を行う。例えば、生成部１３３Ａは、取得部１３１により取得されたユーザ情報から推定されるユーザのコンテキストに応じて決定される画風と、画像とに基づいて、端末装置１０に提供する提供画像を生成する。

図９の例では、生成部１３３Ａは、抽出部１３２Ａにより抽出されたスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、画像を生成す。例えば、生成部１３３Ａは、画家Ｙ風のスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、スタイルＳＴ２を適用した適用後画像ＩＭ２２を生成する。例えば、生成部１３３Ａは、非特許文献２に記載された画風を変換するアルゴリズム等の種々の従来技術を適宜用いて、抽出したスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、画像を生成する。

〔４−３．生成処理のフロー〕
次に、図１２を用いて、変形例に係る生成システム１Ａによる生成処理の手順について説明する。図１２は、変形例に係る生成処理の一例を示すフローチャートである。

図１２に示すように、生成装置１００Ａは、ユーザ情報を取得する（ステップＳ２０１）。図９の例では、生成装置１００Ａは、ユーザＵ１が利用する端末装置１０からユーザＵ１のユーザ情報を取得する。

その後、生成装置１００Ａは、シード画像を取得する（ステップＳ２０２）。図９の例では、生成装置１００Ａは、端末装置１０から対象として犬を含むシード画像ＩＭ２１を取得する。

その後、生成装置１００Ａは、推定したユーザのコンテキストに基づいてスタイルを抽出する（ステップＳ２０３）。図９の例では、生成装置１００Ａは、ユーザＵ１のコンテキストが「近日中に絵画を鑑賞する予定がある」状況であることを示すコンテキストＣＮ１２に基づいて、スタイルＳＴ２を、シード画像ＩＭ２１に画風を適用するスタイルとして抽出（決定）する。

その後、生成装置１００Ａは、シード画像とスタイルとに基づいて適用後画像を生成する（ステップＳ２０４）。図９の例では、生成装置１００Ａは、画家Ｙ風のスタイルＳＴ２の画風をシード画像ＩＭ２１に適用することにより、スタイルＳＴ２を適用した適用後画像ＩＭ２２を生成する。

〔５．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３３とを有する。取得部１３１は、端末装置１０を利用するユーザに関するユーザ情報を取得する。また、生成部１３３は、取得部１３１により取得されたユーザ情報と、入力情報に応じて画像を出力するモデルとに基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、取得したユーザ情報と、入力情報に応じて画像を出力するモデルとに基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザの属性情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザの属性情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザが関心を有する対象に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザが関心を有する対象に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザの行動履歴を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザの行動履歴を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザの行動予定に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザの行動予定に関する情報を含むユーザ情報に基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づいて、端末装置１０に提供する提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザ情報に基づいて推定されるユーザのコンテキストに基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、ユーザ情報に基づいて推定されるユーザのコンテキストに関する情報に基づくパラメータを用いて提供画像を生成する。

これにより、実施形態に係る生成装置１００は、ユーザ情報に基づいて推定されるユーザのコンテキストに関する情報に基づくパラメータを用いて提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、パラメータにより変動する入力情報をモデルに入力することにより提供画像を生成する。

これにより、実施形態に係る生成装置１００は、パラメータにより変動する入力情報をモデルに入力することにより提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、実施形態に係る生成装置１００において、生成部１３３は、複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成する。

これにより、実施形態に係る生成装置１００は、複数のモデルのうち、ユーザ情報に応じて選択されるモデルを用いて、入力情報から提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

また、変形例に係る生成装置１００Ａは、取得部１３１と、生成部１３３Ａとを有する。取得部１３１は、端末装置１０を利用するユーザに関するユーザ情報と、画像とを取得する。生成部１３３Ａは、取得部１３１により取得されたユーザ情報から推定されるユーザのコンテキストに応じて決定される画像のスタイル（画風）と、画像とに基づいて、端末装置１０に提供する提供画像を生成する。

これにより、変形例に係る生成装置１００Ａは、ユーザ情報から推定されるユーザのコンテキストに応じて決定される画像のスタイルと、画像とに基づいて、端末装置１０に提供する提供画像を生成することにより、ユーザの負荷を抑制しつつ、ユーザに応じて適切な画像を生成することができる。

〔６．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態及び変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 生成システム
１００ 生成装置
１２１ ユーザ属性情報記憶部
１２２ 行動履歴情報記憶部
１２３ 行動予定情報記憶部
１２４ シード情報記憶部
１２５ モデル情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 抽出部
１３３ 生成部
１３４ 提供部
１０ 端末装置
Ｎ ネットワーク

Claims (10)

1. 端末装置を利用するユーザに関するユーザ情報を取得する取得部と、
   前記取得部により取得されたユーザ情報と、入力情報の基となる複数のベクトルから、前記ユーザ情報に基づいて選択したベクトルに基づく入力情報に応じて画像を出力する複数のモデルのうち、前記ユーザ情報に応じて選択されるモデルとに基づいて、前記端末装置に提供する提供画像を生成する生成部と、
   を備えることを特徴とする生成装置。
2. 前記生成部は、
   ユーザの属性情報を含む前記ユーザ情報に基づいて、前記端末装置に提供する提供画像を生成する
   ことを特徴とする請求項１に記載の生成装置。
3. 前記生成部は、
   ユーザが関心を有する対象に関する情報を含む前記ユーザ情報に基づいて、前記端末装置に提供する提供画像を生成する
   ことを特徴とする請求項１または請求項２に記載の生成装置。
4. 前記生成部は、
   ユーザの行動履歴を含む前記ユーザ情報に基づいて、前記端末装置に提供する提供画像を生成する
   ことを特徴とする請求項１〜３のいずれか１項に記載の生成装置。
5. 前記生成部は、
   ユーザの行動予定に関する情報を含む前記ユーザ情報に基づいて、前記端末装置に提供する提供画像を生成する
   ことを特徴とする請求項１〜４のいずれか１項に記載の生成装置。
6. 前記生成部は、
   前記ユーザ情報に基づいて推定されるユーザのコンテキストに基づいて、前記端末装置に提供する提供画像を生成する
   ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
7. 前記生成部は、
   前記ユーザ情報に基づいて推定されるユーザのコンテキストに基づくパラメータを用いて前記提供画像を生成する
   ことを特徴とする請求項６に記載の生成装置。
8. 前記生成部は、
   前記パラメータにより変動する前記入力情報を前記モデルに入力することにより前記提供画像を生成する
   ことを特徴とする請求項７に記載の生成装置。
9. コンピュータが実行する生成方法であって、
   端末装置を利用するユーザに関するユーザ情報を取得する取得工程と、
   前記取得工程により取得されたユーザ情報と、入力情報の基となる複数のベクトルから、前記ユーザ情報に基づいて選択したベクトルに基づく入力情報に応じて画像を出力する複数のモデルのうち、前記ユーザ情報に応じて選択されるモデルとに基づいて、前記端末装置に提供する提供画像を生成する生成工程と、
   を含むことを特徴とする生成方法。
10. 端末装置を利用するユーザに関するユーザ情報を取得する取得手順と、
    前記取得手順により取得されたユーザ情報と、入力情報の基となる複数のベクトルから、前記ユーザ情報に基づいて選択したベクトルに基づく入力情報に応じて画像を出力する複数のモデルのうち、前記ユーザ情報に応じて選択されるモデルとに基づいて、前記端末装置に提供する提供画像を生成する生成手順と、
    をコンピュータに実行させることを特徴とする生成プログラム。