JP6184536B2 - 生成装置、生成方法、及び生成プログラム - Google Patents

Description

本発明は、生成装置、生成方法、及び生成プログラムに関する。

従来、ユーザの端末装置にニュース記事等の文字情報を提供する場合、その文字情報の内容に基づく画像が文字情報とともに提供されている。このような場合、画像は、表示領域の大きさ等に応じて加工される。例えば、人の顔が含まれる画像における両目間の距離に基づいて画像を加工する技術が提供されている。

特開２００５−１０８２０７号公報

しかしながら、上記の従来技術では要約情報と加工画像とが適切に組み合わされたコンテンツを生成することができるとは限らない。例えば、文字情報に複数のトピックが含まれたり、画像に複数人の顔や複数の物体が含まれたりする場合、文字情報から要約として用いる箇所を決めたり、画像から加工画像として用いる箇所を決めたりすることが難しい。

本願は、上記に鑑みてなされたものであって、要約情報と加工画像とが適切に組み合わされたコンテンツを生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。

本願に係る生成装置は、文字情報と前記文字情報に対応する画像とを取得する取得部と、前記文字情報から生成される要約情報のスコアと、前記画像から生成される加工画像のスコアとに基づいて、要約情報と加工画像とを組み合わせたコンテンツを生成する生成部と、を備えたことを特徴とする。

実施形態の一態様によれば、要約情報と加工画像とが適切に組み合わされたコンテンツを生成することができるという効果を奏する。

図１は、実施形態に係る生成処理の一例を示す図である。 図２は、実施形態に係る配信システムの構成例を示す図である。 図３は、実施形態に係る生成装置の構成例を示す図である。 図４は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。 図５は、実施形態に係る端末装置の構成例を示す図である。 図６は、実施形態に係る生成処理の具体例を示す図である。 図７は、実施形態に係る携帯端末における表示の一例を示す図である。 図８は、実施形態に係る生成処理の一例を示すフローチャートである。 図９は、実施形態に係るトピックのスコアの一例を示す図である。 図１０は、実施形態に係る生成された組合せコンテンツの一例を示す図である。 図１１は、実施形態に係る生成された組合せコンテンツの一例を示す図である。 図１２は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１に示す生成処理は、生成装置１００（図３参照）により実行される。例えば、生成装置１００は、ニュースの記事等の文字情報とその文字情報に対応する画像とを含むコンテンツ（以下、「記事コンテンツ」とする場合がある）から生成した要約情報（以下、単に「要約」とする場合がある）と加工画像とを組み合わせたコンテンツ（以下、「組合せコンテンツ」とする場合がある）を生成する。図１に示す例では、文字情報ＩＡ１１と画像ＩＭ１１とを含む記事コンテンツＡＴ１１から組合せコンテンツが生成される例を示す。

なお、組合せコンテンツに含まれる要約は、記事コンテンツに含まれる文字情報に基づいて生成される。図１に示す例において、組合せコンテンツに含まれる要約は、記事コンテンツに含まれる文字情報から抽出した特徴情報（以下、「トピック」とする場合がある）に基づいて生成される。また、組合せコンテンツに含まれる加工画像は、記事コンテンツに含まれる画像を加工することにより生成される。図１に示す例において、組合せコンテンツに含まれる加工画像は、記事コンテンツに含まれる画像の所定の範囲をクロッピングすることにより生成される。例えば、加工画像は、画像中の特徴情報を含む範囲をクロッピングすることにより生成される。なお、ここでいうクロッピングとは画像から所定の領域を切り取る処理をいう。

また、図１中の表示領域Ａは、生成装置１００により生成される組合せコンテンツが表示されるコンテンツ表示領域ＡＲ１１（以下、単に「表示領域ＡＲ１１」とする場合がある）であり、生成装置１００は、表示領域ＡＲ１１内に収まるように組合せコンテンツを生成する。例えば、生成装置１００は、組合せコンテンツが表示される表示領域ＡＲ１１において、要約が表示される要約表示領域の割合と加工画像が表示される画像表示領域の割合とに基づいて、組合せコンテンツを生成する。

例えば、表示領域ＡＲ１１における要約表示領域の割合や画像表示領域の割合は、０〜１の間で適宜決定されてもよい。例えば、表示領域ＡＲ１１における要約表示領域の割合及び画像表示領域の割合が０．５とした場合、表示領域ＡＲ１１において要約と加工画像が均等に表示される。また、表示領域ＡＲ１１における要約表示領域の割合が０．７とし、画像表示領域の割合が０．３とした場合、表示領域ＡＲ１１において要約のほうが加工画像よりも大きな領域に表示される。また、表示領域ＡＲ１１における要約表示領域の割合が０．１とし、画像表示領域の割合が０．９とした場合、表示領域ＡＲ１１において加工画像のほうが要約よりも大きな領域に表示される。

また、生成装置１００は、表示領域ＡＲ１１に収まれば、組合せコンテンツに含まれる要約及び加工画像の形状及び配置はどのような組み合わせであってもよい。例えば、生成装置１００は、要約及び加工画像を左右方向に並べて表示してもよい。また、生成装置１００は、要約及び加工画像を上下方向に並べて表示してもよい。そこで、図１の例では、生成装置１００は、表示領域ＡＲ１１に収まる要約及び加工画像の複数の組合せを比較し、その比較結果に基づいて組合せコンテンツを生成する。具体的には、生成装置１００は、表示領域ＡＲ１１に収まる要約のスコア及び加工画像のスコアに基づく組合せコンテンツのスコアを比較し、そのスコアの比較結果に基づいて組合せコンテンツを生成する。

ここから、生成装置１００が文字情報ＩＡ１１と画像ＩＭ１１とを含む記事コンテンツＡＴ１１から組合せコンテンツを生成する具体例を説明する。図１に示す記事コンテンツＡＴ１１は、釣りに関するニュース記事であり、名称「○○」の人が魚を見せている画像ＩＭ１１を含む。また、記事コンテンツＡＴ１１の文字情報ＩＡ１１は、「Ｘ月Ｙ日、釣り名人○○氏が、△△海からＺｋｍ離れた沖で幻の深海魚を釣り上げた。○○氏は、…」といった、上記の釣りに関するニュースを伝達するための文章である。すなわち、図１に示す記事コンテンツＡＴ１１では、幻の深海魚が釣り上げられたことや、その釣り上げた人が「○○」であることや、その場所が「△△海」であることが重要な要素（トピック）であることが想定される。しかしながら、記事コンテンツＡＴ１１全体を表示領域ＡＲ１１に表示することができないため、表示領域ＡＲ１１に収まるように情報を集約しつつ、例えば上記の重要な要素（トピック）をできる限り含むように、要約及び加工画像を生成することが必要となる。

まず、生成装置１００は、記事コンテンツＡＴ１１からトピックを抽出する（ステップＳ１１）。例えば、生成装置１００は、記事コンテンツＡＴ１１に含まれる文字情報ＩＡ１１と画像ＩＭ１１とに基づいてトピックを抽出する。なお、生成装置１００は、トピック分析（解析）等の種々の従来手法を適宜用いて、記事コンテンツＡＴ１１からトピックを抽出してもよい。例えば、生成装置１００は、文字情報ＩＡ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＡ１１から重要なキーワードをトピックとして抽出してもよい。

図１では、生成装置１００は、トピック一覧ＴＬ１１に示すように、記事コンテンツＡＴ１１から、釣り名人の名称である「○○」や「深海魚」や「△△海」等のトピックを抽出する。なお、図１では、説明を簡単にするために３つのトピックを図示するが、トピック一覧ＴＬ１１には、他にも、日付を示す「Ｘ月Ｙ日」や「釣り」や「Ｚｋｍ」といった種々のトピックが含まれてもよい。

また、生成装置１００は、トピック一覧ＴＬ１１に基づいて、文字情報ＩＡ１１から要約を生成する。例えば、生成装置１００は、文字情報ＩＡ１１からトピックに対応する文字列を抽出し、抽出した文字列に基づいて要約を生成してもよい。なお、生成装置１００は、文字情報ＩＡ１１から文字列を抽出する場合に限らず、文字情報ＩＡ１１に含まれるトピックを伝達可能な他の文字列により表現する要約を生成してもよい。例えば、生成装置１００は、トピックが「フットボール」である場合、「サッカー」や「蹴球」の文字列を含む要約を生成してもよい。このように、生成装置１００は、トピックに対応する短い文字列を用いて要約を生成してもよい。

また、生成装置１００は、記事コンテンツＡＴ１１に基づいて画像ＩＭ１１における特徴情報が含まれる領域に関する特徴領域を抽出する（ステップＳ１２）。例えば、生成装置１００は、記事コンテンツＡＴ１１に含まれる文字情報ＩＡ１１と画像ＩＭ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。例えば、生成装置１００は、画像ＩＭ１１に基づいて、画像ＩＭ１１における特徴領域を抽出してもよい。また、例えば、生成装置１００は、文字情報ＩＡ１１に含まれるトピックに基づいて、画像ＩＭ１１における特徴領域を抽出してもよい。

なお、生成装置１００は、サリエンシーディテクション（Saliency Detection）等の画像処理における種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域を抽出する。例えば、生成装置１００は、Ｒ−ＣＮＮ(Regions with Convolutional Neural Network)等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理等の種々の従来手法を適宜用いて、画像における物体（対象）の認識による情報の抽出を行ってもよい。

図１では、生成装置１００は、特徴領域情報ＦＲ１１に示すように、記事コンテンツＡＴ１１に含まれる文字情報ＩＡ１１と画像ＩＭ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。なお、図１中の特徴領域情報ＦＲ１１では、特徴を示す領域を色が濃い態様で示す。すなわち、図１中の特徴領域情報ＦＲ１１では、画像ＩＭ１１において人の顔が位置する領域や、画像ＩＭ１１において魚が位置する領域が色の濃い態様で示される。

また、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１から加工画像を生成する。例えば、生成装置１００は、画像ＩＭ１１中特徴領域（図１中の色の濃い態様で示される領域）を含むようにクロッピングすることにより加工画像を生成する。例えば、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１から画像ＩＭ１１中の人の顔が位置する中央部の領域を含むようにクロッピングすることにより加工画像を生成する。また、例えば、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１から画像ＩＭ１１中の魚が位置する領域を含むようにクロッピングすることにより加工画像を生成する。また、例えば、生成装置１００は、画像ＩＭ１１から画像ＩＭ１１中の人の顔が位置する領域と魚が位置する領域との両方を含むようにクロッピングすることにより加工画像を生成する。

その後、生成装置１００は、要約及び加工画像の組合せを比較する（ステップＳ１３）。具体的には、生成装置１００は、表示領域ＡＲ１１に収まる要約のスコア及び加工画像のスコアに基づく組合せコンテンツのスコアを比較する。図１では、生成装置１００は、パターンＡ〜パターンＣ等に示すように、複数の組合せにおける組合せコンテンツのスコアを比較する。

例えば、パターンＡに示す組合せコンテンツＩＣ１１は、文章「釣り名人○○氏幻の深海魚釣り」である要約ＡＢ１１と、釣り名人「○○」の顔を含む加工画像ＰＭ１１とを含む。また、組合せコンテンツＩＣ１１は、表示領域ＡＲ１１に収まっており、要約ＡＢ１１と加工画像ＰＭ１１とは左右方向に並べて配置される。また、組合せコンテンツＩＣ１１は、表示領域ＡＲ１１中における要約ＡＢ１１と加工画像ＰＭ１１との表示の割合は、およそ７：３となっている。

また、例えば、パターンＢに示す組合せコンテンツＩＣ１２は、文章「○○氏が、△△海で幻の深海魚釣り上げ」である要約ＡＢ１２と、釣り名人「○○」の顔及び魚を含む加工画像ＰＭ１２とを含む。また、組合せコンテンツＩＣ１２は、表示領域ＡＲ１１に収まっており、要約ＡＢ１２と加工画像ＰＭ１２とは左右方向に並べて配置される。また、組合せコンテンツＩＣ１２は、表示領域ＡＲ１１中における要約ＡＢ１２と加工画像ＰＭ１２との表示の割合は、およそ８：２となっている。

また、例えば、パターンＣに示す組合せコンテンツＩＣ１３は、文章「○○氏、幻の魚を釣り上げ」である要約ＡＢ１３と、魚を含む加工画像ＰＭ１３とを含む。また、組合せコンテンツＩＣ１３は、表示領域ＡＲ１１に収まっており、要約ＡＢ１３と加工画像ＰＭ１３とは上下方向に並べて配置される。また、組合せコンテンツＩＣ１３は、表示領域ＡＲ１１中における要約ＡＢ１３と加工画像ＰＭ１３との表示の割合は、およそ５：５となっている。

そして、生成装置１００は、各パターンにおける要約及び加工画像のスコアを算出する。例えば、生成装置１００は、各パターンにおける要約について各トピックのスコアを算出する。また、例えば、生成装置１００は、各パターンにおける加工画像について各トピックのスコアを算出する。図１では、要約に同じ文字列が含まれる場合、その出現する位置や頻度に依らず同じスコアとなる場合を示す。また、図１では、加工画像に同じ対象が含まれる場合、その画像中に占める割合に応じてスコアが変動する場合を示す。すなわち、図１では、加工画像に同じ対象が含まれる場合、その画像中に占める割合が大きいほどスコアが大きくなる場合を示す。

例えば、組合せコンテンツＩＣ１１の要約ＡＢ１１には、名称「○○」や深海魚が含まれるため、パターンＡのスコア表ＳＣ１１中のトピック「○○」の文字スコアは「０．６」となり、トピック「深海魚」の文字スコアは「０．５」となる。また、要約ＡＢ１１には、「△△海」が含まれないため、パターンＡのスコア表ＳＣ１１中のトピック「△△海」の文字スコアは「０」となる。また、例えば、組合せコンテンツＩＣ１１の加工画像ＰＭ１１には、釣り名人「○○」の顔が含まれるため、パターンＡのスコア表ＳＣ１１中のトピック「○○」の画像スコアは「０．９」となる。また、加工画像ＰＭ１１には、魚が含まれないため、パターンＡのスコア表ＳＣ１１中のトピック「深海魚」の画像スコアは「０」となる。

そして、生成装置１００は、各トピックの文字スコア及び画像スコアに基づいて、組合せコンテンツの全体のスコアを算出する。例えば、生成装置１００は、各トピックの文字スコア及び画像スコアを合算することにより、組合せコンテンツの全体のスコアを算出する。図１では、組合せコンテンツＩＣ１１の全体のスコアは「２．８」となる。

また、例えば、組合せコンテンツＩＣ１２の要約ＡＢ１２には、名称「○○」や深海魚が含まれるため、パターンＢのスコア表ＳＣ１２中のトピック「○○」の文字スコアは「０．６」となり、トピック「深海魚」の文字スコアは「０．５」となる。また、要約ＡＢ１２には、「△△海」が含まれるため、パターンＢのスコア表ＳＣ１２中のトピック「△△海」の文字スコアは「１」となる。これにより、組合せコンテンツＩＣ１２の全体の文字スコアは、組合せコンテンツＩＣ１１の全体の文字スコアよりも大きくなる。

また、組合せコンテンツＩＣ１２の加工画像ＰＭ１２には、釣り名人「○○」の顔と魚が含まれるため、パターンＢのスコア表ＳＣ１２中のトピック「○○」の画像スコアは「０．６」となり、トピック「深海魚」の画像スコアは「１．５」となる。ここで、加工画像ＰＭ１２に占める釣り名人「○○」の顔の割合は、加工画像ＰＭ１１に占める釣り名人「○○」の顔の割合よりも小さい。そのため、組合せコンテンツＩＣ１２のトピック「○○」の画像スコア「０．６」は、組合せコンテンツＩＣ１１のトピック「○○」の画像スコア「０．９」よりも小さくなる。

また、例えば、組合せコンテンツＩＣ１３の要約ＡＢ１３には、名称「○○」や魚が含まれるため、パターンＣのスコア表ＳＣ１３中のトピック「○○」の文字スコアは「０．６」となり、トピック「深海魚」の文字スコアは「０．３」となる。ここで、要約ＡＢ１３に含まれる文字列は「深海魚」ではなく「魚」である。そのため、組合せコンテンツＩＣ１３のトピック「深海魚」の文字スコア「０．３」は、組合せコンテンツＩＣ１１や組合せコンテンツＩＣ１２のトピック「深海魚」の文字スコア「０．５」よりも小さくなる。

また、組合せコンテンツＩＣ１３の加工画像ＰＭ１３には、魚が含まれるため、パターンＣのスコア表ＳＣ１３中のトピック「深海魚」の画像スコアは「２．２」となる。ここで、加工画像ＰＭ１３に占める魚の割合は、加工画像ＰＭ１２に占める釣魚の割合よりも大きい。そのため、組合せコンテンツＩＣ１３のトピック「深海魚」の画像スコア「２．２」は、組合せコンテンツＩＣ１２のトピック「深海魚」の画像スコア「１．５」よりも大きくなる。

その後、生成装置１００は、各パターンにおける全体のスコアに基づいて組合せコンテンツを生成する（ステップＳ１４）。例えば、生成装置１００は、各パターンの組合せコンテンツのうち、全体のスコアが最大となる組合せコンテンツを生成する。図１では、生成装置１００は、パターンＢの組合せコンテンツＩＣ１２を生成する。具体的には、生成装置１００は、要約ＡＢ１２と加工画像ＰＭ１２とを含む組合せコンテンツＩＣ１２を生成する。

上述したように、生成装置１００は、各パターンにおける全体のスコアに基づいて組合せコンテンツを生成する。すなわち、生成装置１００は、各パターンのうち、全体のスコアが最大となる組合せコンテンツを生成する。これにより、生成装置１００は、記事コンテンツに含まれる各トピックの重要度やトピック数に応じて、できるだけ多くの情報を含むように組合せコンテンツを生成する。したがって、生成装置１００は、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。なお、記事コンテンツＡＴ１１における各トピックの重要度に応じて、トピックのスコアの最大値は変動してもよい。例えば、記事コンテンツＡＴ１１の場合、日付「Ｘ月Ｙ日」や距離「Ｚｋｍ」等のトピックは、他のトピックよりもスコアの最大値が小さくてもよい。具体的には、記事コンテンツＡＴ１１の場合、日付「Ｘ月Ｙ日」のスコアの最大値を「０．２」とし、距離「Ｚｋｍ」のスコアの最大値を「０．１」としてもよい。

また、例えば、記事コンテンツＡＴ１１の場合、名称「○○」や深海魚等のトピックは、他のトピックよりもスコアの最大値が大きくてもよい。具体的には、記事コンテンツＡＴ１１の場合、名称「○○」のスコアの最大値を「２」とし、深海魚のスコアの最大値を「２．５」としてもよい。この場合、図１では、パターンＣに示す組合せコンテンツＩＣ１３において深海魚のスコアは最大値である「２．５」のため、魚を含む加工画像ＰＭ１３をこれ以上大きくしても深海魚のスコアは大きくならない。したがって、要約ＡＢ１３中の「○○氏」や「釣り上げ」等の文字列を除いて、加工画像ＰＭ１３を大きくしても深海魚のスコアは変わらず、名称「○○」のスコアや「釣り」のスコアが下がるため、全体としてのスコアが下がることになる。このように各トピックのスコアの最大値を設けることにより、重要な要素（トピック）のみが表示されることを抑制し、記事コンテンツに含まれるできるだけ多くの情報を含むように組合せコンテンツを生成することが可能となる。なお、生成装置１００は、文字情報のみに含まれるトピックや画像情報のみに含まれるトピックは優先的に要約や加工画像に含まれるように組合せコンテンツを生成してもよい。例えば、図１では、トピック「△△海」は、文字情報にのみ含まれるトピックとして、優先的に要約に含まれるように組合せコンテンツを生成してもよい。

また、生成装置１００は、要約または加工画像のいずれかを先に決定し、他方との組合せに基づいて組合せコンテンツを生成してもよい。例えば、生成装置１００は、画像に基づいてコンテンツ表示領域中の画像表示領域の大きさを決定する。そして、生成装置１００は、画像から画像表示領域に収まる大きさの複数の加工画像を生成する。また、生成装置１００は、生成した複数の加工画像から画像スコアが最大の加工画像を組合せコンテンツに用いる。そして、生成装置１００は、画像表示領域に基づいて決定される要約表示領域に応じて要約を生成する。例えば、生成装置１００は、要約表示領域に収まる要約を複数生成し、画像スコアが最大の加工画像と組み合わせた場合に全体のスコアが最大になる要約を組合せコンテンツに用いる。また、例えば、生成装置１００は、文字情報に基づいてコンテンツ表示領域中の要約表示領域の大きさを決定する。そして、生成装置１００は、文字情報から要約表示領域に収まる大きさの複数の要約を生成する。また、生成装置１００は、生成した複数の要約から文字スコアが最大の要約を組合せコンテンツに用いる。そして、生成装置１００は、要約表示領域に基づいて決定される画像表示領域に応じて加工画像を生成する。例えば、生成装置１００は、画像表示領域に収まる加工画像を複数生成し、文字スコアが最大の要約と組み合わせた場合に全体のスコアが最大になる加工画像を組合せコンテンツに用いる。

また、生成装置１００は、トピックの重要度が所定の条件を満たす場合、そのトピックに関する特徴領域を含むように加工画像を生成してもよい。例えば、図１では、生成装置１００は、トピック「深海魚」が重要であり、トピック「深海魚」の重要度が所定の閾値以上である場合、生成装置１００は、トピック「深海魚」に関する特徴領域を含むように加工画像を生成してもよい。この場合、生成装置１００は、加工画像ＰＭ１１を生成せずに、加工画像ＰＭ１２、ＰＭ１３等を生成してもよい。

また、上述した例においては、文字情報と対応する画像を含む記事コンテンツから組合せコンテンツを生成する場合を説明したが、生成装置１００は、文字情報と画像とのいずれか一方のみが与えられた場合であっても、組合せコンテンツを生成してもよい。例えば、生成装置１００は、文字情報のみが与えられた場合、画像は所定の記憶手段から抽出してもよい。この場合、生成装置１００は、文字情報から抽出したトピック（特徴情報）に基づいて、所定の記憶手段から画像を抽出してもよい。そして、生成装置１００は、文字情報と抽出した画像とに基づいて、上述した処理を行ってもよい。また、例えば、生成装置１００は、画像のみが与えられた場合、画像から要約を生成してもよい。この場合、生成装置１００は、画像から抽出したトピック（特徴情報）に基づいて、そのトピックを含む文字情報を生成してもよい。そして、生成装置１００は、生成した文字情報と画像とに基づいて、上述した処理を行ってもよい。

なお、図１の例では、パターンＢの全体のスコアが最大となる場合を例示したが、記事内容に応じて、パターンＡの全体のスコアやパターンＣの全体のスコアが最大になってもよい。以下、この点について説明する。例えば、単純に画像のみに基づいて、クロッピングを行った場合、どの範囲をフォーカスすればよいか、すなわちどの範囲をクロッピングすればよいかの判断が難しい。例えば、単純に画像のみに基づいてクロッピングを行うと、人と魚が含まれる図１中の画像ＩＭ１１のような場合、人にフォーカスすればよいか、魚にフォーカスすればよいか、人と魚の両方にフォーカスすればよいかの判断が難しい。図１では、生成装置１００は、記事コンテンツＡＴ１１（文字情報ＩＡ１１）に基づいて、人と魚との両方が重要である判定する。例えば、生成装置１００は、文字情報ＩＡ１１中に「釣り名人○○氏」という人の著名性に関する情報や「幻の深海魚」という魚の希少性に関す情報が含まれるため、人と魚との両方が重要である判定する。そのため、図１では、生成装置１００は、人と魚の両方が重要であると判定し、人と魚の両方にフォーカスした画像である加工画像ＰＭ１２を含むパターンＢの組合せコンテンツＩＣ１２を生成する。

一方、例えば、記事コンテンツ（文字情報）の内容が、人に関する情報が主である場合、人のみが重要である判定する。例えば、生成装置１００は、文字情報中に人の著名性に関する情報やその人に関する情報が主に含まれる場合、人のみが重要である判定する。この場合、例えば、図１では、生成装置１００は、人のみにフォーカスした画像である加工画像ＰＭ１１を含むパターンＡの組合せコンテンツＩＣ１１を生成する。また、例えば、記事コンテンツ（文字情報）の内容が、魚に関する情報が主である場合、魚のみが重要である判定する。例えば、生成装置１００は、文字情報中に魚の希少性に関する情報やその魚に関する情報が主に含まれる場合、魚のみが重要である判定する。この場合、例えば、図１では、生成装置１００は、魚のみにフォーカスした画像である加工画像ＰＭ１３を含むパターンＣの組合せコンテンツＩＣ１３を生成する。このように、生成装置１００は、記事コンテンツの内容に応じて、画像のどの範囲にフォーカスするかを適宜変更することにより、記事コンテンツについて適切な要約及び加工画像を含む組合せコンテンツを生成することができる。なお、図１において、生成装置１００は、上述したような判定による組合せコンテンツの生成をスコアに基づいて行う。

〔２．配信システムの構成〕
図２に示すように、配信システム１は、端末装置１０と、提供元端末５０と、生成装置１００とが含まれる。端末装置１０と、提供元端末５０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る配信システムの構成例を示す図である。なお、図２に示した配信システム１には、複数台の端末装置１０や、複数台の提供元端末５０や、複数台の生成装置１００が含まれてもよい。

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。

提供元端末５０は、文字情報や画像等のコンテンツの提供元によって利用される情報処理装置である。例えば、文字情報や画像等のコンテンツの提供元は、提供元端末５０により、図４に示すような文字情報や画像を生成装置１００へ提供する。

生成装置１００は、文字情報から生成される要約のスコアと、画像から生成される加工画像のスコアとに基づいて、要約と加工画像とを組み合わせた組合せコンテンツを生成する情報処理装置である。また、本実施形態において生成装置１００は、生成した組合せコンテンツを端末装置１０へ配信するコンテンツ配信サービスを提供する。

〔３．生成装置の構成〕
次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、コンテンツ情報記憶部１２１を有する。

（コンテンツ情報記憶部１２１）
実施形態に係るコンテンツ情報記憶部１２１は、コンテンツに関する各種情報を記憶する。図４に、実施形態に係るコンテンツ情報記憶部１２１の一例を示す。図４に示すコンテンツ情報記憶部１２１は、「コンテンツＩＤ」、「文字情報」、「画像」、「画像ＩＤ」、「提供元ＩＤ」、「トピック１」、「トピック２」、「トピック３」といった項目を有する。

「コンテンツＩＤ」は、記事コンテンツを識別するための識別情報を示す。「文字情報」は、対応する記事コンテンツに含まれる文字情報を示す。また、「画像」は、対応する記事コンテンツに含まれる画像を示す。図４では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「画像ＩＤ」は、画像を識別するための識別情報を示す。例えば、画像ＩＤ「ＩＭ１１」により識別される画像は、図１の例に示した画像ＩＭ１１に対応する。また、「提供元ＩＤ」は、記事コンテンツの提供元を識別するための識別情報を示す。また、「トピック１」〜「トピック３」は、記事コンテンツから抽出された特徴情報（トピック）を示す。

例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１１」により識別される記事コンテンツＡＴ１１は、文字情報「Ｘ月Ｙ日、釣り名人○○氏が、…」と画像ＩＤ「ＩＭ１１」により識別される画像ＩＭ１１を含む記事コンテンツＡＴ１１であることを示す。また、コンテンツＩＤ「ＡＴ１１」により識別される記事コンテンツＡＴ１１は、提供元ＩＤ「ＣＰ１１」により識別される提供元から取得した記事コンテンツＡＴ１１であることを示す。また、コンテンツＩＤ「ＡＴ１１」により識別される記事コンテンツＡＴ１１のトピックは、「○○」と「深海魚」と「△△海」等であることを示す。

また、例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１２」により識別される記事コンテンツは、文字情報「日本代表サッカー選手××は、…」と画像ＩＤ「ＩＭ１２」により識別される画像を含む記事コンテンツであることを示す。また、コンテンツＩＤ「ＡＴ１２」により識別される記事コンテンツは、提供元ＩＤ「ＣＰ１２」により識別される提供元から取得した記事コンテンツであることを示す。また、コンテンツＩＤ「ＡＴ１２」により識別される記事コンテンツのトピックは、「××」と「移籍」と「サッカー」等であることを示す。

なお、コンテンツ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツのカテゴリに関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、記事コンテンツを取得した日時や記事コンテンツが作成された日時に関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、記事コンテンツの文字情報における重要語に関する情報を記憶してもよい。また、コンテンツ情報記憶部１２１中の画像は、画像の提供元や画像に関する権利（著作権等）を有する第三者から、画像への加工、すなわち二次加工に関する許諾が得られていることが判断（確認)され、管理（記憶）されているものとする。

（制御部１３０）
図３の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、算出部１３３と、生成部１３４と、配信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

（取得部１３１）
取得部１３１は、文字情報と、文字情報と文字情報に対応する画像とを取得する。取得部１３１は、文字情報のみを取得してもよい。例えば、取得部１３１は、コンテンツ情報記憶部１２１から文字情報と画像（画像情報）とを含む記事コンテンツを取得する。また、取得部１３１は、文字情報に対応する複数の画像を取得してもよい。

また、取得部１３１は、端末装置１０からコンテンツの配信要求を取得する。また、取得部１３１は、外部の情報処理装置からコンテンツ情報記憶部１２１に記憶される記事コンテンツを取得する。この場合、例えば、取得部１３１は、提供元端末５０から記事コンテンツを取得する。また、取得部１３１は、記事コンテンツにおけるトピックに関する情報を取得してもよい。例えば、取得部１３１は、記事コンテンツにおけるトピックに関する指定を記事コンテンツの提供元から取得してもよい。この場合、例えば、取得部１３１は、提供元端末５０から記事コンテンツにおけるトピックに関する指定を取得する。

（抽出部１３２）
抽出部１３２は、記事コンテンツからトピックを抽出する。図１では、抽出部１３２は、記事コンテンツＡＴ１１からトピックを抽出する。例えば、抽出部１３２は、記事コンテンツＡＴ１１に含まれる文字情報ＩＡ１１と画像ＩＭ１１とに基づいてトピックを抽出する。なお、抽出部１３２は、トピック分析（解析）等の種々の従来手法を適宜用いて、記事コンテンツＡＴ１１からトピックを抽出してもよい。例えば、抽出部１３２は、文字情報ＩＡ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＡ１１から重要なキーワードをトピックとして抽出してもよい。

また、抽出部１３２は、記事コンテンツに基づいて画像における特徴情報が含まれる領域に関する特徴領域を抽出する。図１では、抽出部１３２は、記事コンテンツＡＴ１１に基づいて画像ＩＭ１１における特徴領域を抽出する。例えば、抽出部１３２は、記事コンテンツＡＴ１１に含まれる文字情報ＩＡ１１と画像ＩＭ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。例えば、抽出部１３２は、画像ＩＭ１１に基づいて、画像ＩＭ１１における特徴領域を抽出してもよい。また、例えば、抽出部１３２は、文字情報ＩＡ１１に含まれるトピックに基づいて、画像ＩＭ１１における特徴領域を抽出してもよい。

（算出部１３３）
算出部１３３は、各パターンにおける要約及び加工画像のスコアを算出する。例えば、算出部１３３は、各パターンにおける要約について各トピックのスコアを算出する。また、例えば、算出部１３３は、各パターンにおける加工画像について各トピックのスコアを算出する。また、算出部１３３は、各トピックの文字スコア及び画像スコアに基づいて、組合せコンテンツの全体のスコアを算出する。

（生成部１３４）
生成部１３４は、文字情報から生成される要約のスコアと、画像から生成される加工画像のスコアとに基づいて、要約と加工画像とを組み合わせた組合せコンテンツを生成する。例えば、生成部１３４は、要約に含まれる特徴情報（トピック）に基づく要約のスコアと、加工画像に含まれる特徴情報（トピック）に基づく加工画像のスコアとに基づいて、組合せコンテンツを生成する。図１では、生成部１３４は、要約に含まれるトピックに基づく文字スコアと、加工画像に含まれるトピックに基づく画像スコアとに基づいて、組合せコンテンツを生成する。例えば、生成部１３４は、各パターンの組合せコンテンツのうち、全体のスコアが最大となる組合せコンテンツを生成する。図１では、生成部１３４は、パターンＢの組合せコンテンツＩＣ１２を生成する。具体的には、生成部１３４は、要約ＡＢ１２と加工画像ＰＭ１２とを含む組合せコンテンツＩＣ１２を生成する。

例えば、生成部１３４は、組合せコンテンツが表示されるコンテンツ表示領域において、要約が表示される要約表示領域の割合と加工画像が表示される画像表示領域の割合とに基づいて、組合せコンテンツを生成する。図１では、生成部１３４は、組合せコンテンツが表示される表示領域ＡＲ１１において、要約が表示される要約表示領域の割合と加工画像が表示される画像表示領域の割合とに基づいて、組合せコンテンツを生成する。生成部１３４は、要約表示領域の割合と画像表示領域の割合とが変動する表示領域ＡＲ１１に表示されるコンテンツを生成する。

また、生成部１３４は、画像に基づいて決定される画像表示領域に応じて生成される加工画像と、画像表示領域に基づいて決定される要約表示領域に応じて生成される要約とを含む組合せコンテンツを生成する。生成部１３４は、文字情報に基づいて決定される要約表示領域に応じて生成される要約と、画像表示領域に基づいて決定される画像表示領域に応じて生成される加工画像とを含む組合せコンテンツを生成する。

また、生成部１３４は、組み合わされる加工画像に応じて変動する要約のスコア、または組み合わされる要約情報に応じて変動する加工画像のスコアに基づいて、コンテンツを生成する。また、生成部１３４は、画像に含まれる特徴情報に基づく形状の加工画像を生成する。生成部１３４は、画像に含まれる複数の特徴情報のうち、特徴情報の重要度が所定の条件を満たす特徴情報を含む加工画像を生成する。生成部１３４は、複数の画像に含まれる複数の特徴情報のうち、特徴情報の重要度が所定の条件を満たし、複数の画像から抽出される特徴情報に基づいて生成される加工画像を含むコンテンツを生成する。

（配信部１３５）
配信部１３５は、生成部１３４により生成された組合せコンテンツを端末装置１０へ配信する。また、配信部１３５は、コンテンツ情報記憶部１２１に記憶された記事コンテンツを端末装置１０へ配信してもよい。

〔４．端末装置の構成〕
次に、図５を用いて、実施形態に係る端末装置１０の構成について説明する。図５は、実施形態に係る端末装置１０の構成例を示す図である。図５に示すように、端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５とを有する。

（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、生成装置１００との間で情報の送受信を行う。

（記憶部１２）
記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、端末装置１０にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。

（入力部１３）
入力部１３は、ユーザからの各種操作を受け付ける。例えば、入力部１３は、タッチパネル機能により表示面（例えば表示部１５３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１３は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。

（出力部１４）
出力部１４は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。

（制御部１５）
制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１２などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、インストールされているアプリケーションのプログラムが含まれる。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図５に示すように、制御部１５は、送信部１５１と、受信部１５２と、表示部１５３とを有し、以下に説明する生成処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図５に示した構成に限られず、後述する生成処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。

送信部１５１は、各種情報を外部の情報処理装置へ送信する。送信部１５１は、入力部１３により受け付けたユーザ操作に従って、生成装置１００へコンテンツの配信要求を送信する。例えば、送信部１５１は、アプリからの配信要求を生成装置１００へ送信する。

受信部１５２は、各種情報を外部の情報処理装置から受信する。受信部１５２は、生成装置１００から配信されたコンテンツを受信する。具体的には、受信部１５２は、記事コンテンツから生成された組合せコンテンツ等を含むコンテンツを受信する。例えば、受信部１５２は、コンテンツＣＴ１１〜ＣＴ１４（図７参照）を受信する。

表示部１５３は、受信部１５２により受信されたコンテンツを表示する。例えば、表示部１５３は、受信部１５２により受信されたコンテンツＣＴ１１〜ＣＴ１４含むウェブページＷ１０（図７参照）を表示する。

なお、上述した制御部１５による表示処理等の処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した表示処理が所定のアプリケーションにより行われる場合や表示処理が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。

〔５．生成処理の具体例〕
次に、図６を用いて、実施形態に係る生成装置１００による生成処理について説明する。図６は、実施形態に係る生成処理の具体例を示す図である。

図６は、図１に示す組合せコンテンツＩＣ１２が生成される場合の文字情報と画像とに含まれる特徴情報（トピック）についての具体例を示す。例えば、図６に示す例において、生成装置１００は、画像ＩＭ１１において人の顔が映っている箇所を特徴領域ＣＲ１１として抽出する。また、生成装置１００は、画像ＩＭ１１において魚が映っている箇所を特徴領域ＣＲ１２として抽出する。これにより、生成装置１００は、画像ＩＭ１１から人の顔や魚等が映っている箇所を特徴領域として示す特徴領域情報ＦＲ１１を生成する。

また、図６に示す例において、生成装置１００は、文字情報ＩＡ１１からトピックＴＰ１１〜ＴＰ１４等を抽出する。例えば、生成装置１００は、文字情報ＩＡ１１からトピックＴＰ１１として名称「○○」を抽出し、トピックＴＰ１２として「深海魚」を抽出し、トピックＴＰ１３として「△△海」を抽出し、トピックＴＰ１１として「釣り」等を抽出する。なお、図６に示すトピックＴＰ１１〜ＴＰ１４は一例であって、生成装置１００は、文字情報ＩＡ１１から他のトピックを抽出してもよい。

そして、生成装置１００は、特徴領域情報ＦＲ１１やトピックＴＰ１１〜ＴＰ１４等に基づいて、記事コンテンツＡＴ１１から、パターンＢの組合せコンテンツＩＣ１２を生成する。具体的には、生成装置１００は、要約ＡＢ１２と加工画像ＰＭ１２とを含む組合せコンテンツＩＣ１２を生成する。

〔６．組合せコンテンツの表示例〕
次に、図７を用いて、実施形態に係る端末装置１０における組合せコンテンツの表示について説明する。図７は、実施形態に係る携帯端末における表示の一例を示す図である。図７では、端末装置１０が生成装置１００からコンテンツＣＴ１１〜ＣＴ１４等のコンテンツを受信した場合を例に説明する。

図７に示す例において、端末装置１０には、コンテンツＣＴ１１〜ＣＴ１４を含むウェブページＷ１０が表示される。なお、コンテンツＣＴ１４の下部には、図示しないコンテンツが並べて配置されており、ユーザがスクロール操作等を行うことにより、表示するコンテンツを変更することができる。

例えば、コンテンツＣＴ１１は、図４中のコンテンツＩＤ「ＡＴ１１」により識別される記事コンテンツから生成された組合せコンテンツである。すなわち、図７に示すウェブページＷ１０中の上部に表示されるコンテンツＣＴ１１は、図１中の組合せコンテンツＩＣ１２に対応する。このように、端末装置１０は、生成装置１００が生成した組合せコンテンツＩＣ１２と他のコンテンツＣＴ１２〜ＣＴ１４とを表示する。なお、コンテンツＣＴ１２〜ＣＴ１４も記事コンテンツから生成された組合せコンテンツであってもよい。

この場合、コンテンツＣＴ１１〜ＣＴ１４は、生成される際に他のコンテンツＣＴ１１〜１４の表示態様と調和するように組合せが決定されてもよい。例えば、生成装置１００は、生成する組合せコンテンツとともに表示されるコンテンツの表示態様に応じて、組合せコンテンツを生成してもよい。例えば、コンテンツＣＴ１１〜ＣＴ１４は、各コンテンツにおける要約表示領域の割合や画像表示領域の割合が所定の規則になるように、生成されてもよい。例えば、コンテンツＣＴ１１〜ＣＴ１４は、各コンテンツにおける要約表示領域の割合や画像表示領域の割合が等しくなるように、生成されてもよい。例えば、コンテンツＣＴ１１〜ＣＴ１４は、各コンテンツにおける要約表示領域の割合が上位から徐々に大きくなるように、生成されてもよい。例えば、コンテンツＣＴ１１〜ＣＴ１４は、各コンテンツにおける要約表示領域の割合が上位から徐々に小さくなるように、生成されてもよい。

〔７．生成処理フロー〕
次に、図８を用いて、実施形態に係る配信システム１におけるコンテンツの生成処理について説明する。図８は、実施形態に係る生成処理の一例を示すフローチャートである。

まず、図８に示す例において、生成装置１００は、文字情報及び画像を含む記事コンテンツを取得する（ステップＳ１０１）。例えば、生成装置１００は、文字情報及び画像を含む記事コンテンツをコンテンツ情報記憶部１２１から取得する。

そして、生成装置１００は、記事コンテンツからトピックを抽出する（ステップＳ１０２）。また、生成装置１００は、画像から特徴領域を抽出する（ステップＳ１０３）。

その後、生成装置１００は、文字情報から複数の要約を生成する（ステップＳ１０４）。また、生成装置１００は、画像情報から複数の加工画像を生成する（ステップＳ１０５）。

そして、生成装置１００は、表示領域に表示可能な要約と加工画像との各組合せのスコアを算出する（ステップＳ１０６）。そして、生成装置１００は、スコアが最大となる組合せの要約と加工画像との組合せコンテンツを生成する（ステップＳ１０７）。

〔８．トピックのスコアについて〕
上述した例において、各トピックの文字スコアは、要約中にそのトピックに対応する文字列が含まれるかに応じて算出し、各トピックの画像スコアは、加工画像中にそのトピックに対応する領域が含まれるかに応じて算出する例を示した。しかしながら、各トピックのスコアは上記に限らず、種々の条件に基づいて算出されてもよい。具体的には、文字スコアは、要約のみでなく他の情報に基づいて算出されてもよい。画像スコアは、加工画像のみでなく他の情報に基づいて算出されてもよい。例えば、文字スコアは、要約に組み合わされる加工画像に基づいて算出されてもよい。この点について図９を用いて説明する。図９は、実施形態に係るトピックのスコアの一例を示す図である。

図９に示す実在人物情報ＣＮ２１は、名辞、すなわち人の名前「○○○△△△」とその人の実体、すなわち顔を含む姿形（以下、「画像」とする）とが対応づいた情報を示す。例えば、実在人物情報ＣＮ２１に示す名前と画像とは共通の一つの概念（以下、「実在人物情報ＣＮ２１の人」とする）に対応する。

ここで、実在人物情報ＣＮ２１の人に関する組合せコンテンツを生成する場合、実在人物情報ＣＮ２１の人に対応する文字列によって、どれくらいのユーザが実在人物情報ＣＮ２１の人を想起（認識）できるかによって文字スコアを変動させる。例えば、名前「○○○△△△」だけで、多くのユーザが実在人物情報ＣＮ２１の人を想起できる場合、画像の有無によっては、ユーザの組合せコンテンツに対する認識率の影響は小さいとする。そこで、生成装置１００は、要約に名前「○○○△△△」を含む場合、加工画像に実在人物情報ＣＮ２１の人が含まれるか否かによるトピック「○○○△△△」のスコアの差を小さくする。具体的には、生成装置１００は、スコアリストＳＬ２１に示すように、文字列「○○○△△△」が要約に含まれる場合、加工画像に実在人物情報ＣＮ２１の人に含まれればトピック「○○○△△△」の文字スコアを「１．０」にする。また、生成装置１００は、文字列「○○○△△△」が要約に含まれる場合、加工画像に実在人物情報ＣＮ２１の人に含まれなければトピック「○○○△△△」の文字スコアを「０．９」にする。

また、実在人物情報ＣＮ２１の人は、その人の氏「○○○」や名「△△△」や愛称「□□」といった文字列によっても、ユーザが実在人物情報ＣＮ２１の人を想起できる。しかしながら、多くの場合、名前「○○○△△△」に比べて、その人の氏「○○○」や名「△△△」や愛称「□□」といった文字列では、実在人物情報ＣＮ２１の人を想起できるユーザの割合は少なくなる。

そこで、生成装置１００は、要約に愛称「□□」を含む場合、加工画像に実在人物情報ＣＮ２１の人が含まれるか否かによるトピック「○○○△△△」のスコアの差を大きくする。具体的には、生成装置１００は、スコアリストＳＬ２１に示すように、文字列「□□」が要約に含まれる場合、加工画像に実在人物情報ＣＮ２１の人に含まれればトピック「○○○△△△」の文字スコアを「０．８」にする。また、生成装置１００は、文字列「□□」が要約に含まれる場合、加工画像に実在人物情報ＣＮ２１の人に含まれなければトピック「○○○△△△」の文字スコアを「０．１」にする。

このように、トピックの特性に応じて、文字スコアを変動させることにより、トピックに関する文字列を短くして他のトピックの情報を増やすかどうかを適切に決定できる。すなわち、生成装置１００は、要約情報と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。なお、画像ありなしの文字スコアは、その人と他者との識別できる可能性に応じて変動させてもよい。例えば、同じ名前の他者が多い人ほど、画像なしスコアより、画像ありスコアが高くなるようにしてもよい。また、画像なしスコアと画像ありスコアとの差は、文字列のみをユーザに提示した場合と、画像とともに文字列をユーザに提示した場合に、その文字列に対応する対象（概念）をユーザが想起できた確率に基づいて決定されてもよい。また、上記の例では、画像の有無によるトピックの文字スコアの変動について説明したが、文字列の有無によってトピックの画像スコアを変動させてもよい。

〔９．複数の情報について〕
上述した例において、組合せコンテンツの生成に１つの文字情報と１つの画像とを用いる例を示したが、文字情報や画像情報は各々複数であってもよい。すなわち、生成装置１００は、複数の文字情報と複数の画像とを用いて組合せコンテンツを生成してもよい。この点について図１０を用いて説明する。図１０は、実施形態に係る生成された組合せコンテンツの一例を示す図である。具体的には、図１０では、生成装置１００は、１つの文字情報ＩＡ３１と２つの画像ＩＭ３１−１、ＩＭ３１−２とを用いて組合せコンテンツを生成する。

まず、生成装置１００は、記事コンテンツＡＴ３１からトピックを抽出する。また、生成装置１００は、記事コンテンツＡＴ３１に基づいて画像ＩＭ３１−１における特徴情報が含まれる領域に関する特徴領域を抽出する。また、生成装置１００は、記事コンテンツＡＴ３１に基づいて画像ＩＭ３１−２における特徴情報が含まれる領域に関する特徴領域を抽出する。

その後、生成装置１００は、要約及び加工画像の組合せを比較する。具体的には、生成装置１００は、表示領域ＡＲ３１に収まる要約及び加工画像の組合せのパターンのスコアを比較する。その後、生成装置１００は、各パターンにおける全体のスコアに基づいて組合せコンテンツを生成する（ステップＳ３１）。例えば、生成装置１００は、各パターンの組合せコンテンツのうち、全体のスコアが最大となる組合せコンテンツを生成する。

図１０では、生成装置１００は、要約ＡＢ３１と加工画像ＰＭ３１−１と加工画像ＰＭ３１−２とを含む組合せコンテンツＩＣ３１を生成する。具体的には、生成装置１００は、要約ＡＢ３１を中央に配置し、加工画像ＰＭ３１−１を左側、加工画像ＰＭ３１−２を右側に各々配置した組合せコンテンツＩＣ３１を生成する。

このように、生成装置１００は、ボクシングで対戦する２人の顔写真である加工画像ＰＭ３１−１及び加工画像ＰＭ３１−２を両側に配置することにより、Ｍ月Ｎ日にボクシングの対戦があることをユーザに認識させることができる。すなわち、図１０の例では、生成装置１００は、加工画像ＰＭ３１−１や加工画像ＰＭ３１−２に含まれる人物の名前を要約ＡＢ３１に含めずに、加工画像ＰＭ３１−１の人物と加工画像ＰＭ３１−２の人物の２人が対戦することをユーザに認識させることができる。なお、加工画像ＰＭ３１−１と加工画像ＰＭ３１−２とを合成して１つの加工画像としてもよい。

〔１０．情報の表示態様〕
上述した例では、組合せコンテンツに含まれる加工画像が矩形上に生成される例を示したが、加工画像はどのような形状に生成されてもよい。この点について、図１１を用いて説明する。図１１は、実施形態に係る生成された組合せコンテンツの一例を示す図である。具体的には、図１１では、生成装置１００は、円形にクロッピングされた加工画像を示す。

図１１では、生成装置１００は、表示領域ＡＲ４１に収まるように、要約ＡＢ４１と加工画像ＰＭ４１とを含む組合せコンテンツＩＣ４１を生成する。具体的には、生成装置１００は、円形にクロッピングされた加工画像ＰＭ４１を左側に配置し、要約ＡＢ４１を右側に配置した組合せコンテンツＩＣ４１を生成する。

ここで、図１１では、要約ＡＢ４１中の１行目と４行目の先頭を２行目と３行目の先頭に比べて左側へ１文字分ずらすことができる。すなわち、生成装置１００は、加工画像ＰＭ４１が円形であることを利用して、より多くの文字数（情報）を配置することができる。これにより、生成装置１００は、表示領域ＡＲ４１に収まり、かつ文字数を多い要約を含む組合せコンテンツＩＣ４１を生成できる。このように、生成装置１００は、加工画像ＰＭ４１の形状に応じて要約ＡＢ４１の配置態様を適宜変更してもよい。なお、生成装置１００は、円形に限らず、例えば、例えば特徴領域の形状に沿った輪郭を有する加工画像を生成してもよい。例えば、図１で、生成装置１００は、画像ＩＭ１１中のトピック「深海魚」の特徴領域に基づいて円形に限らず、魚の形状の加工画像を生成してもよい。例えば、例えば特徴領域の形状に沿った輪郭を有する加工画像を生成してもよい。

〔１１．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３４とを有する。取得部１３１は、文字情報と文字情報に対応する画像とを取得する。生成部１３４は、文字情報から生成される要約情報（実施形態においては「要約」。以下同じ）のスコア（実施形態においては「文字スコア」。以下同じ）と、画像から生成される加工画像のスコア（実施形態においては「画像スコア」。以下同じ）とに基づいて、要約情報と加工画像とを組み合わせたコンテンツ（実施形態においては「組合せコンテンツ」。以下同じ）を生成する。

これにより、実施形態に係る生成装置１００は、各パターンにおける全体のスコアに基づいて組合せコンテンツを生成する。すなわち、生成装置１００は、各パターンのうち、全体のスコアが最大となる組合せコンテンツを生成する。これにより、生成装置１００は、要約の文字スコアと加工画像の画像スコアとに基づいて、記事コンテンツに含まれる各トピックの重要度やトピック数に応じて、できるだけ多くの情報を含むように組合せコンテンツを生成する。したがって、生成装置１００は、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、コンテンツが表示されるコンテンツ表示領域において、要約情報が表示される要約表示領域の割合と加工画像が表示される画像表示領域の割合とに基づいて、コンテンツを生成する。

これにより、実施形態に係る生成装置１００は、表示領域において、要約情報が表示される要約表示領域の割合と加工画像が表示される画像表示領域の割合とに基づいて、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、要約表示領域の割合と画像表示領域の割合とが変動するコンテンツ表示領域に表示されるコンテンツを生成する。

これにより、実施形態に係る生成装置１００は、要約表示領域の割合と画像表示領域の割合との変動に応じて、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、画像に基づいて決定される画像表示領域に応じて生成される加工画像と、画像表示領域に基づいて決定される要約表示領域に応じて生成される要約情報とを含むコンテンツを生成する。

これにより、実施形態に係る生成装置１００は、画像に基づいて画像表示領域を決定し、画像表示領域に基づく要約表示領域に応じて要約を生成することにより、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、文字情報に基づいて決定される要約表示領域に応じて生成される要約情報と、画像表示領域に基づいて決定される画像表示領域に応じて生成される加工画像とを含むコンテンツを生成する。

これにより、実施形態に係る生成装置１００は、文字情報に基づいて要約表示領域を決定し、要約表示領域に基づく画像表示領域に応じて画像を生成することにより、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、要約情報に含まれる特徴情報（実施形態においては「トピック」。以下同じ）に基づく要約情報のスコアと、加工画像に含まれる特徴情報に基づく加工画像のスコアとに基づいて、コンテンツを生成する。

これにより、実施形態に係る生成装置１００は、各パターンにおける全体のスコアに基づいて組合せコンテンツを生成する。すなわち、生成装置１００は、各パターンのうち、全体のスコアが最大となる組合せコンテンツを生成する。これにより、生成装置１００は、記事コンテンツに含まれる各トピックの重要度やトピック数に応じて、できるだけ多くの情報を含むように組合せコンテンツを生成する。したがって、生成装置１００は、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、組み合わされる加工画像に応じて変動する要約情報のスコア、または組み合わされる要約情報に応じて変動する加工画像のスコアに基づいて、コンテンツを生成する。

これにより、実施形態に係る生成装置１００は、組み合わされる加工画像に応じて変動する要約情報のスコア、または組み合わされる要約情報に応じて変動する加工画像のスコアに基づいて算出される各パターンにおける全体のスコアに応じて、組合せコンテンツを生成する。これにより、生成装置１００は、記事コンテンツに含まれる各トピックの重要度やトピック数に応じて、できるだけ多くの情報を含むように組合せコンテンツを生成する。したがって、生成装置１００は、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、画像に含まれる特徴情報に基づく形状の加工画像を生成する。

これにより、実施形態に係る生成装置１００は、画像に含まれる特徴情報に基づく形状に加工画像を生成することにより、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、画像に含まれる複数の特徴情報のうち、特徴情報の重要度が所定の条件を満たす特徴情報を含む加工画像を生成する。

これにより、実施形態に係る生成装置１００は、画像に含まれる複数の特徴情報のうち、特徴情報の重要度が所定の条件を満たす特徴情報を含む加工画像を生成することにより、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、生成部１３４は、複数の要約情報と複数の加工画像との各々の組合せにおけるスコアに基づいて、コンテンツを生成する。

これにより、実施形態に係る生成装置１００は、複数の要約情報と複数の加工画像との各々の組合せの中からスコアに基づいて、組み合わせる要約と加工画像とを決定する。したがって、生成装置１００は、多数の組合せの比較に基づいて、最も適切な組合せコンテンツを生成できるため、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

また、実施形態に係る生成装置１００において、取得部１３１は、文字情報に対応する複数の画像を取得する。生成部１３４は、画像に含まれる複数の特徴情報のうち、特徴情報の重要度が所定の条件を満たす特徴情報を含む加工画像を生成する。

これにより、実施形態に係る生成装置１００は、複数の画像から加工画像を生成することにより、要約と加工画像とが適切に組み合わされた組合せコンテンツを生成することができる。

〔１２．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔１３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 配信システム
１００ 生成装置
１２１ コンテンツ情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 抽出部
１３３ 算出部
１３４ 生成部
１３５ 配信部
１０ 端末装置
１５１ 送信部
１５２ 受信部
１５３ 表示部
Ｎ ネットワーク

Claims (13)

1. 文字情報と前記文字情報に対応する画像とを取得する取得部と、
   前記文字情報から生成される要約情報のスコアと、前記画像から生成される加工画像のスコアとに基づいて、要約情報と加工画像とを組み合わせたコンテンツを生成する生成部と、
   を備えることを特徴とする生成装置。
2. 前記生成部は、
   前記コンテンツが表示されるコンテンツ表示領域において、前記要約情報が表示される要約表示領域の割合と前記加工画像が表示される画像表示領域の割合とに基づいて、前記コンテンツを生成する
   ことを特徴とする請求項１に記載の生成装置。
3. 前記生成部は、
   前記要約表示領域の割合と前記画像表示領域の割合とが変動する前記コンテンツ表示領域に表示されるコンテンツを生成する
   ことを特徴とする請求項２に記載の生成装置。
4. 前記生成部は、
   前記画像に基づいて決定される前記画像表示領域に応じて生成される加工画像と、前記画像表示領域に基づいて決定される前記要約表示領域に応じて生成される要約情報とを含むコンテンツを生成する
   ことを特徴とする請求項３に記載の生成装置。
5. 前記生成部は、
   前記文字情報に基づいて決定される前記要約表示領域に応じて生成される要約情報と、前記画像表示領域に基づいて決定される前記画像表示領域に応じて生成される加工画像とを含むコンテンツを生成する
   ことを特徴とする請求項３に記載の生成装置。
6. 前記生成部は、
   要約情報に含まれる特徴情報に基づく要約情報のスコアと、加工画像に含まれる特徴情報に基づく加工画像のスコアとに基づいて、前記コンテンツを生成する
   ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
7. 前記生成部は、
   組み合わされる加工画像に応じて変動する要約情報のスコア、または組み合わされる要約情報に応じて変動する加工画像のスコアに基づいて、前記コンテンツを生成する
   ことを特徴とする請求項１〜６のいずれか１項に記載の生成装置。
8. 前記生成部は、
   前記画像に含まれる特徴情報に基づく形状の前記加工画像を生成する
   ことを特徴とする請求項１〜７のいずれか１項に記載の生成装置。
9. 前記生成部は、
   前記画像に含まれる複数の特徴情報のうち、前記特徴情報の重要度が所定の条件を満たす特徴情報を含む前記加工画像を生成する
   ことを特徴とする請求項１〜８のいずれか１項に記載の生成装置。
10. 前記生成部は、
    複数の要約情報と複数の加工画像との各々の組合せにおけるスコアに基づいて、前記コンテンツを生成する
    ことを特徴とする請求項１〜９のいずれか１項に記載の生成装置。
11. 前記取得部は、
    前記文字情報に対応する複数の画像を取得し、
    前記生成部は、
    前記複数の画像に含まれる複数の特徴情報のうち、前記特徴情報の重要度が所定の条件を満たし、前記複数の画像から抽出される特徴情報に基づいて生成される加工画像を含む前記コンテンツを生成する
    ことを特徴とする請求項１〜１０のいずれか１項に記載の生成装置。
12. コンピュータが実行する生成方法であって、
    文字情報と前記文字情報に対応する画像とを取得する取得工程と、
    前記文字情報から生成される要約情報のスコアと、前記画像から生成される加工画像のスコアとに基づいて、要約情報と加工画像とを組み合わせたコンテンツを生成する生成工程と、
    を含むことを特徴とする生成方法。
13. 文字情報と前記文字情報に対応する画像とを取得する取得手順と、
    前記文字情報から生成される要約情報のスコアと、前記画像から生成される加工画像のスコアとに基づいて、要約情報と加工画像とを組み合わせたコンテンツを生成する生成手順と、
    をコンピュータに実行させることを特徴とする生成プログラム。

Images