JP5878523B2 - コンテンツ加工装置とその集積回路、方法、およびプログラム - Google Patents

Description

本発明は、コンテンツの内容に応じた加工により作品を生成するコンテンツ処理技術に関するものである。

近年、被写体像を撮像するコンパクトカメラ、ミラーレス一眼カメラ、一眼レフカメラなどのＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）、さらにカメラ付き携帯電話端末やデジタルムービーなどが広く普及しており、気軽な写真撮影や動画撮影が可能になっている。また、画像データ保存用記録媒体の大容量化が進んでいる。さらにソーシャルメディアの発展により、多様な人々が個人コンテンツを共有し合っている。そのため、個人ユーザは膨大な量のコンテンツを保有したり共有できたりするようになっているが、ユーザが保有している膨大な量のコンテンツ群を、ユーザが活用して楽しむためには、多大な時間と労力を必要とする。

そこで、ユーザが所望するコンテンツを効果的に楽しめるように、コンテンツの内容や撮影イベント内容に応じて事前に用意されているテンプレート等の雛形を選択し、その雛形に規定されている内容で自動的にコンテンツを加工して、視聴用の作品を生成するコンテンツ加工処理技術が注目されている。

コンテンツである画像を装飾する際に、画像に対する画像解析により被写体または撮影状況を推定して、被写体または撮影状況の推定結果に基づいて装飾データベースから装飾内容を抽出し、抽出した装飾を撮影画像に対して行う手法が知られている（例えば、特許文献１参照）。

また、コンテンツ群を用いてデジタルアルバムを作成する処理として、配置画像データの特徴と加工処理方法が記述されているテンプレートを指定し、コンテンツ群に含まれる画像データの特徴と各レイアウト枠に配置する画像データの特徴量を比較して、配置候補画像を決定し、決定した画像に対してテンプレートに記述されている加工処理を適用する方法が知られている（例えば、特許文献２参照）。

特開２０１１−２０５２９６号公報 特開２０１０−７２９３４号公報

しかしながら、特許文献１の技術では、コンテンツから推定される被写体や撮影状況に対して、対応する画像装飾が存在する必要がある。そのため、画像装飾に対応する被写体や撮影状況を推定できないコンテンツに対しては、画像装飾を行えないという課題がある。

また、特許文献２の技術では、処理対象とするコンテンツが有するべき特徴はテンプレートごとに決まっており、コンテンツである画像データの特徴は、テンプレートに記述されている各レイアウト枠に配置する画像データの特徴量と一致している必要がある。そのため、コンテンツに対して最適なテンプレートが存在しない場合には、デジタルアルバムを作成できないという課題がある。

本発明は、上記の問題に鑑みて、ユーザが保有する各コンテンツを用いて、最適な雛形やデータベース等がなくても手軽に視聴のための作品を生成できるコンテンツ加工技術を提供することを目的とする。

前記従来の課題を解決するために、本発明に係るコンテンツ加工装置は、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成するコンテンツ加工装置であって、対象となるコンテンツから属性情報を取得するコンテンツ情報取得部と、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得部と、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定部と、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理部とを含むことを特徴とする。

上記のコンテンツ加工装置によれば、作品表現モデルをコンテンツの属性情報に応じて補正することで、コンテンツに適した作品表現モデルを用いることができ、コンテンツ加工装置は必ずしもコンテンツに最適な加工処理情報を保持しておく必要がなくなる。そのため、補正された作品表現モデルを用いて、ユーザが一から加工処理をする必要がなく手軽に、効果的な視聴形式にコンテンツを加工することが可能になる。

実施の形態１、２に係るコンテンツ加工装置のブロック図 実施の形態１のコンテンツ加工処理を行う手順を示したフローチャート コンテンツ群から抽出されるコンテンツ情報における機器メタデータ情報の一例を示す図 コンテンツ群から抽出されるコンテンツ情報における解析メタデータ情報の一例を示す図 コンテンツ群から抽出されるコンテンツ情報における利用メタデータ情報の一例を示す図 実施の形態１における作品表現モデル蓄積部３に蓄積されている作品表現モデルの一例を示す図 実施の形態１の作品表現モデル補正部６の機能構成を示すブロック図 実施の形態１におけるコンテンツと生成された作品の例を示す図 実施の形態２におけるテンプレートの一例を示す図 実施の形態２のテンプレートに基づくコンテンツ加工処理を行う手順を示したフローチャート 実施の形態２における作品表現モデル蓄積部３に蓄積されているテンプレートのテンプレート情報の一例を示す図 テンプレートの選択配置であるｔｅｍｐｌａｔｅ１−１の一例を示す図 テンプレートの加工内容であるｍＩＤ０００１０１の一例を示す図 実施の形態２のテンプレートに基づく差分情報算出処理を行う手順を示したフローチャート ｔｅｍｐｌａｔｅ１−１の選択基準に従って選択された枠１〜３の画像の一例 実施の形態２のテンプレートに基づく補正内容調整処理を行う手順を示したフローチャート 枠１〜３に関するコンテンツの加工内容とテンプレートの補正内容、および補正優先度の一例を示す図 枠１〜３に関する最終的なコンテンツの加工処理情報と付加加工情報の一例を示す図 図１８に示す補正された作品表現モデルにより作成された最終的な作品の一例を示す図 実施の形態３の人に関する情報に基づく補正内容を含む加工変換処理を行った結果の一例を示す図 実施の形態３の場所に関する情報に基づく補正内容を含む加工変換処理を行った結果の一例を示す図 実施の形態３の撮影イベントに関する情報に基づく補正内容を含む加工変換処理を行った結果の一例を示す図 実施の形態４に係るコンテンツ加工装置の構成を示すブロック図 実施の形態５に係るコンテンツ加工装置の構成を示すブロック図

（発明に至った経緯）
コンテンツを効果的に楽しむための作品を作成するコンテンツ加工処理技術において、特許文献１のように、コンテンツの一特性にのみ着目して当該一特性に対応する画像装飾等のテンプレートを適応する方法と、特許文献２のように、テンプレートが組み込むべきコンテンツの特性を指定して当該特性を有するコンテンツを探し出す方法とが一般的である。

しかしながら、特許文献１のような技術では、作品は着目される一特性により一意に生成されてしまうため、着目されない他の特性がユーザにとって重要であるか否かに係らず、作品に反映されない。つまり、作品が、着目される一特性に依存したお仕着せのものになり、必ずしもコンテンツを効果的に楽しめる作品であるとは限らないという問題がある。

一方、特許文献２のような技術では、テンプレートが組み込むべきコンテンツの特性と、コンテンツの特性とが一致している必要がある。コンテンツを最適とは言えないテンプレートに無理やり押し込めても、レイアウトや画像装飾等と、コンテンツの内容との特性不一致による違和感が強く、コンテンツを効果的に楽しめる作品にはならないからである。

以上説明した従来のコンテンツ加工処理技術の問題点は、コンテンツの創作意図と、加工処理に用いるテンプレートの作成意図とが必ずしも一致しないため、コンテンツに最適なテンプレートが使用できるとは限らないことに起因している。しかしながら、多種多様なコンテンツに対し、常に最適なテンプレートが使用できるようにテンプレート群を準備することは、極めて困難である。

そこで、発明者らは、コンテンツの特性と、テンプレートが組み込むべきコンテンツの特性とを用いてテンプレートを補正し、補正後のテンプレートを用いて作品を生成するという着想を得た。このようにすることで、コンテンツに対して最適なテンプレートが存在しなくても、コンテンツに最適なテンプレートをテンプレートの補正によって作り出すことができる。したがって、テンプレートの作成意図とコンテンツの創作意図とのいずれも反映させた効果的な作品を生成することが可能となる。

（発明を実施するための形態）
以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
＜構成＞
図１は本実施の形態に係るコンテンツ加工装置１０の構成を示すブロック図である。図１に示すコンテンツ加工装置１０は、コンテンツデータ蓄積部１と、コンテンツ情報抽出部２と、作品表現モデル蓄積部３と、作品表現モデル指定部４と、参照情報抽出部５と、加工処理情報決定部６と、加工処理部７とから構成されている。

コンテンツデータ蓄積部１は、ユーザが保有しているコンテンツのファイル（データ）が蓄積されている記憶媒体である。コンテンツとは、例えば、イベントで撮影した写真画像や動画像データ、インターネット等で取得した写真画像や動画像データ、テキストや音楽データなど、ユーザが創作または取得したデータである。コンテンツデータ蓄積部１は、例えば、ＨＤＤやＤＶＤ等の大容量メディアディスクや半導体メモリ等のストレージデバイスで実現される。

コンテンツ情報抽出部２は、機器メタデータ情報、解析メタデータ情報、利用メタデータ情報など、後述するような属性情報をコンテンツから抽出する。

作品表現モデル蓄積部３は、対象とするコンテンツをどのような作品にするかについての表現方法を示す、作品表現モデルが蓄積されている記憶媒体である。作品表現モデルには、コンテンツをどのように加工するかについての加工方法を示す加工処理情報と、及び当該加工処理情報に対応する参照情報とが含まれている。参照情報とは、作品表現モデルに見合ったコンテンツが有しているべき属性情報である。したがって、作品表現モデルは、例えば、検出された顔の単位で人物を切り出す加工方法を示す加工処理情報と、人物の服装、性別に関する参照情報の組み合わせからなる。ここで、参照情報に関する項目（例えば、上述の服装に関する参照情報であれば、服装）のうちで、コンテンツに合わせて変化させてもよい項目については、特に「調整項目」と呼ぶ。作品表現モデル蓄積部３に蓄積されている作品表現モデルは、参照情報に少なくとも１つの調整項目を含んでいる。作品表現モデル蓄積部３は、例えば、ＨＤＤ等の大容量メディアディスクや半導体メモリ等のストレージデバイスで実現される。

作品表現モデル指定部４は、作品表現モデル蓄積部３に蓄積されている作品表現モデルから少なくとも１つの作品表現モデルを指定する。作品表現モデルは次の方法で指定される。すなわち、作品表現モデルの創作者や特定の事業者により予め決められている作品表現モデルが持つイベント内容・テーマと、コンテンツのイベント内容・テーマとを比較し、コンテンツのイベント内容・テーマと同一または類似度の高いイベント内容・テーマを持つ作品表現モデルが選択決定される。コンテンツのイベント内容・テーマは、利用メタデータ情報からユーザが直接入力しているイベント名を取得する。利用メタデータ情報からイベントを特定できない場合は、撮影機器メタデータ情報から取得される時間、場所等の撮影時情報と、解析メタデータ情報から取得される参加人物情報、シーン、被写体オブジェクトを用いて推測を行う。例えば、旅行やパーティ等の一般的なイベント、誕生日パーティ、結婚式、運動会、ピクニック、スキー旅行、入学式等の特定イベントが特定または推測される。

参照情報抽出部５は、作品表現モデル指定部４で指定された作品表現モデルに含まれる、参照情報を抽出する。具体的には、コンテンツの加工方法を示す加工処理情報、および、コンテンツのレイアウト、付加装飾といったコンテンツそのものを変化させないような作品表現モデル（以下、「付加加工情報」と呼ぶ）について、調整項目と、調整項目に係る参照値との組み合わせである参照情報を取得する。

加工処理情報決定部６は、コンテンツ情報抽出部２で抽出されたコンテンツの属性情報と、参照情報抽出部５で抽出された参照情報とを基に、作品表現モデルを補正し、補正された作品表現モデルとコンテンツを適合させるための、コンテンツの加工処理内容を決定する。具体的には、次のような動作を行う。まず、加工処理情報決定部６は、調整項目について、参照情報とコンテンツの属性情報とを比較し、差分を算出する。次に、加工処理情報決定部６は、得られた差分情報に基づいて、調整項目について、加工処理情報、あるいは、付加加工情報、または、その双方に対する補正内容の候補を作成する。最後に、加工処理情報決定部６は、作成した補正内容の候補について実施の有無を決定し、加工処理情報と付加加工情報とを決定、すなわち作品表現モデルに対する補正を決定するとともにコンテンツに対する加工処理情報を決定する。

加工処理部７は、加工処理情報決定部６で決定された補正後の作品表現モデルに従って、コンテンツを加工する。具体的には、補正された後の加工処理情報を用いて対象となるコンテンツを加工処理し、補正された後の付加加工情報を用いて特定の視聴形式に変換を行う。例えば、対象のコンテンツを装飾化、デジタルアルバム化、あるいはスライドショー化する処理を行う。特定の視聴形式とは、視聴機器で再生可能な表示形式であり、例えば、ＪＰＥＧ等の画像形式、ＭＰＥＧ等の動画形式、ＨＴＭＬ等の表示形式である。

＜属性情報＞
コンテンツの属性情報について説明する。コンテンツの属性情報には、上述したように、機器メタデータ情報、解析メタデータ情報、利用メタデータ情報などがある。

機器メタデータ情報は、コンテンツ取得機器により付与されるメタデータに含まれる属性情報である。コンテンツ取得機器により付与されるメタデータは、例えば、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報、動画用拡張メタデータ、ＣＤＤＢ（Ｃｏｍｐａｃｔ Ｄｉｓｃ ＤａｔａＢａｓｅ）情報、ＩＤ３タグなどの音楽メタデータである。上記メタデータに含まれるコンテンツの属性情報は、例えば、撮影日時情報、撮影場所情報であるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報、撮影時の撮影モード情報、各種撮影時のカメラパラメータの情報、各種センサー情報などの撮影方法情報、音楽の曲名、作曲者などの楽曲情報、音声の標本化周波数、量子化ビット数、ビットレート、チャンネル数、またはこれらの組み合わせを示す録音モード情報などである。

解析メタデータ情報は、コンテンツ解析手法から得られるメタデータである。画像解析により得られるメタデータとしては、例えば、エッジ、色、テクスチャ等の画像の基本的な低次特徴量、物体に特異な局所特徴量と呼ばれるオブジェクトの形状を表す高次特徴量がある。また、解析メタデータ情報は、例えば、画像内の顔、人、物体等の被写体オブジェクト、海辺、森林、屋内といった特定シーン等の認識可能なカテゴリの認識結果などを用いることができる。また、コンテンツが動画である場合は、時系列的な動き、シーンの解析情報、コンテンツが音楽である場合は、メロディー等の解析情報などを解析メタデータ情報として用いてもよい。また、コンテンツが動画または音声である場合には、音声解析によって得られる、音声、パラ言語、環境音、特定音源情報といった解析結果を解析メタデータ情報として用いてもよい。

利用メタデータ情報は、ユーザが付与した情報、使用履歴などコンテンツの利用により付与されるメタデータである。例えば、ユーザが付加したコンテンツに関連するイベント名、被写体人物の個人名、撮影者等の情報、コンテンツに対する視聴頻度、コンテンツを利用して作成した作品の種類、所在、作成者、インターネットを通じてコンテンツを共有した相手名やコミュニティ名等の利用履歴情報などである。

＜動作＞
以下、本実施の形態におけるコンテンツ加工装置１０の動作について詳細に説明する。

図２は、コンテンツの属性情報と参照情報とに基づいて作品表現モデルを補正し加工処理情報を決定した上で、コンテンツの加工変換処理を行う手順を示したフローチャートである。

ユーザによって視聴対象のコンテンツが選択されると、コンテンツ加工装置１０はコンテンツデータ蓄積部１から対象とするコンテンツを取得し、コンテンツ情報抽出部２は、取得された対象コンテンツから属性情報を抽出する（Ｓ１）。コンテンツ情報抽出部２によって抽出されるコンテンツの属性情報は、上述の機器メタデータ情報、解析メタデータ情報、利用メタデータ情報等である。

機器メタデータ情報の一例を図３に示す。図３には、コンテンツそれぞれに割り振られたコンテンツ番号ごとに、機器メタデータが示されており、属性情報であるファイル名とデータの種類及び取得時間が示されている。また、コンテンツが画像または動画データである場合には、撮影時の地理的位置情報としてＧＰＳ情報から得られる経度情報と緯度情報と、撮影時の明るさの調整を行うＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度情報、明るさを適正に視聴できるように調整する露出情報、撮影機器の種類、撮影機器の撮影モード情報が示されている。また、コンテンツが音楽データである場合には、録音機器の音質モードが示されている。

次に、解析メタデータ情報の一例を図４に示す。図４には、コンテンツそれぞれに割り振られたコンテンツ番号ごとに、解析メタデータ情報が示されている。コンテンツが画像である場合には、カラー情報、エッジといった画像特徴が示されている。ここで、エッジとは、画像内の線分検出されたエッジ特徴を一定角度毎に画像内統計値として算出したテクスチャ情報である。また、図４には顔検出技術等から得られる顔情報として顔の有無および向き情報、数情報が属性情報として示されている。また、図４にはシーン検出等から得られるシーンと、オブジェクト検出等から得られるオブジェクトが属性情報として示されている。また、コンテンツが動画データまたは音声データである場合には、音特徴、曲調が属性情報として示されている。

また、利用メタデータ情報の一例を図５に示す。図５には、ユーザが付与する情報として、コンテンツの撮影イベント名、各コンテンツ内の登場人物、その他ユーザが付加したタグ情報が示されている。また、表示機器で再生した回数、デジタルアルバムまたはスライドショー化等の当該コンテンツを利用して作成した作品、当該コンテンツを共有した相手先やＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）などのサービス名が利用メタデータ情報として示されている。

次に、コンテンツ加工装置１０は、対象コンテンツの作品表現モデル指定処理を行う（Ｓ２）。具体的には、コンテンツに含まれる被写体、背景の種類あるいは撮影イベント内容・テーマに応じて作品表現モデルを作品表現モデル指定部４が指定する。作品表現モデル蓄積部３に蓄積されている作品表現モデルの一例を図６に示す。図６には、作品表現モデルごとに割り振られた表現情報番号ごとに、参照情報として調整項目と参照値とが示されており、加工処理情報としてコンテンツの加工内容と、付加加工情報としてデコ装飾、遷移エフェクト効果、レイアウト配置が示されている。ここで、参照値とは、参照情報のうち調整項目に対応する値のことである。例えば、顔数が１であるとの参照情報に対して調整項目が顔数であれば、顔数という調整項目に対応する参照値は１である。

以下、加工対象のコンテンツを図８（ａ）に示すコンテンツ（属性情報がコンテンツ番号ＩＤ０００００００１）、指定された作品表現モデルがｍＩＤ０００００１であるとして説明する。

次に、コンテンツ加工装置１０は、参照情報抽出部５を起動し、参照情報抽出部５は、指定された作品表現モデルに記載されている参照情報から、調整項目と調整項目に対応する参照値とを抽出する（Ｓ３）。図６に示すように、ｍＩＤ０００００１の調整項目は顔数であるため、参照情報として、顔数：１が抽出される。

次に、コンテンツ加工装置１０は、加工処理情報決定部６を起動し、加工処理情報決定部６は、コンテンツ情報抽出部２より抽出された対象コンテンツの属性情報と、参照情報抽出部５より抽出された参照情報とに基づいて、作品表現モデルの補正内容を決定する（Ｓ４）。具体的には、以下のような動作を実施する。

まず、加工処理情報決定部６は、参照情報と、属性情報との差分を算出する。ここで、加工処理情報決定部６の機能構成の一例について図７を参照しながら具体的な処理内容について説明する。図７は加工処理情報決定部６の機能ブロック図である。加工処理情報決定部６は、コンテンツ情報解析部６１と、差分値算出部６２と、補正優先度算出部６３と、加工処理情報補正部６４と、付加加工情報補正部６５とから構成されている。コンテンツ情報解析部６１は、調整項目に対応する属性値を１つ以上の対象コンテンツの属性情報に基づいて抽出または解析を行う。例えば、調整項目が顔数である場合、属性情報に「顔数：３」が含まれていれば属性値は３である。また、例えば、調整項目が撮影時間帯である場合、コンテンツ情報解析部６１は、属性情報に含まれる撮影時刻を基に、属性値たる撮影時間帯を算出する。

差分値算出部６２は、参照情報抽出部５で抽出された参照情報とコンテンツ情報解析部６１で解析算出された属性値との差分を、差分値として算出する。図４に示すようにＩＤ０００００００１の顔数は３であるから、画像の属性情報から顔数：３を算出し、参照情報の顔数：１との差分を算出することで、差分情報として顔数：＋２を得る。

次に、加工処理情報決定部６は、差分値算出部６２で算出された対象コンテンツの差分情報を用いて、調整項目から各種補正内容を決定する。補正優先度算出部６３は、差分情報に基づいて、加工処理情報の補正内容と付加加工情報の補正内容との候補生成と、生成された候補に対する優先度付けとを行う。ここで、優先度とは、加工処理情報、付加加工情報、またはその双方への補正内容の候補それぞれに付加される値であり、補正内容の候補を実施するかどうかを決めるための指標である。本実施の形態では、優先度２（普通）を閾値とする。ここで、表現方法番号ｍＩＤ０００００１において、顔数の差分値に対して、負の数の場合は優先度：１（低い）、０の場合には優先度：２、正の数の場合は優先度：３（高い）と規定されている。したがって、顔数：３に合わせるための補正候補、例えば、加工処理情報：３つの上半身を抽出、付加加工情報：３つの上半身それぞれに向き合うキャラクタを配置、三角形にレイアウト、の補正内容候補が、優先度：３として生成される。

次に、加工処理情報補正部６４と付加加工情報補正部６５とは、優先度が閾値以上である補正内容の候補を、作品表現モデルに対する補正であると確定させる。上述の例では、優先度３の補正内容候補が１つあるだけなので、上述の候補がそのまま補正内容として決定される。すなわち、加工処理情報補正部６４は、検出される顔３つのそれぞれから上半身領域を抽出するという加工処理情報を、補正後の加工処理情報として確定させる。また、付加加工情報補正部６５は、次の内容を持つ情報を補正後の付加加工情報として確定させる。すなわち、ＩＤ０００００００１の画像内の顔は全て右の方向を向いているので、それぞれの人物をＡ・Ｂ・Ｃとすると、デコ装飾は、顔と向き合うように、左を向いたキャラを３つ選択し、加工されたコンテンツと同じ大きさとなるようにＡ・Ｂ・Ｃそれぞれの上半身と同じ大きさに拡大縮小する。コンテンツの配置は、３つの顔を、ｎ＝３としてｎ角形、つまり三角形の形状とする。

次に、コンテンツ加工装置１０は加工処理部７を起動し、加工処理部７は、加工処理情報と付加加工情報とに従ってコンテンツの加工変換処理と保存を行う（Ｓ５）。つまり、上述のＳ４で決定された、補正された作品表現モデルと加工処理情報に従って、図８（ａ）のコンテンツは図８（ｂ）のように加工される。加工変換処理が行われると、様々な表示デバイス上で加工コンテンツの視聴を行える。

＜補足＞
（１）コンテンツ加工装置１０の加工変換処理開始
上記の実施の形態１では、コンテンツ加工装置１０が加工変換処理を開始してコンテンツデータ蓄積部１から対象とするコンテンツを取得する契機として、ユーザが視聴対象のコンテンツを選択する場合について説明したが、それ以外に、次のような契機でコンテンツ加工装置１０が加工変換処理を開始しコンテンツデータ蓄積部１から対象コンテンツを取得するとしてもよい。

例えば、コンテンツ加工装置１０がコンテンツデータ蓄積部１に蓄積されているコンテンツを監視し、新たなコンテンツがコンテンツデータ蓄積部１に蓄積されたことを契機としてもよい。また、コンテンツ加工装置１０は所定の時刻にコンテンツの加工変換処理を開始するとしてもよい。また、コンテンツ加工装置１０は、所定の作品表現モデルに関する参照情報と同一ないし類似の属性情報を有するコンテンツがコンテンツデータ蓄積部１に蓄積されたことを契機とする、あるいは、同様の属性情報を有するコンテンツの集合であるコンテンツセットがコンテンツデータ蓄積部１に蓄積されたことを契機とするなど、所定の条件を満たしたときにコンテンツ加工装置１０がコンテンツの加工変換処理を開始するとしてもよい。

（２）機器メタデータ情報
上述の実施の形態１では、機器メタデータ情報の例として図３を示したが、それ以外に次のようなものを機器メタデータ情報として用いてもよい。

例えば、コンテンツが画像または動画データの場合には、撮影された時刻を表す撮影時刻情報を属性情報として含めてもよい。また、コンテンツが音楽データである場合には、ジャンル等の情報を属性情報として含めてもよい。

（３）分析メタデータ情報
上述の実施の形態１では、解析メタデータ情報の例として図４を示したが、それ以外に次のようなものを解析メタデータ情報として用いてもよい。

図４では、カラー情報としてＲＧＢカラー値の画像内統計値を用いたが、ＨＳＶやＹＵＶ色空間における色相情報を用いてもよいし、カラーヒストグラム、カラーモーメント等の統計量情報を用いてもよい。

また、図４では、色情報、テクスチャ情報の様な低次元特徴量を用いているが、被写体オブジェクトの特徴を表現可能な高次元特徴量を用いてもよい。ここで、高次元特徴量は、特徴的な点を中心にした局所領域の特徴や物体の形状を表す特徴のことである。具体的には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）による特徴量がある。

また、図４では、顔検出技術から得られる顔情報として、顔の有無および向き情報、数情報を属性情報として示しているが、顔の大きさ、服装の色、形状を属性情報としてもよい。また、人検出情報をもとに、さらに人に関連する画像認識を行った分析結果を属性情報として用いてもよい。あるいは、車検出、犬・猫などのペット検出、一般的なオブジェクトの認識を行う一般物体認識などの画像認識技術による結果をコンテンツの属性情報としてもよい。

また、画像の領域に係る属性情報としては、例えば、Ｓａｌｉｅｎｃｙ Ｍａｐ、Ｄｅｐｔｈ Ｍａｐなどの領域情報算出手法によって生成される、特定被写体、背景シーンの領域情報を用いてもよい。

また、コンテンツが動画データまたは音声データである場合には、例えば、音声、パラ言語、環境音、特定音源情報など、音響モデルを用いた音声解析結果を属性情報として用いてもよい。

（４）利用メタデータ情報
上述の実施の形態１では、利用メタデータ情報の例として図５を示したが、それ以外に次のようなものを利用メタデータ情報として用いてもよい。

例えば、イベント単位で共通するＩＤを利用メタデータ情報としてもよい。すなわち、１の撮影イベントにおいて撮影された複数のコンテンツからなるデータセットに対し、当該撮影イベント単位にＩＤを割り振ってもよい。このとき、利用メタデータ情報は撮影イベント単位で個別、すなわちデータセットに対して１つの利用メタデータ情報を用いるものとしてもよいし、あるいは、コンテンツごとに個別の利用メタデータ情報を用いるものとしてもよい。

（５）作品表現モデルの指定（Ｓ２）
上述の実施の形態１では、作品表現モデル指定部４が、コンテンツに含まれる被写体、背景の種類あるいは撮影イベント内容・テーマに応じて作品表現モデルを指定する場合について説明したが、次のような方法で作品表現モデル指定部４が作品表現モデルを指定してもよい。

例えば、作品表現モデル指定部４は、図６に示すような作品表現モデル蓄積部３が保存している作品表現モデルを一覧表示し、ユーザに作品表現モデルを入力させてもよい。

あるいは、作品表現モデル指定部４は、撮影イベント・テーマを一覧表示してユーザに選択させることによって、その撮影イベント・テーマに対して予め設定されている作品表現モデルを指定する、としてもよい。

あるいは、作品表現モデル指定部４は、作品表現モデル蓄積部３から、コンテンツのテーマ等と同一または類似するテーマ等をもつ作品表現モデルを抽出し、抽出された作品表現モデルのうちからどの作品表現モデルを指定するかをユーザに選択させてもよい。

（６）作品表現モデル
上述の実施の形態１では、作品表現モデルの一例として図６を示したが、次のような作品表現モデルを用いるとしてもよい。

図６には作品表現モデルの一例として、調整可能な項目と参照値とがそれぞれ１つずつの場合について示しているが、例えば、２以上の作品表現モデルを組み合わせ、２以上の調整可能な項目を持つ作品表現モデルを生成してもよい。

（７）コンテンツのテーマの抽出方法
上述の実施の形態１では、作品表現モデルをコンテンツのイベント内容・テーマに応じて決定すると記載しているが、コンテンツのイベント内容・テーマを取得する方法について説明する。

例えば、コンテンツ加工装置１０は、利用メタデータ情報からユーザが直接入力しているイベント名を取得してコンテンツのイベント内容・テーマを取得することができる。また、撮影機器メタデータ情報から取得される時間、場所等の撮影時情報と、解析メタデータ情報から取得される参加人物情報、シーン、被写体オブジェクトを用いて推測することもできる。

以下、テーマの推測動作について詳細に説明する。

例えば、機器メタデータ情報の時間情報や緯度経度情報を対象コンテンツ単位で統計量として抽出し、「秋の京都嵐山」の様に時間と場所情報の組み合わせをイベント名として推測決定できる。また、例えば、解析メタデータ情報を利用する場合には、対象コンテンツ単位の統計量として得られる風景シーン情報で「屋内」、「雪景色」の様な風景をテーマにしてもよいし、さらに顔やオブジェクト情報を組み合わせる事で、「屋内」、「家族３人」、「ケーキ」等の情報から「家族のホームパーティ」として撮影イベント名を推測決定してもよい。また、利用メタデータ情報から登場人物が家族だけであれば、機器メタデータ情報の場所情報と組合せて「家族で公園」、さらに解析メタデータ情報のシーン情報と組合せて「家族で公園をピクニック」の様にイベント名をさらに詳細に推測決定する事ができる。機器メタデータ情報、解析メタデータ情報、利用メタデータ情報から得られる特徴量等の組合せから選択決定可能な撮影イベント名、テーマ内容を決定できる選択決定表を蓄積保持しておくことにより、その表に従って取得可能な属性情報を用いて適するイベント名・テーマを推測決定することができる。

なお、コンテンツのイベント内容・テーマを取得する方法は、利用メタデータ情報からの取得と各属性情報からの推測のいずれを用いてもよいし、例えば、利用メタデータ情報からの取得ができない場合にのみ各属性情報から推測する、としてもよい。

以上説明したような、機器メタデータ情報、解析メタデータ情報、利用メタデータ情報の少なくとも１以上を用いて、一つの作品表現モデルの対象とする一群のコンテンツのテーマを得ることにより、適切に作品表現モデルを選択するためのコンテンツの属性情報を得ることができる。

（８）差分情報
上述の実施の形態１では、差分情報は、顔の検出数の差分を示したが、この例に限ったものではない。差分情報は、調整項目に対応するものであればよい。例えば、画像情報に関する調整項目としては、人体全身像の数、被写体と背景の割合など、顔、人体、シーン、オブジェクト情報に関する項目が挙げられる。また、例えば、音声情報に関する調整項目としては、声の大きさ、音楽と雑音の割合など、音声、パラ言語、環境音、特定音源情報などに関する項目がある。また、例えば、人間関係に関する調整項目としては、子供とその両親、友人関係、ＳＮＳの友達ステータスなど、家族情報、友達情報、ＳＮＳ情報、インターネット情報などに関する項目がある。また、属性情報は直接コンテンツから得られるものに限られず、コンテンツを解析することで直接得られる値を複数組み合わせて得られるものであってもよい。例えば、上述の「子供とその両親」は、家族情報に関する利用メタデータ情報と、顔検出で得られる解析結果およびそれに基づいた出現頻度情報とから、家族関係の有無を判定することにより得てもよい。

また、コンテンツ情報抽出部２が抽出した属性情報をもとにコンテンツ情報解析部６１がコンテンツ情報を算出するのではなく、コンテンツ情報解析部６１がなく、コンテンツ情報抽出部２が直接コンテンツ情報を算出するとしてもよい。

（９）作品表現モデルの補正
上述の実施の形態１では、加工処理情報は、検出される顔３つのそれぞれから上半身領域を抽出する処理である場合について説明したが、この例に限ったものではなく、次のような加工方法を示す加工処理情報であってもよい。例えば、検出された人体全てを含む領域を被写体領域として、検出される顔ごとに被写体領域を分割するなど、被写体の領域を分割する処理であってもよい。また、参照情報が２つの被写体の間の距離：０．５ｍに対して属性情報が２つの被写体の間の距離：２ｍの場合、２つの被写体領域を統合して一つの被写体領域を生成する加工処理情報を適用できる。また、参照情報が時間帯：夕方に対して属性情報が時刻：１６時の場合、夕焼けに見えるように画像全体、あるいは、背景領域を色調変換する加工処理情報を適用できる。

また、コンテンツが動画、音声等の場合は、次のような加工を行うことができる。例えば、参照情報が被写体：友人関係に対して、コンテンツが被写体：友人関係及び通行人、の動画である場合、当該動画より通行人が映っているシーンを部分削除する加工処理情報を用いてもよいし、友人関係である被写体グループのみが映っているフレームを静止画に変換する加工処理情報を用いてもよい。また、参照情報が環境音：なしに対して、コンテンツが環境音：高周波ノイズである動画または音声である場合、当該動画または音声に対して低域通過フィルタをかける加工処理情報を用いてもよい。

また、上述の実施の形態１では、付加加工情報の補正方法は、抽出された上半身それぞれに対して、向かい合う左向きの上半身キャラクタを右側に追加する内容である場合について説明したが、この例に限ったものではない。変更する付加加工情報は装飾部品には限られず、例えば、背景部品、遷移効果部品、レイアウト部品であってもよい。また、例えば、静止画に対するデコ装飾において、当該静止画の代わりに動画が用いられる場合は、装飾部品として動画またはアニメーション画像を用いるものとしてもよい。また、変更するための部品はコンテンツ加工装置１０が作品表現モデル蓄積部３に保有しているものに限られず、例えば、インターネットを介して外部のサーバから取得してもよい。

また、上述の実施の形態１では、差分情報が１つの項目に対してのみ存在し、加工処理情報と付加加工情報との補正方法が１種類である場合について説明したが、この例に限ったものではない。例えば、調整項目が通行人の人数であって差分が存在する場合には、通行人に対する加工を通行人の数に応じて増やす補正をおこなってもよいし、通行人の数が参照値になるように画像をトリミングする補正を行ってもよい。このような場合には、後述するように優先度を用いて作品表現モデルの補正を確定させることができる。

なお、実施の形態１ではコンテンツが画像である例を示したが、画像と同時に撮影された動画、付与されたコメント、ＢＧＭ等の音楽を含む一群のコンテンツに対しても、同様に補正内容を決定することができる。また、差分情報に対して、適正に加工処理情報や付加加工情報を補正できない場合には、コンテンツ加工装置１０は、補正された加工処理情報や付加加工情報、あるいは加工処理情報や付加加工情報に対する補正方法を、ネットワークを介して外部装置から取得するものとしてもよい。例えば、コンテンツ加工装置は、インターネットを介して加工処理情報や付加加工情報に対する補正方法を検索し、適するものをダウンロードして利用してもよいし、予めネットワーク上のサーバから加工処理情報や付加加工情報に対する補正方法をダウンロードして作品表現モデル蓄積部３に記憶し、必要に応じて読み出すこととしてもよい。

（１０）補正優先度
上述の実施の形態１では、差分情報が１つのみで補正内容の候補が１つの場合について説明したが、この例に限ったものではない。

例えば、１つの差分情報に対して複数の補正内容の候補が存在する場合には、優先度の高い補正内容候補のみ補正内容として実施することとしてもよい。例えば、上述したように、調整項目が通行人の人数であって差分が存在する場合には、通行人に対する加工を通行人の数に応じて増やす補正内容の候補に対して優先度３、通行人の数が参照値になるように画像をトリミングする補正内容の候補に対して優先度２と設定し、前者の補正内容の候補のみを実施することが考えられる。

あるいは、作品表現モデルが２以上の参照情報を含み、１のコンテンツに対して２以上の差分情報が存在する場合には、それぞれの差分情報に対して補正内容の候補を作成し、それら補正内容の候補の全てを実施、一部を実施、実施しないを決定するために優先度を用いてもよい。例えば、調整項目が人の上半身の向きと犬の大きさであって、コンテンツに３人と１匹の犬が含まれる場合は、補正優先度は次のように設定される。すなわち、３人の上半身それぞれに対して補正内容の候補を１以上作成し、補正候補の１つずつに補正優先度が設定される。また、犬に対して補正内容の候補を１以上作成し、補正候補の一つずつに補正優先度が設定される。つまりコンテンツに対して少なくとも４つの補正候補が生成され、各補正候補に補正優先度が設定される。この場合、加工処理情報決定部６は、閾値を一定値としてもよいし、全補正内容に対する優先度の一定割合としてもよい。

また、上述の実施の形態１では、表現情報番号ｍＩＤ０００００１において、顔数の差分値に対して、負の数の場合は優先度：１（低い）、０の場合には優先度：２（普通）、正の数の場合は優先度：３（高い）と規定したが、この例に限ったものではなく、次のように優先度を決定してもよい。例えば、顔数５以下の場合に検出される顔それぞれから上半身領域を抽出しｎ角形にレイアウトすることが容易であっても、顔数６以上の場合に抽出された上半身をｎ角形にレイアウトすることが困難な場合には、顔数の差分値に対して、＋１以上＋４以下の場合は優先度：３、＋５以上の場合は優先度：０（最も低い）としてもよい。

なお、各補正内容の候補に対する優先度、および、補正内容の候補を実施するか否かの条件は、予め作品表現モデルに規定されていてもよいし、コンテンツ加工装置が保持していてもよい。予め作品表現モデルに規定する場合、作品表現モデルを補正できる範囲を作品表現モデルの創作者が決定することが可能となる。また、各補正内容の候補に対する優先度を作品表現モデルが有していない場合、コンテンツ加工装置は、同一または類似する調整項目と参照情報とを持つ作品表現モデルに規定されている優先度を用いるとしてもよいし、創作者が同一である作品表現モデルに規定されている優先度を用いるとしてもよい。また、上述したように、各補正内容の候補に対する優先度は、調整項目および対応する差分値、あるいは、コンテンツ加工もしくは付加加工の難易度に依拠した値であってもよいのは勿論である。

このようにすることで、作品表現モデルの補正の困難度に応じて補正を実施するか否かを決定する、あるいは、作品表現モデルの創作者等が設定した許容範囲でのみ作品表現モデルを補正することが可能となる。
（１１）画像以外のコンテンツ加工
上述の実施の形態１では、コンテンツが画像のみの場合、および画像と、画像と同時に撮影された動画、付与されたコメント、ＢＧＭ等の音楽の集合である場合について説明したが、この例に限ったものではない。例えば、コンテンツが動画のみの場合でもよいし、音楽のみの場合でもよいし、あるいは動画と音楽の組み合わせであってもよい。

例えば、コンテンツが、オリジナル楽曲を屋外で演奏した動画と、当該オリジナル楽曲をスタジオで録音した音楽の組み合わせである場合に、参照情報として「環境：屋内」を持ち、「動画から開幕から閉幕までの区間を切り出し、音声をスタジオで録音された音楽に差し替える」加工を行う作品表現モデルを用いることで、差分情報「環境：屋外」を用いて作品表現モデルを「動画から開幕から閉幕までの区間を切り出し、音声をスタジオで録音された音楽に屋外の反響効果を付加した音声に差し替える」と補正し、作品を生成することができる。

＜まとめ＞
以上のように、作品表現モデルをコンテンツの属性情報に応じて補正することで、コンテンツ加工装置はコンテンツに最適な加工処理情報を保持していなくても、コンテンツに適した作品表現モデルを用いることができ、補正された作品表現モデルを用いて、ユーザが一から加工処理情報を生成する必要がなく手軽に、効果的な視聴形式にコンテンツを加工して楽しむ事ができる。

（実施の形態２）
本実施の形態では、作品表現モデルが規定されているテンプレートを用いてコンテンツの加工を行う方法について詳細に説明する。なお、実施の形態１と同じ機能を有する構成には同じ符号を付し、説明を省略する。

作品表現モデル蓄積部３に保有されるテンプレートの一例を図９に示す。図９に示すテンプレートは、対象コンテンツ全てを１つのグループとする１つのテンプレートである。

以下、本実施の形態におけるコンテンツ加工装置の動作について説明する。図１０は、コンテンツの属性情報と選択されたテンプレートに基づいて作品表現モデル補正処理を行った上でコンテンツの加工変換処理を行う手順を示したフローチャートである。

まず、コンテンツ加工装置はユーザが保有するコンテンツの作品表現モデル補正処理を開始する。コンテンツ加工装置はコンテンツデータ蓄積部１から対象とするコンテンツを取得し、コンテンツ情報抽出部２は取得した対象コンテンツから属性情報を抽出する（Ｓ１１）。抽出処理は上述のＳ１と同様であり、得られる属性情報も同様であるので詳細は省略する。

次に、コンテンツ加工装置は、作品表現モデル蓄積部３に蓄積されている作品表現モデルとしてテンプレート一覧を表示し、作品表現モデル指定部４は対象コンテンツで利用するテンプレートの選択決定処理を行う（Ｓ１２）。テンプレートを選択する方法は、例えば、ユーザが適するテンプレートを選択する、あるいはコンテンツに含まれる被写体、背景の種類、撮影イベント内容・テーマに応じて自動的にテンプレートを選択する方法がある。

選択されるテンプレートの一例を図１１に示す。図１１に示すように、テンプレートはデジタルアルバムにおけるページ単位やスライドショーにおける区切り単位としてシーン単位で区切られている構成であり、そのシーン単位で、図１２に示すような、選択するコンテンツの指標や条件及び配置レイアウトの内容が規定されている「選択配置」と、図１３に示すような、加工する内容が記載されている「加工内容情報」が存在する。なお、図１１には、１つのテンプレートが３以上のシーンを含む例を示しているが、１つのテンプレートはシーンを少なくとも１つ含んでいればよい。図１１に示されるｔＩＤ００００００１に含まれる選択配置ｔｅｍｐｌａｔｅ１−１を図１２に示す。ｔｅｍｐｌａｔｅ１−１には、選択配置情報として、画像枠が３であることと、各画像枠の画像選択条件と配置するレイアウト情報とが記載されている。図１１に示されているｍＩＤ０００１０１を図１３に示す。図１３に示すように、加工内容情報には、画像枠それぞれに対して選択された画像自体の加工処理情報とその参照情報、及びそれ以外の付加加工情報とその参照情報が記載されている。

次に、コンテンツ加工装置は参照情報抽出部５を起動し、参照情報抽出部５はテンプレートから参照情報を抽出する（Ｓ１３）。続いて、コンテンツ加工装置は加工処理情報決定部６を起動し、加工処理情報決定部６は、コンテンツ情報抽出部２が抽出した対象コンテンツの属性情報と、参照情報抽出部５が抽出した参照情報とに基づいて、作品表現モデルの補正内容を決定する（Ｓ１４）。具体的には、以下のような動作を実施する。

まず、加工処理情報決定部６は、参照情報と、属性情報との差分を算出する。差分情報を算出する処理手順に関するフローチャートを図１４に示す。図１２に示すｔｅｍｐｌａｔｅ１−１と図１３に示すｍＩＤ０００１０１を用いて具体的な処理内容について説明する。また、ｔｅｍｐｌａｔｅ１−１の選択基準に従って選択された枠１〜３の画像を図１５に示す。なお、図１５の画像は、コンテンツの解析メタデータ情報を用いてｔｅｍｐｌａｔｅ１−１の選択基準に合致するとして選択された画像であるが、それ以外のコンテンツの属性情報を用いて画像を選択してもよいし、コンテンツの任意の属性情報またはそれらの組み合わせを用いてもよい。

図１４に示す様に、参照情報抽出部５はテンプレートの加工内容から調整項目を抽出する（Ｓ２１）。図１３に示すように抽出された調整項目は枠ごとに記載されているため、加工処理情報決定部６は、順にまず枠１の調整項目として顔数を抽出する。そして、加工処理情報決定部６は、調整項目から必要な解析手法を選択する（Ｓ２２）。コンテンツ情報解析部６１は、選択された解析手法に従って解析処理を行い、調整項目と比較可能なコンテンツの属性情報を算出する（Ｓ２３）。例えば、枠１に関しては、加工処理情報決定部６は、顔検出器、人体検出器を解析手法として選択し、コンテンツ情報解析部６１は、顔数を２と算出する。枠２に関しては、加工処理情報決定部６は、空の割合算出手法を解析手法として選択し、コンテンツ情報解析部６１は、空の割合を０．４と算出する。枠３に関しては、加工処理情報決定部６は、背景との類似度判定を解析手法として選択し、コンテンツ情報解析部６１は類似度が０．５と算出する。なお、解析手法はテンプレートに定義されていてもよいし、コンテンツ加工装置が調整項目に対応する解析手法を予め規定していてもよい。

次に、差分値算出部６２は、調整項目の参照値とＳ２３で算出した解析結果との差分を差分情報として算出する（Ｓ２４）。例えば、枠１に関しては、差分値算出部６２は、参照値が顔数：１で解析結果が顔数：２のため顔数：＋１と算出する。枠２に関しては、差分値算出部６２は、参照値が空の割合：０．５で解析結果が空の割合：０．４のため空の割合：−０．１と算出する。枠３に関しては、差分値算出部６２は、参照値が背景類似度：１で解析結果が背景類似度：０．５のため背景類似度：−０．５と算出する。そして、加工処理情報決定部６は、全調整項目について、すなわち、全ての枠について処理が完了しているかをチェックし、完了していない場合にはＳ２１に戻り、完了した場合には差分情報の算出処理を終了する（Ｓ２５）。例えば、枠１〜３までの処理を３度繰り返すことにより全調整項目に関する差分情報が算出され処理が完了する。

次に、加工処理情報決定部６は、差分値算出部６２で算出された対象コンテンツの差分情報を用いて、調整項目から補正内容を決定し算出する（Ｓ１４）。補正内容を決定する処理手順に関するフローチャートを図１６に示す。

図１２に示すｔｅｍｐｌａｔｅ１−１と図１３に示すｍＩＤ０００１０１及び図１５に示す選択画像例を用いて具体的な処理内容について説明する。図１６に示すように、補正優先度算出部６３は、算出された差分情報と調整項目によって生成される補正内容候補に対して補正優先度を算出する（Ｓ３１）。算出された補正優先度を図１７に示す。次に、補正優先度算出部６３は、その優先度に基づいて補正内容を決定する（Ｓ３２）。図１７に示すように、優先度２以上の補正内容候補に対して、枠１に関しては人体領域抽出とキャラ加工とレイアウト変更が必要なためコンテンツ加工、デコ装飾、配置の全てが選択され、枠２に関しては空の割合変更が必要なためコンテンツ加工が選択され、枠３に関しては選択画像に類似する背景画像が必要なため配置が選択される。なお、テンプレートには、調整項目毎に差分値を基に優先度を算出する方法が記載されている。

次に、加工処理情報補正部６４と付加加工情報補正部６５は、最終的なコンテンツ自体の加工処理情報と、最終的な付加加工情報とを決定する（Ｓ３３）。例えば、枠１に関しては、加工処理情報補正部６４は上半身のみが存在するため上半身領域の抽出を補正後の加工処理情報とし、付加加工情報補正部６５は、顔が左向きのため右向きの上半身のデコキャラを付加し、レイアウトを直線配置として上下にそれぞれの上半身画像を配置する内容を補正後の付加加工情報とする。枠２に関しては、加工処理情報補正部６４は空の割合が０．５になる領域で面積最大となる領域を画像から抽出する加工を補正後の加工処理情報とする。枠３に関しては、付加加工情報補正部６５は、選択画像と類似する画像を選択可能な背景ベースから選択することを補正後の付加加工情報とする。ここでは、一定類似度のある背景ベースが存在するため背景ベースから類似画像を選択しているが、一定類似度のある背景ベースが存在しない場合には、次の補正優先度を持つ動作として、インターネットを介して検索しダウンロードして取得することを補正後の付加加工情報とすることができる。そして、加工処理情報決定部６は、全調整項目について処理が完了しているかをチェックし、完了していない場合にはＳ３１に戻り、完了した場合には補正内容の調整処理を終了する（Ｓ３５）。例えば、枠１〜３までの処理を３度繰り返すことにより全調整項目に関する補正内容の調整が行われ処理が完了する。図１８に枠１〜３に関する最終的な加工処理情報と付加加工情報の内容を示す。

次に、加工処理部７は、加工処理情報決定部６により決定された、補正後の作品表現モデルに従ってコンテンツを加工変換し、作成された作品を保存する（Ｓ１５）。図１２に示すｔｅｍｐｌａｔｅ１−１と図１３に示すｍＩＤ０００１０１及び図１５に示す選択画像例を用いて、図１８に示す補正内容により作成された最終的な加工変換処理結果の一例を図１９に示す。

＜補足＞
（１）テンプレート
上述の実施の形態２では、図９に示すように、対象コンテンツ全てを１つのグループとする１つのテンプレートである場合について説明したが、複数のグループ単位に対して、それぞれに異なるテンプレートを適用する場合、テンプレートのグループを、１つのコンテンツグループに対する１のテンプレートとして扱ってもよい。

また、１つのテンプレートの単位としては、デジタルアルバム構成の場合には１ページ分として規定することもでき、遷移エフェクトを含むスライドショー構成の場合には１シーン分として時系列変化構成のあるテンプレートとすることもできる。

（２）差分情報算出方法
上述の実施の形態２では、テンプレートから抽出された全ての調整項目に対して差分情報を算出する場合について説明したが、次のような方法で差分情報を算出してもよい。

例えば、テンプレートの創作者またはテンプレートの利用者が予め差分情報を算出する調整項目を指定してもよいし、テンプレートの種類に関わらず差分情報を算出する調整項目を利用者が設定するものとしてもよい。

また、調整項目に対して複数の解析手法が存在する場合、ユーザが予め条件を決めて優先順位を付けておいてもよいが、加工処理情報決定部６が、コンテンツに対して解析可能な項目を自動検出して設定してもよい。例えば、人に関する情報を算出する際に、顔検出と人体検出のどちらかの情報を利用するとき、顔検出では検出できない又は検出信頼度が低いが、人体検出では検出できる又は検出信頼度が高い場合には、人体検出を用いた解析手法を用いた判定に決定することができる。また、構成等が類似するテンプレートがある場合には、類似するテンプレートにおいて解析手法が共通か共通でないかを解析手法を選択する基準にすることができる。例えば、解析手法が複数ある場合であっても、類似するテンプレートに規定されている解析手法の重複率が高い順に基準となる解析手法であると順位付けて選択することができる。

また、テンプレートに解析手法を含めず、加工前後の理想的なコンテンツをそれぞれ含めてもよい。このようにすることで、理想的なコンテンツとの差分を算出することが可能である。なお、テンプレート形式ではなく実施の形態１のようなコンテンツの作品表現モデルに対して適用できる内容についても同様の処理が可能である。

（３）上述の実施の形態２では、作品表現モデルの補正について１種類の補正方法のみ説明したが、以下に示すように他の補正方法を用いてもよい。

加工対象のコンテンツを加工する加工処理情報としては、被写体又は背景領域の切り出し，画像の特定特徴や特定領域に基づく伸縮加工等が選択可能であり、テンプレートの参照情報に合わせる様に加工処理情報を選択することができる。また、テンプレートに記載されている内容に基づいて、加工処理情報を決定した後に付加加工情報を調整してもよいし、あるいは、付加加工情報を決定した後に加工処理情報を決定してもよい。または、加工処理情報と付加加工情報とで、いずれを先に決定するかを調整項目ごとに個別に定めてもよい。また、コンテンツ間でのサイズの大小や配置のバランス調整をおこなってもよい。例えば、画像内の顔の大きさが違う場合には一方を拡大するまたは縮小してサイズを同等にしてもよいし、あるいは選択画像が４：３と１６：９で違う場合には不要な背景領域の大きい側を削除して片方の比率に合わせるとしてもよい。なお、スライドショー、プレゼンテーションムービー等の時間的遷移を含む内容への調整に関しても可能であり、遷移エフェクトを調整する補正内容として規定することも可能である。

＜まとめ＞
以上のように、テンプレートをコンテンツの属性情報に応じて補正することで、コンテンツに適したテンプレートを用いることができ、コンテンツ加工装置は必ずしもコンテンツに最適なテンプレートを保持しておく必要がなく、補正されたテンプレートを用いて、ユーザが一から加工処理をする必要がなく手軽に、効果的な視聴形式にコンテンツを加工し、視聴して楽しむ事ができる。

（実施の形態３）
本実施の形態では、コンテンツの特定の属性情報を利用して、その情報に対応する作品表現モデルに従って、視聴対象となるコンテンツの撮影イベント・テーマに適するコンテンツの加工処理情報を動的に調整する方法について詳細に説明する。なお、本実施の形態において、実施の形態１または２と同じ機能を有する構成には同じ符号を付し、説明を省略する。

本実施の形態に係るコンテンツ加工装置２０は、コンテンツ情報抽出部２と作品表現モデル指定部４に替えて、コンテンツ情報抽出部１２と作品表現モデル指定部１４とを備える。

コンテンツ情報抽出部１２は、コンテンツ情報抽出部２の機能に加えて、特定の属性情報について、解析情報を得るためのコンテンツ情報解析部６１の機能を有する。また、作品表現モデル指定部１４は、作品表現モデル指定部４の機能に加えて、特定属性情報を基に作品表現モデルを決定する機能を有する。詳しくは後述する。

本実施の形態に係るコンテンツ加工装置２０の動作について説明する。本実施の形態に係るコンテンツ加工装置２０は、コンテンツデータ蓄積部１から対象コンテンツを取得しコンテンツ情報抽出部１２によって対象のコンテンツから属性情報を抽出した後（Ｓ１またはＳ１１）、実施の形態１又は２における、Ｓ２またはＳ１２の動作に替えて、コンテンツの属性情報のうちの特定属性情報に従って作品表現モデル指定部１４が作品表現モデルを決定し（Ｓ４２）、参照情報抽出部５により決定された作品表現モデルの参照情報を抽出して（Ｓ３またはＳ１３）、加工処理情報決定部６により属性情報と作品表現モデルに記載されている参照情報とに基づいて調整可能な補正内容を決定する（Ｓ４またはＳ１４）。そしてコンテンツ加工装置は、決定された補正後の作品表現モデルに基づいて加工処理部７によりコンテンツの加工変換処理を行う（Ｓ５またはＳ１５）。ここで、特定の属性情報とは、人に関する情報と場所に関する情報と撮影イベントに関する情報などであり、本実施の形態では、上述のＳ４２について詳細に説明する。

まず、コンテンツ加工装置はコンテンツデータ蓄積部１から対象とするコンテンツを取得し（Ｓ１またはＳ１１）、コンテンツ情報抽出部１２は取得された対象コンテンツの特定の属性情報の抽出処理を行う。抽出されるコンテンツの特定の属性情報とは、人に関する情報と場所に関する情報と撮影イベントに関する情報の３つである。

次に、作品表現モデル指定部１４は、作品表現モデル蓄積部３に保有されている作品表現モデルから対象コンテンツに適する作品表現モデルを選択する（Ｓ４２）。作品表現モデル指定部１４は、主にコンテンツに何らかの付加情報を加える合成処理と、複数のコンテンツ又は分割されたコンテンツを特定の位置に配置するレイアウト配置処理と、時間遷移のある遷移エフェクト処理を作品表現モデルとして選択する。なお、これらの処理はコンテンツが有する特定属性情報に基づいて補正内容が変更される処理である。以降の動作（Ｓ３〜Ｓ５、またはＳ１３〜Ｓ１５）については実施の形態１および２と同一であるので説明を省略する。

以下の説明では、特定属性情報として、人に関する情報と場所に関する情報と撮影イベントに関する情報のそれぞれに対して合成処理とレイアウト配置処理と遷移エフェクト処理に関する説明を行う。

まず、コンテンツの特定属性情報が人に関する情報である場合について説明する。ここで、人に関する属性情報としては、人に関して検出可能な内容である「顔」、「上半身」、「全身」などがある。また、調整可能な項目としては、各検出内容の「数」、「向き」、「回転方向」、「検出尤度（信頼性）」、「年齢」、「性別」、「表情」、「着用物」、あるいはそれらの組合せがある。これらの人に関する属性情報を用いて調整項目の差分情報を算出し補正内容を調整することで、最終的な加工処理を行うことが可能である。具体的には、作品表現モデル指定部１４は、属性情報に対応する属性値を用いて、そのコンテンツに対する作品表現モデルを決定し、加工処理情報決定部６は、さらに決定された作品表現モデルの参照情報とコンテンツの属性情報とから最終的な加工処理情報と付加加工情報とに対する補正を決定する。その加工変換処理を行った結果の一例を図２０に示す。

図２０の（Ａ）はコンテンツ内の正面顔以外の人である通行人に合わせて異なるキャラクタを合成する作品表現モデルである。この場合には、作品表現モデル指定部１４は、通行人の「数」、「向き」、「回転方向」、「大きさ」を調整項目として、キャラクタを合成する複数の作品表現モデルからそれぞれの通行人に適用する作品表現モデルを決定し、それにより、それぞれの通行人に合うキャラクタが決定される。加工処理情報決定部６は、通行人ごとに参照情報と属性情報を基に、通行人の向きとキャラクタの向きをそろえるように作品表現モデルの補正を行い、加工処理部７は付加加工として加工変換処理を行う。

次に図２０の（Ｂ）は、中心コンテンツ内の正面体の人物に合わせて他のコンテンツの配置を決定する加工内容である。この場合には、作品表現モデル指定部１４は、正面体の「数」、「向き」、「回転方向」、「大きさ」を調整項目として、正面体の数「４」に適応する作品表現モデルの中から、それぞれの正面体と一致する人物が少数人数で写っている画像がそれぞれの配置位置にコンテンツがレイアウト配置される作品表現モデルを指定し、加工処理情報決定部６は、さらに参照情報と属性情報を基に、正面体と一致する人物が少数人数で写っている画像を抽出し人領域抽出する加工を行う加工変換処理を決定し、加工処理部７が加工変換処理を行う。

また図２０の（Ｃ）は、コンテンツ内の正面顔のそれぞれの顔状態に合う表示遷移エフェクトの効果が補正内容として選択決定される加工内容である。ここで、表示遷移エフェクトとは、例えば、デジタルアルバムのページをめくる操作をすると、上述の正面顔を拡大し、顔のみが抜き出されている次の画像に切り替わるといったような画像の切替エフェクトのことである。この場合には、作品表現モデル指定部１４は、正面顔の「数」、「向き」、「回転方向」、「性別」、「年齢」を調整項目としてそれぞれの顔の情報に応じた表示遷移エフェクトを用いる作品表現モデルを決定し、加工処理情報決定部６は、検出された顔ごとにデジタルアルバムの次の画像となるコンテンツの加工を決定し、加工処理部７は順番に各効果で表示される加工変換処理を行う。

次に、コンテンツの特定属性情報が場所に関する情報である場合について説明する。ここで、場所に関するコンテンツの属性情報としては、場所に関して検出可能な内容である「ＧＰＳに基づく位置情報」、「ランドマーク」がある。また、調整項目としては、各検出内容の「撮影方角」、「範囲」、「ランドマークの大きさ及び数」、「由来（過去）」及びそれらの組合せなどがある。また、前述の調整項目に、「撮影時刻」、撮影時刻から算出される「時間帯」、または「季節」をさらに組み合わせてもよい。これらの場所に関する属性情報を用いて調整項目の差分情報を算出することで補正内容を調整することで最終的な加工処理を行うことが可能である。その変換処理を行った結果の一例を図２１に示す。

図２１の（Ａ）はコンテンツ内の背景にあるランドマーク情報に合わせてそのランドマークに対応するイラストを合成する作品表現モデルである。この場合には、作品表現モデル指定部１４は、ランドマークの「撮影方角」、「範囲」、「大きさ」、「撮影時間帯」を参照情報としてランドマークに合うイラストを付加する作品表現モデルを選択し、加工処理情報決定部６が付加加工情報を決定し、加工処理部７が加工変換処理を行う。具体的には次のように処理される。まず、ＧＰＳの緯度、経度情報と撮影方角によりコンテンツ情報抽出部１２は、ランドマーク「富士山」を特定する。次に、作品表現モデル指定部１４は、ランドマーク「富士山」に対応する作品表現モデルのうち、ＧＰＳの撮影時刻情報から「富士山からの日の出」のデコ画像を付加する作品表現モデルを選択する。最後に、加工処理情報決定部６が作品表現モデルの参照情報と属性情報から、デコ画像の大きさと付加位置とを決定し、加工処理部７が付加加工処理を行う。

次に図２１の（Ｂ）は、配置するコンテンツの撮影場所に合わせてその場所に由来のあるコンテンツを配置決定する加工内容である。この場合には、コンテンツ情報抽出部１２は、コンテンツの撮影場所の「領域の広さ」、「撮影方角」、「由来の関係性」を調整項目としてそれぞれの撮影場所に最も関係性の深いコンテンツを選択抽出し、作品表現モデル指定部１４はそれぞれのコンテンツの配置位置に最も関係性の深いコンテンツをレイアウト配置する作品表現モデルを選択する。具体的には次のような処理となる。まず、コンテンツに共通する由来の関係性から、コンテンツ情報抽出部１２は由来「出雲」を特定する。次に、コンテンツ情報抽出部１２は、被写体解析から、左の画像からは「出雲そば」、右の画像からは「出雲大社」を検出し、作品表現モデル指定部１４は、由来「出雲」に対応する作品表現モデルのうち、左の画像に対して「出雲そば」のデコ画像を付加する作品表現モデルを、右の画像に対して「勾玉」のデコ画像を付加する作品表現モデルをそれぞれ選択する。最後に、加工処理情報決定部６は、作品表現モデルの参照情報と属性情報から、デコ画像の大きさと付加位置を決定し、加工処理部７は付加加工処理を行う。

また図２１の（Ｃ）は、コンテンツが撮影された場所の施設内容に合う表示遷移エフェクトの効果が補正内容として選択決定される加工内容である。この場合には、撮影場所の施設内容の「シーン」、「撮影方角」、「撮影範囲」、「撮影時期」を調整項目としてそれぞれの施設の情報に応じた表示遷移エフェクトの効果が決定され、順番に各効果で表示される加工変換処理がされる。コンテンツ情報抽出部１２は、この画像を結婚式場内の人々が写るシーンとして解析し、作品表現モデル指定部１４は、花びらが舞う様な効果Ｋを付与する作品表現モデルを選択する。最後に、加工処理情報決定部６は、作品表現モデルの参照情報と属性情報とから、被写体の顔を覆い隠さないように効果Ｋの付加位置を調整し、加工処理部７は付加加工処理を行う。

また、コンテンツの特定属性情報が撮影イベントに関する情報である場合について説明する。ここで、撮影イベントに関するコンテンツの属性情報としては、撮影イベントに関して検出可能な内容である「季節イベント」、「イベント被写体」、「イベントシーン」などがある。また、調整項目としては、各検出内容の「文字情報」、「被写体の数」、「被写体の大きさ」、「背景やシーンの領域」、「時間幅」及びそれらの組合せなどがある。これらの撮影イベントに関する属性情報を用いて調整項目の差分情報を算出することで補正内容を調整することで最終的な加工処理を行うことが可能である。その加工変換処理を行った結果の一例を図２２に示す。

図２２の（Ａ）はコンテンツ内に存在する被写体の形状情報に合わせてその被写体に対応するイベントに関するイラストを合成する加工内容である。この場合には、被写体の「大きさ」、「領域」、「形」、「撮影時間帯」を調整項目として被写体に合うイベントのイラストが選択されて付加加工として加工変換処理がされる。この例ではコンテンツ情報抽出部１２は、撮影時期から「クリスマス」のイベントを検出し、作品表現モデル指定部１４は、クリスマスイベントに関連するイラストを被写体である建物に合成する作品表現モデルを選択する。最後に、加工処理情報決定部６は、作品表現モデルの参照情報と属性情報とから、塔の頂上に星のデコ画像を合成する、屋根の中央にリースのデコ画像を合成する、等の合成処理を決定し、加工処理部７は合成処理を行う。

次に図２２の（Ｂ）は、中心に配置するコンテンツの構図に合わせてその構図に合わせて他のコンテンツの配置位置を決定する加工内容である。この場合には、撮影コンテンツの「被写体の数」、「被写体の大きさ」、「風景シーンの領域」を調整項目としてそれぞれの撮影コンテンツの構図を構成する被写体領域及び背景領域が抽出され、それぞれの被写体領域や背景領域に最も近い内容を表すコンテンツが選択されて配置される加工変換処理がされる。具体的には、コンテンツ情報抽出部１２が中心のコンテンツから得た「被写体の数：４」をもとに、作品表現モデル指定部１４は、当該コンテンツを中心として、周囲４か所に被写体それぞれが単独または少人数で撮影されている画像を配置する作品表現モデルより１つを選択し、周囲４か所に配置される画像を選択する。次に加工処理情報決定部６は、属性情報と参照情報とから画像の領域抽出、レイアウト枠の変形、移動等の調整を行い、加工処理部７は変換処理を行う。

また図２２の（Ｃ）は、撮影イベント内で撮影された同一被写体オブジェクトの数に合う表示遷移エフェクトの効果が補正内容として選択決定される加工内容である。この場合には、撮影イベントとして特定の被写体の「数」、「大きさ」、「頻度」、「撮影時期」を調整項目としてそれぞれの被写体の情報に応じた表示遷移エフェクトの効果が決定され、順番に各効果で表示される加工変換処理がされる。図２２（Ｃ）に示される例では、コンテンツ情報抽出部１２は、背景があまり変わらないシーンで撮影された散歩中の犬のコンテンツ群に対して、撮影された被写体である犬のオブジェクトを抽出し、作品表現モデル指定部１４は、時系列的に被写体部分がモーフィング遷移する効果Ｌを付与する作品表現モデルを選択する。加工処理情報決定部６は、抽出されるオブジェクトの大きさ、効果Ｌにおける遷移効果、表示順等の調整を行い、加工処理部７は、変換処理を行う。

＜補足＞
（１）人に関する情報に基づく補正
上述の実施の形態３では、通行人の「数」、「向き」、「回転方向」、「大きさ」を調整項目として、作品表現モデル指定部１４がキャラクタを合成する複数の作品表現モデルからそれぞれの通行人に適用する作品表現モデルを決定する場合について説明したが、それ以外にも下記のような作品表現モデルを用いてもよい。

例えば、被写体として検出された人の方向に向き合う様にキャラクタを配置する作品表現モデルを用いてもよい。あるいは、周囲にいる人の数に合わせて擬音語を配置する作品表現モデル、周囲にいる人の数に合わせて雑音音声を付加する作品表現モデル、コンテンツ内に登場する人物の年齢、性別、表情等に合わせて人物ごとに異なるスタンプを付加する作品表現モデルを用いることができる。

また、上述の実施の形態３では、正面体の「数」、「向き」、「回転方向」、「大きさ」を調整項目として、作品表現モデル指定部１４が、それぞれの正面体と一致する人物が少数人数で写っている画像をそれぞれの配置位置にレイアウトする作品表現モデルを指定する場合について説明したが、作品表現モデル指定部１４はそれ以外にも下記のような作品表現モデルを用いてもよい。

例えば、コンテンツ内の顔のうち、一定角度範囲の顔だけを対象として、その数だけ画面分割し、関連する画像を配置する作品表現モデルを用いてもよい。あるいは、写っている体の領域面積量で重み付けをして、重みづけに従って画面分割し、関連する画像を配置する作品表現モデルを用いてもよい。また、人の相対位置関係に基づいて、周囲に配置される画像に対する装飾デコパーツの内容を、当該配置される画像ごとに変化させる作品表現モデルを用いてもよい。

また、上述の実施の形態３では、正面顔の「数」、「向き」、「回転方向」、「性別」、「年齢」を調整項目として作品表現モデル指定部１４がそれぞれの顔の情報に応じた表示遷移エフェクトの効果を決定する場合について説明したが、作品表現モデル指定部１４はそれ以外にも下記のような作品表現モデルを用いてもよい。

作品表現モデル指定部１４は、例えば、検出された顔の年齢順に顔のモーフィング遷移を行う効果を表示する作品表現モデルを用いてもよい。あるいは、検出された顔の組合せ数分だけ、それぞれの組合せの顔を検出している別画像へ遷移表示する作品表現モデルを用いてもよいし、検出された人物の写っている体の領域分だけカメラワーク的な遷移表示を行う作品表現モデルを用いてもよい。

また、上述の例に限られず、人に関する属性情報を用いて作品表現モデルを決定し補正する処理を用いることができる。

なお、画像認識技術などの解析手法は誤認識をする可能性があるため、解析結果を較正してもよい。この場合、例えば、コンテンツ情報抽出部１２は、ＳＮＳで共有された情報、手動でタグ付けされた情報などの利用メタデータ情報を用いてもよいし、コンテンツ加工装置に簡易ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を備えてユーザに較正情報を入力させてもよい。

また、コンテンツ加工装置２０は、コンテンツにおける人の出現頻度に応じて重要度を設定してもよい。コンテンツ加工装置２０は、例えば、頻出する人の情報を重要視し、優先的に被写体として認識させ、通行人であるか否かが不確かな場合に被写体として扱い、画像処理を行ってもよい。

（２）場所に関する情報に基づく補正
上述の実施の形態３では、コンテンツの撮影場所の「領域の広さ」、「撮影方角」、「由来の関係性」を調整項目として、コンテンツ情報抽出部１２がそれぞれの撮影場所に最も関係性の深いコンテンツを選択抽出し、作品表現モデル指定部１４がそれぞれのコンテンツの配置位置にレイアウト配置する作品表現モデルを選択する場合について説明したが、それ以外にも下記のような作品表現モデルを用いてもよい。

例えば、コンテンツ群の撮影された場所の地理的情報の近さに応じて、各コンテンツの間の画面分割の位置を変えるような作品表現モデルを用いてもよい。また、付加加工情報として、コンテンツの撮影位置に関連する装飾デコ画像を配置する、あるいはコンテンツの撮影位置に関連する配置ベースまたは背景を使用する、としてもよい。または、コンテンツ群が複数のランドマークに関連する場合、ランドマークごとの撮影枚数に応じて、当該ランドマークを含むコンテンツに付加する装飾デコパーツを変更してもよいし、あるいは撮影枚数の多いランドマークに関連するコンテンツを重要コンテンツとして中央に配置または大きな枠に配置などの加工を行ってもよい。

また、１つのコンテンツに対して２以上のランドマークが関連する場合、いずれかのランドマークを優先してもよい。このとき、優先順位は、例えばランドマークの種類で決めることができる。また、ランドマークの一部が検出される場合、その検出されたランドマークの位置や大きさに合わせて、当該ランドマークの全体像を付加する付加加工を行ってもよい。また、コンテンツ内の被写体が検出されない空き領域に、ランドマークに関連する装飾デコパーツを空き領域の大きさに合わせて付加加工するとしてもよい。また、装飾デコパーツ等を付加する付加加工において、コンテンツの撮影時間帯に合わせて当該装飾デコパーツ等の色合いを変化させてもよい。

また、上述の実施の形態３では、コンテンツ情報抽出部１２が結婚式場内の人々が写るシーンとして解析した画像に対し、花びらが舞う様な効果Ｋを付与する作品表現モデルを作品表現モデル指定部１４が選択する場合について説明したが、それ以外にも下記のような作品表現モデルを用いてもよい。

例えば、コンテンツ情報抽出部１２が撮影場所のシーンだけでなく建物情報によって撮影目的を判定し、作品表現モデル指定部１４が撮影目的に関連する作品表現モデルを選択してもよい。また、コンテンツ群において、被写体の地図上の位置や軌跡、あるいは特定の被写体の動きに合わせて、コンテンツの遷移エフェクトを選択してもよい。

また、上述の例に限られず、場所に関する属性情報を用いて作品表現モデルを決定し補正する処理を用いることができる。

なお、場所情報の取得方法はＧＰＳ情報に限られず、コンテンツ情報抽出部１２は、ＳＮＳで共有されたチェックイン情報、あるいは手動でタグ付けされた情報、簡易ＵＩによるユーザのフィードバック情報を用いてもよい。

（３）イベントに関する情報に基づく補正
上述の実施の形態３では、被写体の「大きさ」、「領域」、「形」、「撮影時間帯」を調整項目として、作品表現モデル指定部１４が被写体に合うイベントのイラストを選択し、コンテンツ加工装置２０が付加加工として加工変換処理を行う場合について説明したが、他にも下記のような作品表現モデルを用いることができる。

例えば、作品表現モデル指定部１４は、コンテンツ内の被写体であるオブジェクトの種類、数、形状等に合わせたイラストなどを配置合成する作品表現モデルを用いてもよい。また、コンテンツ内の文字領域に合わせて検出された文字に関連するオブジェクトのイラストを配置合成する作品表現モデル、あるいは、撮影目的と撮影時期に合わせて付加するイラストの内容を選択決定する作品表現モデルを用いてもよい。

なお、被写体の大きさや形、撮影時間帯に関連するイベントが複数存在する場合は、コンテンツ加工装置２０は、イベントの種類及び規模に応じてどのイベントに関連する作品表現モデルを用いるか決定することができる。または、当該イベントを検出した解析方法の信頼度により、イベントに関連する作品表現モデルを用いるかを決定してもよい。

また、上述の実施の形態３では、撮影コンテンツの「被写体の数」、「被写体の大きさ」、「風景シーンの領域」を調整項目として、コンテンツ情報抽出部１２がそれぞれの撮影コンテンツの構図を構成する被写体領域及び背景領域を抽出し、作品表現モデル指定部１４がそれぞれの被写体領域または背景領域に最も近い内容を表すコンテンツを選択し配置する作品表現モデルを選択する場合について説明したが、他にも下記のような作品表現モデルを用いることができる。

例えば、作品表現モデル指定部１４は、撮影イベントを構成するコンテンツ内の共通する背景シーンまたは被写体に合わせて画面分割を行う作品表現モデルを用いてもよい。また、背景の遷移情報に合わせて表示領域を分割し、それぞれのイベントに合う画面分割レイアウトを選択する作品表現モデルを用いてもよい。

また、上述の実施の形態３では、撮影イベントとして特定の被写体の「数」、「大きさ」、「頻度」、「撮影時期」を調整項目として、作品表現モデル指定部１４がそれぞれの被写体の情報に応じた表示遷移エフェクトの効果を決定し、コンテンツ加工装置２０が順番に各効果で表示される変換処理を行う場合について説明したが、他にも下記のような作品表現モデルを用いることができる。

例えば、作品表現モデル指定部１４は、撮影イベント内の被写体として認識可能な特定のオブジェクトが複数存在する場合には、その数に合わせて移動状態が分かる遷移エフェクトを付加する作品表現モデルを選択してもよい。あるいは、被写体を中心とし、背景の動きが分かる遷移エフェクトを付加する作品表現モデルを選択してもよい。

また、上述の例に限られず、イベントに関する属性情報を用いて作品表現モデルを決定し補正する処理を用いることができる。

なお、イベント情報の取得方法は被写体解析等の画像解析に限られず、ＳＮＳで共有されたコンテンツまたはアルバムのタイトル情報、あるいは手動でタグ付けされた情報、簡易ＵＩによるユーザのフィードバック情報を用いてもよい。

＜まとめ＞
以上のように、作品表現モデルをコンテンツの特定の属性情報に応じて決定し、さらに作品表現モデルをコンテンツの属性情報に応じて補正することで、コンテンツに適した作品表現モデルを動的に生成することができ、補正された作成表現情報を用いて、ユーザが一から加工処理をする必要がなく手軽に、効果的な視聴形式にコンテンツを加工し、楽しむ事ができる。

（実施の形態４）
本実施の形態では、作品を鑑賞するための端末条件に合わせてコンテンツの加工を行う方法について詳細に説明する。なお、実施の形態１〜３と同じ機能を有する構成には同じ符号を付し、説明を省略する。

本実施の形態に係るコンテンツ加工装置３０を図２３に示す。ユーザ端末は、作品を鑑賞するユーザが用いるネットワーク端末であり、例えば、大型液晶ＴＶ、パーソナルコンピュータ、タブレット端末等である。

端末情報入力部２１は、作品を鑑賞するためのユーザ端末から、端末情報を取得する。ここで、端末情報とは、例えば、端末画面の大きさや解像度などの端末能力、および、ＦＴＴＨ、ＬＴＥ等の回線種別など作品を取得するための回線速度などである。

加工処理情報決定部２６は、属性情報と参照情報とに加えて、端末情報入力部２１が取得する端末情報を用いて作品表現モデルの補正内容を決定する。詳しくは後述する。

＜動作＞
本実施の形態に係るコンテンツ加工装置３０の動作について説明する。本実施の形態に係るコンテンツ加工装置３０は、コンテンツデータ蓄積部１から対象コンテンツを取得し、コンテンツ情報抽出部２は取得した対象コンテンツから属性情報を抽出する（Ｓ１またはＳ１１）。

次に、コンテンツ加工装置３０は、作品表現モデル蓄積部３に蓄積されている作品表現モデルから作品表現モデル指定部４が使用する作品表現モデルを指定する（Ｓ２またはＳ１２）。

次に、コンテンツ加工装置３０は、参照情報抽出部５を起動し、参照情報抽出部５は指定された作品表現モデルから参照情報を抽出する（Ｓ３またはＳ１３）。

続いて、コンテンツ加工装置３０は、端末情報入力部２１を起動し、端末情報入力部２１は、ユーザ端末から、端末画面の大きさと回線種別を取得する（Ｓ５１）。

続いて、コンテンツ加工装置３０は加工処理情報決定部２６を起動し、加工処理情報決定部２６は、コンテンツ情報抽出部２が抽出した対象コンテンツの属性情報と、参照情報抽出部５が抽出した参照情報とに加え、端末情報入力部２１が取得した端末情報とに基づいて、作品表現モデルの補正方法を決定する（Ｓ５４）。参照情報と属性情報を用いた作品表現モデルの補正は上述した実施の形態１に係るＳ４または実施の形態２に係るＳ１４と同様であるため、ここでは、端末情報を用いた作品表現モデルの補正についてのみ、以下に詳しく説明する。

加工処理情報決定部２６は、端末情報を用いて、作品表現モデルの補正方法と加工処理情報とを決定する。本実施の形態では、端末画面の大きさと回線速度に合わせて作品表現モデルを補正する。例えば、端末画面の大きさが１０インチ以下であれば、作品がよりシンプルで分かりやすくなるように作品表現モデルを補正する。具体的には、ユーザ端末が５インチの表示部を有するタブレット端末であった場合、加工処理情報決定部２６は、付加加工として用いるデコ画像を、タブレット向けのシンプルな模様を持つデコ画像に交換する補正を行う。また、例えば、ユーザ端末が作品を取得するための回線速度が有線接続であれば１Ｍｂｐｓ以下、無線接続であれば１０Ｍｂｐｓ以下であれば、作品の情報量が小さくなるように作品表現モデルを補正する。具体的には、ユーザ端末が作品を取得するための回線が第３世代移動通信システムであって回線速度が７．２Ｍｂｐｓである場合、加工処理情報決定部２６は、コンテンツ画像１からコンテンツ画像２へのモーフィング効果を付与する内容の加工処理情報を、コンテンツ画像１からコンテンツ画像２へ表示を切り替える内容の加工処理情報に変更する。

次に、コンテンツ加工装置３０は加工処理部７を起動し、加工処理部７は、加工処理情報と補正後の作品表現モデルとに従って、コンテンツの加工変換処理と保存を行う（Ｓ５またはＳ１５）。

＜補足＞
（１）端末情報
上述の実施の形態４では、端末情報の例として端末画面の大きさと回線種別を示したが、それ以外に、次のようなものを端末情報として用いてもよい。

例えば、端末画面の総画素数、あるいは、水平画素数と垂直画素数との組み合わせを端末情報として用いてもよい。また、コンテンツが動画データである場合には、端末画面の最大フレームレートを端末情報として用いてもよい。

または、コンテンツ加工装置とユーザ端末との間のデータ転送速度の平均値、あるいは最大値を端末情報として用いてもよい。

（２）作品表現モデルの補正
上述の実施の形態４では、端末画面の大きさが所定の基準値以下であれば作品がよりシンプルで分かりやすくなるように、ユーザ端末が作品を取得するための回線速度が所定の基準値以下であれば、作品の情報量が小さくなるように作品表現モデルを補正する場合を示したが、次のように作品表現モデルの補正を行うとしてもよい。

例えば、端末画面の大きさや水平画素数・垂直画素数を基準とし、大型ＴＶ受像機や大型ディスプレイを備えるパーソナルコンピュータなどを画面サイズ：大、小型ＴＶ受像機や小型ノートＰＣを画面サイズ：中、タブレット端末やスマートフォン、携帯電話端末などを画面サイズ：小とする。そして、画面サイズ：大に対しては画質低下の原因となる縮小や圧縮などの加工内容を避け、デコ画像を高解像度向けのものに交換するような作品表現モデルの補正をするものとしてもよい。また、画面サイズ：小に対しては、付加加工に用いるデコ画像を、タブレット向けのシンプルな模様を持つデコ画像に交換する以外に、縮小率が所定値（例えば、２０％）以下となるデコ画像を削除する作品表現モデルの補正をするものとしてもよい。あるいは、作品表現モデルの補正候補として、「背景画像の削除」、「意匠枠の削除」を用いるものとしてもよい。このようにすることで、大型画面では高品位な作品を鑑賞することができるとともに小型画面では単純化された作品を鑑賞することができ、端末の画面サイズに合わせた適切な品質の作品を生成することが可能となる。

または、例えば、同様に、回線速度を基準とし、ＦＴＴＨ等の１００Ｍｂｐｓ以上の高速有線接続を回線速度：高、ＣＡＴＶ、ＡＤＳＬ等の中速有線接続とＬＴＥ、ＷｉＭＡＸ等の高速無線接続とを回線速度：中、ＩＳＤＮ、ダイアルアップ等の低速有線接続と３Ｇ、ＰＨＳ等の中速ないし低速の無線接続とを回線速度：低とする。そして、回線速度：高に対しては画質低下の原因となる縮小や圧縮、フレームレートの変更等の加工処理情報を避けるとしてもよいし、動画コンテンツを静止画に加工する内容の加工処理情報を、動画コンテンツを動画のまま加工する加工処理情報に変更するとしてもよい。また、回線速度：低に対しては、モーフィング効果を付与する加工処理情報に限らず、遷移画面エフェクトを付与する加工処理情報を、画面切り替えの加工処理情報に変更としてもよい。あるいは、アニメーション効果を有する付加加工情報を、静止画を付与する付加加工情報に補正するとしてもよいし、動画コンテンツを動画のまま加工する加工処理情報を、動画コンテンツを静止画に加工する加工処理情報に変更するとしてもよい。このようにすることで、高速回線を用いて作品を鑑賞できる環境では高品位な作品を鑑賞することができるとともに、低速回線しか使用できない環境でも作品のデータ転送待ち時間を軽減またはなくすことにより、快適に作品を鑑賞することが可能となる。

なお、画面サイズ：中または回線速度：中の端末情報に対し、中サイズの画面または中速度の回線に合わせ、作品表現モデルを補正してもよいのは勿論である。すなわち、加工処理情報を変更し、あるいは、加工処理情報の補正候補に制限を設けてもよく、または、付加加工情報を変更し、あるいは、付加加工情報の補正候補に制限を設けてもよい。

（実施の形態５）
本実施の形態では、ユーザの指示に合わせてコンテンツを加工し、または、ユーザの指示により作品を再生成する方法について詳細に説明する。なお、実施の形態１〜３と同じ機能を有する構成には同じ符号を付し、説明を省略する。

本実施の形態に係るコンテンツ加工装置４０を図２４に示す。

ユーザ指示入力部３１は、ユーザから、作品に対する指示を取得する。ここで、作品に対する指示とは、例えば、属性情報または参照情報の一部について変更するような作品表現モデルの補正を実施させる指示、または、実施させない指示である。詳しくは後述する。ユーザ指示入力部は、例えば、ディスプレイと、ユーザの指示を受け付けるタッチパネル等から構成される。

加工処理情報決定部３６は、属性情報と参照情報とに加えて、ユーザ指示入力部３１が受け付けるユーザ指示を用いて作品表現モデルの補正内容を決定する。詳しくは後述する。

＜動作＞
本実施の形態に係るコンテンツ加工装置４０の動作について説明する。本実施の形態に係るコンテンツ加工装置４０は、コンテンツデータ蓄積部１から対象コンテンツを取得し、コンテンツ情報抽出部２は取得した対象コンテンツから属性情報を抽出する（Ｓ１またはＳ１１）。

次に、コンテンツ加工装置４０は、作品表現モデル蓄積部３に蓄積されている作品表現モデルから作品表現モデル指定部４が使用する作品表現モデルを指定する（Ｓ２またはＳ１２）。

次に、コンテンツ加工装置４０は、参照情報抽出部５を起動し、参照情報抽出部５は指定された作品表現モデルから参照情報を抽出する（Ｓ３またはＳ１３）。

次に、コンテンツ加工装置４０は、ユーザ指示入力部３１と加工処理情報決定部３６を起動し、ユーザ指示入力部３１は、ユーザから、ユーザ指示を取得する（Ｓ６１）。ここで、ユーザ指示入力部３１は、加工処理情報決定部３６から属性情報と参照情報を取得し、参照情報に規定されている各調整項目について、「属性値を保持」、「参照値を保持」、「両方を用いて適宜補正」のいずれかを指示としてユーザから受け付ける。例えば、調整項目：顔数に対して、属性値が３で参照値が１である場合に、ユーザ指示入力部３１は、コンテンツの属性情報「顔数：３」を変更しないように作品表現モデルを「顔数：３」に補正するか、作品表現モデルのうち「顔数：１」を変更しないようにするか、実施の形態１の補足で説明したような優先度を用いて顔数を決定するかのいずれにするかをユーザに選択させて結果を受け取る。

続いて、加工処理情報決定部３６は、コンテンツ情報抽出部２が抽出した対象コンテンツの属性情報と、参照情報抽出部５が抽出した参照情報とに加え、ユーザ指示入力部３１が取得したユーザ指示とに基づいて、作品表現モデルの補正方法を決定する（Ｓ６４）。

加工処理情報決定部３６は、ユーザ指示が「両方を用いて適宜補正」を指示した調整項目については、実施の形態１の補足で説明したように、優先度を用いて当該調整項目に関する補正内容を決定する。すなわち、Ｓ４またはＳ１４と同じ動作をする。一方、ユーザ指示が「属性値を保持」または「参照値を保持」であった場合には、ユーザ指示に適合する補正候補のみを用いて、優先度を用いて当該調整項目に関する補正内容を決定する。例えば、調整項目：顔数に対して、属性値が３で参照値が１であり、ユーザ指示が「属性値を保持」である場合には、顔数が３となるような作品表現モデルの補正候補のみを作成し、優先度を用いて作成された補正候補の中から補正後の作品表現モデルを決定する。

次に、コンテンツ加工装置４０は加工処理部７を起動し、加工処理部７は、コンテンツの加工内容とコンテンツに付加する加工内容とに従って、コンテンツの加工変換処理と保存を行う（Ｓ５またはＳ１５）。

このようにすることで、コンテンツの特性と作品表現モデルの作成意図とのバランスを調整項目ごとにユーザが選択することができ、例えば、コンテンツである写真に写っている特定のランドマークにデコ画像を付加したくない、または、選択した作品表現モデルのレイアウト崩れを避けたいのでレイアウトを保持したい、などのユーザの嗜好を作品に反映することが可能となる。

＜補足＞
（１）ユーザ指示による再加工
上述の実施の形態５では、ユーザ指示はコンテンツの加工処理の前に入力される場合について説明したが、コンテンツ加工装置４０は作品を生成した後に当該作品をユーザに提示し、ユーザ指示を受け付けると、Ｓ６４と、Ｓ５もしくはＳ１５とを再実行することにより、作品表現モデルを補正して作品を修正するとしてもよい。このようにすることで、ユーザは作品を確認しながら、自身の嗜好に合うように作品を作り変えることができる。

また、ユーザ指示は、各調整項目について「属性値を保持」、「参照値を保持」、「両方を用いて適宜補正」のいずれかを指定する指示に限られず、「属性値を保持」、「属性値を保持しない」のいずれか、もしくは、「参照値を保持」「参照値を保持しない」のいずれかを指定する指示であってもよい。あるいは、ユーザ指示は、コンテンツの一部もしくは全部を他のコンテンツに交換する指示であってもよい。あるいは、コンテンツの加工内容を優先度の低い他の加工内容に変更する指示であってもよいし、付加加工のデコ画像を他のデコ画像に交換する指示であってもよい。あるいは、コンテンツ加工装置は、作品表現モデルの補正内容の候補とその優先度を提示し、ユーザ指示は、「優先度のしきい値」のように補正内容の候補を実施するか否かの条件を示す指示、もしくは、補正内容の候補を実施するか否かを直接選択する指示、のいずれかであってもよい。

なお、作品の生成後にユーザ指示を受け付けて作品表現モデルを補正し作品を修正する場合には、Ｓ５もしくはＳ１５において、差分についてのみ加工処理をやり直すとしてもよい。加工済みのコンテンツおよび付加加工のうち、作品表現モデルのうち補正されない部分に関するものは、作品の修正の前後で変化しないため、そのまま修正後の作品に使用できるからである。つまり、作品表現モデルのうち補正された部分に関するコンテンツ加工と付加加工とを実施することで、作品を生成することができる。例えば、コンテンツの一部を交換するユーザ指示に対して、コンテンツ加工装置は、交換されたコンテンツの加工と、交換されたコンテンツの付加加工など作品表現モデルの補正された部分に関する加工とを行えばよい。

（２）ユーザ指示入力
上述の実施の形態５では、ユーザ指示入力部３１は、参照情報に規定されている各調整項目についてユーザ指示を受け付ける場合について説明したが、作品を生成した後にユーザ指示を受け付ける場合には、ユーザ指示入力部３１は作成された作品を表示し、修正指示を受け付けるとしてもよい。また、ユーザ指示入力部３１は、デコ画像の入れ替え等、付加加工を補正するユーザ指示を受け付ける場合には、補正後の作品表現モデルに基づく作品をプレビューとしてユーザに提示してもよい。このようにすることで、ユーザはより直感的に、作品を修正するための指示を行うことが可能となる。

（本実施の形態に係るその他の変形例）
（１）実施の形態１〜５では、コンテンツがコンテンツデータ蓄積部１に蓄積されている場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、本発明に係るコンテンツ加工装置はコンテンツデータ蓄積部１の代わりに、コンテンツを蓄積している外部記憶媒体やサーバからコンテンツを取得するコンテンツデータ取得部を有していてもよい。

また同様に、実施の形態１〜５では、作品表現モデルまたはテンプレートが作品表現モデル蓄積部３に蓄積されている場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、本発明に係るコンテンツ加工装置は作品表現モデル蓄積部３の代わりに、作品表現モデルまたはテンプレートを蓄積している外部記憶媒体やサーバから作品表現モデルまたはテンプレートを取得する作品表現モデル取得部を有していてもよい。

（２）実施の形態１〜５では、補正優先度算出部６３は補正内容と差分内容に基づき優先度を決定する場合について説明したが、本発明は必ずしもこの場合に限定されない。例えば、補正優先度算出部６３は、補正内容と差分内容との少なくとも一方に基づき、補正内容の困難度を算出してもよい。このとき、加工処理情報補正部６４、付加加工情報補正部６５は困難度が最も低い補正内容を採用してもよいし、困難度がしきい値以下である補正内容を採用してもよい。

（３）実施の形態１〜５のコンテンツ加工装置は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。例えば、コンテンツ情報抽出部は他の回路部と同一の集積回路に集積されることもあれば、別の集積回路になる場合もある。

ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、実施の形態１〜５のコンテンツ加工装置は、記憶媒体に書き込まれたプログラムと、プログラムを読み込んで実行するコンピュータとで実現されてもよい。記憶媒体は、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体であってもよい。また、実施の形態１〜５のコンテンツ加工装置は、ネットワークを経由してダウンロードされるプログラムと、プログラムをネットワークからダウンロードして実行するコンピュータとで実現されてもよい。このプログラムは、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成する作品生成処理をコンピュータに実行させるコンテンツ加工プログラムであって、前記作品生成処理は、対象となるコンテンツから属性情報を取得するコンテンツ情報取得ステップと、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得ステップと、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定ステップと、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理ステップとを含むことを特徴とするコンテンツ加工プログラムである。

（４）実施の形態１〜５の説明は本発明の例示に過ぎず、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。

＜補足＞
以下に、実施の形態に係るコンテンツ加工装置および集積回路、方法、プログラムの構成および効果について説明する。

（１）実施の形態に係るコンテンツ加工装置は、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成するコンテンツ加工装置であって、対象となるコンテンツから属性情報を取得するコンテンツ情報取得部と、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得部と、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定部と、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理部とを含むことを特徴とする。

また、実施の形態に係る集積回路は、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成する集積回路であって、対象となるコンテンツから属性情報を取得するコンテンツ情報取得部と、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得部と、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定部と、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理部とを含むことを特徴とする。

また、実施の形態に係るコンテンツ加工方法は、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成するコンテンツ加工方法であって、対象となるコンテンツから属性情報を取得するコンテンツ情報取得ステップと、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得ステップと、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定ステップと、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理ステップとを含むことを特徴とする。

また、実施の形態に係るコンテンツ加工プログラムは、作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成する作品生成処理をコンピュータに実行させるコンテンツ加工プログラムであって、前記作品生成処理は、対象となるコンテンツから属性情報を取得するコンテンツ情報取得ステップと、前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得ステップと、前記参照情報と前記属性情報とに基づいて前記作品表現モデルを補正し、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定ステップと、前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理ステップとを含むことを特徴とする。

これら上記の構成によれば、ユーザが保有する多様なコンテンツに対して作品表現モデルをコンテンツの属性情報に応じて補正することで、コンテンツに適した作品表現モデルを用いることができ、コンテンツ加工装置は必ずしもコンテンツに最適な加工処理情報を保持しておく必要がなく、補正された作品表現モデルを用いて、ユーザが一から加工処理をする必要がなく手軽に、効果的な視聴形式にコンテンツを加工することが可能になる。

（２）また、実施の形態に係る上記（１）のコンテンツ加工装置は、前記作品表現モデルはテンプレートを含み、前記テンプレートに関する参照情報は、前記加工処理情報決定部が行う補正によって変更可能な項目を１以上有するとしてもよい。

このようにすることで、作品表現モデルのうちコンテンツの属性情報に応じて補正可能な項目を変更可能な項目として明確化でき、かつ作品表現モデルをテンプレート単位で取り扱えるようになるので、ユーザはテンプレートを選択することによって、コンテンツに適した作品表現モデルを選択することが可能となる。

（３）また、実施の形態に係る上記（２）のコンテンツ加工装置は、前記参照情報は、前記変更可能な項目ごとの参照値を含み、前記属性情報は、前記変更可能な項目ごとに取得される属性値を含み、前記加工処理情報決定部は、前記変更可能な項目ごとの参照値と属性値との差分に基づいて、前記作品表現モデルを補正し、前記加工処理情報を決定する、としてもよい。

このようにすることで、テンプレートの補正可能な項目についてコンテンツの属性情報とテンプレートの参照情報の差を定量的に評価し、テンプレートをよりコンテンツに適したものに補正することが可能となる。

（４）また、実施の形態に係る上記（３）のコンテンツ加工装置は、前記変更可能な項目は画像情報に関する項目であり、前記コンテンツ情報取得部は、前記属性値を前記コンテンツに対する画像解析によって取得する、としてもよい。

このようにすることで、顔、人体、シーン、オブジェクト情報などの画像情報についてのコンテンツ情報と、当該画像情報について補正可能なテンプレートとを用いて、作品の生成が可能となる。

（５）また、実施の形態に係る上記（３）のコンテンツ加工装置は、前記変更可能な項目は音声情報に関する項目であり、前記コンテンツ情報取得部は、前記属性値を前記コンテンツに対する音声解析によって取得する、としてもよい。

このようにすることで、音声、パラ言語、環境音、特定音源情報などの音声情報についてのコンテンツ情報と、当該音声情報について補正可能なテンプレートとを用いて、作品の生成が可能となる。

（６）また、実施の形態に係る上記（３）のコンテンツ加工装置は、前記変更可能な項目は前記コンテンツの被写体人物間の関係に関する項目であり、前記コンテンツ情報取得部は、前記コンテンツにおける被写体人物間の関係を解析することによって前記属性値を取得する、としてもよい。

このようにすることで、家族情報、友達情報、ＳＮＳ情報、インターネット情報などの人間関係情報と、当該人間情報について補正可能なテンプレートとを用いて、作品の生成が可能となる。

（７）また、実施の形態に係る上記（３）のコンテンツ加工装置は、前記加工処理情報決定部は、前記変更可能な項目ごとに、作品表現モデルの補正と加工処理情報との候補、および補正優先度とを作成し、前記補正優先度に基づいて、作品表現モデルを補正し作品処理情報を決定する、としてもよい。

このようにすることで、テンプレートにおける補正可能な項目について補正を行うか否かをコンテンツに基づいて決定でき、テンプレートをよりコンテンツに適した形式に補正することが可能となる。

（８）また、実施の形態に係る上記（７）のコンテンツ加工装置は、前記加工処理情報は、少なくともコンテンツの被写体領域、または背景領域に関して、領域を加工するための情報を含む、としてもよい。

このようにすることで、コンテンツを補正後のテンプレートの参照情報に合わせるため、コンテンツの被写体領域または背景領域に対して、領域分割、領域統合、領域抽出または領域変換などの、領域加工処理を行うことが可能となる。

（９）また、実施の形態に係る上記（７）のコンテンツ加工装置は、前記作品表現モデルに対する補正は、コンテンツの装飾に用いる部品に関して、前記コンテンツに合わせて前記テンプレートにおける前記部品の１以上を変更する処理である、としてもよい。

このようにすることで、テンプレートのうちコンテンツの装飾に用いる部品について、背景部品、装飾部品、遷移効果部品またはレイアウト部品などの変更を行うことが可能となる。

（１０）また、実施の形態に係る上記（９）のコンテンツ加工装置は、記作品表現モデルに対する補正は、ネットワークを経由して前記テンプレートの部品を取得し、前記テンプレートの部品の１以上を前記コンテンツに合わせて前記ネットワーク経由で取得した部品に交換する処理である、としてもよい。

このようにすることで、テンプレートのうちコンテンツの装飾に用いる部品について、変更に用いるための部品をネットワーク経由で取得することが可能となる。

（１１）また、実施の形態に係る上記（１）のコンテンツ加工装置は、前記作品を鑑賞するための端末の情報を受け付ける端末情報入力部をさらに備え、前記加工処理情報決定部は、前記端末の情報をさらに用いて、前記作品表現モデルを補正し前記加工処理情報を決定する、としてもよい。

このようにすることで、コンテンツ加工装置は、作品を鑑賞するための端末に合わせて適切な作品を生成することが可能となる。

（１２）また、実施の形態に係る上記（１）のコンテンツ加工装置は、前記作品についてユーザからの指示を受け付けるユーザ指示入力部をさらに備え、前記加工処理情報決定部は、前記ユーザからの指示をさらに用いて、前記作品表現モデルを補正し前記加工処理情報を決定する、としてもよい。

このようにすることで、コンテンツ加工装置は、ユーザからの指示を反映することで、ユーザの嗜好に合わせた作品を生成することが可能となる。

（１３）また、実施の形態に係る上記（１２）のコンテンツ加工装置は、前記ユーザからの指示は、前記作品表現モデルへの補正において、前記属性情報と前記参照情報とのいずれかに関する補正を実施させる指示、または実施させない指示である、としてもよい。

このようにすることで、ユーザは、参照情報またはコンテンツの属性情報のうち作品にそのまま反映させたい部分、または、必ず加工させたい部分を明示的にコンテンツ加工装置に指示することが可能となる。

（１４）また、実施の形態に係る上記（１）のコンテンツ加工装置は、前記コンテンツ情報取得部は、撮影被写体、撮影環境、撮影内容の１つ以上に関する特定属性情報を解析によって取得し、前記コンテンツ加工装置は、前記特定属性情報を用いて前記作品表現モデルを決定する作品表現モデル決定部をさらに備える、としてもよい。

このようにすることで、作品表現モデルをコンテンツの特定の属性情報に応じて決定し、さらに作品表現モデルをコンテンツの属性情報に応じて補正することで、コンテンツに適した作品表現モデルを動的に生成することができ、補正された作品表現モデルを用いて、ユーザが一から加工処理をする必要がなく手軽に、効果的な視聴形式にコンテンツを加工することが可能となる。

（１５）また、実施の形態に係る上記（１４）のコンテンツ加工装置は、 前記コンテンツを解析して特定属性情報を取得する手段は、人に関する顔情報又は身体情報について解析する手段と、場所に関するＧＰＳ情報またはランドマーク情報について解析する手段と、イベントに関するテーマ情報またはアクション情報について解析する手段とのうちいずれか１以上を含み、前記特定属性情報は、前記含まれる手段によって取得される情報であって、前記人に関する情報を含む撮影被写体情報と、前記場所に関する情報を含む撮影環境情報と、前記イベントに関する情報を含む撮影内容情報とのうちいずれか１以上を含む、としてもよい。

このようにすることで、人を被写体とし、顔情報や身体情報などの被写体情報を特定属性情報として有するコンテンツについて、被写体情報における、数、向き、回転方向、検出信頼性、年齢、性別、表情、着用物などの項目の情報を用いて、当該コンテンツに対する作品表現モデルの補正を決定することが可能になる。また、同一または関連する場所で撮影され、ＧＰＳ情報やランドマーク情報などの場所情報を特定属性情報として有するコンテンツについて、場所情報における、方角、領域、大きさ、時間帯、季節、地名、由来物などの項目の情報を用いて、当該コンテンツに対する作品表現モデルの補正を決定することが可能になる。さらに、同一または関連するイベントに関して撮影され、テーマ情報、シーン情報またはアクション情報などの撮影内容情報を特定属性情報として有するコンテンツについて、撮影内容情報における、時間幅、季節物、移動領域、行事、催し物などの項目の情報を用いて、当該コンテンツに対する作品表現モデルの補正を決定することが可能になる。

（１６）また、実施の形態に係る上記（１４）のコンテンツ撮影装置は、前記加工処理情報は、コンテンツを装飾して合成加工するための情報と、コンテンツの表示遷移エフェクトとして表示加工するための情報と、コンテンツを配置するレイアウト加工のための情報とのうちいずれか１以上を含み、前記含まれる情報は、前記コンテンツを解析した結果に基づいて決定される、としてもよい。

このようにすることで、コンテンツの特定属性情報を取得してコンテンツごとに作品表現モデルを補正する場合に、コンテンツの加工処理情報として、コンテンツの合成、または、コンテンツ間の遷移エフェクトを用いることができ、作品表現モデルの補正方法としてコンテンツのレイアウトの決定を行うことができる。

本発明にかかるコンテンツ加工装置及び方法は、例えば、コンテンツの装飾やデジタルアルバムやスライドショーの作成を行う際に、加工の基準を保持したまま、ユーザのローカルデータの撮影被写体や撮影内容の実体に則したコンテンツ加工を動的に調整処理して加工変換処理を行うことができる。したがって、効果的にコンテンツに適する視聴変換処理を行えるため、様々なコンテンツ視聴端末機に有用である。また、ＤＶＤ／ＢＤレコーダー、ＴＶ、コンピュータソフトウェアやデータサーバ等の用途に応用できる。

１０、２０、３０、４０ コンテンツ加工装置
１ コンテンツデータ蓄積部
２、１２ コンテンツ情報抽出部
３ 作品表現モデル蓄積部
４、１４ 作品表現モデル指定部
５ 参照情報抽出部
６、２６、３６ 加工処理情報決定部
７ 加工処理部
２１ 端末情報取得部
３１ ユーザ指示入力部
６１ コンテンツ情報解析部
６２ 差分値算出部
６３ 補正優先度算出部
６４ 加工処理情報補正部
６５ 付加加工情報補正部

Claims (19)

1. 作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成するコンテンツ加工装置であって、
   対象となるコンテンツから属性情報を取得するコンテンツ情報取得部と、
   前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得部と、
   複数の属性において前記参照情報と前記属性情報とが異なる場合に、前記参照情報と前記属性情報とが異なる属性のうち一部の属性における、前記参照情報と前記属性情報とを用いて前記作品表現モデルを補正し、前記参照情報と前記属性情報とが異なる属性のうち前記一部の属性以外の属性を含む１以上の属性において、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定部と、
   前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理部と
   を含むことを特徴とするコンテンツ加工装置。
2. 前記作品表現モデルはテンプレートを含み、
   前記テンプレートに関する参照情報は、前記加工処理情報決定部が行う補正によって変更可能な項目を１以上有する
   ことを特徴とする請求項１に記載のコンテンツ加工装置。
3. 前記参照情報は、前記変更可能な項目ごとの参照値を含み、
   前記属性情報は、前記変更可能な項目ごとに取得される属性値を含み、
   前記加工処理情報決定部は、前記変更可能な項目ごとの参照値と属性値との差分に基づいて、前記作品表現モデルを補正し、前記加工処理情報を決定する
   ことを特徴とする請求項２に記載のコンテンツ加工装置。
4. 前記変更可能な項目は画像情報に関する項目であり、
   前記コンテンツ情報取得部は、前記属性値を前記コンテンツに対する画像解析によって取得する
   ことを特徴とする請求項３記載のコンテンツ加工装置。
5. 前記変更可能な項目は音声情報に関する項目であり、
   前記コンテンツ情報取得部は、前記属性値を前記コンテンツに対する音声解析によって取得する
   ことを特徴とする請求項３に記載のコンテンツ加工装置。
6. 前記変更可能な項目は前記コンテンツの被写体人物間の関係に関する項目であり、
   前記コンテンツ情報取得部は、前記コンテンツにおける被写体人物間の関係を解析することによって前記属性値を取得する
   ことを特徴とする請求項３に記載のコンテンツ加工装置。
7. 前記加工処理情報決定部は、前記変更可能な項目ごとに、作品表現モデルの補正と加工処理情報との候補、および補正優先度とを作成し、前記補正優先度に基づいて、作品表現モデルを補正し作品処理情報を決定する
   ことを特徴とする請求項３に記載のコンテンツ加工装置。
8. 前記加工処理情報は、少なくともコンテンツの被写体領域、または背景領域に関して、領域を加工するための情報を含む
   ことを特徴とする請求項７に記載のコンテンツ加工装置。
9. 前記作品表現モデルに対する補正は、コンテンツの装飾に用いる部品に関して、前記コンテンツに合わせて前記テンプレートにおける前記部品の１以上を変更する処理である
   ことを特徴とする請求項７に記載のコンテンツ加工装置。
10. 前記作品表現モデルに対する補正は、ネットワークを経由して前記テンプレートの部品を取得し、前記テンプレートの部品の１以上を前記コンテンツに合わせて前記ネットワーク経由で取得した部品に交換する処理である
    ことを特徴とする請求項９に記載のコンテンツ加工装置。
11. 前記作品を鑑賞するための端末の情報を受け付ける端末情報入力部をさらに備え、
    前記加工処理情報決定部は、前記端末の情報をさらに用いて、前記作品表現モデルを補正し前記加工処理情報を決定する
    ことを特徴とする請求項１に記載のコンテンツ加工装置。
12. 前記作品についてユーザからの指示を受け付けるユーザ指示入力部をさらに備え、
    前記加工処理情報決定部は、前記ユーザからの指示をさらに用いて、前記作品表現モデルを補正し前記加工処理情報を決定する
    ことを特徴とする請求項１に記載のコンテンツ加工装置。
13. 前記ユーザからの指示は、前記作品表現モデルへの補正において、前記属性情報と前記参照情報とのいずれかに関する補正を実施させる指示、または実施させない指示である
    ことを特徴とする請求項１２に記載のコンテンツ加工装置。
14. 前記コンテンツ情報取得部は、撮影被写体、撮影環境、撮影内容の１つ以上に関する特定属性情報を解析によって取得し、
    前記コンテンツ加工装置は、
    前記特定属性情報を用いて前記作品表現モデルを決定する作品表現モデル決定部をさらに備える
    ことを特徴とする請求項１に記載のコンテンツ加工装置。
15. 前記コンテンツを解析して特定属性情報を取得する手段は、人に関する顔情報又は身体情報について解析する手段と、場所に関するＧＰＳ情報またはランドマーク情報について解析する手段と、イベントに関するテーマ情報またはアクション情報について解析する手段とのうちいずれか１以上を含み、
    前記特定属性情報は、前記含まれる手段によって取得される情報であって、前記人に関する情報を含む撮影被写体情報と、前記場所に関する情報を含む撮影環境情報と、前記イベントに関する情報を含む撮影内容情報とのうちいずれか１以上を含む
    ことを特徴とする請求項１４に記載のコンテンツ加工装置。
16. 前記加工処理情報は、コンテンツを装飾して合成加工するための情報と、コンテンツの表示遷移エフェクトとして表示加工するための情報と、コンテンツを配置するレイアウト加工のための情報とのうちいずれか１以上を含み、
    前記含まれる情報は、前記コンテンツを解析した結果に基づいて決定される
    ことを特徴とする請求項１４に記載のコンテンツ加工装置。
17. 作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成する集積回路であって、
    対象となるコンテンツから属性情報を取得するコンテンツ情報取得部と、
    前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得部と、
    複数の属性において前記参照情報と前記属性情報とが異なる場合に、前記参照情報と前記属性情報とが異なる属性のうち一部の属性における、前記参照情報と前記属性情報とを用いて前記作品表現モデルを補正し、前記参照情報と前記属性情報とが異なる属性のうち前記一部の属性以外の属性を含む１以上の属性において、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定部と、
    前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理部と
    を含むことを特徴とする集積回路。
18. 作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成するコンテンツ加工方法であって、
    対象となるコンテンツから属性情報を取得するコンテンツ情報取得ステップと、
    前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得ステップと、
    複数の属性において前記参照情報と前記属性情報とが異なる場合に、前記参照情報と前記属性情報とが異なる属性のうち一部の属性における、前記参照情報と前記属性情報とを用いて前記作品表現モデルを補正し、前記参照情報と前記属性情報とが異なる属性のうち前記一部の属性以外の属性を含む１以上の属性において、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定ステップと、
    前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理ステップと
    を含むことを特徴とするコンテンツ加工方法。
19. 作品を表現する方法を示す作品表現モデルを用いてコンテンツを加工し作品を生成する作品生成処理をコンピュータに実行させるコンテンツ加工プログラムであって、
    前記作品生成処理は、
    対象となるコンテンツから属性情報を取得するコンテンツ情報取得ステップと、
    前記作品表現モデルに見合ったコンテンツが備えるべき属性である参照情報を取得する参照情報取得ステップと、
    複数の属性において前記参照情報と前記属性情報とが異なる場合に、前記参照情報と前記属性情報とが異なる属性のうち一部の属性における、前記参照情報と前記属性情報とを用いて前記作品表現モデルを補正し、前記参照情報と前記属性情報とが異なる属性のうち前記一部の属性以外の属性を含む１以上の属性において、前記補正された作品表現モデルに前記コンテンツを適合させるための加工処理を示す加工処理情報を決定する加工処理情報決定ステップと、
    前記加工処理情報に基づいて前記コンテンツを加工し、前記加工されたコンテンツと前記補正された作品表現モデルとを用いて作品を生成する加工処理ステップと
    を含むことを特徴とするコンテンツ加工プログラム。

Images