WO2011065236A1

WO2011065236A1 - ２次コンテンツ提供システムおよび方法

Info

Publication number: WO2011065236A1
Application number: PCT/JP2010/070102
Authority: WO
Inventors: 寛明木村; 由希子土生
Original assignee: Kddi株式会社
Priority date: 2009-11-25
Filing date: 2010-11-11
Publication date: 2011-06-03
Also published as: US20120274846A1; JP2011134302A; JP5697139B2

Abstract

　ユーザにかかる負担が小さく、かつユーザの満足度の高いデジタルアルバム等の２次コンテンツを自動作成・配信できる２次コンテンツ提供システムおよび方法を提供する。　ユーザの撮像した映像は区間分割後、その映像特徴量を辞書と照らし合わせメタデータを付与され１次コンテンツとして保存される。２次コンテンツ作成部１６にてストーリーテンプレートに記載のメタデータ指定から１次コンテンツを素材映像として選出して２次コンテンツを作成し、ユーザに配信する。修正要求がある場合、ユーザは１次コンテンツのリストから交換映像を決定して修正させる。修正情報は辞書更新などにも利用される。

Description

２次コンテンツ提供システムおよび方法

　本発明は２次コンテンツ提供システムおよび方法に関し、特に、ユーザが撮像し蓄積された各映像に自動的にメタデータを付与した１次コンテンツを素材としてデジタルアルバム等の２次コンテンツを自動作成すると共に、ユーザが２次コンテンツ内容に対してフィードバック修正ができるシステムおよび方法に関する。

　下記の特許文献１には、次のような技術が記載されている。予めメタデータが付加されている画像データ群を用いてこれら画像を整理、閲覧できるデジタルアルバムを容易に作成するために、運動会や結婚式といった各種のシナリオに対応し、画像データを貼付することでデジタルアルバムを作成できるテンプレート群を用意しておく。各テンプレートには優先順位を付したキーワードが設けられており、画像データのメタデータと各テンプレートのキーワードのマッチング分析を行い、優先順位の高いキーワードを持つテンプレートに画像データを貼付していくことで、特に分類・整理されていなかった画像データ群が各々その内容にあったテンプレートに貼付されデジタルアルバムとして整理される。

　また、下記の特許文献２には、次のような技術が記載されている。予めメタデータが付与された画像素材に楽曲やエフェクトなどの演出を加えた動画データを作成するため、各種テーマに沿って用いる楽曲やエフェクトおよび素材枠に挿入して用いる画像を決めるためのメタデータを定義したテンプレートファイルを用意しておき、このテンプレートファイルを用いて動画を作成する。

　また、下記の特許文献３には、次のような技術が記載されている。ユーザが特に分類せずに蓄積した画像データを用いて、所望のストーリーに適合した画像データから構成されるアルバムを作成するために、画像データに撮像時等にあらかじめ付与される作成日時、場所、音声から判断した画像データに含まれる人物といった情報を用いて画像データの検索・分類を行い、アルバムを作成する。

　さらに、下記の特許文献４には、次のような技術が記載されている。監視カメラなどから取得した動画からアルバムを少ない編集の手間で自動作成するために、動画像に撮影された人物を判別し、取得済みの動画中から判別された人物の撮影された動画を抽出し、順番につなげることでアルバムを作成する。

特開２００２－４９９０７号公報特開２００９－５５１５２号公報特開２００５－１０７８６７号公報特開２００９－８８６８７号公報

　しかしながら、特許文献１、２に記載の技術では、素材の画像や動画に対して利用者自身がメタデータを付与する必要があり、素材映像が大量になった場合、利用者に多くの負担がかかるという課題がある。

　さらにまた、特許文献３、４に記載の技術では、素材の画像や動画に対して一部のメタデータを自動付与することができるが、自動付与に誤りがあった映像は、利用者にとって最適と思われる映像であっても、アルバム作成には使われないという課題がある。

　本発明の目的は、前記した課題を解消し、ユーザにかかる負担が小さく、かつユーザの満足度の高いデジタルアルバム等の２次コンテンツを自動作成・配信できる２次コンテンツ提供システムおよび方法を提供することにある。

　前記目的を達成するために、本発明は、ネットワーク経由でアップロードされた静止画を含む映像コンテンツを所定の映像規格に変換した映像区間とする映像規格変換部と、該映像規格変換部で変換された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部と、前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存部と、前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存部から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成部と、前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信部と、前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処理部とを具備し、前記フィードバック処理部は、前記修正フィードバック情報の内容に応じて、前記分類・検出カテゴリ付与部および前記メタデータ作成部の内の少なくとも一つに更新処理要求する点に特徴がある。

　前記目的を達成するために、本発明はまた、ネットワーク経由でアップロードされた映像コンテンツを所定の映像規格に変換する映像規格変換部と、該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、該分割部で分割された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部と、前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部と、前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存部と、前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存部から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成部と、前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信部と、前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処理部とを具備し、前記フィードバック処理部は、前記修正フィードバック情報の内容に応じて、前記映像分割部、前記分類・検出カテゴリ付与部および前記メタデータ作成部の内の少なくとも一つに更新処理要求する点に特徴がある。

　本発明によれば、ユーザが撮像しアップロードした映像にシステムが自動的にメタデータを付した１次コンテンツを作成し、これを素材に所定の編集を加えることで視聴価値のある２次コンテンツを作成・配信するのでユーザは該２次コンテンツの視聴を楽しめ、もし該２次コンテンツに修正をしたい場合もシステムにフィードバック情報を送ることができる。

　また該フィードバック情報は１次コンテンツへのメタデータ付与機能などの更新処理に用いられるのでこれらの機能は学習により性能を上げていくことができる。また、映像特徴量データベースには一般と個別の区別があるので、メタデータ付与において適したデータベースの使い分けができる。また、映像に映っている顔が誰であるかを基にしたストーリーの２次コンテンツがユーザの提供および蓄積した映像を利用して作成されるので、ユーザは視聴価値の高い２次コンテンツを楽しむことができる。

　また、映像に映っている顔の表情の種類を基にしたストーリーの２次コンテンツがユーザの蓄積した映像を利用して作成されるので、ユーザは視聴価値の高い２次コンテンツを楽しむことができる。また、ユーザは２次コンテンツの修正したい箇所の修正候補映像リストを受け取ることができるので、該リストから選択するだけで容易に修正することができる。ユーザによる修正情報は、フィードバック情報としてメタデータ付与機能などの性能を向上させる。この結果、同一のストーリーテンプレートにより映像選出を行った場合、修正前の１次コンテンツが選出されにくくなり修正後の１次コンテンツが選出されやすくなるので、修正フィードバック後の２次コンテンツ作成機能をよりユーザの要求に即したものへと学習更新できる。また、ユーザはストーリーテンプレートのメタデータを変更できるので、視聴した２次コンテンツをアレンジした２次コンテンツも楽しむことができる。

本発明が実施されるネットワーク環境の一例を示すブロック図である。本発明の要部の構成を示すブロック図である。本発明の第一の実施形態でメール配信を利用する場合の構成を示すブロック図である。本発明の第二の実施形態でＶｏＤ配信を利用する場合の構成を示すブロック図である。特徴量データベースが一般データベースに加えて各ユーザごとの個別データベースを備えることを示す概念図である。図３および図４の映像区間分割部からメタデータ作成部までの処理を説明するフローチャートである。図６にて取得される分類・検出カテゴリと適合度数値、映像中の部品の座標などをリストアップした例を示す図である。図６のステップＳ３にて個人データベースの結果が一般データベースの結果より優先されることを示す概念図である。個別データベースにユーザが顔情報を登録する作業画面を示す概念図である。区間映像から作成された１次コンテンツを示す概念図である。スケジュール管理部の指示により２次コンテンツを作成する流れを示すフローチャートである。メタデータ比較・選択部が予め１次コンテンツの選択候補などをリストとして用意しておく流れを示すフローチャートである。図１１Aで予め用意されたリストに従う２次コンテンツを、スケジュール管理部の指示に従って作成する流れを示すフローチャートである。ユーザ指示により２次コンテンツを作成する流れを示すフローチャートである。ストーリーテンプレートの一般的な構成を示す概念図である。ストーリーテンプレートにおける１次コンテンツ選出用メタデータ項目の例として、顔検出、顔認識、顔表情認識関連で利用可能な項目の例を示す図である。ストーリーテンプレートにおける１次コンテンツ選出用メタデータ項目の例として、シーン認識関連に利用可能な項目の例を示す図である。ストーリーテンプレートに従い１次コンテンツを選出して作成された２次コンテンツの例を示す概念図である。ストーリーテンプレートに従い１次コンテンツを選出して作成された２次コンテンツの例を示す概念図である。図１６Ａおよび図１６Ｂに示す２次コンテンツを作成するストーリーテンプレート例を示す図である。図１６Ｂのシーン３の派生シーンを部分的に示す図である。ユーザによる２次コンテンツ修正・再作成処理および該修正情報を利用して１次コンテンツ作成機能の更新処理を行う流れを示すフローチャートである。図１７の処理を介してユーザがシステム自動作成シーンに用いられた映像ファイルを修正した際の修正前後のシーンの例を示す概念図である。図１８の修正交換前および後の映像ファイルにてシーン関連のメタデータ適合度が更新される例を示す概念図である。図１７の処理にてメール対応の場合にユーザ側に送付されてくるメール、およびその返信メールの例を示す概念図である。図１７のフローとは別の実施形態におけるフィードバック処理の流れを示すフローチャートである。映像入力を静止画に限定する実施形態における、本発明の要部の構成を示すブロック図である。

　以下に、図面を参照して本発明を詳細に説明する。図１に、本発明が実施されるネットワーク環境の一例を示す。まず、図１に関して説明する。

　撮像装置１はビデオカメラ、デジカメなどからなり、撮像装置１で撮影されたユーザ個人等の映像コンテンツは該ユーザの映像認識・２次コンテンツ作成プラットフォーム４の利用におけるユーザＩＤ、パスワードなどの管理・認識情報と共に、ＰＣ等の端末装置２を経由して、または直接にＷｉＦｉ、ＷｉＭａｘ等によりインターネットなどからなるネットワーク網３へ送られる。ネットワーク網３に送られた映像コンテンツはサーバである映像認識・２次コンテンツ作成プラットフォーム４（２次コンテンツ提供システム４）に映像入力部４ａから入力される。映像認識・２次コンテンツ作成プラットフォーム４の構成は後で詳細に説明するが、概略的な機能としては、映像入力部４ａから受信した映像コンテンツを映像区間に分割する機能、該映像区間ごとに映像分類・検出情報を含むメタデータを作成・付与して１次コンテンツを作成する機能、該メタデータの作成・付与において参照される辞書機能、該映像区間と該映像区間に関連づけられたメタデータを含む２次コンテンツを作成する機能、ユーザのＩＤおよびパスワードを生成して該１次コンテンツおよび該２次コンテンツに関連させる機能、ユーザによる２次コンテンツの内容修正要求などのフィードバック情報に対応する機能などを有している。

　なお、撮像装置１は、携帯装置２内に含まれるカメラ等を利用してもよい。この場合、例えば、携帯端末（携帯電話やスマートフォンなど）が上記説明の撮像装置１と携帯装置２との、両方の機能を担うこととなる。

　また、プラットフォーム４へ映像が入力される手段としては、ブログページやSNS(ソーシャル・ネットワーキング・サービス)などの、他システムサイトを経由して入力されてもよい。この場合、ユーザは上記のような撮像装置１又は端末装置２などを利用して、ネットワーク網３上に存在する他システムサイトに予め映像を入力しておく。そしてユーザは自身の映像が保存されている他システムサイトにログインし、プラットフォーム４への映像出力の許可などを行い、プラットフォーム４に映像入力する。

　映像認識・２次コンテンツ作成プラットフォーム４は後述するスケジュール管理機能により、所定の時間になると、もしくはユーザ要求を受信するなどすると２次コンテンツを作成する。該２次コンテンツは、ストーリー、シーンなどに対応したメタデータの配列を含んだ所定のストーリーテンプレートを利用し、メタデータの適合度を用いて１次コンテンツを構成素材として順次選択して組み込んでいくことによって自動的に作成され、映像・修正リスト出力部４ｃから各ユーザに提供される。ユーザへの２次コンテンツの提供はネットワーク網３によりメールあるいはＶｏＤインフラ網などの利用といった各種の方式によって提供される。ユーザは携帯端末、ＰＣ、あるいはＶｏＤ視聴装置などの視聴装置５により該２次コンテンツを視聴する。

　このときユーザがもし、用いられている１次コンテンツは該２次コンテンツのストーリー性などから不適切である、あるいはユーザ自身の嗜好に合わないなどの判断を下すと、ユーザは利用している視聴装置５を用いて映像認識・２次コンテンツ作成プラットフォーム４にフィードバック情報として修正要求を送信することができる。映像認識・２次コンテンツ作成プラットフォーム４はフィードバック情報・２次コンテンツ指定情報入力部４ｂで該修正要求を受信し、該修正要求の情報を利用して１次コンテンツ作成機能に更新処理をすると共に該修正要求に従う２次コンテンツを再度作成する。またユーザは、周知のＶｏＤの視聴形態と同様に、所望の時間に前記再度作成された２次コンテンツを含む所望の２次コンテンツを選び視聴要求を送信することもできる。

　なお、視聴装置５は、デジタルフォトフレームであってもよい。視聴装置５としてデジタルフォトフレームを利用する場合には、デジタルフォトフレームは２次コンテンツを受信してユーザが視聴できるようにする機能のみを担ってもよい。そして、視聴装置５の２次コンテンツ要求送信機能やフィードバック送信機能に関しては、デジタルフォトフレームの代わりに携帯端末などが担ってもよい。

　次に、図２を参照して前記映像認識・２次コンテンツ作成プラットフォーム４（２次コンテンツ提供システム４）の構成の要部について説明する。

　映像認識・２次コンテンツ作成プラットフォーム４は、主に、ユーザの撮像装置・端末装置からネットワーク経由でユーザＩＤ、パスワードなどの認証情報と共にアップロードされた映像コンテンツが静止画像か動画像であるかを判定する静止画・動画判定部１０と、映像コンテンツを所定の映像規格に変換する映像規格変換部１１と、映像規格変換部１１で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部１２と、映像分割部１２で分割された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部１３と、前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部１４と、前記映像コンテンツの映像区間ファイルを前記メタデータと関連づけて１次コンテンツとして保存する１次コンテンツ保存部１５と、前記１次コンテンツを用いて自動的に２次コンテンツを作成する２次コンテンツ作成・保存部１６と、該２次コンテンツおよびユーザの修正要求を受けた場合には修正候補リストを修正候補情報としてユーザに送出する送信部１７と、ユーザからの修正フィードバック情報や視聴要求情報を受信する受信部１８と、受信された修正フィードバック情報を処理するフィードバック処理部１９とから構成される。

　前記静止画・動画判定部１０で動画像と判定された場合には、映像規格変換部１１は映像分割部１２に接続され、一方静止画像と判定された場合には映像分割部１２をスキップして分類・検出カテゴリ付与部１３に接続される。よって映像分割部１２で分割された映像区間もしくは区間映像は、動画像の場合の他に映像分割部１２をスキップされた静止画像の場合を含んでいるとみなして、分類・検出カテゴリ付与部１３以降の処理を受けるとみなしてよい。

　なお、映像区間と区間映像は同一内容の用語であるが、区間に分割する前の段階では映像区間の用語を主に用い、区間に分割した後（分割処理を必要としない静止画の場合も含む）の段階では区間映像の用語を主に用いることとする。

　フィードバック処理部１９は、フィードバック情報として修正要求を受け取ると、送信元のユーザをユーザＩＤなどで認証したうえで、修正要求箇所の修正候補からなる１次コンテンツのリスト、すなわち修正候補情報、などを２次コンテンツ作成・保存部１６に作成させてユーザに返信させ、ユーザは最適候補を選択するなどして修正内容の具体的な指示を送信する。フィードバック処理部１９はユーザからこうして、修正フィードバック情報として該修正内容の具体的な指示を受け取ると、修正内容を反映した２次コンテンツをあらためて２次コンテンツ作成・保存部１６に作成させ、該２次コンテンツを視聴・確認できるようユーザへ送信させる。またフィードバック処理部１９は該修正内容に基づく更新処理を映像分割部１２、分類・検出カテゴリ付与部１３、メタデータ作成部１４に要求する。

　次に、前記映像認識・２次コンテンツ作成プラットフォーム４の構成の詳細を、前記送出部１７および前記フィードバック処理部１９にメール配信を利用する場合につき図３を参照して説明する。

　まず、１次コンテンツを作成するための単位となる区間映像を準備するまでの段階に対応する構成および動作は次のとおりである。

　映像認識・２次コンテンツ作成プラットフォーム４は図示されているように、前記ネットワーク網３を介してユーザ認証情報と共に送られてきた映像コンテンツが入力する映像入力部２１、例えばＤＶフォーマットの映像や静止画のＪＰＥＧ映像をＭＰＥＧ２や非圧縮映像に変換する映像規格変換部２２と、該変換された映像を一連の関連する内容が継続しているシーンやショットなどの区間映像に分割する映像区間分割部２３を有する。映像入力部２１は、映像コンテンツを受信すると共に静止画像であるか動画像であるかの判定をし、その判定信号で映像規格変換部２２を映像区間分割部２３へ接続するか該映像区間分割部２３をスキップして映像特徴量抽出部２４に接続するかの制御をする。静止画像の場合には区間映像への分割をする必要がないので、映像区間分割部２３をスキップし、静止画像がそのまま区間映像となる。

　なお、映像区間分割部２３は、映像分割部１２に対応する。

　また、区間映像から１次コンテンツを作成するまでの段階に対応する構成および動作は次のとおりである。

　すなわち、映像認識・２次コンテンツ作成プラットフォーム４は前記分割された区間映像から特徴量を抽出する映像特徴量抽出部２４、映像特徴量と映像分類・検出情報（以下、分類・検出カテゴリという。また該分類・検出カテゴリは後述する適合度、適合度数値も含むものとする。）との対応データを格納し、映像分類・検出における辞書機能を有する特徴量データベース（又は、特徴量ＤＢ）２５、前記映像特徴量抽出部２４で抽出された映像特徴量と特徴量データベース２５の辞書データとを比較する特徴量比較処理部２６、該特徴量比較処理部２６での比較処理により取得された映像特徴量に適合する分類・検出カテゴリ、該分類・検出カテゴリの映像特徴量への適合度および該映像をアップロードしたユーザのＩＤなどを含むメタデータを作成するメタデータ作成部２７、前記メタデータおよび前記メタデータに対応する前記分割された区間映像の映像ファイルとを関連づけて１次コンテンツとして保存・蓄積する１次コンテンツデータベース３０を有する。前記分類・検出カテゴリ付与部１３は前記映像特徴量抽出部２４、特徴量データベース２５、および特徴量比較処理部２６に相当する。前記特徴量データベース２５は、ニューラルネットワーク等を利用した知識ベースであって、分類・検出カテゴリの付与を行うと共に、ユーザからのフィードバックによって学習可能なものであってもよい。

　ここで、前記特徴量データベース２５は、図５に示すように一般データベース（又は、一般ＤＢ）２５ａに加えて各ユーザごとの個別データベース（又は、個別ＤＢ）２５ｂ１～２５ｂｎを有する。前記個別データベース２５ｂ１～２５ｂｎには、ユーザ個人に特化された認識用データ、例えばユーザの家族の顔認識用データと名前とがリンクして格納されており、ユーザ認証情報を用いて各ユーザごとに該個別データベースが参照・利用される。前記一般データベース２５ａには、一般的な映像特徴量、例えば赤ちゃん、ハイハイ、歩き、水遊び、誕生日、保育園、運動会、遊園地などの一般的な事象認識用のデータが格納され、全ユーザで共通して該事象認識用データが参照・利用される。また、前記特徴量データベース２５が全ユーザ共通での利用に加えてユーザ認証情報を用いて各ユーザごとに区別された利用がなされるのと同様に、該特徴量データベース２５を用いた処理を経てコンテンツが蓄積・保存される１次コンテンツデータベース３０、２次コンテンツ保存部３４においても各ユーザごとに区別されたコンテンツが保存され、またその他の処理においても特に明記してなくとも必要に応じてユーザ区別をした処理がなされる。

　なお、上記のような、特徴量データベース２５における一般データベースと各ユーザのデータベースとを区別し、その他の処理でもユーザ区別を行う実施形態を基本として本願発明の説明を行うが、別実施形態として、個人用データベースを設けず、一般データベースのみを用いるようにしてもよい。この場合、個人用に相当するデータは一般用データベースの中に保存され、各種処理に適用されることとなる。またこの場合、各種処理においても、ユーザ毎に特化したパラメータ等を利用せず、全ユーザで共通の処理がなされることとなる。

　また、図３において１次コンテンツから２次コンテンツを作成するまでの段階に対応する構成および動作は次の通りである。

　映像認識・２次コンテンツ作成プラットフォーム４は、スケジュール管理部３５からの指示もしくはユーザからのフィードバック情報・２次コンテンツ指定情報に従って前記１次コンテンツのメタデータとストーリーテンプレートデータベース３２内の、後に詳述するストーリーテンプレートのメタデータ情報との比較を行い、該比較処理によって得られる適合度の高さの順位などから１次コンテンツデータベース３０の中から２次コンテンツの素材もしくは２次コンテンツ修正候補として適切な１次コンテンツを自動的に選出し、該選出結果を２次コンテンツ作成部３３に送るメタデータ比較・選択部３１、ストーリーテンプレートに従って該選出された１次コンテンツを該ストーリーテンプレートの提供するフレームに順次配置していくことによってスライドショーやＰＣ向けアルバムといった２次コンテンツを作成すると共に、２次コンテンツにユーザがフィードバック修正を要求する箇所があるかを確認する修正確認情報および該フィードバック修正の要求に対して２次コンテンツの修正候補情報をユーザ送付用に作成する２次コンテンツ作成部３３、作成された前記２次コンテンツを保存する２次コンテンツ保存部３４、前記２次コンテンツの作成もしくは２次コンテンツの修正候補情報などの作成のために予め用意しておく各種ストーリーテンプレートを保存するストーリーテンプレートデータベース３２を有する。

　また、１次コンテンツの作成および２次コンテンツの作成、ユーザへの該２次コンテンツ送付や各種の連絡といった事項のスケジュールを自動管理する構成および動作は次のとおりである。

　映像認識・２次コンテンツ作成プラットフォーム４は、また、スケジュール管理部３５を有する。該スケジュール管理部３５は、第一の所定の時間に２次コンテンツ作成管理機能として前記メタデータ比較・選択部３１に指示を与えて前記１次コンテンツデータベース３０の１次コンテンツの中から前記ストーリーテンプレートデータベース３２の所定のストーリーテンプレートに適する１次コンテンツを選出させ、該１次コンテンツを基に２次コンテンツ作成部３３に２次コンテンツを作成させて２次コンテンツ保存部３４に保存させ、また第二の所定の時間に２次コンテンツのユーザ送信管理機能として該作成され保存された２次コンテンツを２次コンテンツ保存部３４から読み出してメール送信部３７に送り、メール送信部３７にて該２次コンテンツをメールなどに添付させると共に、該２次コンテンツの作成が適当ではないとユーザが判断した場合に返信可能な修正箇所指示リストなどを添えて送信させるなどの機能を有する。

　ユーザとの間で２次コンテンツの視聴および修正関連のやりとりをするインターフェース部としての構成、およびその構成を介してなされる修正フィードバック処理の流れは次のとおりである。ユーザからのフィードバックは第一段階としてシステムに視聴した２次コンテンツの修正したい箇所を伝える修正要求情報の送信と、第二段階としてシステムより返信されてきた修正箇所の代替映像リスト中から修正に用いる映像を決定して伝える修正決定情報の送信とからなる。

　映像認識・２次コンテンツ作成プラットフォーム４は、さらに、図１の映像・修正リスト出力部４ｃに対応し前記２次コンテンツや修正候補リストなどをユーザが視聴する携帯端末やＰＣへメール送信するメール送信部３７、図１のフィードバック情報・２次コンテンツ指定情報入力部４ｂに相当する受信メール解析部４１を有する。

　該受信メール解析部４１は、ユーザからの第一段階フィードバック情報として２次コンテンツのうち修正したい箇所を伝える修正要求情報を受け取ると、修正対象箇所の情報をメタデータ比較・選択部３１に送信し、メタデータ比較・選択部３１はストーリーテンプレートの修正対象箇所フレームを読み込み、該フレームに指定されるメタデータと１次コンテンツのメタデータとの適合度順位などの比較から修正要求を受けた１次コンテンツに対して交換対象となりうる１次コンテンツ候補を選択して修正候補情報として２次コンテンツ作成部３３に送る。該交換対象１次コンテンツ候補を受け取った２次コンテンツ作成部３３は、これらをそのままリストとしてもしくは修正後の２次コンテンツ該当箇所に加工してメール送信部３７へ送り、該メール送信部３７からのメールによりユーザは修正候補リストを受け取る。

　ユーザは該修正候補リストから修正に用いる１次コンテンツを決定し、該修正決定情報を第二段階フィードバック情報として送信すると、受信メール解析部４１は該修正決定情報を再度メタデータ比較・選択部３１に送る。該メタデータ比較・選択部３１はフィードバック処理部４５に対して、修正前・修正後の１次コンテンツ情報および該１次コンテンツが素材として用いられた２次コンテンツのフレームのメタデータ適用情報を送り、フィードバック処理部４５は学習機能として、該送られた情報を用いて修正後の結果を最初から得ることができる傾向を高めるように、前記映像区間分割部２３、特徴量データベース２５、メタデータ作成部２７に更新処理を要求する。ここで学習機能としての該更新処理を前記特徴量データベース２５に適用するにあたっては該特徴量データベース２５のデータベースが修正され、前記一般データベースと前記個別データベースとで区別した更新修正処理が行われる。また前記メタデータ比較・選択部３１はフィードバック処理部４５に上記のようにフィードバック情報を送り更新処理をさせると共に、修正反映後の２次コンテンツを再度ユーザに供給するよう、前記２次コンテンツ作成部３３、２次コンテンツ保存部３４、メール送信部３７に修正を反映した処理を要求する。

　なお、修正がない場合は、ユーザはその旨の指令をすればよい。

　ユーザから２次コンテンツ視聴要求もしくは所望条件の２次コンテンツ作成要求を受けた場合の流れは次の通りである。

　映像認識・２次コンテンツ作成プラットフォーム４はまた、前記受信メール解析部４１において、ユーザから送信された２次コンテンツ指定情報を受け取る。該２次コンテンツ指定情報はストーリーテンプレートデータベース３２に保存されたストーリーテンプレートの指定情報、もしくは該ストーリーテンプレートの指定情報に追加して該指定されたストーリーテンプレートにおいて用いられるメタデータの指定・限定・変更などからなり、前記受信メール解析部４１は前記２次コンテンツ指定情報をメタデータ比較・選択部３１に送ると、該２次コンテンツ指定情報の指示に従ったうえで前述のスケジュール管理部３５の２次コンテンツ作成管理機能および２次コンテンツユーザ送信管理機能と同様の処理がなされることにより、該２次コンテンツ指定情報に従った２次コンテンツが作成され、ユーザへ送信される。また前記２次コンテンツ指定情報が送信された場合は、該２次コンテンツ指定情報に従う２次コンテンツの作成・送信をスケジュール管理部３５の定める所定の時間に行う代わりに、該２次コンテンツ指定情報の送信後ただちに行ってもよい。この場合、ユーザは２次コンテンツ作成・送信管理機能による２次コンテンツ作成・送信を待たずに、２次コンテンツ要求の送信後ただちに要求した２次コンテンツが用意・送信されて視聴可能となる。

　以上では映像認識・２次コンテンツ作成プラットフォーム４において、前記送出部１７および前記フィードバック処理部１９にメール配信を利用する場合につき図３を参照して説明したが、前記送出部１７および前記フィードバック処理部１９にＶｏＤ配信（ビデオオンデマンド配信）を利用する場合につき、メール配信を利用する場合と異なる点に注目して図４を参照して説明する。

　図４において、ユーザの映像コンテンツアップロードによる映像入力から１次コンテンツデータベース３０までの処理や流れはメール配信時と同様である。スケジュール管理部３５はメール配信の場合と同様の２次コンテンツ作成管理機能として、所定の時間にメタデータ比較・選択部３１に指示を与え、該メタデータ比較・選択部３１にストーリーテンプレートデータベース３２のストーリーテンプレートを読み込ませ、メタデータ適合度から１次コンテンツデータベース３０の素材を選出させ、該選出結果を用いて２次コンテンツ作成部３３に２次コンテンツを作成させ、２次コンテンツ保存部３４に保存させる。メール配信の場合と異なりスケジュール管理部３５は２次コンテンツのユーザ送信管理機能を持たず、次に述べるように２次コンテンツ作成管理機能に関連した処理の流れの中でユーザへの２次コンテンツ作成完了連絡のみがなされる。すなわち、２次コンテンツ作成管理機能によって２次コンテンツ保存部３４が２次コンテンツ保存を完了すると、ＶｏＤ送出部３６に指示し、メール配信の場合と異なりコンテンツ本体は送付せず、コンテンツ完成の連絡メールのみをユーザの視聴するＶｏＤ視聴装置に送付させる。ユーザはコンテンツ完成連絡メールを受け取ってからサイトにログインするなどしてＶｏＤ受信部４０にＶｏＤ視聴要求を出すことで、ＶｏＤ受信部４０は２次コンテンツ保存部３４に指定された２次コンテンツをユーザ側へ送付され、ユーザは該コンテンツを視聴する。

　また、図４においても、ユーザが視聴した２次コンテンツへの前記修正要求がある場合のフィードバック情報の流れや処理、ユーザが希望する場合の前記２次コンテンツ指定情報の流れや処理についてはメール配信時とほぼ同様である。以降では、ことわりのない限り映像認識・２次コンテンツ作成プラットフォーム４において、前記送出部１７および前記フィードバック処理部１９にメール配信またはＶｏＤ配信のいずれを利用する場合、すなわち図３の場合でも図４の場合でも共通に適用可能であるものとして本発明の各部分の動作に関する説明を続ける。

　なお、本願発明において、図４に示したようなＶｏＤ配信は、専用ＳＴＢ（セットトップボックス）を用いて、当該ＳＴＢでリクエスト及び視聴などを行うような配信形態のみではなく、一般的なＰＣ端末や携帯端末などを用いて、ＶｏＤ配信のウェブサイトにアクセスしてリクエスト及び視聴などを行う配信形態をも、含むものとする。すなわち、これらの各種の利用形態に応じて、図４のＶｏＤ視聴装置は、ＶｏＤ視聴専用装置であっても、ＰＣ端末や携帯端末などのウェブアクセスが可能な一般的な端末であってもよいものとする。

　映像区間分割部２３の動作の詳細は次の通りである。

　映像区間分割部２３における処理は基本的には、映像コンテンツの各フレーム間での映像変化量が時間的に予め定められた閾値以上の場合に該フレームを区間映像の区切り画面（又はカット画面又はシーンチェンジ画面）とし、該区間映像の区切り画面間の映像を映像特徴量抽出部２４に出力する。なお、該映像区間分割部２３は、例えば、電子情報通信学会秋期大会、Ｄ－２６４（１９９３）の「フィルタを用いた映像カット点検出」、電子情報通信学会秋期大会、Ｄ－５０１（１９９４）の「フレーム間輝度差分と色差相関による圧縮動画像データからのカット検出」、特開平０７－０５９１０８号公報、特開平０９－０８３８６４号公報等に記載されている周知の技術を用いて、区間映像への分割を行うことができる。映像区間分割部２３は、ユーザからのフィードバック情報により、前記閾値を修正する等して更新処理することができる。なお該映像区間分割部２３において映像を区切る画面として言及している「フレーム」は、後述のストーリーテンプレートにおける「フレーム」とは異なる。

　次に、前記映像特徴量抽出部２４、特徴量比較処理部２６およびメタデータ作成部２７の動作の詳細を、図６のフローチャートを参照して説明する。ここでは区間映像にメタデータを付与して１次コンテンツが作成される。

　ステップＳ１では、映像特徴量抽出部２４は区間映像から特徴量（映像の特徴となっている部分を定量化したもの）、例えば、動物体などの対象物の面積、周囲長、円形度、重心など及び／又は色特徴、顔部品の認識や位置情報といった顔特徴などを抽出する。該特徴量は、動物体に限らず、静止物体や背景画像の対象物からも抽出するのが好ましい。一例として、２００７年３月１５日　ＣＱ出版株式会社発行「改訂版ディジタル画像処理の基礎と応用」の第６０～６２頁に記されている方法を用いて前記特徴量を抽出することができる。

　ステップＳ２では、特徴量比較処理部２６が、前記特徴量を特徴量データベース２５の一般データベース２５ａ内の情報と比較（例えば、パターン認識）し、各種分類・検出カテゴリおよびその適合度、また該分類・検出カテゴリによって認識されている映像中の部品がある場合はその座標などを取得する。適合度の数値は規格化により０～１までの値とすることができる。また適合度は数値で算出したのち、所定の閾値を越えているか否かで価を１または０とする、もしくは「適合」または「不適合」などの判定を割り当ててもよい。

　ステップＳ２で取得される分類・検出カテゴリと適合度数値、映像中の部品の座標などをリストアップした例を図７に示す。なお、図７においては適合度数値や座標などの具体的な値は表記せず、分類・検出カテゴリ項目などとの対応のみが示されている。図７に示されるように分類・検出カテゴリ項目の例としては、「食べる」、「寝る」、「歩く」、「公園」、「テーマパーク」などと各種のものがあり、それぞれについて適合度数値が前述のとおりステップＳ２において求められる。また分類・検出カテゴリ項目間には関連性・階層性を持っているものもある。例えば分類・検出カテゴリ「顔」に対して、その顔が誰であるかを示す「所属顔グループ」、その顔の部分構造として、「目」、「鼻」、「口」など、またその顔の表情として、「笑顔」、「泣き顔」、「驚き」などといったように関連する分類・検出カテゴリを用意しておくことができる。図７におけるような具体的に映像に何が映っているかを明らかにする分類・検出カテゴリ項目を特に映像分類・検出項目と呼んでもよい。

　分類・検出カテゴリの適合度としては例えば「顔」のような場合は特徴量データベース２５と比較してパターン認識したときのマッチング度合いの数値を用いるなど、各分類・検出カテゴリの性質やその２次コンテンツにおける利用法に応じて適合度数値を算出すればよく、「笑顔」など「顔」の表情を表す分類・検出カテゴリであれば適合度数値として特に表情数値などの別項目を用意しておくこともできる。分類・検出カテゴリの項目間に関連性があるのに伴い、それらの適合度も関連性を用いて算出させることもできる。なお、前述のように各分類・検出カテゴリ項目に対する適合度および適合度数値は分類・検出カテゴリに含まれるものとしてよい。

　また分類・検出カテゴリが「顔」のような場合は、「顔」という部品が検出されている領域の座標情報などもステップＳ２で取得できる。また「目」という部品に対して目の位置座標や視線角度といった値も取得できる。これらの部品の座標情報や、視線角度も分類・検出カテゴリに含まれるとみなしてよい。

　ステップＳ３では特徴量比較処理部２６が、前記特徴量を特徴量データベース２５の個別データベース２５ｂ１～２５ｂｎ内の情報と比較（例えば、パターン認識）し、各種分類・検出カテゴリおよびその適合度、また該分類・検出カテゴリによって認識されている映像中の部品がある場合はその座標などを取得する。ステップＳ３の処理は前記特徴量の比較が特徴量データベース２５の一般データベースではなく個人データベースを用いてなされる点がステップＳ２の処理と異なり、個別データベースとの比較によって分類・検出カテゴリとその適合度を取得するにあたり、個人特定の分類・検出カテゴリを設けるだけでなく、さらに個人嗜好などを反映した適合度算出法を設けておいてもよい。個人と関連しない分類・検出カテゴリに関しては一般データベースのみで比較し、個別データベースには該分類・検出カテゴリの項目を設けないようにして、個別データベースと一般データベースとでの重複データや重複処理を避けてもよい。また、ここで個別データベースの利用はユーザＩＤなどの認証情報を用いてなされ、当該映像をアップロードしたユーザの個別データベースの情報とのみ前記比較処理がなされる。（例えば、ユーザＩＤがｘの場合、個別データベース２５ｂ１～２５ｂｎのうち該当する個別データベース２５ｂｘの情報のみと比較される。）

　ステップＳ４では、ステップＳ２における一般データベースによる分類・認識結果とステップＳ３における個別データベースによる分類・認識結果を比較し、個別データベースの結果を優先して選ぶ。ステップＳ４における処理の様子の概念図を図８に示す。図８では入力された区間映像（ａ）に対して一般データベースとの比較の結果、（ｂ）のような分類・検出カテゴリおよび適合度数値を得ている。続いて個別データベースとの比較して一般データベースでの結果より優先した結果が（ｃ）であり、一般データベースで「該当なし」として認識されていなかった顔に対して「だいきくん」が適合度「０．９」にて認識され、表情「怒り」の表情数値が「０．３」から「０．８」へ、またシーンを表す「屋内」の適合度数値が「０．５」から「０．７」へ変更されている。また、「アップ度合い」および「位置」に関しては一般データベースと個別データベースで同結果となった、もしくは個別データベースに項目を設けておく必要がなく一般データベースの結果のみがあり、変更されていない。

　ステップＳ４において図８のように一般データベースでは該当データがなく認識されない「だいきくん」という名前の個人の顔を個別データベースにて認識し、該名前を分類・検出カテゴリの１項目として読み出せるようにするにはあらかじめ個別データベースに分類・検出カテゴリ「だいきくん」および「だいきくん」を撮影した映像区間を最低１シーン、望ましくは数シーン程度を登録する必要があるが、この登録作業画面の概念図をＰＣ利用の場合につき図９に示す。該登録は撮像装置１、端末装置２、または視聴装置５よりユーザ認証情報を用いて可能であり、顔情報以外にも任意の分類・検出カテゴリが登録できる。こうしたユーザ個別の分類・検出カテゴリの初期登録により、個別データベースには該ユーザ個別の分類・検出カテゴリとその映像認識用の特徴データが関連づけられて保存される。

　ステップＳ５では、メタデータ作成部２７が区間映像に対応したメタデータを作成する。メタデータは、ユーザＩＤ、分割前後の映像コンテンツ情報（撮像日時、コンテンツ再生時間、分割前後のファイルＩＤと分割箇所・分割順番など）を含んだ区間映像ファイル情報、区間映像の時刻情報、ステップＳ３、Ｓ４にて取得された分類・検出カテゴリ、分類・検出カテゴリの各項目および該各項目の適合度、関連部品の座標情報などを含んで作成される。

　ステップＳ６では、全ての区間映像に対して分類付けが行われたか否かの判断がなされ、否定の場合には、ステップＳ７に進んで、次の区間映像が映像特徴量抽出部２４に送られる。そして、前記ステップＳ１～Ｓ５の処理が繰り返される。全区間映像に対して処理が終了し、ステップＳ６で肯定の判断がなされると、ステップＳ８にて各区間映像と対応する各メタデータを関連づけて各１次コンテンツとして、１次コンテンツデータベース３０に保存する。

　以上のように、図６の各ステップを経て区間映像から作成された１次コンテンツの概念図を図１０に示す。図１０では「だいきくん」、「はるかちゃん」、「パパ」、「ママ」、また、「顔のアップ」、「顔正面」、「笑顔」、・・・、「水遊び」などといった分類・検出カテゴリとその適合度、および撮影日時がメタデータの一部として、元の入力された区間映像と関連づけられて１次コンテンツとなっている。

　なお、図６では前述のとおり、一般用と個人用とでデータベース等を使い分ける実施形態として説明した。一般用の処理のみの実施形態では、図６のステップＳ３とステップＳ４とが省略され、ステップＳ２の次にステップＳ５に至ることは明らかである。

　次に、メタデータ比較・選択部３１、ストーリーテンプレートデータベース３２、２次コンテンツ作成部３３、２次コンテンツ保存部３４、およびスケジュール管理部３５などによる、１次コンテンツを素材として所定の編集を加えた２次コンテンツを作成・保存する動作および保存後のユーザへの２次コンテンツ配信の詳細を説明する。

　２次コンテンツ作成の開始はスケジュール管理部３５の指示による場合、ユーザから作品などの指定指示を受けた場合などがあるが、まずスケジュール管理部３５の指示による場合の流れに関して図１１を参照して説明する。

　ステップＳ２１では、スケジュール管理部３５が所定の時間に２次コンテンツ生成をメタデータ比較・選択部３１に指示する。該所定の時間としては、ストーリーテンプレートデータベース３２に新規のストーリーテンプレートを追加したとき、ユーザによる映像コンテンツアップロードによって１次コンテンツ保存部３０に所定数以上の１次コンテンツが追加されたときなどを設定しておくことができ、各ユーザごとに個別のスケジュールとしても、全ユーザで共通のスケジュールとしても、また個別と共通の併用スケジュールとすることもできる。

　ステップＳ２２では前記スケジュール管理部３５の指示を受けてメタデータ比較・選択部３１がストーリーテンプレートデータベース３２から所定のストーリーテンプレートを読み込む。読み込むストーリーテンプレートに関しては前記ステップＳ２１と同様にスケジュール管理部３５からの指定に従う。なお、該ストーリーテンプレートの詳細は図１３などを参照して後述する。

　ステップＳ２３では各ユーザごとに、１次コンテンツデータベース３０に保存・蓄積された１次コンテンツのメタデータのうち顔グループ、すなわち該メタデータで対応づけられた区間映像人物が映っている場合、その人物が誰であるかを示すメタデータを参照して、各ユーザ内の最大グループ顔、すなわち１次コンテンツとして保存されている個数が最も多い顔グループを決定する。またここで各１次コンテンツに対して一般には複数の顔グループがメタデータとして付与されているが、それら顔グループのうち前記メタデータの適合度数値が最大のものを該１次コンテンツの顔グループとして用いることとする。また該ステップＳ２３は具体例を後述するように、顔グループ最大の人物を主人公とした２次コンテンツを作成することを想定しており、その場合の処理の説明をわかりやすくするために補足的に挿入された処理であり、実際は以下に述べるステップＳ２４とステップＳ２５でストーリーテンプレートの全ての指示に従う形の処理がなされる。２次コンテンツの作成指定をするストーリーテンプレートの種類によってはステップＳ２３が顔グループの上位複数を用いる場合や、ユーザの家族に対応する顔グループを用いる場合や、ユーザの友人に対応する顔グループを用いる場合などもありうる。またストーリーテンプレートに指示がなければ顔グループを用いない処理であってもよい。

　ステップＳ２４では後述するようにストーリーテンプレートを構成している順序づけられたフレームを参照して、該フレームに記載されたメタデータ指定に最適なメタデータを持つ１次コンテンツを選び、該１次コンテンツに含まれる区間映像すなわち映像ファイルを２次コンテンツの該フレーム部分に適用する素材として選択する。ステップＳ２５では最後のフレームまで処理がなされたかの判断がされ、否定の場合はステップＳ２４に戻って次のフレームに対して処理を行う。２次コンテンツを構成する全フレームに対してステップＳ２４の処理が行われ、ステップＳ２５で肯定の判断がなされると、ステップＳ２６に進む。

　ステップＳ２６では、ステップＳ２４で選択された各映像ファイルを対応するフレームのテンプレート映像などと合成、すなわち各映像ファイルをデコレーション映像、エフェクト機能、ナレーション等の音声情報などと合成した映像を作成し、さらにステップＳ２７に進んで該合成された映像を複数、ストーリーテンプレートの指示に従って組み合わせることで、スライドショーやＰＣ向けアルバムといった２次コンテンツを作成し、２次コンテンツ保存部３４に保存する。

　ステップＳ２７１では該２次コンテンツの配信形態の選択が行われ、メール対応の場合はステップＳ２８１に進みスケジュール管理部３５の指示する所定の時間に指示を受けると、ステップＳ２８２に進みメールにより、メール添付などの形式で２次コンテンツを各ユーザへ送信し、該メール送信後または同時に該２次コンテンツの修正・確認メッセージもメール送信される。

　一方、ステップＳ２７１にてＶｏＤ配信の場合は、ステップＳ２９１に進み各ユーザに対してメールにて２次コンテンツ作成完了の旨を連絡し、ユーザは該連絡を受け取るとステップＳ２９２に進みＶｏＤ視聴サイトにログインするなどして該２次コンテンツを視聴する。

　以上、図１１のフローを説明した。当該フローは、スケジュール管理部３５のスケジュール管理下で、２次コンテンツの作成指示があったときに、（１）１次コンテンツの選択処理を行い、（２）選択結果に従う２次コンテンツを作成して、ユーザに２次コンテンツを提供する、という処理を全て行うものであった。次に、これらを別個に行う別実施形態につき、説明する。

　当該実施形態では、上記（１）の１次コンテンツ選択処理を、スケジュール管理部３５の指示によらずに、メタデータ比較・選択部３１が所定のタイミングで予め行っておき、選択結果などをリストとして保存しておく。そして、スケジュール管理部３５による２次コンテンツ作成・提供があったときは、上記（２）に対応する処理を、予め作成しておいたリストにおける選択結果に基づいて、行う。

　メタデータ比較・選択部３１が予め１次コンテンツ選択処理を行うフローを図１１Aに示す。当該フローを開始するステップS２１０の所定のタイミングは、ユーザより映像がアップロードされる毎や、メタデータ比較・選択部３１自身の設定する所定の間隔毎、などであってよい。また、当該ステップS２１０の所定のタイミングは、ストーリーテンプレートの内容変更、追加、削除などがあった場合、であってもよい。

　続く、ステップS２２０、S２３０、S２４０、S２５０はそれぞれ図１１のステップS２２、S２３、S２４、S２５と同様であるが、処理対象が、ストーリーテンプレートのうちの、新たに１次コンテンツの選択処理が必要となった部分のみに限定される。

　例えばステップS２１０で、新規のストーリーテンプレートが作成されて処理を開始する場合であれば、当該新規ストーリーテンプレート全体に対して処理が行われるが、ステップS２１０で、既存のストーリーテンプレートの一部分のみが変更されて処理を開始する場合には、当該変更された一部分のみに対して処理が行われる。また、ステップS２１０で、ユーザより映像がアップロードされて処理が開始される場合であれば、当該映像による１次コンテンツが使われる可能性のあるストーリーテンプレートのみが処理対象となる。

　そして、ステップS２５１では選択結果、すなわち２次コンテンツに実際に利用されるベストマッチの１次コンテンツ選択結果と、２位以下所定数の１次コンテンツの情報からなる選択候補とを、リストとして保存しておく。

　このような予め作成され、必要がある毎に更新されるリストに基づいて、スケジュール管理部３５によるスケジュール指示に従って２次コンテンツが作成・提供されるフローを図１１Bに示す。ステップS２１００では、スケジュール管理部３５が所定タイミングで２次コンテンツの作成を指示する。ステップS２６０では、２次コンテンツ作成部３３が、図１１Aのフローによりメタデータ比較・選択部３１が予め作成したリストを参照して、映像合成を行う。ステップS２７以降の２次コンテンツ作成・提供に関しては、図１１の同番号のステップと同様であるので、説明を省略する。　

　また、２次コンテンツ作成の開始がユーザから作品などの指定指示を受けることによる場合の流れに関して図１２を参照して説明する。

　ステップＳ２１１では、個別のユーザから既存ストーリーテンプレートを利用してメタデータ指定法をユーザの好みに変更することによるアレンジ作品作成の指示、または特に２次コンテンツとしてメタデータのアレンジを指定せずに視聴したい作品に対応する既存ストーリーテンプレートの指示を受ける。アレンジ作品作成指示の例としては、ユーザが「笑顔」および「ベストショット」を作品作成に用いる主要なメタデータとしたストーリーテンプレートで作成された２次コンテンツを視聴して、既存ストーリーテンプレートには存在しないが、該ストーリーテンプレートにおいてメタデータ指定「笑顔」を「驚き」に変更したストーリーテンプレートを用いて作成された２次コンテンツを視聴したくなるような場合がありうる。

　ステップＳ２１２では指定された既存ストーリーテンプレートをストーリーテンプレートデータベース３２から読み込む。ステップＳ２１３ではユーザーが指定メタデータ変更、または追加、削除などによる２次コンテンツ作品のアレンジを指示しているか判断し、アレンジ指示がある場合はステップＳ２１４に進み読み込んだ既存ストーリーテンプレートに対して各フレームのメタデータ指定法にユーザ指示を反映させ、アレンジ指示がない場合はステップＳ２１４をスキップし既存ストーリーテンプレートをそのまま用いる。ステップＳ２１５では上述のようにアレンジ作品作成指示によってメタデータ指定法を変更されたストーリーテンプレート、もしくはメタデータ指定法は変更せずに用いるストーリーテンプレート自体の指示だけがあったストーリーテンプレートの各フレームに記載されたメタデータ指定法を確認する。次のステップＳ２４以降は図１１の場合と同様（ただし次に述べるユーザが手動で映像を選ぶ場合を除く）であるので説明を省略する。

　上述のようにステップＳ２４がメタデータ比較・選択部３１などにより自動処理される方式に代わって、ステップＳ２４においてユーザが手動で映像を選ぶようにする方式も可能である。この場合、ステップＳ２１５において確認されたメタデータ指定をメタデータ比較・選択部３１などに処理させ、後述の図１７におけるステップＳ３２１のような処理によってメタデータ適合度の許容範囲を広げて映像候補を複数用意しておき、ユーザはステップＳ２４においてこの映像候補の中から手動で所望の映像を選択するなどが可能であり、またシステムによるメタデータ適合度利用での絞り込みなどを経ずに直接１次コンテンツの中から映像を選択してもよい。この場合も全フレームに対して映像の手動選択を終えてステップＳ２５にて肯定判断がなされた後のステップＳ２６以降については図１１と同様であるので説明を省略する。

　次に、ストーリーテンプレートの一般的な構成の例を図１３を用いて説明する。ストーリーテンプレートには映像ファイルを配置する複数の配置枠や、配置枠への演出効果や、配置枠へ配置する映像ファイルのメタデータの参照による１次コンテンツ保存部内の１次コンテンツからの選出に関する定義などが含まれている。

　ストーリーテンプレートの一般的な構成は同図に示すように、まずストーリーテンプレート自体の認識などのための項目として、ストーリーテンプレートＩＤ、ストーリーテンプレートファイルすなわち２次コンテンツ作成用の１次コンテンツ選択指令ファイルおよび２次コンテンツ作成のための演出用情報・データとして挿入されるナレーションや背景画像、１次コンテンツへの追加画像・文字といった素材ファイルの保存パス、使用フレーム総数、２次コンテンツ作成がシステムにより自動になされるか、ユーザによる前記アレンジ指定などによる手動でなされるかを記載しておく自動／手動といった項目を含む。

　また具体的に２次コンテンツ作成にあたり、２次コンテンツにおいて部品として使用する１次コンテンツを選出する条件および選出した１次コンテンツの演出指定とシーン中の配置の箇所すなわち配置枠を記載したフレーム項目を複数含む。該演出方法、すなわち配置枠への演出効果、と配置に関しては図１６Ａおよび図１６Ｂを参照して後述する。フレームを１つもしくは複数用いることによって２次コンテンツにおける１つのシーンを構成でき、作成される２次コンテンツは１つもしくは複数の関連したシーンからなる。演出方法および配置箇所はフレーム間で共通もしくは関連がある場合がある。各フレーム項目のうち１次コンテンツ選出条件としては、同図の「フレーム１」以下に示すように人物として誰が映っているかを示す「顔グループ」、その顔の「アップ度合い」、「位置」、「視線」、「向き」、「表情」、また背景に何が映っているかを示す「場面１」、「場面２」、「場面３」、映像ファイルの形式に関して「静止画／動画／どちらでも」といった項目などが含まれ、これらの項目は１次コンテンツに付与されるメタデータと共通の項目からなる。

　図１３において「内容」欄は実際に１次コンテンツを選出するにあたり、メタデータ項目をどう参照して選出させるかを指定するなどに用いられる欄であり、「備考など」欄は２次コンテンツ作成にあたりメタデータ項目をどう活用するかをストリートテンプレート作成側でメモしておくためなどに用いられる欄である。

　「内容」欄の指定は例えば「顔グループ」に関しては前述図１１のステップＳ２３のように１次コンテンツ数が最大となる「顔グループ」を指定させることもでき、また前記ユーザによるアレンジ指示における指定に「顔グループ」指定があれば該指定に従わせることもできる。また、「向き」および「表情」の両項目につき所定の条件を満たすものを選出するよう指定することもでき、所定の条件としては各項目で１次コンテンツメタデータにおける適合度が最大のものを選ぶなどの条件とすることができる。「内容」欄はこのように１項目以上に指定条件を設けることができ、複数項目に対する指定条件を"かつ"、"または"などの論理式で組み合わせたものを指定条件とすることもでき、その他の条件に関しては無指定とすることもできる。メタデータを参照してたとえば「顔グループ」以外の項目で指定条件を設けることもできる。ストーリーテンプレートの各フレームにおける１次コンテンツ選出のメタデータ項目の例として、顔検出、顔認識、顔表情認識関連に利用可能な項目の例を図１４に、またシーン認識関連に利用可能な項目の例を図１５に示す。

　なお、メタデータのうち、ストーリーテンプレートのストーリーやシナリオを作成するための台本などにおいて用いるキーワード（例えば顔の素材をテーマにする場合なら感情表現、表情、また情景描写などに関するもの）と一致するものもしくは関連の深いものを、メタデータのうち漠然と映像特徴量を表すだけのものと区別してタグと呼ぶこともある。

　以上のように１フレーム内でメタデータの指定条件は関連性のある複数の条件を指定することができるが、ストーリーテンプレートは継続するフレームによって順次選出した１次コンテンツ映像データを素材としてストーリー性のある２次コンテンツを作成させる雛型であるので、継続するフレーム間におけるメタデータの指定条件の間でも通常は関連性があることとなる。

　以上のように、図１１、図１１A、図１１B、図１２などの流れの処理で図１３のような形式のストーリーテンプレートを用いて２次コンテンツの作成される例を図１６Ａおよび図１６Ｂを用いて示す。該２次コンテンツは一連のストーリーやシナリオを持った４シーンからなり、あるユーザの１次コンテンツにおいて該ユーザの個別データベースに登録されたメタデータ項目において最大グループ顔となる人物を主役として該人物の映像を選出させ桃太郎の鬼退治物語というストーリーを作成するものであり、このストーリーを作成するにあたって用いる図１３と同様の形式のストーリーテンプレートの主要部の例を図１６Ｃに示す。このテンプレートにより２次コンテンツの作成されていることを示す図１６Ａおよび図１６Ｂは、あるユーザの１次コンテンツにおける最大グループ顔が「だいきくん」であった場合の例を示している。従って「顔グループ　最大」のメタデータ指定では全て人物が「だいきくん」であると認識された映像を選出している例が示されている。この図１６Ｃのストーリーテンプレート例においてあるユーザの１次コンテンツから選出される「だいきくん」はユーザの４歳程度の子供であってユーザが多くの回数撮像し、結果として「だいきくん」に該当する１次コンテンツも豊富に存在するような場合が特に作成された２次コンテンツのユーザにとっての視聴価値を高める意味で好ましく、図１６Ｃのストーリーテンプレートはそのような１次コンテンツを保存しているユーザに対する２次コンテンツ視聴提供を想定した一つの例である。

　図１６Ａに示すシーン１は（ａ－２）に示すフレーム１の指示によって作成される。（ａ－２）に示すフレーム１のメタデータ指定「顔グループ　最大」、「アップ度合い　大」、「表情　無表情」の適合度数値の大きなものを検索することによって１次コンテンツデータベース３０から（ａ－３）に示す映像ファイルＦ１を持つ１次コンテンツが選ばれる。該映像ファイルＦ１に対して（ａ－２）に示すフレーム１における演出指定すなわち配置枠への演出効果、「額領域を検出してハチマキ画像Ｐ１を挿入」および「ナレーション音声を流す『桃太郎が流れてきました』」による加工が加えられ、さらに（ａ－２）では不図示のシーン画面全体への映像ファイルＦ１の配置指定、すなわち配置枠、によって（ａ－１）に示すシーン１が作成される。

　図１６Ａに示すシーン２は（ｂ－２）に示すフレーム２１とフレーム２２の２フレームの指示によって作成される。フレーム２１、フレーム２２は（ｂ－２）に示す「顔グループ」、「アップ度合い」、「表情」に関するメタデータ指定からそれぞれ（ｂ－３）に示す映像ファイルＦ２１、Ｆ２２を持つ１次コンテンツを選出させる。そして（ｂ－２）に示すフレーム２１とフレーム２２両方を用いる演出指定により、フレーム２１の選出画像に「おおきくなぁれ」の文字Ｌ２１、フレーム２２の選出画像に「すやすや」の文字Ｌ２２を挿入もしくは近辺に配置し、ナレーション音声「桃太郎は食べたり寝たりで大きくなりました」を加え、さらに（ｂ－２）に不図示の映像ファイルＦ２１のシーン画面左上への配置指定およびＦ２２のシーン画面右下への配置指定に従うことによって（ｂ－１）に示すシーン２が作成される。ここで映像ファイルＦ２１およびＦ２２は（ｂ－１）に示すシーン２に組み込むにあたり画像サイズを適宜拡大・縮小してもよく、該拡大・縮小の指定もフレーム２１、２２の演出指定に含めることができる。また映像ファイルＦ２１およびＦ２２を選ぶにあたり（ｂ－２）の指定メタデータ「アップ度合い　大」の代わりに「アップ度合い　中」もしくは「アップ度合い　小」を指定し１次コンテンツを選出してから、該１次コンテンツの映像ファイルにおける顔領域を検出し、該顔領域を含む近辺の領域のみを切り取って抽出した映像ファイルを、シーン２において用いる映像ファイルＦ２１、Ｆ２２とすることもできる。

　図１６Ｂに示すシーン３は（ｃ－２）に示すフレーム３１とフレーム３２の２フレームの指示によって作成される。フレーム３１、フレーム３２は（ｃ－２）に示す「顔グループ」、「アップ度合い」、「表情」に関するメタデータ指定からそれぞれ（ｃ－３）に示す映像ファイルＦ３１、Ｆ３２を持つ１次コンテンツを選出させる。そして（ｃ－２）に示すフレーム３１とフレーム３２両方を用いる演出指定により、フレーム３１の選出画像に「鬼がいじめているキャラ」の画像Ｐ３１、フレーム３２の選出画像に「鬼が怖がっているキャラ」の画像Ｐ３２を挿入もしくは近辺に配置し、ナレーション音声「鬼を退治に行きました」を加え、さらに（ｃ－２）には不図示の映像ファイルＦ３１およびＦ３２の配置指定に従うことによって（ｃ－１）に示すシーン３が作成される。映像ファイルＦ３１、Ｆ３２に対して、シーン２のＦ２１、Ｆ２２に関して述べたのと同様にして１次コンテンツの映像ファイルに拡大・縮小処理もしくは顔領域近辺の抽出処理をしたものを用いることもできる。またシーン３の派生として、フレーム３２の指定メタデータに「視線　左」を追加、さらに追加のフレーム３３としてメタデータ指定が「顔グループ　最大」、「アップ度合い　大」、「表情　怒り」、「視線　右」のフレームを追加し、演出指定にフレーム３３関連事項も追加することで（ｃ－１）において領域だけ示したＦ３３にフレーム３３による選出映像ファイルを配置するようにすれば、「鬼が怖がっているキャラ」の画像Ｐ３２を「だいきくん」の映像ファイルＦ３３とＦ３２が左右で取り囲んで「表情　怒り」の状態でにらんでいるという、フレーム間のメタデータの関連性をよりよく活用したシーンの作成なども可能である。この派生シーンの図１６（ｃ－１）からのフレーム指定追加による変更部分を図１６Ｄに示す。フレーム指定を追加したことにより、図１６（ｃ－１）の映像Ｆ３２の代わりにＦ３２１のような左向き視線で怒っている映像が選出され、また図１６（ｃ－１）Ｆ３３対応部分には右向き視線で怒っている映像Ｆ３３１が選出され、それらの間に画像Ｐ３２が配置されている。

　図１６Ｂに示すシーン４は（ｄ－２）に示すフレーム４の指示によって作成される。フレーム４は（ｄ－２）に示す「顔グループ」、「アップ度合い」、「表情」に関するメタデータ指定から（ｄ－３）に示す映像ファイルＦ４を持つ１次コンテンツを選出させる。そして（ｄ－２）に示す演出指定により、映像ファイルＦ４に「バンザーイ！」の文字Ｌ４を挿入もしくは近辺に配置し、ナレーション音声「みんなで喜びました」を加え、さらに（ｄ－２）には表記していないが映像ファイルＦ４のシーン画面内の配置指定に従うことによって（ｄ－１）に示すシーン４が作成される。

　以上のように、メタデータ指定により選出された１次コンテンツの映像ファイルに対して、シーン画面における配置指定すなわち配置枠を設定したうえで、文字や画像といったデコレーション映像の追加やエフェクト機能の追加、ナレーションなどの音声情報の追加など各種の演出指定から定義される各種の演出効果を施すにより、シーン１～シーン４から構成され各シーンにおけるナレーション音声で示されるようなストーリーを持った２次コンテンツが作成可能である。該ナレーション音声は同内容の挿入・配置文字として演出指定に用い、各シーンのタイトルとすることも可能であり、ナレーション音声の代わりにＢＧＭを加えるなど、２次コンテンツの視聴価値を高めるような種々の演出が可能である。

　また以上ではシーン１～シーン４が明確に区切られている想定であったが、演出指定によりシーン間にグラデーション効果などを用いて徐々に切換えることも可能であり、映像ファイルの挿入にあたりスライドイン・ディゾルブインなどの効果を加えることや、次シーンへの切換えで逆に映像ファイルにスライドアウト・ディゾルブアウトなどの効果を加えることも可能である。この場合、特にスライドインのような場合は前記シーン画面における配置枠を固定のものではなく移動するものとして定義すれば、演出指定を用いなくとも同等の効果が得られる。各種効果はＢＧＭやナレーションなどと同期させるなどし、効果を加える時間を設定することが可能である。

　また以上ではメタデータ指定として主に「顔グループ」、「アップ度合い」、「表情」に関するものを例として述べたが、さらに細かい指定を加えたストーリーテンプレートを用意しておくことも可能である。また以上図１６Ａ、図１６Ｂの例より明らかなように顔グループすなわち誰の顔であるかによる映像選出以外にも例えば車、乗り物、建物、犬や猫といったペット、動物、植物、景色、山、コレクションしている物や頻繁に撮る撮影対象などといったような、ユーザが興味・関心・愛着などを持ち多くの回数撮像しているような対象による映像選出によっても、各撮像対象に合うストーリーテンプレートを用意しておけば、ユーザにとって視聴価値の高い２次コンテンツが同様に自動作成できる。この場合図６のステップ２において顔に対してその部分である目、鼻、口、また顔に対してその特徴である表情を検出したように、各撮像対象に応じた部分や特徴を検出しておきメタデータ項目としてストーリーテンプレートにて利用することとなる。

　また以上では１次コンテンツ選出にあたりメタデータ項目の適合度数値が最大のものを用いるという想定で述べたが、１次コンテンツデータベース３０における各メタデータ項目の適合度数値の分布をメタデータ比較・選択部３１において把握した上で、該分布の上位に属する１次コンテンツをランダムに選ぶような処理をストーリーテンプレートに記載しておけば、同一テンプレートと同一の１次コンテンツ母集団によって作成された２次コンテンツであっても、ユーザにとっては作成のたびに新たに視聴を楽しめる内容とすることができる。また該分布上位の１次コンテンツをランダムに選ぶ処理を適用する際には、同一２次コンテンツ内、および同一テンプレートを利用して複数回作成される同一ストーリー間において１次コンテンツが重複して用いられるのを適宜避けるように処理し、該上位分布の１次コンテンツがもれなく２次コンテンツに用いられるようにすることも可能である。

　また、以上のようにナレーション音声で示されるような明確なストーリー構成を持った２次コンテンツを作成する代わりに、あまり明確なストーリー構成を持たない２次コンテンツも作成可能である。例えばメタデータ指定として「顔グループ」と「表情　笑顔」のみを用い、最大グループ顔となる人物の笑顔ベストショットという、特にストーリー性がなくとも視聴価値の高い２次コンテンツを作成させることもできる。この場合、上述したように適合度数値の上位の１次コンテンツをランダムに選ばせるか、もしくは順位に従って選ばせる処理とし、演出効果としては所定数選出した笑顔映像をスライドショーとして各シーンに順序表示させるもしくは１シーン内に映像を縮小して同時に複数配置してアルバムのようにする、さらに「表情　笑顔」にある程度関連性のあるＢＧＭを加えるなどの指定からなるストーリーテンプレートを用意しておけばよい。該テンプレートは図１２を参照して述べたような、ユーザ要求によるアレンジ指示を容易に受けることができ、かつアレンジ後も視聴価値のある２次コンテンツを生成できる。アレンジ指示としては、「顔グループ」および「表情」の項目変更のみでよく、必要ならＢＧＭ指定などもストーリーテンプレートに追加で指示できる。またメタデータ変更によるアレンジ指示としては、上述のようなメタデータ項目の「顔グループ」および「表情」の項目の変更によるアレンジの他にも、メタデータ項目の追加、例えば「視線　正面」の追加によるアレンジ指示も可能であり、逆にメタデータ項目を削除してより広い範囲の１次コンテンツから映像を選ばせるようなアレンジ指示も可能である。

　また、以上の２次コンテンツ作成およびアレンジは用いられる１次コンテンツの区間映像が動画か静止画のいずれにあるかによらず可能である。動画・静止画は特にストーリーテンプレートのフレームにおけるメタデータで指定しなければ一般にはフレームにおいて他のメタデータ指定により選出された動画・静止画の両者が混在する２次コンテンツが作成される。フレームのメタデータで指定すれば動画のみもしくは静止画のみの２次コンテンツ作成が可能であり、またフレームもしくはシーンごとに動画・静止画の指定を加えた２次コンテンツの作成も可能である。動画・静止画を指定することで２次コンテンツの視聴価値を高められる場合はストーリーテンプレートにおいて指定しておくことが好ましい。また、ユーザが映像コンテンツを撮像装置・端末装置からアップロードする段階において、ユーザの意図もしくはシステム運用設定によって、動画・静止画のいずれか一方のみを利用するようにすることも可能である。

　さらに、２次コンテンツを視聴したユーザからのフィードバック情報により、使用されている１次コンテンツを変更して２次コンテンツを修正すると共に、該修正情報によって１次コンテンツ作成機能を更新させる処理につき、図１７を参照して説明する。該処理につき図１７では２次コンテンツ配信と関連してメール配信を用いる場合とＶｏＤを用いる場合とを説明するが、両者の違いはユーザーインターフェース関連の部分のみである。

　まずステップＳ３００ではスケジュール管理部３５の指示により所定の時間に２次コンテンツが作成され、ステップＳ３０１に進んで２次コンテンツの配信・視聴形態がメール対応かＶｏＤ対応かの場合分けがなされる。メール対応の場合、ステップＳ３０２に進んでユーザに対して２次コンテンツがメール送信され、続いてステップＳ３０３に進み、ユーザへの修正確認情報として、送信した２次コンテンツの確認・修正を促すメールを送信する。ステップＳ３０２とステップＳ３０３は、一度のメール送信に２次コンテンツと確認・修正メッセージ両方を含めるなどして同時に行ってもよい。続いてステップＳ３０４にて修正内容があるか判断され、修正内容がなければ終了し、修正内容があればステップＳ３２０へ進む。またステップＳ３０１においてＶｏＤ対応の場合、ステップＳ３１０に進み、ユーザはＶｏＤサイトなどにログインするなどして２次コンテンツを視聴し、ステップＳ３１１に進みユーザが修正したいコンテンツがあるか、すなわち修正確認情報が判断され、修正要求がなければ終了し、修正要求があればステップＳ３２０へ進む。以上のようにステップＳ３０１においてメール対応とＶｏＤ対応とで処理が分かれたが、修正内容がある場合はステップＳ３２０で合流する。
　なお、ステップＳ３００におけるスケジュール管理機能による２次コンテンツ作成とは、前述の通り、図１１で説明した実施形態による作成であってもよいし、図１１Ａ、図１１Ｂで説明した実施形態による作成であってもよい。

　ステップＳ３２０では、修正要求を受けたストーリーテンプレートを読み込み、修正対象フレームの内容、すなわちメタデータ指定と該指定により選出された１次コンテンツとを把握し、ステップＳ３２１に進み、該把握した内容からメタデータ適合度による選出範囲を広げるなどして修正対象となる１次コンテンツを探し修正対象の候補映像を選択して、ステップＳ３２２に進む。ステップＳ３２２では再度２次コンテンツの配信・視聴形態がメール対応かＶｏＤ対応かの場合分けがなされ、メール対応の場合はステップＳ３２３に進み、修正候補映像を必要に応じてサムネイル化するなどして修正候補リスト・修正候補情報としてメール添付してユーザに送信し、ステップＳ３２４にてユーザは修正指示をメール返信にて行い、ステップＳ３２５でメールの返信内容が解析され、ステップＳ３２６に進む。

　なお、ステップＳ３２１～S３２５は、システム側がメール添付で提供する修正候補映像をユーザが選択するという実施形態であるが、別実施形態として、ユーザ自身が自ら保有する映像を直接に選択して、当該保有映像を例えばステップS３２５でメール添付返信して、利用させるようにしてもよい。

　またステップＳ３２２においてＶｏＤ対応の場合、ステップＳ３２９に進み、ユーザは２次コンテンツを視聴していたＶｏＤサイトなどにて直接修正候補映像を表示されるリストなどによって修正候補情報として確認し、修正対象フレームにおいて用いられる映像をユーザの所望の映像へと交換してステップＳ３２６に進む。
　当該、VoD対応の場合、ステップS３２９はユーザのマイページなどのサイトに表示させてもよい。また、ユーザは当該サイトに表示される修正候補映像の中から選択して所望の映像へと交換する代わりに、所望の映像として、自身が保有する画像を、当該サイトを介してアップロードすることで利用させるようにしてもよい。

　ここでメール対応時のステップＳ３２３、Ｓ３２４やＶｏＤ対応時のステップＳ３２９といった、ユーザが修正候補を選ぶ関連の処理においては、各フレームの指定メタデータ項目を見出しとして添えた修正候補映像をリストとして送り、ユーザが番号などで修正候補をメール返信もしくはＶｏＤサイト上にて指定できるようにすると共に、修正前の２次コンテンツ該当フレーム部分において修正前の誤選出映像ファイルに映像指定を適用した映像を修正候補リストと並べるなどすれば、ユーザにとっては修正後の映像がイメージしやすく好ましい。

　ステップＳ３２６ではメール対応、ＶｏＤ対応のいずれかの処理を経て得られた修正情報に対して、該修正がユーザ個人の嗜好かどうかの確認をする。ステップＳ３２７では該修正を対象フレームに適用して使用される映像を実際に修正する。ステップＳ３２８では次フレームの修正内容がないか判断され、まだ修正すべきフレームが残っている場合は次の修正対象フレームに対し修正処理を行うため、ステップＳ３２１に戻って同様の処理を繰り返す。

　修正すべき全フレームに対して修正処理がなされ、ステップＳ３２８にて肯定の判断となったときはステップＳ３３０に進み交換前および交換後の全ての映像ファイルに対して各々１次コンテンツの形で対応づけられているメタデータ項目のうち、該映像ファイルが１次コンテンツとして選出される処理においてストーリーテンプレートにおけるフレームの指示により参照されるメタデータ項目の適合度数値の変更を行う。例えば、交換前の映像ファイルにおいて対応するメタデータ項目の適合度数値を２割下げ、ユーザ指定により交換後の映像ファイルにおける対応メタデータ項目の適合度数値を５割上げる、などといった処理を行う。適合度数値が規格化で０～１の値の場合には前記処理で５割上げて１を越える場合には１とする、または該適合度数値の１との差を５割減らすなどの処理を行ってもよい。ステップＳ３３０にて適合度数値の変更を終えると、ステップＳ３３１に進み、個人ユーザに関連した修正すなわち該ユーザが個別に登録した顔グループ、また該顔グループに対応する映像ファイルにおける表情判定といった個人嗜好などの修正をユーザＩＤなどによる認証を行ったうえで特徴量データベース２５の個別データベースへフィードバック処理する。ここで個別データベースへフィードバック処理するメタデータ項目で、特にフィードバックの回数が多いような項目は該ユーザにとって重要度が高いと判断し、個別データベースにその情報を残すと共に、メタデータ作成部２７に対するフィードバック処理として該メタデータ項目の適合度を決める際に、ユーザにとっての重要度を反映した重みつけ（他のメタデータ項目と異なり一律に値を１割増やすなど）をさせるようにしてもよい。

　次にステップＳ３３２に進み、全体に関連した修正、すなわち例えばテーマパーク、水辺といった場面判定のような個人嗜好ではないものへの修正を、特徴量データベース２５の一般データベースへフィードバック処理する。ステップＳ３３３では修正された全フレームに対する１次コンテンツ映像ファイル指定情報に従って再度２次コンテンツを作成し、ステップＳ３３４に進みメール対応かＶｏＤ対応かが場合分けされ、メール対応の場合はＳ３３５に進んで修正された２次コンテンツユーザにがメール送信され、再度修正が適切だったか再確認・再修正のメールも続いて送信される。ステップＳ３３４にてＶｏＤ対応の場合はステップＳ３３６に進みユーザはＶｏＤサイト上にて修正後の２次コンテンツを視聴する。

　以上の図１７を参照して説明した処理は主に特徴量データベース２５、メタデータ作成部２７に対するフィードバック処理であった。一方、映像区間分割部２３へのフィードバック処理も可能であり、この場合の修正要求は２次コンテンツにおいて用いられている映像ファイルが前半部分は適切であったが後半部分は適切でないとユーザが判断するような場合がありうる。この場合は分割箇所を指定してかつ分割後のそれぞれの映像ファイルに対し再度１次コンテンツ作成が行われることとなる。

　なお、個人用データベースを用いず、一般用データベースのみを利用する実施形態では、以上の図１７のフローにおいて、修正が個人の嗜好であるか確認するステップS３２６と、個別DBへのフィードバック処理を行うステップS３３１とは、省略される。特に、フィードバック処理は全て、ステップS３３２において一般DBに対して行われる。

　次に、以上のように図１７を参照して説明した修正およびフィードバック処理により、システムが自動作成したシーンに用いられた映像ファイルをユーザが修正した例を図１８に示す。図１８に示すシーンは、ストーリーテンプレートにおいて特に「表情　笑顔」などのメタデータ項目を利用して映像ファイルを選出し、笑顔に対する演出効果の大きい文字「バンザーイ！」や「鬼がマイッタ」の画像をフレーム記載の演出指定として加えて作成されたシーンを想定している。これに対してシステムが自動選出・作成したシーンが同図（ａ）であり、映像ファイルＦ１１が選出されている。しかしユーザは該シーンを視聴して、用いられている映像ファイルＦ１１がストーリー性から考えてふさわしくないと判断し、修正を行いたいという要求に駆られ修正指示を出すことで、映像ファイルＦ１２を選択する。こうして修正された結果得られたのが同図（ｂ）のシーンである。次に図１９を参照して示すように、この修正によりシステムはフィードバック情報として「表情　笑顔」の適合度を大きくすべき映像はＦ１１よりもＦ１２であるという情報を受け取りフィードバック処理することとなる。

　また図１８の修正例において映像ファイルＦ１１（映像交換前）、Ｆ１２（映像交換後）のメタデータ適合度がユーザからのフィードバックによって修正される例を、ストーリーテンプレートのフレームにおいて図１８のシーンに適した映像ファイルを選出させるメタデータ指定項目と共に図１９にて示す。図１９（ａ）は図１８のシーンを作成する映像ファイルを選ぶためのメタデータ指定項目である。同図（ｂ）は該メタデータ指定項目によりシステムが選んだ映像Ｆ１１とそのメタデータ適合度の映像交換前後の変化を示すものであり、適合度は該当項目で一律に減っている。同図（ｃ）はユーザが交換対象として選んだ映像ファイルＦ１２とそのメタデータ適合度の映像交換前後の変化を示すものであり、適合度は該当項目にて一律で増えている。また同図（ｂ）、（ｃ）の交換前後の適合度を見比べると、映像交換前はシステムはＦ１１を選ぶが、映像交換後は他にもっと適合度の高い１次コンテンツが新たに追加されない限りＦ１１ではなくＦ１２を選ぶようになるので、ユーザの要求を反映したフィードバック学習処理がなされていることもわかる。

　さらにまた、図１７の処理にて映像ファイルの修正・交換を行う場合で、メール対応の場合にユーザ側に送付されてくるメール、およびその返信メールの例を図２０（ａ）～（ｄ）に示す。同図（ａ）は２次コンテンツ完成後、２次コンテンツと共にもしくは所定時間後に送付されてくる修正箇所の存在を確認するメールの文面例である。同図（ｂ）が（ａ）に対するユーザの返信メール文面例であり、（ｂ）からわかるようにユーザは修正したい箇所を「２，５」と番号指定するだけでよい。また修正箇所はフレーム１～フレーム６の各フレームを参照しているが、それぞれ「無表情」～「笑顔」とメタデータ項目が併記されているのでユーザは２次コンテンツを構成しているフレームという概念がなくとも、２次コンテンツのストーリー性・シナリオ性から「フレーム１：無表情」がどのシーンのどの映像を指しているのか容易に判断可能であり、必要ならば「無表情」以外にもどのシーンのどの映像を指すのか明らかにする情報を追加すればよい。

　また図２０（ｃ）は同図（ｂ）のユーザ返信によるフレーム２、５の修正要求のうち、フレーム２の修正候補リストをシステムが返信したメール文面の例である。修正候補映像リストは画像１～３で、例えばサムネイル画像で示されており、また個人嗜好か否かの質問欄もある。これに対する返信が同図（ｄ）であり、ユーザは画像２を採用する旨を「２」と番号指定するだけでよく、また個人嗜好の変更である旨を「１」と番号指定するだけでよい。システムは該修正情報を受け、個人データベースの修正を行うこととなる。

　以上、図２０を参照してメール対応の場合にユーザが送受信するメール文面の例を示したが、同様のやりとりがＶｏＤ対応の場合も可能である。例えば図２０とほぼ同様のやりとりがウェブサイト上で可能であり、ウェブサイト上での場合は例えば同図（ａ）の「フレーム１：無表情　の画像を替えたい」の代わりに実際にフレーム１を映像としてリストに載せて示すこともできる。また同図（ｃ）において代替画像もメールの場合よりも数多く表示することもでき、同図（ａ）～（ｄ）の項目番号選択はポップアップウィンドウなどを介して行うこともできる。

　また、図２０では映像の代替交換指示につき例を示したが、同様にしてメール文面にて区間映像の再分割箇所のフィードバック処理をユーザとシステムでやりとりすることができる。例えば、メールならば再分割を希望する映像区間を図２０と同様に数字などの記号によってユーザが指示し、かつ分割希望箇所を再生時間などの指定により指示することができる。ＶｏＤの場合は実際に区間映像を再生しながら分割希望箇所で再生を止めることにより分割箇所を指示するなども可能である。

　以上、図１７のフローにより、ユーザに対して提供された２次コンテンツの修正を通じてフィードバックを行う処理を説明した。次に、フィードバックを行う別実施形態として、映像（メタデータを付与できるよう区間映像の単位に分割済みの映像とする）をユーザがアップロードする際に、分類・検出カテゴリ又はより一般にメタデータを、全部又は一部付与する場合があるので、当該付与情報を利用してフィードバックを行う実施形態につき、説明する。

　当該実施形態によるフィードバック処理のフローチャートを図２１に示す。まずステップＳ２９００にて、ユーザが映像をシステムにアップロードすると共に、当該映像のメタデータを一部又は全部付与してシステム側に提供する。なお、当該アップロードとは、図１で説明したような、プラットフォーム４への映像入力部４ａへの映像入力一般に対応し、映像以外の追加入力としてユーザ付与のメタデータを伴うものである。入力される映像の種類としては、例えば図９で説明したような各ユーザの顔情報登録に必要な映像ではなく、ユーザがサービスを利用するために入力する一般的な映像を想定する。
　次に、ステップＳ３０００で、システム側で、ユーザのアップロード映像より１次コンテンツを暫定的に作成する。すなわち、ユーザが当該映像と共に付与したメタデータは参照せずに、当該映像に対して、図３などの映像特徴量抽出部２４、特徴量比較処理部２６、メタデータ作成部２７で順次処理を行い、１次コンテンツＤＢ３０に暫定的な１次コンテンツ（当該映像と、本システムによる自動付与のメタデータとを対応づけた１次コンテンツ）を作成する。

　ステップＳ３３００では、図１７のステップＳ３３０に対応する処理を行う。すなわち図１７でのフィードバック情報に相当する情報として、ステップＳ３０００でシステムが自動付与したメタデータを、ユーザが映像登録に際して付与したメタデータに変更させる情報を、フィードバック処理部４５に渡すようにする。続くステップＳ３３１、Ｓ３３２は、図１７での説明と同様である。

　なお、ユーザ付与のメタデータがメタデータ項目のみである場合には、当該項目の適合度数値を１に近い所定値としてフィードバック情報とする。さらに、ステップＳ３３２では重要度の高い処理内容として対応させる。

　以上のように、当該実施形態では、２次コンテンツ生成は伴わないものの、図１７と同様のフィードバックの効果が得られる。すなわち、メタデータのユーザ付与の値への変更フィードバックにより、特徴量ＤＢ２５が学習を行うことで精度が上がり、今後、登録時にユーザがメタデータを付与しない場合であっても、精度の高いメタデータを付与することができるようになる。

　また、本願発明における映像入力の形式を、例えばJPEGなどの所定規格の静止画に限定する実施形態につき説明する。図２２は当該実施形態の構成を示すブロック図である。図２２に示すように、映像認識・２次コンテンツ作成プラットフォーム４は、図２の構成から映像規格変換部１１、静止画動画判定部１０及び映像分割部１２を除いた構成となる。撮像装置・端末装置からは、所定規格の静止画が入力される。そして、当該静止画を前記各実施形態における映像区間とみなして、分類カテゴリ付与部１３以降の処理は同様となるが、映像分割部１２が存在しないので、フィードバック処理部１９がフィードバック要求するのは分類カテゴリ付与部１３、メタデータ作成部１４及び２次コンテンツ作成・保存部１６である。
　なお、当該図２２の実施形態においても、図２の実施形態における説明と同様にして各機能ブロックを実現することができることは明らかである。特に、撮像装置１は、携帯装置２内に含まれるカメラ等を利用してもよい。また、プラットフォーム４へ映像が入力される手段としては、ブログページやSNSなどの、他システムサイトを経由して入力されてもよい。さらに、視聴装置５は、デジタルフォトフレームであってもよい。

　なおまた、本願発明において、撮像装置・端末装置が静止画ではなく動画を保有している場合、当該実施形態を利用するには、動画の各フレームよりなる静止画を映像入力とすればよい。例えば、３０フレーム／秒の動画であれば、動画１秒毎に３０枚の静止画を生成して、映像入力とする。また、事前設定で、所定数毎にフレームを間引いて静止画を生成して映像入力としてもよい。このようなフレーム単位の静止画利用によって、図２２の実施形態を実現してもよい。また、図２の実施形態において、このようなフレーム単位の静止画に映像入力を限定してもよい。

　本発明によれば、ユーザは自分で撮影した動画像や静止画像をネットを介して２次コンテンツ作成プラットフォームに送信するだけで、システムが自動的にユーザの映像にユーザＩＤや分類・検出カテゴリおよびその適合度などからなるメタデータを付与して１次コンテンツとして保存・蓄積されるので、ユーザは撮影映像の内容を示すメタデータを入力する手間にわずらわされることがない。また、システムが所定の時間もしくはユーザのリクエストを受けて、あらかじめ準備されたストーリーテンプレートとユーザごとに蓄積された該１次コンテンツとを用いて、ストーリーに沿ったイラストやナレーションを加えたスライドショーやデジタルアルバムといった視聴価値の高い２次コンテンツを自動的に作成し、メールやＶｏＤ（ビデオオンデマンド）にて配信するので、ユーザは撮影した映像を保存するだけで様々な２次コンテンツの視聴を楽しめるようになる。また、システムが誤ったもしくはユーザ嗜好に合わないメタデータ付与を行った場合、ユーザが視聴する２次コンテンツにおいてストーリー性に合わない１次コンテンツが利用されることとなるが、ユーザはこの用いられている１次コンテンツを不適切であると判断し、自分の１次コンテンツから交換対象、代替対象の映像候補を受け取り、交換指示を送って修正させ、修正された２次コンテンツを再視聴することができる。

　また、システムはユーザからの修正情報を利用して１次コンテンツに対するメタデータ付与の辞書機能などを修正更新し学習させることにより１次コンテンツへのメタデータ付与機能の精度を上げ、結果として以降の２次コンテンツ作成における映像選択に際してユーザの意向がより反映された選択がなされ、ユーザにとって満足度の高い２次コンテンツが作成される傾向が強まる。すなわち、フィードバックにより、今後、フィードバックを行った映像に類似する映像が入力された場合には、先にユーザがフィードバックしたメタデータ又は当該メタデータに近いデータが自動で付与される可能性が高くなる。

　また、該修正は視聴価値のある２次コンテンツの改善に対する積極的な要求であるのでユーザの修正作業を行う意欲が促進され、しかも該修正作業は２次コンテンツに利用される素材映像を修正交換候補リストから選択するだけであって煩雑なメタデータ編集のような負担もないが、結果として直接手作業によって行うと非常に煩雑な作業となってしまうメタデータ付与の辞書機能の学習更新に用いられることとなる。また、辞書機能はユーザ毎に個別のデータベースが用意されているので、特定ユーザにのみ必要な個別の認識機能は特定ユーザのみでフィードバック情報を利用して強化・学習され、他ユーザに必要な認識機能に悪影響を与えることがない。さらに、ユーザによらず共通に用いることのできる辞書機能にはユーザ共通のデータベースが用意されているので、共通に必要な認識機能は多数のユーザのフィードバックによって効率的に強化・学習されることとなる。

１１、２２・・・映像規格変換部、１２・・・映像分割部、２３・・・映像区間分割部、１３・・・分類・検出カテゴリ付与部、１４、２７・・・メタデータ作成部、１５・・・１次コンテンツ保存部、３０・・・１次コンテンツデータベース、１６、３３・・・２次コンテンツ作成部、１７・・・送信部、１９、４５・・・フィードバック処理部、２４・・・映像特徴量抽出部、２５・・・特徴量データベース、２６・・・特徴量比較処理部、３３・・・２次コンテンツ作成部、３２・・・ストーリーテンプレートデータベース

Claims

　ネットワーク経由でアップロードされた静止画を含む映像コンテンツを所定の映像規格に変換した映像区間とする映像規格変換部と、
　該映像規格変換部で変換された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部と、
　前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部と、
　前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存部と、
　前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存部から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成部と、
　前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信部と、
　前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処理部とを具備し、
　前記フィードバック処理部は、前記修正フィードバック情報の内容に応じて、前記分類・検出カテゴリ付与部および前記メタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする２次コンテンツ提供システム。
　ネットワーク経由でアップロードされた映像コンテンツを所定の映像規格に変換する映像規格変換部と、
　該映像規格変換部で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割部と、
　該分割部で分割された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部と、
　前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部と、
　前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存部と、
　前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存部から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成部と、
　前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信部と、
　前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処理部とを具備し、
　前記フィードバック処理部は、前記修正フィードバック情報の内容に応じて、前記映像分割部、分類・検出カテゴリ付与部およびメタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする２次コンテンツ提供システム。
　所定規格の静止画を映像区間として、該映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与部と、
　前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成部と、
　前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存部と、
　前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存部から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成部と、
　前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信部と、
　前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処理部とを具備し、
　前記フィードバック処理部は、前記修正フィードバック情報の内容に応じて、前記分類・検出カテゴリ付与部および前記メタデータ作成部の内の少なくとも一つに更新処理要求することを特徴とする２次コンテンツ提供システム。
　前記分類・検出カテゴリ付与部は、前記映像区間の映像特徴量を抽出する映像特徴量抽出部と、前記映像特徴量と複数項目からなる映像分類・検出項目との関連を記憶する特徴量データベースと、前記映像特徴量と前記特徴量データベースとを比較して、前記映像分類・検出項目の適合度を決める特徴量比較処理部とを含み、
　前記分類・検出カテゴリは前記映像分類・検出項目と該映像分類・検出項目に付属する前記適合度とを含むことを特徴とする請求項１ないし３のいずれかに記載の２次コンテンツ提供システム。
　前記特徴量データベースは、前記映像特徴量との比較での利用時および前記フィードバック処理部による更新処理での利用時において、前記映像区間に含まれるユーザＩＤに関わらず一般に利用される一般データベースと、前記ユーザＩＤによって区別して利用される個別データベースとを含み、
　前記特徴量比較処理部は前記一般データベースとの比較結果よりも前記個別データベースとの比較結果を優先することを特徴とする請求項４に記載の２次コンテンツ提供システム。
　前記２次コンテンツ作成部は、前記映像ファイルを配置する複数の配置枠と、前記配置枠への演出効果と、前記配置枠へ配置する前記映像ファイルの前記メタデータの参照による前記１次コンテンツ保存部内の１次コンテンツからの選出に関する定義とを含むストーリーテンプレートを保存するストーリーテンプレートデータベースを備え、
前記２次コンテンツを前記ストーリーテンプレートデータベース内のストーリーテンプレートに従って作成することを特徴とする請求項１ないし５のいずれかに記載の２次コンテンツ提供システム。
　前記分類・検出カテゴリ付与部で付与された前記映像分類・検出カテゴリは、前記映像区間に映っている顔が誰であるかを示す顔グループと該顔グループの適合度を含み、前記ストーリーテンプレートデータベース内には、前記選出に関する定義が所定の顔グループの適合度が所定基準を満たすことを選出判断基準とするものであるストーリーテンプレートが含まれることを特徴とする請求項６に記載の２次コンテンツ提供システム。
　前記分類・検出カテゴリ付与部で付与された前記映像分類・検出カテゴリは、前記映像区間に映っている顔の表情を示す表情項目と該表情項目の適合度を含み、前記ストーリーテンプレートデータベース内には、前記選出に関する定義が所定の表情項目の適合度が所定基準を満たすことを選出判断基準とするものであるストーリーテンプレートが含まれることを特徴とする請求項６に記載の２次コンテンツ提供システム。
　前記２次コンテンツ作成部は、前記ストーリーテンプレートを参照して前記２次コンテンツにおいて選出・配置された前記映像ファイルの修正交換候補リストを前記修正候補情報として作成し、前記修正フィードバック情報は前記修正交換候補リストから修正候補を決定する情報を含むことを特徴とする請求項６に記載の２次コンテンツ提供システム。
　前記フィードバック処理部は、前記修正フィードバック情報から修正前後の１次コンテンツのメタデータおよび該修正箇所の前記ストーリーテンプレートにおける前記選出に関する定義を読みとって、前記２次コンテンツ作成部において、該修正の後の１次コンテンツが該修正の前の１次コンテンツよりも前記選出に関する定義によって選出されやすくなるよう更新処理をさせることを特徴とする請求項６に記載の２次コンテンツ提供システム。
　前記２次コンテンツに関する修正フィードバック情報には前記ストーリーテンプレートにおけるメタデータの指定情報が含まれ、
　前記ストーリーテンプレートは前記修正フィードバック情報のメタデータ指定情報を受けて前記ストーリーテンプレートにおけるメタデータの指定情報を変更できることを特徴とする請求項６に記載の２次コンテンツ提供システム。
　前記送信部による送信と前記フィードバック処理部によるフィードバック情報の受信とを、メールまたはＶｏＤにより行うことを特徴とする請求項１ないし１１のいずれかに記載の２次コンテンツ提供システム。
　ネットワーク経由でアップロードされた静止画を含む映像コンテンツを所定の映像規格に変換した映像区間とする映像規格変換工程と、
　該映像規格変換工程で変換された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与工程と、
　前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成工程と、
　前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存工程と、
　前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存工程から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成工程と、
　前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信工程と、
　前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処工程とを具備し、
　前記フィードバック処理工程は、前記修正フィードバック情報の内容に応じて、前記分類・検出カテゴリ付与工程および前記メタデータ作成工程の内の少なくとも一つに更新処理要求することを特徴とする２次コンテンツ提供方法。
　ネットワーク経由でアップロードされた映像コンテンツを所定の映像規格に変換する映像規格変換工程と、
　該映像規格変換工程で変換された映像コンテンツを、関連する内容を一映像区間とする複数映像区間に分割する映像分割工程と、
　該映像分割工程で分割された映像区間に分類・検出カテゴリを自動的に付与する分類・検出カテゴリ付与工程と、
　前記分類・検出カテゴリを含むメタデータを作成するメタデータ作成工程と、
　前記映像区間の映像ファイルを前記メタデータと関連付けて１次コンテンツとして保存する１次コンテンツ保存工程と、
　前記メタデータに基づいて前記メタデータに関連づけられた前記映像ファイルを前記１次コンテンツ保存工程から選出して所定の編集を加えた２次コンテンツを自動的に作成する２次コンテンツ作成工程と、
　前記２次コンテンツおよび前記２次コンテンツに関する修正候補情報を送信する送信工程と、
　前記２次コンテンツに関する修正フィードバック情報を受信・処理するフィードバック処工程とを具備し、
　前記フィードバック処理工程は、前記修正フィードバック情報の内容に応じて、前記映像分割工程、前記分類・検出カテゴリ付与工程および前記メタデータ作成工程の内の少なくとも一つに更新処理要求することを特徴とする２次コンテンツ提供方法。