WO2022014295A1

WO2022014295A1 - 情報処理装置、情報処理方法、プログラム

Info

Publication number: WO2022014295A1
Application number: PCT/JP2021/024018
Authority: WO
Inventors: 優太中尾; 聡石井; 靖二郎稲葉; 禎山口; 雅史若月
Original assignee: ソニーグループ株式会社
Priority date: 2020-07-15
Filing date: 2021-06-24
Publication date: 2022-01-20
Also published as: US20230260549A1; JPWO2022014295A1

Abstract

情報処理装置が、アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成部を備えるようにする。

Description

情報処理装置、情報処理方法、プログラム

　本技術は情報処理装置、情報処理方法、プログラムに係り、特に画像や音声を用いたコンテンツの自動制作についての技術分野に関する。

　下記特許文献１には、素材となる単位映像をつなぎ合わせて動画コンテンツを制作するための技術が開示されている。

特開２００９－１３０５９７号公報

　近年では撮像装置、録音装置などの記録装置の小型化や携帯機器への搭載、或いは多様な装置の普及等により、画像（画像とは動画や静止画の総称とする）の撮像や音声の収録が容易化、一般化している。またメモリカード等の記録媒体の多様化や、ネットワーク通信を利用したクラウドストレージの普及などもあり、写真、動画、音声等のデータの保存態様も多様化している。このような環境では、例えばサーバ装置が、顧客ユーザの画像などを取得することも比較的容易となり、サービスとして、顧客ユーザを主役にした短篇映画のようなコンテンツを制作することが考えられる。さらには近年のＡＩ（artificial intelligence）処理等の進歩により、素材となる画像等を的確に収集し、顧客ユーザにとって望ましいコンテンツを自動制作することも考えられる。

　ここで、サービスを行うサーバ装置がコンテンツ自動制作を行って顧客に提供することを考えると、サーバ装置が、例えば顧客のユーザの画像素材等を適切に収集する必要がある。特に、当該ユーザをメインキャストとしたコンテンツを自動制作する場合に、ストーリーを適切に組み立てることや、各シーンに適切な画像素材を選択することなどが重要と考えられる。ところが、制作時に各素材画像について画像解析等を行い、画像内容を逐次判定していくことは処理負担が大きく困難であり、また効率的とはいえない。
　そこで本技術では、ユーザに提供するコンテンツを自動制作する場合に、素材の評価や選択が比較的容易かつ適切に実行できるようにすることを目的とする。

　本技術に係る情報処理装置は、アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成部を備える。
　複数の素材コンテンツを用いて、あるストーリーを持ったコンテンツを自動制作することを考える。素材コンテンツとは、ストーリーを構成する各シーンを構成する画像（動画や静止画）や音声などである。このような素材コンテンツを選択、編集してストーリー生成を行う。
　この場合に、ストーリー生成部は、機械学習による学習モデルを用いて複数の素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うことが考えられる。
　学習モデルを用いることで、より望ましい素材コンテンツの選択を実現する。
　また素材コンテンツについて評価値を設定する処理を行う評価部を備え、前記ストーリー生成部は、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを、前記評価値を参照して選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うことが考えられる。
　素材コンテンツは情報処理装置がアクセス可能に保存されているが、この素材コンテンツについては評価値が設定されるようにし、コンテンツ自動制作の際には評価値を参照して素材コンテンツが選択されるようにする。

　上記した本技術に係る情報処理装置においては、前記ストーリー生成部は、設定したストーリーに応じて使用の候補とする素材コンテンツの収集処理を行い、候補として収集した素材コンテンツのうちで評価値を使用して自動コンテンツ制作に使用する素材コンテンツを選択する処理を行うことが考えられる。
　素材コンテンツに評価値が設定されていることで、ストーリーを構成する候補となるシーンに合わせた素材コンテンツを収集した際に、評価値を用いて採用する素材コンテンツを選択することができる。

　上記した本技術に係る情報処理装置においては、前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を示す評価値を設定することが考えられる。
　例えば素材コンテンツについて、他の素材コンテンツとの因果関係などの関連性があるような場合に、その他の素材コンテンツとの関連性を示す評価値を設定する。

　上記した本技術に係る情報処理装置においては、前記評価部は、素材コンテンツについて単体での評価値を設定することが考えられる。
　例えば素材コンテンツについて、喜怒哀楽が表れていたり、追尾対象であったりするなど、シーンとしての価値を示すような評価値を設定する。

上記した本技術に係る情報処理装置においては、前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を提示する関連性提示情報を設定することが考えられる。
　例えば素材コンテンツについて、他の素材コンテンツとの因果関係などの関連性があるような場合に、その関連性をユーザに提示するための関連性提示情報を設定する。

上記した本技術に係る情報処理装置においては、前記関連性提示情報はユーザ操作に応じて更新されることが考えられる。
　例えば素材コンテンツ同士の関連性を提示したユーザインタフェースにおいて、ユーザの操作を受け付け、操作に応じて関連性提示情報を更新する。

上記した本技術に係る情報処理装置においては、前記関連性提示情報は、一の素材コンテンツと他の素材コンテンツを結びつけて示すことで素材コンテンツ同士の関連性を示すものとされることが考えられる。
　例えば素材コンテンツ同士を直接結ぶような画像によりコンテンツ同士の関連性をユーザインタフェース上で提示する。

上記した本技術に係る情報処理装置においては、前記関連性提示情報は、キー要素に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされることが考えられる。
　例えば感情を示す言葉やイベントなどをキー要素とし、或る感情に対応する素材コンテンツ、或るイベントに関連する素材コンテンツ、などというような形態でコンテンツの関連性をユーザインタフェース上で提示する。

上記した本技術に係る情報処理装置においては、前記関連性提示情報は、ユーザの人間関係に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされることが考えられる。
　例えば或るユーザについて、家族や友人などの人間関係と、それらに関連する素材コンテンツが提示されるようにする。

上記した本技術に係る情報処理装置においては、前記関連性提示情報に対するユーザ操作を入力し、学習処理を行う学習部を備えることが考えられる。
　例えば素材コンテンツ同士の関連性を提示したユーザインタフェースにおいて、ユーザの操作を受け付け、ストーリー設定等に反映させる情報として学習処理を行う。

　上記した本技術に係る情報処理装置においては、前記学習部による学習内容はストーリー修正に反映されることが考えられる。
　ユーザによるフィードバック情報の学習結果を、例えば現在の自動制作コンテンツのストーリー修正として反映させる。
　上記した本技術に係る情報処理装置においては、前記学習部による学習内容は素材コンテンツの選択に反映されることが考えられる。
　ユーザによるフィードバック情報の学習結果を、例えば現在の自動制作コンテンツのストーリーに対して採用する素材コンテンツの選択（素材コンテンツの選択し直し）として反映させる。
　上記した本技術に係る情報処理装置においては、前記学習部による学習内容は将来のコンテンツ自動制作に反映されることが考えられる。
　ユーザによるフィードバック情報の学習結果が、当該ユーザについての将来の自動制作コンテンツの制作に反映されるように必要な処理を行う。

　上記した本技術に係る情報処理装置においては、フィードバック情報を入力し、前記学習モデルを更新する学習処理を行う学習部を備えることが考えられる。
　機械学習による学習モデルを用いて素材コンテンツの選択やストーリー生成のための編集を行う場合が想定される。

　上記した本技術に係る情報処理装置においては、フィードバック情報を入力し、ストーリー生成に用いる素材コンテンツ選択のための評価関数を更新する学習処理を行う学習部を備えることが考えられる。
　個別評価値、関連性評価値、時間長、順序などの要素を含む評価関数を用いてストーリーを構成する各シーンに使用する素材コンテンツの選択処理を行う場合が想定される。

　本技術に係る情報処理方法は、アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理を情報処理装置が実行する情報処理方法である。これにより素材コンテンツの選択を容易化する。
　本技術に係るプログラムは、このような情報処理方法を情報処理装置に実行させるプログラムである。これにより本技術の情報処理装置の実現を容易化する。

本技術の実施の形態のシステム構成の説明図である。実施の形態のコンテンツ自動制作に関する機能構成の説明図である。実施の形態の情報処理装置の構成のブロック図である。実施の形態の自動制作コンテンツのストーリー構成例の説明図である。実施の形態のサーバ装置におけるコンテンツ自動制作に関する機能の動作の説明図である。実施の形態のシステムを実行されるワークフローの例の説明図である。実施の形態の関連性提示情報の一例の説明図である。実施の形態の関連性提示情報の一例の説明図である。実施の形態の関連性提示情報の一例の説明図である。実施の形態の関連性提示情報の一例の説明図である。実施の形態の自動制作処理のフローチャートである。実施の形態のストーリー設定処理のフローチャートである。実施の形態の素材コンテンツ補完処理のフローチャートである。実施の形態の素材コンテンツ補完処理のフローチャートである。実施の形態の素材コンテンツ補完処理のフローチャートである。実施の形態の事前に行う素材コンテンツ要請処理のフローチャートである。実施の形態の素材コンテンツ補完処理のフローチャートである。実施の形態の素材コンテンツ補完処理のフローチャートである。実施の形態の素材コンテンツ評価処理のフローチャートである。実施の形態のフィードバック処理のフローチャートである。実施の形態のストーリー設定の際の処理のフローチャートである。実施の形態のフィードバック対応処理のフローチャートである。実施の形態の素材コンテンツ管理処理のフローチャートである。実施の形態の素材コンテンツ管理処理のフローチャートである。実施の形態の素材コンテンツ管理処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．自動制作コンテンツの概要＞
＜３．コンテンツ制作の流れ＞
＜４．コンテンツ補完を含む自動制作処理＞
＜５．制作前のレコメンド／補完処理＞
＜６．素材コンテンツの評価とフィードバック＞
＜７．ネガティブ／ポジティブコンテンツの管理＞
＜８．まとめ及び変形例＞

　なお、本開示では「コンテンツ」について次のような用語を用いて区別する。
・自動制作コンテンツ
　本開示では、例えば顧客としてのユーザに対して提供するコンテンツを情報処理装置により自動制作する。自動制作されてユーザが視聴することになるコンテンツを「自動制作コンテンツ」と呼ぶこととするが、実施の形態では「自動制作コンテンツ」として顧客のユーザ等を対象として感動を与えること目的として自動制作する例を挙げるため、説明の便宜上、主に「感動コンテンツ」と呼ぶ。「感動コンテンツ」は「自動制作コンテンツ」の１つの具体例である。
　自動制作コンテンツの形態としては、動画／音声を含むコンテンツ、静止画によるスライドショウのようなコンテンツ、静止画と音声を含むコンテンツ、音声のみのコンテンツ、動画と静止画と音声を含むコンテンツ、テキストデータを含むコンテンツなど、多様である。

・素材コンテンツ
　自動制作コンテンツは、複数の動画素材、静止画素材、音声素材、テキスト素材等を組み合わせて制作する。それぞれの素材となる動画、静止画、音声、テキスト等としてのコンテンツデータを「素材コンテンツ」と呼ぶ。どのようなコンテンツであっても素材コンテンツとなり得る。
・候補コンテンツ
　素材コンテンツのうちで、自動制作コンテンツの制作の際に或るシーンの画像や音声として使用する候補とされた素材コンテンツを指す。例えば大量の素材コンテンツのうちで、或るシーンに適応できそうないくつかの候補コンテンツが抽出され、その候補コンテンツの中で、当該シーンにしようされる素材コンテンツが選択される。

・ネガティブコンテンツとポジティブコンテンツ
　素材コンテンツのうちで、例えば楽観的、肯定的、前進的などのシーン内容を持つと判定されたものを「ポジティブコンテンツ」とする。
　素材コンテンツのうちで、例えば悲観的、否定的、後退的などのシーン内容を持つと判定されたものを「ネガティブコンテンツ」とする。
　但し、この「ポジティブコンテンツ」「ネガティブコンテンツ」は絶対的な区分ではなく、シーン内容種別に応じて、あるいは顧客ユーザに応じて、あるいは時期／時代に応じて、あるいは常識や社会情勢等に応じて、何らかの判定基準が決められて判定されればよい。本技術では少なくとも「ネガティブコンテンツ」と判定された素材コンテンツを、他の素材コンテンツとは区別して管理することを行う。

　また本開示において「画像」とは動画と静止画のいずれであってもよく、それらの総称として用いる用語とする。

＜１．システム構成＞
　図１にサーバ装置１０を含むシステム構成例を示している。
　実施の形態では、サーバ装置１０を構成する情報処理装置が、多数のユーザの多数の画像素材等を用いて自動的に顧客ユーザについての感動コンテンツを制作し、感動コンテンツをユーザに提供するサービスを行う例で説明する。
　また素材コンテンツは、主に動画データ（音声を含む）である例で説明する。つまり自動制作される感動コンテンツは、複数の動画を編集して制作されるムービーのような例とされることを想定する。

　図１のサーバ装置１０は、例えばインターネット等のネットワーク１１を介して各種の機器と通信が可能な情報処理装置であり、例えば、いわゆるクラウドサーバとして機能するものである。

　サーバ装置１０は、その管理下のストレージ１０ａにおいて、大量の素材コンテンツや制作した感動コンテンツを格納できる。
　なおストレージ１０ａは、サーバ装置１０がアクセス可能なストレージを表すもので、サーバ装置１０としての情報処理装置の内部に搭載されたストレージデバイスであってもよいし、ＬＡＮ（Local Area Network）等で接続されたストレージデバイスであってもよい。またサーバ装置１０から離れた場所にあるストレージ、あるいはユーザサイドのストレージデバイスが、ここでいうストレージ１０ａとして用いられる場合もある。
　すなわちサーバ装置１０が、感動コンテンツの自動生成のために素材コンテンツを収集することのできる対象となるストレージであれば、ここに示すストレージ１０ａに該当する可能性がある。

　またサーバ装置１０は、遠隔ストレージ１２に素材コンテンツ等を格納することも可能である。
　この遠隔ストレージ１２は、ストレージ１０ａと比較して、アクセス性が低下するストレージデバイスとして示している。遠隔ストレージ１２も、サーバ装置１０内のストレージデバイスである場合もあるし、外部のストレージデバイスである場合もある。詳しい例は後述する。
　遠隔ストレージ１２は、ユーザサイドの機器、例えば図示するコンピュータ装置３、タブレット端末４、携帯端末５等からは物理的に、或いはアクセス権限の管理等により、アクセスできないストレージデバイスとされていてもよい。

　このようなサーバ装置１０はネットワーク上でクラウドストレージサービスを提供するサーバであってもよいし、ＳＮＳ（Social Networking Service）を提供するサーバでもよいし、総合的なサービスを提供するプラットフォームサーバであってもよい。

　ネットワーク１１は、例えばインターネット、ホームネットワーク、ＬＡＮ、衛星通信網、その他の各種のネットワークが想定される。
　各種の機器がネットワーク１１を介して画像データ等をサーバ装置１０にアップロードしたり、サーバ装置１０から各種情報をダウンロードしたりすることができる。
　またネットワーク１１の一部又は全部として、例えばＦＴＰ（File Transfer Protocol）による通信などが採用されてもよい。またブルートゥース（Bluetooth：登録商標）、ＷＩ－ＦＩ（Wireless Fidelity：登録商標）、ＮＦＣ（Near Field Communication：登録商標）等の近距離無線通信や、赤外線通信などが採用されてもよい。
　いずれにしてもネットワーク１１としてはデータ通信が可能なあらゆるネットワークが想定されうる。

　図１ではユーザサイドで撮影や録音を行うことができる機器として、カメラ２、コンピュータ装置３、タブレット端末４、携帯端末５、カメラ搭載飛行体６、カメラ搭載車両７、エージェント装置８、監視カメラ９を示している。これらはあくまでも撮影や録音を行うことができる機器の一例であり、これら以外の機器もあり得る。

　カメラ２は、静止画や動画を撮像し、画像データとして記録や転送出力をすることができる撮像装置である。多数のユーザにカメラ２が使用され、撮影された画像データ（動画や静止画）がストレージ１０ａ等に保存されることで、サーバ装置１０がそれらの画像データを素材コンテンツとして使用可能となることが想定される。

コンピュータ装置３は、例えばノート型パーソナルコンピュータ、デスクトップ型パーソナルコンピュータなどを例示するものである。タブレット端末４や、スマートフォン等の携帯端末５も、コンピュータ装置の一態様といえる。
　これらのコンピュータ装置３、タブレット端末４、携帯端末５などの場合、例えば内蔵カメラで撮像した画像データ、カメラ２等の他の機器から転送された画像データ、合成画像やコンピュータグラフィックス（ＣＧ）等として生成した画像データ、ビデオチャットの画像としての画像データ、家族や友人と共有した画像データなどが、ストレージ１０ａ等に保存され、サーバ装置１０によるアクセスが可能となることが想定される。

　カメラ搭載飛行体６は、例えばドローン等のカメラを搭載した飛行体を想定する。カメラ搭載飛行体６による撮影で得られた画像データがストレージ１０ａ等に保存され、サーバ装置１０によるアクセスが可能となることが想定される。
　ドローン等はユーザが所有するものであったり、公共物であったり、感動コンテンツ提供サービスの事業者が所有し、素材コンテンツ収集のために顧客のユーザを撮影するために使用されたりするものが想定される。

　カメラ搭載車両７は、例えば一般の自動車等の車両であって、ドライブレコーダー等のカメラが搭載された車両である。例えばユーザが所有する車両のドライブレコーダーの画像をサーバ装置１０に提供することで、カメラ搭載車両７による撮影で得られた画像データがストレージ１０ａ等に保存され、サーバ装置１０によってアクセス可能となることが想定される。

　エージェント装置８は、例えば家庭などにおいて情報提供や家電制御などのサービスを行うためのインタフェース装置であり、カメラを搭載することで、撮影可能となることも想定される。エージェント装置８の撮影で得られた画像データがストレージ１０ａ等に保存され、サーバ装置１０によりアクセス可能となることが想定される。
　ここではエージェント装置８として例示したが、例えば家庭で使用される家事支援ロボットやペット型ロボットなども撮影機能を有することで、それらの撮影による画像データがストレージ１０ａ等に保存され、サーバ装置１０によってアクセス可能となることが想定される。

　監視カメラ９は、例えば公共の場所に設置されたもの、あるいは一般ユーザが私的空間に設置したものなどがある。このような監視カメラ９の撮影による画像データがストレージ１０ａ等に保存され、サーバ装置１０によってアクセス可能となることが想定される。

　以上のような各種機器は、サーバ装置１０が使用する素材コンテンツを得ることのできる機器となったり、ユーザインタフェースが可能な機器となったりする。

　図２にサーバ装置１０と各種機器の関係を例示している。
　図１に示した各種機器は、図２における素材コンテンツ提供部２０として機能する場合もあるし、ＵＩ（ユーザインタフェース）部２２として機能する場合もある。

　例えばカメラ２，コンピュータ装置３、監視カメラ９等、上述した各機器は、例えば動画データとしてのコンテンツを撮影あるいは生成できるため、サーバ装置１０が使用できる素材コンテンツの提供元となり得る。
　つまり各種機器で得られる画像が、顧客ユーザのパーソナルなムービーとしての感動コンテンツを制作するための素材コンテンツとなり得る。
　あくまで一例であり、下記以外にも考えられるが、素材コンテンツとなり得る画像を例示すると次のようになる。

・顧客ユーザが自分で撮影、録音してクラウドにアップロードした画像
・サービス依頼により業者によって撮像された画像
・顧客ユーザのローカルデータの開放により提供される画像
・顧客ユーザの友人、家族等が撮影してアップロードした画像
・ロボット／ドローン／車載カメラ等が撮影した画像
・地域カメラ、監視カメラ等の画像
・自分／友人／フォロワー等のＳＮＳの画像
・ビデオチャットなど通信時の画像
・ＣＧ画像、フェイク画像など、画像処理により制作された画像
・自由使用が認められるパブリックな画像、イメージ画像

　これらの画像は、例えばストレージ１０ａや遠隔ストレージ１２において、ユーザ個人に対応した画像として管理できる状態で保存される。
　或るユーザＡが顧客となって感動コンテンツの制作を行う場合、そのユーザＡに関連づけられた画像が、使用可能な素材コンテンツとなる。
　各画像データは、ユーザ個人の識別情報に関連づけられてまとめて保存されてもよいし、１つの画像に複数のユーザ識別情報が付与されて、１つの画像を複数のユーザについて使用されることが可能としてもよい。

　また、カメラ２，コンピュータ装置３、携帯端末５等は、表示や操作入力などのＵＩ機能を備える機器である。従って、これらの機器は、サーバ装置１０が提供する感動コンテンツや各種画像をユーザに表示させる場合、あるいはユーザ操作を受け付ける場合のＵＩ部２２として機能できることになる。

　また図２には、サーバ装置１０が備える機能構成例を示している。
　サーバ装置１０は感動コンテンツの自動制作処理に関する機能として、評価部１５、ストーリー生成部１６、学習部１７、記憶管理部１８を備える。

　評価部１５は、例えばストレージ１０ａ等に記憶され、サーバ装置１０がアクセス可能とされた各素材コンテンツについて評価値を設定する処理機能である。
　ストーリー生成部１６は、顧客ユーザに対する感動コンテンツのストーリー設定処理や、それに応じた素材コンテンツの選択処理、選択された素材コンテンツの編集処理等を行って感動コンテンツの自動制作を行う機能である。
　学習部１７は、ユーザからのフィードバックを受けてユーザ個人に適応する学習処理を行う機能である。
　記憶管理部１８は、素材コンテンツの記憶管理、特にネガティブコンテンツとポジティブコンテンツの記憶管理を行う。
　これらの機能の具体的な処理例については後述するが、各機能として例えばＡＩ処理が行われることで、品質の高い処理が実現される。

　また図２にはユーザ情報提供部２１としての機能も示している。
　このユーザ情報提供部２１は、カメラ２、コンピュータ装置３、タブレット端末４、携帯端末５などに内蔵される機能である場合もあるし、別体の機器やセンサ機器である場合もある。ウェアラブル機器として各時点のユーザ情報（ユーザの居場所を示す位置情報やバイタル情報等）を取得できる機器であってもよい。

　そしてユーザ情報とは、例えばユーザの年齢、性別等の属性情報、趣味、ユーザの顔、家族構成、家族の年齢、友人等の情報、スケジュール情報、イベント情報（予定、参加履歴、ＳＮＳ情報など）、ユーザのカメラ歴、バイタル情報、位置情報など各種の情報が想定される。

　これらのユーザ情報は、ユーザ個人に関連づけられて管理されるものや、画像データ等の素材コンテンツに関連づけられるものがある。例えばメタデータとして画像データに付加され関連づけられるものがある。
　例えばユーザの年齢、性別等の属性情報、趣味、ユーザの顔、家族構成、家族の年齢、友人等の情報、スケジュール情報、イベント情報、カメラ歴などは、ユーザ個人に関連づけられる場合がある。サーバ装置１０は、ユーザにとって適切な感動コンテンツ制作を行うための情報として、ユーザ毎に、このようなユーザ情報を管理する。
　また撮影時の情報という意味では、ユーザの撮影時の年齢、撮影時の家族構成、友人等の情報、撮影内容に該当するスケジュール情報やイベント情報（どのようなイベントでの画像であるかの情報）、撮影時のバイタル情報、撮影時の位置情報などは、画像に関連づけられるユーザ情報とすることができる。これらのユーザ情報は、例えば素材コンテンツ毎に、メタデータとして記憶されたり、素材コンテンツに対応して別途情報ファイル等として管理されたりする。これによりサーバ装置１０は素材コンテンツ毎に対応するユーザ情報を使用できる

　またユーザ情報提供部２１によるユーザ情報としては、直接的に検出される情報だけでなく、例えば画像解析の結果や、複数のセンシングデータの分析などにより得られる情報が有ってもよい。
　例えば撮影された画像データの解析により、ユーザの容姿上の特徴、表情、顔色、それらから推定される感情の情報などもある。
　またバイタルセンサとして心拍数、脳センシング情報、血圧値、発汗量などが計測される場合、それらからユーザの感情を推定してユーザ情報とすることもできる。

　また撮影時における人間関係の情報も有用である。例えば処理対象の顧客ユーザ本人がとっている画像、顧客ユーザを友人が撮影している画像、顧客ユーザを家族が撮影している画像、監視カメラで客観的に撮影された画像などの種別の情報も画像に関連づけられるユーザ情報となり得る。

　以上のようにユーザ情報提供部２１によって得られるこれらのユーザ情報は、素材コンテンツ提供部２０となる機器に提供されてメタデータとして画像データに付加されたり、サーバ装置１０に提供されてユーザ個人あるいは素材コンテンツに関連づけられて管理されたりする。

　次に、サーバ装置１０や、コンピュータ装置３、タブレット端末４、携帯端末５などとして構成できる情報処理装置７０のハードウェア構成の例を図３に示す。

　情報処理装置７０のＣＰＵ（Central Processing Unit）７１は、ＲＯＭ（Read Only Memory）７２に記憶されているプログラム、または記憶部７９からＲＡＭ（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

　また入出力インタフェース７５には、液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等よりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。

　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、各種の通信方式の通信を行う通信部８０が接続される場合もある。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　この情報処理装置７０をサーバ装置１０として考えた場合、通信部８０は、ネットワーク１１を介した通信を行う機能を少なくとも備える。

　入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
　ドライブ８２により、リムーバブル記録媒体８１からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本開示の処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　情報処理装置７０としてサーバ装置１０を想定した場合、情報処理装置７０ではソフトウエア（アプリケーションプログラム）によって、図２で述べた機能構成がＣＰＵ７１において構築される。

＜２．自動制作コンテンツの概要＞
　サーバ装置１０は、自動制作コンテンツとして或る顧客ユーザを対象とし、顧客ユーザのパーソナルなムービーとしての感動コンテンツを制作する。
　この感動コンテンツとしてのストーリー構成の概要を説明する。

　図４は、感動コンテンツのストーリー構成の一例と、それに応じたバリエーションを示している。
　ここではストーリー構成として、内容的に起承転結を含みつつ、次のようなチャプターＣＨ１，ＣＨ２，ＣＨ３，ＣＨ４，ＣＨ５を有する例を挙げている。

　チャプターＣＨ１：過去の日常
　ここでは、ユーザが毎日のようにやっていたことを示すシーンを配置する。例えば野球の練習、ピアノの練習、会社通勤、友人関係、などである。

　チャプターＣＨ２：事件発生
　日常やっていたことをやらなくなった（もしくはできなくなった）きっかけや変化が発生したイベントなどを示すシーンを配置する。
　例えば怪我、新たな友人関係、異動、卒業などのイベント、などがある。

　チャプターＣＨ３：日常が戻るまでのダイジェスト
　例えばネガティブコンテンツを配置する。
　怪我からのリハビリの際の苦悩、悪い遊び、つらいこと、孤独な日々、などを示すシーンが該当する。

　チャプターＣＨ４：現在の日常
　ネガティブな状態から脱却した現在の日常を示すシーンを配置する。
　例えば野球の練習への復帰、ピアノ練習への打ち込み、再異動、友人との再会、などである。

　チャプターＣＨ５：メインの場面
　ストーリー上の盛り上がる場面（感動する場面）を配置する。
　例えば試合に復帰して活躍するシーン、ピアノの発表会、仕事で達成した業績、友人関係の発展、などである。

　以上は一例であるが、このように起承転結を含みつつ、感動的な場面をフィーチャーして顧客ユーザのパーソナルな感動コンテンツを生成することが考えられる。

＜３．コンテンツ制作の流れ＞
　例えばこのようなストーリー構成を有する感動コンテンツの自動制作の流れについて説明する。
　図５はサーバ装置１０の機能として、評価部１５、学習部１７、ストーリー生成部１６の処理の流れの概要を示している。また素材コンテンツ提供部２０、ユーザ情報提供部２１、ＵＩ部２２との関連も示している。

　サーバ装置１０に対しては上述のように素材コンテンツ提供部２０から素材コンテンツとなり得る画像、音声、これらに付随するメタデータ（素材コンテンツに関連づけられるユーザ情報を含む）が提供される。
　またユーザ情報提供部２１からユーザ情報が提供される。

　これらの素材コンテンツやユーザ情報は、サーバ装置１０において図２に示した記憶管理部１８の機能により、例えばユーザ個人毎に関連づけられて保存管理されるが、保存された素材コンテンツについては、評価部１５による評価値設定処理が行われることになる。

　評価部１５は、各素材コンテンツについて素材コンテンツ同士の関連性を示す評価値を設定し、また素材コンテンツ単体での個別評価値を設定する。

　或る素材コンテンツにおける関連性評価値とは、その素材コンテンツと他の素材コンテンツとの関連性を示す値とし、例えば因果関係、時系列関係などの関連性の大小を数値化した値とする。

　個別評価値とは、その素材コンテンツ自体の単体での画像自体やシーンの価値、内容の重要性などを評価する値とする。
　例えば喜怒哀楽のいずれかの感情を表現する画像内容であれば高い評価値を設定する。
　また被写体が追尾対象とされて撮影されたものは、その被写体のユーザにとっての素材コンテンツとして高い評価値とする。
　また突発的な事象、日常には無い事象の画像などであればストーリー構成上で有用な素材コンテンツとして高い評価値とする。
　ポジティブな要素を持つ画像や、ネガティブな要素を持つ画像は、ポジティブコンテンツ又はネガティブコンテンツとしてストーリー構成上で有用な素材コンテンツであるため高い評価値とする。
　ユーザの視聴履歴の情報も、ユーザが気に入って何回も視聴したものであるとか、全く再生しないものであるとかは、ユーザ個人にとっての重要度、お気に入りなどを表すことになるため、視聴履歴に応じた評価値を設定できる。

　評価部１５は、顧客となるユーザ毎に、そのユーザに関連づけられた各素材コンテンツについて、例えば上記のように関連性評価値と個別評価値を設定する。
　これらの設定は、画像解析によるシーン内容の判定結果や画像品質、ユーザ情報などを総合的に反映させて行うことができる。

　このような評価値は、ストーリー生成部１６に提供される。
　ストーリー生成部１６は何らかのトリガに基づいて、或るユーザに対するパーソナルな感動コンテンツを生成する処理を行う。
　例えばストーリー生成部１６は、顧客ユーザの本人又は家族などを主役としたストーリー設定を行い、ストーリーを構成する各場面として使用できそうな素材コンテンツを候補コンテンツとして収集する。そして各候補コンテンツについて、評価値を用いた演算（評価関数演算）を行い、実際に感動コンテンツとして使用する素材コンテンツを選択する。
　そして選択した素材コンテンツを用いて編集処理を行い、例えば顧客ユーザやその家族などを主役としたムービーのような感動コンテンツを生成する。

　このように制作された感動コンテンツは、ユーザ側に提供され、ＵＩ部２２によりユーザが視聴できるようになる。

　以上が基本的なコンテンツ自動制作の流れとなるが、この自動制作のタイムラインの例を図６に示している。
　時系列的な手順としては次のようになる。
・ステップＳＴ１：素材コンテンツとしての動画や静止画などの撮影
・ステップＳＴ２：ユーザサイドからサーバ装置１０への素材コンテンツの転送（サーバ装置１０による使用可能化）
・ステップＳＴ３：サーバ装置１０側での素材コンテンツの保存や管理
・ステップＳＴ１０：感動コンテンツのストーリーの構想
・ステップＳＴ２０：設定したストーリーに応じた素材コンテンツの選択
・ステップＳＴ３０：素材コンテンツについての画質処理やシーン切り出しなどの後処理と、それらの処理を施した素材コンテンツをつなぎ合わせるなどの編集
・ステップＳＴ４０：ユーザサイドに感動コンテンツの提供（ユーザサイドでの視聴）

　ここでステップＳＴ１０，ＳＴ２０，ＳＴ３０が、ストーリー生成部１６によるコンテンツ自動制作の処理となる。

　この図６において各種のワークフロー例を示している。
　ワークフローＷＦ１、ＷＦ２は、素材コンテンツの収集までを示している。

　ワークフローＷＦ１は、例えばユーザによりカメラ２等を用いた動画撮影などが行われ、その動画データがサーバ装置１０に転送され、当該ユーザについてのデータベース（以下、データベースを「ＤＢ」と表記する）の生成又はＤＢへの記録が行われることで、当該ユーザについての素材コンテンツが使用できる状態となる例である。

　ワークフローＷＦ２は、或るユーザの撮影以外の手法で、そのユーザについての画像が収集され、サーバ装置１０において当該ユーザについてのＤＢで管理されることで、当該ユーザについての素材コンテンツとして使用できる状態となる例である。
　この場合、画像収集は、他のユーザにより撮影されたものであったり、パブリックデータとして収集されたものであったりすることが想定される。単にユーザ自身の撮影による素材コンテンツのみではなく、より広い範囲で素材コンテンツを収集する例である。

　ワークフローＷＦ３からワークフローＷＦ８は、ストーリー生成部１６によるコンテンツ自動制作の例を示している。

　ワークフローＷＦ３は、ユーザによる感動コンテンツの制作の依頼や所定の素材コンテンツの状況などをトリガとして開始する。
　まず或るユーザについてのストーリーの構想を行い、次に当該ユーザのＤＢを参照して、ストーリーの構成に応じて素材コンテンツを抽出する。そして使用する素材コンテンツを選択し、編集処理を行って感動コンテンツを生成する。

　感動コンテンツの自動制作のトリガとしては、ユーザからの制作依頼が想定される。例えばユーザから感動コンテンツのテーマ、タイトル、特定の素材コンテンツなどを指定するなど、どのようなコンテンツが欲しいかということを示す情報が提示され、それに基づいてサーバ装置１０が感動コンテンツを自動生成するという形態である。
　例えばユーザが感動コンテンツに使いたい素材コンテンツを一部のみ指定し、それに応じてサーバ装置１０がストーリー設定し、前後のシーンの素材コンテンツを選択して感動コンテンツを制作するということも考えられる。

　また感動コンテンツの自動制作のトリガとしては、以上のようなユーザサイドからの能動的な指示だけで無く、例えばサーバ装置１０側からのユーザに対するメッセージで「○○のようなコンテンツを制作しませんか？」と勧め、それに応じて依頼があった場合に制作を開始することも考えられる。
　例えば素材コンテンツの収集状況から、そのユーザの子供の運動会の素材コンテンツが集まっている場合に「お子様の運動会のムービー制作はいかがですか？」とメッセージを送信するようなことも考えられる。
　また、或るネガティブコンテンツがあった場合に、それに対応するポジティブコンテンツが取得できた状況では、上述の図４で示したようなストーリーが構成できるものとなるため、そのような状況で、コンテンツ制作をユーザに勧め、ユーザの応答に応じて自動制作を開始するようなことも考えられる。
　また、ユーザが忘れているような素材コンテンツ、例えば撮影された日が古い画像や、ユーザがほとんど視聴していないような画像があった場合に、その画像の内容に応じたコンテンツ制作をユーザに勧め、ユーザの応答に応じて自動制作を開始するようなことも考えられる。
　同様に、ユーザが新しいアクティビティを始めたときの画像や、初めて行った場所、久しぶりに行った場所で撮った画像などがあった場合に、その画像の内容に応じたコンテンツ制作をユーザに勧め、ユーザの応答に応じて自動制作を開始するようなことも考えられる。

　なお、これらのメッセージの送信は、サービスに登録したユーザに対する電子メール、ＳＮＳメッセージなどや、サービス提供のためのアプリケーションをインストールしたユーザの端末装置（コンピュータ装置３，タブレット端末４、携帯端末５等）におけるアプリケーション画面での表示や、プッシュ通知などにより行われることが考えられる。

　さらに感動コンテンツの自動制作のトリガとしては、ユーザの依頼を待たずに、例えば素材コンテンツの内容から自動的にテーマやタイトルを設定して、自動的に感動コンテンツ制作を開始するようなことも考えられる。

　ワークフローＷＦ４は、同じくユーザからの依頼等のトリガに応じて或るユーザについてのストーリーの構想を行い、次に当該ユーザのＤＢを参照して、ストーリーの構成に応じて素材コンテンツを抽出するが、素材コンテンツが足りない場合の例である。
　このような場合、素材コンテンツ補完処理として、ユーザに対する撮影指示や、何らかの自動撮影等を実行することで、不足するシーンの画像を収集する。その後、必要な素材コンテンツがそろったら編集処理を行って感動コンテンツを生成する。ユーザに対する撮影指示とは、例えばユーザに対するメッセージにより、「○○のような場面の撮影を行ってください」というように通知することが考えられる。また自動撮影の指示とは、ユーザの所有するロボットや家庭用機器などに、所定の場面の撮影を指示したり、撮影業者の機器に指示したりすることが考えられる。

　ワークフローＷＦ５は、イベント情報を元に、感動コンテンツの自動制作を行う例である。ユーザの属性情報、スケジュールデータ、ＳＮＳの情報などをチェックし、特定のイベントがあったことを検知して、ストーリーの構想を行う。そして当該ユーザのＤＢを参照して、ストーリーの構成に応じて素材コンテンツを抽出し、使用する素材コンテンツを選択し、編集処理を行って感動コンテンツを生成する。

　イベント情報に基づく自動制作の開始の判断は、例えばユーザの属性情報として誕生日、性別、嗜好などから、想定されるイベント、例えば誕生会、母の日、興味のあるイベントの開催日などの検出により可能である。
　またユーザのスケジュールデータにもとづき、特定のイベントの発生、例えば帰省、旅行、デートなどのイベントが検知できる。
　またユーザに関するＳＮＳ情報から、ユーザの行動に基づいてイベント発生の判定が可能である。
　さらに素材コンテンツとして提供された画像の画像解析でイベント判定、例えば運動会などの判定が可能である。

　ワークフローＷＦ６は、イベント情報を元に、感動コンテンツの自動制作を行う例であるが、素材コンテンツが不足する場合を示している。ユーザのスケジュールデータやＳＮＳの情報などをチェックし、特定のイベントがあったことを検知して、ストーリーの構想を行う。次に当該ユーザのＤＢを参照して、ストーリーの構成に応じて素材コンテンツを抽出するが、素材コンテンツが足りない場合に、素材コンテンツ補完処理として、ユーザに対する撮影指示や、何らかの自動撮影を実行することで、不足するシーンの画像を収集する。その後、必要な素材コンテンツがそろったら編集処理を行って感動コンテンツを生成する。

　ワークフローＷＦ７は、ワークフローＷＦ４（あるいはＷＦ６）と同様に素材コンテンツが足りない場合の素材コンテンツ補完処理の他の例を示している。
　設定したストーリーに応じた素材コンテンツが不足している場合、新たな撮影を指示するのでは無く、他のＤＢ等から収集したり、必要な画像を制作したりする例である。例えば対象のユーザの家族のＤＢ、友人のＤＢ、パブリックのＤＢ等を参照して素材コンテンツを探索したり、画像合成／フェイク画などとして必要なシーンの画像を生成したりする。

　ワークフローＷＦ８は、例えばワークフローＷＦ３に、視聴の際のユーザの評価をフィードバックする処理を加えた例である。
　感動コンテンツの視聴として、実際に作品として納品した場合、あるいはその最終的な納品の前に仮にユーザに試し視聴させるような場合において、ユーザが何らかの評価の操作を行うことができるようにする。その操作に応じたフィードバック情報を、ストーリー構想、素材コンテンツの選択、編集（シーン順序など）などのコンテンツ自動制作処理に反映する。
　図５では、フィードバック情報ｄＦＢについて学習部１７が学習を行い、その学習結果をストーリー生成部１６の処理に反映させることを示している。
　これは、今回の感動コンテンツの修正という作業に反映されてもよいし、当該ユーザの嗜好を学習し、その後の感動コンテンツの制作の際に反映されるようにしてもよい。つまりユーザからのフィードバックを用いて、ストーリー構想、素材コンテンツ選択、編集手法が、当該ユーザに特化していくようにする例である。

　以上のワークフローは、それぞれ一例に過ぎず、他にも多様な例が想定される。もちろん状況に応じて、あるいはユーザに応じて、ワークフローが使い分けられることも考えられる。

　ところでワークフローＷＦ８としては、感動コンテンツを視聴した場合のユーザ評価をフィードバックすると説明したが、素材コンテンツの評価や関係性をフィードバックすることも考えられる。
　上述のように評価部１５の処理で、各素材コンテンツについて関連性評価値や個別評価値が設定されるが、さらに、評価部１５は、個別の素材コンテンツを、他の素材コンテンツとの関連性や、評価値をユーザに提示するための関連性提示情報を設定するようにすることが考えられる。

　図７，図８，図９，図１０に関連性提示情報による表示内容の例を示している。
　これらは、或るユーザについてのＤＢに登録された素材コンテンツとして、素材コンテンツ（ＣＴ１，ＣＴ２・・・）があるとしたときに、それらの素材コンテンツについて関連性や評価値をユーザに示す場合の一表示態様である。

　図７では、まず素材コンテンツＣＴ１，ＣＴ２・・・が表示される。図では円内に「ＣＴ１」「ＣＴ２」と表記して各素材コンテンツを示しているが、実際には各素材コンテンツの画像内容を示すサムネイル画像を配置することが考えられる。また例えばマウスオーバーやクリックに応じて動画が再生されるようにするなどしてもよい。いずれにしても各素材コンテンツについての画像内容をユーザが認識しやすい表示とすることが望ましい。

　各素材コンテンツについては、例えば１０段階の数値で、個別評価値が認識できるように表示される。例えば図７の例では素材コンテンツＣＴ１について「１０」、素材コンテンツＣＴ２について「７」などの数値が付されて、各素材コンテンツについて設定された個別評価値が認識可能とされる。
　もちろん数値に限らず、素材コンテンツを表現する画像のサイズ、形態、色、輝度、配置位置の違いなどにより、各素材コンテンツについての個別評価値の高低が認識できるようにしてもよい。

　また各素材コンテンツ間は、線の本数、線の色、線の太さ、線の種類などの表示態様の違いにより、関連性評価値が示される。関連性が大きい素材コンテンツ間ほど、結びつきが強いように表現されることが考えられる。
　図７の例では、素材コンテンツＣＴ１とＣＴ２は関連性が高いこと、素材コンテンツＣＴ４，ＣＴ８間は関連性が比較的低いこと、素材コンテンツＣＴ９は他の素材コンテンツとの関連性が無いこと、などが結びつきを示す線の本数や種類、あるいは線の有無などにより表現されている。
　もちろん、各素材コンテンツの配置位置の遠近、方向、あるいは結びつきを示す線に数値を付記するなどにより関連性評価値が表現されるものでもよい。

　例えば評価部１５は、このような画像を表示させる関連性提示情報を生成し、ストーリー生成部１６に提供する。
　ストーリー生成部１６は、このような関連性提示情報をユーザサイドに提供し、ＵＩ部２２によりユーザに提示させることができる。

　ユーザはＵＩ部２２により、図７のような表示内容を確認するとともに、操作により評価を修正することも可能である。
　例えばユーザ自身が重要なシーンの画像であったり、好きな画像であったりする素材コンテンツの個別評価値を高い値に修正したり、関連性があるのに関連性が小さく評価されている素材コンテンツ間について、より高い関連性評価値となるように操作したり、関連性が無いのに関連性があると評価されている線を切断したり、といったような操作を可能とする。
　このような操作情報は、図５に示すフィードバック情報ｄＦＢとしてサーバ装置１０側にフィードバックされ、評価部１５による評価情報を修正できるようにする。またこのようなフィードバック情報ｄＦＢは、学習部１７にも入力されて学習され、例えばストーリー生成部１６による素材コンテンツの選択のための関数に反映されたりする。

　なお図７の例では、各素材コンテンツについて個別評価値と関連性評価値を表現するものとしたが、関連性評価値に基づく関連性のみを表現するものでもよいし、各個別評価値を提示するものでもよい。
　すなわち関連性提示情報は、素材コンテンツに関する評価や関連性などの何らかの情報をユーザに提示できるものであればよい。またその提示内容の全部又は一部についてユーザがフィードバック情報ｄＦＢを提供するための操作を行うことができるようなユーザインタフェースが形成されることが望ましい。

　以上の図７は、素材コンテンツ同士の間の関連性を示す例としたが、関連性の表示態様は各種考えられる。
　図８は、キー要素を提示して、それに関連する素材コンテンツを示す例である。
　図８の場合、「喜」「怒」「哀」「楽」をそれぞれキー要素とし、「喜」に該当する素材コンテンツＣＴ１，ＣＴ２、「怒」に該当する素材コンテンツＣＴ７，ＣＴ８、「哀」に該当する素材コンテンツＣＴ３、「楽」に該当する素材コンテンツＣＴ４，ＣＴ５，ＣＴ６を提示する例としている。

　図９もキー要素を提示する例であり、この場合は或るイベント（例えばピアノ発表会）をキー要素とし、当該イベントについて関連する素材コンテンツＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４，ＣＴ５を提示する。またこの例では、直接イベントに対応しないが、イベントに関連する素材コンテンツＣＴ４，ＣＴ５に関連する素材コンテンツＣＴ６，ＣＴ７，ＣＴ８なども提示されるようにしている。

　図１０は複合的なキー要素を用いる例である。キー要素として、ユーザＡと人間関係における「家族」「友人」等を提示し、またユーザＡの趣味としての「サッカー」も提示し、これらの人間関係やキー要素に関連する素材コンテンツや、素材コンテンツ同士の関連性を提示する例である。

　以上のように関連性提示情報による提示例は多様に考えられるが、ユーザにとって各素材コンテンツの関連性を認識しやすくできることが望ましい。もちろん図８、図９、図１０のような例でも、図７で述べたように個別評価値を表示したち、関連性を異なる態様で表現してもよい

＜４．コンテンツ補完を含む自動制作処理＞
　サーバ装置１０において特にストーリー生成部１６の機能によって行われるコンテンツ自動制作処理の具体例を説明する。

　図１１はサーバ装置１０としての情報処理装置よる感動コンテンツの自動制作処理を示している。
　ステップＳ１０１でサーバ装置１０は、トリガに応じて制作開始判定を行う。このトリガとは、図６のワークフローＷＦ３で説明したユーザからの依頼受信に応じての開始判定の処理や、ワークフローＷＦ５で説明したイベント等に応じての開始判定の処理となる。

　ステップＳ１０２でサーバ装置１０は、今回制作する感動コンテンツのストーリー設定処理を行う。
　ストーリー設定処理の詳細な例を図１２に示す。

　図１２のステップＳ１２０でサーバ装置１０は、例えば図４で例示したようなストーリーの組み立て処理を行い、またそのストーリーを構成する各シーンに適用する素材コンテンツの選択処理を行う。
　ストーリーの組み立てとは、或るテーマとする出来事について、起承転結を設定し、図４のチャプターＣＨ１からチャプターＣＨ５のような設定を組み立てる処理となる。
　また各チャプターに用いる１又は複数の素材コンテンツを選択する。
　例えば感動コンテンツ制作対象のユーザに対応するＤＢに記憶された素材コンテンツのうちで、各チャプターのシーン（例えば１つのチャプターは１又は複数のシーンで構成されるとする）に適用できそうな候補コンテンツを抽出する。この場合には、例えばユーザ情報からユーザやその家族などの趣味、嗜好が判定できる場合、そのユーザ等の趣味に合致する画像とされた素材コンテンツを抽出することが有効である。
　そして各シーンについて使用する素材コンテンツを、候補コンテンツの中から選択する。もちろんこの選択にもユーザ等の嗜好を反映させることが望ましい。
　このようなステップＳ１２０のより具体的な処理例については図２１で後述する。

　ステップＳ１２０の処理でストーリーの設定とそれに応じた素材コンテンツの選択を行ったら、サーバ装置１０はステップＳ１２１で、素材コンテンツの不足があるか否かを判定する。
　ステップＳ１２０の処理でストーリー設定もでき、しかも必要な素材コンテンツも全て用意できたと判定した場合は、ステップＳ１２４に進んでコンテンツ補完は不要と判定し（例えば補完フラグをオフし）、図１２の処理を終える。つまり図１１のステップＳ１０２からステップＳ１０３に進む。

　この場合、補完フラグがオフであることで、サーバ装置１０はステップＳ１０３で素材コンテンツ補完は不要であると判定してステップＳ１０５に進み、編集処理を行うことになる。
　この編集処理では、サーバ装置１０は、ストーリー設定処理で設定したチャプター構成と、選択した素材コンテンツを使用して、一連のストーリーを構成する感動コンテンツを生成する。例えば選択した各素材コンテンツとしての動画から、必要なシーンを切り出したり、画質調整を行ったり、画像エフェクトを加えたりした上で、チャプターの進行に合わせて素材コンテンツをつなぎ合わせていく。

　このような編集処理で感動コンテンツを完成させたら、サーバ装置１０はステップＳ１０６として、ユーザサイドへの感動コンテンツの提供処理を行う。
　例えば感動コンテンツとしてのムービーのダウンロード、あるいはストリーミングなどによりユーザが視聴できるようにする。
　以上が図６のワークフローＷＦ３、ＷＦ５で例示したような場合の処理手順となる。

　一方、図１２のステップＳ１２１で素材コンテンツが不足していると判定される場合がある。
　例えば或るシーンに適用する素材コンテンツが存在しない場合である。あるいは、内容としては或るシーンに適合する素材コンテンツがあるが、評価値（個別評価値や関連性評価値）が低くて使用に適さないとされたり、画質的が低かったりすることにより、適切な素材コンテンツが存在しないと判定する場合もある。

　但し、素材コンテンツが一部不足していても、例えばそのシーンを削除してもストーリー構成上、大きな変化は無いとか、さほど重要なシーンでもないような場合、素材コンテンツ不足を許容できる場合もある。また、ユーザによって意図的にそのシーンの素材コンテンツは不要と判断する情報が入力される場合もある。その場合も不足は許容される。言い換えればそのような場合は、不足を許容すること、つまり或るシーンをわざと含まないようにすることが、よりユーザの意図に沿ったものとなると考えられる。
　サーバ装置１０は素材コンテンツ不足が許容できる範囲と判定した場合は、ステップＳ１２２からステップＳ１２４に進み、上記同様に図１１のステップＳ１０５に進む。

　ところが重要な素材コンテンツが不足している場合、あるいはシーン構成に必要とした素材コンテンツの不足は許容しないようなロジックを採用する場合は、サーバ装置１０は図１２のステップＳ１２３に進むことになり、ストーリー変更が可能であるか否かを判定する。
　例えばサーバ装置１０は、素材コンテンツが不足しているシーンのストーリー上の重要性や、チャプター内でのストーリーの部分的変更の可能性、などの評価を行って、ストーリー変更が可能であるか否かを判定する。学習に基づくユーザの嗜好を判定要素に加えてもよい。例えば今回のユーザであれば、このようなシーンは重要ではない、といったような評価が可能であれば、ストーリー変更を可能とするなどである。

　ストーリー変更が可能である場合は、ステップＳ１２３からステップＳ１２０に戻ってストーリーの組み立て及び素材コンテンツの選択をやり直すこととする。

　素材コンテンツが不足しており、その不足は現状のストーリーでは許容できず、ストーリー変更も適切ではないと判定した場合、サーバ装置１０はステップＳ１２３からステップＳ１２５に進み、素材コンテンツ補完処理が必要と判定し（例えば補完フラグをオンとし）して図１２の処理を終える。つまり図１１のステップＳ１０２を終了してステップＳ１０３に進む。
　この場合、補完フラグがオンであることで、サーバ装置１０はステップＳ１０３で素材コンテンツ補完が必要と判定してステップＳ１０４に進み、素材コンテンツ補完処理を実行する。
　つまりこのような場合が、図６のワークフローＷＦ４，ＷＦ６で説明した状況となる。

　図１１のステップＳ１０４で行われる素材コンテンツ補完処理の例を説明する。
　図１３は素材コンテンツ補完処理として、ストーリーを構成する素材コンテンツの記録を外部機器に対して要請する処理を行う例である。
　ステップＳ１４０でサーバ装置１０は、外部機器に対して、素材コンテンツの記録、すなわち撮影による画像等の記録を要請する処理を行う。
　外部機器とは、図１に示した各種機器であり、図２の素材コンテンツ提供部２０に該当する機器である。

　例えばサーバ装置１０は、ユーザに対するメッセージとして、外部機器である携帯端末５等に対して「○○のシーンの動画を撮影してください」というような要請内容を送信する。
　ユーザの家族や友人の携帯端末５等に対して、「Ａさんの○○のシーンの動画を撮影してください」という要請メッセージを送信することも考えられる。
　あるいはサーバ装置１０は、携帯端末５のアプリケーション、エージェント装置８やロボット、監視カメラ９などに対して目的のシーンの撮像あるいは提供を指示する制御情報を送信するようにしてもよい。

　すなわちステップＳ１４０の素材コンテンツ要請処理は、何らかの外部機器に対して、必要なシーンの素材コンテンツを記録し、サーバ装置１０に転送する（感動コンテンツ制作のための素材コンテンツとして使用できるようにする）ことを依頼又は指示する処理となる。

　ステップＳ１４０で要請処理を行った後、サーバ装置１０はステップＳ１４１で素材コンテンツの入力を待機する。
　素材コンテンツの入力待機中は、サーバ装置１０はステップＳ１４２でタイムアウト又は素材コンテンツの入力をチェックし、またステップＳ１４３で再要請のタイミングを待機する。
　例えば要請から１週間経過などをタイムアウトとし、またタイムアウトに至る前に、所定のタイミングで再要請を行うこととする。

　タイムアウトの期限に至るまでにおいて、再要請のタイミングとなった場合、サーバ装置１０はステップＳ１４０に戻って、再度、素材コンテンツ要請処理を行う。この場合、前回と同じ要請処理としてもよいし、要請先の外部機器を変更したり、要請する内容を変更したりすることも考えられる。

　素材コンテンツの要請に応じて素材コンテンツが入力された場合、あるいはタイムアウト期限に至っても素材コンテンツが入力されない場合、サーバ装置１０はステップＳ１４２から素材コンテンツ補完処理を終える。

　図１１のステップＳ１０４として例えば図１３のような素材コンテンツ補完処理を行ったら、ステップＳ１０２のストーリー設定処理に戻る。
　この場合、図１２で説明した処理を再実行するのであるが、もし必要な素材コンテンツが取得できた場合、サーバ装置１０は、ステップＳ１２０では、素材コンテンツが不足していたシーンについて、新たに取得した素材コンテンツを充足する処理を行えばよい。
　また、素材コンテンツ補完処理がタイムアウト終了した場合や、あるいは入力した素材コンテンツが品質的に適用できない場合、さらにはシーン内容として適切でないと判定した場合などは、ストーリーの組み立てからやり直すことが考えられる。

　例えば図１３のような素材コンテンツ補完処理を経て、図１２のステップＳ１２０の処理が行われた結果、ステップＳ１２１又はステップＳ１２２からステップＳ１２４に進んだ場合、図１１の処理としてステップＳ１０５の編集処理に進み、感動コンテンツが生成されることになる。

　図１４は素材コンテンツ補完処理の他の例を示している。
　これは、素材コンテンツを外部機器に要請することに先立って、素材コンテンツを抽出する対象を広げる例である。

　ステップＳ１５０でサーバ装置１０は、ユーザ情報に基づいて、今回の制作対象のユーザに適した他人に関連づけられたＤＢやパブリックなＤＢを参照して、素材コンテンツが不足しているシーンに適用できる素材コンテンツを探索する処理を行う。
　例えば基本的には図１２のステップＳ１２０で、制作対象のユーザに関連づけられたＤＢから素材コンテンツを抽出するものとする。そして素材コンテンツが不足したときは、素材コンテンツを探索する対象を他人についてのＤＢやパブリックなＤＢに広げるものとする。

　他人とは、ユーザ情報に基づき、当該対象のユーザの家族、友人、同僚などとする。他人に関連づけられたＤＢとは、当該サービスにおいて、これらの「他人」に該当する人が撮像した画像などを管理しているＤＢである。
　またユーザの趣味・嗜好、例えばユーザやその家族などがどのような画像を好むか、というような観点を加味して素材コンテンツの探索を行うことが考えられる。
　例えばユーザ情報からユーザやその家族などの趣味、嗜好が判定できる場合、そのユーザの趣味に合致する画像であるとか、ユーザが好むシーンや画像内容と判定又は推定される素材コンテンツを探索する。

　ステップＳ１５１でサーバ装置１０は、他人に関連づけられたＤＢやパブリックなＤＢから、今回必要な素材コンテンツを発見できたか否かを判定し、発見できた場合は素材コンテンツ補完処理を終了して、図１１のステップＳ１０２に進む。

　図１４のステップＳ１５１で、必要な素材コンテンツを発見できなかったと判定した場合は、サーバ装置１０はステップＳ１５２に進み、外部機器に対する素材コンテンツ要請処理を行う。
　そしてステップＳ１５３の入力待機、ステップＳ１５４の素材コンテンツの入力又はタイムアウト、ステップＳ１５５の再要請待機の処理を行う。これらステップＳ１５２からステップＳ１５５の処理は図１３のステップＳ１４０からステップＳ１４３の処理と基本的には同様である。

　但し、ステップＳ１５２での素材コンテンツ要請処理でも、ユーザやその家族の趣味・嗜好、例えばユーザがどのような画像を好むか、というような観点を加味して素材コンテンツの要請を行うことが考えられる。
　例えばユーザ情報からユーザやその家族などの趣味、嗜好が判定できる場合、そのユーザの趣味に合致する画像内容であるとか、ユーザが好むと判定又は推定されるようなシーンや画像内容の撮影を要請する。
　例えばジョギングを趣味とし、走ることが好きと判定又は推定されるユーザに対して、子供の運動会でも「是非リレーの撮影をして下さい」とか、「ゴールの近くで撮影をお勧めします」というような推奨メッセージを送る。
　これによりユーザが好む内容の素材コンテンツを得やすくできる。

　以上のように外部機器に対する素材コンテンツ要請処理を行う前に、素材コンテンツを探索するＤＢの範囲を広げることで、迅速に素材コンテンツを充足できる可能性を高めることができる。
　他人が撮像した画像なども使用することで、例えば感動コンテンツ内に、ユーザ本人が意図していないような画角の画像が挿入されることが生じるなど、コンテンツの幅が広がることも期待できる。

　図１５も素材コンテンツ補完処理の他の例である。
　ステップＳ１６０でサーバ装置１０は、ユーザ情報に基づいて、今回の制作対象のユーザに適合する他人に関連づけられたＤＢやパブリックなＤＢを参照して、素材コンテンツが不足しているシーンに適用できる素材コンテンツを探索する処理を行う。図１４のステップＳ１５０と同様の処理である。

　ステップＳ１６１でサーバ装置１０は、他人に関連づけられたＤＢやパブリックなＤＢから、今回必要な素材コンテンツを発見できたか否かを判定し、発見できた場合は素材コンテンツ補完処理を終了して、図１１のステップＳ１０２に進む。

　必要な素材コンテンツを発見できなかったと判定した場合は、サーバ装置１０はステップＳ１６１からステップＳ１６２に進み、フェイク画、切り出し画の取得処理を行う。
　ここでいうフェイク画とは、実際に被写体を撮影した画像ではないという意味であり、合成画像、ＣＧ画像、アニメーション画像などを指す。
　サーバ装置１０は画像合成処理、ＣＧ処理などにより、シーンに必要な画像を生成する。あるいはサーバ装置１０は、そのような画像生成を外部機器に指示して実行させ、生成された画像を取得する。
　あるいはサーバ装置１０は、他の素材コンテンツの一部の画像を切り出すなどして、シーンに適応させる素材コンテンツとする。例えば監視カメラの映像や他人の撮像画像などから該当のユーザが写っているシーンを切り出すことも想定される。

　サーバ装置１０は、これらの処理を行うことで、不足していた素材コンテンツを生成して、該当のシーンに用いるようにする。
　サーバ装置１０は、このステップＳ１６２の処理を経て素材コンテンツ補完処理を終了し、図１１のステップＳ１０２に進む。

　なお、この図１５のステップＳ１６２の処理は、例えば図１３あるいは図１４において外部機器に対する素材コンテンツ要請処理を行った場合に、タイムアウトとなった際に実行されるようにしてもよい。

＜５．制作前のレコメンド／補完処理＞
　以上の図１１から図１５の処理は、感動コンテンツの制作を開始した後の処理として説明したが、サーバ側が感動コンテンツの制作機会をとらえてユーザに画像撮像等をレコメンドするということも可能である。このような場合の処理例を説明する。

　図１６は、サーバ装置１０がユーザ情報に基づいて、ユーザに対するレコメンド時期を判定し、素材コンテンツ補完処理を行う例である。

　ステップＳ２０１でサーバ装置１０は、今後発生する出来事に応じた感動コンテンツのための素材取得のレコメンド時期判定を行う。
　例えば図６のワークフローＷＦ５、ＷＦ６で説明した制作のトリガと同様に、イベント情報、スケジュール情報等を元に、感動コンテンツの制作機会となるような出来事をチェックする。そして、そのような感動コンテンツの制作に用いる画像等の撮影のレコメンド機会となったか否かを判定する。
　またイベント等でなくても、ユーザのライフステージに合わせてレコメンド機会を判定してもよい。例えば年齢の進行、家族構成の変化、あるいは結婚や出産などの情報をチェックし、ライフステージの節目などを、その記念となるような感動コンテンツの制作機会とし、それに近いタイミングをレコメンド機会と判定する。

　例えばサーバ装置１０は、或る対象ユーザについて、子供の運動会の一週間前、対象ユーザの結婚式の３日前など、素材となり得る出来事の前の時点をレコメンド時期と判定する。

　レコメンド時期と判定したら、サーバ装置１０はステップＳ２０２からステップＳ２０３に進み、将来的な感動コンテンツ制作のための素材コンテンツ補完処理を行う。
　この素材コンテンツ補完処理は、基本的にはユーザに対して、これからユーザが参加するイベント等において、「このようなシーンの撮影を行って欲しい」というようなことを要請する処理となる。

　ステップＳ２０３の素材コンテンツ補完処理の例を図１７に示す。
　サーバ装置１０はステップＳ２２０で、レコメンド対象のユーザ情報を参照して、適合するコンテンツ（素材コンテンツや感動コンテンツ）を他人やパブリックのＤＢを参照して検索する。
　例えば対象のユーザにとって、来週が子供の運動会であるといった場合に、他人の運動会のコンテンツを抽出する。この場合の「他人」とは、ユーザの関係者である必要は無く、全く無関係の人のＤＢを広く参照する対象とするとよい。

　ステップＳ２２１でサーバ装置１０は、抽出した他人のコンテンツにおいて、評価の高いシーンや画像内容などを分析し、感動要素を特定する。評価とは、例えば感動コンテンツに対するフィードバック情報ｄＦＢや、素材コンテンツの評価値などを用いることもできるし、一般的な基準で、同様のイベント（例えば運動会）でよく用いられるシーン、画角などを高評価なものとしてもよい。
　例えば対象のユーザにとって、来週が子供の運動会であるといった場合に、他人の運動会のコンテンツを参照し、評価の高いシーンや画像内容などを特定し、感動要素とする。

　ステップＳ２２２でサーバ装置１０は、ステップＳ２２１の分析に基づいて撮影推薦データを生成する。例えば、評価の高いシーン、アングルなどに応じて、撮影手法、アドバイス等を含む情報として、テキストや画像データを用いて撮影推薦データを生成する。

　そしてステップＳ２２３でサーバ装置１０は、素材コンテンツ要請処理を行う。この場合、レコメンド内容とともに、撮影推薦データをユーザの携帯端末５等に対して送信する処理となる。
　例えば「来週、お子様の運動会です。コンテンツ制作しませんか」というレコメンドメッセージとともに、運動会での撮影手法などとして、他人のコンテンツ等を参考にして生成した撮影推薦データを送信する。

　このようなレコメンドをイベントに先だって行うことで、ユーザがより望ましい素材コンテンツを提供しやすいものとなり、またその後に制作する感動コンテンツの内容も満足度の高いものとなることが期待される。
　特に他人の撮り方を参考にできるといった要素が入ることになるため、普段、撮影等に慣れていないユーザにとっても有用な情報を提供できることになる。

　図１８は、同じく図１６のステップＳ２０３の処理の例を示している。
　ステップＳ２３０でサーバ装置１０は、レコメンドを行うイベント情報に基づいて、仮ストーリーを組み立てる処理を行う。
　そしてステップＳ２３１でサーバ装置１０は、設定した仮ストーリーに応じたシーンとして、どのような素材コンテンツが必要かを設定し、そのようなシーンの内容を示す撮影推薦データを生成する。

　そしてステップＳ２３２でサーバ装置１０は、素材コンテンツ要請処理を行う。この場合、レコメンド内容とともに、撮影推薦データとして、シーンの内容を提示するような情報をユーザの携帯端末５等に対して送信する処理となる。
　例えば「来週、あなたのライブステージです。コンテンツ制作しませんか」というレコメンドメッセージとともに、設定したストーリーに応じて「会場風景」「ステージショット」「楽屋風景」「打ち上げの様子」など、望ましいシーンの内容を提示するようにする。

　このようなレコメンドをイベントに先だって行うことで、ユーザがストーリーに応じた素材コンテンツを提供しやすいものとなり、結果としてその後に制作する感動コンテンツの内容も満足度の高いものとなることが期待される。

＜６．素材コンテンツの評価とフィードバック＞
　続いて、サーバ装置１０における素材コンテンツの評価とフィードバック処理について説明する。
　先に図５を用いて説明したように、評価部１５は素材コンテンツについて関連性評価値や個別評価値を設定する。またユーザからのフィードバック情報ｄＦＢに応じて対応処理、すなわち評価値の更新処理をおこなう。

　このように評価値の設定や更新を行うのは、サーバ装置１０が多数のユーザについての多数の素材コンテンツとして膨大なコンテンツ（想い出の動画や写真）を保存管理することを考えたときに適切にコンテンツ制作に使用できるようにすることが一つの理由となる。例えばそれぞれの素材コンテンツは断片的でストーリー性を持たないため、単に保存しているのみでは埋没してしまう可能性が高い。
　そこでＡＩ処理で、視点の異なる分析結果をマイニングマップ化することで、重要度や関連度からストーリー性の高いコンテンツの明示や結合の度合いを評価値として表現できるようにする。これにより感動コンテンツ生成の際に価値ある素材コンテンツを選択しやすくし、自動制作される感動コンテンツの品質向上を図る。

　また評価値を設定するだけでなく、関連性提示情報として可視化し、ユーザによるフィードバックを可能とすることで、よりユーザ個人に適するように、関連性評価値や個別評価値の修正や、感動コンテンツ制作のための評価関数の更新などを行うこととする。

　まず図１９は、サーバ装置１０が評価部１５の機能により行う素材コンテンツ評価処理を示している。

　ステップＳ３００でサーバ装置１０は、素材コンテンツに関するフィードバック情報ｄＦＢの入力を確認する。フィードバック情報ｄＦＢがあった場合はステップＳ３２０でフィードバック対応処理を行う。これについては後述する。

　フィードバック情報ｄＦＢが入力されていない場合は、サーバ装置１０はステップＳ３０１に進み、処理対象とする素材コンテンツの特定を行う。これは、例えば新たにアップロードされた素材コンテンツなど、保存しているが評価処理を行っていない素材コンテンツを今回の評価処理の対象として特定することになる。但し、すでに評価値が設定された素材コンテンツについて、時間経過などに応じて再度評価処理を行うために、処理対象とすることもある。

　ステップＳ３０２でサーバ装置１０は、評価処理の対象とした素材コンテンツについて個別評価値を算出する。上述したように個別評価値とは、その素材コンテンツ自体の単体での画像自体やシーンの価値、内容の重要性などを評価する値である。このためサーバ装置１０は、画像解析やユーザ情報の分析などをおこない、喜怒哀楽等の該当性、撮像時に追尾対象（フォーカス対象）とされたか否か、画像内容が突発的な事象であるか否か、ポジティブな要素を持つ画像であるか否か、ネガティブな要素を持つ画像であるか否か、ユーザの視聴履歴として再生回数の多寡、などを指標として所定の演算で個別評価値を算出する。
　またユーザ情報からユーザやその家族等の趣味、嗜好が判定できる場合、そのユーザやその家族等の趣味・嗜好を評価値に反映させることが望ましい。例えば趣味に合致する画像であるとか、ユーザが好むシーンや画像内容と判定又は推定されるものに、高い個別評価値が設定されるようにする。

　ステップＳ３０３でサーバ装置１０は、当該素材コンテンツについてキー要素を設定する。例えば特定感情、関係者の別、イベントタイトルなどのキー要素を設定する。これらは画像内容の解析結果やユーザ情報、画像に付加されたメタデータ等を参照して設定することができる。

　ステップＳ３０４でサーバ装置１０は、キー要素を用いて関連する素材コンテンツを抽出する。例えば評価処理対象の素材コンテンツと同じイベントで撮影された他の素材コンテンツや、評価処理対象の素材コンテンツと同じ特定の関係者（例えば子供）について撮影された他の素材コンテンツなどを抽出する。

　ステップＳ３０５でサーバ装置１０は、評価処理対象の素材コンテンツについて関連性評価値を算出する。
　例えばキー要素が共通の素材コンテンツとの間の関連性の度合いを数値化して関連性評価値を算出する。
　関連性の度合いとは、例えば出来事の因果関係、時系列関係、出来事に関連する人物や物品の存在などの画像内容から判定又は推定できる。
　またユーザ情報からユーザやその家族等の趣味、嗜好が判定できる場合、そのユーザや家族等の趣味・嗜好を評価値に反映させることが望ましい。因果関係のある素材コンテンツ同士についても、ユーザの趣味に関する画像であるとか、ユーザが好むシーンや画像内容を含むと判定又は推定される素材コンテンツ同士の間に、高い関連性評価値が設定されるようにする。

　ステップＳ３０６でサーバ装置１０は、関連性提示情報を生成又は更新する。これは、例えば図７から図１０で説明したような関連性提示情報を新たに生成する処理や、既存の関連性提示情報に今回評価対象とした素材コンテンツを組み込む処理などを行うこととなる。

　ステップＳ３０７でサーバ装置１０は、処理対象の素材コンテンツについて、算出した個別評価値、関連性評価値、キー要素を保存する。これにより評価処理を終える。

　素材コンテンツに関するフィードバック情報ｄＦＢが入力された場合、サーバ装置１０はステップＳ３２０のフィードバック対応処理として、例えば図２０の処理を行う。

　ステップＳ３２１でサーバ装置１０は、フィードバック対象の素材コンテンツを特定する。
　ステップＳ３２２でサーバ装置１０は、フィードバック対として象特定した素材コンテンツについて、フィードバック情報ｄＦＢに基づいて個別評価値の修正が必要か否かを判定する。
　必要である場合はサーバ装置１０はステップＳ３２３に進み、個別評価値の更新処理を行う。

　ステップＳ３２４でサーバ装置１０は、フィードバック対象として特定した素材コンテンツについて、フィードバック情報ｄＦＢに基づいて個別評価値の修正が必要か否かを判定する。
　必要である場合は、サーバ装置１０はステップＳ３２５に進み、その素材コンテンツについて設定したキー要素の更新処理を行う。

　ステップＳ３２６でサーバ装置１０は、フィードバック対象として特定した素材コンテンツについて、フィードバック情報ｄＦＢに基づいて関連性評価値の修正が必要か否かを判定する。
　必要である場合は、サーバ装置１０はステップＳ３２７に進み、その素材コンテンツについて関連する素材コンテンツを再設定する。すなわち関連性提示情報で関連性が提示される他の素材コンテンツである。
　ステップＳ３２８でサーバ装置１０は、新たに設定した他の関連する素材コンテンツとの間における関連性評価値を算出し、更新する。
　ステップＳ３２９でサーバ装置１０は、関連する他の素材コンテンツや、それらとの間の関連性評価値の更新に応じて、関連性提示情報を更新する。

　この図２０のような処理を行うことで、サーバ装置１０の評価部１５で設定した評価値は、逐次ユーザからのフィードバック情報ｄＦＢに応じて更新されていくことになる。

　ところで、先にも説明したように、ユーザからのフィードバック情報ｄＦＢは、素材コンテンツの評価値に反映されるだけでなく、感動コンテンツ制作にも反映される。
　図２１，図２２により、先に図１２で説明したストーリー設定処理におけるステップＳ１２０の処理を詳しく述べるとともに、フィードバック情報ｄＦＢが反映されるようにする例を説明する。

　図１２のステップＳ１２０としてストーリーの組み立て及びストーリーに応じた素材コンテンツの選択を行うと説明したが、例えばサーバ装置１０は具体的には図２１のような処理を行う。

　ステップＳ４０１でサーバ装置１０はストーリー組み立てを行う。
　ストーリーは図４の例のように組み立てることが想定される。例えば起承転結に該当する構成を配置するストーリー組み立てを行う。
　また、例えば或るイベントに関して図１８のステップＳ２３０で仮ストーリーを組み立てた場合、それを基本にしてストーリーの組み立てを行うとよい。特にそのイベントのシーンに適した素材コンテンツがユーザから提供されている可能性が想定されるためである。

　ステップＳ４０２でサーバ装置１０は候補コンテンツの収集を行う。つまりストーリーを構成する各チャプターについて、使用する１又は複数の候補コンテンツを、制作の対象のユーザのＤＢ等から収集する。この時点では、１つのシーンに使用する候補として、複数の素材コンテンツを候補コンテンツとしてもよい。例えば評価値にかかわらず、シーン内容やユーザ情報、メタデータ等に基づいて候補コンテンツを収集する。

　ステップＳ４０３で、ストーリーを構成する各シーンに使用する素材コンテンツの選択を行う。例えば１つのシーンにつき、多数の候補コンテンツのうちで個別評価値の高い素材コンテンツを選択するという手法でもよいが、より多面的に関連性などを反映することが望ましい。例えば各シーンについて個別評価値の高い素材コンテンツを選択することに加えて、選択される各素材コンテンツ同士の関連性評価値も反映させ、選択結果としての複数の素材コンテンツを最適化する。また素材コンテンツの組み合わせ、順序、時間長なども選択の要素とする。
　このような個別評価値、関連性評価値、時間長、順序などの要素を含む評価関数を用いてストーリーを構成する各シーンに使用する素材コンテンツの選択処理を行う。

　なお、基本的には個別評価値や関連性評価値が高い素材コンテンツが選択されやすくなるが、これらの評価値に対して、図１９、図２０で説明したようにユーザ操作に基づくフィードバック情報ｄＦＢに応じた更新が加えられていることで、ユーザの嗜好に適った素材コンテンツが選択されやすい傾向となる。
　また、そもそも図１９の個別評価値や関連性評価値の設定の際に、ユーザ情報から判定或いは推定できるユーザその家族等の嗜好（どのような画像、シーンを好むか等）を反映させた評価値設定を行うことで、シーンに適用する素材コンテンツとしては、ユーザの嗜好が反映されやすくなる。

　ステップＳ４０４でサーバ装置１０は、ステップＳ４０３での素材コンテンツの選択結果を元に、編集データを生成する。
　編集データとは、選択された素材コンテンツの情報、素材コンテンツのつなぎ合わせる順序の情報、各素材コンテンツに対する処理（画質調整、切り出し、エフェクト等）の情報などを含むものとする。すなわち感動コンテンツ制作の設計情報である。

　例えばこのような処理が図１２のステップＳ１２０として行われ、後に、図１１のステップＳ１０５で編集情報に基づく編集処理が実行される。

　ここで、ユーザ操作に基づくフィードバック情報ｄＦＢが入力された場合、学習部１７及びストーリー生成部１６の機能により図２２の処理が行われるようにすることができる。

　サーバ装置１０はフィードバック情報ｄＦＢが入力された場合、図２２の処理をステップＳ４２０からステップＳ４２１に進める。
　もしフィードバック情報ｄＦＢが、現在制作中の感動コンテンツについてのストーリーの変更を求めるものであった場合、ステップＳ４２１から図２１のステップＳ４０１に進み、ストーリーの組み立てをやり直すことになる。例えばフィードバック情報ｄＦＢに基づいて、一部のシーンをカットしたり、入れ替えたりするようなことが想定される。
　なお、制作中の感動コンテンツに対するフィードバック情報ｄＦＢとは、例えばサーバ装置１０が感動コンテンツの本納品の前にユーザに仮視聴させたような場合に、ユーザ操作に応じて送信されてくることが想定される。
　フィードバック情報ｄＦＢが今回の素材コンテンツの変更を要する内容であった場合は、サーバ装置１０は図２２のステップＳ４２２から図２１のステップＳ４０３に進む。
　これによりステップＳ４０３の素材コンテンツの選択をやり直す。

　フィードバック情報ｄＦＢは必ずしも制作中の感動コンテンツに反映させるものとは限らない。例えば関連性提示情報による提示に対するフィードバック情報ｄＦＢの場合もある。但し、ユーザによる操作は、ストーリー構成にも影響するため、将来のストーリー生成に対して学習させることが望ましい。例えば将来のコンテンツ制作に反映させるような内容であった場合、サーバ装置１０はステップＳ４２３からステップＳ４２４に進み、評価関数の学習／更新処理を行う。
　例えば当該ユーザに対して感動コンテンツ制作の際に用いる評価関数の一部の係数や変数要素を更新する。これにより例えば図２１のステップＳ４０３での素材コンテンツ選択の方向性や、重視すべき要素が修正される。つまり、そのユーザの好みに応じて、素材コンテンツの選択処理も適応化されていくことになる。

　なお、以上では主に評価部１５、学習部１７の機能として評価関数の生成、学習／更新処理を行うことで、生成する感動コンテンツをユーザに適応化する例を説明してきたが、以上のような処理に代えて、機械学習、ディープラーニングを用いて学習された学習モデルを用いて、生成する感動コンテンツがユーザに適応されるようにすることも考えられる。
　例えばストーリー生成部１６が評価部１５に代替する機能を含み、素材コンテンツについての評価、分類、抽出を行いながら感動コンテンツ生成を行うようにする。
　具体的にはストーリー生成部１６が、ユーザに関する各種の情報に基づくディープラーニングを行い、そのユーザに適合する学習モデルを生成する。
　そして各素材コンテンツについて学習モデルを適用して分類や抽出、さらにはストーリーに適用できる素材コンテンツであるか否かが判定されたうえ、関連すると判定された素材コンテンツを用いて感動コンテンツ生成を行うようにする。

　このように学習モデルの生成機能や、学習モデルを用いたコンテンツ生成機能を、評価部やストーリー生成部１６として備えるようにする。
　また学習部１７として、ユーザのフィードバック情報ｄＦＢに基づいて再学習を行い、学習モデルを更新していくことで、より望ましい感動コンテンツ生成に好適となる。

＜７．ネガティブ／ポジティブコンテンツの管理＞
　素材コンテンツとしてネガティブコンテンツやポジティブコンテンツとして分類できるものがある。
　ネガティブコンテンツは、通常、ユーザにとっては、あまり視聴したい内容ではないことが想定される。但し図４で説明したように、パーソナルなコンテンツなどとしてストーリー構成すること考えると、ネガティブコンテンツは視聴時の感動を高めるために有用な素材コンテンツとなり得る。
　一方で、例えばサーバ装置１０がクラウドストレージとして機能し、ストレージ１０ａにおいてユーザ個人の記憶領域を提供するような形態を考えると、ユーザにとって、ネガティブコンテンツも他の素材コンテンツと同様に容易に視聴でき、望ましくないとされることもある。

　そこでサーバ装置１０では、記憶管理部１８の機能により、ネガティブコンテンツは他の素材コンテンツと区分されて保存管理されるようにしている。
　例えばユーザからのアクセス性が確保されない、あるいはサーバ装置１０からしても、ストレージ１０ａに比較してアクセス性の悪い遠隔ストレージ１２を用意し、ネガティブコンテンツはそこに保存されるようにする。

　図２３は記憶管理部１８の機能によりサーバ装置１０が行う素材コンテンツ管理処理を示している。
　ステップＳ５０１でサーバ装置１０は処理対象の素材コンテンツを特定する。

　ステップＳ５０２でサーバ装置１０は、処理対象とした素材コンテンツがネガティブコンテンツであるか否かを判定する。
　ネガティブコンテンツであるか否かは、何らかの処理で判定されていればよい。例えば画像に付随するメタデータとして撮影時のユーザのバイタル情報があれば、それに基づいてネガティブな感情が生じているか否かを判定してもよいし、画像解析によるユーザの表情、行動、仕草などから推定することもできる。
　ユーザが閲覧しないことをネガティブな要素ととらえて判定要素に加えてもよい。
　また他の日常的な画像とは異なる特徴をネガティブな要素ととらえて判定要素に加えてもよい。
　また日常画像と日常画像にインターバルがある場合などに、何らかのネガティブな出来事が発生していると推定し、そのようなインターバルな時期の画像にネガティブな要素が存在しやすいとして推定要素に加えることも考えられる。

　なお、このようなネガティブコンテンツの判定と同様の手法でポジティブコンテンツの判定も可能である。

　ステップＳ５０２でネガティブコンテンツではないと判定した場合、サーバ装置１０はステップＳ５０３に進み、当該素材コンテンツについて通常保存を行う。例えばストレージ１０ａにおいて該当ユーザに関連づけられたＤＢで管理されるように保存する。

　ステップＳ５０２でネガティブコンテンツと判定した場合、サーバ装置１０はステップＳ５０４に進み、当該素材コンテンツについてネガティブコンテンツに対応した保存処理を行う。例えば遠隔ストレージ１２において該当ユーザに関連づけられたＤＢで管理されるように保存する。

　このようにネガティブコンテンツの場合は、他の素材コンテンツと区別して保存する。
　なおステップＳ５０４のネガティブコンテンツ対応保存として遠隔ストレージ１２への保存を例に挙げたが、この遠隔ストレージ１２とは次のようなストレージが考えられる。

・ストレージ１０ａとは別体で遠隔地に配置されたストレージデバイス
・サーバ装置１０からのアクセス性がストレージ１０ａよりも低いストレージデバイス
・ユーザからのアクセスが制限されるように管理されたストレージデバイス
・転送レートの低い通信路でアクセス可能なストレージデバイス
・スタンドアロン機器に接続されるストレージデバイス
・ストレージ１０ａがサーバ装置１０から第１のネットワークで接続されることに対し、遠隔ストレージ１２はサーバ装置から、第１のネットワークより通信速度の遅い第２のネットワークで接続されるストレージデバイス

　以上は一例であるが、遠隔ストレージ１２としては、通常はアクセスが行われないことを想定したものとすることが考えられる。

　またステップＳ５０４の処理は、必ずしも遠隔ストレージ１２に記録することに限定されない。例えば他の素材コンテンツと同様にネガティブコンテンツがストレージ１０ａに保存されてもよい。但し、そのアクセスが困難になるような階層化管理を行ったり、暗号化、あるいは特定権限者のみのアクセス許可設定を行ったりするなどして、アクセス性を区別する。

　以上の図２３の処理は、ネガティブコンテンツを他の素材コンテンツと区別して保存管理する例としたが、ネガティブコンテンツ、ポジティブコンテンツ、その他の素材コンテンツを区別して管理してもよい。
　その場合、ネガティブコンテンツはストレージを分けるなどしてアクセス性を低くするが、ポジティブコンテンツとその他の素材コンテンツについては、アクセス性は同等でもよい。例えばポジティブコンテンツとその他の素材コンテンツは、ストレージ１０ａにおいて該当するユーザのＤＢに同様に保存されるが、ポジティブコンテンツの場合はポジティブコンテンツであることを示すフラグが設定されるなどすればよい。
　また、全ての素材コンテンツをネガティブコンテンツとポジティブコンテンツに分けてもよい。例えばネガティブコンテンツに該当しないものはポジティブコンテンツとして管理してもよい。

　以上のようにネガティブコンテンツが区別して管理されるが、ネガティブコンテンツは、感動コンテンツ制作の素材として用いたい場合に有用になるため、状況に応じて管理状態を変化させることが望ましい。
　そこで図２４のような処理を行うことが考えられる。

　ステップＳ５２０の逐次保存処理とは、例えば素材コンテンツがアップロードされることに応じて、サーバ装置１０が逐次、例えば図２３の処理でその素材コンテンツを保存する処理を示している。

　ここで、ステップＳ５２１でサーバ装置１０は、今回保存した素材コンテンツがポジティブコンテンツであったか否かを確認する。
　ポジティブコンテンツでない場合、つまりネガティブコンテンツ、もしくはネガティブコンテンツでもポジティブコンテンツでもない素材コンテンツであった場合は、図２４の処理を終了する。

　ポジティブコンテンツであった場合は、サーバ装置１０は処理をステップＳ５２２に進め、今回のポジティブコンテンツに関連するネガティブコンテンツの探索を行う。
　例えば今回のポジティブコンテンツが、ユーザが野球の試合で活躍したような内容であった場合は、過去に当該ユーザが練習中に怪我をしたようなシーンのネガティブコンテンツを探索するような処理を行う。

　該当するネガティブコンテンツが発見できなければステップＳ５２３から処理を終えるが、該当するネガティブコンテンツが発見された場合は、サーバ装置１０はステップＳ５２４で、そのネガティブコンテンツの管理状態を変更する処理をおこなう。例えばストレージデバイスを遠隔ストレージ１２からストレージ１０ａに移動させるなど、サーバ装置１０にとってのアクセス性を向上させる処理を行う。

　なおサーバ装置１０は、図２３のステップＳ５０４でネガティブコンテンツ対応保存として管理されたネガティブコンテンツは、ストーリー生成部１６の処理で候補コンテンツとしてエントリされないものとしてもよい。
　つまりネガティブコンテンツは、無条件では感動コンテンツ制作に使用されないものとする。ただし、ステップＳ５２４の処理として、対応するポジティブコンテンツが存在することになった場合に、そのネガティブコンテンツは、候補コンテンツとされうる資格が与えられるように管理状態を変更することが考えられる。つまり、ポジティブコンテンツを引き立たせるというストーリー上で重要性が生じたことで、初めて感動コンテンツ制作に使用可能とするものである。

　ステップＳ５２５でサーバ装置１０は、ネガティブコンテンツについて今回保存したポジティブコンテンツとの関連性が生じることに応じて、ネガティブコンテンツの評価値を更新する。すなわち関連性評価値、個別評価値を再計算して更新する。

　以上の処理により、ポジティブコンテンツに対応するネガティブコンテンツは、感動コンテンツ制作において或るシーンに適用される可能性を生じさせ、あるいは高めることができる。これにより適切なネガティブコンテンツを使用して自動制作される感動コンテンツのストーリー性を高めることが期待できる。

　図２５も同様の趣旨の処理例である。
　ステップＳ５３０の逐次保存処理とは、例えば素材コンテンツがアップロードされることに応じて、サーバ装置１０が逐次、例えば図２３の処理でその素材コンテンツを保存する処理を示している。

　ここで、ステップＳ５３１でサーバ装置１０は、今回保存した素材コンテンツがネガティブコンテンツであったか否かを確認する。
　ネガティブコンテンツであった場合は、ステップＳ５３２でネガティブな事象を登録する処理を行う。例えば或るユーザについて、いつ、どのようなネガティブな出来事があったか、という情報をユーザ情報の一つとして登録しておく。

　ステップＳ５３１でネガティブコンテンツではないと判定された場合は、サーバ装置１０はステップＳ５３３で、今回保存した素材コンテンツが、過去に登録されたネガティブ事象に対応するポジティブコンテンツであるか否かを判定する。
　もし今回保存した素材コンテンツが、過去にステップＳ５３２の処理で登録されたネガティブな事象に関連するポジティブコンテンツであった場合は、サーバ装置１０はステップＳ５３４に進んで、その登録されたネガティブな事象に関連するネガティブコンテンツの管理状態を変更する処理を行う。
　例えばストレージデバイスを遠隔ストレージ１２からストレージ１０ａに移動させるなど、サーバ装置１０にとってのアクセス性を向上させる処理を行う。
　この場合もサーバ装置１０は、そのネガティブコンテンツについて候補コンテンツとされうる資格が与えられるように管理状態に変更することも考えられる。

　ステップＳ５３５でサーバ装置１０は、当該ネガティブコンテンツについて今回保存したポジティブコンテンツとの関連性が生じることに応じて、ネガティブコンテンツの評価値を更新する。すなわち関連性評価値、個別評価値を再計算して更新する。

　以上の処理によっても、ポジティブコンテンツに対応するネガティブコンテンツは、感動コンテンツ制作において或るシーンに適用される可能性を生じさせ、あるいは高めることができる。

＜８．まとめ及び変形例＞
　以上の実施の形態によれば次のような効果が得られる。
　実施の形態の情報処理装置としてのサーバ装置１０は、自動制作する感動コンテンツについて、ストーリーを構成する素材コンテンツの記録を外部機器に対して要請する処理を行うストーリー生成部１６を備える（図１１から図１８参照）。
　この処理は、顧客のユーザの個人的な行動、経験等をストーリー上でフィーチャーした感動コンテンツの素材集めに有用な処理となる。特に、どのようなシーンを撮影してほしいか、というような具体的な要請を行うことで、素材コンテンツの収集に好適となる。

　実施の形態では、ストーリー生成部１６が感動コンテンツのストーリー設定を行い、使用する素材コンテンツを選択するとともに、素材コンテンツの不足を判定するストーリー設定処理を行い、素材コンテンツの不足と判定することに応じて、外部機器に対して素材コンテンツの記録を要請する処理を行う例を挙げた（図１１，図１２，図１３，図１４参照）。
　ストーリーに応じた素材コンテンツの収集を行い、不足の場合に外部機器に記録を要請することで、自動制作コンテンツの制作上、効率良く素材コンテンツ補完処理が実行できる。

　実施の形態では、ストーリー生成部１６が顧客とされるユーザに関するレコメンド時期判定処理を行い、レコメンド時期判定処理に応じて、外部機器に対して素材コンテンツの記録を要請する処理を行う例を挙げた（図１６参照）。
　即ちコンテンツ自動制作サービスの顧客とされるユーザに関するコンテンツ自動制作の機会を、ユーザのイベントスケジュールやライフステージなどにより判定する。そして判定した時期に応じて素材コンテンツの記録を要請する処理を行う。
　顧客とされるユーザに対して、これから発生するイベントや生活の変化などに応じて、ユーザに対して撮影による画像記録等のレコメンドを行ったり各種機器に記録要請を行ったりすることで、ユーザにとっての思い出や感動に寄与する機会における素材コンテンツを得やすいことになる。このような素材コンテンツを用いることで、ユーザの満足度の高い自動制作コンテンツを提供する可能性を高めることができる。
　なお、顧客とされるユーザに関する時期とは、ユーザ本人だけでなく、家族、友人に関する各種イベントやライフステージに基づく時期も含まれる。

　実施の形態では、ストーリー生成部１６がユーザ情報に基づいてユーザの嗜好を判定し、判定した嗜好情報に基づいて、素材コンテンツの記録を要請する処理を行う例を挙げた。例えば顧客とされるユーザ本人やその家族、友人に関するユーザ情報に基づいて嗜好判定を行い、これに基づいて素材コンテンツの記録要請を行う（図１４参照）。
　顧客とされるユーザの本人、家族、親戚、友人などについてのユーザ情報に基づいて記録要請を行うことで、視聴者側のユーザの好みに合った素材コンテンツを収集しやすくなり、好みに応じた自動制作コンテンツを実現できる可能性を高めることができる。

　実施の形態では、ストーリー生成部１６が、ユーザ情報に基づいてユーザの嗜好を判定し、判定した嗜好情報を選択要素として素材コンテンツを選択する処理を行う例を挙げた。例えば顧客とされるユーザ本人やその家族、友人に関するユーザ情報に基づいて嗜好の判定又は推定を行う。このような嗜好が反映された評価値が設定されることで、嗜好情報を選択要素として素材コンテンツを選択する処理が行われる（図１９、図２１のステップＳ４０３参照）。
　顧客とされるユーザの本人、家族、親戚、友人などについてのユーザ情報に基づくことで、視聴者側のユーザの好みに合った素材コンテンツを、ストーリーに合わせて選択できる。これによりユーザの好みに合った自動制作コンテンツを実現できる可能性を高めることができる。

　実施の形態では、ストーリー生成部１６が、ユーザに関するイベント情報に基づいて、素材コンテンツの記録を要請する処理を行う例を挙げた（図１６，図１８参照）。例えば顧客とされるユーザのイベント情報の種別に応じた適切なシーン等を判定し、適合する素材コンテンツの記録要請を行う。
　イベントとしては、例えばスポーツの試合、発表会、結婚式、子供の運動会、演奏や劇のステージなど、多様な種類があるが、そのイベントに応じて望ましいシーン等が考えられる。そのようなシーンの撮影などを要請することで、より完成度の高い自動制作コンテンツを実現できる可能性を高めることができる。

　実施の形態では、ストーリー生成部１６が、ユーザに関するイベント情報に基づいて、素材コンテンツを選択する処理を行う場合がある。
　図１８のステップＳ２３０でイベントに応じたストーリーが仮に組み立てられ、図２１のステップＳ２０１でそれを基本にストーリー組み立てが行われる場合、ステップＳ４０３で選択される素材コンテンツは、イベント情報に基づいて選択されたものとなる。つまり顧客とされるユーザのイベント情報の種別に応じた適切なシーン等に適合する素材コンテンツの選択が行われる。
　これによりイベントに応じた完成度の高い自動制作コンテンツを実現できる可能性を高めることができる。

　実施の形態では、レコメンド時期判定処理として、ユーザのライフステージに基づく時期判定を行う例を挙げた（図１６参照）。例えばユーザのライフステージとして、出生、入学、卒業、就職、結婚、子供の誕生、子供の成長、定年などの時期判定を行い、それに応じて適合する素材コンテンツの選択や記録要請を行う。
　ユーザのライフステージの進行や変化には物語性があり、自動制作コンテンツの制作機会として適している。そこで、ライフステージに応じた時期判定を行うことで、自動制作コンテンツのために好適な素材コンテンツの収集に適したタイミングで撮影等を要請できる。これにより自動制作に望ましい素材コンテンツを収集しやすくすることができる。

　実施の形態では、ストーリー生成部１６が、時期判定処理で記録を要請する時期と判定した要因の出来事と、同一の出来事についての他のユーザのコンテンツに基づいて、記録を要請する素材コンテンツの内容を示す推薦データを生成する例を挙げた（図１７参照）。
　例えば時期判定処理で記録を要請する時期と判定した要因の出来事とは、例えばユーザのライフステージ上の出来事（入学、卒業、就職、結婚等）や、各種イベントなどである。これらの出来事により、記録を要請する時期と判定した場合、他人で同じ出来事の場合のコンテンツに基づいて、撮影するシーン内容等を推薦するデータを生成する。
　サーバ装置１０は、ユーザのイベントやライフステージなどにおいて、同じイベントやライフステージでの他人のコンテンツ（素材コンテンツや自動制作コンテンツ）を参考にして、お勧めの内容を示す撮影推薦データを生成する。そしてユーザの端末装置に送信してユーザに提示させる。これにより、今回の出来事でどのような撮影を行ったらよいか、ユーザは知ることができ、結果として自動制作コンテンツに適した素材コンテンツが得られやすくなるとともに、ユーザの満足度の高い自動制作コンテンツを実現しやすい。

　実施の形態では、ストーリー生成部１６が、顧客とされるユーザに関して自動制作するコンテンツのストーリー設定を行い、使用する素材コンテンツを、当該ユーザに対応するＤＢら選択するとともに、素材コンテンツの不足を判定するストーリー設定処理を行う。そして素材コンテンツの不足と判定されることに応じて、他のＤＢ（例えば他のユーザに対応するＤＢやパブリックなＤＢ等）から素材コンテンツを探索し、さらに素材コンテンツの不足と判定される場合に、外部機器に対して素材コンテンツの記録を要請する処理を行う例を挙げた（図１４参照）。
　これにより、単に顧客ユーザがアップロードした静止画や動画等だけでなく、他の人、例えば友人、家族など近しい人や、全くの他人が撮像した画像、さらにはパブリックな画像など、広く素材コンテンツを探索できる。これにより、より多様な画像ストックを用いてコンテンツ自動制作ができる。また記録要請をなるべく行わないことで、ユーザに手間をかけずに迅速にコンテンツ制作が可能となる可能性を高めることができる。即ち素材コンテンツ補完処理の効率を向上できる。

　実施の形態の情報処理装置としてのサーバ装置１０は、アクセス可能な状態に記録された素材コンテンツについて評価値を設定する処理を行う評価部１５と、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを、評価値を参照して選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成部１６とを備える（図１９から図２２参照）。
　自動制作コンテンツの制作処理の際に、評価値（個別評価値や関連性評価値）を参照して素材コンテンツが選択されるようにすることで、よりユーザにとって望ましい素材コンテンツを使用する可能性を高めることができ、ユーザの満足度の高い自動制作コンテンツを提供できるようになる。

　実施の形態では、ストーリー生成部１６が、設定したストーリーに応じて使用の候補とする素材コンテンツの収集処理を行い、候補として収集した素材コンテンツのうちで評価値を使用して自動コンテンツ制作に使用する素材コンテンツを選択する処理を行う例を挙げた（図２１参照）。
　各素材コンテンツに与えられた評価値により、候補コンテンツのうちで今回の自動制作に適した素材コンテンツを容易かつ適切に選択できる。
　例えば、設定した或るシーンに相当する候補コンテンツはシーン内容を基準に収集できるが、その中で、今回の自動制作コンテンツにとって最適な素材コンテンツ、又は今回のユーザに感動を与えるような素材コンテンツを選択するのは画像内容だけでは困難である。そこで、素材コンテンツの関係性や、素材コンテンツ自体の重要性などが反映されている評価値を考慮して選択する。これにより、より望ましいコンテンツ制作が可能となると考えられる。

　実施の形態では、評価部１５が素材コンテンツについて、他の素材コンテンツとの関連性を示す関連性評価値を設定する例を挙げた（図１９参照）。
　例えば素材コンテンツについて、他の素材コンテンツとの因果関係などの関連性があるような場合に、その他の素材コンテンツとの関連性を示す評価値を設定する。
　各素材コンテンツは単体のみで評価せず、他のコンテンツとの関連性を評価することで、１つの自動制作コンテンツ内で使用されるコンテンツ同士としてのマッチングを適切化し、より感動を与えるようなコンテンツ自動制作が可能となると考えられる。

　実施の形態では、評価部１５が素材コンテンツについて単体での個別評価値を設定する例を挙げた（図１９参照）。
　各素材コンテンツとして膨大なコンテンツは存在しても、それぞれ重要性は異なる。一般的なシーン品質としての重要性や、ユーザの感情が表れる場面などによる重要性が異なる。そして、自動制作時にそれぞれの候補コンテンツからそのような重要性を判定することは処理負担が大きい。そこでコンテンツ自体の評価値をあらかじめ設定しておき、その評価値を用いて選択できるようにする。これにより自動制作コンテンツ内で使用する素材コンテンツの選択が容易且つ適切化でき、より感動を与えるようなコンテンツ自動制作が可能となると考えられる。

実施の形態では、評価部１５が、素材コンテンツについて、他の素材コンテンツとの関連性を提示する関連性提示情報を設定する例を挙げた（図１９、図７から図１０参照）。
　例えば図７から図１０に例示したように、各素材コンテンツの関連性を示す関連性提示情報を生成することで、ユーザに素材コンテンツの存在やその関係性を提示することができる。ユーザは素材コンテンツの種別や不足などを認識しやすいものとなる。

実施の形態では、関連性提示情報、関連性評価値はユーザ操作に応じて更新される例を挙げた（図２０参照）。
　例えば図７から図１０に例示したような形態で関連性提示情報を提示することで、ユーザは素材コンテンツ同士の関連性の適否を確認できる。そして実際には関連性が薄い素材コンテンツ同士の関連性を低くすることなどの操作を可能とし、フィードバック情報ｄＦＢに応じた更新処理を行うことで関連性の情報を修正できる。これにより関連性評価値や関連性提示情報をよりユーザに適した適切なものに収束させていくことができる。
　なお個別評価値についてもフィードバック情報ｄＦＢに応じて更新させることで、ユーザの趣味、嗜好を反映させる状態に収束させることとなる。

実施の形態の関連性提示情報は、一の素材コンテンツと他の素材コンテンツを直接結びつけて示すことで素材コンテンツ同士の関連性を示すものとした。
　例えば素材コンテンツ同士を結ぶような画像によりコンテンツ同士の関連性をユーザインタフェース上で提示する（図７から図１０参照）。これによりユーザは素材コンテンツ同士の関連性の適否を容易に確認できる。

実施の形態では、関連性提示情報は、キー要素に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示す例を挙げた（図８、図９参照）。例えば感情を示す言葉やイベントなどをキー要素とし、或る感情に対応する素材コンテンツ、或るイベントに関連する素材コンテンツ、などというような形態でコンテンツの関連性をユーザインタフェース上で提示する。
　図８のように、喜怒哀楽の感情をキー要素として素材コンテンツの関係性を示したり、図９のように或るイベントをキー要素として素材コンテンツの関係性を示した画像を提供したりすることで、ユーザは、自分の感情、出来事などに応じた素材コンテンツの関連性や、それらの適否を容易に確認できる。
　キー要素としては、他にも、ライフステージ別であったり、特定のキーワードであったり、行動種別であったり、時期、季節、場所、ユーザ年齢など、多様に考えられる。

　実施の形態では、関連性提示情報は、ユーザの人間関係に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとする例を挙げた（図１０参照）。
　例えば図１０のように、ユーザＡに対して家族に関連する素材コンテンツや、友人に関連する素材コンテンツなどが提示されるようにする。これによりユーザは、自分の人間関係に応じた素材コンテンツの関連性や、それらの適否を容易に確認できる。
　関連する素材コンテンツを提示する人間関係の要素としては、他にも、ユーザＡからみて、親、子供、或るサークルのメンバー、同級生、職場の人、趣味の友人、近所の人など、多様に考えられる。

　実施の形態のサーバ装置１０は、関連性提示情報に対するユーザ操作を入力し、学習処理を行う学習部１７を備えるものとした。
　学習部１７は、関連性提示情報に対するユーザからのフィードバック情報ｄＦＢを、ストーリー設定に反映させるために学習処理を行う。これにより、ユーザの意思、素材コンテンツの重要性や関連性などを反映したストーリー設定が将来的にできるようになったり、現在制作中の自動制作コンテンツのストーリー修正が可能となったりする。

　実施の形態では、学習部１７による学習内容がストーリー修正に反映される例を挙げた。
　図２２のステップＳ４２１から図２１のステップＳ４０１に進む場合、学習結果により現在制作中の自動制作コンテンツのストーリー修正が行われることになる。これにより、ユーザにとって好適なコンテンツが制作できる可能性を高めることができる。

　実施の形態では、学習部１７による学習内容が素材コンテンツの選択に反映される例を挙げた。
　図２２のステップＳ４２２から図２１のステップＳ４０３に進む場合、学習結果により現在制作中の感動コンテンツのストーリーに応じて採用される素材コンテンツの選択のし直しが行われることになる。これによりユーザにとって、より好適な素材コンテンツを用いた自動制作コンテンツを制作できる可能性を高めることができる。

　実施の形態では、学習部１７による学習内容が将来のコンテンツ自動制作に反映される例を挙げた。
　例えば図２０のステップＳ３２４、Ｓ３２９では個別評価値や関連性評価値が更新されることを示した。また図２２のステップＳ４２４では、将来の自動制作に学習内容が反映されるように評価関数を更新することを示した。これらにより将来的なコンテンツ自動制作の際に、学習内容が反映されることになる。ユーザにとって、より望ましい自動制作コンテンツを制作できるように感動コンテンツの自動制作システムを進化させることができる。

　実施の形態の情報処理装置としてのサーバ装置１０は、自動制作するコンテンツのストーリーを構成する素材コンテンツのうちで、ネガティブなシーン内容と判定されたネガティブコンテンツを、他の素材コンテンツと区別できる状態で保存する記憶管理部１８を備える（図２３から図２５参照）
　感動コンテンツの制作処理の際に、設定したシーンに応じて素材コンテンツが選択されるが、ネガティブコンテンツも適切に選択してストーリー構成上に配置されることで、より感動的なコンテンツを生成できると考えられる。ネガティブコンテンツが他の素材コンテンツと区別されて記憶管理されていることで、このような自動制作コンテンツの制作時に、容易且つ適切にネガティブコンテンツを選択できる。
　なお実施の形態ではネガティブコンテンツとポジティブコンテンツを区別して管理する例で説明したが、ネガティブコンテンツを判定し、ネガティブコンテンツとそれ以外の素材コンテンツを区分して管理するものとしてもよい。

実施の形態では、記憶管理部１８が素材コンテンツについて、ネガティブコンテンツと、ポジティブなシーン内容と判定されたポジティブコンテンツとを区別して保存する処理を行う例を挙げた（図２３から図２５参照）。
　感動コンテンツの制作処理の際に設定したシーンでは、ポジティブコンテンツとネガティブコンテンツが適切に選択されることが望ましい。ネガティブコンテンツとポジティブコンテンツと区別されて記憶管理されていることで、このような自動制作コンテンツの制作時に、容易且つ適切にネガティブコンテンツとポジティブコンテンツを選択できる。

　実施の形態では、記憶管理部１８が、ネガティブコンテンツと判定された素材コンテンツを、ネガティブコンテンツ以外の素材コンテンツを記憶管理するストレージ１０ａ（第１のストレージデバイス）とは異なる遠隔ストレージ１２（第２のストレージデバイス）に記憶されるようにする例を挙げた。
　ネガティブコンテンツとそれ以外（ポジティブコンテンツ）を別のストレージデバイスに記憶することで、適切に区別されるとともに、ネガティブコンテンツを、通常はユーザ等に見せにくいようにすることなどが可能となる。
　例えばクラウドサーバに管理される素材コンテンツは、自動制作コンテンツに用いる以外に、単にユーザが保存する動画や静止画等として閲覧することができることが想定されるが、ユーザにとっては通常、ネガティブコンテンツは、あまり見返したいものではないし、場合によっては忘れてしまいたいものであることも想定される。また閲覧するユーザ以外（ロボット等）が撮影した当該ユーザの画像である場合もある。そのような場合、当該ユーザは自分でも、また他人にも見られたくないと思う可能性もある。そこで、別ストレージに保存することとし、通常は閲覧されないような管理も可能となるようにする。

　実施の形態では、ストレージ１０ａは、素材コンテンツに対するユーザアクセスが許可される状態で管理されるストレージデバイスで、遠隔ストレージ１２は、素材コンテンツに対するアクセスが特定の管理者のみ許可される状態で管理されるストレージデバイスとすることが想定される。
　例えばストレージ１０ａと遠隔ストレージ１２は、アクセス権限が異なるものとする。
　このようにすることで、ネガティブコンテンツを通常、ユーザに見せない状態とすることができる。

　実施の形態では、遠隔ストレージ１２は、記憶管理部１８からのアクセス速度がストレージ１０ａよりも遅くなるストレージデバイスである例を述べた。
　例えばストレージ１０ａと遠隔ストレージ１２は、ネットワーク内外、通信方式などの差などによりアクセス速度が異なるものとする。このようにすることで、ネガティブコンテンツを一般ユーザに見せにくいものとすることができる。
　通信速度を遅くするためには、ストレージ１０ａは、例えばサーバ装置１０の装置内のストレージデバイス、あるいはＬＡＮ接続されたストレージデバイス、あるいは通常使用するネットワークで接続されたストレージデバイスなどとした場合に、遠隔ストレージ１２は、低速な転送レートの通信を行うネットワークに接続されたストレージデバイス、都市部以外の砂漠地帯、あるいは月面などの地球外に配置されたストレージデバイス、スタンドアロンコンピュータに接続されたストレージデバイスなどが想定される。いずれにしても、通常の閲覧には不便なストレージデバイスが想定できる。

　実施の形態では、ストレージ１０ａは、記憶管理部１８が第１のネットワークを介してアクセス可能とされ、遠隔ストレージ１２は、記憶管理部１８が第２のネットワークを介してアクセス可能とされる例が想定される。
　ネットワークの区別により、ネガティブコンテンツに対するアクセス性を、他の素材コンテンツと異なるようにすることができる。

　実施の形態では、記憶管理部１８が、ネガティブコンテンツと判定された素材コンテンツと、ネガティブコンテンツ以外の素材コンテンツとを、異なる階層管理の状態でストレージデバイスに記憶されるようにする例を述べた。
　例えば素材コンテンツを管理するサーバのストレージデバイスを用いて、ネガティブコンテンツとそれ以外の素材コンテンツを、別の階層のフォルダで管理する。あるいは異なるストレージを用いる場合も、階層管理の状態を異なるようにする。
　階層管理によっても、ネガティブコンテンツに対するアクセス性を、それ以外（ポジティブコンテンツ）よりも低くすることができる。

　実施の形態では、記憶管理部１８が、ネガティブコンテンツについて、ポジティブコンテンツに関連することが判定されることに応じて、記憶管理部１８によるアクセスを容易化する処理を行う例を挙げた（図２４，図２５参照）。
　例えばネガティブコンテンツについては通常はアクセス性が低下する状態で保存管理するが、関連するポジティブコンテンツの存在を確認することに応じて、アクセス性を向上させた状態で管理されるようにする。
　関連するポジティブコンテンツが存在するネガティブコンテンツは、感動コンテンツを構成するシーンの１つとして選択される可能性が生じたものとして、サーバ装置１０にとってのアクセスを容易化し、自動制作コンテンツの制作の際に、候補コンテンツとして提供しやすいものとする。これにより、通常は閲覧しにくい状態に管理されるネガティブコンテンツを、感動コンテンツでは利用しやすいものとすることができる。

　実施の形態では、記憶管理部１８が、ネガティブコンテンツを、ポジティブコンテンツに関連することが判定されることに応じて、コンテンツ自動制作処理での使用の候補コンテンツとすることが可能な素材コンテンツとすることを述べた。
　つまり、通常は、ネガティブコンテンツは自動制作コンテンツでの使用候補とはしないが、関連するポジティブコンテンツの存在を確認することに応じて、候補コンテンツとできるようにする。これによりネガティブコンテンツがむやみに感動コンテンツに使用されないようにすることができる。
　また、あくまでネガティブコンテンツに対応するポジティブコンテンツの存在をもって、はじめてコンテンツ自動制作に使用できるようにすることで、単なるネガティブなシーンではなく、その後のポジティブな出来事へ導くストーリーのためのコンテンツとして使用することになる。これによりネガティブコンテンツを有効に使用できる。

　実施の形態では主に動画としての素材コンテンツを用いてムービーのような感動コンテンツを自動制作する例で述べたが、もちろん静止画データ、音声データ、テキストデータ等を素材コンテンツとして用いたり、これらのデータを複合的に用いたりすることも想定される。自動制作コンテンツの例をして、顧客ユーザのパーソナルなムービーを「感動コンテンツ」と呼んで説明したが、必ずしもこのようなパーソナルな感動コンテンツに限らず、グループや組織についての内容であるとか、資料映像、学術映像のような内容など、多様な内容のコンテンツを、広く本開示でいう「自動制作コンテンツ」として考えることができる。

　実施の形態のプログラムは、実施の形態で説明した処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。

　実施の形態のプログラムは、自動制作するコンテンツについて、ストーリーを構成する素材コンテンツの記録を外部機器に対して要請する処理を情報処理装置に実行させるプログラムである。
　また実施の形態のプログラムは、アクセス可能な状態に記録された素材コンテンツについて評価値を設定する処理と、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを、評価値を参照して選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理と、を情報処理装置に実行させるプログラムである。
　また実施の形態のプログラムは、自動制作するコンテンツのストーリーを構成する素材コンテンツのうちで、ネガティブなシーン内容と判定されたネガティブコンテンツを、他の素材コンテンツと区別できる状態で保存する記憶管理処理を情報処理装置に実行させるプログラムである。

　このようなプログラムにより、上述したサーバ装置１０を、コンピュータ装置その他の情報処理が実行できる機器において実現できる。

　このようなサーバ装置１０を実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態のサーバ装置１０の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該スマートフォン等を、本開示のサーバ装置１０として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成部を備えた
　情報処理装置。
　（２）
　前記ストーリー生成部は、機械学習による学習モデルを用いて複数の素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行う
　上記（１）に記載の情報処理装置。
　（３）
　素材コンテンツについて評価値を設定する処理を行う評価部を備え、
　前記ストーリー生成部は、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを、前記評価値を参照して選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行う
　上記（１）に記載の情報処理装置。
　（４）
　前記ストーリー生成部は、設定したストーリーに応じて使用の候補とする素材コンテンツの収集処理を行い、候補として収集した素材コンテンツのうちで評価値を使用して自動コンテンツ制作に使用する素材コンテンツを選択する処理を行う
　上記（３）に記載の情報処理装置。
　（５）
　前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を示す評価値を設定する
　上記（３）又は（４）に記載の情報処理装置。
　（６）
　前記評価部は、素材コンテンツについて単体での評価値を設定する
　上記（３）から（５）のいずれかに記載の情報処理装置。
　（７）
  前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を提示する関連性提示情報を設定する
　上記（３）から（６）のいずれかに記載の情報処理装置。
　（８）
  前記関連性提示情報はユーザ操作に応じて更新される
　上記（７）に記載の情報処理装置。
　（９）
  前記関連性提示情報は、一の素材コンテンツと他の素材コンテンツを結びつけて示すことで素材コンテンツ同士の関連性を示すものとされる
　上記（７）又は（８）に記載の情報処理装置。
　（１０）
  前記関連性提示情報は、キー要素に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされる
　上記（７）又は（８）に記載の情報処理装置。
　（１１）
  前記関連性提示情報は、ユーザの人間関係に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされる
　上記（７）又は（８）に記載の情報処理装置。
　（１２）
  前記関連性提示情報に対するユーザ操作を入力し、学習処理を行う学習部を備える
　上記（７）から（１１）のいずれかに記載の情報処理装置。
　（１３）
　前記学習部による学習内容はストーリー修正に反映される
　上記（１２）に記載の情報処理装置。
　（１４）
　前記学習部による学習内容は素材コンテンツの選択に反映される
　上記（１２）又は（１３）に記載の情報処理装置。
　（１５）
　前記学習部による学習内容は将来のコンテンツ自動制作に反映される
　上記（１２）から（１４）のいずれかに記載の情報処理装置。
　（１６）
  フィードバック情報を入力し、前記学習モデルを更新する学習処理を行う学習部を備える
　上記（２）に記載の情報処理装置。
　（１７）
　フィードバック情報を入力し、ストーリー生成に用いる素材コンテンツ選択のための評価関数を更新する学習処理を行う学習部を備える
　上記（３）から（１１）のいずれかに記載の情報処理装置。
　（１８）
　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理を、
　情報処理装置が実行する情報処理方法。
　（１９）
　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理を、
　情報処理装置に実行させるプログラム。

２　カメラ
３　コンピュータ装置
４　タブレット端末
５　携帯端末
６　カメラ搭載飛行体
７　カメラ搭載車両
８　エージェント装置
９　監視カメラ
１０　サーバ装置
１０ａ　ストレージ
１１　ネットワーク
１２　遠隔ストレージ
１５　評価部
１６　ストーリー生成部
１７　学習部
１８　記憶管理部
２０　素材コンテンツ提供部
２１　ユーザ情報提供部
２２　ＵＩ部

Claims

　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成部を備えた
　情報処理装置。
　前記ストーリー生成部は、機械学習による学習モデルを用いて複数の素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行う
　請求項１に記載の情報処理装置。
　素材コンテンツについて評価値を設定する処理を行う評価部を備え、
　前記ストーリー生成部は、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを、前記評価値を参照して選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行う
　請求項１に記載の情報処理装置。
　前記ストーリー生成部は、設定したストーリーに応じて使用の候補とする素材コンテンツの収集処理を行い、候補として収集した素材コンテンツのうちで評価値を使用して自動コンテンツ制作に使用する素材コンテンツを選択する処理を行う
　請求項３に記載の情報処理装置。
　前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を示す評価値を設定する
　請求項３に記載の情報処理装置。
　前記評価部は、素材コンテンツについて単体での評価値を設定する
　請求項３に記載の情報処理装置。
前記評価部は、素材コンテンツについて、他の素材コンテンツとの関連性を提示する関連性提示情報を設定する
　請求項３に記載の情報処理装置。
前記関連性提示情報はユーザ操作に応じて更新される
　請求項７に記載の情報処理装置。
前記関連性提示情報は、一の素材コンテンツと他の素材コンテンツを結びつけて示すことで素材コンテンツ同士の関連性を示すものとされる
　請求項７に記載の情報処理装置。
前記関連性提示情報は、キー要素に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされる
　請求項７に記載の情報処理装置。
前記関連性提示情報は、ユーザの人間関係に対して素材コンテンツが結びつく形態で素材コンテンツの関連性を示すものとされる
　請求項７に記載の情報処理装置。
前記関連性提示情報に対するユーザ操作を入力し、学習処理を行う学習部を備える
　請求項７に記載の情報処理装置。
　前記学習部による学習内容はストーリー修正に反映される
　請求項１２に記載の情報処理装置。
　前記学習部による学習内容は素材コンテンツの選択に反映される
　請求項１２に記載の情報処理装置。
　前記学習部による学習内容は将来のコンテンツ自動制作に反映される
　請求項１２に記載の情報処理装置。
フィードバック情報を入力し、前記学習モデルを更新する学習処理を行う学習部を備える
　請求項２に記載の情報処理装置。
　フィードバック情報を入力し、ストーリー生成に用いる素材コンテンツ選択のための評価関数を更新する学習処理を行う学習部を備える
　請求項３に記載の情報処理装置。
　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理を、
　情報処理装置が実行する情報処理方法。
　アクセス可能な状態に記録された複数の素材コンテンツに基づき、ストーリー設定処理で設定したストーリーを構成する素材コンテンツを選択し、選択した素材コンテンツを用いた編集処理により自動コンテンツ制作を行うストーリー生成処理を、
　情報処理装置に実行させるプログラム。