JP5980222B2 - コンテンツ処理装置、コンテンツ処理方法およびプログラム - Google Patents

Description

本発明は、コンテンツ処理装置、コンテンツ処理方法およびプログラムに関する。

近年、民生用のデジタルスチルカメラやビデオカメラ、携帯電話に内蔵されたカメラなどの撮像デバイスの高機能化が進んでいる。そのため、写真や映像の高画質記録に加え、高速連写などの高度な撮影をサポートするもの、撮影場所の位置情報や、写真や映像に写った人物の名前などのメタ情報を自動で付与するもの、さらには撮像デバイスにネットワーク接続機能を有し撮影した写真を本体からネットワーク上のサーバに直接アップロードするものなど、多種多様な機種が安価に手に入るようになった。また、撮像デバイスの高精細化とデジタル処理技術の向上とにより、従来の光学レンズ機構による物理的な制御による撮影画角の拡大縮小ズーム処理に加え、タッチパネルを搭載した撮影表示画面に対するタッチ操作による拡大縮小ズーム処理やピント合わせ処理などデジタル技術によるコンテンツ処理方法がユーザの利便性追及を目的に成熟しつつある。さらに、蓄積したコンテンツの閲覧・編集処理においても、閲覧・編集表示画面に対するダブルタッチ操作やピンチアウト操作（二本の指で画面をタッチし、お互いの指を引き離すように操作すること）により、任意の領域を拡大ズームして閲覧するコンテンツ処理方法が広く普及しつつある。

そして、このような撮影・閲覧・編集に関するコンテンツ処理を、より便利に、より簡易に、より確実に、さらに素人らしさを排除してよりプロフェッショナルな撮影・閲覧・編集に仕上げるためのコンテンツ処理方法が提案されている（例えば、特許文献１〜３参照）。

特開２００８−１３６０２４号公報 特開２００９−７７０２６号公報 特許第４２１３８７４号公報

しかしながら、上記のような従来技術では、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担が大きいという問題がある。

本発明は、かかる問題に鑑みてなされたものであり、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担を軽減するコンテンツ処理装置、コンテンツ処理方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係るコンテンツ処理装置は、処理対象のコンテンツである対象コンテンツを取得するコンテンツ取得部と、前記対象コンテンツに含まれる少なくとも２以上のオブジェクトと前記オブジェクトの特徴を示す特徴情報とを抽出し、前記オブジェクトのコンテキストを特定するための解析用情報と抽出した前記特徴情報とに基づいて、前記オブジェクトの特徴を補足する属性情報を含む前記オブジェクトのコンテキストを示すコンテキスト情報を特定するコンテンツ解析部と、前記対象コンテンツに対する処理を制御する処理制御部と、前記コンテキスト情報および前記処理優先度に基づき、前記対象コンテンツに対して実行可能な処理候補を抽出する処理候補抽出部と、を備え、前記処理出力制御部は、前記コンテキスト情報に基づき、前記オブジェクトの処理優先度を算出し、前記処理候補抽出部は、前記コンテキスト情報および前記処理優先度に基づき、前記処理候補を抽出する。

本発明のコンテンツ処理装置等によれば、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担を軽減することができる。

図１は、実施の形態１のコンテンツ処理装置１００の構成を示すブロック図である。 図２は、実施の形態１のコンテンツデータの一例を示す図である。 図３Ａは、実施の形態１の解析用情報の一例であるソーシャル情報の例を示す図である。 図３Ｂは、実施の形態１の解析用情報の一例であるソーシャル情報の例を示す図である。 図４Ａは、実施の形態１のソーシャル情報のノード概念の一例を示す図である。 図４Ｂは、実施の形態１の関係性参照テーブルの一例を示す図である。 図５は、実施の形態１のコンテンツ解析部が内部で解析用情報として保持する優先度判定閾値テーブルの一例を示す図である。 図６は、実施の形態１の出力制御部のコンテンツ処理判定の流れを示すフローチャートである。 図７は、実施の形態１のコンテンツ解析処理の流れを示すフローチャートである。 図８は、実施の形態１の対象コンテンツの動画像の一例を示す図である。 図９は、実施の形態１の解析データ（人物）の一例を示す図である。 図１０は、実施の形態１の出力優先度判定処理の流れを示すフローチャートである。 図１１は、実施の形態１の解析データ（人物）および出力優先度判定結果の一例を示す図である。 図１２は、実施の形態１のコンテキストグループ定義処理の流れを示すフローチャートである。 図１３は、実施の形態１のコンテキストグループ情報の定義テーブルの一例を示す図である。 図１４は、実施の形態１のコンテキストグループ情報の定義を対象コンテンツであるの動画像にマッチングさせた例を示す図である。 図１５は、実施の形態１の処理候補パターンテーブルの一例を示す図である。 図１６は、実施の形態１の処理候補抽出処理の流れを示すフローチャートである。 図１７は、実施の形態１のコンテキストグループ情報に対し処理候補を設定した例を示す図である。 図１８は、実施の形態１の処理候補実行処理の流れを示すフローチャートである。 図１９は、実施の形態１のコンテンツ処理実行後のコンテンツインデックスの一例を示す図である。 図２０Ａは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｂは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｃは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｄは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｅは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｆは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２０Ｇは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。 図２１は、実施の形態２のコンテンツ処理装置の構成を示すブロック図である。 図２２は、実施の形態２の処理候補実行処理の流れを示すフローチャートである。 図２３は、実施の形態２の表示部が表示する画面の一例を示す図である。 図２４は、実施の形態２の表示部が表示する別画面の一例を示す図である。 図２５は、実施の形態３のコンテンツ処理装置の構成を示すブロック図である。 図２６は、実施の形態３の入力コンテンツの最大領域に対するフォーカス領域の配置例を示す図である。 図２７は、実施の形態３の入力コンテンツの動画像の一例を示す図である。 図２８は、実施の形態３の解析データ（一般物体）の一例を示す図である。 図２９は、実施の形態３の注目情報優先度加点テーブルの一例を示す図である。 図３０は、実施の形態３の相対距離優先度加点テーブルの一例を示す図である。 図３１は、実施の形態３のコンテキストグループ定義処理の流れを示すフローチャートである。 図３２は、実施の形態３のコンテキストグループ情報の定義テーブルの一例を示す図である。 図３３は、実施の形態３のコンテキストグループ情報の定義を対象となる入力コンテンツの動画像にマッチングさせた例を示す図である。 図３４は、実施の形態３の処理候補パターンテーブルの一例を示す図である。 図３５は、実施の形態３のフォーカス領域と各コンテキストグループの定義領域との位置関係の例を示す図である。 図３６は、実施の形態３のコンテキストグループ情報に対し処理候補を設定した例を示す図である。 図３７は、実施の形態３の処理候補実行処理の流れを示すフローチャートである。 図３８は、実施の形態３のコンテンツ処理候補表示画面の一例を示す図である。 図３９は、実施の形態３のコンテンツ処理候補表示画面の別の一例およびコンテンツ処理実行停止操作受付画面の一例を示す図である。 図４０は、実施の形態３のコンテンツ処理候補表示画面の別の一例を示す図である。 図４１は、実施の形態３の変形例１におけるアイコン参照テーブルの例を示す図である。 図４２は、実施の形態３の変形例１におけるコンテンツ処理候補表示画面の別の例を示す図である。 図４３は、実施の形態３の変形例２における入力コンテンツ最大領域に対するフォーカス領域の配置例および解析規定範囲の例を示す図である。 図４４は、実施の形態３の変形例２におけるコンテンツ解析処理の内部状態を示す図である。 図４５は、実施の形態３の変形例３における処理候補実行処理の流れを示すフローチャートである。 図４６は、実施の形態３の変形例３におけるフォーカス領域とフォーカス領域外のコンテキスト情報との相対位置関係の例を示す図である。 図４７は、実施の形態３の変形例３におけるフォーカス領域外のコンテキスト情報に対する相対座標算出結果の例を示す図である。 図４８は、実施の形態３の変形例３におけるフォーカス領域外のコンテンツ処理候補を含むコンテンツ処理候補表示画面の例を示す図である。 図４９は、実施の形態３の変形例４における変形例３におけるフォーカス領域外のコンテンツ処理候補を含むコンテンツ処理候補表示画面の例を示す図である。 図５０は、実施の形態３の変形例５における処理候補パターンテーブルの例を示す図である。 図５１は、実施の形態３の変形例５における処理候補実行処理の流れを示すフローチャートである。 図５２は、実施の形態３の変形例５におけるコンテンツ処理候補表示画面の例を示す図である。 図５３は、実施の形態３の変形例５におけるコンテンツ処理候補表示画面のサブメニューを表示する例を示す図である。 図５４は、実施の形態３の変形例５における分割表示の出力処理の流れを示すフローチャートである。 図５５は、実施の形態３の変形例５における分割合成テンプレートの例を示す図である。 図５６は、実施の形態３の変形例５における分割表示の出力結果の画面表示の例を示す図である。 図５７は、実施の形態３の変形例６におけるコンテキスト情報に対し出力処理を指示する操作の例を示す図である。 図５８は、実施の形態３の変形例６における分割表示の出力結果の画面表示の別の例を示す図である。 図５９は、実施の形態４のコンテンツ処理装置の構成を示すブロック図である。 図６０は、実施の形態５のコンテンツ処理装置の構成を示すブロック図である。 図６１Ａは、実施の形態５の入力コンテンツ最大領域に対するコンテキスト情報の位置関係の例を示す図である。 図６１Ｂは、実施の形態５の入力コンテンツ最大領域に対するコンテキスト情報の位置関係の例を示す図である。 図６２は、実施の形態６のコンテンツ処理装置の構成を示すブロック図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１〜３に開示されるコンテンツ処理方法に関し、以下の問題が生じることを見出した。

特許文献１では、撮影する被写体が撮影表示画面の画角からはみだした場合に、はみだしを検出して操作するユーザに光学レンズ機構による物理的な縮小ズーム処理を推奨するアイコンを表示する方式や、縮小ズーム処理を実現する光学レンズ機構が広角端に達した状態の場合に操作するユーザに地理的な後退を促すアイコンをはみだし方向と位置に応じて表示する方式が提案されている。

しかしながら、特許文献１においては、撮影するユーザが撮影表示画面から目視可能な被写体が撮影表示画面からはみだした状態に対し、縮小ズーム処理を推奨するアイコンを表示するのみであり、撮影するユーザが撮影表示画面から目視不可能な被写体に対する配慮がなされておらず、撮影表示画面に表示された被写体以外の重要な被写体を知り得ないという問題がある。

また、特許文献２では、撮影後の編集操作の軽減と個々のイベントに対する撮影時間を予定通りに実行するため、予めファイルごとの撮影時間とファイルの記録数を記憶媒体に設定しておき、撮影と同時に動画ファイルを記録メディアに記録する方式が提案されている。

特許文献２においては、予め決められた固定的なイベントのシナリオタイトルから手動で主題を選択しながら撮影と同時に動画ファイルを編集する際、固定的なイベントシナリオにより撮影時間を制御する、または撮影終了時に予め決められた固定的な拡大縮小ズームやフェードアウトなどの効果を付与して保存することが可能である。しかしながら、特許文献２においては、動的に変化する少なくとも１以上の被写体の動きに追従してより最適なコンテンツ処理を施しながら複数のファイルを記録するなどの柔軟なコンテンツ処理がなされないという問題がある。

また、特許文献３では、撮影される被写体に対し、被写体に関連する補足情報を撮影位置と方位から検出して表示する方式が提案されている。

特許文献３においては、位置と撮影方向が合致した被写体（一般物体）に対し、補足情報が存在していた場合のみ補足情報を表示することが可能である。しかしながら、特許文献３においては、撮影・閲覧・編集するコンテンツの被写体に対する解析は行っておらず、被写体の属性や内容に基づくコンテンツ処理の操作を撮影・閲覧・編集するユーザに対し提案することができないという問題がある。

このような問題を解決するために、本発明の一態様に係るコンテンツ処理装置は、処理対象のコンテンツである対象コンテンツを取得するコンテンツ取得部と、前記対象コンテンツに含まれる少なくとも２以上のオブジェクトと前記オブジェクトの特徴を示す特徴情報とを抽出し、前記オブジェクトのコンテキストを特定するための解析用情報と抽出した前記特徴情報とに基づいて、前記オブジェクトの特徴を補足する属性情報を含む前記オブジェクトのコンテキストを示すコンテキスト情報を特定するコンテンツ解析部と、前記対象コンテンツに対する処理を制御する処理制御部と、前記コンテキスト情報および前記処理優先度に基づき、前記対象コンテンツに対して実行可能な処理候補を抽出する処理候補抽出部と、を備え、前記処理出力制御部は、前記コンテキスト情報に基づき、前記オブジェクトの処理優先度を算出し、前記処理候補抽出部は、前記コンテキスト情報および前記処理優先度に基づき、前記処理候補を抽出する。

この構成により、対象コンテンツに含まれる被写体などのオブジェクトやオブジェクトの例えば音声など特徴情報に応じて、オブジェクトの関係情報などを含むコンテキスト情報を特定することができる。また、特定したコンテキスト情報に含まれるオブジェクト間の関係性などに基づき、オブジェクトの処理優先度を算出することができるので、処理優先度を考慮して対象コンテンツに対する処理候補を決定したり実行したりすることができる。例えば、動画像などの対象コンテンツに複数のオブジェクトとして複数の人物の顔が含まれる場合、複数の人物のうち、コンテキスト情報として特定した人物２名までの人物の顔および周辺を規定サイズまで拡大処理（デジタルズーム加工）し、個別の動画像ファイルとして出力処理（蓄積媒体への記録）するなどの制御をすることができる。

つまり、各オブジェクトに対するユーザの操作指示を必要とせず、コンテキスト情報に応じたコンテンツ処理の実行を容易に実現できる。

このように、対象コンテンツの少なくとも２以上の被写体のコンテキスト情報を解析し、撮影・閲覧・編集に最適なコンテンツ処理候補の優先度を加味しながらユーザへの提示することで、その実行を制御することができる。それにより、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担を最小限にすることができるコンテンツ処理装置を実現することができる。

ここで、例えば、対象コンテンツは静止画・動画・音声のいずれか、または２つ以上が結合されたデータである。オブジェクトは、少なくとも人物、文字、一般物体のいずれか１つを示す被写体オブジェクト、または音声オブジェクトのいずれかである。また、特徴情報は、例えば、少なくとも、被写体オブジェクトの動画像内における相対座標・相対サイズ・相対面積、または音声オブジェクトの時間軸における出現タイミング・出現時間・相対音量のいずれか１つを含むようにしてもよい。

これにより、特徴情報に応じてコンテンツ処理候補の実行内容を調整して実行することができる。例えば、動画像に含まれる複数の人物のうち相対面積が規定値以下となる人物を拡大処理する、動画像に含まれる音声のうち相対音量が規定値以下となる音声の出力音量を自動で上げるなどの制御ができる。このようにして、各オブジェクトに対するユーザの操作指示を必要とせず、特徴情報に応じてコンテンツ処理候補の内容を調整して実行できる。

また、例えば、コンテキスト情報は、オブジェクトの特徴を補足する属性情報を含み、属性情報は、少なくとも人物、文字、一般物体、音声のいずれか１つに関するものを含む。具体的には、人物に関する属性情報では、被写体の名前、類似度、ソーシャル情報、衣類情報のいずれか１つを含み、文字に関する前記属性情報は、文字列、文字列汎用度、文字列危険度のいずれか１つを含む。また、一般物体に関する前記属性情報は、物体名、確度、関連情報、物体位置情報のいずれか１つを含み、音声に関する前記属性情報は、声紋、発声者名、類似度、ソーシャル情報、声色種別のいずれか１つを含む。

これにより、属性情報に応じてコンテキスト情報を補足して処理候補の実行内容を調整して実行することができる。例えば、動画像に含まれる複数の人物のうち、顔辞書に登録されている重要人物を主題とし、さらに主題の親友に位置づけられる人物を各々拡大処理（デジタルズーム加工）およびオブジェクト要素を補足する情報を付加して個別の動画像ファイルとして出力処理（顔の類似度や声紋から特定される被写体人物名を重畳合成して表示、蓄積媒体への記録）などの制御ができる。

このように、各オブジェクトに対するユーザの操作指示を必要とせず、属性情報に応じてコンテンツ処理候補の内容を調整して実行できる。

また、例えば、前記処理制御部は、抽出した前記オブジェクトそれぞれのコンテキスト情報に基づき、前記オブジェクトをグループ化するための基準を示す情報であるコンテキストグループ情報を定義し、前記処理候補抽出部により抽出された処理候補の実行有無を判定し、前記処理候補抽出部は、前記コンテキストグループ情報によりグループ化されたオブジェクトのグループのそれぞれに対して実行可能な前記処理候補を抽出するとしてもよい。

この構成により、コンテンツに含まれる複数のオブジェクトで構成されるコンテキストグループに応じて実行すべき処理候補を判定することができる。例えば、複数の人物や一般物体で構成される動画像の構図に対して拡大処理（デジタルズーム加工）や出力処理（蓄積媒体への記録）などの制御ができる。

このようにして、複数のオブジェクトをひとつのコンテキストグループとして扱うことができるので、個々のオブジェクトに対する処理操作を必要とせず、コンテキストグループに対するコンテンツ処理を一括して実行できる。これにより、段階的な拡大処理または縮小処理など素人らしい撮影ミスを軽減できる。

また、例えば、さらに、前記処理候補の処理状況に関する通知を出力する出力部を備え、前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記出力部に、前記処理候補の実行有無を示す情報を前記通知として出力させるとしてもよい。

この構成により、抽出された処理候補の実行前または実行後にコンテンツ処理装置外部に処理候補の実行有無を示す処理候補実行有無情報を出力することができる。例えば、デジタルカメラが本体側面に内部で実行中のコンテンツ処理を伝える発光部や音声スピーカーを有する場合、対象となるオブジェクトに対する拡大処理（デジタルズーム加工）や出力処理（蓄積媒体への記録）、撮影の終了などの動作を該当箇所の発光やブザー音や音声ガイドによりユーザに通知することができる。

このようにして、コンテンツ処理装置を操作するユーザの操作指示を必要とせず、内部で実行中のコンテンツ処理をユーザに通知できる。

また、例えば、さらに、前記対象コンテンツに対する処理に関する情報を表示する表示部を備え、前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記表示部に、前記処理候補の実行有無を示す実行有無情報を表示させるとしてもよい。

この構成により、抽出された処理候補の実行前または実行後にコンテンツ処理装置の表示部に処理候補の実行有無を示す処理候補実行有無情報を表示することができる。例えば、デジタルカメラが本体メイン画面またはサブ画面において内部で実行中のコンテンツ処理を文字列やアイコンなどによりユーザに可視化することができる。

このようにして、コンテンツ処理装置を操作するユーザの操作指示を必要とせず、内部で実行中のコンテンツ処理を文字列やアイコンにより、より確実に通知できる。

また、例えば、前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報に含まれる相対座標および相対サイズの少なくとも一方に基づき、前記表示部に、当該表示部が表示する前記オブジェクトの近傍にかつ視認可能な様態で前記実行有無情報を表示させるとしてもよい。

この構成により、抽出された処理候補をオブジェクトの近傍に表示することができる。例えば被写体（オブジェクト）に対する拡大処理（デジタルズーム加工）などの処理候補を被写体に紐付けて直感的に把握することができる。このようにして、対象コンテンツに含まれる被写体に対する処理候補の操作指示誤りを軽減でき、より確実にコンテンツ処理を実行できる。

また、例えば、さらに、前記対象コンテンツに対する処理に関する情報を表示する表示部と、ユーザからの操作を受け付ける操作入力部とを備え、前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記表示部に当該処理候補を少なくとも１以上表示させ、前記処理制御部は、前記操作入力部が、前記表示部に表示させた当該処理候補のうち少なくとも１以上の処理候補を実行する旨を示す操作を受け付けた場合、当該少なくとも１以上の処理候補に対応づけられる処理を実行するとしてもよい。

この構成により、処理候補を表示部に表示し、操作入力部から受け付けたユーザによる操作（指示）に基づき、処理候補を実行するよう制御することができる。例えばタッチパネル式画面を搭載するデジタルカメラやマウス等の入力デバイスによる操作が可能な電子機器において、処理候補を目視しながらユーザが所望するコンテンツ処理の操作（指示）を受け付けることができる。したがって、コンテンツ処理装置の出力制御部による自動判定に従う当該操作ユーザの意図しないコンテンツ処理の実行を未然に防止しながら、ユーザが意図するコンテンツ処理、またはユーザが想像し得なかったコンテンツ処理の提案と実行が実現できる。

また、例えば、前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報に含まれる相対座標および相対サイズの少なくとも一方に基づき、前記表示部に、前記処理候補抽出部により抽出された処理候補の処理対象領域を可視するガイドラインを表示させるとしてもよい。

この構成により、抽出された処理候補実行時の出力イメージに沿ったガイドラインを表示することができる。例えば、被写体に対する拡大処理（デジタルズーム加工）などの処理実行後の拡大処理結果をガイドラインによりユーザが直感的に把握できるので、複数の処理候補の中からユーザが所望する処理候補の選定を容易にすることができる。

このようにして、ユーザが意図しない処理候補の操作指示誤りを軽減でき、コンテンツ処理後のイメージを把握した上でより確実にコンテンツ処理を実行できる。

また、例えば、前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報と前記処理候補抽出部により抽出された処理候補とに基づき、少なくとも、（ａ）当該処理候補の概要を示す情報、または、（ｂ）前記操作入力部が受け付けることが可能な操作に対応づけられるアイコンもしくはメニューのいずれか一方を、前記表示部に表示させるとしてもよい。

この構成により、抽出された処理候補の概要を示すアイコンや操作入力部からの操作指示の指定を容易にするアイコンまたはメニューを表示することができる。例えば、被写体に対する拡大処理（デジタルズーム加工）などの処理をアイコンによりユーザが直感的に把握できるので、複数の処理候補が同一画面上に混在する状況においても、ユーザが所望する処理候補の選定をアイコンまたはメニューにより容易にすることができる。

このようにして、ユーザが意図しない処理候補の操作指示誤りを軽減でき、コンテンツ処理の概要を操作ユーザが把握した上でより確実にコンテンツ処理を実行できる。

また、例えば、前記処理制御部は、前記コンテンツ取得部により取得された対象コンテンツの前記表示部で表示可能な最大領域と、前記表示部で表示中の表示領域であるフォーカス領域とを管理し、前記処理制御部は、前記コンテンツ解析部に対し、前記対象コンテンツに含まれる１以上のオブジェクトのうち、前記最大領域およびフォーカス領域の少なくとも一方における規定範囲内のオブジェクトに対してのみ解析を要求するとしてもよい。

この構成により、対象コンテンツに対し、フォーカス領域に基づく解析処理となるよう制御することができる。例えば、最大領域の解像度が横４０９６ピクセルと縦２１６０ピクセルでフォーカス領域に対する解析規定範囲の解像度が横１０２４ピクセルと７６８ピクセルの場合、フォーカス領域に対する解析規定範囲に含まれるオブジェクト要素の解析のみで処理候補を抽出できるので、最大領域におけるコンテンツ解析処理に対してコンテンツ解析処理負荷が軽減できる。それにより、処理負荷軽減によりコンテンツ処理装置の応答レスポンス等の改善や消費電力の低減が期待できる。

また、例えば、前記処理制御部は、前記表示部で前記フォーカス領域を表示する際に前記フォーカス領域の所定の部分に処理候補表示領域を設定し、前記表示部に、前記処理候補抽出部により抽出された少なくとも１以上の処理候補を前記処理候補表示領域内に表示させるとしてもよい。

この構成により、フォーカス領域とは別に、処理候補表示領域に処理候補を表示するよう制御することができる。例えば、フォーカス領域においては対象コンテンツの内容を表示しながら、処理候補表示領域に処理候補を表示できるので、フォーカス領域に含まれるオブジェクト要素に対する処理候補の重畳表示による対象コンテンツの可視性低減を回避できる。このようにして、処理候補表示領域に表示される処理候補の選択のみで所望の処理を実行できる。

また、例えば、前記処理制御部は、前記コンテンツ解析部に対し、前記フォーカス領域に含まれるオブジェクトに加え、前記フォーカス領域に含まれないオブジェクトの解析を要求するとしてもよい。

この構成により、対象コンテンツに対し、フォーカス領域以外のオブジェクト要素に対しても解析し、フォーカス領域以外のオブジェクト要素に対する処理候補も抽出することができる。例えば、フォーカス領域として表示されている人物以外に、他に撮影・閲覧・編集すべきオブジェクト要素が発見され、フォーカス領域において表示されていない人物や一般物体に対する処理候補が表示される。そのため、当該ユーザが処理候補の実行を選択操作のみで指示することによりコンテンツの縮小処理（デジタルズームアウト）を即時に実行できるので、ユーザがフォーカス領域に対して意図するコンテンツ処理以外に、フォーカス領域以外に含まれるオブジェクト要素に対するユーザが想像し得なかったコンテンツ処理の提案と実行が実現できる。

また、例えば、前記処理制御部は、前記表示部に、前記フォーカス領域に含まれない第１オブジェクトに対する処理候補を表示させる際、前記フォーカス領域に含まれない第２オブジェクトの各特徴情報に基づく相対位置関係から、前記フォーカス領域の中心からみた前記第２オブジェクトの出現方向および出現順序を算出し、前記表示部に、算出した出現方向および出現順序に応じて、前記処理候補抽出部により抽出された少なくとも１以上の処理候補を前記処理候補表示領域内に表示させるとしてもよい。

この構成により、フォーカス領域の中心に対し、フォーカス領域以外のオブジェクト要素に対する処理候補が出現方向および出現順序に応じて表示することできる。例えば、フォーカス領域として表示されている人物以外に、他に撮影・閲覧・編集すべきオブジェクト要素が上下左右のいずれかの方向に存在しているかが可視化される。したがって、フォーカス領域において表示されていない人物や一般物体に対する処理候補の選定が出現順序などにより直感的になるので、当該ユーザが処理候補の実行を実際の空間上における位置関係に則して選択指示できる。

このようにして、フォーカス領域以外に含まれるオブジェクト要素に対する処理候補の指示誤りが軽減され、より確実に処理候補を実行できる。

また、例えば、前記処理制御部は、表示部に前記処理候補抽出部により抽出された少なくとも１以上の処理候補を表示させ、前記処理制御部は、算出した前記処理優先度に応じて、前記表示部に表示させる前記処理候補の内容を変化させるとしてもよい。

この構成により、処理優先度により処理候補の表示内容を装飾等により強調制御することができる。例えば、主題や重要な副題をユーザが容易に発見でき、フォーカス領域に表示されている人物以外にも他に撮影・閲覧・編集すべき被写体の存在有無をユーザに強調しながら通知できる。

それにより、当該ユーザがオブジェクト要素を見逃すといった機会損失を軽減できる。

また、例えば、前記処理制御部は、前記コンテキスト情報に含まれる属性情報および状態情報と、算出した前記処理優先度とに応じて、前記表示部に表示させる前記処理候補の選定内容または処理内容を変化させるとしてもよい。

この構成により、ユーザが指示した少なくとも２以上のオブジェクト（コンテキスト情報）に対し、実空間における配置・出現順序・位置関係・人物同士の関係性などを含む解析データ・出力優先度に基づき処理候補の選定・内容調整・表示を制御することができる。例えば、複数の被写体に対して共通的な処理候補を直感的かつ容易に選択でき、実空間上における配置に従った処理候補の提示ができる。

このようにして、ユーザによる誤操作を防止し操作数が軽減できる。

また、例えば、前記処理制御部は、前記コンテキスト情報に含まれる属性情報および状態情報と、算出された前記処理優先度とに応じて、少なくとも１以上のコンテキスト情報を収容する出力テンプレートを生成し、前記出力テンプレートを動的に変化させながら、少なくとも１以上のコンテキストグループ情報に紐付く前記対象コンテンツを合成して出力するとしてもよい。

この構成により、選定された少なくとも１以上のコンテキスト情報を収容する出力テンプレートをコンテキスト情報の実空間における配置・出現順序・位置関係・人物同士の関係性などを含む解析データ・出力優先度に基づき生成し、合成表示や合成ファイルの出力を行うことができる。例えば、動的に変化するテンプレートに従った分割表示などの動画像を生成できる。

このようにして、パーソナルコンピュータなどの専用ツールを用いて複数の動画像からひとつの動画像を編集する手間を排除し、撮影や閲覧といった操作と同時に少なくとも１以上のコンテキスト情報を配置した合成作品を生成する新たな手段を実現できる。

また、例えば、前記処理制御部は、前記操作入力部が受け付けた操作により、少なくとも１以上のコンテキスト情報の指定と処理候補の特定を行い、前記操作に基づき少なくとも１以上のコンテキスト情報を収容する出力テンプレートを動的に変化させるとしてもよい。

この構成により、ユーザからのタッチ操作入力などにより、少なくとも１以上のコンテキスト情報の指定と処理候補を特定し、コンテキスト情報に加えてタッチ操作で指定された領域の分割線の軌跡や各コンテキストグループ情報に割り当てられた面積比率などから出力テンプレートを動的に生成し、その動画像に対する処理候補と合成内容および出力結果を変化させることができる。そのため、例えば、面積比でズーム率を制御する、単位時間の被写体オブジェクト要素の行動範囲に基づき合成するコンテキストグループ情報の画角を判定するなどの制御ができる。このようにして、タッチ操作による直感的なコンテキスト情報の指定および処理候補の実行が実現でき、ユーザによる操作負担を軽減できる。

また、例えば、さらに、前記コンテンツ処理装置の外部の機器との通信を行う通信部を備え、前記処理制御部は、少なくとも、前記コンテンツ解析部が前記オブジェクトと前記特徴情報との抽出に必要な情報、前記処理候補抽出部が前記処理候補の抽出に必要な情報、および、少なくとも１以上のコンテキスト情報を収容する出力テンプレートの生成に必要な情報のうち少なくとも１以上の情報を、前記通信部を介して外部の情報提供装置から取得するとしてもよい。

この構成により、ネットワークで接続される情報提供装置から最新の解析用情報や処理パターン、出力テンプレートなどの情報をネットワーク経由で取得し、コンテンツ処理装置が保持する情報を追加・更新させることができる。そのため、例えば、解析用情報の陳腐化によるコンテキスト情報の抽出失敗を軽減でき、出力に関わるコンテンツ加工方法の処理パターンや出力テンプレートの追加・品質向上・メンテナンスを図ることができる。

また、例えば、さらに、前記処理制御部の処理結果に基づき、前記コンテンツ取得部の制御を行うコンテンツ入力制御部を備え、前記処理制御部は、前記コンテンツ入力部により取得された対象コンテンツが表示部で表示可能な最大領域と、定義した前記コンテキストグループ情報から参照されるコンテキスト情報に対応する前記状態情報との関係を監視し、前記最大領域と前記コンテキスト情報との重畳に応じてまたはコンテキスト情報の状態に応じて、前記コンテンツ取得部の物理的な制御またはデジタル処理的な制御を、前記コンテンツ入力制御部を介して行うとしてもよい。

この構成により、入力された動画像の被写体コンテキスト情報の状態に応じて、カメラなどの入力装置の方向や焦点距離などをコンテキスト情報が欠損しないよう自動で調整して制御することができる。そのため、例えば、デジタルカメラの本体画面で撮影中の全体像の一部をデジタルズーム加工により拡大して表示しながら撮影する場合、手で持ちながら撮影するユーザが表示画面の動画像に囚われてデジタルカメラ本体の方向が変化してしまうことがあってもデジタルカメラ本体に内蔵された雲台などにより自動調整することができる。

このようにして、撮影するユーザの錯覚や操作ミスによるコンテキスト情報の欠損を軽減できる。

ここで、例えば、コンテンツ処理装置は、前記コンテンツ処理装置への処理要求に対する認証を行う認証管理部を有し、前記出力制御部は、前記通信部を介して外部から処理要求を受け付け、前記認証管理部により外部からの処理要求が実行可能と判断された場合、当該処理を外部に提供するようにしてもよい。

この構成により、ネットワークを経由して他の端末と入力された動画像や抽出されたコンテキスト情報などを認証されたコンテンツ処理装置間で共有しながら作品化などのコンテンツ加工および配信が可能になる。そのため、例えば、ネットワークに接続されるモバイル端末で撮影した動画像を配信しながら、複数人のモバイル端末で共有しながら個々のモバイル端末で任意のコンテキスト情報を切り出した作品が作成できる、或いは、個々のモバイル端末の顔辞書などを一時的にマージして一貫性のあるコンテキスト情報を抽出しながら個々のモバイル端末にひとつの作品を配信できる、といった新たな撮影・閲覧・編集手段を提供できる。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、各実施の形態について、図面を参照しながら説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、実施の形態１のコンテンツ処理装置１００の構成を示すブロック図である。

図１に示すコンテンツ処理装置１００は、コンテンツ入力部１０１と、蓄積部１０２と、コンテンツデータ１０３と、出力制御部１０４と、コンテンツ解析部１０５と、解析用情報１０６と、解析データ１０７と、処理候補抽出部１０８と、処理パターン１０９と、コンテンツ加工部１１０と、出力部１１１と、を有する。

本実施の形態のコンテンツ処理装置１００は、例えば、２４時間撮影可能な監視カメラもしくは車載カメラであり、メガネもしくはネックレスなどの携行品に埋め込み可能な小型カメラであり、静止画もしくは動画を撮影可能な業務用もしくは民生用のデジタルスチルカメラもしくはデジタルビデオカメラなどである。以下では、コンテンツ処理装置１００が利用されるイメージを具体化して説明する。本実施の形態では、学校の教室内に設置された固定カメラ（コンテンツ処理装置１００）により、生徒の安全監視と生徒の成長記録に繋がる日常風景の自動記録を実現する場合の例について説明する。以下、各構成要素の処理の概要を述べる。

蓄積部１０２は、ハードディスクやフラッシュメモリなどで構成される記憶媒体を有する。蓄積部１０２は、コンテンツ入力部１０１を介して取得したコンテンツをコンテンツデータ１０３として再読み込みが可能な形式で蓄積する。また、蓄積部１０２は、コンテンツ入力部１０１に蓄積されたコンテンツデータ１０３を対象コンテンツとして提供する役割を担う。

コンテンツ入力部１０１は、例えばコンテンツ取得部の一例であって、処理対象となるコンテンツ（対象コンテンツ）の入力を受け付ける。具体的には、コンテンツ入力部１０１は、コンテンツ処理装置１００が実装する入力手段（例えば、カメラが内蔵する高精細カメラモジュール）により処理対象とする静止画や動画といった対象コンテンツを取得する。

また、コンテンツ入力部１０１は、取得した対象コンテンツを出力制御部１０４に入力する。ここで、コンテンツ入力部１０１は、コンテンツ処理装置１００が実装する入力手段から取得した対象コンテンツを出力制御部１０４または蓄積部１０２に入力する場合と、蓄積部１０２に蓄積されたコンテンツデータ１０３を出力制御部１０４に対象コンテンツとして入力する場合の二つのパターンが存在する。本実施の形態においては、コンテンツ処理装置１００が実装する蓄積部１０２から対象コンテンツを取得し、出力制御部１０４に対象コンテンツとして入力するケースについて説明する。

コンテンツ解析部１０５は、対象コンテンツに含まれる少なくとも２以上のオブジェクト（オブジェクト要素）と、オブジェクト（オブジェクト要素）の特徴を示す特徴情報とを抽出する。また、コンテンツ解析部１０５は、オブジェクトのコンテキストを特定するための解析用情報と抽出した特徴情報とに基づいて、オブジェクト（オブジェクト要素）の特徴を補足する属性情報を含むオブジェクトのコンテキストを示すコンテキスト情報を特定する。

具体的には、コンテンツ解析部１０５は、出力制御部１０４からの要求に基づき、例えば対象コンテンツの動画像に含まれる少なくとも２以上の被写体オブジェクトを特定し、解析用情報１０６を用いて被写体オブジェクトの意味情報（コンテクスト情報）を抽出する。ここで、解析用情報１０６は、コンテンツ処理装置１００の内部で保持または更新される情報であり、オブジェクト要素の特徴を示す特徴情報およびオブジェクト要素のコンテキスト（文脈、状況、環境、意味等）を特定するため情報である。また、意味情報（コンテキスト情報）とは、被写体オブジェクトのコンテキスト（意味）を示す情報であり、例えば、被写体オブジェクトの種類や名称を特定する情報、被写体オブジェクトの特徴に関する情報、対象コンテンツに含まれる他の被写体オブジェクトとの関係性を示す情報、対象コンテンツにおける絶対的位置関係を示す情報、他の被写体オブジェクトとの相対的位置関係を示す情報などが挙げられる。また、解析用情報１０６とは、前述したコンテキスト情報を抽出するために用いられる情報である。解析用情報１０６の詳細については後述する。コンテンツ解析部１０５は、抽出したコンテキスト情報を解析データ１０７として内部に保持し、出力制御部１０４からの要求に応じて解析データ１０７を提供する。

処理候補抽出部１０８は、対象コンテンツに対して実行可能な処理候補を抽出する。

具体的には、処理候補抽出部１０８は、出力制御部１０４からの要求に応じ、引き渡されたコンテキスト情報（またはコンテキストグループ情報に対して実行可能な処理候補を処理パターン１０９に基づき抽出する。ここで、コンテキストグループ情報とは、複数のオブジェクト要素それぞれのコンテキスト情報を用いて複数のオブジェクト要素をグループ化するための基準を示す情報である。

例えば、処理候補抽出部１０８は、コンテキストグループ情報によりグループ化されたオブジェクト要素のグループであるコンテキストグループのそれぞれ（各グループ）に対し、処理候補パターンの実行条件に合致する処理候補が存在するかを確認し、コンテキストグループに合致する処理候補を設定することで、実行可能な処理候補を抽出する。

なお、処理候補の具体例については後述するため、ここでの説明は省略する。

コンテンツ加工部１１０は、出力制御部１０４からの要求に基づき、出力制御部１０４から受け付けた対象コンテンツに対する加工処理を実行し、蓄積部１０２に出力した加工後のコンテンツを格納する。さらに、コンテンツ加工部１１０は、対象コンテンツに対する加工処理状況または加工処理結果を出力制御部１０４に必要に応じて通知する。

具体的には、コンテンツ加工部１１０は、出力制御部１０４が指示した処理候補を受け付け、受け付けた処理候補の実行可否を確認する。そして、コンテンツ加工部１１０は、処理候補が実行可能な場合、対象コンテンツに対する処理候補を実行し、処理候補が実行不可の場合、実行しない。ここで、処理候補は、対象コンテンツに対する加工処理の候補である。

出力制御部１０４ は、例えば処理制御部の一例であり、コンテンツ入力部１０１を介して取得した対象コンテンツに対する処理を制御する。その際、出力制御部１０４は、入力された対象コンテンツを任意のタイミングで読み込み、規定の処理を行うため対象コンテンツを一時保存するなどの役割を持つ。

例えば、出力制御部１０４は、コンテンツ入力部１０１を介して蓄積部１０２からコンテンツデータ１０３を対象コンテンツとして受け付ける。出力制御部１０４は、受け付けた対象コンテンツに対しての解析をコンテンツ解析部１０５に要求し、コンテンツ解析部１０５から解析結果を取得する。

また、出力制御部１０４は、取得した解析結果に基づいて、対象コンテンツにオブジェクト要素が存在しているか否かを判定し、存在しているオブジェクト要素に対する出力優先度を算出する。出力制御部１０４は、コンテンツ解析部１０５が抽出したコンテキスト情報に基づき、オブジェクト要素の出力優先度（処理優先度）を算出する。

また、出力制御部１０４は、コンテンツ解析部１０５が管理する解析データ１０７を読み込み（取得し）、解析データ１０７に含まれる特徴情報およびコンテキスト情報と、算出した出力優先度とに基づき少なくとも１つのコンテキストグループ情報を定義し、処理候補抽出部１０８に引き渡す。ここで、コンテキストグループ情報とは、上述したようにコンテキスト情報を用いて複数のオブジェクト要素をグループ化するための基準を示す情報である。

また、出力制御部１０４は、処理候補抽出部１０８により抽出された処理候補テーブルを処理候補抽出部１０８から受け付け、処理候補テーブルの内容を解析し、優先的に処理すべき処理候補を判定し、実行すると判定した処理候補の実行をコンテンツ加工部１１０に要求する。

また、出力制御部１０４は、コンテンツ加工部１１０からの加工処理状況または加工処理結果に応じて、出力部１１１に、加工処理状況または加工処理結果に関するユーザ通知を要求する。

出力部１１１は、実行された処理候補の処理状況または処理結果に関するユーザ通知を出力する。出力部１１１は、例えばスピーカーなどの音声出力デバイスやＬＥＤなどの発光デバイスである。ユーザ通知としては、例えば、音声出力デバイスによるブザー音、発光デバイスの点灯、消灯、点滅などが挙げられる。

次に、以上の構成を有するコンテンツ処理装置１００の動作について、図２〜図５を用いて説明する。

図２は、実施の形態１のコンテンツデータ１０３の一例を示す図である。

図２に示す蓄積部１０２は、例えば、コンテンツデータ１０３を内部に蓄積する。蓄積部１０２は、コンテンツデータ１０３のうち、コンテンツの概要を示すいくつかのメタ情報をコンテンツインデックスとして生成する。このコンテンツインデックスには、例えば、各データに固有に付与される番号や各データへのアクセスを可能とするデータ名（他にオブジェクト識別子やデータパスなどとも呼ばれる）、ファイルのフォーマット種別を表す拡張子（ここでは、動画を示すｍｐ４）、コンテンツデータ１０３のタイプを表す種別（ここでは、説明簡単化のため動画を意味する「Ｍｏｖｉｅ」のみを扱う）、コンテンツデータ１０３の生成結果を示す「状態」、コンテンツデータ１０３が生成されたタイミングを示す撮影日時、動画における総（再生）時間などが含まれる。

図３Ａおよび図３Ｂは、実施の形態１の解析用情報１０６の一例であるソーシャル情報の例を示す図である。

図３Ａには、ソーシャル情報のうち各ユーザの情報を示すユーザ情報テーブルが示されている。ここでは、例えば各識別ＩＤに対し、各ユーザの名前やニックネームを表す名称、各ユーザに対し電子メールなどで情報を伝達するための手段を表すアドレスなどが記載される。

また、図３Ｂには、各ソーシャル情報オーナーに対する他のユーザとの関係性および親密さを表す親密度を示すソーシャル情報テーブルが示されている。図３Ｂに示すソーシャル情報テーブルは、図３Ａと同様、コンテンツ解析部１０５に解析用情報１０６として格納されている。ここで、関係性とは、注目する対象ユーザ（ソーシャル情報オーナー）と他のユーザとが現実世界において知り合いであるか否かを表す。親密度とは、ソーシャル情報オーナーからみた親密さを規定の数値を用いて表現したものである。

例えば、図３Ｂにおいては、縦軸がソーシャル情報オーナーのリスト、横軸が各ソーシャル情報オーナーに対する評価対象ユーザのリストを示し、各ユーザに対する親密度を０から１未満の数値として管理されている。なお、現実世界でユーザ同士が知り合いではない場合、親密度は「０」或いは「０に近い数字」で表現される。ここで、例えば識別ＩＤ「０」の名称「Ｍｉｋｅ」をソーシャル情報オーナーとする場合、「Ｍｉｋｅ」と「Ａｌｉｃｅ」は知り合いであり、その親密度は「０．８３」として表現される。さらに、「Ｊｕｌｉａ」との親密度は「０．８３」、「Ｔｏｍ」との親密度は「０．５３」と表現されており、「Ｍｉｋｅ」にとっては、「Ｔｏｍ」よりも数値が大きい「Ａｌｉｃｅ」や「Ｊｕｌｉａ」の方が親密な関係にあることが表現されている。無論、「Ｍｉｋｅ」はソーシャル情報オーナーであるため「Ｍｉｋｅ」と交差する部分は親密度の数値が「−」（数値入力必要なし）となっている。さらに、識別ＩＤ「１」の名称「Ａｌｉｃｅ」をソーシャル情報オーナーとした場合、各ユーザを起点とした関係性および親密度を数値として管理することができる。

なお、ここでは、親密度の数値を０から１未満の正規化された数値として説明したが、親密度の管理方法はこれに限らず、上限なく増加するポイント制としても良いし、粒度を下げたＡ〜Ｅ等の数段階のレベル分けとしても良い。

図４Ａは、実施の形態１のソーシャル情報のノード概念の一例を示す図である。図４Ｂは、実施の形態１の関係性参照テーブルの一例を示す図である。図５は、実施の形態１の優先度判定閾値テーブルの一例を示す図である。

図４Ａに示すように、ソーシャル情報はソーシャル情報オーナーである「Ｍｉｋｅ」のノードを中心に各ユーザに対する親密さを親密度という数値と矢印で表現している。ここでは、数値が高いほど親密な関係（１に近い）にあり、数値が低いほど疎遠な関係（０に近い）にあることを示すものとしている。また、図４Ｂに示す関係性参照テーブルを用いて、各ノードから伸びる矢印に対する関係性を関係性ＩＤ（ＲＩＤ）の参照により管理するものとする。図４Ｂの関係性参照テーブルは、各関係性において枝番の数字が大きいほど疎遠な関係であるものとすると、例えば、学校においては「親友」より「友人」が、「友人」より「クラスメイト」が疎遠な関係にあることを示す。

なお、図４Ａに示す例では、操作ユーザである「Ｄａｖｉｓ」が設定されている。そして、操作ユーザ「Ｄａｖｉｓ」との関係性から、「Ｍｉｋｅ」がソーシャル情報オーナーとして選択されている。操作ユーザである「Ｄａｖｉｓ」は、予めコンテンツ処理装置１００に設定されているとしてもよいし、スマートホンなどの携帯端末を通じて、設定されるとしてもよい。

図５は、コンテンツ解析部１０５が内部で解析用情報１０６として保持する優先度判定閾値テーブルの一例を示す図である。出力制御部１０４は、例えば図５に示す閾値を参照することにより、後述する処理候補の出力優先度レベルを算出する。ここでは、優先度レベルをＡ〜ＣおよびＺの４段階で構成しており、図４Ａにおいては「Ａｌｉｃｅ」と「Ｊｕｌｉａ」が共に０．８３で優先度レベル「Ａ」、「Ｔｏｍ」と「Ｐａｕｌ」が０．５３／０．５１で優先度レベル「Ｂ」となる。

次に、実施の形態１のコンテンツ処理装置１００によるコンテンツ処理のおおよその流れについて、図６を用いて説明する。

図６は、実施の形態１の出力制御部１０４のコンテンツ処理判定の流れを示すフローチャートである。

まず、出力制御部１０４は、コンテンツ入力部１０１を介して蓄積部１０２からコンテンツデータ１０３を対象コンテンツとして受け付け、当該対象コンテンツに対しての解析をコンテンツ解析部１０５に要求する（Ｓ６０１）。コンテンツ解析部１０５は、出力制御部１０４からの要求に基づき、対象コンテンツに対する解析処理を行う（Ｓ６０２）。

次に、出力制御部１０４は、コンテンツ解析部１０５から解析結果を取得し（Ｓ６０３）、当該対象コンテンツに人物や一般物体などを示すオブジェクト要素が存在しているか否かを判定する（Ｓ６０４）。

ステップＳ６０４において、出力制御部１０４は、当該対象コンテンツにオブジェクト要素が存在しない場合（Ｓ６０４のＮ）、当該対象コンテンツの入力が継続されているかを判定する（Ｓ６０５）。そして、ステップ６０５において、当該対象コンテンツの入力が継続せず終了する場合（Ｓ６０５のＮ）、処理候補の抽出処理を終了する。また、当該対象コンテンツの入力が継続する場合（Ｓ６０５のＹ）、ステップ６０１に戻り当該対象コンテンツに対する処理候補の抽出処理を継続する。

一方、ステップ６０４において、出力制御部１０４は、当該対象コンテンツにオブジェクト要素が存在する場合（Ｓ６０４のＹ）、コンテンツ解析部１０５が抽出した解析結果に基づき、出力優先度を判定（算出）する出力優先度判定処理を開始する（Ｓ６０６）。

次に、出力制御部１０４は、自ら判定した出力優先度に基づき、当該対象コンテンツに含まれる少なくとも１つ以上のオブジェクト要素をコンテキストグループにグループ化するための基準を示す情報（コンテキストグループ情報）を定義するコンテキストグループ定義処理を開始する（Ｓ６０７）。

次に、出力制御部１０４は、自ら定義したコンテキストグループ情報に対する処理候補の抽出を処理候補抽出部１０８に依頼し、処理候補抽出部１０８は、コンテキストグループに対する処理候補を抽出する（Ｓ６０８）。

次に、出力制御部１０４は、処理候補抽出部１０８から処理候補抽出結果を受け付け、その処理候補抽出結果に処理候補が存在する場合（Ｓ６０９のＹ）、コンテンツ処理装置１００で予め設定された当該処理候補の実行ポリシーの条件に合致しているかを判定する（Ｓ６１０）。

ステップ６１０において、出力制御部１０４は、条件に合致していると判定する場合には（Ｓ６１０のＹ）、当該処理候補の処理実行をコンテンツ加工部１１０に要求する（Ｓ６１１）。

次に、出力制御部１０４は、コンテンツ加工部１１０からの処理実行状況または処理実行結果を受け付け、さらに、当該対象コンテンツの入力が継続するか否かを判定する（Ｓ６０５）。

なお、ステップ６０９において処理候補が存在しない場合（Ｓ６０９のＮ）、および、ステップ６１０において条件に合致していないと判定する場合（Ｓ６１０のＮ）、出力制御部１０４は、ステップ６０５に進み、当該対象コンテンツの入力が継続されているか否かを判定する。

本実施の形態では、説明を簡易にするため、処理候補実行ポリシーは「抽出された処理候補のすべてを実行する」として以下説明する。

なお、処理候補実行ポリシーを「抽出された処理候補のすべてを実行する」として説明するが、処理候補実行ポリシーはこれに限らず、「抽出された処理候補のうち、コンテキストグループ情報に主題が含まれるもののみ実行する」や「抽出された処理候補のうち上位２件までを実行する」などコンテンツ処理装置１００の処理能力（例えばＣＰＵリソースや空き容量など）や設置状況（例えば屋内や屋外、降雨やネットワーク通信可否など）、対象コンテンツの状況変化（例えば明度が極端に低いなど）に応じて適宜変化させるものとしても良い。

次に、コンテンツ解析部１０５によるコンテンツ解析処理の流れ（ステップ６０２の詳細）について、図７〜図９を用いて説明する。

図７は、実施の形態１のコンテンツ解析処理の流れを示すフローチャートである。図８は、実施の形態１の対象コンテンツの動画像の一例を示す図である。図９は、実施の形態１の解析データ（人物）の一例を示す図である。

本実施の形態では、図２に示すコンテンツデータ１０３のうち、データ名「Ｃ−１」で示される３４分０５秒の動画を対象コンテンツとして入力するケースを想定して説明する。なお、当該動画には、図３Ａおよび図３Ｂに示すユーザ情報のうち、ＩＤ＝０〜５までのユーザが動画像の被写体として含まれているものとして以下説明する。

まず、コンテンツ解析部１０５は、出力制御部１０４からの要求に応じて、出力制御部１０４より受け渡された入力画像（対象コンテンツ）からオブジェクト要素を抽出する（Ｓ７０１）。

ここで、コンテンツ解析部１０５は、入力画像（対象コンテンツ）にオブジェクト要素が存在するかを判定する（Ｓ７０２）。ステップＳ７０２において、コンテンツ解析部１０５は、入力画像（対象コンテンツ）にオブジェクト要素が存在しない場合（Ｓ７０２のＮ）、コンテンツ解析処理を終了する。

一方、ステップＳ７０２において、入力画像（対象コンテンツ）にオブジェクト要素が存在する場合（Ｓ７０２のＹ）、コンテンツ解析部１０５は、抽出されたオブジェクト要素の被写体情報として抽出座標と抽出領域とを取得する（Ｓ７０３）。ここで、図８に示す対象コンテンツ（動画像）においては、オブジェクト要素として人物の顔が解析結果として抽出され、Ｐ１〜Ｐ６まで６つのオブジェクト要素が存在している例が示されている。図８における対象コンテンツ（動画像）の全体の解像度が横４０００ピクセル×縦２０００ピクセルであった場合、図９に示す解析データ（人物）では、Ｐ１の被写体情報の抽出座標は横軸座標と縦軸座標との数値で表現すると（１１２０、１０２１）であり、その抽出領域は（１８８、１８７）である。以降、抽出されたＰ２〜Ｐ６に関しても同様に被写体情報を抽出することができる。

次に、コンテンツ解析部１０５は、解析用情報１０６とオブジェクト要素とを比較する（Ｓ７０４）。

次に、コンテンツ解析部１０５は、類似するオブジェクト要素が存在するかを判定する（Ｓ７０５）。ステップＳ７０５において、類似するオブジェクト要素が存在しない場合には（Ｓ７０５のＮ）、コンテンツ解析部１０５は、類似するオブジェクト要素を記録しない。例えば図９に示す例では、抽出されたＰ１〜Ｐ６のオブジェクト要素のうち、Ｐ１は類似するものが解析用情報１０６の顔辞書に存在しないので、顔辞書欄に「×」のステータスが記録され、名前は「ｕｎｋｎｏｗｎ（未知）」が記録される。

一方、ステップＳ７０５において、類似するオブジェクト要素が存在する場合（Ｓ７０５のＹ）、コンテンツ解析部１０５は、類似するオブジェクト要素の属性情報と類似度とを記録する（Ｓ７０６）。例えば図９に示す例では、Ｐ２やＰ３に類似するものが解析用情報１０６の顔辞書に存在するので、「Ａｌｉｃｅ」や「Ｄａｎ」など、解析用情報１０６の顔辞書に類似する人物の名前とその類似度を解析データに記録される。

ここで、属性情報とは、オブジェクト要素の特徴を補足する情報である。属性情報の例としては、人物、文字、一般物体、音声などに関するものがある。人物に関する属性情報としては、例えば、被写体の名前、類似度、ソーシャル情報、衣類情報などがある。文字に関する属性情報としては、例えば、文字列、文字列汎用度、文字列危険度などがある。一般物体に関する属性情報としては、例えば、物体名、確度、関連情報、物体位置情報などがある。音声に関する属性情報としては、例えば、声紋、発声者名、類似度、ソーシャル情報、声色種別などがある。

次に、コンテンツ解析部１０５は、すべてのオブジェクト要素に対する解析を終えているか否かを判定する（Ｓ７０７）。ステップＳ７０７において、すべてのオブジェクト要素に対する解析を終えていない場合（Ｓ７０７のＮ）、コンテンツ解析部１０５は、ステップ７０２に戻り、オブジェクト要素抽出処理を繰り返す。例えば、図９に示すＰ１およびＰ２の解析だけ終了していた場合、Ｐ３〜Ｐ６それぞれに対するオブジェクト要素の抽出処理を行い、属性情報と類似度とを記録する。

一方、ステップＳ７０７において、すべてのオブジェクト要素に対する解析を終えた場合（Ｓ７０７のＹ）、コンテンツ解析部１０５は、対象コンテンツの主題を決定する（Ｓ７０８）。

ここでは、図９に示す解析データにおいて、図４Ａに示す例ではコンテンツ処理装置１００を操作するユーザを「Ｄａｖｉｓ」と想定し、その関係性から「Ｒ１−２：子供」にあたる「Ｍｉｋｅ」が抽出されたオブジェクト要素の中で最も注視すべき存在であることから「Ｍｉｋｅ」を主題と判定し、図９において主題欄に「○」を記録している。

ここで、主題とは、解析データにおいて、対象コンテンツに含まれる複数のオブジェクトのうち、１）コンテンツ処理装置を操作するユーザにとって、２）予め設定された人物にとって、３）コンテンツ処理装置と連携する携帯端末等を介して選択した人物にとって、最も注視すべき存在である重要なオブジェクト（人物等）を示唆するものである。

さらに、コンテンツ解析部１０５は、図４Ａに示すように、主題となった「Ｍｉｋｅ」からみた各オブジェクト要素に対する関係性を解析して記録する（Ｓ７０９）。なお、ここでは抽出されたオブジェクト要素のすべてに関係情報を記録する例を示したが、図５に示した親密度に基づく優先度レベルＡ〜Ｃ、Ｚに応じて、例えば、優先度レベルＺのオブジェクト要素に対しては、関係情報の記録を行わないなどの構成としても良い。

最後に、コンテンツ解析部１０５は、対象コンテンツの動画像において、主題からの位置関係と相対距離を解析し、状態情報として記録する（Ｓ７１０）。図９に示すように、動画像における出現順序を左から右に順番に番号を振る場合、Ｐ１〜Ｐ６が「１」〜「６」で管理されることになる。また、主題となる「Ｍｉｋｅ」からの相対距離を数値化して相対距離欄に記録する。例えば、主題であるＰ４に対しＰ２の相対距離は「２．１」となり、Ｐ４の隣に位置するＰ５は「１．２」となるため、Ｐ４からみてＰ２はＰ５より相対的に遠い位置であることが判定可能となる。なお、状態情報は、前述のような主題からの位置関係と相対距離に限るものではなく、対象コンテンツに含まれるオブジェクト要素の状態に関する情報であれば、他のものであってもよい。オブジェクト要素の状態に関する他の情報としては、例えば、対象コンテンツの動画像におけるオブジェクト要素の露出度合いを示す露出率や、オブジェクト要素の重畳度合いを示す重畳率が挙げられる。

次に、出力制御部１０４による出力優先度判定処理の流れ（ステップ６０６の詳細）について、図１０〜図１１を用いて説明する。

図１０は、実施の形態１の出力優先度判定処理の流れを示すフローチャートである。図１１は、実施の形態１の解析データ（人物）および出力優先度判定結果の一例を示す図である。

まず、出力制御部１０４は、コンテンツ解析部１０５が解析した解析データ１０７を取得する（Ｓ１００１）。

次に、出力制御部１０４は、解析データ１０７に主題が存在するか否かを判定する（Ｓ１００２）。ステップＳ１００２において、主題が存在しない場合（Ｓ１００２のＮ）、出力制御部１０４は、出力優先度判定処理を終了する。

一方、ステップＳ１００２において主題が存在する場合（Ｓ１００２のＹ）、出力制御部１０４は、関係性参照テーブルのうち、関係ＩＤ（ＲＩＤ）および関係ＩＤの枝番の順が小さいものから優先度を付与する（Ｓ１００３）。

次に、出力制御部１０４は、関係ＩＤ（ＲＩＤ）および関係ＩＤの枝番に同じものが存在するかを判定する（Ｓ１００４）。

ステップＳ１００４において、関係ＩＤ（ＲＩＤ）および関係ＩＤの枝番に同じものが存在しない場合（Ｓ１００４のＮ）、出力制御部１０４は、出力優先度判定処理を終了する。

一方、ステップＳ１００４において、関係ＩＤ（ＲＩＤ）および関係ＩＤの枝番に同じものが存在する場合（Ｓ１００４のＹ）、出力制御部１０４は、主題に対し相対距離が近いオブジェクト要素の出力優先度を上げるように制御する（Ｓ１００５）。

本実施の形態では、ステップＳ１００３において、出力制御部１０４は、例えば図４Ｂに示す関係性参照テーブルのうち、関係ＩＤ（ＲＩＤ）および関係ＩＤの枝番（親、子供、兄弟姉妹など昇順で表現される番号）の順が小さいものから優先度を付与する。より具体的に、出力制御部１０４は、主題を出力優先度の１番に設定する。次いで、図１１に示すように、主題である「Ｍｉｋｅ」を中心に、次に関係性の深い「Ａｌｉｃｅ」が「子供の親友」であることを理由に「Ａｌｉｃｅ」に２番目の出力優先度を付与する。次いで、「子供の友人」である「Ｔｏｍ」に３番目の出力優先度を付与する。ここで、Ｐ３とＰ６は共に関係ＩＤおよび関係ＩＤの枝番が「子供のクラスメイト」であり、その関係性は同じ位置づけとなるので（Ｓ１００４のＹ）、対象コンテンツ（動画像）において、主題に対する相対距離が近いオブジェクト要素の出力優先度を上げるように制御する（Ｓ１００５）。つまり、図１１に示す例においては、Ｐ３の方がＰ６よりも主題に近い位置関係にあるため、Ｐ３に出力優先度「４」、Ｐ６に出力優先度「５」を付与している。

次に、出力制御部１０４によるコンテキストグループ定義処理の流れ（ステップ６０７の詳細）について、図１２〜図１４を用いて説明する。

図１２は、実施の形態１のコンテキストグループ定義処理の流れを示すフローチャートである。図１３は、実施の形態１のコンテキストグループ情報の定義テーブルの一例を示す図である。

まず、出力制御部１０４は、コンテンツ解析部１０５が解析した解析データ１０７を取得し、出力制御部１０４が保持する定義テーブル（コンテキストグループ情報が定義されたテーブル）を初期化する（Ｓ１２０１）。

次に、出力制御部１０４は、解析データ１０７に主題が存在するか否かを判定する（Ｓ１２０２）。ステップＳ１２０２において、主題が存在しない場合（Ｓ１２０２のＮ）、出力制御部１０４は、コンテキストグループ定義処理を終了する。

一方、ステップＳ１２０２において、主題が存在する場合（Ｓ１２０２のＹ）、主題に特化したコンテキストグループを付帯情報に配慮して定義する（Ｓ１２０３）。ここで、付帯情報とは、コンテンツ解析部１０５が抽出したオブジェクト要素に付帯する切り離し困難な領域情報である。本実施の形態では、例えば、付帯情報は人間の顔に付帯する身体（首から下の胴体・手足など）に相当する部分をいい、出力制御部１０４は、付帯情報として含む座標および領域を新たに定義する。例えば図１４に示す対象コンテンツにおいては、出力制御部１０４は、主題であるＰ４の顔が位置する座標・領域に対し、顔との位置関係で必然的に決まる胴体部分の表示エリアを予め予測し、それら顔および胴体がひとつのコンテンツとして画角に収まるよう自動で調整する。なお、本実施の形態では、オブジェクト要素が人間である場合を例にしているが、それに限らない。オブジェクト要素が物体の場合には物体に付帯する部分を付帯情報として定義すればよい。

次に、出力制御部１０４は、主題以外にコンテキスト情報が存在しているかを確認する（Ｓ１２０４）。ステップＳ１２０４において、主題以外にコンテキスト情報が存在しない場合（Ｓ１２０４のＮ）、出力制御部１０４は、コンテキストグループ定義処理を終了する。

一方、ステップＳ１２０４において、主題以外にコンテキスト情報が存在している場合（Ｓ１２０４のＹ）、出力制御部１０４は、出力優先度が高いものを副題とし、コンテキストグループ情報を付帯情報に配慮して定義を行う（Ｓ１２０５）。

次に、出力制御部１０４は、副題の出力数が出力規定数に達していないかを確認する（Ｓ１２０６）。ステップＳ１２０６において、例えば、この副題の出力数が出力規定数（ここでは出力規定数＝３）に達していない場合（Ｓ１２０６のＮ）、出力制御部１０４は、ステップＳ１２０５に戻り、副題の抽出と副題に特化したコンテキストグループ情報の定義を継続する。本実施の形態では、図１３に示すように、主題であるＰ４はＧ１として、副題であるＰ２、Ｐ５は各々単独で座標と展開領域を算出し、それらを各々記録する。

なお、ここでは、副題の出力数を固定の出力規定数で説明したが、判定方法はこれに限らず、図５に示した優先度レベルがＡ〜Ｃに設定されるユーザすべてを抽出するまで継続するなどの判定方法を用いても良い。

一方、出力制御部１０４は、ステップＳ１２０６で出力規定数に達した場合（Ｓ１２０６のＹ）、主題からの相対距離が近い順に副題を含むコンテキストグループ情報を付帯情報に配慮して定義する（Ｓ１２０７）。

次に、抽出した全てのオブジェクト要素を含むコンテキストグループ情報を付帯情報に配慮して定義し、コンテキストグループの定義処理を終了する（Ｓ１２０８）。

本実施の形態では、例えば図１３に示すように、コンテキストグループＧ４は、主題であるＰ４に加え、主題からの相対距離が最も近い副題Ｐ５を含むグループとして定義される。次に、コンテキストグループＧ５は、主題Ｐ４から次に相対距離が短い副題Ｐ２を含むグループとして定義される。

なお、本実施の形態では、コンテキストグループ情報を主題からの相対距離が短い副題と組み合わせて定義する例について説明したが、定義方法はこれに限らない。例えば、図５に示した優先度レベルがＡ同士で組み合わせて定義する方法でも良いし、先に抽出されたコンテキスト情報を網羅的に組み合わせて定義する方法でも良い。

図１４は、実施の形態１のコンテキストグループ情報の定義を対象コンテンツである動画像にマッチングさせた例を示す図である。

図１４に示すように、少なくとも１以上のオブジェクト要素を含む領域をコンテキストグループ情報として定義するため、撮影・閲覧・編集を行う対象の対象コンテンツのうち、主題または副題を含む意味のある領域を対象範囲としたコンテンツ処理が実現する。

次に、処理候補抽出部１０８による処理候補抽出処理の流れ（ステップ６０８の詳細）について、図１５〜図１７を用いて説明する。

図１５は、実施の形態１の処理候補パターンテーブルの一例を示す図である。図１６は、実施の形態１の処理候補抽出処理の流れを示すフローチャートである。図１７は、実施の形態１のコンテキストグループ情報に対し処理候補を設定した例を示す図である。

処理候補抽出部１０８は、処理パターン１０９を図１５に示すような処理候補パターンテーブルとして保持する。処理パターンはＥ１、Ｅ２などの処理候補ＩＤで管理され、コンテンツ加工部１１０で処理が可能な処理候補が記述されている。本実施の形態においては、説明を簡易化するためデジタル処理される処理候補の概要を文字列にて記載する。さらに、各処理候補には処理の実行に必要な条件が記載されており、例えば、処理候補Ｅ２は、当該コンテキストグループ情報に主題が含まれる場合のみ実行可能であることを示している。

処理候補抽出部１０８は、上記処理候補パターンテーブルを内部で取得する（Ｓ１６０１）。

次に、出力制御部１０４からコンテキストグループ情報を取得する（Ｓ１６０２）。

次に、処理候補抽出部１０８は、当該コンテキストグループ情報の各グループに対し、処理候補パターンの実行条件に合致する処理候補が存在するかを確認する（Ｓ１６０３）。

ステップＳ１６０３において、条件に合致するものがあれば（Ｓ１６０３のＹ）、処理候補抽出部１０８は、当該コンテキストグループに対し処理候補を設定する（Ｓ１６０４）。

一方、ステップＳ１６０３において、条件に合致するものがなければ（Ｓ１６０３のＮ）、処理候補抽出部１０８は、ステップＳ１６０５に進む。

そして、処理候補抽出部１０８は、当該コンテキストグループ情報のすべてのコンテキストグループに対し処理候補の確認がなされたかを確認する（Ｓ１６０５）。

ステップＳ１６０５において、確認すべきコンテキストグループが残されている場合（Ｓ１６０５のＮ）、処理候補抽出部１０８は、ステップＳ１６０３以降の処理を繰り返す。

一方、ステップＳ１６０５において、すべてのコンテキストグループに対し処理候補の確認を終えた場合（Ｓ１６０５のＹ）、処理候補抽出部１０８は、処理候補抽出処理を終了する。

以上のように処理候補抽出処理を行った結果、本実施の形態では、図１７に示すように、コンテキストグループ情報の各グループに対し、処理候補テーブルに記載された条件に見合った処理候補が記録される。

次に、コンテンツ加工部１１０による処理候補実行処理の流れ（ステップ６１１の詳細）について、図１８〜図２０Ｇを用いて説明する。

図１８は、実施の形態１の処理候補実行処理の流れを示すフローチャートである。

出力制御部１０４は、対象コンテンツのコンテキストグループ情報に対する処理候補を処理候補抽出部１０８から取得した後、前述した処理候補実行ポリシーに従い当該処理候補の実行をコンテンツ加工部１１０に要求する。

すなわち、まず、コンテンツ加工部１１０は、対象コンテンツおよびコンテキストグループ情報に対する出力制御部１０４が指示した処理候補を受け付ける（Ｓ１８０１）。

次に、コンテンツ加工部１１０は、当該コンテキストグループ情報に含まれるコンテキストグループに対する処理候補の実行可否を確認する（Ｓ１８０２）。

ステップＳ１８０２において、当該処理候補が実行可能な場合（Ｓ１８０２のＹ）、コンテンツ加工部１１０は、当該コンテキストグループに対し処理候補を実行する（Ｓ１８０３）。一方、ステップＳ１８０２において、当該処理候補が実行不可の場合（Ｓ１８０２のＮ）、コンテンツ加工部１１０は、ステップＳ１８０３をスキップして、ステップＳ１８０４に進む。

本実施の形態では、図１７に示したコンテキストグループ情報の各コンテキストグループに対し、図１５に示した処理候補パターンから参照される処理候補Ｅ１およびＥ２を実行する。つまり、コンテンツ加工部１１０は、対象コンテンツのうち、主題Ｐ１を含むコンテキストグループＧ１を座標および領域から特定し、処理候補Ｅ１に基づき部分的に切り出し、さらに処理候補Ｅ２に基づき補足情報（例えば、イベント名など）を合成して別ファイルを生成し、蓄積部１０２に当該ファイルの保存を依頼する。

次に、コンテンツ加工部１１０は、当該コンテキストグループ情報のすべてのコンテキストグループに対して指示された処理候補の実行可否を確認したかを判定する（Ｓ１８０４）。

ステップＳ１８０４において、残りのコンテキストグループが存在する場合（Ｓ１８０４のＮ）、コンテンツ加工部１１０は、ステップＳ１８０２以降の処理を繰り返す。一方、ステップＳ１８０４において、すべてのコンテキストグループに対して処理候補の実行可否を確認した場合（Ｓ１８０４のＹ）、コンテンツ加工部１１０は、処理を終了する。

本実施の形態では、図１７に示したコンテキストグループＧ１以降のＧ２〜Ｇ７に対する処理候補の実行可否を確認し、すべての確認を終えた場合に処理を終了する。

そして、コンテンツ加工部１１０は、加工処理状況または加工処理結果を出力制御部１０４に通知する。出力制御部１０４は、図６のステップＳ６０５に示したように、コンテンツ加工部１１０からの通知により次の対象コンテンツに対する解析処理を依頼するか否かの判定に移る。

なお、本実施の形態においては、説明を簡易化するため対象コンテンツを動画とし、動画において時系列に含まれる画像を対象コンテンツとして説明してきた。この動画における連続性を保つため、出力制御部１０４は、例えば、対象コンテンツのある領域を切り出すコンテンツ処理を実行する場合、前回定義したコンテキスト情報に基づくコンテキストグループ情報を保持しておき、連続する画像に対する追従処理を連続的に行うことにより、ひとつの動画としてファイルを出力する方式としても良い。また、静止画の撮影・閲覧・編集においてもコンテンツ処理装置１００が有用であることは自明である。

図１９は、実施の形態１のコンテンツ処理実行後のコンテンツインデックスの一例を示す図である。図２０Ａ〜図２０Ｇは、実施の形態１のコンテンツ処理実行後のコンテンツの一例を示す図である。

図１９に示すように、図２ではコンテンツ処理装置１００の蓄積部１０２が保持するコンテンツインデックスはタグ情報「Ｏｒｉｇｉｎａｌ」のＣ−１〜１０が蓄積されていたが、図１９ではタグ情報「Ａｕｔｏ」を含むＧ１〜Ｇ７がＣ−１１〜Ｃ−１７として新規に蓄積されている。

また、図２０Ａ〜図２０Ｇに示すように、各処理候補の処理結果において、例えば、図２０Ａは主題Ｐ４だけを処理候補Ｅ１に基づき切り出し、処理候補Ｅ２に基づき補足情報「Ｍｉｋｅ ２００２」を合成したファイルが生成・蓄積されている。また、図２０Ｂは副題Ｐ２だけを処理候補Ｅ１に基づき切り出したファイルが生成・蓄積されており、指定されなかった処理候補Ｅ２は実行されていない。

なお、本実施の形態では、対象コンテンツから人物の顔に代表されるオブジェクト要素を抽出する例を用いて説明したが、抽出するオブジェクト要素はこれに限らない。例えば人物の顔以外の文字や記号、街角の看板やランドマークといった一般物体でも良い。また、例えば対象コンテンツに含まれる音声の時間軸における出現タイミングや出現時間、相対音量などをオブジェクト要素として抽出し、解析用情報１０６である声紋との比較により、当該部分の切り出しを処理候補としても良い。

なお、本実施の形態では、コンテンツ解析部１０５が解析するオブジェクト要素に付帯する付帯情報を身体に相当する部分として説明したが、付帯情報はこれに限らない。例えば人物が身につけている洋服の色や形状の特徴、携行するバッグの特徴、センサーや通信などで固体を識別可能な情報などを用いても良い。

また、本実施の形態および以後の実施の形態においては、説明を簡易化するため対象コンテンツを動画として説明する。例えば、対象コンテンツのある領域を切り出すコンテンツ処理を実行する場合、前回定義したコンテキスト情報に基づくコンテキストグループ情報を保持しておき、連続する画像に対する追従処理を連続的に行うことにより、ひとつの動画としてファイルを出力する方式としても良いとして説明しているがそれに限らない。例えばコンテキスト情報として抽出する人物が横や後ろを向くことにより、コンテキスト情報が抽出できなくなることを防止するため、コンテキスト情報に紐付く付帯情報（例えば、人物が身につけている洋服の色）の連続性などを利用して、コンテキスト情報の抽出を補填するようにして追従処理の精度を向上させるようにしても良い。

以上のように、本実施の形態によれば、コンテンツに含まれる被写体や音声の特徴情報に応じて各オブジェクト要素のコンテキスト情報を算出し、コンテキスト情報から抽出したコンテンツ処理候補を決定・実行することができる。そのため、例えば、動画像にオブジェクト要素として複数の人物の顔が含まれる場合、複数の人物のうち、コンテキスト情報として算出した人物２名までの人物の顔および周辺を規定サイズまで拡大処理（デジタルズーム加工）し、個別の動画像ファイルとして出力処理（蓄積媒体への記録）するなどの制御ができる。このようにして、各オブジェクト要素に対するユーザの操作指示を必要とせず、コンテキスト情報に応じたコンテンツ処理の実行を容易に実現できる。

また、本実施の形態で説明したオブジェクト要素の被写体情報は対象コンテンツに対する座標および領域を指定する例を用いて説明したが、オブジェクト要素の被写体情報の表現はこれに限らず、対象コンテンツに対するベクトル表現などとしても良い。

また、本実施の形態で説明した処理候補抽出処理（ステップ６０５）においてはコンテキストグループに対する処理候補を処理候補テーブルから参照して処理候補を判定する例について説明したが、処理候補の判定方法はこれに限らない。例えばオブジェクト要素の動画像の座標、全体に対する相対サイズ・相対面積を加味し、当該オブジェクト要素の面積が小さいと判断される場合には、所定の拡大処理（デジタルズーム加工）よりも大きくするなど、オブジェクト要素に対し抽出した特徴情報に応じて処理候補の実行内容を調整するようにしても良い。

また、本実施の形態によれば、特徴情報に応じてコンテンツ処理候補の実行内容を調整して実行することができる。例えば、動画像に含まれる複数の人物のうち相対面積が規定値以下となる人物を拡大処理する、動画像に含まれる音声のうち相対音量が規定値以下となる音声の出力音量を自動で上げるなどの制御ができる。つまり、各オブジェクト要素に対するユーザの操作指示を必要とせず、特徴情報に応じてコンテンツ処理候補の内容を調整して実行できる。

また、本実施の形態で説明したオブジェクト要素の補足情報付与は図２０Ａおよび図２０Ｄに示すように人物名「Ｍｉｋｅ」と参照元となったファイルの更新日時「２００２年」を合成して表示する例を用いて説明したが、補足情報付与はこれに限らない。例えば補足情報がテキストであればメタ情報として出力するファイルに埋め込むようにしても良いし、補足情報がオブジェクト要素を示すアイコンなどであれば出力動画像の一部に合成表示するなど処理候補の実行内容を調整するようにしても良い。

また、本実施の形態によれば、属性情報に応じてコンテキスト情報を補足してコンテンツ処理候補の実行内容を調整して実行することができる。そのため、例えば、動画像に含まれる複数の人物のうち、顔辞書に登録されている重要人物を主題とし、さらに主題の親友に位置づけられる人物を各々拡大処理（デジタルズーム加工）およびオブジェクト要素を補足する情報を付加して個別の動画像ファイルとして出力処理（顔の類似度や声紋から特定される被写体人物名を重畳合成して表示、蓄積媒体への記録）などの制御ができる。つまり、各オブジェクト要素に対するユーザの操作指示を必要とせず、属性情報に応じてコンテンツ処理候補の内容を調整して実行できる。

また、本実施の形態で説明したコンテキストグループに対する処理候補は「コンテキストグループ領域の切り出しとファイル出力」を例に説明したが、処理候補はこれに限らない。対象コンテンツの全体表示からコンテキストグループへの拡大処理や当該コンテキストグループ領域に対する装飾フレームの挿入など対象コンテンツの閲覧時に効果を発揮するエフェクト処理としても良い。

また、本実施の形態によれば、コンテンツに含まれる複数のオブジェクト要素で構成されるコンテキストグループ情報に応じて実行すべきコンテンツ処理候補を判定することができ、例えば、複数の人物や一般物体で構成される動画像の構図に対して拡大処理（デジタルズーム加工）や出力処理（蓄積媒体への記録）などの制御ができる。このように、複数のオブジェクト要素をひとつのコンテキストグループとして扱うことができるので、個々のオブジェクト要素に対するコンテンツ処理操作を必要とせず、コンテキストグループに対するコンテンツ処理を一括して実行できる。それにより、段階的な拡大処理または縮小処理など素人らしい撮影ミスを軽減できる。

また、本実施の形態では、出力制御部１０４は、コンテンツ加工部１１０からの加工処理状況または加工処理結果に応じて、出力部１１１にブザー音や発光デバイスによるユーザ通知を要求すると説明したが、出力部１１１による出力はこれに限らない。例えば、デジタルカメラが本体側面に内部で実行中のコンテンツ処理を伝える発光部や音声スピーカーを有する場合、対象となるオブジェクト要素に対する拡大処理（デジタルズーム加工）や出力処理（蓄積媒体への記録）、撮影の終了などの動作を該当箇所の発光やブザー音や音声ガイドによりユーザに通知するようにしてもよい。つまり、出力制御部１０４は、コンテンツ処理装置の外部に対して、処理候補の実行有無を示す処理候補実行有無情報を出力するようにしてもよい。

本実施の形態によれば、コンテンツ処理装置を操作するユーザの操作指示を必要とせず、コンテンツ処理装置の内部で実行中のコンテンツ処理をユーザに通知できる。

このように、本実施の形態によれば、複数の被写体間（オブジェクト間）の関係を解析することで、ユーザにコンテンツ撮影、閲覧、編集の構図や操作を提示することができる。

以上のように、本実施の形態によれば、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担を軽減するコンテンツ処理装置、コンテンツ処理方法およびプログラムを実現することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、ユーザがコンテンツ処理装置で実行中の処理を把握できるように、コンテンツ処理装置が実行中の処理を表示する場合の例について説明する。

図２１は、実施の形態２のコンテンツ処理装置１００Ａの構成を示すブロック図である。図２１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図２１に示すコンテンツ処理装置１００Ａは、図１に示すコンテンツ処理装置１００の出力部１１１に代えて、表示部１１２を有する。

表示部１１２は、液晶パネルなどの表示画面を有し、コンテンツおよびコンテンツに対する処理に関する情報を表示する。例えば、表示部１１２は、コンテンツ処理装置が実行中の処理を表示する。

本実施の形態のコンテンツ処理装置１００Ａは、表示部１１２を有し、例えば、動画像データが記憶可能な記憶媒体を挿入可能または内蔵し、複数の動画像データの撮影、閲覧または編集が可能なデジタルスチルカメラやデジタルビデオカメラ、パーソナルコンピュータなどである。

図２２は、実施の形態２の処理候補実行処理の流れを示すフローチャートである。

図２２に示す処理の流れは、図１８に示した処理の流れのうち、ステップＳ１８０３までの処理、およびステップＳ１８０４以降の処理は図２２のステップＳ２２０１〜Ｓ２２０３およびステップＳ２２０８と同じであるため、説明を省略する。

ステップＳ２２０２でＹの場合、出力制御部１０４は、コンテキストグループに対する処理候補を実行する（Ｓ２２０３）。

次に、出力制御部１０４は、当該コンテキストグループが処理を実行している対象領域を示すガイドを実線や点線などで表示するよう表示部１１２に指示する（Ｓ２２０４）。

次に、出力制御部１０４は、当該コンテキストグループ以外に表示中の処理候補（処理番号や処理名を含む）が存在するかを確認する（Ｓ２２０５）。

Ｓ２２０５において、処理候補が存在しない場合には（Ｓ２２０５のＮ）、出力制御部１０４は、表示部１１２に、当該コンテキストグループの対象領域を示すガイドの近傍に実行する処理候補の処理番号や処理名を表示させる（Ｓ２２０６）。一方、Ｓ２２０５において、処理候補が存在する場合（Ｓ２２０５のＹ）、出力制御部１０４は、表示部１１２に、当該コンテキストグループに対して表示しようとする処理番号や処理名と表示中の処理番号や処理名とが相互に重畳しないよう画面上の表示位置を調整して表示させる（Ｓ２２０７）。

次に、出力制御部１０４は、すべてのコンテキストグループに対する処理候補の実行可否を確認する（Ｓ２２０８）。

図２３は、実施の形態２の表示部１１２が表示する画面の一例を示す図である。

図２３において、全画面表示領域２３０１は表示部１１２が表示する画面全体を示している。動画像表示領域２３０２は処理対象となる入力コンテンツのうち実際にユーザが目視する動画像を表示する領域を示している。マージン領域２３０３は全画面表示領域に対する動画像表示領域のマージンを示しており、関連情報を表示する目的でも使用する。

また、図中のガイド２３０４は、図２２のステップＳ２２０４で説明した表示させるガイドの一例である。図２３に示す例では、下方に示される人物解析データＰ１〜Ｐ６に対し、Ｐ４およびＰ５を含むコンテキストグループ「Ｇ４」の抽出座標および抽出領域に基づくガイドが表示されている（図１７の処理候補を参照）。処理結果表示２３０５では、実行中の処理を示す処理番号「（２）」および処理名「ズーム撮影中」が表示され、これらはステップＳ２２０６およびＳ２２０７に従い表示される。また、処理結果表示２３０６は、先に実行していた入力コンテンツ全体の撮影処理を示しており、図２３に示す例では、処理番号「（１）」、処理名「全体撮影中」が表示されている。

このように、コンテンツ処理装置１００Ａでは、ユーザが目視する表示部１１２において、実行中の処理をガイドと処理内容を示す処理名などを加えて表示する。

図２４は、実施の形態２の表示部１１２が表示する別画面の一例を示す図である。

ここでは図２３との違いを中心に説明する。動画像表示領域２４０２には、処理番号（２）〜（５）が処理名を省略した形式で表示されている。図２４において、処理番号（５）のガイドは実線で表示され、処理番号（２）〜（４）のガイドは点線で表示されている。ここで、例えば実線を実行中の処理と定義し、点線を処理候補として待機中と定義すれば、ユーザが表示部１１２の内容を目視するだけで実行中の処理が把握できる。

なお、実線と点線によるガイドの使い分けで実行中か否かを提示す例を示したが、ガイドの表示方法はこれに限らない。実線が高画質モードであり点線が低画質モードであると定義しても良いし、実線が複数人を含むコンテキストグループであり点線が主題や副題であるコンテキストグループであると定義しても良い。また、ガイドは実線・点線以外でもよく、例えば波線を用いたり、色分けをしたり、太さや装飾を加えるなどして変化をつけるようにしたり、用途を使い分けるようにしても良い。さらに、処理名はテキスト表示だけではなく、ユーザに処理内容が伝わりやすいアイコンなどを用いて表現しても良い（アイコンを用いた画面例は後述する）。

本実施の形態によれば、抽出された処理候補の実行前または実行後にコンテンツ処理装置１００Ａの表示部１１２に処理候補の実行有無を示す処理候補実行有無情報を表示することができる。そのため、例えば、デジタルカメラが本体メイン画面またはサブ画面において内部で実行中のコンテンツ処理を文字列やアイコンによりユーザに可視化することができる。つまり、コンテンツ処理装置を操作するユーザの操作指示を必要とせず、内部で実行中のコンテンツ処理を文字列やアイコンにより、より確実に通知できる。

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、抽出した人物に加え、一般物体もコンテキストグループとして定義される場合について説明する。さらに、本実施の形態では、コンテンツ処理候補を目視しながらユーザが所望するコンテンツ処理の操作指示を受け付けることができるコンテンツ処理装置１００Ｂについても説明する。

図２５は、実施の形態３のコンテンツ処理装置１００Ｂの構成を示すブロック図である。図２５において、図１および図２１と同じ構成要素については同じ符号を用い、説明を省略する。

図２５に示すコンテンツ処理装置１００Ｂは、図２１に示すコンテンツ処理装置１００Ａの構成要素に加え、操作入力部１１３を有する。

操作入力部１１３は、ユーザからの操作を受け付ける。操作入力部１１３は、例えば、タッチパネルなどの入力デバイスであり、ユーザからの操作を受け付ける役割を担う。

コンテンツ処理装置１００Ｂは、タッチパネル式画面またはマウス等の入力デバイスにより画面を制御する手段を有する。また、コンテンツ処理装置１００Ｂ、コンテンツ処理装置１００Ａ等と同様に、例えば、動画像データが記憶可能な記憶媒体を挿入可能または内蔵し、複数の動画像データの撮影、閲覧または編集が可能なタッチパネル式デジタルスチルカメラやデジタルビデオカメラ、マウスやタッチパネルで操作可能なパーソナルコンピュータなどである。

図２６は、実施の形態３の入力コンテンツの最大領域に対するフォーカス領域の配置例を示す図である。

コンテンツ処理装置１００が処理対象とする入力コンテンツ（対象コンテンツ）は、コンテンツ入力部１０１が入力する動画像であり、画角や解像度と呼ばれる最大領域が存在する。図２６には、入力コンテンツの最大領域を示す入力コンテンツ最大領域２６０１が示されている。入力コンテンツ最大領域２６０１に対し、デジタル処理によるズームで拡大表示する部分をフォーカス領域２６０２と定義する。図２６には示す例では、フォーカス領域（１）（図でフォーカス領域２６０２）とフォーカス領域（２）（図でフォーカス領域２６０３）が存在するが、フォーカス領域２６０２は入力コンテンツ最大領域２６０１の中心座標に対し、そのまま中央にデジタルズームする場合のフォーカス領域（フォーカス領域（１））を示しており、フォーカス領域２６０３は、入力コンテンツ最大領域２６０１の領域内で任意の部分にデジタルズームする場合のフォーカス領域（フォーカス領域（２））を示している。例えば、広角カメラと通常のカメラを備え、広角カメラと通常のカメラによる同時撮影を行うムービーにおいては、広角カメラで撮影している領域を最大領域、通常のカメラで撮影している領域をフォーカス領域とすることができる。また、撮影後の写真や動画を閲覧または編集している場合においては、撮影されたコンテンツ全体の領域を最大領域、閲覧や編集のために表示している領域をフォーカス領域とすることができる。以降、デジタルカメラにおいて、入力コンテンツ最大領域２６０１における撮影を継続しながら、フォーカス領域２６０３に対してデジタルズームを行う例を図２７〜図３０を用いて説明する。

図２７は、実施の形態３の入力コンテンツの動画像の一例を示す図である。図２８は、実施の形態３の解析データ（一般物体）の一例を示す図である。図２９は、実施の形態３の注目情報優先度加点テーブルの一例を示す図である。図３０は、実施の形態３の相対距離優先度加点テーブルの一例を示す図である。図３１は、実施の形態３のコンテキストグループ定義処理の流れを示すフローチャートである。

図２７に示すように、コンテンツ入力部１０１より入力される入力コンテンツ最大領域２７０１には複数の被写体人物が含まれている。入力コンテンツ最大領域２７０１に対し、実際にユーザが目視するフォーカス領域２７０２が点線で表現されている。

本実施の形態では、コンテンツ解析部１０５は、実施の形態１で説明したようにＰ１〜Ｐ６の被写体人物を解析し、解析データとして出力制御部１０４に提供する。加えて、図２７に示す一般物体２７０３および一般物体２７０４をも解析し、その概要を図２８に示す解析データとして出力制御部１０４に提供する。以下では、オブジェクト要素として人物を解析する処理との差分のみ（つまり一般物体を解析する処理のみ）を説明する。

コンテンツ解析部１０５は、図２８に示すように、入力コンテンツに含まれる２つのオブジェクト要素を一般物体データとして抽出し、ＩＤとして「Ｍ１」と「Ｍ２」を付与する。次に、各オブジェクト要素の被写体情報として抽出座標と抽出領域とを解析データとして追記する。次に、属性情報として、解析用情報である辞書登録との類似の有無、類似があった場合の名前および類似度、主題であるかの判定を行い解析データとして追記する。

さらに、コンテンツ解析部１０５は、一般物体が属する分類項目や解析可能な情報（テキストデータや関連物の一般名称など）を注目情報として追記する。ここでは、図２７の２７０３に示すＩＤ「Ｍ１」は分類項目が「マーク（ＭＡＲＫ）」であるとする。図２７の２７０４に示すＩＤ「Ｍ２」はテキスト解析が施され、テキストとしてＹＯＳＡＫＯＩが抽出されたことを示す「ＴＥＸＴ：ＹＯＳＡＫＯＩ」が追記されている。さらに、コンテンツ解析部１０５は、動的な状態情報の項目の位置関係として左からＩＤ「Ｍ２」、ＩＤ「Ｍ１」の順で出現することを示す情報を解析データに追記する。また、コンテンツ解析部１０５は、動的な状態情報の項目のフォーカス領域として、ＩＤ「Ｍ１」はフォーカス領域外にあるため「×」、ＩＤ「Ｍ２」はフォーカス領域を跨ぐため「△」を示す情報を、動的な状態情報の項目の相対距離すなわち先に解析された主題「Ｐ４」からの相対距離として、ＩＤ「Ｍ１」は「３．２」、ＩＤ「Ｍ２」は「０．８」を示す情報を解析データに追記する。なお、抽出されたオブジェクト要素がフォーカス領域内に存在する場合は「○」を記載するなどの運用が想定される。

出力制御部１０４は、コンテンツ解析部１０５が抽出した解析データを参照し、出力優先度を追記する。本実施の形態では、一般物体の出力優先度を判定するために、図２９に示す注目情報優先度加点テーブルと、図３０に示す相対距離優先度加点テーブルを用いる場合の例を説明する。

出力制御部１０４は、図２８に記録された属性情報の注目情報と状態情報の主題からの相対距離とから、一般物体に対する出力優先度を加点方式により算出する。ここで、ＩＤ「Ｍ１」の注目情報は「ＭＡＲＫ」であるため、優先度加点テーブルを参照して「０．５」ポイントが加算され、続いて、主題からの相対距離が「３．２」であるため、優先度加点テーブルを参照して「０．５」ポイントが加算され、合計「１．０」ポイントとなる。一方、ＩＤ「Ｍ２」は、テキストであるため「１．０」ポイントが加算され、相対距離が「０．８」であるため「２．０」ポイントが加算され、合計「３．０」ポイントとなる。次に、このポイントを用いたコンテキストグループ定義処理を説明する。

図３１は、実施の形態３のコンテキストグループ定義処理の流れを示すフローチャートである。図３２は、実施の形態３のコンテキストグループ情報の定義テーブルの一例を示す図である。図３３は、実施の形態３のコンテキストグループを対象となる入力コンテンツの動画像にマッチングさせた例を示す図である。

図３１に示す出力制御部１０４の処理の流れは、図１２に示した処理の流れのうち、ステップＳ１２０６までの処理、およびステップＳ１２０７以降の処理は図３１のステップＳ３１０１〜Ｓ３１０６およびステップＳ３１０９以降と同じであるため、説明を省略する。

出力制御部１０４は、ステップＳ３１０１〜ステップＳ３１０６により、人物に関するオブジェクト要素をコンテキスト情報とし、その主題に特化したコンテキストグループと人物の出力優先度とから副題となるコンテキストグループを出力規定数まで定義する（Ｓ３１０６でＹの場合）。

さらに、出力制御部１０４は、一般物体に関するオブジェクト要素をコンテキスト情報とし、その一般物体の解析データに基づく出力優先度から副題となるコンテキストグループを定義する（Ｓ３１０７）。このとき、人物同様、一般物体に関しても、解析結果による付帯情報をコンテキストグループの定義に加えることが望ましい。例えば、図２７に示すＩＤ「Ｍ２」の一般物体２７０４では、解析されたテキストに対し、テキストを囲む部分を付帯情報として、一連の一般物体として定義している。

そして、出力制御部１０４は、一般物体に関するコンテキストグループを出力規定数まで定義する（Ｓ３１０８でＹの場合）。具体的には、一般的に一般物体の解析は解析用情報の辞書に依存度が高く、場合によっては極大な数が解析される場合もあるため、出力制御部１０４は、一般物体に関する出力規定数に基づき副題としてのコンテキストグループを定義する（Ｓ３１０８でＹ）。なお、本実施の形態では、抽出された一般物体に関するコンテキスト情報のうち、１つのみ副題として採用する例で説明する。

次に、出力制御部１０４は、主題からの相対距離が近い順に副題を含むコンテキストグループを定義する（Ｓ３１０９）。

次に、出力制御部１０４は、抽出した全オブジェクト要素を含むコンテキストグループを定義する（Ｓ３１１０）。

以上の処理の結果、図３２に示すコンテキストグループ情報の定義テーブルが形成される。

ここで、図３２に示すコンテキストグループ「Ｇ３」は、人物を示すコンテキストグループではなく、一般物体を示すＩＤ「Ｍ２」である。実施の形態１においては、コンテキストグループ「Ｇ１」は主題である「Ｐ４」、コンテキストグループ「Ｇ２」は次に出力優先度が高い「Ｐ２」、そして、コンテキストグループ「Ｇ３」は次に出力優先度が高い「Ｐ５」であった。それに対して、本実施の形態においては、人物に関するコンテキストグループの出力規定数を「２」としたため、コンテキストグループ「Ｇ２」までが人物を意味する「Ｐ４」「Ｐ２」となり、一般物体に関するコンテキストグループの出力規定数を「１」としたため、コンテキストグループ「Ｇ３」が一般物体を意味する「Ｍ２」となっている。なお、抽出された一般物体「Ｍ１」「Ｍ２」において、先の加点テーブルに基づき算出したポイントの合計がより高い「Ｍ２」を採用している。

図３３は、入力コンテンツ（対象コンテンツ）の入力コンテンツ最大領域に対し、図３２に示す各コンテキストグループの定義座標および定義領域に基づく該当領域を示している。ここで、図３２に示すコンテキストグループ「Ｇ３」の付帯情報には「ＴＥＸＴ：ＹＯＳＡＫＯＩ」が記録されている。コンテキストグループ「Ｇ３」は、図３３の「Ｇ３」で引用される点線枠に該当し、人物ではなく、一般物体であるイベントの看板をコンテキストグループとしている。つまり、コンテキストグループ「Ｇ３」の定義領域は抽出されたテキスト以外にも、関連する一連の一般物体としてコンテキスト情報およびコンテキストグループ領域が定義されている。なお、この一般物体近傍の定義に関わる処理は、一般物体認識の近傍を色や形状の連続性、解析用情報に定義される出現パターン定義など一般的な技術の組み合わせにより実現可能である。

さらに、図３２に示すコンテキストグループ「Ｇ４」は、主題であるコンテキスト情報「Ｐ４」から最も相対距離が近い意味情報「Ｍ２」との組み合わせで構成されており、図３３の「Ｇ４」で引用される実線枠に該当する。このように、本実施の形態では、抽出した人物に加え、一般物体をもコンテキストグループとして定義される。なお、上述したように、この定義されたコンテキストグループは、コンテキストグループ情報として、テーブル（定義テーブル）に定義される。

次に、本実施の形態における処理候補抽出部１０８による処理候補抽出処理について説明する。

図３４は、実施の形態３の処理候補パターンテーブルの一例を示す図である。図３５は、実施の形態３のフォーカス領域と各コンテキストグループの定義領域との位置関係の例を示す図である。図３６は、実施の形態３のコンテキストグループ情報に対し処理候補を設定した例を示す図である。

処理候補抽出部１０８は、処理パターン１０９として図３４に示すような処理候補パターンテーブルを保持している。図３４に示す処理候補パターンテーブルには、処理パターンがＥ１、Ｅ２などの処理候補ＩＤで管理されており、処理候補ＩＤごとに、コンテンツ加工部１１０で処理が可能な処理候補が記述されている。さらに、各処理候補には処理の実行に必要な条件が記載されている。

本実施の形態においては、上記条件に当該コンテキストグループが定義された領域（コンテキストグループ領域）と当該フォーカス領域との関係が含まれる場合について説明する。ここで、処理候補Ｅ１およびＥ２は、当該コンテキストグループ領域がフォーカス領域に含まれる場合の処理候補を示し、フォーカス領域に含まれるコンテキストグループ領域の領域内における占有面積が８０％未満であることを条件にしている。これは、例えば、当該コンテキストグループが当該フォーカス領域に含まれる場合、フォーカス領域として表示中の動画像の一部を処理候補Ｅ１により、フォーカス領域にフィットするようにデジタルズーム（拡大表示）する処理が候補となることを示している。また、処理候補Ｅ２は、フォーカス領域として表示中の動画像の一部を別のファイルとして切り出して記録する処理の候補を示している。

出力制御部１０４は、コンテキストグループ情報が定義された定義テーブルを処理候補抽出部１０８に渡す。

ここで、例えば、図３５に示すように、対象となる入力コンテンツ３５０１のうち、フォーカス領域３５０２がユーザに目視可能な状態で表示されているとする。すると、すると、処理候補抽出部１０８は、フォーカス領域内に収まるコンテキストグループ「Ｇ１」には処理候補Ｅ１、Ｅ２が実行可能と判断し、フォーカス領域内に収まらないコンテキストグループ「Ｇ２」には処理候補Ｅ５、Ｅ６が実行可能と判断する。それ以外のコンテキストグループ「Ｇ３」〜「Ｇ７」はフォーカス領域に跨るため、処理候補Ｅ３、Ｅ４が実行可能と判断する。処理候補抽出部１０８による処理候補抽出処理の流れは図１６に示したため説明を省略する。結果、図３６に示すように、定義テーブル（動的）には、コンテキストグループ情報によりグループ化されたオブジェクト要素のグループであるコンテキストグループのそれぞれ（各グループ）に対し、処理候補テーブルに記載された条件に見合った処理候補が記録される。

次に、出力制御部１０４による処理候補実行処理について説明する。

図３７は、実施の形態３の処理候補実行処理の流れを示すフローチャートである。図３８は、実施の形態３のコンテンツ処理候補表示画面の一例を示す図である。図３９は、実施の形態３のコンテンツ処理候補表示画面の別の一例およびコンテンツ処理実行停止操作受付画面の一例を示す図である。

図３７に示す出力制御部１０４の処理候補実行処理の流れのうち、ステップＳ３７０１〜３７０２までの処理、ステップＳ３７０４〜３７０５までの処理は図１８および図２２に示した処理の流れと同じであるため、説明を省略する。

Ｓ３７０２でＹの場合、出力制御部１０４は、表示部１１２で表示中のフォーカス領域の表示領域を取得し、実行中の処理を表示する（Ｓ３７０３）。

図３８に示す例では、表示部１１２が表示する全画面表示領域３８０１に対し、現在表示中のフォーカス領域３８０２が、処理対象となる入力コンテンツの最大領域と合致している。なお、以下の説明を簡易化するため、まず入力した動画像をそのまま最大で表示している状態とし、処理候補Ｅ１およびＥ２が選定されている例を用いて説明する。マージン領域３８０３は、全画面表示領域３８０１に対するフォーカス領域３８０２のマージンを示しており、右端の文字列表示３８０４は既に実行中の処理である入力コンテンツの記録処理を「（１）全体撮影中」という文字列で表現している。

次に、出力制御部１０４は、当該コンテキストグループを示すガイドを表示させ（Ｓ３７０４）、表示中の処理番号や処理名が存在するか否かを確認する（Ｓ３７０５）。

ステップＳ３７０５において、表示中の処理番号や処理名が存在しないと判断した場合（Ｓ３７０５のＮ）、出力制御部１０４は、当該コンテキストグループを示すガイドの近傍に実行可能な処理番号や処理名を表示させる（Ｓ３７０６）。一方、ステップＳ３７０５において、表示中の処理番号や処理名が存在すると判断した場合（Ｓ３７０５のＹ）、出力制御部１０４は、表示中の処理番号や処理名と相互に重畳しないよう実行可能な処理番号や処理名を表示させる（Ｓ３７０７）。

図３８に示す例では、出力制御部１０４は、当該コンテキストグループ「Ｇ１」に対し、表示中の処理番号や処理名が存在しないと判断し（Ｓ３７０５のＮ）、表示部１１２にＰ４近傍にＰ４の定義領域をガイド３８０５として点線で表示させている。また、出力制御部１０４は、表示部１１２に、当該コンテキストグループ「Ｇ１」のガイドの近傍に処理名「おまかせズームイン」を処理候補３８０６として表示させている。一方、コンテキストグループ「Ｇ２」に対しては、表示中の処理番号や処理名が存在すると判断し（Ｓ３７０５のＹ）、コンテキストグループ「Ｇ２」のガイド３８０７を点線で表示させ、処理候補３８０８を既に表示中の処理候補３８０６と重畳しないよう調整して配置して表示させている。また、同様にして、出力制御部１０４は、表示部１１２に、一般物体を含むコンテキストグループ「Ｇ４」のガイド３８０９を実線で表示させ、処理候補３８１０を既に表示中の処理候補と重畳しないよう調整して配置して表示させている。

次に、出力制御部１０４は、すべてのコンテキストグループに対する処理候補の実行可否を確認したかを判定し（Ｓ３７０８）、規定時間（例えば、１秒間）が経過したか否かを判定し（Ｓ３７０９）、規定時間を経過した場合には処理候補実行処理を終了する（Ｓ３７０９のＹ）。

ステップＳ３７０９において、規定時間を経過していない場合（Ｓ３７０９のＮ）、出力制御部１０４は、操作入力部１１３から表示中の処理候補に対し、処理候補の実行指示を受け付けたか否かを判定し（Ｓ３７１０）、受け付けていない場合には（Ｓ３７１０のＮ）、処理候補の実行指示を規定時間内で待ち続ける。

ステップＳ３７１０において、操作入力部１１３から表示中の処理候補に対し実行指示を受け付けた場合（Ｓ３７１０のＹ）、指示を受けた処理候補を実行する（Ｓ３７１１）。例えば、図３８の処理候補３８０６の「おまかせズームイン」またはガイド３８０５の点線上をユーザがタッチパネルでタッチ操作した場合、当該コンテキストグループ「Ｇ１」に対し割り当てられた処理候補Ｅ１の実行を開始する。

図３８では、メニュー３８１１は「ＭＯＤＥ ＣＨＡＮＧＥ」と標記されている。つまり、本実施の形態では、メニュー３８１１には、メニュー３８１１がタッチ操作されることにより、表示部１１２が表示する処理候補の表示モードを切り替える機能を割り当てている。図３９は、図３８に示した処理候補の別の表示モードを示しており、ひとつのコンテキストグループに対して割り当てられた複数の処理候補をユーザに示すため、メニュー３８１１をタッチ操作することにより表示部１１２に表示される画面の例を示している。

なお、図３８では各コンテキストグループに対し処理候補Ｅ１の実行指示を受け付けた場合（モード）の例が示しているのに対して、図３９では各コンテキストグループに対して処理候補Ｅ２の実行指示を受け付ける場合（モード）の例が示されている。

図３９において、コンテキストグループ「Ｇ２」に紐付く処理候補３９０８、コンテキストグループ「Ｇ４」に紐付く処理候補３９１０については、処理候補名「指定追従撮影」という文字列を白色背景のメニュー構成で表示している。一方、コンテキストグループ「Ｇ１」については、処理候補名「指定追従撮影停止」の文字列を黒色背景のメニュー構成で表示している。これは、コンテキストグループ「Ｇ１」に対する処理候補が既に実行中であることを意味しており、ユーザから受け付け可能な操作指示は実行中の処理に対する「停止」であることを示している。

このように、図３９に示す例では、フォーカス領域と合致する入力コンテンツ最大領域の全体が撮影されていることを文字列表示３９０４で示しながら、コンテキストグループ「Ｇ１」に対して実行中の処理を黒色背景のメニュー構成などで示すことで、現在の処理実行状況や実行中の処理に対する操作指示停止などを受け付けることができる。

また、本実施の形態の別の様態について図４０を用いて説明する。

図４０は、実施の形態３のコンテンツ処理候補表示画面の別の一例を示す図である。

図４０に示す例では、表示部１１２が示す全画面表示領域４００１内のフォーカス領域４００２が入力コンテンツ最大領域の一部となり、実際にユーザが目視する動画像が部分的になるケースについて説明する。

図４０においては、フォーカス領域４００２に収まるコンテキストグループ「Ｇ１」のガイド４００５と処理候補名４００６「おまかせズームイン」とが表示され、さらに、コンテキストグループ「Ｇ３」のガイド４００７と処理候補名４００８「おまかせズームアウト」が表示されている。ここで、フォーカス領域が入力コンテンツ最大領域に対して部分的になる場合には、コンテキストグループ「Ｇ３」のようにフォーカス領域を跨ぐようなケースが発生する。その場合、図４０に示すように、コンテキストグループのガイドを部分的に表示し、そのガイドに紐付く処理候補名をマージン領域４００３など活用してガイド近傍に表示することで、ユーザに直感的な処理候補を提示する。

なお、本実施の形態では、説明簡易化のため、コンテキストグループ「Ｇ３」および「Ｇ５」以降を省略したが、当然当該コンテキストグループに関するガイドおよび処理候補名を表示するように制御しても良いし、画面表示上の煩雑さを解消するため、規定の処理候補数を間引いたりしても良いし、時系列で順に表示するよう制御しても良い。

なお、本実施の形態では、タッチパネル画面を前提にタッチ操作による処理候補またはメニュー操作の実行指示を例に説明したが、操作体系はこれに限らない。例えばマウスなどを用いた操作やペンを用いて丸などに囲む操作で操作内容を伝える仕組みなど、柔軟な操作方法を適用するようにしてもよい。また、画面表示上のガイドが煩雑になった場合、各ガイドに紐付く処理候補の表示に番号などを加えて表示しても良いし、ガイドの近傍またはガイド上に処理候補名を表示するように工夫しても良い。さらに、タッチ操作などによる押し間違えなどを防止するため、タッチ操作が容易となるよう処理候補またはガイドの一部をガイドに紐付けて大きく表示するようにしても良い。

なお、本実施の形態では、フォーカス領域をデジタルズームにより拡大表示する部分を意味するとして説明したが、フォーカス領域の定義はこれに限らない。対象コンテンツの編集過程で周囲にテンプレートや装飾素材が重畳されるケースにおいて、ユーザが目視可能な部分をフォーカス領域と定義しても良い。また、複数のカメラを有するデジタルカメラやヘッドマウントディスプレイなどにおいて、ひとつのカメラは広角端で入力コンテンツ最大領域を撮影し、もうひとつのカメラで撮影する部分をフォーカス領域と定義しても良い。

本実施の形態によれば、コンテンツ処理候補を表示部に表示し、操作入力部から受け付けたユーザによる操作指示に基づきコンテンツ処理候補を実行するよう制御することができる。そのため、例えば、タッチパネル式画面を搭載するデジタルカメラやマウス等の入力デバイスによる操作が可能な電子機器において、コンテンツ処理候補を目視しながらユーザが所望するコンテンツ処理の操作指示を受け付けることができる。つまり、コンテンツ処理装置の出力制御部による自動判定に従う当該操作ユーザの意図しないコンテンツ処理の実行を未然に防止しながら、ユーザが意図するコンテンツ処理、またはユーザが想像し得なかったコンテンツ処理の提案と実行が実現できる。

また、本実施の形態によれば、抽出された処理候補を当該オブジェクト要素の近傍に表示することができる。そのため、例えば、被写体に対する拡大処理（デジタルズーム加工）などの処理候補を被写体に紐付けて直感的に把握することができる。つまり、対象コンテンツに含まれる被写体に対する処理候補の操作指示誤りを軽減でき、より確実にコンテンツ処理を実行できる。

本実施の形態によれば、抽出された処理候補実行時の出力イメージに沿ったガイドラインを表示することができる。そのため、例えば、被写体に対する拡大処理（デジタルズーム加工）などの処理実行後の拡大処理結果をガイドラインによりユーザが直感的に把握できるので、複数の処理候補の中からユーザが所望する処理候補の選定を容易にすることができる。つまり、ユーザが意図しない処理候補の操作指示誤りを軽減でき、コンテンツ処理後のイメージを把握した上でより確実にコンテンツ処理を実行できる。

（変形例１）
また、実施の形態３の別の様態を変形例１として、図４１および図４２を用いて説明する。

図４１は、実施の形態３の変形例１におけるアイコン参照テーブルの例を示す図である。図４２は、実施の形態３の変形例１におけるコンテンツ処理候補表示画面の別の例を示す図である。

処理候補抽出部１０８は、例えば図４１に示すような、内部に画面表示用のアイコン参照テーブルを保持している。

図４１に示すアイコン参照テーブルでは、例えば図３４に示す処理候補パターンテーブルの各処理候補に対し、ユーザに通知可能なアイコンをアイコンＩＤ「ＺＩ」などで参照可能なように構成されている。図４１では、アイコンＩＤ「ＺＩ」は処理候補がズームイン処理を施すことを意味し、アイコンＩＤ「ＺＯ」は処理候補がズームアウト処理を施すことを意味する。また、アイコンＩＤ「ＦＲ」は処理候補がコンテキストグループを別のファイルとして撮影・録画処理を施すことを意味している。ここで、アイコンＩＤ「ＦＲ」に関しては、処理候補の実行前だけではなく、処理実行中にもその停止指示を意味するアイコンも用意している。

表示部１１２は、出力制御部１０４からの指示により処理候補番号や処理候補名を表示する。

本変形例では、表示部１１２は、アイコンＩＤを参照することにより図示しないファイル名、ファイルパス等で当該アイコンデータの表示に必要なデータにアクセスして、例えば図４２に示す画面のように表示を行う。図４２では、図３８で示した画面の例に対し、処理候補名「おまかせズームイン」の表示が省略されている。また、コンテキストグループ「Ｇ１」のガイド４２０５と処理候補アイコン４２０６が表示され、さらに、コンテキストグループ「Ｇ２」のガイド４２０７と処理候補アイコン４２０８、コンテキストグループ「Ｇ４」のガイド４２０９と処理候補アイコン４２１０が表示されている。なお、コンテキストグループ「Ｇ３」および「Ｇ５」以降も同様のため、説明を簡略化するために省略する。

このように、本変形例では、ひとつのコンテキストグループに対し、複数の処理候補が存在する場合は、ユーザが直感的に把握し易いアイコンを用いることで複数の処理候補を同時に提示する。

本変形例によれば、抽出された処理候補の概要を示すアイコンや操作入力部からの操作指示の指定を容易にするアイコンまたはメニューを表示することができる。そのため、例えば、被写体に対する拡大処理（デジタルズーム加工）などの処理をアイコンによりユーザが直感的に把握でき、複数の処理候補が同一画面上に混在する状況においても、ユーザが所望する処理候補の選定をアイコンまたはメニューにより容易にすることができる。つまり、ユーザが意図しない処理候補の操作指示誤りを軽減でき、コンテンツ処理の概要を操作ユーザが把握した上でより確実にコンテンツ処理を実行できる。

（変形例２）
また、実施の形態３の別の様態を変形例２として、図４３および図４４を用いて説明する。

図４３は、実施の形態３の変形例２における入力コンテンツ最大領域に対するフォーカス領域の配置例および解析規定範囲の例を示す図である。図４４は、実施の形態３の変形例２におけるコンテンツ解析処理の内部状態を示す図である。

本変形例では、例えば図４３に示すように、出力制御部１０４は、対象となる入力コンテンツの最大領域４３０１と現在のフォーカス領域４３０２とを常に取得・管理している。そして、出力制御部１０４は、コンテンツ解析部１０５に入力コンテンツのコンテンツ解析処理を依頼する際、現在のフォーカス領域４３０２に対し、解析規定範囲を算出して当該解析規定範囲に対してのみコンテンツ解析処理を行うよう指示する。

コンテンツ解析部１０５は、出力制御部１０４からの要求に従い、当該解析規定範囲に対してのみオブジェクト要素の抽出を行う。その結果、図４４に示すように、入力コンテンツ最大領域４４０１に対し、フォーカス領域４４０２の解析規定範囲４４０３に収まるオブジェクト要素のみが抽出される。ここでは、前述した人物を示すオブジェクト要素「Ｐ３」〜「Ｐ６」がそれに該当する。

本変形例によれば、対象コンテンツに対し、フォーカス領域に基づく解析処理となるよう制御することができる。そのため、例えば、最大領域の解像度が横４０９６ピクセルと縦２１６０ピクセルでフォーカス領域に対する解析規定範囲の解像度が横１０２４ピクセルと７６８ピクセルの場合、フォーカス領域に対する解析規定範囲に含まれるオブジェクト要素の解析のみで処理候補を抽出でき、最大領域におけるコンテンツ解析処理に対してコンテンツ解析処理負荷が軽減できる。したがって、処理負荷軽減によりコンテンツ処理装置の応答レスポンス等の改善や消費電力の低減が期待できる。

（変形例３）
また、実施の形態３の別の様態を変形例３として、図４５〜図４８を用いて説明する。

図４５は、実施の形態３の変形例３における処理候補実行処理の流れを示すフローチャートである。図４６は、実施の形態３の変形例３におけるフォーカス領域とフォーカス領域外のコンテキスト情報との相対位置関係の例を示す図である。図４７は、実施の形態３の変形例３におけるフォーカス領域外のコンテキスト情報に対する相対座標算出結果の例を示す図である。図４８は、実施の形態３の変形例３におけるフォーカス領域外のコンテンツ処理候補を含むコンテンツ処理候補表示画面の例を示す図である。

なお、図４５に示す出力制御部１０４の処理候補実行処理の流れのうち、ステップＳ４５０１〜４５０４までの処理、ステップＳ４５０９〜４５１５までの処理は図１８、図２２および図３７に示した処理の流れと同じであるため、説明を省略する。

ステップＳ４５０５において、出力制御部１０４は、コンテキストグループの中心座標がフォーカス領域外であるかを確認する。

出力制御部１０４は、コンテキストグループの中心座標がフォーカス領域外である場合（Ｓ４５０５のＹ）、コンテキストグループの中心座標とフォーカス領域の中心座標を結ぶ直線とフォーカス領域端との交点から相対座標を算出する（Ｓ４５０６）。

例えば、図４６に示す例では、入力コンテンツ最大領域４６０１に対し、フォーカス領域４６０２が部分的に存在するため、出力制御部１０４は、フォーカス領域４６０２の外に位置するコンテキストグループ「Ｐ１」〜「Ｐ３」および「Ｐ６」に対し、フォーカス領域４６０２の中心座標から各コンテキストグループの中心座標に対する直線を論理的に算出する。そして、フォーカス領域４６０２端との交点座標を相対座標として算出する。

出力制御部１０４は、例えばフォーカス領域４６０２における座標軸を新たに定義した場合、例えば図４７に示すように、「Ｐ１」の相対座標は「０，３４８」、「Ｐ２（Ａｌｉｃｅ）」の相対座標は「０，３３２」、「Ｐ３」の相対座標は「０，３１５」と算出する。

なお、本変形例は、説明簡易化のため、各コンテキストグループに人物を示すオブジェクト要素が含まれているものとし、各コンテキストグループに含まれるオブジェクト要素に対応する人物名を処理候補の代わりに表示する。その後、ユーザにより指示されたコンテキストグループに対する処理候補を表示する場合として説明する。

次に、出力制御部１０４は、表示中の処理番号や処理名と相互に重畳しないよう実行可能な処理番号や処理名またはコンテキスト情報を表示させる（Ｓ４５０７）。

具体的には、例えば図４８に示すように、出力制御部１０４は、表示部１１２に、フォーカス領域内に位置する「Ｐ４」を含むコンテキストグループ４８０５や「Ｐ５」を含むコンテキストグループ４８０６に対してはそれらコンテキストグループ近傍にコンテキストグループに含まれる人物名「Ｍｉｋｅ」や「Ｔｏｍ」を表示させる。一方、出力制御部１０４は、フォーカス領域外に位置するコンテキストグループ「Ｐ１」〜「Ｐ３」および「Ｐ６」については、最も左側に位置しながら人物を特定できなかった「Ｐ１」を除き、出現方向を意味する矢印アイコン「▲」をマージン領域４８０３に相対座標に基づき、表示部１１２に表示させる。さらに、各コンテキストグループの出現順序に従い、左側から２番目に出現する「Ｐ２（Ａｌｉｃｅ）」は４８０７とし、左側から３番目に出現する「Ｐ３（Ｄａｎ）」の４８０８よりもより左寄りに表示されるよう制御する。また、フォーカス領域に対し右側に位置する「Ｐ６（Ｐａｕｌ）」はフォーカス領域の右側にその存在を示す４８０９を表示する。これにより、マージン領域４８０３にフォーカス領域外のコンテキストグループが存在することをユーザに提示することができる。

なお、本変形例では、説明簡易化のためにコンテキストグループに対する処理候補の表示の代わりに、コンテキストグループが含むオブジェクト要素に対応するコンテキスト情報として人物名を表示することで、ユーザに直感的に存在を知らしめる方式で説明したが、表示方法はこれに限らない。例えばマージン領域のサイズを比較的大きく設定しフォーカス領域外のコンテキストグループおよび処理候補をマージン領域内に収まるように表示するようにしても良い。また、フォーカス領域外のコンテキストグループに対する処理候補の処理候補名を直接表示するようにしても良いし、処理概要を示すアイコンを表示しても良いし、処理実行時の出力結果イメージをサムネイル等により表示するようにしても良い。

本変形例によれば、フォーカス領域とは別に、処理候補表示領域に処理候補を表示するよう制御することができる。そのため、例えば、フォーカス領域においては対象コンテンツの内容を表示しながら、処理候補表示領域に処理候補を表示できる。このようにして、フォーカス領域に含まれるオブジェクト要素に対する処理候補の重畳表示による対象コンテンツの可視性低減を回避でき、処理候補表示領域に表示される処理候補の選択のみで所望の処理を実行できる。

また、本変形例によれば、対象コンテンツに対し、フォーカス領域以外のオブジェクト要素に対しても解析し、フォーカス領域以外のオブジェクト要素に対する処理候補も抽出することができる。そのため、例えば、フォーカス領域として表示されている人物以外に、他に撮影・閲覧・編集すべきオブジェクト要素が発見され、フォーカス領域において表示されていない人物や一般物体に対する処理候補が表示されるので、当該ユーザが処理候補の実行を選択操作のみで指示することによりコンテンツの縮小処理（デジタルズームアウト）を即時に実行できる。このようにして、ユーザがフォーカス領域に対して意図するコンテンツ処理以外に、フォーカス領域以外に含まれるオブジェクト要素に対するユーザが想像し得なかったコンテンツ処理の提案と実行が実現できる。

また、本変形例によれば、フォーカス領域の中心に対し、フォーカス領域以外のオブジェクト要素に対する処理候補が出現方向および出現順序に応じて表示することができる。そのため、例えば、フォーカス領域として表示されている人物以外に、他に撮影・閲覧・編集すべきオブジェクト要素が上下左右のいずれかの方向に存在しているかが可視化され、フォーカス領域において表示されていない人物や一般物体に対する処理候補の選定が出現順序などにより直感的になり、当該ユーザが処理候補の実行を実際の空間上における位置関係に則して選択指示できる。このようにして、フォーカス領域以外に含まれるオブジェクト要素に対する処理候補の指示誤りが軽減され、より確実に処理候補を実行できる。

（変形例４）
また、実施の形態３の別の様態を変形例４として、図４９を用いて説明する。

図４９は、実施の形態３の変形例４におけるフォーカス領域外のコンテンツ処理候補を含むコンテンツ処理候補表示画面の例を示す図である。

本変形例では、出力制御部１０４は、当該コンテキスト情報の出力優先度または処理候補の実行優先度に応じて、当該コンテキストグループに紐付く処理候補の表示内容を装飾などにより変更する。例えば、図４９に示すように、主題であるコンテキストグループに含まれるコンテキスト情報「Ｐ４（Ｍｉｋｅ）」は表示４９０５のように通常の白色背景のアイコンではなく、網掛けなど特殊な配色やパターン模様を用いた装飾を施すよう制御する。また、出力優先度が比較的高いコンテキストグループに含まれ、フォーカス領域外に位置するコンテキスト情報「Ｐ２（Ａｌｉｃｅ）」は表示４９０７のように通常の白色背景のアイコンよりも大きめの表示とし、文字列の表示も太字とするなどの装飾を施すよう制御する。さらに、出力優先度が低いコンテキストグループに含まれるコンテキスト情報「Ｐ３（Ｄａｎ）」は表示４９０８のように通常のアイコンよりもユーザが目視可能な範囲で小さめに表示するよう制御する。

以上、本変形例によれば、コンテキスト情報の出力優先度により処理候補の表示内容を装飾等により強調制御することができる。そのため、例えば、主題や重要な副題をユーザが容易に発見でき、フォーカス領域に表示されている人物以外にも他に撮影・閲覧・編集すべき被写体の存在有無をユーザに強調しながら通知できる。このようにして、ユーザがオブジェクト要素を見逃すといった機会損失を軽減できる。

（変形例５）
また、本実施の形態３の別の様態を変形例５として、図５０〜図５５を用いて説明する。

図５０は、実施の形態３の変形例５における処理候補パターンテーブルの例を示す図である。図５１は、実施の形態３の変形例５における処理候補実行処理の流れを示すフローチャートである。図５２は、実施の形態３の変形例５におけるコンテンツ処理候補表示画面の例を示す図である。図５３は、実施の形態３の変形例５におけるコンテンツ処理候補表示画面のサブメニューを表示する例を示す図である。

本変形例では、処理候補抽出部１０８は、図５０に示す処理候補パターンテーブルを内部で保持する。図５０では、図３４に示す処理候補パターンに、当該コンテキストグループが複数選択される場合が条件として加わった場合の例が示されている。ここで、例えば処理候補Ｅ７は、コンテキストグループを複数指定された場合、「おまかせ分割表示」として当該コンテキストグループ領域を分割して表示する処理を意味する。また、処理候補Ｅ８は、コンテキストグループを複数指定された場合、「おまかせ分割撮影」として当該コンテキストグループをひとつの動画像に合成し、フォーカス領域の表示とは別に切り出して記録する処理を意味する。

次に、出力制御部１０４による処理候補実行処理について、複数のコンテキストグループが指定された場合の受け付け処理の流れおよび分割出力時の処理の流れについて説明する。

図５１に示す出力制御部１０４の処理候補実行処理の流れのうち、ステップＳ５１０１〜５１０３までの処理は図１８、図２２、図３７および図４５に示した処理の流れと同じであるため、説明を省略する。

ステップＳ５１０１およびＳ５１０２において、出力制御部１０４は、当該コンテキストグループの処理候補を表示部１１２に表示させ、規定時間以内にユーザからの処理候補実行指示を受け付ける。

次に、出力制御部１０４は、表示中の処理候補に対し実行指示を受け付けたかを各にする（Ｓ５１０３）。

ステップＳ５１０３において、表示中の処理候補に対し実行指示を受け付けた場合（Ｓ５１０３のＹ）、さらに表示中の処理候補のうち２つ以上の処理候補またはコンテキスト情報に対して実行指示を受け付けた場合（Ｓ５１０４のＹ）、受け付けた処理候補またはコンテキスト情報に紐付くコンテキストグループの状態情報に基づき処理候補の内容を調整する（Ｓ５１０５）。具体的には、例えば図５２に示すフォーカス領域５２０２において、表示５２０５〜表示５２０９が表示されて、ユーザが操作入力部１１３を介してタッチ操作を行うことが可能である旨を意味する「●（黒丸）」が表示されている。ユーザが「Ａｌｉｃｅ」を黒丸５２１０で、「Ｔｏｍ」を黒丸５２１１でタッチした場合、２つを同時或いは僅差で選択したことにより複数の処理候補またはコンテキスト情報を選択する。

次に、出力制御部１０４は、操作入力部１１３が受け付けた２つ以上の処理候補またはコンテキスト情報に紐付くコンテキストグループの状態情報に基づき処理候補の内容調整結果に従い、実行可能な処理候補をサブメニューとして表示する（Ｓ５１０６）。

具体的には、出力制御部１０４は、例えば図５３に示す黒丸５３１０および黒丸５３１１がタッチ操作されることにより、実際の実空間上での出現順序に配慮して、最も左側に位置する「Ａｌｉｃｅ」から次に出現する「Ｄａｎ」、そしてフォーカス領域にて表示中の「Ｍｉｋｅ」と続き、タッチ操作により指定されている「Ｔｏｍ」までを処理候補の内容調整の対象コンテキストグループと判定し、表示上のアイコンを選択状態として色などで強調する。さらに、出力制御部１０４は、サブメニュー表示領域５３１２を表示部１１２に表示させる。例えば、出力制御部１０４は、表示部１１２に選択中の複数のコンテキストグループに共通して実行可能な処理候補を、サブメニュー表示領域５３１２に並べて表示させる。ここで、処理候補Ｅ１はサブメニュー５３１３の「おまかせズームアウト」、処理候補Ｅ２はサブメニュー５３１４の「指定追従撮影」、処理候補Ｅ７はサブメニュー５３１５の「おまかせ分割表示」、処理候補Ｅ８はサブメニュー５３１６の「おまかせ分割撮影」にそれぞれ割り当てられている。フォーカス領域にて入力コンテンツの最大領域となる全体を表示するための汎用的な処理候補をサブメニュー５３１７の「全体表示」として表示されている。

次に、出力制御部１０４は、提示したサブメニューに対し、操作入力部１１３を介して実行指示を受け付けた場合、指示を受けた処理候補を実行する（Ｓ５１０７）。

図５４は、実施の形態３の変形例５における分割表示の出力処理の流れを示すフローチャートである。図５５は、実施の形態３の変形例５における分割合成テンプレートの例を示す図である。図５６は、実施の形態３の変形例５における分割表示の出力結果の画面表示の例を示す図である。

図５４に示すフローチャートは、図５１に示す処理候補実行処理のうち、ステップＳ５１０７の具体例のひとつである分割表示を例にした出力処理の流れを示している。以降、指定されたコンテキストグループを分割表示する例について説明する。

まず、出力制御部１０４は、操作入力部１１３がユーザから受け付けた少なくとも１つ以上のコンテキストグループを取得する（Ｓ５４０１）。

次に、コンテンツ解析部１０５は、各コンテキストグループに対し抽出された抽出座標および抽出領域を解析して取得する（Ｓ５４０２）。

次に、出力制御部１０４は、指定されたコンテキストグループの数、抽出座標による各コンテキストグループ間の位置関係、および抽出領域のサイズなどからコンテンツ処理装置１００が出力可能な出力テンプレートを処理候補の目的別に作成する（Ｓ５４０３）。

ここで、指定されたコンテキストグループを分割して表示する「分割合成テンプレート」を例に挙げて説明する。

図５５に示す分割合成テンプレート５５０１は、分割合成枠「Ｔ１」〜「Ｔ４」などを有している。コンテンツ加工部１１０は、出力制御部１０４はからの要求に基づき、当該コンテキストグループの抽出座標および抽出領域に基づき当該入力コンテンツを部分的に切り出し、この分割合成枠に切り出した動画像を割り当てる。ここで、分割合成枠名を「ＴＮ１」〜「ＴＮ４」とし、分割合成テンプレート名を「ＴＩＴＬＥ（図中５５０２）」で表現する。

次に、出力制御部１０４は、作成した出力テンプレートについて、収容したいコンテキストグループの数や分割などの出力表示サイズから指定された全てのコンテキストグループを当該出力テンプレートに適合するかを判定する（Ｓ５４０４）。

ステップＳ５４０４において、適合する場合には（Ｓ５４０４のＹ）、指定された全てのコンテキストグループを当該出力テンプレートに割り当てるための出力用リソースをコンテンツ処理装置１００にて確保できるかを確認する（Ｓ５４０５）。ここで、出力用リソースとは、例えば動画像処理のためのチャンネルやＣＰＵ処理、出力に必要な蓄積部１０２の空き容量など一般的なデジタル処理に必要な準備と処理能力である。

ステップＳ５４０５において、リソースを確保できる場合（Ｓ５４０５のＹ）、出力制御部１０４は、出力優先度の高いコンテキストグループから順に出力テンプレートに出力を行い（Ｓ５４０７）、全てのコンテキストグループに対して出力を行う（Ｓ５４０８）。

なお、ステップＳ５４０４でＮおよびステップＳ５４０５でＮと判定された場合は、指定されたコンテキストグループのうち、出力優先度の低いコンテキストグループを候補から排除するなどして、出力テンプレートに対する適合を図る（Ｓ５４０６）。

次に、出力制御部１０４は、当該指定のコンテキストグループに対し、出力処理を確認した後（Ｓ５４０８のＹ）、出力テンプレートにおいて出力可能な入力コンテンツの撮影日時や入力コンテンツに関するイベントのタイトルなどを取得し、出力テンプレートに合成する（Ｓ５４０９）。

そして、出力制御部１０４は、出力結果を出力する（Ｓ５４１０）。ここで、例えば、出力制御部１０４は、表示部１１２に分割表示の結果を表示させたり、蓄積部１０２に分割表示を意図したファイルとして出力したりする。

図５６には、図５５の「分割合成テンプレート」に基づく分割表示の出力結果例が示されている。具体的には、分割合成テンプレートの「Ｔ１」に、コンテキストグループ「Ｇ１」（主題であるＰ４：Ｍｉｋｅの映像）を合成し、「ＴＮ１」に主題のコンテキスト情報である「Ｍｉｋｅ」を合成する。以降同様に「Ｔ２」〜「Ｔ４」を出力優先度に従い「Ｇ２」以降のコンテキストグループを出力している。また、分割合成テンプレートの「ＴＩＴＬＥ（図中５５０２）」に撮影日付とイベント名を示す「２００２／５／３０ おゆうぎ会」を出力している。

なお、本変形例では、処理候補となるコンテキストグループを複数選択した場合、その出現順序に従ったコンテキストグループを一括処理の対象として説明したが、複数選択する場合の処理候補の内容調整の方法はこれに限らない。例えば、個別に選択されたコンテキストグループに対してのみ処理候補の内容を調整するようにしても良いし、優先度が高いコンテキストグループに対してのみ処理候補の内容を調整するようにしても良い。

また、本変形例では、説明簡易化のため、出力テンプレートを出力制御部１０４が都度作成する形式で説明したが、出力テンプレートの創出方法はこれに限らない。例えば、出力制御部１０４が内部に管理する図示しないテンプレート管理テーブルに予め出力パターン数だけ用意しておくようにしても良い。

また、本変形例では、説明簡易化のため、コンテンツ解析部１０５により抽出されたオブジェクト要素が一般物体であった場合を省略して説明したが、この場合に限られない。例えばステップＳ５４０３、ステップＳ５４０４、或いはステップＳ５４０６等で一般物体を分割合成枠「Ｔ１」等に割り当てない等を出力制御部１０４が判断するようにしても良いし、出力テンプレートの初期定義に各出力枠の推奨利用方法を予め記載するようにしておくようにしても良い。

以上、本変形例によれば、ユーザが指示した少なくとも２以上のコンテキスト情報に対し、実空間における配置・出現順序・位置関係・人物同士の関係性などを含む解析データ・出力優先度に基づき処理候補の選定・内容調整・表示を制御することができる。そのため、例えば、複数の被写体に対して共通的な処理候補を直感的かつ容易に選択でき、実空間上における配置に従った処理候補の提示ができる。このようにして、ユーザによる誤操作を防止し操作数が軽減できる。

また、本変形例によれば、選定された少なくとも１以上のコンテキスト情報（コンテキスト情報）を収容する出力テンプレートをコンテキスト情報の実空間における配置・出現順序・位置関係・人物同士の関係性などを含む解析データ・出力優先度に基づき生成し、合成表示や合成ファイルの出力を行うことができる。そのため、例えば、動的に変化するテンプレートに従った分割表示などの動画像を生成でき、パーソナルコンピュータなどの専用ツールを用いて複数の動画像からひとつの動画像を編集する手間を排除することができる。このようにして、撮影や閲覧といった操作と同時に少なくとも１以上のコンテキスト情報を配置した合成作品を生成する新たな手段を実現できる。

（変形例６）
また、本実施の形態３の別の様態を変形例６として、図５７〜図５８を用いて説明する。

図５７は、実施の形態３の変形例６におけるコンテキスト情報に対し出力処理を指示する操作の例を示す図である。図５８は、実施の形態３の変形例６における分割表示の出力結果の画面表示の別の例を示す図である。

例えば図５７に示すように、表示部１１２が表示する全画面表示領域５７０１に対し、フォーカス領域５７０２に対象となる入力コンテンツの一部が表示され、マージン領域５７０３に現在実行中の処理番号「（１）」と処理名「全体撮影中」とが表示５７０４として表示されているとする。また、フォーカス領域内のコンテキストグループとして主題である「Ｍｉｋｅ（５７０５）」と副題である「Ｔｏｍ（５７０６）」とが抽出されているとして以下説明する。

変形例５では、図５２を用いて、出力制御部１０４は、操作入力部１１３からコンテキストグループを複数指定されることにより処理候補を含むサブメニューを表示させ、ユーザに処理候補を選択させる流れについて説明した。

それに対して、本変形例では、図５７を用いて、例えばユーザがマージン領域５７０３の領域内、即ちフォーカス領域外でユーザがタッチ操作を行い、図中の「●（黒丸）」で示す黒丸５７０７から、黒丸５７０８までドラッグ操作をした場合について説明する。ここで、ドラッグ操作とは、タッチ操作を継続しながら上下左右に位置を移動させる操作方法である。

より具体的には、出力制御部１０４は、操作入力部１１３からユーザがマージン領域５７０３からドラッグ操作を開始したことを検出し、その後のドラッグ操作の方向性および軌跡を内部で管理する。そして、出力制御部１０４は、図中の矢印５７０９に従い再びマージン領域にドラッグ操作が至った場合、当該フォーカス領域に含まれるコンテキストグループに対し、領域を跨ぐコンテキストグループを別の扱いと判定し、処理候補の内容の調整および実行の要否判定を行う。

図５８には、コンテキスト情報「Ｍｉｋｅ」を含むコンテキストグループとコンテキスト情報「Ｔｏｍ」を含むコンテキストグループとをユーザによるドラッグ操作により別の扱いと判定し、各コンテキストグループを分割表示する例が示されている。

ここで、出力制御部１０４は、フォーカス領域５８０２に入力コンテンツの一部を表示する代わりに、ドラッグ操作により分断されたコンテキストグループをドラッグの軌跡に従い分割する出力テンプレートを作成する（図５４ステップＳ５４０３に相当）。次いで、分割合成枠５８０５と分割合成枠５８０６にコンテキスト情報および付帯情報が収容されるようコンテキストグループの切り出し度合いを調整しながら各動画像を合成し、撮影日付やタイトル枠５８０７と共に表示させる。

なお、図中、メニュー５８０８には「ＭＯＤＥ ＣＨＡＮＧＥ」と標記されている。メニュー５８０８には、メニュー５８０８をタッチ操作することで表示部１１２が表示する処理候補の表示モードを切り替える機能を割り当てるとしてもよい。この場合、分割表示前の入力コンテンツの一部をフォーカス領域に表示するモードなどに復帰できる。

なお、本変形例では、マージン領域からフォーカス領域を介してマージン領域に到達するドラッグ操作を例に説明したが、ドラッグ操作を含むタッチ操作はこれに限らない。例えば、マージン領域とは独立に、コンテキスト情報を連続的に囲むようにドラッグ操作を行い、ドラッグ操作による閉空間が検出された際に当該閉空間内に含まれる少なくとも１以上のコンテキスト情報を処理対象としても良い。また、ある特定の形状（例えば三角形やハート型など）で少なくとも１以上のコンテキスト情報が囲まれた場合には特定の処理候補（三角形ならデジタルズーム処理、ハート型ならハート型で切り出したテンプレートで分割表示など）を実行するように割り当てても良い。

以上のように、本変形例によれば、ユーザからのタッチ操作入力などにより、少なくとも１以上のコンテキスト情報の指定と処理候補を特定することができる。また、コンテキスト情報に加えてタッチ操作で指定された領域の分割線の軌跡や各コンテキストグループに割り当てられた面積比率などから出力テンプレートを動的に生成し、その動画像に対する処理候補と合成内容および出力結果を変化させることができる。そのため、例えば、面積比でズーム率を制御する、単位時間の被写体オブジェクト要素の行動範囲に基づき合成するコンテキストグループの画角を判定するなどの制御ができる。このようにして、タッチ操作による直感的なコンテキスト情報の指定および処理候補の実行が実現でき、ユーザによる操作負担を軽減できる。

以上、本実施の形態によれば、コンテンツの撮影、閲覧、編集の際に、コンテンツ処理に必要なユーザによる思考と操作の負担を軽減するコンテンツ処理装置、コンテンツ処理方法およびプログラムを実現することができる。

なお、本実施の形態においては、撮影・閲覧・編集時に表示またはファイル出力されるコンテンツは、撮影・閲覧・編集と同時にコンテンツ加工処理がなされて出力されることを想定して説明してきたが、加工・出力のタイミングはこれに限らない。例えば内部で決定した指示またはユーザから受け付けた指示に基づく処理内容を内部で記憶しておき、内部での指示決定またはユーザからの指示決定とは非同期にコンテンツ加工処理を実行しても良い。また、上述した出力用リソースが確保されたタイミングで実行するようにしても良い。

また、本実施の形態においては、撮影・閲覧・編集時に表示またはファイル出力されるコンテンツは、撮影・閲覧・編集と同時に入力された入力コンテンツを時系列で切り出す例を用いて説明したが、コンテンツ加工処理の対象となる入力コンテンツはこれに限らない。蓄積部１０２にコンテンツデータ１０３とコンテンツデータ１０３のコンテキスト情報およびコンテキストグループを履歴情報として蓄積しておき、撮影と同時にコンテンツ入力部１０１から入力される入力コンテンツに加えて、蓄積部１０２に蓄積されているコンテンツデータ１０３とコンテキスト情報およびコンテキストグループを参照して合成するようにしても良い。この場合、撮影・閲覧・編集時において、対象となる入力コンテンツに限らず、蓄積部１０２に蓄積されているコンテンツデータ１０３までもが合成の対象とすることができる。それにより、撮影・閲覧・編集の幅が広がり、蓄積されている過去の被写体オブジェクトと現在の被写体オブジェクトをコンテキスト情報に基づき関連付けて比較表示・分割合成して再生するスライドショーなど、撮影・閲覧・編集の都度違った合成・演出を伴うコンテンツ処理を提供できる。

また、本実施の形態においては、撮影・閲覧・編集時に表示またはファイル出力されるコンテンツは、撮影・閲覧・編集の対象となる対象コンテンツまたは蓄積部１０２されているコンテンツデータ１０３を中心に説明したが、それに限らない。例えば表示またはファイル出力される際に合成されるコンテンツの要素はこれに関連付けられる装飾素材（例えば、ランドマークとなる塔をデフォルメしたアニメーション装飾パーツなど）を合成するようにしてもよい。その場合には、合成・演出の幅を広げることができる。

（実施の形態４）
次に、実施の形態４について説明する。本実施の形態では、コンテンツ処理装置がネットワークに接続される場合の例について説明する。

図５９は、実施の形態４のコンテンツ処理装置１００Ｃの構成を示すブロック図である。図５９において、図１、図２１および図２５と同じ構成要素については同じ符号を用い、説明を省略する。

図５９に示すコンテンツ処理装置１００Ｃは、図２５に示すコンテンツ処理装置１００Ｂの構成要素に加え、通信部１１４を有する。

通信部１１４は、コンテンツ処理装置１００Ｃの外部の機器との通信を行う。通信部１１４は、例えば、ネットワークカードなどの通信デバイスであり、コンテンツ処理装置１００Ｃと外部のネットワーク２００に接続される各種装置との通信または遠隔操作を受け付ける役割を担う。本実施の形態では、通信部１１４は、図５９に示すように、インターネットやイントラネットといったネットワーク２００を介し、外部のコンテンツ処理装置１００Ｄや外部の情報提供装置３００と接続される。

また、通信部１１４は、出力制御部１０４からの要求に従い、ネットワーク２００を介して情報提供装置３００に情報取得を要求する要求メッセージを送信する。

また、通信部１１４は、情報提供装置３００からの応答メッセージを受け付け、応答メッセージの内容を確認し、取得した情報を出力制御部１０４に応答する。取得した情報とは、例えば、コンテンツ処理装置１００Ｃで利用可能な解析用情報や処理パターンおよび出力テンプレートといった情報である。

出力制御部１０４は、取得した情報を分解し、解析用情報１０６である場合はコンテンツ解析部１０５へ、処理パターン１０９である場合は処理候補抽出部１０８へ転送する。なお、情報が出力テンプレートであった場合は、出力制御部１０４が内部で保持する出力テンプレートに追加または更新を行う。

情報提供装置３００は、通信部３０１と、情報提供制御部３０２とを有する。情報提供制御部３０２は、外部に提供可能、かつ、コンテンツ処理装置１００Ｃで利用可能な解析用情報や処理パターンおよび出力テンプレートといった情報を内部のＨＤＤなどの記憶装置３０３に保持する。本実施の形態では、情報提供装置３００は、例えば、インターネットやイントラネットに接続されるアプリケーションサーバやコンテンツ配信サーバ、データベースやソーシャルネットワーキングサービスのサービスサーバなどである。

また、通信部３０１は、コンテンツ処理装置１００Ｃからの要求メッセージを受け付け、情報提供制御部３０２にて要求メッセージの内容を確認する。ここで、一般的には要求元のコンテンツ処理装置１００Ｃが情報提供を許可された装置であるか、或いはコンテンツ処理装置１００Ａを所有するオーナーが情報提供を受ける権利を有するか等を判断する。そして、情報提供が許容される場合には、コンテンツ処理装置１００Ｃに有用な情報を含む応答メッセージを作成し、通信部３０１を介してコンテンツ処理装置１００Ｃに返信する。

なお、本実施の形態では、コンテンツ処理装置１００Ｃが情報提供装置３００に情報取得を要求する例で説明したが、情報の取得方法はこれに限らない。通信部１１４がネットワーク２００を介した情報提供装置３００からの要求に基づき、情報取得を開始するようにしても良い。

なお、本実施の形態では、コンテンツ処理装置１００Ｃが追加・更新する取得した情報として、解析用情報、処理パターンおよび出力テンプレートを例に挙げて説明したが、追加・更新する情報はこれに限らない。例えば、処理候補抽出部１０８が一般的な動画像の構図や色彩のパターンを網羅した構図色彩パターンを管理するとし、これらの構図色彩パターンを情報提供装置３００から取得するようにしても良い。また、処理候補抽出部１０８が対象となる入力コンテンツの入力コンテンツ最大領域、フォーカス領域、または定義された各コンテキストグループに対する切り出し領域の動画像と構図色彩パターンを比較し、その構図色彩パターンとの比較から抽出される処理候補（例えば、オブジェクト要素全体を表示するようにデジタルズームアウトする、被写体として食べ物が写っているため彩度を上げる、など）を用いるようにしても良い。

以上、本実施の形態によれば、ネットワークで接続される情報提供装置から最新の解析用情報や処理パターン、出力テンプレートなどの情報をネットワーク経由で取得し、コンテンツ処理装置が保持する情報を追加・更新させることができる。そのため、例えば、解析用情報の陳腐化によるコンテキスト情報の抽出失敗を軽減できるので、出力に関わるコンテンツ加工方法の処理パターンや出力テンプレートの追加・品質向上・メンテナンスを図ることができる。

（実施の形態５）
次に、実施の形態５について説明する。

図６０は、実施の形態５のコンテンツ処理装置１００Ｅの構成を示すブロック図である。図６０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図６０に示すコンテンツ処理装置１００Ｅは、図１に示すコンテンツ処理装置１００と比較して、出力部１１１がなく、コンテンツ入力制御部１１５が追加されている。

コンテンツ入力制御部１１５は、出力制御部１０４の処理結果に基づき、コンテンツ入力部１０１の制御を行う。コンテンツ入力制御部１１５は、例えば、コンテンツ処理装置１００に内蔵または装着される三脚や雲台であり、コンテンツ入力部１０１をカメラとした場合、カメラが向いている方向を調節する役割を担う。

図６１Ａおよび図６１Ｂは、実施の形態５の入力コンテンツ最大領域に対するコンテキスト情報の位置関係の例を示す図である。

出力制御部１０４は、図６１Ａに示すように、コンテンツ入力部１０１から対象となる入力コンテンツを取得し、コンテンツ解析部１０５に入力コンテンツ最大領域に関する解析を要求する。ここで、出力制御部１０４は、図の最大領域マージン枠６１０２を最大領域の四辺からの規定幅などで定義する。そして、出力制御部１０４は、コンテンツ解析部１０５に、入力コンテンツ最大領域６１０１と最大領域マージン枠６１０２との間に該当する最大領域マージン枠６１０２に抽出したコンテキスト情報が重畳しているか否かを、当該抽出コンテキストグループの状態情報である抽出座標と抽出領域の位置関係とから判定するよう依頼する。この時、出力制御部１０４は、入力コンテンツ最大領域６１０１とは別に、コンテンツ処理装置１００を操作するユーザが注目するフォーカス領域６１０４を管理している。

ここで、図６１Ａに示すように、コンテンツ解析部１０５は、人物被写体情報であるオブジェクト要素「Ｐ１」〜「Ｐ６」をコンテキスト情報として抽出する。コンテンツ解析部１０５は、例えばコンテキスト情報「Ｐ１」が最大領域マージン領域に重畳している場合、入力コンテンツの最大領域マージン枠からのはみ出しが発生したことと、はみ出した方向と、はみ出し幅とを出力制御部１０４に通知する。出力制御部１０４は、コンテンツ解析部１０５からの通知を受け、コンテンツ入力制御部１１５にコンテンツ解析部１０５から通知を受けたはみ出し方向と、はみ出し幅に従い、コンテンツ入力部１０１の方向を変更するよう要求する。コンテンツ入力制御部１１５は、出力制御部１０４からの要求に応じて方向を変更し、その結果を応答する。

図６１Ｂに示すように、出力制御部１０４がコンテンツ入力制御部１１５にコンテンツ入力部１０１の方向の変更を依頼する前の入力コンテンツ最大領域６１１０に対し、依頼した後の入力コンテンツ最大領域６１１１が、図６１Ａに示したコンテキスト情報「Ｐ１」の位置に従い移動している。つまり、コンテンツ入力制御部１１５によりコンテンツ入力部１０１の方向が変更された後の最大領域マージン枠６１１２および最大領域マージン枠６１１３に対し、コンテキスト情報「Ｐ１」〜「Ｐ６」が各々重畳していない状態に改善されている。

なお、本実施の形態では、コンテンツ解析部１０５が抽出したコンテキスト情報と最大領域マージン領域との重畳を例に説明したが、コンテンツ入力制御部１１５によるコンテンツ入力部１０１の調整トリガーはこれに限らない。例えば、フォーカス領域６１０４と最大領域マージン領域との重畳をトリガーにしても良い。また、例えばフォーカス領域６１０４にマージン領域を定義し、フォーカス領域６１１４のように最大領域マージン枠６１１２との重畳または近づいたことをトリガーにしても良い。

また、本実施の形態では、コンテンツ入力制御部１１５の制御内容をコンテンツ入力部１０１の物理的な方向を調整することを例に説明したが、コンテンツ入力制御部１１５による制御内容はこれに限らない。例えば、コンテキスト情報「Ｐ１」〜「Ｐ６」がぼけて撮影されないように焦点距離などを調整するようにしても良い。また、例えば、コンテキスト情報の出力優先度に従い被写体深度などを調整するようにしても良いし、これらを物理的な機構で実現しても良いしデジタルデータ処理で実現するようにしても良い。

以上、本実施の形態によれば、入力された動画像の被写体コンテキスト情報の状態に応じて、カメラなどの入力装置の方向や焦点距離などをコンテキスト情報が欠損しないよう自動で調整して制御することができる。そのため、例えば、デジタルカメラの本体画面で撮影中の全体像の一部をデジタルズーム加工により拡大して表示しながら撮影する場合、手で持ちながら撮影するユーザが表示画面の動画像に囚われてデジタルカメラ本体の方向が変化してしまうことがあってもデジタルカメラ本体に内蔵された雲台などにより自動調整することができる。これにより、撮影するユーザの錯覚や操作ミスによるコンテキスト情報の欠損を軽減できる。

（実施の形態６）
次に、実施の形態６について説明する。

図６２は、実施の形態６のコンテンツ処理装置１００Ｆの構成を示すブロック図である。図６２において、図１、図２１、図２５、図５９および図６０と同じ構成要素については同じ符号を用い、説明を省略する。

図６２に示すコンテンツ処理装置１００Ｆは、図５９および図６０に示すコンテンツ処理装置の構成要素に加え、認証管理部１１６を有する。

認証管理部１１６は、コンテンツ処理装置１００への処理要求に対する認証を行う。認証管理部１１６は、例えば、機器単位、機器を所有するユーザ単位、またはユーザが属する社会的属性や契約単位で認証を行う役割を担う。

また、本実施の形態では、インターネットやイントラネットといったネットワーク２００を有し、外部のコンテンツ処理装置１００Ｄと接続される。

以下、コンテンツ処理装置１００Ｆのコンテンツ入力部１０１から入力される動画像の入力コンテンツを、コンテンツ処理装置１００Ｄがストリーミング等の配信方式で閲覧する例を説明する。ここでは、図の簡素化のため、コンテンツ処理装置１００Ｄの構成ブロックを、コンテンツ処理装置１００Ｆを参照して説明する。

コンテンツ処理装置１００Ｄにおいて、出力制御部１０４は、通信部１１４を介してネットワーク２００上に存在する他のコンテンツ処理装置１００Ｄにコンテンツ処理装置１００Ｆが動画像を配信可能である配信可能メッセージを送信する。コンテンツ処理装置１００Ｄは、コンテンツ処理装置１００Ｆからの配信可能メッセージを受け付け、コンテンツ処理装置１００Ｄが備える表示部１１２にコンテンツ処理装置１００Ｆが動画像を配信可能であることを表示する。

コンテンツ処理装置１００Ｄを操作するユーザは、コンテンツ処理装置１００Ｄの操作入力部１１３を介してコンテンツ処理装置１００Ｆへの接続を指示する。コンテンツ処理装置１００Ｄの出力制御部１０４は、ユーザからの指示に従い、通信部１１４を介して、コンテンツ処理装置１００Ｆに接続要求メッセージを送信する。

コンテンツ処理装置１００Ｆの出力制御部１０４は、通信部１１４を介して取得した接続要求メッセージを認証管理部１１６に転送する。認証管理部１１６は、接続要求メッセージの内容を確認し、コンテンツ処理装置１００Ｄがコンテンツ処理装置１００Ｆへの接続を許可できるかを判定し、出力制御部１０４に応答する。出力制御部１０４は、認証管理部１１６の応答結果から、コンテンツ入力部１０１を介して提供可能な入力コンテンツをコンテンツ処理装置１００Ｄに配信するか否かを判定する。ここで、配信提供が可能と判断した場合、コンテンツ処理装置１００Ｄの出力制御部１０４は、コンテンツ処理装置１００Ｆからの配信を通信部１１４経由で受け付け、表示部１１２に表示する。

次に、コンテンツ処理装置１００Ｄの出力制御部１０４は、コンテンツ解析部１０５が保持する解析用情報１０６をコンテンツ処理装置１００Ｆに送信する。コンテンツ処理装置１００Ｆは、コンテンツ処理装置１００Ｄから解析用情報１０６を受け付け、コンテンツ解析部１０５の解析用情報１０６と一時的にマージする。そして、コンテンツ処理装置１００Ｆの出力制御部１０４は、コンテンツ解析部１０５が抽出した解析データに基づき抽出したコンテキストグループの定義テーブルをコンテンツ処理装置１００Ｄに転送する。

これにより、コンテンツ処理装置１００Ｄの出力制御部１０４は、表示部１１２にコンテンツ処理装置１００Ｆから配信される入力コンテンツと共にコンテンツ処理装置１００ＦおよびＤでマージされた解析用情報１０６に基づくコンテキストグループから処理候補を表示可能となる。

そして、コンテンツ処理装置１００Ｄの出力制御部１０４は、操作入力部１１３からコンテキストグループに対する処理候補の実行を受け付ける。コンテンツ処理装置１００Ｄの処理パターンに従い、コンテンツ加工部１１０にコンテンツ処理装置１００Ｆから配信された入力コンテンツの加工を依頼し、コンテンツ処理装置１００Ｄの蓄積部１０２等にコンテンツデータ１０３を生成したり、表示部１１２に表示したりする。

さらに、コンテンツ処理装置１００Ｄの出力制御部１０４は、コンテンツ処理装置１００Ｄで実行した処理候補の処理結果をコンテンツ処理装置１００Ｆに通知する。コンテンツ処理装置１００Ｆの出力制御部１０４は、コンテンツ処理装置１００Ｄから通知された処理結果の内容を確認し、処理候補抽出部１０８の処理パターンの優先度判定に用いたり、出力制御部１０４が内部で保持する出力テンプレートとして追加・更新したりする。

なお、本実施の形態では、コンテンツ処理装置１００Ｄがコンテンツ処理装置１００Ｆに入力コンテンツの配信提供を要求しその認証が成功する例を用いて説明したが、認証管理部１１６の認証処理はこれに限らない。複数のコンテンツ処理装置１００Ｄから同時に配信提供を要求された場合、コンテンツ解析部１０５が管理する解析用情報１０６に含まれる人物関係情報を参照して配信先の優先度を判定するようにしても良い。

また、本実施の形態では、作品をつくるといったコンテンツ加工処理をコンテンツ処理装置１００Ｄで実行する例を用いて説明したが、加工する装置は分散型に限らない。例えば、コンテンツ処理装置１００Ｆが総合的にコンテンツ処理装置１００Ｄの操作入力部１１３から少なくとも１以上のコンテキスト情報の指定や処理候補の実行などの操作を受け付けるとしてもよい。この場合、コンテンツ処理装置１００Ｆの認証管理部１１６が操作元となるコンテンツ処理装置１００を認証しながら出力制御部１０４がその実行を制御し、入力コンテンツをコンテンツ加工部１１０により加工して配信するようにすれば良い。

以上、本実施の形態によれば、ネットワークを経由して他の端末と入力された動画像や抽出されたコンテキスト情報などを認証されたコンテンツ処理装置間で共有しながら作品化などのコンテンツ加工および配信が可能になる。そのため、例えば、ネットワークに接続されるモバイル端末で撮影した動画像を配信しながら、または、複数人のモバイル端末で共有しながら個々のモバイル端末で任意のコンテキスト情報を切り出した作品が作成できるといった新たな撮影・閲覧・編集手段を提供できる。なお、個々のモバイル端末の顔辞書などを一時的にマージして一貫性のあるコンテキスト情報を抽出しながら個々のモバイル端末にひとつの作品を配信できる、といった新たな撮影・閲覧・編集手段を提供するとしてもよい。

以上、本発明の一態様に係るコンテンツ処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、実施の形態においては、オブジェクト要素のコンテキスト情報と出力優先度に基づきコンテキストグループを定義し、コンテキストグループに対応する処理候補を抽出するとしたが、コンテキストグループを定義することなく、コンテキスト情報と出力優先度に基づき、処理候補を抽出することとしてもよい。この場合、例えば、図１５、図３４、図５０の例で示した処理パターンにおいて、条件や処理候補を、コンテキスト情報（コンテキスト情報）と出力優先度を用いた内容で定義するようにすればよい。

また、実施の形態１〜６におけるコンテンツ処理装置を用いて、プリントオーダーなどの構図切り出しアシスト等に利用するとしてもよい。

また、現在のデジタル放送よりも高解像度な放送やインターネット／ケーブル／衛星／無線などを介したネットワーク配信が可能になった場合、実施の形態１〜６におけるコンテンツ処理装置は、例えば、対象コンテンツに含まれる複数の人物オブジェクトのうち事前に登録した人物に対応する人物オブジェクトがベストアングルとなる構図へのズーム等の操作を提示するとしてもよいし、事前に登録した人物に対応する人物オブジェクトを追跡しながら分割表示する構図を提示するとしてもよい。

また、実施の形態１〜６におけるコンテンツ処理装置は、対象コンテンツに含まれる複数のオブジェクトのうち、目障りなものと判断されるオブジェクトを構図候補から排除、モザイク、画像合成で消すことを提示するとしてもよい。

また、実施の形態１〜６におけるコンテンツ処理装置は、対象コンテンツの構図を領域分割し、フレームアウトのリスクがあるものを察知してフェードアウトさせる構図（操作）を提示するとしてもよい。

また、入力される対象コンテンツは、２つ以上の入力リソースからのものでもよい。その場合、実施の形態１〜６におけるコンテンツ処理装置は、２以上の入力リソースからなる対象コンテンツの構図を分割する構図（操作）を提示するとしてもよい。

また、実施の形態１〜６におけるコンテンツ処理装置、または情報提供装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、コンテンツ処理装置１００は、出力制御部１０４と、処理候補抽出部１０８とを有するシステムＬＳＩから構成されてもよい。また例えば、情報提供装置３００は、情報提供制御部３０２を有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える、コンテンツ処理装置、情報提供装置として実現することができるだけでなく、コンテンツ処理装置、または情報提供装置に含まれる特徴的な処理部をステップとするコンテンツ処理方法などとして実現することもできる。また、そのような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、コンテンツ処理装置、コンテンツ処理方法およびプログラムに利用でき、例えば静止画や動画など、比較的データサイズが大きいコンテンツを処理する装置に関し、特に撮影・閲覧・編集などのコンテンツ処理をコンテンツに含まれる被写体オブジェクトの特徴情報を用いて制御するコンテンツ処理装置等に利用することができる。また、本発明に係るコンテンツ処理装置は、デジタルスチルカメラ、デジタルビデオカメラ、ビデオレコーダやホームサーバ、パーソナルコンピュータやエンタープライズ向けコンピュータ（ワークステーション）、画像データの取り込み機能を搭載したデジタルテレビ受像機、セットトップボックス、カーナビゲーションシステム、プロジェクタ、タブレットを含むモバイル端末、音楽コンポ、デジタルフォトフレーム、機器制御用リモートコントローラ端末などへの適用に有用である。

１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ コンテンツ処理装置
１０１ コンテンツ入力部
１０２ 蓄積部
１０３ コンテンツデータ
１０４ 出力制御部
１０５ コンテンツ解析部
１０６ 解析用情報
１０７ 解析データ
１０８ 処理候補抽出部
１０９ 処理パターン
１１０ コンテンツ加工部
１１１ 出力部
１１２ 表示部
１１３ 操作入力部
１１４ 通信部
１１５ コンテンツ入力制御部
１１６ 認証管理部
２００ ネットワーク
３００ 情報提供装置
３０１ 通信部
３０２ 情報提供制御部
３０３ 記憶装置
２３０１、３８０１、４００１、５７０１ 全画面表示領域
２３０２、２４０２ 動画像表示領域
２３０３、３８０３、４００３、４８０３、５７０３ マージン領域
２３０４、３８０５、３８０７、３８０９、４００５、４００７、４２０５、４２０７、４２０９ ガイド
２３０５、２３０６ 処理結果表示
２６０１、２７０１、４４０１、４６０１、６１０１、６１１０、６１１１ 入力コンテンツ最大領域
２６０２、２６０３、２７０２、３５０２、３８０２、４００２、４３０２、４４０２、４６０２、５２０２、５７０２、５８０２、６１０４、６１１４ フォーカス領域
２７０３、２７０４ 一般物体
３５０１ 入力コンテンツ
３８０４、３９０４ 文字列表示
３８０６、３８０８、３８１０、３９０８、３９１０ 処理候補
３８１１ メニュー
４００６、４００８ 処理候補名
４２０６、４２０８、４２１０ 処理候補アイコン
４３０１ 最大領域
４４０３ 解析規定範囲
４８０６ コンテキストグループ
４９０５、４９０７、４９０８、５２０５、５２０９、５７０４ 表示
５２１０、５２１１、５３１０、５３１１、５７０７、５７０８ 黒丸
５３１２ サブメニュー表示領域
５３１３、５３１４、５３１５、５３１６、５３１７ サブメニュー
５５０１ 分割合成テンプレート
５７０９ 矢印
５８０５、５８０６ 分割合成枠
５８０７ タイトル枠
５８０８ メニュー
６１０２、６１１２、６１１３ 最大領域マージン枠

Claims (21)

1. 処理対象のコンテンツである対象コンテンツを取得するコンテンツ取得部と、
   前記対象コンテンツに含まれる少なくとも２以上のオブジェクトと前記オブジェクトの特徴を示す特徴情報とを抽出し、前記オブジェクトのコンテキストを特定するための解析用情報と抽出した前記特徴情報とに基づいて、前記オブジェクト間の関係性を示す関係情報を含む属性情報であって前記オブジェクトの特徴を補足する属性情報を含む、前記オブジェクトのコンテキストを示すコンテキスト情報を特定するコンテンツ解析部と、
   前記対象コンテンツに対する処理を制御する処理制御部と、
   前記コンテキスト情報および処理優先度に基づき、前記対象コンテンツに対して、予め設定された処理候補のうち実行可能な処理候補を抽出する処理候補抽出部と、
   前記処理候補の処理状況に関する通知を出力する出力部と、を備え、
   前記処理制御部は、前記コンテキスト情報に含まれる属性情報に基づき、前記オブジェクトの処理優先度を算出し、
   前記処理候補抽出部は、前記コンテキスト情報および前記処理優先度に基づき、前記処理候補を抽出し、
   前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記出力部に、前記処理候補の実行有無を示す情報を前記通知として出力させ、
   前記処理制御部は、前記２以上のオブジェクトが人物であり、前記２以上のオブジェクトのうちの一が注目オブジェクトの場合には、前記オブジェクト同士の親密度を示す関係情報に基づき、前記注目オブジェクトと親密度の高いオブジェクトの処理優先度を高くする、
   コンテンツ処理装置。
2. 前記特徴情報は、前記対象コンテンツ内における前記オブジェクトの相対座標、相対サイズもしくは相対面積、または、前記対象コンテンツの時間軸における出現タイミングもしくは出現時間を少なくとも含む、
   請求項１に記載のコンテンツ処理装置。
3. 前記コンテキスト情報は、前記属性情報と、前記対象コンテンツにおける前記オブジェクトと前記注目オブジェクトとの位置関係を示す情報を含む前記オブジェクトの状態に関する状態情報とを含む、
   請求項１または２に記載のコンテンツ処理装置。
4. 前記処理制御部は、抽出した前記オブジェクトそれぞれのコンテキスト情報に基づき、前記オブジェクトをグループ化するための基準を示す情報であるコンテキストグループ情報を定義し、前記処理候補抽出部により抽出された処理候補の実行有無を判定し、
   前記処理候補抽出部は、前記コンテキストグループ情報によりグループ化されたオブジェクトのグループのそれぞれに対して実行可能な前記処理候補を抽出する、
   請求項３に記載のコンテンツ処理装置。
5. さらに、前記対象コンテンツに対する処理に関する情報を表示する表示部を備え、
   前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記表示部に、前記処理候補の実行有無を示す実行有無情報を表示させる、
   請求項１〜４のいずれか１項に記載のコンテンツ処理装置。
6. 前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報に含まれる相対座標および相対サイズの少なくとも一方に基づき、前記表示部に、当該表示部が表示する前記オブジェクトの近傍にかつ視認可能な様態で前記実行有無情報を表示させる、
   請求項５に記載のコンテンツ処理装置。
7. さらに、前記対象コンテンツに対する処理に関する情報を表示する表示部と、
   ユーザからの操作を受け付ける操作入力部とを備え、
   前記処理制御部は、前記処理候補抽出部により抽出された処理候補の実行前または実行後に、前記表示部に当該処理候補を少なくとも１以上表示させ、
   前記処理制御部は、前記操作入力部が、前記表示部に表示させた当該処理候補のうち少なくとも１以上の処理候補を実行する旨を示す操作を受け付けた場合、当該少なくとも１以上の処理候補に対応づけられる処理を実行する、
   請求項１〜６のいずれか１項に記載のコンテンツ処理装置。
8. 前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報に含まれる相対座標および相対サイズの少なくとも一方に基づき、前記表示部に、前記処理候補抽出部により抽出された処理候補の処理対象領域を可視するガイドラインを表示させる、
   請求項５に記載のコンテンツ処理装置。
9. 前記処理制御部は、前記コンテンツ解析部により抽出された前記特徴情報と前記処理候補抽出部により抽出された処理候補とに基づき、少なくとも、（ａ）当該処理候補の概要を示す情報、または、（ｂ）前記操作入力部が受け付けることが可能な操作に対応づけられるアイコンもしくはメニューのいずれか一方を、前記表示部に表示させる、
   請求項７に記載のコンテンツ処理装置。
10. 前記処理制御部は、前記コンテンツ取得部により取得された対象コンテンツの前記表示部で表示可能な最大領域と、前記表示部で表示中の表示領域であるフォーカス領域とを管理し、
    前記処理制御部は、前記コンテンツ解析部に対し、前記対象コンテンツに含まれる１以上のオブジェクトのうち、前記最大領域およびフォーカス領域の少なくとも一方における規定範囲内のオブジェクトに対してのみ解析を要求する、
    請求項５または７に記載のコンテンツ処理装置。
11. 前記処理制御部は、前記表示部で前記フォーカス領域を表示する際に前記フォーカス領域の所定の部分に処理候補表示領域を設定し、
    前記表示部に、前記処理候補抽出部により抽出された少なくとも１以上の処理候補を前記処理候補表示領域内に表示させる、
    請求項１０に記載のコンテンツ処理装置。
12. 前記処理制御部は、前記コンテンツ解析部に対し、前記フォーカス領域に含まれるオブジェクトに加え、前記フォーカス領域に含まれないオブジェクトの解析を要求する、
    請求項１０に記載のコンテンツ処理装置。
13. 前記処理制御部は、前記表示部に、前記フォーカス領域に含まれない第１オブジェクトに対する処理候補を表示させる際、前記フォーカス領域に含まれない第２オブジェクトの各特徴情報に基づく相対位置関係から、前記フォーカス領域の中心からみた前記第２オブジェクトの出現方向および出現順序を算出し、
    前記表示部に、算出した出現方向および出現順序に応じて、前記処理候補抽出部により抽出された少なくとも１以上の処理候補を前記処理候補表示領域内に表示させる、
    請求項１１に記載のコンテンツ処理装置。
14. 前記処理制御部は、表示部に前記処理候補抽出部により抽出された少なくとも１以上の処理候補を表示させ、
    前記処理制御部は、算出した前記処理優先度に応じて、前記表示部に表示させる前記処理候補の内容を変化させる、
    請求項１に記載のコンテンツ処理装置。
15. 前記処理制御部は、前記コンテキスト情報に含まれる属性情報および状態情報と、算出した前記処理優先度とに応じて、前記表示部に表示させる前記処理候補の選定内容または処理内容を変化させる、
    請求項１４に記載のコンテンツ処理装置。
16. 前記処理制御部は、前記コンテキスト情報に含まれる属性情報および状態情報と、算出された前記処理優先度とに応じて、少なくとも１以上のコンテキスト情報を収容する出力テンプレートを生成し、前記出力テンプレートを動的に変化させながら、少なくとも１以上のコンテキストグループ情報に紐付く前記対象コンテンツを合成して出力する、
    請求項４に記載のコンテンツ処理装置。
17. 前記処理制御部は、前記操作入力部が受け付けた操作により、少なくとも１以上のコンテキスト情報の指定と処理候補の特定を行い、前記操作に基づき少なくとも１以上のコンテキスト情報を収容する出力テンプレートを動的に変化させる、
    請求項７に記載のコンテンツ処理装置。
18. さらに、前記コンテンツ処理装置の外部の機器との通信を行う通信部を備え、
    前記処理制御部は、少なくとも、前記コンテンツ解析部が前記オブジェクトと前記特徴情報との抽出に必要な情報、前記処理候補抽出部が前記処理候補の抽出に必要な情報、および、少なくとも１以上のコンテキスト情報を収容する出力テンプレートの生成に必要な情報のうち少なくとも１以上の情報を、前記通信部を介して外部の情報提供装置から取得する、
    請求項１に記載のコンテンツ処理装置。
19. さらに、前記処理制御部の処理結果に基づき、前記コンテンツ取得部の制御を行うコンテンツ入力制御部を備え、
    前記処理制御部は、前記コンテンツ入力制御部により取得された対象コンテンツが表示部で表示可能な最大領域と、定義した前記コンテキストグループ情報から参照されるコンテキスト情報に対応する前記状態情報との関係を監視し、前記最大領域と前記コンテキスト情報との重畳に応じてまたはコンテキスト情報の状態に応じて、前記コンテンツ取得部の物理的な制御またはデジタル処理的な制御を、前記コンテンツ入力制御部を介して行う、
    請求項４に記載のコンテンツ処理装置。
20. コンテンツ処理装置が行うコンテンツ処理方法であって、
    前記コンテンツ処理装置が処理対象のコンテンツである対象コンテンツを取得する取得ステップと、
    前記対象コンテンツに含まれる少なくとも２以上のオブジェクトと前記オブジェクトの特徴を示す特徴情報とを抽出する特徴情報抽出ステップと、
    前記オブジェクトのコンテキストを特定するための解析用情報と抽出した前記特徴情報とに基づいて、前記オブジェクト間の関係性を示す関係情報を含む属性情報であって前記オブジェクトの特徴を補足する属性情報を含む、前記オブジェクトのコンテキストを示すコンテキスト情報を特定する特定ステップと、
    前記オブジェクトのコンテキストを特定するための解析用情報に基づき、前記オブジェクトのコンテキストを示すコンテキスト情報を特定するコンテキスト情報特定ステップと、
    前記対象コンテンツに対する処理を制御する処理制御ステップと、
    前記コンテキスト情報および処理優先度に基づき、前記対象コンテンツに対して、予め設定された処理候補のうち実行可能な処理候補を抽出する処理候補抽出ステップと、
    前記処理候補の処理状況に関する通知を出力する出力ステップと、を含み、
    前記処理制御ステップでは、
    前記コンテキスト情報に含まれる属性情報に基づき、前記オブジェクトの処理優先度を算出し、
    前記処理候補抽出ステップにより抽出された処理候補の実行前または実行後に、前記出力ステップにおいて、前記処理候補の実行有無を示す情報を前記通知として出力させ、
    前記処理制御ステップでは、前記２以上のオブジェクトが人物であり、前記２以上のオブジェクトのうちの一が注目オブジェクトの場合には、前記オブジェクト同士の親密度を示す関係情報に基づき、前記注目オブジェクトと親密度の高いオブジェクトの処理優先度を高くする、
    コンテンツ処理方法。
21. コンテンツ処理装置が行うコンテンツ処理をコンピュータに実行させるプログラムであって、
    前記コンテンツ処理装置が処理対象のコンテンツである対象コンテンツを取得する取得ステップと、
    前記対象コンテンツに含まれる少なくとも２以上のオブジェクトと前記オブジェクトの特徴を示す特徴情報とを抽出する特徴情報抽出ステップと、
    前記オブジェクトのコンテキストを特定するための解析用情報と抽出した前記特徴情報とに基づいて、前記オブジェクト間の関係性を示す関係情報を含む属性情報であって前記オブジェクトの特徴を補足する属性情報を含む、前記オブジェクトのコンテキストを示すコンテキスト情報を特定する特定ステップと、
    前記オブジェクトのコンテキストを特定するための解析用情報に基づき、前記オブジェクトのコンテキストを示すコンテキスト情報を特定するコンテキスト情報特定ステップと、
    前記対象コンテンツに対する処理を制御する処理制御ステップと、
    前記コンテキスト情報および処理優先度に基づき、前記対象コンテンツに対して、予め設定された処理候補のうち実行可能な処理候補を抽出する処理候補抽出ステップと、
    前記処理候補の処理状況に関する通知を出力する出力ステップと、を含み、
    前記処理制御ステップでは、
    前記コンテキスト情報に含まれる属性情報に基づき、前記オブジェクトの処理優先度を算出し、
    前記処理候補抽出ステップにより抽出された処理候補の実行前または実行後に、前記出力ステップにおいて、前記処理候補の実行有無を示す情報を前記通知として出力させ、
    前記処理制御ステップでは、前記２以上のオブジェクトが人物であり、前記２以上のオブジェクトのうちの一が注目オブジェクトの場合には、前記オブジェクト同士の親密度を示す関係情報に基づき、前記注目オブジェクトと親密度の高いオブジェクトの処理優先度を高くする、
    プログラム。

Images