JP6702657B2 - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Description

本発明は、処理対象の映像とアノテーション情報とを表示させることが可能な映像処理装置、方法及びプログラムに関する。

映画などのコンテンツの制作に際して、映像コンテンツを構成するそれぞれの各シーンの映像は、複数のショット映像（撮影の最小単位となる短い映像）から構成されていることがある。そして、特定のシーン映像の各ショット映像を撮影する場合には、類似のシチュエーションで繰り返し撮影を行い、撮影された各ショット映像を比較して、最終的に使用されるショット映像を選択することによって当該特定のシーン映像を生成することができる。このような撮影においては、ショット映像が大量に撮影される為、各ショット映像を識別する為のアノテーション等の情報を各ショット映像に付加すると利便性が向上する。

また、ペン型指示装置によるデータ入力を可能とする電子カメラであって、当該ペン型指示装置による指示の軌跡を、撮影画像と重ね合わせて表示するが知られている（特許文献１）。

特開平９−１４９３０７号公報

上述した特許文献１では、再生する撮影画像に対応づけられた入力情報は確認できるものの、他の画像に対応づけられた入力情報を利用して他の画像との比較を行うことを考慮していない。
本発明は、再生する対象である映像に関連する他の映像に対応するアノテーション情報を視認することを可能にする映像処理装置、方法及びプログラムを提供することを目的とする。

上記の課題を解決するための一手段として、本発明の映像処理装置は、以下の構成を備える。即ち、撮影済みの映像のうち、撮影中の映像と関連する少なくとも一つの関連映像に対応するアノテーション情報を取得する取得手段と、前記撮影中の映像と、前記取得手段によって取得された前記関連映像に対応するアノテーション情報とを、表示画面に表示するよう制御する表示制御手段と、を有し、前記アノテーション情報は、少なくとも前記関連映像中の基準時間に基づく時間情報と、前記関連映像を構成する画像上での位置を示す位置情報を含むものであって、前記表示制御手段は、前記撮影中の映像を表示する前記表示画面に、前記取得手段によって取得された前記関連映像に対応するアノテーション情報を表示するタイミングと位置を、前記時間情報と前記位置情報に基づいて制御する。

本発明により、映像と、当該映像に関連する他の映像に対応するアノテーション情報とを、表示することができる。

実施形態１における映像処理システムの構成例を示すブロック図 映像コンテンツの構成を示す図 実施形態４におけるアノテーション情報の時間及び位置を示す図 実施形態１における蓄積装置の構成例を示すブロック図 実施形態１におけるタブレット装置の構成例を示すブロック図 実施形態１におけるタブレット装置の表示画面を示す図 実施形態１におけるショット映像にアノテーション情報を付加する手順を示す流れ図 実施形態１におけるアノテーション情報の表示画面を示す図 実施形態１における映像処理システムの処理手順を示す流れ図 アノテーション情報の一例を示す図 実施形態２における映像処理システムの構成例を示すブロック図 実施形態２における映像処理システムの処理手順を示す流れ図 実施形態２における撮像装置のファインダ画面を示す図 実施形態３におけるタブレット装置の処理手順を示す流れ図 実施形態３におけるアノテーション情報の表示を示す図 実施形態４におけるタブレット装置の処理手順を示す流れ図

以下、添付の図面を参照して、本発明を実施形態の一例に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。以下、１以上の画像を含むものを映像と示す。また、以下の実施形態においてアノテーション情報は、映像（ショット映像）に付加されたメタデータである。例えば、アノテーション情報は、コメント情報であっても構わないし、注目点に関する情報であっても構わない。

（実施形態１）
図１は、本実施形態に係る映像処理システムの構成を示す図である。各装置１０１〜１０５は無線又は有線で接続されている。本実施形態の映像処理システムにおいて、デジタルクラップボード１０１と撮像装置１０２とは無線又は有線で接続されており、撮影する対象のショットの映像データに関する撮影情報を送受信する。尚、撮影情報については後述する。また、本実施形態の映像処理システムにおいて、撮像装置１０２と蓄積装置１０３とは無線又は有線で接続されている。そして、撮像装置１０２は撮影して得られた映像データを蓄積装置１０３へ送信し、蓄積装置１０３は撮像装置１０２から取得した映像データを蓄積する。また、本実施形態の映像処理システムにおいて、タブレット装置１０４と蓄積装置１０３とは無線又は有線で接続されている。そして、タブレット装置１０４は撮像装置１０２で撮影された映像データや蓄積装置１０３に蓄積された映像データを表示し、編集装置１０５は蓄積装置１０３に蓄積された映像データを用いて映像コンテンツを生成する。

次に、各装置１０１〜１０５の詳細について説明する。デジタルクラップボード１０１は、撮影する対象のショットの映像データ（以下、撮影の最小単位である１ショット分の映像データを、ショット映像と称す）に係るシーン番号、ショット番号、テイク数等の撮影情報を表示する。ショット映像の撮影毎に、デジタルクラップボード１０１に表示された撮影情報を取得することによって、本実施形態の映像処理システムは各ショット映像に視覚的なタグ（付加情報）を付けることができる。例えば、ショット映像の撮影開始前に、デジタルクラップボード１０１に表示された撮影情報を、撮像装置１０２を用いて撮影することにより、各ショット映像に視覚的な付加情報を付けるようにしてもよい。また、撮影装置１０２が、外部装置（不図示）に設定された撮影情報を取得しても構わないし、ユーザによって設定された撮影情報を取得しても構わない。尚、ショット映像の詳細については後述する。

撮像装置１０２は、被写体を撮影し、映像データを生成する。即ち、本実施形態において撮像装置１０２は、ショット映像を生成する。また、本実施形態において撮像装置１０２は、デジタルクラップボード１０１と接続されている。

蓄積装置１０３は、撮像装置１０２で撮影されたショット映像、及び当該ショット映像に関連するメタデータ（以下、ショット映像に関連するメタデータを、ショットデータと称す）を蓄積する。ショットデータには、撮影情報、クラップボード情報、及びアノテーション情報のうち少なくとも一つが含まれる。尚、クラップボード情報、及びアノテーション情報の詳細については後述する。また、本実施形態において蓄積装置１０３は、タブレット装置１０４と通信する。タブレット装置１０４は、撮像装置１０２によるショット映像の撮影中に、ユーザによって指定されたアノテーション情報をショットデータとして蓄積装置１０３へ入力する。また、タブレット装置１０４は、蓄積装置１０３に蓄積されたショット映像を受信して表示する。編集装置１０５は、蓄積装置１０３に蓄積されたショット映像を繋ぎ併せる等の各種の編集処理を行い、映像コンテンツを生成する。尚、デジタルクラップボード１０１、撮像装置１０２、蓄積装置１０３、タブレット装置１０４、及び編集装置１０５の各部の詳細は後述する。

次に、映像コンテンツ及びショット映像の詳細について、図２（ａ）を用いて説明する。図２の（ａ）は、１以上のショット映像を含む映像コンテンツであって、デジタルシネマやドラマ等の映像コンテンツを作成する為の映像データの階層概念の一例を説明する図である。脚本やシナリオ等に基づく映像コンテンツは、一以上のシーケンスから構成されている。一つのシーケンスは、一以上のシーン（場面）から構成されている。さらに、一つのシーンは、一以上のショットから構成されている。尚、本実施形態において撮像装置１０２は、一つのショットを一回の撮影単位とする。

例えば、人物Ａと人物Ｂの二人が会話を行うシーンにおいて、二人が会話しているロングのショット、人物Ｂのクローズアップのショット、人物Ｂの肩越しに人物Ａを撮影するショルダーショット等、撮影の位置や角度に変化のあるショットが撮影される。ショットやシーンの撮影は、脚本やシナリオの順番（映像コンテンツの再生順序）で行われるとは限らず、カメラやセットの都合で、映像コンテンツの再生順序とは異なる順番で行われる場合もある。また、一つのショットに関する撮影は、役者やスタッフのミス、監督の意向、予測不能な自然現象等の影響により、何度も撮り直しを行う場合がある。このように、同一のショットに対して行う撮影をテイクと呼び、同じショットを複数回撮影した場合には、各撮影を識別するためにテイクと呼ばれる番号を各ショット映像に付与する。

即ち、デジタルシネマやドラマ等の映像コンテンツに含まれる各ショット映像のファイル毎に、シーケンス、シーン、ショット、テイクの番号等の撮影情報を、ショットデータとして付加することによって、各ショット映像を特定（識別）することができる。例えば、図２（ａ）に示す映像２０１はシーケンス１シーン１ショット２テイク４と示され、映像２０２はシーケンス１シーン１ショット４テイク３と示される。尚、同じショットの番号を持つテイクが複数存在している場合には、これらのテイクは置き換え可能なテイクとして、映像処理システムによって認識される。尚、ここで説明したシーケンス、シーン、ショット、テイク等の用語は本実施形態を説明する為の一例に過ぎず、異なる用語を用いても構わない。

また、図２（ｂ）は、同一のショットにおける複数のテイクの時間軸の一致（同期）を説明する図である。同一ショットにおける各テイクは、同じショットの撮り直しである為に映像の時間の長さはほぼ同一である場合が多い。また、同一ショットにおける各テイクは、映像コンテンツとして編集される際に互いに置き換えが可能である。しかしながら、実際の撮影においては、撮像装置１０２による撮影を開始してから映像コンテンツに用いられる部分の映像の先頭までの時間が、各テイクのショット映像において異なる場合がある。この様な場合、監督による演技開始の号令（指示）であるアクションコール（所定の識別情報）のタイミングを演技の開始の時間（時刻）を示す時間情報として利用することによって、同一ショットの複数のテイクに対して同期処理を施すことができる。即ち、本実施形態における映像処理システムは、同一ショットの複数のテイクにおける各アクションコールのタイミングを一致（同期）させる。尚、アクションコールのタイミングは、監督（ユーザ）による演技開始の指示のタイミングに限定されず、ユーザによる種々の指示のタイミングでも構わない。また、風景のみの映像等のように、演技のないショット映像を撮影する場合は、撮影開始を示すロールコールのタイミングをアクションコールのタイミングとして用いても構わない。尚、ロールコールのタイミングは、監督（ユーザ）による撮影開始の指示のタイミングでも構わないし、撮像装置１０２による撮影処理の開始のタイミングでも構わない。

本実施形態において蓄積装置１０３は、この様な時間情報をショットデータのクラップボード情報として蓄積する。尚、本実施形態において時間情報は、映像の先頭の時間を示すものとしたが、これに限定されず、基準となる所定の時間を示すものであれば構わない。

図２（ｂ）に示す具体例において、テイク１からテイク６までの、撮影開始を示すロールコールから演技開始を示すアクションコールまでの時間はバラバラである。しかしながら、役者はアクションコールに応じて演技を開始するので、アクションコールのタイミングを示す時間情報に基づいて各テイクに対して同期処理を施すことができる。尚、同期処理についての詳細は後述する。また、このアクションコールを、クラップボードの電子化に伴い、同一ショットの各テイクに対する同期処理で用いられる信号（アクションコール信号）として、デジタルクラップボード１０１と接続されている撮像装置１０２に記録することができる。尚、ここでアクションコール信号は、クラップボード情報に含まれる情報の一つである。

次に、図１に戻り、各装置１０１〜１０５の各部の詳細を説明する。まず、デジタルクラップボード１０１は、撮像装置１０２から無線通信又は有線通信によって取得したシーン番号、ショット番号、テイク番号、撮影日時等の撮影情報を、表示部３０１に表示するよう制御する。また、デジタルクラップボード１０１は、ユーザによるデジタルクラップボード１０１に対する操作を受け付け、受け付けた操作に関する情報（クラップボード情報）を撮像装置１０２に送信（出力）する。例えば、デジタルクラップボード１０１は、ユーザによるアクションコールの操作を受け付けた場合に、当該アクションコールを受け付けたタイミングを示す時間情報を、クラップボード情報として撮像装置１０２に送信（出力）する。ここで、本実施形態においてデジタルクラップボード１０１は検出部（不図示）を有し、当該検出部がアクションコールに対応する音（ユーザの声や特定の音等）を検出することに基づいて、アクションコールの操作を受け付ける。尚、これに限定されず、アクションコールに対応するボタン（不図示）がユーザによって押下されたことに応じてアクションコールの操作を受け付けても構わない。また、デジタルクラップボード１０１は、時間情報（アクションコールのタイミングを示す時間情報）の他に、受け付けた操作（アクションコール）を示す情報を、クラップボード情報として撮像装置１０２に出力しても構わない。

撮像装置１０２は各部３０２〜３０８を包含する。レンズ３０２は、撮像光学系を構成し、撮像部３０４の撮像面に画像を結像させる。撮像部３０４は、被写体を撮像する為の撮像部であって、レンズ３０２を通して結像した光を電荷に変換して映像データを生成するセンサを有する。ファインダ３０３は、ユーザが被写体の構図を確認する為のファインダである。ファインダ表示制御部３０５は、ファインダ３０３に撮像部３０４で撮像された画像（映像）を表示するよう制御する。また、メタデータ送受信部３０６は、撮影に伴って生成されたメタデータ（撮影データ）を、撮像装置１０２の外部へ送信する。ここで、撮影データには、上述した撮影情報、及び、デジタルクラップボード１０１から受信（入力）されたクラップボード情報のうち少なくとも一つが含まれる。

プロキシ映像生成部３０８は、撮像部３０４によって生成された映像データに基づいて、当該映像データよりも解像度の低いプロキシ映像をリアルタイムに生成する。映像データ送信部３０７は、撮像部３０４によって生成された映像データと、プロキシ映像生成部３０８によって生成されたプロキシ映像のデータとを合成して、出力データとして撮像装置１０２外部へ送信する。

蓄積装置１０３は各部３０９〜３１８を包含する。メタデータ受信部３０９は、撮像装置１０２から送信された、撮影に伴って生成されたメタデータ（撮影データ）を受信する。映像データ受信部３１０は、撮像装置１０２から送信された、映像データを含む出力データを受信する。プロキシ映像送信部３１１は、映像データ受信部３１０で受信された出力データからプロキシ映像のデータを分離して、分離したプロキシ映像のデータをタブレット装置１０４に送信する。データ蓄積部３１２は、メタデータ受信部３０９が受信した撮影情報やクラップボード情報等のメタデータ、及びタブレット装置１０４から受信したアノテーション情報を、ショットデータとして蓄積する。また、データ蓄積部３１２は、ショットデータと、映像データ受信部３１０が受信した映像データ及び／又はプロキシ映像のデータとを関連付けて蓄積する。

ショットデータ抽出部３１４は、タブレット装置１０４を用いて選択された映像データに対応するショットデータを、データ蓄積部３１２に蓄積されたショットデータから抽出する。関連ショット検出部３１５は、ショットデータ抽出部３１４で抽出されたショットデータに基づいて、選択された映像データと関連するショット映像（関連ショット映像）がデータ蓄積部３１２に存在するか否かを検出する。即ち、関連ショット検出部３１５は、関連ショット映像のショットデータがデータ蓄積部３１２に蓄積されているか否かを検出する。ここで、抽出されたショットデータに関連するショットデータは、ショットデータ抽出部３１４で抽出されたショットデータのショット番号と同一のショット番号を有する他のテイクの映像データに対応するショットデータとする。例えば、タブレット装置１０４を用いて選択された映像データが図２（ａ）の映像２０１である場合、ショットデータ抽出部３１４は当該映像２０１に対応するショットデータを抽出する。そして、関連ショット検出部３１５は、当該映像２０１と同一のショット番号（ショット−２）を有するテイク−１、テイク−２、テイク−３、テイク−５、及びテイク−６の５つのテイクのショットデータを、関連ショット映像のショットデータとして検出する。

尚、本実施形態において関連ショット検出部３１５は、関連ショット映像のショットデータがデータ蓄積部３１２に蓄積されているか否かを検出したが、これに限定されない。例えば、関連ショット検出部３１５は、関連ショット映像の映像データ及び／又はプロキシ映像のデータがデータ蓄積部３１２に存在するか否かを判定するようにしても構わない。

アノテーション情報フィルタ部３１７は、ユーザによってタブレット装置１０４を用いて選択されたフィルタ情報に基づいて、抽出するアノテーション情報の種類を選択（決定）する。ここで、フィルタ情報は、表示させるアノテーション情報を選択する為の情報である。このように、抽出するアノテーション情報の種類を選択することによって、同一ショットの複数のテイクの映像データを比較する場合に、各アノテーション情報の種類の表示／非表示の制御をすることが可能となる。例えば、不必要な種類のアノテーション情報を非表示にしたり、注目すべき種類のアノテーション情報のみを表示したりすることが可能となる。アノテーション情報抽出部３１６は、ショットデータ抽出部３１４で抽出されたショットデータに対応するアノテーション情報を抽出する。また、アノテーション情報抽出部３１６は、関連ショット検出部３１５で検出された関連ショット映像に対応するアノテーション情報であって、アノテーション情報フィルタ部３１７によってフィルタリングされた１以上のアノテーション情報を抽出する。

同期部３１８は、アノテーション情報抽出部３１６で抽出されたそれぞれのアノテーション情報の持つ時間情報を、図２（ｂ）のアクションコールのタイミング（時間情報）を基準時間情報として調整する。例えば、同期部３１８は、アノテーション情報抽出部３１６で抽出されたアノテーション情報の時間情報を、アクションコールの時間情報を基準時間情報００：００として調整する。即ち、本実施形態において同期部３１８は、選択されたショット映像と抽出された関連ショット映像のそれぞれのアクションコールのタイミングを一致（同期）させ、関連ショット映像に付加されたアノテーション情報の時間情報を調整する。

尚、アノテーション情報の時間情報の調整の方法については、アクションコールの時間情報を用いた方法に限らない。即ち、本実施形態において同期部３１８は、特定の音声情報、画像の特徴情報、撮影の設定情報、被写体の位置情報のうち少なくともいずれかに関する時間情報を用いて、アノテーション情報の時間情報の調整を行う。例えば、同期部３１８は特定のセリフや効果音を検出した時間に関する情報（特定の音声情報）を用いてアノテーション情報の時間情報の調整を行っても構わない。また、同期部３１８は、画像が暗くなったことを検出した時間、明るくなったことを検出した時間、又は画像が変化したことを検出した時間に関する情報（画像の特徴情報）を用いてアノテーション情報の時間情報の調整を行っても構わない。また、同期部３１８は、撮像装置１０２に設定された撮影情報（撮影の設定情報）を用いてアノテーション情報の時間情報の調整を行っても構わない。また、被写体の位置又は、被写体が移動した位置に関する情報（被写体の位置情報）等、アクションコールの時間情報と異なる情報を用いてアノテーション情報の時間情報の調整を行っても構わない。このように、同期部３１８は、アクションコールや特定の検出に対応する時間情報、及び／又は装置や被写体の位置情報を用いることにより、アノテーション情報の時間情報を調整することができる。アノテーション情報送信部３１３は、同期部３１８で調整されたアノテーション情報を、タブレット装置１０４に送信する。

タブレット装置１０４は各部３１９〜３１９を包含する。プロキシ映像受信部３２０は、撮像装置１０２から蓄積装置１０３を介して送信されたプロキシ映像のデータを受信する。ショット出力部３２２は、プロキシ映像受信部３２０によって受信されたプロキシ映像のデータを、必要に応じて表示部３２１に表示するよう制御する。また、アノテーション情報受信部３２４は、蓄積装置１０３に蓄積されたアノテーション情報を受信する。アノテーション出力部３１９は、アノテーション情報受信部３２４によって受信されたアノテーション情報を、表示部３２１に表示するよう制御する。そして、表示部３２１は、ショット出力部３２２及びアノテーション出力部３１９による制御に応じて、プロキシ映像のデータ及びアノテーション情報を（再生）表示する。

尚、本実施形態においてタブレット装置１０４は、撮像装置１０２から蓄積装置１０３を介して取得したプロキシ映像のデータを表示部３２１に表示するが、これに限定されない。即ち、タブレット装置１０４は、蓄積装置１０３に蓄積された映像データ（ＲＡＷデータ）を取得して表示部３２１に表示するようにしても構わない。

タブレット入力部３２３は、ユーザの操作を受け付け、受け付けた操作に基づく指示の情報を取得する。例えば、タブレット入力部３２３は、タブレット装置１０４の操作者（ユーザ）による表示部３２１へのタッチ操作を検出し、タッチされた時間及び／又は位置に基づく様々な指示の情報を取得することができる。ここで、タッチされた時間の情報は、ユーザによるタッチ操作を検出した時の時間情報（タイミング）を示す。また、タッチされた位置の情報は、空間的な位置の情報であって、タッチ操作を検出した表示部３２１の表示画面上の座標情報（ポジション）を示す。

ここで、タブレット入力部３２３が、受け付けた操作に基づいて、アノテーション情報を取得した場合について説明する。表示部３２１上に、撮像装置１０２で撮影中の映像データに対応するプロキシ映像のデータが表示されている際に、タブレット入力部３２３は、映像データにアノテーション情報を付加するためのユーザによる操作を受け付ける。そして、タブレット入力部３２３は、受け付けた操作に基づいて、指示されたアノテーションの種類に関する情報と、ユーザによってタッチされた時間及び／又は位置に関する情報とを、アノテーション情報として取得する。さらに、タブレット入力部３２３は取得したアノテーション情報を蓄積装置１０３へ送信する。

また、タブレット入力部３２３は、ユーザによる表示部３２１への操作に基づいて、蓄積装置１０３に蓄積された撮影済みのショット映像のうち、表示部３２１に再生（表示）させる対象のショット映像を選択（決定）する。そして、タブレット入力部３２３は、当該選択の結果に関する情報（再生ショット選択情報）を蓄積装置１０３に送信する。また、タブレット入力部３２３は、表示部３２１に表示させるアノテーション情報を選択する為のフィルタ情報を決定し、決定したフィルタ情報を蓄積装置１０３へ送信する。この処理により、表示部３２１は、タブレット入力部３２３によって決定されたショット映像と一緒に、選択されたアノテーション情報を表示することが可能となる。

尚、本実施形態において、タブレット装置１０４は、表示部３２１にプロキシ映像のデータ及びアノテーション情報を表示するよう制御する部として、ショット出力部３２２とアノテーション出力部３１９を用いたが、これに限定されない。即ち、タブレット装置１０４は、ショット出力部３２２とアノテーション出力部３１９の両方の機能を集約した表示制御部（不図示）を有していても構わない。よって、表示制御部（不図示）は、プロキシ映像受信部３２０によって受信されたプロキシ映像のデータと共に、アノテーション情報受信部３２４によって受信されたアノテーション情報を表示部３２１に表示するよう制御することができる。

また、本実施形態において表示部３２１はユーザによる操作を受け付け、タブレット入力部３２３は、表示部３２１へのユーザによる操作に基づく指示の情報を取得するが、これに限定されない。即ち、表示部３２１がタブレット入力部３２３の機能を備えていても構わない。

編集装置１０５は各部３３０〜３３１を包含する。撮影及びアノテーション情報の付加作業が完了した後に、編集装置１０５の蓄積部３３０は、蓄積装置１０３のデータ蓄積部３１２で蓄積されたショットデータをコピー（複製）し、蓄積（保持・保存）する。そして、編集部３３１は、蓄積部３３０に蓄積されたショットデータ（映像データ、映像データに付帯するメタデータ、及びアノテーション情報）に基づいて映像データを編集し、映像コンテンツを生成する。ここで、編集部３３１は、ショットデータだけでなく、予め決められた映像コンテンツに関する脚本やシナリオデータに基づいて、映像コンテンツを生成しても構わない。

図４及び図５は、本実施形態における主要なデバイスとなる蓄積装置１０３及びタブレット装置１０４の内部構成を説明する図である。まず、図４の蓄積装置１０３の各部について詳細を説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、図１に示した蓄積装置１０３の各部３０９〜３１８における演算や論理判断等の処理を行い、バス４０８に接続された各部４０２〜４０７の構成要素を制御する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１による制御のためのプログラムであって、後述する流れ図の処理手順を含む各種の指示を示すプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、外部記憶装置（不図示）等からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェイス）を介して外部から取得したデータ等を一時的に記憶する。映像ＣＯＤＥＣ４０４は、グラフィック処理用のメディアプロセッサ等から構成されており、映像データの各種トランスコード処理を行う。映像信号Ｉ／Ｆ４０５は、映像のストリーム信号を扱うＩ／Ｆである。ストレージ４０６は、映像信号を蓄積あるいはキャッシュ（一時的に保存）する。無線通信Ｉ／Ｆ４０７は、映像ストリームを送受信し、所定のバンド幅、及び１以上のチャンネルを保持している。

次に、図５のタブレット装置１０４の各部について詳細を説明する。ここで、図５の各部５０１〜５０８は、図４の各部４０１〜４０８と、それぞれ同一の機能を有するため、説明を省略する。尚、各部４０２〜４０８と各部５０２〜５０８の回路規模については、同一でなくても構わない。例えば、本実施形態における図４のストレージ４０６の回路規模は、図５のストレージ５０６の回路規模よりも大きくても良い。ＣＰＵ５０１は、図１に示したタブレット装置１０４の各部３１９〜３２４における演算や論理判断等の処理を行い、バス５０８に接続された各部５０１〜５０７、５０９〜５１０の構成要素を制御する。タブレット入力デバイス５０９及び表示デバイス５１０は、タブレット装置１０４のＵＩを構成するデバイスである。ユーザが表示デバイス５１０の表示画面をタッチ操作することによって、タブレット装置１０４は当該操作に対応する指示及び情報を取得することができる。例えば、ユーザが表示デバイス５１０の表示画面に対してピンチアウト操作をすることによって、タブレット入力デバイス５０９は、表示デバイス５１０に操作されたピンチアウト操作に対応する拡大指示を取得するようにしてもよい。

また、本実施形態における撮像装置１０２はＣＰＵ（不図示）及びＲＯＭ（不図示）を有する。そして、ＣＰＵ（不図示）は図１に示す撮像装置１０２の各部３０５〜３０８における演算や論理判断等の処理を行い、ＲＯＭ（不図示）は後述する流れ図の処理手順を含む各種の指示を示すプログラムを格納する。

次に、本実施形態による撮影中のショット映像にアノテーション情報を付加する手順の詳細について、図６（ａ）、図６（ｂ）、図６（ｃ）、図７（ａ）、図７（ｂ）、図７（ｃ）、及び図７（ｄ）を用いて説明する。まず、図６（ａ）、図６（ｂ）、及び図６（ｃ）は、本実施形態を実現するタブレット装置１０４の表示部３２１における表示画面（操作画面）を示す図である。本実施形態において、撮像装置１０２を用いてショットの撮影を行いながら、撮影中のショット映像をタブレット装置１０４に再生（表示）する。また、撮影の監督やスタッフ等のユーザは、撮像装置１０２によってショットの撮影を行っている際に、タブレット装置１０４を用いてアノテーション情報をリアルタイムに付加することができる。

図６（ａ）において、表示画面６０１はタブレット装置１０４の表示部３２１における表示画面（操作画面）である。領域６０２は、撮像装置１０２において撮影中の映像を、プロキシ映像のデータを利用してリアルタイムに表示する領域である。タブレット装置１０４は、ユーザによる表示画面６０１の領域６０２へのタッチ操作を検出し、タッチされた時間及び／又は位置に対応したアノテーション情報を、表示されたプロキシ映像のデータに付加することが可能である。また、表示６０３は、撮影中のショット映像に対応するショットデータの表示であり、ボタン６０４は、アノテーション情報の種類を指定する為のショートカットボタンである。ボタン６０５及びボタン６０６は、表示画面６０１に表示されていないショートカットボタンを表示する為の移動ボタンを示す。また、表示６０７は、撮影中のショットに関連する撮影済みのテイクのショット映像のサムネイルを一覧表示するＵＩ枠であり、表示６０８は撮影済みのショット映像のサムネイルの例である。

本実施形態においてユーザは、タブレット装置１０４を用いてプロキシ映像を再生中に、図６（ｂ）に示すように領域６０２上の、プロキシ映像の右上端に対応する位置６１０を指示する。例えば、図６（ａ）に示すようにプロキシ映像の背景にスタッフ６０９が移り込んでいる場合、ユーザはタッチ操作によって、図６（ｂ）に示すようにスタッフ６０９に対応する画像上の位置６１０を指示する。タブレット入力部３２３は、ユーザによる指示を検出し、検出した指示に基づいてアノテーション情報の時間情報及び／又は位置情報を取得する。ここで、アノテーション情報の時間情報は、プロキシ映像においてアクションコールの時間を基準とする場合に、アクションコールの時間からアノテーション情報を付加する指示が検出された時までの時間情報（タイミング）を示す。また、アノテーション情報の位置情報は、空間的な位置の情報であって、プロキシ映像における画像上の座標情報（ポジション）を示す。

そして、タブレット装置１０４は、表示部３２１の表示画面６０１における領域６０２上の位置６１０に、カーソルマーク（以下、単にカーソルと称す）を表示するよう制御する。即ち、表示されるカーソルは、位置６１０を示す図形（画像）である。さらに、ユーザは、図６（ｃ）に示すようにボタン６０４のうち位置６１０に付加するアノテーション情報の種類６１１を選択・指示する。例えば、図６（ｃ）では、ユーザによって、再生中のプロキシ映像における背景が失敗（ＮＧ：ＮＯ ＧＯＯＤ）であることを示すアノテーション情報の種類６１１が指示されている。そして、タブレット入力部３２３は、ユーザによって指示されたアノテーション情報の種類に関する情報を取得する。

次に、撮影中のショット映像にアノテーション情報を付加する手順の詳細について、図７（ａ）、図７（ｂ）、図７（ｃ）、及び図７（ｄ）を用いて以下に説明する。図７（ａ）、図７（ｂ）、図７（ｃ）、及び図７（ｄ）は、ショットの撮影が行われる際の、デジタルクラップボード１０１、撮像装置１０２、蓄積装置１０３、及びタブレット装置１０４のそれぞれにおいて実行される処理を説明する流れ図である。

まず、図７（ａ）について説明する。図７（ａ）は、ショットの撮影が行われる際に、撮像装置１０２において実行される処理の手順を示す流れ図である。尚、図７（ａ）に示す流れ図は、撮像装置１０２のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図７（ａ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

まず、ステップＳ７０１において撮像装置１０２は、撮影する対象のショット映像に係る撮影情報を撮像装置１０２の外部等から取得し、設定する。例えば、撮像装置１０２は、ユーザによって設定された撮影情報を取得するようにしてもよい。また、撮影情報は、撮影する対象のショット映像に係るシーン番号、ショット番号、テイク数等、図２（ａ）に示す様なユニークなＩＤの情報を示す。例えば、シネマやドラマの撮影は、撮影スタジオのセットや役者のスケジュールを考慮して事前に作成された撮影計画に基づいて、撮影すべきショットの順番が決められる場合がある。また、シネマやドラマの撮影は、脚本やシナリオが用意されている場合がある。このため、撮像装置１０２は、撮影すべきショットの順番や、脚本やシナリオの順番に基づいて、各ショットにユニークなＩＤを予め設定することができる。

ステップＳ７０２において撮像装置１０２は、ステップＳ７０１で設定された撮影情報を接続されたデジタルクラップボード１０１に送信する。ステップＳ７０３において撮像部３０４は、被写体の撮影を開始し、映像データを生成する。次に、ステップＳ７０４においてプロキシ映像生成部３０８は、撮像部３０４によって生成された映像データに基づいて、当該生成された映像データよりも解像度の低いプロキシ映像のデータをリアルタイムに生成する。ステップＳ７０５においてメタデータ送受信部３０６は、撮影に伴って生成されたメタデータ（撮影データ）として、撮像装置１０２に設定された撮影情報を逐次取得する。ここで、メタデータ送受信部３０６は、撮影情報の他に、映像の先頭の時間を示す時間情報等のクラップボード情報を取得しても構わない。尚、本実施形態においてメタデータ送受信部３０６が撮影情報を取得する構成としたが、これに限定されない。例えば、プロキシ映像生成部３０８が撮影情報を取得して、プロキシ映像に付加するようにしても構わない。

ステップＳ７０６において映像データ送信部３０７は、撮像部３０４で撮影されたショット映像のデータ（ＲＡＷデータ）及びプロキシ映像生成部３０８で生成されたプロキシ映像のデータを、出力データとして蓄積装置１０３に送信する。ステップＳ７０７においてメタデータ送受信部３０６は、ステップＳ７０５において取得したメタデータを蓄積装置１０３に送信する。尚、出力データとメタデータのそれぞれの送信順序は限定されない。例えば、ステップＳ７０６とステップＳ７０７の順番が逆でも構わない。

次に、ステップＳ７０８においてメタデータ送受信部３０６はデジタルクラップボード１０１から出力されたクラップボード情報を受信する。そして、ステップＳ７０９においてメタデータ送受信部３０６は、ステップＳ７０８において受信したクラップボード情報に基づいて、アクションコール信号を蓄積装置１０３に送信する。ここで、アクションコール信号は、同一ショットにおける複数のテイクの時間軸を一致（同期）させる為に用いられる基準時間情報である。ステップＳ７１０において撮像装置１０２は、１ショット分の撮影が終了したか否かを判定する。そして、撮像装置１０２は、ステップＳ７１０において１ショット分の撮影が終了していないと判定された場合にショットの撮影を継続し、終了したと判定された場合にショットの撮影を終了する。

次に、図７（ｂ）について説明する。図７（ｂ）は、撮像装置１０２によりショットの撮影が行われる際に、撮像装置１０２と接続されたデジタルクラップボード１０１において実行される処理の手順を示す流れ図である。尚、図７（ｂ）に示す流れ図は、デジタルクラップボード１０１のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図７（ｂ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

まず、ステップＳ７１１においてデジタルクラップボード１０１は、撮像装置１０２から撮影情報を受信する。そして、ステップＳ７１２においてデジタルクラップボード１０１は、ステップＳ７１１において取得した撮影情報を表示部３０１に表示するよう制御する。次に、撮影が開始された後に、ステップＳ７１３においてデジタルクラップボード１０１は、ユーザによりデジタルクラップボード１０１に対する操作が行われたか否かを判定する。ステップＳ７１３においてデジタルクラップボード１０１に対する操作が行われたと判断した場合にステップＳ７１４へ進む。そして、ステップＳ７１４においてデジタルクラップボード１０１は、受け付けた操作に関するクラップボード情報を撮像装置１０２へ送信する。例えば、デジタルクラップボード１０１は、ユーザによるアクションコールの操作を受け付けた場合に、ステップＳ７１４に進み、撮像装置１０２へアクションコール信号をクラップボード情報として送信する。

次に、図７（ｃ）について説明する。図７（ｃ）は、撮像装置１０２によりショットの撮影が行われる際に、蓄積装置１０３において実行される処理の手順を示す流れ図である。尚、図７（ｃ）に示す流れ図は、蓄積装置１０３のＣＰＵ４０１がＲＯＭ４０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図７（ｃ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

ステップＳ７１５において映像データ受信部３１０は、撮像装置１０２の映像データ送信部３０７から映像データとプロキシ映像のデータとを含む出力データの受信が開始されたか否かを判定する。ここで、ステップＳ７１５において出力データの受信が開始されていないと判断された場合は、出力データの受信が開始されるまでステップＳ７１５の処理を行う。そして、ステップＳ７１５において出力データの受信が開始されると判断された場合に、ステップＳ７１６において映像データ受信部３１０は、出力データを受信する。ステップＳ７１７においてプロキシ映像送信部３１１は、ステップＳ７１６において映像データ受信部３１０によって入力された出力データからプロキシ映像のデータを取り出し、タブレット装置１０４に送信する。ステップＳ７１８においてメタデータ受信部３０９は、撮像装置１０２のメタデータ送受信部３０６からメタデータを入力する。ステップＳ７１９では撮像装置１０２のメタデータ送受信部３０６からアクションコール信号を入力する。

次に、ステップＳ７２０においてデータ蓄積部３１２は、各ステップＳ７１６、ステップＳ７１８、及びステップＳ７１９で入力された出力データ、アクションコール信号を含むメタデータを逐次蓄積する。次に、ステップＳ７２１においてデータ蓄積部３１２は、タブレット装置１０４からアノテーション情報が入力されたか否かを判定し、アノテーション情報が入力された場合にステップＳ７２２に進み、当該アノテーション情報を受信する。ステップＳ７２３にてデータ蓄積部３１２は、ステップＳ７２２にてデータ蓄積部３１２によって受信されたアノテーション情報を、ステップＳ７１６にて映像データ受信部３１０によって受信された撮影中の映像データと関連付けて蓄積する。そして、ステップＳ７２４において蓄積装置１０３は、撮像装置１０２からの映像データの入力が終了したか否かを判定し、映像データの入力が終了したと判定されるまで、タブレット装置１０４からのアノテーション情報の入力と蓄積を繰り返す。

次に、図７（ｄ）について説明する。図７（ｄ）は、撮像装置１０２によりショットの撮影が行われる際に、タブレット装置１０４において実行される処理の手順を示す流れ図である。尚、図７（ｄ）に示す流れ図は、タブレット装置１０４のＣＰＵ５０１がＲＯＭ５０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図７（ｄ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

ステップＳ７２５においてプロキシ映像受信部３２０は、蓄積装置１０３のプロキシ映像送信部３１１から送信されたプロキシ映像のデータを受信する。そして、ステップＳ７２６においてタブレット装置１０４は、ステップＳ７２５においてプロキシ映像受信部３２０によって受信されたプロキシ映像のデータをタブレット装置１０４の表示部３２１における表示画面６０１の領域６０２に表示するよう制御する。次に、ステップＳ７２７においてタブレット入力部３２３は、タブレット装置１０４にアノテーション情報が入力されたか否かを判定する。ここで、タブレット入力部３２３は、ユーザによる表示画面６０１の領域６０２へのタッチ操作を受け付け、タッチされた時間及び／又は位置に関する情報に基づいてアノテーション情報を生成する。

そして、ステップＳ７２７においてアノテーション情報が入力されたと判定された場合に、ステップＳ７２８においてタブレット入力部３２３は、入力されたアノテーション情報の種類に関する情報を取得する。尚、アノテーションの種類に関する情報は、図６（ａ）に示した表示画面６０１における領域６０２上に対するユーザによるタッチ操作の前または後に、ボタン６０４（ショートカットボタン）に対するユーザによるタッチ操作を検出することによって取得される。またこの際、ユーザがボタン６０５及びボタン６０６を操作した場合、タブレット入力部３２３は、さらに詳細なアノテーション情報の種類に関する情報や、テキストによるアノテーション情報を入力することも可能である。ステップＳ７２９においてタブレット入力部３２３は、取得したアノテーション情報を蓄積装置１０３に送信する。

ここで、タブレット装置１０４のタブレット入力部３２３に入力され、蓄積装置１０３のデータ蓄積部３１２に蓄積されるアノテーション情報の例について、図１０を用いて説明する。尚、図１０はアノテーション情報の一例である。図１０に示すように、本実施形態においてアノテーション情報は、ショットＩＤ、アノテーションＩＤ、アノテーション情報のスタート時間及びエンド時間、アノテーション情報が付加された画像上の位置（Ｘ座標及びＹ座標、その他の位置）に関する情報を含む。また、本実施形態においてアノテーション情報は、アノテーション情報の種類（ＧＯＯＤ／ＮＧ（ＮＯ ＧＯＯＤ）、大分類、小分類）、コメント等に関する情報を含む。ＧＯＯＤ／ＮＧは、映像コンテンツの生成において映像の適切性を示す情報であって、ＧＯＯＤは適していることを示し、ＮＧは適していないことを示す。例えば、図６（ｃ）に示すように、背景にスタッフ６０９が入り込んだ場合、「ＧＯＯＤ／ＮＧ：ＮＧ」、「大分類：背景」、「小分類：映り込み」がアノテーション情報の種類として含まれる。

尚、ショットＩＤは、図２（ａ）に示す映像データの階層概念に基づいて、アノテーション情報が付加されたショット映像のシーケンス、シーン、ショット、テイクの番号を示す。例えば、ＲＣ０１−Ｓ１２−Ｓ０７−Ｔ５なるショットＩＤで示されたショット映像は、シーケンス番号０１、シーン番号１２、ショット番号０７、テイク番号５の映像を示す。また、アノテーションＩＤは、ショット映像に付加された各アノテーション情報を識別するための識別子（符号）である。スタート時間は、ショット映像におけるアノテーション情報の付加が開始された時間の情報を示す。また、エンド時間は、アノテーションの付加が終了した時間の情報を示す。尚、本実施形態において、スタート時間及びエンド時間は、アクションコールのタイミングを基準とし、アクションコールのタイミングからアノテーション情報の付加が開始された時間とアノテーション情報の付加が終了した時間とに関する情報を示す。また、アノテーション情報が付加された画像上の位置は、図６（ａ）に示す表示画面６０１の領域６０２における位置（座標）を示す。

また、本実施形態においてアノテーション情報は、図１０に示す情報を含むが、これに限定されない。即ち、アノテーション情報はアノテーション情報が付加された時間情報及び／又は位置情報を少なくとも含むものであれば構わないし、図１０に示す情報以外の情報を含んでも構わない。

以上で説明したように、図６（ａ）、図６（ｂ）、図６（ｃ）、図７（ａ）、図７（ｂ）、図７（ｃ）、及び図７（ｄ）で説明した操作を行うことにより、撮影中のショット映像にアノテーション情報を付加することができる。

次に、本実施形態による撮影されたショット映像を再生する処理の詳細について、図８（ａ）、図８（ｂ）、図８（ｃ）、図９（ａ）、及び図９（ｂ）を用いて説明する。図８（ａ）、図８（ｂ）、及び図８（ｃ）は、撮影されたショット映像を再生する場合のタブレット装置１０４の表示部３２１における表示画面を示す図である。例えば、本実施形態におけるタブレット装置１０４は、同一ショットに対して撮影された４種類のテイクについて、図８（ａ）、図８（ｂ）、及び図８（ｃ）に示すように表示し、各テイクのショット映像を比較することができる。尚、図８（ａ）、図８（ｂ）、及び図８（ｃ）において、図６（ａ）、図６（ｂ）、及び図６（ｃ）で示したものと同じ機能を有するものは同じ符号を付与し、説明を省略する。

図８（ａ）において、表示８０７は、撮像装置１０２によって撮影済みのショットに関連するテイクの一覧を示すサムネイルである。図８（ａ）において太枠で囲まれたショット映像８０８は、撮影済みのショットに関するテイクのうち、ユーザによって再生する対象として選択されたショット映像である。領域８０２は、選択されたショット映像８０８を、プロキシ映像のデータを利用して表示する領域である。タブレット装置１０４は、ユーザによる表示画面６０１の領域８０２へのタッチ操作を検出する。そしてタブレット装置１０４は、タッチされた時間及び／又は位置に対応したアノテーション情報を、表示されたプロキシ映像のデータに付加することが可能である。即ち、図６（ａ）では、撮影中のショット映像に対してアノテーション情報を付加するのに対し、図８（ａ）では、撮影後であって再生中のショット映像に対してアノテーション情報を付加する。ボタン８０３は、プレイバックコントロールのためのツールボタンである。例えば、ボタン８０３は、表示対象の映像データに対して、再生、一時停止、停止、スキップ前、巻き戻し、早送り、スキップ後、スロー再生等を指示したり、シークバー（再生バー）を用いて再生箇所を指定したりすることができる。

また、図８（ａ）に示すように領域８０２上には、選択されたショット映像８０８だけでなく、選択されたショット映像８０８と関連するショット映像（関連ショット映像）において付加されたアノテーション情報８０９が表示されている。即ち、領域８０２には、選択されたショット映像８０８と同一のショットの他のテイクのショット映像である関連ショット映像８１２において付加されたアノテーション情報８０９が表示される。このように、関連ショット映像に付加されたアノテーション情報「テイク４でＮＧ（背景）」をテキスト情報として一緒に表示（重畳表示）する。このような重畳表示により、ユーザは関連ショット映像に付加されたアノテーション情報の時間及び位置を注目点として確認することができる。

さらに、図８（ｂ）に示すように、撮影されたショット映像を再生中に、ユーザが当該ショット映像の右端に対応する位置８１０を指示した場合、タブレット装置１０４のタブレット入力部３２３は、ユーザによる指示を検出する。そして、タブレット入力部３２３は、検出した指示に基づいてアノテーション情報の時間情報及び／又は位置情報を取得する。そして、タブレット装置１０４は、表示部３２１の表示画面６０１における領域８０２上の位置８１０に、カーソルを表示するよう制御する。さらに、ユーザは、図８（ｃ）に示すようにボタン６０４のうち位置８１０に付加するアノテーション情報の種類８１１を選択・指示する。例えば、図８（ｃ）では、ユーザによって、再生中のプロキシ映像の背景がＮＧ（失敗）であることを示すアノテーション情報の種類８１１が指示されている。そして、タブレット入力部３２３は、ユーザによって指示されたアノテーション情報の種類に関する情報を取得する。このようにして、タブレット装置１０４は、撮影されたショット映像を再生中に、アノテーション情報を追加することができる。

次に、撮影されたショット映像を再生する手順の詳細について、図９（ａ）及び図９（ｂ）を用いて以下に説明する。図９（ａ）及び図９（ｂ）は、ショット映像を再生する際の、タブレット装置１０４及び蓄積装置１０３のそれぞれにおいて実行される処理を説明する流れ図である。

まず、図９（ａ）について説明する。図９（ａ）は、ショット映像を再生する際に、タブレット装置１０４において実行される処理の手順を示す流れ図である。尚、図９（ａ）に示す流れ図は、タブレット装置１０４のＣＰＵ５０１がＲＯＭ５０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図９（ａ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

まず、ステップＳ９０１においてタブレット装置１０４のタブレット入力部３２３は、ユーザによる指示に基づいて、再生するショット映像を選択（決定）する。例えば、タブレット入力部３２３は、ユーザによってショットＩＤがＲＣ０１−Ｓ１２−Ｓ０９−Ｔ２（図１０の１００１）であるショット映像を再生する指示を受け付け、当該ショットＩＤに関連するショット映像を、再生するショット映像として選択する。ここで、図１０に示すように、当選択されたショット映像１００１に対応するショット番号Ｓ０９には、テイク番号Ｔ１〜５（Ｔ１、Ｔ２、Ｔ３、Ｔ４、及びＴ５）の５本のショット映像が存在する。このような場合、撮影時においては、当該５本のショット映像のうちに撮影ミスのないショット映像があることを確認する必要がある。また、映像コンテンツの作成時に、当該５本のショット映像のうちに撮影ミスのないショット映像を選択する必要がある。

ステップＳ９０２においてタブレット入力部３２３は、ステップＳ９０１における選択の結果に関する情報（再生ショット選択情報）を蓄積装置１０３に送信する。そして、ステップＳ９０３においてプロキシ映像受信部３２０は、蓄積装置１０３に蓄積されたショットデータのうち、ステップＳ９０１で選択されたショット映像に関連するショットデータ（映像データ）を受信する。ステップＳ９０４においてタブレット入力部３２３は、ユーザ操作に基づいて、ショット映像を再生する際に合わせて表示させるアノテーション情報の種類を選択し、選択したアノテーション情報の種類に基づいてフィルタ情報を決定する。ここで、本実施形態においてタブレット入力部３２３は、図１０の情報１００２のような「ＧＯＯＤ／ＮＧ」のタグや、情報１００３の「大分類」及び情報１００４の「小分類」のような特定の「分類」のタグを、アノテーション情報の種類として取得する。そして、タブレット入力部３２３は、当該アノテーション情報の種類に基づいて、ショット映像の比較の目的に合ったフィルタ情報を選択することができる。例えば、タブレット入力部３２３は、再生するショット映像に付加されたアノテーション情報のみを表示するためのフィルタ情報を選択しても構わない。また、当該再生するショット映像に関連するショット映像に付加されたアノテーション情報も一緒に表示するためのフィルタ情報を選択しても構わない。

ステップＳ９０５においてタブレット装置１０４は、ステップＳ９０４においてタブレット入力部３２３によって選択されたフィルタ情報を蓄積装置１０３に送信する。蓄積装置１０３は、タブレット装置１０４から取得したフィルタ情報に基づいて、タブレット装置１０４から取得したアノテーション情報をフィルタリングする。この蓄積装置１０３の処理の詳細については後述する。そして、ステップＳ９０６においてアノテーション情報受信部３２４は、蓄積装置１０３によってフィルタリングを施されたアノテーション情報を受信する。そして、ステップＳ９０７においてアノテーション出力部３１９及びショット出力部３２２は、ステップＳ９０３で受信したプロキシ映像のデータ及びステップＳ９０６で受信したアノテーション情報を、表示部３２１に表示するよう制御する。以上の処理によって、表示部３２１は、図８（ａ）に示す様に、領域８０２に、選択されたショット映像と、当該選択されたショット映像に重畳（対応）されたアノテーション情報８０９とを表示する。

さらに、表示部３２１に選択したショット映像に対応するプロキシ映像のデータ及びアノテーション情報を表示中に、ユーザが表示部３２１の表示画面６０１における領域８０２に対してタッチ操作した場合について説明する。この場合、タブレット入力部３２３は、図８（ｂ）に示す位置８１０へのユーザによるタッチ操作を検出し、検出した結果に基づいて、表示中のショット映像に対するアノテーション情報を追加することが出来る。このことから、ステップＳ９０８においてタブレット入力部３２３は、アノテーション情報が追加されたか否かを判定する。そして、ステップＳ９０８においてアノテーション情報が入力されたと判定された場合、ステップＳ９０９においてタブレット入力部３２３は、図８（ｃ）に示すユーザによるタッチ操作に基づいてアノテーション情報を取得する。そして、ステップＳ９１０においてタブレット入力部３２３は、ステップＳ９０９で取得したアノテーション情報を蓄積装置１０３へ送信する。ステップＳ９１１においてタブレット装置１０４は、１ショット分の映像データの再生が終了したか否かを判定する。そして、タブレット装置１０４は、ステップＳ９１１において１ショット分の再生が終了していないと判定した場合にステップＳ９０８の処理へ戻り、終了したと判定した場合にショットの再生及びアノテーション情報の追加を終了する。即ち、タブレット装置１０４は、１ショット分の再生が終了したと判定するまで、アノテーション情報を追加することができる。

次に、図９（ｂ）について説明する。図９（ｂ）は、ショット映像を再生する際に、蓄積装置１０３において実行される処理を説明する流れ図である。尚、図９（ｂ）に示す流れ図は、蓄積装置１０３のＣＰＵ４０１がＲＯＭ４０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図９（ｂ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

まず、ステップＳ９１２においてショットデータ抽出部３１４は、タブレット装置１０４のタブレット入力部３２３から出力された再生ショット選択情報を受信する。そして、ステップＳ９１３においてショットデータ抽出部３１４は、ステップＳ９１２において受信した再生ショット選択情報に対応したショットデータを抽出する。ステップＳ９１４においてプロキシ映像送信部３１１は、ステップＳ９１３においてショットデータ抽出部３１４によって抽出されたショットデータをタブレット装置１０４に送信する。そして、ステップＳ９１５において関連ショット検出部３１５は、ステップＳ９１３においてショットデータ抽出部３１４によって抽出されたショットデータと関連する関連ショット映像の検出を行う。

ステップＳ９１６において関連ショット検出部３１５は、ステップＳ９１５において関連ショット映像が検出されたか否かを判定し、関連ショット映像が検出されたと判定した場合に蓄積装置１０３はステップＳ９１７の処理へ進む。一方、ステップＳ９１６において関連ショット映像が検出されなかったと判定された場合に蓄積装置１０３はステップＳ９１８の処理へ進む。ステップＳ９１７においてアノテーション情報抽出部３１６は、関連ショット検出部３１５によって検出された関連ショット映像に対応するアノテーション情報を、データ蓄積部３１２から取得する。ステップＳ９１８においてアノテーション情報フィルタ部３１７は、タブレット装置１０４のタブレット入力部３２３から出力されたフィルタ情報を受信する。そして、ステップＳ９１９においてアノテーション情報フィルタ部３１７は、受信したフィルタ情報に基づいて、ステップＳ９１７においてアノテーション情報抽出部３１６によって取得された関連ショット映像に対応するアノテーション情報にフィルタ処理を施す。即ち、ステップＳ９１９においてアノテーション情報フィルタ部３１７は、フィルタ情報に基づいて、抽出するアノテーション情報の種類を選択する。

次に、ステップＳ９２０において同期部３１８は、関連するショット映像のアノテーション情報の時間情報の調整を、図２（ｂ）で説明した様に、アクションコールのタイミング（時間情報）に基づいて行う。さらに、ステップＳ９２１においてアノテーション情報送信部３１３は、ステップＳ９１９で選択され、ステップＳ９２０で調整されたアノテーション情報を、タブレット装置１０４に送信する。さらに、タブレット装置１０４においてショットの再生が行われている間に、追加のアノテーション情報が付加される場合がある。そこで、ステップＳ９２２において蓄積装置１０３は、追加のアノテーション情報を受信したか否かを判定する。ステップＳ９２３においてデータ蓄積部３１２は、追加のアノテーション情報を受信し、ステップＳ９２４においてデータ蓄積部３１２は、再生中のショット映像と関連付けて追加のアノテーション情報を蓄積する。そして、ステップＳ９２５において蓄積装置１０３は、１ショット分の映像データの再生が終了したか否かを判定し、再生が終了していないと判定した場合にステップＳ９２２の処理へ戻り、終了したと判定した場合にアノテーション情報の蓄積処理を終了する。

以上のように本実施形態における映像処理システムは、図８（ａ）、図８（ｂ）、図８（ｃ）、図９（ａ）及び図９（ｂ）に示す処理を行う。これによって、本実施形態の映像処理システムは、再生中のショット映像と、当該ショット映像に関連するショット映像に付加されたアノテーション情報とを同時に表示する。これによって、本実施形態における映像処理システムは、ユーザにとって、関連ショット映像に付加されたアノテーション情報を視認し易くすい映像処理システムを提供する。さらに、本実施形態における映像処理システムは、再生中のショット映像に対して、新たに見つかった点についてアノテーション情報を追加する。

以上説明したように、本実施形態の映像処理システムによれば、映像（特定のショット映像）と、当該特定のショット映像に関連する他の映像（関連ショット映像）に付加されたアノテーション情報とを、表示することができる。即ち、本実施形態における映像処理システムによれば、特定のショット映像の再生を行う際に、当該特定ショット映像と置き換え可能である関連ショット映像に付加されたアノテーション情報を表示することができる。そして、特定のショット映像の再生中であっても、ユーザにとって、関連ショット映像のアノテーション情報を考慮して特定のショット映像を映像コンテンツに用いるか否かを決定することのできる映像処理システムを提供することができる。

また、本実施形態の映像処理システムは、特定のショット映像を再生する際に、当該特定のショット映像に関連する他のテイクのショット映像（関連ショット映像）に付加されたアノテーション情報によって示唆される注目箇所及びその内容を表示する。これによって、同一ショットにおいて複数のテイクのショット映像が存在する場合に、ユーザは当該特定のショット映像における注目点を視認することができ、映像コンテンツを生成する為に用いられるショット映像を従来よりも容易に選択することができる。

また、本実施形態における映像処理システムは、同一のショットに対する複数のテイクのショット映像の撮影において、タブレット装置を用いて簡単にアノテーション情報を付加することができる。

（実施形態２）
上述の実施形態１では、ショット映像に付加されたアノテーション情報を、当該ショット映像に関連するショット映像の再生時に、タブレット装置１０４の表示部３２１に表示する構成としていた。本実施形態では、ショット映像に付加されたアノテーション情報を、当該ショット映像と同一のショットの他のテイクのショット映像（関連ショット映像）の撮影時に撮像装置１０２のファインダ３０３に表示する構成とする。

図１１は、本実施形態による映像処理システムの構成を示す図である。尚、本実施形態の図１１において、実施形態１の図１の各部と同じ機能を有する部は同じ符号を付与し、その説明を省略する。本実施形態において撮像装置１０２は、アノテーション情報重畳部１１０１を備えている点で、実施形態１の図１に示す撮像装置１０２と異なる。アノテーション情報重畳部１１０１は、蓄積装置１０３から送信されたアノテーション情報であって撮影中のショット映像に関連するショット映像に付加されたアノテーション情報と、撮像部３０４で撮像された画像（映像）とを重畳する。そして、ファインダ表示制御部３０５は、アノテーション情報重畳部１１０１によって重畳されたアノテーション情報と撮影された映像とをファインダ３０３に表示するよう制御する。

また、本実施形態において蓄積装置１０３は、アノテーション情報送信部３１３がアノテーション情報を撮像装置１０２に送信する点で、実施形態１の図１に示す蓄積装置１０３と異なる。本実施形態においてアノテーション情報送信部３１３は、撮像装置１０２のメタデータ送受信部３０６から出力されたメタデータに基づき、データ蓄積部３１２に蓄積された、撮影中のショット映像に関連するショット映像のアノテーション情報を取得する。そして、アノテーション情報送信部３１３は、取得したアノテーション情報を撮像装置１０２へ送信する。

次に、本実施形態によるショットの撮影が行われる際の手順の詳細について、図１２（ａ）、図１２（ｂ）、及び図１３を用いて説明する。図１２（ａ）、及び図１２（ｂ）は、ショットの撮影が行われる際の、撮像装置１０２、及び蓄積装置１０３のそれぞれにおいて実行される処理を説明する流れ図である。尚、図１２（ａ）、及び図１２（ｂ）において、実施形態１の図７（ａ）、及び図７（ｃ）と同等の処理を行うステップには同じ符号を付与し、説明を省略する。また、本実施形態において、ショットの撮影が行われる際の、デジタルクラップボード１０１、及びタブレット装置１０４のそれぞれにおいて実行される処理は、実施形態１の図７（ｂ）、及び図７（ｄ）と同等のため、説明を省略する。

まず、図１２（ａ）について説明する。図１２（ａ）は、ショットの撮影が行われる際に、撮像装置１０２において実行される処理の手順を示す流れ図である。尚、図１２（ａ）に示す流れ図は、撮像装置１０２のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図１２（ａ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

ステップＳ１２０２においてメタデータ送受信部３０６は、ステップＳ７０１で設定された撮影情報を接続されたデジタルクラップボード１０１及び蓄積装置１０３に送信する。また、ステップＳ１２０８においてアノテーション情報重畳部１１０１は、蓄積装置１０３から撮影中のショット映像に関連するショット映像に付加されたアノテーション情報を受信する。さらに、ステップＳ１２１１においてアノテーション情報重畳部１１０１は、ステップＳ１２０８で受信したアノテーション情報と撮像部３０４で撮像された映像とを重畳し、ファインダ３０３に表示するよう制御する。以後、撮像装置１０２は、実施形態１の図７（ａ）と同様に、ステップＳ７１０において１ショット分の撮影が終了したと判定されるまでショットの撮影を継続する。

次に、図１２（ｂ）について説明する。図１２（ｂ）は、撮影済みの特定のショットについて、更なるテイクの撮影を行う際に、蓄積装置１０３において実行される処理の手順を示す流れ図である。尚、図１２（ｂ）に示す流れ図は、蓄積装置１０３のＣＰＵ４０１がＲＯＭ４０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図１２（ｂ）に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。

ステップＳ１２１７においてメタデータ受信部３０９は、撮像装置１０２が撮影するショット映像のメタデータを撮像装置１０２から受信する。次に、ステップＳ１２１８において関連ショット検出部３１５は、ステップＳ１２１７で取得されたメタデータに基づいて、データ蓄積部３１２に蓄積されたショットデータのうち、撮影中のショット映像に関連する関連ショット映像のショットデータを検出する。ここで、関連ショット映像のショットデータとは、蓄積装置１０３に既に蓄積されている映像データであって、ステップＳ１２１７で取得した撮影中のショット映像と同一のショット番号を持つ、他のテイクのショット映像を示す。ステップＳ１２１９において関連ショット検出部３１５は、撮影中のショット映像に関連する関連ショット映像の有無を判定し、関連ショット映像が有ると判定した場合にステップＳ１２２０へ進み、関連ショット映像が無いと判定した場合にステップＳ７１５へ進む。

ステップＳ１２２０においてアノテーション情報送信部３１３は、ステップ１２１８で検出された関連ショット映像に対応するアノテーション情報を取得する。ステップＳ１２２１において同期部３１８は、実施形態１の図９（ｂ）に示すステップＳ９２０の処理と同様に、関連ショット映像に付加されたアノテーション情報の時間情報を、アクションコールのタイミング（時間情報）に基づいて調整する。即ち、本実施形態において同期部３１８は、撮影中のショット映像と関連ショット映像のそれぞれのアクションコールのタイミングを基準時間情報００：００として一致（同期）させ、関連ショット映像に付加されたアノテーション情報の時間情報を調整する。そして、ステップＳ１２２２においてアノテーション情報送信部３１３は、ステップＳ１２２１で時間情報を調整施された、関連ショット映像のアノテーション情報を、撮像装置１０２に送信する。

次に、図１３について説明する。図１３は、撮影中のショット映像と関連する関連ショット映像に付加されたアノテーション情報と、撮像部３０４で撮像された映像とを重畳して表示する場合の、ファインダ３０３における表示画面（ファインダ画面）を示す図である。図１３に示すように、ファインダ３０３におけるファインダ画面１３０２には、関連ショット映像に付加されたアノテーション情報１３０３が撮影中のショット映像と重畳されて表示されている。このように、関連ショット映像に付加されたアノテーション情報「テイク４でＮＧ（背景）」をテキスト情報で一緒に表示（重畳表示）する。このような重畳表示により、ユーザは関連ショット映像に付加されたアノテーション情報の時間情報及び位置情報を注目点として確認することができる。

以上で説明したように、図１２（ａ）、図１２（ｂ）、及び図１３で説明した操作を行うことにより、撮影中のショット映像と関連する関連ショット映像に付加されたアノテーション情報をファインダ３０３に表示することができる。

以上説明したように、本実施形態の映像処理システムによれば、映像（特定のショット映像）と、当該特定のショット映像に関連する他の映像（関連ショット映像）に付加されたアノテーション情報とを表示することができる。即ち、本実施形態における映像処理システムによれば、特定のシチュエーションにおいてショット映像の取り直しを行う際に、特定のシチュエーションで撮影済みの関連ショット映像に付加されたアノテーション情報を表示することができる。

また、本実施形態の映像処理システムは、特定のショット映像を撮影する際に、当該特定のショット映像に関連する他のテイクのショット映像（関連ショット映像）に付加されたアノテーション情報によって示唆される注目箇所及びその内容を表示する。これによって、同一ショットにおいて新たなテイクのショット映像を撮影する（取り直しする）場合に、ユーザは当該ショット映像における注目点を視認することができ、撮影済みの関連ショット映像と同じ撮影ミスをする可能性を低減させることができる。また、撮影済みの関連ショット映像に付けられたアノテーション情報（注目点）をファインダ３０３で確認しながら、ショット映像の取り直しを行うことができるため、利便性を向上させることができる。

尚、本実施形態の図１２（ｂ）に示すステップＳ１２２１にて同期部３１８は、撮影中のショット映像に重畳表示するアノテーション情報の表示タイミングを、関連ショット映像に付けられたアノテーション情報と同一のタイミングとしたがこれに限定されない。即ち、ステップＳ１２２１において同期部３１８は、アノテーション情報の時間情報の調整処理において所定のオフセットを付けても構わない。例えば、同期部３１８が関連ショット映像のアクションコールのタイミングを基準時間情報００：００とした場合のアノテーション情報の時間情報に所定のオフセットを付けて、時間情報の調整を行っても構わない。そして、アノテーション情報重畳部１１０１は、関連ショット映像で付加されたアノテーション情報が、関連ショット映像でアノテーション情報が付けられたタイミングよりも早いタイミングで表示されるように、撮像された映像に重畳しても構わない。これらの処理によってユーザは、予め関連ショット映像で付けられたアノテーション情報を事前に確認した上で、当該アノテーション情報が付けられたタイミングに対応する撮影を行うことができる。

さらに、本実施形態においては、撮影の際に重畳表示するアノテーション情報について、関連するショット映像に付けられた全てのアノテーション情報としたが、これに限定さずれない。即ち、撮像装置１０２又はタブレット装置１０４において、表示するアノテーション情報の種類を選択する手段を設け、撮像装置１０２が撮影の為に必要なアノテーション情報を表示する構成にしても構わない。このような構成によって、撮影の際に不必要なアノテーション情報を非表示とし、簡潔に表示できるため、全てのアノテーション情報を表示する場合と比較して、ユーザにとって必要な注意点をより視認し易い映像処理システムを提供することができる。

（実施形態３）
上述の実施形態１及び実施形態２では、図８（ａ）に示すようにアノテーション情報が付加された画像上の位置をカーソルで示し、アノテーション情報に係る補足情報をテキスト情報として表示する構成としていた。本実施形態では、付加されたアノテーション情報の種類に基づいて、表示の形態を変更する構成とする。

図１４は、本実施形態においてショット映像を再生する際に、タブレット装置１０４によって実行される処理の手順を示す流れ図である。尚、図１４に示す流れ図は、タブレット装置１０４のＣＰＵ５０１がＲＯＭ５０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図１４に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。また、図１４において、実施形態１の図９（ａ）の処理と同等の処理を行うステップには同じ符号を付与し、説明を省略する。

ステップＳ１４０７においてアノテーション出力部３１９は、ステップＳ９０６で受信したアノテーション情報を、分類情報に基づいて分類する。ここで分類情報は、アノテーション情報に関する「ＧＯＯＤ／ＮＧ」の情報（図１０の情報１００２）、及び／又は、アノテーション情報が再生するショット映像に付けられたか否かを示す情報のことである。即ち、本実施形態のステップＳ１４０７においてアノテーション出力部３１９は、アノテーション情報の「ＧＯＯＤ／ＮＧ」の情報がＧＯＯＤ（成功）であるかＮＯ（失敗）であるかを判定する。また、アノテーション出力部３１９は、アノテーション情報が再生するショット映像（自テイク）に付けられたか、又は、当該再生するショット映像に関連する関連ショット映像（他のテイク）に付けられたかを判定する。そして、アノテーション出力部３１９は、図１５（ｂ）に示すように、受信したアノテーション情報を分類情報に基づいて分類し、各分類に対応するカーソルの形状を割り当てる。即ち、本実施形態では、自テイクでＧＯＯＤ、自テイクでＮＧ、他テイクでＧＯＯＤ、他テイクでＮＧのそれぞれを示す異なる４通りの形状のカーソルを用意している。

次に、ステップＳ１４０８においてアノテーション出力部３１９及びショット出力部３２２は、ステップＳ９０３で受信したプロキシ映像のデータ及びステップＳ９０６で受信したアノテーション情報を、表示部３２１に表示するよう制御する。尚、本実施形態のステップＳ１４０８においてアノテーション出力部３１９は、ステップＳ１４０７において分類情報に基づいて割り当てられたカーソルの形状を用いて、アノテーション情報を表示するよう制御する。

ここで、図１５（ａ）は、本実施形態の図１４に示す処理を行い、ショット映像を再生する場合の、タブレット装置１０４の表示部３２１における表示画面を示す図である。尚、図１５（ａ）において、実施形態１の図８（ａ）で示したものと同じ機能を有するものは同じ符号を付与し、説明を省略する。タブレット装置１０４は、図１５（ａ）に示すように他のテイクでアノテーション情報としてＮＧの情報が付された位置１５０９には、図１５（ｂ）におけるカーソル１５１１を表示する。また、タブレット装置１０４は、図１５（ａ）に示すように自テイクでアノテーション情報としてＧＯＯＤの情報が付された位置１５１０には、図１５（ｂ）におけるカーソル１５１２を表示する。このように、再生するショット映像（自テイク）に付加されたアノテーション情報「自テイクでＧＯＯＤ」と、関連ショット映像（他のテイク）に付加されたアノテーション情報「テイク４でＮＧ（背景）」とをテキスト情報として一緒に表示（重畳表示）する。このような表示により、ユーザは再生するショット映像および関連ショット映像に付加されたアノテーション情報の時間情報及び位置情報を注目点として確認することができる。

以上説明したように、本実施形態の映像処理システムによれば、映像（特定のショット映像）と、当該特定のショット映像に関連する他の映像（関連ショット映像）に付加されたアノテーション情報とを、表示することができる。即ち、本実施形態における映像処理システムによれば、特定のショット映像の再生を行う際に、当該特定ショット映像と置き換え可能である関連ショット映像に付加されたアノテーション情報を表示することができる。そして、特定のショット映像の再生中であっても、ユーザにとって、関連ショット映像のアノテーション情報を考慮して特定のショット映像を映像コンテンツに用いるか否かを決定することのできる映像処理システムを提供することができる。

また、本実施形態の映像処理システムは、特定のショット映像を再生する際に、当該特定のショット映像に関連する他のテイクのショット映像（関連ショット映像）に付加されたアノテーション情報によって示唆される注目箇所及びその内容を表示する。これによって、同一ショットにおいて複数のテイクのショット映像が存在する場合に、ユーザは当該特定のショット映像における注目点を視認することができ、映像コンテンツを生成する為に用いられるショット映像を従来よりも容易に選択することができる。

また、本実施形態の映像処理システムは、付加されたアノテーション情報の種類に基づいて表示の形態を変更することができる。これによって、表示形態に基づいてアノテーション情報を識別することができるため、アノテーション情報をカーソルとテキスト情報とを用いて表示する場合と比較して、ユーザにとって識別し易い映像処理システムを提供することができる。

尚、本実施形態において映像処理システムは、図１０の情報１００２に示すＧＯＯＤ／ＮＧの情報、及び、再生中のショット映像に付けられた情報であるか否かに基づいてアノテーション情報の分類を行った。しかしながら、これに限定されず、図１０の情報１００３、及び／又は情報１００４等、その他の情報に基づいて分類することによって、表示方法を変更する構成としても構わない。

また、本実施形態において映像処理システムは、特定のショット映像を再生する際に、関連ショット映像に付加されたアノテーション情報を、当該アノテーション情報の種類に基づいて表示の形態を変更した。しかしながらこれに限定されず、実施形態２で示したように、特定のショット映像を撮影する際に、関連ショット映像に付加されたアノテーション情報を、当該アノテーション情報の種類に基づいて表示の形式を変更しても構わない。この場合、タブレット装置１０４のアノテーション出力部３１９が行う処理を、撮像装置１０２の処理部（例えば、図１１におけるアノテーション情報重畳部１１０１）が行っても構わない。

（実施形態４）
上述の実施形態１、実施形態２、及び実施形態３における映像処理システムは、蓄積装置１０３でフィルタ処理が施された後の、関連する全てのアノテーション情報を、表示する構成であった。本実施形態における映像処理システムは、アノテーション情報が付けられた時間情報、画像上の位置情報、及びアノテーション情報の内容（種類）に関する情報のうち少なくともいずれか一つが近似又は同じのアノテーション情報を纏めて表示する構成とする。

図１６は、本実施形態によるショットの再生を行う際の、タブレット装置１０４において実行される処理を説明する流れ図である。尚、図１６に示す流れ図は、タブレット装置１０４のＣＰＵ５０１がＲＯＭ５０２に記憶されている制御プログラムを実行し、情報の演算及び加工、各ハードウェアの制御を実行することにより実現される。尚、図１６に示す流れ図のステップの一部または全部を、ＡＳＩＣ等のハードウェアで実現する構成としても構わない。また、図１６において、実施形態１の図９（ａ）の処理と同等の処理を行うステップには同じ符号を付与し、説明を省略する。

ステップＳ１６０７においてアノテーション出力部３１９は、選択されたショット及び関連するテイクに対応するアノテーション情報のうち、時間情報が近似している又は同一のアノテーション情報のセット（群、対）を抽出する。ここで、図３（ａ）を用いて、時間情報が近似している又は同一のアノテーション情報について説明する。図３（ａ）において各情報１７０１〜１７０７は、テイク−１からテイク−６までの各ショット映像に付加されたアノテーション情報の時間を示している。尚、図３（ａ）に示すように、情報１７０１が付加された時間（期間）の中心の時間を、アノテーション情報の付加時間１７０８とする。他の各情報１７０２〜１７０７についても同様に、アノテーション情報が付加された時間の中心の時間を、各情報１７０２〜１７０７の付加時間とする。また、図３（ａ）に示すように、ショット映像の再生画面においてアノテーション情報として表示される期間を、アノテーション情報の表示期間１７０９とする。

アノテーション出力部３１９は、アノテーション情報の時間情報に関する近似又は同一の判定において様々な方法を用いることが可能であるが、本実施形態においては以下の二段階の方法を用いる。即ち、第一段階としてアノテーション出力部３１９は、蓄積装置１０３から受信したアノテーション情報のうち、表示期間の重なりがあるアノテーション情報のセットを抽出する。そして、第二段階としてアノテーション出力部３１９は、第一段階で抽出したアノテーション情報のセットに対して、各アノテーション情報の中心時間の時間距離（差分）について判定を行う。

ここで、図３（ａ）に示すアノテーション情報（各情報１７０１〜１７０７）を例に、アノテーション出力部３１９の処理の詳細を説明する。第一段階としてアノテーション出力部３１９は、各情報１７０１〜１７０７のうち、表示期間が重なるアノテーション情報のセットである、情報１７０３と情報１７０４の第１セット、及び情報１７０５と情報１７０６の第２セットを抽出する。次に、第二段階としてアノテーション出力部３１９は、各セット（第１セットと第２セット）のアノテーション情報の中心時間の時間距離について計測を行い、計測した時間距離が予め定められた判定基準値を超えるか否かを判定する。そして、計測した時間距離が予め定められた判定基準値よりも小さいセットを、時間情報が近似している又は同一のアノテーション情報として抽出する。

例えば、本実施形態では、予め定められた判定基準値を１ｓｅｃとし、アノテーション出力部３１９は、アノテーション情報の中心時間の時間距離が１ｓｅｃより大きいか否かを判定する。そして、図３（ａ）に示すように、第１セットの情報１７０３と情報１７０４の中心時間の時間距離は０．５ｓｅｃであって、第２セットの情報１７０５と情報１７０６の中心時間の時間距離は１．２ｓｅｃである。以上のことから、アノテーション出力部３１９は、予め定められた判定基準値（１ｓｅｃ）より小さい時間距離を有する第１セットの情報１７０３と情報１７０４とを、時間情報が近似している又は同一のアノテーション情報のセットとして抽出する。

次に、ステップＳ１６０８においてアノテーション出力部３１９は、ステップＳ１６０７にて抽出したアノテーション情報のセットについて、アノテーション情報が付加された画像上の位置（座標）が近似又は同一のアノテーション情報のセットを抽出する。ここで、図３（ｂ）を用いて、位置が近似している又は同一のアノテーション情報のセットについて説明する。図３（ｂ）において各カーソル１７１０〜１７１３は、ステップＳ１６０７で抽出された各アノテーション情報（各情報１７０３〜１７０６）が表示画面上に表示される際の位置に対応して示されている。また、図３（ｂ）では、各情報に対応する位置の中心位置を、一点鎖線の交点で示している。例えば、図３（ｂ）に示すように、情報１７０３に対応するカーソル１７１０の位置の中心位置を、アノテーション中心位置１７１４とする。

アノテーション出力部３１９は、アノテーション情報の位置に関する近似又は同一の判定について様々な方法を用いることが可能であるが、本実施形態においては以下の方法を用いる。即ち、アノテーション出力部３１９は、ステップＳ１６０７で抽出したセットの各アノテーション情報に対応する位置の中心位置間の座標距離（差分）を算出し、算出した座標距離が定められた判定基準値を超えるか否かを判定する。そして、アノテーション出力部３１９は、算出した座標距離が予め定められた判定基準値よりも小さいアノテーション情報のセットを、位置が近似している又は同一のアノテーション情報のセットとして抽出する。尚、ここで用いられる座標距離の単位については、アノテーション情報を付加する際の解像度及びアノテーション情報を表示する画面の解像度により定められるのが好ましく、本実施形態においては図３（ｂ）に示すように座標距離の単位記号を省略する。

例えば、本実施形態では、予め定められた判定基準値を１評価値とし、アノテーション出力部３１９は、アノテーション情報の中心位置の間の座標距離が１評価値より大きいか否かを判定する。そして、図３（ｂ）に示すように、第１セットの各情報１７０３〜１７０４に対応する各カーソル１７１０〜１７１１の位置の中心位置間の座標距離は１．５評価値である。また、第２セットの各情報１７０５〜１７０６に対応する各カーソル１７１２〜１７１３位置の中心位置間の座標距離は０．６評価値である。以上のことから、アノテーション出力部３１９は、予め定められた判定基準値（１評価値）より小さい座標距離を有する第２セットの情報１７０５と情報１７０６を、位置が近似している又は同一のアノテーション情報のセットとして抽出する。尚、第２セットの情報１７０５と情報１７０６は、カーソル１７１２とカーソル１７１３に対応するアノテーション情報である。

その結果ステップＳ１６０９において、アノテーション出力部３１９は、付加された時間情報が近似又は同一であって、且つ付加された位置が近似又は同一であると判定されたアノテーション情報について、以下の処理を行う。即ち、ステップＳ１６１０においてアノテーション出力部３１９は、時間情報が近似又は同一であって、位置が近似又は同一であるアノテーション情報として、第２セットの情報１７０５と情報１７０６を統合する（纏める）。そして、ステップＳ１６１１においてアノテーション出力部３１９は、統合したアノテーション情報を表示部３２１に表示するよう制御する。また、ステップＳ１６１１においてアノテーション出力部３１９は、時間情報が近似又は同一であって、位置が近似又は同一である各アノテーション情報の中間位置間の中心を、統合したアノテーション情報の位置として設定し、表示するよう制御する。

ここで、図３（ｃ）は、本実施形態の図１６に示す処理を行い、ショット映像を再生する際に、他のショット映像に付加されたアノテーション情報の表示例を示す図である。前述の図３（ｂ）に示すように、他のショット映像にアノテーション情報（各情報１７０３〜１７０６）が付加されている場合、本実施形態においてタブレット装置１０４は図１６の処理を行う。そして、タブレット装置１０４は、図３（ｃ）に示すように、各情報１７０３〜１７０６に対応する各カーソル１７１０、１７１７、及び１７１５を表示する。尚、図３（ｃ）のカーソル１７１５は、図３（ｂ）のカーソル１７１２の中心位置とカーソル１７１３の中心位置の中心に表示される。

以上説明したように、本実施形態の映像処理システムによれば、映像（特定のショット映像）と、当該特定のショット映像に関連する他の映像（関連ショット映像）に付加されたアノテーション情報とを、表示することができる。即ち、本実施形態における映像処理システムによれば、特定のショット映像の再生を行う際に、当該特定ショット映像と置き換え可能である関連ショット映像に付加されたアノテーション情報を表示することができる。そして、特定のショット映像の再生中であっても、ユーザにとって、関連ショット映像のアノテーション情報を考慮して特定のショット映像を映像コンテンツに用いるか否かを決定することのできる映像処理システムを提供することができる。

また、本実施形態の映像処理システムは、特定のショット映像を再生する際に、当該特定のショット映像に関連する他のテイクのショット映像（関連ショット映像）に付加されたアノテーション情報によって示唆される注目箇所及びその内容を表示する。これによって、同一ショットにおいて複数のテイクのショット映像が存在する場合に、ユーザは当該特定のショット映像における注目点を視認することができ、映像コンテンツを生成する為に用いられるショット映像を従来よりも容易に選択することができる。

また、本実施形態の映像処理システムは、付加された時間及び位置に関する情報が近似又は同一であるアノテーション情報を纏めて表示する。これによって、複数のアノテーション情報が付加された場合であっても、表示画面上で複数のアノテーション情報が重複して表示されることを防ぐとこができる。即ち、複数のアノテーション情報が付加された場合であっても、全てのアノテーション情報を表示する場合と比較して、ユーザによって視認し易い映像処理システムを提供することができる。

尚、本実施形態において映像処理システムは、アノテーション情報が付加された時間及び位置が近似又は同一であるか否かの判定に基づいて、アノテーション情報の統合を行ったが、これに限定されない。即ち、アノテーション情報の時間、位置及び内容（種類）に関する情報のうち少なくとも一つに基づいて、アノテーション情報の統一を行うものであれば構わない。アノテーション情報の内容（種類）とは、例えば図１０に示すアノテーション情報の分類や、実施形態３の図１５（ｂ）で説明した様なアノテーション情報の分類を示す。即ち、図１０の情報１００３に示す大分類及び／又は情報１００４に示す小分類が、類似又は同一のアノテーション情報を纏めて表示するようにしても構わない。また、図１０の情報２に示すＧＯＯＤ／ＮＧに関する情報が同一のアノテーション情報を纏めて表示するようにしても構わない。また、図１５（ｂ）に示すように自テイク／他のテイクに関する情報、又は、ＧＯＯＤ／ＮＧに関する情報に基づいて、同一のカーソルの形状が割り当てられるアノテーション情報を纏めて表示しても構わない。

尚、本実施形態において映像処理システムは、付加された時間及び位置が近似又は同一のアノテーション情報を、付加された時間及び位置が近似又は同時でないアノテーション情報のカーソルと同じ形状のカーソルを用いて表示した。即ち、図３（ｂ）及び図３（ｃ）に示すように表示した。しかしながらこれに限定されず、統合されたアノテーション情報をユーザにとって視認し易いように表示しても構わない。即ち、アノテーション情報を統合して表示する場合に、統合しないで表示する場合と異なるカーソルを用いて表示しても構わない。例えば、統合して表示する場合のカーソルを、統合しないで表示する場合のカーソルと比較して太く表示する、大きく表示する、異なる色を用いて表示する、点滅させて表示する等しても構わない。また、本実施形態において映像処理しシステムは、統合するアノテーション情報について、統合された旨を補助情報として表示しても構わない。

また、本実施形態にて映像処理システムは、特定のショット映像を再生する際に、関連ショット映像に付加されたアノテーション情報を、当該アノテーション情報の時間情報、位置情報、及び内容（種類）に関する情報の少なくともいずれか一つに基づいて統合して表示した。しかしながら、本実施形態の映像処理システムはこれに限定されない。即ち、実施形態２で示したように特定のショット映像を撮影する際に、関連ショット映像に付加されたアノテーション情報を、当該アノテーション情報の時間情報、位置情報、及び内容（種類）に関する情報の少なくともいずれか一つに基づいて統合して表示しても構わない。この場合、タブレット装置１０４のアノテーション出力部３１９が行う処理を、撮像装置１０２の処理部（例えば、図１１におけるアノテーション情報重畳部１１０１）が行っても構わない。

（その他の実施形態）
上述の各実施形態１〜４において映像処理システムは、複数の装置１０１〜１０５から構成されるシステムとしたが、これに限定されない。即ち、何れかの装置が他の装置を包含する構成としても良いし、さらには単一の装置によって構成されても構わない。例えば、撮像装置１０２と蓄積装置１０３とが単一の装置によって構成されても構わないし、撮像装置１０２とタブレット装置１０４とが単一の装置によって構成されても構わない。また、タブレット装置１０４と編集装置１０５とが単一の装置によって構成されても構わない。また、タブレット装置１０４は、表示部３２１から成る表示装置と、タブレット装置１０４のその他の処理部から成る制御装置とによって構成されても構わない。

また、上述の各実施形態１〜４において映像処理システムは、撮像装置１０２を１つ含む構成としたが、これに限定されず、撮像装置１０２を複数含む映像処理システムにも適応可能である。このような場合、複数の撮像装置１０２は撮影して得られたショット映像を蓄積装置１０３に送信し、蓄積装置１０３は受信したショット映像を蓄積する。そして、蓄積装置１０３は、タブレット装置１０４によって選択したショット映像に関連するショット映像を蓄積したショット映像から抽出し、複数の撮像装置１０２のうち少なくともいずれか及び／又はタブレット装置１０４に表示しても構わない。

また、上述の各実施形態１〜４において映像処理システムは、アノテーション情報が付加された位置を図６（ｂ）、図８（ａ）、図１３、図１５（ａ）及び図１５（ｂ）に示すように、カーソルを用いて示したが、これに限定されない。即ち、図１０の情報１００５に示すように、アノテーション情報が付加された位置を、「右端」や「中央」等のように範囲で示しても良いし、テキスト等で示してもよい。

また、上述の各実施形態１〜４にて映像処理システムは、特定のショット映像の再生又は撮影時に、当該特定のショットに関連する他のショットに付加されたアノテーション情報を表示するが、当該他のショットをテイク毎に異なる方法で表示しても構わない。例えば、特定のショットに関連するショット映像（同一ショットの他のテイクのショット映像）が複数ある場合に、アノテーション情報に対応するカーソル及び／又はテキストを、テイク毎に異なる色を用いて表示しても構わない。

また、上述の各実施形態１〜４においてタブレット装置１０４は、撮像装置１０２から蓄積装置１０３を介して送信されたプロキシ映像のデータを受信し、表示部３２１に表示する構成としたがこれに限定されない。例えば、タブレット装置１０４は、撮像装置１０２の撮像部３０４で生成された映像データを受信し、表示部３２１に表示しても構わない。また、タブレット装置１０４は、表示部３２１に表示されたプロキシ映像のデータにアノテーション情報を付加しても構わないし、撮像装置１０２の撮像部３０４によって生成された映像データにアノテーション情報を付加しても構わない。また、タブレット装置１０４は、表示部３２１にプロキシ映像のデータを表示する場合に、表示されているプロキシ映像のデータと当該プロキシ映像のデータに対応する映像データの両方にアノテーション情報を付加しても構わない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ デジタルクラップボード
１０２ 撮像装置
１０３ 蓄積装置
１０４ タブレット装置
１０５ 編集装置

Claims (13)

1. 撮影済みの映像のうち、撮影中の映像と関連する少なくとも一つの関連映像に対応するアノテーション情報を取得する取得手段と、
   前記撮影中の映像と、前記取得手段によって取得された前記関連映像に対応するアノテーション情報とを、表示画面に表示するよう制御する表示制御手段と、
   を有し、
   前記アノテーション情報は、少なくとも前記関連映像中の基準時間に基づく時間情報と、前記関連映像を構成する画像上での位置を示す位置情報を含むものであって、
   前記表示制御手段は、前記撮影中の映像を表示する前記表示画面に、前記取得手段によって取得された前記関連映像に対応するアノテーション情報を表示するタイミングと位置を、前記時間情報と前記位置情報に基づいて制御することを特徴とする映像処理装置。
2. 前記表示制御手段は、前記取得手段によって取得された前記関連映像に対応するアノテーション情報の種類に基づいて、当該アノテーション情報の表示の形態を決定することを特徴とする請求項１に記載の映像処理装置。
3. さらに、前記撮影中の映像に対応するアノテーション情報を取得する第二の取得手段を有し、
   前記表示制御手段は、前記撮影中の映像を表示する表示画面に、前記撮影中の映像と、前記取得手段によって取得された関連映像に対応するアノテーション情報と、前記第二の取得手段によって取得された撮影中の映像に関連するアノテーション情報とを表示するよう制御することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記表示制御手段は、前記撮影中の映像に対応するアノテーション情報と、前記関連映像に対応する第二のアノテーション情報とを表示させる場合に、アノテーション情報が前記撮影中の映像に対応するか又は前記関連映像に対応するかを示す情報と、映像の適切性を示す情報とに基づいて、当該アノテーション情報に対応する形状の図形を表示するよう制御することを特徴とする請求項２に記載の映像処理装置。
5. 前記表示制御手段は、複数のアノテーション情報を表示する場合に、当該複数のアノテーション情報のうち、時間、位置、及び種類のうち少なくとも一つが近似又は同一のアノテーション情報を、統合して表示することを特徴とする請求項１乃至４のいずれか一項に記載の映像処理装置。
6. 前記表示制御手段は、前記取得手段によって取得された前記関連映像に付加されているアノテーション情報の時間情報に基づいて、当該時間情報が示す前記関連映像上のタイミングよりも前のタイミングで当該関連映像に付加されたアノテーション情報を表示することを特徴とする請求項１に記載の映像処理装置。
7. さらに、前記撮影中の映像と前記関連映像のそれぞれの所定の識別情報の時間を示す前記基準時間の情報に基づいて、前記撮影中の映像と前記関連映像との同期処理を施す同期手段を有し、
   前記表示制御手段は、前記同期手段によって同期処理を施された前記関連映像に対応するアノテーション情報を表示するよう制御することを特徴とする請求項１乃至６のいずれか一項に記載の映像処理装置。
8. 前記同期手段は、前記撮影中の映像と前記関連映像のそれぞれの撮影時の特定の音声情報、画像の特徴情報、撮影の設定情報、被写体の位置情報のうち少なくともいずれかに対応する前記基準時間の情報に基づいて、前記撮影中の映像と前記関連映像との同期処理を施すことを特徴とする請求項７に記載の映像処理装置。
9. 前記アノテーション情報は、前記関連映像の処理中にユーザ操作によって前記関連映像に付加されたものであって、
   前記関連映像中の基準時間に基づく時間情報とは、前記関連映像の処理中に前記ユーザ操作を検出したタイミングに対応し、前記関連映像を構成する画像上での位置を示す位置情報とは、前記ユーザ操作を検出した際の前記表示画面上の位置に対応することを特徴とする請求項１乃至８のいずれか１項に記載の映像処理装置。
10. 撮影済みの映像のうち、撮影中の映像に関連付けられた少なくとも一つの関連映像に対応するアノテーション情報を取得する取得手段と、
    前記撮影中の映像と、前記取得手段によって取得された前記関連映像に対応するアノテーション情報とを表示画面に表示するよう制御する表示制御手段と、
    を有することを特徴とする映像処理装置。
11. 撮影済みの映像のうち、撮影中の映像と関連する少なくとも一つの関連映像に対応するアノテーション情報を取得する取得工程と、
    前記撮影中の映像と、前記取得工程によって取得された前記関連映像に対応するアノテーション情報とを、表示画面に表示するよう制御する表示制御工程と、
    を有し、
    前記アノテーション情報は、少なくとも前記関連映像中の基準時間に基づく時間情報と、前記関連映像を構成する画像上での位置を示す位置情報を含むものであって、
    前記表示制御工程では、前記撮影中の映像を表示する前記表示画面に、前記取得工程によって取得された前記関連映像に対応するアノテーション情報を表示するタイミングと位置を、前記時間情報と前記位置情報に基づいて制御することを特徴とする映像処理方法。
12. 撮影済みの映像のうち、撮影中の映像に関連付けられた少なくとも一つの関連映像に対応するアノテーション情報を取得する取得工程と、
    前記撮影中の映像と、前記取得工程によって取得された前記関連映像に対応するアノテーション情報とを表示画面に表示するよう制御する表示制御工程と、
    を有することを特徴とする映像処理方法。
13. コンピュータを、請求項１乃至請求項１０のいずれか一項に記載の映像処理装置の各手段として機能させるためのプログラム。

Images