JP6602080B2 - 撮影システム及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は、撮影システム及びその制御方法、コンピュータプログラムに関し、特に、撮影した映像データに付加された情報を利用して撮影を支援する技術に関する。

デジタルシネマやドラマ等の映像コンテンツは、通常、複数のシーンから構成されており、各シーンはさらに複数のショット、即ち、撮影の最小単位となる短い動画データから構成されるのが一般的である。ショットとは、一般に、切れ目なしに連続して撮影された動画をいう。このようなショットを撮影する際には、類似のシチュエーションで繰り返し撮影を行い、置き換え可能となるそれらのショットを比較して、最終的に使用されるショットを選択するケースが多い。すなわち、シーンを構成するショット毎に候補となる複数のショット（テイク）を撮影し、これらのショットの中から最適なものを作品に使用することが一般的である。

このように類似のシチュエーションを複数回撮影する場合には、同様の役者の演技やカメラワークが繰り返され、それに伴い、カメラに関して同様の操作が繰り返されることとなる。もっとも、監督の意向、予測不能な自然現象などの影響により、操作を変更する場合もある。このため、カメラ操作者は類似のシチュエーションにおける過去の撮影時のカメラ制御値や留意点を記録しておき、その情報を基に手動でカメラ操作を行っていた。

このような状況を想定して、類似のシチュエーションを繰り返し撮影する状況においてカメラ操作をサポートするための技術が知られている。例えば、特許文献１には、予め用意されたシナリオデータに基づき撮影指南情報を表示すると共に、撮影時の撮影状態がシナリオデータと乖離している場合、意図的に異なる撮影手法をとったものと解釈してシナリオデータを書き換える撮影装置が記載されている。これにより過去の撮影手法の変更を踏まえた撮影支援を可能とする。

特開２０１３-１６２１７８号公報

しかしながら、特許文献１の構成は、予め用意したシナリオデータと実際の撮影時の撮影状態との乖離を基にシナリオデータを変更するものであり、撮影時に監督などのスタッフが気づいた留意点を自動的に次の撮影へ反映するものではない。

本発明は上述した課題を解決するためものであり、過去に撮影された画像に対してユーザが付加した情報を、後の撮影で利用する技術を提供することを目的とする。

上記目的を達成するため、本発明による撮影システムは以下の構成を備える。即ち、撮影手段により画像を撮影する撮影システムであって、前記撮影手段によって撮影された複数の第１の画像の各々について、当該第１の画像を撮影した際の前記撮影手段のカメラワークに対応するカメラコマンドを記録している記録手段と、前記複数の第１の画像の各々に対してユーザによって入力されたアノテーション情報を取得する取得手段と、前記取得手段により取得されたアノテーション情報がカメラワークに関する情報を含む場合に、前記取得されたアノテーション情報がカメラコマンド生成対象であると判断する判断手段と、カメラコマンド生成対象と判断され、撮影が肯定的であることを示すアノテーション情報のうち、最も新しく取得された画像に関するアノテーション情報に対応するカメラコマンドを前記記録手段から抽出することにより、前記撮影手段の動作を規定するカメラコマンドを生成する生成手段と、前記第１の画像よりも後に第２の画像を撮影する場合に、前記カメラコマンドに基づく動作を前記撮影手段に実行させる実行手段と、を備える。

本発明によれば、過去に撮影された画像に対してユーザが付加した情報を、後の撮影で利用する技術を提供することができる。

撮影システムの全体構成図 シーンとショットの関係を説明する図 撮影システムの内部構成を示すブロック図 データ蓄積装置の内部構成を示すブロック図 情報入力装置の内部構成を示すブロック図 アノテーション情報のロギング画面を説明する図 アノテーション情報のロギング画面を説明する図 アノテーション情報のロギング画面を説明する図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のカメラコマンド変換動作を説明する流れ図 データ構成を説明する図 撮影システムの内部構成を示すブロック図 アノテーション情報のカメラコマンド変換動作を説明する流れ図 撮影の際のカメラ装置の画面を説明する図 撮影の際の情報入力装置の画面を説明する図 撮影の際のカメラ装置の画面を説明する図 撮影の際の情報入力装置の画面を説明する図 撮影の際のカメラ装置の画面を説明する図 アノテーション情報の構成を説明する図 撮影システムの内部構成を示すブロック図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のロギングの動作を説明する流れ図 アノテーション情報のカメラコマンド変換動作を説明する流れ図 撮影の際のカメラ装置の画面を説明する図 撮影の際の情報入力装置の画面を説明する図 撮影の際のカメラ装置の画面を説明する図 撮影の際の情報入力装置の画面を説明する図 撮影の際のカメラ装置の画面を説明する図 アノテーション情報の構成を説明する図

以下、添付の図面を参照して、本発明の実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜＜実施形態１＞＞
（撮影システムの構成）
図１は、本発明の第一の実施形態（実施形態１）に係る撮影システム全体の構成を示した図である。１０１は指示入力装置である。後述するように、指示入力装置１０１に対して行われた操作を契機として、映像データの蓄積（記録）を開始する。また、指示入力装置１０１に対して行われた操作によって、後述するショットの始まりと終わりとが指定される。また、ショットに視覚的なタグを付ける機能を有する。指示入力装置１０１は、一例としてクラップボードの形状をしており、指示入力装置１０１に対する操作入力に応じて外部に信号を出力することができるデジタルクラップボードである。

１０２は撮影を行うためのカメラ装置である。なお、カメラ装置を複数有していてもよい。本実施形態では、動画像である映像を撮影する場合の例を説明するが、本実施形態の構成は静止画を撮影する場合にも適用することができる。

１０３はデータ蓄積装置であり、撮影されたショットごとの映像データと、その映像データに関連するメタデータを蓄積すると共に、カメラ装置１０２及び後述する１０４の情報入力装置と通信する機能も有する。

１０４は情報入力装置であり、撮影された映像を表示し、その映像に対して監督等のユーザにより付された情報（アノテーション情報）をメタデータとして入力するための操作入力部を備える。操作入力部として、本実施形態においては、ユーザのタッチ操作を検知するタッチパネルを例に説明するが、マウスやキーボードによる入力でもよい。なお、撮影された画像に対してユーザが付加した情報をアノテーション情報と称することとするが、これは任意の形式の情報である。また、アノテーション情報として文字列からなる情報を例に説明するがこれに限られない。

また、情報入力装置１０４は、データ蓄積装置１０３に蓄積された映像データを表示する。本実施形態では、カメラ装置１０２を操作するユーザと、情報入力装置１０４を操作するユーザとが異なる場合の例を説明するが、同一人が操作しても構わない。情報入力装置１０４は、例えば、タブレット端末やＰＣ（パーソナルコンピュータ）を用いて実現することができる。

（映像データ）
図２（ａ）は、デジタルシネマやドラマなどの映像コンテンツを構成する映像データについて階層的に説明する図である。脚本やシナリオなどに基づく映像コンテンツは、通常一つ以上のシーケンス映像から構成されている。一つのシーケンス映像は、更に、複数の多様なシーン（場面）から構成されている。

さらに、各シーン（場面）は、更に通常は複数のショットから構成されており、このショットが一回の撮影単位となる。ショットとは、一般に、切れ目なしに連続して撮影された映像である。例えば、ＡとＢの二人の人物が会話を行うシーン（場面）においても、二人が会話しているロングのショット、人物Ｂのクローズアップのショット、人物Ｂの肩越しに人物Ａを撮影するショルダーショットなど、変化のあるショットの撮影が行われる。このため、ショットやシーンの撮影は脚本やシナリオの順番（映像コンテンツにおける順番）で行われるとは限らず、カメラやセットの都合で、シナリオの順番とは異なる順番で行われることも多い。また、一つのショットの撮影は比較的短い時間（数秒から数十秒単位）の映像データとなる。

さらに、一つのショットの撮影は、役者やスタッフのミスや、監督の意向、予測不能な自然現象などの影響により、何度も撮り直しを行う場合があり、これらはテイクと呼ばれている。即ち、特定の映像コンテンツの撮影において、シーケンス、シーン、ショット、テイクに連続する番号を付加することで、個々のショットの映像データを特定することができる。例えば、図２（ａ）において、テイク４（２０１）は、シーケンス１、シーン１、ショット２の４回目のテイクであり、テイク３（２０２）は、シーケンス１、シーン１、ショット４の３回目のテイクである。ここで、同じショットの番号を持つテイクが複数存在している場合には、これらのテイクは置き換え可能なテイクとして、撮影システムに認識されることとなる。複数のテイクがある場合、その中から１つのテイクが選択されて、最終的に映像コンテンツに含まれるショットとなる。これらの情報はデジタルシネマやドラマなどの撮影においては、各ショット撮影のファイル毎にメタデータとして付加される他、慣習によりクラップボードに表示され、ショットの頭に撮影されることも多い。ここで説明したシーケンス、シーン、ショット、テイクなどの用語は本実施形態を説明するための一例に過ぎず、実際の映像制作業界において異なる用語が使用されている場合があるのは言うまでもない。また、各実施形態は、上記のシーケンス、シーン、ショット、テイクに限らず、種々の画像に適用可能である。例えば、同じ設定で撮影を行うべき複数の画像データの撮影を支援する技術に適用可能である。

図２（ｂ）は、同一のショットにおける複数のテイクの時間軸の一致を説明する図である。テイクは本来、ショットの撮り直しであるために撮影時間の長さはほぼ同一であり、最終的に映像コンテンツに組み込む（採用する）際には置き換えが可能である。しかしながら、実際の撮影においては、カメラで撮影を開始してから演技が開始されるまでの時間は異なる場合があり、これはテイクの撮影についても同様である。なお、以下の説明においてショットとテイクとは同義として扱う。例えば、カメラのファインダ映像を確認し始めてから照明やカメラやレンズの設定を確認するまでの時間はまちまちである場合が多い。このような状況においては、例えば、監督が演技開始の号令として、指示入力装置１０１に対して操作を入力すると、そのタイミングをテイクの開始時刻であるアクションコールとすることで、複数のテイクにおける開始時刻を指定することができる。また、テイクの終了時刻についても同様に指定することができる。

図２（ｂ）は、ショットの各テイクにおける撮影のタイミングを示している。図２（ｂ）において、テイク１からテイク６までは、撮影開始であるロールコール（撮影開始の指示）から演技開始の指示であるアクションコールまでの時間はバラバラであるが、役者やスタッフはアクションコールにより演技を開始する。このため、テイク間の時間のおおまかな同期が可能となる。また、このアクションコールは、指示入力装置１０１を通じて、接続されているカメラに同一のショットのテイクを同期させる信号を出力することができる。

（機能構成）
図３は、実施形態１による撮影システムの全体の機能ブロック構成を説明する図である。図３に示すように、本実施形態に係る撮影システムは、指示入力装置１０１、カメラ装置１０２、データ蓄積装置１０３、及び、情報入力装置１０４を備える。

●指示入力装置１０１
指示入力装置１０１は、カメラ装置１０２と接続されている。本実施形態では、指示入力装置１０１とカメラ装置１０２とは有線ケーブルにより接続されている場合を説明するが、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信により信号や情報を伝達してもよい。指示入力装置１０１は、カメラ装置１０２から送られた撮影情報を表示器３０１に表示すると共に、指示入力装置１０１に対するアクションコール操作のタイミングを示すタイミング情報をカメラ装置１０２へ送信する。

●カメラ装置１０２
カメラ装置１０２は、３０２から３１３までの機能ブロックを備える。３０２は撮影のためのレンズ装置、３０３は撮影画像を確認するための画面（ファインダ画面）、３０４は映像を撮影するための撮影部である。３０５はファインダ表示部であり、ファインダ画面３０３に撮影画像を表示する。

３０６はカメラ操作入力部（以下、「操作入力部」）であり、カメラ操作者がカメラ操作を行うためのスイッチ類がこれにあたる。３０７はカメラコマンド変換部（以下、「変換部」）であり、操作入力部３０６で入力されたカメラ操作をカメラコマンドに変換する。カメラコマンドとは、カメラ装置１０２のカメラワーク等の動作を規定する情報である。カメラコマンドは、例えば、ズーム倍率を示す情報やフォーカス位置を示す情報である。カメラ装置１０２にカメラコマンドを読み込ませることによって、撮影に関する設定を自動で設定することができる。なお、カメラワークとは、カメラのパン移動やチルト移動、フォーカス位置、露光、ズーム等を含むものとする。

３０８はカメラコマンド呼出部（以下、「呼出部」）であり、変換部３０７で変換されたカメラコマンドを呼び出す。３０９はカメラコマンド実行部（以下、「実行部」）であり、呼出部３０８で呼び出されたカメラコマンドを撮影部３０４に実行させる。３１０は撮影時間計時部（以下、「計時部」）であり、指示入力装置から受信したアクションコールのタイミングからの時間を計測する。３１１はカメラコマンド記録部（以下、「記録部」）であり、カメラコマンドを記録する。呼出部３０８で呼び出されたカメラコマンドは、計時部３１０で計数された時間位置に関連づけられて、記録部３１１に記録される。

３１２は映像データ送信部であり、撮影中の映像データ及び撮影に伴い生成されたメタデータを送信する。３１３はカメラコマンド受信部であり、外部からカメラコマンドを受信する。本実施形態では、カメラ装置１０２とデータ蓄積装置１０３との間の通信が無線通信により行われる場合を説明するが、有線ケーブルを用いて通信するようにしてもよい。

●データ蓄積装置１０３
データ蓄積装置１０３は３１４から３２１までの機能ブロックを備える。３１４は映像データ受信部であり、カメラ装置１０２から出力された映像データを受信する。３１５は映像データ送信部であり、受信した映像データを情報入力装置１０４へ送信する。３１６はアノテーション情報受信部であり、情報入力装置１０４から出力されたアノテーション情報を受信する。３１７はデータ蓄積部であり、映像データ受信部３１４においてカメラ装置１０２から受信した映像データと、アノテーション情報受信部３１６において情報入力装置１０４から受信したアノテーション情報とを関連付けて、ショットデータとして蓄積する。

また、３１８はアノテーション情報抽出部であり、データ蓄積部３１７に蓄積されたショットデータから関連ショットに対応するアノテーション情報を抽出する。アノテーション情報抽出部３１８では、映像データ受信部３１４によって受信したショットに一定の関連性を有するアノテーション情報が、抽出される。例えば、同じショットに属する他のテイクや、前後のショットに属するテイク等が関連ショットとして抽出される。

３１９はアノテーション情報解析部であり、アノテーション情報抽出部３１８で抽出されたアノテーション情報を解析する。３２０はカメラコマンド生成部（以下、「生成部」）であり、アノテーション情報解析部３１９で解析されたアノテーション情報に基づきカメラコマンドを生成する。３２１はカメラコマンド送信部であり、カメラ装置１０２に対してカメラコマンドを送信する。生成部３２０により生成され、カメラコマンド送信部３２１により送信されたカメラコマンドは、カメラコマンド受信部３１３により受信され、記録部３１１により記録される。本実施形態では、データ蓄積装置１０３と情報入力装置１０４との間の通信が無線通信により行われる場合を説明するが、有線ケーブルを用いて通信するようにしてもよい。

●情報入力装置１０４
情報入力装置１０４は、３２２から３２５までの機能ブロックを備える。３２２は映像データ受信部であり、データ蓄積装置１０３から送信された映像データを受信する。表示部３２３は、受信した映像データに基づく映像や、情報入力装置１０４の処理によって、映像に付されたアノテーション情報等を表示するものであり、液晶パネル、有機ＥＬディスプレイ等の表示デバイスにより実現される。映像データ受信部３２２が受信した映像データは、必要に応じて情報入力装置１０４の表示部３２３に表示される。３２５はアノテーション情報入力部であり、画面のタッチ操作により映像データの特定の時間位置にアノテーションを入力する。後述するように、アノテーション情報は、撮影映像に対してユーザにより付される指示であり、撮影条件や画像に対するコメント（テキスト情報）等が含まれる。３２４はアノテーション情報送信部であり、アノテーション情報入力部３２５で入力されたアノテーション情報をデータ蓄積装置１０３へ送信する。

本実施形態において、情報入力装置１０４は撮影中の映像データをリアルタイムに表示し、アノテーションを付与できるようにすることができる。これを実現するために、例えば、撮影された映像データについて解像度の低いプロキシ映像をリアルタイムに生成し、情報入力装置１０４上において、このプロキシ映像を表示するなどの手法を用いることができる。映像転送の処理自体は任意の手法を用いることができるため、ここでは、その詳細な説明を省略する。

（ハードウェア構成）
次に、実施形態１におけるデータ蓄積装置１０３及び情報入力装置１０４の内部のハードウェア構成について、図４、図５を参照して説明する。図４はデータ蓄積装置１０３のハードウェア構成を示すブロック図であり、図５は情報入力装置１０４のハードウェア構成を説明するブロック図である。ここで、４０１から４０７と５０１から５０７、及び４０８と５１０については規模が異なりうるものの、その機能は同一である。そこで、これらの構成要素については、説明を共通とする。

４０１、５０１はＣＰＵ（中央演算処理装置）であり、各種処理のための演算や論理判断等を行い、バス４０８、５１０に接続された各構成要素を制御する。データ蓄積装置１０３ないし情報入力装置１０４には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートに後述する処理手順を含むＣＰＵによる制御のためのコンピュータプログラムが格納される。メモリはＲＯＭ（読出し専用メモリ）４０２、５０２であってもよいし、外部記憶装置などからコンピュータプログラムがロードされるＲＡＭ（書込み可能メモリ）４０３、５０３であってもよい。

４０４、５０４は映像ＣＯＤＥＣ（コーデック）であり、前述のＣＰＵ４０１と５０１では処理が重い映像信号の各種トランスコード処理を専門に行う。映像ＣＯＤＥＣ４０４、５０４は、グラフィック処理用のメディアプロセッサなどから構成されている。４０５、５０５は映像信号Ｉ／Ｆであり、映像のストリーム信号を扱う高速なＩ／Ｆである。４０６、５０６はストレージであり、映像信号を高速に蓄積あるいはキャッシュするためのデバイスである。４０７、５０７は映像ストリームを送受信するための無線通信Ｉ／Ｆであり、幅広いバンド幅及び複数のチャンネルを保持している。

５０８は表示デバイスであり、情報入力装置１０４の処理結果等を操作者に対して表示する。５０９はタブレット入力デバイスであり、接触センサにより操作者の指示を検知して入力する。表示デバイス５０８およびタブレット入力デバイス５０９は、合わせて情報入力装置のＵＩを構成するデバイスとして機能し、操作者が表示画面をタッチして操作することで、簡易で分かり易いダイレクトなＵＩが提供される。

（動作概要）
図６Ａ、図６Ｂ、図６Ｃは、実施形態１における情報入力装置１０４の表示画面及び操作画面の一例を示した図である。これらの図面を用いて、カメラ装置１０２でショットの撮影を行っている際に、監督やスタッフがリアルタイムにアノテーション情報を付加する操作を説明する。図６Ａにおいて、６０１は、情報入力装置の表示画面である。６０２は、撮影中の画像が撮影映像を利用してリアルタイムに表示されている画面であり、操作者はこの画面をタッチすることで、タッチした場所に対応したアノテーション情報を付加することが可能である。６０３は撮影中のショットデータの表示であり、６０４はアノテーション情報の種類を指定するためのショートカットボタンである。６０５及び６０６は、画面に表示されていないショートカットボタンを表示するための移動ボタンを示す。図６Ａ、図６Ｂ、図６Ｃの詳細については、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄを用いた詳細な動作の説明の中で説明する。

図７Ａ、図７Ｂ、図７Ｃ、図７Ｄは、ショットの撮影が行われる際の、カメラ装置１０２、指示入力装置１０１、データ蓄積装置１０３、及び情報入力装置１０４のそれぞれにおいて実行される処理の処理手順を示す流れ図である。図８はアノテーション情報をカメラコマンドに変換する際の、データ蓄積装置１０３において実行される処理を説明する流れ図である。

図９（ａ）は、実施形態１におけるショットデータの構成を示した図である。ショットデータとは、図２（ａ）に例示した階層構造における、当該ショットの位置づけを特定する情報である。ショットデータには、ユニークなショットＩＤ（ＩＤ：識別情報）９０１、シーケンス番号９０２、シーン番号９０３、ショット番号９０４、テイク番号９０５などの情報が含まれる。また、図９（ｂ）は、実施形態１におけるアノテーション情報の構成を示した図である。まず、アノテーションを付加したショットを識別するための、前述と同義のショットＩＤ９０１が存在する。加えて、同一ショット内のアノテーションを識別するためのアノテーションＩＤ９０６、アクションコールを基準（０秒のタイミング）とするアノテーションが付けられた時間位置９０７、アノテーションが付けられた画面上の座標位置９０８が存在する。さらには、大分類９０９、小分類９１０及びタグ９１１などの情報が存在している。なお、ここに挙げた情報は一例にすぎず、データの項目や分類手法、構造等はこれらに限るものではない。

本実施形態では、事前に撮影された画像（第１の画像）に対してユーザにより付されたアノテーション情報を取得し、このアノテーション情報を、カメラ装置１０２の動作を規定するカメラコマンドに変換する。そして、カメラ装置１０２による新たな画像（第２の画像）の撮影の際にこのカメラコマンドを実行する。このように、事前に撮影された画像に対するユーザの留意点を反映したアノテーション情報をカメラコマンドに変換して、カメラ装置１０２の動作に反映させるため、繰り返し行われる撮影中に気づいた留意点をカメラ操作に自動的に反映させることができる。

（撮影処理）
図１から図９までを用いて、実施形態１に係る撮影システムによる処理手順について詳細に説明する。通常、シネマやドラマの撮影は、撮影スタジオのセットや役者のスケジュールなどに基づいて事前に計画された撮影計画に基づいて、撮影すべきショットの順番が決められる。ショットの順番は必ずしも脚本やシナリオの順番になるとは限らないが、いずれにしてもそれぞれのショットは９０１に示されるようなユニークなショットＩＤが付けられ、カメラ装置１０２にも予め設定される。

●カメラ装置１０２の動作
図７Ａは、カメラ装置１０２において特定のショットの撮影が行われる際に実行される処理を説明する流れ図である。以下の各ステップは、カメラ装置１０２の不図示のＣＰＵの制御により実行される。

最初に、Ｓ７０１において、ショットＩＤ９０１に基づいて、図９（ａ）に示すようなショットデータがカメラに設定される。Ｓ７０２では、Ｓ７０１で設定されたショットデータが有線接続された指示入力装置１０１へ送信される。Ｓ７０３において、撮影部３０４により撮影が開始される。次に、Ｓ７０４では、映像データ、例えば、ショットデータや映像データ、撮影設定、タイムコードなどの情報が逐次取得される。Ｓ７０５では、Ｓ７０４で取得した映像データを映像データ送信部３１２によりデータ蓄積装置１０３に対して出力が開始される。

この後、Ｓ７０６で指示入力装置１０１からの信号を受信し次第、Ｓ７０７においてアクションコール信号を、時間軸を一致させるための基準時間位置情報のメタデータとしてデータ蓄積装置１０３に映像データ送信部３１２により送信する。アクションコール信号とは、ショット及びテイクの開始を示す信号である。なお、ここでは、指示入力装置からの信号受信を契機として、アクションコール信号を送信する場合を説明しているが、これに限られない。例えば、監督の発するアクションコールを音声認識する手法や、撮影システムに対するスイッチ操作やジェスチャー認識する手法などを用いて、認識されたタイミングでアクションコール信号を送信しても構わない。後述するように、データ蓄積装置１０３は、アクションコール信号の受信に応じて映像データの蓄積を開始する。

続けて、Ｓ７０８からＳ７１１までのステップが呼出部３０８にて実行される。まず、Ｓ７０８で操作入力部３０６からの入力があると判別された場合（Ｓ７０８でＹＥＳ）、Ｓ７０９で変換部３０７により操作入力がカメラコマンドに変換される。次に、Ｓ７１０で記録部３１１にアクションコールを基準とする時間位置と共にカメラコマンドが記録され、Ｓ７１２で実行される。Ｓ７１２の処理を終えるとＳ７１３へ進む。

Ｓ７０８でカメラ操作入力がないと判断された場合（Ｓ７０８でＮＯ）は、Ｓ７１１へ進む。Ｓ７１１では記録部３１１に記録されたカメラコマンドの中から、アクションコールを基準とする時間位置が一致するものがあるか否かを判定する。一致するものがある場合（Ｓ７１１でＹＥＳ）は、そのカメラコマンドを呼び出し、Ｓ７１２で実行される。Ｓ７１２の処理を終えるとＳ７１３へ進む。一方、Ｓ７１１で一致するものがないと判定された場合（Ｓ７１１でＮＯ）はＳ７１３へ進む。

以後、Ｓ７１３において撮影終了までショットの撮影が継続される。なお、カメラコマンドは、図９（ａ）に示すショットデータを基にシーケンス番号９０２、シーン番号９０３、ショット番号９０４及びそれらの組み合わせを単位として記録する構成とし、それらを呼び出す流れであってもよい。また、カメラ操作入力の判断Ｓ７０８と記録済カメラコマンドの判断Ｓ７１１の順序はこれに限るものではなく、その順序を選択的に入れ替え可能としてもよい。

●指示入力装置１０１の動作
図７Ｂは、カメラ装置１０２と接続された指示入力装置１０１において、ショットの撮影が行われる際に実行される処理を説明する流れ図である。以下の各ステップは、指示入力装置１０１の不図示のＣＰＵの制御により実行される。Ｓ７１４においてカメラ装置１０２からショットデータを受信すると、Ｓ７１５においてショットデータの表示を行う。次に、撮影が開始された後に、Ｓ７１６において、クラップボードの操作が行われたか否かを判定する。操作が行われた場合（Ｓ７１６でＹＥＳ）にはＳ７１７に進み、カメラ装置１０２に対してクラップボード信号を送信し、処理を終了する。前述のように、指示入力装置１０１の操作に応じて、クラップボード信号がカメラ装置１０２へ送信され、それに応じてカメラ装置１０２からデータ蓄積装置１０３へアクションコール信号が送信されて、映像データの蓄積が開始される。つまり、指示入力装置１０１の操作は映像データの蓄積開始の契機となる。

●データ蓄積装置１０３の動作
図７Ｃは、データ蓄積装置１０３において、ショットの撮影が行われる際に実行される処理を説明する流れ図である。以下の各ステップは、データ蓄積装置１０３のＣＰＵ４０１の制御により実行される。Ｓ７１８においてカメラ装置１０２からの映像データの入力の開始を待ち、映像データの入力が開始されると（Ｓ７１８でＹＥＳ）、Ｓ７１９において映像データの入力を開始する。

次に、Ｓ７２０ではＳ７１９で入力された映像データから映像データを取り出し、情報入力装置１０４に送信を開始する。Ｓ７２１ではカメラ装置１０２からのアクションコール信号を入力する。Ｓ７１９、Ｓ７２０で入力された映像データ及びアクションコールを含むメタデータは、Ｓ７２２においてデータ蓄積部３１７に逐次蓄積される。

以後、映像データが入力されＳ７２２でデータが蓄積されている間に、Ｓ７２３において情報入力装置１０４からのアノテーション情報の入力があったか否かを判定する。アノテーション情報の入力があった場合（Ｓ７２３でＹＥＳ）には、Ｓ７２４において、このアノテーション情報を受信する。Ｓ７２５ではＳ７２４で受信したアノテーション情報を撮影中のショットデータと関連付けてデータ蓄積部３１７に蓄積し、Ｓ７２６へ進む。Ｓ７２６では撮影（映像データの入力）の終了を判定し、撮影終了と判定された場合（Ｓ７２６でＹＥＳ）は処理を終了する。撮影終了と判定されなかった場合（Ｓ７２６でＮＯ）はＳ７２３に戻って、処理を継続する。このようにして、アノテーション情報の入力と蓄積を繰り返す。一方、Ｓ７２３でアノテーション情報の入力がないと判定された場合（Ｓ７２３でＮＯ）は、Ｓ７２６へ進む。

●情報入力装置１０４の動作
図７Ｄは、情報入力装置１０４において、ショットの撮影が行われる際に実行される処理を説明する流れ図であり、図６Ａ〜図６Ｃは、ショットの撮影が行われる際の情報入力装置１０４の画面例を示している。図７Ｄの各ステップは、情報入力装置１０４のＣＰＵ５０１の制御により実行される。

Ｓ７２７では、データ蓄積装置１０３から送信された映像データ、即ちカメラ装置１０２で撮影中の映像の受信を開始し、Ｓ７２８において、情報入力装置１０４の映像の画面６０２に表示を開始する。

ここで、撮影中の映像の画面６０２において、監督やスタッフが何らかのアノテーション情報を付加したい場合には、画面６０２上をタッチする。これにより、アクションコールを開始時間（０秒）としたときのタッチが行われた時間と、タッチされた画面上の座標位置についてのアノテーション情報が生成される。Ｓ７２９では、このようなアノテーション情報の入力の有無を判定する。入力があったとき（Ｓ７２９でＹＥＳ）はＳ７３０へ進み、入力がなかったとき（Ｓ７２９でＮＯ）はＳ７３２へ進む。画面６０２上のタッチ等によりアノテーション情報が生成されたときは、アノテーション情報の入力が有りと判定され（Ｓ７２９でＹＥＳ）、Ｓ７３０へ進む。

Ｓ７３０では、アノテーションの種類情報が取得される。アノテーションの種類情報とは、アノテーションの種類を特定する情報であり、本実施形態では、複数レベルの階層によりカテゴリ化されている。図９（ｂ）に示す大分類９０９、小分類９１０、タグ９１１などの情報は、アノテーションの種類情報の具体例を示している。これらのアノテーションの種類情報は、ショートカットボタン６０４に予め対応づけられている。即ち、画面上をタッチする前あるいは後に、ショートカットボタン６０４を選択タッチすることで決定される。この際、ショートカットページの移動ボタン６０５、６０６を操作して、画面をスクロールさせて選択可能なショートカットボタン６０４を切り替えて、さらに詳細なアノテーションの種類やテキストによるアノテーション情報を入力することもできる。図９（ｂ）に示すように、アノテーション情報には、肯定的（Ｇｏｏｄ）であるか否定的（ＮＧ）であるかを示す情報を含む。また、アノテーション情報にはカメラコマンドに関する分類（フォーカスや露出）も含む。なお、「良い」、「Ｙｅｓ」、「そのまま」等を肯定的な単語として扱ってもよい。また、「悪い」、「Ｎｏ」、「ダメ」、「変える」等を否定的な単語として扱ってもよい。また、何を否定的な単語とするかは任意であり、予め定められた単語が選択されると修正指示であると判断してもよい。

Ｓ７３１では、確定されたアノテーション情報がデータ蓄積装置１０３に送信され、撮影中のショットと対応付けて蓄積される。例えば、図６Ａにおいて、主人公のバストショットを撮影中に、カメラ操作者が実行した主人公の顔にフォーカスを当てるカメラコマンドに対して、画面を確認中の監督が、主人公の腕にフォーカスを当ててほしいという指示をしたいとする。この場合、当該ショットにアノテーション情報を付ける場合を以下に説明する。図６Ｂにおいて、アノテーション情報を付加するために、監督は画面上の主人公の腕があった６０７の場所をタッチして、カーソルマークを表示させる。これらの処理により、アクションコールを基準とする時間位置９０７及び画面上の座標位置９０８が確定される。その後、図６Ｃにおいて、ショートカットボタン６０８をタッチすることで、大分類９０９、小分類９１０、タグ９１１などの情報が確定し、蓄積される。

このような処理を、Ｓ７３２において、映像データの終了が判定される（Ｓ７３２でＹＥＳ）まで繰り返す。すなわち、Ｓ７３２では撮影映像の終了の有無を判定し、終了と判定されたとき（Ｓ７３２でＹＥＳ）は処理を終了し、終了と判定されなかったとき（Ｓ７３２でＮＯ）はＳ７２９へ戻って処理を継続する。

このように、図６Ａ、図６Ｂ、図６Ｃ及び図７Ａ、図７Ｂ、図７Ｃ、図７Ｄで説明した操作を繰り返すことにより撮影中のそれぞれのショットに対応するアノテーション情報がデータ蓄積装置１０３に蓄積されていく。すなわち、情報入力装置１０４は、画像に対するユーザからの指示を受け付ける受付処理を行うとともに、当該指示を画像に対するアノテーション情報としてデータ蓄積装置１０３に保持させる。なお、ここでは、ショートカットボタンに予めアノテーションの種類情報が対応付けられている場合の例を説明したが、詳細なアノテーション入力によって入力されたテキストを認識することでアノテーションの種類情報を確定するようにしてもよい。テキストはソフトウェアキーボード等によって入力される。

（変換処理）
次に、図８及び図９を参照して、実施形態１におけるアノテーション情報をカメラコマンドへ変換する処理の流れについて説明する。ショットの撮影が終了すると図８で示す処理が実行される。図８の各ステップは、データ蓄積装置１０３のＣＰＵ４０１の制御により実行される。

まず、Ｓ８０１において、撮影が終了したショットに付けられたアノテーション情報の抽出を行う。具体的には、同じショットＩＤが付されたアノテーション情報を抽出する。例えば、ＲＣ０１−Ｓ１２−Ｓ０９が付されたアノテーション情報は、図９（ｂ）に示すレコード群９１２である。

次に、Ｓ８０２からＳ８０７の処理を繰り返し、抽出された各々のアノテーションについて、Ｓ８０３からＳ８０６までの処理を実行する。

Ｓ８０３では、アノテーション情報を読み出す。次に、Ｓ８０４で、読み出したアノテーション情報に基づいて、当該アノテーション情報がカメラコマンド生成の対象であるか否かを識別する。ここで、カメラコマンド生成対象に当たるかは、アノテーション情報の特定の項目が、カメラコマンドに関連する情報（設定情報）に該当するか否かに基づいて識別する。例えば、図９（ｂ）の例では、大分類でカメラワークとなっているアノテーション情報がコマンド生成対象となる。アノテーション情報がコマンド生成対象となるかは小分類で判断してもよい。例えば、フォーカスや露出、ズーム等のカメラの設定に関するものがコマンド生成対象のアノテーション情報である。

Ｓ８０４では、まず、アノテーション情報の中で、図９（ｂ）に示す大分類９０９が「カメラワーク」であり、タグ９１１が「ＮＧ」であるアノテーションＩＤが００１７のアノテーション情報９１３をカメラコマンドの生成対象と識別する。なお、「ＮＧ」とは、撮影が良好でなく、再度の撮影（画像の撮り直し）を必要とすることを意味する。「ＧＯＯＤ」とは、撮影が良好であり、画像の撮り直しが不要であることを示す。

次に、Ｓ８０４で対象として識別されたアノテーションにつき、Ｓ８０５において、アノテーション情報に基づきカメラコマンドを生成する。本実施形態例では、小分類９１０の内容に応じて、適宜、時間位置９０７、座標位置９０８等の値に基づき、カメラコマンドを生成する。例えば、図９（ｂ）に示す９１３のレコードは、小分類９１０がフォーカスである。そこで、Ｓ８０５で時間位置９０７が示す撮影時刻に、座標位置９０８が示す位置に自動でフォーカスを合わせるオートフォーカス処理を実行しないことを示すカメラコマンドを生成する。なお、タグが示す情報が否定的であるため、このようなオートフォーカスを実行しないカメラコマンドが生成される。Ｓ８０６において、生成されたカメラコマンドをカメラ装置１０２へ送信する。

なお、アノテーションＩＤ００２０のアノテーション情報を対象として、カメラコマンドを生成する場合は、肯定的なタグが付されているため、オートフォーカス処理を実行することを示すカメラコマンドを生成する。すなわち、時間位置９０７が示す撮影時刻に、座標位置９０８が示す位置に自動でフォーカスを合わせるオートフォーカス処理を実行することを示すカメラコマンドを生成する。

このようにして生成されたカメラコマンドは、データ蓄積装置１０３のカメラコマンド送信部３２１から送信され、カメラ装置１０２のカメラコマンド受信部３１３で受信され、記録部３１１に記録される。ここで、受信したカメラコマンドに含まれる時間位置と同様なカメラコマンドが既に記録されている場合は、受信したカメラコマンドに上書きする処理を実行してもよい。また、上記時間位置と同様であるという判断は予め定められた時間Ｔの前後の範囲を基準としてもよい。並びに、同一ショットの繰り返し撮影を行う際には記録部３１１に記録されたカメラコマンドが当該カメラコマンドに付けられた時間位置に従って呼出部３０８で呼び出されてもよい。即ち、当該カメラコマンドが実行部３０９で読みだされて実行されることで、アノテーション情報が指し示す留意点を反映したカメラ操作の実行が可能となる。例えば、カメラコマンドがフォーカスに関するコマンドであった場合、実行部３０９は、例えば、カメラコマンドが示すタイミングに、カメラコマンドが示す位置にフォーカスを合わせるよう撮影部３０４を制御する。また、カメラコマンドがズームに関するコマンドであった場合、実行部３０９は、例えば、カメラコマンドが示すタイミングに、カメラコマンドが示すズーム倍率となるように撮影部３０４を制御する。

以上のように、本実施形態においては、撮影中に操作者（監督等）の留意点に基づき情報入力装置１０４に入力されたアノテーション情報を、実行部３０９が実行可能なカメラコマンドに変換する。このため、類似するシチュエーションにおける過去のショット撮影の際の留意点に基づいたカメラ操作が可能となる。

なお、本実施形態においては、カメラコマンドとして、フォーカス操作を例に挙げたが、これに限られない。例えば、ズーム倍率操作、絞り値、ホワイトバランス、手ぶれ補正の有無、ＩＳＯ感度などのカメラ系の調整操作や、チルト、パンなどのカメラ本体の位置操作を実行する構成でもよい。

また、本実施形態においては、アノテーション情報に含まれる情報（付帯情報）を選択されたショートカットボタンから設定するようにした。しかし、付帯情報の設定の手法としては、テキスト入力や音声入力、タッチ操作のジェスチャー入力などでもよい。また、カメラコマンドを生成する際に参照するアノテーション付帯情報も座標位置に限られない。テキストによる操作値の入力が付帯情報として記録されるとしてもよい。また、例えば、座標位置に対してオブジェクトの検出を行い、当該オブジェクトの存在する座標位置に対してカメラコマンドを生成するようにしてもよい。

また、本実施形態においては、本撮影システムが複数の装置から構成される場合の例を説明したが、何れかの装置が他の装置を包含する構成としてもよく、さらには単一の装置による構成としてもよいことは言うまでもない。

＜＜実施形態２＞＞
前述の実施形態１においては、カメラ操作に関して具体的な修正指示を含むアノテーション情報をカメラコマンドに変換していた。これに対して、本発明の第二の実施形態（実施形態２）においては、アノテーション情報から修正指示の有無を判断し、カメラコマンド変換手法を切り替える。

（機能構成）
図１０は、実施形態２による撮影システムの全体の機能ブロックを説明する図である。ここで、カメラ装置１０２以外の機能構成は実施形態１の図３と同様であるので説明は省略する。また、カメラ装置１０２においては、３０２から３１３までの機能ブロックは実施形態１と同様である。実施形態２では、ファインダ画面３０３にカメラ操作における入力支援情報を表示するためのカメラ操作入力支援表示部１００１が追加されている。カメラ操作入力支援表示部１００１における表示処理は、実行部３０９が表示に関するカメラコマンドを実行することで動作する。このような構成において、本実施形態に係る撮影システムは、データの蓄積及びアノテーション情報の付与を、実施形態１と同様に図７Ａ〜図７Ｄで示される処理手順と同様の手順に従い実行する。

（変換処理）
図１１は、アノテーション情報をカメラコマンドに変換する際の、データ蓄積装置１０３において実行される処理を説明する流れ図である。ショットの撮影が終了すると、図１１で示す処理が実行される。処理の大部分の流れは、実施形態１における図８の動作と同様であるが、図１１では、アノテーションが修正指示を含むか判別するステップＳ１１０５、及びカメラ表示に関するカメラコマンドを生成するステップＳ１１０７が追加されている。

図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄ、図１２Ｅは、実施形態２において、ショットの撮影を行うカメラ装置１０２のファインダ画面及び情報入力装置１０４の操作画面を説明する図である。図１３は、図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄ、図１２Ｅで示した操作が行われた際にデータ蓄積装置１０３に蓄積されたアノテーション情報のサンプルを示す図である。以下、図１１から図１３を用いて、実施形態２におけるアノテーション情報をカメラコマンドに変換する処理の流れについて説明する。図１１の各ステップは、データ蓄積装置１０３のＣＰＵ４０１の制御により実行される。

図１２Ａは、テイク１撮影の際のカメラ操作者のカメラ装置１０２におけるファインダ画面３０３を示し、図１２Ｂは、監督の情報入力装置１０４におけるアノテーション情報を入力する様子を示した図である。図１２Ａに示すように、カメラ操作者は主人公の顔にフォーカスをあてるようなカメラ操作１２０１を実行し、一方で監督は、図１２Ｂに示すように、主人公の腕にフォーカスを当てる指示を撮影システムに入力する場合を考える。このとき監督は、画面上の主人公の腕があった１２０２の場所をタッチして、ショートカットボタン１２０３をタッチし、修正指示を含む否定的なアノテーションを付加する。

ここでのアノテーション情報は、図１３の１３０１に示すレコードとして記録される。続けて、テイク１撮影終了と共に、図１１に示すアノテーション変換処理が実行される。まず、Ｓ１１０１においてアノテーション情報を抽出し、次に、Ｓ１１０２〜Ｓ１１０９において、Ｓ１１０３〜Ｓ１１０８の処理を、抽出したアノテーション情報毎に実行する。まず、Ｓ１１０３において、アノテーションに含まれる付帯情報を読み出す。

次に、Ｓ１１０４で、読み出した付帯情報に基づきアノテーション情報１３０１がカメラコマンド生成の対象であるか否かを識別する。カメラコマンド生成の対象である場合（Ｓ１１０４でＹＥＳ）はＳ１１０５へ進み、対象でない場合（Ｓ１１０５でＮＯ）はＳ１１０９へ進んで、次のアノテーション情報に対して処理を進める。アノテーション情報１３０１の例では、Ｓ１１０３で読み込まれた付帯情報の中で図１３に示す大分類９０９が「カメラワーク」であり、タグ９１１が「ＮＧ」であることから、カメラコマンド生成対象として識別される（Ｓ１１０４でＹＥＳ）。そこで、Ｓ１１０５へ進む。

Ｓ１１０５では、カメラコマンドの生成対象であるアノテーション情報に監督からの修正指示が含まれているか否かを判定する。修正指示が含まれているか否かは、タグやコメントに否定的な単語が含まれているか否かで判断することができる。否定的な単語の例は第１実施形態と同様であるが、予め定められた単語が選択されると修正指示であると判断してもよい。修正指示が含まれていると判断した場合（Ｓ１１０５でＹＥＳ）はＳ１１０６でカメラ操作コマンドを生成し、Ｓ１１０８でこのカメラ操作コマンドをカメラ装置１０２へ送信する。カメラ操作コマンドとは、カメラワークに係る動作を規定するカメラコマンドである。修正指示が含まれていない場合（Ｓ１１０５でＮＯ）はＳ１１０７でカメラ表示コマンドを生成し、Ｓ１１０８でこのカメラ表示コマンドをカメラ装置１０２へ送信する。カメラ表示コマンドとは、カメラ装置１０２のファインダ表示部３０５にカメラ装置１０２の操作を支援するための表示を行わせるカメラコマンドである。

上記のアノテーション情報１３０１の例では、図１３に示す座標位置９０８が記録されており、フォーカスを示す情報が否定的な単語と関連付けられて入力されているから、Ｓ１１０５では修正指示を含むと判別される（Ｓ１１０５でＹＥＳ）。そこで、Ｓ１１０６において、小分類９１０に「フォーカス」が設定されているアノテーションの付帯情報１３０１に対応するカメラコマンドを実行する。具体的には、この付帯情報１３０１に含まれる時間位置９０７（「００：００：４５：２０」）及び座標位置９０８（「（４００，３００）」）を基準としたオートフォーカス処理を実行するためのカメラコマンドを生成する。Ｓ１１０８では、Ｓ１１０６で作成したカメラ操作コマンドをカメラ装置１０２へ送信する。上記処理により、テイク２撮影の際には、図１２Ｃに示すようなアノテーションにおける修正指示に基づいたオートフォーカス操作１２０４が可能となる。

次に、カメラ表示コマンドを生成する場合の動作例を説明する。図１２Ｄは、図１２Ｂと同様に、テイク１撮影の際の監督の情報入力装置１０４におけるアノテーション指示を示した図である。ここでは、フォーカス操作のやり直し指示を表すため、ショット映像画面をタッチせずにショートカットボタン１２０５をタッチすることで、具体的な修正指示を含まない否定的なアノテーションを付加した場合を説明する。この際のアノテーション情報は、図１３の１３０２に示すレコードとして記録される。続けて、テイク１撮影終了と共に図１１に示すアノテーション変換処理が実行される。Ｓ１１０１から処理が開始され、Ｓ１１０３においてアノテーション付帯情報１３０２が読み出される。Ｓ１１０４では、アノテーション付帯情報１３０２の中で図１３に示す大分類９０９が「カメラワーク」であり、タグ９１１が「ＮＧ」であることから、カメラコマンド生成対象として識別され（Ｓ１１０４でＹＥＳ）、Ｓ１１０５へ進む。

次に、Ｓ１１０５では、アノテーション付帯情報１３０２の座標位置９０８に記録がなされていないことから、具体的な修正指示を含まない（Ｓ１１０５でＮＯ）と判別される。そこで、Ｓ１１０７へ進む。

Ｓ１１０７では、アノテーションの付帯情報１３０２の小分類９１０に対応するコマンドを生成する。上記の例では、付帯情報１３０２の時間位置９０７（「００：００：４５：２０」）において、カメラ操作者がフォーカス操作をするためのＧＵＩ等のメニュー画像を表示することを示す操作支援表示カメラコマンドを生成する。Ｓ１１０８では、生成した操作支援表示カメラコマンドをカメラ装置１０２へ送信する。

このようにして、テイク２撮影の際には、当該送信されたフォーカス操作に関する操作支援表示カメラコマンドが実行される。つまり、テイク１の撮影の際に指摘したタイミングでファインダ画面の表示形態を図１２Ｅに示すようなフォーカス操作画面１２０６のＧＵＩを含む画面に変更すると共に、フォーカス操作を容易に行えるようなパネル１２０７を表示することが可能となる。なお、操作支援表示の手法は本形態に限るものではなく、アノテーション情報を重畳表示し注意喚起するもの等でもよい。

以上説明したように、本実施形態によれば、アノテーション情報から修正指示（修正されたカメラワークの指示）の有無を判断し、判断結果に応じてカメラコマンド変換手法を切り替え実行する。このため、類似するシチュエーションにおける過去のショット撮影の際の留意点に基づいたカメラ操作とその支援との両方を実現することが可能となる。

なお、本実施形態においては、修正指示の有無の判別として、アノテーション付帯情報に座標位置が含まれるか基準とする例を挙げたが、これに限られない。例えば、修正指示の有無を明示的に付加するショートカットボタンを設けてもよい。あるいは、付加された座標位置において人物等のオブジェクトの検出を行い、オブジェクトが存在する場合は、具体的な修正指示であると判断し、存在しない場合は、具体的な修正指示がないと判断して操作支援表示カメラコマンドを生成するようにしてもよい。

さらに、本実施形態においては、アノテーション情報に含まれる時間情報が示すタイミングに操作支援表示が実行されるようなカメラコマンドを生成する構成を説明した。しかし、アノテーションの付加されるタイミングがカメラ操作実行のタイミングより遅れることを考慮して、アノテーションが付加されたタイミングより、予め定められた所定時間Ｔ秒前に予告表示してもよい。

＜＜実施形態３＞＞
前述の実施形態１、実施形態２においては、類似するシチュエーションにおける直近のショット撮影の際に付加されたアノテーション情報をカメラコマンドに変換する構成について説明した。本発明の第三の実施形態（実施形態３）においては、類似するシチュエーションにおける過去の全てのショット撮影の際に付加されたアノテーション情報を対象として、カメラコマンドへ変換する構成を説明する。

（機能構成）
図１４は、実施形態３による撮影システムの全体の機能ブロックを説明する図である。ここで、カメラ装置１０２及びデータ蓄積装置１０３以外の構成は実施形態２の図３と同様であるので詳細な説明は省略する。

カメラ装置１０２の構成に関して、３０２から３１３まで及び１００１の機能ブロックは、図１０を参照して説明した実施形態２と同様である。実施形態３では、記録部３１１に記録されているカメラコマンドをデータ蓄積装置１０３へ送信するカメラコマンド送信部１４０１がカメラ装置１０２に追加されている。

データ蓄積装置１０３は、カメラ装置１０２から送信されたカメラコマンドを受信するカメラコマンド受信部１４０２を備えている。データ蓄積装置１０３は、カメラコマンド受信部１４０２で受信したカメラコマンドを、映像データ受信部３１４で受信した映像データと関連付けられたショットデータとして、データ蓄積部３１７に蓄積する。このような構成をとることで、各ショット撮影の際のカメラコマンドの履歴を蓄積することが可能となる。また、データ蓄積装置１０３は、データ蓄積部３１７に蓄積されたショットデータから関連ショットに対応するカメラコマンドを抽出するカメラコマンド抽出部１４０３を備える。カメラコマンド抽出部１４０３によるカメラコマンドの抽出は、映像データ受信部３１４によって受信したショットに関連するもの関連ショットとして、例えば、同じショットに属する他のテイクや、前後のショットに属するテイク等が抽出される。

（撮影処理）
図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄは、ショットの撮影が行われる際の、カメラ装置１０２、指示入力装置１０１、データ蓄積装置１０３、及び情報入力装置１０４のそれぞれにおいて実行される処理を説明する流れ図である。図１６は、実施形態３の構成による、アノテーション情報をカメラコマンドに変換する処理を説明する流れ図である。図１７Ａ、図１７Ｂ、図１７Ｃ、図１７Ｄ、図１７Ｅは、実施形態３において、ショットの撮影を行うカメラ装置１０２のファインダ画面及び情報入力装置１０４の操作画面を説明する図である。図１８は、図１７Ａ、図１７Ｂ、図１７Ｃ、図１７Ｄ、図１７Ｅで示した操作が行われる際の、データ蓄積装置１０３に蓄積されたアノテーション情報のサンプルを示す図である。以下、図１５から図１８を用いて、実施形態３に係る構成による処理について詳細に説明する。

図１５Ａは、カメラ装置１０２において特定のショットの撮影が行われる際に実行される処理を説明する流れ図である。図１５Ａの各ステップは、カメラ装置１０２の不図示のＣＰＵの制御により実行される。Ｓ１５０１からＳ１５１３は、実施形態１の図７ＡのＳ７０１からＳ７１３と同様のため説明を省略する。Ｓ１５１４においては、記録部３１１に記録されているカメラコマンドをデータ蓄積装置１０３に送信する。

図１５Ｃは、データ蓄積装置１０３において、ショットの撮影が行われる際に実行される処理を説明する流れ図である。図１５Ｃの各ステップは、データ蓄積装置１０３のＣＰＵ４０１の制御により実行される。Ｓ１５１９からＳ１５２７は実施形態１の図７ＣのＳ７１８からＳ７２６と同様のため説明を省略する。Ｓ１５２８では、ショット撮影において実行されたカメラコマンドをカメラ装置１０２から受信する。Ｓ１５２９では、Ｓ１５２８で受信したカメラコマンドを撮影中のショットデータと関連付けてデータ蓄積部３１７に蓄積する。

図１５Ｂ及び図１５Ｄ、即ち指示入力装置及び情報入力装置の動作については、実施形態１の図７Ｂ及び図７Ｄと同様のため、説明を省略する。このように、図１５Ａ及び図１５Ｃで説明した操作を繰り返すことにより、撮影中のそれぞれのショット撮影の際に実行されたカメラコマンドがデータ蓄積装置１０３に蓄積されていく。

（変換処理）
次に、図１６から図１８を用いて、実施形態３におけるアノテーション情報をカメラコマンドに変換する処理の流れについて説明する。図１７Ａは、テイク１撮影の際のカメラ操作者におけるファインダ画面３０３を示した図であり、図１７Ｂは、監督の情報入力装置１０４におけるアノテーション指示を示した図である。

まず、図１７Ａに示すように、カメラ操作者は主人公の顔にフォーカスをあてるようなカメラ操作１７０１を実行した場合を説明する。この際、図１７Ｂに示すように監督が、フォーカス操作が良好であったことを表すため、ショートカットボタン１７０２をタッチすることで、肯定的なアノテーションを付加したとする。ここでのアノテーション情報は、図１８に示すレコード１８０１として記録される。

次に、テイク２撮影の際、図１７Ｃに示すようにカメラ操作者が同タイミングのカメラ操作として、主人公の腕にフォーカスをあてるようなテイク１撮影の際とは異なるカメラ操作１７０３を実行した場合を説明する。この際、図１７Ｄに示すように監督がフォーカス操作のやり直し指示を表すため、ショット映像画面をタッチせずにショートカットボタン１７０４をタッチすることで、具体的な修正指示を含まない否定的なアノテーションを付加したとする。ここでのアノテーション情報は、図１８の１８０２に示すレコードとして記録される。

以上の操作終了後、即ちテイク２撮影終了と共に図１６に示すアノテーション変換処理が実行される。図１６の各ステップは、データ蓄積装置１０３のＣＰＵ４０１の制御により実行される。

まず、Ｓ１６０１から処理が開始されると共に、Ｓ１６０２で前述の通り近似するアノテーションがグルーピングされる。アノテーション情報の位置情報における近似の判定については、様々な手法を用いることが可能である。一例として、本実施形態では、複数のアノテーション情報について、図１８に示す小分類９１０が同一であり、時間位置９０７が、予め定められた判定基準値、例えば１秒を超えないならば、これらのアノテーション情報は近似すると判定する。例えば、図１８に示すアノテーション情報においては、レコード１８０１及び１８０２は、大分類９０９、小分類９１０、時間位置９０７が同一であるから、同一グループとしてグルーピングされることになる。

次に、Ｓ１６０３〜Ｓ１６１５において、Ｓ１６０４〜Ｓ１６１４の処理をアノテーション情報のグループの各々に対して実行する。Ｓ１６０４では、最近傍テイク撮影の際に付けられたアノテーション情報、即ちテイク２に付けられたアノテーションのレコード１８０２を選択する。

Ｓ１６０５で当該選択されているアノテーションの付帯情報を読み出し、Ｓ１６０６においてこのアノテーション情報がカメラコマンドの生成対象であるか否かを判定する。カメラコマンドの生成対象ならば（Ｓ１６０６でＹＥＳ）Ｓ１６０７へ進み、生成対象でないならば（Ｓ１６０６でＮＯ）Ｓ１６１５へ進む。一例として、アノテーション情報１８０２の大分類９０９が「カメラワーク」であることより、カメラコマンド生成対象として識別される。

Ｓ１６０７ではＳ１６０５で読み出したアノテーション情報のタグ９１１を参照して、当該アノテーション情報に係るショットが肯定的か否かを判定する。肯定的である（タグ９１１が「ＧＯＯＤ」）ならば（Ｓ１６０７でＹＥＳ）はＳ１６０８へ進み、肯定的でない（タグ９１１が「ＮＧ」）ならば（Ｓ１６０７でＮＯ）はＳ１６０９へ進む。上記の例では、アノテーションの付帯情報１８０２のタグ９１１は「ＮＧ」であるから、肯定的なアノテーションでないと判別され（Ｓ１６０７でＮＯ）、Ｓ１６０９へ進む。

Ｓ１６０９ではアノテーション情報に監督からの具体的な修正指示が含まれているか否かを判定する。含まれているとき（Ｓ１６０９でＹＥＳ）はＳ１６１０へ進み、含まれていないとき（Ｓ１６０９でＮＯ）はＳ１６１１へ進む。上記の例では、アノテーション情報１８０２には座標位置９０８が記録されていないことから、具体的な修正指示を含まないと判別される。

Ｓ１６１１では、当該選択されているアノテーション情報より前に撮影した前テイクを撮影した際に付されたアノテーション情報が存在するか否かを判定する。存在するとき（Ｓ１６１１でＹＥＳ）はＳ１６１２へ進み、存在しないとき（Ｓ１６１１でＮＯ）はＳ１６１３へ進む。上記の例では、Ｓ１６１１において、テイク１撮影の際に付けられたアノテーションのレコード１８０１があると識別される（Ｓ１６１１でＹＥＳ）。

Ｓ１６１２では前テイクのアノテーションを選択して、Ｓ１６０５へ戻る。上記の例では、テイク１撮影の際に付けられたアノテーションのレコード１８０１が選択され、続けて、選択されているアノテーションのレコード１８０１に対して、Ｓ１６０５から処理が繰り返される。

Ｓ１６０８では、カメラコマンド抽出部１４０３が、当該アノテーション情報に対応するカメラコマンドをデータ蓄積部３１７から抽出する。そして、Ｓ１６１４へ進む。上記の例では、Ｓ１６０７で肯定的と判定されると、Ｓ１６０８で当該アノテーションが付加された時間位置にテイク１の撮影の際に実行されたフォーカス制御のカメラコマンドが抽出される。

Ｓ１６１４では、抽出ないし生成したカメラコマンドをカメラ装置１０２へ送信する。上記の例では、上記処理によりテイク３の撮影の際には、図１７Ｅに示すように、テイク１の撮影の際と同じフォーカス操作１７０５、すなわち、主人公の顔にフォーカスが向けられた撮影を行うことが可能となる。

Ｓ１６１０では、図８のＳ８０５、図１１のＳ１１０６と同様に、カメラ操作コマンドを生成し、Ｓ１６１４へ進む。Ｓ１６１３では図１１のＳ１１０７と同様にカメラ表示コマンドを生成し、Ｓ１６１４へ進む。

以上説明したように、本実施形態によれば、類似するシチュエーションにおける過去全てのショット撮影の際に付加されたアノテーション情報を対象としてカメラコマンドへ変換することが可能となる。即ち、類似するシチュエーションの繰り返し撮影において、各テイクにおいて様々変換するカメラ操作及びアノテーションによる指摘へ柔軟に対応した、ショット撮影の際の留意点に基づいたカメラ操作及びその支援が同時に可能となる。

また、本実施形態では、事前に画像を撮影した際のカメラ装置１０２のカメラワークに対応するカメラコマンドを記録しておき、アノテーション情報の変換の際は、事前の撮影が良好なときは、該アノテーション情報をこの記録されたカメラコマンドに変換する。このため、最適なカメラコマンドに迅速に変換することが可能となる。

また、本実施形態では、事前に撮影された複数の画像の各々についてアノテーション情報を取得し、撮影が良好であることを示すアノテーション情報のうち、最も新しく取得された画像に関するものを、当該画像について記録されたカメラコマンドに変換する。このため、予め複数の撮影が行われているときは、そのうち良好な撮影条件を再現して撮影を行うことが可能となる。

なお、本実施形態においては、アノテーション情報のグルーピングについて、付帯情報として含まれる分類及び時間位置が近似しているか否かの判定に基づいて行った。しかし、図１８に示すその他の付帯情報に基づいて判定してもよい。また、図１６に示すカメラ表示コマンド生成ステップＳ１６１３において、カメラコマンド抽出部１４０３を用いて、関連するカメラコマンドを抽出し、前テイク撮影の際に実行したカメラ操作を参考情報として表示するような表示コマンドを生成してもよい。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：指示入力装置、１０２：カメラ装置、１０３：データ蓄積装置、１０４：情報入力装置

Claims (8)

1. 撮影手段により画像を撮影する撮影システムであって、
   前記撮影手段によって撮影された複数の第１の画像の各々について、当該第１の画像を撮影した際の前記撮影手段のカメラワークに対応するカメラコマンドを記録している記録手段と、
   前記複数の第１の画像の各々に対してユーザによって入力されたアノテーション情報を取得する取得手段と、
   前記取得手段により取得されたアノテーション情報がカメラワークに関する情報を含む場合に、前記取得されたアノテーション情報がカメラコマンド生成対象であると判断する判断手段と、
   カメラコマンド生成対象と判断され、撮影が肯定的であることを示すアノテーション情報のうち、最も新しく取得された画像に関するアノテーション情報に対応するカメラコマンドを前記記録手段から抽出することにより、前記撮影手段の動作を規定するカメラコマンドを生成する生成手段と、
   前記第１の画像よりも後に第２の画像を撮影する場合に、前記カメラコマンドに基づく動作を前記撮影手段に実行させる実行手段と、を備えることを特徴とする撮影システム。
2. 前記第１の画像及び第２の画像は動画像であることを特徴とする請求項１に記載の撮影システム。
3. 前記第１の画像に対して、ユーザからのアノテーション情報の入力を受け付ける受付手段と、
   前記受付手段が受け付けたアノテーション情報を前記第１の画像に対するアノテーション情報として保持する保持手段と
   を更に備えることを特徴とする請求項１又は２に記載の撮影システム。
4. 前記取得手段は、前記複数の第１の画像に対する複数のアノテーション情報を新しい順に取得し、
   前記生成手段は、前記取得手段により取得されたアノテーション情報がカメラコマンド生成対象と判断され、否定的な情報を含み、カメラワークに関する修正提案を含む場合には、前記カメラワークに関する前記修正提案に基づいた設定を示すカメラコマンドを生成することを特徴とする請求項１から３のいずれか１項に記載の撮影システム。
5. 前記複数の第１の画像に対する複数のアノテーション情報の中に、カメラコマンド生成対象と判断され、撮影が肯定的であることを示すアノテーション情報、および、カメラコマンド生成対象と判断され、否定的な情報を含み、カメラワークに関する修正提案を含むアノテーション情報が存在しない場合、前記生成手段は、カメラワークを設定する操作をユーザに行わせるためのＧＵＩを表示手段に表示させるカメラコマンドを生成することを特徴とする請求項４に記載の撮影システム。
6. 前記第２の画像は、所定のコンテンツにおいて、前記第１の画像と置き換え可能な画像であることを特徴とする請求項１から５のいずれか１項に記載の撮影システム。
7. 撮影手段により画像を撮影する撮影システムの制御方法であって、
   前記撮影手段によって撮影された複数の第１の画像の各々について、当該第１の画像を撮影した際の前記撮影手段のカメラワークに対応するカメラコマンドを記録手段に記録する記録工程と、
   前記複数の第１の画像の各々に対してユーザによって入力されたアノテーション情報を取得する取得工程と、
   前記取得工程で取得されたアノテーション情報がカメラワークに関する情報を含む場合に、前記取得されたアノテーション情報がカメラコマンド生成対象であると判断する判断工程と、
   カメラコマンド生成対象と判断され、撮影が肯定的であることを示すアノテーション情報のうち、最も新しく取得された画像に関するアノテーション情報に対応するカメラコマンドを前記記録手段から抽出することにより、前記撮影手段の動作を規定するカメラコマンドを生成する生成工程と、
   前記第１の画像よりも後に第２の画像を撮影する場合に、前記カメラコマンドに基づく動作を前記撮影手段に実行させる実行工程と、を有することを特徴とする撮影システムの制御方法。
8. コンピュータを請求項１から６のいずれか１項に記載の撮影システムが備える各手段として機能させるためのコンピュータプログラム。

Images