JP5759212B2

JP5759212B2 - シナリオ編集装置およびシナリオ編集方法、ならびに撮像システム

Info

Publication number: JP5759212B2
Application number: JP2011059654A
Authority: JP
Inventors: 石井　芳季; 芳季石井; 泰加地
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-03-17
Filing date: 2011-03-17
Publication date: 2015-08-05
Anticipated expiration: 2031-03-17
Also published as: CN102682817A; US20120237178A1; US8582948B2; JP2012195852A; CN102682817B

Description

本発明は、再撮影を容易にするシナリオデータ編集技術に関するものである。

近年、撮影画像をデジタルデータのファイルとして記録するビデオカメラが登場し、画像の撮影および編集が容易に行えるようになった。このような撮影および編集システムでは、画像データを的確に分類するためのメタデータを付加することが重要であり、画像データと共に記録されたメタデータを利用することによって画像データを容易に識別し、管理、編集の効率が向上している。

一方、映画やドラマ制作の現場では、事前に準備されたシナリオ（筋書き）に沿って画像を撮影し、シナリオにあてはめて編集を行うことが一般的である。このように、予めシナリオに対応する撮影補助データを作成しておき、撮影時にビデオカメラでシナリオを選択して撮影を行うことで、シナリオに関連付けたメタデータの生成が自動的に行われ、撮影後の画像の管理や編集のさらなる効率アップが図られている。

例えば、特許文献１では、シナリオ編集システムとそれによる撮影支援およびテイクメタデータ連携処理が開示されている。

特開２００４−１８７２７５公報

しかしながら、上記特許文献１では、シナリオの準備やシナリオを参照した撮影によって、撮影までの処理の効率化は図られているが、撮影結果を次の撮影にフィードバックする手段が提供されていない。すなわち、撮影結果に不満があって撮り直したい場合には、その撮り直す部分だけではなく、同じシナリオを参照して画像全体を撮り直すしかないのが現状である。

本発明は、上記課題に鑑みてなされ、その目的は、シナリオデータを参照した画像の撮影において、撮影結果を次の撮影に反映でき、撮影や編集の効率化を図ることができるシナリオ編集技術を実現することである。

上記課題を解決し、目的を達成するために、本発明は、撮像装置により画像を撮影する際に参照すべきシナリオデータを作成し、編集するシナリオ編集装置であって、撮影内容ごとに識別番号が付与された第１のシナリオデータを第１の記録媒体に記録する第１の記録手段と、前記撮像装置が前記第１のシナリオデータを参照して撮影し、前記第１の記録媒体とは異なる第２の記録媒体に記録した撮影済み画像データと、前記撮像装置により前記撮影済み画像データに関連付けて前記第２の記録媒体に記録された撮影内容ごとの識別情報とを、前記第２の記録媒体から読み出す読み出し手段と、前記第２の記録媒体に記録された前記撮影済み画像データに対応する前記第１のシナリオデータの撮影内容のうち再撮影すべき撮影内容を選択する選択手段と、前記選択手段により選択された撮影内容に対応する識別情報に関連付けられた前記撮影済み画像データを前記読み出し手段により前記第２の記録媒体から読み出し、前記読み出された撮影済み画像データを用いて、再撮影のための参考画像データを生成する手段と、前記選択された撮影内容に対応する前記第１のシナリオデータを前記読み出し手段により前記第１の記録媒体から読み出し、前記読み出された第１のシナリオデータに基づき、前記参考画像データを含む、再撮影用の第２のシナリオデータを作成する作成手段と、前記作成手段により作成された前記第２のシナリオデータを前記第１の記録媒体に記録する第２の記録手段と、を有する。

本発明によれば、シナリオデータを参照した画像の撮影において、撮影済み画像を含む第２のシナリオデータを生成することで、撮像装置で参考画像データを参照しながら容易に撮り直しを行うことができる。

本発明に係る実施形態のＰＣの主な内部構成を示すブロック図。本発明に係る実施形態のシナリオ編集装置の主要な構成を示すブロック図。本発明に係る実施形態の撮像装置の主要な構成を示すブロック図。第１のシナリオデータ作成から記録までの処理を示すフローチャート。第１のシナリオデータ参照から画像撮影までの処理を示すフローチャート。第２のシナリオデータ作成から記録までの処理を示すフローチャート。第２のシナリオデータ参照から画像撮影までの処理を示すフローチャート。第１のシナリオデータ参照から画像撮影までのデータの流れを示す図。第１、第２の記録領域のデータを例示する図。第２のシナリオデータを参照した場合の撮像装置の動作を説明する図。シナリオデータの構成を例示する図。第２の画像撮影モードでの画面表示例を示す図。他の参考画像データの画面表示例を示す図。他の参考画像データの画面表示例を示す図。図１２のシナリオ選択画面で参考画像データを表示する例を示す図。実施形態２による画面表示例を示す図。撮影済み画像の選択から参照画像再生までの処理を示すフローチャート。撮影済み画像データのシナリオ識別番号を例示する図。再撮影シナリオデータを作成する処理を示すフローチャート。画像再生画面の表示例を示す図。時間軸上に配列された画像データを説明する図。図１９のステップＳ１９０７における再撮影シナリオデータの作成処理を示すフローチャート。時間軸上に配置した画像データに対して、再撮影する画像データを指定する２通りの例を説明する図。実施形態３により作成された再撮影シナリオデータを例示する図。再撮影終了後のシナリオ識別番号を例示する図。実施形態４により作成された再撮影シナリオデータを例示する図。

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

ここでは、本発明のシナリオ編集装置を、パーソナルコンピュータ（以下、ＰＣ）、撮像装置をデジタルビデオカメラ、シナリオ編集システムをこれらＰＣ及びデジタルビデオカメラにより実現した例について説明する。なお、撮像装置はデジタルスチルカメラやデジタルビデオカメラなどの他、被写体からの光を光電変換し撮像することにより画像データを生成する手段を有する装置を含む。また、本実施形態では、画像は主に動画（映像）を表すものとする。

＜ＰＣの内部構成＞まず、図１を参照して、本発明のシナリオ編集装置を実現するＰＣの概略構成について説明する。

図１は、ＰＣ１００の主な内部構成を示すブロック図である。

図１において、１０１はＰＣ１００全体の制御を司るＣＰＵである。ＣＰＵ１０１は、ユーザの操作に応じて後述する各部を制御する。

１０２は、ＰＣ１００を制御するプログラムとプログラムが使用するデータを格納するためのＲＯＭである。ＲＯＭ１０２には、実施形態１，２として後述するシナリオデータを編集するプログラムや実施形態３，４として後述する関連画像特定プログラム、時間軸配置プログラム、トリミングプログラムなどが含まれる。

１０３は、ＰＣ１００を制御するプログラムが作業領域として使用するための書き換え可能なメモリ（ＲＡＭ）である。

１０４は、ＰＣ１００が利用する各種データを記録しておくためのハードディスク（ＨＤＤ）である。

１０５は、ＣＰＵ１０１からの指示に従い、外部の記憶媒体１１１に記録されたデータの読み出しまたは書き込みを行うための外部ＩＦ（インターフェース）である。外部ＩＦ１０５はメモリカードスロットを備え、外部の記憶媒体１１１からのデータの読み出しと書き込みの制御を行う。記憶媒体１１１としては、例えばＣＦ（登録商標）カードやＳＤＨＣ（登録商標）カードなどの外部ＩＦ１０５を介してＰＣ１００に対して着脱可能なメモリカードが用いられる。

１０６は、ユーザの操作をＰＣ１００に通知するためのユーザＩＦである。ユーザＩＦ１０６は、例えばキーボードやマウスなどにより構成される。

１０７は、後述する画像処理部１０８がレンダリングした画面を走査するまでのバッファとして利用するＶＲＡＭである。

１０８は、画面上に描く画像データの座標をＣＰＵ１０１から受け取り、画像上の各ドットの表示位置について計算し、その情報をＶＲＡＭ１０７に一時的に保持させる画像処理部である。画像処理部１０８は、所定のタイミングでＶＲＡＭ１０７のデータを読み出し、表示制御部１０９に転送する。

１０９は、ＶＲＡＭ１０７に保持された画像データをディスプレイ１１０が表示可能なデジタル信号に変換して転送する表示制御部である。

１１０は、表示制御部１０９から出力される画像データを表示するＬＣＤなどのディスプレイである。

１１２は、各部の制御信号またはデータ信号を転送するための伝送路である。

［実施形態１］次に、図２を参照して、本実施形態のシナリオ編集装置の構成について説明する。

本実施形態のシナリオ編集装置２００は、撮影すべき内容を表すシナリオデータを予め入力し、シーン番号、カット番号といったシナリオを識別するシナリオ識別番号と共に、シナリオデータを撮像装置３００に供給するための記憶媒体１１１に保存する。

図２において、２０１はシナリオ識別番号生成部であり、前述のようにシナリオデータを識別するためのシナリオ識別番号を生成する。シナリオ識別番号はシナリオデータごとに固有の情報であればよいが、本実施形態では映画のシナリオ等で用いられるシーン番号を上位とし、カット番号を下位とする階層番号を例として説明する。

２０２はシナリオデータ入力部であり、上記シーン、カットの撮影内容を表すシナリオデータを入力する。シナリオデータは撮影内容を記述したテキストデータ、音声データ、画像データ等、もしくはそれらの組み合わせであってもかまわない。

２０３はシナリオデータ編集部であり、シナリオ入力データとシナリオ識別番号を連携させ記録すべきシナリオデータを生成する。

上記撮影すべき内容を表す第１のシナリオデータを記録する場合は、スイッチ２０４，２０５は端子Ａに接続され、生成された第１のシナリオデータは、シナリオデータ記録部２０６によってデータ記録モジュール２０７の第１の記録領域２０８に記録される。

ここでデータ記録モジュール２０７は、相異なる複数の記録メディアから構成され、各記録メディアが第１、第２の記録領域２０８，２０９に割り当てられていてもよい。また、データ記録モジュール２０７が単一の記録メディアであって、第１、第２の記録領域２０８，２０９は同一メディア中の分割された記録領域であってもよい。

またデータ記録モジュール２０７の一部または全部が、ネットワークを介して接続されるネットワークストレージサーバーによって構成されていてもかまわない。この場合、第１の記録領域２０８をネットワークストレージ上に作成することによって、シナリオ編集装置と撮像装置との連携が迅速に行えるという効果がある。

第１の記録領域２０８に記録された第１のシナリオデータの例を図１１（Ａ）に示す。

ここでは複数個のシナリオデータがリストとして記録され、各々のシナリオデータは第１のシナリオデータであることを示すシナリオタイプ：１の属性を持ち、シナリオ識別番号はシーン番号／カット番号からなる。

シナリオデータ本体はタイトル名を示すテキスト情報、内容を示すテキスト情報からなっている。

＜第１の画像撮影モード＞
ここで、撮影すべき内容を表す第１のシナリオデータを参照して画像を撮影する、第１の画像撮影モードの動作について図４を参照して説明する。

図４は第１のシナリオデータ作成から記録までの処理を示している。なお、図４に示す処理は、シナリオ編集装置２００として機能するＰＣ１００において、ＣＰＵ１０１がＲＯＭ１０２からプログラムを読み出して実行することによって実現される。

図４において、ステップＳ４０１では、ＣＰＵ１０１はシナリオ識別番号の設定を行う。前述のように本実施形態ではシナリオ識別番号として、シーン番号、カット番号を用いる。

ステップＳ４０２では、ＣＰＵ１０１は、テキスト、音声、画像またはそれらを組み合わせたシナリオデータの入力を行う。

ステップＳ４０３では、生成された第１のシナリオデータを第１の記録領域２０８に記録する。

＜撮像装置の構成及び動作＞
ここで、第１の記録領域２０８に記録された第１のシナリオデータを参照して画像の撮影を行う撮像装置の動作について説明する。第１のシナリオデータが記録されたデータ記録モジュール２０７は、例えばメモリカードなどの撮像装置３００に対して着脱可能な記憶媒体が適用される。

また、前述のようにデータ記録モジュール２０７をネットワーク上のストレージとして構成することにより、シナリオ編集装置２００と撮像装置３００との間でデータを共有することも可能である。

図３は本実施形態の撮像装置３００の主要な構成を示すブロック図である。なお、本実施形態では本発明に関わる画像撮影機能について説明し、画像の再生や音声の記録再生等のための構成についての説明は省略する。

上記第１の記録領域２０８に記録された第１のシナリオデータを参照して画像撮影を行うため、シナリオデータ読み出し部３１０は第１の記録領域２０８から第１のシナリオデータを読み出し、システムコントローラ３１７に供給する。

システムコントローラ３１７はシナリオデータを表示合成部３１４によってモニタ３１５に重畳して表示する。本実施形態ではシナリオ識別番号であるシーン番号、カット番号とタイトルの一覧が表示される。撮影者はこの一覧から撮影すべきシナリオを選択した後、撮影を行う。

撮影者の選択操作はユーザ操作入力部３１６からシステムコントローラ３１７に供給され、選択されたシナリオ識別番号が撮影される画像データに関連付けられて記録される。その後、ユーザ操作入力部３１６から撮影開始操作が入力されると、システムコントローラ３１７はカメラ制御部３０９、圧縮符号化部３０６、画像データ記録部３０８を制御して画像データの記録を開始する。

カメラ光学系３０１はカメラ制御部３０９の制御下で、光学レンズ系を駆動し撮影された画像は撮像素子３０２によって電気信号に変換する。

アナログ信号処理部３０３は撮像素子３０２からの電気信号を所定のレベルに増幅しＡ／Ｄ変換部３０４によってデジタル信号に変換する。

カメラ信号処理部３０５は、カメラ制御部３０９の制御下で、デジタル信号に変換された撮像素子の出力データに所定のデジタル現像処理を行って画像データを生成し、ホワイトバランス、色調整、γ変換等のカメラ信号処理を行う。

圧縮符号化部３０６は画像データを圧縮符号化することによってデータ量を削減する。圧縮符号化の例としては動画に対するＭＰＥＧ２、Ｈ．２６４、静止画に対するＪＰＥＧ等が知られている。

圧縮符号化された画像データはデータフォーマット部３０７で記録データ形式に変換され、画像データ記録部３０８によってデータ記録モジュール２０７の第２の記録領域２０９に記録される。

メタデータ記録部３１１はカメラ制御部３０９からのカメラ制御情報、圧縮符号化部３０６からの圧縮符号化情報、システムコントローラ３１７からのユーザ操作、システム設定情報等をカメラメタデータとして第２の記録領域２０９に記録する。

またメタデータ記録部３１１は、撮影時に選択され保持されているシナリオ識別番号を画像データに関連付けて、同じくメタデータとして記録する。さらに同一シナリオ識別番号に対して複数回撮影を行った場合は、各撮影を識別するための撮影枝番号であるテイク番号を合わせて記録する。

撮像装置本体の機能として撮影中ないしは撮影後の撮影データにフラグをセットする機能がある場合は、システムコントローラ３１７からのユーザ操作情報としてフラグ情報をメタデータに記録することができる。このフラグの例として撮影したテイクのＯＫ、ＮＧのようなテイクの優先度情報がある。

第１のシナリオデータ参照から画像撮影までのデータの流れを図８に示す。撮像装置３００は第１の記録領域２０８から読み出した第１のシナリオデータを参照した後、撮影画像データとメタデータを、参照した第１のシナリオデータのシナリオ識別番号に関連付けて第２の記録領域２０９に記録する。

第１のシナリオデータ参照から画像撮影までの処理を図５に示す。なお、図５に示す処理は、撮像装置３００のシステムコントローラ３１７がメモリからプログラムを読み出して実行することによって実現される。

ステップＳ５０１では、システムコントローラ３１７は、第１の記録領域２０８から第１のシナリオデータを読み出し、ステップＳ５０２にてユーザ操作によってシナリオが選択される。

ステップＳ５０３では、システムコントローラ３１７は、選択されたシナリオに基づいて画像撮影を行い、ステップＳ５０４にて撮影画像データが第２の記録領域２０９に記録される。

ステップＳ５０５では、システムコントローラ３１７は、撮影終了が選択された場合は全ての撮影処理を終了し、終了が選択されなかった場合はステップＳ５０６でシナリオ変更の有無を選択する。

ステップＳ５０６でシナリオ変更が選択された場合、ステップＳ５０２に戻る。シナリオ変更が選択されていない場合は、同一シナリオに対する複数回の撮影としてステップＳ５０７に進み、テイク番号をインクリメントした後、ステップＳ５０３の画像撮影に戻る。

以上のように第１の記録領域２０８に記録された第１のシナリオデータを参照しながら撮影を行った結果、第２の記録領域２０９にはそれぞれ参照したシナリオデータのシナリオ識別番号に関連付けられた複数の撮影画像データ及びメタデータが記録される。

図９（Ａ）に撮影後の第２の記録領域２０９のデータを例示する。９０１は撮影された画像データである。ここではシーン＃５／カット＃２、シーン＃５／カット＃３の２つのシナリオを参照して計４回の画像データの撮影が行われ、撮影テイクの優先度を表すＯＫ、ＮＧのフラグ情報と共に記録されている。

ここで、第１の記録領域２０８の第１のシナリオデータを参照して撮影された第２の記録領域２０９の撮影済み画像データとそのメタデータを編集し、再撮影用の第２のシナリオデータを第１の記録領域２０８に記録する処理について図２を参照して説明する。

メタデータ読み出し部２２２は、第２の記録領域２０９から第１のシナリオデータに関連付けられた撮影画像データのメタデータを読み出す。

テイク番号選択部２２４は読み出されたメタデータからシナリオ識別番号であるシーン番号、カット番号、撮影枝番号であるテイク番号、及びテイクの優先度情報があればこれを抽出し保持する。

シナリオデータ編集部２０３は保持された情報に基づき再生表示すべき画像データを決定し、テイク番号選択部２２４に指示する。

画像データ読み出し部２１１はテイク番号選択部２２４で選択された画像データを読み出し、伸張復号化部２１２によって復号する。

部分画像切り出し部２１３は復号された画像データ中の再生すべきフレームの切り出しを行う。画像データ全部を再生する場合は全フレームが切り出され、例えば冒頭の画像のみ再生する場合は冒頭の所定フレーム数の部分画像データが切り出される。

再生表示の場合、スイッチ２１４，２１５は端子Ａに接続され、復号画像は表示部２１８に表示される。

シナリオデータ編集者は、シーン番号、カット番号、テイク番号、テイクの優先度情報、再生表示の内容を判断する。その結果、再撮影が必要なシナリオを選択してシナリオデータ入力部２０２を介してシナリオデータ編集部２０３に対して再撮影を行うシナリオを指示する。再撮影シナリオはシナリオデータ編集者の操作に基づくものに限らず、例えば撮影時に設定されたテイクの優先度フラグを用いて自動的に選択することも可能である。

シナリオデータ編集部２０３は、再撮影が指示されたシナリオについて、シナリオ識別番号をテイク番号選択部２２４に指示する。そして、再撮影シナリオを参照して撮影済み画像データのうち、再撮影時に参考画像データとすべきテイクの画像データを画像データ読み出し部２１１によって第２の記録領域２０９から読み出す。

上記参考画像データは、再撮影用の第２のシナリオデータの一部として第１の記録領域２０８に記録され、再撮影時に構図やカメラワーク、出演者の演技を再現するための参考として、撮像装置３００で再生可能な画像データである。

上記再撮影シナリオに対して、撮影済み画像データが複数存在する場合は、再撮影時の参考画像データとして最適なテイクが選択される。前述のように撮影時にテイクの優先度フラグが設定された場合は優先度の高いテイクを選択することで、より好適な参考画像データが作成できる。

複数テイクからの選択法はこれに限ったものではなく、再生表示の結果に基づいてシナリオデータ編集者が選択したものであってもよい。また撮影済み画像のメタデータを解析して、フォーカスや絞り等のカメラ情報からより良い状態で撮影されたテイクを選択する、あるいは画像データを解析してより良い状態のテイクを選択する等の手段を用いてもかまわない。

伸張復号化部２１２は読み出された画像データを復号する。

部分画像切り出し部２１３は選択された画像データから、参考画像データとすべきフレームの切り出しを行う。画像データ全部を参考画像データとする場合は全フレームが切り出され、例えば冒頭の画像のみ参考画像データとする場合は冒頭の所定フレーム数の部分画像データが切り出される。

シナリオデータ編集者は、表示部２１８を確認しながらシナリオデータ入力部２０２から切り出しフレームを指定することによって、任意のフレームの切り出しを行うことができる。

部分画像データの切り出しは画像の時間軸における所定の区間の切り出しに限定されるものではなく、各フレームの画角の一部を切り出す空間的な切り出しであってもよい。これによって構図の一部を切り出して参考画像データとすることが可能である。

本実施形態では再撮影に対する撮影指示情報を第２のシナリオデータに含めることができる。撮影指示情報生成部２１７はシナリオデータ編集部２０３の指示により撮影指示情報を生成する。シナリオデータ編集者はシナリオデータ入力部２０２によって撮影指示情報を入力する。

撮影指示情報はテキストデータであっても画像データであってもよい。テキストデータの例としては「もっと明るく」、「ズームアップ」といった撮影時のカメラワークや出演者への指示等がある。画像データの例としてはペンタブレット等を利用して画面に書き込んだ構図の指定等がある。

また撮影指示情報は参考画像データの再生に同期して表示することが可能なため、動きに応じての指示等、時間的に更新される情報であってもよい。

撮影指示情報は参考画像データに重畳して画像データとして記録することも可能であり、また参考画像データのサブデータとして多重化し、再生時に合成することも可能である。前者の場合は再生時にフォントデータ等が必要でないため撮像装置のハードウェアを簡単化できる。後者の場合は再生時に撮影指示情報表示のＯＮ／ＯＦＦが可能であり参考画像の視認性が高いという利点がある。

撮影指示情報を参考画像データに重畳する場合、スイッチ２１４，２１５は端子Ｂに接続され、撮影指示情報合成部２１６によって画像データに撮影指示情報が重畳される。

撮影指示情報がテキストデータである場合、重畳するテキストのフォントサイズを設定することが可能である。このフォントサイズは撮像装置３００のモニタ３１５の画面サイズ、モニタ３１５中での参考画像データの表示サイズ、テキスト文字数等から決定できる。テキスト文字数が多い場合はスクロールテキストとして画面に重畳して表示することも可能である。

撮影指示情報をサブデータとして多重化する場合はスイッチ２１４，２１５は端子Ａに接続され画像データへの重畳は行われない。撮影指示情報は撮影指示情報生成部２１７から圧縮符号化部２２０に供給され画像データのストリームに多重化される。テキストの多重化にはテキストサブタイトルの形式を用いたキャプションデータ等が利用できる。

画像スケーラー２１９は画像データの表示サイズをスケーリングし、撮像装置３００のモニタ３１５に最適なサイズに変換する。通常、ビデオカメラ等のモニタは小型であり、これに合わせたサイズに変換することによって、撮像装置での縮小処理を省くことが可能である。また参考画像データのデータサイズを縮小することが可能である。

圧縮符号化部２２０は画像データを圧縮符号化することでデータサイズを削減し参考画像データに最適な容量に変換する。

参考画像データは撮像装置のモニタで再生することが前提であるため、撮影済み画像データに比べてより高い圧縮率で圧縮しても実用上問題ない。また、データサイズも小さくなるため第２のシナリオデータとして第１の記録領域２０８に記録する場合に最適となる。

第１の記録領域２０８の読み出し速度が遅い場合には、参考画像データの容量が小さいほど再生がスムーズに行えるという利点があり、第１の記録領域２０８の読み出し速度に応じて圧縮符号化の圧縮率を最適化することができる。特に第１の記録領域２０８をネットワーク上のストレージで構成する場合には有効である。

また撮像装置３００の再生能力に応じて圧縮符号化の圧縮率を変更することも可能である。これはデコーダの能力が低い場合にもスムーズな再生を行うことができ、撮像装置３００のハードウェア削減に有効である。

更には圧縮符号化の符号化方式を、撮影済み画像データの圧縮方式から変更し、撮像装置３００のデコーダに最適化することも可能である。

これは、例えば撮像装置３００が撮像センサの生データを記録するＲＡＷデータ記録方式を用いており、ＲＡＷデータの再生には大規模なハードウェアが必要なために、カメラでの再生には簡単な圧縮を行ったプロキシデータを用いる場合などに有効である。この場合、圧縮符号化部２２０でプロキシデータの圧縮方式を用いることで、撮像装置３００においても参考画像データの再生が可能となる。

再撮影用の第２のシナリオデータを生成するため、シナリオデータ読み出し部２１０は、第１の記録領域２０８から対応するシナリオ識別番号を持つシナリオデータを読み出し、シナリオデータ編集部２０３に供給する。

この場合は、第１及び第２の記録領域２０８，２０９の両方が必要となるが、前述した第１のシナリオデータ作成時に装置に保持されたデータがある場合には、シナリオ識別番号の対応するシナリオデータを読み出すこともできる。これによって第１の記録領域２０８からのシナリオデータの読み出しを不要にすることができる。

再撮影用の第２のシナリオデータを作成する場合、スイッチ２０４，２０５は端子Ｂに接続され、読み出された元画像データに対するシナリオデータは、シナリオデータ編集部２０３からシナリオデータ結合部２２１に供給される。この際、シナリオデータタイプは再撮影用の第２のシナリオデータを表すタイプ２に設定される。

シナリオデータ結合部２２１では、第２のシナリオデータに圧縮符号化部２２０で圧縮符号化された参考画像データを結合する。

第２のシナリオデータには撮影枝番号継承情報であるテイク開始番号を含めることが可能である。これは元画像撮影時のテイク番号から、次に付与すべきテイク番号を求めたものである。テイク開始番号はメタデータ中のテイク番号情報を参照してテイク開始番号生成部２２３で生成されシナリオデータ結合部２２１で第２のシナリオデータに結合される。

＜第２の画像撮影モード＞
ここで、第１のシナリオデータを参照した撮影後の再撮影用のシナリオデータであり、撮影済み画像データから生成された参考画像データを含む、第２のシナリオデータを参照して画像を撮影する、第２の画像撮影モードでの動作について説明する。

第２のシナリオデータは、第１のシナリオデータを参照しての撮影後、再撮影が必要なシナリオを再度撮影する際に、撮影を容易とするための補助情報を含むシナリオデータである。補助情報は、元となる第１のシナリオデータと連携させるための、対応する第１のシナリオデータのシナリオ識別番号を含む。また、補助情報として、第１のシナリオデータでの撮影結果を確認するため、第１のシナリオデータを参照して撮影された画像データから生成された参考画像データを含む。

参考画像データを用いることによって、前回撮影での構図、演技、カメラワーク、あるいはＮＧとなった問題点を、撮像装置本体で容易に確認できるため、再撮影の効率を著しく向上することができる。

また、補助情報として、元となる第１のシナリオデータでの撮影におけるテイク番号を継承して、撮影後のデータ管理を容易にするための撮影枝番号継承情報であるテイク開始番号を含めることができる。

テイク開始番号を元画像データのテイク番号最大値＋１にすることにより、再撮影によるテイク番号の連続性を保つことができる。

あるいは元画像データのテイク番号最小値＋Ｎにすることにより、例えばＮ＝１００の場合は１００の桁によって再撮影の回数を表現することが可能である。

シナリオデータ結合部２２１で結合された再撮影用の第２のシナリオデータはシナリオデータ記録部２０６によって第１の記録領域２０８に記録される。

更に補助情報として、再撮影に対する撮影指示情報を第２のシナリオデータに含めることができる。撮影指示情報はテキストデータであっても画像データであってもかまわない。テキストデータの例としては「もっと明るく」、「ズームアップ」といった撮影時のカメラワークや出演者への指示等がある。画像データの例としてはペンタブレット等を利用して画面に書き込んだ構図の指定等がある。

第１の記録領域２０８に記録された第２のシナリオデータの例を図１１（Ｂ）に示す。

ここでは複数個のシナリオデータがリストとして記録され、各々のシナリオデータは第２のシナリオデータであることを示すシナリオタイプ：２の属性を持ち、シナリオ識別番号はシーン番号／カット番号からなる。

シナリオデータ本体はタイトル名を示すテキスト情報、内容を示すテキスト情報、撮影枝番号継承情報であるテイク開始番号、撮影指示情報、および参考画像データを含む。

第２のシナリオデータ作成から記録までの処理を図６に示す。なお、図６に示す処理は、シナリオ編集装置２００として機能するＰＣ１００において、ＣＰＵ１０１がＲＯＭ１０２からプログラムを読み出して実行することによって実現される。

図６において、ステップＳ６０１では、ＣＰＵ１０１は、撮影済み画像のメタデータを第２の記録領域２０９から読み出す。

ステップＳ６０２では、ＣＰＵ１０１は、再生による再撮影確認のため撮影済み画像データを読み出し、復号し再生する。

ステップＳ６０３で再撮影を行う場合は、ＣＰＵ１０１は、ステップＳ６０４で再撮影シナリオの識別番号を選択する。

ステップＳ６０５では、ＣＰＵ１０１は、テイクの優先度情報等より参考画像データに最適なテイク番号を選択する。

ステップＳ６０６では、ＣＰＵ１０１は、選択されたテイク番号の画像データを読み出す。

ステップＳ６０７では、ＣＰＵ１０１は、部分画像切り出しを行うか判定を行い、部分画像切り出しを行う場合は、ステップＳ６０８で部分画像の切り出しを行う。

ステップＳ６０９では、ＣＰＵ１０１は、入力された撮影指示情報の合成を行う。

ステップＳ６１０では、ＣＰＵ１０１は、画像スケーリングの判定を行い、スケーリングを行う場合はステップＳ６１１にて画像スケーリングを行う。

ステップＳ６１２では、ＣＰＵ１０１は、参考画像データの圧縮符号化を行う。

ステップＳ６１３では、ＣＰＵ１０１は、元画像データのテイク番号よりテイク開始番号を生成する。

ステップＳ６１４では、ＣＰＵ１０１は、シナリオデータの結合を行い、ステップＳ６１５では、結合された第２のシナリオデータを第１の記録領域２０８に記録する。

以上の処理によって記録された、再撮影用の第２のシナリオデータ例を図９（Ｂ）に示す。ここではシーン＃５／カット＃３の再撮影が指示され、テイク開始番号として４が指定されている。

撮影指示情報としては「もっと明るく」というテキストデータが参考画像データ９０２に重畳またはストリーム上で多重化されて記録されている。

次に撮像装置３００によって、この再撮影用の第２のシナリオデータを参照して撮影を行う場合の処理について、図３を参照して説明する。

第１の記録領域２０８に記録された第２のシナリオデータを参照して再撮影を行うため、シナリオデータ読み出し部３１０は第１の記録領域２０８から第２のシナリオデータを読み出し、システムコントローラ３１７に供給する。

システムコントローラ３１７はシナリオデータを表示合成部３１４によって撮影済み画像に重畳してモニタ３１５に表示する。本実施形態ではシナリオ識別番号であるシーン番号、カット番号とタイトルの一覧が表示される。撮影者はこの一覧から再撮影すべきシナリオを選択する。

シナリオタイプが２である第２のシナリオデータである場合、参考画像データ読み出し部３１２は参考画像データを第１の記録領域２０８から読み出し、伸張復号化部３１３によってデコードを行って、表示合成部３１４に供給する。

この際、ストリーム上で多重化されている撮影指示情報は分離、デコードされ、表示合成部３１４に供給される。この場合、システムコントローラによって撮影指示情報表示のＯＮ／ＯＦＦが可能である。

ユーザ操作入力部３１６に入力されたユーザ操作によって、参考画像データの再生が指示された場合、スイッチ３２０はシステムコントローラ３１７の制御によってＯＮになり、表示合成部３１４に参考画像データの再生画像が供給される。

撮影指示情報が、参考画像データのストリーム上に多重化されている場合、伸張復号化部３１３によって分離、デコードされ、撮影指示データ生成部３１９に供給される。画像データストリームに多重化された撮影指示情報は、参考画像データと同期して再生することが可能なため、場面に応じた細かい指示を提供することが可能である。もしくは撮影指示情報がシナリオデータ中に含まれている場合、シナリオデータ読み出し部３１０から撮影指示データ生成部３１９に撮影指示情報が供給される。シナリオデータに含まれる撮影指示情報は、テキストデータ等で容易に作成することが可能である。

撮影指示データ生成部３１９は、シナリオデータ読み出し部３１０から供給された撮影指示情報をモニタ３１５への表示データに合成するための撮影指示データを生成する。

ユーザ操作入力部３１６に入力されたユーザ操作によって、撮影指示情報の再生が指示された場合、スイッチ３２１はシステムコントローラ３１７の制御によってＯＮになり、表示合成部３１４に撮影指示データが供給される。

表示合成部３１４は撮影のためのモニタ表示と切り替え、もしくは重畳して参考画像データ、撮影指示情報の表示を行う。撮影者は参考画像を再生することによって再撮影用の構図、演技等を確認することができる。

シナリオデータ読み出し部３１０はまた、第２のシナリオデータに、撮影枝番号継承情報であるテイク開始番号が含まれる場合、テイク開始番号を撮影枝番号生成部３１８に供給する。

撮影枝番号生成部３１８では、第２のシナリオデータを参照した、同一シナリオに対する撮影の初回のみ、シナリオデータに含まれるテイク開始番号を基準としたテイク番号を生成する。

前述のように、テイク開始番号を現撮影のテイク番号とすることによって、第１のシナリオデータによる撮影と、テイク番号の連続性を保つことができる。

また、テイク開始番号に所定の値Ｎを加えた値からテイク番号を始めることによって、元の撮影テイクと再撮影のテイクを識別することも可能である。

同一シナリオに対する初回以降の撮影においては、直前の撮影のテイク番号に所定値を加えた値をテイク番号として生成する。

生成されたテイク番号はシステムコントローラ３１７に供給され、シナリオ識別番号であるシーン番号、カット番号と共に、メタデータ記録部３１１によって第２の記録領域２０９に記録される。

以降、撮影開始からの処理は前述の第１のシナリオデータによる撮影の場合と同一であるため説明を省略する。

このように第２のシナリオデータを参照した場合の撮像装置の動作を図１０に示す。撮像装置３００は第１の記録領域２０８から第２のシナリオデータを読み出す。ここでは再撮影用の第２のシナリオデータを構成するシナリオ識別番号９０３としてシーン＃５／カット＃３／テイク＃４が指定されており、テキストデータによる撮影指示情報「もっと明るく」、参考画像データ９０２が含まれている。

第２のシナリオデータを参照した撮像装置３００のモニタ３１５には、前述の表示合成部３１４で合成された参考画像データ９０２が重畳して表示され、撮影指示情報９０４である「もっと明るく」がテキストキャプションとして同じく重畳表示されている。

第２のシナリオデータ参照から画像撮影までの処理を図７に示す。なお、図７に示す処理は、撮像装置３００のシステムコントローラ３１７がメモリからプログラムを読み出して実行することによって実現される。

図７において、ステップＳ５０１では、システムコントローラ３１７は、第１の記録領域２０８から再撮影用の第２のシナリオデータを読み出し、ステップＳ５０２でユーザ操作によってシナリオを選択する。

ステップＳ７０１では、システムコントローラ３１７は、シナリオデータタイプを判定する。シナリオタイプが２である場合はステップＳ７０２に進む。一方、タイプ２でない場合はステップＳ５０３に進み、第１のシナリオデータを参照した撮影動作を実行する。

ステップＳ７０２では、システムコントローラ３１７は、第２のシナリオデータに含まれる参考画像データを第１の記録領域２０８から読み出し、ステップＳ７０３で伸張復号化する。

ステップＳ７０４では、システムコントローラ３１７は、参考画像データを通常の撮影画面中に重畳合成表示する。

ステップＳ５０３以降の動作は前述の第１のシナリオデータを参照しての撮影動作と同一であるため説明を省略する。

以上のように第１の記録領域２０８に記録された第２のシナリオデータを参照して再撮影を行う場合、第２のシナリオデータに含まれる参考画像データを表示して元画像撮影時の構図、演技等を確認することができ、再撮影時の利便性が高まる。

＜第２の画像撮影モードでの画面表示例＞
図１２は第２の画像撮影モードでの、モニタ３１５の画面表示例を示し、撮像装置３００で撮影中の画像が表示された通常の撮影画面である。なお、ここでは絞り値、シャッター速度などの撮影情報表示は省略している。

通常の撮影画面において撮影者が第２のシナリオデータの参照を指示すると、シナリオ一覧モードのシナリオ選択画面１２０２に切り替わり、第１の記録領域２０８から読み出された第２のシナリオデータが一覧表示される。

シナリオ選択画面１２０２でシナリオが選択されると、撮像装置３００は第２の画像撮影モードに移行し、シナリオ参照撮影画面１２０３が表示される。シナリオ参照撮影画面１２０３では、参照しているシナリオ識別番号９０３、前述のように生成されたテイク番号が、撮影中の画像に合わせて表示される。

第２の画像撮影モードでは、第２のシナリオデータに含まれる参考画像データを再生することができる。シナリオ参照撮影画面１２０３で、撮影者が参考画像データの再生を指示すると、参考画像再生画面１２０４に切り替わり、第２のシナリオデータに含まれる、参考画像データ９０２と、撮影指示情報９０４が重畳表示される。

他の参考画像データ表示例として、撮影画面中にピクチャー・イン・ピクチャーの形式で再生画面を表示する例を図１３に示す。この例ではシナリオ参照撮影画面１２０３で、撮影者が参考画像データの再生を指示すると、参考画像データピクチャー・イン・ピクチャー表示画面１３０１に移行し、撮影中の画像と参考画像データ９０２、撮影指示情報９０４を同時に確認することができる。この表示方式例は、カメラワークのタイミング等を確認するときに有効である。

もう１つの参考画像データ表示例として、撮影画面にオーバーレイの形式で再生画面を表示する例を図１４に示す。この例ではシナリオ参照撮影画面１２０３で、撮影者が参考画像データの再生を指示すると、参考画像データオーバーレイ表示画面１４０１に切り替わり、撮影中の画像と参考画像データ９０２、撮影指示情報９０４を同時に確認することができる。この表示方式例は構図などを厳密に一致させるときに有効である。

図１２のシナリオ選択画面１２０２で、参考画像データ表示を行う例を図１５に示す。この例では、シナリオ選択画面１２０２で撮影者が参考画像データの再生を指示すると、参考画像再生画面１２０４に切り替わり、選択されている第２のシナリオデータに含まれる、参考画像データ９０２と、撮影指示情報９０４が重畳表示される。この表示方式例は、シナリオデータ選択において再撮影する内容を事前に参考画像データで確認することができ、シナリオ確認が容易になる。

以上のように第１の記録領域に記録された第２のシナリオデータを参照して再撮影を行う場合、第２のシナリオデータに含まれる参考画像データを表示して元画像撮影時の構図、演技等を確認することができ、再撮影時の利便性が高まる。また、シナリオ番号、テイク番号の継承も自動的に行われ、撮影後のデータ管理の利便性も高まる。

［実施形態２］次に、実施形態２について説明する。本実施形態は、前述の実施形態１で説明した第２の画像撮影モードで撮影された画像データの再生時に、参照した第２のシナリオデータに含まれる参考画像データを再生することによって、撮影の確認を容易にする例である。なお、撮像装置の構成は図３に示した通りである。

本実施形態によるモニタ３１５の画面表示例を図１６に示す。１６０１は撮影画像再生画面である。なお、ここでは絞り値、シャッター速度などの撮影情報表示は省略している。

撮影画像再生画面１６０１で、撮影者が参考画像データの再生を指示すると、参考画像再生画面１６０２に切り替わり、第２のシナリオデータに含まれる、参考画像データ９０２と、撮影指示情報９０４が重畳表示される。

ここでは上記実施形態１でのピクチャー・イン・ピクチャーの例のみ示したが、再生画面での参考画像データの表示方式はこれに限定されるものではなく、画面の切り替えや、オーバーレイ表示であってもよい。

撮影済み画像の選択から参照画像再生までの処理を図１７に示す。なお、図１７に示す処理は、撮像装置３００のシステムコントローラ３１７がメモリからプログラムを読み出して実行することによって実現される。

図１７において、ステップＳ１７０１では、システムコントローラ３１７は、第２の記録領域２０９に記録された撮影済み画像を選択する。

ステップＳ１７０２では、システムコントローラ３１７は、選択された画像のメタデータを読み出すと同時に、ステップＳ１７０３で撮影済み画像データを読み出す。

ステップＳ５０１では、システムコントローラ３１７は、読み出したメタデータに記録されているシナリオ識別番号に基づき、撮影時に参照したシナリオデータを第１の記録領域２０８から読み出す。

その後、図７のステップＳ７０１〜Ｓ７０４と同様の処理を行い、同時にステップＳ１７０３で読み出された撮影済み画像データはステップＳ１７０４で伸張復号化される。

ステップＳ１７０５では、システムコントローラ３１７は、撮影済み画像データと、第２のシナリオデータである場合は参考画像データを再生表示する。

以上のように、第２のシナリオデータを参照して撮影された画像を再生する場合、第２のシナリオデータに含まれる参考画像データを表示して、元画像撮影時の構図、演技等を確認することができ、撮影確認時の利便性が高まる。

［実施形態３］次に、実施形態３について説明する。

編集を行う現場では、撮影済みの画像を編集しているとき、特定のカット用に撮影した画像が期待通りでなかったために編集に利用できず、撮り直しが必要な場合がある。しかし、撮影現場では、編集現場で撮り直しと判断された状況が分からず、撮り直し対象のカットをどのように撮り直せばよいのかを把握できないことがある。

上記特許文献１では、上記のような状況に対して、シナリオデータに撮り直しの際に必要な情報を付加することができるものの、シナリオに沿って撮影した画像をそのまま撮影現場で利用することになるので、取り扱うデータ量が多くなってしまう。

本実施形態では、このような課題に鑑みて、再撮影時に、撮り直し対象の画像をより把握しやすい情報を作成し、撮影者は、撮り直し対象のカットに関連がありそうな画像のみを確認しながら撮影作業ができるようにした。

実施形態３では、編集時に撮り直しと判断した再撮影カットの画像と共に、再撮影カット前後の画像を記録する例について説明する。

なお、本実施形態のシナリオ編集装置２００を実現するＰＣ１００の構成は図１に示した通りである。ＲＯＭ１０２には、再撮影するカット番号を、後述する再撮影シナリオデータとして記録する関連画像特定プログラム、複数の画像を時系列に配置する時間軸配置プログラム、そして、画像の一部を切り取って記録するトリミングプログラムが含まれている。

図１８は、ＰＣ１００が読み出す画像データに関するシナリオ識別番号を例示している。ここに記載されているシーンとは、撮影において、一定の場所の中での動作の一区切りを示す。また、カットとは、撮影の最小単位として連続して記録される画像のことを示す。

シナリオ識別番号には、予めシーン番号の階層下にカット番号が記録される。映画やドラマなどの企画構成を担当する者は、このシナリオ識別番号を撮影用のシナリオとして作成する。

撮影者は、上記シナリオ識別番号を撮像装置３００で読み出し、読み出したシナリオ識別番号に基づいてシーンごとに複数のカットの撮影を行う。

実際に撮影を行うと、１つのカットに対して、撮影が成功するまで複数回の撮影（テイク）が繰り返される。そのため、撮影後にはカット番号の階層下に、このテイク番号が追加で記録される。但し、このテイク番号は、記録した画像データが１対１で関連付けられる。上記シナリオ識別番号は、画像データと共にメモリカード（記憶媒体）１１１に記録される。

撮影者が撮影作業を終了した後、データ記録済みのメモリカード１１１をＰＣ１００のメモリスロットに挿入し、編集者がＰＣ１００で撮影済み画像データの編集を行う。

編集者は、記録された複数のカットを時間軸に沿って配置し、画像データを作成する。そして、作成した画像データを再生しながら確認を行う。この際、編集者は、作成した画像データを構成する特定のカットの画像を再撮影カットとして指定する。

ＰＣ１００は、再撮影シナリオデータを作成する。撮影者は、作成された再撮影シナリオデータを撮像装置３００で読み出して確認することによって、再撮影をスムーズに行うことができる。

＜再撮影シナリオデータの作成処理＞図１９を参照して、ＰＣ１００が上述した再撮影シナリオデータを作成する処理について説明する。なお、図１９の処理開始時において、ＰＣ１００はすでに起動しており、ＲＯＭ１０２に格納された画像再生アプリケーションが起動されているものとする。

図１９において、ステップＳ１９０１では、外部ＩＦ１０５は、メモリカード１１１が外部ＩＦ１０５に接続されたとき、そのメモリカード１１１を検出し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、これを受けてメモリカード１１１から画像データを取得する。

ステップＳ１９０２では、ＣＰＵ１０１は、画像再生アプリケーションを介して、取得した画像データを表示する。

図２０は画像再生アプリケーションの画面表示例を示している。

図２０において、２０００は画像再生アプリケーションの操作画面を示している。２００１は取得した各画像データのサムネイルを示す領域である。２００２は再生した画像データを表示する領域である。２００３は再生操作をするためのコントロールボタンである。２００４は記録された複数の画像データをカット単位で時間軸に沿って配置する領域である。

ユーザは、領域２００１に表示した各カットに対応する画像データをサムネイルで選択し、領域２００４にある時間軸上に移動して配置する（時間軸配置プログラム）。この結果、作成した画像データ（Ｖ１）は、２００５のように長方形で示され、連続する１つの画像データとして再生できる。再生時のフレーム位置は、バー２００６が移動する現在の位置で確認できる。また、２００７は、時間軸の位置を移動するためのコントロールボタンである。

図２１は、時間軸上に並べた画像データの部分を示したものである。時間の単位は秒である。

図２１では、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５のそれぞれが、各カットに対応する画像データを示している。このように並べた画像データに対しては、並び替えや、画像の一部を切り取るトリミング処理等を行うことができる。

図１９に戻り、ステップＳ１９０３では、ＣＰＵ１０１は、アプリケーション画面２０００に対して、ユーザの操作があったか否かを監視する。ユーザから操作があったとき、ステップＳ１９０４に進む。

ステップＳ１９０４では、ＣＰＵ１０１は、ユーザから終了指示があったか否か判定し、終了指示があった場合は画像再生アプリケーションを終了する。

ステップＳ１９０５では、ユーザからの操作が再撮影の指示であったか否か判定する。

例えば図２１で示した、カットに対応するそれぞれの画像データに対して、ユーザは再撮影したいカット（Ｃ１〜Ｃ５）を選択することができる。ユーザによる操作が、再撮影画像の選択に関する操作であった場合、ステップＳ１９０７に進む。

一方、ユーザによる操作が、再撮影画像の選択に関する操作以外であった場合、ステップＳ１９０９に進む。

ステップＳ１９０９では、ＣＰＵ１０１は、ユーザ操作に対応する処理を行った後、ステップＳ１９０３のユーザ操作の監視処理に戻る。ステップＳ１９０３〜Ｓ１９０９では、ＣＰＵ１０１はユーザ操作により再撮影画像を指定する指示があったことを検出するまで繰り返す。

ステップＳ１９０７では、ＣＰＵ１０１は再撮影シナリオデータの作成を行う。ここでの詳細については後述する。

ステップＳ１９０８では、ＣＰＵ１０１は作成した再撮影シナリオデータをメモリカード１１１に記録する。

次に、上記ステップＳ１９０７における再撮影シナリオデータの作成処理について説明する。

ここでは、時間軸上に並べた画像データのうち、再撮影に選択したカットの画像データをＣｘとする。但し、時間軸上には、異なるカットに対応する画像データが、時間軸上における配置の順番で、Ｃ１、Ｃ２・・・Ｃｘ−１、Ｃｘ、Ｃｘ＋１・・・として配置されているものとする。

図２２は、図１９のステップＳ１９０７における再撮影シナリオデータ作成処理を示すフローチャートである。ここでは、再撮影するカットとして指定した画像データと、その内容と相関の高い、時間軸上で前後に配置した画像データの情報とを関連付けて記録する例を説明する。なお、図２２の処理は、ＰＣ１００のＣＰＵ１０１がＲＯＭ１０２から関連画像特定プログラム、トリミングプログラムを読み出して実行することによって実現される。

図２２において、ステップＳ２２０１では、ＣＰＵ１０１は関連画像特定プログラムを実行して、再撮影の指定があったカットＣｘを検出する。

ステップＳ２２０２では、ＣＰＵ１０１は、処理対象の画像データを管理する変数ｉに、再撮影の指定があった画像データよりも時間軸上で前に配置した画像データを示す番号（ｘ−１）を設定する。

ステップＳ２２０３では、ＣＰＵ１０１は、Ｃｉで示されるカットに対応する画像データが時間軸上に存在するか否かを検出する。画像データが存在しない場合、再撮影の指定があったカットの前には、画像データが配置されていないことを示している。この場合、ステップＳ２２０８に進む。一方、Ｃｉで示される画像データが時間軸上に存在する場合、ステップＳ２２０４に進む。

ステップＳ２２０４では、ＣＰＵ１０１は、Ｃｉの画像データの長さをテイク番号から取得し、その長さが最小画像データ長（Ｌｍｉｎ）以下であるか否か判定する。このＬｍｉｎは、撮影者が画像データを再生したときにその内容を把握しやすくするための最低限の長さであり、予めユーザがこの値を設定しておく。Ｃｉの画像データ長がＬｍｉｎ以下である場合、ステップＳ２２０５で変数ｉの値をディクリメントし、さらに前に配置した画像データを処理対象に設定する。

上記ステップＳ２２０３〜Ｓ２２０５での処理は、Ｃｉ・・・Ｃｘ−１の合計画像データ長がＬｍｉｎを超えるまで繰り返す。

ステップＳ２２０６では、ＣＰＵ１０１は、処理対象の画像データの長さが、最大画像データ長（Ｌｍａｘ）以上であるか否かを判定する。このＬｍａｘは、再撮影シナリオデータとして記録する画像の容量サイズを制限する長さであり、予めユーザがこの値を設定しておく。処理対象の画像データＣｉの長さがＬｍａｘ以上であるとき、ステップＳ２２０７に進む。

ステップＳ２２０７では、ＣＰＵ１０１はトリミングプログラムを実行して、画像データＣｉの中でＬｍａｘの長さに収まらない範囲のフレームを画像データから切り取る。

ステップＳ２２０８では、ＣＰＵ１０１は、上述した処理の結果をもとに、再撮影シナリオデータを作成する。

再撮影シナリオデータには、Ｃｉ〜Ｃｘまでの各画像データに対して、シーンＩＤ、カットＩＤ、テイクＩＤの情報と、各画像データの開始時と終了時のタイムコードが記録される。

図２２では、時間軸上に配置した画像データの中で、再撮影を指定した画像データよりも時間軸上で前に配置したカットを再撮影シナリオデータに記録している。しかし、実際には、再撮影を指定した画像データよりも時間軸上で後に配置した画像データに対しても、同様な処理をして再撮影シナリオデータに記録している。ここでは、その処理の説明を省略している。

以上の処理により具体的に作成される再撮影シナリオデータについて、例えば図２３のように時間軸上に配置した画像データに対して、特定のカットに対応する画像データを再撮影する画像データとして指定する例を説明する。

図２３（Ａ）、（Ｂ）は以下の２通りの状況を示している。

（Ａ）再撮影を指定する画像データＣｍの前に並ぶ画像データＣｍ−１が、最小画像データ長（Ｌｍｉｎ＝１０秒）より短い場合
（Ｂ）再撮影を指定する画像データＣｎの前に並ぶ画像データＣｎ−１が、最大画像データ長（Ｌｍａｘ＝２０秒）より長い場合
上記２通りの状況を対象として、ステップＳ２２０１〜Ｓ２２０８の処理を行った結果、作成された再撮影シナリオデータを、図２４（Ａ）、（Ｂ）にそれぞれ示す。

図２４（Ａ）では、再撮影を指定した画像データＣｍの直前に配置した画像データＣｍ−１の画像データ長が２秒であり、Ｌｍｉｎより短くなっている。そのため、さらに前に配置した画像データＣｍ−２も含めて再撮影シナリオデータに記録している。画像データＣｍ−１とＣｍ−２の合計画像データ長は、１１秒（９＋２）でＬｍｉｎより長くなる。

また、図２４（Ｂ）では、再撮影を指定した画像データＣｎの直前に配置した画像データＣｎ−１の画像データ長が４０秒であり、Ｌｍａｘより長くなっている。そのため、この画像データＣｎ−１の終端からＬｍａｘ秒分を切り取り、再撮影シナリオデータに記録している。

さらに図２４（Ａ）、（Ｂ）ともに、再撮影を指定した画像データＣｍ、Ｃｎの後方に配置する画像データＣｍ＋１、Ｃｎ＋１をそれぞれ再撮影シナリオデータに記録している。

ＣＰＵ１０１は、上記作成した再撮影シナリオデータを、対応する実際の画像データと関連付けてメモリカード１１１に記録する。

撮影者は、作成された再撮影シナリオデータを撮像装置３００で読み出すことによって、再撮影するカットの画像を含め、関連するカットの画像を実際に再生して確認することができる。これにより、撮影者は、編集上におけるカットの流れを把握できるので、より正確に再撮影を行える。

また、編集者は、再撮影画像を指定する際、再撮影時の依頼内容の詳細情報などをシナリオ識別番号に記録する処理を加えてもよい。これにより、撮影者は、画像と合わせてそのシナリオ識別番号を確認できるので、より正確な再撮影を行える。

［実施形態４］次に、実施形態４について説明する。実施形態３では時間軸上に配置した画像データに基づいて、再撮影シナリオデータを作成する例を説明した。これに対して、実施形態４では、時間軸上に画像データが配置されていない状態において、特定のカットに対応する画像が再撮影に指定されたとき、再撮影シナリオデータを作成する例を説明する。実施形態４におけるＰＣ１００の内部構成は、実施形態３で説明した内部構成と同一である。

実施形態３と同様に、編集者は、撮影後のメモリカード（シナリオ識別番号と画像データを含む）１１１をＰＣ１００のメモリスロットに挿入し、画像再生アプリケーションを起動する。このとき、画像再生アプリケーションの動作は、図１９のフローチャートに従う。

以下に、この状況において、編集者が、時間軸上に画像データを配置せずに、再撮影する画像データを直接指定したときの再撮影シナリオデータ作成方法について説明する。

図２５は、実際に撮影を終了したときのシナリオ識別番号を例示している。

ここでは、撮影シナリオとして、シーン１０では４つのカット（カット１〜４）が設定されており、実際の撮影において、各カットで複数のテイクが行われたことを示している。記載されている数字は、シーン、カット、テイクの各ＩＤに対応している。

例えば、編集者が、カット２を再撮影するカットに指定したとする。このとき、関連画像特定プログラムは、図２２のフローチャートに従って、再撮影するカットに対する再撮影シナリオデータを作成する。

但し、実施形態３で時間軸上に画像データを配置したときは、時間軸上における順番に従ってＣ１、Ｃ２・・・Ｃｘ−１、Ｃｘ、Ｃｘ＋１・・・と各画像データを定義していた。しかし、ここでは、シナリオ識別番号において同一シーン内に記録したカット順に、Ｃ１、Ｃ２・・・Ｃｘ−１、Ｃｘ、Ｃｘ＋１・・・を対応させている。

ステップＳ２２０４、Ｓ２２０６、Ｓ２２０７、Ｓ２２０８では、同一カット内で作成日時が最新である（ＩＤの値が大きい）テイクに対応する画像データを処理対象とする。なぜなら、１つのカットの撮影は、成功するまで撮影が繰り返されているので、作成日時が最新であるほど、再撮影シナリオデータとして参考になりやすいからである。

以上の処理によってＰＣ１００により作成された再撮影シナリオデータを図２６に示す。

再撮影シナリオデータとして記録するのは、再撮影を指定したカット２内のテイク２の画像データ情報と、その周囲のカットである、カット１内のテイク４とカット３内のテイク３に対応する画像データである。ＣＰＵ１０１は、上記のように作成した再撮影シナリオデータを、実際の画像データと関連付けてメモリカード１１１に記録する。

撮影者は、作成された再撮影シナリオデータを撮像装置で読み出すことによって、再撮影するカットの画像を含め、関連するカットの画像を実際に再生して確認することができる。

これにより、撮影者は、時間軸上に画像データが配置されていない状態で特定のカットが再撮影を指定された場合でも、参考になりそうな周囲のカットの画像を確認しながらより正確に再撮影を行える。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

撮像装置により画像を撮影する際に参照すべきシナリオデータを作成し、編集するシナリオ編集装置であって、
撮影内容ごとに識別番号が付与された第１のシナリオデータを第１の記録媒体に記録する第１の記録手段と、
前記撮像装置が前記第１のシナリオデータを参照して撮影し、前記第１の記録媒体とは異なる第２の記録媒体に記録した撮影済み画像データと、前記撮像装置により前記撮影済み画像データに関連付けて前記第２の記録媒体に記録された撮影内容ごとの識別情報とを、前記第２の記録媒体から読み出す読み出し手段と、
前記第２の記録媒体に記録された前記撮影済み画像データに対応する前記第１のシナリオデータの撮影内容のうち再撮影すべき撮影内容を選択する選択手段と、
前記選択手段により選択された撮影内容に対応する識別情報に関連付けられた前記撮影済み画像データを前記読み出し手段により前記第２の記録媒体から読み出し、前記読み出された撮影済み画像データを用いて、再撮影のための参考画像データを生成する手段と、
前記選択された撮影内容に対応する前記第１のシナリオデータを前記読み出し手段により前記第１の記録媒体から読み出し、前記読み出された第１のシナリオデータに基づき、前記参考画像データを含む、再撮影用の第２のシナリオデータを作成する作成手段と、
前記作成手段により作成された前記第２のシナリオデータを前記第１の記録媒体に記録する第２の記録手段と、を有することを特徴とするシナリオ編集装置。
前記第２のシナリオデータには、前記撮影済み画像データの撮影時に参照した前記第１のシナリオデータの識別番号と、同一の撮影内容に対する複数回の撮影を識別するテイク番号が付与されることを特徴とする請求項１に記載のシナリオ編集装置。
前記第２のシナリオデータには、前記同一の撮影内容に対する複数回の撮影を識別するテイク番号を継承するための番号情報が付与されることを特徴とする請求項２に記載のシナリオ編集装置。
前記第２のシナリオデータには、前記選択手段により選択された撮影内容の画像を再撮影する際に表示される撮影指示情報が含まれることを特徴とする請求項２に記載のシナリオ編集装置。
撮像装置により画像を撮影する際に参照すべきシナリオデータを作成し、編集するシナリオ編集装置と、前記撮像装置とからなる撮像システムであって、
前記シナリオ編集装置は、
撮影内容ごとに識別番号が付与された第１のシナリオデータを第１の記録媒体に記録する第１の記録手段と、
前記撮像装置が前記第１のシナリオデータを参照して撮影し、前記第１の記録媒体とは異なる第２の記録媒体に記録した撮影済み画像データと、前記撮像装置により前記撮影済み画像データに関連付けて前記第２の記録媒体に記録された撮影内容ごとの識別情報とを、前記第２の記録媒体から読み出す読み出し手段と、
前記第２の記録媒体に記録された前記撮影済み画像データに対応する前記第１のシナリオデータの撮影内容のうち再撮影すべき撮影内容を選択する選択手段と、
前記選択手段により選択された撮影内容に対応する識別情報に関連付けられた前記撮影済み画像データを前記読み出し手段により前記第２の記録媒体から読み出し、前記読み出された撮影済み画像データを用いて、再撮影のための参考画像データを生成する手段と、
前記選択された撮影内容に対応する前記第１のシナリオデータを前記読み出し手段により前記第１の記録媒体から読み出し、前記読み出された第１のシナリオデータに基づき、前記参考画像データを含む、再撮影用の第２のシナリオデータを作成する作成手段と、
前記作成手段により作成された前記第２のシナリオデータを前記第１の記録媒体に記録する第２の記録手段と、を有し、
前記撮像装置は、
前記第１の記録媒体に記録された前記第１又は第２のシナリオデータを参照して画像を撮影する撮像手段と、
前記撮像手段により撮影された画像データを前記撮影済み画像データとして前記第２の記録媒体に記録すると共に、当該撮影済み画像データに関連付けられた撮影内容ごとの識別情報を前記第２の記録媒体に記録する第３の記録手段と、
前記第２のシナリオデータを参照する際、当該第２のシナリオデータに含まれる前記参考画像データを表示する表示手段と、を有することを特徴とする撮像システム。
撮像装置により画像を撮影する際に参照すべきシナリオデータを作成し、編集する装置におけるシナリオ編集方法であって、
第１の記録手段が、撮影内容ごとに識別番号が付与された第１のシナリオデータを第１の記録媒体に記録する第１の記録工程と、
読み出し手段が、前記撮像装置が前記第１のシナリオデータを参照して撮影し、前記第１の記録媒体とは異なる第２の記録媒体に記録した撮影済み画像データと、前記撮像装置により前記撮影済み画像データに関連付けて前記第２の記録媒体に記録された撮影内容ごとの識別情報とを、前記第２の記録媒体から読み出す読み出し工程と、
選択手段が、前記第２の記録媒体に記録された前記撮影済み画像データに対応する前記第１のシナリオデータの撮影内容のうち再撮影すべき撮影内容を選択する選択工程と、
生成手段が、前記選択工程により選択された撮影内容に対応する識別情報に関連付けられた前記撮影済み画像データを前記読み出し手段により前記第２の記録媒体から読み出し、前記読み出された撮影済み画像データを用いて、再撮影のための参考画像データを生成する工程と、
作成手段が、前記選択された撮影内容に対応する前記第１のシナリオデータを前記読み出し手段により前記第１の記録媒体から読み出し、前記読み出された第１のシナリオデータに基づき、前記参考画像データを含む、再撮影用の第２のシナリオデータを作成する作成工程と、
第２の記録手段が、前記作成工程により作成された前記第２のシナリオデータを前記第１の記録媒体に記録する第２の記録工程と、を有することを特徴とするシナリオ編集方法。