JP4618379B2 - 記録装置、記録方法、再生装置、再生方法、記録再生装置、記録再生方法、撮像記録装置及び撮像記録方法 - Google Patents

Description

本発明は、複数の記録媒体に亘ってデータを記録し、記録したデータを再生する場合に適用して好適な記録装置、記録方法、再生装置、再生方法、記録再生装置、記録再生方法、撮像記録装置及び撮像記録方法に関する。

従来の撮像記録装置には、デジタルビデオカメラ等の撮像装置で撮像したビデオデータ（動画）やオーディオデータ（音声）等を、半導体メモリに所定のファイル形式で記録しているものがある。撮像装置を用いて撮像されたビデオデータを圧縮記録する場合、そのデータ圧縮方法としては、イントラコーデック方式とインターコーデック方式の２つの方式が用いられていた。イントラコーデック方式は、撮像した１フレーム毎に静止画として圧縮する方式である。一方、インターコーデック方式は、１フレームの元となる画像（Ｉピクチャ）と、元となる画像に対する数フレーム分の差分情報（Ｐピクチャ、Ｂピクチャ）とを抽出分離して圧縮する方式である。ここでＩピクチャ、Ｐピクチャ、Ｂピクチャのフレームの固まりをＧＯＰ（Group Of Picture）と称している。そして、いずれかの方式で圧縮されたビデオデータは、ファイルとして記録される。

近年、インターネットの世界において、映像、音声、文字、グラフィックス等のマルチメディア素材を時間的、空間的に再構成し、新たなコンテンツを制作するための記述言語として、ＳＭＩＬ(Synchronized Multimedia Integration Language)が用いられるようになっている。なお、以下の説明では、動画と音声の両方、又はいずれか一方のデータをオーディオビジュアル（ＡＶ：Audio Visual）素材と称する。そして、複数のＡＶ素材に対して、再生すべき箇所を列挙した再生手順情報をエディットリスト（EditList）と称する。なお、エディットリストは、プレイリスト、非破壊編集記述データと称することもある。そして、任意長の画像データの単位をクリップ（素材）と称する。クリップはまた、一つのファイルとして構成されたＡＶ素材のことも意味する。そしてクリップは、所定長の区間を切り出して別のクリップとしたり、分割して分割クリップ（または分割素材）としたりすることができる。

近年、ビデオ、オーディオ等の各コンテンツに関する情報をメタデータとして取り扱い、そのメタデータの放送局間の国際統一を図るために標準化が進められている。そして、メタデータの形式を標準化するため、様々なメタデータ項目の仕様が提案されている。メタデータ項目としては、例えばＳＭＰＴＥ（the Society of Motion Picture and Television Engineers：全米映画テレビジョン技術者協会）が策定したＵＭＩＤ（Unique Material Identifier）等がある。ＵＭＩＤは、各コンテンツを識別するためにユニークなＩＤを与え、必要に応じてＧＰＳ（Global Positioning System）情報、日時、国名、地域、会社名などの情報を付加することができる３２バイトデータである。

特許文献１には、時間的に連続したデータを複数の記録媒体(光ディスク)に分割して記録する場合に、装着した記録媒体の識別子を含む履歴情報を多重化対象の情報に含ませて記録媒体へ書き戻すことで、記録媒体の一つ前の記録媒体の同定を容易にする技術について開示されている。

特許文献２には、特許文献１に開示された技術において、記録媒体をデータとした技術について開示されている。

特許文献３には、時間的に連続した動画データを分割して２つの記録媒体に書き込む際に、両者を関連付ける技術について開示されている。具体的には、1)ファイル名(例えば、接尾語)を関連付ける技術(例えば、DSCF0001A.AVIとDSCF0001B.AVI等)、2)Ｅｘｉｆファイル又はＡＶＩファイル内のユーザ領域に互いの参照ファイル名を書き込む技術、3)両者の関係を示す情報ファイルをそれぞれの記録媒体に設ける技術がある。

特許文献４には、時間的に連続する動画データを複数の記録媒体に分割して異なるファイル名で記録した場合でも、それら動画データを１つのものとして再生するため、時間的に前に位置する動画データファイルに対して後ろに位置する動画ファイルの関連情報を付加して記録する技術について開示されている。具体的には、後段の動画ファイルのファイル名等を含むリンク情報を、独立したテキストデータファイルとして前半の動画データファイルと共に記録するものである。

特許文献５には、編集時の取り扱いを容易にしたり、データの破壊耐性を高めたりするため、一連の動画データを所定の時間あるいはデータ量毎に分割したファイルとして記録する技術について開示されている。ただし、分割ファイル間の関連付けを行う技術としては、各分割ファイルのヘッダ部分に、「前のファイル」情報と「次のファイル」情報を保持しておくことを前提としている。

特開２００５−３０９５０３号公報 特開２００５−３０９５０４号公報 特開２００４−３２８０７３号公報 特開２００４−３２８０３４号公報 特開平１１−３４１４３４号公報

ところで、長時間クリップを複数の分割ファイルに分割して記録し、ある分割ファイルとその前後の分割ファイルとを関連付けて記述するといった技術は、先述したように、従来、多数報告されていた。しかしながら、これらの技術で利用できる情報は、あくまで分割ファイル間の局所情報に過ぎず、元の長時間クリップ全体の情報を表現しているわけではなかった。つまり、元の長時間クリップにおける時間軸上のどの位置に取り出した分割ファイルが存在するのかは、その分割ファイルを参照するだけでは容易に知ることはできなかった。また、ある分割ファイルが無効なフレームを含んでいる場合、無効区間を排除するような指定が容易ではなかった。これは、従来、分割ファイルの関連付け記述において、無効なフレーム区間の影響の排除を指定する方法が提供されていなかったためである。ここで無効フレームとは、例えばＧＯＰ記録におけるＰピクチャ、Ｂピクチャのフレームが有効区間の開始フレームであった場合に、それが参照する(時間的に前方に存在する)Ｉフレームなどであり、ＧＯＰを構成することが必要なインターコーデック方式でデータを圧縮したときに発生する。このような場合、単に分割ファイルの前後のリンク関係を記述しただけでは、無効なフレーム区間を重複再生してしまうことがあり、表示される映像の品質を著しく落とすこととなる。さらに、従来は、元の長時間クリップに対して、固有のタイトルあるいは注釈を容易に付けることができなかった。つまり、それぞれの分割ファイルに対して１つずつ当該固有タイトルあるいは注釈を付ける必要があるため、作業効率が悪かったのみならず、例えば異なる分割ファイルに異なるタイトルを付けてしまった場合の取り扱いなどにおいて難があった。

さらに、特許文献１〜５に開示されている技術は、あくまで元の長時間クリップを分割し、ある分割ファイルとその直前(場合により直後)の分割ファイルとの関連付けを記述するためだけに用いられていた。ここで分割ファイルの関連付けを行うために、特許文献３に開示されているようにユーザ領域を用いると、せっかく汎用のファイルフォーマットを採用したにもかかわらず、ユーザ領域を対象とした特殊な処理を別途追加しなければならなくなる。また、特許文献５に開示されているように専用のヘッダを設けると、ファイルフォーマット自体が独自のものとなってしまい、機器依存性が高まり、使い勝手が悪くなってしまう。このように、従来の分割ファイルの関連付けを行うための技術は、それ専用の処理を別途追加する必要があり、実装が複雑になってしまう。

また、撮像装置で撮像する画像が高画質化するに伴い、半導体メモリに記憶可能な撮像時間は数十分程度となっていた。このため、撮像装置に半導体メモリを挿入できるスロットを複数用意していても、長時間の撮像を行う場合、頻繁に半導体メモリを取り替えなければならない。この場合、半導体メモリを取り替え、すぐにデータを読み出して、大容量のハードディスクドライブ等に転送したとしても、転送したデータに付与されているメタデータは半導体メモリ毎の情報でしかない。従って、複数の半導体メモリから読み出したデータをつなぎ合わせて再生することが容易ではなかった。例えば、ファイル名称は、ファイル１，ファイル２，…と付けられる。しかしながら、分割ファイルのファイル名称が連番で付けられるとは限らず、また、ファイル名称は任意に変更可能であるため、ファイルの順番を間違えてしまう可能性が生じてしまう。また、分割ファイルの順番をタイムスタンプ等で管理しても、半導体メモリを読み込むまで、どの半導体メモリに何のデータが記憶されているかをすぐに知ることができなかった。

本発明は、動画及び／又は音声の情報で構成される素材を複数に分割して分割素材を作成し、複数に分割された全ての分割素材の再生手順を含む記録情報を、分割素材の全てについて作成し、複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成し、第１の再生手順情報は、第２の再生手順情報及び／又は第３の再生手順情報を介して第２の分割素材及び／又は第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、全ての分割素材に対して、第１の再生手順情報を記録媒体に記録する。素材を再生する際は、記録媒体から読み出した第１の再生手順情報から第２の再生手順情報及び／又は第３の再生手順情報を参照して、記録媒体に記録された全ての分割素材の再生順序を制御するようにしたものである。

このようにしたことで、再生手順情報を参照して、複数の分割素材全体に共通する情報が付与された複数の分割素材を連続して再生することが可能となった。

本発明によれば、記録した再生手順情報を参照して、複数の分割素材全体に共通する情報が付与された複数の分割素材を連続して再生することが可能であるため、複数の記録媒体に亘って、長時間の素材が分割して記録されていても、複数の分割素材全体に共通する情報に基づいて元の長時間の素材の情報を得ることができるという効果がある。

本発明によれば、記録した再生手順情報を参照して、複数の分割素材を連続して再生することが可能であるため、複数の記録媒体に亘って、長時間の素材が記録されていても分割素材を元の長時間の素材に容易に再構築することができるという効果がある。

本発明の一実施の形態例における撮像装置の内部構成例を示したブロック図である。 本発明の一実施の形態例におけるエディットリストを用いたクリップの逐次再生の例を示した説明図である。 本発明の一実施の形態例における第１のエディットリスト（逐次再生）の記述例を示した説明図である。 本発明の一実施の形態例における第１のエディットリスト（並行再生）の記述例を示した説明図である。 本発明の一実施の形態例における他のエディットリストを参照したエディットリストの例を示した説明図である。 本発明の一実施の形態例における第２のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における第３のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における第４のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例におけるａｌｔ属性の記述例を示した説明図である。 本発明の一実施の形態例におけるメモリカードに記録されるクリップとエディットリストの例を示した説明図である。 本発明の一実施の形態例におけるメモリカードに形成されるクリップとエディットリストの例を示した説明図である。 本発明の一実施の形態例におけるｉ番目のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における中途エディットリストの例を示した説明図である。 本発明の一実施の形態例におけるｎ番目のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における全編エディットリストの例を示した説明図である。 本発明の一実施の形態例における１番目のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例におけるｉ番目のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例におけるｎ番目のエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における元クリップへのメタデータの記述例を示した説明図である。 本発明の一実施の形態例における無効フレーム区間の排除を考慮したエディットリストの記述例を示した説明図である。 本発明の一実施の形態例における再生区間リストの例を示した説明図である。 本発明の一実施の形態例における再生区間リストの処理の例を示したフローチャートである。 本発明の一実施の形態例におけるエディットリストから再生区間リストの変換処理の例を示したフローチャートである。 本発明の一実施の形態例における再生処理の例を示したフローチャートである。 本発明の一実施の形態例における記録処理の例を示したフローチャートである。

以下、本発明の一実施の形態を、添付図面を参照して説明する。本実施の形態では、取り外し可能な複数の記録媒体を用いて、映像と音声の記録と再生を行うことが可能な撮像装置１に適用した例として説明する。

図１は、本例の撮像装置１の内部構成例を示したブロック図である。撮像装置１は、大別して、ビデオカメラを制御し、ビデオデータを生成する撮像部２と、ビデオデータ、オーディオデータ、メタデータを半導体メモリに記録し、再生する記録部３とで構成される。

まず、撮像部２を構成する各部について説明する。レンズ、絞り、フィルタ等で構成された光学部１１より入力した撮像光を、電荷結合素子（ＣＣＤ：Charge Coupled Devices）等で構成される撮像部１２が光電変換して、アナログビデオ信号を生成する。そして、撮像部１２は、アナログ／デジタル変換器、画像調整機能等を有するビデオプロセッサ１３に、アナログビデオ信号を供給する。ビデオプロセッサ１３は、供給されたアナログビデオ信号をデジタルビデオ信号に変換し、画像調整を行う。そして、ビデオプロセッサ１３は、デジタルビデオ信号を所定の方式で圧縮するビデオ信号圧縮部１６に、変換したデジタルビデオ信号を供給する。ビデオ信号圧縮部１６は、供給されたデジタルビデオ信号をＭＰＥＧ（Moving Picture Experts Group）方式で圧縮する。そして、ビデオ信号圧縮部１６は、ビデオインタフェース１７を介して、圧縮したビデオ信号をデータバス２０に供給する。圧縮したビデオ信号は、後述する記録部インタフェース２６を介して記録部３に供給され、後述する第１又は第２の半導体メモリに保存される。撮像部２で用いられる各種の信号、データ等は、データバス２０を介して各部に伝送される。

後述する操作部３９でユーザ操作された結果、操作信号が、記録部３から後述する撮像部インタフェース４１，記録部インタフェース２６，データバス２０を介して、撮像部２内の各部の処理を制御するＣＰＵ（Central Processing Unit）２１に供給される。そして、ＣＰＵ２１は、供給された操作信号を解釈する。操作信号を解釈する際に、ＣＰＵ２１は、読み出しのみ可能なＲＯＭ（Read Only Memory）２２より、所定のタイミングで制御プログラムを読み出すと共に、一時データ、パラメータ等を、書き込み可能なＲＡＭ（Random Access Memory）２３に一時保存する。

ＣＰＵ２１は、操作部３９から供給された操作信号を、撮像部１２を駆動する制御信号に変換し、カメラコントローラインタフェース１５を介してカメラコントローラ１４に供給する。カメラコントローラ１４は、供給された制御信号に基づいて、撮像部１２の絞り、ズーム、フィルタ等の制御を行う。また、ＣＰＵ２１は、画像処理を指示する画像処理信号を、ビデオプロセッサインタフェース１８を介してビデオプロセッサ１３に供給する。ビデオプロセッサ１３は、供給された画像処理信号に基づいて、デジタルビデオ信号の圧縮処理等を行う。

撮像部２は、撮影中の画像、再生画像、メタデータ等を表示するビューファインダ２５を備えている。データバス２０を介して伝送された撮影中の画像、再生画像、メタデータ等は、ビューファインダインタフェース２４を介して、液晶画面を有するビューファインダ２５に表示される。

次に、記録部３を構成する各部について説明する。被写体の方向に向けられたマイクロフォン３０が周囲の音声を集音し、アナログオーディオ信号を生成する。マイクロフォン３０は、アナログ／デジタル変換器、音声調整機能等を有するオーディオプロセッサ３１に、アナログオーディオ信号を供給する。オーディオプロセッサ３１は、供給されたアナログオーディオ信号をデジタルオーディオ信号に変換し、音声調整を行う。そして、オーディオプロセッサ３１は、オーディオインタフェース３２を介してデジタルオーディオ信号をデータバス５０に供給する。デジタルオーディオ信号は、後述する第１又は第２の半導体メモリに保存される。記録部３で用いられる各種の信号、データ等は、データバス５０を介して各部に伝送される。

図示しないボタン、スイッチ等で構成されている操作部３９は、撮像部２と記録部３の記録、再生、編集操作で用いられる。撮像開始等の手動操作によって、操作部３９は操作信号を生成する。生成された操作信号は、操作部３９から操作部インタフェース４０とデータバス５０を介して、記録部３内の各部の処理を制御するＣＰＵ３４に供給される。また、記録時には、後述する撮像部インタフェース４１を介して撮像部２に操作信号が供給される。そして、ＣＰＵ３４は、供給された操作信号を解釈し、読み出しのみ可能なＲＯＭ３５より、所定のタイミングで制御プログラムを読み出すと共に、一時データ、パラメータ等を、書き込み可能なＲＡＭ３６に一時保存する。

本例の撮像装置１は、スロット状に形成された２つの半導体メモリインタフェースを備えており、記録媒体として第１の半導体メモリ３７ａと第２の半導体メモリ３７ｂを挿し込んで、順にデータの書き込みと読み出しを行うことができる。カード形状の第１の半導体メモリ３７ａは、第１の半導体メモリインタフェース３８ａに挿し込まれることでデータの書き込みと読み出しが行われる。同様に、カード形状の第２の半導体メモリ３７ｂは、第２の半導体メモリインタフェース３８ｂに挿し込まれることでデータの書き込みと読み出しが行われる。第１の半導体メモリ３７ａと第２の半導体メモリ３７ｂを用いることで、ビデオデータ、オーディオデータ、メタデータ、各種システム設定情報、プロキシデータを記憶したり、メタデータや各種設定値を更新したりすることができる。なお、以下の説明では、第１の半導体メモリ３７ａと第２の半導体メモリ３７ｂを共にメモリカードとも称する。

撮像部２とデータをやりとりするため、撮像部インタフェース４１がデータバス５０に接続されている。撮像部２で撮像されたビデオデータは、記録部インタフェース２６，撮像部インタフェース４１，データバス５０，第１の半導体メモリインタフェース３８ａを介して第１の半導体メモリ３７ａに保存される。また、第１の半導体メモリ３７ａの記憶容量が不足した場合は、第２の半導体メモリインタフェース３８ｂを介して第２の半導体メモリ３７ｂにビデオデータが保存される。

ＣＰＵ３４は、データバス５０，液晶表示インタフェース４３を介して、液晶画面を有する液晶表示部４４にモニタ映像、タイムコード、オーディオレベル、メタデータ、各種メニュー等を表示させる。第１の半導体メモリ３７ａ又は第２の半導体メモリ３７ｂから読み出されたビデオデータ、オーディオデータ等は、液晶表示部４４で再生したビデオ画像として表示することもできる。

撮像装置１は、外部のコンピュータとの間でデータをやりとりするために用いられるコンピュータインタフェース４２を備えている。コンピュータインタフェース４２は、例えばＵＳＢ規格に準拠したインタフェースであり、図示しない外部のコンピュータ装置を接続してデータを伝送したり、スピーカを接続して再生したオーディオデータを放音したりすることができる。また、撮像装置１は、ネットワーク経由でデータのやりとりを行うために用いられるネットワークインタフェース４５を備えている。ネットワークインタフェース４５は、例えばＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４規格に準拠したインタフェースであり、図示しないサーバや外部のコンピュータ装置に接続してデータを伝送することができる。

次に、撮像装置１を用いて画像を再生、記録、編集する際の処理例について説明する。

始めに、画像を再生、記録、編集する際に用いられるエディットリスト（以下の説明では、EditListとも称する。）の概念構成例と記述例について説明する。撮像装置１は、各メモリカードに元の長時間クリップ全体を表現したエディットリストを生成している。エディットリストとは、複数のＡＶ素材のうち、再生すべき箇所を列挙したものである。従来、ＥＤＬ(Edit Decision List)と呼ばれるデータによって、同様の機能が提供されていた。しかしながら、ＡＶ素材がファイル化され、よりＩＴ（Information Technology）指向な映像制作環境が求められるに伴い、ＥＤＬの機能をより強化したものが新たに求められることとなった。このため、エディットリストは、具体的にはＳＭＩＬを、業務用の映像制作環境での利用にも耐え得るように機能拡張したものである。生成したエディットリストは、メモリカード毎に保存される。

ここでは簡単のため、エディットリストの仕様の内、本発明を説明する上で必要とされる箇所について説明を行う。なお、ＳＭＩＬをベースとしたエディットリスト自体はあくまで一つの表記の仕方に過ぎない。このため、例えば、データの表記の仕方がいかなるものであれ、以下に説明する機能を提供できるのであれば、それもまたエディットリストの範疇に含まれる。

まず、エディットリストを用いたクリップの逐次再生の例について、図２を参照して説明する。図２で示すように、第１のＡＶ素材５１，第２のＡＶ素材５２，第３のＡＶ素材５３が元のクリップとして与えられている。そして、第１のＡＶ素材５１から切り出した1500〜2800フレーム区間を、第１のクリップ６１と称する。同様に、第２のＡＶ素材５２から切り出した500〜800フレーム区間を、第２のクリップ６２と称する。第３のＡＶ素材５３から切り出した50〜1350フレーム区間を、第３のクリップ６３と称する。なお、第１〜第３のクリップは、それぞれClip1〜Clip3として、後述するエディットリストに記述される。

第１のクリップ６１〜第３のクリップ６３を逐次再生させる場合について考える。このとき、第１のクリップ６１〜第３のクリップ６３を逐次再生するための再生手順情報が第１のエディットリスト５５に記述される。再生手順情報は、対象とするＡＶ素材を特定する名称と、当該ＡＶ素材において実際に再生対象となる部分（クリップ）を指定する手段とを含むものである。第１のエディットリスト５５は、仮想的なものであり、実際に、第１のクリップ６１〜第３のクリップ６３が編集されて、つなぎ合わされてはいない。なお、第１のエディットリスト５５は、EditList1として、後述するエディットリストに記述される。撮像装置１が第１のエディットリスト５５を参照してクリップの再生を行う場合、第１のクリップ６１〜第３のクリップ６３がつなぎ合わされた再生クリップ５６として再生される。再生クリップ５６は、再生時間軸５７の矢印方向に従って再生される。第１のクリップ６１〜第３のクリップ６３は、重複するフレームはないものとする。

次に、逐次再生を行う場合における第１のエディットリスト５５の記述例について、図３を参照して説明する。再生手順情報が記述された第１のエディットリスト５５は、<smil>要素をルート要素とするＸＭＬ（Extensible Markup Language）文書として表記される。そして、再生手順情報は、分割クリップ毎に再生開始を表すフレーム番号及び再生終了を表すフレーム番号を含むものである。<smil>要素のname属性には、第１のエディットリスト５５の名称である“EditList1”が記述される。そして、再生手順を示す<body>要素が、<smil>要素にネストして連なる。さらに、それぞれが記述した区間を上から順に逐次再生することを表す<video>要素が、<body>要素の直下にネストして列挙される。各<video>要素は、ＡＶ素材をsrc属性で指定する。また、ＡＶ素材において実際に再生対象となる部分を、再生開始位置であるイン点を示すclipBegin属性と、再生終了位置であるアウト点を示すclipEnd属性で指定する。

なお、Clip1〜Clip3は、エディットリストで表記される名称であるが、この名称に限定されるものではない。つまり、図３では、src属性がとりうる値として“Clip1”等で表記されるＡＶ素材の抽象名を用いているが、src属性がとりうる値として、ＡＶ素材ファイルへのファイルパス(例えば、src="D：\video\Clip1.mxf")や、ＵＭＩＤ等のＡＶ素材を識別するためのユニークな識別子(例えば、src="urn：smpte：umid：060E2B34…FF")等を付けることができる。またclipBegin属性とclipEnd属性は、先頭から数えたフレーム数をとり得る値（フレーム番号）としているが、その他にも場合に応じてタイムコード(例えば、clipBegin="hh：mm：ss：ff")等をとり得る値とすることができる。

さらにclipBegin属性とclipEnd属性は省略可能としている。そして、clipBegin属性が省略された場合には、先頭フレーム(clipBegin="0")が指定されたものとみなす。また、clipEnd属性が省略された場合には、最終フレームの次のフレーム(clipEnd="n+1")が指定されたものとみなす。

次に、第１のエディットリスト５５の記述例の別表現として、並行再生の記述を可能とした場合における第１のエディットリスト５５の記述例について、図４を参照して説明する。図４は、図３と等価であるが、<par>要素を含む記述例としている。

図４において、各<video>要素が持つsrc属性,clipBegin属性,clipEnd属性の意味は図３で説明したものと同じである。図４で示すエディットリストは、新たにbegin属性を導入することによって、再生時間軸上におけるクリップ毎の再生開始位置を指定している。“Clip1”を参照する<video>要素にはbegin属性が省略されている。この場合、“Clip1”を参照する<video>要素では、begin="0"が指定されたもの、すなわち再生時間軸上の先頭位置から第１のクリップ６１の再生を開始することを意味する。そして、“Clip2”を参照する<video>要素においては、begin属性値は1300である。この場合、再生時間軸上において1300フレーム目、つまり、第１のクリップ６１の再生を終えた直後に、第２のクリップ６２の再生を開始することを意味する。さらに、“Clip3”を参照する<video>要素においてbegin属性値は2600である。この場合、再生時間軸上において2600フレーム目、つまり、第２のクリップ６２の再生を終えた直後に第３のクリップ６３の再生を開始することを意味する。

図４で示すように、エディットリストに<par>要素を導入することによって、複数の指定区間を重ねて再生させる等といった記述が可能となる。例えば、遷移エフェクトの表現等、複数の区間を重ねて表現したい場合がある。このような表現を行うために、<par>要素を導入し、<par>要素を<body>要素と<video>要素の間に挿入する。この時、<video>要素によって指定された区間は、再生時間軸上において任意の位置をとり得ることができる。ところで、出力ポートが一つしか存在しない場合に、複数の指定区間を重ねて再生させるといった記述をどう解釈するかが問題となる。この場合、言語仕様としては後段に位置する<video>要素が記述した再生指定区間が優先される。つまり<video>要素の記述は、それ以前の指定区間の再生クリップは、後段で指定された指定区間の再生によって置き換えられることとなる。この結果、例えば図４において全てのbegin要素を省略すると、実際のディスプレイには、第３のクリップ６３を参照する<video>要素によって記述された区間のみ表示され、第１のクリップ６１と第２のクリップ６２は再生されない。

次に、他のエディットリストを参照したエディットリストの例について、図５を参照して説明する。これまで説明したように、エディットリスト自体は、あくまで再生手順を記述したデータに過ぎない。しかしながら、別の見方をすれば、エディットリストは、参照するＡＶ素材を切り出して編集した結果得られる仮想的な二次素材とみなすこともできる。エディットリストを仮想的な二次素材とみなすことにより、<video>要素内のsrc属性は(二次素材としての)エディットリスト自体を参照することが可能となる。

具体例として、いま図５で示すように、第１のＡＶ素材５１〜第３のＡＶ素材５３から切り出した第１のクリップ６１〜第３のクリップ６３について検討する。第１のＡＶ素材５１から切り出した1500〜2800フレームのClip1区間と、第２のＡＶ素材５２から切り出した500〜1800フレームのClip2区間とを第２のエディットリスト６５として記述する。そして、第３のＡＶ素材５３から切り出した50〜1350フレームのClip3区間を、第３のエディットリスト６６として記述する。さらに、第２のエディットリスト６５と第３のエディットリスト６６とを連続して参照する第４のエディットリスト６７を生成する。なお、第２のエディットリスト６５〜第４のエディットリスト６７は、それぞれEditList2〜EditList4として、エディットリストに記述される。

この場合、第２のエディットリスト６５〜第４のエディットリスト６７は、図６〜図８で示すように記述される。

図６は、第２のエディットリスト６５の記述例である。<body>要素、<par>要素は、図４で示した第１のエディットリスト５５と同様に記述してある。そして、<smil>要素が持つname属性は、“EditList2”とする。<video>要素が持つsrc属性は“Clip1”、clipBegin属性は“1500”、clipEnd属性は“2800”とする。さらに、後段の<video>要素が持つsrc属性は“Clip2”、clipBegin属性は“500”、clipEnd属性は“1800”、begin属性は“1300”とする。

図７は、第３のエディットリスト６６の記述例である。<body>要素、<par>要素は、図４で示した第１のエディットリスト５５と同様に記述してある。そして、<smil>要素が持つname属性は、“EditList3”とする。<video>要素が持つsrc属性は“Clip3”、clipBegin属性は“50”、clipEnd属性は“1350”とする。

図８は、第４のエディットリスト６７の記述例である。<smil>要素が持つname属性は、“EditList4”とする。そして、<video>要素が持つsrc属性は“EditList2”とする。また後段の<video>要素が持つsrc属性は“EditList3”とする。

図６〜図８で示したように、<video>要素が持つsrc属性を記述することで、エディットリスト自体を参照することが可能となる。つまり、再生手順情報としてのエディットリストは、別のエディットリストを再帰して参照するものである。なお、図６と図７において、<par>要素とbegin属性を省略することで、<video>要素を<body>要素の直下に羅列してもよい。また、図８において、<body>要素の直下に<par>要素を挿入し、下位の<video>要素にbegin="2600"を付与してもよい。

次に、<video>要素への追加属性として導入するalt属性の記述例について、図９を参照して説明する。alt属性は、参照に関する注釈等を記述した属性である。図９では、第３のエディットリスト６６の<video>要素に、alt属性として“In Memory Card #3”を追加してある。alt属性によって、第３のクリップ６３がメモリカード＃３に記録されていることが示されている。

以上、エディットリストの記述例について説明してきたが、これらの特徴は全てそのベースとなったＳＭＩＬが本来有していた特徴に他ならない。また、エディットリストはあくまで複数のＡＶ素材のうち、再生すべき箇所を列挙するための汎用ツールである。このため、「複数のメモリカードに渡る長時間クリップを記録する場合に、それぞれのメモリカードに記録された分割クリップの記述を一本化する」ために導入されたものではない。

それぞれのメモリカードに含まれる分割ファイルに記録された分割クリップは、あくまで元の長時間クリップの一部に過ぎない。このため、分割ファイルを集めて元の長時間クリップを再構築するためには、元の長時間クリップ内に対するそれぞれの分割ファイル（分割クリップ）の位置付けを記述した補助情報が必要である。従来では、対象となる分割クリップに対し、その前後となる分割クリップを何らかの手段で同定するようにしていた。これは、例えばメモリカードiにおいて、「前方向分割クリップ=“Clip-(i-1)”、後方向分割クリップ=“Clip-(i+1)”」等といった記述内容を、ファイルとしてメモリカードiに併せて記録しておくことに相当するものであった。

これに対し、本実施の形態例では、それぞれの分割ファイルに記録された分割クリップの、元の長時間クリップ内における位置付け情報の記述を、エディットリストを用いて行うようにしている。

ここで、複数の分割ファイルに記録された分割クリップを長時間クリップとして扱う場合におけるエディットリストの記述例について、図１０を参照して説明する。ここでは、長時間の撮影を行い、その長時間クリップをｎ枚のメモリカードに分割して記録した場合について考える。

それぞれのメモリカードに記録した順に従って、第１のメモリカード１００ａ〜第ｎのメモリカード１００ｎに対して、それぞれのメモリカードを識別するための識別子が付与される。第１のメモリカード１００ａには、第１のクリップ１０１ａが記録されており、第１のエディットリスト１０２ａが記述されている。第２のメモリカード１００ｂには、第２のクリップ１０１ｂが記録されており、第２のエディットリスト１０２ｂが記述されている。同様に、第ｉのメモリカード１００ｉには、第ｉのクリップ１０１ｉが記録されており、第ｉのエディットリスト１０２ｉが記述されている。そして、第ｎのメモリカード１００ｎには、第ｎのクリップ１０１ｎが記録されており、第ｎのエディットリスト１０２ｎが記述されている。

このように、第ｉのメモリカードには、元の長時間クリップを、その先頭からi番目に分割して生成された分割クリップとして、第ｉのクリップが記録される。なお、以下の説明では、エディットリストの記述に際して、第１のクリップ１０１ａをClip-1、第１のエディットリストをEditList-1と記述する。同様に、第iのクリップをClip-i、第iのエディットリストをEditList-iと記述する。そして、第ｎのクリップをClip-n、第ｎのエディットリストをEditList-nと記述する。

本実施の形態例によれば、それぞれのメモリカードが補助情報としてエディットリストを有している。ただし、本発明が従来技術と大きく異なる点は、エディットリストの記述内容にある。すなわちそれぞれのメモリカードに含まれるエディットリストには、単に分割クリップの前後関係を記述するのでなく、エディットリスト単独で、元の長時間クリップ全体と再生手順を表現する点にある。

ここで、メディア上に形成されたエディットリストとクリップの概念例について、図１１を参照して説明する。ある長時間クリップが分割されて、第１のメモリカード１００ａ〜第３のメモリカード１００ｃのそれぞれに、第１のクリップ１０１ａ〜第３のクリップ１０１ｃとして存在しているとする。撮像装置１で再生を開始すると、まず第１のメモリカード１００ａに記述されている第１のエディットリスト１０２ａにアクセスする。第１のエディットリスト１０２ａには、第１のクリップ１０１ａの情報と第２のエディットリスト１０２ｂの情報が記述されている。そして、第１のクリップ１０１ａが再生される。第１のクリップ１０１ａの再生が終わると、撮像装置１は、第２のメモリカード１００ｂに記述されている第２のエディットリスト１０２ｂにアクセスする。第２のエディットリスト１０２ｂには、第１のクリップ１０１ａと第２のクリップ１０１ｂの情報と、第３のエディットリスト１０２ｃの情報が記述されている。そして、第２のクリップ１０１ｂが再生される。

第２のクリップ１０１ｂの再生が終わると、撮像装置１は、第３のメモリカード１００ｃに記述されている第３のエディットリスト１０２ｃにアクセスする。第３のエディットリスト１０２ｃには、第１のクリップ１０１ａ〜第３のクリップ１０１ｃの情報が記述されている。そして、第３のクリップ１０１ｃが再生される。本実施の形態に係る撮像装置１では、例えば第２のメモリカード１００ｂが挿し込まれると同時に、第２のメモリカード１００ｂに記録された第２のクリップ１０１ｂの、全体のクリップにおける再生時間軸上の位置付けが容易に判ることを特徴としている。

さらに、Clip-iを生成する段階でClip-1からClip-(i-1)に関する情報は既知であることから、これらの情報を明示的にエディットリストに記述できる。すなわち、EditList-iとEditList-nはそれぞれ以下のように記述される。

ここで、第ｉのエディットリスト１０２ｉの記述例について、図１２を参照して説明する。<body>要素、<par>要素は、図４で示した第１のエディットリスト５５と同様に記述してある。そして、<smil>要素が持つname属性は“EditList-i”とする。冒頭の<video>要素が持つsrc属性は“Clip-1”とする。<video>要素は、i番目まで同様に列挙される。そして、ｉ番目の<video>要素が持つsrc属性は“Clip-i”とする。ｉ番目以降の<video>要素が持つsrc属性は“EditList-(i+1)”、clipBegin属性は“Dur(Clip-1)+…+Dur(Clip-i)”とする。ここで、clipBegin属性に指定した“Dur”とは、<video>要素に記述されたClip-1〜Clip-nの再生を行なった後に、第ｉ＋１番目のクリップを再生することを意味する。つまり、“Dur(Clip-1)+…+Dur(Clip-i)”とは、EditList-(i+1)が元の長時間クリップを表現している場合に、既に再生の終了した第１のクリップ〜第ｉのクリップまでの区間をスキップして、第ｉ＋１番目のクリップから再生することを意味している。なお、このようなエディットリストを中途エディットリストと称する。

＜中途エディットリスト＞
ここで、中途エディットリストを用いて再生される機会の例を大別して以下に挙げる。記録されたカードの枚数より、再生装置のカードスロットの数が少ない場合と、サーバやコンピュータ装置に撮影順に吸い上げている最中に、映像をモニタする場合と、サーバやコンピュータ装置に、全クリップと全エディットリストが揃っているが、中途のクリップが選択された場合とがある。

記録途中のメモリカードには、途中段階の中途エディットリストを作成する。記録しているメモリカード以降のクリップは記録途中では未定であるが、記録するメモリカードが切り替わるときは前後のメモリカードが撮像装置１内に存在するので、次のメモリカードのクリップやエディットリストを特定する名称、例えばＵＭＩＤを書くことができる。そこで、各メモリカードに自身のクリップと次のエディットリストを載せた中途エディットリストを記述する。従来のように、次のクリップのＵＭＩＤを書くだけなら、単に前後のクリップを知ることができるだけなので、全てのクリップの位置情報をつなぎ合わせることができず、後で次のエディットリストを探さなければならない。一方、本実施の形態で用いるようにエディットリストを参照する方式であれば、次々に辿れる上、全てのエディットリストが論理的に等価、すなわち元の長時間クリップの再生を表すことになる。このため、ユーザの選択ミス等による再生不良を防ぐことができる。

ここで、中途エディットリストの記述例について、図１３を参照して説明する。図１３（ａ）は、第１のエディットリストの記述例を示す。第１のエディットリストのファイル名は、ABCD1001E01.SMIとする。第１のエディットリストが記述されている第１のメモリカードには、ACD1001Q01.MP4ファイルが格納されている。図１３（ｂ）は、第２のエディットリストの記述例を示す。第２のエディットリストのファイル名は、ABCD1001E02.SMIとする。第２のエディットリストが記述されている第２のメモリカードには、ACD1002Q01.MP4ファイルが格納されている。図１３（ｃ）は、第３のエディットリストの記述例を示す。第３のエディットリストのファイル名は、ABCD1001E03.SMIとする。第３のエディットリストが記述されている第３のメモリカードには、ABCD1003Q01.MP4ファイルが格納されている。なお、第１のエディットリスト〜第３のエディットリストに書き込まれる再生手順情報は、分割クリップ毎に再生開始を表す時刻情報及び再生終了を表す時刻情報を含むものである。

図１３（ａ）の第１のエディットリストは、ABCD1001Q01.MP4ファイルを“00:00:00:00”から“00:29:59:29”まで再生を行なった後、第２のエディットリストを参照して“00:30:00:00”で以降の再生を開始することを意味している。図１３（ｂ）の第２のエディットリストは、ABCD1002Q01.MP4ファイルを“00:30:00:00”から“00:59:59:29”まで再生を行なった後、第３のエディットリストを参照して“01:00:00:00”で以降の再生を開始することを意味している。図１３（ｃ）の第３のエディットリストは、ABCD1003Q01.MP4ファイルを“01:00:00:00”から“01:09:59:29”まで再生を行なうことを意味している。このように、第１〜第３のエディットリストのいずれにも再生が行われるクリップの情報が記述されているため、互いに参照することでクリップ全体に対する分割クリップの位置を知ることができる。なお、最後のABCD1001E03.SMIは、後述する完成版の“全編エディットリスト”そのものである。

次に、第ｎのエディットリスト１０２ｎの記述例について、図１４を参照して説明する。<body>要素、<par>要素は、図４で示した第１のエディットリスト５５と同様に記述してある。そして、<smil>要素が持つname属性は“EditList-n”とする。冒頭の<video>要素が持つsrc属性は“Clip-1”とする。<video>要素は、ｎ番目まで同様に列挙される。すなわち、図１４が示すように、EditList-nはもはや他の中途エディットリストを介した間接的な記述ではなく、全ての分割クリップ（Clip-1〜Clip-n）を直接参照する記述となっている。なお、このようなエディットリストを全編エディットリストと称する。

＜全編エディットリスト＞
ここで、全編エディットリストで再生される機会の例を大別して以下に挙げる。記録されたメモリカードの枚数より、再生装置のメモリカードインタフェースの数が少ない場合と、サーバやコンピュータ装置に、全クリップと全編エディットリストが吸い上げられている場合とがある。

録画時には、先述の全編エディットリストは、最後のメモリカードだけに置かれる。最後のメモリカードだけに置かれる理由としては、記録途中では、全編エディットリストが確定していないためである。全編エディットリストの内容は、例えばABCD1001Q01.MP4,ABCD1002Q01.MP4，…など、先頭からの分割クリップを参照した<video>要素を羅列したものとなる。なお、全編エディットリスト自体もそれを特定する名称、例えばＵＭＩＤを持ち、連結結果を一つのクリップ、つまり元の長時間クリップとして扱えるようにする。

ここで、全編エディットリストの構成例について、図１５を参照して説明する。図１５（ａ）は、サーバに蓄積された第１〜第３のクリップとエディットリストの概念例について示している。複数のメモリカードから読み出したクリップは、サーバ７０に蓄積される。サーバ７０上で再生や編集を行う場合、第１のクリップ１０１ａ〜第３のクリップ１０１ｃの情報が記述されているエディットリスト１０２ｓを用いる。

図１５（ｂ）は、全編エディットリストの記述例について示している。エディットリスト１０２ｓは、サーバ７０において、全編エディットリストとして機能している。エディットリスト１０２ｓには、第１のクリップ１０１ａのファイル名称である“ABCD1001Q01.MP4”、第２のクリップ１０１ｂのファイル名称である“ABCD1002Q01.MP4”、第３のクリップ１０１ｃのファイル名称である“ABCD1003Q01.MP4”を指定したsrc属性及び、それぞれの再生対象区間を指定したclipBegin属性、clipEnd属性が記述されている。サーバ７０は、このエディットリスト１０２ｓを参照することで、元の長時間クリップ全体に対する、ある分割クリップの再生時間軸上の位置を知ることができる。

ここまで、第ｉのエディットリスト、第ｎのエディットリストの記述例について、図１２と図１４で説明したが、これらは以下のように書き換えることもできる。以下、図１６〜図１８を参照して、第１のメモリカードに記録された第１のエディットリスト、第ｉのメモリカードに記録された第ｉのエディットリスト、第ｎのメモリカードに記録された第ｎのエディットリストの別の記述例について説明する。

まず、第１のエディットリスト１０２ａの記述例について、図１６を参照して説明する。<smil>要素が持つname属性は“EditList-1”とする。<video>要素が持つsrc属性は“Clip-1”とする。そして、次に列挙される<video>要素が持つsrc属性は“EditList-2”、clipBegin属性は“Dur(Clip-1)”とする。このように指定することで、第１のクリップの再生が終了した後、第２のエディットリストを探し、再生済みの部分をスキップして、以降の再生を行うことができる。

次に、第ｉのエディットリスト１０２ｉの記述例について、図１７を参照して説明する。<smil>要素が持つname属性は“EditList-i”とする。冒頭の<video>要素が持つsrc属性は“EditList-(i-1)”、clipEnd属性は“Dur(Clip-1)+…+Dur(Clip-(i-1))”とする。次に列挙される<video>要素が持つsrc属性は“Clip-1”とする。そして、最後に列挙される<video>要素が持つsrc属性は“EditList-(i+1)”、clipBegin属性は“Dur(Clip-1)+…+Dur(Clip-i)”とする。このように指定することで、第１〜第ｉ−１番目のクリップまで再生した後、第ｉ番目のクリップを再生し、第ｉ＋１番目のエディットリストを探し、再生済みの部分をスキップして、以降の再生を行うことができる。

次に、第ｎのエディットリスト１０２ｎの記述例について、図１８を参照して説明する。<smil>要素が持つname属性は“EditList-n”とする。冒頭の<video>要素が持つsrc属性は“EditList-(n-1)”、clipEnd属性は“Dur(Clip-1)+…+Dur(Clip-(n-1))”とする。そして、次に列挙される<video>要素が持つsrc属性は、“Clip-n”とする。このように指定することで、第１〜第ｎ−１番目のクリップまで再生した後、第ｎ番目のクリップを再生して再生処理を終了することができる。

図１７で示すようにEditList-iは、メモリカードiに記録されたClip-iを直接参照する他、Clip-iの前方に位置するメモリカード(i-1)に記録されたEditList-(i-1)と、Clip-iの後方に位置するメモリカード(i+1)に記録されたEditList-(i+1)を参照している。

そして、Clip-iの時間長(またはフレーム数)をDur(Clip-i)で表すようにすると、EditList-(i-1)、EditList-(i+1)は、共に元の長時間クリップ全体の再生を表現しているわけであるから、冒頭の<video>要素は元の長時間クリップの先頭からメモリカードiに含まれたClip-iの開始直前までが再生対象であることを表している。また、三番目の<video>要素は元の長時間クリップにおいてClip-iの終了直後からその最後までが再生対象であることを表している。その結果、EditList-iもまた元の長時間クリップ全体(の再生方法)を表現していることとなる。

図１６と図１８で示したエディットリストの記述例は、一連の長時間クリップを参照する場合における先頭と末尾の記述に相当する。すなわち、図１６においては第１のメモリカードに記録された先頭の分割ファイルであるClip-1を直接参照して再生する。続けて、元の長時間クリップの先頭からClip-1の再生部分をスキップした残りを再生する。このように再生することで元の長時間クリップ全体の再生を表現している。また、図１８においては、元の長時間クリップの先頭から末尾の分割ファイルであるClip-(n-1)を取り除いた部分まで再生する。続けて、Clip-nを直接参照して再生する。このように再生することでやはり元の長時間クリップ全体の再生を表現している。

ここで着目すべきは、例えばEditList-1を生成する場合、上述したようにclipEnd属性を省略したときの解釈が対象素材の最後(厳密には最終フレームの次のフレーム)を示すことである。このため、EditList-1を生成した時点では元の長時間クリップ全体の時間長が不明であっても、EditList-1を生成することが可能となる。すなわちEditList-1の生成に必要な情報はClip-1の時間長と第２のメモリカードが保有するEditList-2への参照情報(それを特定する名称としてのファイル名あるいは識別子)であるから、第１のメモリカードの分割ファイルであるClip-1の生成が完了した段階でEditList-1を生成することができる。

なお、本実施の形態例では、<par>要素を含まない逐次再生を行う表現に基づいてエディットリストを記述した。それに加えて、<par>要素を用いた並行再生を行う表現に基づいてエディットリストを記述することも可能である。この場合、再生時間軸上におけるそれぞれの再生位置を指定する必要がある。しかしながら、再生位置のいずれもがclipBegin属性値とclipEnd属性値に準じたものであり、エディットリストの生成時に既知である。

＜タイトル付与＞
次に、元の長時間クリップにタイトルや注釈を付与する場合のエディットリストの記述例について、図１９を参照して説明する。図１９は、全てのエディットリストが元の長時間クリップ全体の再生手順情報を表現していることを利用して、タイトルを付与する記述例を示している。つまり、エディットリストに付与される再生手順情報は、前記複数の分割クリップ全体に共通する情報を付与するものである。

図１９より、<Metadeta>要素の“targetClip”属性は、“EditList-n”としてある。そして、<Title>要素は、「My long AV clip」とする。さらに、<Description>要素は、「Worldcup Football Game」とする。このように任意のエディットリストを参照先に指定することで、元の長時間クリップに対して「My long AV clip」なるタイトルや、「Worldcup Football Game」なる注釈を付けたことと等価となる。

＜無効フレーム区間の考慮＞
次に、記録されたクリップに存在する無効フレーム区間の影響を考慮する場合におけるエディットリストの記述例について、図２０を参照して説明する。インターコーデック方式においてＧＯＰ単位で記録した場合、クリップの最初と最後には、有効区間外だがデータを圧縮するのに必要となるフレームが記録される無効フレーム区間が存在する場合がある。このようなクリップを単にエディットリストでクリップ名を指定するだけでは、再生時間軸上で重複が生じる可能性がある。このような無効フレーム区間を排除するため、図２０のようにエディットリストを記述する。

いま、例えば128フレームで構成されるClip-iのうち、有効フレーム領域が3〜120フレームであったとする。この場合、２段目の<video>要素が持つsrc属性を“Clip-i”、clipBegin属性は“3”、clipEnd属性は“121”とする。このようにclipBegin属性とclipEnd属性を指定することで無効フレーム区間の影響を排除して重複なく逐次再生することが可能となる。

また、データの記録途中に発生した障害等によって、記録が中断すると共に、記録したデータが失われる場合がある。このような場合に備えて、データを復活するために重複してデータを記録する「サルベージ」という技術が使われる場合がある。いま、「サルベージ」としてクリップのみを対象とし、エディットリストに適用しない場合を考える。この時、録画中にメモリカードが切り替わる際、以前のメモリカードに書き込まれるエディットリストを、以後のメモリカードにも書いておき、「サルベージ」処理の段階で、当該エディットリストの最終行をそれと共に記録されたクリップ名に書き換える。また、適切なclipEnd値を指定することで、全編エディットリストを復活させることができる。

次に、エディットリストを用いてクリップの再生を行う場合の処理例について説明する。ここでは、エディットリストが与えられた場合に、エディットリストに基づいて複数のＡＶ素材の指定区間を逐次再生する処理について述べる。この再生処理は、あるメモリカードに記録されたエディットリストを元に分割ファイルをつないで、元の長時間クリップを再構築することに相当する。なお、説明を簡単にするため、処理の対象となるエディットリストの仕様は上述したものに限定し、また指定区間が重複したり指定区間の間にギャップが生じたりといった状況は考慮しないものとする。

＜再生区間リスト＞
まず、エディットリストを用いて再生処理を行う撮像装置１が必要とするデータについて、図２１を参照して説明する。図２１は、図２に説明したクリップの例を参照して、撮像装置１が必要とするデータを模式的に示したもの、すなわち縦軸を再生区間、横軸を再生時間軸として、実データとして参照するクリップと再生対象区間をリストとして表したものである。ここでは、再生対象となるクリップへの参照をクリップ名にて、またその再生対象区間をクリップに対するイン点、アウト点のフレーム数で表現し、それらを再生時間軸上に列挙している。以下の説明では、このようなデータを再生区間リストと称する。

＜再生区間リストの処理＞
次に、再生区間リストの処理について、図２２を参照して説明する。図２２は、与えられたエディットリストに基づいて所定区間を逐次再生する場合の再生処理例について示すフローチャートである。

まず、指定されたエディットリストを再生区間リストに変換し、撮像装置１の内部で保持する。（ステップＳ１）ステップＳ１の詳細な処理例については後述する。次に、再生区間リストに列挙された項目に従って、クリップにアクセスする（ステップＳ２）。具体的には参照するクリップが格納されているファイルを開き、所定の再生区間の開始位置に読み出しポインタを進める等の処理を行う。

そして、所定の再生区間のクリップを読み出し、再生する（ステップＳ３）。所定の再生区間のクリップ再生が終了した後、次の再生区間があるかどうかを確認する（ステップＳ４）。再生区間がある場合、ステップＳ２へ戻って処理を繰り返す。再生すべき区間がない場合、処理を終了する。

＜再生区間リストへの変換処理＞
次に、エディットリストの再生区間リストへの変換処理の例について、図２３を参照して説明する。図２３は、図２２で説明したステップＳ１の処理（再生区間リストの生成処理）を、さらに詳細に説明したものである。

始めに、指定されたエディットリストが保存されたファイルを開く（ステップＳ１１）。そして、<video>要素を検出し、構文解析を行う（ステップＳ１２）。さらに、src属性の値を抽出し、参照するＡＶ素材の有無を確認する。参照するＡＶ素材が存在しなければ、再生することができないのでエラー報告をして処理を終了する（ステップＳ１３）。

ＡＶ素材が存在する場合、src属性で参照するＡＶ素材がクリップかエディットリストかを確認する（ステップＳ１４）。参照するＡＶ素材がエディットリストである場合、エディットリストを入力として図２３の処理フローを再帰的に呼び出して再生区間リストを生成し（ステップＳ２０）、ステップＳ１５に処理を移す。

参照するＡＶ素材がクリップである場合、参照するＡＶ素材（あるいはステップＳ２０で得られた再生区間リストの正味）の再生区間を指定するために、clipBegin属性値とclipEnd属性値を抽出する（ステップＳ１５）。また、再生時間軸上の再生開始位置を指定した値であるbegin属性値を抽出する（ステップＳ１６）。参照するＡＶ素材、あるいは、ステップＳ２０で得られた再生区間リストに対して、抽出したclipBegin属性値とclipEnd属性値による指定に基づいて、再生時間軸上での再生区間を決定する（ステップＳ１７）。

そして、決定された再生区間を再生区間リストへ追加する（ステップＳ１８）。そして、次の<video>要素の存在の有無を確認する（ステップＳ１９）。次の<video>要素が存在しない場合、全ての<video>要素が処理されたこととなるので、処理を終了する。次の<video>要素が存在する場合、未処理の<video>要素を処理するために、ステップＳ１２に処理を移し、以降の処理を繰り返す。

＜再生処理＞
あるエディットリストを再生する処理は、全編エディットリストでも中途エディットリストでも同様である。唯一の違いは、他のエディットリストを参照するか否かである。撮像装置１の再生処理は、一般的なＳＭＩＬの再生手順と何ら変わることないが、理解や参考のため、処理の流れを図２４のフローチャートを参照して説明する。処理の引数は、ファイル名と再生開始時刻である。

始めに、再生処理の初期動作を開始する（ステップＳ２１）。このとき、ユーザにより、再生すべきエディットリストが選択される。ここで、ＵＭＩＤで再生すべきエディットリストが指定された場合は、ＵＭＩＤを名前解決してファイル名を得る。そして、ファイル名と再生開始時刻＝０を引数にして、処理ルーチンを起動する。

次に、処理ルーチンの開始処理を行う（ステップＳ２２）。このとき、再生すべきファイルが見つからない場合は、ユーザにメモリカードのマウントを促し、メモリカードがマウントされるまで待機する。再生すべきファイルが見つかった場合、そのファイルを開き、引数の再生開始時刻まで、エディットリストを読み飛ばす。そして、読み飛ばした先のＵＭＩＤを名前解決してファイル名を得る。

次に、クリップの再生処理を行う（ステップＳ２３）。再生すべきクリップを格納したファイル見つからない場合は、ユーザにメモリカードのマウントを促し、メモリカードがマウントされるまで待機する。再生すべきクリップを格納したファイルが見つかった場合は、そのクリップのファイルを開く。そして、クリップに記録されている映像データの先頭と再生開始時刻が異なる場合、その差分だけ映像データを読み飛ばす。そして、再生モジュールがデータの受け入れを許すまで待ち、尺(clipEnd属性値からclipBegin属性値)を引数にして、再生モジュールを起動する。

次に、クリップ再生を終了する（ステップＳ２４）。このとき、撮像装置１は、クリップの読み出しが終わるまで待機する。ただし、クリップの読み出しは早いので再生は継続している。そして、エディットリストを一つ読み進み、次に再生するＵＭＩＤを求め、ファイル名を得る。さらに、次のエディットリスト又はクリップの再生開始時刻を、clipBegin属性値から計算して求める。次がエディットリストならステップＳ２２の処理に移る。次がクリップならステップＳ２３の処理に移る。次のエディットリスト又はクリップがない場合は、再生処理を終了する。

＜記録処理＞
次に、長時間クリップを分割して、複数のメモリカードに分割クリップとして記録する処理例について、図２５を参照して説明する。複数のメモリカードに亘る分割クリップを紐付けるため、エディットリストを用いている。ここで、エディットリストが使われる状況を仮定すると、予め全てのメモリカードの内容をサーバ等に取り込んだ後、逐次再生する場合と、メモリカードを取り替えながら、メモリカードを直接読み込んで逐次再生する場合とに大別できる。クリップ全体を知ることができるならば、複数の分割クリップをつなぎ合わせて元の長時間クリップとして扱う全編エディットリストが便利である。この場合、エディットリストには図３で説明したような、分割クリップを再生順に並べて記述する方式を採用する。ここで、それぞれの分割クリップは、それを特定する名称としてのＵＭＩＤを用いて参照されていることとする。

全編エディットリストは、録画終了時に確定するものである。このため、メモリカードインタフェースが二つあっても、録画に使うメモリカードが３枚以上になると、全編エディットリストを確定して書き込むことができない。そこで、最後のメモリカード以外には中途エディットリストを記録し、自身のクリップのＵＭＩＤの次の行に、次のメモリカードのエディットリストのＵＭＩＤを書き込んでおく。これより、所望のクリップは、間接参照によってアクセスすることができる。当然、そのエディットリストには、その次のエディットリストが書かれているので、それらを順に辿ることにより、最終クリップへ到達することができる。つまり、各メモリカードに書かれたエディットリストは、多段参照によって全て等しく元の長時間クリップを表したものになり、どのエディットリストから読み始めても元の長時間クリップ全編を再生することが可能となる。

ここで、撮像装置１の記録処理の例について説明する。クリップの記録中に、第１のメモリカードの残量がわずかとなり、第２のメモリカードに空き容量があって、かつ、ユーザ設定で連続記録が選ばれている場合に以下の処理が行われる。なお、第１のメモリカードに置かれた最初のクリップを第１のクリップとする。このとき、撮像装置１には、第１と第２のメモリカードが挿し込まれた状態である。

まず、記録を行い、第１のメモリカードの残量がわずかとなり、第２のメモリカードに空きがある場合、第１のメモリカードに書き込む第１のエディットリストのＵＭＩＤと、第２のメモリカードに書き込む第２のエディットリストのＵＭＩＤを決定する（ステップＳ３１）。なお、第２のメモリカードに置かれたクリップを第２のクリップとする。

そして、第１のクリップを閉じ、第２のクリップを第２のメモリカードに開き、録画を続ける。第１のクリップのＵＭＩＤと尺(clipEnd属性値からclipBegin属性値)、第２のエディットリストのＵＭＩＤを用い、第１のエディットリストを作り、第１のメモリカードに記録する（ステップＳ３２）。また、第１のエディットリストの内容は、撮像装置１のＲＡＭ３６に保存しておく。そして、第１のメモリカードを抜き、第３のメモリカードを挿しこむ。このとき、撮像装置１には、第２と第３のメモリカードが挿し込まれた状態にある。

引き続き記録を行い、第２のメモリカードの残量がわずかとなり、第３のメモリカードに空きがある場合、第２のメモリカードに書き込む第２のエディットリストのＵＭＩＤと、第３のメモリカードに書き込む第３のエディットリストのＵＭＩＤを決定する（ステップＳ３３）。

そして、第２のクリップを閉じ、第３のクリップを第３のメモリカードに開き、録画を続ける。第２のクリップのＵＭＩＤと尺、第３のエディットリストのＵＭＩＤを用い、第２のエディットリストを作り、第２のメモリカードに記録する（ステップＳ３４）。第２のエディットリストの内容は、撮像装置１のＲＡＭ３６に保存しておく。

そして、ユーザが操作部３９を操作し、録画を終了する（ステップＳ３５）。録画の終了が指示されたら、第３のクリップを閉じる。また、第２のエディットリストと第３のクリップのＵＭＩＤと尺、第３のエディットリストのＵＭＩＤを用い、第３のエディットリストを作り、第３のメモリカードに記録する（ステップＳ３６）。ここで、第３のエディットは、先述した全編エディットリストに他ならない。

以上説明した本実施の形態例では、汎用フォーマットでＡＶ素材が記録される任意のクリップ、ファイル等の参照情報を書き込んだエディットリストを生成することが可能となる。すなわち、エディットリストに基づいて、複数の分割クリップを連続して再生する機能をサポートしていた場合に、長時間クリップを分割して得られた分割クリップを元の長時間クリップとして再生することが、特別の処理を別途追加することなく可能となるという効果がある。また、エディットリストは、クリップ自体のファイルフォーマットに依存しておらず、さらにクリップのユーザ領域を用いた特別な処理や機能を追加しなくてもよい。このように、エディットリストを用いて汎用的にデータの記録、再生、編集処理を行うことで、特定の機種や機能に依存することなく、記録、再生、編集を行うことができるという効果がある。

また、本発明では、元の長時間クリップにおける各分割クリップの時間軸上の位置付けが、エディットリストの中に明示的に記述されている。すなわちClip-iの位置付けはEditList-i中のEditList-(i+1)を参照した<video>要素のclipBegin属性値からClip-iの時間長を減じた値に相当する。このため、複数のメモリカードに亘って長時間クリップが記録されていたとしても、メモリカードを撮像装置１に挿し込むと同時に、長時間クリップに対する分割クリップの時間軸上の位置付けが容易に判るようになるという効果がある。

また、エディットリストは、相互参照可能であり、互いのエディットリストの情報を引き継ぐことができる。このため、メディア毎、エディットリスト毎等でクリップを参照するために複雑な設定を行う必要がなくなるという効果がある。また、エディットリスト自体は、単なるデータの再生手順情報であるため、実際にデータが記録されているクリップ、ファイルに影響を及ぼさない。このため、エディットリストの書き換えは容易に行うことができるという効果がある。

また、本発明では、全てのエディットリストに分割ファイルへの参照情報が記述されるため、あるエディットリストが喪失した場合の耐性が著しく高まるという効果がある。特に最後の全編エディットリスト（EditList-n）は、他のエディットリストに依存しない完全な情報を有していることから、元の長時間クリップを再構成する場合には、単にEditList-nだけを処理対象にすればよく、実装が一層容易になるといった効果がある。

また、クリップの再生手順情報として、クリップの前後関係を参照できるような情報であるエディットリストを各々の分割クリップと共に書き込むようにしている。このため、再生時には、１つの分割クリップの再生が終了しても、次の分割クリップを連続して再生することができる。さらに、ランダムアクセス可能な媒体に記録してあるファイルであれば、必要な箇所だけをダイジェスト再生、例えば５秒単位、１０秒単位で再生シーンをつなげるといった再生を行うこともできる。もちろん分割クリップの再生順は、ユーザの好みに応じて並べ替えてもよい。

さらに本発明では、複数のメディアに分割して記録されたファイル、クリップ等を容易に編集することができる。この場合、編集機能を備えた撮像装置や、撮像装置から伝送されたデータを蓄積したサーバ上で編集が行われる。そして、エディットリストを用いることで複数の分割ファイルの前後関係を認識することが容易となるという効果がある。また、複数の分割ファイルとして長時間クリップが分割されていても論理的につなげて１つの長時間クリップとして認識することが容易となるという効果もある。

また、記録時において、長時間クリップが複数のメディアにまたがる場合であっても、複数の半導体メモリを半導体メモリインタフェースに挿し込んだままで、１つの半導体メモリの記憶容量が満杯になったら次の半導体メモリに書き込むようにすることができる。記録途中には、半導体メモリに対してエディットリスト（中途エディットリスト）を書き込んでいるため、元のクリップ全体に対する記録中のクリップの位置を確実に知ることができるという効果がある。

なお、エディットリストで指定したＵＭＩＤを、個別のＵＲＬに変換するようにしてもよい。このように変換することで、ユーザがどこにいてもインターネット経由でデータを取得し、視聴することが可能となり、利便性が向上するという効果がある。また、ストリーミング配信時においても、複数の分割クリップに対してエディットリストを付加することで、受信した分割クリップを元の長時間クリップに再構築することが容易となるという効果がある。

また、上述した実施の形態では、半導体メモリインタフェースを複数備えて、１つの半導体メモリの容量が満杯になったら、他の半導体メモリに取り替えてデータを書き込んでいくようにしたが、半導体メモリインタフェースを１つだけとしてもよい。この場合、撮像装置の内蔵メモリを多く確保することで、上述した実施の形態と同様にエディットリストを作成し、複数のクリップへの記録、編集を行うことができる。また、撮像装置に高速なネットワーク回線を接続することで記録するデータをネットワーク回線経由でサーバやコンピュータ装置に伝送するようにしてもよい。

また、上述した実施の形態に係る撮像装置は、取り外し可能な複数の記録媒体を用いて、映像と音声の記録と再生を行う場合に適用するようにしたが、その他の用途（例えば、監視カメラ）に用いても同様の機能、効果を得ることができることは言うまでもない。また、上述した実施の形態に係る撮像装置は、記録媒体として半導体メモリを用いるようにしたが、光ディスク、磁気ディスク等のその他の記録媒体を用いてデータを記録するようにしてもよい。あるいは、記録するデータは常時ネットワークでサーバ等に伝送するようにしてもよい。

１…撮像装置、２…撮像部、３…記録部、１１…光学部、１２…撮像部、１３…ビデオプロセッサ、１４…カメラコントローラ、１５…カメラコントローラインタフェース、１６…ビデオ信号圧縮部、１７…ビデオインタフェース、１８…ビデオプロセッサインタフェース、２０…データバス、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ビューファインダインタフェース、２５…ビューファインダ、２６…記録部インタフェース、３１…オーディオプロセッサ、３２…オーディオインタフェース、３３…オーディオプロセッサインタフェース、３４…ＣＰＵ、３５…ＲＯＭ、３６…ＲＡＭ、３７ａ，３７ｂ…半導体メモリ、３８ａ，３８ｂ…半導体メモリインタフェース、３９…操作部、４０…操作部インタフェース、４１…撮像部インタフェース、４２…コンピュータインタフェース、４３…液晶表示部インタフェース、４４…液晶表示部、４５…ネットワークインタフェース

Claims (11)

1. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材を作成し、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成する制御部と、
   前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
   前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録する記録部と、を備える記録装置。
2. 請求項１に記載の記録装置において、
   前記複数の分割素材全体に共通する情報は、前記素材の内容を表すタイトル又は前記素材の内容を説明する注釈である
   記録装置。
3. 請求項１又は２に記載の記録装置において、
   前記再生手順情報は、前記分割素材毎に再生開始を表す時刻情報及び再生終了を表す時刻情報を含む
   記録装置。
4. 請求項１〜３のいずれか１項に記載の記録装置において、
   前記再生手順情報は、前記分割素材毎に再生開始を表すフレーム番号及び再生終了を表すフレーム番号を含む
   記録装置。
5. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材を作成し、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成し、
   前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
   前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録する
   記録方法。
6. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材が作成され、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報が、前記分割素材の全てについて作成され、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報が、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成され、
   前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与される前記第１の再生手順情報が記録された記録媒体から前記第１の再生手順情報を再生する再生部と、
   前記再生部で前記記録媒体から読み出した前記第１の再生手順情報から前記第２の再生手順情報及び／又は前記第３の再生手順情報を参照して、前記記録媒体に記録された前記全ての分割素材の再生順序を制御する再生制御部とを備える
   再生装置。
7. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材が作成され、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報が、前記分割素材の全てについて作成され、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報が、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成され、
   前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与される前記第１の再生手順情報が記録された記録媒体から前記第１の再生手順情報を再生し、
   前記記録媒体から読み出した前記第１の再生手順情報から前記第２の再生手順情報及び／又は前記第３の再生手順情報を参照して、前記記録媒体に記録された前記全ての分割素材の再生順序を制御する
   再生方法。
8. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材を作成し、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成する記録制御部と、
   前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
   前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録し、記録された前記全ての分割素材及び前記第１の再生手順情報を再生する記録再生部と、
   前記記録媒体から読み出した前記第１の再生手順情報から前記第２の再生手順情報及び／又は前記第３の再生手順情報を参照して、前記記録媒体に記録された前記全ての分割素材の再生順序を制御する再生制御部とを備える
   記録再生装置。
9. 動画及び／又は音声の情報で構成される素材を複数に分割して分割素材を作成し、前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
   前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成し、
   前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
   作成された前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録し、
   記録された前記全ての分割素材及び前記第１の再生手順情報を再生し、
   前記記録媒体から読み出した前記第１の再生手順情報から前記第２の再生手順情報及び／又は前記第３の再生手順情報を参照して、前記記録媒体に記録された前記全ての分割素材の再生順序を制御する
   記録再生方法。
10. 被写体像を撮像して画像信号に変換する撮像部と、
    前記撮像部で撮像された前記画像信号で構成される素材を複数に分割して分割素材を作成し、
    前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
    前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成する制御部と、
    前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
    前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録する記録部と、を備える
    撮像記録装置。
11. 被写体像を撮像して画像信号を得、
    前記撮像により得た前記画像信号で構成される素材を複数に分割して分割素材を作成し、
    前記複数に分割された全ての分割素材の再生手順を含む再生手順情報を、前記分割素材の全てについて作成し、
    前記複数の分割素材のうち、記録対象となる第１の分割素材を直接参照する第１の再生手順情報を、前記第１の分割素材より前に再生される第２の分割素材及び／又は前記第１の分割素材より後に再生される第３の分割素材のそれぞれを直接参照する第２の再生手順情報及び／又は第３の再生手順情報を参照することによって作成する制御部と、
    前記第１の再生手順情報は、前記第２の再生手順情報及び／又は前記第３の再生手順情報を介して前記第２の分割素材及び／又は前記第３の分割素材を特定するための情報であり、前記複数の分割素材全体に共通する情報が付与され、
    前記全ての分割素材に対して、前記第１の再生手順情報を記録媒体に記録する
    撮像記録方法。

Images