JP5622167B2 - 動画撮像装置、撮影方法、及びプログラム - Google Patents

Description

本発明は、動画撮像装置、撮影方法、及びプログラムに関する。

従来、動画データを撮影記録する場合に、撮影して得られた各フレーム毎、あるいは複数フレーム単位で、画像圧縮処理を施してから動画ファイルとして記録している。この場合、各圧縮単位のデータサイズは、各圧縮単位に含まれる画像の内容に応じて異なるため、例えば、２００フレーム目の画像データを動画ファイルから読み込みたいような場合に、この動画ファイル内の２００フレーム目の画像データの記憶位置は不定であるため、各フレームの画像データがどの位置に記憶されているのかを示すインデックスデータが必要となる。

動画ファイル自体は、フラッシュメモリカードなどの低速大容量メモリに記憶したままでもよいが、このインデックスデータは、装置内蔵の高速メモリ上に作成（コピー）することで、動画の再生処理や編集処理におけるフレーム位置の特定を素早く行うようにする必要があり、そのような技術も知られている（例えば、特許文献１、２、３参照）。

また、指定された再生速度に応じて決められたサイズとなるように、各フレームにダミーデータを付加する技術が知られている（例えば、特許文献４参照）。

特開２００３−１８９２２８号公報 特開２００５−０８６３４４号公報 特開２００５−１４２７２５号公報 特開２００１−２６８５１３号公報

しかしながら、上述した従来技術においては、各フレームに素早くアクセスすることは可能であっても、最終的な動画ファイル毎にインデックスデータを作成しなければならず、録画中にワークメモリ上にそれぞれの動画ファイル毎にインデックスデータを作成するための一時記憶領域を必要し、メモリ容量を圧迫するという問題があった。また、複数の撮像系で同期撮影された複数の動画ファイルのそれぞれに応じたインデックスデータを付加しなければならず、再生時には、それぞれの動画ファイルに付加されたインデックスデータを展開する必要があり、メモリ容量の圧迫、処理の負担増となるという問題があった。

そこで本発明は、動画ファイルを構成するフレーム画像の位置を特定するためのインデックスデータを作成するための一時記録するワーク領域を不要とすることができ、かつインデックスデータ自体を不要とすることができる動画撮像装置、撮影方法、及びプログラムを提供することを目的とする。

上記目的達成のため、本発明による動画撮像装置は、撮像されたフレーム画像を圧縮して動画ファイルに記録する動画撮像装置であって、撮像手段により撮像された各フレーム画像を圧縮符号化する圧縮符号化手段と、他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得手段と、前記取得手段で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加手段と、前記ダミーデータ付加手段により必要に応じてダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成手段と、前記ファイル生成手段により生成された動画ファイルについて、前記圧縮符号化手段により圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成手段とを備えることを特徴とする。
また、本発明による撮影方法は、撮像機能を備えた動画撮像装置による撮影方法であって、前記撮像機能により逐次撮像される各フレーム画像を圧縮符号化する圧縮符号化処理と、他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得処理と、前記取得処理で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加処理と、必要に応じて前記ダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成処理と、前記ファイル生成処理により生成された前記動画ファイルについて、前記圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成処理とを実現することを特徴とする。
また、本発明によるプログラムは、撮像されたフレーム画像を圧縮して動画ファイルに記録する動画撮像装置を制御するコンピュータに、撮像機能により逐次撮像される各フレーム画像を圧縮符号化する圧縮符号化機能、他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得機能、前記取得機能で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加機能、必要に応じて前記ダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成機能、前記ファイル生成機能により生成された前記動画ファイルについて、前記圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成機能を実現することを特徴とする。

この発明によれば、複数の撮像系で同期撮影された複数の動画ファイルを構成するフレーム画像の位置を特定するためのインデックスデータを作成するための一時記録するワーク領域を少なくすることができ、また、複数の動画ファイルでインデックスデータを共通化することができるという利点が得られる。

本発明の第１実施形態による動画撮像装置の構成を示すブロック図である。 本第１実施形態による動画撮像装置の動作を説明するためのフローチャートである。 本第１実施形態による動画撮像装置で生成される動画ファイルのフレーム構成を示す概念図である。 本第２実施形態による動作撮像装置の構成を示すブロック図である。 本第２実施形態による動画撮像装置（第１の動画撮像装置１ａ、または第２の動画撮像装置１ｂ）の動作を説明するためのフローチャートである。 本第２実施形態による動画撮像装置の再生処理の動作を説明するためのフローチャートである。 本発明の変形例として、ＧＯＰ（Group Of Pictures）単位で圧縮処理を施す場合の動画ファイルのフレームデータ構成を示す概念図である。

以下、本発明の実施の形態を、図面を参照して説明する。
本発明は、多視点カメラ（監視カメラなど）、３Ｄ撮像カメラなどに適用可能な動画撮像装置に関し、複数の撮像系で同期撮影した映像から、それぞれの動画ファイルを作成し、再生時には、それぞれの動画ファイルをフレーム同期させて再生するものである。なお、以下では、動画撮像装置１には、２系統の撮像系について説明しているが、これに限らず、それ以上の複数の撮像系であってよい。

Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態による動画撮像装置の構成を示すブロック図である。なお、図示する構成は、本発明に係る主要構成のみを示しており、その他のメモリや、キー入力部、表示部等については省略している。図において、動画撮像装置１は、撮像部２ａ、２ｂ、ＴＧ（タイミングジェネレータ）３、ＣＰＵ４、及び記録媒体１０を備えている。撮像部２ａ、２ｂは、ＴＧ３の制御に従って、同期して１フレーム単位で撮像する。ＴＧ３は、ＣＰＵ４の制御に従って、撮像部２ａ、２ｂを同期駆動する。

ＣＰＵ４は、所定のプログラムに従って動作する。特に、本第１実施形態では、ＣＰＵ４は、エンコード部５ａ、５ｂ、フレームサイズ調整部６、ダミー付加部７ａ、７ｂ、ファイル化部８ａ、８ｂ、インデックス作成部９の処理を実現する。エンコード部５ａは、一方の撮像系である撮像部２ａからの画像データを１フレーム単位でエンコード（符号化）し、フレームサイズ調整部６に供給する。エンコード部５ｂは、他方の撮像系である撮像部２ｂからの画像データを１フレーム単位でエンコード（符号化）し、フレームサイズ調整部６に供給する。

フレームサイズ調整部６は、一方の撮像系であるエンコード部５ａからのフレームサイズと他方の撮像系であるエンコード部５ｂからのフレームサイズとを比較し、双方のフレームサイズが同一であるか否かを判定し、双方のフレームサイズが異なる場合には、双方のフレームサイズの差分を算出し、フレームサイズが小さい方の撮像系に対する、ダミー付加部（ダミー付加部７ａ、またはダミー付加部７ｂ）に上記差分を指示する。

ダミー付加部７ａは、フレームサイズ調整部６から差分が指示されると、当該撮像系のフレームの画像データに差分に対応するダミーデータを付加し、エンコード部５ｂのフレームサイズと同一サイズとする。フレームサイズ調整部６から差分が指示されない場合には、エンコード部５ａからの符号化された画像データにダミーデータを付加することなく、ファイル化部８ａに供給する。

ダミー付加部７ｂは、ダミー付加部７ａと同様に、フレームサイズ調整部６から差分が指示されると、エンコード部５ｂからの符号化された画像データに差分に対応するダミーデータを付加し、エンコード部５ａ側のフレームサイズと同一サイズとする。フレームサイズ調整部６から差分が指示されない場合には、エンコード部５ｂからの符号化された画像データにダミーデータを付加することなく、ファイル化部８ｂに供給する。

ファイル化部８ａは、記憶媒体１０の所定領域を用いて、一方の撮像系の動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルに、グループとそれぞれの撮像系を識別するファイル名とフレームインデックスとを付けて保存し、動画ファイルを生成する。

ファイル化部８ｂは、記憶媒体１０の所定領域を用いて、他方の撮像系側の動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルにグループとそれぞれの撮像系を識別するファイル名とフレームインデックスとを付けて保存し、動画ファイルを生成する。

インデックス作成部９は、動画撮影中、記憶媒体１０の所定領域を用いて、フレーム単位で、各フレームのフレーム位置を特定するためのインデックスデータに追加記録することで、最終的に、それぞれの撮像系の動画ファイルに付加する共用可能なインデックスデータを１つ作成する。記憶媒体１０は、動画撮像中にファイル化部８で作成される動画ファイルや、インデックス作成部９で作成されるインデックスデータを保持する。

本第１実施形態では、一方の撮像系（例えば、符号の添え字に「ａ」を付けた側）と他方の撮像系（例えば、符号の添え字に「ｂ」を付けた側）とでは、同一タイミングで撮像した各フレームサイズ同士が同一サイズとなるとともに（異なるフレームは同一サイズとは限らない）、動画ファイル自体のサイズも同一となる。フレームサイズの例については後述する。

つまり、双方の動画ファイルにおいて、同一タイミングで撮像された各フレーム同士のサイズは、ファイル先頭から末尾まで全て同一となるので、一方の動画ファイルに対応したインデックスデータから、その動画ファイル内の任意のフレーム番号のフレーム位置を一意に特定することができるのはもちろんのこと、同じインデックスデータから他方の動画ファイル内の任意のフレーム番号のフレーム位置についても一意に特定することができる。このため、動画撮影中に、記憶媒体１０の所定領域を用いてインデックスデータを作成する際には、１つのインデックスデータを作成すればよく、インデックスデータを作成するための一時記録するワーク領域を少なくすることができる。なお、ダミーデータは、フレームデータのデコードなど、再生処理に影響しないデータとする。

なお、第１実施形態においては、少なくとも２つの撮像部２ａ、２ｂを備えていればよく、その他の、エンコード部５ａ、５ｂ、ダミー付加部７ａ、７ｂ、ファイル化部８ａ、８ｂを１つにまとめてもよい。

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
図２は、本第１実施形態による動画撮像装置の動作を説明するためのフローチャートである。また、図３は、本第１実施形態による動画撮像装置で生成される動画ファイルのフレーム構成を示す概念図である。

まず、ＣＰＵ４は、撮像タイミングか否かを判断し（ステップＳ１０）、撮像タイミングになると、撮像部２ａ、２ｂの双方で撮像を行って、それぞれから１フレーム分の画像データを取得する（ステップＳ１２）。次に、取得した双方の画像データを、エンコード部５ａ、５ｂで圧縮符号化し（ステップＳ１４）、フレームサイズ調整部６で双方のフレームサイズが同じであるか否かを判断する（ステップＳ１６）。そして、双方のフレームサイズが同一サイズである場合には、ダミーデータを付加することなく、次のステップＳ２２に進む。

一方、双方のフレームサイズが同一サイズでない場合には、フレームサイズ調整部６により、双方の撮像系のフレームサイズの差分を算出し（ステップＳ１８）、ダミー付加部７ａまたは７ｂで、フレームサイズが小さい方の撮像系のフレームに、上記差分に対応するサイズのダミーデータを付加し、大きい方のフレームサイズに合わせ、双方のフレームサイズを同一にする（ステップＳ２０）。

ダミーデータの付加後、あるいは、双方のフレームサイズが同一サイズである場合（ステップＳ１６のＹＥＳ）、ファイル化部８ａ、８ｂで、記録媒体１０に記憶されている、双方の撮像系に対応する動画ファイルの末尾に、現在のフレームデータを追加記録する（ステップＳ２２）。次に、インデックス作成部９で、現在のフレームの記録位置を、記録媒体１０上のインデックスデータに追加する（ステップＳ２４）。

前述したように、双方の動画ファイルにおいて、同一タイミングで撮像された各フレーム同士のサイズは、ファイル先頭から末尾まで全て同一となるので、フレーム位置を特定するためのインデックスデータを共通化することが可能となる。従って、動画撮影中に、記憶媒体１０の所定領域（ワークエリア）を用いてインデックスデータを作成する際には、１つのインデックスデータを作成すればよい。

次に、動画撮像を継続するか否か、すなわち、動画撮像が停止されたか否かを判断し（ステップＳ２６）、継続する場合には、ステップＳ１０に戻り、上述した処理を繰り返す。一方、継続しない場合には、ファイル化部８ａ、８ｂで生成された双方の動画ファイルに対して、インデックス作成部９で記憶媒体１０の所定領域（ワークエリア）に作成されたインデックスデータを付加する（ステップＳ２８）。すなわち、インデックス作成部９で作成された１つのインデックスデータを複製し、双方の動画ファイルに付加する。

次に、同期した撮影を行ったグループであることを示し（例えば、「温泉旅行」）、かつ、それぞれの撮像系を識別する（例えば、「カメラ１」、「カメラ２」）ことができるようなファイル名（例えば、「温泉旅行カメラ１」、「温泉旅行カメラ２」）を付加して保存する（ステップＳ３０）。

この結果、例えば、図３に示すように、左側に示す、撮像部２ａ、エンコード部５ａ、ダミー付加部６ａ、ファイル化部７ａ側の撮像系で生成された動画ファイルＡ、右側に示す、撮像部２ｂ、エンコード部５ｂ、ダミー付加部６ｂ、ファイル化部７ｂ側の撮像系で生成された動画ファイルＢが生成される。

動画ファイルＡでは、フレームデータ［１］、［４］にダミーデータ［１］、［４］が付加され、動画ファイルＢでは、フレームデータ［２］、［ｎ］にダミーデータ［２］、［ｎ］が付加されている。なお、フレームデータ［３］は、双方とも同じサイズであるのでダミーデータが付加されていない。

この結果、双方の動画ファイルＡ、Ｂでは、フレームデータ［１］同士、フレームデータ［２］同士、フレーム［３］同士、フレーム［４］同士、…、フレーム［ｎ］同士のサイズが同一サイズになる。各フレーム位置は、双方の動画ファイルＡ、Ｂにおいてファイル先頭から末尾まで全て同一であるので、フレーム位置を特定するためのインデックスデータが１つであっても、双方の動画ファイル内の任意のフレーム番号のフレーム位置を一意に特定することができる。

本第１実施形態によれば、双方の動画ファイルＡ、Ｂにおいて、同一タイミングで撮像された互いの各フレーム（同一のフレーム番号のフレーム）のファイル先頭からの位置を同一にすることができるため、録画処理において、１つのインデックスデータだけを作成すればよく、該インデックスデータを作成するための一時記録するワーク領域を少なくしてメモリを効率的に使用することが可能となり、かつ複数の撮像系で同期撮影された複数の動画ファイルのインデックスデータを共通化することが可能となる。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
上述した第１実施形態では、１つの動画撮像装置に２つの撮像系を備えていた。これに対して、本第２実施形態は、複数の動画撮像装置を用い、これらを同期させて動作させることで動画ファイルを生成する。なお、以下の説明では、２つの動画撮像装置を用いた場合について説明する。

Ｂ−１．第２実施形態の構成
図４は、本第２実施形態による動作撮像装置の構成を示すブロック図である。なお、図示する構成は、本発明に係る主要構成のみを示しており、その他のメモリや、キー入力部、表示部等については省略している。本第２実施形態では、上述したように、第１の動画撮像装置１ａと第２の動画撮像装置１ｂとを用いる。第１の動画撮像装置１ａは、撮像部２ａ、ＴＧ（タイミングジェネレータ）３ａ、ＣＰＵ４ａ、記録媒体１０ａ、及び通信部１１ａを備えている。撮像部２ａは、ＴＧ３ａの制御に従って１フレーム単位で撮像する。ＴＧ３ａは、ＣＰＵ４ａの制御に従って、撮像部２ａを駆動する。

ＣＰＵ４ａは、所定のプログラムに従って動作する。特に、本第２実施形態では、ＣＰＵ４ａは、エンコード部５ａ、フレームサイズ調整部６ａ、ダミー付加部７ａ、ファイル化部８ａ、インデックス作成部９ａの処理を実現する。エンコード部５ａは、当該撮像系の撮像部２ａからの画像データを１フレーム単位でエンコード（符号化）し、フレームサイズ調整部６ａに供給する。

フレームサイズ調整部６ａは、エンコード部５ａからのフレームサイズと、通信によって取得した第２の動画撮像装置１ｂで同一タイミングで撮像されたフレームサイズとを比較し、双方のフレームサイズが同一であるか否かを判定し、双方のフレームサイズが異なる場合には、双方のフレームサイズの差分を算出し、当該撮像系のフレームサイズが小さい場合に、ダミー付加部７ａに上記差分を指示する。

ダミー付加部７ａは、フレームサイズ調整部６ａから差分が指示されると、当該撮像系のフレームの画像データに差分に対応するダミーデータを付加し、第２の動画撮像装置１ｂで同一タイミングで撮像されたフレームサイズと同一サイズとする。フレームサイズ調整部６ａから差分が指示されない場合には、エンコード部５ａからの符号化された画像データにダミーデータを付加することなく、ファイル化部８ａに供給する。

ファイル化部８ａは、記憶媒体１０ａの所定領域を用いて、当該第１の動画撮像装置１ａ側の動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルに、グループとそれぞれの撮像系を識別するファイル名とフレームインデックスとを付けて保存し、動画ファイルを生成する。

インデックス作成部９ａは、動画撮影中、記憶媒体１０ａの所定領域を用いて、フレーム単位で、各フレームのフレーム位置を特定するためのインデックスデータに追加記録することで、最終的に、当該第１の動画撮像装置１ａ側の動画ファイルに付加する、第２の動画撮像装置１ｂ側と共用可能なインデックスデータを１つ作成する。記憶媒体１０ａは、動画撮像中にファイル化部８ａで作成される動画ファイルや、インデックス作成部９ａで作成されるインデックスデータを逐次保持する。

通信部１１ａは、他方の第２の動画撮像装置１ｂと同期して動作するように、互いに同期信号を送受信する。つまり、ＣＰＵ４ａは、通信部１１ａにより受信される同期信号に従って、ＴＧ３ａを制御して撮像部２ａによる撮像動作と、第２の動画撮像装置１ｂ側の撮像動作とを同期させるようになっている。なお、通信部１１ａによる通信は、有線、無線（電波、光通信など）のいずれでもよい。

第２の動画撮像装置１ｂは、撮像部２ｂ、ＴＧ（タイミングジェネレータ）３ｂ、ＣＰＵ４ｂ、記録媒体１０ｂ、及び通信部１１ｂを備えている。撮像部２ｂは、ＴＧ３ｂの制御に従って１フレーム単位で撮像する。ＴＧ３ｂは、ＣＰＵ４ｂの制御に従って、撮像部２ｂを駆動する。

ＣＰＵ４ｂは、所定のプログラムに従って動作する。特に、本第２実施形態では、ＣＰＵ４ｂは、上述した第１の動画撮像装置１ａと同様に、エンコード部５ｂ、フレームサイズ調整部６ｂ、ダミー付加部７ｂ、ファイル化部８ｂ、インデックス作成部９ｂの処理を実現する。エンコード部５ｂは、本撮像系である撮像部２ｂからの画像データを１フレーム単位でエンコード（符号化）し、ダミー付加部６ｂに供給する。

フレームサイズ調整部６ｂは、エンコード部５ｂからのフレームサイズと、通信によって取得した第１の動画撮像装置１ａで同一タイミングで撮像されたフレームサイズとを比較し、双方のフレームサイズが同一であるか否かを判定し、双方のフレームサイズが異なる場合には、双方のフレームサイズの差分を算出し、当該撮像系のフレームサイズが小さい場合に、ダミー付加部７ｂに上記差分を指示する。

ダミー付加部７ｂは、フレームサイズ調整部６ｂから差分が指示されると、当該撮像系のフレームの画像データに差分に対応するダミーデータを付加し、第１の動画撮像装置１ａで同一タイミングで撮像されたフレームサイズと同一サイズとする。フレームサイズ調整部６ｂから差分が指示されない場合には、エンコード部５ｂからの符号化された画像データにダミーデータを付加することなく、ファイル化部８ｂに供給する。

ファイル化部８ｂは、記憶媒体１０ｂの所定領域を用いて、当該第２の動画撮像装置１ｂ側の動画ファイルの末尾に、現在のフレームデータを追加記録し、最終的に、生成された動画ファイルに、グループとそれぞれの撮像系を識別するファイル名とフレームインデックスとを付けて保存し、動画ファイルを生成する。

インデックス作成部９ｂは、動画撮影中、記憶媒体１０ｂの所定領域を用いて、フレーム単位で、各フレームのフレーム位置を特定するためのインデックスデータに追加記録することで、最終的に、当該第２の動画撮像装置１ｂ側の動画ファイルに付加する、第１の動画撮像装置１ａ側と共用可能なインデックスデータを１つ作成する。記憶媒体１０ｂは、動画撮像中にファイル化部８ｂで作成される動画ファイルや、インデックス作成部９ｂで作成されるインデックスデータを逐次保持する。

通信部１１ｂは、第１の動画撮像装置１ａと同期して動作するように、互いに同期信号を送受信する。つまり、ＣＰＵ４ｂは、通信部１１ｂにより受信される同期信号に従って、ＴＧ３ｂを制御して撮像部２ｂによる撮像動作と、第１の動画撮像装置１ａ側の撮像動作とを同期させるようになっている。なお、通信部１１ｂによる通信は、有線、無線（電波、光通信など）のいずれでもよい。

本第２実施形態においても、上述した第１実施形態と同様に、第１の動画撮像装置１ａと第２の動画撮像装置１ｂとでは、同一タイミングで撮像した各フレームサイズ同士が同一サイズとなるとともに（異なるフレームは同一サイズとは限らない）、動画ファイル自体のサイズも同一となる。

つまり、双方の動画ファイルにおいて、同一タイミングで撮像された互いの各フレーム（同一のフレーム番号のフレーム）のファイル先頭からの位置が同一となるので、一方の動画ファイルに対応したインデックスデータから、その動画ファイル内の任意のフレーム番号のフレーム位置を一意に特定することができるのはもちろんのこと、同じインデックスデータから他方の動画ファイル内の任意のフレーム番号のフレーム位置についても一意に特定することができる。この結果、インデックスデータを作成するための一時記録するワーク領域を少なくすることができる。なお、ダミーデータは、フレームデータのデコードなど、再生処理に影響しないデータとする。

Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態の動作について説明する。
図５は、本第２実施形態による動画撮像装置（第１の動画撮像装置１ａ、または第２の動画撮像装置１ｂ）の動作を説明するためのフローチャートである。図５に示すフローチャートは、第１の動画撮像装置１ａ、または第２の動画撮像装置１ｂのそれぞれでの動作を説明している。すなわち、第１の動画撮像装置１ａ、及び第２の動画撮像装置１ｂの双方で、図５に示すフローチャートが実行される。以下の説明では、第１の動画撮像装置１ａでの動作として説明する。

まず、ＣＰＵ４ａでは、通信部１１ａにより、第２の動画撮影装置１ｂの通信部１１ｂと互いに同期信号を送受信することで、第２の動画撮影装置１ｂと同期した撮像タイミングが到来したか否かを判断し（ステップＳ４０）、撮像タイミングになると、撮像部２ａで撮像を行って、１フレーム分の画像データを取得する（ステップＳ４２）。次に、取得した画像データを、エンコード部５ａで圧縮符号化し（ステップＳ４４）、圧縮符号化した後のフレームサイズを、通信部１１ａにより、第２の動画撮影装置１ｂに通知する（ステップＳ４６）。

次に、ＣＰＵ４ａは、通信部１１ａにより、第２の動画撮影装置１ｂで圧縮符号化されたフレームサイズを取得し（ステップＳ４８）、フレームサイズ調整部６ａで、双方のフレームサイズが同じであるか否かを判断する（ステップＳ５０）。そして、双方のフレームサイズが同一サイズである場合には、ダミーデータを付加することなく、次のステップＳ５８に進む。

一方、双方のフレームサイズが同一サイズでない場合には、フレームサイズ調整部６ａにより、当該撮像系（第１の動画撮影装置１ａ）のフレームサイズの方が大きいか否かを判断し（ステップＳ５２）、当該撮像系（第１の動画撮影装置１ａ）のフレームサイズの方が大きい場合には、ダミーデータを付加することなく、次のステップＳ５８に進む。

一方、当該撮像系（第１の動画撮影装置１ａ）のフレームサイズの方が小さい場合には、フレームサイズ調整部６ａにより、双方のフレームサイズの差分を算出し（ステップＳ５４）、ダミー付加部７ａで、当該撮像系のフレームに、上記差分に対応するサイズのダミーデータを付加し、大きい方のフレームサイズに合わせ、双方のフレームサイズを同一にする（ステップＳ５６）。

なお、図５に示すフローチャートのステップＳ５０〜５４では、２つ以上の動画撮影装置での動作を想定し、複数の撮像系のうち、フレームサイズが最大となったフレームを基準とし、それより小さいサイズのフレームに、最大のフレームサイズとの差分に対応するダミーデータを付加するとして説明している。

ダミーデータの付加後、あるいは、双方のフレームサイズが同一サイズである場合（ステップＳ５０のＹＥＳ）、あるいは、当該撮像系（第１の動画撮影装置１ａ）のフレームサイズの方が大きい場合（ステップＳ５２のＹＥＳ）には、ファイル化部８ａで、記録媒体１０ａに記憶されている、当該撮像系に対応する動画ファイルの末尾に、現在のフレームデータを追加記録する（ステップＳ５８）。次に、インデックス作成部９ａで、現在のフレームの記録位置を、記録媒体１０上のインデックスデータに追加する（ステップＳ６０）。

次に、動画撮像を継続するか否か、すなわち、動画撮像が停止されたか否かを判断し（ステップＳ６２）、継続する場合には、ステップＳ４０に戻り、上述した処理を繰り返す。一方、継続しない場合には、ファイル化部８ａで生成された動画ファイルに対して、インデックス作成部９ａで記憶媒体１０ａの所定領域（ワークエリア）に作成されたインデックスデータを付加し（ステップＳ６４）、同期した撮影を行ったグループであることを示し（例えば、「温泉旅行」）、かつ、それぞれの撮像系を識別する（例えば、「カメラ１」、「カメラ２」）ことができるようなファイル名（例えば、「温泉旅行カメラ１」、「温泉旅行カメラ２」）を付加して保存する（ステップＳ６６）。なお、第１、第２の動画撮像装置１ａ、１ｂで作成した動画ファイルは、後述する再生処理（または編集処理）を行う装置に転送して保存しておくこととする。

図６は、本第２実施形態による動画撮像装置の再生処理の動作を説明するためのフローチャートである。なお、以下の再生処理は、主にＣＰＵ４ａ、またはＣＰＵ４ｂなどが実行するソフトウエアにより実行されるが、必要に応じてハードウエアにより実現してもよい。まず、再生対象となるグループを選択し（ステップＳ７０）、選択されたグループに含まれる複数の動画ファイル（第１、第２実施形態では２つの動画ファイル）を取得する（ステップＳ７２）。次に、いずれか１つの動画ファイルからインデックスデータを取得し（ステップＳ７４）、再生開始フレーム番号、またはジャンプ先のフレーム番号を入力し（ステップＳ７６）、入力されたフレーム番号に対応するフレームデータの記録位置を、インデックスデータを用いて算出して特定する（ステップＳ７８：特定手段）。なお、フレームデータの記録位置の算出は、ファイル先頭位置＋フレームサイズ×フレーム番号となる。

次に、特定された記録位置のフレームデータを、各動画ファイル内から読み出し（ステップＳ８０）、読み出された各フレームデータを同時再生し（ステップＳ８２：同期再生手段）、再生終了であるか否かを判断し（ステップＳ８４）、再生終了でなければ、次のフレーム番号に対応するフレームデータの記録位置を、インデックスデータを用いて算出して特定し（ステップＳ８６）、ステップＳ７０に戻り、各動画ファイルの同時再生を繰り返す。一方、再生終了の場合には当該処理を終了する。

なお、上述した再生処理は、第１実施形態、第２実施形態のいずれの撮像処理で生成された動画ファイルでも共通に実行可能である。また、上述した再生処理は、動画ファイルを編集する場合にも同様に適用可能である。

上述した第２実施形態によれば、録画処理において、同時撮像された複数の動画ファイルにおいて、同一タイミングで撮像された互いの各フレームのファイル先頭からの位置が同一であるので、インデックスデータを共通化することができる。

また、再生処理（または編集処理）では、同時撮像された複数の動画ファイルにおいて、同一タイミングで撮像された互いの各フレームのファイル先頭からの位置が同一であるので、各フレームの位置を、１つのインデックスデータから取得することができるため、１つのインデックスデータだけをメモリ上に展開すれば、動画の再生処理、または編集処理を行うことができる。この結果、再生処理（または編集処理）において、メモリを効率的に使用することが可能となる。

Ｃ．変形例
次に、本発明の変形例について説明する。
前述した第１、第２実施形態では、Ｍｏｔｉｏｎ ＪＰＥＧ（モーションジェイペグ）などの、１フレーム毎に同じ圧縮処理を施す動画記録処理の場合で説明したが、ＭＰＥＧ１、２などのように、ＧＯＰ（Group Of Pictures）単位で圧縮処理を施す動画記録処理に適用してもよい。また、ＭＰＥＧ４などのＧＯＶ（Group of Video Object
Plane）単位で圧縮処理を施す場合でも同様であり、それらの場合のダミーデータの挿入例を変形例として示す。

図７（ａ）、（ｂ）、（ｃ）は、本発明の変形例として、ＧＯＰ単位で圧縮処理を施す場合の動画ファイルのフレームデータ構成を示す概念図である。ＧＯＰ単位で圧縮処理を施す場合、図７（ａ）、（ｂ）、（ｃ）に示すように、圧縮グループ毎に、独立（基本）フレームデータと複数の従属（差分）フレームデータとから構成されている。

図７（ａ）に示す例では、独立フレームデータ、及び複数の従属フレームデータのフレームサイズを、全て同じフレームサイズとしている。この結果、圧縮グループ同士も同じサイズとなる。この場合、第ｎフレームにアクセスする場合、（ｎ／グループ内のフレーム数の商）×グループサイズ＋（ｎ／グループ内のフレーム数の余り）×フレームサイズで計算できる。

また、図７（ｂ）に示す例では、各圧縮グループの独立フレームデータのフレームサイズを同一とし、各圧縮グループの従属フレームデータのフレームサイズを同一としている。これは一般に独立フレームデータの方が従属フレームデータに比べ、データサイズが大きくなる傾向にあることを考慮したためである。この結果、圧縮グループ同士も同じサイズとなる。この場合、第ｎフレームにアクセスする場合、（ｎ／グループ内のフレーム数の商）×グループサイズ＋独立フレームサイズ＋（ｎ／グループ内のフレーム数の余り−１）×従属フレームサイズで計算できる。

また、図７（ｃ）に示す例では、各圧縮グループの独立フレームデータ、従属フレームデータのフレームサイズを、ダミーデータを付加することなく、符号化圧縮後のままとし、最終的な圧縮グループ単位でダミーデータを付加して圧縮グループのサイズを同一としている。この場合、第ｎフレームにアクセスする場合、（ｎ／グループ内のフレーム数の商）×グループサイズ＋当該グループ内のフレーム位置（当該グループ内のインデックスデータを利用）で計算できる。

なお、上述した第１、第２実施形態において、動画撮像装置としては、デジタルカメラや、デジタルビデオカメラ、携帯電話などの動画撮像機能を有するものであれば、どのような装置であっても構わない。

１、１ａ、１ｂ 動画撮像装置
２ａ、２ｂ 撮像部
３、３ａ、３ｂ ＴＧ
４、４ａ、４ｂ ＣＰＵ
５ａ、５ｂ エンコード部
６ａ、６ｂ ダミー付加部
７ａ、７ｂ ファイル化部
８、８ａ、８ｂ 記録媒体

Claims (13)

1. 撮像されたフレーム画像を圧縮して動画ファイルに記録する動画撮像装置であって、
   撮像手段により撮像された各フレーム画像を圧縮符号化する圧縮符号化手段と、
   他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得手段と、
   前記取得手段で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加手段と、
   前記ダミーデータ付加手段により必要に応じてダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成手段と、
   前記ファイル生成手段により生成された動画ファイルについて、前記圧縮符号化手段により圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成手段と
   を備えることを特徴とする動画撮像装置。
2. 動画撮影における各フレームの撮像タイミングでフレーム画像を撮像する撮像手段を更に備え、
   前記圧縮符号化手段は、前記撮像手段により逐次撮像される各フレーム画像を圧縮符号化し、
   前記取得手段は、他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを通信手段により送受信して取得し、
   前記ファイル生成手段は、前記ダミーデータ付加手段により必要に応じてダミーデータが付加された各フレーム画像を逐次記録し、
   前記インデックスデータ作成手段は、前記ファイル生成手段による動画ファイル生成中、前記圧縮符号化手段により圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータを作成する
   ことを特徴とする請求項１に記載の動画撮像装置。
3. 前記インデックスデータ作成手段により前記複数の動画ファイルに共通して作成された１つのインデックスデータを複製し、この複製されたインデックスデータを各動画ファイルに付加して記録するインデックス付加手段を更に備えたことを特徴とする請求項１または２に記載の動画撮像装置。
4. 前記ファイル生成手段により生成されるとともに前記インデックス付加手段によりインデックスが付加された複数の動画ファイルのうちの１つの動画ファイルに付加されているインデックスデータを用いて、これら複数の動画ファイルの全てのフレーム画像の各動画ファイルの先頭からの記録位置を特定する特定手段を更に備えたことを特徴とする請求項３に記載の動画撮像装置。
5. 前記ファイル生成手段により生成されるとともに前記インデックス付加手段によりインデックスが付加された複数の動画ファイルを同期させて再生する際に、各動画ファイルに含まれ、同じタイミングで再生する複数のフレーム画像の各動画ファイルの先頭からの記録位置を前記特定手段により特定しながら再生する同期再生手段を更に備えたことを特徴とする請求項４に記載の動画撮像装置。
6. 前記他の動画撮像装置により同一の撮像タイミングで撮像され、前記圧縮符号化手段により圧縮符号化された各フレーム画像の圧縮後サイズのうち、最大サイズを特定する最大サイズ特定手段を更に備え、
   前記ダミーデータ付加手段は、
   前記最大サイズ特定手段により特定された最大サイズよりも小さいサイズのフレーム画像に対してダミーデータを付加し、前記他の動画撮像装置により同一の撮像タイミングで撮像されたフレーム画像同士でサイズを同一とする
   ことを特徴とする請求項１ないし５のいずれかに記載の動画撮像装置。
7. 前記最大サイズ特定手段は、前記取得手段で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズに基づいて、全ての動画撮像装置の圧縮符号化された各フレーム画像の圧縮後サイズうち、最大サイズを特定し、
   前記ダミーデータ付加手段は、
   前記圧縮符号化手段により圧縮符号化された各フレーム画像の圧縮後サイズが前記最大サイズ特定手段により特定された最大サイズよりも小さい場合、該最大サイズとなるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加する
   ことを特徴とする請求項６に記載の動画撮像装置。
8. 前記最大サイズ特定手段により特定された最大サイズと前記圧縮符号化手段により圧縮符号化された各フレーム画像の圧縮後サイズとの差分を算出する差分算出手段を更に備え、
   前記ダミーデータ付加手段は、
   前記圧縮符号化手段により圧縮符号化された各フレーム画像の圧縮後サイズが前記最大サイズ特定手段により特定された最大サイズよりも小さい場合、前記差分算出手段により算出された差分に応じたサイズのダミーデータを、前記圧縮符号化されたフレーム画像に対して付加する
   ことを特徴とする請求項６または７に記載の動画撮像装置。
9. 前記通信手段により他の動画撮像装置との間で送受信されるタイミング情報に基づいて、前記撮像手段、前記圧縮符号化手段、前記ダミーデータ付加手段、前記ファイル生成手段、及びインデックスデータ作成手段を、前記他の動画撮像装置と同期させて動作させる同期制御手段を更に具備する
   ことを特徴とする請求項２に記載の動画撮像装置。
10. 前記他の動画撮像装置は、
    立体画像を撮影するために自装置とともに２つの視点位置に設けられた動画撮像装置であることを特徴とする請求項１ないし９のいずれかに記載の動画撮像装置。
11. 前記ダミーデータ付加手段は、
    前記圧縮符号化手段により複数のフレーム画像をグループ化して圧縮を行う場合に、各圧縮グループ毎にグループサイズを共通化するようにダミーデータを付加する
    ことを特徴とする請求項１ないし１０のいずれかに記載の動画撮像装置。
12. 撮像機能を備えた動画撮像装置による撮影方法であって、
    前記撮像機能により逐次撮像される各フレーム画像を圧縮符号化する圧縮符号化処理と、
    他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得処理と、
    前記取得処理で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加処理と、
    必要に応じて前記ダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成処理と、
    前記ファイル生成処理により生成された前記動画ファイルについて、前記圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成処理と
    を実現することを特徴とする撮影方法。
13. 撮像されたフレーム画像を圧縮して動画ファイルに記録する動画撮像装置を制御するコンピュータに、
    撮像機能により逐次撮像される各フレーム画像を圧縮符号化する圧縮符号化機能、
    他の動画撮像装置との間で、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズを取得する取得機能、
    前記取得機能で他の動画撮像装置との間で取得した、同一の撮像タイミングで撮像され、圧縮符号化された各フレーム画像の圧縮後サイズが前記他の動画撮像装置と同一となるように、自装置で圧縮符号化されたフレーム画像に対してダミーデータを付加するダミーデータ付加機能、
    必要に応じて前記ダミーデータが付加された各フレーム画像を記録し、動画ファイルを生成するファイル生成機能、
    前記ファイル生成機能により生成された前記動画ファイルについて、前記圧縮符号化された各フレーム画像の動画ファイルの先頭からの記録位置を示す、前記他の動画撮像装置で生成された動画ファイルとの間で共通化されたインデックスデータの作成を制御するインデックスデータ作成機能
    を実現することを特徴とするプログラム。
    

Images