JP4942196B2 - 画像管理装置及び方法 - Google Patents

Description

本発明は、記録媒体に記録される動画と静止画を管理する画像管理装置及び方法に関する。

デジタルビデオカメラ又はデジタルスチルカメラ等の撮像装置の中には、動画撮影中に静止画を撮影できるものがある（例えば、特許文献１）。この場合、同一記録媒体上に、同じ被写体に対する動画と静止画が混在して記録される。
特開平１１−２３４６２３号公報

このような撮像装置の記録媒体は、例えば、光ディスク、ハードディスク又はフラッシュメモリ等の固体メモリであり、記録容量は有限である。従って、空き容量が少なくなってくれば、何れかの記録画像を消去することになる。

動画撮影中に静止画を撮影している場合、動画中の一場面に注目している静止画を撮影したとか、静止画の前後の状況を後で理解しやすいように動画撮影を併用したと思われる。従って、このような画像は、優先的に保存しておく必要性がある。しかし、従来の撮像装置及び、撮像装置で撮影された画像を管理する記録再生装置には、このような要望を満たす機能が装備されていない。

本発明は、このような要望を満たす画像管理装置及び方法を提示することを目的とする。

上記目的を達成するために、本発明に係る画像管理装置は、記録媒体に記録された動画ファイルと静止画ファイルを管理する装置であって、前記記録媒体に記録された複数の前記動画ファイルのうち、前記記録媒体に記録された静止画ファイルと同時に記録された動画ファイル以外の動画ファイルを検索し、前記検索された動画ファイルを前記記録媒体からの消去候補としてユーザに提示することを特徴とする。

本発明に係る画像管理方法は、記録媒体に記録された動画ファイルと静止画ファイルを管理する方法であって、前記記録媒体に記録された複数の前記動画ファイルのうち、前記記録媒体に記録された前記静止画ファイルと同時に記録された動画ファイル以外の動画ファイルを検索し、前記検索された動画ファイルを前記記録媒体からの消去候補としてユーザに提示することを特徴とする。

本発明によれば、静止画と同時に撮影された動画、又は当該静止画と最も近い時間に撮影（記録）された動画を記録媒体に残すことができる。これにより、当該静止画に近いタイミングの静止画を事後的に抽出することを可能にしつつ、空き容量を増やすことができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像管理装置の一実施例を装備した撮像装置又は記録再生装置の概略構成ブロック図を示す。

撮影レンズ１０は被写体の光学像を撮像素子１２の撮像面に結像する。撮像素子１２は、撮像素子１２は撮影レンズ１０による光学像を電気画像信号に変換する素子であり、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等からなる。Ａ／Ｄ変換器１４は、撮像素子１２から出力されるアナログ画像信号をデジタル信号に変換する。カメラ信号処理装置１６は、Ａ／Ｄ変換器１４からのデジタル画像信号にγ変換、色変換及び色バランス調整等の公知の処理を施し、その結果の映像データを画像メモリ１８に格納する。

マイク２２は、周囲の音声を取り込み、音声信号を記録再生処理装置２０に供給する。

記録再生処理装置２０は、動画データの記録時においては画像メモリ１８に格納される映像データを読み出し、公知のＭＰＥＧ方式に従って圧縮符号化する。また、記録再生処理装置２０は、マイク２２からの音声信号を符号化し、映像データと共に図２に示すようなフォーマットで記録媒体２４に記録する。記録媒体は、光ディスク、ハードディスク装置又は固体メモリ装置からなる。

また、静止画データの記録時においては、画像メモリに順次格納される動画データのうち、操作パネル３８からの静止画撮影指示に応じた１フレームを抽出する。そして、この１フレームの画像データを、公知のＪＰＥＧ方式に従って符号化し、後述の如くファイルヘッダの情報を付加して、一つの静止画ファイルとして記録媒体２４に記録する。

また、本実施例では、動画データの記録中においても、同時に静止画データの撮影、記録が可能である。即ち、動画データの記録中に操作パネル３８からの静止画撮影指示があると、記録再生処理装置２０は、静止画撮影指示に応じた１フレームの画像データを抽出し、ＪＰＥＧ符号化する。そして、一旦画像メモリ１８に保持しておき、動画データの記録停止後、画像メモリ１８から静止画データを読み出し、記録媒体２４に記録する。

再生モードでは、記録再生処理装置２０は、記録媒体２４に記録される映像データを読み出し、復号処理してＤ／Ａ変換器２６に供給する。Ｄ／Ａ変換器２６は、記録再生処理装置２０からの映像データをアナログ信号に変換する。ビデオエンコーダ２８は、Ｄ／Ａ変換器２６からの映像信号を液晶表示パネル（ＬＣＤ）３０の表示に適した映像形式に変換して、ＬＣＤ３０に供給する。これにより、再生映像がＬＣＤ３０の画面上に表示される。記録再生処理装置２０はまた、記録媒体２４に記録される音声データを読み出してスピーカ３２に出力する。これにより、再生音声がスピーカ３２から出力される。

また、本実施例では、再生した動画データ中のうち、所望の画面をユーザが選択して、静止画データとして記録媒体２４に記録することが可能である。即ち、動画データの再生中に、ユーザが操作パネル３８を操作して、静止画取り込みを指示すると、記録再生処理装置２０は、再生データ中、取り込み指示に応じた１画面を選択する。そして、この選択した１画面のデータを改めてＪＰＥＧ符号化し、静止画ファイルとして記録媒体２４に記録する。

ＣＰＵ３４は、レンズモータ３６を介して撮影レンズ１０のフォーカスを制御する。ユーザは、操作パネル３８により、ＣＰＵ３４に種々の動作を指示できる。例えば、動作モードの変更、記録モードでの撮影記録動作、再生モードでの再生動作、及び消去モードでの消去対象の選択と消去等である。

なお、記録モードの記録スタンバイ時及び記録時には、記録再生処理装置２０は、画像メモリ１８からの映像データをそのまま又は間引きしてＤ／Ａ変換器２６に供給する。これにより、ＬＣＤ３０には、撮影（記録）中の映像が表示され、ＬＣＤ３０をファインダとして使用できる。

図２は、記録媒体２４に記録される映像音声データの記録フォーマットを示す。符号５０は記録媒体２４上のデータファイル構造を示す。図示例では、媒体管理情報５０ａに続けて、３つの映像ファイル５０ｂ，５０ｃ，５０ｄが記録媒体２４に記録されている。媒体管理情報５０ａには、映像ファイル５０ｂ，５０ｃ，５０ｄの作成日時、タイトル及びサムネイル情報等が記録されている。本実施例では、操作パネル３８による記録開始の指示から記録停止の指示までの間に記録された映像データ（動画データ）及び音声データを一つの映像ファイルとして管理する。

符号５２は、映像ファイル５０ｃの詳細な構成を示す。映像ファイル５０ｃは管理情報５２ａを先頭に有し、この後に映像情報５２ｂ，５２ｄと音声情報５２ｃ，５２ｅが交互に続く。例えば、映像情報５２ｂと音声情報５２ｃが一定時間又は任意時間の１シーンを構成し、映像情報５２ｄと音声情報５２ｅが、後続の１シーンを構成する。管理情報５２ａには、映像情報５２ｂ，５２ｄ及び音声情報５２ｃ，５２ｅの記録位置と種別を示す情報が格納される。媒体管理情報５０ａには、先に記した情報に加えて、映像情報５２ｂ，５２ｄ及び音声情報５２ｃ，５２ｅの記録順序を示す情報、及び再生順序を示す情報等が格納される。

符号５４は、映像ファイル内の個々の映像情報５２ｂ，５２ｄのデータ構造を示す。各映像情報５２ｂ，５２ｄは、ＭＰＥＧ２の場合で、シーケンスヘッダとＧＯＰ（Group Of Pictures）の符号化画像データを単位として、これを複数、収納する。ＧＯＰは、いわゆるＩピクチャ、Ｐピクチャ及びＢピクチャからなる。シーケンスヘッダには、画素数及び量子化マトリクス等を含むフォーマットに関する情報が記録されている。

図３は、記録媒体２４に静止画と動画が混在して記録された場合のファイル構成例を示す。符号６０は記録媒体２４上のデータファイル構造を示す。図示例では、ファイル管理情報６０ａに続けて、３つの映像ファイル６０ｂ，６０ｃ，６０ｄが記録媒体２４に記録されている。映像ファイル６０ｂは静止画ファイルであり、映像ファイル６０ｃ，６０ｄは動画ファイルである。ファイル管理情報６０ａには、映像ファイル６０ｂ，６０ｃ，６０ｄの作成日時、タイトル及びサムネイル情報、並びに静止画／動画の区別等が記録されている。

符号６２は、静止画である映像ファイル６０ｂのデータ構造を示す。即ち、映像ファイル６０ｂは、ファイルヘッダと符号化された静止画像データ（例えば、ＪＰＥＧデータ）からなる。ファイルヘッダには、画素数及び量子化マトリクス等を含むフォーマットに関する情報が記録されている。

各映像ファイル６０ｂ，６０ｃ，６０ｄの作成日時を対比することで、映像ファイル６０ｂの静止画が撮影されたときに同時に撮影された動画の映像ファイルを特定できる。また、動画の映像ファイルの作成日時は、動画の撮影開始時における日時を記録する。そのため、作成日時の情報だけでは、一つの動画ファイル中で静止画が撮影された位置を特定することができない。そのため、開始点からの経過時間を考慮することで、動画ファイル内で静止画に近似する時間帯部分を特定できる。

例えば、ユーザが動画と静止画を同時に撮影している状況下において、静止画を撮影しようとした時に被写体の前に障害物が飛び込んできたり、あるいは手ぶれが大きかったりして、静止画のシャッタチャンスを逃がすことがある。これは、しばしば、同時撮影した動画を後で再生してみて分かることであり、動画から静止画を抽出することで、ある程度の回復が可能である。

本実施例では、記録媒体２４の記録残量が少なくなった時などのため、動画ファイルの中から削除候補をユーザに提示して消去する機能を持つ。そして、前述のような観点で、本実施例では、記録媒体２４の動画ファイルを消去する際に、先ず、静止画の映像ファイルを検索し、静止画と同時に撮影されていない動画ファイルを検索する。静止画と同時撮影されていない動画ファイルを、検索された静止画の作成日時（撮影日時又は記録日時）から時間的に最も離れたものから順にユーザに提示する。ユーザの消去の指示に従い、該当する動画ファイルを消去する。１つの動画ファイルを一括して消去する方法以外に、消去指定された動画ファイルを、符号５２で示すような映像と音声の記録単位で消去してもよいし、映像に対しては符号５４で示すようなＧＯＰ単位で消去してよい。更には、ＧＯＰ内のピクチャ単位で消去しても良いし、ＧＯＰ内のＰピクチャとＢピクチャのみを消去しても良い。

図３を参照して、具体的に説明する。図３に示す例では、先に説明したように、映像ファイル６０ｂが静止画であり、映像ファイル６０ｃ，６０ｄが動画である。そして、映像ファイル６０ｃが静止画６０ｂと同時に撮影された動画であるとする。ファイル管理情報６０ａから、映像ファイル６０ｂが静止画であることが分かり、映像ファイル６０ｂ，６０ｃ，６０ｄの作成日時も分かる。更に、映像ファイル６０ｃが同時撮影されたものであることも分かる。

ＣＰＵ３４は、静止画と同時撮影でない動画（以下、「単独撮影の動画」という）の中で、静止画の映像ファイル６０ｂの作成日時から時間的に最も離れた時間に作成（記録）された動画を、消去候補としてユーザに提示する。ユーザは、提示された動画を消去して良ければ、操作パネル３８で消去をＣＰＵ３４に指示する。ＣＰＵ３４は、この消去指示に従い、記録再生処理装置２０を介して、指示された動画の映像ファイルを記録媒体２４から消去する。他の単独撮影の動画に対しても、同様に処理する。図３に示す例では、映像ファイル６０ｄの消去の可否をユーザに尋ね、その後、映像ファイル６０ｃの消去の要否をユーザに尋ねる。

１つの映像ファイルを一括して消去するのではなく、シーン単位の映像・音声を消去しても良い。例えば、音声情報６４ｅの消去の可否をユーザに尋ねる。音声情報６４ｅを消去して良ければ、映像情報６４ｄの消去の可否をユーザに尋ねる。映像情報６４ｄを消去して良ければ、音声情報６４ｃの消去の可否をユーザに尋ねる。音声情報６４ｃを消去して良い場合、最後の映像情報６４ｂについては、より細かいＧＯＰ６６ｂ，６６ｃ，６６ｄ，・・・単位での消去の可否をユーザに尋ねる。即ち、映像情報６４ｂの内の最後のＧＯＰから順に時間的に遡って、消去の可否をユーザに尋ねる。全ＧＯＰ６６ｂ，６６ｃ，６６ｄ，・・・を消去する場合、シーケンスヘッダ６６ａも消去することは勿論である。

ここでは、消去の要否を、都度、ユーザに尋ねるとしたが、静止画と同時撮影の動画、これが存在しない場合には、静止画と最も時間的に近く撮影された動画を残し、他の動画を自動的に消去するようにしてもよい。消去しない動画については、図３を参照して説明したように、映像ファイル６０ｃを残す、映像情報６４ｂのみを残す、ＧＯＰ６６ｂのみを残す、の何れでもよい。静止画を抽出する目的からは、映像ファイル６０ｃを残すのが好ましい。

このように、本実施例では、記録媒体２４から動画データを消去する際の消去候補として、静止画と同時に撮影されていない動画ファイルのみを選択してユーザに提示している。この結果、静止画が同時に撮影された動画を誤って消去してしまうことがない。また、静止画の撮影忘れや、動画撮影中に静止画を撮影した際に手ぶれがあっても、同時に撮影されている動画データの中から、静止画撮影指示の前後の画像を得ることができる。

上記実施例では、同時撮影の動画又は最も時間的に近い動画を、最終的にＧＯＰ単位で残すとしたが、そのＧＯＰ内のＩピクチャのみを残すようにしても良い。図４は、その説明図を示す。図３と同じ構成要素には同じ符号を付してある。

映像ファイル６０ｃの映像情報６４ｂの最初のＧＯＰ６６ｂは、図４に符号６８で示すように、それぞれＩ，Ｂ又はＰピクチャである複数のピクチャからなる。この実施例では、ＧＯＰ６６ｂの内の、コアフレームであるＩピクチャのみを残すようにする。これにより、記録媒体２４の空きを更に大きくすることができる。

上記各実施例では、動画データのうちの消去候補をユーザに提示し、その都度ユーザが消去の可否を決定していた。これ以外にも、動画データの一括消去機能を設け、記録媒体２４に記録された動画データのうち、掃除に静止画が撮影されている動画データ以外を一括して消去するようにしてもよい。この場合、記録媒体に記録される動画の一括消去を指示した場合でも、記録される静止画と同時に撮影された動画を記録媒体に残すことができる。これにより、当該静止画に近いタイミングの静止画を事後的に抽出することが可能になる。残す動画を映像ファイルの全部、映像ファイルの１シーン、１ＧＯＰ又はＩピクチャの何れにしてもよい。残す映像フレームが多いほど、好ましい場面の静止画を抽出できることは明らかである。

本発明の一実施例の概略構成ブロック図である。 記録媒体２４に記録されるデータの構造を示す模式図である。 第１実施例の動作説明図である。 第２実施例の動作説明図である。

符号の説明

１０：撮影レンズ
１２：撮像素子
１４：Ａ／Ｄ変換器
１６：カメラ信号処理装置
１８：画像メモリ
２０：記録再生処理装置
２２：マイク
２４：記録媒体
２６：Ｄ／Ａ変換器
２８：ビデオエンコーダ
３０：液晶表示パネル（ＬＣＤ）
３２：スピーカ
３４：ＣＰＵ
３６：レンズモータ
３８：操作パネル

Claims (5)

1. 記録媒体に記録された動画ファイルと静止画ファイルを管理する装置であって、
   前記記録媒体に記録された複数の前記動画ファイルのうち、前記記録媒体に記録された静止画ファイルと同時に記録された動画ファイル以外の動画ファイルを検索し、前記検索された動画ファイルを前記記録媒体からの消去候補としてユーザに提示する
   ことを特徴とする画像管理装置。
2. 前記消去候補として提示された動画ファイルの消去指示に応じて前記記録媒体から前記提示された動画ファイルを消去することを特徴とする請求項１に記載の画像管理装置。
3. 前記検索された動画ファイルを消去候補としてユーザに提示した後、前記静止画ファイルと同時に記録された動画ファイルの消去の可否をユーザに尋ねることを特徴とする請求項１または２に記載の画像管理装置。
4. 前記動画ファイルは一定時間の動画からなる複数の単位を含み、前記静止画ファイルと同時に記録された動画ファイルの消去の可否を前記単位毎にユーザに尋ねることを特徴とする請求項３に記載の画像管理装置。
5. 記録媒体に記録された動画ファイルと静止画ファイルを管理する方法であって、
   前記記録媒体に記録された複数の前記動画ファイルのうち、前記記録媒体に記録された前記静止画ファイルと同時に記録された動画ファイル以外の動画ファイルを検索し、前記検索された動画ファイルを前記記録媒体からの消去候補としてユーザに提示する
   ことを特徴とする画像管理方法。

Images