JP4285178B2 - 画像再生装置、画像編集方法、プログラム、および記録媒体 - Google Patents

Description

本発明は、動画や静止画といった画像を再生する画像再生装置等に関し、より詳しくは、記録された画像を編集して再生することができる画像再生装置等に関する。

画像再生装置において、例えば記録された動画の中から所望する部分のみを再生しようとする場合には、編集作業を行う必要がある。その際の編集作業としては、素材となる動画の中から必要な部分を取り出して、これらを複数つなぎ合わせることが基本となる。ここで、素材から取り出す一つの範囲を画像クリップとよび、画像クリップの開始点を編集イン点、画像クリップの終了点を編集アウト点と称し、さらに編集イン点と編集アウト点とを総称して編集点とよぶ。

従来においては、動画の編集を行うため、ＶＴＲ等の画像再生装置を２台以上用意し、これらを接続して、ダビングによって必要な画像のみをつなぐ方法が一般的である。具体的には、まず、編集対象動画の送り出し側であるマスタＶＴＲと、受け側であるスレーブＶＴＲとを接続する。そして、マスタＶＴＲを操作し、コマ送り等によって編集イン点となる画像を、マスタＶＴＲに接続したモニタに表示する。編集イン点となる場面が表示されると、編集イン点を記憶する。同様に、編集アウト点となる場面をマスタＶＴＲのモニタに表示させて、編集アウト点を記憶する。これにより、一組の編集イン点と編集アウト点が記憶されたことになる。操作者はこのような操作を繰り返して、複数組の編集点を記憶させる。このような複数組の編集点の集まりを編集リストという。
次に、ダビングを開始し、記憶した編集リストに基づいてマスタＶＴＲおよびスレーブＶＴＲの動作を制御して、指定した動画がスレーブＶＴＲ側にダビングされる。すなわち編集リストの一組目から順番に再生し、スレーブＶＴＲにマスタＶＴＲの再生画像を録画する。このようにして動画の編集が行われる。

一方、近年においてはパーソナルコンピュータ（ＰＣ）を用いて、ＰＣの画面上に複数の場面を表示させ、編集作業の効率化を図る手法も行われている。例えば、ＰＣに設けられたハードディスク上には、複数の素材の動画が画像クリップとして記録されている。ここでの編集作業の大きな操作は次の２つである。まず第１に、各画像クリップの長さを調整して必要な画像クリップを指定することであり、第２に画像クリップの順番を定めることである。
画面上にはいくつかのウインドウがある。第１のウインドウ（プロジェクトウインドウ）には、複数の画像クリップが一覧表示できるように、各画像クリップの見出し画面とその内容を示すタイトルが表示される。第２のウインドウ（コンストラクションウインドウ）には、横軸に時間軸をとったトラックと呼ばれるエリアが、複数トラックを上下に重ねるように表示される。

操作者は、プロジェクトウインドウに表示されている画像クリップの見出し画面を、トラック上に「ドラッグ」して並べることで、クリップの順番を指示することができる。すなわちトラックは時間軸を有するので、クリップは時間軸に沿った順番が指示されることになる。
一方、画像クリップの長さを調整するには、その画像クリップ中の編集イン点、編集アウト点を指定して、画像クリップの中から必要な範囲のみを選択する操作を行う。コンストラクションウインドウに配置された画像クリップは、時間軸に沿う大きさでその長さを表す。このとき、動画のフレームが時間軸のスケールに応じて引かれ、トラックに沿って整列表示される。このため操作者は、編集イン点、編集アウト点の画像を確認しながら調整することができる。
操作者は、トラックに表示された画像クリップの開始点または終了点の境界を、時間軸に沿って引き延ばしまたは縮小することで、画像クリップの開始点または終了点の位置を変更することができる。そして同時に、ハードディスクから画像クリップのデータが検索され、トラックの静止画フレームの表示が再構築される。以上のようにして画像クリップの順番および長さを指定することができる。
このようにして編集操作が行われると、操作者が再生を指示したとき、指定された長さと順番でハードディスクから画像クリップのデータが検索され、表示ウインドウに画像が表示され、編集結果を確認することができる。

ここで、動画を編集して再生する従来技術として、動画を所定の時間間隔毎にフレーム単位でサンプリングし、複数の画像を時系列の順序に従ってモニタ画面上に格子状に整列表示する。そして、整列表示した複数の画像の中から特定の画像を選択することにより、動画編集開始点と編集終了点とを選択して、動画範囲を指定する技術が存在する（例えば、特許文献１）。

特開平９−１１６８６０号公報(第７-８頁、図１)

しかしながら、従来の画像再生装置における編集作業では、画像編集における指標となるものは記録された画像情報のみであるため、操作者は記録された全ての画像を再生しながら、さらには自らの記憶に頼って、必要な画像クリップを選択していく必要があった。そのため、編集された画像では、しばしば相関性のない画像クリップが連続したり、同じ場所での画像クリップのみが多く選択されたりして、単調であったり面白みに欠けるものとなる場合が多くあった。

また、例えば画像再生装置を２台以上接続してダビングによって必要な画像をつなぐ方法では、画像検索を短時間で行うことが困難であるため、編集作業には多大の手間と時間が必要であった。一方、パーソナルコンピュータ（ＰＣ）を用いる方法でも、記録された画像のすべてを一旦ＰＣのハードディスクにコピーしてからのノンリニア編集が一般的であり、この場合も手間と時間がかかって、一般の利用者には利便性が低いものであった。
さらには、画像の編集作業には複数の画像再生装置やＰＣ等が必要となり、画像再生装置の単体での編集作業を行うことはできなかった。

そこで本発明は、以上のような技術的課題を解決するためになされたものであり、その目的とするところは、選択された画像クリップ同士の関連性や連続性を維持しつつ、バラエティに富んだ画像編集を行うことができる画像再生装置を提供することにある。
また、他の目的は、記録、再生、画像編集を単体で行うことができるとともに、所望の画像を簡便かつ直感的な操作だけで選択して画像編集することが可能な画像再生装置を提供することにある。

かかる目的のもと、本発明の画像再生装置は、撮影された画像データが記録されるとともに画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、読み出し手段によって位置に関するデータと画像データの中のサムネイルとを読み出し、また地図情報が記録された地図情報記録手段から地図情報読み出し手段によって地図情報を読み出す。そして、地図情報読み出し手段から読み出された地図情報に読み出し手段により読み出された複数のサムネイルをマッピングさせて表示手段に表示し、表示手段によって地図上にマッピングさせて表示された複数のサムネイルの中から特定のサムネイルに対する指定を指定受付手段によって受け付け、指定受付手段によって受け付けられた特定のサムネイルに対応する画像データを画像データ記録手段から画像データ読み出し手段によって読み出すことを特徴としている。

ここで、本発明の画像再生装置では、被写体からの光学情報に基づき画像データを出力する画像データ出力手段と、位置に関するデータを計測する位置データ計測手段とをさらに備えることができる。また、画像データの中からサムネイルを作成するサムネイル作成手段をさらに備えることもできる。
また、画像データ記録手段と地図情報記録手段とは、同一の記録部材に配設されることを特徴とすることができる。画像データ記録手段および／または地図情報記録手段は、リムーバブルディスクであることを特徴とすることもできる。

さらに、表示手段は、地図情報をスクロールおよび／またはズームアップ・ズームダウンを行うことが可能であることを特徴とすることができる。加えて、上下左右方向の傾きを検出するジャイロ検出手段をさらに備え、表示手段は、このジャイロ検出手段の検出データに基づき地図情報を上下左右方向にスクロールを行う構成とすることもできる。
さらにまた、指定受付手段によって指定が受け付けられた特定のサムネイルの順序付けを行う順序付け手段をさらに備え、画像データ読み出し手段は、この順序付け手段による順序に従って特定のサムネイルに対応する画像データを画像データ記録手段から読み出すこともできる。特に、表示手段は、順序付け手段によって決定された順序に従って、指定受付手段によって受け付けられた特定のサムネイルを表示する領域を有する構成とすることもできる。

また、本発明は画像編集方法として捉えることができ、本発明の画像編集方法は、撮影された画像データが記録されるとともに画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、位置に関するデータと画像データの中のサムネイルとを読み出す読み出しステップと、地図情報が記録された地図情報記録手段から地図情報を読み出す地図情報読み出しステップと、地図情報読み出しステップにおいて読み出された地図情報に読み出しステップにおいて読み出された複数のサムネイルをマッピングさせて表示する表示ステップと、表示ステップによって地図上にマッピングさせて表示された複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける指定受付ステップと、指定受付ステップによって受け付けられた特定のサムネイルに対応する画像データを画像データ記録手段から読み出す画像データ読み出しステップとを含むことを特徴としている。

ここで、画像データの中からサムネイルを作成するサムネイル作成ステップをさらに備えることができる。また、表示ステップによって表示された地図情報をスクロールおよび／またはズームアップ・ズームダウンする地図移動ステップをさらに含むこともできる。さらに、指定受付ステップによって受け付けられた特定のサムネイルの順序付けを行う順序付けステップをさらに含み、画像データ読み出しステップは、順序付けステップによる順序に従って特定のサムネイルに対応する画像データを画像データ記録手段から読み出すことを特徴とすることもできる。

また、本発明はプログラムとして捉えることができ、本発明のプログラムは、コンピュータを制御して画像再生を行うプログラムであって、撮影された画像データが記録されるとともに画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、位置に関するデータと画像データの中のサムネイルとを読み出す処理と、地図情報が記録された地図情報記録手段から地図情報を読み出す処理と、地図情報に複数のサムネイルをマッピングさせて表示する処理と、地図情報上にマッピングさせて表示された複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける処理と、指定を受け付けられた特定のサムネイルに対応する画像データを画像データ記録手段から読み出す処理とをコンピュータに実行させることを特徴としている。

なお、これらのプログラムは、例えば、ハードディスク等の予約領域に格納されたプログラムを、ＲＡＭにロードして実行される場合がある。また、予めＲＯＭに格納された状態にて、ＣＰＵで実行される形態がある。さらに、ＥＥＰＲＯＭ等の書き換え可能なＲＯＭを備えている場合には、機器がアッセンブリされた後に、プログラムだけが提供されてＲＯＭにインストールされる場合がある。このプログラムの提供に際しては、インターネット等のネットワークを介してデータ記録装置を備えたコンピュータにプログラムが伝送され、データ記録装置の有するＲＯＭにインストールされる形態も考えられる。

さらに、本発明は記録媒体として捉えることができ、本発明の記録媒体は、コンピュータが読み取り可能なプログラムを記録した記録媒体であって、このプログラムが、撮影された画像データが記録されるとともに画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、位置に関するデータと画像データの中のサムネイルとを読み出す処理と、地図情報が記録された地図情報記録手段から地図情報を読み出す処理と、地図情報に複数のサムネイルをマッピングさせて表示する処理と、地図情報上にマッピングさせて表示された複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける処理と、指定を受け付けられた特定のサムネイルに対応する画像データを画像データ記録手段から読み出す処理とをコンピュータに実行させることを特徴としている。
なお、この記録媒体としては、例えばＤＶＤやＣＤ−ＲＯＭ媒体等が該当し、ＤＶＤやＣＤ−ＲＯＭ読取装置等によってプログラムが読み取られ、フラッシュＲＯＭ等にこのプログラムが格納されて実行される。

本発明の効果として、画像再生装置において、選択された画像クリップ同士の関連性や連続性を維持しつつ、バラエティに富んだ画像編集を行うことができ、さらに記録、再生、画像編集を単体で行うことができるとともに、所望の画像を簡便かつ直感的な操作だけで選択して画像編集することが可能となった。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は本発明の一実施の形態である画像再生装置としてのビデオカメラ装置の回路ブロック図である。図１に示すように、本実施の形態のビデオカメラ装置は、画像データ出力手段の一例としての画像データ出力部１０、表示手段の一例としての表示部２０、ビデオカメラ装置の傾き角を検出するジャイロ検出手段の一例としてのジャイロ部３０、ビデオカメラ装置の現在位置に関する情報を取得するための位置データ計測手段の一例としてのＧＰＳ受信部４０、ビデオカメラ装置のシステム全体を制御するシステムコントロールマイコン５０、システムコントロールマイコン５０の作業用メモリ等として使用されるバッファＲＡＭ６０、記録部７０によって主要部が構成されている。そして、画像データ出力部１０、ジャイロ部３０、ＧＰＳ受信部４０、バッファＲＡＭ６０、記録部７０はシステム内部バス８０によってシステムコントロールマイコン５０に接続されている。

画像データ出力部１０は、被写体からの光学情報を電気信号（画像信号）として出力するＣＣＤ撮像部１１、ＣＣＤ撮像部１１からの画像信号に対し色調補正等の画像処理を施すカメラ信号処理部（ＤＳＰ：Digital Signal Processor）１２、ＤＳＰ１２によって画像処理された画像信号をＭＰＥＧ２（Moving Picture Experts Group２）形式で圧縮処理するＭＰＥＧ２コーデック部１３、ＭＰＥＧ２コーデック部１３における作業用のメモリとして使用されるメモリ部１４、ＣＣＤ撮像部１１から送信された画像信号に関する画像処理の全体やユーザインターフェースを制御するカメラ制御マイコン１５、ユーザインターフェースとしての操作キー１６で構成されている。ここで、操作キー１６には、録画開始指示を入力する録画ボタンや被写体に対してズームイン・ズームアウトを行うズームボタン等が配設されている。
表示部２０は、画像を表示する液晶ディスプレイ等で構成されるＬＣＤ表示パネル２１、ＬＣＤ表示パネル２１への画像信号を制御するＬＣＤ制御部２２で構成されている。

また記録部７０は、予め地図データが記録されており、また画像データ等の種々のデータを記録し、かつ読み出し可能である、例えばＤＶＤ−ＲＷ／−ＲＡＭやＭＯ、ハードディスク（ＨＤＤ）等の取りはずし可能なリムーバブルディスク等で構成される、画像データ記録手段および地図情報記録手段の一例としての記録ディスク７１、記録ディスク７１へのデータの書き込みおよび読み出しを行うヘッド部７２、ヘッド部７２へのデータの送受信を制御するＲ／Ｗ回路７３、画像データ出力部１０から送られた画像データを記録ディスク７１への書き込むためのデータ処理および記録ディスク７１から読み出されたデータを画像データ出力部１０を介して表示部２０へ送信するためのデータ処理等を行う信号処理回路７４によって主要部が構成されている。

なお、本実施の形態のビデオカメラ装置においては、地図データおよび画像データを同一の記録ディスク７１に記録した構成としたが、それぞれ異なる記録部材に記録する構成を採用することもできる。
さらに記録部７０における記録ディスク７１は、本発明の一実施の形態としての記録媒体で構成することもでき、本発明のプログラムの一実施の形態としての制御プログラムを記憶しており、システムコントロールマイコン５０がこの制御プログラムを読み込み実行することによって、本実施の形態の画像再生装置の各処理が行われるようになっている。

画像データ出力部１０では、ＣＣＤ撮像部１１において、撮像光学系によって結像された光学像が固体撮像素子としてのＣＣＤ（Charge Coupled Device）によって光電変換され、光電変換により得られた画像信号はデジタル信号に変換される。その際の画像の取り込みは１秒間に３０フレームずつ行われる。そしてＤＳＰ１２において、ＣＣＤ撮像部１１から送られてくる画像データに対して、輝度信号処理、色信号処理、輪郭補正処理、ガンマ補正処理等が実行される。
ＭＰＥＧ２コーデック部１３においては、ＤＳＰ１２を介してＣＣＤ撮像部１１から連続的に入力される画像データをＭＰＥＧ２形式で圧縮符号化する。ＭＰＥＧ２は、フレーム内符号化モードとフレーム間符号化モードとを併せ持つ符号化形式であり、動きベクトル検出による動き補償予測技術が用いられている。動きベクトル検出では、入力フレーム内の注目ブロック毎に参照フレームの中から最も近似するブロックを探索するというブロック探索処理が行われる。探索されたブロックと注目ブロックとの空間的なずれ量が動きベクトルとして求められる。そして、この動きベクトルを基に参照フレームから入力フレームの画像が予測され、その予測画像と入力画像との誤差信号に対して直交変換、量子化、可変長符号化処理が施される。この動き補償予測技術により、フレーム間の相関を利用した高能率の圧縮符号化が実現されている。

ＭＰＥＧ２コーデック部１３によって圧縮符号化された画像データは、システムコントロールマイコン５０によって動画符号化フィルとして記録部７０の記録ディスク７１に記録される。また、ＭＰＥＧ２コーデック部１３は、ＭＰＥＧ２形式の動画符号化フィルを伸張するための復号機能も有している。ＭＰＥＧ２コーデック部１３による伸張処理で得られた画像データは、表示部２０のＬＣＤ表示パネル２１に表示することができる。なお、ＬＣＤ表示パネル２１は再生表示のみならず、圧縮対象となる画像データの表示用ファインダとしても利用される。

記録部７０では、モータ（図示せず）に装着されたＤＶＤ−ＲＷ等の記録ディスク７１に対する記録動作と、装着された記録ディスク７１からの再生動作とを行うことができる。記録動作における画像データの流れは、画像データ出力部１０からの画像データを、システムコントロールマイコン５０の制御により、システム内部バス８０を介して記録部７０に送信し、信号処理回路７４、Ｒ／Ｗ回路７３を介して、ヘッド部７２により、モータに装着された記録ディスク７１に記録する。
また、再生動作のデータの流れは、モータに装着された記録ディスク７１のデータを、ヘッド部７２により読み取り、Ｒ／Ｗ回路７３、信号処理回路７４を介して、記録部７０よりデジタルデータとして出力され、システムコントロールマイコン５０の制御により、表示部２０に出力される。

一方、ジャイロ部３０では、物体の角速度（１秒間に何度動いたか）を検知するジャイロセンサが配設され、ジャイロセンサは物体の傾き角度をアナログ信号として出力する。ジャイロ部３０は、このジャイロセンサから出力されたアナログ信号を内蔵したＡＤコンバータでデジタル信号に変換する。そして、ビデオカメラ装置の上下左右の傾き角度をデジタル信号として、システムコントロールマイコン５０およびＬＣＤ制御部２２に出力することができる。

また、ＧＰＳ受信部４０では、航空機や船舶などの移動体が、地球上での位置や速度をリアルタイムで求めることができるように開発された人口衛星を利用する位置測定システムであるＧＰＳ（Global Positioning System）を利用し、ＧＰＳ衛星から発信される電波を受信して、２次元の緯度経度に海抜を加えた３次元の位置を測定する。そして、システムコントロールマイコン５０の制御により、測定された位置データをデジタル信号として出力する。

本実施の形態のビデオカメラ装置では、画像データ出力部１０からの画像データを記録ディスク７１に記録するに際し、操作者が録画開始指示を入力してから終了するまでの間の１回の操作における一連の画像、すなわち１画像クリップの中の例えば最初の画像の１フレームをバッファＲＡＭ６０に、同時に記録する。ここでの、１フレーム画像とは、例えば1秒間で３０フレーム形成される際の１フレーム分の画像である。なお、バッファＲＡＭ６０に記録する１フレーム画像は、１画像クリップの中の最初の画像に限定されず、任意の画像でもよい。
さらに、このバッファＲＡＭ６０に１フレーム画像が記録された時点での、ＧＰＳ受信部４０によって測定された位置データや時刻データも、このフレーム画像に対応付けてバッファＲＡＭ６０に記録する。

そして、サムネイル作成手段として機能するシステムコントロールマイコン５０が、システムコントロールマイコン５０の録画処理の空き時間、例えば、録画終了時や録画処理中のシステムコントロールマイコン５０の空き時間において、バッファＲＡＭ６０に記録されたフレーム画像からサムネイルを作成する。この作成されたサムネイルは、位置データや時刻データとともに記録部７０の記録ディスク７１に記録される。記録ディスク７１に記録するに際しては、サムネイルを例えばＪＰＥＧ（Joint Photographic Experts Group）形式等の圧縮された画像圧縮データとして記録しておくのが好ましい。
なお、サムネイルの作成は、位置データや時刻データ等と対応付けられて記録ディスク７１に記録された画像データから、後段で述べるＬＣＤ表示パネル２１に地図情報にマッピングさせて表示する際に、行うように構成することも可能である。

ここで、記録ディスク７１における記録領域の構成について述べる。記録ディスク７１としては、上述したように、ＤＶＤ−ＲＷ／−ＲＡＭ等やＭＯ、ハードディスク（ＨＤＤ）等のリムーバブルディスクが用いられる。図２は、これらの記録ディスク７１における記録領域の構成を説明する図である。図２に示したように、記録ディスク７１には、管理情報記録エリア７１ａと、地図情報等が記録されたプリレコードエリア７１ｂと、データ記録エリア７１ｃとが割り当てられている。そして、データ記録エリア７１ｃの領域の一部を、サムネイル記録エリアとして割り当てている。このように、複数のサムネイルを記録ディスク７１上の一定の領域にまとめて記録するように構成することによって、後段で説明するサムネイルの一覧表示をする際に、読み出し速度の向上と、検索効率の向上とを図ることが可能となる。

次に、記録ディスク７１に記録された画像データを再生する画像再生動作について説明する。
図３は、システムコントロールマイコン５０が行う画像再生における処理の流れを示すフローチャートである。ここでは、システムコントロールマイコン５０は、読み出し手段、地図情報読み出し手段、画像読み出し手段として機能する。
まずシステムコントロールマイコン５０は、記録ディスク７１のデータ記録エリア７１ｃからサムネイルに付加された位置データを読み出し、撮影画像が存在する位置の情報を取得する。そして、その取得した位置情報に基づいて、撮影画像が存在する位置を含む所定範囲の地図情報を記録ディスク７１のプリレコードエリア７１ｂから検索して読み出し、ＬＣＤ表示パネル２１に表示する（ステップＳ１０１）。その際に、ＬＣＤ表示パネル２１に表示される地図情報の一例を図４に示す。図４に示すように、ＬＣＤ表示パネル２１に表示される地図上には、撮影画像が存在する位置領域も同時に表示する。図４では、斜線で表示した領域が撮影画像の存在する位置領域を示している。
なお、ＬＣＤ表示パネル２１に表示する地図の範囲は任意に設定できるように構成することもでき、例えば、地図の縮尺を操作キー１６等から指定することによって表示する地図の範囲を変更することができるように構成することもできる。

ステップＳ１０１において撮影画像が存在する位置領域が同時に表示された地図情報の中に、再生したい画像が含まれる位置領域が存在するかどうかを判断し、ズームアップを行うかどうかを判断する（ステップＳ１０２）。表示された地図情報の中に再生したい画像が含まれる位置領域が存在する場合には、その位置領域における地図データをズームアップ処理する（ステップＳ１０３）。ここで、ズームアップする位置領域の指定は、例えばズームアップする位置領域を操作キー１６によって上下左右にスクロールすることによって画面中央部に移動させ、操作キー１６のズームボタンからズームアップする方法や、操作キー１６からカーソルを移動させながらズームアップする位置領域を指定し、操作キー１６のズームボタンからズームアップする方法等を用いることにより行うことができる。
図５は、図４における表示された地図情報の中の破線で示した領域Ｘをズームアップした表示画像を示している。図５に示した表示画像では、地図情報が拡大され、その位置領域に含まれ、読み出された位置情報に基づいてマッピングされたサムネイルが地図情報上に表示される。図５に示したように、同じ場所で撮影した画像が多い場合等には、近接する位置領域においてサムネイルの数が多く存在することになるので、サムネイルが重なって表示される場合もある。

ズームアップされた表示画面の中に、サムネイルが重なって表示された場合には、再度ステップＳ１０３の処理を行い、すべてのサムネイルが重ならなくなるまでズームアップを行うこともできる。図６は、図５における表示された地図情報の中の破線で示した領域Ｙをさらにズームアップした表示画像を示している。図６に示した表示画像では、その位置領域に含まれるサムネイルが重ならないようになるまで地図情報が拡大され、その位置領域に含まれるサムネイルが表示される。そして、再生させたい画像のサムネイルを、例えば操作キー１６の操作によってカーソルで指定する。図６では、指定されたサムネイルＺが太枠で表示されている場合を示している。そして、操作キー１６の操作によって選択キーがオンされると（ステップＳ１０６）、システムコントロールマイコン５０は、指定されたサムネイルＺを形成した画像クリップを記録ディスク７１の中のデータ記録エリア７１ｃから読み出し、ＬＣＤ表示パネル２１に表示する再生処理を行う（ステップＳ１０７）。

一方、ステップＳ１０３の処理においてズームアップされた位置領域の中に再生したい画像が含まれていない場合には、ズームダウンするかどうかを判断し（ステップＳ１０４）、再生したい画像が現れるまで、地図データのズームダウン処理をすることもできる（ステップＳ１０５）。ステップＳ１０５によってズームダウン処理を行っても、再生させたい画像のサムネイルを発見できない場合には、操作キー１６の中の選択キーをオンしない状態を維持することによって、所定時間の経過後にステップＳ１０１における撮影画像が存在する位置を含む所定範囲の地図情報がＬＣＤ表示パネル２１に表示される。なお、操作キー１６の中の選択キーから、ステップＳ１０１における撮影画像が存在する位置を含む所定領域の地図情報に関する表示に戻る指示を行うように構成することもできる。
そして、再度、ステップＳ１０２において再生したい画像が含まれる位置領域が存在す領域を探索してズームアップするかどうかを判断し、ステップＳ１０３によって表示された地図情報の中に再生したい画像が含まれる位置領域における地図データをズームアップ処理して、再生したい画像に関するサムネイルを指定することができる。

ここで、本実施の形態のビデオカメラ装置においては、記録ディスク７１のプリレコードエリア７１ｂに、地図上の詳細なデータが記憶されており、操作キー１６から「ガイドブックモード」を選択することによって、所望の領域における施設、建築物等を含む詳細な地図データをＬＣＤ表示パネル２１に表示することもできる。その際の表示領域の指定は、例えばステップＳ１０１における撮影画像が存在する位置を含む所定範囲の地図情報を表示させ、位置領域を操作キー１６によって上下左右にスクロールすることによって画面中央部に移動させ、操作キー１６のズームボタンからズームアップする方法や、操作キー１６からカーソルを移動させながらズームアップする位置領域を指定し、操作キー１６のズームボタンからズームアップする方法等を用いることにより行うことができる。また、記録ディスク７１にはショッピングスポットやレストラン等の施設に関する情報も含まれており、これらも同様に表示することもできる。
これによって、撮影場所の詳細な情報を取得することができるので、撮影中であればその後の行動計画を容易に立てることができ、また、撮影後であれば、撮影した画像の詳細な検証を行うことも可能となる。

次に、記録ディスク７１に記録された画像データを編集する画像編集動作について説明する。
図７は、システムコントロールマイコン５０が行う画像編集における処理の流れを示すフローチャートである。ここでのシステムコントロールマイコン５０は、読み出し手段、地図情報読み出し手段、画像読み出し手段に加えて、指定受付手段、順序付け手段としても機能する。

まずシステムコントロールマイコン５０は、記録ディスク７１のデータ記録エリア７１ｃからサムネイルに付加された位置データを読み出し、撮影画像が存在する位置の情報を取得する。そして、その取得した位置情報に基づいて、撮影画像が存在する位置を含む所定範囲の地図情報を記録ディスク７１のプリレコードエリア７１ｂから検索して取得する。そして、地図情報上に取得した位置情報に基づいてサムネイルがマッピングされたイニシャル地図データを、ＬＣＤ表示パネル２１に表示する（ステップＳ２０１）。具体的には、その際のＬＣＤ表示パネル２１に表示されるイニシャル地図データに関する表示画面は、画像再生動作におけるステップＳ１０３のズームアップ処理等を行い、サムネイルが互いに重なりあわずに表示された状態と同様の状態で表示されたものである。

ステップＳ２０１により地図情報にサムネイルを重ねて得られるイニシャル地図データがＬＣＤ表示パネル２１に表示された状態において、操作者がビデオカメラ装置を上下左右に振る動作を行う。その際に、ジャイロ部３０からビデオカメラ装置の上下左右の傾き角度に関する情報（ジャイロ情報）を取得する（ステップＳ２０２）。
そして、ステップＳ２０２で得られたジャイロ情報に基づいて、ＬＣＤ表示パネル２１に表示されているサムネイルを重ねた地図を上下左右にスクロールする（ステップＳ２０３）。例えば、ビデオカメラ装置を上側に振った場合には、地図を上側にスクロールする。また、ビデオカメラ装置を右側に振った場合には、地図を右側にスクロールする。このようにして、地図上にマッピングされたサムネイルの中から再生させたい画像クリップに関するサムネイルを含んだエリアを探すことができる。

図８は、再生させたい画像クリップに関するサムネイルを含んだエリアを探す際の地図のスクロールについて説明する図である。図８において、画面Ｐはサムネイルがマッピングされた地図情報の全体を表す仮想的な画面であり、画面Ｑは実際にビデオカメラ装置のＬＣＤ表示パネル２１に表示される画面である。したがって、画面Ｑは、画面Ｐの中をステップＳ２０２で得られたジャイロ情報に基づいて自由に移動することができる。
例えば、ビデオカメラ装置が上側に振られた場合には、ジャイロ情報に応じて、画面Ｑは画面Ｐ上を相対的に上側に移動する。このように、ビデオカメラ装置を上下左右に振ることによって、画面Ｑを画面Ｐ上の任意の位置に移動させることが可能である。

ステップＳ２０３により、再生させたい画像クリップに関するサムネイルを含んだエリアを探し出した場合には、その状態で操作キー１６からエリア確定の指示を入力する（ステップＳ２０４）。そして、確定されたエリア内に含まれるサムネイルから時刻データを読み出し、確定されたエリア内における画像を撮影した経路順にサムネイルを配列する経路情報を算出する。そして、サムネイルが時系列に並ぶようにタイムラインに整列させる順序を算出して、タイムラインに登録する（ステップＳ２０５）。ここで、タイムラインとは、再生させたい画像クリップに関するサムネイルを再生させる順序毎に左から右に表示するＬＣＤ表示パネル２１上の領域をいい、このタイムラインに整列させるサムネイルの順序に関する編集データはバッファＲＡＭ６０に記憶される。

例えば図８では、確定されたエリア（画面Ｑ）内に位置するサムネイルＡ、Ｂ、Ｃ、Ｄ、Ｅを、タイムライン上に時系列に登録した状態を示している。ここでは、撮影した経路順に左から右にＡ→Ｂ→Ｄ→Ｃ→Ｅと登録された場合を示している。
続けて再生させたい画像クリップに関するサムネイルをタイムライン上に登録する場合は、図９に示したように、ステップＳ２０２からステップＳ２０５までの処理を繰り返し、タイムライン上にサムネイルを加えていく。図９では、サムネイルＦ、Ｇ、Ｈ、Ｉを加えた場合を示している。なお、すでにタイムライン上に登録されたサムネイルは、画面Ｐに表示させないように設定しておく。図９では、先にタイムライン上に登録されたサムネイルＡ、Ｂ、Ｃ、Ｄ、Ｅは、画面Ｐに表示されない。このように、すでにタイムライン上に登録されたサムネイルを表示させないことにより、重複してサムネイルが選択されることを防ぐことができる。

ここで、ステップＳ２０３において再生させたい画像クリップに関するサムネイルを含んだエリアを探し出す際には、サムネイルがマッピングされた地図情報の全体を表す仮想的な画面である画面Ｐを、ズームアップまたはズームダウンさせて、ＬＣＤ表示パネル２１である画面Ｑに実際に表示させるサムネイルの縮尺を任意に変更することも可能である。
図１０は、画面Ｐをズームアップして、画面Ｑに表示されるサムネイルの縮尺を拡大しながらサムネイルを選択する場合を示している。この場合は、画面ＱにおいてサムネイルＦ、Ｈが選択され、すでにタイムライン上に登録されているサムネイルＡ、Ｂ、Ｄ、Ｃ、Ｅに続けて、撮影した経路順にサムネイルＦ→Ｈと登録される。
また、図１１は、画面Ｐをズームダウンして、画面Ｑに表示されるサムネイルの縮尺を縮小しながらサムネイルを選択する場合を示している。この場合は、画面ＱにおいてサムネイルＦ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌが選択され、すでにタイムライン上に登録されているサムネイルＡ、Ｂ、Ｄ、Ｃ、Ｅに続けて、撮影した経路順にサムネイルＦ→Ｇ→Ｈ→Ｉ→Ｊ→Ｋ→Ｌと登録される。
そして、図１２に示したように、ＬＣＤ表示パネル２１上のタイムラインには、選択されたサムネイルが撮影した経路順（時系列）に整列されて表示される。

ステップＳ２０５において再生させたい画像クリップに関するサムネイルを選択して、タイムラインに登録した後、ビデオカメラ装置に記録ディスク７１が装着されているかどうかを判断する（ステップＳ２０６）。記録ディスク７１が装填されている場合には、バッファＲＡＭ６０に記憶されている、タイムラインに整列させるサムネイルの順序に関する編集データを、記録ディスク７１のデータ記録エリア７１ｃに書き出して記録することが可能である（ステップＳ２０７）。
そして、操作キー１６の任意のボタンを押すことによって（ステップＳ２０８）、タイムラインに登録されたサムネイルの順序に従い、そのサムネイルが作成された画像クリップが再生される（ステップＳ２０９）。
このように、本実施の形態のビデオカメラ装置では、地図情報と撮影された画像データとを有機的に結び付けながら、再生させたい画像を選択することができる。
なお、ステップＳ２０７において画像データとともに編集データを記録ディスク７１に記録しておくことによりライブラリ化を図ることも可能である。そして、この画像データとともに編集データが記録された記録ディスク７１をビデオカメラ装置に装填するだけで、記録された編集データに基づき、何度でも編集された画像を再生することもできる。

ところで、本実施の形態のビデオカメラ装置では、動画である画像クリップの中の１画像フレームからサムネイルを作成し、このサムネイルを地図情報にマッピングさせて表示させ、再生させたい画像クリップに関するサムネイルを選択することで編集を行うが、本実施の形態のビデオカメラ装置は、静止画を撮影した場合にも適用することができる。すなわち、撮影した静止画からそのままサムネイルを作成し、同様にこのサムネイルを地図情報にマッピングさせて表示させ、再生させたい静止画に関するサムネイルを同様に選択することで編集を行い、スライドショーとして再生することも可能である。

以上説明したように、本実施の形態のビデオカメラ装置では、動画や静止画といった画像からサムネイルを作成し、このサムネイルを地図情報にマッピングさせて表示させ、再生させたい画像に関するサムネイルを地図情報と連携させながら選択していくことにより画像編集を行うので、地図情報と撮影された画像とが有機的に結び付けられた編集画像を行うことが可能となった。そのため、選択された画像クリップ同士の関連性や連続性を維持しつつ、バラエティに富んだ編集画像を作成することができる。また、地図情報等の情報にマッピングされた表示画像（サムネイル）からの選択ができるので、簡便かつ直感的な操作で、再生したい画像を選択することが可能となる。
さらに、画像の撮影、再生、および編集がビデオカメラ装置単体で行うことができるので、シームレスな操作ができ、利便性の向上を図ることも可能となった。

本発明の活用例として、動画や静止画を撮影できるビデオカメラや、主として静止画を撮影するスチールカメラへの適用がある。画像データが記録された記録媒体から画像を再生するビデオデッキへの適用もある。

本発明のビデオカメラ装置の回路ブロック図である。 記録ディスクにおける記録領域の構成を説明する図である。 画像再生における処理の流れを示すフローチャートである。 ＬＣＤ表示パネルに表示される地図情報の一例を示す図である。 領域Ｘをズームアップした表示画像を示す図である。 領域Ｙをさらにズームアップした表示画像を示す図である。 画像編集における処理の流れを示すフローチャートである。 地図のスクロールについて説明する図である。 サムネイルのタイムライン上への登録を説明する図である。 サムネイルの縮尺を拡大しながらサムネイルを選択する場合を示す図である。 サムネイルの縮尺を縮小しながらサムネイルを選択する場合を示す図である。 選択されたサムネイルがタイムラインに整列されて表示された状態を示す図である。

符号の説明

１０…画像データ出力部、１１…ＣＣＤ撮像部、１２…カメラ信号処理部（ＤＳＰ）、１３…ＭＰＥＧ２コーデック部、１４…メモリ部、１５…カメラ制御マイコン、１６…操作キー、２０…表示部、２１…ＬＣＤ表示パネル、２２…ＬＣＤ制御部、３０…ジャイロ部、４０…ＧＰＳ受信部、５０…システムコントロールマイコン、６０…バッファＲＡＭ、７０…記録部、７１…記録ディスク、７２…ヘッド部、７３…Ｒ／Ｗ回路、７４…信号処理回路、８０…システム内部バス

Claims (11)

1. 撮影された画像データが記録されるとともに当該画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、当該位置に関するデータと当該画像データの中のサムネイルとを読み出す読み出し手段と、
   地図情報が記録された地図情報記録手段から地図情報を読み出す地図情報読み出し手段と、
   前記地図情報読み出し手段から読み出された前記地図情報に前記読み出し手段により読み出された複数の前記サムネイルをマッピングさせて表示する表示手段と、
   前記表示手段によって前記地図上にマッピングさせて表示された前記複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける指定受付手段と、
   前記指定受付手段によって指定が受け付けられた複数の前記特定のサムネイルを時系列に沿って並べ替える並べ替え手段と、
   前記指定受付手段によって受け付けられた指定順で、かつ各指定における複数の前記特定のサムネイルを前記並べ替え手段による並べ替えに従って、前記表示手段に表示させる指示手段と、
   前記指示手段によって前記表示手段に表示されるサムネイルの順番に従って、当該サムネイルに対応する画像データを、前記画像データ記録手段から読み出す画像データ読み出し手段と
   を備えたことを特徴とする画像再生装置。
2. 前記表示手段は、前記地図上にマッピングさせて表示された前記複数のサムネイルのうち、前記指定受付手段によって指定が受け付けられた前記特定のサムネイルを当該地図上から消去することを特徴とする請求項１記載の画像再生装置。
3. 前記指示手段による前記サムネイルの表示の順番のデータを前記画像データ記録手段に書き込む書き込み手段をさらに備えたことを特徴とする請求項１記載の画像再生装置。
4. 被写体からの光学情報に基づき画像データを出力する画像データ出力手段と、前記位置に関するデータを計測する位置データ計測手段とをさらに備えたことを特徴とする請求項１に記載の画像再生装置。
5. 撮影された画像データが記録されるとともに当該画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、当該位置に関するデータと当該画像データの中のサムネイルとを読み出す読み出しステップと、
   地図情報が記録された地図情報記録手段から地図情報を読み出す地図情報読み出しステップと、
   前記地図情報読み出しステップにおいて読み出された前記地図情報に前記読み出しステップにおいて読み出された複数の前記サムネイルをマッピングさせて表示する表示ステップと、
   前記表示ステップによって前記地図上にマッピングさせて表示された前記複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける指定受付ステップと、
   前記指定受付ステップによって指定が受け付けられた複数の特定のサムネイルを時系列に沿って並べ替える並べ替えステップと、
   前記指定受付ステップによって受け付けられた指定順で、かつ各指定における複数の前記特定のサムネイルを前記並べ替えステップによる並べ替えに従って、表示させる指示ステップと、
   前記指示ステップによって表示されるサムネイルの順番に従って、当該サムネイルに対応する画像データを前記画像データ記録手段から読み出す画像データ読み出しステップと
   を含むことを特徴とする画像編集方法。
6. 前記地図上にマッピングさせて表示された前記複数のサムネイルのうち、前記指定受付ステップによって指定が受け付けられた前記特定のサムネイルを当該地図上から消去する消去ステップをさらに含むことを特徴とする請求項５記載の画像編集方法。
7. 前記指示ステップによる前記サムネイルの表示の順番のデータを前記画像データ記録手段に書き込む書き込みステップをさらに含むことを特徴とする請求項５記載の画像編集方法。
8. コンピュータを制御して画像再生を行うプログラムであって、
   撮影された画像データが記録されるとともに当該画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、当該位置に関するデータと当該画像データの中のサムネイルとを読み出す処理と、
   地図情報が記録された地図情報記録手段から地図情報を読み出す処理と、
   前記地図情報に複数の前記サムネイルをマッピングさせて表示する処理と、
   前記地図情報上にマッピングさせて表示された前記複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける処理と、
   指定が受け付けられた複数の特定のサムネイルを時系列に沿って並べ替える処理と、
   前記指定を受け付ける処理によって受け付けられた指定順で、かつ各指定における複数の前記特定のサムネイルを前記並べ替える処理に従って、表示する処理と、
   前記表示する処理における前記サムネイルの表示の順番に従って、当該サムネイルに対応する画像データを前記画像データ記録手段から読み出す処理と
   を前記コンピュータに実行させることを特徴とするプログラム。
9. 前記地図情報上にマッピングさせて表示された前記複数のサムネイルのうち、前記指定を受け付ける処理によって指定が受け付けられた前記特定のサムネイルを当該地図上から消去する処理をさらに前記コンピュータに実行させることを特徴とする請求項８記載のプログラム。
10. 前記表示する処理による前記サムネイルの表示の順番のデータを前記画像データ記録手段に書き込む処理をさらに前記コンピュータに実行させることを特徴とする請求項８記載のプログラム。
11. コンピュータが読み取り可能なプログラムを記録した記録媒体であって、
    前記プログラムが、
    撮影された画像データが記録されるとともに当該画像データが撮影された際の位置に関するデータが記録される画像データ記録手段から、当該位置に関するデータと当該画像データの中のサムネイルとを読み出す処理と、
    地図情報が記録された地図情報記録手段から地図情報を読み出す処理と、
    前記地図情報に複数の前記サムネイルをマッピングさせて表示する処理と、
    前記地図情報上にマッピングさせて表示された前記複数のサムネイルの中から特定のサムネイルに対する指定を受け付ける処理と、
    指定が受け付けられた複数の特定のサムネイルを時系列に沿って並べ替える処理と、
    前記指定を受け付ける処理によって受け付けられた指定順で、かつ各指定における複数の前記特定のサムネイルを前記並べ替える処理に従って、表示する処理と、
    前記表示する処理による前記サムネイルの表示の順番に従って、当該サムネイルに対応する画像データを前記画像データ記録手段から読み出す処理と
    を前記コンピュータに実行させることを特徴とする記録媒体。

Images