次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における携帯機器100の構成例を示す図である。この携帯機器100は、カメラ部10と、記録再生処理部20と、制御部30とを備えている。また、この携帯機器100にはGPSモジュール50および通信装置60が接続されている。ここで、GPSモジュール50は、複数のGPS衛星からの電波を受信することによって現在位置の緯度および経度を算出する。また、通信装置60は、他の携帯機器と通信を行い、動画像データを含むデータの送受信を行う。これらGPSモジュール50および通信装置60は、それぞれ高周波(RF:Radio Frequency)部、中間周波数(IF:Intermediate Frequency)部、および、AD(Analog-Digital)変換部などを含むが、これら各部の一部または全部を互いに共用するように構成してもよい。
カメラ部10は、光学ブロック11と、カメラ制御部12と、信号変換器13と、撮像信号処理部14と、音声入力部15と、音声信号処理部16とを備える。光学ブロック11は、内部に、被写体を撮像するためのレンズ群、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ機構、および、手ぶれ補正機構などを備える。カメラ制御部12は、制御部30から制御信号を受けて、光学ブロック11に供給する制御信号を生成する。そして、生成した制御信号を光学ブロック11に供給して、ズーム制御、シャッター制御、および、露出制御などの制御を行なう。
信号変換器13は、例えばCCD(Charge Coupled Device)などの撮像素子により構成され、その結像面に、光学ブロック11を通じた像が結像される。この信号変換器13は、シャッター操作に応じて制御部30から供給される画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部14に供給する。
撮像信号処理部14は、制御部30からの制御信号に基づいて、撮像信号についてのガンマ補正やAGC(Auto Gain Control)などの処理を行なうとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行なう。音声入力部15は、撮影時の被写体周辺の音声を収集する。この音声入力部15からの音声信号は音声信号処理部16に供給される。音声信号処理部16は、制御部30からの制御信号に基づいて、音声信号についての補正やAGCなどの処理を行なうとともに、音声信号をデジタル信号に変換する処理も行なう。
記録再生処理部20は、符号化/復号回路21と、ディスクインターフェース23と、出力処理部24と、バッファメモリ25とを備える。なお、この実施の形態では、記録再生の対象となる記録媒体としてディスク49を想定しているが、これは一例であり、例えば後述するようにメモリカード43などを利用してもよい。
符号化/復号回路21は、カメラ部10からの画像信号および音声信号やGPSモジュール50からの位置情報を符号化し多重化して圧縮データに変換する符号化機能を有する。一方、符号化/復号回路21は、圧縮データから画像信号および音声信号や位置情報を分離して復号する復号機能を有する。これら圧縮データの形式として、例えば、MPEG−2 PS(プログラムストリーム)フォーマットを利用することができる。
なお、符号化/復号回路21は、制御部30からの制御信号に基づき、撮像信号処理部14からの画像信号に対して、自動ホワイトバランス制御、露出補正制御、デジタルズーム倍率に応じた拡大制御などをさらに行なう。
ディスクインターフェース23は、符号化/復号回路21から圧縮データを受けてディスク49に書き込む。また、ディスクインターフェース23は、ディスク49から圧縮データを読み出して符号化/復号回路21に供給する。出力処理部24は、制御部30からの制御により、符号化/復号回路21からの圧縮データを制御部30や出力端子27乃至29に供給する。バッファメモリ25は、例えばSDRAMなどにより構成され、符号化/復号回路21における符号化または復号のための作業領域として利用される。
制御部30は、処理装置31と、ROM(Read Only Memory)33と、RAM(Random Access Memory)34と、操作入力部41を接続するための操作入力インターフェース35と、表示部42を接続するための表示制御部36と、メモリカード43を装填するためのメモリカードインターフェース37と、通信装置60を接続するための通信インターフェース38と、時計回路39とがシステムバス32を介して接続されることにより構成される。
処理装置31は制御部30全体の処理を司るものであり、作業領域としてRAM34を使用する。ROM33には、カメラ部10を制御するためのプログラムや、画像信号や音声信号の記録制御および再生制御などを実行するためのプログラムが書き込まれている。
操作入力インターフェース35に接続される操作入力部41には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、表示部42における表示調整キーなどの複数のキーが設けられている。操作入力インターフェース35は、操作入力部41からの操作信号を処理装置31に伝える。処理装置31は、操作入力部41においていずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。
表示制御部36に接続される表示部42は、例えばLCD(Liquid Crystal Display)などにより構成され、処理装置31の制御の下に、カメラ部10からの画像信号や、ディスク49から読み出された画像信号、または、通信装置60により受信された画像信号を表示する。また、この表示部42には、後述のように、画像信号に関連付けられた位置情報に基づいた地図が表示される。この位置情報としては、関連付けられた画像信号を取得した緯度および経度を示す。従って、この位置情報における緯度および経度により地図上に表示を行うことができる。
メモリカードインターフェース37は、符号化/復号回路21からの圧縮データをメモリカード43に書き込む。また、メモリカードインターフェース37は、メモリカード43から圧縮データを読み出して符号化/復号回路21に供給する。
時計回路39は、年、月、日、時間、分、秒などを表わす時間情報を生成する。秒としては、画像のフレーム単位を計数することができるような小数点以下の精度の情報を発生するように、この時計回路39は構成されている。
図2は、本発明の実施の形態における符号化/復号回路21の符号化機能の一構成例を示す図である。この符号化機能は、バッファ2101乃至2103と、画像符号化部2110と、音声符号化部2120と、位置情報処理部2130と、バッファ2119、2129および2139と、多重化部2140と、システム時刻発生部2150とを備える。
この符号化/復号回路21では、例えば、MPEG(Moving Picture Experts Group)方式による動画像の符号化が行われる。MPEG方式では、動画像データの単位画像である画像フレームの情報の相関を利用した予測符号化およびDCT(離散コサイン変換)を用いたデータ圧縮が行われる。その際、各フレームの画像はIピクチャ(Intra-Picture)、Pピクチャ(Predictive-Picture)、および、Bピクチャ(Bidirectionally Predictive-Picture)の3種類の何れかに分類される。Iピクチャは画面内符号化によって得られる画面であり、原画面と同じ順序に符号化されるものである。また、Pピクチャは画面間順方向予測符号化によって得られる画面であり、これも原画面と同じ順序に符号化される。しかし、Bピクチャは双方向予測符号化によって得られる画面であり、IピクチャとPピクチャとが符号化された後でIピクチャとPピクチャとの間に挿入されるBピクチャが符号化されるため、原画面とは異なる順序で符号化される。そのため、Bピクチャは、双方向予測符号化の際に参照するIピクチャやPピクチャよりも後ろに位置するよう並び換えられる。
バッファ2101乃至2103は、符号化/復号回路21の入力バッファとして機能するものであり、バッファ2101は撮像信号処理部14からの画像信号を、バッファ2102は音声信号処理部16からの音声信号を、バッファ2103はGPSモジュール50からの位置情報をそれぞれ保持する。そして、バッファ2101は画像信号を画像符号化部2110に、バッファ2102は音声信号を音声符号化部2120に、バッファ2103は位置情報を位置情報処理部2130にそれぞれ供給する。
画像符号化部2110は、並換え部2111と、圧縮符号化部2112と、可変長符号化部2113とを備える。この画像符号化部2110は、動画像データの単位画像として少なくとも1枚のIピクチャと、複数枚のPピクチャおよびBピクチャからなるGOP(Group of Pictures)を構成し、このGOPを一区切りとして圧縮処理する。
並換え部2111は、上述のように、Bピクチャの双方向予測符号化の際に参照されるIピクチャやPピクチャよりもそのBピクチャの方が後ろに位置するように順序を並び換える。
圧縮符号化部2112は、Iピクチャについてはフレーム内符号化処理を行なってデータ圧縮を行ない、Pピクチャについては前方のIピクチャまたはPピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行ない、Bピクチャについては原画像における前方および後方のIピクチャまたはPピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行なう。なお、Pピクチャについては、フレーム内符号化処理を行なう画像部分も存在する。
可変長符号化部2113は、ハフマン符号などを用いた可変長符号化処理を行なう。この可変長符号化処理の結果は、バッファ2119に供給される。
音声符号化部2120は、オーディオフレームと呼ばれる所定量の音声信号を単位として圧縮符号化する。この圧縮符号化された音声信号は、バッファ2129に供給される。
位置情報処理部2130は、画像信号の各フレームに対応するタイミングで位置情報を出力する。この位置情報は、バッファ2139に供給される。
多重化部2140は、画像信号、音声信号、および、位置情報のそれぞれをパケット化して、それらを多重化する。その際、一または複数個のパケットに対してパックヘッダを付加することによりパックを構成する。この多重化部2140により生成された多重化データ(すなわち、MPEG−2 PS形式のデータ)は、ディスクインターフェース23により、ディスク49に書き込まれる。
システム時刻発生部2150は、システム時刻基準参照値(SCR:System Clock Reference)を発生して、多重化部2140に供給する。このシステム時刻基準参照値は、多重化部2140により付加されるパックヘッダの一項目として記録される。すなわち、多重化データの各パックにこのシステム時刻基準参照値が含まれることになる。そして、このシステム時刻基準参照値は、復号の際にシステム時刻を同期させるために利用される。
また、このシステム時刻基準参照値は、次に説明するPTS(Presentation Time Stamp)およびDTS(Decoding Time Stamp)というタイムスタンプを付与する際の時間基準を与える。タイムスタンプPTSは再生出力の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ再生出力するかを示す。一方、タイムスタンプDTSは復号の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ復号するかを示す。
これらタイムスタンプPTSおよびDTSは、各パックにおけるパケットのパケットヘッダの一項目として記録される。上述のようにIピクチャおよびPピクチャをBピクチャよりも先行して符号化ストリームに送出する必要があることから、復号する順序と再生出力する順序とが異なるため、それぞれタイムスタンプPTSおよびDTSを別個に設けて区別している。従って、タイムスタンプPTSおよびDTSが一致する場合にはタイムスタンプDTSは省略され、タイムスタンプPTSのみがパケットヘッダに記録される。
また、パケット容量制限により一つの単位画像が複数のパケットに分割される場合には、その先頭のパケットのパケットヘッダにのみタイムスタンプが記録され、それ以降の分割されたパケットのパケットヘッダにはタイムスタンプは記録されない。
なお、タイムスタンプDTSは、順序の並び換えが発生する画像信号のパケットに付与されるものである。従って、順序の並び換えが行われない音声信号や位置情報の場合は、タイムスタンプDTSは用いられず、タイムスタンプPTSのみが付与される。
図3は、本発明の実施の形態におけるデータ構造の一例を示す図である。ここで、図3(a)は原画像の単位画像と位置情報との関係を示す図である。この例では、動画像712は15フレームの単位画像(B1乃至P15)によりGOP710を構成し、各単位画像に対応して位置情報711(POS1乃至15)が取得されている。
単位画像712において、I3はIピクチャを示し、B1、B2、B4、B5、B7、B8、B10、B11,B13、B14は、Bピクチャを示し、P6、P9、P12、P15はPピクチャを示す。各サフィックス番号は、ピクチャタイプに関係なく、フレーム単位の連続番号を付与したものである。一方、位置情報711において、POS1乃至15は各サフィックス番号の画像フレーム(単位画像)についての位置情報を示している。すなわち、位置情報POS1乃至15のそれぞれは、サフィックス番号が同一である画像フレームについての位置情報となっている。
図3(a)の原画像の単位画像712は、画像符号化部2110の並換え部2111により図3(b)の単位画像722に示すようなピクチャ順の並び換えがなされる。これに対して、位置情報の並び順は変更されないため、図3(b)に示す位置情報721は、図3(a)の位置情報711と同じ並び順となっている。したがって、並び順だけでは各ピクチャと位置情報との対応関係がつかめない。
そこで、多重化部2140において、各単位画像および位置情報に対して再生出力の時間管理情報であるタイムスタンプPTSが付加される。図3(b)において、PTS723は位置情報721のタイムスタンプPTSを示し、PTS724は単位画像722のタイムスタンプPTSを示す。再生出力は元のフレーム順であり、各ピクチャのサフィックス番号とタイムスタンプPTS724とは等しくなっている。これらPTS723およびPTS724を対応させることにより、位置情報と各単位画像とが関連付けられ、位置情報がいずれの単位画像についてのものであるかの対応付けをすることができる。
また、単位画像722にはタイムスタンプDTS725が付加される。上述のとおり、このタイムスタンプDTSは復号の時刻管理情報であり、圧縮データ(すなわち、MPEG−2 PS形式)では各単位画像はこのタイムスタンプDTSの順に並んでいる。なお、タイムスタンプDTS725はタイムスタンプPTS724と一致する場合には付与されない。従って、この図3(b)の例では、タイムスタンプDTS725はIピクチャおよびPピクチャに付与されるが、Bピクチャには付与されない。
図3(c)は、図3(b)の各データを多重化した後のデータ構造を示す図である。ナビゲーションパック731(NV_PCK)は、各GOPに対応するパック群の先頭に位置付けられ、データサーチインフォメーション(例えば、ジャンプ時にどのセクタまで飛ぶかを指示する制御情報)などの再生管理情報を保持する。なお、後述のDVDフォーマットにおいては、一つのGOPに対応するパック群を動画オブジェクト単位(VOBU:Video OBject Unit)という。
パック群732(V_PCK_I3)は、単位画像I3に相当する画像データを保持する。DVDフォーマットでは、1パック当り2048バイトの容量となっているため、画像データの容量がこれを超える場合には複数のパックに分割して保持される。パック733(P_PCK1)は、位置情報POS1に相当する位置情報を保持する。パック群734(V_PCK_B1)は、単位画像B1に相当する画像データを保持する。また、パック735(P_PCK2)は、位置情報POS2に相当する位置情報を保持する。
このように、符号化の際に並び換えられた順に従って単位画像が位置情報と多重化される。図3(c)の例では、パック733をパック群732とパック群734との間に多重化しているが、これは単位画像同士または位置情報同士が入れ換わらなければよく、例えば、パック733をパック群732の前に配置したり、パック群734の後に配置するようにしてもよい。また、位置情報721をまとめて配置してもよい。
また、この図3の例では、単位画像の全てについてそれぞれの位置情報を保持するようにしているが、この単位画像と位置情報の対応は必ずしも1対1でなくてもよい。例えば、単位画像N(N:自然数)個おきに対応する位置情報を保持するようにしてもよく、また、1GOP毎に位置情報を保持するようにしてもよい。
なお、この図3では音声信号については省略しているが、音声信号も併せて多重化できることは従来と同様である。
図4は、本発明の実施の形態における符号化/復号回路21の復号機能の一構成例を示す図である。この復号機能は、分離部2160と、システム時刻保持部2170と、バッファ2161乃至2163と、画像復号部2171と、音声復号部2172と、位置情報処理部2173と、バッファ2181乃至2183と、制御部2190とを備える。
分離部2160は、多重化されたデータ(すなわち、MPEG−2 PS形式)から画像信号、音声信号、および、位置情報を分離する。これら画像信号、音声信号、および、位置情報は、バッファ2161乃至2163にそれぞれ保持される。また、分離部2160は、それぞれのパックからパックヘッダおよびパケットヘッダを分離し、それらのヘッダ情報をシステム時刻保持部2170および制御部2190に供給する。
システム時刻保持部2170は、復号機能に用いられるシステム時刻(STC:System Time Clock)を保持するものである。このシステム時刻保持部2170は、分離部2160から供給されたパックヘッダに含まれるシステム時刻基準参照値(SCR)によって自己の保持するシステム時刻(STC)を設定する。このシステム時刻(STC)は、制御部2190に供給される。
画像復号部2171は、制御部2190の制御に従って、バッファ2161に保持された画像信号をタイムスタンプDTSに従った順序で復号し、フレーム単位の画像データに復元してバッファ2181に出力する。音声復号部2172は、制御部2190の制御に従って、バッファ2162に保持された音声信号を復号し、音声データに復元してバッファ2182に出力する。位置情報処理部2173は、制御部2190の制御に従って、フレーム単位の画像データ(単位画像)についての位置情報を再生し、バッファ2183に出力する。
制御部2190は、分離部2160から供給されたヘッダ情報を解析し、タイムスタンプPTSおよびDTSを抽出して、画像信号、音声信号および位置情報の復号処理および再生出力を制御する。画像復号部2171では、単位画像はタイムスタンプDTSに従って順序で復号されてバッファ2181に保持されるが、制御部2190による制御により、バッファ2181からタイムスタンプPTSに従った順序で単位画像のデータが出力される。制御部2190は、バッファ2182および2183からの出力も同様にタイムスタンプPTSに従った順序で供給されるように制御する。
また、制御部2190は、バッファ2181乃至2183から出力処理部24に対して出力される画像信号、音声信号および位置情報のタイムスタンプPTSが一致するようにタイミングを同期させるよう制御する。すなわち、システム時刻保持部2170から供給されるシステム時刻(STC)と各パケットヘッダにおけるタイムスタンプPTSが一致するタイミングでバッファ2181乃至2183から出力処理部24に対して画像信号、音声信号および位置情報が出力される。これにより、圧縮データにおいて並び順が異なっていた画像信号の単位画像と位置情報とが関連付けられて出力される。
図5は、本発明の実施の形態におけるディスク49に用いられるフォーマットの一例としてのDVD−Videoフォーマットのデータ構造を示す図である。ディスク49の記録エリアは、ディスクの半径方向に見て、最内周側から順に、リードインエリア801、ファイル管理エリア802、データ記録エリア803、リードアウトエリア804の順に区分けされる。
ファイル管理エリア802は、リードインエリア側から、UDF(Universal Disc Format)エリアおよびVMG(Video ManaGer)エリアを含む。これらUDFエリアおよびVMGエリアは、DVDに記録された画像データ等のファイルを管理する管理用情報の記録エリアである。UDFエリアは、UDF規格とISO9660規格をサポートすることにより、コンピュータでDVDを読むことができるようにするためのものである。VMGエリアは、DVD管理用情報の記録エリアである。
データ記録エリア803は、画像信号や音声信号等を記録するエリアであり、ビデオタイトルセット(VTS:Video Title Set)811と呼ばれるデータ群を単位として、データの記録がなされる。ビデオタイトルセット820の各々は、ビデオタイトルセット情報(VTSI:Video Title Set Information)821と、ビデオタイトルセットメニュー(VTSM_VOBS:Video Object Set for the VTSM)822と、ビデオタイトルセットタイトル(VTSTT_VOBS:Video Object Set for Titles in a VTS)823と、バックアップ(VTSI(BUP):Back-UP of VTSI)824とからなる。
ビデオタイトルセット情報(VTSI)821は、ビデオタイトルセットに対する制御情報である。ビデオタイトルセットメニュー(VTSM_VOBS)822は、ビデオタイトルセット内の各種メニューのためのコンテンツである。ビデオタイトルセットタイトル(VTSTT_VOBS)823は、タイトルを再生するためのコンテンツである。バックアップ(VTSI(BUP))824は、ビデオタイトルセット情報821のバックアップコピーである。
ビデオタイトルセットタイトル(VTSTT_VOBS)823には、MPEG−2 PSフォーマットの圧縮データが、上述の動画オブジェクト単位(VOBU)を読み書き単位として記録される。このVOBUには、1GOPに相当する画像信号やそれに対応する音声信号等が含まれる。すなわち、DVDへのアクセスは、1GOPを単位として行われることになる。
動画オブジェクト単位(VOBU)は、複数個のパック841から構成される。パック841は、一般に一または複数個のパケットからなるが、この例では、一つのパックは一つのパケットを含むものとしている。すなわち、1パックは、パケットの前にパックヘッダ851を付加したものであり、さらにパケットはパケットヘッダ852とデータ本体であるパケットデータ853とを備える。なお、DVD−Videoフォーマットでは、1パックは2048バイト(1セクタに対応)と定められている。
パックヘッダ851は、パックの開始を示すパック開始コード861のほか、システム時刻基準参照値(SCR)862を含む。このシステム時刻基準参照値(SCR)862は、上述のようにシステム時刻発生部2150に基づくものである。なお、MPEG−2 PSでは27MHzで時刻を示すため、このシステム時刻基準参照値(SCR)862は、パックヘッダ851においては42ビットで表現される。
パケットヘッダ852は、プライベート1・パケットに沿ったものであり、パケット開始コード871と、フラグ873と、PTS875と、DTS876と、その他のフィールド877を備える。パケット開始コード871はパケットの開始を示すものであり、ストリームを識別するストリーム識別子を含む。フラグ873は、後続のPTS875およびDTS876の存在を示すフラグを含む。すなわち、「10」でPTS875のみ、「11」でPTS875およびDTS876が存在することを示す。
PTS875およびDTS876は上述のように、それぞれ再生出力のタイミングおよび復号のタイミングを示すタイムスタンプである。制御部2190は、これらPTS875およびDTS876を参照することにより復号および再生出力を制御する。なお、これらPTS875およびDTS876は、パケットヘッダ852においてはそれぞれ33ビットで表現される。
なお、ここでは、プライベート1・パケットを適用した例について説明したが、プライベート2・パケットを適用しても構わない。例えば、複数の位置情報をそれぞれのPTSと対にして一つのパックに格納するようにしても構わない。また、ここでは、DVD−Videoフォーマットの適用例について説明したが、他のフォーマットを適用しても構わない。例えば、DVD−VRフォーマットにおけるVOBUの先頭に配置されるパックRDI_PCK内のRDIパケットのRDI・データ領域内に位置情報を保持するようにしてもよい。
図6は、本発明の実施の形態におけるファイル管理テーブルの一例を示す図である。このファイル管理テーブルは、例えばDVD−Videoフォーマットにおけるファイル管理エリア802に保持するようにしてもよく、また、データ記録エリア803の所定位置もしくは所定ファイル名として保持するようにしてもよい。このファイル管理テーブルは、ディスク49に記録されている各ファイルに関する属性データとして、作成日891と、更新日892と、題名893と、キーワード894と、開始アドレス895とを含む。
作成日891は、対応するファイルが作成された日を表す。また、更新日892は、対応するファイルが更新された日を表す。題名893は、対応するファイルの内容を識別するためにユーザによって付与されるものである。キーワード894は、対応するファイルの検索に役立てるためにユーザによって任意に付与されるものである。これらの内容は検索の際の絞込み条件として利用することができる。
開始アドレス895は、対応するファイルの開始アドレスを示すものであり、ディスク49内のセクタまたはアドレス等を示す。これにより、ファイル管理テーブルと各ファイルとの対応付けがなされる。
このファイル管理テーブルを設けることにより、ディスク49上に記録されているファイルの内容を効率良く検索することができ、ディスク49のシークに要する時間を短縮することができる。このファイル管理テーブルを使用しない場合にはディスク49上のファイルを逐一検索する必要があるが、これらをまとめてファイル管理テーブルにより管理することによって検索に要する時間を短縮することができる。
図7は、本発明の実施の形態における画面表示例を示す図である。この画面表示例は、あるディスク49の内容を地図上に表示したものである。このディスク49には2つのファイルが含まれていることを想定して、それらの撮影の際の位置の履歴が地図上の位置情報311および312として表示部42に表示された例を示している。題名313および314は、位置情報311および312により表されるファイルのそれぞれの題名を示している。
この表示例において、位置情報311の何れかの部分について、例えばマウスのクリック等のような指示が操作入力部41によりなされると、この位置情報311に対応するファイルの再生が行われる。例えば、位置情報311の開始位置(矢印の根元)がクリックされると、この位置情報311に対応するファイルの最初から再生が行われる。また、位置情報311の途中部分がクリックされると、クリックされた位置に対応する場面(単位画像)から動画像信号の再生が行われる。
また、位置情報312には開始位置から終了位置までの間にアイコン315乃至317が表示されている。これらアイコン315乃至317は、対応する位置における代表画像を示すものであり、例えば対応する位置のGOPにおけるIピクチャを代表画像として用いることができる。これらアイコン315乃至317が指示されると、そのアイコンに対応する場面(単位画像)から動画像信号の再生が行われる。
なお、アイコンの表示に関しては、所定の間隔で表示する方法、アイコン数を指定して等間隔となる位置で表示する方法、指定された任意の位置で表示する方法等、種々の方法が考えられる。
このように位置情報を地図上に表示することにより、記録媒体としてのディスクに記録された動画像を、地図という親しみのある画像により管理することができ、ユーザの使い勝手を向上することができる。これにより、動画像の頭出しが容易に行われるようになる。
図8は、本発明の実施の形態における表示制御部36の一構成例を示す図である。表示部42には、図7のような地図が表示されるだけでなく、動画像信号の再生画面も表示される。その際、地図の表示と動画像の表示とを片方ずつ別々に表示するだけでなく、同時に表示することが望ましい。そこで、表示制御部36に、重ね合せ回路361を設けて、地図に関して描画された地図プレーン341と動画像を表示した動画プレーン342とを重ね合せた上で表示部42に表示する。その表示例が図9および図10である。
図9は、本発明の実施の形態における重ね合せによる画面表示の一例を示す図である。この表示例では、動画プレーン342の上に地図プレーン341が重ねられて表示されている。
地図プレーン341は、動画プレーン342において再生中の動画がどのような道筋で撮影されたかを地図上の矢印により表示している。この表示例では、ファイル中に記録されている動画像データ全体の道筋が地図プレーン341における矢印の始点(根元)から終点(先端)にかけて表示されており、矢印内の模様の変化により現在の再生位置が示されている。すなわち、地図プレーン341における矢印の模様の区切りの位置が現在の再生位置ということになる。これにより、ユーザは、動画像がどのような道筋で撮像されたかを容易に知ることができ、また現在再生中の画面が全体のどの位置にあるのかを視覚的に把握することが可能となる。
なお、この表示例では動画像データ全体の道筋を地図プレーン341上の矢印により表しているが、このように動画像データ全体を表示せずに実際に再生された部分を矢印により表示するようにしてもよい。この場合、動画プレーン342に動画が再生されるのと同期して、地図プレーン341上の矢印が伸びていくことになる。
図10は、本発明の実施の形態における重ね合せによる画面表示の他の例を示す図である。この表示例では、地図プレーン341の上に動画プレーン342が重ねられて表示されている。操作入力部41による指示により、図9の表示例と図10の表示例との間で相互に表示の切換えが可能である。例えば、図9の表示において地図の詳細表示が必要となった場合には図10の表示例への切換えを指示することが考えられる。
なお、この図10の表示例においては、再生位置を示す地図プレーン341上の矢印が画面の左上に配置されているが、例えば、この矢印の先端が画面の中心に配置されるように表示してもよい。上述のように動画が再生されるのと同期して矢印が伸びていくようにした場合、そのままでは地図プレーン341の下に矢印が隠れてしまうおそれがあるが、矢印の先端が常に画面の中心に配置されるように表示すれば地図プレーン341の下に矢印が隠れるおそれもなくなり、ユーザが現在再生されている位置を容易に把握することができる。
図11は、本発明の実施の形態における位置情報の履歴の表示形態について示す図である。動画像を撮影する場合、それぞれの内容の性質によって示す履歴が大きく異なってくる可能性がある。例えば、図11の「北海道旅行」や「九州旅行」のように移動範囲が広い場合には、広域地図においても撮影された道筋を十分に表現することができる。一方、比較的局所的な範囲に留まっている場合には広域地図では撮影された道筋を十分に表現することができなくなる。
そこで、図11の「散歩1」等のように、表示されている地図の領域に比較して道筋が狭い領域に閉じている場合には、矢印により道筋を表さずに、円形の表示を行う。この円形表示の大きさは、移動距離の最大値に比例するように設定することができる。また、その領域に含まれるファイルの数に応じた大きさに設定するようにしてもよい。なお、この円形表示に対する題名の表示は、その領域が操作入力部41により選択された際(例えばマウスポインタがその領域の上に存在する際)にのみ表示するようにしてもよい。
円形表示を行うか否かの基準として、例えば、縦M×横Nの地図において、縦方向の移動範囲の最大幅がM/kより小さく、且つ、横方向の移動距離の最大幅がN/kより小さい場合には履歴を円形で表示するようにする。ここで、基準となるkには例えば10乃至20程度の値を選択することができる。また、縦方向の移動距離の最大幅の二乗と横方向の移動距離の最大幅の二乗とを加えた値が(M2+N2)/k2より小さい場合に履歴を円形で表示するようにしてもよい。
図12は、本発明の実施の形態における位置情報の履歴の他の表示形態について示す図である。図11の地図において、「野球観戦、ハイキング、結婚式」と表示された円形部分が操作入力部41により指示(例えばマウスによるクリック)されると、その拡大地図として図12のような地図が表示される。
この表示例では、例えば「ハイキング」のように地図の領域を基準として道筋が比較的広い範囲にあるものは、矢印により位置情報が表示されている。一方、例えば「野球観戦」や「結婚式」のようにほぼ定位置または局所領域に閉じている場合には図11の場合と同様に円形に表示される。この円形表示を行うか否かの基準も図11の場合と同様である。
この図12の場合、矢印表示または円形表示のそれぞれは一つのファイルに対応しているため、それら表示の何れかが操作入力部41により指示されると、対応するファイルの再生が開始する。矢印表示が指示(クリック)された場合は図7の場合と同様であり、クリックされた位置に対応する場面(単位画像)からファイル内の動画像信号の再生が行われる。一方、円形表示が指示された場合はそのファイルの所定位置(例えば先頭)から動画像信号の再生が行われる。
このように、本発明の実施の形態では、動画像データを含むファイルを地図上の位置情報により視覚的に管理することができる。
図13は、本発明の実施の形態において携帯機器同士でリアルタイムに表示を行う例を示す図である。本発明によれば、ディスク49に記録された符号化データを再生するだけでなく、符号化されたデータ(すなわち、MPEG−2 PS)を通信装置60を通じてリアルタイムでやりとりすることができる。
携帯機器111と121との間で通信を行っている際、携帯機器111の画面には、携帯機器121により撮像された動画像112が表示されるとともに互いの現在位置を含む地図113が表示される。この地図113には、説明表示114にも示されているように、携帯機器111および121の現在位置を示すマークが表示される。また、通信の途中で携帯機器111または121が移動した場合にはその軌跡が太線により表示される。すなわち、移動軌跡を表す太線の先端に現在位置を示すマークが表示されることになる。
携帯機器121の画面にも同様に、携帯機器111により撮像された動画像122が表示されるとともに互いの現在位置を含む地図123が表示される。これにより、携帯機器111および121のユーザは互いに通信相手の表情を認識するとともに、互いの位置関係を容易に把握することができる。
なお、携帯機器の画面には相手に携帯機器からの動画像だけでなく、自身の携帯機器による撮像画像(例えば、携帯機器121における撮像画像125)を表示して、その写り具合を確認できるようにしてもよい。また、図13では動画像を大きく表示するようにしているが、図10の例のように地図を大きく表示するよう適宜切換えるようにしてもよく、また、地図のみを表示するようにしてもよい。
このように、本発明の実施の形態では、動画像データを含むファイルを記録媒体に記録して利用するだけでなく、通信装置60を通じて位置情報を動画像信号と関連付けて送信することにより、通信相手の地図上の位置関係をリアルタイムに把握することができる。
次に、本発明の実施の形態における地図の取得方法について説明する。
本発明のように表示すべき地図の範囲が不確定な場合、どの範囲までの地図を用意するべきかは事前にはわからない。ユーザの移動範囲を予測することは不可能だからである。従って、日本国内で使用される携帯機器であれば、日本全域の細部にわたる地図を用意する必要がある。これは予め各携帯機器に具備するようにしてもよいが、以下のような方法により外部から通信を介して取得することも可能である。
ここでは説明を簡単にするために、基地局Aが発する電波領域Aから基地局Bが発する電波領域Bまで移動する場合を考える。本発明の実施の形態における携帯機器を持ったユーザが基地局Aの発する電波領域Aに入った場合、基地局Aとの通信を確立し接続する。その際、基地局Aからは、基地局Aから発せられる電波の到達範囲よりもやや広範囲の地図データが携帯機器に送信され、機器は地図データを受信する。次に、基地局AおよびBからの電波が混在する電波領域Cに移動した場合、携帯機器は、基地局Aとの通信を行いながら、基地局Bの電波を受信する。基地局Bの電波の強さがAより強くなると、電波チャネルを切り替えるハンドオーバーが発生し、通信を基地局Bに切り替える。そして、基地局Bから基地局Aから発せられる電波の到達範囲よりもやや広範囲の地図データが携帯機器に送信され、携帯機器は地図データを受信する。
また、地図の種類としては日本全図のような広域地図から道路地図のような細部を網羅する地図まで段階に応じた地図を想定することができる。そして、同じ階層の地図は互いに境界領域が重なるようにやや広めの範囲を有するものとしておき、重複する部分については、携帯機器は後から取得した地図における重複部分を削除してマッチングを行い、マッチング終了後に新たな地図としてメモリに記録する。
通信により地図を取得する場合、撮像の直前の状態であるスタンバイ状態になったときに受信するようにしてもよく、また、携帯機器の電源が通電している状態には常に受信するようにして不要な地図は適宜廃棄するようにしてもよい。後者の場合には、受信された地図を一時記録するメモリ(例えば、RAM34)の領域に応じて随時上書きするようにすればよい。
なお、地図にはその地図の範囲における名所案内に関する情報を含ませるようにしてもよい。その場合、その名所に最も近い位置情報を有するファイルについてファイル管理テーブルのキーワード894にその名称を登録しておけば、後日の検索の際に利用することができる。また、名所案内の動画像データを含むファイルを地図と併せて受信して、別個のファイルとしてファイル管理テーブルに登録するようにしてもよい。この場合、地図上の名所案内のアイコン等をクリックすることにより、名所案内の動画像データが再生されるようにすることができる。
なお、本発明の実施の形態では、位置情報を符号化データの内部に保持しているが、位置情報の範囲を予めファイル管理テーブルに登録しておくようにしても構わない。
次に、本発明の実施の形態における動作について説明する。
図14は、本発明の実施の形態における携帯機器とユーザとのやりとりを説明するための図である。まず、本発明の実施の形態における位置情報を含むディスク49をユーザが携帯機器100に挿入するか、もしくは、ディスク49のマウントまたはリロードを操作入力部41により要求すると(201)、携帯機器100は図6で説明したファイル管理テーブルをディスク49から読み出して、このファイル管理テーブルにおける各ファイルに対応する位置情報を地図上に描画して表示部42に表示する(101)。
表示部42に表示された地図において位置情報の表示(上述の矢印表示や円形表示)をユーザが操作入力部41により指示すると(202)、携帯機器100はディスク49における対応するファイルにアクセスして、所定位置から動画像信号の再生を行う(103)。これにより、ユーザは地図上の位置情報から動画像へのアクセスを容易に行うことができる。
図15は、本発明の実施の形態におけるディスク全体の内容を表示する処理の手順を示す図である。すなわち、この図15は図14における処理101の手順を示すものである。携帯機器100は、ファイル管理テーブルに基づいてディスク49に記録されているファイルの内容を動画オブジェクト単位(VOBU)毎に読み出して、符号化/復号回路21において復号処理を行う(ステップS911)。これにより、動画像信号と関連付けられた位置情報が得られる。
そして、このようにして得られた位置情報の範囲が既に所有している地図の範囲内に収まるものであるか否かを判断し(ステップS912)、もし所有している地図の範囲内に収まらないと判断した場合には必要な地図を通信装置60を通じて取得する(ステップS913)。
携帯機器100は、地図上にその動画オブジェクト単位の位置情報を描画する(ステップS914)。そして、その動画オブジェクト単位がファイルの最後になるまで(ステップS915)、ステップS911乃至S914の処理を繰り返す。
ファイルの最後まで処理を終えると(ステップS915)、携帯機器100はファイル管理テーブルに保持されている題名893を抽出して地図上の位置情報に付する(ステップS916)。そして、次のファイルが存在する場合には(ステップS917)、次のファイルの処理に移る(ステップS918)。
次のファイルが存在しない場合には(ステップS917)、携帯機器100はこれまでに描画された位置情報を含む地図を表示部42に表示する(ステップS919)。
図16は、本発明の実施の形態におけるファイルの内容を表示する処理の手順を示す図である。すなわち、この図16は図14における処理103の手順を示すものである。携帯機器100は、指定されたファイルの所定画面から復号処理を行う(ステップS931)。これにより、動画像信号と関連付けられた位置情報が得られる。なお、ここで所定画面とは、矢印表示が指示された場合にはその位置に対応する画面であり、また円形表示によるファイルの場合は例えばファイルの先頭の画面とすることができる。
そして、このようにして得られた位置情報の範囲が既に所有している地図の範囲内に収まるものであるか否かを判断し(ステップS932)、もし所有している地図の範囲内に収まらないと判断した場合には必要な地図を、通信装置60を通じて取得する(ステップS933)。
携帯機器100は、地図上にその動画オブジェクト単位の位置情報を描画して(ステップS934)、その地図を動画像とともに表示部42に表示する(ステップS935)。携帯機器100は、これらの処理を動画像データの最後まで、もしくは、ユーザにより再生中止が指示されるまで繰り返す(ステップS936)。
このように、本発明の実施の形態によれば、符号化/復号回路21において動画像信号の単位画像および位置情報にタイムスタンプPTSを付して両者を関連付けることにより、その位置情報に基づいて地図上に動画像の撮像された軌跡を表示させることができる。
なお、本発明の実施の形態では、位置情報の取得の際にGPSを用いる例について説明したが、GPSの代わりに、3つの基地局から電波を受信して3点測位を行うことにより位置情報を特定するようにしてもよい。この場合、距離の測定は、電波に乗った信号(例えば、画像のフィールド同期信号)が到達するまでに要した時間を測定することにより実現することができる。
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。