JP3452910B2 - 映像情報表示装置 - Google Patents
映像情報表示装置Info
- Publication number
- JP3452910B2 JP3452910B2 JP2001131625A JP2001131625A JP3452910B2 JP 3452910 B2 JP3452910 B2 JP 3452910B2 JP 2001131625 A JP2001131625 A JP 2001131625A JP 2001131625 A JP2001131625 A JP 2001131625A JP 3452910 B2 JP3452910 B2 JP 3452910B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- map
- shooting
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Description
置に関し、特に、映像とその撮影位置、撮影方向、撮影
時刻等の撮影情報を管理する撮影情報のデータベース技
術に関するものである。 【0002】 【従来の技術】従来、一般的な撮影情報の位置との対応
付けの例では、自動車やトラックの運行管理のためにい
ろいろな地点の道路状況をビデオカメラで撮影してビデ
オテープに記録し、事務所に持ち帰って各地点の映像を
再生する必要がある場合、まず撮影時点でカメラに貯え
られているテープカウンタやタイマカウンタを利用し
て、撮影者が自分で撮影地点とそのカウント値を対応付
けて記録しておき、再生時にその記録データを参考にし
て所望の地点の道路状況の映像を再生するようにしてい
る。 【0003】また、地図上の地点に映像を関連付ける市
販の地図表示ソフトウェアの例では、撮影した映像を地
図上の特定の地点と対応付けることができるが、その対
応付けは操作員が撮影情報をどの位置と対応付けるか指
示する必要があった。また、対応付けた映像は地図上の
対応した地点をマウス等の入力装置で指示すると映像が
表示できる。 【0004】また、映像と地図情報を自動的に対応付け
る例として、例えば特開平7−248726号公報に示
された従来のGPS利用位置映像データ収集およびその
再生装置がある。この例では、映像撮影時に位置情報と
映像管理データベースを作成する仕組みになっており、
撮影時に映像の内部アドレスと位置情報をマッチングし
ながら記録していくための装置であるアドレス情報マッ
チング手段が必要である。対応付けた映像は地図上の対
応した地点をマウス等の入力装置で指示し、撮影日時を
キーボード等で指定すると指定した地点の指定した撮影
時間の映像が表示される。 【0005】 【発明が解決しようとする課題】しかしながら、上述し
た従来例では下記のような問題点があった。地図上に対
応付けてある動画映像を再生表示するときに、その動画
映像を最初から最後まで通して見ることしかできなかっ
たので、例えばある交差点付近の100mの映像といっ
たように見たい範囲だけ見ることができないという問題
点があった。 【0006】また、例えば道路に沿って撮影した映像が
地図上に対応付けてあるとき、その映像を再生表示して
も映像が1km以上にわたって撮影されている時等は長
時間の映像なので、どの地点でどのような映像が撮影さ
れているかの位置関係がわからなくなるという問題点が
あった。 【0007】また、例えば道路に沿って撮影した映像が
地図上に対応付けてあるとき、地図上にはマークで対応
付けてあることが示してあるが、地形や建物の形状を考
慮していないので、その位置から撮影した映像にどの範
囲まで写っているかがよくわからないという問題点があ
った。 【0008】この発明は上記のような問題点を解決する
ためになされたもので、移動しながらまたは撮影方向を
変えながら撮影した映像と映像を撮影したときの撮影情
報とを容易に検索することができる映像情報表示装置を
得ることを目的とする。 【0009】 【発明を解決するための手段】この発明に係る映像情報
表示装置は、撮影した映像を蓄積した記録媒体と、上記
映像の撮影位置を示す情報を上記映像と対応付けて蓄積
した映像データベースと、上記撮影位置を含んだ地域の
地図情報を表示する地図情報表示手段と、上記撮影位置
を示す情報と上記地図情報表示手段によって表示された
地図上の座標点とを対応付ける対象位置対応手段と、上
記対象位置対応手段による対応付けに基き上記撮影位置
を上記地図情報表示手段によって表示された地図上に表
示するとともに、上記映像に対応付けられた上記撮影位
置が複数存在する場合に、当該複数の撮影位置を結んだ
線を上記地図上に表示することで上記複数の撮影位置の
移動軌跡を表示する軌跡表示手段と、上記複数の撮影位
置を示す情報に基いて上記映像データベースを検索し、
上記複数の撮影位置に対応する映像を上記記憶媒体から
取り出す映像検索手段と、上記映像検索手段によって取
り出された映像を再生する映像再生手段と、上記映像再
生手段によって再生される映像を、上記撮影位置の変化
に合わせるとともに上記移動軌跡に沿って移動させて表
示する移動表示手段とを備えたものである。 【0010】 【0011】 【0012】 【発明の実施の形態】図1はこの発明に係る映像情報表
示装置の全体構成図である。映像情報表示装置のハード
ウェア構成としては、コンピュータ装置100と、マウ
ス200と、キーボード300及びディスプレイ装置4
00をもつ。 【0013】コンピュータ装置100の内部には、映像
と撮影情報を蓄積して管理するデータベース部となる地
図情報電子データ部101と、映像を検索して表示の指
示を行う検索表示ソフトウェア部102と、映像をディ
スプレイ装置に表示する映像表示部103と、地図をデ
ィスプレイ装置に表示する地図表示ソフトウェア部10
4と、入力手段から地図上に入力を行うインターフェイ
スソフトウェア部105と、地図で表示する画面上の座
標と緯度経度である実際の位置を変換する座標変換ソフ
トウェア部106と、映像以外の関連情報を検索表示す
る情報表示ソフトウェア部107と、データベースにデ
ータを蓄積するデータ蓄積ソフトウェア部108を有す
る。また、コンピュータ装置100の内部の記録媒体ま
たは外部の記録媒体に蓄積しておいて利用するデータと
して、地図情報電子データ部内の地図のイメージ情報で
ある地図情報7と、撮影情報電子データ部内の撮影情報
4と映像3の電子ファイルである撮影関連電子データを
もつ。 【0014】ここで、上記地図情報電子データ部101
は、映像データベース5を内蔵し、上記検索表示ソフト
ウエア部102は、映像検索手段2、軌跡表示手段1
0、撮影情報地図上表示手段11、対象範囲検索手段1
8、移動軌跡検索手段20、代表画面表示手段21、代
表画面移動表示手段22、撮影範囲表示手段23、指示
位置確認手段25及び指示位置表示手段26を内蔵して
いる。 【0015】また、上記映像表示部103は、映像情報
再生手段1、動画強調手段27及び定点映像時間順表示
手段16を内蔵し、上記地図表示ソフトウエア部104
は、地図情報表示手段8を内蔵し、上記インターフェイ
スソフトウエア部105は、映像軌跡指示手段12、映
像軌跡区間指示手段13、対象位置入力手段14、対象
位置検索手段15、対象範囲入力手段17及び移動軌跡
入力手段19を内蔵する。 【0016】また、上記座標変換ソフトウエア部106
は、対象位置対応手段9を内蔵し、上記情報表示ソフト
ウエア部107は、関連情報表示手段24を内蔵し、上
記データ蓄積ソフトウエア部108は、映像対応付け手
段6を内蔵する。これら各内蔵手段の機能については後
述する各実施の形態で説明する。以下、各実施の形態に
従う構成とその動作及び効果について説明する。 【0017】実施の形態1.図2はこの発明の実施の形
態1に係る映像情報表示装置の構成を示す構成図であ
る。図2において、1は映像を再生する映像再生手段、
2は映像を検索して取り出す映像検索手段、3は撮影し
た映像の電子ファイル、5は撮影情報と映像に関連する
関連情報を蓄積すると共に、これらと映像を特定するた
めの電子ファイル名等の情報を対応付けて記録する映像
データベースである。 【0018】次に動作について説明する。まず、操作員
が撮影方向、撮影時間、撮影した場所等の撮影情報を検
索キーとして映像検索手段2へキーボードやマウスを用
いて撮影情報の検索指示をする。撮影した場所指定に
は、地図情報表示手段8がディスプレシ装置400に表
示する例えば市街地地図のような地図上で、マウスを用
いて地図上の1つの位置を指定することにより行う。地
図情報表示手段8として市販の地図表示ソフトウェアを
用いれば、マウスで指示した地図上の点が実際の地球上
での経度緯度のソフトウェアで出力できるので、この経
度緯度を秒単位まで記録して撮影した場所の指定として
用いる。撮影方向は、キーボードから北方向から時計周
りに何度傾いた位置かを度分秒で入力する。撮影時間
は、キーボードから西暦年月日時分秒を入力する。次
に、映像検索手段2では、撮影情報を検索キーとして、
映像データベース5からその撮影情報と一致する映像を
特定するための映像特定情報を取り出す。ここで、映像
特定情報とは、図3の映像情報に記述してあるように映
像の電子ファイル名である。映像データベース5には、
映像を記録した電子ファイル1つに対して、ある位置に
おける撮影時間、影位置記録記録、撮影方向の3種類の
データが対になった情報が、複数組対応付けて記録して
ある。撮影位置に番号を付けて管理してあり、位置ごと
に異なる番号が撮影時間に従って昇順につけてある。映
像検索手段2では、操作員が指示した撮影時間、撮影位
置、撮影方向に一致する撮影位置をこのデータベースの
中から決定して、その撮影位置を含む映像特定情報を取
り出す。撮影時間、撮影位置、撮影方向は全て指定する
必要はなく、少なくとも一つ指定すればその条件にあっ
た撮影位置を含む映像特定情報を取り出す。条件の一致
する撮影位置がない場合、映像検索手段2の処理として
自動的に条件を緩くして条件の一致する撮影位置を含む
映像特定情報を取り出す。具体的には、時間は指示時刻
から10秒前後とし、撮影位置の場合、東経北緯を前後
1秒の範囲とし、撮影方向は5度前後の範囲とする。 【0019】次に、映像検索手段2では、映像特定情報
を元に映像を記録媒体3から取り出し、取り出した映像
を映像再生手段1に渡す。これに基づき、映像再生手段
1では、映像を再生する。映像の再生は、コンピュータ
装置における市販の映像再生ソフトウェアを用いる。 【0020】以上のように、実施の形態1によれば、映
像データベース5では撮影情報として、撮影方向の情報
をもっており、映像検索手段2では操作員の指示に従い
撮影方向を検索キーとして映像を検索できるので、撮影
位置だけで選んだ画像では見たい位置が写っていないこ
ともあるが、撮影方向を合わせて指定することにより間
違いなく見たい画像を検索して表示することができる。 【0021】実施の形態2.上述した実施の形態1で
は、既にデータベースに蓄積してある撮影情報を用いて
映像を検索して表示しているが、次に、この撮影情報を
映像データベースへ蓄積する場合に、操作員の労力がい
らずに自動的に蓄積でき、かつ撮影時に特殊な手段を使
わずに蓄積された撮影情報を利用できる実施の形態を示
す。 【0022】図4はこの発明の実施の形態2に係る映像
情報表示装置の構成を示す構成図である。図4におい
て、図2に示す実施の形態1と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、4は撮影
日時、撮影位置、撮影方向を含む撮影情報、6は撮影情
報との対応付けを行い、対応付けの内容と撮影情報を映
像データベース5に記録する映像映像対応付け手段であ
る。 【0023】次に動作について説明する。まず、操作員
が映像対応付け手段6へ対応付けたい映像の電子ファイ
ル名と、その映像を撮影したときの撮影方向、撮影時
間、撮影した場所等の記録である撮影情報の電子ファイ
ル名を指示する。操作員の指示はキーボードからファイ
ル名を指示することにより行う。映像の電子ファイル
と、撮影情報の電子ファイルは、MO等の補助記憶媒体
に蓄積してあることを前提としている。次に、映像対応
付け手段6は、新しく映像に付ける電子ファイル名を決
め、この新しい映像の電子ファイル名と撮影情報を映像
データベース5に書き込む。映像につける電子ファイル
名は、映像データベース5に既に蓄積されている電子フ
ァイル名以外のファイル名となるように決定する。具体
的は登録日時により、1998年1月5日10時30分
であれば、199801051030というファイル名にする。 【0024】このとき、映像データベース5は、図3の
ように、各映像のファイル名とその映像における複数の
撮影地点の撮影日時や撮影場所、撮影方向を情報として
蓄積し、映像とその映像情報をファイル名で対応付け、
映像情報のうち、ある撮影位置がその映像の何秒目の映
像かをしりたい場合には、撮影日時を見ればわかるよう
になる。対応付けの具体的方法を説明する。撮影情報の
電子ファイルには、複数の撮影時刻の日時、撮影位置の
緯度と経度、撮影方向の角度、が1組になって、複数組
記録してある。映像対応付け手段6は、これらの情報を
すべて読み込み、撮影時刻の時間順に並べ変えて、1組
が1行となるように映像データベース5に書き込む。各
行は図3のように一番左側の列に前述の例で1998010510
30と記述した映像につける新しい電子ファイル名を記録
し、次の列に、その撮影位置が撮影時刻の時間順の何番
目かという撮影位置の番号を記録し、その次の列に撮影
時間を記録し、その次の列に撮影した位置の経度緯度を
記録し、その次の列に撮影方向の角度を記録する。撮影
時刻の記録のある行数だけ記録する。次に、映像対応付
け手段で6は、操作員が指定した映像をコピーし、コピ
ーした電子ファイルに新しい映像の電子ファイル名を付
ける。 【0025】以上のように、この実施の形態2によれ
ば、別々に記録した映像と撮影情報を対応付けて蓄積す
る映像対応付け手段6により、撮影した映像と別に記録
した撮影位置や撮影時間等の撮影情報を撮影情報ファイ
ルの名称を指定するだけで映像データベース5に自動的
に書き込むことにより、操作員が映像データベース5を
構築する労力を軽減し、特殊な蓄積方法で撮影したデー
タでなくても容易にデータベース化できる。 【0026】実施の形態3.上述した実施の形態1で
は、操作員が指示した撮影情報に従った映像の検索がで
きるが、次に、撮影した位置を地図上に分かり易く表示
する実施の形態を示す。 【0027】図5はこの発明の実施の形態3に係る映像
情報表示装置の構成を示す構成図である。図5におい
て、図2に示す実施の形態1と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、7は地図
のイメージである地図情報、8は地図情報を表示する地
図情報表示手段、9は地図上の座標と実際の経度緯度位
置との数値変換を行う対象位置対応手段、10は地図上
に撮影情報に基づいた撮影位置の軌跡を表示する軌跡表
示手段である。 【0028】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示する。これに基づき、軌跡表示
手段10では、映像データベースから全ての撮影情報を
読み出す。次に、軌跡表示手段10では、撮影情報に含
まれる撮影位置の経度緯度情報を地図上での座標に変換
するように対象位置対応手段9に依頼する。対象位置対
応手段9では、対象となる地図上の座標に変換して軌跡
表示手段10へ返す。 【0029】ここで、経度緯度から地図上の座標への変
換には、地図のイメージデータの座標の原点の経度と緯
度と、縮尺としてイメージデータの1ドットが何mかと
いう情報を地図情報として地図イメージデータと一緒に
予め蓄積してあることとし、座標に変換する経度緯度と
地図情報に含まれる地図イメージデータの原点の経度緯
度の差を四則計算により求め、この経度緯度の差をメー
トルに換算し、座標に変換したい位置と地図イメージデ
ータの原点の位置が東西南北どの方向に何メートル離れ
てえいるかを算出し、この距離に従って原点からの位置
を算出することにより計算する。 【0030】次に、軌跡表示手段10では、地図情報表
示手段8へ地図表示の指示を行う。これに基づき、地図
情報表示手段8では、地図情報7を読み込み表示し、表
示画面では図6の例のように道路や街区を表示する。地
図の表示は市販の地図表示ソフトウェアを利用してもよ
い。次に、軌跡表示手段10では、軌跡点の地図上の座
標を利用して、地図上に軌跡を描いて表示する。軌跡の
表示例は図7のようになる。 【0031】ここで、図3の撮影情報に記述してあるフ
ァイル名1の映像の軌跡を地図上に表示する例を示す。
ファイル名「1」では撮影位置として、3つの点の記録
がある。この3点を時間の古い順にA、B、Cとする
と、まずAの点を地図上に表示し、次にBの点を地図上
に表示し、最後にCの点を地図上に表示し、A、B、C
を順番に結ぶ線を地図上に表示する。地図上に点や線を
表示するしくみに以下に記す。 【0032】地図情報表示手段8では、表示画面を階層
的にもっていて、地図を表示している層の上に文字やグ
ラフィックを描くことのできる表示層がある。この層に
点や線を表示する。点や線を表示する位置について説明
すると、A、B、Cの各点の位置はそれぞれ図3に示す
ように経度と緯度がわかる。A,B、Cの各点の経度緯
度を上記と同じ手法によって地図上の座標位置に変換
し、この位置を表示位置と決める。 【0033】以上のように、この実施の形態3によれ
ば、地図情報表示手段8により地図を表示し、軌跡表示
手段10により、撮影情報に沿った撮影位置の軌跡を地
図上に表示でき、道路等に沿って撮影した映像を地図と
対応付けて表示する場合、地図上に撮影中の撮影位置の
移動軌跡を表示することができ、映像の撮影位置を容易
にしることができるようになる。 【0034】実施の形態4.上述した実施の形態3で
は、撮影した位置を地図上に分かり易く表示する実施の
形態を示したが、次に、撮影方向や撮影日時を地図上に
視覚的に表示する実施の形態を示す。 【0035】図8はこの発明の実施の形態4に係る映像
情報表示装置の構成を示す構成図である。図8におい
て、図5に示す実施の形態3と同一部分は同一符号を示
し、その説明は省略する。新たな符号として、11は撮
影した向きや時間等の撮影情報を地図上に表示する撮影
情報地図上表示手段である。 【0036】次に動作について説明する。まず、操作員
が撮影情報地図上表示手段11へ撮影情報表示を指示す
る。これに基づき、撮影情報地図上表示手段11では、
映像データベース5から撮影情報を読み出す。次に、撮
影情報地図上表示手段11では、撮影情報に含まれる撮
影方向や撮影日時、撮影位置の変化から算出した移動速
度を地図上に絵や文字で描く。撮影情報の表示例は、図
9のようになり、ある撮影位置の撮影情報としては、カ
メラの絵の撮影位置を示し、ベクトルの矢印の大きさで
移動速度を示し、撮影位置の横に撮影日時を示す。 【0037】ここで、絵や文字を描く場所の特定方法で
あるが、図3に示すように、撮影位置には経度緯度情報
を含んでいる。この経度緯度情報を、実施の形態3で示
したように地図上の座標位置に変換し、この位置を表示
位置とする。地図上に線を描く方法は実施の形態3と同
じである。また、撮影日時等の文字情報は撮影位置に対
応した地図上の座標の横に表示する。撮影方向は、図3
のように撮影情報に撮影方向が含まれるので、この方向
に向いたカメラの絵で表示する。 【0038】以上のように、この実施の形態4によれ
ば、撮影情報地図上表示手段11により、映像データベ
ース5に蓄積してある撮影情報である撮影した方向や撮
影時間を地図上に絵を用いて分かり易く表示できるの
で、いつどのようにどの方角を撮影したのかが分かりや
すくなる。 【0039】実施の形態5.上述した実施の形態3で
は、撮影した位置を地図上に分かり易く表示する実施の
形態を示してあり、さらに、実施の形態1では、映像を
映像情報を用いて検索する実施の形態が示してある。次
に、地図表示画面上で撮影の軌跡を選択することにより
視覚的に映像を選択して検索する実施の形態を示す。 【0040】図10はこの発明の実施の形態5に係る映
像情報表示装置の構成を示す構成図である。図10にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、12は
映像の軌跡を地図上で選択し、その軌道に対応した映像
を映像検索手段2を介して検索して表示する映像軌跡指
示手段である。 【0041】次に動作について説明する。操作員が地図
表示画面上で表示してある軌跡を選択する。ここで、軌
跡の選択とは、図11に示すように、操作員の示した地
図上の点と、既に表示してある撮影の軌跡を結んだ線の
距離が、予め設定しておいた距離以内である場合に、そ
の軌跡を選択したと映像軌跡指示手段12が判断するこ
とである。映像軌跡指示手段12は、選択した軌跡の地
図上の点の位置を得て、対象位置対応手段9へ地図上の
軌跡位置を経度緯度で示す実際の位置に変換する依頼を
する。対象位置対応手段9では、操作員が選択した軌跡
の点の実際の位置である経度情報を計算し、映像軌跡指
示手段12へ送る。対象位置対応手段9における画面表
示した地図上の指定点の経度緯度への変換は以下のよう
に行う。地図のイメージデータの座標の原点の経度緯度
と、縮尺としてイメージデータの1ドットが何メートル
かという情報を地図情報として地図イメージデータと一
緒に予め蓄積してあることとする。経度緯度に変換する
座標上の点が原点から表示座標上の距離で南北方向と東
西方向にどれだけ離れているかの距離を計算する。この
距離にイメージデータの1ドットのメートル数を掛ける
と実空間で地図上の原点からの東西南北でどれだけ離れ
ているかの距離が計算できる。原点からの距離として、
北に100メートル、西に50メートルであったとす
る。地図上の原点の緯度経度付近における経度緯度の1
秒のずれにつき何メートル離れるかという計算値は容易
に計算できるので、この値が仮に緯度で1秒25メート
ル経度で1秒20メートルであったとすれば、原点から
の距離からこの値を割ることにより、地図の原点の経度
緯度よりも北に4秒、西に2秒ずれている地点の経度緯
度が操作員の指示した地図上の位置の実空間での経度緯
度である。 【0042】映像軌跡指示手段12は、実際の位置を検
索キーとして、映像検索手段2へ映像の検索を依頼す
る。映像検索手段2は、実際の位置を検索キーとして映
像データベース5を検索し、映像のファイル名を取り出
す。映像検索手段2は、該当する映像のファイルを取り
出し、映像再生手段1へ映像のファイルを送る。これに
基づき、映像再生手段1では、その映像を再生する。映
像検索手段2において、位置に基づく検索は以下のよう
に行う。図3で示すように、映像データベースには、撮
影した映像の撮影位置の経度緯度が記録してある。これ
が秒単位で記録してあるとする。撮影位置の経度緯度が
操作員が指定した地図上の位置の経度緯度との差が予め
設定しておいた範囲以内の場合、この撮影位置を含む映
像のファイル名を検索結果とする。予め設定しておく経
度緯度の差は例えば経度、緯度共に5秒前後という値に
なる。 【0043】以上のように、この実施の形態5によれ
ば、映像軌跡指示手段12を備えることで、操作員が地
図上で指示した点に一番近い軌跡で示される映像を再生
表示することができ、地図上で対応付けてある映像を検
索して再生表示する場合、地図上に表示してある撮影位
置の移動軌跡を選択できるので、複数の映像が地図上に
対応づけられていても、見たい位置が写っている映像を
撮影位置の軌跡を見ながら間違いなく検索できる。 【0044】実施の形態6.上述した実施の形態5で
は、地図上で選択した軌跡で示される映像を検索して表
示する例を示したが、次に映像が例えば道路に沿って長
距離に渡って撮影されているときなどに、特定の区間の
映像だけを検索して再生表示する実施の形態を示す。 【0045】図12はこの発明の実施の形態6に係る映
像情報表示装置の構成を示す構成図である。図12にお
いて、図10に示す実施の形態5と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、13
は映像の軌跡のある1部分の区間を地図上で選択し、そ
の軌道に対応した映像を映像再生手段を介して検索して
表示する映像軌跡区間指示手段であり、図10に示す実
施の形態5の映像軌跡指示手段12と入れ替わってい
る。 【0046】次に動作について説明する。操作員が地図
表示画面上で表示してある軌跡の区間を2端点で選択す
る。ここで、端点の選択とは、実施の形態5と同じよう
に行い、操作員の指示した地図上の点と最も近い軌跡上
の映像の撮影位置である点を示す。映像軌跡区間指示手
段13は、選択した軌跡の地図上の2点(始点、終点)
の位置を得て、この2点について、対象位置対応手段9
へ地図上の軌跡位置を経度緯度で示す実際の位置に変換
する依頼をする。 【0047】対象位置対応手段9では、操作員が選択し
た軌跡の2点の実際の位置を実施の形態5にように計算
し、映像軌跡区間指示手段13へ送る。映像軌跡区間指
示手段13は、2点の実際の位置である経度情報を検索
キーとして、映像検索手段2へ映像の検索を依頼する。
映像検索手段2は、2点の実際の位置を検索キーとして
映像データベース5を検索し、映像のファイル名を取り
出す。映像検索手段2は、実施の形態5における映像検
索手段2と同じ処理により、始点として指定した位置に
近い撮影位置と、終点と指定した位置に近い撮影位置を
検索し、この2つの撮影位置の両方が一つの撮影記録に
ある映像のファイル名を選択する。 【0048】映像検索手段2は、その映像の撮影位置の
2地点がそれぞれ何時に撮影されたものかを撮影情報か
ら調べ、その2地点の古い方の時間を再生開始時間と
し、新しい方の時間を再生終了時間として映像再生手段
1へ映像のファイルを送り再生を指示する。これに基づ
き、映像再生手段1では、指定された再生開始時間と再
生終了時間の間の映像を再生する。映像再生手段1にお
ける指定時間の映像再生は以下のように行う。映像再生
手段1は、映像検索手段2から受け取った映像のファイ
ル名をキーとして、映像データベース5の内容を参照
し、この映像のファイル名の最初の撮影位置の撮影時間
を取り出す。この撮影時間から、再生開始時間、再生終
了時間が夫々何秒後かを加減算により計算する。それぞ
れ20秒、25秒であったとする。映像の動画像ファイ
ルには、映像が時間順に多量に蓄積されていて、予め1
秒間の撮影時間における映像のコマ数が決まっているこ
ととする。例えば1秒間に20コマであったとする。こ
の場合、映像再生手段1は、20秒かける20コマであ
る先頭から400コマ目から映像を再生し、25秒かけ
る20コマである先頭から500コマ目まで再生する。 【0049】以上のように、この実施の形態6によれ
ば、映像軌跡区間指示手段13では、操作員が地図上で
指示した軌跡の区間の映像を再生表示することができる
ので、地図上で対応付けてある映像を検索して再生表示
する場合、例えば道路に沿って何キロメートルも撮影し
た映像であってもある交差点から次の交差点の範囲とい
うように見たい範囲の映像だけを見ることができ、不要
に長い映像を見て見たい位置の写っている映像を検索す
る必要はなくなるという効果がある。 【0050】実施の形態7.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上で指定した特定の場所が写っている映
像を検索する実施の形態を示す。 【0051】図13はこの発明の実施の形態7に係る映
像情報表示装置の構成を示す構成図である。図13にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、14は
地図上で見たい個所の位置を入力し、対象位置対応手段
9を介して位置の実際の位置に変換する対象位置入力手
段、15は映像データベース5から見たい位置が写って
いる映像を検索して映像検索手段2を介して映像再生手
段1により再生させるための対象位置検索手段である。 【0052】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置を対象位置入力手段14に送る。対象位
置入力手段14は、対象位置対応手段9へ、地図上の座
標位置を経度緯度で示す実際の位置に変換する依頼をす
る。対象位置対応手段9では、操作員が指示した点の実
際の位置を計算し、対象位置入力手段14へ送る。そし
て、対象位置入力手段14は、操作員が指示した位置を
実際の経度緯度に直した位置を対象位置検索手段15へ
送り映像の検索を依頼する。対象位置対応手段9におけ
る操作員の地図上の指示位置の経度緯度への変換は実施
の形態5と同じように行う。 【0053】次に、対象位置検索手段15では、映像デ
ータベース5を検索し、操作員の指示した位置に近い撮
影位置を取り出す。このとき、近いという判断は、距離
が例えば30メートルというように予め決めておく。何
メートル離れているかの判断は、操作員の指示した位置
の経度緯度と、映像データベース5から取り出す撮影位
置の経度緯度の差を用いて計算する。仮にこの2点間の
経度、緯度共に1秒の差があった場合で、かつこの経緯
度近辺の緯度1秒の差による距離が25メートルで、経
度1秒の差による距離が20メートルであったとすれ
ば、2点の距離は20メートルの二乗と25メートルの
二乗を合わせた数の平方根となり約32メートルとな
る。対象位置検索手段15では、検索して取り出した撮
影位置の全てについて、操作員が指示した点が写ってい
るかどうかを確認する。この確認方法としては、図14
に示すように、撮影位置から撮影方向に向かって予め設
定した仰角の範囲内に操作員が指示した点が入り、その
距離が予め設定した距離以内であることとする。撮影位
置から撮影方向に向かって予め設定した仰角の範囲内に
操作員が指示した点が入っているかの確認は以下のよう
に行う。北緯をY軸、東経をX軸として、X−Y座標と仮
にみなし、撮影位置を原点と仮定し、座標の単位をメー
トルとする。この座標上で、撮影位置と操作員の指定位
置の差違の計算と同等に、操作員の指定位置が経度、緯
度方向にそれぞれ何メートル離れているかを計算する。
これがたとえば、東に10メートル、北に20メートル
であった場合、X−Y座標上で指定点(10,20)と
いう点を仮におき、原点から指定点へ向かう指定点ベク
トルを設定する。指定点ベクトルの原点からの角度をA
とすると、ベクトルの長さをBとして、BcosA=2
0、BsinA=10となる。これより、A=逆cos
(20/B)であり、かつA=逆sin(10/B)と
なる。このAと撮影位置における撮影角度を比較するこ
とにより、撮影範囲に入っているかどうかが確認でき
る。 【0054】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像を取
り出し、操作員が指示した点が写っている撮影位置が写
っている映像の撮影時間の前後例えば5秒というように
予め設定した時間の映像再生を映像再生手段1へ依頼す
る。映像再生手段1では、これに従って映像を再生す
る。対象位置検索手段15から映像再生手段1への依頼
は、再生開始時間、再生終了時間、映像のファイル名を
指定して行う。映像の撮影位置における撮影時間の5秒
前を再生開始時間とし、撮影位置における撮影時間の5
秒後を再生終了時間とする。再生開始時間が該当する映
像の最初の撮影位置記録の撮影時間より前の場合は、再
生開始時間はこの映像の最初の撮影位置記録の撮影時間
とする。また、再生終了時間が該当する映像の最後の撮
影位置記録の撮影時間より後の場合は、再生終了時間は
この映像の最後の撮影位置記録の撮影時間となる。指定
した時間の範囲だけの映像の再生は、実施の形態6の処
理と同様に処理する。 【0055】以上のように、この実施の形態7によれ
ば、対象位置入力手段14で入力した位置に、対象位置
検索手段15を介してその点が写っている映像を検索す
るようにしたので、地図上で対応付けてある映像を検索
して再生表示する場合、見たい位置地点を地図上で指示
するだけで、その位置が写っている映像を検索して表示
することができるようになり、見たい位置が写っている
映像を間違えなく検索することができる。 【0056】実施の形態8.上述した実施の形態7で
は、操作員が指示した点が写っている映像を検索するこ
とができるが、次に地図上で指定した位置の映像が複数
あったときに、時間順に複数の映像を再生する実施の形
態を示す。 【0057】図15はこの発明の実施の形態8に係る映
像情報表示装置の構成を示す構成図である。図15にお
いて、図13に示す実施の形態7と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、16
は検索して取り出した映像を時間順に再生表示する定点
映像時間順表示手段である。 【0058】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置を対象位置入力手段14に送る。対象位
置入力手段14は、対象位置対応手段9へ、地図上の座
標位置を経度緯度で示す実際の位置に変換する依頼をす
る。対象位置対応手段9では、操作員が指示した点の実
際の位置を計算し、対象位置入力手段へ送る。以上の処
理の詳細は、実施の形態7と同様に処理する。 【0059】次に、対象位置入力手段14は、操作員が
指示した位置を実際の経度緯度に直した位置を対象位置
検索手段15へ送り映像の検索を依頼する。これに基づ
き、対象位置検索手段15では、映像データベース5を
検索し、操作員の指示した位置に近い撮影位置を取り出
す。このとき、近いという判断は、距離が例えば30メ
ートルというように予め決めておく。対象位置検索手段
15では、検索して取り出した撮影位置の全てについ
て、操作員が指示した点が写っているかどうかを確認す
る。この確認方法としては、図14に示すように、撮影
位置から撮影方向に向かって予め設定した仰角の範囲内
に操作員が指示した点が入り、その距離が予め設定した
距離以内であることとする。以上の処理の詳細は、実施
の形態7と同様に処理する。 【0060】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像を取
り出す。この実施の形態8では、操作員が指示した位置
が写っている映像は複数あるものとする。対象位置検索
手段15では、操作員が指示した点が写っている撮影位
置が写っている映像の撮影時間の前後例えば5秒という
ように予め設定した時間の映像表示を定点映像時間順表
示手段16へ依頼する。このとき、映像は複数である。
対象位置検索手段15から定点映像時間順表示手段16
への依頼は、再生開始時間、再生終了時間、映像のファ
イル名を一組として、複数の映像がある場合は映像の数
だけ送る。映像の撮影位置における撮影時間の5秒前を
再生開始時間とし、撮影位置における撮影時間の5秒後
を再生終了時間とする。再生開始時間が該当する映像の
最初の撮影位置記録の撮影時間より前の場合は、再生開
始時間はこの映像の最初の撮影位置記録の撮影時間とす
る。また、再生終了時間が該当する映像の最後の撮影位
置記録の撮影時間より後の場合は、再生終了時間はこの
映像の最後の撮影位置記録の撮影時間となる。 【0061】複数ある映像の再生順序は以下のように決
定する。定点映像時間順表示手段16では、映像を古い
順に再生する指示を映像再生手段1へ送る。一つの映像
が再生し終わったら、次に古い映像を再生するように次
々と指示を送る。映像再生手段1では、これに従って映
像を再生する。映像を古い順に指定する具体的処理は以
下のように行う。定点映像時間順表示手段16では、対
象位置検索手段15から送られた各映像の再生開始時間
を比較して、この再生開始時間の最も古い映像の再生開
始時間、再生終了時間、映像のファイル名を映像再生手
段1へ送る。指定した時間の範囲だけの映像の再生は、
実施の形態6の処理と同様に処理する。映像再生手段1
は、映像を再生し終わると定点映像時間順表示手段16
へ再生終了であることを知らせる。映像時間順表示手段
16では、映像再生手段1で再生した映像のファイル名
と再生開始時間と再生終了時間を定点映像時間順表示手
段16の保持している記録から消す。定点映像時間順表
示手段16において保持している残りの映像の映像ファ
イル、再生開始時間、再生終了時間の組の中から、最も
再生開始時間の古い映像を選択して、この再生開始時間
の最も古い映像の再生開始時間、再生終了時間、映像の
ファイル名を映像再生手段1へ送る。この処理を定点映
像時間順表示手段16で保持している映像の全てを表示
し終わるまで続ける。 【0062】以上のように、この実施の形態8によれ
ば、対象位置入力手段14で入力した位置を複数の映像
で記録してある場合でも、定点映像時間順表示手段16
によって順次古い順にその地点の映像を検索することが
できるようにしたので、地図上である地点に対応付けて
ある映像を検索する場合、その地点に複数の映像が対応
付けてある場合でも、古い順に順次検索して表示するの
で、何度も同じ地点の映像を何回も検索し直さなくても
済む。 【0063】実施の形態9.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上で指定した特定の場所が写っている映
像を検索する実施の形態を示す。 【0064】図16はこの発明の実施の形態9に係る映
像情報表示装置の構成を示す構成図である。図16にお
いて、図5に示す実施の形態3と同一部分は同一符号を
示し、その説明は省略する。新たな符号として、17は
地図上で操作員が見たい範囲を指定するとその範囲の実
際の位置を対象位置対応手段9を用いて取得する対象範
囲入力手段、18は操作員が指定した範囲が撮影してあ
る映像を映像データベース5から検索し、映像検索手段
2と映像再生手段1を介して再生する対象範囲検索手段
である。 【0065】次に動作について説明する。操作員が地図
表示画面上で見たい範囲を指示することで、画面から地
図上の範囲を特定できる点の座標位置を対象範囲入力手
段17に送る。例として、範囲は4角形とし、特定する
ために4点を送ることとする。対象範囲入力手段17
は、対象位置対応手段9へ、4点の地図上の座標位置を
経度緯度で示す実際の位置に変換する依頼をする。 【0066】対象位置対応手段9では、操作員が指示し
た範囲を示す4点の実際の位置を計算し、対象範囲入力
手段17へ送る。これに基づき、対象範囲入力手段17
は、操作員が指示した位置を実際の経度緯度に直した位
置を対象範囲検索手段18へ送り映像の検索を依頼す
る。対象打ち対応手段9における操作員の地図上の指示
位置の経度緯度変換は実施の形態5と同じように行う。 【0067】対象範囲検索手段18では、映像データベ
ース5を検索し、操作員の指定した範囲が写っている撮
影位置を取り出す。このとき、指定した範囲が写ってい
るかどうかの判断は、図17のように行う。ある撮影位
置から撮影方向に向かって予め設定した仰角の範囲内に
操作員の指定した範囲の点が含まれ、その距離が予め設
定した距離以内のときは、その範囲がその撮影地点で写
っていると判断する。具体的には、対象範囲検索手段1
8は、映像データベースに含まれる撮影情報のすべての
撮影位置を以下のように調べる。先ず、撮影位置を原点
として、北方向をY(単位はメートル)東方向をX(単
位はメートル)とする座標系を用いて、操作員が指定し
た4点を北西の角をA、北東の角をB、南東の角をC、
南西の角をDと表現する。これらが例えば、A(5,2
0)、B(20,20)、C(5,5)、D(20,
5)であったとする。操作員の指定した範囲は、5≦X
≦20かつ5≦Y≦20である。以上の条件を仮に条件
1とする。撮影時の撮影範囲を、撮影方向から左右各3
0度として設定してある場合で、かつ、撮影方向が北に
対して東方向に60度であったとする。このとき、撮影
範囲は撮影方向から左右30度を示す線の間になり、Y
≧0、Y≦√3Xを満たしかつ、X≧0の範囲となる。
さらに、撮影位置から30m以内の距離であったとすれ
ばXの二乗とYの二乗の合計が30の二乗である900
以下にならなくては行けない。以上の条件を条件2とす
る。条件1と条件2を同時に満たしていればその撮影位
置において、撮影区間が写っていたことになる。これを
簡単に確認する方法として、先ず条件1を満たす座標を
メモリ空間内に描く。メモリとは、0または1を記録す
る記録媒体であり、記録させる仮想の場所を番地によっ
て指定するものであり、メモリ空間内に描くとは、メモ
リの全ての番地に0を記憶させておき、条件を満たす座
標によって指定される番地の記憶内容を1とすることで
ある。番地は例えば16進数で8桁であり最初の4桁を
上位番地、下4桁を番地と名づけ、Y座標を上位番地、
X座標を下位番地に割り当てる。このとき、1メートル
が16進数の10程度になるように細かく分割すれば精
度があがる。次に、条件2を満たす座標を別の記録媒体
であるメモリ空間内に同様にして描く。条件1を描いた
メモリと、条件2を描いたメモリの全ての同じ番地の記
憶内容を比較し、両方とも記憶内容が1である番地があ
る場合、条件1と条件2を動じに満たす点があることに
なり、この撮影位置は確かに操作員が指定した範囲内の
どこかの点が写っていると判断する。 【0068】以上のように、この実施の形態9によれ
ば、対象範囲入力手段17で入力した範囲が写っている
映像を、対象範囲検索手段18を介して検索することが
できるようにしたので、地図上のある範囲内に対応付け
られている映像を検索する場合、地図上で範囲を指定し
てその範囲内の映像をまとめて検索することができるの
で、地図上でみたい範囲の映像を一つ一つ選択して検索
しなくてもよくなる。 【0069】実施の形態10.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に地図上である軌跡を通って移動した物体が写
っている映像を検索する実施の形態を示す。 【0070】図18はこの発明の実施の形態10に係る
映像情報表示装置の構成を示す構成図である。図18に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、19
は地図上で操作員が見たい位置の移動軌跡とその日時を
入力すると、その位置を対象位置対応手段を介して実際
の位置に変換する移動軌跡入力手段、20は移動軌跡入
力手段19から受け取った時間に同じく受け取った位置
が写っている映像を映像データベース5から検索し、映
像検索手段2と映像再生手段1を介して再生する移動軌
跡検索手段である。 【0071】次に動作について説明する。操作員が地図
上に検索したい移動軌跡をマウスを使って入力する。軌
跡の入力は地図上に複数の点を指示することにより行
う。また、指示した点にはその点を通過した時間を入力
する。これらの情報は地図表示の画面から移動軌跡入力
手段19へ送る。移動軌跡入力手段19では、軌跡とし
て入力した地図上の座標位置を対象位置対応手段9へ送
り、座標位置を経度緯度で示す実際の位置に変換する依
頼をする。 【0072】対象位置対応手段9では、軌跡の各点の実
際の位置を計算し、移動軌跡入力手段19へ送る。対象
位置対応手段9における操作員の地図上の指示位置の経
度緯度への変換は実施の形態5と同じように行う。移動
軌跡入力手段19では、操作員が入力した軌跡の点にお
ける実際の位置とその点に対して入力した時間を移動軌
跡検索手段20に送り、その地点にその時間に撮影した
映像があるかどうかの検索を依頼する。移動軌跡検索手
段20では、映像データベース5を検索し、操作員の指
定した軌跡の点に近い撮影位置の撮影情報を取り出す。 【0073】移動軌跡検索手段20では、検索して取り
出した撮影位置の全てについて、操作員が指示した点が
写っているかどうかを確認する。写っているかどうかの
判断は、実施の形態7と同じであるが、実施の形態10
では位置だけではなく撮影時間についても操作員の指定
した時間かどうかを調べる。撮影時間については、映像
データベース5の撮影位置のある点において、操作員が
指定したある点が写っていると判断したときに、その撮
影位置の撮影時間を、操作員が指定した時間と比較し、
予め設定しておいた例えば5秒以内という時間差であれ
ば、その時間にその位置が写っていると判断する。そし
て、操作員が指示した点が写っている撮影位置を撮影情
報にもつ映像を取り出す。移動軌跡検索手段20では、
操作員が指示した点が写っている撮影位置が写っている
映像の撮影時間の前後例えば5秒というように予め設定
した時間の映像再生を映像再生手段1へ依頼する。映像
再生手段1では、これに従って映像を再生する。再生の
指示と再生の処理は、実施の形態7と同様に処理する。 【0074】以上のように、この実施の形態10によれ
ば、移動軌跡入力手段19で入力した時間と地点の映像
があるかどうかを移動軌跡検索手段20を介して検索す
ることができるようにしたので、例えば過去に地図で示
される範囲内を通過した車を撮影した映像を検索する場
合、地図上で例えば道路に沿って移動した車の移動経路
と例えば大きな交差点のような要所要所の通過地点を指
定するだけで、その車の写っている映像を取り出すこと
ができるので、移動経路上の各地点に対応付けられてい
る映像を全て検索したり内容を確認したりする手間が省
ける。 【0075】実施の形態11.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像の内容の一部も
地図上に表示する実施の形態を示す。 【0076】図19はこの発明の実施の形態11に係る
映像情報表示装置の構成を示す構成図である。図19に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、21
は地図上に検索結果である映像の一場面の画像である代
表画面を表示する代表画面表示手段である。 【0077】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示することで、軌跡表示手段10
では、映像データベース5から全ての撮影情報を読み出
す。次に、軌跡表示手段10では、撮影情報に含まれる
撮影位置の経度緯度情報を地図上での座標に変換するよ
うに対象位置対応手段9に依頼する。 【0078】対象位置対応手段9では、対象となる地図
上の座標に変換して軌跡表示手段10へ返す。対象位置
対応手段9における経度緯度の画面表示した地図上の座
標への変換は以下のように行う。地図のイメージデータ
の座標の原点の経度緯度と、縮尺として、経度緯度の1
秒が地図を示すイメージデータの何ドットかという情報
を地図情報として地図イメージデータと一緒に予め蓄積
してあることとする。これにより、操作員の指定した経
度緯度が、地図上の原点から何秒離れているかがわか
る。この秒数に経度緯度の1秒が地図を示すイメージデ
ータの何ドットかという値を掛け合わせて、地図上の座
標位置を決定する。次に、軌跡表示手段10では、地図
情報表示手段8へ地図表示の指示を行う。地図情報表示
手段8では、地図情報7を読み込み表示し、表示画面は
道路や街区を示す。この処理は例えば市販の地図表示ソ
フトウェアを用いて行う。次に、軌跡表示手段10で
は、軌跡点の地図上の座標を利用して、地図上に軌跡を
描いて表示する。軌跡の表示例は図7のようになる。以
上の処理は実施の形態3と同様に処理する。 【0079】次に、軌跡表示手段10は、代表画面表示
手段21へ軌跡を示す撮影情報と地図上の軌跡の表示し
てある座標位置を送る。代表画面表示手段21は、軌跡
を示す映像の電子ファイルを取り出す。すなわち、映像
3の電子ファイルから1場面の画像を取り出し地図上の
軌跡の横に表示する。画像の取り出しについては以下の
ように行う。撮影情報に映像の電子ファイル名が含まれ
る。この電子ファイルには、時間順に、例えば1秒に2
0コマの時間順の静止画が記録されている。例えば電子
ファイルの先頭の静止画を読み込むこととする。表示す
る位置については、その映像で最も過去に撮影された撮
影位置の経度緯度を地図上に座標に直した点の直ぐ横に
表示する。 【0080】以上のように、この実施の形態11によれ
ば、代表画面表示手段21により、軌跡を表示した映像
の内容の一部を地図上に表示することができるようにし
たので、撮影した映像のうちの1場面の画像を、地図上
に対応付けた撮影位置の軌跡と合わせて表示するので、
単純に映像の撮影位置がわかるだけではなく、その内容
も地図上の表示を見ればわかるようになる。 【0081】実施の形態12.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像の内容を撮影位
置がわかるように移動しながら地図上に表示する実施の
形態を示す。 【0082】図20はこの発明の実施の形態12に係る
映像情報表示装置の構成を示す構成図である。図20に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、22
は地図上に検索結果である映像の一場面の画像を表示す
るが、その表示方法として、撮影位置に対応する位置に
沿って表示位置を移動し、撮影時間に沿った再生内容に
表示する画面を切り替える代表画面移動表示手段であ
る。 【0083】次に動作について説明する。まず、操作員
が軌跡表示手段10へ撮影したときの位置の軌跡を地図
上に表示するように指示することで、軌跡表示手段10
では、映像データベース5から全ての撮影情報を読み出
し、撮影情報に含まれる撮影位置の経度緯度情報を地図
上での座標に変換するように対象位置対応手段9に依頼
する。対象位置対応手段9では、対象となる地図上の座
標に変換して軌跡表示手段10へ返す。座標の変換は、
実施の形態11と同じように行う。 【0084】次に、軌跡表示手段10では、地図情報表
示手段8へ地図表示の指示を行う。地図情報表示手段8
では、地図情報7を読み込み表示し、表示画面に道路や
街区を示す。そして、軌跡表示手段10では、軌跡点の
地図上の座標を利用して、地図上に軌跡を描いて表示す
る。軌跡の表示例は図7のようになる。以上の処理は実
施の形態3と同様に処理する。次に、軌跡表示手段10
から代表画面再生移動表示手段22へ軌跡を示す撮影情
報と地図上の軌跡の表示してある座標位置が送られる。 【0085】代表画面再生移動表示手段22は、軌跡を
示す映像3の電子ファイルを取り出し、映像を再生し、
図21で示すように、その再生中の映像が撮影された地
点の地図上の位置に映像を表示するように映像を地図上
に移動しながら表示する。この実施の形態12として
は、撮影情報に撮影時間と撮影位置が含まれるので、再
生しながらそれに対応した撮影位置を取り出し、その位
置に対応した地図上の座標を対象位置対応手段9から取
り出し、その座標地点を再生している映像の表示位置と
する。代表画面再生移動表示手段22は、撮影位置の時
間順に、映像を撮影位置Aから次の撮影位置であるBま
での時間を一つの区切りとして、その撮影時間の映像の
電子ファイルの表示を撮影位置Aの地図上の軌跡の表示
位置の横に表示する。この表示が終わったら、撮影位置
Bから時間順に告ぎの撮影位置であるCまでの区間の映
像を撮影位置Bの地図上の表示位置の横に再生して表示
する。これを繰り返す。特定の撮影位置区間の表示につ
いては、実施の形態6と同じように行う。 【0086】以上のように、この実施の形態12によれ
ば、代表画面再生移動表示手段22により、選択した軌
跡の映像の内容がその撮影位置がわかる形で地図上に表
示するようにしたので、映像を再生するときに、映像を
撮影した位置に対応した地図上の位置に映像再生画面を
表示することができ、映像の再生時間が長くても、どの
位置の再生をしているかが容易にわかる。 【0087】実施の形態13.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像が実空間内でど
の範囲で撮影できているかの情報を地図上にわかりやす
く表示する実施の形態を示す。 【0088】図22はこの発明の実施の形態13に係る
映像情報表示装置の構成を示す構成図である。図22に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、23
は映像の撮影位置の軌跡を地図上に表示するときに、地
図上に映像がどの範囲まで写っているかを地図上に表示
する撮影範囲表示手段である。 【0089】次に動作について説明する。まず、操作員
が軌跡表示手段4へ撮影したときの位置の軌跡を地図上
に表示するように指示することで、軌跡表示手段4で
は、映像データベース5から全ての撮影情報を読み出
し、撮影情報に含まれる撮影位置の経度緯度情報を地図
上での座標に変換するように対象位置対応手段9に依頼
する。 【0090】対象位置対応手段9では、対象となる地図
上の座標に変換して軌跡表示手段4へ返す。これに基づ
き、軌跡表示手段4では、地図情報表示手段8へ地図表
示の指示を行う。地図情報表示手段8では、地図情報7
を読み込み表示し、表示画面に図6の例のように道路や
街区を示す。この処理は実施の形態11と同様に行う。 【0091】次に、軌跡表示手段4では、軌跡点の地図
上の座標を利用して、地図上に軌跡を描いて表示する。
軌跡の表示例は図7のようになる。軌跡表示手段4か
ら、撮影範囲表示手段23へ軌跡を示す撮影情報の中か
ら撮影位置と撮影方向を取り出して送ることで、撮影範
囲表示手段23は、軌跡を示す映像の電子ファイルを取
り出し、地図の土地の等高線情報や建物の形状と高さ情
報等で構成される立体地図情報を読み込み、撮影位置と
その方向から計算して映像に写っている範囲を算出して
地図上に表示する。算出の方法は、図23に示すよう
に、土地と建物の立体モデルにたいして、カメラの視点
がどの範囲で届くかを計算する。具体的な方法を、地図
上の座標を用いて説明する。但し東方向をX軸、北方向
をY軸とするX−Y座標に高さ方向にZ軸を加えた3次
元のX−Y−Z座標を用いて説明する。また、便宜上地
図上の座標の1単位は実空間で1メートルであるとす
る。また、カメラの撮影できる角度をカメラの撮影方向
からX−Y平面に平行に左右30度X−Y平面から上方
10度、距離50メートルとする。ある撮影位置の座標
をAとすると、Aの座標は(XA,YA,0)であった
とする。AからX−Y平面に平行に撮影方向へ直線Lを
引く。線を引くとは線のX−Y−Zの関連式を計算する
ことにより行う。LからX−Y平面に平行に左右に30
度の直線をX−Y平面上に引く。これらを直線Mと直線
Nとする。MとNの撮影位置の座標点から距離にして、
50メートルの座標をB、Cとする。BはLより左の線
とする。BからZ軸にプラスの方向に垂線M2を引く。
撮影位置からM2へ到達する線M3を引き、この線のX
−Y平面との角度が10度になるようにする。M3とM
2の交点をB2とする。CからZ軸にプラスの方向に垂
線N2を引く。撮影位置からN2へ到達する線N3を引
き、この線のX−Y平面との角度が10度になるように
する。N3とN2の交点をC2とする。B、B2、C
2、Cを結ぶ長方形の面をSと呼ぶこととする。SをX
−Y平面に平行な線で10当分に分割し、かつ、直線L
とZ軸からなる平面に平行な線で10当分に分割する。
分割された100の長方形をセルと呼ぶこととする。撮
影位置から各セルの中心へ線を引く。この直線をSEL
1からSEL100と名づける。以上は線の計算式を求
めることにより行う。一方、地図上には建物や斜面等の
地形が、ある座標点においては、何メートルというよう
に高さデータが蓄積してあるとする。これを座標空間に
あてはめ、座標の1単位を1辺とした立方体を座標空間
の中におく。座標空間の中に置くとは、メモリ空間内立
体座標を置くことにより行う。メモリとは、0または1
を記録する記録媒体であり、記録させる仮想の場所を番
地によって指定するものであり、メモリ空間内に置くと
は、メモリの全ての番地に0を記憶させておき、条件を
満たす座標によって指定される番地の記憶内容を1とす
ることとする。番地は例えば16進数で12桁であり最
初の4桁を上位番地、次の4桁を中間番地、下4桁を番
地と名づけ、X座標を上位番地、 Y座標を中間番地、
Z座標を下位番地に割り当てる。次に、SEL1〜SE
L100まで以下の処理を行う。例えばSEL1の場
合、SEL1の直線式を例えば1<X≦2の場合は2とす
ることにより、整数値のX、Y、Zの組でを全て算出す
る。次にこのX,Y,Zの組み合わせを前述のメモリ空
間内の座標として、番地に割り当て、この番地に立体物
があるか無いかを確認する。最も撮影位置に近い点にお
ける立体物がある点がその撮影位置のそのSEL1への
方向の視界の限界としてその地図上のX,Yの座標を記
憶する。立体物が一つも無い場合は、長方形SとSEL
1がぶつかる点を視界の限界とする。以上の繰り返しに
よって、地図上のどの範囲が見えているかを計算する。 【0092】以上のように、この実施の形態13によれ
ば、撮影範囲表示手段23により、撮影した映像が実際
にどの範囲まで撮影できているかを地図上に詳しく表示
することができるようにしたので、映像に写っている範
囲が地図上に詳しく表示でき、ビルの横やどての近く等
の撮影できているかどうか分かりつらい部分の映像が写
っているかどうかを映像を再生しなくても地図上で容易
に知ることができる。 【0093】実施の形態14.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に映像の軌跡だけではなく映像に関連付けてあ
る他の情報の検索を行う実施の形態を示す。 【0094】図24はこの発明の実施の形態14に係る
映像情報表示装置の構成を示す構成図である。図24に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、24
は映像に関連する説明文等の情報を検索して表示する関
連情報表示手段である。 【0095】次に動作について説明する。操作員が、実
施の形態3と同じように軌跡を選択し、軌跡で示した映
像の関連情報を表示する指示をする。その軌跡の全ての
撮影地点地図上の座標位置を関連情報検索手段24で受
け取る。関連情報検索手段24では、地図上の座標を実
際の位置に変換するように対象位置対応手段9へ指示す
る。対象位置対応手段9では、地図上の座標を実際の位
置に変換して関連情報検索手段24へ返す。 【0096】これに基づき、関連情報検索手段24で
は、撮影位置を検索キーとして、映像データベース5か
ら関連情報を取り出して表示する。このとき、映像デー
タベース5に映像についてメモをした文書データや映像
に写っている対象物についての説明文書データ等の関連
情報を予め撮影位置と関連付けて持っていることとす
る。 【0097】以上のように、この実施の形態14によれ
ば、関連情報検索手段24により、撮影した映像に関連
する関連情報を検索するようにしたので、地図に対応付
けてある映像に関連した関連情報を関連情報専用のデー
タベースを利用しなくても検索できるようになる。 【0098】実施の形態15.上述した実施の形態3で
は、撮影した映像を軌跡で地図上に表示することができ
るが、次に、再生表示している映像の中の位置を選択す
るとその位置が地図上でどこであるかを表示する実施の
形態を示す。 【0099】図25はこの発明の実施の形態15に係る
映像情報表示装置の構成を示す構成図である。図25に
おいて、図5に示す実施の形態3と同一部分は同一符号
を示し、その説明は省略する。新たな符号として、25
は操作員が映像再生中に映像に写っている位置を指定す
ると、再生時間を元に映像の撮影位置と撮影方向を映像
データベース5から検索して取り出し、その位置を確認
する指示位置確認手段、26は指示位置確認手段25か
ら受け取った撮影位置を地図上に表示する指示位置表示
手段である。 【0100】次に動作について説明する。映像が映像再
生手段1で再生中であるとき、操作員が画面上の位置を
指示位置確認手段25を介して指示すると、指示位置確
認手段25は、映像再生手段1から再生中の映像の電子
ファイル名と再生がその映像の先頭から何秒目かという
再生時間を取得する。これに基づき、指示位置確認手段
25は、映像データベース5から映像の電子ファイル名
と再生時間を検索のキーとして撮影情報に含まれる撮影
位置と撮影方向を取り出す。そして、撮影位置と撮影方
向から操作員が画面上で指示した位置が実際の位置でど
の位置になるかを計算する。 【0101】指示位置確認手段25における計算は図2
6のように行う。すなわち、撮影方向に対して予め設定
した範囲の仰角で撮影していると仮定し、その仰角を図
26ではCと示す。操作員が指定した点の画面の中心か
らの距離を図26中のaで示し、操作員が指定した点か
ら画面の右または左の近い方までの距離を図26のbで
示す。撮影位置から撮影方向をc×a/(a+b)の角
度だけずらした方角を目標位置方向とし、実際の撮影位
置から目標方向に向かって予め設定した範囲の例えば幅
10メートル長さ200メートルを指示位置の実際の位
置として算出する。そして、指示位置確認手段25は、
指示位置の実際の位置を指示位置表示手段26へ表示す
るように指示する。指示位置表示手段26は、指示され
た範囲を地図上で網目上等の表示方法で表示する。 【0102】以上のように、この実施の形態15によれ
ば、指示位置確認手段25により操作員が再生中の映像
を見ながら画面上で指示した位置が実際の経度緯度で表
現できる位置でどこに対応するかがわかり、指示位置表
示手段26により、その位置を地図上に表示するように
したので、地図と対応付けてある映像を再生表示してい
るときに、映像中の位置または物体を指定するとその位
置または物体のある位置が地図上で表示でき、映像に写
っている位置の確認が正確でかつ簡単にできる。 【0103】実施の形態16.上述した実施の形態7で
は、指定した特定の場所が写っている映像を検索するこ
とができるが、次に地図上で指定した特定の場所をが写
っている映像を検索し、その表示画面中で指定した位置
がどこであるかを強調して表示する実施の形態を示す。 【0104】図27はこの発明の実施の形態16に係る
映像情報表示装置の構成を示す構成図である。図27に
おいて、図13に示す実施の形態7と同一部分は同一符
号を示し、その説明は省略する。新たな符号として、2
7は地図上で操作員が選択した位置を動画中で枠で囲む
等のマークを付けることにより強調する動画強調手段で
ある。 【0105】次に動作について説明する。操作員が地図
表示画面上で見たい位置を指示することで、画面から地
図上の座標位置が対象位置入力手段14に送られる。こ
れに基づき、対象位置入力手段14は、対象位置対応手
段9へ地図上の座標位置を経度緯度で示す実際の位置に
変換する依頼をする。対象位置対応手段9では、操作員
が指示した点の実際の位置を計算し、対象位置入力手段
14へ送る。これにより、対象位置入力手段14は、操
作員が指示した位置を実際の経度緯度に直した位置を対
象位置検索手段15へ送り映像の検索を依頼する。 【0106】対象位置検索手段15では、映像データベ
ース5を検索し、操作員の指示した位置に近い撮影位置
を取り出す。このとき、近いという判断は、距離が例え
ば30メートルというように予め決めておく。対象位置
検索手段15では、検索して取り出した撮影位置の全て
について、操作員が指示した点が写っているかどうかを
確認する。この確認方法としては、図14に示すよう
に、撮影位置から撮影方向に向かって予め設定した仰角
の範囲内に操作員が指示した点が入り、その距離が予め
設定した距離以内であることとする。 【0107】対象位置検索手段15では、操作員が指示
した点が写っている撮影位置を撮影情報にもつ映像3を
取り出し、操作員が指示した点が写っている撮影位置が
写っている映像の撮影時間の前後例えば5秒というよう
に予め設定した時間の映像再生を映像再生手段1へ依頼
する。映像再生手段1では、これに従って映像を再生
し、また、対象位置検索手段15は、操作員が指定した
指定位置が写っている撮影地点とその撮影時間の情報を
動画強調手段27へ送る。 【0108】動画強調手段27は、指定位置が写ってい
る撮影時間に撮影された映像に指定位置を強調する表示
を行う。強調する表示とは、図28のように、その位置
が写っている部分に例えば四角い枠を表示することであ
る。強調表示を画面上のどの位置に表示するかの判断は
撮影方向と操作員が地図上で指定した指定位置の方向の
ずれである図28のaと、元々のカメラアングルの仰角
cを用いて、画面の中心から画面の半分の幅かけるa/
cだけずらした点を中心として表示する。画面の上下の
位置については、撮影情報に撮影方向の上下についての
方向の情報があり、かつ操作員が指示する指定位置の情
報に高さ情報がある場合に同様の手法を用いて算出す
る。 【0109】以上のように、この実施の形態16によれ
ば、動画強調手段27が、操作員が地図上で指示した点
が映像のどこに写っているかの位置を計算するので、操
作員が地図上で指示した点を映像上で強調して表示する
ことができ、地図と対応付けてある映像を再生表示して
いるときに、地図上で選択した位置を映像上で強調して
表示するので、映像の中に見たい建物や標識等が写って
いるかどうかを簡単に表示できる。 【0110】 【0111】【発明の効果】 以上のように、この発明によれば、 映像
を再生するときに、映像を撮影した位置に対応した地図
上の位置に映像再生画面を表示するので、映像の再生時
間が長くても、どの位置の再生をしているかが容易にわ
かり、移動しながら撮影した映像の撮影位置と撮影内容
の関係を簡単にわかるように表示することができる。 【0112】
図である。 【図2】 この発明の実施の形態1に係る映像情報表示
装置の構成を示すブロック図である。 【図3】 映像の例と映像データベースの具体的内容の
例を示す説明図である。 【図4】 この発明の実施の形態2に係る映像情報表示
装置の構成を示すブロック図である。 【図5】 この発明の実施の形態3に係る映像情報表示
装置の構成を示すブロック図である。 【図6】 地図表示の例を示す説明図である。 【図7】 地図上に撮影軌跡を表示したときの表示例を
示す説明図である。 【図8】 この発明の実施の形態4に係る映像情報表示
装置の構成を示すブロック図である。 【図9】 地図上に撮影情報を視覚的に表示したときの
表示例を示す説明図である。 【図10】 この発明の実施の形態5に係る映像情報表
示装置の構成を示すブロック図である。 【図11】 地図上の撮影軌跡と操作員の指示位置との
距離の例を示す説明図である。 【図12】 この発明の実施の形態6に係る映像情報表
示装置の構成を示すブロック図である。 【図13】 この発明の実施の形態7に係る映像情報表
示装置の構成を示すブロック図である。 【図14】 地図上で操作員が指示した位置が映像に写
っているかどうかを撮影情報を元に判断する例を示す説
明図である。 【図15】 この発明の実施の形態8に係る映像情報表
示装置の構成を示すブロック図である。 【図16】 この発明の実施の形態9に係る映像情報表
示装置の構成を示すブロック図である。 【図17】 地図上で操作員が指示した範囲が映像に写
っているかどうかを撮影情報を元に判断する例を示す説
明図である。 【図18】 この発明の実施の形態10に係る映像情報
表示装置の構成を示すブロック図である。 【図19】 この発明の実施の形態11に係る映像情報
表示装置の構成を示すブロック図である。 【図20】 この発明の実施の形態12に係る映像情報
表示装置の構成を示すブロック図である。 【図21】 代表画面を撮影軌跡に沿って移動しながら
表示する表示例を示す説明図である。 【図22】 この発明の実施の形態13に係る映像情報
表示装置の構成を示すブロック図である。 【図23】 立体情報を元にした撮影範囲の説明と撮影
範囲の地図上の表示例の説明図である。 【図24】 この発明の実施の形態14に係る映像情報
表示装置の構成を示すブロック図である。 【図25】 この発明の実施の形態15に係る映像情報
表示装置の構成を示すブロック図である。 【図26】 画面中の位置と実際の位置の対応例を示す
説明図である。 【図27】 この発明の実施の形態16に係る映像情報
表示装置の構成を示すブロック図である。 【図28】 映像表示における指定位置の強調例を示す
説明図である。 【符号の説明】 1 映像再生手段、2 映像検索手段、3 撮影した映
像の電子ファイル、5 映像データベース、6 映像対
応付け手段、7 地図情報、8 地図情報表示手段、9
対象位置対応手段、10 軌跡表示手段、11 撮影
情報地図上表示手段、12 映像軌跡指示手段、13
映像軌跡区間指示手段、14 対象位置入力手段、15
対象位置検索手段、16 定点映像時間順表示手段、
17 対象範囲入力手段、18 対象範囲検索手段、1
9 移動軌跡入力手段、20 移動軌跡検索手段、21
代表画面表示手段、22 代表画面移動表示手段、2
3 撮影範囲表示手段、24 関連情報表示手段、25
指示位置確認手段、26 指示位置表示手段、27
動画強調手段、100 コンピュータ装置、200 マ
ウス、300 キーボード、400 ディスプレイ装
置。
Claims (1)
- (57)【特許請求の範囲】 【請求項1】 撮影した映像を蓄積した記録媒体と、 上記映像の撮影位置を示す情報を上記映像と対応付けて
蓄積した映像データベースと、 上記撮影位置を含んだ地域の地図情報を表示する地図情
報表示手段と、 上記撮影位置を示す情報と上記地図情報表示手段によっ
て表示された地図上の座標点とを対応付ける対象位置対
応手段と、 上記対象位置対応手段による対応付けに基き上記撮影位
置を上記地図情報表示手段によって表示された地図上に
表示するとともに、上記映像に対応付けられた上記撮影
位置が複数存在する場合に、当該複数の撮影位置を結ん
だ線を上記地図上に表示することで上記複数の撮影位置
の移動軌跡を表示する軌跡表示手段と、 上記複数の撮影位置を示す情報に基いて上記映像データ
ベースを検索し、上記複数の撮影位置に対応する映像を
上記記憶媒体から取り出す映像検索手段と、 上記映像検索手段によって取り出された映像を再生する
映像再生手段と、上記映像再生手段によって再生される映像を、上記撮影
位置の変化に合わせるとともに上記移動軌跡に沿って移
動させて表示する移動表示手段と を有することを特徴と
する映像情報表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001131625A JP3452910B2 (ja) | 2001-04-27 | 2001-04-27 | 映像情報表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001131625A JP3452910B2 (ja) | 2001-04-27 | 2001-04-27 | 映像情報表示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10059897A Division JPH11259502A (ja) | 1998-03-11 | 1998-03-11 | 映像情報表示装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002376437A Division JP4109985B2 (ja) | 2002-12-26 | 2002-12-26 | 映像情報表示装置 |
JP2003162629A Division JP3527233B2 (ja) | 2003-06-06 | 2003-06-06 | 映像情報表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002057967A JP2002057967A (ja) | 2002-02-22 |
JP3452910B2 true JP3452910B2 (ja) | 2003-10-06 |
Family
ID=18979780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001131625A Expired - Lifetime JP3452910B2 (ja) | 2001-04-27 | 2001-04-27 | 映像情報表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3452910B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006003969A (ja) * | 2004-06-15 | 2006-01-05 | Sony Corp | コンテンツ提示方法およびコンテンツ提示装置 |
JP4786153B2 (ja) * | 2004-08-06 | 2011-10-05 | 株式会社日立国際電気 | 記録映像の編集及び表示方法 |
JP5287756B2 (ja) * | 2010-02-08 | 2013-09-11 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2001
- 2001-04-27 JP JP2001131625A patent/JP3452910B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002057967A (ja) | 2002-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11259502A (ja) | 映像情報表示装置 | |
KR0184245B1 (ko) | 전자식 카메라와 그 재생장치 | |
US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
US10473465B2 (en) | System and method for creating, storing and utilizing images of a geographical location | |
JP5582548B2 (ja) | 実環境視像における仮想情報の表示方法 | |
US20070165968A1 (en) | Image editing system and image editing program | |
CN101504805A (zh) | 具有路旁全景图像带的电子地图、其制作及标注兴趣点方法 | |
EP0979484A1 (en) | Method for indexing image information using a reference model | |
WO2004003788A2 (en) | Position referenced multimedia authoring and playback | |
Jensen et al. | Alpha: a nonproprietary OS for large, complex, distributed real-time systems | |
JP3452910B2 (ja) | 映像情報表示装置 | |
JP2009200601A (ja) | ビデオ編集装置及びビデオ編集方法 | |
JPH07248726A (ja) | Gps利用位置映像データ収集装置およびその再生装置 | |
JPH11211486A (ja) | ナビゲーション装置 | |
JP4109985B2 (ja) | 映像情報表示装置 | |
JP3450311B2 (ja) | 映像情報表示装置 | |
JP3527233B2 (ja) | 映像情報表示装置 | |
JPH1013720A (ja) | 情報提示装置 | |
JP5176605B2 (ja) | 映像検索装置 | |
TW201317547A (zh) | 產生全景實境路徑預覽影片檔之方法及預覽系統 | |
Guven et al. | Interaction techniques for exploring historic sites through situated media | |
KR100950070B1 (ko) | 기행 정보 콘텐츠 제작 장치 및 방법과 콘텐츠 재생 장치 | |
JP3099103B2 (ja) | 道路・河川等の現況ビデオ検索装置 | |
JP4115121B2 (ja) | 撮影画像処理システム及び画像管理システム | |
JP2619456B2 (ja) | 地図データ表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |