JP3225434B2

JP3225434B2 - 映像提示システム

Info

Publication number: JP3225434B2
Application number: JP10216097A
Authority: JP
Inventors: 重之山口; 健澤井
Original assignee: 重之山口; 健澤井
Priority date: 1996-04-23
Filing date: 1997-04-18
Publication date: 2001-11-05
Anticipated expiration: 2017-04-18
Also published as: JPH1042282A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影された映像を
提示する映像提示システムに関し、特に、撮影映像にそ
の撮影場所の地図情報を重畳させて提示する映像提示シ
ステムに関する。

【０００２】

【従来の技術】甚大な被害を出した阪神・淡路大震災に
おけるテレビジョン（ＴＶ）報道では、陸路が寸断され
たこともあって、軽飛行機，ヘリコプター等の飛行体に
搭載したカメラによって空中撮影映像を取り込み、飛行
体のパイロットまたは飛行体に搭乗した放送局の記者，
アナウンサーが現場の状況を伝える中継番組が主流であ
った。そして、多くの視聴者が、リアルタイムで放送さ
れるこのような中継番組を大きな関心を抱いて見てい
た。

【０００３】しかしながら、これらの一連の空撮報道に
おいて、地名・方角等の撮影場所を特定するための情報
の不足及び間違いがしばしば見受けられた。例えば、中
継を行う記者，アナウンサーが、ヘリコプターのパイロ
ットまたは局側のスタッフの助言を受けて、既報した地
名，方角等の情報を慌てて訂正するという場面が、特に
夜間の空撮報道で顕著に見られた。

【０００４】

【発明が解決しようとする課題】このような現象が発生
した原因としては、震災により都市の景観が変貌してし
まったこと、火災による煙または夜間の停電のために目
印となる建造物を確認できなかったこと、実況担当者が
空撮に不慣れであったこと等、様々な悪条件が考えられ
る。しかしながら、如何なる原因であったとしても、逃
避，救出等の緊急の事態が集中する地震後の初期段階に
おいて、このような誤報が例え一瞬でも公共の電波を通
じて流れるということは、ＴＶというメディアの影響力
から考えても、多くの人命を左右しかねない深刻な問題
であることは間違いない。

【０００５】このような問題は、ＴＶ報道の重要な使命
の一つが情報の即時性にあり、また現場における中継で
の位置情報の判断が少数の中継スタッフの解釈に委ねら
れている限り、阪神・淡路大震災のような未曾有の災害
に限ることなく普遍的に存在していると言うことができ
る。

【０００６】ところで、ＧＰＳ（Global Positioning S
ystem)が、対象物の航路，陸路，海路のナビゲーション
等に利用されており、対象物のリアルタイムでの正確な
位置情報を容易に取得できて、地図画面上に対象物の軌
跡をトラッキングしていくことが可能であるが、リアル
タイムでの周囲の状況を視覚的に認識するための情報は
提供されておらず、緊急時などには情報不足であるとい
う問題がある。

【０００７】本発明は斯かる事情に鑑みてなされたもの
であり、撮影された映像に地図情報をリアルタイムに重
ねて表示することにより、撮影映像を用いた中継時の誤
報を防止できる映像提示システムを提供することを目的
とする。

【０００８】本発明の他の目的は、撮影映像に対する正
確な位置情報を撮影映像に重畳して表示できる映像提示
システムを提供することにある。

【０００９】本発明の更に他の目的は、移動する対象物
の撮影映像に地図情報を重畳することにより、対象物の
探索，追尾における位置確認を容易に行える映像提示シ
ステムを提供することにある。

【００１０】

【課題を解決するための手段】請求項１に係る映像表示
システムは、カメラで撮影した映像を提示するシステム
において、撮影を行うカメラの３次元位置，３次元姿勢
及び画角を検出する検出手段と、３次元の地図データを
格納している格納手段と、該格納手段に格納されている
３次元の地図データを前記検出手段の検出結果に基づき
透視変換して、撮影映像に応じた地図データを獲得する
手段と、獲得した地図データを前記カメラでの撮影映像
と共に表示する手段とを備えることを特徴とする。

【００１１】請求項２に係る映像表示システムは、飛行
体に備えられるカメラと、該飛行体に備えられ、該カメ
ラの３次元位置，３次元姿勢及び画角を検出する検出手
段と、前記飛行体に備えられ、３次元の地図データを格
納している格納手段と、前記飛行体に備えられ、該格納
手段に格納されている３次元の地図データを前記検出手
段の検出結果に基づき透視変換して、前記カメラでの撮
影映像に応じた地図データを獲得する手段と、前記飛行
体に備えられ、獲得した地図データを前記カメラでの撮
影映像と共に表示する手段とを備えることを特徴とす
る。

【００１２】請求項３に係る映像表示システムは、飛行
体に備えられるカメラと、該飛行体に備えられ、該カメ
ラの３次元位置，３次元姿勢及び画角を検出する検出手
段と、前記飛行体に備えられ、前記カメラでの撮影映像
のデータ及び前記検出手段の検出結果のデータを地上に
送信する送信手段と、該送信手段からの送信データを受
信する受信手段と、３次元の地図データを格納している
格納手段と、該格納手段に格納されている３次元の地図
データを前記検出手段の検出結果に基づき透視変換し
て、前記カメラでの撮影映像に応じた地図データを獲得
する手段と、獲得した地図データを前記カメラでの撮影
映像と共に表示する手段とを備えることを特徴とする。

【００１３】請求項４に係る映像表示システムは、定位
置に回転自在に設けられるカメラと、該カメラの３次元
姿勢及び画角を検出する検出手段と、３次元の地図デー
タを格納している格納手段と、該格納手段に格納されて
いる３次元の地図データを前記検出手段の検出結果に基
づき透視変換して、前記カメラでの撮影映像に応じた地
図データを獲得する手段と、獲得した地図データを前記
カメラでの撮影映像と共に表示する手段とを備えること
を特徴とする。

【００１４】請求項５に係る映像表示システムは、移動
する対象物を含んでカメラで撮影した映像を提示するシ
ステムにおいて、前記対象物に取り付けられてその対象
物の３次元位置を同定する位置同定手段と、得られた位
置同定情報を発信する発信手段と、撮影を行うカメラの
３次元位置，３次元姿勢及び画角を検出する検出手段
と、３次元の地図データを格納している格納手段と、該
格納手段に格納されている３次元の地図データを前記検
出手段の検出結果に基づき透視変換して、撮影映像に応
じた地図データを獲得する手段と、獲得した地図データ
を前記カメラでの前記対象物を含む撮影映像及び前記発
信手段から発信された位置同定情報と共に表示する手段
とを備えることを特徴とする。

【００１５】請求項６に係る映像表示システムは、請求
項１，４または５の何れかにおいて、前記カメラは、空
中撮影を行うカメラであることを特徴とする。

【００１６】請求項７に係る映像表示システムは、請求
項１，４または５の何れかにおいて、前記カメラは、水
中撮影を行うカメラであることを特徴とする。

【００１７】請求項８に係る映像表示システムは、請求
項１〜７の何れかにおいて、前記検出手段の検出結果の
データと前記カメラでの撮影映像のデータとを記録する
手段を更に備えることを特徴とする。

【００１８】本発明の映像提示システムでは、カメラの
撮影条件を検出手段にて検出し、その検出結果に基づい
て該当する３次元の地図データを透視変換して表示用の
地図データを得、カメラによる撮影映像を表示する際に
その地図データを重畳して表示する。よって、カメラ映
像の情報価値を高めることができる。本発明では、市町
村の地名及び境界，目印となる建造物等の地図情報を、
撮影映像にリアルタイムで同時に表示することができ、
例えば、飛行体を用いた災害発生時の中継報道におい
て、従来では発生していた地名，方向の誤報を未然に防
ぐ。また、撮影現場の位置情報を一目瞭然で視聴者に提
供できる。

【００１９】なお、撮影するカメラは、軽飛行機，ヘリ
コプター，気球等の飛行体に搭載されて飛行体と共に移
動する空撮用カメラであっても良いし、また、高層ビ
ル，塔等の建築物に固設された定点カメラであっても良
いし、更に、水中に設けた防水仕様したカメラであって
も良い。

【００２０】カメラに加えて前記検出手段を飛行体に搭
載し、前記格納手段，獲得手段及び表示手段は地上に設
置しておき、カメラによる撮像データ及び検出手段での
検出結果を飛行体から地上に送信し、地図情報が重畳さ
れた実写の撮影映像を地上にて見るようにしても良い。
または、カメラに加えて前記検出手段，格納手段，獲得
手段及び表示手段の全てを飛行体に搭載しておけば、地
図情報が重畳された実写の撮影映像を飛行体の内部にて
見ることが可能である。勿論、前記格納手段，獲得手段
及び表示手段を、飛行体内及び地上の何れにも備えてお
いても良いことは言うまでもない。

【００２１】本発明の他の映像提示システムは、上述し
た検出手段，格納手段，獲得手段及び表示手段に加え
て、移動する対象物に取り付けられてその対象物の３次
元位置を同定する位置同定手段と、得られた位置情報を
発信する発信手段とを更に備える。移動する対象物の位
置情報が発信されると、その位置情報に応じて飛行体に
て対象物を探索してその存在を確認し、その後対象物の
追尾を行う。このようにすれば、地図情報が重畳された
実写の撮影映像上で対象物の視覚的な探索，追尾，位置
確認が可能である。

【００２２】また、これらの映像提示システムにおい
て、カメラでの撮影映像データと前記検出手段の検出結
果とを記録する手段を更に備える。検出結果の情報及び
撮影映像のデータを記録して残しておけば、後の種々の
解析処理の情報源として利用可能である。

【００２３】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面を参照して具体的に説明する。

【００２４】図１は本発明の映像提示システムの概要を
示す模式図であり、ヘリコプター30には撮影用のカメラ
31と、不安定な挙動を呈するカメラ31の３次元位置，３
次元姿勢及び画角を検出するためのＧＰＳ，ジャイロ，
画角エンコーダ等を含むセンサ32とが搭載されている。
ヘリコプター30が飛行しながら、カメラ31にて得られる
映像データとセンサ32にて検知された各種のカメラ情報
とが、逐次地上に向けて送信され、地上局33の受信機34
で受信される。カメラ情報はＣＧ（Computer Graphics)
ユニット35に送られる。ＣＧユニット35にて、予め記憶
しておいた３次元の地図データをそのカメラ情報に基づ
き透視変換してＣＧ地図画像データを得る。得られた地
図画像データはディスプレイ36に送られる。また、受信
された撮影映像データもディスプレイ36に送られる。そ
して、ディスプレイ36は、カメラ31で得られた実写の撮
影映像に地図情報を重畳させた態様での画像表示を行
う。

【００２５】また、地上を走行する自動車37には、例え
ば通信機能を組み込んだＧＰＳが取り付けられており、
自動車37の３次元位置情報のデータが地上局33に送られ
る。ヘリコプター30に搭載したカメラ31を回転させて、
その撮影領域に自動車37が存在すれば、ディスプレイ36
に自動車37の位置が表示される。そこで、その自動車37
の方向へリコプター30を飛行していくと、地図情報が重
畳されている実写映像の中で自動車37を視認でき、自動
車37をトラッキングしていくことが可能である。

【００２６】次に、本発明の映像提示システムの具体例
について詳述する。（第１の実施の形態）図２は、本発明の映像提示システ
ム（第１の実施の形態）の構成例を示す模式図である。
本発明の映像提示システムにおける構成部材は、軽飛行
機，ヘリコプター，気球等の飛行体に搭載される部材
と、地上の放送局に設けられる部材とに分けられる。

【００２７】飛行体には、カメラ１と、カメラ１の３次
元姿勢検出用のジャイロセンサ２と、カメラ１の画角検
出用エンコーダ３と、ジャイロセンサ２の検出信号を姿
勢データに変換する信号変換器４と、画角検出用エンコ
ーダ３の検出信号を画角値データに変換する信号変換器
５と、カメラ１の位置検出用のＧＰＳ装置６と、ＧＰＳ
受信用のアンテナ７と、ＧＰＳ誤差補正装置８と、制御
用コンピュータ９と、モニタＴＶ10と、データエンコー
ダ11と、送信装置12とを搭載している。一方、地上の放
送局には、受信装置21と、データデコーダ22と、ホスト
コンピュータ23と、内部または外部の記憶媒体24と、記
録装置25と、映像編集装置26とが設けられている。

【００２８】カメラ１は、一般的なＴＶカメラまたは放
送用のビデオカメラであり、空中撮影して得られる映像
信号をモニタＴＶ10及びデータエンコーダ11へ送出す
る。

【００２９】カメラ１には、その３次元姿勢を検出する
ためのジャイロセンサ２が取り付けられており、ジャイ
ロセンサ２は、カメラ１のヘッド角（カメラ１の東西南
北の方向），ピッチ角（カメラ１の上下方向の傾き），
バンク角（カメラ１の左右方向の傾き）を検出して、そ
の検出信号を信号変換器４へ出力する。信号変換器４
は、検出信号をＨＰＢデータ（Ｈ（Head) ：カメラ１の
方向データ，Ｐ（Pitch)：カメラ１の上下方向の傾きデ
ータ，Ｂ（Bank) ：カメラ１の左右方向の傾きデータ）
に変換して制御用コンピュータ９へ出力する。このよう
なカメラ１の姿勢を検出するジャイロ装置としては、例
えば、データテック社製ジャイロミニdt，トリンブル・
ジャパン社のTANS Vector ^TM等を使用できる。

【００３０】また、カメラ１のレンズに付属するズーム
リングには、画角検出用エンコーダ３が取り付けられて
おり、カメラ１のズームレンズの回転角を検出して検出
信号を信号変換器５へ出力する。信号変換器５は、検出
信号をＦＶデータ（ＦＶ（Focusing Value）：カメラ１
のレンズの焦点距離）に変換して制御用コンピュータ９
へ出力する。このようなカメラ１のズームレンズの画角
値を検出するエンコーダ装置としては、例えば、コスメ
イト社製レンズ位置検出器を使用できる。

【００３１】更に、カメラ１の近傍には、カーナビゲー
ションシステムに汎用されている、人工衛星を用いた位
置検出装置であるＧＰＳ装置６が設けられており、ＧＰ
Ｓ装置６は、アンテナ７からの受信信号（ＧＰＳデー
タ）に従ってカメラ１の３次元絶対位置を求めて、ＸＹ
Ｚ・ＤＲ・ＤＴデータ（ＸＹＺ：カメラ１の位置デー
タ，ＤＲ：カメラ１の移動方向データ，ＤＴ：日付と時
刻のデータ）を制御用コンピュータ９へ出力する。な
お、この際、ＧＰＳ誤差補正装置８はＧＰＳデータの補
正データを受信しており、ＧＰＳ装置６は、この補正デ
ータに基づいてアンテナ７からの受信信号を補正する。
このようなカメラ１の３次元位置を検出するＧＰＳ装置
としては、例えば、ソニー社製IPS-3000，トリンブル社
のSierra^TM GPSチップセット等を使用できる。また、Ｇ
ＰＳ誤差補正装置８は、定期的な送信サービスを携帯電
話，ＦＭ等の放送サービスまたは無線機で受信可能であ
り、気象条件等によって大きくなりがちなＧＰＳデータ
の誤差を１ｍ以下に抑えることができる。

【００３２】以上のようなジャイロセンサ２，画角検出
用エンコーダ３，信号変換器４，信号変換器５，ＧＰＳ
装置６，アンテナ７及びＧＰＳ誤差補正装置８にて、カ
メラ位置・姿勢計測装置を構成している。そして、カメ
ラ位置・姿勢計測装置からの各々のデータは、制御用コ
ンピュータ９へ転送され、そこで統合処理される。

【００３３】制御用コンピュータ９は、上述したカメラ
位置・姿勢計測装置で得られたパラメータ（ＸＹＺデー
タ，ＨＰＢデータ，ＦＶデータ）から、コンピュータ内
の仮想の３次元地図空間における視点のパラメータを算
出する。算出する視点位置のパラメータは、カメラ１の
位置パラメータと同様に、視点座標（Ｘ，Ｙ，Ｚ）、視
軸方向（ヘッド角Ｈ，ピッチ角Ｐ，バンク角Ｂ）、画角
（ＦＶ）の７次元で定義される。制御用コンピュータ９
は、内部に記憶している３次元の地図情報を、算出した
視点位置のパラメータ結果に従って透視変換し、変換し
た地図情報（方位，市町村名及び境界）をモニタＴＶ10
へ送出する。この３次元の地図データを透視変換するた
めのソフトウェアとしては、例えばプラスワン社製ソフ
トウェア「ＶＰＸ」を使用できる。

【００３４】モニタＴＶ10は、映像編集装置を内蔵して
おり、カメラ１で得られた映像に制御用コンピュータ９
からの地図情報を重畳させた態様で画像表示し、飛行体
の乗員に提示する。地図情報の表示に要する時間は、処
理される地図情報のデータ量に比例して増大する。従っ
て、リアルタイム性を損なわないように、モニタＴＶ10
へ送出する地図情報は必要に応じて取捨選択する。この
ため、ＧＵＩ（Graphical User Interface：グラフィカ
ル・ユーザ・インターフェース）等を用いて対話性に優
れた編集機能が必要である。

【００３５】また、制御用コンピュータ９は、視点位置
のパラメータデータ（ＸＹＺ，ＨＰＢ，ＦＶ）と上述の
ＤＲ・ＤＴデータとをシリアルデータの形態でデータエ
ンコーダ11へ送出する。データエンコーダ11は、制御用
コンピュータ９からのシリアルデータとカメラ１からの
映像データとを符号化して、その符号化データを送信装
置12へ出力する。送信装置12は、符号化データを電波信
号に変換してそれを地上の放送局へ送信する。

【００３６】なお、制御用コンピュータ９は、飛行体に
搭載した各部材用のキャリブレーションソフトウェア及
び誤差修正ソフトウェアを持っており、ジャイロセンサ
２，画角検出用エンコーダ３等の初期設定，誤差修正を
行っている。

【００３７】受信装置21は、送信装置12から送信された
電波信号を受信し、データデコーダ22及び記録装置25へ
出力する。データデコーダ22は、符号化データを、映像
データと視点位置のパラメータデータ（ＸＹＺ，ＨＰ
Ｂ，ＦＶ）及びＤＲ・ＤＴデータとに復号し、映像デー
タを映像編集装置26へ送出し、そのパラメータデータ
（ＸＹＺ，ＨＰＢ，ＦＶ）及びＤＲ・ＤＴデータをホス
トコンピュータ23へ送出する。このデータエンコーダ11
／データデコーダ22としては、例えばプロスパー電子製
VX-50T/Rを使用できる。

【００３８】ホストコンピュータ23は、入力されたパラ
メータデータ（ＸＹＺ，ＨＰＢ，ＦＶ）から、コンピュ
ータ内の仮想の３次元地図空間における視点のパラメー
タを算出する。算出する視点位置のパラメータは、上述
した制御用コンピュータ９の場合と同じである。ホスト
コンピュータ23は、ＣＤ−ＲＯＭ，ＨＤ，ＭＯディスク
等からなる外部記憶媒体24に記憶している３次元の地図
情報を、算出した視点位置のパラメータ結果に従って透
視変換し、得られた地図情報（方位，市町村名及び境
界，建造物，鉄道，道路，河川，湖沼，山頂）をＣＧ映
像データとして映像編集装置26へ送出する。この３次元
の地図データを透視変換するためのソフトウェアとして
は、制御用コンピュータ９と同様に、プラスワン社製ソ
フトウェア「ＶＰＸ」を使用できる。

【００３９】映像編集装置26は、データデコーダ22から
の実写した映像データと、ホストコンピュータ23からの
地図情報を示すＣＧ映像データとを合成し、その合成映
像データを映像送出装置またはＶＴＲへ出力する。記録
装置25は、受信装置21で受信された信号をビデオテープ
等に記録する。

【００４０】次に、動作について説明する。まず、ジャ
イロセンサ２，画角検出用エンコーダ３等の初期設定
が、制御用コンピュータ９のキャリブレーションソフト
ウェアにより実行される。カメラ１で空中から地上が撮
影され、その映像信号がモニタＴＶ10及びデータエンコ
ーダ11へ送出される。撮影期間中に、カメラ１の姿勢が
ジャイロセンサ２で検出され、ＨＰＢデータが信号変換
器４から制御用コンピュータ９へ出力され、また、カメ
ラ１のズームレンズの画角が画角検出用エンコーダ３で
検出され、ＦＶデータが信号変換器５から制御用コンピ
ュータ９へ出力され、更に、カメラ１の３次元位置を示
すＸＹＺデータとカメラ１の移動方向を示すＤＲデータ
と撮影時の日時を示すＤＴデータとがＧＰＳ装置６から
制御用コンピュータ９へ出力される。

【００４１】制御用コンピュータ９において、これらの
カメラ位置・姿勢計測装置から得られたパラメータデー
タ（ＸＹＺデータ，ＨＰＢデータ，ＦＶデータ）に基づ
き、コンピュータ内の仮想の３次元地図空間における７
次元で定義される視点のパラメータが算出される。算出
した視点のパラメータに応じて、内部に記憶している３
次元の地図情報がその視点から透視変換され、得られた
地図情報（方位，市町村名及び境界）がモニタＴＶ10へ
送出される。そして、カメラ１で撮影された映像にこの
地図情報を重畳してなる画像がモニタＴＶ10に表示され
る。

【００４２】図３は、モニタＴＶ10に表示される画像の
一例を示す模式図である。撮影映像に対して、東西南北
を示す方位の記号、市町村の名称（Ａ市とＢ町）、市町
村の境界（一点鎖線で示すＡ市・Ｂ町の境界）が重畳し
て表示されている。そして、パイロットまたは放送局の
記者は、このモニタＴＶ10の重畳画像を見ながら現場の
状況を中継する。実際の風景に透明な地図を重ねたよう
な画像をモニタＴＶ10がパイロットまたは記者に提示す
るので、現場の地理に詳しくなくても、中継時に彼らが
間違った地理情報を報知することがない。

【００４３】また、視点位置のパラメータデータ（ＸＹ
Ｚ，ＨＰＢ，ＦＶ）とＤＲ・ＤＴデータとが、制御用コ
ンピュータ９からデータエンコーダ11へ送出され、符号
化データに変換される。その符号化データは、送信装置
12へ出力されて通信可能な電波信号に変換され、その電
波信号が地上の放送局へ送信される。

【００４４】地上の放送局では、飛行体からの電波信号
が受信装置21で受信されて元の符号化データに変換され
る。その符号化データはデータデコーダ22で復号化処理
が施されて撮影した元の映像データと視点位置のパラメ
ータデータ（ＸＹＺ，ＨＰＢ，ＦＶ）及びＤＲ・ＤＴデ
ータとに変換される。

【００４５】ホストコンピュータ23では、パラメータデ
ータ（ＸＹＺ，ＨＰＢ，ＦＶ）が入力され、これに基づ
きコンピュータ内の仮想の３次元地図空間における視点
のパラメータが算出される。算出したパラメータに従っ
て、外部記憶媒体24に記憶している３次元の地図情報が
その視点から透視変換され、得られた地図情報が映像編
集装置26へ送出される。

【００４６】映像編集装置26へは元の映像データがデー
タデコーダ22から送出され、その映像データとホストコ
ンピュータ23からの地図情報とが合成され、その合成映
像データが映像送出装置またはＶＴＲへ出力される。Ｖ
ＴＲではこの合成映像データが記録される。

【００４７】また、この合成映像データに相当する映像
信号が映像送出装置から家庭用テレビジョンの放映信号
として出力される。そして、この合成映像データに応じ
た画像が各家庭のテレビジョンに表示される。図４は家
庭のテレビジョンに表示される画像の一例を示す模式図
である。撮影映像に対して、方位の記号、市町村の名
称、市町村の境界に加えて、建造物（Ｃ橋）、地形の名
称（Ｄ山，Ｅ山，Ｆ川，Ｇ湾）の情報も重畳して表示さ
れている。

【００４８】また、受信装置21で受信された、映像デー
タ，視点のパラメータデータ及びＤＲ・ＤＴデータを含
む信号が、記録装置25にも送られて記録される。記録さ
れたデータは、後に多角的な解析処理を行う際に使用さ
れる。例えば、実写した映像から撮影時の状況を示す地
図を作成する処理等が考えられる。なお、解析処理に必
要なデータはビデオテープ等に一旦記録しておくので、
撮影時にリアルタイムでこのような解析処理を行う必要
がないことは勿論である。

【００４９】以上のような映像提示システムでは、空中
撮影を行う不安定な挙動のカメラ１の３次元位置・姿勢
及び画角をリアルタイムで計測し、その結果に基づいて
透視変換された３次元地図データの画像を、撮影映像に
合わせてリアルタイムで表示するので、撮影されている
状況を誤りなく伝達することができる。また、撮影時の
カメラ１の３次元位置・姿勢及び画角の数値情報を撮影
映像と共にリアルタイムで記録しておくので、後の撮影
映像の解析時にこれらの情報を有効に利用できる。

【００５０】また、この映像提示システムは、地域的な
拡がりがある地震，山火事，水害，台風等の種々の災害
の報道用として視聴者に、より正確な情報をリアルタイ
ムで提供するだけでなく、今後確立が望まれている総合
的な災害情報システムのための早期の正確な情報収集手
段として、または、被害状況の把握，救済対策のための
情報収集手段として報道向け以外の用途にも大いに寄与
できる。

【００５１】以下、本発明において重要度が高い制御用
コンピュータ９及びホストコンピュータ23におけるソフ
トウェアの処理動作について説明する。図５，図６はそ
の処理動作の流れを示すフローチャートであり、図５は
初期設定動作を示し、図６は実際の処理動作（カメラ１
のデータ入力から地図データの描画処理までの動作）を
示す。

【００５２】まず、図５を参照して初期動作について説
明する。プログラムが起動すると、種々の変数の初期化
を行った後（Ｓ１）、撮影現場である地域の地図データ
（都市データ，建造物データ等）を読み込む（Ｓ２）。
次いで、カメラ１のデータを初期化した後（Ｓ３）、基
準点の座標を入力する（Ｓ４）。ここで、基準点として
は、出発地点または現場における特定の地点等、その座
標が既知である地点が採用される。次に、カメラ１から
のデータ入力のサンプリング間隔を指定するためのタイ
マを設定する（Ｓ５）。この状態で、カメラ１のデータ
入力のイベント待ち状態となって初期動作は終了する。

【００５３】次に、図６を参照して実際の処理動作につ
いて説明する。カメラ１のデータ入力のイベントが発生
するとそれを検知して（Ｓ11）、保存しておいた１秒前
の入力データから予想座標を計算する（Ｓ12）。予想座
標とは、後の地図データの描画処理に要する時間だけ経
過したときに予想されるカメラ１の位置座標である。求
めた予想座標と前回の予想座標とを比較し、その差が誤
差範囲内であるか否かを判定する（Ｓ13）。誤差範囲外
である場合には、カメラ１に対するカメラ位置・姿勢計
測装置の計測異常があったと判断して、その予想座標を
後の地図データの描画処理には使用せず、そのままリタ
ーンする。

【００５４】一方、誤差範囲内である場合には、その予
想座標をＣＧ座標に変換する（Ｓ14）。そして、現在の
カメラ１の入力データを次回の１秒前の入力データとし
て保存する（Ｓ15）。次いで、ＣＧ映像データ描画のイ
ベントを発生し（Ｓ16）、視点に最も近い地図データを
検索してソートリストを作成する（Ｓ17）。画面表示と
遠近関係の情報を格納したＺバッファとの内容をクリア
した後（Ｓ18）、地図データに基づいて描画処理を行う
（Ｓ19）。描画処理は、例えば、視点に近い位置からワ
イヤフレームで地形を描画、地区名を文字で描画、ワイ
ヤフレームで建造物を描画、ポリゴンで建造物を描画、
ポリゴンで地形を描画の順に行う。但し、カメラ１のデ
ータ入力のイベントが発生すると、描画処理を途中であ
っても強制的に終了して（Ｓ20）、リターンする。

【００５５】上述した処理動作において、カメラ１の予
想座標に基づいて地図データを描画するようにしている
ので、描画処理に伴うタイムラグを補償することがで
き、カメラ１の撮影映像に正確に合致したＣＧ地図デー
タを常に表示することができる。また、カメラ１のデー
タ入力のイベントが発生すると、直ちに強制的に描画処
理を終了させるので、アニメーション並みの速度で地図
情報の表示が可能である。

【００５６】（第２の実施の形態）上述の第１の実施の
形態では、地図情報が重畳された実写映像を飛行体内の
モニタＴＶ10でも見ることが可能なようにしたが、この
ような例では飛行体に搭載する器材が多くなるという問
題がある。また、現場の地理に詳しい人が飛行体に搭乗
している場合には、現場の状況は目視にて確認できるの
で、地図情報が重畳された実写映像の表示は不要である
ことが多い。よって、地図情報が重畳された実写映像の
表示を地上の基地局みとした例が、本発明の第２の実施
の形態の映像提示システムである。図７は、この映像提
示システム（第２の実施の形態）の構成例を示す模式図
である。

【００５７】図７において図２と同一部分には同一番号
を付してそれらの説明を省略する。第２の実施の形態の
構成では、飛行体内にモニタＴＶが設けられておらず、
カメラ１からの実写映像信号はデータエンコーダ11のみ
に送られる。また、制御用コンピュータ９は、ジャイロ
センサ２，画角検出用エンコーダ３，信号変換器４，信
号変換器５，ＧＰＳ装置６，アンテナ７及びＧＰＳ誤差
補正装置８にて構成されるカメラ位置・姿勢計測装置か
らの各々のデータを統合するだけであり、第１の実施の
形態のように地図情報を得るような動作は行わない。

【００５８】また、図７においてホストコンピュータ23
は、映像合成装置を内蔵しており、データデコーダ22で
復号された撮影条件のパラメータデータに基づいて得ら
れた地図情報を示すＣＧ映像データと、データデコーダ
22で復号された実写映像データとがホストコンピュータ
23で合成され、その合成映像データがモニタＴＶ27に出
力され、モニタＴＶ27は、実写の映像に地図情報を重畳
させた態様で画像表示を行う。

【００５９】なお、上述した第１，第２の実施の形態で
は、カメラ１を飛行体に搭載する場合について説明した
が、高層ビル，塔等の建築物の所定の場所に回転可能に
取り付けられているような定点カメラを使用するように
しても良い。このような場合には、カメラの３次元位置
は固定であるので、ＧＰＳは不要であり、カメラの３次
元姿勢及び画角を検出する検出手段として、ジャイロセ
ンサに代わるロータリエンコーダ及び飛行体の場合と同
様の画像検出用エンコーダが必要である。

【００６０】（第３の実施の形態）図８は、本発明の映
像提示システム（第３の実施の形態）の構成例を示す模
式図である。第３実施例は、人間，動物，車両，船舶，
飛行機等のような移動する物体を対象物とし、その対象
物のトラッキングを行うようにした例である。

【００６１】図８において、18及び19は、ＧＰＳ装置及
び送信機であり、これらのＧＰＳ装置18と送信機19とを
一体化したロケータ20が人間，動物，車両，船舶，飛行
機等のトラッキング対象の移動する対象物に取り付けら
れており、ＧＰＳ装置18が対象物の絶対位置を求め、そ
の位置データ（ＸＹＺデータ）を送信機19により基地局
へ送るようになっている。なお、上述した第１，第２の
実施の形態と同一の構成部材には同一番号を付してそれ
らの説明を省略する。

【００６２】次に、動作について説明する。第１，第２
の実施の形態でも説明したように、飛行体に搭載された
カメラ１にて撮影された映像が、地図情報が重畳された
状態で、モニタＴＶ27に表示されるようになっている。
このような状態で、まず、対象物を探索する場合には、
空中で出来る限り広角レンズでカメラ１を３６０度回転
させて撮影する。対象物に取り付けたロケータ20からそ
の位置データが基地局へ送られているので、カメラ１の
撮影領域に対象物が存在すれば、その対象物に取り付け
たロケータ20の位置と属性情報とが基地局のモニタＴＶ
27上に表示される。次に、モニタＴＶ27に表示されたロ
ケータ20の方向へ飛行体を移動させてズームアップすれ
ば、目標とする対象物を、モニタＴＶ27に表示される地
図情報が重畳された実写映像の中で、発見することがで
きる。

【００６３】このようにして対象物を探索して発見した
後は、ロケータ20の位置を見失わないように、飛行体の
移動及びカメラの操作を行っていけば、地図情報が重畳
された実写映像の中で対象物を視認しながら、移動する
対象物を追尾していくことが可能である。

【００６４】また、このような対象物に対する探索，追
尾処理における実写映像データと撮影条件のパラメータ
データ（ＸＹＺ，ＨＰＢ，ＦＶ）及びＤＲ・ＤＴデータ
とを、記録装置25によりビデオテープ等に記録する。こ
のようにしておくと、対象物の移動の解析処理の情報源
として利用できる。

【００６５】図９は、第３の実施の形態の映像提示シス
テムの変形の構成例を示す模式図である。この変形例で
は、第１の実施の形態と同様に、飛行体内にもモニタＴ
Ｖ10を搭載しておき、飛行体内のモニタＴＶ10でも地上
のモニタＴＶ27と同様に、ロケータ20の位置と属性情報
との表示及び対象物の表示を行えるようにしている。

【００６６】上述した説明では１つの移動する対象物を
トラッキングすることとしたが、第３の実施の形態によ
り複数の対象物を同時にトラッキングすることも可能で
ある。

【００６７】なお、上述した各実施の形態では空中での
撮影映像に地図情報を重畳して表示するようにしたが、
前述のカメラ１，ジャイロセンサ２，画角検出用エンコ
ーダ３及びＧＰＳ装置６を防水仕様としておけば、上述
した各実施の形態と同様に、水中で得られる撮影映像に
ついてもそれに地図情報を重畳して表示するようにでき
ることは勿論である。

【００６８】また、上述した各実施の形態では撮影映像
に地図情報を重畳して表示するようにしたが、表示画面
を分割し、一方の画面領域には撮影映像を、他方の画面
領域には地図情報を表示するようにしても良い。

【００６９】ところで、本発明の情報提示システムで
は、撮影映像に重畳する地図情報として、市町村境界、
交通網、公共施設、主要建築物、ランドマーク、山頂・
河川名等のような基本データに加えて、ユーザの目的に
合わせて、ガス，水道，電気，高速道路等の都市設備、
観光コース、マラソンコース、建設計画、地下埋設物、
歴史的遺跡等のようなオプションデータをユーザの使用
用途に応じて準備しておく。このように多種類の地図情
報を準備しておくことにより、本発明の情報提示システ
ムの利用範囲を大幅に拡大できる。

【００７０】以下、本発明の利用分野について説明す
る。本発明のシステムのユーザとしては、個人，事業
所，公共機関が対象である。本発明のシステムの第１の
利用分野は、上述の第１または第２実施例の構成を用い
て、空中または水中での撮影映像の情報価値を高める利
用である。種々の地図情報を実写の撮影映像にリアルタ
イムに重畳できるので、現行の空中または水中での撮影
映像あるいは定点カメラ映像の情報価値を飛躍的に高め
ることができる。つまり、映像と共にその映像に関する
地図情報が重畳された画面は、価値がある情報をユーザ
に伝えることができ、単なる映像サービス手段としての
ＴＶを映像を含む情報サービス手段としてのＴＶ（Augm
ented ＴＶ）へと変化させることが可能である。

【００７１】このような第１の利用分野の具体例として
は、災害（特に地域的広がりがある地震，水害，土石
流，山火事等の災害）の情報収集，監視及び解析に加え
て、ＴＶ放送での利用（災害時等の中継報道番組・マラ
ソン，ヨットレース等のスポーツ中継番組・観光地探訪
等の趣味番組等）、埋設されたガス，水道等の設備の表
示及び維持管理、大規模な建設計画における利用（計画
施設のリアルタイムプレゼンテーション等）等があり、
幅広い利用が可能である。

【００７２】また、本発明のシステムの第２の利用分野
は、上述の第３実施例の構成を用いて、視覚的なトラッ
キングを行う利用である。トラッキング対象の移動体が
ロケータを有しておれば、地図情報が重畳されたＴＶ映
像上で視覚的にその移動体の探索，追尾，位置確認を行
える。このような第２の利用分野の具体例としては、車
両，船舶の運行管理、山岳，海上での人間の遭難救助、
ヨットレース，自動車ラリー等のスポーツイベント管
理、鳥獣の行動の学術研究等があり、この第２の利用分
野にあっても幅広い利用が可能である。

【００７３】

【発明の効果】以上のように本発明の映像表示システム
では、カメラによる実写の映像に地図情報を重畳させた
映像を提示できるので、カメラでの撮影映像の情報価値
を高めることができる。また、移動する物体の正確なト
ラッキングを行うことができる。また、撮影映像データ
及びカメラの撮影条件を記録しておくので、後の撮影映
像の解析時にこれらの情報を有効に利用できる。

【図面の簡単な説明】

【図１】本発明の映像提示システムの概要を示す模式図
である。

【図２】本発明の映像提示システムの一例の構成を示す
模式図である。

【図３】飛行体に搭載されたモニタＴＶでの画像の表示
例を示す模式図である。

【図４】家庭用のテレビジョンでの画像の表示例を示す
模式図である。

【図５】本発明の映像提示システムにおけるソフトウェ
アの処理動作（初期設定動作）を示すフローチャートで
ある。

【図６】本発明の映像提示システムにおけるソフトウェ
アの処理動作（地図データの描画処理動作）を示すフロ
ーチャートである。

【図７】本発明の映像提示システムの他の例の構成を示
す模式図である。

【図８】本発明の映像提示システムの更に他の例の構成
を示す模式図である。

【図９】本発明の映像提示システムの更に他の例の構成
を示す模式図である。

【符号の説明】

１カメラ２ジャイロセンサ３画角検出用エンコーダ６ＧＰＳ装置９制御用コンピュータ 10 モニタＴＶ 12 送信装置 18 ＧＰＳ装置 19 送信機 20 ロケータ 21 受信装置 23 ホストコンピュータ 24 記憶媒体 25 記録装置 26 映像編集装置 27 モニタＴＶ

───────────────────────────────────────────────────── フロントページの続き (72)発明者澤井健大阪府吹田市山田北15番１−515号 (56)参考文献特開平７−152984（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18 H04N 5/222 - 5/225

Claims

(57)【特許請求の範囲】

【請求項１】カメラで撮影した映像を提示するシステ
ムにおいて、撮影を行うカメラの３次元位置，３次元姿
勢及び画角を検出する検出手段と、３次元の地図データ
を格納している格納手段と、該格納手段に格納されてい
る３次元の地図データを前記検出手段の検出結果に基づ
き透視変換して、撮影映像に応じた地図データを獲得す
る手段と、獲得した地図データを前記カメラでの撮影映
像と共に表示する手段とを備えることを特徴とする映像
提示システム。
【請求項２】飛行体に備えられるカメラと、該飛行体
に備えられ、該カメラの３次元位置，３次元姿勢及び画
角を検出する検出手段と、前記飛行体に備えられ、３次
元の地図データを格納している格納手段と、前記飛行体
に備えられ、該格納手段に格納されている３次元の地図
データを前記検出手段の検出結果に基づき透視変換し
て、前記カメラでの撮影映像に応じた地図データを獲得
する手段と、前記飛行体に備えられ、獲得した地図デー
タを前記カメラでの撮影映像と共に表示する手段とを備
えることを特徴とする映像提示システム。
【請求項３】飛行体に備えられるカメラと、該飛行体
に備えられ、該カメラの３次元位置，３次元姿勢及び画
角を検出する検出手段と、前記飛行体に備えられ、前記
カメラでの撮影映像のデータ及び前記検出手段の検出結
果のデータを地上に送信する送信手段と、該送信手段か
らの送信データを受信する受信手段と、３次元の地図デ
ータを格納している格納手段と、該格納手段に格納され
ている３次元の地図データを前記検出手段の検出結果に
基づき透視変換して、前記カメラでの撮影映像に応じた
地図データを獲得する手段と、獲得した地図データを前
記カメラでの撮影映像と共に表示する手段とを備えるこ
とを特徴とする映像提示システム。
【請求項４】定位置に回転自在に設けられるカメラ
と、該カメラの３次元姿勢及び画角を検出する検出手段
と、３次元の地図データを格納している格納手段と、該
格納手段に格納されている３次元の地図データを前記検
出手段の検出結果に基づき透視変換して、前記カメラで
の撮影映像に応じた地図データを獲得する手段と、獲得
した地図データを前記カメラでの撮影映像と共に表示す
る手段とを備えることを特徴とする映像提示システム。
【請求項５】移動する対象物を含んでカメラで撮影し
た映像を提示するシステムにおいて、前記対象物に取り
付けられてその対象物の３次元位置を同定する位置同定
手段と、得られた位置同定情報を発信する発信手段と、
撮影を行うカメラの３次元位置，３次元姿勢及び画角を
検出する検出手段と、３次元の地図データを格納してい
る格納手段と、該格納手段に格納されている３次元の地
図データを前記検出手段の検出結果に基づき透視変換し
て、撮影映像に応じた地図データを獲得する手段と、獲
得した地図データを前記カメラでの前記対象物を含む撮
影映像及び前記発信手段から発信された位置同定情報と
共に表示する手段とを備えることを特徴とする映像提示
システム。
【請求項６】前記カメラは、空中撮影を行うカメラで
あることを特徴とする請求項１，４または５の何れかに
記載の映像提示システム。
【請求項７】前記カメラは、水中撮影を行うカメラで
あることを特徴とする請求項１，４または５の何れかに
記載の映像提示システム。
【請求項８】前記検出手段の検出結果のデータと前記
カメラでの撮影映像のデータとを記録する手段を更に備
えることを特徴とする請求項１〜７の何れかに記載の映
像提示システム。