JPH11174950A

JPH11174950A - 情報処理装置及びその方法、コンピュータ可読メモリ

Info

Publication number: JPH11174950A
Application number: JP33896697A
Authority: JP
Inventors: Kazuhiro Matsubayashi; 一弘松林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-09
Filing date: 1997-12-09
Publication date: 1999-07-02

Abstract

(57)【要約】【課題】一般ユーザでも簡単にリアルな映像を作成で
き、作成された映像に対する情報の抽出、検索等の処理
を容易に行うことができる情報処理装置及びその方法、
コンピュータ可読メモリを提供する。【解決手段】ビデオ映像信号をビデオ映像入力部１よ
り入力し、ビデオ映像信号をディスプレイに表示する。
地図上の座標に対応づけられた地理情報を地理情報入力
部３より入力する。そして、ビデオ映像信号の画素位置
を規定する座標系と地図上の座標系とを座標対応部４で
対応づけ、その対応づけられた入力された地理情報とビ
デオ映像信号をディスプレイに表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置及び
その方法、コンピュータ可読メモリに関するものであ
る。

【０００２】

【従来の技術】従来、情報処理システムとして、地図を
表示してその中の所定の場所をポインティングデバイス
等の指示手段で指示することによって、その場所に関す
る数値情報、テキスト情報、図形情報、画像情報、音声
情報、ハイパーリンク情報などを出力するものがあっ
た。

【０００３】また、最近では、ゲーム機やインターネッ
ト環境で用いられるアプリケーションとして、よりリア
ルな表示を求めてコンピュータグラフィックスで作成さ
れた実在もしくは仮想の都市や山岳などの風景映像を表
示し、その風景映像中の所定の場所をポインティングデ
バイスなどの指示手段で指示することによって、その場
所に関する情報を出力する情報処理システムがある。

【０００４】このような情報処理システムにおける情報
の管理は、所定の被写体に対して情報を対応づけて管理
するものと、地理上の空間を記述する座標に対して情報
を対応づけて管理するものとがある。

【０００５】前者の場合、被写体が人物であれば、氏
名、性別、年齢、職業等の情報を管理するといった例が
ある。また、被写体が商店であれば、店名、業種、商品
情報等の情報を管理するといった例がある。また、その
被写体に張られているハイパーリンク情報によって、関
連する画面へジャンプするという構成例もある。

【０００６】後者の場合、指示された場所の経度や緯度
を管理したり、経度や緯度に対応して記憶されている住
所、地名、店名等の情報を管理するといった例がある。

【０００７】このような情報としてコンピュータグラフ
ィックスを用いる場合は、表示されているすべてのオブ
ジェクトの地理上の空間における座標が既知であるため
に、ポインティングデバイスで何が指示されたのかを特
定するのが容易である。

【０００８】また、ヘリコプター、山頂、ビルの屋上、
列車、自動車等に設置されたカメラで撮影されたビデオ
映像信号についても、その中の所定の場所をポインティ
ングデバイス等の指示手段で指示することによって、そ
の場所に関する情報を出力する情報処理システムがあっ
た。

【０００９】このような情報処理システムにおける情報
の管理は、所定の被写体に対して情報を対応づけて管理
するものと、ビデオ映像信号の所定のフレームの所定の
二次元座標に対して情報を対応づけるて管理するものと
がある。

【００１０】前者の場合、あらかじめ所定の色やパター
ンに対して情報を対応づけておき、ビデオ映像信号の中
の指示された場所から色やパターンにマッチする領域を
抽出することで、指示された被写体を特定している。

【００１１】後者の場合、例えば、ビデオ映像信号が毎
秒３０フレームで、横６４０画素、縦４８０画素でサン
プリングされている場合、開始から３０１フレーム目〜
４５０フレーム目、左から１０１画素目〜１１０画素
目、上から４０１画素目〜４１０画素目というようにフ
レームと二次元座標を特定する。この特定したフレーム
と二次元座標に対して情報を関連づける。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来の情報処理システムでは、コンピュータグラフィック
スで地形や建造物等のデータを作成するのは非常に労力
がかかるため、一般のユーザが手軽に作成するのは困難
であるという問題点があった。また、リアルな風景を表
現しようとすれば非常にデータ量が大きくなり、記憶容
量、伝送容量、処理速度等の負荷が大きくなってしまう
という問題点もあった。

【００１３】また、実在の地理上の空間のデータを作成
するためには、ビデオカメラで撮影した映像を利用し、
それに情報を対応づけて記憶しておくのが便利である。

【００１４】しかしながら、上記従来例において所定の
被写体に情報を対応づけて情報を管理する構成では、都
市の中の建物などのように色やパターンの特徴が少ない
被写体の場合は、ポインティングデバイス等の指示手段
で指示された被写体を特定するのが困難であるという問
題点があった。

【００１５】また、上記従来例においてビデオ映像の所
定のフレームの所定の二次元座標に対して情報を対応づ
けて管理する構成では、ビデオカメラの移動やズームや
パンによってビデオ映像の座標系と地理上の空間の座標
系との対応が変化してしまうので、画面に映っている地
理上の場所に直接対応させて情報を関連づけることがで
きないという問題点があった。

【００１６】本発明は上記の問題点に鑑みてなされたも
のであり、一般ユーザでも簡単にリアルな映像を作成で
き、作成された映像に対する情報の抽出、検索等の処理
を容易に行うことができる情報処理装置及びその方法、
コンピュータ可読メモリを提供することを目的とする。

【００１７】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による情報処理装置は以下の構成を備える。
即ち、ビデオ映像信号を入力する入力手段と、前記ビデ
オ映像信号を表示部に表示する第１表示制御手段と、地
図上の座標に対応づけられた地理情報を入力する地理情
報入力手段と、前記ビデオ映像信号の画素位置を規定す
る座標系と前記地図上の座標系とを対応づける座標対応
手段と、前記座標対応手段によって対応づけられた前記
入力された地理情報と前記ビデオ映像信号を前記表示部
に表示する第２表示制御手段とを備える。

【００１８】また、好ましくは、前記座標対応手段は、
三次元空間に前記地理情報を配置する配置手段と、前記
三次元空間において前記地理情報を見るための視点の位
置、視線の方向、視界の範囲を指示する視点指示手段
と、前記視点の位置、視線の方向、視界の範囲を前記ビ
デオ映像信号のフレームに対応づける視点対応手段とを
備える。

【００１９】また、好ましくは、前記第１表示制御手段
は、ビデオ映像信号の指示されたフレームを前記表示部
に表示し、前記視点指示手段は、前記視点の位置、前記
視線の方向、前記視界の範囲を示す各パラメータの少な
くとも１つを変更し、前記第２表示制御手段は、前記視
点指示手段によって指示された前記視点の位置、前記視
線の方向、前記視界の範囲に含まれる前記地理情報を前
記表示部に表示し、前記視点指示手段による前記変更に
従って、前記視点対応手段は前記フレームの構図と前記
表示されている地理情報の構図とが一致するときの前記
視点の位置、前記視線の方向、前記視界の範囲のパラメ
ータを該フレームに対応づける。

【００２０】また、好ましくは、前記視点の位置、前記
視線の方向、前記視界の範囲の各パラメータが前記視点
指示手段によって指示されなかったフレームに対し、前
記座標対応手段は、近傍のフレームの既知パラメータを
用いた補間計算を行う視点計算手段とを備える。

【００２１】また、好ましくは、前記座標対応手段は、
前記ビデオ映像信号の画素位置を指示する画素位置指示
手段と、前記画素位置指示手段で指示された画素位置を
前記地理情報に対応づける画素地理情報対応手段とを更
に備える。

【００２２】また、好ましくは、前記地理情報入力手段
は、前記画素地理情報対応手段によって対応づけられた
地理情報を編集する地理情報編集手段とを備える。

【００２３】また、好ましくは、前記画素地理情報対応
手段は、ビデオ映像信号から抽出された被写体領域を前
記地理情報に対応づける。

【００２４】また、好ましくは、前記地理情報をキーに
して、前記ビデオ映像信号のフレームを検索する検索手
段を更に備える。

【００２５】また、好ましくは、前記第２表示制御手段
による表示に合わせて、前記地理情報に含まれる音声情
報に基づく音声を出力する出力手段を更に備える。

【００２６】また、好ましくは、前記入力手段は、少な
くとも、ビデオカメラ、ビデオテープレコーダ、リムー
バルディスク、ハードディスク、ネットワークからビデ
オ映像信号を入力する。

【００２７】上記の目的を達成するための本発明による
情報処理方法は以下の構成を備える。即ち、ビデオ映像
信号を入力する入力工程と、前記ビデオ映像信号を表示
部に表示する第１表示制御工程と、地図上の座標に対応
づけられた地理情報を入力する地理情報入力工程と、前
記ビデオ映像信号の画素位置を規定する座標系と前記地
図上の座標系とを対応づける座標対応工程と、前記座標
対応工程によって対応づけられた前記入力された地理情
報と前記ビデオ映像信号を前記表示部に表示する第２表
示制御工程とを備える。

【００２８】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
ビデオ映像信号を入力する入力工程のプログラムコード
と、前記ビデオ映像信号を表示部に表示する第１表示制
御工程のプログラムコードと、地図上の座標に対応づけ
られた地理情報を入力する地理情報入力工程のプログラ
ムコードと、前記ビデオ映像信号の画素位置を規定する
座標系と前記地図上の座標系とを対応づける座標対応工
程のプログラムコードと、前記座標対応工程によって対
応づけられた前記入力された地理情報と前記ビデオ映像
信号を前記表示部に表示する第２表示制御工程のプログ
ラムコードとを備える。

【００２９】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。（実施形態１）図１は本発明の実施形態１の情報処理装
置のハードウェア構成を示すブロック図である。

【００３０】１１１〜１１５は、ビデオ映像信号やコン
ピュータ１００で扱うデータの入力や記憶を行なう機器
である。１１１はビデオカメラ、１１２はビデオテープ
レコーダ（ＶＴＲ）、１１３はリムーバルディスクドラ
イブ、１１４はハードディスクドライブ（ＨＤＤ）、１
１５はＬＡＮやモデム等のネットワークである。

【００３１】１１６〜１１８は、ユーザがコンピュータ
１００に指示を行なうための機器である。１１６はマウ
ス、ペン、ジョイスティツク等のポインティングデバイ
ス、１１７はキーボード、１１８はマイクロフォンであ
る。

【００３２】１１９、１２０は、ユーザに映像や情報を
出力する機器である。１１９はビデオ映像信号やコンピ
ュータ１００で扱うデータの表示を行なうディスプレ
イ、１２０は音声を出力するスピーカである。

【００３３】１２１〜１２３は、コンピュータ１００を
構成する部品である。１２０はメモリ、１２１はＣＰ
Ｕ、１２２はインタフェース回路（Ｉ／Ｆ）である。

【００３４】次に、実施形態１の情報処理システムの機
能構成について、図２を用いて説明する。

【００３５】図２は本発明の実施形態１の情報処理シス
テムの機能構成を示すブロック図である。

【００３６】６はビデオ映像記憶部であり、ビデオカメ
ラ１１１、ＶＴＲ１１２、リムーバルディスク１１４、
ネットワーク１１５からビデオ映像信号を入力し、一旦
記憶する。１はビデオ映像入力部であり、ビデオ映像記
憶部６に記憶されているビデオ映像信号を入力する。
尚、ビデオ映像信号はＮＴＳＣ等のアナログ信号または
ＭＰＥＧ等のデジタル信号として入力される。７はフレ
ーム指示部であり、入力されたビデオ映像信号からビデ
オ映像表示部２で表示される表示対象のフレームを指定
する。２はビデオ映像表示部であり、入力されたビデオ
映像信号の内、フレーム指示部７で指示されたフレーム
をディスプレイ１１９に表示する。

【００３７】３は地理情報入力部であり、ビデオカメラ
１１１、ＶＴＲ１１２、リムーバルディスク１１４、ネ
ットワーク１１５またはポインティングデバイス１１
６、キーボード１１７、マイクロフォン１１８から地理
情報をコンピュータ１００で扱うデータとして入力す
る。尚、地理情報とは、地図上の空間を記述するための
座標に対応づけられた数値情報、テキスト情報、図形情
報、画像情報、音声情報、ハイパーリンク情報等の情報
である。数値情報としては人口、気温等、テキスト情報
としては地名、建築物名等、図形情報としては地形、道
路、建築物等の形状や色分けなど、画像情報としてはそ
の場所の写真等、音声情報としてはその場所の説明等、
ハイパーリンク情報としてはジャンプ先を検索するキー
ワード等がある。また、地図上の空間を記述するための
座標とは、経度と緯度で表わされた二次元座標、または
さらに標高や建造物の高さを加えた三次元座標である。
但し、数式やテーブルによって経度と緯度へ変換可能な
別の座標系を用いてもよい。そして、座標と地理情報を
対応づける場合として、点に対応づける場合、線に対応
づける場合、面に対応づける場合とがある。線は通過す
る点の集合で表わし、面は周囲を囲む線で表わす。

【００３８】９は地理情報記憶部であり、地理情報入力
部３より入力された地理情報や、地理情報編集部１０で
編集された地理情報を記憶する。１０は地理情報編集部
であり、地理情報記憶部９に記憶されている地理情報や
地理情報入力部３より入力された地理情報に対して、テ
キスト編集ツール、図形編集ツール、画像編集ツール等
の編集ツールを用いて編集する。また、後述する画素位
置指示部４ｅで指示された指示された画素位置に対応す
る地理情報として、画素地理情報対応部４ｆで求められ
た地理情報を編集して、新たな地理情報を定義する。

【００３９】４は座標対応部であり、ビデオ映像信号の
座標系と地図上の座標系とを対応づける。尚、ビデオ映
像信号の座標系とは、画面の水平方向、垂直方向、時間
軸方向の三次元であり、それぞれ画面左端からの画素
数、画面上端からの画素数、開始からのフレーム数の値
をもつ。ビデオ映像信号の座標系と地図上の座標系との
対応を実現するために、地理情報配置部４ａは、三次元
空間に地理情報を配置する。視点指示部４ｂは、三次元
空間において地理情報を見るための視点の位置、視線の
方向、視界の範囲を指示する。

【００４０】視点対応部４ｃは、ビデオ映像信号の各フ
レームごとの構図と視点から地理情報を見たときの構図
とが一致するように各フレームごとに視点の位置、視線
の方向、視界の範囲の各パラメータを算出する。但し、
ビデオ映像信号は、例えば、１秒間に３０フレームの画
像からなるが、すべてのフレームについて視点の位置、
視線の方向、視界の範囲の各パラメータを算出すること
は非常に労力がかかるので、ユーザは適当なフレームを
いくつか選択して操作を行う。視点計算部４ｄは、視点
対応部４ｃで算出されているフレームの視点の位置、視
線の方向、視界の範囲の各パラメータから、算出されて
いないフレームの視点の位置、視線の方向、視界の範囲
の各パラメータを補間によって計算する。そして、視点
対応部４ｃで算出されたフレームの視点の位置、視線の
方向、視界の範囲の各パラメータ、視点計算部４ｄで計
算されたフレームの視点の位置、視線の方向、視界の範
囲の各パラメータは、視点記憶部１１に記憶される。

【００４１】画素位置指示部４ｅは、表示されているビ
デオ画像信号より処理対象の画素位置を指示する。画素
地理情報対応部４ｆは、画素位置指示部４ｅで指示され
た画素位置に対応する地理情報の詳細な地理情報を求め
る。

【００４２】８はビデオ映像検索部であり、地理情報入
力部３から入力された地理情報をキーにして、そのキー
を有するビデオ映像信号を検索する。この場合、視点記
憶部１１に記憶されたフレーム毎の視点の位置、視線の
方向、視界の範囲の各パラメータを読み出し、各フレー
ムにおいて視点から見える範囲に、キーとなる地理情報
が配置されているどうかを調べることで、そのキーとな
る地理情報を有するビデオ映像信号を検索する。また、
画素位置指示部４ｅで指示された画素位置に対応する地
理情報として、画素地理情報対応部４ｆで求められた地
理情報をキーとして、そのキーを有するビデオ映像信号
を検索する。

【００４３】５は地理情報表示部であり、視点から見え
る範囲に配置されている地理情報を表示する。尚、ビデ
オ映像信号の構図と視点から見える地理情報の構図とが
一致していれば、ビデオ映像信号の被写体に対応してそ
の被写体に関する地理情報が表示される。各地理情報
は、種類に応じて、文字や記号、色分け、地形や建物の
形を表わした図形等の画像として表示する。また、視線
から見える範囲に配置されている個々の地理情報を表示
するか否かは個々に指示することができ、分野別にグル
ープ分けして指示することもできる。更に、指示された
特定の地理情報は拡大して詳細情報を表示することもで
きる。１２は音声出力部であり、地理情報に音声情報が
含まれる場合には、地理情報表示部５による表示に合わ
せて音声を出力する。

【００４４】尚、ビデオ映像信号の表示と地理情報の表
示は、２つのディスプレイに別々に表示しても、１つの
ディスプレイにマルチウィンドウで表示しても、１つの
ウィンドウに重ね合わせて表示しても、いずれでもよ
い。

【００４５】次に、実施形態１のディスプレイ１１９に
表示される表示画面例について、図３〜６を用いて説明
する。

【００４６】図３、図４は本発明の実施形態１のディス
プレイの表示画面例を示す図である。

【００４７】特に、図３は、ビデオ映像入力部１から入
力されたビデオ映像信号の指示されたフレームをビデオ
映像表示部２によって表示した場合の表示画面例を示し
ている。また、図４は、地理情報入力部３から入力され
た地理情報を、地理情報配置部４ａによって三次元空間
に配置し、視点指示部４ｂで指示された視点から見た二
次元の構図に座標変換して、地理情報表示部５によって
表示した場合の表示画面例を示している。また、図５
は、ビデオ映像信号と地理情報を重ねて表示した場合の
表示画面例を示している。また、図６は、表示画面上で
指示された位置における地理情報を詳しく表示した場合
の表示画面例を示している。

【００４８】次に、実施形態１で定義される視点の位
置、視線の方向、視界の範囲について説明していく。

【００４９】ビデオ映像信号の各フレームごとのビデオ
画像信号の構図と視点から地理情報を見たときの構図と
が一致するような視点の位置、視線の方向、視界の範囲
を求めるために、まず、ビデオ映像表示部２はビデオ映
像信号の指示されたフレームを表示する。次に、視点指
示部４ｂは視点の位置、視線の方向、視界の範囲の各パ
ラメータのうち少なくとも１つのパラメータの変更を指
示する。そして、地理情報表示部５は視点から見える地
理情報を表示し、視点指示部４ｂによる変更に従って、
視点対応部４ｃは表示されているビデオ画像信号の構図
と表示されている地理情報の構図とが一致したときの視
点の位置、視線の方向、視界の範囲のパラメータをフレ
ームに対応づける。

【００５０】視点の位置は、図７に示すように、三次元
空間における座標値（ｘ，ｙ，ｚ）で表わす。座標値ｚ
は高さを示しメートルで表わす。また、三次元空間にお
ける計算を簡単にするため、座標値ｘと座標値ｙは経度
と緯度を示す値からメートルに換算する。

【００５１】視線の方向は、図８に示すように、ｙａ
ｗ、ｐｉｔｃｈ、ｒｏｌｌの３つの角度で表わす。ｙａ
ｗは東西南北のどの方角を見るかを表わす角度、ｐｉｔ
ｃｈは視点の真下の方を見るか遠くの方を見るかを表わ
す角度、ｒｏｌｌは左下がりか右下がりかの傾きを表わ
す角度である。

【００５２】視界の範囲は、図９に示すように、左右方
向の画角αと上下方向の画角βで表わす。

【００５３】ユーザは、ポインティングデバイス１１
６、キーボード１１７、マイクロフォン１１８等の機器
によって、視線の位置を移動させたり、視線の方向を回
転させたり、視界の範囲を広げたり狭めたりする操作を
行なうことができる。具体的な操作としては、例えば、
図１０に示すようなボタン群をディスプレイ１１９上に
表示してポインティングデバイス１１６で指示したり、
キーボード１１７のカーソルキーにボタン群と同等の機
能を割り当てたりすることで上記操作が可能となる。ま
た、マイクロフォン１１８から入力された音声を認識し
て、その認識に対応するボタンを実行するような構成に
することでも上記操作が可能となる。

【００５４】図１０に示すボタン群においては、「右
へ」、「左へ」、「前へ」、「後ろへ」、「上へ」、
「下へ」の各指示が行なわれると、視点の位置を変更す
る。「左向き」、「右向き」、「上向き」、「下向
き」、「左下がり」、「右下がり」の各指示が行なわれ
ると、視線の方向を変更する。「標準画面」、「ワイド
画面」、「広角」、「望遠」の各指示が行なわれると、
視界の範囲を変更する。「標準画面」と「ワイド画面」
は画面の縦横比を切り換え、「広角」と「望遠」は縦横
比を保ったまま画角を変更する。更に、ユーザは表示さ
れているビデオ画像信号の構図と表示されている地理情
報の構図とを見比べて、一致すると判断したら各パラメ
ータを確定させるコマンド入力操作を「確定」で行な
う。確定した各パラメータの値は、ビデオ映像信号の開
始からのフレーム数の値と対応づけてメモリ１２１に記
憶する。

【００５５】ビデオ映像信号の各フレームについての視
点の位置、視線の方向、視界の範囲の各パラメータの値
は、例えば、図１１に示すようなメモリマップでメモリ
１２１に管理される。

【００５６】Ｎフレーム目のビデオ映像信号を表示する
際には、各フレームを表示するたびにメモリ１２１から
該当するパラメータを読み出して、視点から見える範囲
にある地図情報を表示する。これにより、表示されてい
るビデオ映像の構図と一致する地理情報の構図が表示さ
れる。

【００５７】また、ビデオ映像信号の画素位置が指示さ
れると、対応する地理情報の座標が指示されたのと同じ
とみなし、その地理情報を詳しく表示する。ビデオ映像
信号の画素位置は、地理情報が配置された三次元空間に
おいては、視点の位置からの方向に対応する。つまり、
指示された方向へ向かって直線を引いたときに最初にぶ
つかる地面や建造物の三次元座標を求め、その場所に対
応した地理情報を読み出して表示する。また、直線が地
面や建造物にぶつからないまま三次元空間が定義されて
いる座標の範囲を超えた場合は、無限遠の点として扱
う。例えば、空や遠くの山などが指示されたとき、無限
遠となる場合がある。

【００５８】次に、実施形態１で実行される処理の内、
特に、ビデオ映像信号と地理情報を表示する際の処理に
ついて、図１２を用いて説明する。

【００５９】図１２は本発明の実施形態１で実行される
処理を示すフローチャートである。まず、ステップＳ１
０１で、ビデオ映像入力部１より、ビデオ映像信号を入
力する。ステップＳ１０２で、地理情報入力部３より地
理情報を入力する。ステップＳ１０３で、入力された地
理情報を地理情報配置部４ａにおいて三次元空間上に配
置する。ステップＳ１０３で、入力されたビデオ映像信
号のが画素位置を規定する座標系と、地理情報の座標系
とを座標対応部４で対応づける。ステップＳ１０４で、
対応づけられた地理情報とビデオ映像信号とを、ビデオ
映像表示部２と地理情報表示部５を用いてディスプレイ
１９に表示する。

【００６０】尚、実施形態１では、従来例で説明した所
定の被写体に対して情報を対応づける技術を使用するこ
とができる。この場合、所定の色やパターンに対してあ
らかじめ情報を対応づけておき、ビデオ映像信号中の指
示された場所から色やパターンにマッチする領域を抽出
することで、指示された被写体を特定し、その被写体に
対応づけられた情報を表示する。また、情報を編集した
り、新たに定義することもできる。

【００６１】また、従来例の場合は、似たような複数の
被写体にそれぞれ情報が定義されている場合に、マッチ
ングが難しく誤ってマッチングする可能性が高かった。
これに対し、実施形態１では、情報を対応づけた被写体
は地図上の座標情報を持っており、指示された画素位置
に対応する地図上の座標から、どの被写体が指示された
のかを求めることができる。即ち、色やパターンの情報
と座標の情報との両方が利用できるので、より確実に被
写体を特定できる。

【００６２】以上説明したように、実施形態１によれ
ば、三次元空間上で、ビデオ映像信号の各フレームと地
理情報を対応づけて管理するので、ビデオ映像信号の各
フレーム毎に地理情報の抽出、編集等の処理を容易に行
うことができる。また、地理情報をキーとして、所望の
ビデオ映像信号のフレームを検索することができる。（実施形態２）図１３は本発明の実施形態２の情報処理
システムの機能構成を示すブロック図である。

【００６３】実施形態２は実施形態１のサブセットであ
るが、ビデオ映像入力部１と、ビデオ映像表示部２と、
地理情報入力部３と、座標対応部４と、地理情報表示部
とを備えており、本発明の構成用件を満足する。

【００６４】実施形態２では、視点記憶部１１に記憶さ
れているビデオ映像信号の各フレームに対応づけられた
視点の位置、視線の方向、視界の範囲の各パラメータを
利用する機能をもつ。各パラメータは、リムーバルディ
スク１１３あるいはネットワーク１１５に接続された記
憶装置等の記憶装置から、ビデオ映像信号とともに提供
される。地理情報は、同システムから一緒に提供されて
もよいし、同じ場所に関する別の地理情報を用意しても
よい。

【００６５】また、実施形態１や後述する実施形態３の
機能を備えていれば、表示されているビデオ映像信号の
構図と一致する地理情報の構図を再現し表示する機能、
ビデオ映像信号の画素位置が指示されると対応する地理
情報を詳しく表示する機能、地理情報を編集して再入力
する機能、所望の場面を検索する機能などを利用するこ
とができる。

【００６６】以上説明したように、実施形態２によれ
ば、ビデオ映像信号と地理情報の座標系がすでに対応づ
けられたデータを外部より入手することで、ビデオ映像
信号と地理情報の表示、編集、検索を行なうシステムと
して、実施形態１で説明した情報処理システムに比べ
て、より簡単な構成で安価に提供することができる。（実施形態３）図１４は本発明の実施形態３の情報処理
システムの機能構成を示すブロック図である。

【００６７】実施形態３は実施形態１のサブセットであ
るが、ビデオ映像入力部１と、ビデオ映像表示部２と、
地図上の座標に対応づけられた地理情報を入力する地理
情報入力部３と、座標対応部４と、地理情報表示部５と
を備えており、本発明の構成用件を満足する。

【００６８】実施形態３では、実施形態２と同様に、視
点記憶部１１に記憶されているビデオ映像信号の各フレ
ームに対応づけられた視点の位置、視線の方向、視界の
範囲の各パラメータを利用する機能をもつ。各パラメー
タは、リムーバルディスク１１３あるいはネットワーク
１１５に接続された記憶装置等の記憶装置から、ビデオ
映像信号とともに提供される。地理情報は、同システム
から一緒に提供されてもよいし、同じ場所に関する別の
地理情報を用意してもよい。

【００６９】また、実施形態１や実施形態２の機能を備
えていれば、表示されているビデオ映像信号の構図と一
致する地理情報の構図を再現し表示する機能、ビデオ映
像信号の画素位置が指示されると対応する地理情報を詳
しく表示する機能、地理情報を編集して再入力する機
能、所望の場面を検索する機能などを利用することがで
きる。

【００７０】尚、実施形態３では視点計算部４ｄを備え
ることで、視点の位置、視線の方法、視界の範囲の各パ
ラメータが指示されなかったフレームの各パラメータを
補間計算で求めることができるが、他のシステムが視点
計算部４ｄを備え、それを利用することができるなら
ば、視点計算部４ｄを省いてもよい。その場合は、他の
システムにおいて、パラメータが未知のフレームが指定
されたときに補間計算を行なう。

【００７１】以上説明したように、実施形態３によれ
ば、、ビデオ映像信号と地理情報の座標系を対応づけた
データを供給するためのシステムとして、実施形態１で
説明した情報処理システムに比べて、簡単な構成で安価
に提供することができる。

【００７２】以上説明したように、実施形態１〜３によ
れば、実際の風景を撮影したビデオ映像信号を用いるこ
とにより、一般ユーザでも簡単にリアルな映像を作成す
ることができる。

【００７３】また、経度、緯度、またはそれに変換可能
な座標系を用いて地理情報を表わすことにより、別々の
ビデオ映像信号や別々の地理情報を用いても空間を共有
できる。これによって、情報が関連づけられた場所が映
っている任意のフレームにおいてその場所を指示するこ
とで情報を取り出せるので便利である。

【００７４】また、複数のユーザがそれぞれ各自の目的
に合った別々のビデオ映像信号や地理情報を記憶してお
き、共有したい地理情報のみ転送することができるの
で、記憶容量や伝送容量を節約することができる。

【００７５】また、ビデオ映像信号の画素位置を規定す
る座標系と地図上の座標系とを対応づけることにより、
ビデオ映像信号に映っている場所の検索を容易に行うこ
とができる。

【００７６】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【００７７】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００７８】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００７９】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００８０】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００８１】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００８２】

【発明の効果】以上説明したように、本発明によれば、
一般ユーザでも簡単にリアルな映像を作成でき、作成さ
れた映像に対する情報の抽出、検索等の処理を容易に行
うことができる情報処理装置及びその方法、コンピュー
タ可読メモリを提供できる。

【００８３】

【図面の簡単な説明】

【図１】本発明の実施形態１の情報処理システムのハー
ドウェア構成を示すブロック図である。

【図２】本発明の実施形態１の情報処理システムの機能
構成を示すブロック図である。

【図３】本発明の実施形態１のディスプレイに表示され
る表示画面例を示す図である。

【図４】本発明の実施形態１のディスプレイに表示され
る表示画面例を示す図である。

【図５】本発明の実施形態１のディスプレイに表示され
る表示画面例を示す図である。

【図６】本発明の実施形態１のディスプレイに表示され
る表示画面例を示す図である。

【図７】本発明の実施形態１の三次元空間における視点
の位置の表わし方を示す図である。

【図８】本発明の実施形態１の三次元空間における視線
の方向の表わし方を示す図である。

【図９】本発明の実施形態１の三次元空間における視界
の範囲の表わし方を示す図である。

【図１０】本発明の実施形態１の視点の位置、視線の方
向、視界の範囲を指示するためのボタン群を示す図であ
る。

【図１１】本発明の実施形態１のメモリに管理されるメ
モリマップ例を示す図である。

【図１２】本発明の実施形態１で実行される処理を示す
フローチャートである。

【図１３】本発明の実施形態２の情報処理システムの機
能構成を示すブロック図である。

【図１４】本発明の実施形態３の情報情報システムの機
能構成を示すブロック図である。

【符号の説明】

１１１ビデオカメラ１１２ＶＴＲ１１３リムーバルディスク１１４ＨＤＤ１１５ネットワーク１１６ポインティングデバイス１１７キーボード１１８マイクロフォン１１９ディスプレイ１２０スピーカー１２１メモリ１２２ＣＰＵ１２３Ｉ／Ｆ１ビデオ映像入力部２ビデオ映像表示部３地理情報入力部４座標対応部４ａ地理情報配置部４ｂ視点指示部４ｃ視点対応部４ｄ視点計算部４ｅ画素位置指示部４ｆ画素地理情報対応部５地理情報表示部６ビデオ映像記憶部７フレーム指示部８ビデオ映像検索部９地理情報記憶部１０地理情報編集部１１視点記憶部１２音声出力部

Claims

【特許請求の範囲】

【請求項１】ビデオ映像信号を入力する入力手段と、前記ビデオ映像信号を表示部に表示する第１表示制御手
段と、地図上の座標に対応づけられた地理情報を入力する地理
情報入力手段と、前記ビデオ映像信号の画素位置を規定する座標系と前記
地図上の座標系とを対応づける座標対応手段と、前記座標対応手段によって対応づけられた前記入力され
た地理情報と前記ビデオ映像信号を前記表示部に表示す
る第２表示制御手段とを備えることを特徴とする情報処
理装置。
【請求項２】前記座標対応手段は、三次元空間に前記
地理情報を配置する配置手段と、前記三次元空間において前記地理情報を見るための視点
の位置、視線の方向、視界の範囲を指示する視点指示手
段と、前記視点の位置、視線の方向、視界の範囲を前記ビデオ
映像信号のフレームに対応づける視点対応手段とを備え
ることを特徴とする請求項１に記載の情報処理装置。
【請求項３】前記第１表示制御手段は、ビデオ映像信
号の指示されたフレームを前記表示部に表示し、前記視点指示手段は、前記視点の位置、前記視線の方
向、前記視界の範囲を示す各パラメータの少なくとも１
つを変更し、前記第２表示制御手段は、前記視点指示手段によって指
示された前記視点の位置、前記視線の方向、前記視界の
範囲に含まれる前記地理情報を前記表示部に表示し、前記視点指示手段による前記変更に従って、前記視点対
応手段は前記フレームの構図と前記表示されている地理
情報の構図とが一致するときの前記視点の位置、前記視
線の方向、前記視界の範囲のパラメータを該フレームに
対応づけることを特徴とする請求項２に記載の情報処理
装置。
【請求項４】前記視点の位置、前記視線の方向、前記
視界の範囲の各パラメータが前記視点指示手段によって
指示されなかったフレームに対し、前記座標対応手段
は、近傍のフレームの既知パラメータを用いた補間計算
を行う視点計算手段とを備えることを特徴とする請求項
２に記載の情報処理装置。
【請求項５】前記座標対応手段は、前記ビデオ映像信
号の画素位置を指示する画素位置指示手段と、前記画素位置指示手段で指示された画素位置を前記地理
情報に対応づける画素地理情報対応手段とを更に備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】前記地理情報入力手段は、前記画素地理
情報対応手段によって対応づけられた地理情報を編集す
る地理情報編集手段とを備えることを特徴とする請求項
５に記載の情報処理装置。
【請求項７】前記画素地理情報対応手段は、ビデオ映
像信号から抽出された被写体領域を前記地理情報に対応
づけることを特徽とする請求項５に記載の情報処理装
置。
【請求項８】前記地理情報をキーにして、前記ビデオ
映像信号のフレームを検索する検索手段を更に備えるこ
とを特徴とする請求項１に記載の情報処理装置。
【請求項９】前記第２表示制御手段による表示に合わ
せて、前記地理情報に含まれる音声情報に基づく音声を
出力する出力手段を更に備えることを特徴とする請求項１に記載の情報処理
装置。
【請求項１０】前記入力手段は、少なくとも、ビデオ
カメラ、ビデオテープレコーダ、リムーバルディスク、
ハードディスク、ネットワークからビデオ映像信号を入
力することを特徴とする請求項１に記載の情報処理装
置。
【請求項１１】ビデオ映像信号を入力する入力工程
と、前記ビデオ映像信号を表示部に表示する第１表示制御工
程と、地図上の座標に対応づけられた地理情報を入力する地理
情報入力工程と、前記ビデオ映像信号の画素位置を規定する座標系と前記
地図上の座標系とを対応づける座標対応工程と、前記座標対応工程によって対応づけられた前記入力され
た地理情報と前記ビデオ映像信号を前記表示部に表示す
る第２表示制御工程とを備えることを特徴とする情報処
理方法。
【請求項１２】前記座標対応工程は、三次元空間に前
記地理情報を配置する配置工程と、前記三次元空間において前記地理情報を見るための視点
の位置、視線の方向、視界の範囲を指示する視点指示工
程と、前記視点の位置、視線の方向、視界の範囲を前記ビデオ
映像信号のフレームに対応づける視点対応工程とを備え
ることを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】前記第１表示制御工程は、ビデオ映像
信号の指示されたフレームを前記表示部に表示し、前記視点指示工程は、前記視点の位置、前記視線の方
向、前記視界の範囲を示す各パラメータの少なくとも１
つを変更し、前記第２表示制御工程は、前記視点指示工程によって指
示された前記視点の位置、前記視線の方向、前記視界の
範囲に含まれる前記地理情報を前記表示部に表示し、前記視点指示工程による前記変更に従って、前記視点対
応工程は前記フレームの構図と前記表示されている地理
情報の構図とが一致するときの前記視点の位置、前記視
線の方向、前記視界の範囲のパラメータを該フレームに
対応づけることを特徴とする請求項１２に記載の情報処
理方法。
【請求項１４】前記視点の位置、前記視線の方向、前
記視界の範囲の各パラメータが前記視点指示工程によっ
て指示されなかったフレームに対し、前記座標対応工程
は、近傍のフレームの既知パラメータを用いた補間計算
を行う視点計算工程とを備えることを特徴とする請求項
１２に記載の情報処理方法。
【請求項１５】前記座標対応工程は、前記ビデオ映像
信号の画素位置を指示する画素位置指示工程と、前記画素位置指示工程で指示された画素位置を前記地理
情報に対応づける画素地理情報対応工程とを更に備える
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１６】前記地理情報入力工程は、前記画素地
理情報対応工程によって対応づけられた地理情報を編集
する地理情報編集工程とを備えることを特徴とする請求
項１５に記載の情報処理方法。
【請求項１７】前記画素地理情報対応工程は、ビデオ
映像信号から抽出された被写体領域を前記地理情報に対
応づけることを特徽とする請求項１５に記載の情報処理
方法。
【請求項１８】前記地理情報をキーにして、前記ビデ
オ映像信号のフレームを検索する検索工程を更に備える
ことを特徴とする請求項１１に記載の情報処理方法。
【請求項１９】前記第２表示制御工程による表示に合
わせて、前記地理情報に含まれる音声情報に基づく音声
を出力する出力工程を更に備えることを特徴とする請求
項１１に記載の情報処理方法。
【請求項２０】前記入力工程は、少なくとも、ビデオ
カメラ、ビデオテープレコーダ、リムーバルディスク、
ハードディスク、ネットワークからビデオ映像信号を入
力することを特徴とする請求項１１に記載の情報処理方
法。
【請求項２１】ビデオ映像信号を入力する入力工程の
プログラムコードと、前記ビデオ映像信号を表示部に表示する第１表示制御工
程のプログラムコードと、地図上の座標に対応づけられた地理情報を入力する地理
情報入力工程のプログラムコードと、前記ビデオ映像信号の画素位置を規定する座標系と前記
地図上の座標系とを対応づける座標対応工程のプログラ
ムコードと、前記座標対応工程によって対応づけられた前記入力され
た地理情報と前記ビデオ映像信号を前記表示部に表示す
る第２表示制御工程のプログラムコードとを備えること
を特徴とするコンピュータ可読メモリ。