JPH11168756A

JPH11168756A - 画像記録装置、画像データベース装置、画像記録方法及びコンピュータプログラムの記憶媒体

Info

Publication number: JPH11168756A
Application number: JP9333287A
Authority: JP
Inventors: Takaaki Endo; 隆明遠藤; Akihiro Katayama; 昭宏片山
Original assignee: MR SYSTEM KENKYUSHO KK; MR System Kenkyusho KK
Current assignee: MR SYSTEM KENKYUSHO KK; MR System Kenkyusho KK
Priority date: 1997-12-03
Filing date: 1997-12-03
Publication date: 1999-06-22
Anticipated expiration: 2017-12-03
Also published as: EP0921375B1; JP3571893B2; EP0921375A1; US6950120B1; DE69817305D1; ATE247816T1

Abstract

(57)【要約】【課題】離間して配置した複数のカメラからの実写画
像を、恰も離間させないで配置したカメラからの画像の
ように処理する画像データベースの構築方法を提案する
ものである。かかるデータベースを提案することによ
り、カメラ配置の自由度を確保する。【解決手段】車両に取り付けられた少なくとも２つの
カメラにより撮影した画像を記録する画像記録装置は、
車両の第１の方向に撮影方向を向けて設けられた第１の
カメラと、この第１のカメラから既知の距離だけ離間し
た位置に、前記第１の方向と略１８０度異なる第２の方
向に撮影方向を向けて設けられた第２のカメラと、前記
車両が前記第１の方向に進行しているときに、前記第１
のカメラが撮像した第１の画像データと、前記第２のカ
メラにより前記既知の距離に相当する時間だけ後の時点
で撮像される第２の画像データとを関連付けて記録す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写画像をもとに
仮想空間の記述を行うための画像の記録方法及び装置に
関し、特に離間して配置した複数のカメラからの実写画
像を恰も離間させないで配置したカメラからの画像のよ
うに処理する方法及び装置に関する。また、本発明は上
記方法を実行するプログラム記憶する記憶媒体に関す
る。

【０００２】

【従来の技術】近年、コンピュータネットワークが形成
する電脳空間(cyber spaces)内に、人が集い社会的営み
を行う都市環境を構築する試みが行われている。通常、
この種の仮想空間の記述と表示には、従来からのＣＧ技
術が用いられている。しかし、幾何モデルを基にしたＣ
Ｇ表現には限界があるため、最近、実写画像に基づくIm
age Based Rendering (IBR)が注目を集めている。

【０００３】所で、実写で得た画像データをそのまま再
生するのでは、撮影者の追体験をするに過ぎない。そこ
で、画像データベースを基に、IBR技術を用いて任意の
景観を画像データとしてリアルタイムで生成して呈示す
る。即ち、撮影された映像を一枚一枚独立した画像とし
て扱い、それを体験者の求めに応じて並び換えれば、遠
隔地に於いて、体験者の求める独自の移動経路上をウオ
ークスルーすることができ、そこに３次元の仮想空間を
感じることができる。

【０００４】体験者の求めに応じて画像を検索再構成す
るには、それぞれの画像が撮影された地点の位置情報を
用いるのが有効である。これらは、体験者の求めに最も
近い画像をデータベースから選択し、適切な画像補間処
理を行うことによって最適な画像を表示するというもの
である。第１図は、実写画像を用いた広域ウオークスル
ーの原理を示す。

【０００５】即ち、狭領域１，２，３，４については実
写画像が用意されている。これらの狭領域を亙って歩い
て行く広域ウオークスルー（経路１０又は経路１１に沿
って）を実現する場合には、狭領域間の空間の画像を補
間する必要がある。狭領域２と３の間を補間するには、
空間２と３の間の体験者の存在位置についての情報か
ら、領域２と領域３の実写画像を検索する必要がある。
即ち、ユーザの位置情報に基づいて必要な画像を検索す
るには、実写画像は、撮影時の位置データに従ってデー
タベース化されている必要がある。

【０００６】また、補間を精度良く行い、補間された画
像と実写画像とが滑らかに繋がるためには、体験者は自
分のまわりの３６０度の範囲でウオークスルー可能性が
あることに鑑みれば、数多くのカメラを様々な角度に向
けて配置し、これらのカメラで同時に環境の画像を取り
込み、これらの実写画像から画像データベースを構築す
る必要がある。

【０００７】しかしながら、多数のカメラの個々の撮影
中心を一点にして配置することはなかなか困難である。
この点で、従来では、第２図に示すように、複数のミラ
ーを点対称に配置し、周囲からの光が上方に向かうよう
に、個々のミラーの鏡面を配置することにより、個々の
カメラの撮影中心を一点に集中させるようにしていた。

【０００８】

【発明が解決しようとする課題】しかしながら、第２図
のようにミラーを配置することは、そのミラーに撮影者
（車）が画面内に入らないようにすることが困難であっ
た。

【０００９】

【課題を解決するための手段】本発明はこのような事態
に鑑みてなされたもので、その目的は、離間して配置し
た複数のカメラからの実写画像を、恰も離間させないで
配置したカメラからの画像のように処理する画像データ
ベースの構築方法を提案するものである。かかるデータ
ベースを提案することにより、カメラ配置の自由度を確
保する。

【００１０】本発明の他の目的は、実写画像を得るため
のカメラを搭載する車両は概ね直進するものであるか
ら、車両の左右方向のカメラを近接させながら、直進方
向を撮影するカメラとその反対方向を撮影するカメラと
を離間させることにより、カメラ配置の自由度を確保し
た画像の記録装置を提案する。上記課題を達成するため
に、本発明の、移動体に取り付けられた少なくとも２つ
の撮像手段により撮影した画像を記録する画像記録装置
は、前記移動体の第１の方向に撮影方向を向けて設けら
れた第１の撮像手段と、前記第１の撮像手段から既知の
距離だけ離間した位置に、前記第１の方向と略１８０度
異なる第２の方向に撮影方向を向けて設けられた第２の
撮像手段と、前記移動車が前記第１の方向に進行してい
るときに、前記第１の撮像手段が撮像した第１の画像デ
ータと、前記第２の撮像手段により前記既知の距離に相
当する時間だけ後の時点で撮像される第２の画像データ
とを関連付けて記録する記録手段とを具備したことを特
徴とする。

【００１１】本発明の好適な一態様に拠れば、前記第１
の撮像手段は複数のカメラを有し、これら複数のカメラ
の各々の撮像方向は、前記第１の方向を中心に線対称に
展開していることを特徴とする。本発明の好適な一態様
に拠れば、前記複数のカメラの撮像方向上の直線は、こ
のカメラの前方において交叉することを特徴とする。

【００１２】本発明の好適な一態様に拠れば、この第１
の撮像手段の近傍の位置に、前記第１の方向と異なる第
３の方向に撮影方向を向けられて設けられた第３の撮像
手段と、前記第１の方向に向いた直線に関して、前記第
３の方向と線対称位置に設けられた前記第４の撮像手段
とを具備する。

【００１３】本発明の好適な一態様に拠れば、前記第２
の撮像手段は、前記第２の方向を中心にして線対称な２
つ以上の方向に撮影方向を向けて設けられた複数のカメ
ラを有する。上記課題を達成するための、本発明の、移
動体に取り付けられた少なくとも２つの撮像手段により
撮影した画像を記録する画像記録装置は、前記移動体の
第１の方向に撮影方向を向けて設けられた第１の撮像手
段と、前記第１の撮像手段から既知の距離だけ離間した
位置に、前記第１の方向と略１８０度異なる第２の方向
を中心にして線対称な複数の方向に撮影方向を向けて設
けられた複数のカメラと、前記移動車のターンを検出す
る手段と、前記移動車が前記第１の方向から時計回りに
ターンしたか或いは反時計回りにターンしたかに応じ
て、前記複数のカメラの内、より反時計回り或いは時計
回りの方向に向いているカメラを選択する選択手段と、
前記第１の撮像手段が撮像した第１の画像データと、前
記選択手段により選択されたカメラにより前記既知の距
離に相当する時間だけ後の時点で撮像される第２の画像
データとを関連付けて記録する記録手段とを具備したこ
とを特徴とする。

【００１４】本発明の好適な一態様に拠れば、前記複数
のカメラは２つであって、それらカメラの撮影方向は、
前記第２の方向の延長上で互いに交叉していることを特
徴とする。本発明の好適な一態様に拠れば、前記複数の
カメラは第１のカメラ乃至第３のカメラを有し、その内
の第１のカメラは前記第２の方向に一致した撮影方向を
有し、第２のカメラと第３のカメラとは前記第２の方向
を中心にしてそれぞれ時計回り或いは反時計回りの向き
に展開しており、前記選択手段は、移動体が、前記第１
の方向を向いて進行しているときは前記第１のカメラ
を、反時計回りにターンしたときは、第２のカメラを、
時計回りにターンしたときは、第３のカメラを、それぞ
れ選択することを特徴とする。

【００１５】本発明の好適な一態様に拠れば、この第１
の撮像手段の近傍の位置に、前記第１の方向と異なる第
３の方向に撮影方向を向けられて設けられた第３の撮像
手段と、前記第１の方向に向いた直線に関して、前記第
３の方向と線対称位置に設けられた前記第４の撮像手段
とを具備する。

【００１６】上記課題を達成するために、本発明の、移
動体に取り付けられた複数の撮像手段によりそれぞれ撮
影した画像シーケンスから三次元画像空間を構築するた
めのデータベースを、画像データ取得後に生成する画像
データベース装置は、第１の方向に向けられた第１の撮
像手段が記録した第１の画像データメモリからデータを
読み取る第１のリーダと、前記第１の撮像手段から既知
の距離だけ離間した位置に、前記第１の方向と略１８０
度異なる第２の方向に向けられて設けられた第２の撮像
手段が記録した第２の画像メモリからデータを読み取る
第２のリーダと、前記移動車の移動位置とこの移動車の
進行方向とを記録した第３のメモリからデータを読み取
る第３のリーダと、前記第３のリーダから読み取った進
行方向データが前記移動体が実質的に直進を示している
ときに、前記第１のリーダが読み取った画像データと、
前記第２のリーダが読み取った画像データの内、前記既
知の距離だけ後の位置における画像データとを互いに関
連付ける手段とを具備する。

【００１７】本発明の好適な一態様に拠れば、前記第２
の撮像手段は互いに異なる方向を有する２つのカメラを
含む場合には、前記関連づけ手段は、前記第３のリーダ
から読み取った進行方向データが時計回り或いは反時計
回りのターンを示しているときに、前記第１のリーダが
読み取った画像データと、反時計回り或いは時計回りの
位置にあるカメラについて、前記第２のリーダが読み取
った画像データの内、前記既知の距離だけ後の位置にお
ける画像データとを互いに関連付ける。

【００１８】上記課題を達成する本発明の、移動体に取
り付けられた少なくとも２つの撮像手段により撮影した
画像を記録する画像記録方法は、第１の撮像手段を前記
移動体の第１の方向に撮影方向を向けて設け、第２の撮
像手段を前記第１の撮像手段から既知の距離だけ離間し
た位置に、前記第１の方向と略１８０度異なる第２の方
向に撮影方向を向けて設け、前記移動車が前記第１の方
向に進行しているときに、前記第１の撮像手段が撮像し
た第１の画像データと、前記第２の撮像手段により前記
既知の距離に相当する時間だけ後の時点で撮像される第
２の画像データとを関連付けて記録することを特徴とす
る。

【００１９】本発明の好適な一態様に拠れば、前記第１
の撮像手段は複数のカメラを有し、これら複数のカメラ
の各々の撮像方向は、前記第１の方向を中心に線対称に
展開していることを特徴とする。本発明の好適な一態様
に拠れば、前記複数のカメラの撮像方向上の直線は、こ
のカメラの前方において交叉する。

【００２０】本発明の好適な一態様に拠れば、第３の撮
像手段を、この第１の撮像手段の近傍の位置に、前記第
１の方向と異なる第３の方向に撮影方向を向けて設け、
第４の撮像手段を、前記第１の方向に向いた直線に関し
て、前記第３の方向と線対称位置に設ける。本発明の好
適な一態様に拠れば、前記第２の撮像手段として、前記
第２の方向を中心にして線対称な２つ以上の方向に撮影
方向を向けて設けられた複数のカメラを設ける。

【００２１】上記課題を達成するために、本発明の、移
動体に取り付けられた少なくとも２つの撮像手段により
撮影した画像を記録する画像記録方法は、第１の撮像手
段を前記移動体の第１の方向に撮影方向を向けて設け、
複数のカメラを、前記第１の撮像手段から既知の距離だ
け離間した位置に、前記第１の方向と略１８０度異なる
第２の方向を中心にして線対称な複数の方向に撮影方向
を向けて設け、前記移動車のターンを検出し、前記移動
車が前記第１の方向から時計回りにターンしたか或いは
反時計回りにターンしたかに応じて、前記複数のカメラ
の内、より反時計回り或いは時計回りの方向に向いてい
るカメラを選択し、前記第１の撮像手段が撮像した第１
の画像データと、選択されたカメラにより前記既知の距
離に相当する時間だけ後の時点で撮像される第２の画像
データとを関連付けて記録することを特徴とする。

【００２２】本発明の好適な一態様に拠れば、前記複数
のカメラは２つであって、それらカメラの撮影方向は、
前記第２の方向の延長上で互いに交叉していることを特
徴とする。本発明の好適な一態様に拠れば、前記複数の
カメラは第１のカメラ乃至第３のカメラを有し、その内
の第１のカメラは前記第２の方向に一致した撮影方向を
有し、第２のカメラと第３のカメラとは前記第２の方向
を中心にしてそれぞれ時計回り或いは反時計回りの向き
に展開しており、前記選択手段は、移動体が、前記第１
の方向を向いて進行しているときは前記第１のカメラ
を、反時計回りにターンしたときは、第２のカメラを、
時計回りにターンしたときは、第３のカメラを、それぞ
れ選択することを特徴とする。

【００２３】

【発明の実施の形態】以下、本発明を適用した画像の収
集システムと、さらに、広域ウオークスルーを可能にす
るための画像データベースであって、この収集システム
で収集した画像からデータベースを構築するシステムを
説明する。〈画像収集システムの構成〉本画像収集システムは、車
両に搭載された複数のカメラにより周辺環境の撮影を行
う。また、車両には、車両位置を検知するGPSセンサ並
びに、車体の姿勢（即ち、カメラの姿勢）を検知する姿
勢センサ、方位を地磁気により検出する方位センサが搭
載されている。

【００２４】第３図にこの画像収集システムの構成を示
す。環境を撮影するためのカメラは７台（２０ａ，２０
ｂ，…２０ｇ）搭載されている。このカメラは例えばソ
ニー社製のビデオカメラDCR-VX1000を用いた。PC３０は
本画像収集システムの全体を制御するもので、マイクロ
プロセッサPentium Pro 200Hzを内蔵する。PC３０と夫
々のカメラ２０との間はビデオ／コンピュータインタフ
ェースユニット２１ａ…２１ｇ（ソニー社製Vbox II CI
-1100）により接続されている。

【００２５】PC３０とインタフェース２１ｇとの間は周
知のRS232Cインタフェースバスによって接続され、イン
タフェースユニット２１ａ，２１ｂ，…２１ｇはデイジ
ーチェーン方式（入力信号：VISCAIN、出力信号：VISCA
OUT）で接続されている。後述するように、PC３０は、
各インタフェースユニット２１ａ…２１ｇを介してタイ
ムコード問い合わせ信号を各々のカメラ２０ａ、…、２
０ｇに送る。各カメラ２０ａ、…、２０ｇは、信号ライ
ンVISCAOUT上にタイムコード情報を載せ、このタイムコ
ード情報はPC３０に伝わる。

【００２６】PC３０には、GPSセンサ４０と３軸の姿勢
センサ４１とが、夫々のRS232Cバスインタフェースを介
して接続され、また、地磁気方位センサ４２がアナログ
バスを介してPC３０に接続されている。センサ４２から
の方位信号はPC３０内のＡ／Ｄ変換器（不図示）によっ
てＡ／Ｄ変換される。本システムに用いられているGPS
センサ４０は、Trimble社製のキネマティック方式の４
４００を採用した。ネマティック方式のセンサは、５Hz
のサンプリングレートで±３cmの精度で位置測定を可能
にする。

【００２７】姿勢センサ４１には、ピッチ角とロール角
において±0.5度の精度、ヨー角において±0.9度の精度
を確保することのできるDATATECH社製のGU-3020を採用
した。また、地磁気方位センサ４２には精度±２度を確
保するTOKIN社製のTMC-2000を採用した。なお、GPSセン
サ４０からの信号に基づいて、位置情報を演算する作業
は高速性を要するために、PC３０に過度の負荷をかける
おそれがある。そこで、第３図のデータ収集システムの
変形として、GPSデータ演算専用のPCを付加しても良
い。

【００２８】第４図に、第３図のシステムで収集された
各種データの記録場所を示す。周知のように、キネマテ
ィック方式のGPSセンサは、精度の高い時刻データと位
置データとを出力する。第４図において、PC３０内のハ
ードウエアディスクHDには、カメラ２０からの「タイム
コード」と、センサ４０からの「時刻データ」並びに
「位置情報データ」と、姿勢センサ４１からの「姿勢情
報データ」と、方位センサ４２からの「方位情報」とが
記憶される。

【００２９】第４図において、各カメラ（２０ａ…２０
ｇ）からの実写画像は、各々のビデオテープ２２ａ，２
２ｂ，…，２２ｇに記録される。第５図に、カムコーダ
（２０ａ…２０ｇ）における記録の方式を示す。周知の
ように、カムコーダ２０は、タイムコードジェネレータ
２３と、信号ミキサ２４と、データ記録のためのビデオ
テープ２２とを内蔵する。タイムコードジェネレータ２
３は、画像のフレームをインデックスするためのタイム
コードを出力する。即ち、タイムコードは、テープ上に
記録された画像データのフレーム位置を特定する。

【００３０】第５図において、タイムコードジェネレー
タ２３からのタイムコードと、不図示のＣＣＤセンサか
らの画像データとは、ミキサ２４によって所定のフォー
マットに従ってテープ２２上に記録される。第６図に、
カメラ２０のテープ２２上に記録される上記２つのデー
タ（画像データとタイムコード）の記録される形式の一
例を示す。即ち、テープ上においては、各画像フレーム
には１つのタイムコードが割り当てられている。換言す
れば、あるテープ２２上の目的の画像データは、その画
像データに対応するタイムコードを指定すれば、そのテ
ープ２２上でサーチすることができる。

【００３１】第７図にハードウエアディスクHD内におけ
る前記各種情報の１レコードの記録フォーマットの一例
を示す。PC３０は、任意のカメラから任意の時点でタイ
ムコードを受けると、その時の「時刻データ」（センサ
４０から受信した）と、車両の「位置情報」（センサ４
０から受信した）と、姿勢センサ４１からの「姿勢情
報」と、方位センサ４２から「方位情報」とを組にし
て、タイムコード・センサ情報レコードファイル（第７
図の形式）としてディスクHD内に書き込む。即ち、１つ
のタイムコード・センサ情報レコードは、タイムコード
TCの値、そのときの時刻TIM、そのタイムコードを発生
したカメラの番号＃、そのタイムコードを受信した時点
の、車両位置データLOC、姿勢データPOS、方位データAZ
M等により構成される。

【００３２】第７図の「タイムコード・センサ情報レコ
ード」から明らかなように、ある時刻ｔ_xの値が与えら
れば、その時刻ｔ_xの値から、その時刻ｔ_xの値に近いTI
Mを有するレコードが知れ、そのレコードから、タイム
コードTC、車両位置LOC、姿勢POS、方位AZMを知ること
ができる。また、得られたタイムコードTCの値から、テ
ープ２２上をサーチして、目的の画像データを得ること
ができる。

【００３３】第３図のデータ収集システムの目的は、パ
ノラマ画像を生成するのに好都合な画像データベースを
生成するための、基になる画像データを生成することに
ある。ここで、センサデータや画像データの位置を表し
得る信号は、カメラではタイムコード、センサ信号では
センサ４０からの時刻データである。画像データベース
は、最終的には、画像データと、車両の位置情報や姿勢
データとが結びつけばよい。従って、データ収集システ
ムが記憶するファイル形式は、第６図，第７図以外で
も、データ量に即した形式とすることが可能である。

【００３４】後述のデータ画像の収集は第６図，第７図
のデータ収集方法を変えたものである。〈カメラの配置〉第８図に、本データ収集システムの７
台のカメラ（２０ａ〜２０ｇ）の車両上への配置を示
す。

【００３５】第８図において図面上方を車両の進行方向
とする。第８図，第９図が示すように、カメラ２０ｃ
（＃３カメラ）とカメラ２０ｄ（＃４カメラ）は車両進
行方向の環境の撮影を担当し、カメラ２０ａ（＃１カメ
ラ）とカメラ２０ｂ（＃２カメラ）は車両左側の環境の
撮影を担当し、カメラ２０ｅ（＃５カメラ）とカメラ２
０ｆ（＃６カメラ）は車両右側の環境の撮影を担当す
る。

【００３６】第８図において、＃７カメラ（２０ｇ）は
後方の環境を撮影する。カメラ２０ｇはその撮影中心が
他のカメラ（２０ａ乃至２０ｆ）の撮影中心（第８図の
点Ｔで示す）から距離ｒだけ離間している。カメラ２０
ｇを車両の後部に置くことにより、カメラ２０ｇが車体
を写し込んでしまうことを防止する。また、カメラ２０
ｇを後方に下げることにより、多くのカメラの配置の自
由度を確保する。即ち、中心位置Ｔに過度に多くのカメ
ラが集中するのを防止する。

【００３７】〈実写画像の収集〉次に、本データ収集シ
ステムによる画像データ収集のための処理の流れを説明
する。第１０図は、PC３０によって制御される実写画像
データ収集処理の全体的な手順を説明する。

【００３８】ステップＳ１００では全カメラのタイムコ
ード同士の対応付けを行う。ステップＳ２００ではタイ
ムコードTCとGPSセンサからの時刻データとの対応付け
を行う。ステップＳ３００では、タイムコードTCと、各
センサからの情報との対応付けを行う。ステップＳ３０
０の処理は、撮影が終了するまで繰り返される。

【００３９】第１１図は、ステップＳ１００における
「タイムコードの対応付け」処理の詳細な手順を示す。
即ち、ステップＳ１０２で、カメラの番号示すカウンタ
ｋの値を２にセットする。２にセットする理由は、本シ
ステムでは、＃１カメラ（カメラ２２ａ）を便宜上基準
としているからに過ぎない。そこで、ステップＳ１０４
では、＃１カメラからのタイムコードをロギングする。
ステップＳ１０６では、＃ｋカメラのタイムコードをロ
ギングする。ステップＳ１０８では、上記操作を所定回
数だけ繰り返したかを判断する。この操作により、＃１
カメラのタイムコードと、＃２カメラ乃至＃７カメラの
内の任意のカメラｋのタイムコードとの組み合わせでの
対応関係（タイムコードの値の相違）を示すデータが複
数得られた。この複数個のデータを平均化すれば、＃１
カメラと＃ｋカメラのタイムコード同士での対応付け、
即ち、値の相違が得られる。この対応付けを、＃２カメ
ラから＃７カメラの全てのカメラについて行う。

【００４０】第１２図は、第９図のステップＳ２００に
おけるタイムコードTCと時刻データTIMとの対応付けを
得るための処理手順の詳細である。即ち、ステップＳ２
０２で、GPSセンサからの時刻データTIMを得る。ステッ
プＳ２０４では、時刻データTIM における＃１カメラの
タイムコードTCの値をロギングする。上記操作を何回か
繰り返して、その平均値より、＃１カメラにおけるタイ
ムコードが示す値と絶対時刻（GPSセンサからの時刻TI
M）との差異を知ることができる。

【００４１】即ち、第１１図と第１２図のフローチャー
トによって得られた関係により、あるカメラｋのタイム
コードがTC_kであるときに、＃１カメラのタイムコード
はいくつであり、時間間隔でどの程度ずれているかを予
め把握しておくことができる。第１３図はステップＳ３
００の詳細を説明する。即ち、ステップＳ３０２では、
基準である＃１カメラからのタイムコードを受信する。
ステップＳ３０４では、姿勢センサからの姿勢データ
（ピッチ角、ロール角、ヨー角）を記憶する。ステップ
Ｓ３０６では、方位センサのデータを取得する。ステッ
プＳ３０８では、得たタイムコードやセンサなどに基づ
いて、ハードウエアディスクHD内のタイムコード・セン
サ情報ファイルに１レコード分だけ記録する。

【００４２】〈カメラ配置の自由度の確保〉第８図にお
いて、＃７カメラ（２０ｇ）は後方の環境を撮影する。
カメラ２０ｇはその撮影中心が他のカメラ（２０ａ乃至
２０ｆ）の撮影中心（第８図の点Ｔで示す）から距離ｒ
だけ離間している。カメラ２０ｇを車両の後部に置くこ
とにより、カメラ２０ｇが車体を写し込んでしまうこと
を防止する。また、カメラ２０ｇを後方に下げることに
より、多くのカメラの配置の自由度を確保する。即ち、
中心位置Ｔに過度に多くのカメラが集中するのを防止す
る。

【００４３】従来技術の項で述べたように、不連続の２
つ点で撮影した実写画像から、１つの補間画像を生成す
るには、これらの撮影位置は過度に離間すると、補間画
像と実写画像との間にスムーズさが無くなってしまう。
そこで、本システムでは、第１４図に示すように、＃７
カメラ（２０ｇ）から、時間幅ｒ／ｖ（ここでｖは車両の進行速度）だけ未来の画像データ、即ち、＃７カメラがｒ／ｖ時間
後に位置Ｔにまで進んだときに撮影した実写画像データ
を、＃１乃至＃６カメラがｒ／ｖ時間だけ過去の位置
（即ち、第１４図に示された位置）で実写した画像デー
タと共に用いることとする。

【００４４】即ち、広域ウオークスルーシステムを実現
するために、実写画像から補間画像を生成するための基
となる画像データベースは、＃１カメラ乃至＃７カメラ
の実写画像を互いに関係づけてデータベースとしなけれ
ばならないが、第１５図に示すように、＃１カメラ乃至
＃６カメラの画像は実際に同じ時刻（時刻ｔ₁とする）
に撮影された画像同士（即ち、同じ「時刻データ」を有
する画像同士）をデータベースの１レコードとして統合
し、＃７カメラ（２０ｇ）からの画像データについて
は、時刻ｔ₁＋（ｒ／ｖ）の画像データを同レコードに統合する。

【００４５】第１５図の処理を、第３図のデータ収集シ
ステムで行う場合には、第１１図の制御手順によって得
られた所の、＃１カメラのタイムコードと＃７カメラか
らのタイムコードとの対応関係に対して、更に、時間幅ｒ／ｖに相当するフレーム数だけ減算することにより、上記対応関係を修正する。即
ち、＃１カメラ乃至＃６カメラのタイムコードにたいし
て、＃７カメラのタイムコードは、常に、上記時間幅ｒ
／ｖに相当するフレーム数だけ未来の画像データを示す
ことになる。

【００４６】〈データベース生成システム〉第１６図
は、第３図のデータ収集システムにより得られたビデオ
テープファイルと、磁気ディスクファイル（PC３０内の
HD）とから、広域ウオークスルー画像呈示のための画像
補間を行うのに適したデータベースを生成するデータベ
ース生成システムの構成を示す。

【００４７】第３図のシステムは、第６図と第７図に示
された２つのファイルを生成する。２つのファイルは、
タイムコードによって、任意のフレームの画像データ
を、その画像データを撮影したときのカメラの位置、カ
メラの姿勢、カメラの方位とをリンクさせることは可能
である。データベース生成システムの必要性は、テープ
上の画像データを高速のファイルに移し代える所にあ
る。

【００４８】また、第３図システムは、処理すべきデー
タ量が多いために、第６図のタイムコード・センサ情報
ファイルを生成することが困難な場合がある。換言すれ
ば、第３図のシステムは、第１７図に示すように、タイ
ムコードデータTCと時刻データTIMと姿勢データPOSとが
１つのファイル（第１ロギングファイルと呼ぶ）に、位
置データLOCと時刻データTIMとが別の１つのファイル
（以下、第２ロギングファイルと呼ぶ）に記憶するよう
にしている。また、画像データは、第３ロギングファイ
ルとして、実写画像とタイムコードとが組になってテー
プ中に記録されている。なお、第１ロギングファイルと
第２ロギングファイルとは、GPSセンサ４０の出力が発
生する毎にレコードが生成されているので、データ量は
多く、従って、画像補間を行う際の精度が確保される。

【００４９】以下に説明するデータベース生成システム
は、第３図のデータ収集システムが生成した第１７図の
２つのロギングファイルをデータベースに変換するもの
である。第１６図において、データベースの生成は、画
像処理装置計算機５０によって行われる。上記ビデオテ
ープファイルはビデオデッキ６０ａ〜６０ｇにセットさ
れて読み取られる。また、PC３０は計算機５０に接続さ
れる。

【００５０】第１８図は計算機５０による処理の流れを
全体的に示す。ステップＳ５００は、PC３０から第１ロ
ギングファイルを計算機５０に転送する。ステップＳ６
００では、第２ロギングファイルを計算機５０に転送す
る。ステップＳ７００では、ビデオデッキ６０から第３
ロギングファイルを計算機５０に転送する。

【００５１】ステップＳ８００では、第１ロギングファ
イルと第２ロギングファイルとを、時刻データTIMをキ
ーにして対応づける。その詳細を第１９図に示す。この
処理の結果は、計算機５０内のハードウエアディスク
（不図示）に記憶される。ステップＳ９００では、第１
ロギングファイルと第３ロギングファイルとを、タイム
コードTCをキーにして対応づける。その詳細を第２０図
に示す。この処理の結果も、計算機５０内のハードウエ
アディスク（不図示）に記憶される。

【００５２】なお、第８図に関連して説明したように、
＃７カメラからの画像について、時間幅ｒ／ｖに相当す
る未来のフレームをデータベースの対象とする処理につ
いては、＃７カメラについての、第１ロギングファイル
と第２ロギングファイルの対応付け処理（ステップＳ８
０６）、並びに、第１ロギングファイルと第３ロギング
ファイルの対応付け処理（ステップＳ９０６）につい
て、上記ｒ／ｖに対応した時間操作に基づいたサーチを
行えばよい。

【００５３】具体的には、ステップＳ８０６、ステップ
Ｓ９０６の処理を、第２１図に示した制御手順に変形し
て、パノラマ画像合成用の画像データベースを作成す
る。即ち、第２１図のステップＳ１０００で第１ロギン
グファイルの１レコードを読み出して、ステップＳ１０
０２で当該レコード中の時刻データTIMを知る。次に、
＃１カメラ乃至＃６カメラの画像データについては、ス
テップＳ１００４で、＃１カメラ乃至＃６カメラそれぞ
れの第２ロギングファイル中をサーチして、上記TIMと
同じ値を有するTIMを有するレコードを探す。ステップ
Ｓ１００６で、ステップＳ１０００で見つかった第１ロ
ギングファイルのレコードとステップＳ１００４で見つ
かった第２ロギングファイルのレコードとを統合（実質
的に、情報TIMとLOCとが統合される）する。

【００５４】一方、＃７カメラについては、ステップＳ
１０１０で、ステップＳ１００２で得た時刻TIM から、

【００５５】

【数１】

【００５６】を計算し、上記数１式の時刻TIMと同じ値
を有するTIMを有するレコードを＃７カメラの第２ロギ
ングファイル中に探す。尚、上記式中のｆは、時間幅ｒ
／ｖを、本データ収集系において必要とされる時間幅に
変換する関数を示す。ステップＳ１０１２で、ステップ
Ｓ１０００で見つかった第１ロギングファイルのレコー
ドとステップＳ１０１０で見つかった第２ロギングファ
イルのレコードとを統合する。

【００５７】ステップＳ１０２０では、第１ロギングフ
ァイルの全てのレコードについて上記処理を行ったかを
判断し、終了したのであれば、ステップＳ１０２２に進
んで、第１ロギングファイルと第２ロギングファイルと
を統合したレコードをデータベースファイルに書き込
む。かくして、計算機５０内に、広域ウオークスルーを
行うための画像補間が容易なデータベースシステムが生
成された。

【００５８】〈パノラマ画像の生成〉第２２図は、第８
図に示された６つのカメラ（２０ａ〜２０ｆ）において
視野範囲をオーバラップさせる角度を説明する原理図で
ある。一般に、距離２ｄだけ離間して配置された２つの
カメラ（視野角度は同じ）から得られた画像の補間にお
いて、今、距離Ｌ₀にある対象Ｐがスムーズに繋がるよ
うに画像を合成（パノラマ画像の生成）する場合を考え
る。カメラの前方で点Ｐを頂点とする三角形の領域は死
角となる。また、点Ｐ’は両カメラによって二重に撮像
される領域内の点を示す。点Ｐ’はカメラの前方の距離
Ｌ（Ｌ≧Ｌ₀）だけ離れているとすると、点Ｐ’は、Ｐ
よりも

【００５９】

【数２】

【００６０】だけ角画像の中央側に映じることになる。
よって２枚の画像をつなげると、対象Ｐは二重に表示さ
れ、二重の像の映る位置間の差は、

【００６１】

【数３】

【００６２】となる。１組のカメラ（２０ａと２０ｂ、
または２０ｃと２０ｄ、または２０ｅと２０ｆ）は上記
差を考慮してオーバラップ角度を設定する。撮影中心が
互いに最も離れている＃２カメラと＃３カメラ、或いは
＃４カメラと＃５カメラとについて計算すると、３ｍ先
の対象について画像の継ぎ目を最適化すると、１０ｍ先
の対象が6.5度（距離に換算して1.1ｍ）、無限遠方の対
象が9.3度の角度差で二重に映ることを意味する。

【００６３】＃１カメラ乃至＃６カメラについては、撮
影中心が近接しているために、上記式を考慮した二重写
りを考慮して画像補間を行う。また、＃７カメラ（２０
ｇ）からの画像データについては、データベース上にお
いて、時刻ｔ₁＋（ｒ／ｖ）の画像データが時刻ｔ₁の画像データとして記録されて
いるので、データベース中の＃７カメラ（２０ｇ）につ
いての画像データを使用して画像補間する。

【００６４】一枚のパノラマ画像を合成するには、仮想
投影面を平面から円筒面に変換する必要がある。第２３
図に示すように、絶対方位θ₀の方向を向いた水平画角
２・θωのカメラによって撮影された画像（縦：２Ｚ，
横：２Ｘ）を考える。この画像内で画像の中央から縦
ｚ、横ｘの位置にある画像を、円筒投影面上へ投射した
場合の平面への投射位置（θ，ｚ）は、

【００６５】

【数４】

【００６６】となる。実際には、先ずカメラの球面収差
補正を行い、上記の変換を施して円筒面に投影した画像
を得て、これを横一列に並べることによって一枚のパノ
ラマ画像を得ている。また、画像同士の重なり部分には
ブレンディング処理を行い、連続的な変化を持たせてい
る。

【００６７】７台のカメラで大量に作られた画像データ
ベースを以上のようにパノラマ画像にまとめていくこと
で、新たにパノラマ画像のデータベースができあがる。
これが本ウオークスルーシステムで用いるソース画像と
なる。〈データ収集の変形例〉…第１変形例第１０図，第１１図に示したデータ収集は、姿勢センサ
からの出力が不定期である場合に有効であった。

【００６８】これから説明する変形例は、姿勢センサか
らの出力が一定の周期でなされ、且つ、そのデータの取
りこぼしがない場合に有効なものである。即ち、第１０
図の制御手順は第２４図の制御手順に変わる。ステップ
Ｓ１１００の制御はステップＳ１００のそれに等価であ
る。また、ステップＳ１２００の制御はステップＳ２０
０の制御に等価である。

【００６９】ステップＳ１３００では、タイムコードTC
と姿勢センサの出力POSとの対応付けを行う。具体的に
は、第２５図のステップＳ１３０２において、姿勢セン
サの出力データをロギングし、ステップＳ１３０４で＃
１カメラのタイムコードをロギングし、これらをペアに
してディスクに書き込む。第２４図のステップＳ１４０
０では、姿勢センサの出力データPOSと方位センサの出
力AZMとの対応付けを行う。具体的には、第２６図のス
テップＳ１４０２で姿勢センサの出力をロギングし、ス
テップＳ１４０４で方位センサの出力をロギングする。
こうして、姿勢センサ出力と方位センサ出力とは組とな
ってロギングされる。

【００７０】第２４図の手法では、ステップＳ１５００
とステップＳ１４００との間のループでは、タイムコー
ドを考慮する必要が無くなり、データ収集が高速にな
る。〈カメラ配置の変形例〉…第２変形例第８図に示したカメラの配置では、後方の背景を撮影す
るカメラ２０ｇは１つのみが設置されていた。一個のカ
メラで後方視界をカバーするためには、カメラ２０ｇの
視野角は広く設定する必要があるが、視野を広く設定す
ると、周囲の解像度が劣化して、画像補間の際のつなが
りが不連続になる可能性がある。また、第８図のカメラ
配置は直進時には問題はないが、右左折時には問題が発
生する。

【００７１】第２７図に示した変形例は、後方に＃８カ
メラを１つ増やしたものである。後方カメラを２つとし
たことで、１つのカメラ（＃７又は＃８）の視野は狭く
とも良くなる。また、死角となる領域を狭くするため
に、第２７図に示すように、＃７カメラと＃８カメラの
光軸を交叉させる。第２７図のカメラ配置の車両に画像
収集システムを搭載した場合において、この車両が直進
した場合には、ｒ／ｖ時間後には、＃７カメラと＃８カ
メラとは夫々第２８図の７と８の位置に移動する。即
ち、車両が前進を継続する場合には、ｒ／ｖ時間に相当
するフレーム数前の＃７カメラ７，＃８カメラ双方の画
像データを用いる。

【００７２】＃７カメラと＃８カメラとを交叉させる利
点の１つは、右折時或いは左折時に現れる。即ち、左折
の場合は、車体は反時計まわりに回転するので、後方の
＃８カメラは第２９図のような配置位置（８位置）に到
達する。即ち、８位置にある＃８カメラの画像データ
と、左折前の位置にあるときの＃１カメラ乃至＃６カメ
ラの画像データとを組み合わせることとする。このよう
にすると、＃１カメラ乃至＃６カメラは車体が左折前の
方向（直進方向）を向いたときの画像データが、＃８カ
メラが直進方向に向いたときの画像データと統合される
こととなって、第８図の配置の問題は解消される。

【００７３】なお、左折及び右折の検出は、例えばせ姿
勢センサ４１の出力から知ることができる。即ち、計算
機５０は、姿勢センサ４１の出力が記憶されているファ
イルを読み取り、そのときのターン方向が例えば右折
（或いは左折）を示しているときは、＃７カメラ（或い
は＃８カメラ）からの画像データを選択するようにす
る。一般的に言えば、車体が時計回り（反時計回り）に
ターンすれば、中心線よりも反時計回り（時計回り）に
ずれて設けられたカメラの出力を採用する。

【００７４】第３０図は、右折の場合には、＃７カメラ
の画像データが用いられることを示す。尚、第２変形例
の制御手順は、後述の第３変形例の制御手順から自ずと
明らかになる。〈カメラ配置の変形例〉…第３変形例第３変形例（第３１図〜第３４図）は、第２変形例に対
して、更に、車両の直後方を向く＃８カメラを付加した
ものである。

【００７５】この配置によれば、直進時には、第３２図
に示すように、中央の＃８カメラの画像データを用い、
左折時には第３３図に示すように、後方右側に配置され
た＃９カメラの画像データを用い、右折時には第３４図
に示すように、後方左側に配置された＃７カメラの画像
データを用いる。第３変形例は、第２変形例よりもさら
に画像のつながりがスムーズになるという効果がある。

【００７６】第３５図に第３変形例のデータベース生成
の手順を示す。この制御手順は、車両の進行方向（姿勢
データPOS或いはセンサ４２からの方位データから判断
できる）に基づいて後方視界を撮影するカメラの内のど
の画像データを使用するかという点で、第２変形例と実
質的に同じである。第２１図のそれと異なるところは、
ステップＳ２０１０で姿勢データPOS（或いは、センサ
４２から方位データ）に基づいて右折か直進か左折かを
判断し、右折の場合は、＃７カメラ（第３３図）の画像
データを採用し、直進の場合は＃８カメラ（第３１図）
の画像データを採用し、左折の場合は、＃９カメラ（第
３２図）の画像データを採用するというものである。

【００７７】〈撮影とデータベース構築の同時化〉…第
４変形例上記実施形態では、画像データベースを、前もってテー
プに撮影した画像データを元に、撮影後に構築した。し
かしながら、撮影しながらデータベースを構築すること
も可能である。この場合、大容量かつ高速のファイル装
置が必要となる。

【００７８】尚、第１４図或いは第２７図または至第３
１図などに示した上記実施形態に対してデータベースの
リアルタイムを構築を行う場合には、後部位置に配置さ
れたカメラ（第１４図の例ではカメラ＃７、第２７図の
例ではカメラ＃７及び＃８，第３１図の例では＃７乃至
＃９のカメラ）が撮影した画像データを、前述の時間ｆ
（ｒ／ｖ）だけ遅延させるバッファが必要となる。

【００７９】〈その他の変形例〉上記実施形態では、第
１ロギングファイル及び第２ロギングファイルに記憶す
るデータの組み合わせは、例えば第１７図に示すよう
に、前者に、TC、TIM、POSを記録し、後者にLOC、TIMを
記録した。しかしながら、記録の組み合わせは第１７図
の組み合わせに限定されない。

【００８０】即ち、画像データが大容量であることに鑑
みれば、画像データは磁気テープなどの大容量メモリに
単独で記録することが好ましい。しかしながら、 TC、T
IM、POS、LOCについては、１つの高速ファイルに記録し
てもよい。

【００８１】

【発明の効果】以上説明したように本発明に因れば、離
間して配置した複数のカメラからの実写画像を、恰も離
間させないで配置したカメラからの画像のように処理す
る画像データベースが構築される。これにより、カメラ
配置の自由度を確保する。また、実写画像を得るための
カメラを搭載する車両は概ね直進するものであるから、
車両の左右方向のカメラを近接させながら、直進方向を
撮影するカメラとその反対方向を撮影するカメラとを離
間させることにより、カメラ配置の自由度を確保した画
像の記録装置を提供できた。

【図面の簡単な説明】

【図１】本発明が適用され得る広域ウオークスルー方
式の概略を説明する図。

【図２】従来のカメラ配置装置に設けられたカメラ搭
載装置の概略の構成を示す側面図。

【図３】本発明を適用した実施例にかかるデータ収集
システムの構成を示すブロック図。

【図４】第３図のシステムにおいて、各種データが最
終的にどこに記録されるかを示す図。

【図５】第３図のビデオカメラ２０におけるタイムコ
ードの生成を示すブロック図。

【図６】ビデオカメラ２０のビデオテープ２２上に記
録されるデータのフォーマットを説明する図。

【図７】 PC３０のハードウエアディスクHD内に記録さ
れるデータのフォーマットを説明する図。

【図８】本実施形態のカメラ配置の特徴を説明する
図。

【図９】第８図のカメラ配置において、＃１カメラ乃
至＃６カメラの撮影方位を説明する図。

【図１０】第３図のデータ収集システムの処理の全体
を示すフローチャート。

【図１１】第１０図のフローチャートの一部を詳細に
説明するフローチャート。

【図１２】第１０図のフローチャートの一部を詳細に
説明するフローチャート。

【図１３】第１０図のフローチャートの一部を詳細に
説明するフローチャート。

【図１４】第８図のカメラ配置の利点を説明する図。

【図１５】画像データベースの１レコードに統合する
画像データの時刻を説明する図。

【図１６】実施形態のデータベース生成システムの構
成を示すブロック図。

【図１７】第６図，第７図の形式以外のファイルの構
成を示す図。

【図１８】実施形態のデータベース生成のための制御
の基本原理を説明するフローチャート。

【図１９】第１８図のフローチャートの一部を詳細に
説明するフローチャート。

【図２０】第１８図のフローチャートの一部を詳細に
説明するフローチャート。

【図２１】第１４図のカメラ配置において、＃７カメ
ラの画像データを７’一にあるカメラからの画像データ
に変換する制御手順を示すフローチャート。

【図２２】本実施形態においてパノラマ画像精製時に
おいて、死角領域及び２重域領域をの発生を説明する
図。

【図２３】パノラマ画像生成のための円筒への射影原
理を説明する図。

【図２４】第１０図の制御手順の変形例にかかる制御
手順のフローチャート。

【図２５】第２４図のフローチャートの一部を詳細に
説明したフローチャート。

【図２６】第２４図のフローチャートの一部を詳細に
説明したフローチャート。

【図２７】他の方式によるカメラ配置を説明する図。

【図２８】第２７図の方式によるカメラ配置において
車両が直進動作を行ったときの画像データの収集を説明
する図。

【図２９】第２７図の方式によるカメラ配置において
車両が左折動作を行ったときの画像データの収集を説明
する図。

【図３０】第２７図の方式によるカメラ配置において
車両が右折動作を行ったときの画像データの収集を説明
する図。

【図３１】さらに他の方式によるカメラ配置を説明す
る図。

【図３２】第３１図の方式によるカメラ配置において
車両が直進動作を行ったときの画像データの収集を説明
する図。

【図３３】第３１図の方式によるカメラ配置において
車両が左折動作を行ったときの画像データの収集を説明
する図。

【図３４】第３１図の方式によるカメラ配置において
車両が右折動作を行ったときの画像データの収集を説明
する図。

【図３５】第３変形例に関わる画像データベースの作
成手順を示すフローチャート。

Claims

【特許請求の範囲】

【請求項１】移動体に取り付けられた少なくとも２つ
の撮像手段により撮影した画像を記録する画像記録装置
であって、前記移動体の第１の方向に撮影方向を向けて設けられた
第１の撮像手段と、前記第１の撮像手段から既知の距離だけ離間した位置
に、前記第１の方向と略１８０度異なる第２の方向に撮
影方向を向けて設けられた第２の撮像手段と、前記移動車が前記第１の方向に進行しているときに、前
記第１の撮像手段が撮像した第１の画像データと、前記
第２の撮像手段により前記既知の距離に相当する時間だ
け後の時点で撮像される第２の画像データとを関連付け
て記録する記録手段とを具備したことを特徴とする画像
記録装置。
【請求項２】前記第１の撮像手段は複数のカメラを有
し、これら複数のカメラの各々の撮像方向は、前記第１
の方向を中心に線対称に展開していることを特徴とする
請求項１に記載の画像記録装置。
【請求項３】前記複数のカメラの撮像方向上の直線
は、このカメラの前方において交叉することを特徴とす
る請求項２に記載の画像記録装置。
【請求項４】この第１の撮像手段の近傍の位置に、前
記第１の方向と異なる第３の方向に撮影方向を向けられ
て設けられた第３の撮像手段と、前記第１の方向に向いた直線に関して、前記第３の方向
と線対称位置に設けられた前記第４の撮像手段と、を具備することを特徴とする請求項１に記載の画像記録
装置。
【請求項５】前記第２の撮像手段は、前記第２の方向
を中心にして線対称な２つ以上の方向に撮影方向を向け
て設けられた複数のカメラを有することを特徴とする請
求項１に記載の画像記録装置。
【請求項６】移動体に取り付けられた少なくとも２つ
の撮像手段により撮影した画像を記録する画像記録装置
であって、前記移動体の第１の方向に撮影方向を向けて設けられた
第１の撮像手段と、前記第１の撮像手段から既知の距離だけ離間した位置
に、前記第１の方向と略１８０度異なる第２の方向を中
心にして線対称な複数の方向に撮影方向を向けて設けら
れた複数のカメラと、前記移動車のターンを検出する手段と、前記移動車が前記第１の方向から時計回りにターンした
か或いは反時計回りにターンしたかに応じて、前記複数
のカメラの内、より反時計回り或いは時計回りの方向に
向いているカメラを選択する選択手段と、前記第１の撮像手段が撮像した第１の画像データと、前
記選択手段により選択されたカメラにより前記既知の距
離に相当する時間だけ後の時点で撮像される第２の画像
データとを関連付けて記録する記録手段とを具備したこ
とを特徴とする画像記録装置。
【請求項７】前記複数のカメラは２つであって、それ
らカメラの撮影方向は、前記第２の方向の延長上で互い
に交叉していることを特徴とする請求項６に記載の画像
記録装置。
【請求項８】前記複数のカメラは第１のカメラ乃至第
３のカメラを有し、その内の第１のカメラは前記第２の
方向に一致した撮影方向を有し、第２のカメラと第３の
カメラとは前記第２の方向を中心にしてそれぞれ時計回
り或いは反時計回りの向きに展開しており、前記選択手段は、移動体が、前記第１の方向を向いて進行しているときは前記第１の
カメラを、反時計回りにターンしたときは、第２のカメラを、時計回りにターンしたときは、第３のカメラを、それぞ
れ選択することを特徴とする請求項６に記載の画像記録
装置。
【請求項９】この第１の撮像手段の近傍の位置に、前
記第１の方向と異なる第３の方向に撮影方向を向けられ
て設けられた第３の撮像手段と、前記第１の方向に向いた直線に関して、前記第３の方向
と線対称位置に設けられた前記第４の撮像手段と、を具備することを特徴とする請求項６に記載の画像記録
装置。
【請求項１０】移動体に取り付けられた複数の撮像手
段によりそれぞれ撮影した画像シーケンスから三次元画
像空間を構築するためのデータベースを、画像データ取
得後に生成する画像データベース装置であって、第１の方向に向けられた第１の撮像手段が記録した第１
の画像データメモリからデータを読み取る第１のリーダ
と、前記第１の撮像手段から既知の距離だけ離間した位置
に、前記第１の方向と略１８０度異なる第２の方向に向
けられて設けられた第２の撮像手段が記録した第２の画
像メモリからデータを読み取る第２のリーダと、前記移動車の移動位置とこの移動車の進行方向とを記録
した第３のメモリからデータを読み取る第３のリーダ
と、前記第３のリーダから読み取った進行方向データが前記
移動体が実質的に直進を示しているときに、前記第１の
リーダが読み取った画像データと、前記第２のリーダが
読み取った画像データの内、前記既知の距離だけ後の位
置における画像データとを互いに関連付ける手段と、を具備する画像データベース装置。
【請求項１１】前記第２の撮像手段は互いに異なる方
向を有する２つのカメラを含む場合には、前記関連づけ手段は、前記第３のリーダから読み取った
進行方向データが時計回り或いは反時計回りのターンを
示しているときに、前記第１のリーダが読み取った画像
データと、反時計回り或いは時計回りの位置にあるカメ
ラについて、前記第２のリーダが読み取った画像データ
の内、前記既知の距離だけ後の位置における画像データ
とを互いに関連付けることを特徴とする請求項１０に記
載の画像データベース装置。
【請求項１２】移動体に取り付けられた少なくとも２
つの撮像手段により撮影した画像を記録する画像記録方
法であって、第１の撮像手段を前記移動体の第１の方向に撮影方向を
向けて設け、第２の撮像手段を前記第１の撮像手段から既知の距離だ
け離間した位置に、前記第１の方向と略１８０度異なる
第２の方向に撮影方向を向けて設け、前記移動車が前記第１の方向に進行しているときに、前
記第１の撮像手段が撮像した第１の画像データと、前記
第２の撮像手段により前記既知の距離に相当する時間だ
け後の時点で撮像される第２の画像データとを関連付け
て記録することを特徴とする画像記録方法。
【請求項１３】前記第１の撮像手段は複数のカメラを
有し、これら複数のカメラの各々の撮像方向は、前記第
１の方向を中心に線対称に展開していることを特徴とす
る請求項１２に記載の画像記録方法。
【請求項１４】前記複数のカメラの撮像方向上の直線
は、このカメラの前方において交叉することを特徴とす
る請求項１３に記載の画像記録方法。
【請求項１５】第３の撮像手段を、この第１の撮像手
段の近傍の位置に、前記第１の方向と異なる第３の方向
に撮影方向を向けて設け、第４の撮像手段を、前記第１の方向に向いた直線に関し
て、前記第３の方向と線対称位置に設けることを特徴と
する請求項１２に記載の画像記録方法。
【請求項１６】前記第２の撮像手段として、前記第２
の方向を中心にして線対称な２つ以上の方向に撮影方向
を向けて設けられた複数のカメラを設けることを特徴と
する請求項１２に記載の画像記録方法。
【請求項１７】移動体に取り付けられた少なくとも２
つの撮像手段により撮影した画像を記録する画像記録方
法であって、第１の撮像手段を前記移動体の第１の方向に撮影方向を
向けて設け、複数のカメラを、前記第１の撮像手段から既知の距離だ
け離間した位置に、前記第１の方向と略１８０度異なる
第２の方向を中心にして線対称な複数の方向に撮影方向
を向けて設け、前記移動車のターンを検出し、前記移動車が前記第１の方向から時計回りにターンした
か或いは反時計回りにターンしたかに応じて、前記複数
のカメラの内、より反時計回り或いは時計回りの方向に
向いているカメラを選択し、前記第１の撮像手段が撮像した第１の画像データと、選
択されたカメラにより前記既知の距離に相当する時間だ
け後の時点で撮像される第２の画像データとを関連付け
て記録することを特徴とする画像記録方法。
【請求項１８】前記複数のカメラは２つであって、そ
れらカメラの撮影方向は、前記第２の方向の延長上で互
いに交叉していることを特徴とする請求項１７に記載の
画像記録方法。
【請求項１９】前記複数のカメラは第１のカメラ乃至
第３のカメラを有し、その内の第１のカメラは前記第２
の方向に一致した撮影方向を有し、第２のカメラと第３
のカメラとは前記第２の方向を中心にしてそれぞれ時計
回り或いは反時計回りの向きに展開しており、前記選択手段は、移動体が、前記第１の方向を向いて進行しているときは前記第１の
カメラを、反時計回りにターンしたときは、第２のカメラを、時計回りにターンしたときは、第３のカメラを、それぞ
れ選択することを特徴とする請求項１７に記載の画像記
録方法。
【請求項２０】移動体の第１の方向に撮影方向を向け
て設けられた第１の撮像手段と、前記第１の撮像手段か
ら既知の距離だけ離間した位置に、前記第１の方向と略
１８０度異なる第２の方向に撮影方向を向けて設けられ
た第２の撮像手段とにより画像を撮影し記録する制御を
コンピュータに実行させるコンピュータプログラムの記
憶媒体であって、前記移動車が前記第１の方向に進行しているときに、前
記第１の撮像手段が撮像した第１の画像データと、前記
第２の撮像手段により前記既知の距離に相当する時間だ
け後の時点で撮像される第２の画像データとを関連付け
て記録する第１のプログラムコード手段を記憶したコン
ピュータプログラムの記憶媒体。
【請求項２１】移動体の第１の方向に撮影方向を向け
て設けられた第１の撮像手段と、前記第１の撮像手段か
ら既知の距離だけ離間した位置に、前記第１の方向と略
１８０度異なる第２の方向を中心にして線対称な複数の
方向に撮影方向を向けて設けられた複数のカメラを、画
像記憶のために制御することをコンピュータに実行させ
るコンピュータプログラムの記憶媒体であって、前記移動車のターンを検出する第１のプログラムコード
手段と、前記移動車が前記第１の方向から時計回りにターンした
か或いは反時計回りにターンしたかに応じて、前記複数
のカメラの内、より反時計回り或いは時計回りの方向に
向いているカメラを選択する第２のプログラムコード手
段と、前記第１の撮像手段が撮像した第１の画像データと、選
択されたカメラにより前記既知の距離に相当する時間だ
け後の時点で撮像される第２の画像データとを関連付け
て記録する第３のプログラムコード手段とを記憶したコ
ンピュータプログラムの記憶媒体。