JP3571893B2

JP3571893B2 - 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法

Info

Publication number: JP3571893B2
Application number: JP33328797A
Authority: JP
Inventors: 隆明遠藤; 昭宏片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-03
Filing date: 1997-12-03
Publication date: 2004-09-29
Anticipated expiration: 2017-12-03
Also published as: DE69817305D1; US6950120B1; ATE247816T1; EP0921375A1; EP0921375B1; JPH11168756A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体に離間して配置した複数のカメラからの実写画像を恰も離間させないで配置したカメラからの画像のように処理する画像記録装置及び画像記録方法に関する。また、本発明は、移動体に離間して配置した複数のカメラからの実写画像から画像データベースを生成する装置及び方法に関する。
【０００２】
【従来の技術】
近年、コンピュータネットワークが形成する電脳空間（ｃｙｂｅｒｓｐａｃｅｓ）内に、人が集い社会的営みを行う都市環境を構築する試みが行われている。通常、この種の仮想空間の記述と表示には、従来からのＣＧ技術が用いられている。しかし、幾何モデルを基にしたＣＧ表現には限界があるため、最近、実写画像に基づくＩｍａｇｅＢａｓｅｄＲｅｎｄｅｒｉｎｇ（ＩＢＲ）が注目を集めている。
【０００３】
所で、実写で得た画像データをそのまま再生するのでは、撮影者の追体験をするに過ぎない。そこで、画像データベースを基に、ＩＢＲ技術を用いて任意の景観を画像データとしてリアルタイムで生成して呈示する。即ち、撮影された映像を一枚一枚独立した画像として扱い、それを体験者の求めに応じて並び換えれば、遠隔地に於いて、体験者の求める独自の移動経路上をウオークスルーすることができ、そこに３次元の仮想空間を感じることができる。
【０００４】
体験者の求めに応じて画像を検索再構成するには、それぞれの画像が撮影された地点の位置情報を用いるのが有効である。これらは、体験者の求めに最も近い画像をデータベースから選択し、適切な画像補間処理を行うことによって最適な画像を表示するというものである。
第１図は、実写画像を用いた広域ウオークスルーの原理を示す。
【０００５】
即ち、狭領域１，２，３，４については実写画像が用意されている。これらの狭領域を亙って歩いて行く広域ウオークスルー（経路１０又は経路１１に沿って）を実現する場合には、狭領域間の空間の画像を補間する必要がある。狭領域２と３の間を補間するには、空間２と３の間の体験者の存在位置についての情報から、領域２と領域３の実写画像を検索する必要がある。即ち、ユーザの位置情報に基づいて必要な画像を検索するには、実写画像は、撮影時の位置データに従ってデータベース化されている必要がある。
【０００６】
また、補間を精度良く行い、補間された画像と実写画像とが滑らかに繋がるためには、体験者は自分のまわりの３６０度の範囲でウオークスルー可能性があることに鑑みれば、数多くのカメラを様々な角度に向けて配置し、これらのカメラで同時に環境の画像を取り込み、これらの実写画像から画像データベースを構築する必要がある。
【０００７】
しかしながら、多数のカメラの個々の撮影中心を一点にして配置することはなかなか困難である。
この点で、従来では、第２図に示すように、複数のミラーを点対称に配置し、周囲からの光が上方に向かうように、個々のミラーの鏡面を配置することにより、個々のカメラの撮影中心を一点に集中させるようにしていた。
【０００８】
【発明が解決しようとする課題】
しかしながら、第２図のようにミラーを配置することは、そのミラーに撮影者（車）が画面内に入らないようにすることが困難であった。
【０００９】
【課題を解決するための手段】
本発明はこのような事態に鑑みてなされたもので、その目的は、離間して配置した複数のカメラからの実写画像を、恰も離間させないで配置したカメラからの画像のように記録する装置及び方法並びにこれら実写画像に基づいて画像データベースを生成する装置及び方法を提案するものである。
【００１８】
上述の目的を達成するため、本発明による画像記録装置は、移動体に取り付けられた少なくとも２つの撮像手段により撮影した画像を記録する画像記録装置であって、移動体の第１の方向に撮影方向を向けて設けられた第１の撮像手段と、第１の撮像手段から既知の距離だけ離間した位置に、第１の方向と略１８０度異なる第２の方向に撮影方向を向けて設けられた第２の撮像手段と、第１の撮像手段によって撮影された第１の画像データと、第２の撮像手段によって撮影された第２の画像データとを撮影時間情報とともに記録する記録手段と、記録手段に記録された撮影時間情報を用いて、第１の画像データと、第１の画像データの撮影時間から既知の距離に相当する時間だけ後の時点で撮影される第２の画像データとを関連付ける手段とを有することを特徴とする。
【００１９】
また、上述の目的は、移動体に取り付けられた複数の撮像手段によりそれぞれ撮影した画像シーケンスから三次元画像空間を構築するためのデータベースを、画像データ取得後に生成する画像データベース生成装置であって、第１の方向に向けられた第１の撮像手段が撮影時間情報と画像データを記録した第１の画像データメモリからデータを読み取る第１のリーダと、第１の撮像手段から既知の距離だけ離間した位置に、第１の方向と略１８０度異なる第２の方向に向けられて設けられた第２の撮像手段が撮影時間情報と画像データを記録した第２の画像メモリからデータを読み取る第２のリーダと、移動車の移動位置とこの移動車の進行方向とを記録した第３のメモリからデータを読み取る第３のリーダと、第１及び第２の画像データメモリに記録された撮影時間情報を用い、第１のリーダが読み取った画像データと、第２のリーダが読み取った画像データの内、既知の距離に相当する時間だけ後の時点における画像データとを互いに関連付ける手段と、を具備する画像データベース生成装置によっても達成される。
【００２０】
また、上述の目的は、第１の方向に撮影方向を向けて設けられた第１の撮像手段と、第１の撮像手段から既知の距離だけ離間した位置に、第１の方向と略１８０度異なる第２の方向に撮影方向を向けて設けられた第２の撮像手段とを移動体に取り付けて撮影した画像を記録する画像記録方法であって、第１の撮像手段が撮像した第１の画像データと、第２の撮像手段によって撮影された第２の画像データとを撮影時間情報とともに記録し、記録された撮影時間情報を用いて、第１の画像データと、第１の画像データの撮影時間から既知の距離に相当する時間だけ後の時点で撮影される第２の画像データとを関連付けて記録することを特徴とする画像記録方法によっても達成される。
【００２１】
また、上述の目的は、移動体に取り付けられた複数の撮像手段によりそれぞれ撮影した画像シーケンスから三次元画像空間を構築するためのデータベースを、画像データ取得後に生成する画像データベース生成方法であって、第１の方向に向けられた第１の撮像手段が撮影時間情報と画像データを記録した第１の画像データメモリからデータを読み取る第１の読み取り工程と、第１の撮像手段から既知の距離だけ離間した位置に、第１の方向と略１８０度異なる第２の方向に向けられて設けられた第２の撮像手段が撮影時間情報と画像データを記録した第２の画像メモリからデータを読み取る第２の読み取り工程と、移動車の移動位置とこの移動車の進行方向とを記録した第３のメモリからデータを読み取る第３の読み取り工程と、第１及び第２の画像データメモリに記録された撮影時間情報を用い、第１のリーダが読み取った画像データと、第２のリーダが読み取った画像データの内、既知の距離に相当する時間だけ後の時点における画像データとを互いに関連付ける工程とを具備する画像データベース生成方法によっても達成される。
【００２２】
さらに、上述の目的は、本発明による画像記録方法又は画像データベース生成方法をコンピュータ装置に実現させるコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。
【００２３】
【発明の実施の形態】
以下、本発明を適用した画像の収集システムと、さらに、広域ウオークスルーを可能にするための画像データベースであって、この収集システムで収集した画像からデータベースを構築するシステムを説明する。
〈画像収集システムの構成〉
本画像収集システムは、車両に搭載された複数のカメラにより周辺環境の撮影を行う。また、車両には、車両位置を検知するＧＰＳセンサ並びに、車体の姿勢（即ち、カメラの姿勢）を検知する姿勢センサ、方位を地磁気により検出する方位センサが搭載されている。
【００２４】
第３図にこの画像収集システムの構成を示す。
環境を撮影するためのカメラは７台（２０ａ，２０ｂ，…２０ｇ）搭載されている。このカメラは例えばソニー社製のビデオカメラＤＣＲ−ＶＸ１０００を用いた。
ＰＣ３０は本画像収集システムの全体を制御するもので、マイクロプロセッサＰｅｎｔｉｕｍＰｒｏ２００Ｈｚを内蔵する。ＰＣ３０と夫々のカメラ２０との間はビデオ／コンピュータインタフェースユニット２１ａ…２１ｇ（ソニー社製ＶｂｏｘＩＩＣＩ−１１００）により接続されている。
【００２５】
ＰＣ３０とインタフェース２１ｇとの間は周知のＲＳ２３２Ｃインタフェースバスによって接続され、インタフェースユニット２１ａ，２１ｂ，…２１ｇはデイジーチェーン方式（入力信号：ＶＩＳＣＡＩＮ、出力信号：ＶＩＳＣＡＯＵＴ）で接続されている。後述するように、ＰＣ３０は、各インタフェースユニット２１ａ…２１ｇを介してタイムコード問い合わせ信号を各々のカメラ２０ａ、…、２０ｇに送る。各カメラ２０ａ、…、２０ｇは、信号ラインＶＩＳＣＡＯＵＴ上にタイムコード情報を載せ、このタイムコード情報はＰＣ３０に伝わる。
【００２６】
ＰＣ３０には、ＧＰＳセンサ４０と３軸の姿勢センサ４１とが、夫々のＲＳ２３２Ｃバスインタフェースを介して接続され、また、地磁気方位センサ４２がアナログバスを介してＰＣ３０に接続されている。センサ４２からの方位信号はＰＣ３０内のＡ／Ｄ変換器（不図示）によってＡ／Ｄ変換される。
本システムに用いられているＧＰＳセンサ４０は、Ｔｒｉｍｂｌｅ社製のキネマティック方式の４４００を採用した。ネマティック方式のセンサは、５Ｈｚのサンプリングレートで±３ｃｍの精度で位置測定を可能にする。
【００２７】
姿勢センサ４１には、ピッチ角とロール角において±０．５度の精度、ヨー角において±０．９度の精度を確保することのできるＤＡＴＡＴＥＣＨ社製のＧＵ−３０２０を採用した。また、地磁気方位センサ４２には精度±２度を確保するＴＯＫＩＮ社製のＴＭＣ−２０００を採用した。
なお、ＧＰＳセンサ４０からの信号に基づいて、位置情報を演算する作業は高速性を要するために、ＰＣ３０に過度の負荷をかけるおそれがある。そこで、第３図のデータ収集システムの変形として、ＧＰＳデータ演算専用のＰＣを付加しても良い。
【００２８】
第４図に、第３図のシステムで収集された各種データの記録場所を示す。
周知のように、キネマティック方式のＧＰＳセンサは、精度の高い時刻データと位置データとを出力する。
第４図において、ＰＣ３０内のハードウエアディスクＨＤには、カメラ２０からの「タイムコード」と、センサ４０からの「時刻データ」並びに「位置情報データ」と、姿勢センサ４１からの「姿勢情報データ」と、方位センサ４２からの「方位情報」とが記憶される。
【００２９】
第４図において、各カメラ（２０ａ…２０ｇ）からの実写画像は、各々のビデオテープ２２ａ，２２ｂ，…，２２ｇに記録される。第５図に、カムコーダ（２０ａ…２０ｇ）における記録の方式を示す。周知のように、カムコーダ２０は、タイムコードジェネレータ２３と、信号ミキサ２４と、データ記録のためのビデオテープ２２とを内蔵する。タイムコードジェネレータ２３は、画像のフレームをインデックスするためのタイムコードを出力する。即ち、タイムコードは、テープ上に記録された画像データのフレーム位置を特定する。
【００３０】
第５図において、タイムコードジェネレータ２３からのタイムコードと、不図示のＣＣＤセンサからの画像データとは、ミキサ２４によって所定のフォーマットに従ってテープ２２上に記録される。
第６図に、カメラ２０のテープ２２上に記録される上記２つのデータ（画像データとタイムコード）の記録される形式の一例を示す。即ち、テープ上においては、各画像フレームには１つのタイムコードが割り当てられている。換言すれば、あるテープ２２上の目的の画像データは、その画像データに対応するタイムコードを指定すれば、そのテープ２２上でサーチすることができる。
【００３１】
第７図にハードウエアディスクＨＤ内における前記各種情報の１レコードの記録フォーマットの一例を示す。
ＰＣ３０は、任意のカメラから任意の時点でタイムコードを受けると、その時の「時刻データ」（センサ４０から受信した）と、車両の「位置情報」（センサ４０から受信した）と、姿勢センサ４１からの「姿勢情報」と、方位センサ４２から「方位情報」とを組にして、タイムコード・センサ情報レコードファイル（第７図の形式）としてディスクＨＤ内に書き込む。即ち、１つのタイムコード・センサ情報レコードは、タイムコードＴＣの値、そのときの時刻ＴＩＭ、そのタイムコードを発生したカメラの番号＃、そのタイムコードを受信した時点の、車両位置データＬＯＣ、姿勢データＰＯＳ、方位データＡＺＭ等により構成される。
【００３２】
第７図の「タイムコード・センサ情報レコード」から明らかなように、ある時刻ｔ_ｘの値が与えられば、その時刻ｔ_ｘの値から、その時刻ｔ_ｘの値に近いＴＩＭを有するレコードが知れ、そのレコードから、タイムコードＴＣ、車両位置ＬＯＣ、姿勢ＰＯＳ、方位ＡＺＭを知ることができる。また、得られたタイムコードＴＣの値から、テープ２２上をサーチして、目的の画像データを得ることができる。
【００３３】
第３図のデータ収集システムの目的は、パノラマ画像を生成するのに好都合な画像データベースを生成するための、基になる画像データを生成することにある。
ここで、センサデータや画像データの位置を表し得る信号は、カメラではタイムコード、センサ信号ではセンサ４０からの時刻データである。画像データベースは、最終的には、画像データと、車両の位置情報や姿勢データとが結びつけばよい。従って、データ収集システムが記憶するファイル形式は、第６図，第７図以外でも、データ量に即した形式とすることが可能である。
【００３４】
後述のデータ画像の収集は第６図，第７図のデータ収集方法を変えたものである。
〈カメラの配置〉
第８図に、本データ収集システムの７台のカメラ（２０ａ〜２０ｇ）の車両上への配置を示す。
【００３５】
第８図において図面上方を車両の進行方向とする。第８図，第９図が示すように、カメラ２０ｃ（＃３カメラ）とカメラ２０ｄ（＃４カメラ）は車両進行方向の環境の撮影を担当し、カメラ２０ａ（＃１カメラ）とカメラ２０ｂ（＃２カメラ）は車両左側の環境の撮影を担当し、カメラ２０ｅ（＃５カメラ）とカメラ２０ｆ（＃６カメラ）は車両右側の環境の撮影を担当する。
【００３６】
第８図において、＃７カメラ（２０ｇ）は後方の環境を撮影する。カメラ２０ｇはその撮影中心が他のカメラ（２０ａ乃至２０ｆ）の撮影中心（第８図の点Ｔで示す）から距離ｒだけ離間している。カメラ２０ｇを車両の後部に置くことにより、カメラ２０ｇが車体を写し込んでしまうことを防止する。また、カメラ２０ｇを後方に下げることにより、多くのカメラの配置の自由度を確保する。即ち、中心位置Ｔに過度に多くのカメラが集中するのを防止する。
【００３７】
〈実写画像の収集〉
次に、本データ収集システムによる画像データ収集のための処理の流れを説明する。
第１０図は、ＰＣ３０によって制御される実写画像データ収集処理の全体的な手順を説明する。
【００３８】
ステップＳ１００では全カメラのタイムコード同士の対応付けを行う。
ステップＳ２００ではタイムコードＴＣとＧＰＳセンサからの時刻データとの対応付けを行う。
ステップＳ３００では、タイムコードＴＣと、各センサからの情報との対応付けを行う。ステップＳ３００の処理は、撮影が終了するまで繰り返される。
【００３９】
第１１図は、ステップＳ１００における「タイムコードの対応付け」処理の詳細な手順を示す。即ち、ステップＳ１０２で、カメラの番号示すカウンタｋの値を２にセットする。２にセットする理由は、本システムでは、＃１カメラ（カメラ２２ａ）を便宜上基準としているからに過ぎない。そこで、ステップＳ１０４では、＃１カメラからのタイムコードをロギングする。ステップＳ１０６では、＃ｋカメラのタイムコードをロギングする。ステップＳ１０８では、上記操作を所定回数だけ繰り返したかを判断する。この操作により、＃１カメラのタイムコードと、＃２カメラ乃至＃７カメラの内の任意のカメラｋのタイムコードとの組み合わせでの対応関係（タイムコードの値の相違）を示すデータが複数得られた。この複数個のデータを平均化すれば、＃１カメラと＃ｋカメラのタイムコード同士での対応付け、即ち、値の相違が得られる。この対応付けを、＃２カメラから＃７カメラの全てのカメラについて行う。
【００４０】
第１２図は、第９図のステップＳ２００におけるタイムコードＴＣと時刻データＴＩＭとの対応付けを得るための処理手順の詳細である。即ち、ステップＳ２０２で、ＧＰＳセンサからの時刻データＴＩＭを得る。ステップＳ２０４では、時刻データＴＩＭにおける＃１カメラのタイムコードＴＣの値をロギングする。上記操作を何回か繰り返して、その平均値より、＃１カメラにおけるタイムコードが示す値と絶対時刻（ＧＰＳセンサからの時刻ＴＩＭ）との差異を知ることができる。
【００４１】
即ち、第１１図と第１２図のフローチャートによって得られた関係により、あるカメラｋのタイムコードがＴＣ_ｋであるときに、＃１カメラのタイムコードはいくつであり、時間間隔でどの程度ずれているかを予め把握しておくことができる。
第１３図はステップＳ３００の詳細を説明する。即ち、ステップＳ３０２では、基準である＃１カメラからのタイムコードを受信する。ステップＳ３０４では、姿勢センサからの姿勢データ（ピッチ角、ロール角、ヨー角）を記憶する。ステップＳ３０６では、方位センサのデータを取得する。ステップＳ３０８では、得たタイムコードやセンサなどに基づいて、ハードウエアディスクＨＤ内のタイムコード・センサ情報ファイルに１レコード分だけ記録する。
【００４２】
〈カメラ配置の自由度の確保〉
第８図において、＃７カメラ（２０ｇ）は後方の環境を撮影する。カメラ２０ｇはその撮影中心が他のカメラ（２０ａ乃至２０ｆ）の撮影中心（第８図の点Ｔで示す）から距離ｒだけ離間している。カメラ２０ｇを車両の後部に置くことにより、カメラ２０ｇが車体を写し込んでしまうことを防止する。また、カメラ２０ｇを後方に下げることにより、多くのカメラの配置の自由度を確保する。即ち、中心位置Ｔに過度に多くのカメラが集中するのを防止する。
【００４３】
従来技術の項で述べたように、不連続の２つ点で撮影した実写画像から、１つの補間画像を生成するには、これらの撮影位置は過度に離間すると、補間画像と実写画像との間にスムーズさが無くなってしまう。
そこで、本システムでは、第１４図に示すように、＃７カメラ（２０ｇ）から、時間幅
ｒ／ｖ（ここでｖは車両の進行速度）
だけ未来の画像データ、即ち、＃７カメラがｒ／ｖ時間後に位置Ｔにまで進んだときに撮影した実写画像データを、＃１乃至＃６カメラがｒ／ｖ時間だけ過去の位置（即ち、第１４図に示された位置）で実写した画像データと共に用いることとする。
【００４４】
即ち、広域ウオークスルーシステムを実現するために、実写画像から補間画像を生成するための基となる画像データベースは、＃１カメラ乃至＃７カメラの実写画像を互いに関係づけてデータベースとしなければならないが、第１５図に示すように、＃１カメラ乃至＃６カメラの画像は実際に同じ時刻（時刻ｔ_１とする）に撮影された画像同士（即ち、同じ「時刻データ」を有する画像同士）をデータベースの１レコードとして統合し、＃７カメラ（２０ｇ）からの画像データについては、時刻
ｔ_１＋（ｒ／ｖ）
の画像データを同レコードに統合する。
【００４５】
第１５図の処理を、第３図のデータ収集システムで行う場合には、第１１図の制御手順によって得られた所の、＃１カメラのタイムコードと＃７カメラからのタイムコードとの対応関係に対して、更に、
時間幅ｒ／ｖに相当するフレーム数
だけ減算することにより、上記対応関係を修正する。即ち、＃１カメラ乃至＃６カメラのタイムコードにたいして、＃７カメラのタイムコードは、常に、上記時間幅ｒ／ｖに相当するフレーム数だけ未来の画像データを示すことになる。
【００４６】
〈データベース生成システム〉
第１６図は、第３図のデータ収集システムにより得られたビデオテープファイルと、磁気ディスクファイル（ＰＣ３０内のＨＤ）とから、広域ウオークスルー画像呈示のための画像補間を行うのに適したデータベースを生成するデータベース生成システムの構成を示す。
【００４７】
第３図のシステムは、第６図と第７図に示された２つのファイルを生成する。２つのファイルは、タイムコードによって、任意のフレームの画像データを、その画像データを撮影したときのカメラの位置、カメラの姿勢、カメラの方位とをリンクさせることは可能である。データベース生成システムの必要性は、テープ上の画像データを高速のファイルに移し代える所にある。
【００４８】
また、第３図システムは、処理すべきデータ量が多いために、第７図のタイムコード・センサ情報ファイルを生成することが困難な場合がある。換言すれば、第３図のシステムは、第１７図に示すように、タイムコードデータＴＣと時刻データＴＩＭと姿勢データＰＯＳとが１つのファイル（第１ロギングファイルと呼ぶ）に、位置データＬＯＣと時刻データＴＩＭとが別の１つのファイル（以下、第２ロギングファイルと呼ぶ）に記憶するようにしている。また、画像データは、第３ロギングファイルとして、実写画像とタイムコードとが組になってテープ中に記録されている。なお、第１ロギングファイルと第２ロギングファイルとは、ＧＰＳセンサ４０の出力が発生する毎にレコードが生成されているので、データ量は多く、従って、画像補間を行う際の精度が確保される。
【００４９】
以下に説明するデータベース生成システムは、第３図のデータ収集システムが生成した第１７図の２つのロギングファイルをデータベースに変換するものである。
第１６図において、データベースの生成は、画像処理装置計算機５０によって行われる。上記ビデオテープファイルはビデオデッキ６０ａ〜６０ｇにセットされて読み取られる。また、ＰＣ３０は計算機５０に接続される。
【００５０】
第１８図は計算機５０による処理の流れを全体的に示す。
ステップＳ５００は、ＰＣ３０から第１ロギングファイルを計算機５０に転送する。ステップＳ６００では、第２ロギングファイルを計算機５０に転送する。ステップＳ７００では、ビデオデッキ６０から第３ロギングファイルを計算機５０に転送する。
【００５１】
ステップＳ８００では、第１ロギングファイルと第２ロギングファイルとを、時刻データＴＩＭをキーにして対応づける。その詳細を第１９図に示す。この処理の結果は、計算機５０内のハードウエアディスク（不図示）に記憶される。
ステップＳ９００では、第１ロギングファイルと第３ロギングファイルとを、タイムコードＴＣをキーにして対応づける。その詳細を第２０図に示す。この処理の結果も、計算機５０内のハードウエアディスク（不図示）に記憶される。
【００５２】
なお、第８図に関連して説明したように、＃７カメラからの画像について、時間幅ｒ／ｖに相当する未来のフレームをデータベースの対象とする処理については、＃７カメラについての、第１ロギングファイルと第２ロギングファイルの対応付け処理（ステップＳ８０６）、並びに、第１ロギングファイルと第３ロギングファイルの対応付け処理（ステップＳ９０６）について、上記ｒ／ｖに対応した時間操作に基づいたサーチを行えばよい。
【００５３】
具体的には、ステップＳ８０６、ステップＳ９０６の処理を、第２１図に示した制御手順に変形して、パノラマ画像合成用の画像データベースを作成する。
即ち、第２１図のステップＳ１０００で第１ロギングファイルの１レコードを読み出して、ステップＳ１００２で当該レコード中の時刻データＴＩＭを知る。
次に、＃１カメラ乃至＃６カメラの画像データについては、ステップＳ１００４で、＃１カメラ乃至＃６カメラそれぞれの第２ロギングファイル中をサーチして、上記ＴＩＭと同じ値を有するＴＩＭを有するレコードを探す。ステップＳ１００６で、ステップＳ１０００で見つかった第１ロギングファイルのレコードとステップＳ１００４で見つかった第２ロギングファイルのレコードとを統合（実質的に、情報ＴＩＭとＬＯＣとが統合される）する。
【００５４】
一方、＃７カメラについては、ステップＳ１０１０で、ステップＳ１００２で得た時刻ＴＩＭから、
【００５５】
【数１】

【００５６】
を計算し、上記数１式の時刻ＴＩＭと同じ値を有するＴＩＭを有するレコードを＃７カメラの第２ロギングファイル中に探す。尚、上記式中のｆは、時間幅ｒ／ｖを、本データ収集系において必要とされる時間幅に変換する関数を示す。ステップＳ１０１２で、ステップＳ１０００で見つかった第１ロギングファイルのレコードとステップＳ１０１０で見つかった第２ロギングファイルのレコードとを統合する。
【００５７】
ステップＳ１０２０では、第１ロギングファイルの全てのレコードについて上記処理を行ったかを判断し、終了したのであれば、ステップＳ１０２２に進んで、第１ロギングファイルと第２ロギングファイルとを統合したレコードをデータベースファイルに書き込む。
かくして、計算機５０内に、広域ウオークスルーを行うための画像補間が容易なデータベースシステムが生成された。
【００５８】
〈パノラマ画像の生成〉
第２２図は、第８図に示された６つのカメラ（２０ａ〜２０ｆ）において視野範囲をオーバラップさせる角度を説明する原理図である。
一般に、距離２ｄだけ離間して配置された２つのカメラ（視野角度は同じ）から得られた画像の補間において、今、距離Ｌ_０にある対象Ｐがスムーズに繋がるように画像を合成（パノラマ画像の生成）する場合を考える。カメラの前方で点Ｐを頂点とする三角形の領域は死角となる。また、点Ｐ’は両カメラによって二重に撮像される領域内の点を示す。点Ｐ’はカメラの前方の距離Ｌ（Ｌ≧Ｌ_０）だけ離れているとすると、点Ｐ’は、Ｐよりも
【００５９】
【数２】

【００６０】
だけ角画像の中央側に映じることになる。よって２枚の画像をつなげると、対象Ｐは二重に表示され、二重の像の映る位置間の差は、
【００６１】
【数３】

【００６２】
となる。１組のカメラ（２０ａと２０ｂ、または２０ｃと２０ｄ、または２０ｅと２０ｆ）は上記差を考慮してオーバラップ角度を設定する。
撮影中心が互いに最も離れている＃２カメラと＃３カメラ、或いは＃４カメラと＃５カメラとについて計算すると、３ｍ先の対象について画像の継ぎ目を最適化すると、１０ｍ先の対象が６．５度（距離に換算して１．１ｍ）、無限遠方の対象が９．３度の角度差で二重に映ることを意味する。
【００６３】
＃１カメラ乃至＃６カメラについては、撮影中心が近接しているために、上記式を考慮した二重写りを考慮して画像補間を行う。また、＃７カメラ（２０ｇ）からの画像データについては、データベース上において、時刻
ｔ_１＋（ｒ／ｖ）
の画像データが時刻ｔ_１の画像データとして記録されているので、データベース中の＃７カメラ（２０ｇ）についての画像データを使用して画像補間する。
【００６４】
一枚のパノラマ画像を合成するには、仮想投影面を平面から円筒面に変換する必要がある。
第２３図に示すように、絶対方位θ_０の方向を向いた水平画角２・θωのカメラによって撮影された画像（縦：２Ｚ，横：２Ｘ）を考える。この画像内で画像の中央から縦ｚ、横ｘの位置にある画像を、円筒投影面上へ投射した場合の平面への投射位置（θ，ｚ）は、
【００６５】
【数４】

【００６６】
となる。
実際には、先ずカメラの球面収差補正を行い、上記の変換を施して円筒面に投影した画像を得て、これを横一列に並べることによって一枚のパノラマ画像を得ている。また、画像同士の重なり部分にはブレンディング処理を行い、連続的な変化を持たせている。
【００６７】
７台のカメラで大量に作られた画像データベースを以上のようにパノラマ画像にまとめていくことで、新たにパノラマ画像のデータベースができあがる。これが本ウオークスルーシステムで用いるソース画像となる。
〈データ収集の変形例〉…第１変形例
第１０図，第１１図に示したデータ収集は、姿勢センサからの出力が不定期である場合に有効であった。
【００６８】
これから説明する変形例は、姿勢センサからの出力が一定の周期でなされ、且つ、そのデータの取りこぼしがない場合に有効なものである。即ち、第１０図の制御手順は第２４図の制御手順に変わる。ステップＳ１１００の制御はステップＳ１００のそれに等価である。また、ステップＳ１２００の制御はステップＳ２００の制御に等価である。
【００６９】
ステップＳ１３００では、タイムコードＴＣと姿勢センサの出力ＰＯＳとの対応付けを行う。具体的には、第２５図のステップＳ１３０２において、姿勢センサの出力データをロギングし、ステップＳ１３０４で＃１カメラのタイムコードをロギングし、これらをペアにしてディスクに書き込む。
第２４図のステップＳ１４００では、姿勢センサの出力データＰＯＳと方位センサの出力ＡＺＭとの対応付けを行う。具体的には、第２６図のステップＳ１４０２で姿勢センサの出力をロギングし、ステップＳ１４０４で方位センサの出力をロギングする。こうして、姿勢センサ出力と方位センサ出力とは組となってロギングされる。
【００７０】
第２４図の手法では、ステップＳ１５００とステップＳ１４００との間のループでは、タイムコードを考慮する必要が無くなり、データ収集が高速になる。
〈カメラ配置の変形例〉…第２変形例
第８図に示したカメラの配置では、後方の背景を撮影するカメラ２０ｇは１つのみが設置されていた。一個のカメラで後方視界をカバーするためには、カメラ２０ｇの視野角は広く設定する必要があるが、視野を広く設定すると、周囲の解像度が劣化して、画像補間の際のつながりが不連続になる可能性がある。また、第８図のカメラ配置は直進時には問題はないが、右左折時には問題が発生する。
【００７１】
第２７図に示した変形例は、後方に＃８カメラを１つ増やしたものである。後方カメラを２つとしたことで、１つのカメラ（＃７又は＃８）の視野は狭くとも良くなる。また、死角となる領域を狭くするために、第２７図に示すように、＃７カメラと＃８カメラの光軸を交叉させる。
第２７図のカメラ配置の車両に画像収集システムを搭載した場合において、この車両が直進した場合には、ｒ／ｖ時間後には、＃７カメラと＃８カメラとは夫々第２８図の７と８の位置に移動する。即ち、車両が前進を継続する場合には、ｒ／ｖ時間に相当するフレーム数前の＃７カメラ７，＃８カメラ双方の画像データを用いる。
【００７２】
＃７カメラと＃８カメラとを交叉させる利点の１つは、右折時或いは左折時に現れる。即ち、左折の場合は、車体は反時計まわりに回転するので、後方の＃８カメラは第２９図のような配置位置（８位置）に到達する。即ち、８位置にある＃８カメラの画像データと、左折前の位置にあるときの＃１カメラ乃至＃６カメラの画像データとを組み合わせることとする。このようにすると、＃１カメラ乃至＃６カメラは車体が左折前の方向（直進方向）を向いたときの画像データが、＃８カメラが直進方向に向いたときの画像データと統合されることとなって、第８図の配置の問題は解消される。
【００７３】
なお、左折及び右折の検出は、例えばせ姿勢センサ４１の出力から知ることができる。即ち、計算機５０は、姿勢センサ４１の出力が記憶されているファイルを読み取り、そのときのターン方向が例えば右折（或いは左折）を示しているときは、＃７カメラ（或いは＃８カメラ）からの画像データを選択するようにする。一般的に言えば、車体が時計回り（反時計回り）にターンすれば、中心線よりも反時計回り（時計回り）にずれて設けられたカメラの出力を採用する。
【００７４】
第３０図は、右折の場合には、＃７カメラの画像データが用いられることを示す。
尚、第２変形例の制御手順は、後述の第３変形例の制御手順から自ずと明らかになる。
〈カメラ配置の変形例〉…第３変形例
第３変形例（第３１図〜第３４図）は、第２変形例に対して、更に、車両の直後方を向く＃８カメラを付加したものである。
【００７５】
この配置によれば、直進時には、第３２図に示すように、中央の＃８カメラの画像データを用い、左折時には第３３図に示すように、後方右側に配置された＃９カメラの画像データを用い、右折時には第３４図に示すように、後方左側に配置された＃７カメラの画像データを用いる。
第３変形例は、第２変形例よりもさらに画像のつながりがスムーズになるという効果がある。
【００７６】
第３５図に第３変形例のデータベース生成の手順を示す。この制御手順は、車両の進行方向（姿勢データＰＯＳ或いはセンサ４２からの方位データから判断できる）に基づいて後方視界を撮影するカメラの内のどの画像データを使用するかという点で、第２変形例と実質的に同じである。第２１図のそれと異なるところは、ステップＳ２０１０で姿勢データＰＯＳ（或いは、センサ４２から方位データ）に基づいて右折か直進か左折かを判断し、右折の場合は、＃７カメラ（第３３図）の画像データを採用し、直進の場合は＃８カメラ（第３１図）の画像データを採用し、左折の場合は、＃９カメラ（第３２図）の画像データを採用するというものである。
【００７７】
〈撮影とデータベース構築の同時化〉…第４変形例
上記実施形態では、画像データベースを、前もってテープに撮影した画像データを元に、撮影後に構築した。しかしながら、撮影しながらデータベースを構築することも可能である。この場合、大容量かつ高速のファイル装置が必要となる。
【００７８】
尚、第１４図或いは第２７図または至第３１図などに示した上記実施形態に対してデータベースのリアルタイムを構築を行う場合には、後部位置に配置されたカメラ（第１４図の例ではカメラ＃７、第２７図の例ではカメラ＃７及び＃８，第３１図の例では＃７乃至＃９のカメラ）が撮影した画像データを、前述の時間ｆ（ｒ／ｖ）だけ遅延させるバッファが必要となる。
【００７９】
〈その他の変形例〉
上記実施形態では、第１ロギングファイル及び第２ロギングファイルに記憶するデータの組み合わせは、例えば第１７図に示すように、前者に、ＴＣ、ＴＩＭ、ＰＯＳを記録し、後者にＬＯＣ、ＴＩＭを記録した。しかしながら、記録の組み合わせは第１７図の組み合わせに限定されない。
【００８０】
即ち、画像データが大容量であることに鑑みれば、画像データは磁気テープなどの大容量メモリに単独で記録することが好ましい。しかしながら、ＴＣ、ＴＩＭ、ＰＯＳ、ＬＯＣについては、１つの高速ファイルに記録してもよい。
【００８１】
【発明の効果】
以上説明したように本発明に因れば、離間して配置した複数のカメラからの実写画像を、恰も離間させないで配置したカメラからの画像のように処理する画像データベースが構築される。これにより、カメラ配置の自由度を確保する。
また、実写画像を得るためのカメラを搭載する車両は概ね直進するものであるから、車両の左右方向のカメラを近接させながら、直進方向を撮影するカメラとその反対方向を撮影するカメラとを離間させることにより、カメラ配置の自由度を確保した画像の記録装置を提供できた。
【図面の簡単な説明】
【図１】本発明が適用され得る広域ウオークスルー方式の概略を説明する図。
【図２】従来のカメラ配置装置に設けられたカメラ搭載装置の概略の構成を示す側面図。
【図３】本発明を適用した実施例にかかるデータ収集システムの構成を示すブロック図。
【図４】第３図のシステムにおいて、各種データが最終的にどこに記録されるかを示す図。
【図５】第３図のビデオカメラ２０におけるタイムコードの生成を示すブロック図。
【図６】ビデオカメラ２０のビデオテープ２２上に記録されるデータのフォーマットを説明する図。
【図７】ＰＣ３０のハードウエアディスクＨＤ内に記録されるデータのフォーマットを説明する図。
【図８】本実施形態のカメラ配置の特徴を説明する図。
【図９】第８図のカメラ配置において、＃１カメラ乃至＃６カメラの撮影方位を説明する図。
【図１０】第３図のデータ収集システムの処理の全体を示すフローチャート。
【図１１】第１０図のフローチャートの一部を詳細に説明するフローチャート。
【図１２】第１０図のフローチャートの一部を詳細に説明するフローチャート。
【図１３】第１０図のフローチャートの一部を詳細に説明するフローチャート。
【図１４】第８図のカメラ配置の利点を説明する図。
【図１５】画像データベースの１レコードに統合する画像データの時刻を説明する図。
【図１６】実施形態のデータベース生成システムの構成を示すブロック図。
【図１７】第６図，第７図の形式以外のファイルの構成を示す図。
【図１８】実施形態のデータベース生成のための制御の基本原理を説明するフローチャート。
【図１９】第１８図のフローチャートの一部を詳細に説明するフローチャート。
【図２０】第１８図のフローチャートの一部を詳細に説明するフローチャート。
【図２１】第１４図のカメラ配置において、＃７カメラの画像データを７’一にあるカメラからの画像データに変換する制御手順を示すフローチャート。
【図２２】本実施形態においてパノラマ画像精製時において、死角領域及び２重域領域をの発生を説明する図。
【図２３】パノラマ画像生成のための円筒への射影原理を説明する図。
【図２４】第１０図の制御手順の変形例にかかる制御手順のフローチャート。
【図２５】第２４図のフローチャートの一部を詳細に説明したフローチャート。
【図２６】第２４図のフローチャートの一部を詳細に説明したフローチャート。
【図２７】他の方式によるカメラ配置を説明する図。
【図２８】第２７図の方式によるカメラ配置において車両が直進動作を行ったときの画像データの収集を説明する図。
【図２９】第２７図の方式によるカメラ配置において車両が左折動作を行ったときの画像データの収集を説明する図。
【図３０】第２７図の方式によるカメラ配置において車両が右折動作を行ったときの画像データの収集を説明する図。
【図３１】さらに他の方式によるカメラ配置を説明する図。
【図３２】第３１図の方式によるカメラ配置において車両が直進動作を行ったときの画像データの収集を説明する図。
【図３３】第３１図の方式によるカメラ配置において車両が左折動作を行ったときの画像データの収集を説明する図。
【図３４】第３１図の方式によるカメラ配置において車両が右折動作を行ったときの画像データの収集を説明する図。
【図３５】第３変形例に関わる画像データベースの作成手順を示すフローチャート。

Claims

移動体に取り付けられた少なくとも２つの撮像手段により撮影した画像を記録する画像記録装置であって、
前記移動体の第１の方向に撮影方向を向けて設けられた第１の撮像手段と、
前記第１の撮像手段から既知の距離だけ離間した位置に、前記第１の方向と略１８０度異なる第２の方向に撮影方向を向けて設けられた第２の撮像手段と、
前記第１の撮像手段によって撮影された第１の画像データと、前記第２の撮像手段によって撮影された第２の画像データとを撮影時間情報とともに記録する記録手段と、
前記記録手段に記録された撮影時間情報を用いて、前記第１の画像データと、該第１の画像データの撮影時間から前記既知の距離に相当する時間だけ後の時点で撮影される第２の画像データとを関連付ける手段とを有することを特徴とする画像記録装置。
前記第１の撮像手段は複数のカメラを有し、これら複数のカメラの各々の撮像方向は、前記第１の方向を中心に線対称に展開していることを特徴とする請求項１に記載の画像記録装置。
前記複数のカメラの撮像方向上の直線は、このカメラの前方において交叉することを特徴とする請求項２に記載の画像記録装置。
この第１の撮像手段の近傍の位置に、前記第１の方向と異なる第３の方向に撮影方向を向けられて設けられた第３の撮像手段と、
前記第１の方向に向いた直線に関して、前記第３の方向と線対称位置に設けられた前記第４の撮像手段と、
を具備することを特徴とする請求項１に記載の画像記録装置。
前記第２の撮像手段は、前記第２の方向を中心にして線対称な２つ以上の方向に撮影方向を向けて設けられた複数のカメラを有することを特徴とする請求項１に記載の画像記録装置。
移動体に取り付けられた複数の撮像手段によりそれぞれ撮影した画像シーケンスから三次元画像空間を構築するためのデータベースを、画像データ取得後に生成する画像データベース生成装置であって、
第１の方向に向けられた第１の撮像手段が撮影時間情報と画像データを記録した第１の画像データメモリからデータを読み取る第１のリーダと、
前記第１の撮像手段から既知の距離だけ離間した位置に、前記第１の方向と略１８０度異なる第２の方向に向けられて設けられた第２の撮像手段が撮影時間情報と画像データを記録した第２の画像メモリからデータを読み取る第２のリーダと、
前記移動車の移動位置とこの移動車の進行方向とを記録した第３のメモリからデータを読み取る第３のリーダと、
前記第１及び前記第２の画像データメモリに記録された前記撮影時間情報を用い、前記第１のリーダが読み取った画像データと、前記第２のリーダが読み取った画像データの内、前記既知の距離に相当する時間だけ後の時点における画像データとを互いに関連付ける手段と、
を具備する画像データベース生成装置。
前記第２の撮像手段が互いに異なる方向を有する２つのカメラを含む場合には、
前記関連付ける手段は、前記第３のリーダから読み取った進行方向データが時計回り或いは反時計回りのターンを示しているときに、前記第１のリーダが読み取った画像データと、反時計回り或いは時計回りの位置にあるカメラについて、前記第２のリーダが読み取った画像データの内、前記既知の距離だけ後の位置における画像データとを互いに関連付けることを特徴とする請求項６に記載の画像データベース生成装置。
第１の方向に撮影方向を向けて設けられた第１の撮像手段と、前記第１の撮像手段から既知の距離だけ離間した位置に、前記第１の方向と略１８０度異なる第２の方向に撮影方向を向けて設けられた第２の撮像手段とを移動体に取り付けて撮影した画像を記録する画像記録方法であって、
前記第１の撮像手段が撮像した第１の画像データと、前記第２の撮像手段によって撮影された第２の画像データとを撮影時間情報とともに記録し、
前記記録された撮影時間情報を用いて、前記第１の画像データと、該第１の画像データの撮影時間から前記既知の距離に相当する時間だけ後の時点で撮影される第２の画像データとを関連付けて記録することを特徴とする画像記録方法。
移動体に取り付けられた複数の撮像手段によりそれぞれ撮影した画像シーケンスから三次元画像空間を構築するためのデータベースを、画像データ取得後に生成する画像データベース生成方法であって、
第１の方向に向けられた第１の撮像手段が撮影時間情報と画像データを記録した第１の画像データメモリからデータを読み取る第１の読み取り工程と、
前記第１の撮像手段から既知の距離だけ離間した位置に、前記第１の方向と略１８０度異なる第２の方向に向けられて設けられた第２の撮像手段が撮影時間情報と画像データを記録した第２の画像メモリからデータを読み取る第２の読み取り工程と、
前記移動車の移動位置とこの移動車の進行方向とを記録した第３のメモリからデータを読み取る第３の読み取り工程と、
前記第１及び前記第２の画像データメモリに記録された前記撮影時間情報を用い、前記第１のリーダが読み取った画像データと、前記第２のリーダが読み取った画像データの内、前記既知の距離に相当する時間だけ後の時点における画像データとを互いに関連付ける工程と、
を具備する画像データベース生成方法。
コンピュータ装置に、請求項８又は請求項９に記載の各工程を実行させるためのコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体。