JP4773794B2

JP4773794B2 - 新旧映像座標統合装置

Info

Publication number: JP4773794B2
Application number: JP2005303952A
Authority: JP
Inventors: 和郎岩根
Original assignee: IWANE LABORATORIES, LTD.
Current assignee: IWANE LABORATORIES, LTD.
Priority date: 2005-10-19
Filing date: 2005-10-19
Publication date: 2011-09-14
Anticipated expiration: 2025-10-19
Also published as: JP2007114916A

Description

本発明は、車両や船舶，航空機等の移動体や歩行者の進行方向や現在状況等をガイドするためのナビゲーション装置等で利用可能な映像の新旧映像を比較してそれらの座標を統合し、又は更新する新旧映像座標統合装置に関する。

一般に、カーナビゲーション装置においては、ＧＰＳや自律航法などの手段によって車輌等のカーナビ装置を搭載した移動体の位置（自車位置）が検出され、地図上に当該車輌の現在位置を示すマーカ（ポインタ）が表示されるようになっている。
ところが、従来のカーナビゲーション装置においては、グラフィクスデータからなる地図を画像表示のベースとしているため、その地図上に表示されるマーカによって自車位置を特定することはできるものの、実際の風景についてはその地図データに予め記述されているものしか表示されない。このため、例えば見過ごしやすい交差点などの周囲の状況を通過前の早い時期に的確に把握することは困難であった。また、通常地図データには交差点名、店などのデータは限定された物しか入っておらず、利用者にとって必ずしも使いやすいものではなかった。

そこで、これまで、風景を撮影した映像を動画などの映像データとしてＤＶＤやＨＤＤなどの大容量蓄積メディアに格納しておき、その映像データを現在位置などに対応付けて画面表示できるようにし、利用者にとってより使いやすい画像を提供することが可能なナビゲーション装置が提案されている（例えば、特許文献１−３参照）。
このようなナビゲーション装置によれば、従来からのカーナビゲーション装置にビデオデータを扱う機能を設け、前もって撮影した風景映像を地図映像として自車位置などに対応させて表示できるようにしたことにより、実際の周囲の状況を通過前の早い時期にリアルな映像で利用者に提示できるようになり、利用者にとってより使いやすい画像を提供することが可能となった。

特開平１０−０８９９７８号公報（第３−４頁、第３図）特開２００１−１６５６７８号公報（第３−４頁、第３図）特開２００２−１４８０６２号公報（第３−４頁、第３図）

ところで、以上のようなナビゲーション装置等において、リアルタイムで撮影される新映像を、上述したような地図映像や従来の地図データ等の旧映像と対応させて表示するには、新旧映像を比較し、対応点を求めて両映像を対応させる必要がある。
また、上述の地図映像を更新するには、旧地図映像と新地図映像を比較し、両地図映像を対応させる必要がある。
ここで、対比する新旧映像の対応点を求めるには、両映像に共通する特徴点（基準点）を抽出し、その特徴点付近の小領域画像のマッチングや相関による方法が一般的である。

ところが、一般に、対応させるべき新旧映像は、撮影時のカメラが異なるとか、天候が異なるとか、撮影条件が大きく異なる。また、カメラ位置が大きく異なることにより対応点近傍の形状の変化等も生じる。
このため、新旧映像間での対応点をマッチングや相関で求めることは困難となり、現実には、新旧映像間での対応を的確に、効果的に、高い一致度で求めることができないという問題が発生した。
また、対応させるべき新旧映像の一方がCG（コンピュータ・グラフィックス）である場合、CG映像と実写映像では絵柄が大きく異なり、実写映像とのマッチングや相関は困難であった。

本願発明者は、鋭意研究の結果、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、当該動画映像のカメラ位置と回転角を示すＣＶ値データを高精度に求めることができることに想到した。
そして、このＣＶ値データを利用することにより、新旧映像間での小領域画像のマッチングや相関によることなく、対応する新旧映像の対応関係をとり、両映像を座標統合し得ることに想到した。

すなわち、本発明は、以上のような従来の技術が有する問題を解決するために提案されたものであり、新旧映像間で、カメラが変わっても、天候が変わっても、撮影条件が変わっても、視点方向が大きく変わっても、一方の映像が実写映像とは絵柄が大きく異なるCG映像であっても、それらに影響されずに新旧映像間で対応点を求めることができ、両者を同一の座標系で表現することができる新旧映像座標統合装置の提供を目的とする。
さらに、リアルタイムで撮影された新映像を旧映像にリアルタイムに統合する場合に、リアルタイム処理の演算時間を短縮し、高精度かつ高速に新旧映像の座標統合処理を行うことができる新旧映像座標統合装置の提供を目的とする。

上記目的を達成するため、本発明の新旧映像座標統合装置は、撮影した動画映像からなる旧映像を基準映像として保持する基準映像部と、前記基準映像に、カメラ位置と姿勢の三次元値を示すＣＶ値を付加するＣＶ付加部と、前記基準映像の中に基準点を指定し、前記ＣＶ付加部で付加されたＣＶ値から当該基準点の三次元座標を取得する三次元基準点指定部と、前記基準映像と比較すべき、動画映像からなる新映像を比較映像として保持する比較映像部と、前記基準映像と比較映像との中の共通地点の対応関係を初期設定する初期位置設定部と、初期設定されたフレームから開始する動画像の各フレームに亘って、前記基準映像の中の前記三次元基準点に対応する部分を比較映像の中に自動的に対応付けて、各フレームに亘って対応基準点を探索し続ける基準点対応部と、前記対応基準点を比較映像の進行する各フレームに亘って追跡する対応基準点追跡部と、前記対応基準点の対応結果により、前記基準画像の三次元基準点の三次元座標を前記比較映像の対応基準点に移植して、前記初期位置設定部で初期設定された前記比較画像のＣＶ値を演算で求めるとともに、追跡により各フレームに亘ってＣＶ値をもとめるＣＶ取得部と、前記基準映像と同一の座標系に前記比較映像を座標統合させる座標統合部と、を備える構成としてある。

また、本発明の新旧映像座標統合装置は、前記基準映像について、前記ＣＶ付加部で取得されたＣＶ値から、当該基準映像の概略三次元空間を生成する概略基準空間構成部と、前記比較映像について、前記基準映像とは無関係に、当該比較映像側で特徴点を検出して追跡し、単独でＣＶ演算を行い、当該比較映像を取得したカメラの位置と姿勢を示す概略ＣＶ値を取得する概略ＣＶ取得部と、前記概略ＣＶ取得部で取得された概略ＣＶ値から比較映像の概略比較空間を生成する概略比較空間構成部と、前記基準対応部及び前記対応基準点追跡部で得られたＣＶ値により、前記概略ＣＶ取得部で取得されたＣＶ値を校正し、前記基準映像の座標系に変換するＣＶキャリブレーション部と、前記基準映像の概略三次元空間と前記比較映像の概略三次元空間とを比較して対応付け、それぞれの空間を合致させて、前記基準点対応部における対応領域を絞り込む空間対応部と、を備える構成としてある。

また、本発明の新旧映像座標統合装置は、前記基準点対応部が、基準映像内の複数の三次元基準点から構成される三次元形状に着目し、前記比較映像内に、前記三次元基準点と同一座標を持つ三次元対応点が、前記三次元形状に一致するようなＣＶ値を求めることにより、当該三次元基準点と比較映像内の対応基準点との対応を求める三次元基準点形状対応部を備えるとともに、前記対応基準点追跡部が、前記対応基準点を比較映像中の隣接する複数のフレームに亘り追跡し、前記基準映像内の既知の三次元形状の三次元座標を前記比較映像中の追跡地点に移植する三次元基準点形状追跡部を備える構成としてある。

また、本発明の新旧映像座標統合装置は、前記基準点対応部が、前記基準映像内の複数の三次元基準点のカメラ位置からの方位仰角に着目し、前記比較映像中の三次元対応点が、ＣＶ値を仮定した場合の演算で予想される方位仰角に存在することを確認することで、当該三次元対応点を前記三次元基準点に対応させる基準点方向対応部を備えるとともに、前記対応基準点追跡部が、前記基準映像中の前記三次元基準点を、比較映像中に三次元座標が既知である三次元形状を構成する各点の方向として隣接する複数のフレームに亘り追跡する基準点方向追跡部を備える構成としてある。

さらに、本発明の新旧映像座標統合装置は、前記基準映像部が、前記基準映像として、ＣＧのみで構成されたＣＧ三次元地図、又は映像から生成されて地図化された実写映像を含まないＣＧ三次元地図、又は測量により生成されたＣＧ三次元地図を保持し、前記ＣＶ付加部が、前記ＣＧ三次元地図のＣＶ値を、前記比較画像の概略ＣＶ値近傍に設定し、前記空間対応部が、映像全体の対応を求めるとともに、前記基準対応部が、映像中の所定部分の詳細対応を求める構成としてある。

このような構成からなる本発明の新旧映像座標統合装置によれば、動画映像を撮影したカメラ位置と回転角を示すＣＶ値データを高精度に求め、このＣＶ値データを利用することにより、対応する新旧映像の対応関係をとり、両映像を座標統合することができる。
本発明では、まず、新旧映像でそれぞれ単独でＣＶ値データを求める。
このとき、旧映像は前もって処理された映像であるので、演算時間を十分にとることができるので高精度のＣＶ値を持ち、新映像は演算時間を十分取れれば同等の精度を持つが、一般にはリアルタイム処理とするので、旧映像に比較して同等以下であると想定される。次に、それぞれのＣＶ値の関係を求めることで、新旧映像の座標は統合される。

それぞれのＣＶ値の関係を求める方法として、本発明では、従来方法による単なる映像間のマッチング又は相関ではなく、高精度ＣＶ値が既知である旧映像中に三次元形状を生成し、その三次元形状の対応点を新映像の中に探し求めることで、与えられた新映像のＣＶ値を求め、又は校正するようにしてある。
このようにすることで、新旧映像間で、カメラが変わっても、天候が変わっても、撮影条件が変わっても、視点方向が大きく変わっても、一方の映像が実写映像とは絵柄が大きく異なるＣＧ映像であっても、それらに影響されずに新旧映像間で対応点を求めることができ、旧映像に近い精度の新映像のＣＶ値が取得され、両者を同一の座標系で表現することができる新旧映像座標統合装置の提供を目的とする。
さらに、リアルタイムで撮影された新映像を旧映像にリアルタイムに統合する場合に、リアルタイム処理の演算時間を短縮し、高精度かつ高速に新旧映像の座標統合処理を行うことができる。

このように、本発明では、既にＣＶ値が求められている旧映像を基準映像とし、あるいはＣＶ値を自由に取れるＣＧ映像を基準画像として、もう一方の未だＣＶ値として旧映像と対応がついていない新映像を比較映像とし、従来の特徴点を含む分割小領域画像ではなく、すなわち、画像マッチングや相関ではなく、既に三次元座標が既知である特徴点を含む三次元形状又は三次元分布形状を複数基準点として、又は特徴点の三次元座標を特徴点分布方向に変換して、比較映像内に方向として探索して、新旧映像の対応点を求めることで、新画像の各フレームのＣＶ値を求めることができる。

このようにすることで、小領域ブロック画像の比較ではなく、三次元形状の比較、又は三次元分布の比較、又は二次元方向の比較として新旧映像を対応できることになり、カメラ間の相違や撮影条件の相違による困難を回避することができる。
ただし、三次元座標が既知の複数の特徴点を基準点としてさえいれば、一部あるいはすべての基準点において、従来方法のマッチングや相関を採用して対応点を取ることも勿論可能である。

三次元座標が既知の特徴点を用いるために、最低三箇所の対応があれば、新映像のカメラ位置と姿勢が求められ、その結果、新映像について初めからＣＶ値を高精度に求める場合と比較して、演算時間が早くなりリアルタイム処理に好適となる。
また、この三次元基準点の比較対応と新映像側の高速ＣＶ演算（精度は低い）と併用することで、ＣＶ値の連続性が得られ、精度も高まるという効果が期待できる。

三次元基準点として比較する三次元形状は、三次元座標を持つが故に、基準映像側でも比較映像側でも、演算によりカメラ位置を変更して（ＣＶ値を変更して）視点変更した映像を取得することが可能であり、しかも、三次元であるが故にその絶対スケールは常に不変なので、追跡が容易となり精度が向上することが期待できる。
さらに、二次元画像の微少領域のテクスチャではなく、三次元形状を追跡することが可能となることから、ＣＧ画像との対応，座標統合も可能となる。

一般に、カメラで撮影した映像は二次元であり、三次元座標を持たないが、カメラの三次元位置と回転位置を示すＣＶ値を求めて、これを用いることにより、画像を三次元化することが可能となる。本発明では、このＣＶ値によって旧映像と新映像を対応させて、新旧映像の座標統合を可能とするものである。
そして、このように新旧映像の座標を統合することで、映像データを更新することができるようになる。

以上のように、本発明では、旧映像を基準映像として、その基準映像のＣＶ値を求め、旧映像の各フレームのカメラ位置座標と姿勢を取得することができる。
ここで、基準映像としては、カメラで取得した映像に限らず、実測により生成された三次元地図を使用することができ、その場合には、三次元地図中のＣＶ値は自由に取れるので、表示のためのカメラ位置は既知と考えて良い。
また、比較すべき新映像についても、同様に高精度ＣＶ値（旧映像と同程度の精度のＣＶ値）を求めて、旧映像と座標統合することも可能であるが、本発明では、旧映像を基準画像とし、比較画像を新映像として、それぞれを比較して、より簡単に高速に新映像のＣＶ値を求めて、新旧映像の座標統合するものである。

本発明の新旧映像座標統合装置によれば、対比する新旧映像のＣＶ値データを求め、あるいは旧映像側のＣＶ値のみ求めて、新映像ではＣＶ値を求めずに、旧映像側の三次元形状を利用して両映像の対応関係をとることにより、新映像のＣＶ値を取得することにより、新旧映像間で、カメラが変わっても、天候が変わっても、撮影条件が変わっても、視点方向が大きく変わっても、一方の映像が実写映像とは絵柄が大きく異なるＣＧ映像であっても、それらに影響されずに新旧映像間で対応点を求めることができる。

これにより、新旧の動画映像を比較して、それぞれ新旧映像の撮影時の座標を統合し、ＣＧにおいては旧映像（基準映像）をＣＧ映像として、ＣＧと実写映像の座標を統合し、新旧カメラ位置と姿勢（ＣＶ値）を同一の座標系で表現することができるようになる。
さらに、リアルタイムで撮影された新映像を旧映像にリアルタイムに統合する場合にも、リアルタイム処理の演算時間を大幅に短縮することができ、高精度かつ高速に新旧映像の座標統合処理を行えるようになる。

以下、本発明に係る新旧映像座標統合装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の新旧映像座標統合装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、映像中からの基準点や特徴点の自動抽出，抽出した基準点の自動追跡，基準点の三次元座標の算出，カメラベクトルの演算，比較映像中の対応基準点の検出等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［ＣＶ演算］
まず、本発明の新旧映像座標統合装置の前提となるＣＶ演算の概要について図１〜図１３を参照しつつ説明する。
ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera
Vectorの略記であり、カメラベクトル（ＣＶ）とは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。

ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点（基準点）についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない、優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。

動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる。
そして、本発明の新旧映像座標統合装置は、このＣＶ演算により得られたＣＶ値データに基づいて旧映像（基準映像）と新映像（比較映像）との座標統合処理を行うものである。

［ＣＶ演算部］
ＣＶ演算は、後述する本発明の新旧映像座標統合装置１００のＣＶ付加部１０２やＣＶ取得部１０８（図１４参照）として機能するＣＶ演算部２０で行われる。
ＣＶ演算部２０は、図１に示すように、全周ビデオ映像部１０から入力されるビデオ映像について所定のＣＶ演算処理を行うようになっており、具体的には、特徴点抽出部２１と、特徴点対応処理部２２と、カメラベクトル演算部２３と、誤差最小化部２４と、三次元情報追跡部２５と、高精度カメラベクトル演算部２６とを備えている。

まず、ＣＶ演算に使用する映像としては、どのような映像でもよいが、画角の限られた映像では視点方向を移動した場合に映像がとぎれてしまうので、全周映像（図２〜４参照）とすることが望ましい。なお、動画映像は連続する静止画と同様であり、静止画と同様に扱うことができる。
また、映像は、一般には予め記録した動画映像を使うことになるが、自動車等の移動体の移動に合わせてリアルタイムに取り込んだ映像を使用することも勿論可能である。

そこで、本実施形態では、ＣＶ演算に使用する映像として、車輌等の移動体の３６０度の全周囲を撮影した全周映像（図２〜４参照）か、又は全周映像に近い広角映像を用いて、その全周映像を視点方向に平面展開することにより、地図と映像の合成画像を生成・表示する全周ビデオ映像部１０を備えている（図１参照）。
全周映像の平面展開とは、全周映像を、通常の画像として遠近法的に表現するものである。ここで、「遠近法」と呼称するのは、全周画像のそのものはメルカトール図法や球面投影図法のように、遠近法とは異なる方法で表示されているので（図４参照）、これを平面展開表示することで、通常の遠近法映像に変換表示できるからである。

全周ビデオ映像部１０において全周映像を生成するには、まず、図２及び図３に示すように、全周ビデオカメラ１１を使用して、ＣＶ値データを取得する目的で、走行車輌等の移動体１１ａに固定された全周ビデオカメラ１１で、移動体１１ａの移動とともに移動体周辺を撮影する。
なお、移動体１１ａには、その位置座標を取得する目的で、例えば、絶対座標を取得するＧＰＳ機器単独やＩＭＵ機器を付加したもの等により構成した位置計測機器等を備えることができる。
また、移動体１１ａに搭載される全周ビデオカメラ１１としては、広範囲映像を撮影，取得するカメラであればどのような構成であってもよく、例えば、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等がある。本実施形態では、図２及び図３に示すように、車輌に複数のカメラが一体的に固定され、移動体１１ａの移動に伴って広範囲映像を撮影する全周ビデオカメラ１１を使用している。

そして、以上のような全周ビデオカメラ１１によれば、図３に示すように、移動体１１ａの天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体１１ａが移動することで、広範囲映像を動画データとして取得できる。
ここで、全周ビデオカメラ１１は、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。
また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。

なお、全周ビデオカメラ１１で撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。
仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図４（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。

そして、以上のように生成・取得された全周ビデオ映像が、ＣＶ演算部２０に入力されてＣＶ値データが求められる（図１参照）。
ＣＶ演算部２０では、まず、特徴点抽出部２１が、全周ビデオ映像部１０の全周ビデオカメラ１１で撮影されて一時記録された動画像データの中から、十分な数の特徴点（基準点）を自動抽出する。
特徴点対応処理部２２は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２３は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２４は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理し、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部２５は、カメラベクトル演算部２３で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２６は、三次元情報追跡部２５で得られた追跡データに基づいて、カメラベクトル演算部２３で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが、後述する新旧映像座標統合装置１００に入力され、新旧映像の座標統合処理に利用されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１に示す本実施形態のＣＶ演算部２０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

カメラベクトルとは、カメラの持つ自由度のベクトルである。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトルの検出とは、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、ＣＶ演算部２０における具体的なカメラベクトルの検出方法について、図５以下を参照しつつ説明する。
まず、上述した全周カメラ映像部１０の全周ビデオカメラ１１で取得された画像データは、間接に又は直接に、ＣＶ演算部２０の特徴点抽出部２１に入力され、特徴点抽出部２１で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２２で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部２３で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図７に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図７に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いており、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図７は、ＣＶ演算部２０における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部２４では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図９〜図１１に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、ＣＶ演算部２０におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶ演算部２０では、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返すことができる。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２５で、カメラベクトル演算部２３，誤差最小化部２４を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２５で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部２６においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部２１及び特徴点対応処理部２２では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

以上のようにして求められたカメラベクトルは、全周ビデオカメラ１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１３に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図１３に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１３に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。

［新旧映像座標統合装置］
次に、以上のようにして求められたＣＶ値に基づいて新旧映像の座標統合処理を行う本発明に係る新旧映像座標統合装置の実施形態について、図面を参照しつつ具体的に説明する。
なお、以下に示す新旧映像座標統合装置において、新旧映像と表現する場合、時間的に新映像が時刻的に新しい映像であり、旧映像が旧い映像であるという意味ではない。ＣＶ値が既知の映像が、旧映像であり基準映像となるものであり、基準映像に比較されてＣＶ値が取得される映像が、新映像であり比較映像となるものである。

［第一実施形態］
まず、図１４〜図１６を参照して、本発明の第一実施形態に係る新旧映像座標統合装置について説明する。
図１４は、本発明の第一実施形態に係る新旧映像座標統合装置の基本構成を示すブロック図である。また、図１５及び図１６は、図１４に示す新旧映像座標統合装置の詳細を示すブロック図である。
図１４に示すように、本実施形態に係る新旧映像座標統合装置１００は、新映像を旧映像の座標に統合するための装置であり、具体的には、基準映像部１０１と、ＣＶ付加部と、三次元基準点指定部１０３と、比較映像部１０４と、初期位置設定部１０５と、基準点対応部１０６と、対応基準点追跡部１０７と、ＣＶ取得部１０８と、座標統合部１０９を備えている。

基準映像部１０１は、撮影した動画映像からなる旧映像を基準映像として保持する。
ＣＶ付加部１０２は、基準映像部１０１から入力される基準映像に対して、上述したＣＶ演算を行い、ＣＶ値（カメラ位置と姿勢の三次元値）を付加する。すなわち、ＣＶ付加部１０２は、図１に示したＣＶ演算部２０として機能する。
三次元基準点指定部１０３は、ＣＶ付加部１０２でＣＶ値が付加された基準映像の中に、自動又は手動で任意の基準点を指定し、付加されたＣＶ値に基づいて、指定された任意の基準点の三次元座標を取得する。

比較映像部１０４は、基準映像部１０１に保持されている基準映像と比較すべき、動画映像からなる新映像を比較映像として保持する。
初期位置設定部１０５は、基準映像と比較映像との中の共通地点の対応関係を自動又は手動で初期設定する。
基準点対応部１０５は、初期位置設定部１０５で初期設定されたフレームから開始する動画像の各フレームに亘って、三次元基準点指定部１０３で指定された基準映像の中の三次元基準点に対応する部分を、比較画像の中に自動的に対応付け、各フレームに亘って対応基準点を探索し続ける。
対応基準点追跡部１０７は、基準点対応部１０５で対応付けられた対応基準点を、比較映像の進行する各フレームに亘って追跡する。

ＣＶ取得部１０８は、対応基準点の対応結果により、基準画像の三次元基準点の三次元座標が、比較画像の対応基準点に移植され、その結果から初期設定部の比較画像のＣＶ値を、上述したＣＶ演算によって求め、追跡により各フレームに亘ってＣＶ値を求める。すなわち、ＣＶ取得部１０８では、基準点対応部１０６と対応基準点追跡部１０７により、基準映像と比較映像との対応がついたことで、基準映像の基準点の三次元座標が比較映像に移植されたことになり、それが三点以上有れば、比較映像のカメラ位置と姿勢が求められ、ＣＶ値を取得することができる。
座標統合部１０９は、ＣＶ付加部１０２でＣＶ値が付加された基準映像と、ＣＶ取得部１０８でＣＶ値が求められた比較映像とを、同一の座標系に座標統合させる。

［座標統合処理］
以下、新旧映像をそれぞれ比較映像，基準画像として、新旧映像座標統合装置１００における座標統合処理（座標統合方法）について、具体的に説明する。
まず、新旧映像座標統合装置１００のシステム全体の効率化を考慮すれば、前もって演算可能な基準映像（旧映像）側に負担を与えたとしても、リアルタイム処理を行う比較映像（新映像）側の演算の負担を軽くする必要がある。
そこで、比較映像部１０４，初期位置設定部１０５及び基準対応部１０６によるリアルタイム演算が可能となるように、前もって演算可能な部分については、可能な限り基準画像側での演算として予め処理を行っておくことが好ましい。
例えば、基準映像部１０１は、前もって撮影した映像とすることが好ましい。同様に、ＣＶ付加部１０８は、前もって基準映像についての必要なＣＶ演算を行っておくことが好ましい。

ＣＶ付加部１０８では、映像を取得したカメラの三次元位置と姿勢（ＣＶ値）が各画像フレーム毎に求められるが、その方法及び構成は、図１〜図１３で示したＣＶ演算部２０によるＣＶ演算とすることができる。なお、上述したＣＶ演算以外にも、三次元絶対座標を取得する高精度ＧＰＳや、三次元姿勢を検出するジャイロ、三次元位置とその姿勢を高精度に検出するＩＭＵ等によってもＣＶ値を取得することができ、あるいはそれらの各手段を組み合わせても良い。
同様に、三次元基準点指定部１０３により、前もって任意の基準点を指定して三次元座標を取得し、基準画像内に追跡しておくことが好ましい。

基準対応部１０６においては、両画像の対応基準点の対応関係を、全フレームに亘って探索することで、比較画像側に対応基準点の三次元座標の移植を行うことができ、これによって、比較画像について、各フレーム単位でＣＶ値が取得できることになる。
三角形の原理から、一枚のフレームに付き最低三点の三次元座標の移植が有れば、ＣＶ値は演算で求められる。
また、三次元基準点は三次元座標を持っており、比較映像のＣＶ値と同じＣＶ値に視点変更が可能であるから、基準映像と比較映像の対応が容易になる。

また、基準対応部１０６においては、全フレームではなく、断続的に代表フレームにおいて対応を取り、代表フレームの間の他のフレームについては、対応基準点を比較画像内で追跡した結果からＣＶ値をもとめることでもＣＶ値を取得することができる。
なお、全フレームによるＣＶ値取得と、対応基準点の追跡によるＣＶ値取得を組み合わせて、全フレームに亘り対応基準点を求めて、三次元座標の移植を行い、更に対応基準点の追跡結果からＣＶ値を求めることで、より精度の高いＣＶ値を取得することができる。

ここでは、基準点が二次元ではなく、三次元であることが重要である。前もって三次元座標の既知である複数点の基準点を用いて、前もって基準映像内に追跡しておき、その三次元形状を比較映像内に対応させることで、あるいは複数の基準点を基準映像と比較映像と両映像内で同時に追跡することで、両映像の三次元対応を取ることが可能となる。
そこで、本実施形態では、基準画像内に三次元基準点を設けること、比較画像と対応を取ること、及び比較画像の中に三次元基準点を追跡することを特徴としている。
ただし、三次元基準点を用いれば、三次元座標が移植されるので、比較映像側の１フレームについてのみでも、ＣＶ値を求めることができる。これは、複数のフレームに亘る追跡結果を必要とする図１で示したＣＶ演算部２０でのＣＶ演算の場合と比較して大きな差異となる。

なお、基準点対応部１０６における基準映像と比較映像の対応は、同一画像内での対応（追跡）よりもかなり困難であるという前提がある。
従って、基準点対応部１０６の処理において、対応点の取得に失敗するフレームが生じることも十分考えられる。また、三点以上の対応点が得られない場合も想定できる。そこで、基準対応部１０６は可能な限り対応点の取得を行い、対応に失敗するフレームが発生しても、その部分は比較画像側の追跡により比較画側だけでＣＶ値を求めることが実際的である。
この基準点対応部１０６における対応処理について、更に説明する。

［基準点対応処理］
以下、基準点対応部１０６における対応処理を、図１５及び図１６を参照しつつ、より具体的に説明する。
一般に、基準映像と比較映像とは、カメラが異なり、画質も異なり、撮影条件も異なるので、新旧両映像の対応関係を取ることは困難なものとなる。この点、従来の方法としては、三次元点を構成する微少領域のテクスチャをマッチングや相関で追跡する方法が行われていた。しかし、このような従来方法では、異種カメラ間のことなる画質の映像と、撮影条件の差異などにより、対応関係を正確に取ることはきわめて困難であった。

そこで、本実施形態では、新旧映像の対応について、従来の二次元小領域マッチングによらず、図１５及び図１６に示すような新しい方法により行うようにしてある。
図１５に示す新旧映像座標統合装置１００では、基準映像側の三次元基準点に対応して、比較映像側でも三次元対応基準点を対応させ、三次元座標を移植させて、ＣＶ演算する方法をとなっている。
また、図１６に示す新旧映像座標統合装置１００では、三次元形状が既知であることから、比較映像側での方向が規定され、その方向からＣＶ値を取得する方法となっている。

［三次元形状対応］
図１５に示す新旧映像座標統合装置１００では、図１４で示した基準点対応部１０６が三次元基準点形状対応部１０６ａを備えるとともに、対応基準点追跡部１０７が三次元基準点形状追跡部１０７ａを備えている。
三次元基準点形状対応部１０６ａは、基準点対応部１０６において、基準画像内の複数の三次元基準点から構成される三次元形状に着目し、比較映像内に、三次元基準点と同一座標を持つ三次元対応点が、その三次元形状に一致するようなＣＶ値を求めることで、三次元基準点の対応を求める。
また、三次元基準点形状追跡部１０７ａは、対応基準点追跡部１０７において、対応基準点を比較映像中の隣接する複数のフレームに亘り追跡することで、基準画像内の既知の三次元形状の三次元座標を比較映像中の追跡地点に直接移植する。

一般に、二次元画像においては、対応点は小領域の二次元画像であり、テクスチャを比較してマッチングや相関によりその対応点を求めるが、カメラも撮影条件も、画像解像度も異なる新旧映像においては、その比較がきわめて困難である。
そこで、図１５に示す新旧映像座標統合装置１００では、比較すべき基準点対応を二次元テクスチャではなく、三次元のテクスチャでもなく、画像内の三次元座標、すなわち三次元形状の三次元座標関係そのものとすることで、これらの新旧映像間で様々な物理的条件の違いがあっても比較が可能となるものである。

例えば、基準映像内に基準点４点で構成される四面体を考えると、これは比較映像内においても、画質の違いに関係なく比較映像内の三次元計測情報のみで同じ形状の四面体を探すことができる。
これは、三次元形状とその座標は、比較映像内のＣＶ値を仮定することにより比較映像内で取得することができ、しかも、画像としての対応ではなく、座標としての対応を求めることができることを意味する。従って、ここではカメラの違いによる画質には一切関係なく、撮影条件にも関係なく、また三次元形状はカメラからの距離によっても変化しないので、三次元基準点形状追跡部では、長距離の追跡が可能となり、精度上きわめて有利となる。

なお、この方法においても、突起物が各基準点となるような特有の三次元形状を探す必要があり、面の上に基準点をとっても三次元形状を構成できない。
本実施形態では、比較画像内でＣＶ値を変数として微小変化（視点変更を意味する）させながら、最適なＣＶ値を探索する。
ＣＶ値から演算で求める位置に存在するか否かを確認することを継続することで、正しいＣＶ値を求めることができる。あるいは基準映像側でCV値を変数として視点変更しながら探索することも可能である。
言い換えれば、基準映像側で視点変更をして比較映像に合わせるか、比較映像側で視点変更して比較映像に合わせるかは任意である。
さらには、両者とも視点変更をしないで、即ち三次元形状の見かけの形状を変更しないで、視点によっては変化しない三次元座標のみに着目して対応を取ることも可能である。

また、本実施形態では、複数のＣＶ値取得方法が併用可能であり、ＣＶ値の概略値取得と、それによる視点変更は十分可能であり、その近傍で精度の高いＣＶ値に漸近して求めることができる。
そして、ある一つの方法で三次元基準点の対応に失敗した場合は、他のＣＶ値取得方法によればよく、また、すべての対応に失敗しても、初期値設定からやり直すことで連続的にＣＶ値を求めることが可能となる。

［方向対応］
図１６に示す新旧映像座標統合装置１００では、図１４で示した基準点対応部１０６が基準点方向対応部１０６ｂを備えるとともに、対応基準点追跡部１０７が基準点方向追跡部１０７ｂを備えている。
基準点方向対応部１０６ｂは、基準点対応部１０６において、複数の三次元基準点のカメラ位置からの方位仰角に着目し、比較映像中の三次元対応点が、ＣＶ値を仮定した場合の演算で予想される方位仰角に存在することを確認することで、比較映像中の対応点を三次元基準点に対応させる。
基準点方向追跡部１０７ｂは、対応基準点追跡部１０７において、基準画像中の三次元基準点を、比較映像中に三次元座標が既知である三次元形状を構成する各点の方向として、隣接する複数のフレームに亘り追跡する。

図１６に示す新旧映像座標統合装置１００では、基準映像中の基準点としては、三次元座標が既知の点である三次元基準点を用いるが、比較映像側での、対応点は形状ではなく、その方向だけを取得し、ＣＶ値を仮定した場合の演算で予想できる基準点の三次元座標のカメラからの視点方向と比較することができる。
すなわち、三次元座標が既知である基準点の、比較映像内での方向が取得できれば、その方向に対応するＣＶ値を演算で求めることができる。
以上のように、基準点対応部１０６における対応方法と対応基準点追跡部１０７における追跡方法について、種々の方法を述べたが、これらは任意に組み合わせたり併用することができ、映像の性質によって使い分けることにより、どのような条件の映像に関しても、容易かつ正確，迅速にＣＶ値を取得することができる。

［第二実施形態］
次に、図１７を参照して、本発明の第二実施形態に係る新旧映像座標統合装置について説明する。
図１７は、本発明の第二実施形態に係る新旧映像座標統合装置の基本構成を示すブロック図である。
同図に示すように、本実施形態に係る新旧映像座標統合装置１００は、上述した第一実施形態の新旧映像座標統合装置１００（図１４参照）の変更実施形態である。
具体的には、図１７に示すように、第一実施形態の新旧映像座標統合装置１００構成に、さらに、概略基準空間構成部１１０と、概略ＣＶ取得部１１１と、概略比較空間構成部１１２と、ＣＶキャリブレーション部１１３と、空間対応部１１４の各部を備えている。

新旧映像の統合処理にいて、基準映像と比較映像をそれぞれ独立に扱い、それぞれ単独に特徴点抽出し、追跡し、ＣＶ演算して、座標統合することは可能である。
しかし、比較映像におけるＣＶ演算を基準映像と同程度の精度で行うには、演算時間がかかり過ぎてしまいリアルタイム演算は困難となる。
一方、比較映像についてＣＶ演算で求められるＣＶ値は、一般に相対値となり、基準映像と同一座標系に変換してからでなければ基準映像のＣＶ値と統合することはできない。
そこで、本実施形態では、上述した第一実施形態の新旧映像座標統合装置１００に、一部、比較映像側にもＣＶ演算方式を取り入れて、演算精度を向上させつつ演算時間を短縮化するようにしてある。
また、比較映像側で特徴点を検出して追跡し、その追跡した二次元データからＣＶ演算することにより、特徴点の三次元分布図を構築することができるようになる。

具体的には、図１７に示すように、まず、概略基準空間構成部１１０は、基準映像に関して、ＣＶ付加部１０２で取得されたＣＶ値から、基準映像の概略三次元空間を生成する。
一方、概略ＣＶ取得部１１１は、比較映像に関して、基準映像とは無関係に、比較映像側で特徴点を検出して追跡し、単独でＣＶ演算を行い、新映像（比較映像）を取得したカメラの位置と姿勢を示す概略のＣＶ値を取得する。

概略比較空間構成部１１２は、概略ＣＶ取得部１１１で取得した概略ＣＶ値等から比較映像の概略比較空間を生成する。
ＣＶキャリブレーション部１１３は、比較映像の相対ＣＶ値を、基準点対応部１０６及び対応基準点追跡部１０７で得られたＣＶ値により校正して、基準映像の座標系に変換する。
空間対応部１１４は、基準映像の概略三次元空間と比較映像の概略三次元空間を比較して対応付け、それぞれの空間を概略合致させて、基準点対応部１０６における対応領域を絞り込む。

基本映像と比較映像は元々同一空間の近い位置から成り立っており、カメラ位置が多少異なることによる多少の視点の差があるだけである。
本実施形態の概略基準空間構成部１１０においては、基準映像の概略三次元形状が生成されるが、ＣＶ値を用いた視点の微少変更によって生成した二次元映像により、空間対応部１１４により比較画像映像と概略比較することができる。
また、ＣＶ値を求める際に取得した多くの特徴点の三次元座標により、概略基準空間構成部１１０と、概略比較空間構成部１１２と、その分布から概略空間を空間対応部１１４で比較することが可能になる。

また、基準映像も比較映像も、演算過程でそれぞれ多くの特徴点が検出され、更にそれらが追跡されることにより、多くの三次元化された特徴点が求められている。従って、これら三次元化された特徴点の三次元分布を生成して、空間対応部１１４において、それぞれの空間の三次元形状を比較し、それぞれの空間が合致する位置を探すことで、それぞれの映像の概略比較ができることになる。
すなわち、概略位置関係を求めることができる。

一方、第一実施形態で示したように、新旧映像座標統合装置１００では、比較映像中に三次元基準点を追跡することで、そのまま三次元座標を移植できるので、旧映像内の基準点に対する新映像内の対応点は直接三次元座標として求まり、そのまま基準映像と座標統合が可能である。
そこで、本実施形態では、演算時間に関して高速化が期待できる第一実施形態の新旧映像座標統合装置１００について、特徴点方式のＣＶ演算を比較映像側に併用することで、高速化を図りつつＣＶ演算をキャリブレーションすることができる。
また、特徴点追跡方式のＣＶ演算と三次元点追跡のＣＶ演算とを併用する場合は、三次元点追跡は、必ずしも全フレームに亘って行わなくても良く、キャリブレーションが必要な必要部分のフレームだけでも良いことになり、より高速で効率の良い演算処理が可能となる。
このようにして、本実施形態によれば、画像の性質等に応じて、第一実施形態の方法と本実施形態の方法とを使い分けることで、より精度良くＣＶ値を求めることができるようになる。

［ＣＧ三次元地図］
なお、以上説明した第二実施形態（及び第一実施形態）に係る新旧映像座標統合装置１００においては、基準映像を実写映像、又は実写映像にＣＧを合成した映像として説明したが、基準映像をＣＧのみで構成したＣＧ三次元地図や、映像から生成され図化された実写映像を含まないＣＧ三次元地図、又は測量により生成されたＣＧ三次元地図であっても、実写映像の場合と基本的に同様に処理することができる。すなわち、本発明における基準映像（旧映像）にはＣＧ映像を含むと解釈できる。
実写映像と比較して、ＣＧ映像はＣＶ値を自由に選択し、視点を自由に選択できることが特徴であるが、実写映像であっても、三次元基準点に関しては、ＣＶ値は自由に選択可能であり、その結果、視点を自由に選択できることになるから、基準画像は実写映像であってもＣＧ映像であっても同様に取り扱うことができる。

基準映像としてＣＧ映像を取り扱う場合には、図１７に示した基準映像部１０１において、基準映像を、ＣＧのみで構成したＣＧ三次元地図、又は実写映像から生成された実写映像を含まない図化されたＣＧ三次元地図、又は測量により生成されたＣＧ三次元地図等とし、ＣＶ付加部１０２において、ＣＧ三次元地図のＣＶ値を比較画像の概略ＣＶ値近傍に設定することができる。
空間対応部１１４では、映像全体の対応を求め、基準対応部１０６では、部分の詳細対応を求めることができる。

このようにすると、特に、ＣＧ映像全体を自由に視点移動が可能であることから、概略基準空間構成部１０３を省略して、空間対応部１１４において、直接的に比較映像との対応が取ることが可能であり、基準点対応部１０６が空間対応部１１４を兼ねることになる。
また、基準映像がＣＧ映像であるが故に、更なるＣＧとの合成の意味はなくなり、後述するＣＧ合成装置（図１８参照）は省略できることなる。

［応用例］
以上説明した本発明に係る新旧映像座標統合は、様々な意味を持ち、様々な装置に発展させることができる。
まず、本発明を直接的に利用した技術としては、ＣＶ値を持つ旧映像と未だＣＶ値を持たない新映像とを比較して、新映像に旧映像と同じ座標系のＣＶ値を与えることである。
これは新旧映像の画像更新の意味を持つ。

次の発展形の技術としては、自動運転や自動案内装置等における案内用地図としてＣＶ映像（全フレームにカメラ位置と姿勢を示すＣＶデータを付加した映像）を用いる場合に、案内用の地図が旧映像とそのＣＶ値であり、車両に積載したカメラからリアルタイムで取り込んだ映像を新映像と座標統合させる場合がある。
リアルタイムで取り込んだ映像は、本発明の新旧映像座標統合装置により、直ちにリアルタイムでＣＶ値が求められる。すなわち、リアルタイムで自車両の三次元位置と姿勢が取得できることになる。
また、自動案内装置や自動運転装置等における案内地図としての旧映像のＣＶ地図を、新しい新映像ＣＶ地図に更新することは上述した通りであり、本発明をそのまま映像更新装置として実現することができる。

さらに発展的な技術として、三次元形状の対応により新映像のＣＶ値が求められ、それがＣＧによる映像でも可能となることから、旧映像としてＣＧを配列した三次元空間を採用し、新映像として実写映像又はＣＧ映像を採用することによっても、新旧対応の座標統合装置を構築できる点である。
特に、現実の対象物，風景等を測量して三次元化した三次元地図があれば、その三次元地図そのものや、あるいは三次元地図内にある対象物を、旧画像の三次元基準点として用いることができる。三次元地図においてはＣＶ値を自由に取れることから、新旧映像の比較対応は容易になる。

以上のように、本発明の新旧映像座標統合装置においては、基準となる旧映像のＣＶ値を前もって精度良く求めておけば、新映像のＣＶ値がリアルタイムで、しかも旧映像と同程度の精度で取得できることになる。
従って、リアルタイムＧＰＳの精度を大きく超える高精度でカメラ位置を取得できることになる。
この技術は、今後、自動運転や自動案内装置における位置特定技術等としてきわめて有効である。
以下、本発明の新旧映像座標統合装置を用いた具体的な実施例として、自動案内装置と自動追跡移動撮影装置について、図面を参照して説明する。

［自動案内装置］
まず、本発明の新旧映像座標統合装置を利用した自動案内装置について説明する。
図１８は、上述した本発明の第二実施形態に係る新旧映像座標統合装置１００（図１７参照）を用いた自動案内装置の実施形態の基本構成を示すブロック図である。
図１９〜図２２は、ぞれぞれ、図１８に示す自動案内装置で生成される座標統合された新旧映像の一例を示す説明図である。

車両自動案内装置は、自動車等の車両に搭載され、その出力を運転者が観察して車両をコントロールするものであるが、基本的には運転者のいない車両自動運転装置と同じであり、車両自動案内装置の出力を制御系に送り車両を直接制御すれば車両自動運転装置となる。
また、車両案内装置は航空機に搭載され、地上の目標とする対象物の映像を取得しながら目的のコースを飛行するように自動案内するものであるが、車両案内装置の出力を制御系に送れば航空機の自動運転装置となる。

図１８に示す自動案内装置１００Ａは、上述した第二実施形態で示した基準映像部１０１，ＣＶ付加部１０２，概略基準空間構成部１１０，三次元基準点指定部１０３を車両自動案内装置用の車載の三次元地図１０１Ａとしている。
車両にはビデオカメラからなる車載カメラ部１１５が積載されており、比較映像を車載カメラから取得してリアルタイム映像とする。
また、初期位置設定部１０５は、ＧＰＳ等から概略位置を取得して、車載三次元地図との対応を取り、三次元地図との対応を取ることができる。

そして、自動案内装置１００Ａは、第二実施形態で示した本発明の新旧映像座標統合装置１００に、自車両位置検出部１１６と表示部１１７が付加されることで成立する。なお、自動案内装置１００Ａには、さらに、図示しない属性検索部や障害物検出部等の必要な機能を付加することができる。
自車両位置検出部１１６は、比較映像部１０４のＣＶ取得部１０８から、座標統合時の車両位置を取得する。
表示部１１７は、車載三次元地図を表示し、その中に自車両位置をＣＧ等で重ね表示することができる。

車両案内装置や自動運転装置の場合、標識や道路表示が既に認識されてＣＧ化されて、地図に合成されていることが好都合である。
そこで、三次元地図の中に合成されているＣＧそのものを三次元基準点の一つとすることができる。
図１８に示すように、ＣＧデータベース部１２０には、道路標識や道路標示，行き先表示板等の車両運行に必要な設置物のＣＧがデータベースとして保存され、ＣＧ合成部１２１で所定の位置に映像と合成され、三次元地図が構成される。
また、実写映像にＣＧが合成されていることから、基準点として、ＣＧ又はＣＧを構成している特徴点の三次元座標を、三次元基準点として利用することもできる。すなわち、ＣＧは三次元座標を持つ形状そのものであることから、三次元基準点そのものであるといえる。

図１９〜図２１に、実写映像を基準映像した場合の自動案内装置１００Ａにおける表示例を示す。
同図には、車載カメラで取得された実写リアルタイム映像と、三次元地図映像を示している。
ここでは、三次元地図映像が基準映像であり、リアルタイム映像が比較映像である。また、同図に示すように、三次元地図の中には、ＣＧで自車両位置を表示してある。

図１９は、三次元地図（基準画像）で言えば地図表示のための仮想カメラ地点の後方を見て、車両で言えば進行方向前方から振り返って、車両を三次元地図上に表示したものである。また、並列表示したリアルタイム映像は自車両に積載したカメラから取得した比較映像であることは既に明確である。
図２０は、三次元地図（基準画像）の地図表示のための仮想カメラ地点から前方を見て、車両で言えば車両後方から前方の自車両三次元地図上に自車両を表示したものである。ここで仮想カメラ地点とは、三次元地図においては仮想カメラ地点をカメラ位置とした映像を表示することを意味している。
また、図２１は、三次元地図における先の交差点の横方向から、当該車両を表示したものである。図では見やすい位置とするために、交差点の真ん中付近まで進んだ車両を表記している。

図２２（ａ）は、三次元地図とリアルタイム映像における三次元基準点の対応関係を示すものであり、三次元地図内で検出された三次元特徴点を、リアルタイム映像の中に探し出すことを模式的に示している。
三次元地図上の三次元基準点を「●」で示してあるが、それぞれが作る関係が三次元形状となる。
図２２（ｂ）に示すように、三次元形状は図中の実線で結んだ狭い範囲の形でも定義できるが、点線で結んだ点の分布そのものも三次元形状であり、その両方を三次元地図とリアルタイム映像の対応に利用することができる。

［自動追跡移動撮影装置］
次に、本発明の新旧映像座標統合装置を用いた具体的な実施例として、自動追跡移動撮影装置について説明する。
図２３は、上述した第二実施形態に係る新旧映像座標統合装置（図１７参照）を用いた自動追跡移動撮影装置の実施形態の基本構成を示すブロック図である。

自動追跡移動撮影装置１００Ｂは、車載したカメラ（車載カメラ部１１５）により、三次元地図に記載された様々な対象物を監視する都合上、当該管理物件を現地で自動的に確認する作業のためのものである。
あるいは、自動追跡移動撮影装置１００Ｂは、航空機に搭載したカメラ（車載カメラ部１１５）により、地上の監視対象物を自動的に撮影して、監視作業するためのものである。
すなわち、管理上必要な対象物を自動的に撮影して検査し、現地と三次元地図と一致しているか、あるいは拡大撮影し、破損がないか等を自動的に確認する作業を目的とした装置である。
これは、三次元地図が実用化された場合に、例えば、交通標識や看板，道路標示，ビルの看板，コンビニ看板等を更新するために必要な技術である。

以下、図２３を参照して具体的に説明する。
自動追跡移動撮影装置１００Ｂは、まず、撮影プログラム部１３０において、三次元地図に記載された管理対象物を前もって、プログラムされた順番に従い、又は現地での設定に従い、道順等に従って撮影対象を撮影するようにプログラム制御される。
撮影対象の三次元座標は三次元地図部１０１Ａから取得しておく。

具体的には、予め、三次元地図に記載されている多くの対象物の中から、目的の対象物をマウスクリック等で指定して置く。
これは、三次元地図の中の対象物をマウスでクリックするだけでも可能であるし、管理対象物が、例えば信号機であれば、全信号機を三次元地図から読み出し、自動的に管理データを生成することも可能である。
また、このとき、車両の運転者は、指定された道順を走行すればよいし、もし自動運転装置であれば、自動運転に任せておけばよい。いずれの場合にも、オペレータが撮影作業に係わらなくても自動的に対象物を探して撮影することができるシステムとなる。

次に、対象物選択指定部１３１においては、車両走行にともない撮影する対象物の一個が自動的に指定される。
対象物座標取得部１３２においては、そのときの対処物の三次元座標を三次元地図から取得する。
既設対象物確認部１３３においては、対象物の三次元座標に、実際に対象物が存在するか否かを確認する。この場合、指定された座標に何らかの物体があるか否か、その後にその物体が対象物そのものであるか否か、を確認することになるが、後者は最終的にオフラインで確認することでも目的は達せられるので、一般には、リアルタイム処理としては前者のみで十分と考えられる。
また、その三次元座標の部分に当該対象物が存在するか否かを自動案内装置の基準点対応部１０６により確認することができる。

新規対象物検出部１３４においては、三次元地図には記載されていない対象物が存在する場合もあるので、そのような場合に新たな対象物を検出することができる。
なお、探索する対象物の属性が分かっている場合は、分かっている範囲の条件で、新規対象物を絞り込み、探し出す。これは上述した自動案内装置の機能を使って検索することが適切である。

カメラコントロール部１３５においては、対象物の一つが選択され、その座標が明らかになったことで、車両積載カメラを目的対象物の方向に向けることができる。カメラ方向や対処物までの距離，画角（ズーム）等を移動する車両の座標との関係を考慮して、自動的にコントロールすることができる。
ここで、対象物を大きく捉えるためにカメラの画角は狭角とすることが多いので、同一地点近傍で捉える対象物が多い場合は、一台のカメラだけで視点方向を変えながらすべての対象物を捉えることが困難となる場合も想定される。その場合には複数台のカメラを設置した車載カメラ部と、複数台に対応するカメラコントロール部とすることが好ましい。
なお、車両に積載したカメラにより、自車両位置と姿勢をリアルタイムで検出できることは上述したとおりであり、従って、ここでは、上述した自動案内装置により車両位置を求めることが好適である。
対象物撮影部１３６においては、車両積載カメラにより、目的の対象物を予定の画角で撮影する。
さらに、対象物映像記録部１３７においては、対象物撮影部１３６で取得された目的対象物の映像を三次元地図の座標とともに記録することができる。

以上のようにして、自動追跡移動撮影装置１００Ｂでは、自車両位置と姿勢を特定するための機能としては、図１８で示した自動案内装置１００Ａをそのまま使用し、そこに対象物の追跡移動撮影機能を追加して、自動追跡移動撮影装置１００Ｂを実現している。
また、自動追跡移動撮影装置１００Ｂにおいては、移動する車両に、車載カメラ部１１５におけるカメラとは別に、対象物撮影用のビデオカメラ又はスチルカメラが積載される。
なお、カメラを含めて他の機能についても、対象物撮影用のカメラと本発明に係る座標統合処理用のカメラとは、共通部分が多いことから、両者のカメラ及び各部機能を共用し、一台のカメラで、しかも各部の機能を共有することも十分可能である。ここでは理解を容易にするために、目的別に専用カメラを設置し、各部も分離したものとして説明した。

以上、本発明の新旧映像座標統合装置について、好ましい実施形態を示して説明したが、本発明に係る新旧映像座標統合装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態においては、本発明の新旧映像座標統合装置の適用対象として、カーナビゲーション装置や歩行者ナビゲーション装置等を想定して説明したが、本発明に係る新旧映像の座標統合は、どのような装置やディスプレイにも応用できるものであり、その用途・使用方法等も特に限定されるものでないことは言うまでもない。

また、上述した自動運転や自動案内装置において、基準となる三次元地図として、前もってＣＶ値を高精度で求めておいた旧映像としてのＣＶ映像（全フレームにＣＶ値を持った動画映像）を用いて、車両積載のカメラから取り込んだリアルタイム映像を新映像として、本発明により座標統合を行うことで、自車両の位置を高精度に取得できることになる。勿論、実測により生成した三次元地図を基準としても同様となる。

また、本発明によれば、位置精度としては、リアルタイムＧＰＳの百倍以上の位置精度を持つことが期待できることから、ＧＰＳを本発明における概略位置設定手段として利用することもできる。
また、上述したように、三次元地図を更新する場合にも、本発明の新旧映像座標統合装置は効果的に用いられ、映像から地図を生成する際の更新にも当然利用することができる。
さらに、本発明によれば、ＧＰＳを用いないでも高精度の位置座標を取得できることから、高精度ナビゲーション技術への利用も期待できる。

本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備える地図や映像を表示・更新するための映像装置として好適に利用することができる。

本発明の新旧映像座標統合装置のＣＶ付加部，ＣＶ取得部として機能するＣＶ演算部の一実施形態の基本構成を示すブロック図である。図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。図１に示すＣＶ演算部で使用する全周ビデオ映像を撮影する手段を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。本発明の一実施形態に係るＣＶ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部における具体的なカメラベクトルの検出方法を示す説明図である。本発明の一実施形態に係るＣＶ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。本発明の一実施形態に係るＣＶ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。本発明の第一実施形態に係る新旧映像座標統合装置の基本構成を示すブロック図である。図１４に示す新旧映像座標統合装置の基準点対応部の詳細を示すブロック図である。図１４に示す新旧映像座標統合装置の基準点対応部の詳細を示すブロック図である。本発明の第二実施形態に係る新旧映像座標統合装置の基本構成を示すブロック図である。図１７に示す新旧映像座標統合装置を用いた自動案内装置の実施形態の基本構成を示すブロック図である。図１８に示す自動案内装置で生成される座標統合された新旧映像の一例を示す説明図である。図１８に示す自動案内装置で生成される座標統合された新旧映像の一例を示す説明図である。図１８に示す自動案内装置で生成される座標統合された新旧映像の一例を示す説明図である。図１８に示す自動案内装置において座標統合される新旧映像の対応する基準点の関係を示す説明図である。図１７に示す新旧映像座標統合装置を用いた自動追跡移動撮影装置の実施形態の基本構成を示すブロック図である。

符号の説明

２０ＣＶ演算部
１００新旧映像座標統合装置
１０１基準映像部
１０２ＣＶ付加部
１０３三次元基準点指定部
１０４比較映像部
１０５初期位置設定部
１０６基準点対応部
１０７対応基準点追跡部
１０８ＣＶ取得部
１０９座標統合部

Claims

撮影した動画映像からなる旧映像を基準映像として保持する基準映像部と、
前記基準映像に、カメラ位置と姿勢の三次元値を示すＣＶ値を付加するＣＶ付加部と、
前記基準映像の中に基準点を指定し、前記ＣＶ付加部で付加されたＣＶ値から当該基準点の三次元座標を取得する三次元基準点指定部と、
前記基準映像と比較すべき、動画映像からなる新映像を比較映像として保持する比較映像部と、
前記基準映像と比較映像との中の共通地点の対応関係を初期設定する初期位置設定部と、
初期設定されたフレームから開始する動画像の各フレームに亘って、前記基準映像の中の前記三次元基準点に対応する部分を比較映像の中に自動的に対応付けて、各フレームに亘って対応基準点を探索し続ける基準点対応部と、
前記対応基準点を比較映像の進行する各フレームに亘って追跡する対応基準点追跡部と、
前記対応基準点の対応結果により、前記基準画像の三次元基準点の三次元座標を前記比較映像の対応基準点に移植して、前記初期位置設定部で初期設定された前記比較画像のＣＶ値を演算で求めるとともに、追跡により各フレームに亘ってＣＶ値をもとめるＣＶ取得部と、
前記基準映像と同一の座標系に前記比較映像を座標統合させる座標統合部と、
を備え、
前記基準点対応部が、
基準映像内の複数の三次元基準点から構成される三次元形状に着目し、前記比較映像内に、前記三次元基準点と同一座標を持つ三次元対応点が、前記三次元形状に一致するようなＣＶ値を求めることにより、当該三次元基準点と比較映像内の対応基準点との対応を求める三次元基準点形状対応部を備えるとともに、
前記対応基準点追跡部が、
前記対応基準点を比較映像中の隣接する複数のフレームに亘り追跡し、前記基準映像内の既知の三次元形状の三次元座標を前記比較映像中の追跡地点に移植する三次元基準点形状追跡部を備えることを特徴とする新旧映像座標統合装置。
撮影した動画映像からなる旧映像を基準映像として保持する基準映像部と、
前記基準映像に、カメラ位置と姿勢の三次元値を示すＣＶ値を付加するＣＶ付加部と、
前記基準映像の中に基準点を指定し、前記ＣＶ付加部で付加されたＣＶ値から当該基準点の三次元座標を取得する三次元基準点指定部と、
前記基準映像と比較すべき、動画映像からなる新映像を比較映像として保持する比較映像部と、
前記基準映像と比較映像との中の共通地点の対応関係を初期設定する初期位置設定部と、
初期設定されたフレームから開始する動画像の各フレームに亘って、前記基準映像の中の前記三次元基準点に対応する部分を比較映像の中に自動的に対応付けて、各フレームに亘って対応基準点を探索し続ける基準点対応部と、
前記対応基準点を比較映像の進行する各フレームに亘って追跡する対応基準点追跡部と、
前記対応基準点の対応結果により、前記基準画像の三次元基準点の三次元座標を前記比較映像の対応基準点に移植して、前記初期位置設定部で初期設定された前記比較画像のＣＶ値を演算で求めるとともに、追跡により各フレームに亘ってＣＶ値をもとめるＣＶ取得部と、
前記基準映像と同一の座標系に前記比較映像を座標統合させる座標統合部と、
を備え、
前記基準点対応部が、
前記基準映像内の複数の三次元基準点のカメラ位置からの方位仰角に着目し、前記比較映像中の三次元対応点が、ＣＶ値を仮定した場合の演算で予想される方位仰角に存在することを確認することで、当該三次元対応点を前記三次元基準点に対応させる基準点方向対応部を備えるとともに、
前記対応基準点追跡部が、
前記基準映像中の前記三次元基準点を、比較映像中に三次元座標が既知である三次元形状を構成する各点の方向として隣接する複数のフレームに亘り追跡する基準点方向追跡部を備えることを特徴とする新旧映像座標統合装置。
前記基準映像について、前記ＣＶ付加部で取得されたＣＶ値から、当該基準映像の概略三次元空間を生成する概略基準空間構成部と、
前記比較映像について、前記基準映像とは無関係に、当該比較映像側で特徴点を検出して追跡し、単独でＣＶ演算を行い、当該比較映像を取得したカメラの位置と姿勢を示す概略ＣＶ値を取得する概略ＣＶ取得部と、
前記概略ＣＶ取得部で取得された概略ＣＶ値から比較映像の概略比較空間を生成する概略比較空間構成部と、
前記基準対応部及び前記対応基準点追跡部で得られたＣＶ値により、前記概略ＣＶ取得部で取得されたＣＶ値を校正し、前記基準映像の座標系に変換するＣＶキャリブレーション部と、
前記基準映像の概略三次元空間と前記比較映像の概略三次元空間とを比較して対応付け、それぞれの空間を合致させて、前記基準点対応部における対応領域を絞り込む空間対応部と、
を備える請求項１又は２記載の新旧映像座標統合装置。
前記基準映像部が、
前記基準映像として、ＣＧのみで構成されたＣＧ三次元地図、又は映像から生成されて地図化された実写映像を含まないＣＧ三次元地図、又は測量により生成されたＣＧ三次元地図を保持し、
前記ＣＶ付加部が、前記ＣＧ三次元地図のＣＶ値を、前記比較画像の概略ＣＶ値近傍に設定し、
前記空間対応部が、映像全体の対応を求めるとともに、
前記基準対応部が、映像中の所定部分の詳細対応を求める請求項３記載の新旧映像座標統合装置。