JP5309291B2 - 撮影位置解析方法 - Google Patents

Description

本発明は、移動しながら撮影された動画その他の複数フレームからなる画像に対し、各フレームの撮影位置を解析する技術に関する。

車両に搭載したビデオカメラで撮影した画像の利用に関し、種々の提案がなされている。例えば、これらの画像から得られる情報は、街中の様子などをコンピュータグラフィックスを活用した３次元画像で再現した３次元地図を提供するための電子地図データの生成に活用することができる。また、特開平７−３７０６５号公報（以下、「特許文献１」という）は、ビデオカメラで撮影した各フレームの画像を合成し、１枚の広領域の画像を生成することで、鉄道の線路や送電線の状態監視に活用する技術を開示している。

上述した目的等に対し、ビデオカメラで撮影した画像を活用するためには、各フレームの画像を撮影した位置、例えば緯度経度など、を精度良く検出しておく必要がある。この点に関し、特許第２６８７６４５号公報（以下、「特許文献２」という。）、特開平７−７１９７３号公報（以下、「特許文献３」という。）は、通行帯の区画線として設けられた断続白線の数や、ガードレールの支柱の数など、既知の距離を利用して車両の進行方向の位置を特定する技術を開示している。また、位置の検出に、ＧＰＳ（Global Positioning System）やジャイロ等その他の方向センサを併用する技術も提案されている。

特開平７−３７０６５号公報 特許第２６８７６４５号公報 特開平７−７１９７３号公報

しかし、従来技術では、画像の撮影位置の精度が必ずしも十分とは言えなかった。撮影地点は、緯度経度など、少なくとも２次元の座標値で位置を特定する必要がある。特許文献２，３記載の技術は、車両の進行方向の位置精度の向上を図ることは可能であるが、進行方向に交差する方向については十分な検討がなされてはいなかった。また、ＧＰＳで検出された位置は、数十ｍ程度の誤差が含まれているため、画像データを用いた種々の解析に用いるのに十分な精度とは言えない。ジャイロ等を用いて検出された位置も同様である。

更に、ＧＰＳでは時刻にも誤差が含まれているため、位置検出誤差をどれだけ向上させたとしても、撮影した画像との完全な同期を取ることができず、結果として撮影時の位置を十分な精度で特定できないという課題がある。つまり、ＧＰＳである時刻に特定された位置は、その時刻とは異なる時刻における位置を表している可能性があるのである。従って、移動しながらＧＰＳで位置を検出すると、どれだけＧＰＳの位置検出精度が向上したとしても、得られる情報は、撮影位置を十分な精度で表すものとはならないのである。

撮影位置の精度が低い画像では、画像自体の解像度を向上したとしても、画像データの解像度を十分に活かした解析を行うことができない。例えば、撮影位置が不正確であれば、画像に写されている道路標識、道路上の表示、建物などの形状、位置を精度良く特定し、地図データに反映させることができない。また、特許文献１記載の技術のように画像を合成する場合、位置精度が不十分では複数のフレーム画像間にずれが生じ、原画像の解像度を十分に活かした高精細な合成画像を得ることができない。

かかる課題は、車両に搭載して画像を撮影した時に限られるものではなく、歩行しながら撮影した画像など、移動しながら撮影した画像一般について同様に生じ得る。また、動画に限らず、異なる複数地点で撮影された静止画についても同様に生じ得る。本発明は、こうした課題に鑑み、移動しながら撮影された複数フレームからなる画像に関し、各フレームの撮影位置を精度良く特定することを目的とする。

本発明は、複数フレームからなる画像について、各フレームの撮影位置を解析する撮影位置解析装置（以下、単に「解析装置」と呼ぶこともある）として構成することができる。撮影位置解析装置は、地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミングで撮影された画像を処理対象とする。かかる画像としては、例えば、一定の姿勢角で撮影装置を固定した車両で移動しながら撮影した動画像が挙げられる。ほぼ一定の姿勢角に保持可能であれば歩行しながら撮影したものであってもよい。また、動画像である必要はなく、複数の位置で撮影された静止画像を用いることもできる。画像の各フレームには直前直後の少なくとも一方のフレームと共通して撮影された所定の連続体が含まれている。この連続体は、処理対象となる全フレームに共通のものである必要はない。連続体としては、道路上の通行帯の区画線などが挙げられる。

解析装置は、上述した複数フレームからなる画像データを入力する。また、解析の初期値として撮影時の移動の初期軌跡を入力する。画像がこの初期軌跡上を移動しながら撮影されたものと仮定すれば、各フレームの画像は初期軌跡上に配置可能となる。解析装置は、このように、撮影のタイミングに基づいて初期軌跡の移動方向にそって各フレームの撮影位置を仮設定する。初期軌跡には、撮影位置に対する誤差が含まれているため、初期軌跡上に配置されたフレーム間では連続体の画像にずれが生じる。

解析装置は、複数フレームにわたって撮影されている連続体の撮影画像間のずれを画像処理によって検出し、このずれに基づいて仮設定された撮影位置を初期軌跡の移動交差方向に修正することで各フレームの撮影位置を解析する。例えば、連続体の位置が、前のフレームよりも次のフレームにおいて右にずれている場合には、このずれ量に応じて仮設定の撮影位置を左側にずらすよう修正するのである。逆に、左にずれている場合には、仮設定された撮影位置を右側にずらすよう修正するのである。本発明の撮影位置解析装置は、撮影された連続体の画像解析を用いて、初期軌跡に対する移動交差方向の誤差を特定し、この誤差を反映させることによって実際に撮影を行った際の移動軌跡（以下、「実軌跡」と称する）を精度良く検出すること、又は各フレームの撮影位置を精度良く特定することができる。この方法は、実軌跡の特定に画像解析を利用するため、画像の解像度に見合った位置精度を実現することができるという利点がある。また、この方法によれば、仮に実軌跡に位置誤差が含まれていたとしても、複数フレーム間の画像間の整合性は十分に保たれることになるため、複数フレームの画像を用いた地図データの生成その他の解析に要求される精度を確保することができる利点がある。

上述の画像は、移動方向の前方または後方が画像の一部に含まれていれば足り、例えば、斜め前、斜め後方に向けて設置したカメラで撮影した画像を用いても良い。また、移動方向に対して真横に向けたカメラで撮影した画像であっても、十分広角で撮影されたものであれば利用可能である。ただし、移動交差方向のずれを最も効率的かつ精度良く検出するという観点から、上述の画像は、移動方向の正面または背後の画像とすることが好ましい。また、撮影位置の解析には、こうして撮影された画像の全体ではなく、下部の一部を用いるようにしてもよい。画像の下部は、撮影位置に比較的近い地点を撮影しているものと考えられるため、撮影位置の解析精度向上に適しているからである。

実軌跡の特定に用いる連続体には、複数フレームにわたって撮影される種々の対象を用いることができる。付近を移動するバス、トラックなどの大型車両なども利用可能ではあるが、移動交差方向に移動していないことが保証されている必要がある。交差方向に移動していないことが保証されているという観点からは、連続体は、道路に固定された対象が好ましく、例えば、道路脇のガードレール、建築物のエッジなどを連続体とすることができる。画像認識が比較的容易かつ精度良く実行可能という観点も考慮すると、連続体は、道路の通行帯の区画線とすることが好ましい。

本発明において、初期軌跡に対するフレーム画像の配置には種々の方法を採ることができる。例えば、撮影時における時刻と移動方向に沿う移動距離との関係を表す移動距離情報を入力し、この移動距離情報に基づいて移動方向に沿う各フレームの撮影位置を仮設定するようにしてもよい。各フレームの撮影時刻は既知であるから、移動距離情報を用いることにより、初期軌跡上の各フレームの撮影位置を精度良く特定することができ、最終的に得られる撮影位置の二次元座標の精度向上を図ることができる。

また、移動距離情報に基づいて、撮影位置の解析に用いるフレームとして、複数のフレームデータの中から所定の移動距離ごとに撮影されたフレームを抽出してもよい。この態様では、抽出されたフレーム間の移動距離は等しくなるため、複数フレーム間の合成などの画像処理が容易となる利点がある。この態様では、単位時間当たりに撮影されるフレーム数（以下、「フレームレート」と呼ぶ）が十分に高く、所定の移動距離ごとにフレームが存在することが保証されていることが望まれる。要求されるべきフレームレートは、撮影時の移動速度、フレーム抽出時の基準となる移動距離によって決まってくる。例えば、一般道路の制限速度程度の速さで移動する車両に搭載した撮影装置で撮影を行う場合には、３０フレーム／秒程度のフレームレートを有する動画像であれば、上述の要求を満たすことができる。

移動距離情報としては、例えば、道路上に断続的に描かれた区画線や、ガードレールの支柱など、間隔が既知の対象物を撮影した画像情報を用いることができる。また、車両に搭載した撮影装置によって画像を撮影する場合には、車両の車速パルス、即ち車両が一定距離進行するたびに出力されるパルス信号を移動距離情報として用いても良い。

撮影時には、更に、画像データに対応づけて、交差点その他の既知の基準位置に到達した時点を表す基準位置情報を記録しておくことが望ましい。こうすることで、解析装置は、この基準位置情報に対応する時点での撮影位置（以下、「基準位置」と称する）は既知のものとして扱うことが可能となる。従って、解析の過程において、基準位置情報に基づいて少なくとも移動方向に沿う位置の初期化を行うことが可能となり、撮影位置の推定精度を向上させることができる。

基準位置情報は種々の態様で利用可能である。例えば、基準位置を始点として、撮影した順にフレームを配置するようにしてもよい。即ち、撮影時に移動した方向に沿って、時系列的にフレームを配置するようにしてもよい。これに対し、基準位置を始点として、撮影した順とは逆順にフレームを配置してもよい。即ち、撮影時に移動した方向と逆方向に時系列に逆行する順序でフレームを配置するようにしてもよい。いずれの配置方法でも始点に近いほどフレームの配置精度が高くなる。

例えば、ナビゲーションシステムにおいて、撮影したフレーム画像またはこれに基づいて生成されたグラフィックスを車両の位置に応じて表示する状況を考える。後者の態様、即ち基準位置を始点として時系列と逆順に配置する態様では、車両が基準位置に近づく程、提供される画像の位置精度が向上することになる。交差点を基準位置として活用した場合、車両は交差点の手前で止まったり、交差点で曲がったりすることを考えると、交差点に近づくほど画像の位置精度が向上することが好ましい。この意味で、先に説明した後者の態様は、ナビゲーション用のデータ生成に有用性が高い。

対向する複数の通行帯が設けられている道路を撮影した画像を処理する場合、基準位置を始点として時系列と逆順にフレーム画像等を配置する態様は、片側の通行帯（通常は、撮影時に移動した通行帯）のみが撮影されている画像に有用である。一方、両側の通行帯が撮影された画像に対しては、基準位置を始点として、移動方向および逆方向の双方に順次、フレームデータを配置する方法が有用となる。

撮影位置の初期化は、次の方法で行ってもよい。まず、移動交差方向に複数フレームの横画像データを撮影する。横画像データとしては、例えば、車両の進行方向に対して横向きに設置したカメラでの撮影画像を利用することができる。この横画像データの被写体の位置座標は、地図データを参照することにより既知であるとする。撮影位置解析装置は、複数フレームの横画像データから、被写体の位置を表す被写体座標を算出する。複数フレームの横画像データは、被写体を複数の撮影位置から撮影した画像データに相当するため、移動速度および各フレームの撮影時刻が既知であれば、複数の撮影位置間の距離は既知となるから、三角測量の原理に従って、撮影位置を基準として被写体の位置を求めることが可能となる。こうして求められた被写体座標と、地図データに記録された位置座標とのずれは、被写体座標を求める際に用いられた撮影位置の誤差を表している。従って、このずれに基づいて撮影位置の初期化、即ち誤差の修正を行うことが可能となる。

本発明で用いる初期軌跡は、撮影した画像を用いた解析の初期値として用いるものであるため、撮影した軌跡の概略を表すものであればよい。例えば、道路をノード、リンクで表した道路ネットワークデータを参照可能である場合には、撮影時に通った軌跡をノード、リンクで指定するなどすることにより、道路ネットワークデータに基づいて初期軌跡を設定するようにしてもよい。道路ネットワークデータが道路の高さ情報も有している場合には、初期軌跡を３次元的に特定することも可能となる。

初期軌跡は、位置検出センサの出力を利用して設定してもよい。位置検出センサとしては、ジャイロおよび距離計やＧＰＳなど、画像の撮影時の移動軌跡を所定の誤差範囲内で少なくとも２次元的に検出可能なものを適用可能である。ここで許容される誤差は、画像処理によって初期軌跡に交差する方向の誤差を修正可能な範囲であることが望まれる。従って、許容誤差は、初期軌跡と実軌跡とのずれが撮影装置の画角内に収まる程度であることが好ましい。

本発明は、撮影位置の解析に先だって、連続体を正面から撮影した状態の画像に、画像データを変換してもよい。画像変換はアフィン変換など種々の方法を利用可能である。画像データを複数領域に分け、各領域で異なる変換係数を用いることにより、変換時の精度向上を図ることができる。複数領域および変換係数は、例えば、既知形状の網状体を撮影した画像データから、当該網状体の正面視画像を得られるように設定することができる。

本発明は、上述した解析に使用する画像データを生成する画像データ取得装置として構成してもよい。画像データ取得装置は、例えば、地表面を移動する車両、撮影装置、移動距離情報記録部を備えるものとすることができる。撮影装置は、相対的な姿勢角を略一定に保った状態で車両に取り付けられ、既知のタイミングで複数フレームからなる画像、動画または静止画を撮影する。もちろん、撮影装置は、この他にも複数搭載しても構わない。移動距離情報記録部は、車両が所定距離移動したことを示す移動距離情報を、撮影時における時刻と関連づけて記録する。この移動距離情報としては、例えば、車両から発せられる車速パルスを利用することができる。こうすることにより、解析に適した画像データおよび移動距離情報を解析装置に提供することができる。

本発明は、以上で説明した特徴の全てを備えている必要はなく、一部を省略したり、適宜、組み合わせたりして構成してもよい。本発明は、上述した撮影位置解析装置および画像データ取得装置としての態様の他、コンピュータを利用して撮影位置を解析する解析方法として構成することもできる。また、かかる解析を実現するためのコンピュータプログラムとして構成してもよいし、このコンピュータプログラムを記録した記録媒体として構成してもよい。この場合、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。

本発明の実施例について以下の順序で説明する。
Ａ．装置構成：
Ｂ．データ構造：
Ｃ．撮影位置解析原理：
Ｃ−１．初期軌跡：
Ｃ−２．特徴点追跡処理：
Ｄ．撮影位置解析処理：
Ｅ．標識・標示抽出処理：
Ｆ．処理例：
Ｇ１．変形例〜フレームデータ配置方法：
Ｇ２．変形例〜側面画像の活用：
Ｇ３．変形例〜経時変化の特定：
Ｇ４．変形例〜案内板の位置座標解析：

Ａ．装置構成：
図１は実施例としての画像データ処理システムの構成を示す説明図である。画像データ処理システムは、街中等を移動しながら撮影した動画像を処理するシステムである。処理内容としては、第１に動画像を構成する各フレームに対し緯度経度などの撮影位置座標を解析して求める撮影位置解析処理が挙げられる。第２にこの結果を用いて各フレームの合成画像を生成し（この処理を「画像合成処理」と呼ぶ）、３次元の地図データ生成用のデータとして、合成画像から道路面上の標示や道路際の標識の種別および位置を特定したりする処理（この処理を「標示・標識抽出処理」と呼ぶ）が挙げられる。第１の処理によって撮影位置が解析された動画像は、道路際の建物の高さや間口の計測に活用することもできる。

画像データ処理システムは、動画像を撮影するための画像データ取得装置１００と、動画像を処理するための画像データ処理装置２００とから構成される。本実施例では、両者を別体の構成としたが、単一の装置として構成してもよい。また、画像データ処理２００を多数の装置からなる分散処理システムとして構成してもよい。

実施例の画像データ取得装置１００は、車両上に種々の装置を搭載して構成されている。車両には、正面画像を撮影するためのビデオカメラ１２０、および側方画像を撮影するためのビデオカメラ１２２が搭載されている。ビデオカメラ１２０、１２２は、車両に対して一定の姿勢角を保持可能な状態で固定されている。広範囲・高精細の画像を効率的に取得するため、ビデオカメラ１２０、１２２は、ハイビジョンの広角カメラを利用することが好ましい。

ビデオカメラ１２０の画像は、後述する通り、撮影位置解析処理に利用される。かかる観点から、ビデオカメラ１２０は車両の前後軸に沿って走行中に地表面に平行となる姿勢角で取り付けることが好ましい。もっとも、かかる姿勢角は必須ではない。撮影位置解析処理には、車両の前方または後方の様子が一部に撮影された画像があれば足りるから、ビデオカメラ１２０は後方、斜め前方、斜め後方などの方向で向けて取り付けても良いし、十分広角撮影が可能であれば真横を向けて取り付けても良い。

側方画像は、標識・標示の抽出、建物の高さや間口の計測などのアプリケーションに利用される。従って、ビデオカメラ１２２は、アプリケーションの種類および目的に応じて、台数を増やしたり、カメラの設置方向を決定すればよい。

車両には、取得されたデータをディジタルの画像データとして保存するためのハードディスク１１４およびこの保存等を制御するための制御部１１０が用意されている。制御部１１０は、例えば、汎用のコンピュータに、画像データ等を取得・管理するためのコンピュータプログラムをインストールすることで構成可能である。

ＧＰＳ（Global Positioning System）１０２は撮影時の車両の位置情報、即ち緯度経度を周期的に検出し、検出時刻と共に出力する。このデータは、画像データと併せて種々のハードディスク１１４に記録される。もっとも、後述する通り、ＧＰＳ１０２の出力は、撮影位置の解析に必須のデータではないため、ＧＰＳ１０２を省略することも可能である。車速センサ１０４は、車両が一定距離移動する度に車速パルスと呼ばれる信号を出力する。車速パルスも、画像データと併せてハードディスク１１４に記録される。

本実施例では、撮影位置の解析精度を向上させるため、撮影中に基準位置、即ち緯度経度が既知の位置を通過した時点で、通過した時刻および基準位置の情報を記録するものとした。車両には、オペレータの指示に従って、この記録を行うため、基準位置入力部１１２が設けられている。基準位置入力部１１２は、制御部１１０と同様、汎用のコンピュータに、基準位置入力機能を実現するためのコンピュータプログラムをインストールすることで構成可能である。

本実施例では、ディスプレイ上に表示された地図１３２ｄにおいて、オペレータが記録すべき基準位置をマウス等でクリックすると、クリックされた時刻および基準位置の情報が記録される構成とした。地図表示に必要となる地図データは、ハードディスク１１４、やＣＤ−ＲＯＭなどの記録媒体に予め記録しておくようにしてもよいし、無線のネットワークを介して外部サーバから取得するようにしてもよい。基準位置情報の入力は、上述の方法に限らず、緯度経度などの情報をキーボード等から直接入力するようにしてもよいし、記録すべき基準位置が予め設定されている場合には、それぞれの基準位置に対応づけられたコードを入力してもよい。更には、撮影時には基準位置情報の入力を省略し、単に通過時刻のみを入力するようにしてもよい。

本実施例では、制御部１１０および基準位置入力部１１２を、コンピュータプログラムのインストールによってソフトウェア的に実現するものとしたが、これらは専用の回路によってハードウェア的に構成することも可能である。

次に、画像データ処理装置２００の構成について説明する。画像データ処理装置２００は、汎用のコンピュータに、画像データ処理用のコンピュータプログラムをインストールして構成されている。画像データ取得装置１００から画像データ処理装置２００へのデータの転送は、リムーバブルハードディスク１１４ａを用いるものとした。かかる方法に限らず、ＤＶＤその他の記録媒体を用いても良いし、ネットワーク経由で転送するようにしてもよい。

上述のコンピュータプログラムのインストールにより、画像データ処理装置２００には、図示する種々の機能ブロックが構成される。もっとも、これらの機能ブロックの少なくとも一部は、ＡＳＩＣなどによってハードウェア的に構成することも可能である。

データ入力部２０６は画像データ取得装置１００で生成された画像データを入力する。先に説明した通り、画像データと併せてＧＰＳ１０２で検出された緯度経度、車速パルスおよび基準位置情報も入力する。この情報は、初期軌跡設定部２０４および切出画像生成部２０８に受け渡される。

初期軌跡設定部２０４は、後述する撮影位置解析処理で用いられる初期軌跡を生成する。コマンド入力部２０２は、オペレータによるマウスやキーボードの操作を介して、初期軌跡の生成のために必要なコマンドを入力する。オペレータから入力されるコマンドは、適宜、初期軌跡設定部２０４以外の機能ブロックにも受け渡されるが、図の煩雑化を避けるため、図中では最も関連の高い初期軌跡設定部２０４に受け渡す様子のみを示した。

本実施例では、初期軌跡の設定には、２通りの生成方法を採ることができる。一つは、ＧＰＳ１０２で検出された緯度経度を利用する方法である。もう一つは、ＧＰＳ１０２の検出結果を利用せず、道路ネットワークデータを用いて生成する方法である。道路ネットワークデータとは、経路探索に用いられるデータであり、道路の経由地点を折れ線で表したリンク、リンクの交点または端点を表すノード、およびリンクやノードの属性情報によって、道路を表したデータである。本実施例では、ネットワークデータベース２２０として画像データ処理装置２００内に格納してある。ネットワークデータベース２２０は、ＣＤ−ＲＯＭなどの記録媒体や、ネットワークを介して接続された外部サーバなどから提供するようにしてもよい。

画像配置部２１０は、設定された初期軌跡に沿って、画像データ中の各フレームが撮影された位置を特定する。この位置を用いることで各フレームを初期軌跡上に配置することが可能となることから、本明細書では、撮影位置を決定する処理を「配置」と呼ぶこともある。ここで特定される位置は、誤差を含むものであり、撮影位置解析処理の初期値となる。この処理には、車速パルスや基準位置情報が用いられる。処理の内容については後述する。

本実施例では、撮影位置解析処理では、入力された画像データの一部のみを利用する。この処理を実現するため、切出画像生成部２０８は、入力された画像の各フレームから、撮影位置解析処理に用いる部分を切り出す処理を実行する。この際、広角で撮影された画像に含まれる種々の歪みを、アフィン変換などによって補正することが望ましい。画像の切り出しは必須ではなく、各フレームの画像全体を利用して撮影位置解析処理を実行する場合には、切出画像生成部２０８を省略してもよいし、切出画像生成部２０８に画像の歪み補正のみを行わせるようにしてもよい。

軌跡修正部２１２は、初期軌跡上に複数の切出画像を配置し、これらの切出画像に対する画像処理に基づいて、切出画像間の連続性が保たれるように初期軌跡を修正する。この処理内容については後述する。このように初期軌跡を修正することによって、各フレームの正確な撮影位置を求めることができる。画像データ処理装置２００は、軌跡修正部２１２で求められた撮影位置を出力して画像データの処理を完了することもできる。

本実施例の画像データ処理装置２００は、上述の処理結果を利用して、標識・表示抽出処理を実行可能である。標識・表示抽出処理とは、複数フレームの画像を合成した合成画像を生成するとともに、この合成画像に基づいて、道路上の標示や道路際の標識などの形状・位置を特定する処理である。この処理は、標識・表示抽出部２１４によって実現される。特定の対象となる標識・標示としては、例えば、横断歩道や進路方向の規制を表す矢印などの標示、信号や道路標識や街路樹などが挙げられる。これらの標識・標示は、概略形状および色が予めきまっている。標識・標示データベース２２２は、この概略形状および色を、基本パターンとして格納している。

標識・標示抽出部２１４は、標識・標示データベース２２２に格納されている基本パターンに相当する画像を合成画像から抽出し、基本パターンを変形して合成画像に適合する正確な標識・標示形状を決定するとともに、その位置を特定する。画像データ処理装置２００は、こうして設定された形状および位置を、標識・標示位置データ２２４として管理する。標識・標示位置データ２２４は、リアリティの高い３次元地図の生成などに利用可能である。

図２は画像データ取得装置１００を構成する各装置の搭載、接続例を示す説明図である。図示した各装置は、車両に脱着可能としてある。各装置の電源は、車両のバッテリからシガーライターソケット１１０ｂを経て取り出される直流電源を、ＤＣ−ＡＣカーインバータ１１０ｃで交流変換して利用する。図１で示した制御部１１０およびリムーバブルハードディスク１１４ａの機能は、ノートＰＣ１１０ａで実現する。ノートＰＣ１１０ａには、ＧＰＳ１０２の検出信号が入力される。ＧＰＳ１０２のアンテナ１０２ａは、ＧＰＳの電波を受信可能な位置に設置する。

図の構成例では、正面を撮影するビデオカメラとして１２０ａ、１２０ｂ、１２０ｃの３台が設けられている。ビデオカメラ１２０ｂは、方向案内板の撮影専用である。ビデオカメラ１２０ａ、１２０ｂ、１２０ｃとノートＰＣ１１０ａとはＩＥＥＥインタフェース２００ａを介して接続されており、各フレームの撮影時点を示すタイムコードがビデオカメラ１２０ａ、１２０ｂ、１２０ｃからノードＰＣ１１０ａに送信される。ノートＰＣ１１０ａは、撮影位置の解析用に、このタイムコードを車速パルスや基準位置情報と対応づけて記録しておく。

ビデオカメラ１２２Ｒ、１２２Ｌは、車両の左右方向の画像を撮影するカメラである。ビデオカメラ１２２Ｒ、１２２Ｌの音声入力は、ノートＰＣ１１０ａの音声出力と接続されている。ノートＰＣ１１０ａが、車速パルスに合わせて所定の音声パルス信号を出力すると、音声パルス信号がビデオカメラ１２２Ｒ、１２２Ｌの音声トラックに記録されるため、解析時に撮影された各フレームと車速パルスとの対応づけが可能となる。図示した接続例の他、音声入出力を利用した接続方法を、ビデオカメラ１２０ａ、１２０ｂ、１２０ｃに適用してもよい。また、ＩＥＥＥインタフェースを利用した接続方法を、ビデオカメラ１２２Ｒ、１２２Ｌに適用してもよい。

車速パルスを検出するためのパルス発生器１０４ａは、車両の後輪の回転を磁気的に検出し、回転に同期したパルスを発生する装置である。例えば、パイオニア社性のＮＤ−ＰＧ１（商標）を用いることができる。パルスカウンタ１０４ｂは、発生されたパルスをカウントし、カウント結果を時刻と共に出力する装置である。例えば、タートル工業社製のＴＵＳＢ−Ｓ０１ＣＮ１（商標）を用いることができる。本実施例では、パルス発生器１０４ａおよびパルスカウンタ１０４ｂは、それぞれ車両後方のトランク内に設置した。

図示した構成によれば、画像データ取得装置１００を市販の装置の組み合わせで構成することができる。また、車両に対して脱着可能であるため、装置の移動が容易である。例えば、図示した各装置を計測地まで電車、航空機などを利用して運び、計測地で車両を借りれば、容易に計測が可能となる利点がある。

Ｂ．データ構造：
図３は画像データ等の構造を示す説明図である。ビデオカメラ１２０で撮影された動画像を構成するフレームデータ、および車速パルス、基準位置パルスの関係を示した。図の上方のデータ群Ｔには、これらの各種データを時間基準で配置した状態を示した。

データ群Ｔに示す通り、フレームデータＦｒ１〜Ｆｒ１０は、一定の時間間隔で取得されている。本実施例では３０Ｈｚである。もっとも、フレームデータは、任意の時刻に撮影された静止画の集合を用いることもできる。この場合、時間間隔は不定であっても良い。

車速パルスＰ１〜Ｐ６は、車両が一定距離移動するたびに取得される。本実施例では、約０．３９ｍ移動するごとに取得されている。データ群Ｔは時間基準で並べたものであるため、車速パルスの間隔は車両の移動速度に応じて変化する。例えば、パルスＰ１、Ｐ２の間が狭いのは移動速度が比較的高かったからである。逆に、パルスＰ２、Ｐ３の間が広いのは移動速度が遅かったからである。

基準位置パルスは、車両が横断歩道などの予め規定された基準位置を通過した時点で取得される。基準位置パルスは、車両がある程度の距離を移動した時点で取得されるものであるため、フレームデータおよび車速パルスに比較して、取得の頻度は低い。また、後述する通り、基準位置パルスは、撮影位置解析処理の精度を向上させるために初期位置として用いられるものであるため、このように低い頻度であっても支障はない。

下方のデータ群Ｒには、データ群Ｔに示した各データを撮影時の移動距離基準で並べた状態を示した。移動距離基準であるため、図示する通り、車速パルスＰ１〜Ｐ６が等間隔で並べられることになる。フレームデータＦｒ１〜Ｆｒ８は、それぞれの車速パルス間では車両が等速で移動しているという仮定の下で並べられる。この結果、例えば、フレームデータＦｒ２は、次の規則の下で並べられることになる。
ｔ１：ｔ２＝ｒ１：ｒ２；
ｔ１…データ群Ｔにおける車速パルスＰ１とフレームＦｒ２との間の時間
ｔ２…データ群Ｔにおける車速パルスＰ２とフレームＦｒ２との間の時間
ｒ１…データ群Ｒにおける車速パルスＰ１とフレームＦｒ２との間の距離
ｒ２…データ群Ｒにおける車速パルスＰ２とフレームＦｒ２との間の距離
他の各フレームデータおよび基準位置パルスも同様である。こうすることにより、データ群Ｒに示すように、各フレームデータを撮影時の軌跡に沿って配置すること、即ち軌跡に沿う方向の位置を特定することが可能となる。

フレームデータの配置は、図示した方法に依らず、種々の方法を採ることができる。例えば、車速パルスに比較してフレームデータが十分に高い頻度で取得されている場合には、これらのフレームデータから、車速パルスと同期しているものを抽出するようにしてもよい。こうすることにより、等距離間隔で取得されたフレームデータ群を生成することが可能となる。車速パルスと同期しているフレームデータを抽出する場合、撮影位置の解析に要求される精度を考慮し、両者の時刻間に所定範囲内の誤差を許容してもよい。

Ｃ．撮影位置解析原理：
以下では、フレームデータの抽出により、等距離間隔で取得されたフレームデータ群を生成した場合を例にとって、撮影位置解析処理の原理を説明する。但し、図３のデータ群Ｒのように不定距離間隔でフレームデータが配置される場合でも、同様の処理を適用可能である。

本実施例の撮影位置解析処理では、まず撮影時の移動軌跡を一定の誤差範囲内で表した初期軌跡を設定する。そして、特徴点追跡処理と称するフレームデータを用いた画像解析処理によって、この初期軌跡を修正することにより、各フレームデータの撮影位置を求める。以下では、まず初期軌跡の設定方法、特徴点追跡処理の順に説明する。

Ｃ−１．初期軌跡：
図４は初期軌跡の設定方法を示す説明図である。この例では、ＧＰＳ１０２で取得された緯度経度データに基づいて初期軌跡を設定した。撮影時には、道路Ｒ１、Ｒ２を含む交差点を矢印Ａｒ１からＡｒ２に向けて通過する軌跡をとったものとする。図中の黒い三角形は、ＧＰＳ１０２で得られた緯度経度データを表している。ＧＰＳ１０２の緯度経度は、ジャイロの併用などによって補完してもよい。白丸は等距離間隔で得られたフレームデータ群を表している。また、白の二重丸ＣＰ１、ＣＰ２は、基準位置パルスが取得された地点を表している。先に説明した通り、本実施例では、横断歩道ＣＷ１、ＣＷ２で基準位置パルスが取得されているものとする。

初期軌跡は、ＧＰＳ１０２で得られた緯度経度を順次、結ぶことで設定される。基準位置パルスが取得された地点を基準として、初期軌跡上に、等距離間隔で各フレームデータを配置することで、図４に示すように撮影位置解析処理の初期値として、各フレームデータの撮影位置が求められる。ＧＰＳ１０２で得られる緯度経度は誤差を含んでいるため、図４に示す初期軌跡も撮影時の移動方向（以下、単に「移動方向」と称する）の誤差、および移動に交差する方向（以下、「交差方向」と称する）の誤差をそれぞれ含んでいることになる。ただし、基準位置パルスが得られた地点から等距離間隔で配置する方法を採ることにより、移動方向の誤差は十分に小さいと考えられ、交差方向の誤差が主として含まれることになる。

図５は変形例としての初期軌跡の設定方法を示す説明図である。ＧＰＳ１０２で得られる緯度経度を用いずに初期軌跡を設定する例を示した。変形例では、緯度経度に代えて、道路ネットワークデータを用いる。図中に示す破線Ｌ１、Ｌ２がそれぞれ道路Ｒ１、Ｒ２に対応するリンクを表している。黒丸Ｎ１はノードである。道路ネットワークデータとは、このようにリンク、ノードによって道路を表したデータである。図５では、リンクは直線状で示しているが、道路の形状によっては折れ線状となることもある。リンクはそれぞれの経由点および端点の緯度経度によって規定されている。緯度経度に加えて高さ情報を含むこともある。

変形例では、撮影時に通過した道路のリンクを初期軌跡として用いる。図の例で、道路Ｒ１からＲ２に至る経路を撮影に利用した場合には、リンクＬ１、Ｌ２が初期軌跡として用いられることになる。各フレームデータは、この初期軌跡上で、基準位置パルスに対応する地点を基準として、等距離間隔で配置される。変形例の方法によれば、ノードＮ１近傍に示すように初期軌跡が分断された状態となる場合があるが、後述する特徴点追跡処理によって軌跡の修正を行うことにより、連続した軌跡が得られるようになるため支障はない。

変形例の初期軌跡も、実際の撮影位置に対して誤差を含んでいる。ただし、ＧＰＳ１０２の出力を利用した例（図４参照）と同様、移動方向の誤差は比較的小さく、主として交差方向の誤差が含まれていると考えられる。

Ｃ−２．特徴点追跡処理：
図６は特徴点追跡処理の原理を示す説明図である。図の中央に示した破線の円Ｐｔ１〜Ｐｔ４は、初期軌跡上でフレームデータが配置された位置を示している。円Ｐｔ１からＰｔ４に向かう方向が移動方向である。図の右側には、それぞれの位置に対応するフレームデータで表される画像Ｐｉｃ１〜Ｐｉｃ４を例示した。これらの画像は、撮影された画像の下方一部を切り出したものである。例えば、画像Ｐｉｃ１は、図の下方に示す原画像Ｐｏｒのうち破線で示した下部領域を切り出したものである。他の画像Ｐｉｃ２〜Ｐｉｃ４も同様にして、下部を切り出したものである。以下、このように原画像から切り出された画像を、切出画像と呼ぶものとする。

特徴点追跡処理では、これらの画像中に含まれる特徴点の位置に基づいて、初期軌跡の誤差を特定し、軌跡を修正する。本実施例では、道路の車両通行帯の区画線を特徴点として用いるものとした。図中の例において、原画像Ｐｏｒの中央下部に示した実線が区画線を表している。

画像Ｐｉｃ１〜Ｐｉｃ４の重心を、それぞれ初期軌跡Ｐｔ１〜Ｐｔ４に合わせて配置したとする。この時、図中の破線ＦＰで示すように、特徴点が順次、ずれていったとする。初期軌跡Ｐｔ１〜Ｐｔ４が撮影時の軌跡を正確に表しているとすれば、各画像間で特徴点のずれは生じないはずである。つまり、特徴点のずれは、初期軌跡に誤差が含まれていることを表している。例えば、画像Ｐｉｃ１とＰｉｃ２との間のずれ量ＯＳは、初期軌跡位置Ｐｔ１を基準として考えた場合に、位置Ｐｔ２の交差方向における誤差がＯＳとなる。従って、位置Ｐｔ２を交差方向に「−ＯＳ」移動させれば、正しい軌跡が得られることになる。こうして得られた位置が図中の実線で示した円Ｐｃ２である。

他の位置Ｐｔ３，Ｐｔ４についても同様にして、隣接する画像間の特徴点のずれ量を求め、このずれ量に応じて交差方向の位置を修正することにより、正しい軌跡上の位置Ｐｃ３、Ｐｃ４が得られる。図の例では、この処理によって、位置Ｐｔ１，Ｐｃ２〜Ｐｃ４を通過する実線の軌跡が得られることになる。図の左側に、画像Ｐｉｃ１〜Ｐｉｃ４の重心が実線の軌跡上に来るように配置した例を示した。図示する通り、画像間で特徴点のずれが解消されることになる。

図６では、原画像から単純に切り出した画像を用いた例を示した。特徴点追跡処理に先立って、アフィン変換などにより、画像下部の歪みを補正してもよい。本実施例のように広角のカメラで撮影した画像データを用いる場合には、補正を施すことが好ましい。この補正により、道路の真上から路面を撮影した状態に相当する画像を得ることができるため、特徴点追跡処理による撮影位置の解析精度を向上させることができる。

本実施例では、上述の通り、原画像の下部を切り出して特徴点追跡処理に用いた。特徴点は、初期軌跡の誤差が画像内の位置のずれに現れる任意の点を利用可能である。例えば、道路上の標示の他、ガードレール、道路際の建物など、複数フレームにわたって撮影されている連続体の一部を特徴点として利用することが可能である。特徴点追跡処理に用いる切出画像は、原画像の下部に限らず、特徴点を含む任意の箇所を選択可能である。また、原画像自体を用いて特徴点追跡処理を行うことも可能である。ただし、画像下部の特徴点は、画像内に写された種々の部位のうち、カメラに最も近接した位置を含んでいるため、画像下部を用いることにより撮影位置の解析精度を向上させることが可能である。

上述の通り、特徴点追跡処理においては、アフィン変換などにより、画像に歪み補正を施しても良い。この歪み補正を施すための変換係数を設定する手順を例示する。

図７は変換係数設定方法の工程図である。まず、画像データ取得装置１００としての車両の前方路面上に、キャリブレーション用グリッドを配置する（ステップＳ１００）。グリッドを配置する路面は、傾斜や凹凸がない平坦な面であることが好ましい。グリッドは、車両側の端線ＮＳが撮影可能な程度の間隔ｄ２だけあけて前方に配置する。グリッドの幅Ｗおよび長さＬは、任意に設定可能であるが、変換係数の設定精度を向上するためには、カメラで撮影可能な範囲を覆う程度のサイズとすることが好ましい。本実施例では、幅Ｗを１５ｍ、長さＬを３．５ｍとした。また、グリッドのメッシュサイズｄ１も任意に設定可能である。メッシュサイズが細かいほど、変換精度は向上するが、変換係数を記憶しておくためのメモリ容量が増大する。本実施例では、メッシュサイズｄ１は５０ｃｍとした。

次に、グリッドの各メッシュごとに変換係数を算出する（ステップＳ１０２）。図中に変換係数の算出方法を示した。車両の前方に配置されたグリッドの撮影画像は、図中に実線で示すように、略台形に歪みを生じる。このように歪んだ各メッシュを、図中に破線で示した本来の形状、即ちグリッドを正面から撮影した時の画像に変換するよう、メッシュごとに変換係数を設定するのである。例えば、メッシュＧ１１をメッシュＧ２１に写像させる変換係数を設定する。また、メッシュＧ１２をメッシュ２２に写像させる変換係数を設定する。両者の変換係数は異なっていても良い。

こうして設定された変換係数をテーブルとして格納し（ステップＳ１０４）、特徴点追跡処理における歪み補正に利用する。図中にテーブルの構成例を示した。本実施例では、撮影画像ＳＣＲの各ピクセルＰｘｙに対して、変換係数Ｃｘｙ１、Ｃｘｙ２…Ｃｘｙｎを割り当てるテーブルとする。例えば、グリッドを撮影した画像においてメッシュＧ１３が写っているピクセルには、ステップＳ１０２でメッシュＧ１３に対応づけて算出された変換係数を設定するのである。こうすることで、特徴点追跡処理においても、撮影画像の各ピクセルごとに、精度よく歪み補正を施すことが可能となる。変換係数は、このような設定に限られるものではなく、例えば、撮影画像の画面内で統一的な値を用いるようにしてもよいし、ｘ方向に並んだメッシュごとに統一的な値を用いるようにしてもよい。

図８は特徴点追跡処理の例を示す説明図である。変形例で示した初期軌跡（図５参照）に対して特徴点追跡処理を施した結果を例示した。初期軌跡上に配置されたフレームデータ（図中の白丸）は、特徴点追跡処理によって、それぞれ交差方向の誤差が修正される。この結果、図中、太線で示した軌跡Ｔｒが得られる。初期軌跡は、ノードＮ１の近傍で分断されたような状態となっているが、交差方向の位置が修正される結果、図中に示すように軌跡Ｔｒは連続的な状態となる。

図８では、基準位置（図中の二重丸）自体も交差方向に位置が修正されている例を示している。これは、基準位置は緯度経度が既知の地点ではあるが、道路ネットワークデータを利用して初期軌跡を設定する都合上、基準位置も道路ネットワークデータ上で仮に設定する必要があるためである。基準位置を既知の緯度経度の位置に移動させた上で、特徴点追跡処理を施すことにより、図示する軌跡を得ることができる。

本実施例では、基準位置において緯度経度が既知であることを前提としているが、特徴点追跡処理は基準位置の緯度経度のいずれか一方が不明の場合、即ち交差方向の位置が特定できない場合にも適用可能である。かかる場合には、例えば、基準位置における画像内における特徴点の絶対位置から、交差方向における撮影位置を特定するようにすればよい。例えば、基準位置において、画像に写っている道路幅の中央の点が画像下部の中点と一致している場合には、撮影位置は道路の中央であると特定されることになる。画像下部の中点が、道路幅を所定比で内分する内分点となっている場合には、撮影位置は道路を同じ比率で内分する位置であると特定されることになる。

以上の説明では、単一の基準位置を、移動方向および交差方向の双方の基準として用いる場合を例示した。特徴点追跡処理は、移動方向の基準位置と交差方向の基準位置とが異なっていても良い。例えば、移動方向の基準位置は、図８に示すように横断歩道上の点としつつ、交差方向の基準位置は、軌跡Ｔｒが区画線を横切る地点Ｆｒａとしてもよい。地点Ｆｒａは、区画線が画像のほぼ中央に来る地点である。このように特徴点追跡処理における基準位置の選択、その座標の利用は、種々の方法を採りうる。特徴点追跡処理では、いずれか単一の方法のみを適用するようにしてもよいし、種々の条件に基づいて複数の方法を使い分けるようにしてもよい。

Ｄ．撮影位置解析処理：
図９は撮影位置解析処理のフローチャートである。画像データ処理装置２００の各機能ブロック（図１参照）が協同して実現する処理であり、ハードウェア的には、画像データ処理装置２００を構成するコンピュータのＣＰＵが実行する処理である。

この処理を開始すると、ＣＰＵは、画像データ、基準位置情報、車速パルスを入力する（ステップＳ１０）。図１で説明した通り、これらのデータは、画像データ取得装置１００によって生成されたデータであり、本実施例では、リムーバブルハードディスク１１４ａを介して画像データ処理装置２００に入力される。

次に、ＣＰＵは初期軌跡を入力する（ステップＳ２０）。本実施例では、ユーザの選択に従って、ＧＰＳ１０２によって検出された緯度経度を利用する場合の初期軌跡（図４参照）、および道路ネットワークデータを利用した初期軌跡（図５参照）のいずれかを入力するものとした。もちろん、いずれか一方のみを利用可能としておいてもよい。道路ネットワークデータを利用する場合には、ステップＳ２０において、ユーザによるコマンドに基づいてノード、リンクの指定を受け付け、初期軌跡を生成するようにしてもよい。

初期軌跡が入力されると、ＣＰＵは、フレームデータをこの初期軌跡上に配置する（ステップＳ３０）。これは、先に図３で示した処理に相当する。即ち、入力された各フレームデータについて、車速パルスを用いて、初期軌跡に沿った位置を決定する処理である。車速パルスに対応するフレームデータを抽出することで、等距離間隔にフレームデータを配置する処理とすることもできる。

ＣＰＵは、これらのフレームデータに対し、アフィン変換による歪み補正を施した上で、画像の下部を切り出し、特徴点追跡処理を実行する（ステップＳ４０、Ｓ５０）。そして、求められた撮影位置のデータを各フレームデータに対応づけて格納する（ステップＳ６０）。これらは、図６で説明した処理に相当する。

図１０は特徴点追跡処理のフローチャートである。上述した図９のステップＳ５０の処理に相当する。この処理では、ＣＰＵは、処理対象となる切出画像を入力し（ステップＳ５１）、特徴点位置を特定する（ステップＳ５２）。特徴点位置は、切出画像に対して左右方向、即ち車両の移動方向に交差する方向に取ったｘ軸方向の座標となる。

図中に特徴点位置を求める方法を例示した。この例では、切出画像の更に下部の一定領域Ｒａｓを解析して特徴点位置を求める。道路上の区画線位置を特徴点とする場合、区画線は白線で描かれているため、他の部分よりも明度が高い。従って、領域に対しては、ｘ軸方向に図示する通りの明度分布が得られる。この中で、白線を識別可能な範囲で予め設定された閾値Ｔｈを超える範囲Ｄを求め、この範囲Ｄの中央値を特徴点位置とする。

こうして特徴点位置が求まると、ＣＰＵは、直前の切出画像の特徴点位置からのずれ量を算出する（ステップＳ５３）。直前とは、初期軌跡に沿って時系列的に配置された複数のフレームデータのうち、対象となっているフレームデータの直前に配置されるデータを言う。例えば、撮影されたフレームデータから、車速パルスに対応するフレームデータを抽出して配置している場合には、撮影されたフレームデータにおける直前のデータとは異なる場合がある。

ＣＰＵは、以上の処理を全フレームデータについて完了するまで（ステップＳ５４）、繰り返し実行し、特徴点追跡処理を完了する。

上述の方法は、一例に過ぎない。特徴点は白線以外に建物のエッジなどに基づいて設定することもできる。上述の例では、明度分布に基づいて特徴点を求めているが、色相や彩度を考慮して、特徴点位置を特定するようにしてもよい。また、別の方法として、例えば、画像処理によって、切出画像中のエッジを抽出し、その中から、区画線と見なせる線分を特定することで特徴点位置を求めるようにしてもよい。

図１０の処理では、画像の下部の領域Ｒａｓに基づいて特徴点位置のずれ量を求める例を示した。これに対し、直前のフレームデータについては、切出画像の上部の領域に基づいて特徴点位置を用いて、ずれ量を求めるようにしてもよい。つまり、直前の切出画像の上部の特徴点位置と、処理対象となっている切出画像の下部の特徴点位置の間のずれ量を求めることになる。この方法によれば、上述した２つの切出画像をより精度良く整合させることが可能となる利点がある。

図１１は変形例としての特徴点追跡処理のフローチャートである。この処理では、ＣＰＵは、まず連続して配置される２枚の切出画像［１］［２］を入力する（ステップＳ５４）。そして、切出画像［１］［２］の位置を相対的にずらしながら、接続部分の明度差評価値Ｅｖを算出する（ステップＳ５５）。

図中に切出画像Ｐｉｃ［１］［２］を対象とする明度差評価値Ｅｖの算出方法を例示した。ケースＡ〜Ｄは、切出画像Ｐｉｃ［１］に対して切出画像Ｐｉｃ［２］の交差方向の相対的な位置を左から右に４段階に移動させた状態をそれぞれ示している。ケースＡに示すように、この配置で切出画像Ｐｉｃ［１］［２］が接する領域において、ｘ軸方向の座標が同一となる画素Ｐｘ１、Ｐｘ２の明度差の絶対値または明度差の二乗値を求め、この値のｘ軸方向の総和を明度差評価値Ｅｖとする。

明度差評価値Ｅｖは、切出画像Ｐｉｃ［１］［２］の相対的な位置によって変化する。図の右側に明度差評価値Ｅｖの変化を示した。図示する通り、切出画像Ｐｉｃ［１］［２］の画像が整合するケースＣにおいて、明度差評価値Ｅｖは最小となる。逆に、明度差評価値Ｅｖが最小となる相対的な位置関係を求めれば、切出画像Ｐｉｃ［１］［２］のずれ量を特定することができる（ステップＳ５６）。

こうしてずれ量が求まると、ＣＰＵは、切出画像［１］を切出画像［２］で置き換えながら、全フレームデータについて完了するまで処理を繰り返す。変形例の方法によっても、特徴点追跡処理を実現することが可能である。また、この処理では、隣接する切出画像間の明度差に基づいてずれ量を特定するため、画像間を精度良く整合させることが可能となる利点がある。

Ｅ．標識・標示抽出処理：
図１２は標識・標示抽出処理のフローチャートである。図１０、９で示した撮影位置解析処理によって求められた撮影位置データを利用して行うアプリケーションとしての処理である。図１に示した標識・標示抽出部２１４が実行する処理に相当し、ハードウェア的には画像データ処理装置２００のＣＰＵが実行する処理である。

処理を開始すると、ＣＰＵは切出画像および撮影位置データを入力する（ステップＳ７０）。切出画像は、先に説明した通りアフィン変換を施してあり、道路を上方から撮影した平面画像に相当する状態となっている。

ＣＰＵは撮影位置データに従って、それぞれの切出画像を配置し、画像を合成する（ステップＳ７１）。この配置は、切出画像を、平面上に貼り付けていくことを意味する。図中に切出画像の配置方法を例示した。撮影位置解析処理の結果、切出画像の撮影位置がｘ，ｙ座標で特定されているものとし、車両の移動軌跡が曲線Ｐａｓｓのように特定されているものとする。また、切出画像Ｐｉｃの重心位置はＰｓ、交差方向および移動方向の座標軸はＬｘ、Ｌｙであるものとする。この時、切出画像Ｐｉｃは、重心Ｐｓを上述の撮影位置に一致させ、画像の座標軸Ｌｙが移動軌跡Ｐａｓｓに接する向きに配置する。

図の下方には、上述の方法で連続的に画像を配置した例を示した。左側には、ｘ−ｙ平面において２次元的に切出画像を配置した状態を示している。切出画像は、このように、移動軌跡にそって滑らかに向きを変えながら配置され、航空写真のような平面的な合成画像を得ることができる。この合成画像は、本実施例では、路面近傍で撮影した画像を用いているため、航空写真の数倍の解像度となっている。

図の右側には、高さ方向（ｚ方向）の変化を伴う移動軌跡に沿って画像を配置した例を示した。かかる移動軌跡は、例えば、道路ネットワークデータの高さ情報を用いて設定された初期軌跡に対して特徴点追跡処理（図１０、９参照）を適用することにより得ることができる。このように高さ情報を用いることにより、高速道路へのランプなどの上り坂についても合成画像を得ることができる。また、路面を走行しながら撮影した画像を利用しているため、高架下をくぐる道路のように、航空写真では得られない部分についても平面的な合成画像を得ることができる。

ＣＰＵは、予め用意された標識・標示パターンデータを読み込み（ステップＳ７２）、合成画像の画像処理によって、これらのパターンデータに適合する部位を特定することで、標識・標示の位置を特定する（ステップＳ７３）。併せて、標識・標示の形状を特定することもできる。標識・標示パターンデータには、例えば、右左折規制を表す矢印など道路上に描かれた標示、信号機や道路標識などが含まれる。ＣＰＵは、画像処理によって、この標示に対応する形状を合成画像から抽出し、その位置を特定するのである。また、パターンデータとして用意された形状と、合成画像に含まれる標示とが異なる場合には、パターンデータを横方向または縦方向に任意の比で拡大・縮小するなどして、標示・標識の形状を特定する。道路標識等についての処理も同様である。

Ｆ．処理例：
図１３および図１４は画像データの処理例を示す説明図である。図１３に示した画像Ｐｏｒｇは、ビデオカメラで撮影された車両正面の画像である。この画像の下部を切り出した切出画像が画像Ｐｃｏである。この図は、アフィン変換を施す前の状態を示している。

図１４の下部の画像Ｅｘ１は、切出画像の例である。この切出画像Ｅｘ１にアフィン変換を施すと、画像Ｅｘ２の下方に四角枠で囲った部分の画像が得られる。他のフレームデータについても、同様に切出画像を用意し、アフィン変換を施した上で、初期軌跡に沿って配置すると、画像Ｅｘ２が得られる。つまり、画像Ｅｘ２は、撮影位置解析処理（図９）のステップＳ３０を行った状態の画像に相当する。ただし、画像Ｅｘ２は、処理内容を説明するために便宜上、示したものであり、実際の処理では、このように各フレームデータを配置・合成した合成画像を生成する必要はない。

画像Ｅｘ２は、移動方向に交差する方向の位置が修正されていないため、路面の標示が不連続となる不整合箇所が存在する。例えば、直進・左折車線であることを示す標示Ｍｋは、フレームデータの境界ＳＬで図中の左右方向にずれていることが分かる。画像Ｅｘ２では、ずれを認識しやすいよう、標示Ｍｋに縁取りが付してある。

画像Ｅｘ３は、特徴点追跡処理によって交差方向のずれを修正した状態を示している。各フレームデータの撮影位置が求められた後の合成画像であるから、標識・標示抽出処理（図１２）のステップＳ７１の状態に相当する。図から分かる通り、道路標示のずれが解消されていることが分かる。この画像を利用することにより、例えば、道路上の左折・直進車線を示す標示や横断歩道などの位置を求めることが可能となる。また、図の例では、車両によって左折・直進車線の標示の一部が欠落しているものの、パターンデータを利用することにより、標示の形状を再現することが可能となる。

以上で説明した本実施例の画像データ処理システムによれば、特徴点追跡処理によって移動方向に交差する方向の撮影位置を精度良く求めることができる。また、車速パルスのように撮影時の移動距離を表す情報を利用することにより、移動方向の位置精度も向上させることができる。この結果、各フレームデータの撮影位置を精度良く特定することが可能となり、図１４に示すように、高解像度の合成画像を得ることが可能となる。

このような合成画像を活用することにより、車両で走行しながらビデオカメラで撮影するだけで、特別な計測を行うまでなく、路面の道路標示や路側の標識の形状および位置を特定することが可能となる。従って、路面の様子を正確に再現した３次元地図データの生成に要する負担を大幅に軽減することが可能となる。これは、各フレームデータの撮影位置が求まった後のアプリケーションの一例に過ぎず、撮影位置が付与されたフレームデータは、建築物の高さ推定など種々の用途に活用可能である。

Ｇ１．変形例〜フレームデータ配置方法：
図１５は変形例としてのフレームデータ配置方法を示す説明図である。撮影位置解析処理（図９）のステップＳ３０の処理の変形例に相当する。実施例と同様、矢印Ａｒ１からＡｒ２の方向に移動しながら撮影したフレームデータを、リンクＬ１、Ｌ２で設定された初期軌跡上に配置する例を示した。

変形例では、基準位置（図中の二重丸の位置）を始点として、撮影時に時系列に逆行するようにフレームを配置する。例えば、リンクＬ１上では、基準位置を始点として、車速パルスに対応した距離だけ逆行、即ち図中の矢印ＤＬ方向に移動した位置に、順次フレームデータを配置していく。この結果、リンクＬ１上では、基準位置に近い領域Ｅ１の方が、遠い領域Ｅ２よりも、フレーム画像の位置精度が高くなる。従って、かかる配置を利用して、撮影位置の解析および画像の合成、標識・標示抽出処理（図１２〜１２参照）を実行すれば、画像の精度、抽出される標識等の位置精度は基準位置に近い程高くなる。こうして生成されたデータは、例えば、車両に搭載されたナビゲーションシステムの案内画像に利用することができ、図１５中の矢印Ａｒ１からＡｒ２に移動する際には、ノードＮ１に対応する交差点に近づく程、高い位置精度で車両を正確かつ円滑に案内することが可能となる。ひいては車両の自動運転制御を実現することも可能となる。

上述の態様の更に変形例として、基準位置を始点として、移動方向および逆方向の双方に順次、フレームデータを配置するようにしてもよい。つまり、実施例（図５）で説明した配置方法と、変形例（図１５）で説明した配置方法を組み合わせて適用してもよい。こうすることにより、フレームデータ全体の位置精度を向上させることができる利点がある。

対向する複数の通行帯が設けられている道路を撮影した画像を処理する場合、基準位置を始点として時系列と逆順にフレーム画像等を配置する態様は、片側の通行帯（通常は、撮影時に移動した通行帯）のみが撮影されている画像に有用である。一方、両側の通行帯が撮影された画像に対しては、基準位置を始点として、移動方向および逆方向の双方に順次、フレームデータを配置する方法が有用となる。

Ｇ２．変形例〜側面画像の活用：
実施例では、横断歩道を基準位置として用いる例を示した（図６参照）。解析精度を向上させるためには、多種多様な基準位置を併用することが好ましい。例えば、横断歩道が基準位置として利用できない程度にかすれている場合や、他の車などに隠れて撮影できない場合にも、他の基準位置が活用可能となるからである。変形例では、このような基準位置の一例として、側面用のビデオカメラ１２２Ｒ、１２２Ｌ（図２参照）で撮影した画像に写されている建物を利用する例を示す。

図１６は側面画像を活用して、基準位置を求める方法を示す説明図である。図の上方には二次元地図の一部を拡大して示した。図中の道路上を点Ｐ１から点Ｐ２に移動しながら側面画像を撮影したとする。この道路には、ビルＢＬＤ１〜ＢＬＤ３が建っているとする。ビルＢＬＤ１〜ＢＬＤ３の位置座標（緯度、経度）は既知である。

点Ｐ１において実線で示す画角Ａ１でビルを撮影した場合を考える。図の下方に示す通り、この時点での画像ＰＩＣ１には、ビルＢＬＤ１、ＢＬＤ２が撮影される。点Ｐ２に移動すると、破線で示す画角でビルが撮影される。点Ｐ１、Ｐ２でそれぞれ撮影された画像を比較すると、ビルＢＬＤ１のコーナーＣＮＲの位置が相対的に移動する。点Ｐ１とコーナーＣＮＲを結ぶ線と画角の端線とのなす角度を角度Ａ２とすると、点Ｐ１の時点では、コーナーＣＮＲに対応するエッジＥＤＧ１は画面ＰＩＣ１の幅ＳＣをＡ２／Ａ１で内分した点に写る。点Ｐ２の時点では、角度Ａ２が大きくなるため、エッジＥＤＧ１の位置は図中の右方向に移動する。この移動距離をＭＢとする。点Ｐ１から点Ｐ２までの移動距離ＭＡは既知である。従って、移動距離ＭＡ、ＭＢおよび画角Ａ１に基づき、幾何学的に撮影位置からコーナーＣＮＲまでの距離ＤＩＳＴを決定することができる。同様の処理はビルＢＬＤ１の他方のエッジＥＤＧ２に対しても行うことができる。また、距離ＤＩＳＴが求まれば、画角Ａ１に基づき、エッジＥＤＧ１、ＥＤＧ２間の実際の距離、即ちビルＢＬＤ１の幅を特定することができる。

撮影されている建物がビルＢＬＤ１であるものとして説明したが、上述の演算は、との建物が撮影されているか特定できていない状態でも支障なく行うことができる。変形例の画像データ処理装置２００は、上述の演算結果に基づいて画像ＰＩＣ１に写されている建物を検索する。変形例においても、点Ｐ１、Ｐ２の位置は所定の誤差範囲内で特定されている。従って、点Ｐ１を基準として距離ＤＩＳＴの位置にある建物の位置座標を所定の誤差範囲内で求めることができる。また、地図データベースを参照することにより、上述の方法で求められた位置座標の近傍で、エッジＥＤＧ１、ＥＤＧ２から求められた値に相当する幅を有する建物、即ち画像ＰＩＣ１に撮影された建物を特定することができ、その座標を特定することができる。地図データベースから得られた座標と、演算で求められた座標との誤差は、点Ｐ１の位置誤差である。従って、この誤差を反映することにより、点Ｐ１の位置座標を修正することができる。こうして修正された撮影位置は、基準位置として用いることができる。

上述の処理において、建物のエッジＥＤＧ１、ＥＤＧ２は、画像処理によって自動的に特定することも可能ではあるが、変形例では、精度良く特定可能とするため、オペレータが画像を見ながらマウス等のポインティングデバイスによってエッジＥＤＧ１、ＥＤＧ２を引くことで指定するものとした。

図１７は変形例における基準位置算出処理のフローチャートである。図１６で説明した方法に従って、画像データ処理装置２００が基準位置を求めるための処理である。画像データ処理装置２００は、まず複数の対象フレーム、解析の対象となる対象ビル、およびそのエッジの指定を入力する（ステップＳ２００）。また、指定された対象フレームの撮影位置、即ちＧＰＳで検出された位置座標を入力する（ステップＳ２０２）。

次に、画像データ処理装置２００は、対象フレーム間でのエッジの移動距離ＭＢ、および撮影位置の移動距離ＭＡ（図１６参照）を算出する（ステップＳ２０４）。そして、移動距離ＭＡ、ＭＢに基づき、撮影位置と対象ビルとの距離ＤＩＳＴ、および対象ビルの幅を算出する（ステップＳ２０６）。画像データ処理装置２００は、ネットワークデータベース２２０（図１参照）を参照して、撮影位置（ＧＰＳ出力）、距離ＤＩＳＴ、対象ビルの幅に適合するビルを対象ビルとして特定する（ステップＳ２０８）。

こうして対象ビルが特定されると、ネットワークデータベース２２０から、対象ビルの座標を得ることができる。従って、画像データ処理装置２００は、対象ビルの位置を基準として、距離ＤＩＳＴおよび撮影画像内のエッジの位置に基づいて、撮影位置を特定する（ステップＳ２１０）。これは、演算で得られた対象ビルの位置座標と、ネットワークデータベース２２０から得られた位置座標の誤差を、ＧＰＳ出力としての撮影位置に反映することで、撮影位置の誤差を修正する処理に相当する。画像データ処理装置２００は、こうして特定された撮影位置を基準位置として設定し（ステップＳ２１１）、基準位置算出処理を終了する。以上で説明した変形例の処理によれば、横断歩道を基準位置として利用できない場合でも、建物位置に基づいて撮影位置の誤差を解消することができるため、各フレームの撮影位置の解析精度を向上することが可能となる。

Ｇ３．変形例〜経時変化の特定：
実施例および変形例で説明してきた動画の撮影は、必ずしも新規に３次元地図データを作成する時だけでなく、既に３次元地図データが生成された地域のメンテナンスとして行う場合もある。この場合には、撮影された動画像は、既に用意された３次元地図データとの比較によって、建物の新築や取り壊し、改築などの経時変化の有無を判定するために活用することができる。以下では、この経時変化判定について例示する。

図１８は経時変化判定処理のフローチャートである。この処理では、画像データ処理装置２００は、まず複数の対象フレームおよび撮影位置を読み込む（ステップＳ１５０）。この処理では、側面画像を活用するものとした。撮影位置は、ＧＰＳの出力結果を用いる。

画像データ処理装置２００は、また、既存の３Ｄグラフィックスデータ、即ち３次元地図データを生成するための建物等の３次元データを用いて、撮影位置からこれらの建物を見た画像を生成することで、対象フレームに対応する２Ｄ画像を生成する（ステップＳ１５２）。そして、こうして生成された２Ｄ画像と、対象フレームとのマッチングによって両者の不整合の有無を判断する（ステップＳ１５４）。画像間のマッチングには、テンプレートマッチング、ＤＰマッチング、固有空間法など周知の方法を用いればよい。不整合の有無を判断する基準値は、２Ｄ画像と対象フレームとの間の不整合のに、建物の新築、取り壊し等に相当する大きな不整合があるか否かを検出可能な範囲で設定すればよい。

画像データ処理装置２００は、マッチングの結果、不整合がない場合には（ステップＳ１５６）、対象フレームを先に図１７で説明した基準位置算出処理に活用する（ステップＳ２００）。経時変化がないと判断される建物が撮影された画像を用いることにより、基準位置算出処理を精度良く安定して行うことができるからである。基準位置算出処理は必須ではなく、省略しても差し支えない。マッチングの結果、不整合がある場合には（ステップＳ１５６）、画像データ処理装置２００は、対象フレーム画像に基づき３Ｄグラフィックスデータを更新する処理を行う（ステップＳ１５８）。建物が新築または改築されている場合、この処理には、対象フレーム画像から、自動またはオペレータの操作によって、新築または改築された建物のテクスチャを切り出す処理が含まれる。建物が取り壊されている場合には、既存のグラフィックスデータから、該当する建物のデータを削除する処理が含まれる。いずれの場合においても、全自動で処理する必要はなく、オペレータの操作に基づいて処理するようにしてもよい。以上で説明した経時変化判定処理によれば、既存の３Ｄグラフィックスデータの経時変換の有無を容易に判断することができ、メンテナンスの負荷を軽減することができる。

Ｇ４．変形例〜案内板の位置座標解析： 図１９は案内板位置座標解析処理のフローチャートである。街中に設置されている案内板の位置座標を、撮影された画像から特定するための処理である。位置座標の特定には、図１６で説明した原理、即ち撮影位置を基準として建物の位置座標を算出する方法を用いる。

画像データ処理装置２００は、解析に用いる複数の対象フレームおよび各フレームの撮影位置を読み込む（ステップＳ３００）。対象フレームとしては、案内板を撮影した、側面画像を用い、撮影位置はＧＰＳの出力結果、または実施例の処理結果を用いる。

次に、画像データ処理装置２００は、対象フレーム中から案内板の支柱位置の指定を入力する（ステップＳ３０２）。ここでは、図示するように案内板ＳＰを写した画像中で、ポインティングデバイスを用いてオペレータが支柱位置に線ＰＳＰを引くことで指定する方法を採った。画像解析によって自動的に支柱位置を特定するようにしてもよい。

画像データ処理装置２００は、各フレームで指定された支柱位置、および撮影位置に基づき、図１６で説明した原理に従って支柱の位置座標を算出する（ステップＳ３０４）。そして、こうして得られた位置座標を出力して（ステップＳ３０６）、案内板位置座標解析処理を終了する。ネットワークデータベースを参照して、算出された位置座標が異常な値となっていないことを確認してもよい。例えば、算出された位置座標が道路や歩道の中央となっている場合には、異常な結果と判断することができる。

以上の処理によれば、比較的容易に、案内板を適切な位置に設置した状態で３Ｄ地図データを作成することができる。案内板はネットワークデータベースなど既存のデータからは位置座標が得られないのが通常である。案内板は、交差点付近に設置されているのが通常であるとはいえ、現実の位置とあまりに異なる場所に設置した状態で作成された３Ｄ地図データでは、かえって利用者を混乱させるおそれもある。上述の処理によれば、案内板の動画を撮影すれば位置を解析することができるため、案内板の位置座標を測量するほどの負荷をかけるまでなく、上述の課題を回避し、現実の状態に即した３Ｄ地図データを提供することが可能となる利点がある。

以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。例えば、実施例では、道路上の区画線に基づいて特徴点追跡処理を実行した。特徴点追跡処理は、複数フレームに撮影されている種々の対象を用いて行うことが可能である。例えば、ガードレール、路側の建築物などを利用してもよい。

実施例では、車速パルスを用いて移動方向の位置を特定したが、この処理には、車速パルス以外の情報を用いることも可能である。車両の移動距離と時刻との関係を与える情報であれば、種々の情報を適用可能である。例えば、道路上の破線で描かれた区画線の通過本数、ガードレールの支柱の本数などを車速パルスに代えて用いることもできる。

産業上の利用の可能性

本発明は、移動しながら撮影された動画その他の複数フレームからなる画像について、各フレームの撮影位置を解析するために利用可能である。

実施例としての画像データ処理システムの構成を示す説明図である。 画像データ取得装置１００を構成する各装置の搭載、接続例を示す説明図である。 画像データ等の構造を示す説明図である。 初期軌跡の設定方法を示す説明図である。 変形例としての初期軌跡の設定方法を示す説明図である。 特徴点追跡処理の原理を示す説明図である。 変換係数設定方法の工程図である。 特徴点追跡処理の例を示す説明図である。 撮影位置解析処理のフローチャートである。 特徴点追跡処理のフローチャートである。 変形例としての特徴点追跡処理のフローチャートである。 標識・標示抽出処理のフローチャートである。 画像データの処理例（その１）を示す説明図である。 画像データの処理例（その２）を示す説明図である。 変形例としてのフレームデータ配置方法を示す説明図である。 側面画像を活用して、基準位置を求める方法を示す説明図である。 変形例における基準位置算出処理のフローチャートである。 経時変化判定処理のフローチャートである。 案内板位置座標解析処理のフローチャートである。

Claims (13)

1. 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミングで撮影された複数フレームから構成され、前記各フレームには直前直後の少なくとも一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、各フレームの撮影位置を解析する撮影位置解析装置であって、
   前記複数フレームからなる画像データを入力する入力部と、
   前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力部と、
   前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレームの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレームにわたって撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する撮影位置解析部とを備える撮影位置解析装置。
2. 請求項１記載の撮影位置解析装置であって、
   前記画像は、前記移動方向の正面または背後の画像であり、
   前記入力部は、前記画像の下部の一部を入力する撮影位置解析装置。
3. 請求項１記載の撮影位置解析装置であって、
   前記画像は、道路上を移動しながら撮影された画像であり、
   前記連続体は、道路の通行帯の区画線である撮影位置解析装置。
4. 請求項１記載の撮影位置解析装置であって、
   前記入力部は、前記移動方向に沿って、前記撮影時における時刻と移動距離との関係を表す移動距離情報を入力し、
   前記撮影位置解析部は、前記移動距離情報に基づいて、前記移動方向に沿う前記各フレームの撮影位置を仮設定する撮影位置解析装置。
5. 請求項１記載の撮影位置解析装置であって、
   前記入力部は、前記移動方向に沿って、前記撮影時における時刻と移動距離との関係を表す移動距離情報を入力し、
   前記撮影位置解析部は、前記移動距離情報に基づいて、所定の移動距離ごとに撮影されたフレームを抽出して、前記解析を行う撮影位置解析装置。
6. 請求項４記載の撮影位置解析装置であって、
   前記画像は、車両に搭載した撮影装置によって撮影された画像であり、
   前記移動距離情報は、前記車両の車速パルスである撮影位置解析装置。
7. 請求項１記載の撮影位置解析装置であって、
   前記入力部は、更に、前記画像データに対応づけて、前記撮影時に既知の基準位置に到達した時点を表す基準位置情報を入力し、
   前記撮影位置解析部は、前記解析の過程において、少なくとも前記移動方向に沿う位置について、前記基準位置情報に基づく初期化を行う撮影位置解析装置。
8. 請求項１記載の撮影位置解析装置であって、
   前記画像データは、更に、前記移動交差方向に撮影した複数フレームの横画像データを含み、
   前記横画像データの被写体の位置座標を記録した地図データを参照する地図データ参照部と、
   前記複数フレームの横画像データから、前記被写体の位置を表す被写体座標を算出する座標算出部とを有し、
   前記撮影位置解析部は、解析の過程において、少なくとも前記移動方向に沿う位置について、前記地図データに記録された位置座標と前記被写体座標とに基づく初期化を行う撮影位置解析装置。
9. 請求項１記載の撮影位置解析装置であって、
   道路をノード、リンクで表した道路ネットワークデータを参照するネットワークデータ参照部を有し、
   前記初期軌跡入力部は、前記道路ネットワークデータに基づいて前記初期軌跡を設定する撮影位置解析装置。
10. 請求項１記載の撮影位置解析装置であって、
    前記初期軌跡入力部は、前記画像の撮影時の移動軌跡を所定の誤差範囲内で少なくとも２次元的に検出する位置検出センサの出力を入力し、前記初期軌跡を設定する撮影位置解析装置。
11. 請求項１記載の撮影位置解析装置であって、
    前記撮影位置の解析に先だって、前記連続体を正面から撮影した状態の画像に前記画像データを変換する画像変換処理部を有し、
    前記画像変換処理部は、前記画像データを複数領域に分け、各領域で異なる変換係数を用いて前記変換を行い、
    前記複数領域および前記変換係数は、既知形状の網状体を撮影した画像データから該網状体の正面視画像を得られるよう設定されている撮影位置解析装置。
12. 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミングで撮影された複数フレームから構成され、前記各フレームには直前直後の少なくとも一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、各フレームの撮影位置を解析する撮影位置解析方法であって、
    コンピュータが実行する工程として、
    前記複数フレームからなる画像データを入力する入力工程と、
    前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力工程と、
    前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレームの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレームにわたって撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する撮影位置解析工程とを備える撮影位置解析方法。
13. 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミングで撮影された複数フレームから構成され、前記各フレームには直前直後の少なくとも一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、各フレームの撮影位置を解析するためのコンピュータプログラムを記録した記録媒体であって、
    前記複数フレームからなる画像データを入力する入力プログラムコードと、
    前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力プログラムコードと、
    前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレームの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレームにわたって撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する撮影位置解析プログラムコードとを記録した記録媒体。