JP4545093B2 - ３ｄ自動測量装置 - Google Patents

Description

本発明は、カメラにより撮影した画像データに基づいて所望の対象物の大きさや対象物間の距離等を測量する測量裝置に関する。
特に、本発明は、３６０度全周囲カメラから取得した動画映像を解析することにより、画像内の任意の対象物の精度の高い三次元計測を可能とし、また、移動する３６０度全周囲カメラから撮影した複数のフレーム画像を自由にまたいで、始点と終点の２点を任意に指示することにより、指定した２点間の三次元距離を計測し、さらに、２点以上の点を指定することにより、所望の対象物等についての面積や体積を三次元的に計測することができる３Ｄ自動測量装置に関する。

一般に、複数のカメラにより撮影した画像を分析して対象物の大きさや対象物間の距離等を測量する画像測量技術が知られている。
この種の画像測量は、例えば、並列に設置された二台のカメラで得られた視差のある画像から距離を計測するステレオ法による技術であり、簡易な測量技術として利用されている（特許文献１−２参照。）。
また、この種の画像測量では、得られた計測データから地図を生成する試みもなされており、応用分野が広がっている。

特開平０８−２７８１２６号公報 特開２０００−２８３７５３号公報

しかしながら、二台のカメラによるステレオ法では、設置するカメラ間距離に制約があるため、遠く離れた対象物間の距離を測るといった長距離の計測は不可能であった。
また、二台のカメラの視差を利用した測量のため、計測の精度が悪く、近距離計測以外には精密な測量技術としては実用化されるに至っていない。
従来のステレオ法により高精度な測量を行おうとすれば、二台のカメラには極めて高い精度の整合性が必要となり、カメラ間距離や角度を高精度に調整しなければならず、振動などによって容易に誤差が生じてしまうおそれがあり、現実の実用化は困難であった。

そこで、本願発明者は、鋭意研究の結果、３６０度全周囲カメラから得られた動画映像の複数のフレーム画像から充分な数の特徴点を抽出することにより、所望の特徴点とカメラ位置と回転角の相対位置を示す三次元座標を高精度に求めることができ、その三次元相対座標を絶対座標に変換することにより、一台の３６０度全周囲カメラによって、移動や振動等にも影響を受けない、高精度な測量が実現し得ることに想到した。

すなわち、本発明は、上述した従来技術が有する問題を解決するために提案されたものであり、３６０度全周囲カメラから取得した動画映像を解析することにより、複数のカメラを必要とせず、カメラの振動や揺れ等の影響も受けることなく、画像内の任意の対象物についての高精度な三次元計測を可能とし、また、複数のフレー厶画像を跨いで指定した任意の２点間について、距離的な制約を受けることなく三次元距離の計測が可能となり、さらに、２点以上の点を指定することで、映像内の任意の面積や体積についても三次元的に計測することができる３Ｄ自動測量装置の提供を目的とする。

上記目的を達成するため、本発明の３Ｄ自動測量装置は、移動する３６０度全周囲カメラにより、所望の計測点及び三次元絶対座標が既知の所定の基準点を含む動画又は連続静止画を撮影する全周囲画像撮影部と、全周囲画像撮影部で撮影された画像を記録する画像記録部と、画像記録部に記録された画像内において、計測点以外の映像的特徴のある部分を特徴点として抽出する特徴点抽出部と、画像記録部に記録された画像内において、計測点を自動抽出する計測点特定部と、画像記録部に記録された画像内において、基準点を自動抽出する基準点特定部と、計測点，基準点，特徴点を、各フレーム画像内に追跡して対応付ける対応点追跡部と、対応点追跡部で対応づけられた計測点，基準点，特徴点と、必要に応じてカメラの位置と回転を示すカメラベクトルについて、三次元相対座標を演算により求めるベクトル演算部と、ベクトル演算部における演算を繰り返し、求められる三次元相対座標の誤差を最小にするように重複演算を繰り返し、統計処理する誤差最小化処理部と、基準点の既知の三次元絶対座標から、ベクトル演算部で求められた三次元相対座標を絶対座標系に変換し、計測点，基準点，特徴点に三次元絶対座標を付与する絶対座標取得部と、計測点，基準点，特徴点に付与された最終の絶対座標を記録する計測データ記録部と、計測データ記録部に記録された計測データを表示する表示部とを備える構成としてある。

また、本発明の３Ｄ自動測量装置は、移動する３６０度全周囲カメラにより、所望の計測点及び三次元絶対座標が既知の所定の基準点を含む動画又は連続静止画を撮影する全周囲画像撮影部と、全周囲画像撮影部で撮影された画像を記録する画像記録部と、画像記録部に記録された画像内において、映像的特徴のある部分を特徴点として抽出する特徴点抽出部と、画像記録部に記録された画像内において、基準点を自動抽出する基準点特定部と、基準点，特徴点を、各フレーム画像内に追跡して対応付ける対応点追跡部と、対応点追跡部で対応づけられた基準点，特徴点からカメラの位置と回転を示すカメラベクトルについて、三次元相対座標を演算により求めるベクトル演算部と、ベクトル演算部における演算を繰り返し、求められる三次元相対座標の誤差を最小にするように重複演算を繰り返し、統計処理する誤差最小化処理部と、基準点の既知の三次元絶対座標から、ベクトル演算部で求められたカメラの三次元相対座標を絶対座標系に変換し、三次元絶対座標を付与する絶対座標取得部と、画像記録部に記録された画像内において、計測点を自動抽出する計測点特定部と、計測点特定部で抽出された計測点を各フレーム画像内に追跡して対応付ける計測点追跡部と、計測点の計測値をベクトル演算部で求められたカメラベクトルから演算で求める計測点計測演算部と、計測点の絶対座標を記録する計測データ記録部と、計測データ記録部に記録された計測データを表示する表示部とを備える構成としてある。

また、本発明の３Ｄ自動測量装置は、基準点が、三次元絶対座標が既知の基準点とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の長さ基準点を含み、ベクトル演算部は、長さ基準点の２点間の距離を演算により求め、誤差最小化処理部は、ベクトル演算部で演算により得られる長さ基準点の２点間の距離が、当該長さ基準点の既知の長さと一致するように、重複演算を繰り返し、統計処理する構成としてある。

また、本発明の３Ｄ自動測量装置は、画像記録部に記録された画像内において、任意の計測点を指定する画像内測定点指定作業部と、画像記録部に記録された画像内において、任意の基準点を指定する画像内基準点指定作業部と、を有する画像内準備作業部を備え、この画像内準備作業部により、測定点特定部及び基準点特定部において、任意の測定点及び基準点を指定して抽出させる構成としてある。

また、本発明の３Ｄ自動測量装置は、ベクトル演算部が、計測点，基準点，特徴点又はカメラベクトルの三次元相対座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の三次元相対座標を求める単位演算を繰り返し、誤差最小化処理部が、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各三次元相対座標の誤差が最小になるようにスケール調整して統合し、最終の三次元相対座標を決定する構成としてある。

また、本発明の３Ｄ自動測量装置は、ベクトル演算部が、フレーム間隔ｍを、カメラから計測点，基準点，特徴点までの距離に応じて、カメラからの距離が大きいほどｍが大きくなるように設定して単位演算を行う構成としてある。

また、本発明の３Ｄ自動測量装置は、ベクトル演算部が、求められた三次元相対座標の誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点に基づいて再演算を行い、測定点演算の精度を上げる構成としてある。

また、本発明の３Ｄ自動測量装置は、画像記録部に記録された任意の画像内の任意の計測点又は任意の特徴点を始点とし、当該画像内又は異なる他の画像内の任意の計測点又は任意の特徴点を終点として指定して、計測データ記録部に記録された絶対座標に基づき、同一画像内又は異なる画像間で指定された任意の始点終点間の三次元距離を演算により求める距離演算部を備える構成としてある。

また、本発明の３Ｄ自動測量装置は、画像記録部に記録された任意の同一画像内又は異なる画像間で複数の点を指定して、距離演算部で求められる始点終点間の三次元距離計測を複数組み合わせ、同一画像内又は異なる画像間における所望の対象物の面積又は体積を演算により求める面積・体積演算部を備える構成としてある。

さらに、本発明の３Ｄ自動測量装置は、ベクトル演算部によって得ちれたカメラベクトルにより、全周囲画像撮影部で得られた画像を進行方向に固定又は制御する進行方向制御部と、進行方向制御部により進行方向に安定化された画像を垂直面に展開する画像垂直面展開部と、道路面の形状の各パラメータを未定とした道路面の基本形モデルを生成する道路面基本形モデル生成部と、画像垂直面展開部により垂直面に展開された路面の画像から道路面の三次元座標を計測する道路面三次元計測部と、道路面三次元計測部で得られた道路面計測データから、当該道路面の形状の各パラメータを取得し、当該道路面の透明なＣＧを生成する道路透明ＣＧ生成部と、道路透明ＣＧ生成部で生成された透明ＣＧと進行方向制御部により進行方向に安定化された道路面画像を合成して、道路面に平行に画像を展開する合成道路面平面展開部と、合成道路面平面展開部で展開された画像に道路面テクスチャーを加算平均して、当該画像のノイズを減少させるテクスチャー加算平均部と、必要に応じて、道路面をブロック化し、道路面の特徴ある部分をテクスチャーの順番を変更しないように柔軟に結合し、その出力をテクスチャー加算平均部に送る道路面テクスチャー柔軟結合部と、テクスチャー加算平均部でノイズ低減された画像から、道路標示等の道路面図形や障害物等の領域の概略を大きく切り取る対象物領域切り取り部と、対象物領域切り取り部で切り取られた対象物領域から、目的の対象物を認識し、その座標を取得する道路標示等認識及び座標取得部と、座標が取得された目的の対象物を構成する多角形の各点を計測点として絶対座標を求める計測点特定部に入力し、絶対座標を取得した計測データ記録部からの出力を再構成して道路面の三次元地図を生成する三次元地図生成部とを有する三次元地図生成装置を備える構成としてある。

以上のような本発明によれば、３６０度全周囲画像を用いることで、動画映像の複数のフレーム画像から充分な数の特徴点を抽出することにより、所望の計測点を含む多数の特徴点の相対位置を示す三次元相対座標を高精度に求めることができる。なお、通常画像を３６０度全周囲画像の一部分として扱うことで、３６０度全周囲画像と同様に扱うことは可能である。但し、精度は３６０度全周囲画像に比較して低下するため、可能な限り３６０度全周囲画像を用いることが好ましい。
そして、求めた三次元相対座標を、予め測量等で得た基準点についての既知の三次元絶対座標に基づいて、絶対座標系に変換することができる。
また、絶対座標を取得する必要のない場合には、予め測量等で既知の長さを基準として、あるいは長さの既知である物体を計測点の周囲に置くなどして、緯度経度等の絶対座標値は得られなくても、スケールの正しい計測結果を得ることができる。
これによって、本発明では、原則的に一台の３６０度全周囲カメラで、自由空間を任意に移動するカメラによって映像を撮影し、その映像中に所望の測量ポイントを指定し、あるいは、予め目印等を付した測量ポイントの映像を取り込んで、それを解析することで、極めて精度の高い３Ｄ測量が行える。

このように、一台の３６０度全周囲カメラで得られる動画映像を解析することにより、所望の対象物等についての三次元絶対座標を得ることができ、また、多数の特徴点を抽出して三次元情報を生成することで、可能な限り誤差を最小化することができ、複数のカメラを必要とすることなく、かつ、カメラの振動や揺れ等の影響を受けることなく、画像内の任意の対象物についての高精度な三次元計測が行えるようになる。
すなわち、本発明では、二台のカメラの視差によるのではなく、一台のカメラの移動によって、所望の計測ポイントを含む多数のフレーム画像からなる動画映像を解析することで、同一計測ポイントを含むフレーム画像を多数利用することができ、充分に有り余る情報によって精度を高めた演算が行える。

また、このように所望の計測点について、高精度な絶対座標を得ることができる本発明では、任意の始点と終点を指定した三次元距離の計測が行え、例えば、複数のフレーム画像を跨いで指定した任意の２点間であっても、距離的な制約を受けることなく高精度な三次元距離計測が可能となる。
さらに、３点以上の点を指定することにより、画像内や複数の画像に跨る任意の対象物や領域等の面積や体積についても三次元的に計測することができるようになる。

［図１］本発明の第一実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
［図２］本発明の第一実施形態の他の実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
［図３］本発明の一実施形態に係る３Ｄ自動測量装置おける具体的なカメラベクトルの検出方法を示す説明図である。
［図４］本発明の一実施形態に係る３Ｄ自動測量装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図５］本発明の一実施形態に係る３Ｄ自動測量装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図６］本発明の一実施形態に係る３Ｄ自動測量装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
［図７］本発明の一実施形態に係る３Ｄ自動測量装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図８］本発明の一実施形態に係る３Ｄ自動測量装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図９］本発明の一実施形態に係る３Ｄ自動測量装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１０］本発明の一実施形態に係る３Ｄ自動測量装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
［図１１］図１又は図２に示す本発明の第一実施形態に係る３Ｄ自動測量装置において、すでに得られたカメラベクトルに基づいて任意の計測点を計測する場合の概略構成を示すブロック図である。
［図１２］本発明の第二実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
［図１３］図１２に示す３Ｄ自動測量装置における測量処理の手順を示すフローチャートである。
［図１４］図１２に示す３Ｄ自動測量装置における任意の２点間の三次元距離の計測処理手順を示す説明図である。
［図１５］図１２に示す３Ｄ自動測量装置における任意の領域の面積又は体積の演算処理手順を示す説明図である。
［図１６］図１２に示す３Ｄ自動測量装置により、同一画像内において三次元距離を求める任意の点を指定する画像例を示す説明図である。
［図１７］本発明の第三実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
［図１８］本発明の第四実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
［図１９］本発明の第四実施形態に係る３Ｄ自動測量装置で生成される三次元地図の一例を示す図であり、（ａ）は三次元地図で表される道路の断面図であり、（ｂ）は（ａ）に示す道路の三次元地図の一例で道路上空から撮影した投影図であり、（ｃ）は（ｂ）に示す三次元地図において三次元座標を取得するために使用されるオペレータ部品を示す図である。
［図２０］図１９に示す道路の立体図であり、道路標識のオペレータ部品（ＣＧ部品）が合成された図を示している。

以下、本発明に係る３Ｄ自動測量装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の３Ｄ自動測量装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明の３Ｄ自動測量装置及び画像安定化装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

まず、図１及び図２を参照して、本発明に係る３Ｄ自動測量装置の一実施形態について説明する。
図１及び図２は、それぞれ、本発明の一実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
図１に示す実施形態の３Ｄ自動測量装置は、予め測量点の指定等の準備作業を行う現地準備作業部１０と、撮影されたカメラ画像内で測量処理を行う３Ｄ自動測量装置１００を備えている。
また、図２に示す実施形態の３Ｄ自動測量装置は、予め測量点の指定等の準備作業を行う手段として、図１に示す現地準備作業部１０に換えて、画像内準備作業部２０を備えている。

現地準備作業部１０は、計測作業に先立つ現地準備作業を行う手段であり、図１に示すように、現地計測点指定作業部１１と現地基準点指定作業部１２を備えている。
現地計測点指定作業部１１は、計測作業に先立ち、所望のすべての計測点についての指定を行う。この計測点の指定は、例えば、現場の計測地点を示す印を付したり、あるいは、計測地点を示す物体を置く等によって行うことができる。この指定により、後述する３Ｄ自動測量装置１００において、撮影されたカメラ画像内における計測点の抽出，特定が行えるようになる。
現地基準点指定作業部１２は、計測作業に先立ち、所定の基準点となる地点についての指定を行う。

ここで、基準点は、後述するように、三次元相対座標を絶対座標に変換する際の基準となる点であり、予め、任意の方法により既知の基準座標（三次元絶対座標）が計測される点（座標基準点）である。
また、基準点は、三次元絶対座標が既知の基準点とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の基準点（長さ基準点）を含むことができる。
長さ基準点は、２点以上の点からなり、２点間の距離を既知のものとして扱う基準点であり、例えば、長さ基準点の間隔を１メートルというように設定し、画像内に１メートルの棒等を多数映るように設置することで得られる。そして、各画像に少なくとも一つの長さ基準点が重複するように撮影する。このような長さ基準点を設けることで、長さ基準点の既知の長さを基準として、後述するように、画像毎にスケールのキャリブレーションができ、精度を大幅に向上させることができる。

ここで、長さ基準点は、座標基準点を複数設定するのと同様と捉えることもできるが、「長さ」である長さ基準点を多数設定することは、「点」である座標基準点を多数設定するよりも有効である。すなわち、座標基準点は全計測範囲に２点のみ設定すれば絶対座標に変換でき、また、座標基準点がすべての画像から観察されるとは限らず、さらに、複数の座標基準点を設定するよりも複数の長さ基準点を設ける方が費用や手間の点で有利となる。
従って、例えば全計測範囲において、座標基準点は２点のみとし、長さの基準を示す所定長（例えば１メートル）の棒を計測範囲に多数、しかもランダムに設置するだけで、本発明に係る自動測量を実施でき、計測作業の手間も費用も大幅に削減することができる。

なお、基準点（座標基準点又は長さ基準点）についての三次元座標や長さの測量はどのような方法であってもよく、例えば、三角法等の従来公知の測量方法によって絶対座標や長さを取得しておくことができる。
現地基準点指定作業部１２は、この基準点に、計測地点とは明確に区別できる基準地点の印を付し、あるいは、基準地点を示す物体や棒等を置くことにより基準点の指定を行う。この指定により、後述する３Ｄ自動測量装置１００において、撮影されたカメラ画像内において、所定の基準点の抽出，特定が行えるようになる。

具体的には、現地準備作業部１０での準備作業は、測量現場において、計測しようとする目的の計測点のすべてに、それと分かる印等を付ける作業をする。この印等は、３Ｄ自動測量装置１００の処理において、画像上で画像認識により自動抽出するためのものである。従って、画像認識により自動抽出できるようにするため、単純な図形等が良く、また、他の計測点や基準点，他の図形等と混乱しないような特徴を与えることがよく、例えば、○や×などでも良いし、その計測地点に色を付けた杭を打つなどしても良い。

同様に、所定の基準点についても、座標基準点の場合には印等を付け、長さ基準点の場合には棒等を設置する。
なお、基準点と計測点は異なる印等とし、また、複数の基準点は、それぞれ個別に異なる印を付けることが望ましい。これにより、計測点と基準点が明確に区別でき、また、複数の基準点もそれぞれ区別することができ、始点と終点の指定等が容易に行えるようになる。
そして、絶対座標が既知である基準点は二カ所以上指定することで、後述するように、三次元相対座標を絶対座標に変換できるようになる。

ここで、計測点と基準点の指定作業は、機械等により自動化することも、作業者の手作業により行うこともできる。また、例えば、基準点等の数が少ないような場合等には、この現地作業を省略し、画像内から直接基準点等を検出し、画像上で印を付けることもできる。
図２は、計測点と基準点を指定する準備作業を画像内で行う画像内準備作業部２０を備えた３Ｄ自動測量装置である。
同図に示すように、画像内準備作業部２０は、図１で示した現地準備作業部１０による現場における現地準備作業を省略し、３Ｄ自動測量装置１００で撮影，取得されたカメラ画像内において所望の計測点と基準点の指定を行う手段であり、画像内計測点指定作業部２１と、画像内基準点作業部２２を備えている。

画像内計測点指定作業部２１は、後述する３Ｄ自動測量装置１００の周囲画像撮影部１０１で撮影された映像内において、所望の計測点を指定する。
同様に、画像内基準点指定作業部２２は、周囲画像撮影部１０１で撮影された映像内において、予め絶対座標が既知の所定の基準点を指定する。
そして、この画像内準備作業部２０における指定により、後述する３Ｄ自動測量装置１００の計測点特定部１０４において、目的の計測点が画像内で特定されて指定され、同様に、基準点特定部１０５おいて、目的の基準点が画像内で特定されて指定されることになる。

具体的には、画像内準備作業部２０では、例えば、作業者が画像内に所望の計測点及び基準点に印を付していく作業が行われる。
このように、画像内準備作業部２０を備えることにより、現地準備作業を可能な限り省略することができる。これにより、本実施形態の３Ｄ自動測量装置を、画像内３Ｄ計測装置として位置づけることもでき、現地計測準備作業の内、計測対象を指定する現場での準備作業をすべて省略し、外で行う作業を周囲画像撮影部１０１による撮影のみとすることができる。

そして、以上のような現地準備作業部１０又は画像内準備作業部２０における計測点及び基準点の指定準備作業を経て、３Ｄ自動測量装置１００において、具体的な測量処理が行われる。
３Ｄ自動測量装置１００では、３６０度全周囲カメラで撮影された画像内から、計測点，基準点を含む映像的な特徴点が自動抽出され、その特徴点がフレー厶画像間で自動追跡される。これにより、先ずカメラベクトルを求めることができる。
そして、特徴点の自動抽出、自動追跡により、カメラベクトルが求まれば、画像中の例えば長さが既知の物体を基凖にしてキャリブレーションし、絶対長を取得することができる。なお、撮影時のカメラ高も絶対長の基準となり得るので、撮影時のカメラ高を一定とすることが望ましい。
一旦カメラベクトルが求まれば、カメラ座標から任意の点の三次元座標を求めることができる。また、任意の点の三次元座標が求まれば、二点間の三次元距離も、あるいは、面積や体積も、容易に求めることが可能となる。

具体的には、３Ｄ自動測量装置１００は、図１又は図２に示すように、全周囲画像撮影部１０１，画像記録部１０２，特徴点抽出部１０３，計測点特定部１０４，基準点特定部１０５，対応点追跡部１０６，ベクトル演算部１０７，誤差最小化処理部１０８，絶対座標取得部１０９，計測データ記録部１１０，計測データ表示部１１１を備えている。

全周囲画像撮影部１０１は、車載カメラ等の移動する３６０度全周囲カメラから、すべての計測地点及び基準地点を動画像又は連続静止画として撮影する。
この全周囲画像撮影部１０１での撮影は、例えば、一台のカメラを車両等に搭載し、車両の移動を利用して所望の測量地域を撮影する。この周囲画像撮影部１０１で撮影された画像が、本発明に係る画像解析されることにより所望の計測点について画像内測量が行われる。
なお、周囲画像撮影部１０１における撮影の際には、必要に応じて、車両の移動範囲を大きくすることにより、長いベースラインを確保することができる。
また、長距離，中距離，短距離で、フレーム間距離を使い分けて計測することもできる。

画像記録部１０２は、周囲画像撮影部１０１で撮影された画像を記録する。
特徴点抽出部１０３は、画像記録部１０２に記録された画像内において、指定される計測点と基準点以外の、映像的特徴のある部分を特徴点として抽出する。
この特徴点抽出部１０３による映像的な特徴点抽出は、画像処理技術により、画像の中から必要な数の特徴点を自動的に抽出できるようにする。
例えば、画像内の「角（かど）」の部分を特徴点と指定して、画像認識により「角」部分だけを選択的に抽出すればそれが特徴点となる。

計測点特定部１０４は、画像記録部１０２に記録された画像内において、計測点を自動抽出する。
基準点特定部１０５は、画像記録部１０２に記録された画像内において、基準点（座標基準点及び／又は長さ基準点）を自動抽出する。
これら計測点特定部１０４及び基準点特定部１０５における計測点及び基準点の抽出は、上述したように、現地準備作業部１０により実際の計測点及び特徴点に付された印や、画像内準備作業部２０により画像上に付加された印等を、画像認識により自動的に行われるようになっている。

対応点追跡部１０６は、計測点、基準点、特徴点を各フレーム画像内に追跡して対応付ける。
ベクトル演算部１０７は、計測点，基準点，特徴点と、必要に応じてカメラ座標と回転（カメラベクトル）の、それぞれの三次元座標を演算により求める。
誤差最小化処理部１０８は、ベクトル演算部１０７における演算を繰り返すことにより、求められる三次元相対座標の誤差を最小にするように重複演算を繰り返して、統計処理し、演算の精度を高める。
絶対座標取得部１０９は、基凖点の既知の座標から、求められた三次元相対座標を絶対座標系に変換し、計測点、基準点、特徴点のすべての点、又は必要な所定の点について絶対座標を与える。

また、緯度経度等の絶対座標を必要としないときは、長さの基準を示す長さ基準点により、各画像で長さ校正をし、スケール合わせができて、正しいスケールの座標を取得できる。
この場合には、ベクトル演算部１０７は、長さ基準点の両端の三次元座標を求め、得られた三次元座標から長さ基準点の２点間の距離を演算により求める。そして、誤差最小化処理部１０８において、ベクトル演算部１０７で演算により得られた長さ基準点の２点間の距離が、長さ基準点の既知の長さと一致するように、重複演算を繰り返し、統計処理する。
勿論、座標基準点と長さ基準点を同時に用いることもでき、その場合には、更に精度を向上させることができる。

計測データ記録部１１０は、計測点の最終座標を演算し、記録する。
そして、計測データ表示部１１１は、計測データを表示する。
ここで、計測データ記録部１１０に記録され、計測データ表示部１１１で表示される計測データは、計測点，基準点，特徴点の三次元座標情報であり、表示される態様としては、例えば、三次元座標を示す数値の「表」であっても良く、また、地図上で計測点の位置を示す「点」であっても良い。また、三次元座標を示す数値は、例えば、ＸＹＺ座標の値や、緯度経度高度の値によって示すことができる。

以上のような構成からなる３Ｄ自動測量装置１００では、撮影された画像内で計測点及び特徴点を示す印等を読み取り、他の映像的な特徴点とともに、エピポーラ幾何学により、その三次元位置を演算で求めることができる。
計測点と基準点のみを対象として演算しても結果は得られるが、計測点以外の画像内の特徴点を用いることで、さらに精度が向上する。特徴点は画像内から自動抽出される。
また、必ずしもカメラ位置を求めなくても良いが、カメラ位置を先に求めておくことで、計測点や基準点の増加に対して、演算が単純化され、演算が容易になる。
以下、図３以下を参照しつつ、３Ｄ自動測量装置１００における特徴点の抽出処理と、抽出された特徴点に基づく特徴点とカメラ位置の三次元相対座標の演算処理について、より詳細に説明する。

複数の画像（動画又は連続静止画）内で、特徴点とカメラベクトルの三次元相対座標を検出するには幾つかの方法があるが、本実施形態の３Ｄ自動測量装置１００では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、特徴点とカメラ位置及びカメラの３軸回転の三次元相対座標を求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態の３Ｄ自動測量装置１００によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、３Ｄ自動測量装置１００における具体的なカメラベクトルの検出方法について、図３以下を参照しつつ説明する。
まず、特徴点抽出部１０３で、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出する。また、画像内に指定した印等が示す計測点と特徴点を、計測点特定部１０４と基準点特定部１０５で自動抽出する。抽出された特徴点，計測点，基準点は、対応点追跡部１０６で、複数のフレーム画像間で対応関係を自動的に求める。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。また、計測点は所望の数だけ指定し、絶対座標が既知の基準点は少なくとも二点指定する。画像間で対応関係が求められる特徴点（又は計測点，基準点）の対応関係の一例を、図３〜図５に示す。図中「＋」自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図５に示す対応点１〜４参照）。
ここで、演算の基礎となる特徴点の抽出は、図６に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図６の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、ベクトル演算部１０７で、抽出された特徴点と計測点，基準点の三次元相対座標が演算により求められ、その三次元相対座標に基づいてカメラベクトルが演算により求められる。具体的には、ベクトル演算部１０７は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点（計測点，基準点）をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、カメラ映像として原則的に３６０度全周囲映像を使用し、３６０度全周囲映像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

３６０度全周囲映像は、例えば広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像であり、通常のカメラで撮影される映像より広い範囲が示されるため、高精度なカメラベクトル演算をより簡易，迅速に算出することができ好ましい。なお、３６０度全周映像といっても、必ずしも４π全空間を含む映像のみでなく、３６０度全周囲の一部分をカメラベクトル演算用の映像として扱うこともできる。その意味では、通常のカメラで撮影される映像も、３６０度全周囲映像の一部と捉えることができ、本実施形態におけるような優れた効果は少ないものの、本質的に差異はなく、本発明の３６０度全周囲映像（４π映像）と同様に扱うことができる。

図５に示す画像１，２は、３６０度全周囲画像をメルカトール展開した画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^Ｔ［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像は、上述したように、原則として３６０度全周画像を用いる。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図５に示す３６０度全周囲画像のような広角画像の方が特徴点を数多く選択し易く、長く追跡可能となる。そこで、本実施形態では、カメラベクトル演算に３６０度全周囲画像を用いるようにしてあり、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図５は、３Ｄ自動測量装置１００における処理を理解し易くするために、１台（又は複数台）のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際の３Ｄ自動測量装置１００では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化処理部１０８では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点（計測点，基準点）の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、
Ｌｅｖｅｎｂёｒｇ−Ｍａｒｑｕａｒｄｔ
法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置，カメラ回転行列，特徴点，計測点，基準点の三次元相対座標を求める。
さらに、座標の誤差の分布が大きい特徴点につては削除し、の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点，計測点，基準点の位置とカメラベクトルを示す三次元相対座標を精度良く求めることができる。

図７〜図９に、３Ｄ自動測量装置１００により得られる特徴点（計測点，基準点）の三次元座標とカメラベクトルの例を示す。図７〜図９は、本実施形態のベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図７では、図５の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図８及び図９は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、３Ｄ自動測量装置１００における演算は、より高精度な特徴点，計測点，基準点及びカメラ位置の三次元情報を高速に得るために、図１０に示すように、カメラから特徴点（計測点，基準点）の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、３Ｄ自動測量装置１００は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、特徴点，計測点，基準点又はカメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像ＦｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点（計測点，基準点）までの距離によって特徴点を複数段に分類し、カメラから特徴点（計測点，基準点）までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点（計測点，基準点）までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各特徴点，計測点，基準点及びカメラベクトルの三次元相対座標の誤差が最小になるようにスケール調整して統合し、最終の三次元相対座標を決定することができる。
これにより、誤差のない高精度の三次元相対座標を求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

なお、簡易演算としては、精度に応じて種々の方法があるが、例えば、（１）高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、（２）同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

そして、以上のようにして各点の三次元位置相対座標が求められると、絶対座標取得部１０９において、各三次元相対座標に、予め絶対座標が測定された基準点の既知の座標が与えられ、三次元相対座標が絶対座標系に変換され、計測点、基準点、特徴点のすべての点（又は必要な所定の点）について、絶対座標が付与される。これにより、所望の計測点や、特徴点中の任意に指定した指定点についての最終的な絶対座標が得られ、その計測データが計測データ記録部１１０に記録され、計測データ表示部１１１を介して表示，出力されることになる。

なお、以上の説明では、計測点，基準点，特徴点，カメラ座標と回転（カメラベクトル）をベクトル演算部１０７で同時に求めるように説明したが、一度カメラベクトルが求められれば、新たな計測点，特徴点，特徴点中の任意の指定点については、カメラベクトルとともに再演算することなく、すでに得られたカメラベクトルから、二つの画像、すなわち、二つのカメラ位置を底辺とする頂点の一点として簡単に演算することができる。
すなわち、任意の計測点については、既に得られたカメラベクトルに基づいてその三次元絶対座標を演算により求めることができる。
この場合には、３Ｄ自動測量装置１００は、図１１に示すように、計測点特定部１０４は、所定の基準点についてカメラベクトルが得られた３６０度全周囲画像内において、所望の計測点を特定・自動抽出し、もしくは手動で特定・抽出し、抽出された計測点が、計測点追跡部１０４ａにおいて、各フレーム画像内に追跡して対応付けられる。この計測点追跡部１０４ａでの計測点の追跡は、上述した対応点追跡部１０６における対応点追跡と同様にして行われる。
そして、各フレーム画像内に追跡して対応付けられて特定された計測点について、計測点計測演算部１０４ｂにおいて、既に得られているカメラベクトルに基づき、二つの画像、すなわち、二つのカメラ位置を底辺とする頂点の一点とした演算により、三次元絶対座標が簡易かつ迅速に求められることになる。

このようにしても、カメラベクトルの精度が変わらないため、新たな計測点，特徴点，任意の指定点の精度も変わらない。但し、再度カメラベクトルを求めて再演算すれば、精度は一般に向上することになる。
また、計測点と基準点と特徴点は、作業処理上区分される名称であって、座標演算上は本質的に対等な点であり、特に計測点と基準点及び特徴点に演算上の差異はない。従って、本発明において、計測点として予め指定した点や場所，領域だけでなく、その後に指定された任意の点（指定点）についても、三次元位置や、任意の２点間の三次元距離、面積や体積（後述する第二実施形態参照）を計測することができる。
すなわち、計測点は初めから現場に設定しておくことで、後に映像から計測点を抽出して計測演算することが可能であるが、計測点を現場に設定していない場合であっても、撮影後に手動又は自動で映像内に計測点を特定できさえすれば、その点を計測点として計測演算が可能である。

以上説明したように、本実施形態に係る３Ｄ自動測量装置によれば、３６０度全周囲カメラで得られる動画映像の複数のフレーム画像から充分な数の特徴点を抽出することにより、所望の計測点を含む多数の特徴点の相対位置を示す三次元相対座標を高精度に求めることができる。そして、求めた三次元相対座標を、予め測量等で得た基準点についての既知の三次元絶対座標に基づいて、絶対座標系に変換することができる。
また、絶対座標を取得する必要のない場合には、予め測量等で既知の長さを基準として、あるいは長さの既知である物体を計測点の周囲に置くなどして、緯度経度等の絶対座標値は得られなくても、スケールの正しい計測結果を得ることができる。
これによって、本実施形態では、原則的に一台のカメラで、自由空間を任意に移動するカメラによって映像を撮影し、その映像中に所望の測量ポイントを指定し、あるいは、予め目印等を付した測量ポイントの映像を取り込んで、それを解析することで、極めて精度の高い３Ｄ測量が行える。

このように、一台のカメラで得られる動画映像を解析することにより、所望の対象物等についての三次元絶対座標を得ることができ、また、多数の特徴点を抽出して三次元情報を生成することで、可能な限り誤差を最小化することができ、複数のカメラを必要とすることなく、かつ、カメラの振動や揺れ等の影響を受けることなく、画像内の任意の対象物についての高精度な三次元計測が行えるようになる。
すなわち、本実施形態では、二台のカメラの視差によるのではなく、一台のカメラの移動によって、所望の計測ポイントを含む多数のフレーム画像からなる動画映像を解析することで、同一計測ポイントを含むフレーム画像を多数利用することができ、充分に有り余る情報によって精度を高めた演算が行える。

［第二実施形態］
次に、本発明の３Ｄ自動測量装置の第二実施形態について、図１２〜図１６を参照しつつ説明する。
図１２は、本発明の第二実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
同図に示す３Ｄ自動測量装置は、上述した第一実施形態の変更実施形態であり、第一実施形態で示した３Ｄ自動測量装置（図１及び図２参照）の構成に、さらに、距離演算部１１２及び面積・体積演算部１１３を更に付加したものである。
従って、その他の構成部分については第一実施形態の場合と同様であり、同様の構成部分については同一符号を付して詳細な説明は省略する。

具体的には、図１２に示す本実施形態の３Ｄ自動測量装置１００は、計測点，基準点，特徴点又はカメラベクトルの絶対座標データに基づいて、所望の２点間の三次元距離を求める距離演算部１１２と、距離演算部１１２で求められた複数の２点間距離に基づいて所望領域の面積又は体積を求める面積・体積演算部１１３を備えている。
距離演算部１１２は、画像記録部１０１に記録された任意の画像内の任意の計測点又は任意の特徴点を始点とし、当該画像内又は異なる他の画像内の任意の計測点又は任意の特徴点を終点として指定して、計測データ記録部１１０に記録された絶対座標に基づき、同一画像内又は異なる画像間で指定された任意の始点終点間の三次元距離を演算により求める。
面積・体積演算部１１３は、画像記録部１０１に記録された任意の同一画像内又は異なる画像間で複数の点を指定して、距離演算部１１２で求められる始点終点間の三次元距離計測を複数組み合わせ、同一画像内又は異なる画像間における所望の対象物の面積又は体積を演算により求める。

図１３〜図１６を参照して、具体的な三次元距離計測及び面積・体積演算の方法について説明する。
図１３に示すように、本実施形態では、前処理として、上述した第一実施形態の場合と同様に、撮影された全フレーム画像のカメラ位置と回転（カメラベクトル）を求め（Ｓ００１）、一度求められたカメラベクトルをデータとして格納してテーブル化しておく（Ｓ００２）。このようにすることで、既に得られたカメラベクトルを利用して三次元座標演算を簡易化，高速化することができる。なお、この処理は、第一実施形態と同様、ベクトル演算部１０７及び誤差最小化処理部１０８により行われる。
次に、２点間の三次元距離計測を行う場合には、まず、画像記録部１０２に記録された画像をディスプレイ等に表示させ、表示された任意の画像（図１４に示す任意のフレームＦｎ）内で、任意の計測点あるいは任意の一点を、始点とし指定する（Ｓ００３）。次いで、その画像内か、あるいは異なる他の画像（図１４に示す任意のフレームＦｎ＋ｍ）内の任意の計測点、あるいは任意の一点を、終点として指定する。
この始点と終点の指定は、例えば、マウス等で行うことができる。

任意の始点及び終点が指定されると、その点を計測点と見なして、フレーム画像間で自動追跡する（Ｓ００５〜Ｓ００６）。この対応点の自動追跡は、第一実施形態と同様、対応追跡部１０６により行われる。
フレーム画像間で対応が取れた始点及び終点は、Ｓ００１〜Ｓ００２で既に求まっているカメラベクトルを利用して、各画像で既知のカメラベクトルにより三次元座標演算が行われ、最終の絶対座標が取得される。この対応点の座標演算処理は、第一実施形態と同様、ベクトル演算部１０７，誤差最小化処理部１０８及び絶対座標取得部１０９により行われ、そのデータが計測データ記録部１１０に格納される。

そして、既知となった始点及び終点の絶対座標データが読み出されることにより、その始点及び終点の２点間の三次元距離が、演算により求められる（Ｓ００７）。この三次元距離演算が、距離演算部１１２において行われる。
ここで、この２点間距離演算は、始点と終点の絶対座標を既知として行われるため、始点及び終点がともに同一の画像内にある場合は勿論、始点と終点とがそれぞれ異なる画像内にある場合でも演算、すなわち、三次元計測が可能となる（図１４参照）。
求められた２点間の三次元距離は、例えば、計測データ表示部１１１を介して、必要に応じて表示，出力することができる（Ｓ００８）。

さらに、上記の始点終点間の三次元距離計測を繰り返すことにより（Ｓ００９）、求められた複数の三次元距離を組み合わせて、所望の領域等について面積又は体積を演算により求めることができる（３０１０）。
すなわち、図１５に示すように、計測点又は任意の指定点を複数指定することで、各点の三次元座標と三次元距離が求められ、それらを演算することにより、面積あるいは体積を求めることができる。この面積又は体積演算が、面積・体積演算部１１３において行われる。
これにより、画像内の対象物が存在する三次元座標系における面積又は体積を演算により三次元計測し、その結果は、必要に応じて表示，出力することができる（Ｓ０１１）。

図１６に、本実施形態の３Ｄ自動測量装置により、同一画像内において三次元距離を求める任意の点を指定する画像例を示す。
図１６（ａ）はカメラベクトルが求められた任意の画像（カメラベクトル画像）であり、このような任意の画像中に、マウス等を使用して任意の点を指定することができる。具体的には、図１６（ｂ）に示すように、三次元距離を求める任意の２点を指定することができ、指定された２点間は直線で結ばれる。
そして、指定した２点間の三次元距離が上述した演算により求められ、その結果が所定の形式で出力・表示される。

以上のように、本実施形態の３Ｄ自動測量装置１００では、任意の計測点について高精度な絶対座標が得られることを利用して、所望の始点と終点を指定した三次元距離の計測を行うことができる。
これにより、同一画像内の２点間だけでなく、複数のフレーム画像を跨いで指定した任意の２点間であっても、距離的な制約を受けることなく高精度な三次元距離計測が可能となる。
さらに、３点以上の複数の点を指定することにより、画像内や複数の画像に跨る任意の対象物や領域等の面積や体積についても三次元的に計測することができる。

［第三実施形態］
次に、図１７を参照して、本発明の３Ｄ自動測量装置の第三実施形態について説明する。
図１７は、本発明の第三実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
同図に示す３Ｄ自動測量装置は、上述した第一実施形態の変更実施形態であり、第一実施形態で示した３Ｄ自動測量装置（図１，図２及び図１１参照）に、平面凹凸測量装置２００を追加したものである。
具体的には、本実施形態の平面凹凸測量装置２００は、図１７に示すように、平面詳細画像取得部２０１と、並列画像記録部２０２，平面凹凸三次元計測部２０３，座標統合部２０４，統合計測座標記録部２０５，総合計測データ表示部２０６を備えている。

平面詳細画像取得部２０１は、複数のカメラを車両等に積載し、走行路等に沿って存在する道路等の凹凸のある平面部分を撮影する。
並列画像記録部２０２は、平面詳細画像取得部２０１で撮影された視差のある複数の画像を記録する。
平面凹凸三次元計測部２０３は、並列画像記録部２０２に記録された視差のある画像から、平面の凹凸を三次元計測する。
座標統合部は、３Ｄ自動測量装置１００の計測データ記録部１０９（第一実施形態参照）から、平面凹凸三次元計測部２０３で三次元計測された平面の部分の絶対値三次元データを読み出し、平面凹凸三次元データと座標を統合する。
座標統合されたデータは、統合計測座標記録部２０５に記録され、また、必要に応じて、統合計測データ表示部２０５を介して表示，出力される。

以上のような本実施形態の平面凹凸測量装置２００によれば、上述した第一実施形態で示した３Ｄ自動測量装置１００を基本としつつ、さらに、道路及び道路周囲の凹凸について三次元計測を行うことができる３Ｄ自動測量装置を実現することができる。
車載カメラを搭載した車両等が走行する路面の凹凸を計測するには、第一実施形態の場合と同様に、周囲全体の三次元座標を取得しながら、さらに、路面を面として計測し、その凹凸を計測する必要がある。
路面を面として計測するには、上述した第一実施形態における計測点の場合と同様にして、例えば、路面に詳細にマーカー等の印を付し、その路面の映像から三次元座標を求めることができる。マーカー等を付した路面であれば、第一実施形態における計測点の場合と同様に、映像から三次元相対座標を求め、既知の絶対座標を与えることにより、凹凸についても三次元位置座標が得られる。

しかし、路面の場合には、建物等と異なり、交通の障害になるなどの理由で、マーカーを付けられないことが多く、また、マーカーを付けられたとしても、凹凸を計測できる程度に路面全体に亘ってマーカーを付すことは一般に困難である。
従って、実際には、マーカー等の印無しに、路面を撮影した画像に基づいて凹凸の三次元計測を行う必要がある。
ここで、路面への光の投射による模様を印として捉えることが可能である。
そこで、本実施形態では、路面にマーカー等を付すことができない場合に、精度よく路面の凹凸を計測する手段として、複数（例えば二台）のカメラで路面を撮影し、視差を検出して路面の凹凸を検出するようにしてある。

具体的には、平面詳細画像取得部２０１により、並列に設置した複数のカメラで所望の路面を同期撮影をすることで、時間ズレのない映像を取得し、並列画像記録部２０２に記録する。
そして、記録された映像の視差から三次元座標を取得して、平面凹凸三次元計測部２０３において路面の凹凸を三次元計測する。
ここで得られた凹凸は相対値に過ぎず、絶対座標を持たないから、全体のスケールの中での歪みとしては未だ不完全である。そこで、全体スケールは第一実施形態の３Ｄ自動測量装置１００により計測し、近距離の路面の凹凸のみ、本実施形態における視差によって検出する。そして、それらを座標統合部２０４において座標統合する。これによって、路面の凹凸を正確に表記できることになる。

なお、本実施形態における路面の凹凸計測の準備作業においても、上述したような路面にマーカーを印すことは、精度良く三次元データを計測する方法として好ましい。例えば、路面の凹凸等のようにテクスチャーが一様で特徴点を見つけにくい平面の凹凸を計測する場合には、マーカーを付けることで、一台のカメラの連続する画像からでも、精度良く三次元計測が行えるようになる（第一実施形態参照）。
視差による凹凸計測は、それだけでは、カメラ間のベースラインの制限から、近距離の精度は取れるが、遠距離の精度は取れない。

そこで、本実施形態では、路面の凹凸を計測する超近距離計測のみ、平面凹凸測量装置２００を使用して、二台のカメラによる視差によって画像処理で路面凹凸を求め、近距離・中距離・長距離の絶対座標計測については、第一実施形態で示した３Ｄ自動測量装置１００を使用した一のカメラによるマーカー方式で行い、それらを座標統合することで、路面の凹凸，たわみ，歪み等のすべてのサイズの路面の凹凸について三次元計測が可能となるようにしてある。
また、重量物による路面のたわみは、負荷時と無負荷時の二度の計測による比較により計測できる。

［第四実施形態］
さらに、図１８を参照して、本発明の３Ｄ自動測量装置の第四実施形態について説明する。
図１８は、本発明の第四実施形態に係る３Ｄ自動測量装置の概略構成を示すブロック図である。
同図に示す３Ｄ自動測量装置は、上述した第一実施形態の変更実施形態であり、第一実施形態で示した３Ｄ自動測量装置（図１，図２及び図１１参照）に、道路面三次元地図作成装置３００を追加したものである。
本実施形態の道路面三次元地図作成装置３００は、３Ｄ自動測量装置１００で得られる３６０度全周囲画像から道路標示部分を自動抽出して道路面を３Ｄ測量することにより、所望の道路面についての三次元地図を作成できるようにしたものである。

具体的には、道路面三次元地図作成装置３００は、図１８に示すように、画像安定化部３０１と、進行方向制御部３０２，画像垂直面展開部３０３，道路面基本形状モデル生成部３０４，道路面三次元計測部３０５，路面パラメータ決定部３０６，道路透明ＣＧ生成部３０７，合成道路面平面展開部３０８，道路面ベクトル抽出部３０９，道路面テクスチャー柔軟結合部３１０，テクスチャー加算平均部３１１，対象領域切り取り部３１２，道路標示等認識及び座標取得部３１３及び三次元地図生成部３１４を備えている。

画像安定化部３０１は、３Ｄ自動測量装置１００の誤差最小化処理部１０８で得られた誤差の最小化されたカメラベクトルに基づいて、全周囲画像撮影部１０１で撮影される３６０度全周囲画像を回転補正し、揺れを補正して画像を安定化させる。
進行方向制御部３０２は、画像安定化部３０１で安定化処理された画像の進行方向を、目的の方向に固定し、又は目的方向に移動制御する。
画像垂直面展開部３０３は、進行方向制御部３０２で進行方向制御された画像について垂直面に展開（南極面展開）する。すなわち、道路面三次元モデルを生成するために、垂直面展開した画像により処理する。
３６０度全周囲画像にはすべての方向が対等であり光軸は存在しない。敢えて言えばすべての方向が光軸となる。そこで３６０度全周囲画像を通常のレンズで撮影したパースペクティブを持つような平面展開画像として表示するには、仮想の光軸を設定して展開する平面を決め、その平面でパースペクティブを持つような画像に変換する必要がある。
このため、垂直方向を基準として造られている構造物や、垂直方向が基準であっても多少の勾配を持つような道路面及び道路標示を処理するためには座標軸に垂直な平面でリニアスケールとなるように画像展開するか、さらに道路面の傾斜を含めた道路面でリニアスケールとなる平面で画像展開するか、することで作業は単純化されるので有利である。一般には、道路の三次元座標を取得するには垂直面展開、道路面及び道路標示を処理するには道路面展開が有利である。
そこで、本実施形態では、画像垂直面展開部３０３において、画像を垂直面に展開して処理するようにしてある。
なお、この垂直面展開処理は、三次元地図生成には必ずしも必要ではないが、作業を単純化できることから、本実施形態では画像垂直面展開部３０３を備えて処理を行うようにしてある。

道路基本形状モデル生成部３０４は、道路面の形状の各パラメータを未定とした道路面の基本形モデルを生成する。
道路面三次元計測部３０５は、画像垂直面展開部により垂直面に展開された路面の画像から、道路面の三次元座標を計測する。具体的には、各フレーム画像の道路画面の数カ所を大きくブロックし、相関により三次元計測する。ここでは、大面積で相関をとるので精度を高くすることができる。
路面パラメータ決定部３０６は、道路面モデルの各パラメータを決定し、道路面の三次元形状を自動決定する。

道路透明ＣＧ生成部３０７は、道路面三次元計測部で得られた道路面計測データから、当該道路面の形状の各パラメータを取得し、当該道路面の透明なＣＧを生成する。すなわち、道路透明ＣＧ生成部３０７では、パラメータが固定し、形状が決定した道路面モデルにより、その道路面の透明ＣＧを作成する。
道路面平面展開部３０８は、道路透明ＣＧ生成部３０７で生成された透明ＣＧと進行方向制御部３０２により進行方向に安定化された道路面画像を合成して、道路面に平行に画像を展開する。すなわち、道路面平面展開部３０８は、前工程までの処理で得られた画像について展開面を多少微修正して、道路平行面で画像展開する。道路は常に水平面とは限らないので、次工程の相関処理のためにリニア平面（同一画像内で長さが等しいものは同じ長さとなる平面）に近い面を選択する。

道路面ベクトル抽出部３０９は、平面展開された展開画像内のベクトル選択により、道路面ベクトルのみ抽出して、他を消去する。停止ベクトル（最も小さい移動ベクトル）を選択することで道路面を抽出することができ、移動ベクトルを持つ移動体も削除する。
道路面テクスチャー柔軟結合部３１０は、道路面のゴム紐理論で道路面テクスチャーを取得し、後の処理のために、道路面をゴム紐理論で結合しておく。すなわち、道路面テクスチャー柔軟結合部３１０は、必要に応じて、道路面をブロック化して、道路面の特徴ある部分をテクスチャーの順番を変更しないように柔軟に結合し、その出力を次段のテクスチャー加算平均部３１１に送る。

テクスチャー加算平均部３１１は、透明ＣＧの道路面上で道路面を抽出し、透明ＣＧ上で加算平均して、ノイズを消去する。カメラと道路面との距離は一定であることから、静止座標系での重ね合わせが可能であり、加算平均が可能となる。
対象領域切り取り部３１２は、テクスチャー加算平均部３１１でノイズ低減された画像から、道路標示等の道路面図形や障害物等の領域の概略を大きく切り取る。例えば、透明ＣＧ上の道路面ヒストグラムから、任意の道路標示部分のみ抜き出す。なお、ここでは領域を大きく切り取るのが目的であり、それが不完全であってもよい。

道路標示認識及び座標取得部３１３は、対象物領域切り取り部３１２で切り取られた対象物領域から、目的の対象物を認識してその座標を取得する。例えば、抜き出した道路標示部分をＰＲＭで認識し、座標を決定する。すなわち、対象領域切り取り部３１２で切り取られた領域でＰＲＭ処理を行う。道路面の三次元形状は決まっているので、二次元的に座標を決定することで精度が向上する。
ここで、ＰＲＭとは、Ｐａｒｔｓ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｅｔｈｏｄ（３Ｄ空間認識方法）の略であり、本願出願人が既に特許出願している対象物を認識するための技術である（国際出願ＰＣＴ／ＪＰ０１／０５３８７号参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。車両の自動案内走行や自動運転走行のために必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また対象物をカメラベクトルが求められた映像（ＣＶ映像）中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。

そして、道路標示認識及び座標取得部３１３で座標が決定された図形の出力を計測点と見なして、３Ｄ自動測量装置の計測点特定部１０４に送られる（図１８参照）。３Ｄ自動測量装置１００では、上述した処理により、道路標示等の路面の図形，道路面上の障害物等の絶対座標が取得されて、取得された絶対座標は計測データ記録部１１０から出力される。これによって、すべての図形が絶対座標により再構成され、次工程の三次元地図生成部３１４に送られる。
三次元地図生成部３１４は、計測データ記録部からの出力（絶対座標）を再構成して、決められた仕様の三次元図形として取り出して再配置し、所望の道路面の三次元地図を生成する。

図１９は、道路上空から撮影した映像と等価になるように変換した映像に基づいて三次元地図を生成する場合の一例を示している。同図に示す道路映像は３Ｄ自動測量装置１００によりカメラベクトル演算された３６０度全周囲画像（ＣＶ映像）であり、完全な平面図ではなく、地上数メートルから観察した道路面となっている。
道路の三次元地図を生成する場合には、道路面の近傍の形状が重要であり、高い計測精度が求められる。一般に、道路構造は、図１９（ａ）の断面図に示すよな構造をしていることが前もって分かっているので、その形状を予想して、三次元計測をすることができる。

また、３６０度全周囲画像の特長を生かして、道路面の直下を視点方向とする道路面表示に設定することで、広い領域でのマッチング＆グリップが可能となる。具体的には、通常任意方向では１５＊１５ピクセル程度の領域でのマッチング＆グリップが限界であったが、直下表示では視点と道路面が直角に近い形となり、フレーム間画像は形状を変更することなく移動するので、各フレームによる画像歪みを無視することができる。これにより、例えば５０＊５０ピクセル以上の広い領域でのマッチング＆グリップ（Ｍ＆Ｇ）が可能となり、特徴の少ない道路面であってもマッチング＆グリップが行え、計測精度が向上する。
さらに、道路舗装面には道路標示（センターライン，路肩ライン等）が決められた基準で描かれていることから、そのパターンをＰＲＭオペレータ（ＰＲＭ Ｏｐｅｒａｔｏｒ）の部品として予め用意しておき、用意されたオペレータ部品と映像比較することで、その三次元的位置を検出することが可能となる。

具体的には、道路面オペレータとしては、図１９（ｃ）に示すようなパターンがある。なお、オペレータ部品としては図示しない他のパターンも多数想定されるが、三次元地図においては道路全面の計測は必要なく、道路面を適切な間隔でサンプリングして道路断面図を完成させればよいので、図１９に示す程度で十分であると言える。
さらに、三次元のＰＲＭオペレータ部品（ＰＲＭ ３Ｄ Ｏｐｅｒａｔｏｒ）も用意し、三次元的にマッチングすることで、例えば、道路の縁石部分の段差についても精度良く再現することができる。

図２０は、図１９に示した道路を立体視した三次元地図を示す。
同図に示すように、舗装道路の映像においては、ＰＲＭオペレータは、図１９に示したセンターライン等の道路面表示よりも、立体的な道路標識の認識においてその有効性を発揮する。すなわち、道路標識の認識に関しては、図２０（ａ）に示すように、ＣＶ映像上に道路標識予想空間を想定して、その限定された空間で目的の道路標識の種類と位置と形状と座標を認識することが可能となる。
ＣＶ映像は、実写画像上に道路標識予想空間をＣＧとして合成配置することができ、その制限範囲のみで目的の道路標識を検索することが可能となる。
また、道路標識の形状やサイズ等は通常決まっているので、予め用意してある各道路標識の三次元オペレータを部品として（図２０（ｂ）参照）、道路標識予想空間の中に三次元的に決まった大きさの標識を検索し、探し出すことが可能となる。そして、探し出された標識の種類と位置と座標と形状が認識される。

このように、ＣＶ映像は、対象物が三次元座標を持つのと同じ扱いが可能であり、検索には極めて有利となる。道路標識のように、検索するものの形状が既に決まっているものについては、その三次元位置における見かけの大きさを計算で求められるので、ＰＲＭオペレータを使用するのが有利であり、ＰＲＭオペレータ部品として様々な標識を用意しておくことで、用意された標識部品の中から一致する部品を探し出すことで、対象標識を認識することが可能となる。
以上のようにして、本実施形態の３Ｄ自動測量装置１００によれば、道路面三次元地図作成装置３００を備えることにより、上述した第一実施形態で示した３Ｄ自動測量装置１００を基本としつつ、さらに、任意の道路面等について高精度な三次元地図を生成することができるようになる。

以上、本発明の３Ｄ自動測量装置について、好ましい実施形態を示して説明したが、本発明に係る３Ｄ自動測量装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上記の実施形態で示した３Ｄ自動測量装置１００と、それに付加される準備作業部１０，２０や距離演算部１１２，面積・体積演算部１１３、さらに平面凹凸測量装置２００や道路面三次元地図作成装置３００は、それぞれ、任意の組合せにより実施することができ、上述した実施形態で示した組合せのみに限定されるものではなく、適宜一部を省略したり、あるいは、すべての装置を同時に全部を備えることもできる。

本発明は、例えば、車載カメラでビデオ撮影された動画映像に基づいて所望の計測点の位置や距離，面積を求める画像測量装置として利用することができる。

Claims (9)

1. 移動する３６０度全周囲カメラにより、所望の計測点及び三次元絶対座標が既知の所定の基準点を含む動画又は連続静止画を撮影する全周囲画像撮影部と、
   前記全周囲画像撮影部で撮影された画像を記録する画像記録部と、
   前記画像記録部に記録された画像内において、前記計測点以外の映像的特徴のある部分を特徴点として抽出する特徴点抽出部と、
   前記画像記録部に記録された画像内において、前記計測点を自動抽出する計測点特定部と、
   前記画像記録部に記録された画像内において、前記基準点を自動抽出する基準点特定部と、
   前記計測点，基準点，特徴点を、各フレーム画像内に追跡して対応付ける対応点追跡部と、
   前記対応点追跡部で対応づけられた計測点，基準点，特徴点と、必要に応じて前記カメラの位置と回転を示すカメラベクトルについて、三次元相対座標を演算により求めるベクトル演算部と、
   前記ベクトル演算部における演算を繰り返し、求められる三次元相対座標の誤差を最小にするように重複演算を繰り返し、統計処理する誤差最小化処理部と、
   前記基準点の既知の三次元絶対座標から、前記ベクトル演算部で求められた三次元相対座標を絶対座標系に変換し、前記計測点，基準点，特徴点に三次元絶対座標を付与する絶対座標取得部と、
   前記計測点，基準点，特徴点に付与された最終の絶対座標を記録する計測データ記録部と、
   前記計測データ記録部に記録された計測データを表示する表示部と、
   を備え、
   前記ベクトル演算部は、
   前記計測点，基準点，特徴点又はカメラベクトルの三次元相対座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の三次元相対座標を求める単位演算を繰り返し、
   前記誤差最小化処理部は、
   画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各三次元相対座標の誤差が最小になるようにスケール調整して統合し、最終の三次元相対座標を決定することを特徴とする３Ｄ自動測量装置。
2. 移動する３６０度全周囲カメラにより、所望の計測点、及び三次元絶対座標が既知の所定の基準点を含む動画又は連続静止画を撮影する全周囲画像撮影部と、
   前記全周囲画像撮影部で撮影された画像を記録する画像記録部と、
   前記画像記録部に記録された画像内において、映像的特徴のある部分を特徴点として抽出する特徴点抽出部と、
   前記画像記録部に記録された画像内において、前記基準点を自動抽出する基準点特定部と、
   前記基準点，特徴点を、各フレーム画像内に追跡して対応付ける対応点追跡部と、
   前記対応点追跡部で対応づけられた基準点，特徴点から前記カメラの位置と回転を示すカメラベクトルについて、三次元相対座標を演算により求めるベクトル演算部と、
   前記ベクトル演算部における演算を繰り返し、求められる三次元相対座標の誤差を最小にするように重複演算を繰り返し、統計処理する誤差最小化処理部と、
   前記基準点の既知の三次元絶対座標から、前記ベクトル演算部で求められたカメラの三次元相対座標を絶対座標系に変換し、三次元絶対座標を付与する絶対座標取得部と、
   前記画像記録部に記録された画像内において、前記計測点を自動抽出する計測点特定部と、
   前記計測点特定部で抽出された計測点を各フレーム画像内に追跡して対応付ける計測点追跡部と、
   前記計測点追跡部で対応づけられた計測点の計測値を前記ベクトル演算部で求められたカメラベクトルから演算で求める計測点計測演算部と、
   前記計測点の絶対座標を記録する計測データ記録部と、
   前記計測データ記録部に記録された計測データを表示する表示部と、
   を備え、
   前記ベクトル演算部は、
   前記計測点，基準点，特徴点又はカメラベクトルの三次元相対座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の三次元相対座標を求める単位演算を繰り返し、
   前記誤差最小化処理部は、
   画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各三次元相対座標の誤差が最小になるようにスケール調整して統合し、最終の三次元相対座標を決定することを特徴とする３Ｄ自動測量装置。
3. 前記基準点は、三次元絶対座標が既知の基準点とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の長さ基準点を含み、
   前記ベクトル演算部は、前記長さ基準点の２点間の距離を演算により求め、
   前記誤差最小化処理部は、前記ベクトル演算部で演算により得られる長さ基準点の２点間の距離が、当該長さ基準点の既知の長さと一致するように、重複演算を繰り返し、統計処理する請求項１又は２記載の３Ｄ自動測量装置。
4. 前記画像記録部に記録された画像内において、任意の計測点を指定する画像内測定点指定作業部と、前記画像記録部に記録された画像内において、任意の基準点を指定する画像内基準点指定作業部と、を有する画像内準備作業部を備え、
   この画像内準備作業部により、前記測定点特定部及び基準点特定部において、任意の測定点及び基準点を指定して抽出させる請求項１乃至３のいずれかに記載の３Ｄ自動測量装置。
5. 前記ベクトル演算部は、
   前記フレーム間隔ｍを、カメラから前記計測点，基準点，特徴点までの距離に応じて、カメラからの距離が大きいほどｍが大きくなるように設定して単位演算を行う請求項１乃至４のいずれかに記載の３Ｄ自動測量装置。
6. 前記ベクトル演算部は、
   求められた三次元相対座標の誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点に基づいて再演算を行い、測定点演算の精度を上げる請求項１乃至５のいずれかに記載の３Ｄ自動測量装置。
7. 前記画像記録部に記録された任意の画像内の任意の計測点又は任意の特徴点を始点とし、当該画像内又は異なる他の画像内の任意の計測点又は任意の特徴点を終点として指定して、前記計測データ記録部に記録された絶対座標に基づき、同一画像内又は異なる画像間で指定された任意の始点終点間の三次元距離を演算により求める距離演算部を備える請求項１乃至６のいずれかに記載の３Ｄ自動測量装置。
8. 前記画像記録部に記録された任意の同一画像内又は異なる画像間で複数の点を指定して、前記距離演算部で求められる始点終点間の三次元距離計測を複数組み合わせ、同一画像内又は異なる画像間における所望の対象物の面積又は体積を演算により求める面積・体積演算部を備える請求項７記載の３Ｄ自動測量装置。
9. 前記ベクトル演算部によって得られたカメラベクトルにより、前記全周囲画像撮影部で得られた画像を進行方向に固定又は制御する進行方向制御部と、
   前記進行方向制御部により進行方向に安定化された画像を垂直面に展開する画像垂直面展開部と、
   道路面の形状の各パラメータを未定とした道路面の基本形モデルを生成する道路面基本形モデル生成部と、
   前記画像垂直面展開部により垂直面に展開された路面の画像から道路面の三次元座標を計測する道路面三次元計測部と、
   前記道路面三次元計測部で得られた道路面計測データから、当該道路面の形状の各パラメータを取得し、当該道路面の透明なＣＧを生成する道路透明ＣＧ生成部と、
   前記道路透明ＣＧ生成部で生成された透明ＣＧと前記進行方向制御部により進行方向に安定化された道路面画像を合成して、道路面に平行に画像を展開する合成道路面平面展開部と、
   前記合成道路面平面展開部で展開された画像に道路面テクスチャーを加算平均して、当該画像のノイズを減少させるテクスチャー加算平均部と、
   必要に応じて、道路面をブロック化し、道路面の特徴ある部分をテクスチャーの順番を変更しないように柔軟に結合し、その出力を前記テクスチャー加算平均部に送る道路面テクスチャー柔軟結合部と、
   前記テクスチャー加算平均部でノイズ低減された画像から、道路標示等の道路面図形や障害物等の領域の概略を大きく切り取る対象物領域切り取り部と、
   前記対象物領域切り取り部で切り取られた対象物領域から、目的の対象物を認識し、その座標を取得する道路標示等認識及び座標取得部と、
   前記座標が取得された目的の対象物を構成する多角形の各点を計測点として絶対座標を求める前記計測点特定部に入力し、絶対座標を取得した前記計測データ記録部からの出力を再構成して道路面の三次元地図を生成する三次元地図生成部と、
   を有する三次元地図生成装置を備える請求項１乃至８のいずれかに記載の３Ｄ自動測量装置。

Images