JP5559997B2 - 位置測定方法及び位置測定装置 - Google Patents

Description

本発明は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した位置測定に於いて、ＧＰＳによる位置測定ができない場合でも位置測定を可能とした位置測定方法及び位置測定装置に関するものである。

近年では、ＧＰＳを利用した位置測定が普及し、例えばブルドーザ等の土木建設機械により土木作業を行う場合に、作業位置即ちブルドーザ位置をＧＰＳにより測定し、作業位置の確認等が行われ、或はカーナビゲータの様に電子化した地図情報とＧＰＳにより得られた位置データをリンクさせ、現在位置を電子地図上に反映させ画像化して映像表示装置に映出す等、移動体の位置をリアルタイムで測定することが可能となっている。

ところが、ＧＰＳによる位置測定では、衛星からの電波を利用しているので、衛星からの電波が障害物、例えば山或はビルディング等により遮られ、電波の届かない場所（陰）が存在する。或はカーナビゲータの様に位置測定範囲を定められないものについても、陰の部分が存在する。

従来、ＧＰＳによる位置測定ができない区間は、従来の測量機を使用した人力による測量作業を加え継続しなければならない。

又、移動体に設けられたカーナビゲータ等では、陰の部分で位置測定が行われず、位置測定装置として充分な機能が発揮されていなかった。

この為、特許文献１にはＧＰＳによる位置測定ができない場合の位置データに補間方法が開示されている。特許文献１に示される補間方法では、ＧＰＳによる位置測定ができない区間は移動する過程で周囲の景色を連続的にデジタル画像で撮像し、取得したデジタル画像中に追尾ポイントを発生させ、連続的に取得する画像中で追尾ポイントを追跡し、取得する画像に追尾ポイントを順次特定し、第１地点と第２地点に於ける前記追尾ポイントの標定結果と、ＧＰＳ位置測定で既知となっている前記第１地点及び前記第２地点の位置データとから前記追尾ポイントの３次元位置データを求め（前方交会法）、第３地点にて取得した前記追尾ポイントの標定結果と該追尾ポイントの３次元位置データに基づき、前記第３地点の位置を順次求める（後方交会法）様にしている。

特許文献１による位置データ補間方法により、ＧＰＳ位置測定ができない場合での位置測定が可能となった。

一方、特許文献１の位置データ補間方法では、連続した画像が取得でき、画像間でのポイントの追尾が可能であること、画像測量が可能であることを条件としている。ところが、実際の位置測定作業では、連続した画像が取得できない場合がある。例えば、道路沿線に沿ってビルが存在している状況での位置測定で、ビルとビルとの間に隙間があった場合、或はビルの歯抜け状態があった場合は、ビルの存在しない部分での画像の取得ができず、画像での追尾ができない。或は、画像中で追尾ポイントが得られた場合でも、追尾ポイントの３次元位置データの連続性がなく、或は３次元位置データが大きく異なり、その為、画像中の３次元位置データを基に得られる第３地点の位置の測定位置精度が著しく低下するという不具合があった。

更に、前方交会法、後方交会法を繰返して位置の測定を行う方法では、測定誤差が累積するという特性を有する為、長時間ＧＰＳ位置測定ができない状態が継続すると、測定の信頼性が低下するという問題があった。

特開２００７−１７１０４８号公報 特開２００１−３１７９１５号公報

本発明は斯かる実情に鑑み、ＧＰＳ位置測定ができない状態で、而も連続した画像が取得できない状態でも、測定精度の低下なく、位置測定を続行できる位置測定方法及び位置測定装置を提供するものである。

本発明は、デジタル画像を連続的に撮像し、画像中に追尾ポイントを発生させ、動画像トラッキングを行うと共に既知点とした撮像位置の座標から前記追尾ポイントの座標を演算により測定する前方交会法と、測定して得られた追尾ポイントの座標から撮像位置を演算により測定する後方交会法を交互に繰返して、移動する撮像位置の測定及び撮像位置から撮像対象の測定を行う位置測定方法に於いて、デジタル画像の撮像と並行してレーザ測量により撮像対象物迄の距離を実測し、演算で得られた前記追尾ポイントの座標と実測して得られた距離とを比較し、演算で得られる座標が実測距離に対して所定誤差範囲にある場合に追尾ポイントの座標値として取得する位置測定方法に係るものである。

又本発明は、上下方向に複数点をレーザ測量しつつ移動し、レーザ測量の測定結果に基づき、動画像トラッキングを行う為の測定範囲を設定する位置測定方法に係り、又撮像する動画像の一部に、路面又は地面が含まれ、路面又は地面の画像中からも追尾ポイントが抽出され、撮像対象物が不存在となった場合にも、動画像トラッキングが継続される様にした位置測定方法に係るものである。

又本発明は、ＧＰＳ位置検出装置と、デジタル画像を連続的に撮像する撮像装置と、レーザ測距装置と、測定装置本体とを有し、前記ＧＰＳ位置検出装置は第１地点、第２地点の位置データを測定し、前記撮像装置は既知点である第１地点から既知点である第２地点を経て、未知点である第３地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記レーザ測距装置は前記撮像装置による撮像と並行して撮像対象物迄の距離を測定し、前記測定装置本体は前記第１地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第１地点での取得画像と前記第２地点での取得画像の追尾ポイントの３次元位置データを前記第１地点、第２地点の位置データから演算すると共に演算結果と前記レーザ測距装置による測距結果とを比較し、該測定結果に対して所定誤差範囲内である演算結果を追尾ポイントの位置データとして採用し、前記追尾ポイントの位置データから前記第３地点の位置データを演算する様構成した位置測定装置に係るものである。

又本発明は、前記レーザ測距装置が、上下方向に複数点を同時又は略同時に測定可能である位置測定装置に係り、又前記測定装置本体は、前記レーザ測距装置の測定結果に基づき、測定範囲を設定し、該測定範囲について動画像トラッキング、測定を実行する位置測定装置に係るものである。

本発明によれば、デジタル画像を連続的に撮像し、画像中に追尾ポイントを発生させ、動画像トラッキングを行うと共に既知点とした撮像位置の座標から前記追尾ポイントの座標を演算により測定する前方交会法と、測定して得られた追尾ポイントの座標から撮像位置を演算により測定する後方交会法を交互に繰返して、移動する撮像位置の測定及び撮像位置から撮像対象の測定を行う位置測定方法に於いて、デジタル画像の撮像と並行してレーザ測量により撮像対象物迄の距離を実測し、演算で得られた前記追尾ポイントの座標と実測して得られた距離とを比較し、演算で得られる座標が実測距離に対して所定誤差範囲にある場合に追尾ポイントの座標値として取得するので、演算で得られた前記追尾ポイントの座標の精度の悪いデータが除外され、測定精度の低下が防止されると共に前方交会法と後方交会法に於ける累積誤差の発生を防止でき、位置測定の精度の向上、信頼性の向上が図れる。

又本発明によれば、上下方向に複数点をレーザ測量しつつ移動し、レーザ測量の測定結果に基づき、動画像トラッキングを行う為の測定範囲を設定するので、測定で無用、或は重要でない部分の測定が省略でき、測定効率の向上、位置測定装置の負担が軽減する。

又本発明によれば、撮像する動画像の一部に、路面又は地面が含まれ、路面又は地面の画像中からも追尾ポイントが抽出され、撮像対象物が不存在となった場合にも、動画像トラッキングが継続される様にしたので、撮像対象物が不存在となった場合でも、追尾ポイントの誤認による測定エラーの発生、或は測定の中断が防止でき、測定作業性が向上する。

又本発明によれば、ＧＰＳ位置検出装置と、デジタル画像を連続的に撮像する撮像装置と、レーザ測距装置と、測定装置本体とを有し、前記ＧＰＳ位置検出装置は第１地点、第２地点の位置データを測定し、前記撮像装置は既知点である第１地点から既知点である第２地点を経て、未知点である第３地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記レーザ測距装置は前記撮像装置による撮像と並行して撮像対象物迄の距離を測定し、前記測定装置本体は前記第１地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第１地点での取得画像と前記第２地点での取得画像の追尾ポイントの３次元位置データを前記第１地点、第２地点の位置データから演算すると共に演算結果と前記レーザ測距装置による測距結果とを比較し、該測定結果に対して所定誤差範囲内である演算結果を追尾ポイントの位置データとして採用し、前記追尾ポイントの位置データから前記第３地点の位置データを演算する様構成したので、演算で得られた前記追尾ポイントの位置データの精度の悪いデータが除外され、測定精度の低下が防止されると共に累積誤差の発生を防止でき、位置測定の精度の向上、信頼性の向上が図れる。

又本発明によれば、前記レーザ測距装置は、上下方向に複数点を同時又は略同時に測定可能であるので、測定対象物迄の距離が測定できると共に測定対象物の面を特定できる。

又本発明によれば、前記測定装置本体は、前記レーザ測距装置の測定結果に基づき、測定範囲を設定し、該測定範囲について動画像トラッキング、測定を実行するので、測定で無用、或は重要でない部分の測定が省略でき、測定効率の向上、位置測定装置の負担を軽減するという優れた効果を発揮する。

本発明の実施例に係る位置測定装置の概略図である。 本発明の実施例の実施の状態を示す説明図である。 本発明の実施例に係る位置測定装置の概略ブロック図である。 本発明の実施例に於ける作用を示すフローチャートである。 位置測定装置の画像トラッキングに於ける撮像の状態を示す説明図である。 （Ａ）（Ｂ）は得られた画像を示す説明図である。 本発明の実施例に於ける前方交会、後方交会の測定の状態を示す説明図である。 （Ａ）は得られた画像について、前方交会法により追尾ポイントの位置測定を行う説明図、（Ｂ）は得られた画像に基づき後方交会法により撮像点の位置測定を行う説明図である。 本発明の実施例に於ける前方交会、後方交会の測定についてのフローチャートである。 単写真標定の説明図である。 本発明の実施例に於ける画像トラッキングと測距との関係を示す説明図である。 本発明の実施例に於ける画像トラッキングと測距との関係を示す説明図である。 本発明の実施例で得られた測定対象物の測定点と測定を行った移動体の軌跡を示す説明図である。

以下、図面を参照しつつ本発明の実施例を説明する。

先ず、本発明に係る位置測定装置について図１〜図３により説明する。

図１は、位置測定装置１の概略を示すものであり、該位置測定装置１は主に測定装置本体２、位置検出部３、操作部４、表示部５から構成される。前記位置検出部３は移動体２５、例えばブルドーザ、自動車の運転室の屋根等見晴しのよい位置に設置され、又、前記測定装置本体２、前記操作部４、前記表示部５は作業者、運転者が操作し、視認可能な場所、例えば運転室に設置される。尚、前記操作部４はタッチパネル等とし、前記表示部５と一体化してもよい。

図２は、前記位置検出部３が、前記移動体２５の一例として自動車の屋根に設けられた場合を示している。

前記位置検出部３は、検出部本体６の上面に設けられたＧＰＳ位置検出装置７、レーザ測距装置８、前記検出部本体６の側面に設けられた撮像装置９、前記検出部本体６に内蔵された方位センサ１０を具備している。尚、前記レーザ測距装置８の測距方向、前記撮像装置９の光軸等については予め較正させている。又、前記レーザ測距装置８と前記撮像装置９は較正された状態で、一体化されることが好ましく、例えば撮像装置９にレーザ測距装置８を内蔵させる。

前記レーザ測距装置８は複数のポイントレーザビームを上下方向に所定間隔で整列してパルスで射出し、各レーザビーム毎に、又各パルス毎にレーザ測距装置８即ち撮像装置９と撮像対象物間の距離を測距する様になっている。尚、レーザ測距装置８は、パルスレーザビームを垂直方向に所定範囲で往復走査し、各パルス毎に測距を行う様にしてもよく、上下方向に複数点を同時に、或は略同時に測定できる様になっている。

前記撮像装置９は、前記移動体２５の走行方向に対して両側、直角な方向の動画像を撮像する様になっている。又、前記撮像装置９は全方向（３６０°）を撮影する全周カメラとしてもよい。前記撮像装置９は、デジタルカメラ、デジタルビデオカメラ等のデジタル画像撮像装置であり、撮像した画像をデジタル画像データとして出力可能であり、多数の画素から構成される撮像素子、例えばＣＣＤセンサ、ＣＭＯＳセンサ等を具備し、１フレームの画像データは各撮像素子の信号の集合として構成され、信号に対応する撮像素子を特定することで、画像中の位置が特定される様になっている。前記撮像装置９と前記方位センサ１０との機械的関係は固定されており、該方位センサ１０が方位を検出することで各撮像装置９の撮像方向（方位）が一義的に決定される。

前記ＧＰＳ位置検出装置７は、方位センサ１０、ＧＰＳアンテナ１１、ＧＰＳ演算部１２（図３参照）を具備し、前記ＧＰＳアンテナ１１により複数の衛星からの信号を受信して、受信結果に基づき前記ＧＰＳ演算部１２が衛星と受信点との距離を３次元幾何学的に演算して３次元の測位を行うものである。尚、測位には単独測位、干渉測位等があるが、移動しつつ短時間で測定が可能なＲＴＫ（リアルタイムキネマティック）測位が採用されることが好ましい。

前記撮像装置９は、動画撮影或は所定時間間隔（例えば３０画像フレーム／秒）で撮像し、又撮像と同期（各画像フレーム毎に）又は撮像時間間隔の所要倍の間隔（例えば３０秒間隔毎）と同期（所定フレーム間隔毎に）して前記ＧＰＳ位置検出装置７による位置測定が行われ、取込む撮像画像の画像データと、画像を撮像した時の位置検出部３で得られた位置データが関連づけられて後述する測定装置本体２に送出され、データ格納部１８に格納される。

又、前記レーザ測距装置８で得られた測距結果は、測距時と同じ時間に撮像された画像フレームに対応させ（関連づけられて）、前記測定装置本体２に送出され、データ格納部１８に格納される。

前記撮像装置９の撮像の時間間隔（或は所定フレーム間隔）は、時間的に隣接する画像フレーム間で撮像した画像の大半が重複し、全体として各撮像画像間での連続性が損われない程度の時間間隔とし、移動体２５の速度が大きい場合は、撮像の時間間隔は短くし、移動体２５の速度が小さい場合は、撮像の時間間隔は大きくなってもよい。或は、撮像の時間間隔を移動体２５の最大速度に対応する様に固定的に設定してもよい。

同様に、上記した取込む時間間隔も移動体２５の速度が大きい時は１５秒間隔とし、移動体２５の速度が小さい時は４５秒間隔とする等移動体２５の速度に対応させ、取込み時間間隔を調整してもよい。尚、後述する様に、この取込んだ画像は、画像測量に用いられる。

該測定装置本体２について図３を参照して説明する。

該測定装置本体２は入出力制御部１３、ＣＰＵで代表される制御演算部１４、ＨＤ等で代表される記憶部１５、通信制御部１６等で概略構成されている。

前記記憶部１５はメモリカード、ＨＤ、ＦＤ、ＭＯ等であり、内蔵又は着脱可能に設けられる。又該記憶部１５は、プログラム格納部１７、データ格納部１８を有しており、前記プログラム格納部１７には、装置の作動を制御するシーケンスプログラム、取得した画像から追尾ポイントを抽出する画像処理プログラム、複数の画像間での画像マッチング、複数の画像間の追尾ポイントのトラッキングを行う演算プログラム、前記位置検出部３により得られる２つの３次元位置データを基に画像中の未知点の位置を前方交会法により演算し、又２つの画像中のそれぞれ少なくとも２つの既知点から前記位置検出部３の位置を後方交会法により演算する測量プログラム、得られた測定結果をデータ収集装置等の外部装置に送信する為の送信制御プログラム、位置測定結果を前記表示部５に表示させる為の表示プログラム等のプログラムが格納されている。

又、前記データ格納部１８には前記撮像装置９で取得した画像データ、及び画像データを撮像した時の位置検出部３の位置データ、前記レーザ測距装置８で測定した測距データが格納され、上述した様に該位置データ、測距データと前記画像データとは関連付けされ、前記画像データは時系列のデータとなっている。

次に、本実施例の作用の概略を、図４を参照して説明する。

前記ＧＰＳ位置検出装置７による位置測定が可能な場合は、該ＧＰＳ位置検出装置７の位置検出結果を基に、前記移動体２５の現在位置を測定し、又特定する。更に、前記ＧＰＳ位置検出装置７による位置情報の取得（ＳＴＥＰ：００）と並行して、前記撮像装置９により走行方向に対して直角な方向（沿道）の画像が連続的に撮像される（ＳＴＥＰ：０１）。前記撮像装置９の撮像範囲は、沿道の建築物を含む景色と共に画像の下部には前記移動体２５が走行する道路（路面）が含まれている。

更に、前記ＧＰＳ位置検出装置７の測定、前記撮像装置９による画像の撮像と並行して、前記レーザ測距装置８により前記撮像装置９の撮像方向の、撮像対象について測距が行われる（ＳＴＥＰ：１１）。尚、撮像対象は、沿道に存在するもの、例えば市街地であれば、ビル等の建築物、郊外であれば土手等である。

上述した様に、前記レーザ測距装置８は複数のポイントレーザビームを垂直方向に所定間隔で整列してパルスで射出し、各レーザビーム毎に、又各パルス毎に測距する様になっている。従って、前記移動体２５が走行することで、所要高さの幅で帯状に連続する範囲が測定される。

前記撮像装置９で撮像した画像について、画像処理により、特徴点が抽出され、抽出した特徴点を画像フレーム間で追尾することで画像トラッキングが実行され、画像トラッキングは、本位置測定装置１の測定が行われている間中、実行される（ＳＴＥＰ：０２）。

抽出した特徴点について、前記ＧＰＳ位置検出装置７により求められた、前記移動体２５の２点の位置データに基づき、前方交会法により３次元位置データを演算により求める（ＳＴＥＰ：０３）。

特徴点（即ち測定対象の測定点）についての３次元位置データが求められると、特徴点の３次元位置データと前記移動体２５の位置データとに基づき、該移動体２５と特徴点迄の距離が演算される。この演算距離と前記レーザ測距装置８で測定した特徴点迄の距離とが比較される（ＳＴＥＰ：０４）。

尚、前記レーザ測距装置８が測定した測定点と前記特徴点との位置が完全に一致してなくとも、測定対象がビルの壁面であった場合には、距離の測定精度には殆ど影響がない。

前記演算距離と前記レーザ測距装置８で実測した特徴点迄の距離（以下、実測距離と称す）とが合致、又は所定誤差範囲内、例えば１０％以内であると、前方交会法で得た特徴点の位置座標は正しいとして、画像と共に前記データ格納部１８に格納される。

又、特徴点がビルの隙間等に該当した場合、或はビルの歯抜け等で画像が得られない場合等撮像対象が不存在となった場合、或は撮像できたとしても大きく距離が変化した場合には、画像は得られても特徴点が抽出できずトラッキングが不成功となり、特徴点を誤認してしまう。トラッキングが成功した場合でも、精度が大きく低下する。この様な状態では、演算距離と実測距離を比較した場合に値が大きく異なり、或は実測距離が得られない結果となる。この場合、特徴点、及び演算距離は測定対象外として除去される（ＳＴＥＰ：０５）。尚、レーザ測距装置８で実測した実測距離から、所望の距離範囲内（例えば２０ｍ以内：設定可能）に特徴点がない、又は演算距離がないとみなされる場合にも、除去することができる。

従って、後述する後方交会法の演算の基になる特徴点で誤差を含むものがなくなり、累積誤差が生じることが防止され、更に後方交会法による位置測定の精度、信頼性が向上する。

次に、実測値との比較で、誤差範囲内とされ、取得された特徴点、及び該特徴点の３次元座標に基づき、後方交会法により移動後の、前記移動体２５の３次元座標が演算により求められる。即ち、前記ＧＰＳ位置検出装置７で位置が測定できなかった前記移動体２５の位置が測定される（ＳＴＥＰ：０６）。

以上の如く、前方交会法により特徴点（即ち測定対象の測定点）の３次元位置データを求め、更に後方交会法により、得られた特徴点の３次元座標から移動した次の移動体２５の位置座標を求めることを繰返して、前記ＧＰＳ位置検出装置７での位置測定ができない状態でも、前記移動体２５の位置測定、更に撮像装置９で撮像した画像と位置データとの関連付けが行える。

再び、前記ＧＰＳ位置検出装置７が衛星からの信号を受信できる状態となった場合、該ＧＰＳ位置検出装置７による位置測定のモードに切替えられる。

次に、前記ＳＴＥＰ：０２に於ける画像トラッキングについて、図５、図６を参照して具体的に説明する。

前記制御演算部１４は、画像処理プログラムに基づき、前記移動体２５が測定を実行した位置、即ち測定位置Ｐ₁ （以下測定位置Ｐを単にＰと略称す）の画像データＩ₁ をエッジ処理等の画像処理し、画像中の特徴点であるコーナ部又はクロスポイントが追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）（図６（Ａ）中、白丸で示す）として所要数抽出される。

尚、追尾ポイントは画像全体に分散する様に抽出され、画面下部に含まれる路面についても、特徴点が抽出される。

図５に於いて、Ｐ₁ で撮像した画像Ｉ₁ を図６（Ａ）に示し、図５中、Ｐ₁ からＰ₂ 迄移動しながら連続して撮像していったＰ₂ の画像Ｉ₂ を図６（Ｂ）に示している。

ここで、前記画像データＩ₁ 中心のＰ₁ からの方位は、前記方位センサ１０が検出する方位から求められ、各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）のＰ₁ からの方位は、画像データＩ₁ 中の画素の位置（撮像中心に対する撮像素子上での位置）から演算される。

Ｐ₁ 〜Ｐ₂ に至る過程でも、前記撮像装置９により連続的に撮像されており、各画像で発生された追尾のポイントは隣接する画像間でトラッキング（追跡）が行われる。

トラッキングの対象として設定された追尾ポイントの撮像素子上での位置が検索中心位置として記憶され、経時的に次に取得された次画像データについて前記検索中心位置を中心として設定した検索範囲に亘って前記次画像データ中で追尾ポイントが検索される。上記した様に、画像は移動中連続して撮像しているので、前画像データと次画像データとのずれは僅かであり、追尾ポイントは次画像データの検索範囲に存在し、直ちに次画像データ中の追尾ポイントが特定される。前記検索範囲内での検索は、ＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）法、若しくは面積相関法等が用いられる。

尚、次画像データで特定された追尾ポイントを検索対象として、前画像データの追尾ポイントを逆検索（バックマッチング）でチェックする。逆検索で得られた追尾ポイントが既に得られた追尾ポイントと一致していない時は該追尾ポイントは削除される。逆検索を実施することで、影（オクルージョン）或は障害物を回避することができる。又、３以上の画像データの追尾ポイントが求められると、複数画像によるバンドル調整計算により、重複して座標のチェックを実行し、精度の悪い追尾ポイントについては削除する。精度の悪い追尾ポイントを削除することで全体として追尾ポイントの特定精度が向上する。

前画像データと次画像データとを比較し、上記した追尾ポイントを時系列に従って順次検索する。

前記画像処理による追尾ポイントの抽出、又追尾ポイントのトラッキングは、各Ｐでの前記位置検出部３からの位置データの入力の有無に拘らず連続的に実行される。尚、追尾ポイントのトラッキングが完了した過去の画像データ（各Ｐ間で撮像した画像データ）は、記憶量の節約の為、前記データ格納部１８から消去してもよい。

尚、画像トラッキングを行う場合に、画像フレーム間で共通の対象物が存在することが好ましいが、ビルの隙間、或はビルが歯抜け状態となった場合では、共通の対象物が不存在となり、画像トラッキングが停止するか、或は追尾している追尾ポイントの誤認が生じる可能性がある。

本実施例では、画像の一部に路面を含んでおり、画像上で路面の連続性は確保され、路面についても追尾ポイントを発生させている。路面部画像から抽出した追尾ポイントも画像トラッキングの対象とすることで、ビルの隙間、或はビルが歯抜け状態となった場合でも、画像トラッキングを確実に継続させることができる。

次に、前記移動体２５が、ビルの陰に入った場合、或はトンネル内に入った場合等、衛星からの電波が届かない状態となり、前記ＧＰＳ位置検出装置７による位置測定ができなくなった場合、上記した前方交会法、後方交会法により位置測定を続行する。

図７〜図１０を参照して、前方交会法、後方交会法を順次繰返して、前記移動体２５の位置測定を実行する場合を具体的に説明する。

図７は、前記移動体２５が障害物２０、障害物２１の間を進行し、前記位置検出部３が第１地点（ポイントＰ₁ ）から第６地点（ポイントＰ₆ ）（以下ポイントＰは単にＰと略称する）に移動した状態を示し、Ｐ₁ ，Ｐ₂ では、前記ＧＰＳアンテナ１１により衛星からの信号を受信可能であり、Ｐ₃ 〜Ｐ₅ では前記障害物２０、前記障害物２１により衛星からの信号が受信できない状態であり、Ｐ₆ で再び衛星からの信号を受信可能となっている。

尚、前記移動体２５が移動している間中、前記撮像装置９により周囲の画像、即ち前記障害物２０、障害物２１が連続的に撮像され、前述した画像トラッキングが実行されている。又、各Ｐは、予め設定された時間間隔毎、或は所定画像フレーム間隔での前記移動体２５の位置となっている。又、各Ｐ間の距離は、後述する撮影基線長Ｂとなっている。

該移動体２５がＰ₁ となった時点で、前記制御演算部１４が前記ＧＰＳ位置検出装置７で測定された位置データを取得する（ＳＴＥＰ：２１）。従って、Ｐ₁ は既知の座標となる。

次に、Ｐ₂ について、前記ＧＰＳ位置検出装置７による位置測定が行われ、前記位置検出部３からＰ₂ についての位置測定データが入力され（ＳＴＥＰ：２３）、Ｐ₂ の位置測定データとＰ₂ で撮像した画像Ｉ₂ が前記データ格納部１８に格納される（図６参照）。又、画像Ｉ₂ について画像処理が行われ、又トラッキングにより各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）が特定される。又、この時のＰ₂ に関する各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の方位は、前記方位センサ１０による撮像方向の方位検出、各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の画像Ｉ₂ の位置（画角）によって演算される（図８（Ａ）参照）。

次に、既知点であるＰ₁ ，Ｐ₂ の位置データ、Ｐ₁ ，Ｐ₂ に対する各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の方位角に基づき、前方交会法により各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の３次元位置データが演算される（ＳＴＥＰ：２３，ＳＴＥＰ：０３）（図８（Ａ）、図４参照）。

この演算された３次元位置データは、前述した様に、前記レーザ測距装置８で実測された測距結果との比較により、演算結果が妥当であるか、更に演算結果を取得すべきか、除外すべきかが判断される（ＳＴＥＰ：０５、図４参照）。

演算結果が妥当であると判断され、演算結果を取得すると判断されると、追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）は既知点となる。尚、図８では、追尾ポイントを複数点のみ示しているが、実際には追尾ポイントは多数抽出されており、追尾ポイントの一部が除外されたとしても、残りの追尾ポイントにより画像トラッキングが実行可能となっている。例えば、路面部画像について抽出した追尾ポイントにより、画像トラッキングの実行が可能となっている。

各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の位置データは、画像Ｉ₁ 、画像Ｉ₂ の画像データに関連付けられて前記データ格納部１８に格納される。そして追尾ポイントは、追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）として画像Ｉ₁ と画像Ｉ₂ の相互標定が行われ、画像Ｉ₁ と画像Ｉ₂ は３次元位置データを含む画像（ステレオ画像）化される。

前記移動体２５がＰ₃ に移動すると、衛星からの電波が前記障害物２０により遮られ、前記位置検出部３は位置測定ができず、該位置検出部３からの測定位置が入力されない。前記制御演算部１４は前記位置検出部３からの入力がないことを判断すると、後方交会法による演算による位置測定に切替える。

Ｐ₃ に至る間も前記撮像装置９による撮像、画像データ中の追尾ポイントのトラッキングは連続して行われている（ＳＴＥＰ：２４）。

即ち、既に得られている各追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）の位置データ、及びＰ₃ で取得した画像Ｉ₃ 中の前記追尾ポイント（Ａ₁ ，Ａ₂ ，Ａ₃ ，…）とＰ₃ の方位のデータ（撮像方向の方位と画角）に基づき後方交会法によりＰ₃ の位置データが演算される（ＳＴＥＰ：２５，ＳＴＥＰ：０６）（図８（Ｂ）、図４参照）。

尚、Ｐ₁ ，Ｐ₂ ，Ｐ₃ …と前記移動体２５が移動し、撮像範囲が移動することに伴い、撮像した画像中には順次新しい追尾ポイントが発生する。例えば、図８（Ａ）、図８（Ｂ）を参照すれば、画像Ｉ₂ にはＡ₄ 、画像Ｉ₃ にはＡ₅ ，Ａ₆ の追尾ポイントが発生する。新たに発生した追尾ポイントについてもトラッキングが行われ（ＳＴＥＰ：ｎ−１）、更に順次前方交会法により位置データが演算測定される。

後方交会法によりＰ₃ が既知点となり、Ｐ₃ とＰ₂ の位置データ、Ｐ₃ とＰ₂ からの新たに発生した追尾ポイントに対する方位データに基づき前方交会法により新たに発生した追尾ポイントの位置が演算される（ＳＴＥＰ：ｎ）。

而して、画像中の追尾ポイントの位置データからＰ_n の位置を後方交会法により演算測定し、更に、既知となったＰ_(n-1) 、及びＰ_n のデータから新たに発生した追尾ポイントの位置を、画像を基に前方交会法により演算測定し、衛星からの電波が得られず、前記位置検出部３によるＰの位置測定ができない状態でも、前方交会法と後方交会法を交互に実施し、継続してＰの位置測定が実施可能である。

次に、前記移動体２５がＰ₆ に至ると、衛星からの電波の受信が可能となり、Ｐ₆ の位置が前記位置検出部３により測定され、該位置検出部３で測定された位置データが前記制御演算部１４に入力されると、該制御演算部１４は位置データ入力有りと判断し、後方交会法による演算を停止する。又、前記撮像装置９によりＰ₆ で撮像した画像データ、該画像データより抽出した追尾ポイント、抽出した追尾ポイントの方位データが、Ｐ₆ の位置データに関連付けられて前記データ格納部１８に格納される。

従って、前記位置検出部３から位置情報が入力されている間は、該位置検出部３で測定された結果が、Ｐの位置測定のデータとして採用され、該位置検出部３からの位置情報が途絶えると、前方交会法、後方交会法により演算されたＰの位置情報が採用され、Ｐの位置は中断することなく連続的に測定される。

尚、前記位置検出部３で位置測定できない場合、画像データ、追尾ポイントのデータは最新のＰ_n 及び過去に遡る少なくとも２つのＰ_(n-1) ，Ｐ_(n-2) の３つのＰについてのデータがあればよく、Ｐ_(n-3) より過去のデータについては、記憶量の節約の為、順次消去してもよい。

又、上記追尾ポイントの位置データについては、トラッキングした所要数の追尾ポイントを基に隣接する２つの測定点、例えばＰ₂ ，Ｐ₃ についてＰ₂ ，Ｐ₃ で取得した画像について追尾ポイントに基づくパスポイントにて相互標定を行い、３次元位置データを含む画像（ステレオ画像）とすれば、他の画像を構成する各画素の位置データ、方位データは画像により求めることができ、演算処理を高速化できる。

又、上記説明では、図７中、前記移動体２５の右側の障害物についての画像を撮像して、Ｐの位置測定を行ったが、右側の障害物から追尾ポイントを得る為に適切な画像が取得できない場合は、左側の障害物から画像を取得する等、取得する画像については障害物の状況に応じて、画像処理の段階で適宜選択される。

上記したＳＴＥＰ：０４，ＳＴＥＰ：２５に於いて、後方交会法により測定位置Ｐを求めるが、本実施例では単写真標定により、既知点（測定点）の座標と画像上での対応付けを行い、測定位置Ｐを測定する。

単写真標定による測定点の座標の測定について、図１０を参照して説明する。

測定点を含む空間の座標を対象空間座標（Ｘ，Ｙ，Ｚ）、画像上の画像座標を（ｘ，ｙ）、前記撮像装置９の焦点距離をｆ、該撮像装置９の撮影位置の座標を（Ｘ₀ ，Ｙ₀ ，Ｚ₀ ）、カメラの回転要素（傾き）をｌ，ｍ，ｎとすると、対象空間座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘ，ｙ）とは下記の関係式で表される。

ｘ＝−ｆ［ｌ₁ （Ｘ−Ｘ₀ ）＋ｍ₁ （Ｙ−Ｙ₀ ）＋ｎ₁ （Ｚ−Ｚ₀ ）］／［ｌ₃ （Ｘ−Ｘ₀ ）＋ｍ₃ （Ｙ−Ｙ₀ ）＋ｎ₃ （Ｚ−Ｚ₀ ）］
ｙ＝−ｆ［ｌ₂ （Ｘ−Ｘ₀ ）＋ｍ₂ （Ｙ−Ｙ₀ ）＋ｎ₂ （Ｚ−Ｚ₀ ）］／［ｌ₃ （Ｘ−Ｘ₀ ）＋ｍ₃ （Ｙ−Ｙ₀ ）＋ｎ₃ （Ｚ−Ｚ₀ ）］

従って、図示される様に既知の対象空間座標（Ｘ，Ｙ，Ｚ）が２以上（好ましくは３以上）あれば、前記撮像装置９の撮影位置の座標（Ｘ₀ ，Ｙ₀ ，Ｚ₀ ）の３次元座標が測定できる。

次に、図１１〜図１３に於いて、本実施例に於ける画像トラッキングと測距について概略を説明する。

図１１〜図１３に示す例では、車両である移動体２５の天井に検出部本体６が設けられ、土盛り２３について測定する場合を示している。

測定は、前記土盛り２３の周囲を前記移動体２５で周回しつつ実行される。前記検出部本体６により、前記土盛り２３の動画像が撮像されると共にレーザ測距装置８による測距が実行される。尚、動画像には図１２で示される様に、前記土盛り２３手前の地面も含まれている。

前記レーザ測距装置８からは、上下に所定間隔でライン上に整列された複数本のレーザ光線２４がパルス照射され、パルスレーザ光線により、各本毎に、各パルス毎に測距が行われる。ライン上に整列されたレーザ光線２４を照射しつつ前記移動体２５が走行するので、測定範囲は上下に幅を有する帯状となる。

尚、前記レーザ測距装置８は１本のレーザ光線により測距を実施してもよいが、複数本のレーザ光線により、測距を行うことで、対象物迄の距離だけでなく、測定対象面の特定も行うことができる。前記レーザ測距装置８の測距結果から測定範囲を測定することで、不要部分の測定を省略でき、測定効率が向上する。又、位置測定装置１の測定時の負担を軽減できる。

図１２に示される様に、画像トラッキングを実行しつつ、所定時間間隔毎に、或は所定フレーム間隔毎に画像を取込む。取込んだ画像と、取込み時に前記レーザ測距装置８で測距した測距データとが関連付けられて格納される。取込んだ画像間の時間差に前記移動体２５が移動した距離が、撮影基線長Ｂとなる。又、この時の撮影距離Ｈが、図１０で示されるＺに相当する。

図１３は、前記土盛り２３について、測距した測定点を多数の点群として示したものであり、又２６は、本実施例により測定した移動体２５の走行軌跡を示している。尚、図１３に示される走行軌跡２６の測定には、ＧＰＳ位置検出装置７による位置測定は行っていない。

本発明では、レーザ測距装置８で測定された距離データから、画像トラッキングを行う為の測定範囲を設定し、撮像装置９による画像トラッキングから求められる対象物の３次元座標をチェックして、その範囲以内のデータを検出するので、作業効率が向上すると共に、精度の向上、測定の信頼性が向上する。

又、実測した距離データを用いることにより、適切な撮影距離で測定した３次元位置データのみを、ビデオカメラの後方交会に用いることにより、対象物の形状による撮影距離の影響を受ける事無く、精度良くビデオカメラの外部標定要素（位置と傾き）を求めることができる。

更に、対象物の凹凸等の隠蔽や不連続で測定対象物が検出できない場合にも、測定面を定義することにより、画像トラッキングの結果から３次元位置データの間違いを除去し、後方交会によるビデオカメラの外部標定要素のエラーを防ぐことができる。

又、レーザ測距装置８とビデオカメラとを予め校正することにより、レーザ測距装置８により得られた３次元座標とそれに対応した画像データとから、ビデオカメラレンズの自己校正（セルフキャリブレーション）を簡潔に行うことができ、ビデオカメラによるトラッキング精度を向上できる。

又、夜間等、画像トラッキングできない場合、レーザ測距装置８で３次元計測も補間できる。

１ 位置測定装置
２ 測定装置本体
３ 位置検出部
４ 操作部
５ 表示部
６ 検出部本体
７ ＧＰＳ位置検出装置
８ レーザ測距装置
９ 撮像装置
１４ 制御演算部
１５ 記憶部
２０ 障害物
２１ 障害物
２３ 土盛り
２４ レーザ光線
２５ 移動体

Claims (3)

1. 移動しつつデジタル画像を連続的に撮像し、画像中に追尾ポイントを発生させ、動画像トラッキングを行うと共に既知点とした撮像位置の座標から前記追尾ポイントの座標を演算により測定する前方交会法と、測定して得られた追尾ポイントの座標から撮像位置を演算により測定する後方交会法を交互に繰返して、移動する撮像位置の測定及び撮像位置から撮像対象の測定を行う位置測定方法に於いて、デジタル画像の撮像と並行して、移動しつつ上下方向に所定間隔でライン上に整列された複数本のレーザ光線をパルス照射するレーザ測定により撮像対象物迄の距離を各パルス毎に実測し、実測で得られた結果に基づき動画像トラッキングを行う測定範囲を設定し、該測定範囲について演算で得られた前記追尾ポイントの座標と実測して得られた距離とを比較し、演算で得られる座標が実測距離に対して所定誤差範囲にある場合に追尾ポイントの座標値として取得することを特徴とする位置測定方法。
2. 撮像する動画像の一部に、路面又は地面が含まれ、路面又は地面の画像中からも追尾ポイントが抽出され、撮像対象物が不存在となった場合にも、動画像トラッキングが継続される様にした請求項１の位置測定方法。
3. ＧＰＳ位置検出装置と、デジタル画像を連続的に撮像する撮像装置と、レーザ測距装置と、測定装置本体とを有し、前記ＧＰＳ位置検出装置と前記撮像装置と前記レーザ測距装置が移動体の屋根に設けられ、該移動体の移動中に前記ＧＰＳ位置検出装置は第１地点、第２地点の位置データを測定し、前記撮像装置は既知点である第１地点から既知点である第２地点を経て、未知点である第３地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記レーザ測距装置は前記撮像装置による撮像と並行して上下方向に所定間隔でライン上に整列された複数本のレーザ光線をパルス照射して各パルス毎に撮像対象物迄の距離をレーザ測定し、前記測定装置本体はレーザ測定の測距結果に基づき前記デジタル画像について動画像トラッキングを行う測定範囲を設定し、更に前記第１地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定する動画像トラッキングを行い、前記第１地点での取得画像と前記第２地点での取得画像の追尾ポイントの３次元位置データを前記第１地点、第２地点の位置データから演算すると共に演算結果と前記レーザ測定の測距結果とを比較し、該測定結果に対して所定誤差範囲内である演算結果を追尾ポイントの位置データとして採用し、前記追尾ポイントの位置データから前記第３地点の位置データを演算する様構成したことを特徴とする位置測定装置。

Images