JP5122693B1 - In-vehicle survey system - Google Patents
In-vehicle survey system Download PDFInfo
- Publication number
- JP5122693B1 JP5122693B1 JP2012114462A JP2012114462A JP5122693B1 JP 5122693 B1 JP5122693 B1 JP 5122693B1 JP 2012114462 A JP2012114462 A JP 2012114462A JP 2012114462 A JP2012114462 A JP 2012114462A JP 5122693 B1 JP5122693 B1 JP 5122693B1
- Authority
- JP
- Japan
- Prior art keywords
- feature
- camera
- vehicle
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】車載測量システムにおける測量の精度を向上させる。
【解決手段】車両に搭載され測量を実施する車載測量システム1であって、車両の位置情報を取得する位置情報取得手段202と、車両の姿勢情報を取得する姿勢情報取得手段203と、測量対象である地物を撮像する3台のカメラ204と、カメラ204と車両との相対位置情報及び相対姿勢情報並びにカメラ204の撮像範囲情報を記憶する記憶手段104と、位置情報、姿勢情報、相対位置情報、相対姿勢情報、撮像範囲情報、及びカメラ204により撮像した撮像画像に基づいて、地物を通る視線ラインを各カメラ204について特定し、1台のカメラ204による撮像画像における、地物と他の2台のカメラ204の視線ラインとの位置関係に基づいて、地物の3次元座標を算出する地物座標算出手段103と、を備える。
【選択図】図1To improve the accuracy of surveying in an on-vehicle surveying system.
An in-vehicle survey system 1 that is mounted on a vehicle and performs surveying, a position information acquisition unit 202 that acquires vehicle position information, an attitude information acquisition unit 203 that acquires vehicle attitude information, and a survey target Three cameras 204 that image the feature, and storage means 104 that stores relative position information and relative posture information between the camera 204 and the vehicle, and imaging range information of the camera 204, position information, posture information, and relative position Based on the information, relative orientation information, imaging range information, and the captured image captured by the camera 204, a line of sight passing through the feature is identified for each camera 204, and the feature and other in the captured image by the single camera 204 are identified. And a feature coordinate calculation means 103 for calculating the three-dimensional coordinates of the feature based on the positional relationship with the line of sight of the two cameras 204.
[Selection] Figure 1
Description
本発明は、車載測量システムに関する。 The present invention relates to an in-vehicle survey system.
車両に搭載されて測量を実施する車載測量システムとして、特許文献1に記載された発明が知られている。
The invention described in
特許文献1に記載された車載測量システムは、測量の精度の面において改良の余地がある。
本発明は、上記の点に鑑みてなされたものであり、その目的の1つは、車載測量システムにおける測量の精度を向上させることにある。
The in-vehicle surveying system described in
The present invention has been made in view of the above points, and one of its purposes is to improve the accuracy of surveying in an in-vehicle surveying system.
上述した課題を解決するために、本発明の一態様は、車両に搭載され測量を実施する車載測量システムであって、前記車両の位置情報を取得する位置情報取得手段と、前記車両の姿勢情報を取得する姿勢情報取得手段と、測量対象である地物を撮像する3台のカメラと、前記カメラと前記車両との相対位置情報及び相対姿勢情報並びに前記カメラの撮像範囲情報を記憶する記憶手段と、前記位置情報、前記姿勢情報、前記相対位置情報、前記相対姿勢情報、前記撮像範囲情報、及び前記カメラにより撮像した撮像画像に基づいて、前記地物を通る視線ラインを前記各カメラについて特定し、1台の前記カメラによる撮像画像における、前記地物と他の2台の前記カメラの視線ラインとの位置関係に基づいて、前記地物の3次元座標を算出する地物座標算出手段と、を備える車載測量システムである。 In order to solve the above-described problem, one aspect of the present invention is an in-vehicle surveying system that is mounted on a vehicle and performs surveying, and includes position information acquisition means that acquires position information of the vehicle, and attitude information of the vehicle Information acquisition means, three cameras for imaging the features to be surveyed, storage means for storing relative position information and relative attitude information between the cameras and the vehicle, and imaging range information of the cameras And a line of sight passing through the feature is identified for each camera based on the position information, the posture information, the relative position information, the relative posture information, the imaging range information, and a captured image captured by the camera. Then, the three-dimensional coordinates of the feature are calculated based on the positional relationship between the feature and the line of sight of the other two cameras in an image captured by one camera. And objects coordinate calculation unit, an in-vehicle surveying system comprising a.
また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインが通るか否かに応じて選択した2つの視線ラインの交点を、前記地物の3次元座標として算出する、車載測量システムである。 Further, according to another aspect of the present invention, in the above aspect, the feature coordinate calculation unit is configured to determine whether a line-of-sight line of the other two cameras passes through the feature in an image captured by the one camera. It is an in-vehicle surveying system that calculates an intersection of two line-of-sight lines selected according to whether or not as a three-dimensional coordinate of the feature.
また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインの一方が通る場合、当該視線ラインと前記1台のカメラの視線ラインとの交点を、前記地物の3次元座標として算出する、車載測量システムである。 Further, according to another aspect of the present invention, in the above aspect, the feature coordinate calculation unit is configured such that one of the line-of-sight lines of the other two cameras is the feature in the captured image of the one camera. When passing, it is an in-vehicle survey system that calculates the intersection of the line of sight and the line of sight of the one camera as the three-dimensional coordinates of the feature.
また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインのいずれもが通らない場合、前記他の2台のカメラの視線ラインの交点を、前記地物の3次元座標として算出する、車載測量システムである。 Further, according to another aspect of the present invention, in the above aspect, the feature coordinate calculation unit may convert the feature in the image captured by the one camera to any of the line-of-sight lines of the other two cameras. Is an in-vehicle surveying system that calculates the intersection of the line-of-sight lines of the other two cameras as the three-dimensional coordinates of the feature when the camera cannot pass.
また、本発明の他の一態様は、上記一態様において、地物を遠地点から撮像した撮像画像に基づいて前記地物を通る視線ラインを特定し、同一の地物を近地点から撮像した撮像画像に基づいて前記地物座標算出手段により算出された前記地物の3次元座標と前記遠地点における前記カメラの3次元座標とを結ぶ直線を特定し、前記特定した視線ラインと前記特定した直線との角度差に基づいて、前記姿勢情報取得手段により取得された姿勢情報を補正する姿勢補正手段を備える、車載測量システムである。 Further, according to another aspect of the present invention, in the above-described aspect, a line-of-sight line passing through the feature is specified based on a captured image obtained by capturing the feature from a far point, and a captured image obtained by capturing the same feature from a near point. And a straight line connecting the three-dimensional coordinates of the feature calculated by the feature coordinate calculating means and the three-dimensional coordinates of the camera at the far point is specified, and the specified line of sight and the specified straight line An on-vehicle survey system comprising posture correction means for correcting posture information acquired by the posture information acquisition means based on an angle difference.
また、本発明の他の一態様は、上記一態様において、前記カメラのフレーム期間T1の整数倍T1×nと異なる周期T2で期間T1×n−T2又はそれより短い期間点灯する発光手段と、前記カメラの撮像画像から前記発光手段の点灯が写り込んだフレームを抽出し、抽出したフレームの撮像時刻を前記発光手段の点灯時刻に基づいて特定する同期管理手段と、を備える、車載測量システムである。 According to another aspect of the present invention, in the above-described aspect, the light emitting unit that is lit for a period T1 × n−T2 or shorter than the period T2 that is different from an integer multiple T1 × n of the frame period T1 of the camera; An in-vehicle survey system comprising: a synchronization management unit that extracts a frame in which lighting of the light emitting unit is reflected from a captured image of the camera, and specifies an imaging time of the extracted frame based on a lighting time of the light emitting unit. is there.
また、本発明の他の一態様は、上記一態様において、前記地物座標算出手段によって3次元座標を算出した地物の名称の候補をオペレータに案内する支援手段を備える、車載測量システムである。 According to another aspect of the present invention, there is provided an in-vehicle survey system including support means for guiding candidates for feature names whose three-dimensional coordinates are calculated by the feature coordinate calculation means to the operator. .
また、本発明の他の一態様は、上記一態様において、前記測量車に対する相対位置が既知である基準ポイントに対応する撮像画像内の画像座標と前記カメラによって撮像された撮像画像内の前記基準ポイントの画像座標とを含むキャリブレーションデータを作成し、前記地物座標算出手段によって特定された視線ライン上の点を前記キャリブレーションデータに基づいて補正し、補正後の点に基づいて前記視線ラインを補正するキャリブレーション手段を備える、車載測量システムである。 According to another aspect of the present invention, in the above aspect, the image coordinates in a captured image corresponding to a reference point whose relative position to the survey vehicle is known and the reference in the captured image captured by the camera Calibration data including the image coordinates of the point is created, the point on the line of sight specified by the feature coordinate calculation means is corrected based on the calibration data, and the line of sight based on the corrected point It is a vehicle-mounted survey system provided with a calibration means for correcting.
また、本発明の他の一態様は、上記一態様において、円周上に第1周期で配置された第1マーク及び円周上に第2周期で配置された第2マークを有し、前記測量車の車輪に取り付けられた回転板と、前記第1マーク及び前記第2マークの変位を検出するセンサと、前記センサによって検出された前記第1マーク及び前記第2マークの変位に基づいて前記測量車の速度を算出するオドメトリ演算手段と、を備える、車載測量システムである。 In addition, in another aspect of the present invention, in the above aspect, the first mark arranged on the circumference with a first period and the second mark arranged on the circumference with a second period, Based on the rotating plate attached to the wheel of the surveying vehicle, the sensor for detecting the displacement of the first mark and the second mark, and the displacement of the first mark and the second mark detected by the sensor An on-vehicle survey system comprising: an odometry calculation means for calculating a speed of a survey vehicle.
本発明によれば、車載測量システムにおける測量の精度を向上させることができる。 According to the present invention, the accuracy of surveying in an in-vehicle surveying system can be improved.
以下、図面を参照しながら本発明の実施形態について詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<構成>
図1は、本発明の一実施形態に係る車載測量システム1の構成図である。車載測量システム1は、コンピュータ10と、GPSアンテナ201と、GPS受信機202と、姿勢計測器203と、3台のカメラ204A,204B,204Cと、車軸回転センサ205と、LED206と、同期管理装置207とを備える。この車載測量システム1は、走行しながら測量を実施する自動車等の車両(測量車と称する)に搭載される。具体的には、コンピュータ10及び同期管理装置207は測量車の室内に装備され、車軸回転センサ205は測量車の車輪の車軸近傍に取り付けられ、GPSアンテナ201、GPS受信機202、姿勢計測器203、カメラ204A,204B,204C、及びLED206はユニット(計測ユニットと称する)化されて、測量車の屋根の上に設置された観測台上に搭載される。
<Configuration>
FIG. 1 is a configuration diagram of an in-
コンピュータ10は、計測ユニットによって計測されたデータ(計測データ)を保存するとともに、計測データに基づいて測量の対象物の座標を算出する等の、測量に関連する各種の処理を実施する。これらの各種処理は、それぞれに対応するコンピュータプログラム(ソフトウェア)をコンピュータ10のCPUが記憶媒体から読み出して実行することによって、実施される。コンピュータ10のCPUは、これらのコンピュータプログラムを実行した結果として、図示されるように、制御部100、位置・姿勢算出部101、姿勢補正部102、地物座標算出部103、1次キャリブレーション部105、2次キャリブレーション部106、オドメトリ演算部110、走行ガイダンス部111、機器状態監視部112、及び地図作成支援部113の各機能を実現する。
The
また、コンピュータ10は、記憶部104、無線通信部107、表示部108、及び操作部109を備える。記憶部104は、ハードディスクドライブやUSBメモリ等の記憶装置であり、図示されるように、計測データ、1次キャリブレーションデータ、2次キャリブレーションデータ、カメラパラメータ、及び地図データの各データを記憶する。各データについては後述する。無線通信部107は、所定の地点に設置された不図示のトータルステーション(後述)と無線通信を行う通信装置である。表示部108は、液晶ディスプレイや有機ELディスプレイ等の表示装置であり、測量に関連した各種の情報をオペレータ(操作者)に提示するために用いられる。操作部109は、キーボードやマウス等の入力デバイスであり、オペレータからコンピュータ10へ各種の指示を与えるためのものである。
The
一例として、コンピュータ10はノート型のパーソナルコンピュータを用いて構成することができる。
As an example, the
GPSアンテナ201は、GPS衛星からの電波を捉えるアンテナである。GPS受信機202は、GPSアンテナ201によって捉えられた電波に含まれる、GPS衛星から送信されたGPSデータを受信する受信機である。
The
姿勢計測器203は、計測ユニットが搭載された観測台の姿勢を計測する装置である。観測台の姿勢とは、直交する3軸周りの回転角であり、この3軸は、測量車の進行方向をX軸、進行方向に対して右方向をY軸、測量車の上方向をZ軸と定義される軸である。即ち、X軸周りの回転角であるロール、Y軸周りの回転角であるピッチ、及びZ軸周りの回転角であるヨーが、姿勢計測器203によって計測される。姿勢計測器203の一例は、ジャイロセンサ、地磁気センサ、加速度センサ等である。
The
カメラ204A,204B,204C(総称してカメラ204という)は、測量の対象物である地物を撮像するための撮像装置である。以下の説明において、必要に応じ、カメラ204Aをメインカメラ、カメラ204Bを第1サブカメラ、カメラ204Cを第2サブカメラと称する。各カメラ204は、それぞれの撮像範囲がほぼ同じになるように、計測ユニットへの取付位置及び取付角度(向き)並びにズームが調整されている。この調整結果である、各カメラ204の取付位置、取付角度、及びズームを表すデータは、カメラパラメータとして予め記憶部104に記憶される。但し、取付位置は、GPSアンテナ201の位置を基準とした相対位置である。各カメラ204の撮像範囲は、一例として、測量車の前方10mの距離において横20m×縦10mの範囲(対象領域という)が撮像されるように設定される。
なお、本実施形態では、3台のカメラ204A,204B,204Cを使用した構成を説明するが、4台以上のカメラを使用してもよい。例えば、4台以上のカメラそれぞれのズームを、対象領域を2分割した範囲を撮像する「広角」、4分割した範囲を撮像する「中ズーム」、6分割した範囲を撮像する「大ズーム」のいずれかに設定し(即ち各カメラの撮像範囲はカメラ毎に異なる)、対象領域内の各点が全カメラのうち必ず3台のカメラで捉えられるように、各カメラの取付位置及び取付角度を調整した、多数カメラによるカメラシステムを採用してもよい。この場合、測量対象の地物の位置に応じて、即ち測量対象の地物が多数カメラのうちどのカメラに写っているかに応じて、上述したカメラ204A,204B,204Cに相当する3台のカメラを決定すればよい。
In the present embodiment, a configuration using three
LED206は、カメラ204による撮像タイミングを同期管理装置207において高精度(1ms(ミリ秒)の精度)で特定するために用いられる光源である。LED206は、各カメラ204がLED206からの発光を捉えることができるような位置に設置される。LED206の発光タイミングは、同期管理装置207によって制御される。
The
車軸回転センサ205は、測量車の車輪の回転速度を検出するための磁気センサである。
The
同期管理装置207は、GPS受信機202、姿勢計測器203、カメラ204、及び車軸回転センサ205によってそれぞれ計測されたデータの同期を取ってコンピュータ10に記憶させるための装置である。特に、同期管理装置207は、カメラ204による撮像タイミングを高精度に特定する処理を実施する。この処理の詳細については後述する。
The
<全体の動作>
図2は、車載測量システム1の動作を示すフローチャートであり、コンピュータ10によって実施される処理の流れを表す。同図(A)の処理(ステップS11〜ステップS13)は、計測ユニットによって計測を行う処理であり、測量車が道路等を走行する際に実施される。同図(B)の処理(ステップS14〜ステップS17)は、計測ユニットによる計測結果を解析する処理であり、測量車が走行を終えた後、即ち同図(A)の処理とは別のタイミング(例えば後日)で実施される。
<Overall operation>
FIG. 2 is a flowchart showing the operation of the in-
ステップS11において、制御部100は、同期管理装置207から計測データを取得したか否かを判定する。計測データは、GPS受信機202からのGPSデータ、姿勢計測器203からの姿勢データ(ロール、ピッチ、ヨー)、及び各カメラ204からの撮像画像データを含む。更に計測データが車軸回転センサ205からの回転速度データを含んでもよい。これらの各計測データには、同期管理装置207によって、当該各計測データが計測された時刻を示す時刻情報が付されている。
In step S <b> 11, the
計測データが取得された場合、ステップS12において、制御部100は、その計測データを記憶部104に記憶させる。一方、計測データが取得されなかった場合、制御部100は、再びステップS11を繰り返す。
ステップS13において、制御部100は、計測ユニットによる計測を終了するか否かを判定する。例えば、測量車が予定していた経路の終点に到達した時に、オペレータが操作部109を操作して計測の終了を指示する。この場合、制御部100は、オペレータから操作部109へ与えられた当該指示に基づいて、上記判定を行うことができる。
計測を終了すると判定した場合、制御部100は、図2(A)のフローチャートの処理を終了する。一方、計測を終了しないと判定した場合、制御部100は、再びステップS11を繰り返す。この結果、多数の時刻における計測データが記憶部104に蓄積される。
When the measurement data is acquired, the
In step S13, the
When it is determined that the measurement is to be ended, the
ステップS14において、制御部100は、メインカメラ204Aで撮像された1枚の撮像画像データを記憶部104から読み出し、当該撮像画像を表示部108に表示させる。
In step S <b> 14, the
ステップS15において、制御部100は、地物の座標計算が指示されたか否かを判定する。例えば、制御部100は、オペレータから操作部109へ与えられた入力に基づいて、この判定を行うことができる。
In step S15, the
地物の座標計算が指示された場合、ステップS16において、制御部100は、地物が存在している3次元空間上の位置(例えば、地物が道路上のどこに位置しているか)を表す3次元座標を計算する処理を実施する。この計算処理については後述する。一方、地物の座標計算が指示されなかった場合、制御部100は、再びステップS14を繰り返す。当該再実行されるステップS14においては、制御部100は、メインカメラ204Aで撮像された別の1枚(例えば、撮像時刻がより新しいもの)の撮像画像データを記憶部104から読み出し、当該撮像画像を表示部108に表示させる。
When the coordinate calculation of the feature is instructed, in step S16, the
ステップS17において、制御部100は、地物の座標計算を終了するか否かを判定する。例えば、制御部100は、オペレータから操作部109へ与えられた入力に基づいて、この判定を行うことができる。
In step S <b> 17, the
地物の座標計算を終了すると判定した場合、制御部100は、図2(B)のフローチャートの処理を終了する。一方、地物の座標計算を終了しないと判定した場合、制御部100は、再びステップS14を繰り返す。上記と同様、当該再実行されるステップS14においては、別の1枚の撮像画像データが記憶部104から読み出されて表示部108に表示される。
When it is determined that the coordinate calculation of the feature is to be ended, the
<地物の3次元座標の計算処理>
図3は、車載測量システム1における、地物の3次元座標を計算する処理を示すフローチャートであり、上述した図2のステップS16の詳細を表す。このフローチャートの処理は、コンピュータ10のCPUによって実行される。
<Calculation processing of 3D coordinates of features>
FIG. 3 is a flowchart showing a process for calculating the three-dimensional coordinates of the feature in the in-
ステップS21において、地物座標算出部103は、上述のステップS15で地物の座標計算が指示された時点で表示部108に表示されていたメインカメラ204Aの撮像画像データ(以下、メイン画像という)を、記憶部104から読み出す。また、地物座標算出部103は、当該読み出したメイン画像と同じ時刻情報が付された、第1サブカメラ204Bの撮像画像データ(以下、第1サブ画像という)と第2サブカメラ204Cの撮像画像データ(以下、第2サブ画像という)を、同様に記憶部104から読み出す。
In step S21, the feature coordinate
ステップS22において、位置・姿勢算出部101は、ステップS21で読み出したメイン画像と同じ時刻情報が付されたGPSデータと姿勢データを、記憶部104から読み出す。
In step S <b> 22, the position / orientation calculation unit 101 reads GPS data and orientation data with the same time information as the main image read in step S <b> 21 from the
ステップS23において、位置・姿勢算出部101は、カメラパラメータ(各カメラ204の取付位置、取付角度、ズーム)を記憶部104から読み出す。
In step S <b> 23, the position / posture calculation unit 101 reads camera parameters (attachment position, attachment angle, and zoom of each camera 204) from the
ステップS24において、位置・姿勢算出部101は、ステップS22で読み出したGPSデータ及び姿勢データ、並びにステップS23で読み出したカメラパラメータに基づいて、各カメラ204の光軸と撮像範囲を特定する。具体的には、GPSデータからGPSアンテナ201の絶対座標を求めることができ、これに姿勢データ(観測台のロール、ピッチ、ヨー)及びカメラ取付位置(GPSアンテナ201を基準としたカメラ204の相対位置)を併せると、カメラ204の絶対座標を求めることができる。更に、カメラ取付角度(向き)及びカメラズームを併せることで、カメラ204の光軸と撮像範囲を特定することができる。
In step S24, the position / orientation calculation unit 101 identifies the optical axis and imaging range of each
ステップS25において、地物座標算出部103は、メイン画像内に写っている測量の対象とする地物上の1点(以下、測量点と称する)の画像座標を取得する。画像座標は撮像画像の縦と横のピクセル値で表される。例えば、オペレータが、表示部108に表示されているメイン画像内から測量の対象としたい地物を決定し、操作部109を用いて当該決定した地物の画像上の1点を指定する。この場合、地物座標算出部103は、オペレータによって指定された画像上の1点の画像座標を、測量点の画像座標とすることができる。
In step S25, the feature coordinate
ステップS26において、地物座標算出部103は、第1サブ画像及び第2サブ画像内から上記の測量点と同一の点(ステップS25で測量の対象とした地物上の測量点を第1サブカメラ204B又は第2サブカメラ204Cから捉えた1点)を抽出し、当該抽出した点(以下、参照点と称する)の画像座標を取得する。
In step S26, the feature coordinate
ステップS27において、地物座標算出部103は、ステップS24で特定したメインカメラ204Aの光軸及び撮像範囲と、ステップS25で取得した測量点の画像座標とに基づいて、測量点を通るメインカメラ204Aの視線ラインを特定する。ある点を通る視線ラインとは、撮像画像に写っている当該点の3次元空間内の位置とカメラとを結んだ直線のことである。また、地物座標算出部103は、同様に第1サブカメラ204B及び第2サブカメラ204Cそれぞれについて、参照点を通る視線ラインを特定する。
In step S27, the feature coordinate
ステップS28において、地物座標算出部103は、ステップS27で特定した3つの視線ラインに基づいて、測量対象である地物上の測量点の3次元座標を算出する。以下、算出方法の詳細を図4及び図5を参照し説明する。
In step S28, the feature coordinate
図4は、メイン画像における測量点と視線ラインの位置関係を示す図である。同図の例において、メイン画像は、道路上から路面を撮像した画像である。また、測量対象の地物は路面に描かれたセンターラインであり、センターライン上の1点が測量点Mに指定されている。 FIG. 4 is a diagram illustrating the positional relationship between the survey points and the line of sight in the main image. In the example of the figure, the main image is an image obtained by capturing the road surface from the road. The feature to be surveyed is a center line drawn on the road surface, and one point on the center line is designated as the survey point M.
図4(A)においては、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2は、共にメイン画像上の測量点Mを通っている。この場合は、3台のカメラ204A,204B,204Cの位置及び姿勢は正しい状態に保たれており、いずれのカメラの撮像画像も測量点の3次元座標の計算に利用することが可能である。
In FIG. 4A, the line of sight L1 of the
図4(B)においては、第1サブカメラ204Bの視線ラインL1はメイン画像上の測量点Mを通っているが、第2サブカメラ204Cの視線ラインL2は測量点Mを通っていない。この場合は、3台のカメラ204のうち第2サブカメラ204Cの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっており、そのため、この第2サブカメラ204Cの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
In FIG. 4B, the line of sight L1 of the
図4(C)においては、第2サブカメラ204Cの視線ラインL2はメイン画像上の測量点Mを通っているが、第1サブカメラ204Bの視線ラインL1は測量点Mを通っていない。この場合は、3台のカメラ204のうち第1サブカメラ204Bの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっており、そのため、この第1サブカメラ204Bの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
In FIG. 4C, the line of sight L2 of the second sub camera 204C passes through the survey point M on the main image, but the line of sight L1 of the
図4(D)においては、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2は、共にメイン画像上の測量点Mを通っていない。この場合は、3台のカメラ204のうちメインカメラ204Aの位置と姿勢の少なくとも一方が、正しい状態からずれてしまっているという可能性が考えられる。そのため、このメインカメラ204Aの撮像画像を測量点の3次元座標の計算に利用すると、座標の値に誤差を生じさせることとなる。
In FIG. 4D, the line of sight L1 of the
したがって、地物座標算出部103は、次のようにして測量点の3次元座標の算出を行う。
図5は、上述したステップS28の処理の詳細を示すフローチャートである。
Therefore, the feature coordinate
FIG. 5 is a flowchart showing details of the process in step S28 described above.
ステップS31において、地物座標算出部103は、メイン画像上で視線ラインL1が測量点Mを通るか否かを判定する。
In step S31, the feature coordinate
メイン画像上で視線ラインL1が測量点Mを通る場合、ステップS32において、地物座標算出部103は、メインカメラ204Aの視線ラインと第1サブカメラ204Bの視線ラインL1の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(A)及び(B)の場合に相当する。
When the line-of-sight line L1 passes the survey point M on the main image, in step S32, the feature coordinate
メイン画像上で視線ラインL1が測量点Mを通らない場合、ステップS33において、地物座標算出部103は、メイン画像上で視線ラインL2が測量点Mを通るか否かを判定する。この判定において、メイン画像上で視線ラインL2が測量点Mを通る場合、地物座標算出部103は、ステップS34を実行する。一方、この判定において、メイン画像上で視線ラインL2が測量点Mを通らない場合、地物座標算出部103は、ステップS35を実行する。
When the line-of-sight line L1 does not pass the survey point M on the main image, the feature coordinate
ステップS34において、地物座標算出部103は、メインカメラ204Aの視線ラインと第2サブカメラ204Cの視線ラインL2の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(C)の場合に相当する。
In step S34, the feature coordinate
ステップS35において、地物座標算出部103は、第1サブカメラ204Bの視線ラインL1と第2サブカメラ204Cの視線ラインL2の、3次元空間における交点を算出し、当該交点の3次元座標を、測量対象の地物(測量点M)の座標とする。これは、図4(D)の場合に相当する。
In step S35, the feature coordinate
このように、車載測量システム1は、視線ラインL1,L2が測量点Mを通るか否かに応じて、地物の3次元座標の計算に用いるカメラの組み合わせを適切に切り替える。これにより、カメラ204の位置や姿勢に変位が発生した場合であっても、測量の精度が劣化することを効果的に防止することができる。
Thus, the vehicle-mounted
なお、メイン画像上における測量点Mと視線ラインL1及びL2の関係が図4(A)の状況である場合には、更に、第1サブ画像上の参照点を2つの視線ライン(メインカメラ204Aの視線ラインと第2サブカメラ204Cの視線ライン)が通り、且つ第2サブ画像上の参照点を2つの視線ライン(メインカメラ204Aの視線ラインと第1サブカメラ204Bの視線ライン)が通るという条件が満たされていれば、第1サブ画像と第2サブ画像から抽出(ステップS26参照)された上記の参照点は、測量点Mと同一の点(地物)であることが保証される。よって、このような確認を行うことで、算出された地物の3次元座標は妥当であることを検証することができる。一方、上記条件が満たされていなければ、第1サブ画像又は第2サブ画像から正しい参照点が抽出されなかった(例えば、測量点Mに類似した他の地物を参照点として誤って抽出してしまった等)ことになるので、そのような場合には、ステップS26を再実行して、適切な参照点を抽出し直すようにすることが好ましい。
If the relationship between the survey point M on the main image and the line-of-sight lines L1 and L2 is the situation shown in FIG. 4A, the reference point on the first sub-image is further converted into two line-of-sight lines (
また、メイン画像上における測量点Mと視線ラインL1及びL2の関係が図4(D)の状況である場合には、メインカメラ204Aではなく、第1サブカメラ204B又は第2サブカメラ204Cの方がずれているという疑いも考え得る。そこで、第1サブ画像又は第2サブ画像をメイン画像として改めてステップS27以降の処理を実施すれば(第1サブカメラ204B又は第2サブカメラ204Cをメインカメラ204Aとみなすことに相当する)、第1サブカメラ204B又は第2サブカメラ204Cにずれがあるのか否かを判定することが可能である。但し、2台のカメラにずれがある場合には、地物の3次元座標は算出不能、又は算出値の精度は低いものとなる。
When the relationship between the survey point M on the main image and the line-of-sight lines L1 and L2 is the situation shown in FIG. 4D, the
なお、特定の1台のカメラ204から測量対象の地物を視認できない場合には、当該カメラを使用不可とし、他の2台のカメラを用いて地物の3次元座標を計算することとしてもよい。使用不可とされたカメラは、適宜、取付位置や取付角度を調整して、再度カメラパラメータを記憶部104に記憶させることで、再び使用可能とすることができる。
In addition, when the feature to be surveyed cannot be visually recognized from one
<1次キャリブレーション>
図6は、車載測量システム1における1次キャリブレーションの処理を説明するための図である。1次キャリブレーションは、カメラ204のレンズの歪み等を校正する処理であり、例えばカメラ204を測量車から取り外した状態で予め実施される。
<Primary calibration>
FIG. 6 is a diagram for explaining the primary calibration process in the in-
1次キャリブレーションには、キャリブレーションシートが使用される。キャリブレーションシートは、平らな板等に格子状の模様を描いたシートである。格子を構成する各マス(隣接する4つの格子点を頂点とする四角形)の寸法(縦横各辺の長さ)は等しい。中心の4つのマスには黒点等の目印が描かれ、他のマスと区別されている。このキャリブレーションシートを各カメラ204で撮像し、撮像画像を記憶部104に保存しておく。図6にキャリブレーションシートを撮像した撮像画像61が示されている。同図のように、この撮像画像61は、中心付近と周辺部分とで、マスの寸法が異なっている。これは、カメラ204のレンズの歪み等によって生じたものである。
A calibration sheet is used for the primary calibration. The calibration sheet is a sheet in which a lattice pattern is drawn on a flat plate or the like. The dimensions (the length of each side in the vertical and horizontal directions) of each square constituting the grid (a quadrangle having four adjacent grid points as vertices) are equal. Marks such as black dots are drawn on the four central squares to distinguish them from other squares. The calibration sheet is captured by each
1次キャリブレーション部105は、キャリブレーションシートを撮像した撮像画像61を記憶部104から読み出し、画像処理によりこの撮像画像61内の格子点Pを抽出して、各格子点Pの画像座標P(px,py)を取得する。また、1次キャリブレーション部105は、撮像画像61の中心に位置する4つのマスについて横辺の長さの平均値Hxと縦辺の長さの平均値Hyを算出し、本来の格子点Qの画像座標Q(qx,qy)を算出する。本来の格子点Qとは、レンズに歪み等を有しない理想的なカメラ204を用いてキャリブレーションシートを撮像した場合に、撮像画像内に写る格子点のことであり、qx=m×Hx,qy=n×Hy(但し、m及びnは整数)のように求めることができる。そして、1次キャリブレーション部105は、各格子点について画像座標Pと画像座標Qの差Δx=px−qx,Δy=py−qy(以下、補正値という)を計算し、この補正値を各格子点に対応付けて1次キャリブレーションデータとして記憶部104に記憶する。
The
その後、1次キャリブレーション部105は、各カメラ204で撮像した撮像画像中の測量点や参照点(前述のステップS25及びステップS26を参照)を、記憶部104の1次キャリブレーションデータを用いて補正する。例えば、1次キャリブレーション部105は、測量点又は参照点の画像座標が属するマスを求め、当該マスの4つの頂点(格子点)の補正値Δx,Δyを線形補間することにより、当該測量点又は参照点の補正値を算出して、この補正値により測量点又は参照点の画像座標を補正する。これにより、カメラ204のレンズの歪み等の影響を低減することができる。
Thereafter, the
<2次キャリブレーションデータの作成>
図7は、車載測量システム1における2次キャリブレーションデータの作成方法を説明するための図である。2次キャリブレーションデータの作成は、測量車が停止した状態で予め実施される。
<Creation of secondary calibration data>
FIG. 7 is a diagram for explaining a method of creating secondary calibration data in the in-
図7において、基準ポイント71は、測量車に対する相対位置が既知である点である。具体的には、測量車のGPSアンテナ201の位置座標を(0,0,h)として、例えば前方6〜10m、左右10mの範囲に1m間隔で格子点72を設ける。但し、測量車のタイヤ接地面から測ったGPSアンテナ201の高さをhとする。各格子点72の上方の、例えば高さ0〜1.6mの範囲に0.2m間隔で基準ポイント71を設ける。格子を描いた板73等を、格子点が各基準ポイント71と一致するように設置する。各カメラ204で板73上の各基準ポイント71を撮像し、撮像画像を記憶部104に保存しておく。
In FIG. 7, the
2次キャリブレーション部106は、この撮像画像を記憶部104から読み出し、各基準ポイント71の撮像画像上の画像座標を検出する。また、2次キャリブレーション部106は、各基準ポイント71の既知の座標値とカメラパラメータに基づいて、各基準ポイント71が撮像画像のどこに写るはずであるかを計算する。この計算上の画像座標と上記の撮像画像から検出した画像座標との差を補正するのが、2次キャリブレーションである。
The
2次キャリブレーション部106は、各基準ポイント71について、計算上の画像座標と撮像画像から検出した画像座標とを組にし、この画像座標の組を2次キャリブレーションデータとして記憶部104に記憶する。
For each
<2次キャリブレーションの第1の実施方法>
測量車が走行する道路の途中に、3次元座標が既知の基準点を設置しておく。2次キャリブレーションの第1の実施方法は、この基準点が写っている撮像画像を用いて地物の測量を行う際に適用される方法である。なお、基準点を特別に設置するのではなく、撮像画像内から3次元座標が既知の地物を抽出して、当該抽出した地物を上記の基準点として利用してもよい。
<First Implementation Method of Secondary Calibration>
A reference point with a known three-dimensional coordinate is set in the middle of the road on which the survey vehicle travels. The first implementation method of the secondary calibration is a method applied when surveying a feature using a captured image in which the reference point is reflected. Instead of setting a reference point specially, a feature having a known three-dimensional coordinate may be extracted from the captured image, and the extracted feature may be used as the reference point.
図8は、2次キャリブレーションの第1の実施方法を説明するための図である。 FIG. 8 is a diagram for explaining a first implementation method of secondary calibration.
2次キャリブレーション部106は、撮像画像中から基準点を抽出し、その基準点の3次元座標を記憶部104の地図データから取得する。例えば、2次キャリブレーション部106は、基準点の既知の形状・色等に基づいて、所定のパターン認識等の画像処理を用いて撮像画像から基準点を抽出することができる。2次キャリブレーション部106は、取得した基準点の3次元座標に最近接する8点の基準ポイントP1〜P8を記憶部104の2次キャリブレーションデータから抽出する。2次キャリブレーション部106は、抽出した各基準ポイントについて、2次キャリブレーションデータの2つの画像座標の差、即ち計算上の画像座標と撮像画像から検出した画像座標との差を計算し、その差を補正データとする。2次キャリブレーション部106は、8点の基準ポイントの補正データを各基準ポイントと基準点の距離に従って比例配分し、その結果を当該基準点の補正データとする。2次キャリブレーション部106は、このように求めた基準点の補正データに基づいて、撮像画像を補正する。
The
以上のような2次キャリブレーションにより、撮像画像内に写っている基準点が既知の3次元座標と一致するように、撮像画像内の各点の画像座標を補正することができる。これにより、基準点を基準として地物の3次元座標を正確に算出することができる。 By the secondary calibration as described above, the image coordinates of each point in the captured image can be corrected so that the reference point shown in the captured image matches the known three-dimensional coordinates. As a result, the three-dimensional coordinates of the feature can be accurately calculated with reference to the reference point.
<2次キャリブレーションの第2の実施方法>
2次キャリブレーションの第2の実施方法は、基準点以外の測量点の3次元座標を計算する際に適用される方法である。
<Second Implementation Method of Secondary Calibration>
The second implementation method of the secondary calibration is a method applied when calculating three-dimensional coordinates of survey points other than the reference point.
図9は、2次キャリブレーションの第2の実施方法を説明するための図である。 FIG. 9 is a diagram for explaining a second implementation method of the secondary calibration.
2次キャリブレーション部106は、図3のステップS27で特定された、測量点又は参照点を通る視線ラインLについて、各視線ライン上の点であって高さが例えば0.0m,0.2m,0.4m,0.6m,0.8m,1.0m,1.2m,1.4m,1.6mである点(L1〜L9の9点。但し、図9ではL1〜L5の5点のみ示す)の3次元座標を計算する。2次キャリブレーション部106は、これら各点について、上述した2次キャリブレーションの第1の実施方法の場合と同様に、各点の最近接の8点の基準ポイントの補正データから当該各点の補正データを算出する。2次キャリブレーション部106は、各点L1〜L9の3次元座標を各点の補正データに従って補正し、補正後の各点L1’〜L9’までの距離の2乗の総和が最小となるように視線ラインを補正する。
The
以上のように補正された視線ラインL’を図3のステップS27で特定される視線ラインとすることで、2次キャリブレーションデータに基づき地物の3次元座標を正確に算出することができる。 By using the line-of-sight line L ′ corrected as described above as the line-of-sight line specified in step S27 of FIG. 3, the three-dimensional coordinates of the feature can be accurately calculated based on the secondary calibration data.
<姿勢データの補正処理>
図10は、車載測量システム1における、姿勢データを補正する処理を説明するための図であり、姿勢データを補正するために用いる地物Nを遠方の地点Aから撮像した撮像画像10−1と、当該地物Nを接近した地点Bから撮像した撮像画像10−2を表す。姿勢データの補正処理は、図10のように地物Nを遠方地点A及び接近地点Bの両方から撮像した後の、任意の時点で実施することができる。
<Attitude data correction processing>
FIG. 10 is a diagram for explaining processing for correcting posture data in the in-
姿勢補正部102は、オペレータから操作部109への入力に基づいて、ある地点Aにおいて撮像された撮像画像10−1を記憶部104から読み出し、当該撮像画像10−1内の地物Nを特定する。地物Nは、撮像画像10−1に写っている物体のうち、遠方に存在しているとオペレータが判断し、操作部109への入力によって指定した物体である。遠方とは、例えば、地点Aの前方150m付近である。
Based on an input from the operator to the
姿勢補正部102は、記憶部104から読み出した撮像画像10−1に付されている時刻情報と同時刻のGPSデータと、姿勢データと、カメラパラメータとを記憶部104から読み出し、読み出したデータに基づき、前述のステップS24と同様にして、測量車が地点Aに位置している時のカメラ204の3次元座標C(Px,Py,Pz)、光軸、及び撮像範囲を求める。また、姿勢補正部102は、当該求めたカメラ204の光軸及び撮像範囲と、当該撮像画像10−1内の地物Nの画像座標N(Gx,Gy)とに基づき、前述のステップS27と同様にして、地点Aのカメラ204から見た地物Nを通る視線ラインを特定する。
The
姿勢補正部102は、地物Nに接近した地点Bを特定し、当該地点Bにおいて撮像された撮像画像10−2(メイン画像、第1サブ画像、及び第2サブ画像)を記憶部104から読み出す。例えば、姿勢補正部102は、記憶部104に蓄積されている撮像画像の中から、地物Nが所定の大きさよりも大きく撮像されている撮像画像を選択することで、地物Nに接近した地点Bで撮像された撮像画像10−2を特定することができる。接近した地点とは、例えば、地物Nから10m手前の地点である。
The
姿勢補正部102は、地点Bの撮像画像10−2(メイン画像、第1サブ画像、及び第2サブ画像)を用い、前述した図3のフローチャートの処理に従って地物Nの3次元座標N(Px,Py,Pz)を算出する。
The
姿勢補正部102は、上記のように算出したカメラ204の3次元座標C(Px,Py,Pz)と地物Nの3次元座標N(Px,Py,Pz)とを結ぶ直線を特定する。これにより、測量車が地点Aに位置している時のカメラ204から見た、地物Nの方向が判明する。この直線は、姿勢データに誤差が含まれない場合には、上記特定した地点Aにおける地物Nの視線ラインと一致するが、姿勢データに誤差が含まれる場合には、両者は一致しない。
The
姿勢補正部102は、上記直線と視線ラインとの角度の差を算出し、算出した角度差により姿勢データを補正する。
このように、地点Bで求めた地物Nの3次元座標を用いることで、地点Aにおけるカメラ204の光軸を精度良く特定することができる。地点Bだけの情報に基づき求められる地物Nの3次元座標自体は、姿勢データに誤差が含まれる場合には精度が良くないが、地点Bから距離が離れた地点Aから見ると、その誤差の影響は小さいためである。したがって、補正された姿勢データを利用することにより、前述の図3における地物の3次元座標の算出精度を向上させることができる。
The
Thus, by using the three-dimensional coordinates of the feature N obtained at the point B, the optical axis of the
<同期管理装置による撮像タイミングの特定処理>
図11は、同期管理装置207が実施する、カメラ204の撮像タイミングを特定する第1の処理を説明するためのタイミングチャートである。
<Identification processing of imaging timing by synchronization management device>
FIG. 11 is a timing chart for explaining the first processing for identifying the imaging timing of the
同図に示されるように、カメラ204のシャッターは、1フレーム期間のうちフレームの開始の瞬間から予め定められた時間が経過する瞬間までの一部の時間帯にのみ開状態に制御され、残りの時間帯は閉状態に制御される。1フレーム期間は例えば33.3667ミリ秒であり、シャッターが開状態の時間は例えば10ミリ秒である。
As shown in the figure, the shutter of the
同期管理装置207は、GPSデータを時刻の基準として、数分間に一度の頻度で間欠的にLED206を点灯させる制御を行う。LED206の点灯期間は、カメラ204による撮像の1フレーム期間乃至数フレーム期間である。図11には、LED206が、1フレーム目のシャッター開状態の途中から4フレーム目のシャッター閉状態の途中までの120ミリ秒間に亘って、点灯する様子が示されている。この場合には、撮像画像の1フレーム目、2フレーム目、3フレーム目、及び4フレーム目に点灯した状態のLED206が写り込み、0フレーム目より前及び5フレーム目より後の撮像画像には消灯した状態のLED206写り込む。
The
同期管理装置207は、点灯状態のLED206が最初に写り込んだフレームの撮像時刻T1がLED206の点灯開始時刻T2であるとして、各撮像画像の時刻情報を記録する。図11の例では、1フレーム目の撮像画像の撮像時刻は、時刻T2であるとみなされる。これにより、各撮像画像の撮像時刻は、GPSデータの時刻を基準として、1フレーム期間以内の精度で特定することができる。
The
図12は、同期管理装置207が実施する、カメラ204の撮像タイミングを特定する第2の処理を説明するためのタイミングチャートである。同図において、カメラ204のシャッターの開閉タイミングは上記の第1の処理(図11)と同じである。
FIG. 12 is a timing chart for explaining a second process for specifying the imaging timing of the
同期管理装置207は、GPSデータを時刻の基準として、LED206を1秒毎に1ミリ秒間、40回繰り返して点灯させる制御を行う。図12には、この点灯制御が撮像画像の1フレーム目の開始時刻と同時に開始される様子が示されている。
The
同図において、LED206の1回目の点灯は、制御開始と同時、即ち撮像画像の1フレーム目内に行われる。
また、LED206の2回目の点灯は、撮像画像の30フレーム目の終了時刻が1フレーム目の開始時刻から1001.001(=33.3667×30)ミリ秒後であることから、撮像画像の30フレーム目内に行われる。
更に、LED206の3回目の点灯は、撮像画像の60フレーム目の終了時刻が1フレーム目の開始時刻から2002.002(=33.3667×60)ミリ秒後であることから、撮像画像の60フレーム目内に行われる。
以降同様に、LED206の4回目の点灯は撮像画像の90フレーム目内に行われ、5回目の点灯は撮像画像の120フレーム目内に行われ、…(中略)…、33回目の点灯は撮像画像の960フレーム目内に行われ、34回目の点灯は撮像画像の990フレーム目内に行われる。
In the figure, the first lighting of the
Further, the second lighting of the
Further, the
Similarly, the fourth lighting of the
図13は、上記の第2の処理における、LED206の点灯が行われる各フレーム期間内での点灯タイミングの詳細を示すタイミングチャートである。同図中に表記した時刻は、点灯制御の開始時刻(撮像画像の1フレーム目の開始時刻)からの経過時間を表す。
FIG. 13 is a timing chart showing the details of the lighting timing within each frame period during which the
撮像画像の1フレーム目においては、LED206の点灯が行われる点灯制御開始から1ミリ秒の期間は、当該フレームのシャッターが開状態の期間であるから、撮像画像の1フレーム目には点灯状態のLED206が写り込む。
In the first frame of the captured image, the period of 1 millisecond from the start of the lighting control in which the
また、撮像画像の30フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から1.000秒〜1.001秒の期間は、当該フレームの開始から32ミリ秒〜33ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の30フレーム目には、消灯状態のLED206が写り込む。
同様に、撮像画像の60フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から2.000秒〜2.001秒の期間は、当該フレームの開始から31ミリ秒〜32ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の60フレーム目には、消灯状態のLED206が写り込む。
In the 30th frame of the captured image, the period during which the
Similarly, in the 60th frame of the captured image, the period during which the
一方、撮像画像の930フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から31.000秒〜31.001秒の期間は、当該フレームの開始から2ミリ秒〜3ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の930フレーム目には、点灯状態のLED206が写り込む。
同様に、撮像画像の960フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から32.000秒〜32.001秒の期間は、当該フレームの開始から1ミリ秒〜2ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の960フレーム目には、点灯状態のLED206が写り込む。また、撮像画像の990フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から33.000秒〜33.001秒の期間は、当該フレームの開始から0ミリ秒〜1ミリ秒の期間であり、シャッターが開状態の期間に相当する。よって、撮像画像の990フレーム目には、点灯状態のLED206が写り込む。
On the other hand, in the 930th frame of the captured image, the period during which the
Similarly, in the 960th frame of the captured image, the period during which the
更に、撮像画像の1020フレーム目においては、LED206の点灯が行われる期間、即ち点灯制御の開始から34.000秒〜34.001秒の期間は、当該フレームの開始から32ミリ秒〜33ミリ秒の期間であり、シャッターが閉状態の期間に相当する。よって、撮像画像の1020フレーム目には、消灯状態のLED206が写り込む。
Furthermore, in the 1020th frame of the captured image, the period during which the
このように、LED206の点灯開始のタイミングは、上記の各フレーム期間内を1ミリ秒ずつ早まる方向にずれていき、点灯状態のLED206が撮像画像に写り込んでいる最後のフレーム(990フレーム目)では、当該フレームの開始とLED206の点灯開始のタイミングが一致する。図12は点灯制御の開始が撮像画像の1フレーム目の開始時刻と同時である場合の例であるが、点灯制御の開始と撮像画像の1フレーム目の開始が同時でなくずれている場合も、同様に、点灯状態のLED206が撮像画像に写り込んでいる最後のフレームの開始は、LED206の点灯開始のタイミングと一致する。
In this manner, the lighting start timing of the
したがって、同期管理装置207は、点灯状態のLED206が最後に写り込んだフレームの撮像時刻を、LED206が当該フレームで点灯を開始する時刻と同時刻であるとして、各フレームの時刻の同期をとり、この同期した時刻によって各撮像画像の時刻情報を記録する。これにより、各撮像画像の撮像時刻は、GPSデータの時刻を基準として、1ミリ秒以内の精度で特定することができる。
Therefore, the
<GPSデータを受信できない場合の動作>
電波環境等により、GPS受信機202がGPSデータを受信できない場合がある。そのような場合、車載測量システム1は、トータルシステム(TS:トータルステーションともいう)を利用した測量を実施する。トータルシステムとは、地上に設置した位置が既知の基準点から赤外線等の電波を発し、計測点(測量車)に設置された反射鏡による電波の反射波を基準点で測定することにより、計測点の位置を算出する測量方式である。トータルシステムによる測量を実施するために、測量車の屋根には反射鏡が備えられる。
<Operation when GPS data cannot be received>
The GPS receiver 202 may not be able to receive GPS data due to radio wave environment or the like. In such a case, the vehicle-mounted
基準点で測定された測量車の位置を表す位置情報は、基準点から測量車へ無線送信される。無線通信部107は、この位置情報を受信する。制御部100は、GPS受信機202からGPSデータを取得できなかった場合、GPSデータに代えて、無線通信部107により受信した位置情報を記憶部104に記憶させる。これにより、GPSデータを受信できない場合においても測量を続行することができる。
Position information representing the position of the survey vehicle measured at the reference point is wirelessly transmitted from the reference point to the survey vehicle. The
<オペレータに対する操作支援処理>
走行ガイダンス部111は、測量経路を表示部108に表示させる。測量経路とは、測量車が測量を実施する際に走行する道路の開始点、経由点、終了点等であり、オペレータが測量の実施に先立ち予め操作部109を用いて記憶部104に記憶させておいた情報である。例えば、走行ガイダンス部111は、記憶部104に記憶されている地図データに基づく地図(道路)表示と共に、測量経路を表示部108に表示させてもよい。これにより、オペレータは、測量車をどの経路に沿って走行させればよいかを容易に把握することができる。また、走行ガイダンス部111は、測量経路を表示部108に表示させる際に、測量経路のうち走行済み(計測データを取得済み)の箇所や、現在地等も併せて表示させてもよい。これにより、オペレータは、測量の進捗状況を容易に把握することができる。
<Operation support processing for operator>
The travel guidance unit 111 displays the survey route on the display unit 108. The survey route is the start point, waypoint, end point, etc. of the road on which the survey vehicle runs, and is stored in the
機器状態監視部112は、GPS受信機202、姿勢計測器203、カメラ204、及び車軸回転センサ205の動作状態を常時監視し、各機器に異常が生じたか否かを判定して、オペレータに対してその判定結果を報知する。例えば、制御部100は、異常が生じた場合、表示部108に表示されている地図上に異常が発生した地点を示すマークや異常の種別を表す情報等を表示することにより、オペレータへの報知を行ってもよい。これにより、オペレータは、測量実施中にどこでどのような計測の異常が発生したかを容易に把握することができる。また、制御部100は、異常地点のマーク等を表示するに当たっては、オペレータから確認入力があるまでは一旦表示したマーク等の表示をそのまま継続するようにしてもよい。これにより、異常の発生したことが継続して表示部108に表示されるため、オペレータは常に表示部108を注視している必要がなく、道路上の安全な場所に測量車を停止させてから異常の確認をすればよい。よって、測量車の走行に対する安全を確保することができる。
The device
地図作成支援部113は、オペレータが測量結果を反映した地図を作成する際の操作を支援する処理を行う。例えば、地図作成支援部113は、地物座標算出部103が地物の3次元座標を算出した後に、当該地物の名称の候補(例えば、センターラインやL字側溝等)を表示部108に表示させ、オペレータが表示された候補の中から適切な地物を選択し操作部109へその選択結果を入力するのを受けて、当該選択された地物の名称を3次元座標と対応付けて記憶部104に記憶させる。なお、L字側溝等の長尺の地物の場合、当該地物の始点と終点の2点(他の点を含めた3点以上でもよい)について3次元座標を算出した後に、2点の3次元座標算出であることから地物が長尺であると判定し、地物の名称の候補を長尺の地物に限定して表示部108に表示させてもよい。これにより、オペレータは、測量した地物の名称を正しく、且つ簡便な操作で入力することができ、測量実施後の地図作成に掛かる労力を軽減することができる。
The map
<オドメトリを用いた演算処理>
図14は、測量車の車輪の車軸に取り付けられる回転検出用円板の構成図である。回転検出用円板の板面上であって第1の半径の円周上には、高速回転検出用マークM1が配置される。また、回転検出用円板の板面上であって第1の半径と異なる第2の半径の円周上には、低速回転検出用マークM2が配置される。高速回転検出用マークM1は、円周上にN1箇所設けられる。同図の例では、高速回転検出用マークM1は、円周上の回転角0°〜90°の範囲と、180°〜270°の範囲の2箇所に設けられている。また、低速回転検出用マークM2は、円周上にN2箇所設けられる。但し、N2>N1である。同図の例では、低速回転検出用マークM2は、10°置きに36箇所に設けられている。更に、高速回転検出用マークM1の円周上の1箇所には、回転方向検出用マークM3が配置される。高速回転検出用マークM1、低速回転検出用マークM2、及び回転方向検出用マークM3は、例えば鉄板等の磁性材料により構成される。この回転検出用円板の取付位置は、測量車の車輪の車軸のうち特に車輪の内面側とすることが好ましい。これにより、回転検出用円板が道路の障害物に当たって損傷してしまうことを防止することができる。
<Operation processing using odometry>
FIG. 14 is a configuration diagram of a rotation detecting disk attached to the wheel axle of the surveying vehicle. A high-speed rotation detection mark M1 is disposed on the surface of the rotation detection disk and on the circumference of the first radius. Further, a low-speed rotation detection mark M2 is arranged on the surface of the rotation detection disk and on the circumference of a second radius different from the first radius. The high-speed rotation detection mark M1 is provided at N1 locations on the circumference. In the example of the figure, the high-speed rotation detection marks M1 are provided at two locations on the circumference, a range of rotation angles of 0 ° to 90 ° and a range of 180 ° to 270 °. The low-speed rotation detection mark M2 is provided at N2 locations on the circumference. However, N2> N1. In the example shown in the drawing, the low-speed rotation detection marks M2 are provided at 36 positions every 10 °. Further, a rotation direction detection mark M3 is arranged at one place on the circumference of the high speed rotation detection mark M1. The high-speed rotation detection mark M1, the low-speed rotation detection mark M2, and the rotation direction detection mark M3 are made of a magnetic material such as an iron plate, for example. The mounting position of the rotation detecting disk is preferably on the inner surface side of the wheel of the wheel of the surveying vehicle. As a result, it is possible to prevent the rotation detecting disk from hitting an obstacle on the road and being damaged.
車軸回転センサ205は、車両の回転に伴う高速回転検出用マークM1及び低速回転検出用マークM2の変位による磁界の変動を検出する。例えば、車軸回転センサ205が高速回転検出用マークM1又は低速回転検出用マークM2に相対した状態(マークM1又はM2を車軸回転センサ205が読み取った場合)では、大きい磁界が検出され、車軸回転センサ205が高速回転検出用マークM1又は低速回転検出用マークM2の円周上に並んだ各マーク間に相対した状態(マークの無い部分を車軸回転センサ205が読み取った場合)では、小さい磁界が検出される。この時、高速回転検出用マークM1による磁界変動の周期は、低速回転検出用マークM2による磁界変動の周期よりも長い。
The
オドメトリ演算部110は、低速回転検出用マークM2による磁界変動の周期が予め定められた周期よりも長い場合、即ち測量車の車速が低速の場合には、低速回転検出用マークM2による磁界変動の周期に基づいて、速度を演算する。また、オドメトリ演算部110は、低速回転検出用マークM2による磁界変動の周期が予め定められた周期よりも短い場合、即ち測量車の車速が高速の場合には、高速回転検出用マークM1による磁界変動の周期に基づいて、速度を演算する。これにより、低速から高速までの広い速度範囲に亘って、精度良く測量車の車速を計測することができる。オドメトリ演算部110は、計測した車速に基づいて測量車の位置を検出することができる。この位置情報は、GPS受信機202からのGPSデータや無線通信部107からの位置情報の代わりに、又はそれらと共に、地物の3次元座標の計算に用いることができる。
The odometry calculation unit 110 performs the magnetic field fluctuation caused by the low-speed rotation detection mark M2 when the period of the magnetic field fluctuation caused by the low-speed rotation detection mark M2 is longer than a predetermined period, that is, when the vehicle speed of the surveying vehicle is low. Based on the period, the speed is calculated. Further, the odometry calculating unit 110, when the period of the magnetic field fluctuation by the low speed rotation detection mark M2 is shorter than a predetermined period, that is, when the vehicle speed of the surveying vehicle is high, the magnetic field by the high speed rotation detection mark M1. The speed is calculated based on the fluctuation period. As a result, the vehicle speed of the surveying vehicle can be accurately measured over a wide speed range from low speed to high speed. The odometry calculation unit 110 can detect the position of the surveying vehicle based on the measured vehicle speed. This position information can be used to calculate the three-dimensional coordinates of the feature instead of, or together with, the GPS data from the GPS receiver 202 and the position information from the
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to this, A various change is possible within the range which does not deviate from the summary.
1 車載測量システム
10 コンピュータ
101 位置・姿勢算出部
102 姿勢補正部
103 地物座標算出部
104 記憶部
105 1次キャリブレーション部
106 2次キャリブレーション部
107 オドメトリ演算部
108 無線通信部
109 表示部
110 操作部
111 走行ガイダンス部
112 機器状態監視部
113 地図作成支援部
201 GPSアンテナ
202 GPS受信機
203 姿勢計測器
204A,204B,204C カメラ
205 車軸回転センサ
206 LED
207 同期管理装置
DESCRIPTION OF
207 Synchronization management device
Claims (8)
前記車両の位置情報を取得する位置情報取得手段と、
前記車両の姿勢情報を取得する姿勢情報取得手段と、
測量対象である地物を撮像する3台のカメラと、
前記カメラと前記車両との相対位置情報及び相対姿勢情報並びに前記カメラの撮像範囲情報を記憶する記憶手段と、
前記位置情報、前記姿勢情報、前記相対位置情報、前記相対姿勢情報、前記撮像範囲情報、及び前記カメラにより撮像した撮像画像に基づいて、前記地物を通る視線ラインを前記各カメラについて特定し、1台の前記カメラによる撮像画像における、前記地物と他の2台の前記カメラの視線ラインとの位置関係に基づいて、前記地物の3次元座標を算出する地物座標算出手段と、
を備え、
前記地物座標算出手段は、前記1台のカメラによる撮像画像において前記地物を前記他の2台のカメラの視線ラインが通るか否かに応じて選択した2つの視線ラインの交点を、前記地物の3次元座標として算出する、
車載測量システム。 An in-vehicle surveying system that is installed in a vehicle and performs surveying,
Position information acquisition means for acquiring position information of the vehicle;
Attitude information acquisition means for acquiring the vehicle attitude information;
Three cameras that image the features being surveyed;
Storage means for storing relative position information and relative attitude information between the camera and the vehicle, and imaging range information of the camera;
Based on the position information, the posture information, the relative position information, the relative posture information, the imaging range information, and a captured image captured by the camera, a line of sight passing through the feature is identified for each camera. Feature coordinate calculation means for calculating the three-dimensional coordinates of the feature based on the positional relationship between the feature and the line of sight of the other two cameras in an image captured by one camera;
Equipped with a,
The feature coordinate calculation means is configured to calculate an intersection of two line-of-sight lines selected according to whether or not the line-of-sight lines of the other two cameras pass through the feature in an image captured by the one camera. Calculate as 3D coordinates of features,
In-vehicle survey system.
前記カメラの撮像画像から前記発光手段の点灯が写り込んだフレームを抽出し、抽出したフレームの撮像時刻を前記発光手段の点灯時刻に基づいて特定する同期管理手段と、
を備える、請求項1から請求項4のいずれか1項に記載の車載測量システム。 Light emitting means for lighting for a period T1 × n−T2 or shorter than the period T2 different from an integer multiple T1 × n of the frame period T1 of the camera;
A synchronization management unit that extracts a frame in which lighting of the light emitting unit is reflected from a captured image of the camera, and specifies an imaging time of the extracted frame based on a lighting time of the light emitting unit;
The vehicle-mounted survey system according to any one of claims 1 to 4 , further comprising:
前記第1マーク及び前記第2マークの変位を検出するセンサと、
前記センサによって検出された前記第1マーク及び前記第2マークの変位に基づいて前記測量車の速度を算出するオドメトリ演算手段と、
を備える、請求項1から請求項7のいずれか1項に記載の車載測量システム。 A rotary plate having a first mark arranged at a first period on the circumference and a second mark arranged at a second period on the circumference, and attached to the inner surface side of the wheel of the surveying vehicle;
A sensor for detecting displacement of the first mark and the second mark;
Odometry calculating means for calculating the speed of the survey vehicle based on the displacement of the first mark and the second mark detected by the sensor;
The comprising, vehicle surveying system according to any one of claims 1 to 7.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114462A JP5122693B1 (en) | 2012-05-18 | 2012-05-18 | In-vehicle survey system |
PCT/JP2012/065563 WO2013171912A1 (en) | 2012-05-18 | 2012-06-19 | Vehicle-mounted surveying system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114462A JP5122693B1 (en) | 2012-05-18 | 2012-05-18 | In-vehicle survey system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5122693B1 true JP5122693B1 (en) | 2013-01-16 |
JP2013242186A JP2013242186A (en) | 2013-12-05 |
Family
ID=47692879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012114462A Expired - Fee Related JP5122693B1 (en) | 2012-05-18 | 2012-05-18 | In-vehicle survey system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5122693B1 (en) |
WO (1) | WO2013171912A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020506388A (en) * | 2017-02-02 | 2020-02-27 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | Method and apparatus for updating a digital map |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057108A (en) * | 2014-09-08 | 2016-04-21 | 株式会社トプコン | Arithmetic device, arithmetic system, arithmetic method and program |
JP6994879B2 (en) * | 2017-09-20 | 2022-02-04 | 株式会社トプコン | Surveying system |
JP7142280B2 (en) * | 2017-10-30 | 2022-09-27 | 株式会社フジタ | Condition evaluation device for inspection objects |
WO2021240670A1 (en) * | 2020-05-27 | 2021-12-02 | 日本電気株式会社 | Anomaly detection system, anomaly detection device, anomaly detection method, and computer-readable medium |
WO2024009749A1 (en) * | 2022-07-05 | 2024-01-11 | ソニーグループ株式会社 | Signal processing apparatus, signal processing method, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01165913A (en) * | 1987-12-23 | 1989-06-29 | Hitachi Ltd | Apparatus for measuring three-dimensional positions of a plurality of objects |
JPH04191607A (en) * | 1990-11-26 | 1992-07-09 | Toshiba Corp | Three-dimensional measuring method |
JPH07287764A (en) * | 1995-05-08 | 1995-10-31 | Omron Corp | Stereoscopic method and solid recognition device using the method |
JP2001004647A (en) * | 1999-06-17 | 2001-01-12 | Nippon Signal Co Ltd:The | Rotational speed detector |
JP2004138556A (en) * | 2002-10-18 | 2004-05-13 | Kumamoto Technology & Industry Foundation | Car-navigation system |
JP2005062083A (en) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | Survey system having function of position error correction |
-
2012
- 2012-05-18 JP JP2012114462A patent/JP5122693B1/en not_active Expired - Fee Related
- 2012-06-19 WO PCT/JP2012/065563 patent/WO2013171912A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01165913A (en) * | 1987-12-23 | 1989-06-29 | Hitachi Ltd | Apparatus for measuring three-dimensional positions of a plurality of objects |
JPH04191607A (en) * | 1990-11-26 | 1992-07-09 | Toshiba Corp | Three-dimensional measuring method |
JPH07287764A (en) * | 1995-05-08 | 1995-10-31 | Omron Corp | Stereoscopic method and solid recognition device using the method |
JP2001004647A (en) * | 1999-06-17 | 2001-01-12 | Nippon Signal Co Ltd:The | Rotational speed detector |
JP2004138556A (en) * | 2002-10-18 | 2004-05-13 | Kumamoto Technology & Industry Foundation | Car-navigation system |
JP2005062083A (en) * | 2003-08-19 | 2005-03-10 | Komatsu Engineering Corp | Survey system having function of position error correction |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020506388A (en) * | 2017-02-02 | 2020-02-27 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | Method and apparatus for updating a digital map |
Also Published As
Publication number | Publication date |
---|---|
JP2013242186A (en) | 2013-12-05 |
WO2013171912A1 (en) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11865708B2 (en) | Domestic robotic system | |
JP5122693B1 (en) | In-vehicle survey system | |
EP3637371B1 (en) | Map data correcting method and device | |
US8239131B2 (en) | Navigation device, navigation method, and navigation program | |
JP5227110B2 (en) | Omnidirectional camera with GPS and spatial data collection device | |
JP4600357B2 (en) | Positioning device | |
JP6854164B2 (en) | Survey data processing device, survey data processing method, survey data processing system and survey data processing program | |
US20150116693A1 (en) | Three-Dimensional Measuring Method And Surveying System | |
WO2010004911A1 (en) | Train-of-vehicle travel support device | |
WO2010117297A1 (en) | Method for determining the position and orientation of a vehicle trailer and a device for carrying out said method | |
WO2020146102A1 (en) | Robust lane association by projecting 2-d image into 3-d world using map information | |
JP6930840B2 (en) | Surveying system | |
JP6758160B2 (en) | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection | |
EP3765820B1 (en) | Positioning method and positioning apparatus | |
KR20130067851A (en) | Apparatus and method for recognizing position of vehicle | |
JP7050425B2 (en) | Surveying system | |
JP2012010036A (en) | Camera calibration system, and measuring vehicle and roadside device for the same | |
JP5716273B2 (en) | Search target position specifying device, search target position specifying method and program | |
JP2017227463A (en) | Position and attitude determination device | |
RU2571300C2 (en) | Method for remote determination of absolute azimuth of target point | |
JP2018084492A (en) | Self-position estimation method and self-position estimation device | |
WO2019093316A1 (en) | Moving body positioning device, and calibration method therefor | |
JP2008070236A (en) | Mobile robot and remote operation system | |
JP7401192B2 (en) | Vehicle position presentation system, onboard equipment used therein, vehicle position presentation method, and program for vehicle position presentation | |
KR101348801B1 (en) | System of image processing based on gis for editing changed land scope with image composition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |