WO2019012751A1 - データ間引き装置、測量装置、測量システム及びデータ間引き方法 - Google Patents

データ間引き装置、測量装置、測量システム及びデータ間引き方法 Download PDF

Info

Publication number
WO2019012751A1
WO2019012751A1 PCT/JP2018/012928 JP2018012928W WO2019012751A1 WO 2019012751 A1 WO2019012751 A1 WO 2019012751A1 JP 2018012928 W JP2018012928 W JP 2018012928W WO 2019012751 A1 WO2019012751 A1 WO 2019012751A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
point
data
points
unit
Prior art date
Application number
PCT/JP2018/012928
Other languages
English (en)
French (fr)
Inventor
百代 日野
秀明 前原
謙二 平
純雄 加藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201880045516.4A priority Critical patent/CN110869699A/zh
Priority to EP18831115.3A priority patent/EP3637048A4/en
Priority to US16/623,116 priority patent/US20200116482A1/en
Publication of WO2019012751A1 publication Critical patent/WO2019012751A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced

Definitions

  • the present invention relates to a data thinning apparatus, a surveying apparatus, a surveying system, and a data thinning method for thinning out data used in attitude estimation of a mobile body.
  • a distance measuring device and a camera are mounted on a moving object, and the absolute position of each distance measuring point is obtained using the measurement result and the attitude of the moving object.
  • the posture of the moving object is acquired by an IMU (Inertial Measurement Unit).
  • the IMU is a very expensive and relatively heavy device, which limits the types of mobiles that can be loaded with the IMU.
  • a navigation apparatus has been proposed which accurately estimates the attitude of a moving object without using an IMU and a stabilizer (see, for example, Patent Document 1).
  • Patent Document 1 proposes a navigation apparatus that accurately estimates the attitude of a moving object without using an IMU and a stabilizer. Specifically, the attitude of the moving object is calculated by bundle calculation using the data on the distance measurement points and the template matching result between the plurality of images.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a data thinning apparatus capable of thinning out data used in attitude estimation of a moving object.
  • the data thinning apparatus is measured by the distances and angles to a plurality of distance measuring points measured using laser light by the distance measuring device mounted on the moving body and the coordinate measuring device mounted on the moving body From the data on the distance measuring point indicating the coordinates of the irradiation reference point of the laser light and the attitude angle of the moving object, the distance measuring points are periodically taken by the imaging device mounted on the moving object for each distance measuring point.
  • a coordinate calculation unit that calculates coordinates on a corresponding image among a plurality of images obtained by capturing an area including the image, a feature point extraction unit that extracts feature points for each image, and for each distance measurement point
  • a distance calculation unit for calculating a distance from a coordinate calculated by the coordinate calculation unit to a feature point close in distance among the feature points extracted by the feature point extraction unit in the corresponding image; From the results, the data on ranging points Characterized by comprising a necessity determining unit to remove unwanted data.
  • FIGS. 2A to 2D schematically show the positional relationship between the distance measuring device, the left camera and the right camera according to Embodiment 1 of the present invention, and FIG. 2A is mounted with the distance measuring device, the left camera and the right camera.
  • 2B is a view of the aircraft viewed from the X-axis direction
  • FIG. 2C is a view of the aircraft viewed from the Z-axis direction
  • FIG. 2D is a view of the aircraft from the Y-axis direction.
  • FIG. It is a block diagram which shows the function structural example of the data thinning-out apparatus based on Embodiment 1 of this invention.
  • FIGS. 4A and 4B are block diagrams showing an example of the hardware configuration of the data thinning apparatus according to Embodiment 1 of the present invention. It is a flowchart which shows the operation example of the data thinning-out apparatus based on Embodiment 1 of this invention.
  • FIG. 1 is a block diagram showing a configuration example of a surveying system 1 according to Embodiment 1 of the present invention.
  • the survey system 1 surveys the topography.
  • the surveying system 1 includes a distance measuring device 11, a left camera 12, a right camera 13, a GNSS device (coordinate measuring device) 14, a memory card (storage device) 15, a data thinning device 16 and a navigation device. It has seventeen.
  • the distance measuring device 11, the left camera 12, the right camera 13, the GNSS device 14, and the memory card 15 are mounted on an aircraft (mobile body) 2.
  • the aircraft 2 only needs to be capable of flying with the distance measuring device 11, the left camera 12, the right camera 13, the GNSS device 14 and the memory card 15, may be an aircraft operated by a pilot, or may be a UAV (Unmanned Aerial Vehicle) . Further, the attitude of the aircraft 2 is specified by three parameters of a roll angle ⁇ , a pitch angle ⁇ , and a yaw angle ⁇ , which are attitude angles in the rolling direction, the pitching direction, and the yawing direction of the aircraft 2.
  • a roll angle ⁇ a pitch angle ⁇
  • a yaw angle ⁇ which are attitude angles in the rolling direction, the pitching direction, and the yawing direction of the aircraft 2.
  • the distance measuring apparatus 11 transmits and receives laser light to the ground surface while changing the irradiation angle ⁇ of the laser light while the aircraft 2 is flying, so that the distance from the irradiation reference point of the laser light to the distance measurement point P Measure the distance l. Then, the distance measuring device 11 outputs, to the memory card 15, distance data indicating the distance 1 and angle data indicating the irradiation angle ⁇ of the laser light for which the distance 1 is obtained, for each distance measuring point P.
  • the left camera 12 and the right camera 13 capture an area (ground surface) including the distance measuring point P of the distance measuring device 11 while the aircraft 2 is flying.
  • a control device (not shown) for controlling the left camera 12 and the right camera 13 is connected to the left camera 12 and the right camera 13.
  • the control device instructs the left camera 12 and the right camera 13 to perform photographing of the ground surface in a predetermined cycle (for example, every one second).
  • the control device outputs, to the memory card 15, image data in which an image obtained by shooting with the left camera 12 and the right camera 13 is associated with shooting date and time.
  • the left camera 12, the right camera 13 and the control device constitute an imaging device.
  • FIG. 2 schematically shows the positional relationship between the distance measuring device 11, the left camera 12 and the right camera 13.
  • the present invention is not limited to this, and only one camera may be used.
  • the GNSS device 14 measures the three-dimensional coordinates (X 0 , Y 0 , Z 0 ) of the irradiation reference point of the laser light in the distance measuring device 11 at a predetermined cycle. Then, the GNSS device 14 outputs, to the memory card 15, coordinate data indicating the three-dimensional coordinates (X 0 , Y 0 , Z 0 ) of the irradiation reference point of the laser light. For example, the GNSS device 14 measures the three-dimensional coordinates (X 0 , Y 0 , Z 0 ) of the irradiation reference point of the laser light in synchronization with the imaging by the left camera 12 and the right camera 13.
  • the difference in position between the GNSS device 14 and the irradiation reference point is assumed to be within the allowable range for the measurement accuracy of the GNSS device 14. That is, the GNSS device 14 is at the same position as the irradiation reference point. Furthermore, the position of the irradiation reference point has the same meaning as the position of the aircraft 2.
  • the memory card 15 stores the distance data and angle data output by the distance measuring device 11, the image data output by the imaging device, and the coordinate data output by the GNSS device 14.
  • the memory card 15 for example, an SD (Secure Digital) memory card can be used.
  • the data thinning device 16 uses the data stored in the memory card 15 and the attitude angles ( ⁇ , ⁇ ,)) of the aircraft 2 set by the navigation device 17 to obtain data unnecessary for the attitude estimation of the mobile body from the above data. Thin out. Then, the data thinning device 16 outputs the data obtained by thinning unnecessary data to the navigation device 17.
  • FIG. 1 shows the case where the data thinning device 16 is provided outside the aircraft 2, the present invention is not limited to this, and the data thinning device 16 may be mounted on the aircraft 2. An exemplary configuration of the data thinning device 16 will be described later.
  • the navigation device 17 estimates the attitude of the aircraft 2 using the data output by the data thinning device 16 and sets the attitude angles ( ⁇ , ⁇ ,)) of the aircraft 2.
  • the attitude angles ( ⁇ , ⁇ ,)) of the aircraft 2 are initially set to initial values.
  • the navigation apparatus 17 can use the existing thing (for example, patent document 1), and description is abbreviate
  • FIG. 1 shows the case where the navigation device 17 is provided outside the aircraft 2, the present invention is not limited to this, and the navigation device 17 may be mounted on the aircraft 2.
  • the data thinning device 16 and the navigation device 17 constitute a surveying device.
  • the data thinning device 16 and the navigation device 17 may be mounted on the same hardware, and the hardware may realize the functions of both the data thinning device 16 and the navigation device 17.
  • the data thinning apparatus 16 includes a coordinate calculation unit 161, a feature point extraction unit 162, a distance calculation unit 163, an edge determination unit 164, a vegetation determination unit 165, and a necessity determination unit 166.
  • the coordinate calculation unit 161 sets each distance measuring point P from data (distance data, angle data and coordinate data) regarding the plurality of distance measuring points P read from the memory card 15 and the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2. Then, coordinates (x L , y L ) on the corresponding image among the images included in the plurality of image data read out from the memory card 15 are calculated.
  • the image corresponding to the distance measurement point P is an image obtained by photographing at a time near (usually the closest) the irradiation time of the laser light to the distance measurement point P.
  • the attitude angles ( ⁇ , ⁇ ,)) of the aircraft 2 use the latest values set by the navigation device 17.
  • the coordinate calculation unit 161 first determines the three-dimensional coordinates of the distance measurement point P for each distance measurement point P from the distance data, angle data, coordinate data, and the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2 Calculate X, Y, Z). Then, the coordinate calculation unit 161 calculates projection center coordinates (X L , Y L , Z) of the left camera 12 and the right camera 13 that have captured the corresponding image from the coordinate data and the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2. Calculate L ).
  • the coordinate calculation unit 161 determines the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2, the three-dimensional coordinates (X, Y, Z) of each distance measurement point P, and the left camera 12 and the right that captured each image. From the projection center coordinates (X L , Y L , Z L ) of the camera 13, coordinates (x L , y L ) on the corresponding image are calculated for each of the distance measurement points P.
  • the coordinates (x L , y L ) are coordinates in the case where it is assumed that the attitude angles ( ⁇ , ⁇ ,)) completely coincide with the actual attitude of the aircraft 2.
  • the feature point extraction unit 162 extracts a feature point for each image included in the plurality of image data read from the memory card 15. Note that FIG. 3 shows the case where the feature point extraction unit 162 acquires the image data from the memory card 15 via the coordinate calculation unit 161. For extraction of feature points by the feature point extraction unit 162, features that do not depend on rotation-scale conversion such as Scale-Invariant Feature Transform (SIFT) or SURF are used.
  • SIFT Scale-Invariant Feature Transform
  • SURF SURF
  • the distance calculation unit 163 calculates the feature points extracted by the feature point extraction unit 162 from the coordinates (x L , y L ) calculated by the coordinate calculation unit 161 in the corresponding image for each of the distance measurement points P. Calculate the distance to the closest (usually the closest) feature point out of them. Note that FIG. 3 shows a case where the distance calculation unit 163 acquires data indicating the coordinates (x L , y L ) from the coordinate calculation unit 161 via the feature point extraction unit 162.
  • the edge determination unit 164 is a point at which the coordinates (x L , y L ) calculated by the coordinate calculation unit 161 in the corresponding image are observed at the edge portion of the object (building or the like) for each of the distance measuring points P Determine if it is. At this time, for example, the edge determination unit 164 calculates an edge intensity at the coordinates (x L , y L ) from temporal continuity of the coordinates (x L , y L ) of the distance measurement point P.
  • the vegetation determination unit 165 determines, for each of the distance measurement points P, whether or not the coordinates (x L , y L ) calculated by the coordinate calculation unit 161 in the corresponding image are points at which vegetation was observed. At this time, for example, the vegetation determination unit 165 calculates the probability that the coordinate (x L , y L ) is a point at which vegetation is observed from the reflection luminance at the coordinate (x L , y L ) of the distance measurement point P Do.
  • the necessity determination unit 166 is data (distance data, angle data) regarding the distance measuring point P read from the memory card 15 from the calculation result by the distance calculation unit 163, the determination result by the edge determination unit 164 and the determination result by the vegetation determination unit 165 And thinning out unnecessary data of the coordinate data).
  • the necessity determination unit 166 determines the necessity for each of the distance measurement points P from the calculation result by the distance calculation unit 163, the determination result by the edge determination unit 164 and the determination result by the vegetation determination unit 165. Calculate the evaluation value.
  • the necessity determination unit 166 divides the image so as to follow the preset number of thinning points, and selects, for each of the divided areas, a distance measurement point P having a low (usually the lowest) evaluation value calculated. .
  • the necessity determination unit 166 determines that the data related to the selected distance measuring point P is necessary data, and the data related to the non-selected distance measuring point P is regarded as unnecessary data and deletes it.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the data thinning device 16.
  • Each function of the coordinate calculation unit 161, the feature point extraction unit 162, the distance calculation unit 163, the edge determination unit 164, the vegetation determination unit 165, and the necessity determination unit 166 in the data thinning device 16 is realized by the processing circuit 51.
  • a CPU Central Processing Unit, central processing unit, processing device
  • a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor) 52 is a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor) 52.
  • DSP Digital Signal Processor
  • the processing circuit 51 may be, for example, a single circuit, a complex circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit (ASIC), an FPGA (field programmable gate) Array) or a combination thereof.
  • the processing circuit 51 may realize each of the functions of the coordinate calculation unit 161, the feature point extraction unit 162, the distance calculation unit 163, the edge determination unit 164, the vegetation determination unit 165, and the necessity determination unit 166.
  • the functions may be integrated and realized by the processing circuit 51.
  • the processing circuit 51 When the processing circuit 51 is the CPU 52, the functions of the coordinate calculation unit 161, the feature point extraction unit 162, the distance calculation unit 163, the edge determination unit 164, the vegetation determination unit 165, and the necessity determination unit 166 are software, firmware, or software It is realized by the combination with the firmware. Software and firmware are described as a program and stored in the memory 53.
  • the processing circuit 51 reads out and executes the program stored in the memory 53 to realize the function of each part. That is, the data thinning-out apparatus 16 includes a memory 53 for storing a program which, when executed by the processing circuit 51, results in the steps shown in FIG. 5 being executed.
  • the memory 53 is, for example, a nonvolatile or volatile semiconductor memory such as a random access memory (RAM), a read only memory (ROM), a flash memory, an EPROM (erasable programmable ROM), an EEPROM (electrically EPROM), etc. And magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Disc), etc.
  • RAM random access memory
  • ROM read only memory
  • EEPROM electrically EPROM
  • magnetic disks flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Disc), etc.
  • the functions of the coordinate calculation unit 161, the feature point extraction unit 162, the distance calculation unit 163, the edge determination unit 164, the vegetation determination unit 165, and the necessity determination unit 166 are partially realized by dedicated hardware.
  • the units may be realized by software or firmware.
  • the function of the coordinate calculation unit 161 is realized by the processing circuit 51 as dedicated hardware, and the feature point extraction unit 162, the distance calculation unit 163, the edge determination unit 164, the vegetation determination unit 165, and the necessity determination unit 166.
  • the processing circuit 51 it is possible for the processing circuit 51 to realize the function by reading and executing the program stored in the memory 53.
  • the processing circuit 51 can implement the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 5 shows a series of processes from the data thinning device 16 to acquiring data from the memory card 15 mounted on the aircraft 2 in flight and passing the data to the navigation device 17. Moreover, below, the case where only one camera (left camera 12) is used is shown.
  • the coordinate calculation unit 161 reads data (distance data, angle data and coordinate data) regarding the distance measuring point P read from the memory card 15 and From the attitude angles ( ⁇ , ⁇ ,)), the coordinates (x L , y L ) on the image corresponding to the distance measuring point P among the images contained in the plurality of image data read from the memory card 15 are calculated To do (step ST41).
  • the coordinate calculation unit 161 determines three-dimensional coordinates of the distance measurement point P according to the following equation (1) from the distance data, angle data, coordinate data and the attitude angle ( ⁇ , ⁇ ,,) of the aircraft 2 Calculate X, Y, Z).
  • Rt is an element of a 3 ⁇ 3 rotation matrix that represents the inclination of the distance measuring device 11 and the left camera 12 according to the attitude of the aircraft 2. This Rt is expressed by the following equation (2) using the attitude angles ( ⁇ (t), ⁇ (t), ⁇ (t)) of the aircraft 2 at time t.
  • the coordinate calculation unit 161 calculates the projection center of the left camera 12 that has captured the image corresponding to the distance measurement point P according to the following equation (3) from the coordinate data and the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2 Coordinates (X L , Y L , Z L ) are calculated.
  • R imgt is a rotation matrix calculated from the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2 at the photographing time closest to the irradiation time of the laser light to the distance measurement point P.
  • the coordinate calculation unit 161 determines the attitude angle ( ⁇ , ⁇ ,)) of the aircraft 2, the three-dimensional coordinates (X, Y, Z) of the distance measurement point P, and the image corresponding to the distance measurement point P. From the projection center coordinates (X L , Y L , Z L ) of the left camera 12 taken, the coordinates (x L , y L ) of the distance measurement point P on the corresponding image are calculated according to the following equation (4) .
  • equation c is the focal length of the left camera 12.
  • U L , V L and W L in the formula (4) are represented by the following formula (5)
  • b 11 to b 33 in the formula (5) are represented by the following formula (6).
  • the coordinate calculation unit 161 performs the above process on all of the distance measurement points P.
  • the feature point extraction unit 162 extracts feature points from the image included in the image data read from the memory card 15 (step ST42). At this time, in order to shorten the processing time, the feature point extraction unit 162 may perform the feature point extraction processing after reducing the input image to about 1 ⁇ 4. The feature point extraction unit 162 performs the above process on an image included in all image data.
  • the distance calculation unit 163 selects one of the feature points extracted by the feature point extraction unit 162 from the coordinates (x L , y L ) calculated by the coordinate calculation unit 161. The distance to the closest feature point is calculated (step ST43). The distance calculation unit 163 performs the above-described process on all the distance measurement points P.
  • the edge determination unit 164 sets the coordinates (x L , y L ) of the distance measurement point P calculated by the coordinate calculation unit 161 to the edge portion of the object (building or the like). It is determined whether it is an observed point (step ST44). At this time, for example, the edge determination unit 164 calculates the steepness (edge strength) of the change of the distance measurement value around the coordinates (x L , y L ) of the distance measurement point P by the central difference or the Sobel operator. . Further, the edge determination unit 164 may calculate the edge strength by detecting an edge portion from an image. The edge determination unit 164 performs the above-described process on all of the distance measurement points P.
  • the vegetation determination unit 165 determines whether or not the coordinates (x L , y L ) calculated by the coordinate calculation unit 161 in the image corresponding to the distance measurement point P are the points at which the vegetation was observed (step ST45) ). At this time, for example, when the reflection luminance at the coordinates (x L , y L ) of the distance measurement point P is less than the threshold, the vegetation determination unit 165 determines that the probability is 1 (vegetation) and is more than the threshold In the case, assume probability 0 (not vegetation). The vegetation determination unit 165 performs the above-described process on all the distance measurement points P.
  • the necessity determination unit 166 calculates an evaluation value for determining the necessity of the distance measurement point P from the calculation result by the distance calculation unit 163, the determination result by the edge determination unit 164 and the determination result by the vegetation determination unit 165. To do (step ST46). At this time, the necessity determination unit 166 uses a weighted sum of the distance calculated by the distance calculation unit 163, the edge strength determined by the edge determination unit 164, and the probability of being a vegetation determined by the vegetation determination unit 165. , The above evaluation value is calculated. The necessity determination unit 166 performs the above-described process on all the distance measurement points P.
  • the necessity determination unit 166 divides the image so as to follow the preset thinning points, and selects, for each of the divided areas, the ranging point P having the lowest evaluation value calculated (step ST47).
  • the necessity determination unit 166 regards the data related to the selected distance measuring point P as necessary data, and deletes the data related to the non-selected distance measuring point P as unnecessary data (step ST48). That is, since the characteristic point in the image is useful for the survey of the terrain, the necessity determination unit 166 regards the data regarding the distance measurement point P far from the characteristic point as unnecessary data. In addition, since the distance measurement value by the distance measuring device 11 is not stable at the edge portion of the object, the necessity determination unit 166 regards data regarding the distance measurement point P having high edge strength as unnecessary data. In the vegetation area, the distance measuring device 11 measures the distance to the ground because the laser light passes through the leaves of the tree, but since the left camera 12 shoots trees, it can not observe the same point. Therefore, the necessity determination unit 166 regards data on the ranging point P having a high probability of being a point at which vegetation is observed as unnecessary data.
  • the present invention is not limited to this, and the data thinning apparatus 16 may be provided with one or more of the distance calculation unit 163, the edge determination unit 164, and the vegetation determination unit 165.
  • the order of importance is, in descending order, distance calculation unit 163, edge determination unit 164, and vegetation determination unit 165.
  • the distance and angle to the plurality of distance measurement points P measured by using the laser light by the distance measurement device 11 mounted on the aircraft 2 and the distance 2 are mounted on the aircraft 2 Mounted on the aircraft 2 at each distance measuring point P from the data on the distance measuring point P indicating the coordinates of the irradiation reference point of the laser light measured by the GNSS device 14 and the attitude angle of the aircraft 2
  • a coordinate calculation unit 161 which calculates coordinates on a corresponding image among a plurality of images obtained by periodically photographing an area including the distance measurement point P by the cameras 12 and 13, and a feature point for each image Of the feature points extracted by the feature point extracting unit 162 from the coordinates calculated by the coordinate calculating unit 161 in the corresponding image for each of the distance measuring points P and the feature point extracting unit 162 that extracts the Calculate the distance to the feature point And release calculation unit 163, from the calculation result of the distance calculation unit 163, and a necessity determining unit 166 to delete unnecessary data among the data relating to the
  • the data thinning device 16 can output data to the navigation device 17 in the subsequent stage after removing data related to the distance measurement point p that may deteriorate the measurement accuracy. Thereby, the attitude estimation accuracy of the aircraft 2 in the navigation device 17 can be improved. In addition, the calculation speed of the navigation apparatus 17 can be improved by thinning out the extra distance measurement points p.
  • the data thinning apparatus according to the present invention is suitable for use in pose estimation of a moving object because it is possible to thin out data used in pose estimation of the moving object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

複数の測距点（Ｐ）までの距離及び角度と、レーザ光の照射基準点の座標とを示す測距点（Ｐ）に関するデータ、及び、航空機（２）の姿勢角から、測距点（Ｐ）毎に、複数の画像のうちの対応する画像上での座標を計算する座標計算部（１６１）と、画像毎に、特徴点を抽出する特徴点抽出部（１６２）と、測距点（Ｐ）毎に、対応する画像において、座標計算部（１６１）により計算された座標から、特徴点抽出部（１６２）により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部（１６３）と、距離計算部（１６３）による計算結果から、測距点（Ｐ）に関するデータのうちの不要なデータを削除する要否判定部（１６６）を備えた。

Description

データ間引き装置、測量装置、測量システム及びデータ間引き方法
　この発明は、移動体の姿勢推定で用いるデータを間引くデータ間引き装置、測量装置、測量システム及びデータ間引き方法に関する。
　測量システムでは、移動体に測距装置及びカメラを搭載し、計測結果及び移動体の姿勢を用いて各測距点の絶対位置を得ている。この際、移動体の姿勢は、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）により取得される。
　しかしながら、ＩＭＵは、非常に高価且つ比較的重い装置であり、ＩＭＵを搭載可能な移動体の種類が限定されてしまう。この課題を解決するため、ＩＭＵ及びスタビライザを搭載しない構成で移動体の姿勢を精度よく推定する航法装置が提案されている（例えば特許文献１参照）。
特許第６０２９７９４号
　特許文献１では、ＩＭＵ及びスタビライザを搭載しない構成で移動体の姿勢を精度よく推定する航法装置が提案されている。具体的には、測距点に関するデータと複数の画像間とのテンプレートマッチング結果を用い、バンドル計算により、移動体の姿勢を計算している。
　しかしながら、この航法装置では、レーザ光の照射点数が多い程バンドル計算の計算量が多くなり、処理時間がかかり、また、測距点によっては姿勢の推定精度が低下するという課題がある。
　この発明は、上記のような課題を解決するためになされたもので、移動体の姿勢推定で用いるデータを間引くことが可能なデータ間引き装置を提供することを目的としている。
　この発明に係るデータ間引き装置は、移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、移動体に搭載された座標測定装置により測定されたレーザ光の照射基準点の座標とを示す測距点に関するデータ、及び、移動体の姿勢角から、測距点毎に、移動体に搭載された撮影装置により周期的に測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、画像毎に、特徴点を抽出する特徴点抽出部と、測距点毎に、対応する画像において、座標計算部により計算された座標から、特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と、距離計算部による計算結果から、測距点に関するデータのうちの不要なデータを削除する要否判定部とを備えたことを特徴とする。
　この発明によれば、上記のように構成したので、移動体の姿勢推定で用いるデータを間引くことが可能である。
この発明の実施の形態１に係る測量システムの構成例を示すブロック図である。 図２Ａ～図２Ｄは、この発明の実施の形態１における測距装置、左カメラ及び右カメラの位置関係を模式的に示す図であり、図２Ａは測距装置、左カメラ及び右カメラが搭載された航空機を示す斜視図であり、図２Ｂは航空機をＸ軸方向から見た図であり、図２Ｃは航空機をＺ軸方向から見た図であり、図２Ｄは航空機をＹ軸方向から見た図である。 この発明の実施の形態１に係るデータ間引き装置の機能構成例を示すブロック図である。 図４Ａ、図４Ｂは、この発明の実施の形態１に係るデータ間引き装置のハードウェア構成例を示すブロック図である。 この発明の実施の形態１に係るデータ間引き装置の動作例を示すフローチャートである。
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１はこの発明の実施の形態１に係る測量システム１の構成例を示すブロック図である。
　測量システム１は、地形を測量する。この測量システム１は、図１に示すように、測距装置１１、左カメラ１２、右カメラ１３、ＧＮＳＳ装置（座標測定装置）１４、メモリカード（記憶装置）１５、データ間引き装置１６及び航法装置１７を備えている。なお、測距装置１１、左カメラ１２、右カメラ１３、ＧＮＳＳ装置１４及びメモリカード１５は、航空機（移動体）２に搭載されている。
　航空機２は、測距装置１１、左カメラ１２、右カメラ１３、ＧＮＳＳ装置１４及びメモリカード１５を搭載して飛行できればよく、パイロットが操縦を行う航空機でもよいし、ＵＡＶ（Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）でもよい。
　また、航空機２の姿勢は、航空機２のローリング方向、ピッチング方向及びヨーイング方向の姿勢角であるロール角ω、ピッチ角φ及びヨー角κの３つのパラメータによって特定される。
　測距装置１１は、航空機２が飛行中に、レーザ光の照射角度θを変えながら、地表面に対してレーザ光の送受信を行うことで、レーザ光の照射基準点から測距点Ｐまでの距離ｌを測定する。そして、測距装置１１は、測距点Ｐ毎に、距離ｌを示す距離データ、及び、距離ｌが得られたレーザ光の照射角度θを示す角度データを、メモリカード１５に出力する。
　左カメラ１２及び右カメラ１３は、航空機２が飛行中に、測距装置１１の測距点Ｐを含む領域（地表面）を撮影する。左カメラ１２及び右カメラ１３には、左カメラ１２及び右カメラ１３を制御する制御装置（不図示）が接続されている。例えば、制御装置は、左カメラ１２及び右カメラ１３に対し、予め定めた周期（例えば１秒毎）で、地表面の撮影を行うよう指示を行う。そして、制御装置は、左カメラ１２及び右カメラ１３による撮影で得られた画像を撮影日時と対応付けた画像データを、メモリカード１５に出力する。なお、左カメラ１２、右カメラ１３及び制御装置は、撮影装置を構成する。
　図２は、測距装置１１、左カメラ１２及び右カメラ１３の位置関係を模式的に示している。
　また、ここでは、２台のカメラ（左カメラ１２及び右カメラ１３）を用いた場合を示しているが、これに限らず、１台のカメラのみを用いてもよい。
　ＧＮＳＳ装置１４は、予め定めた周期で、測距装置１１におけるレーザ光の照射基準点の三次元座標（Ｘ０，Ｙ０，Ｚ０）を測定する。そして、ＧＮＳＳ装置１４は、レーザ光の照射基準点の三次元座標（Ｘ０，Ｙ０，Ｚ０）を示す座標データを、メモリカード１５に出力する。例えば、ＧＮＳＳ装置１４は、左カメラ１２及び右カメラ１３による撮影に同期してレーザ光の照射基準点の三次元座標（Ｘ０，Ｙ０，Ｚ０）を測定する。
　なお、ＧＮＳＳ装置１４と照射基準点との位置の違いは、ＧＮＳＳ装置１４の測定精度に対して許容範囲内であるとする。すなわち、ＧＮＳＳ装置１４は、照射基準点と同一の位置にあるものとする。更に、照射基準点の位置は、航空機２の位置と同一の意味であるものとする。
　メモリカード１５は、測距装置１１により出力された距離データ及び角度データ、撮影装置により出力された画像データ、及び、ＧＮＳＳ装置１４により出力された座標データを記憶する。このメモリカード１５としては、例えばＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカードを使用できる。
　データ間引き装置１６は、メモリカード１５に記憶されたデータ及び航法装置１７により設定された航空機２の姿勢角（ω，φ，κ）に基づいて、上記データから移動体の姿勢推定に不要なデータを間引く。そして、データ間引き装置１６は、不要なデータを間引いたデータを、航法装置１７に出力する。なお図１では、データ間引き装置１６を航空機２の外部に設けた場合を示したが、これに限らず、データ間引き装置１６を航空機２に搭載してもよい。このデータ間引き装置１６の構成例については後述する。
　航法装置１７は、データ間引き装置１６により出力されたデータを用いて、航空機２の姿勢を推定し、航空機２の姿勢角（ω，φ，κ）を設定する。なお、航空機２の姿勢角（ω，φ，κ）は、初回では、初期値が設定される。なお、航法装置１７は既存のもの（例えば特許文献１）を使用でき、その構成及び動作については説明を省略する。なお図１では、航法装置１７を航空機２の外部に設けた場合を示したが、これに限らず、航法装置１７を航空機２に搭載してもよい。
　なお、データ間引き装置１６及び航法装置１７は測量装置を構成する。また、データ間引き装置１６及び航法装置１７を同じハードウェア上で実装し、当該ハードウェアでデータ間引き装置１６及び航法装置１７の両方の機能を実現してもよい。
　次に、データ間引き装置１６の構成例について、図３を参照しながら説明する。
　データ間引き装置１６は、図３に示すように、座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６を備えている。
　座標計算部１６１は、メモリカード１５から読み出した複数の測距点Ｐに関するデータ（距離データ、角度データ及び座標データ）及び航空機２の姿勢角（ω，φ，κ）から、測距点Ｐ毎に、メモリカード１５から読み出した複数の画像データに含まれる画像のうちの対応する画像上での座標（ｘＬ，ｙＬ）を計算する。なお、測距点Ｐに対応する画像とは、測距点Ｐに対するレーザ光の照射時刻に近い（通常は、最も近い）時刻での撮影により得られた画像である。また、航空機２の姿勢角（ω，φ，κ）は、航法装置１７により設定された最新の値のものを用いる。この際、座標計算部１６１は、まず、距離データ、角度データ、座標データ及び航空機２の姿勢角（ω，φ，κ）から、測距点Ｐ毎に、測距点Ｐの三次元座標（Ｘ，Ｙ，Ｚ）を算出する。そして、座標計算部１６１は、座標データ及び航空機２の姿勢角（ω，φ，κ）から、対応する画像を撮影した左カメラ１２及び右カメラ１３の投影中心座標（ＸＬ，ＹＬ，ＺＬ）を算出する。そして、座標計算部１６１は、航空機２の姿勢角（ω，φ，κ）、各測距点Ｐの三次元座標（Ｘ，Ｙ，Ｚ）、及び、各画像を撮影した左カメラ１２及び右カメラ１３の投影中心座標（ＸＬ，ＹＬ，ＺＬ）から、測距点Ｐ毎に、対応する画像上での座標（ｘＬ，ｙＬ）を算出する。
　なお、座標（ｘＬ，ｙＬ）は、姿勢角（ω，φ，κ）が実際の航空機２の姿勢と完全に一致しているとみなした場合での座標である。
　特徴点抽出部１６２は、メモリカード１５から読み出した複数の画像データに含まれる画像毎に、特徴点を抽出する。なお図３では、特徴点抽出部１６２は、上記画像データを座標計算部１６１を介してメモリカード１５から取得する場合を示している。特徴点抽出部１６２による特徴点の抽出には、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）又はＳＵＲＦ等の回転及びスケールの変換に依存しない特徴が用いられる。
　距離計算部１６３は、上記測距点Ｐ毎に、上記対応する画像において、座標計算部１６１により計算された座標（ｘＬ，ｙＬ）から、特徴点抽出部１６２により抽出された特徴点のうちの距離の近い（通常は、最も近い）特徴点までの距離を計算する。なお図３では、距離計算部１６３は、上記座標（ｘＬ，ｙＬ）を示すデータを特徴点抽出部１６２を介して座標計算部１６１から取得する場合を示している。
　エッジ判定部１６４は、上記測距点Ｐ毎に、上記対応する画像において、座標計算部１６１により計算された座標（ｘＬ，ｙＬ）が、物体（建物等）のエッジ部を観測した点であるかを判定する。この際、例えば、エッジ判定部１６４は、測距点Ｐの座標（ｘＬ，ｙＬ）の時間的連続性から、当該座標（ｘＬ，ｙＬ）でのエッジ強度を計算する。
　植生判定部１６５は、上記測距点Ｐ毎に、上記対応する画像において、座標計算部１６１により計算された座標（ｘＬ，ｙＬ）が、植生を観測した点であるかを判定する。この際、例えば、植生判定部１６５は、測距点Ｐの座標（ｘＬ，ｙＬ）での反射輝度から、当該座標（ｘＬ，ｙＬ）が植生を観測した点である確率を計算する。
　要否判定部１６６は、距離計算部１６３による計算結果、エッジ判定部１６４による判定結果及び植生判定部１６５による判定結果から、メモリカード１５から読み出した測距点Ｐに関するデータ（距離データ、角度データ及び座標データ）のうちの不要なデータを間引く。この際、要否判定部１６６は、距離計算部１６３による計算結果、エッジ判定部１６４による判定結果及び植生判定部１６５による判定結果から、上記測距点Ｐ毎に、要否を判定するための評価値を算出する。そして、要否判定部１６６は、予め設定した間引き点数に沿うように画像を分割し、当該分割したエリア毎に、算出した評価値の低い（通常は、最も低い）測距点Ｐを選択する。そして、要否判定部１６６は、選択した測距点Ｐに関するデータは必要なデータとし、選択しなかった測距点Ｐに関するデータは不要なデータとみなして削除する。
　図４はデータ間引き装置１６のハードウェア構成例を示すブロック図である。
　データ間引き装置１６における座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６の各機能は、処理回路５１により実現される。処理回路５１は、図４Ａに示すように、専用のハードウェアであっても、図４Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
　処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
　処理回路５１がＣＰＵ５２の場合、座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、データ間引き装置１６は、処理回路５１により実行されるときに、例えば図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、座標計算部１６１、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、座標計算部１６１については専用のハードウェアとしての処理回路５１でその機能を実現し、特徴点抽出部１６２、距離計算部１６３、エッジ判定部１６４、植生判定部１６５及び要否判定部１６６については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、実施の形態１に係るデータ間引き装置１６の動作例について、図５を参照しながら説明する。図５では、データ間引き装置１６が、飛行中の航空機２に搭載されたメモリカード１５からデータを取得し、航法装置１７へデータを渡すまでの一連の処理を示している。また以下では、１台のカメラ（左カメラ１２）のみを用いた場合を示す。
　データ間引き装置１６の動作例では、図５に示すように、まず、座標計算部１６１は、メモリカード１５から読み出した測距点Ｐに関するデータ（距離データ、角度データ及び座標データ）及び航空機２の姿勢角（ω，φ，κ）から、メモリカード１５から読み出した複数の画像データに含まれる画像のうちの当該測距点Ｐに対応する画像上での座標（ｘＬ，ｙＬ）を計算する（ステップＳＴ４１）。
　この際、まず、座標計算部１６１は、距離データ、角度データ、座標データ及び航空機２の姿勢角（ω，φ，κ）から、下式（１）に従い、測距点Ｐの三次元座標（Ｘ，Ｙ，Ｚ）を算出する。

Figure JPOXMLDOC01-appb-I000001
　式（１）において、Ｒｔは、航空機２の姿勢に応じた測距装置１１及び左カメラ１２の傾きを表す３×３の回転行列の要素である。このＲｔは、時刻ｔにおける航空機２の姿勢角（ω（ｔ），φ（ｔ），κ（ｔ））を用いて、下式（２）で表される。

Figure JPOXMLDOC01-appb-I000002
　そして、座標計算部１６１は、座標データ及び航空機２の姿勢角（ω，φ，κ）から、下式（３）に従い、上記測距点Ｐに対応する画像を撮影した左カメラ１２の投影中心座標（ＸＬ，ＹＬ，ＺＬ）を算出する。式（３）において、Ｒｉｍｇｔは、測距点Ｐに対するレーザ光の照射時刻に最も近い撮影時刻における航空機２の姿勢角（ω，φ，κ）から算出される回転行列である。

Figure JPOXMLDOC01-appb-I000003
　そして、座標計算部１６１は、航空機２の姿勢角（ω，φ，κ）、上記測距点Ｐの三次元座標（Ｘ，Ｙ，Ｚ）、及び、上記測距点Ｐに対応する画像を撮影した左カメラ１２の投影中心座標（ＸＬ，ＹＬ，ＺＬ）から、下式（４）に従い、対応する画像上での測距点Ｐの座標（ｘＬ，ｙＬ）を算出する。式（４）において、ｃは、左カメラ１２の焦点距離である。また、式（４）におけるＵＬ，ＶＬ，ＷＬは下式（５）で表され、式（５）におけるｂ１１～ｂ３３は下式（６）で表される。

Figure JPOXMLDOC01-appb-I000004

Figure JPOXMLDOC01-appb-I000005
　座標計算部１６１は、上記の処理を、全ての測距点Ｐに対して行う。
　次いで、特徴点抽出部１６２は、メモリカード１５から読み出した画像データに含まれる画像から特徴点を抽出する（ステップＳＴ４２）。この際、処理時間の短縮のため、特徴点抽出部１６２は、入力画像を１／４程度に縮小した上で特徴点の抽出処理を行ってもよい。特徴点抽出部１６２は、上記の処理を、全ての画像データに含まれる画像に対して行う。
　次いで、距離計算部１６３は、測距点Ｐに対応する画像において、座標計算部１６１により計算された座標（ｘＬ，ｙＬ）から、特徴点抽出部１６２により抽出された特徴点のうちの距離の最も近い特徴点までの距離を計算する（ステップＳＴ４３）。距離計算部１６３は、上記の処理を、全ての測距点Ｐに対して行う。
　また、エッジ判定部１６４は、測距点Ｐに対応する画像において、座標計算部１６１により計算された測距点Ｐの座標（ｘＬ，ｙＬ）が、物体（建物等）のエッジ部を観測した点であるかを判定する（ステップＳＴ４４）。この際、例えば、エッジ判定部１６４は、上記測距点Ｐの座標（ｘＬ，ｙＬ）の周囲での測距値の変化の急峻度（エッジ強度）を中央差分又はＳｏｂｅｌオペレータにより算出する。また、エッジ判定部１６４は、画像からエッジ部を検出することで、上記エッジ強度を算出してもよい。エッジ判定部１６４は、上記の処理を、全ての測距点Ｐに対して行う。
　また、植生判定部１６５は、測距点Ｐに対応する画像において、座標計算部１６１により計算された座標（ｘＬ，ｙＬ）が、植生を観測した点であるかを判定する（ステップＳＴ４５）。この際、例えば、植生判定部１６５は、上記測距点Ｐの座標（ｘＬ，ｙＬ）での反射輝度が閾値未満である場合には確率１（植生である）とし、閾値以上である場合には確率０（植生ではない）とする。植生判定部１６５は、上記の処理を、全ての測距点Ｐに対して行う。
　次いで、要否判定部１６６は、距離計算部１６３による計算結果、エッジ判定部１６４による判定結果及び植生判定部１６５による判定結果から、測距点Ｐの要否を判定するための評価値を算出する（ステップＳＴ４６）。この際、要否判定部１６６は、距離計算部１６３により計算された距離と、エッジ判定部１６４により判定されたエッジ強度と、植生判定部１６５により判定された植生である確率との重み付け和により、上記評価値を算出する。要否判定部１６６は、上記の処理を、全ての測距点Ｐに対して行う。
　次いで、要否判定部１６６は、予め設定した間引き点数に沿うように画像を分割し、当該分割したエリア毎に、算出した評価値の最も低い測距点Ｐを選択する（ステップＳＴ４７）。
　次いで、要否判定部１６６は、選択した測距点Ｐに関するデータは必要なデータとし、選択しなかった測距点Ｐに関するデータは不要なデータとみなして削除する（ステップＳＴ４８）。すなわち、画像中の特徴的な点は地形の測量に有用であるため、要否判定部１６６は、特徴点から遠い測距点Ｐに関するデータは不要なデータとみなす。また、物体のエッジ部では測距装置１１による測距値が安定しないため、要否判定部１６６は、エッジ強度が高い測距点Ｐに関するデータは不要なデータとみなす。また、植生領域では、測距装置１１はレーザ光が木の葉を透過するため地面までの距離を測定するが、左カメラ１２は木々を撮影することになるため、同一点を観測できない。そのため、要否判定部１６６は、植生を観測した点である確率が高い測距点Ｐに関するデータは不要なデータとみなす。
　なお上記では、データ間引き装置１６に、距離計算部１６３、エッジ判定部１６４及び植生判定部１６５を全て設けた場合を示した。しかしながら、これに限らず、データ間引き装置１６は、距離計算部１６３、エッジ判定部１６４及び植生判定部１６５のうちの１つ以上を設けていればよい。重要度の順位は、高い順に、距離計算部１６３、エッジ判定部１６４、植生判定部１６５である。
　以上のように、この実施の形態１によれば、航空機２に搭載された測距装置１１によりレーザ光を用いて測定された複数の測距点Ｐまでの距離及び角度と、航空機２に搭載されたＧＮＳＳ装置１４により測定された上記レーザ光の照射基準点の座標とを示す測距点Ｐに関するデータ、及び、航空機２の姿勢角から、測距点Ｐ毎に、航空機２に搭載されたカメラ１２，１３により周期的に測距点Ｐを含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部１６１と、画像毎に、特徴点を抽出する特徴点抽出部１６２と、測距点Ｐ毎に、対応する画像において、座標計算部１６１により計算された座標から、特徴点抽出部１６２により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部１６３と、距離計算部１６３による計算結果から、測距点Ｐに関するデータのうちの不要なデータを削除する要否判定部１６６とを備えた。したがって、航空機２の姿勢推定で用いるデータを間引くことが可能である。すなわち、測量システム１では、データ間引き装置１６において、計測精度を悪化させるような測距点ｐに関するデータを除去した上で、後段の航法装置１７へデータを出力できる。これにより、航法装置１７における航空機２の姿勢推定精度向上が可能となる。また、余計な測距点ｐを間引くことで、航法装置１７における計算速度向上が見込める。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本発明に係るデータ間引き装置は、移動体の姿勢推定で用いるデータを間引くことが可能であるので、移動体の姿勢推定で用いるのに適している。
　１　測量システム、２　航空機（移動体）、１１　測距装置、１２　左カメラ、１３　右カメラ、１４　ＧＮＳＳ装置（座標測定装置）、１５　メモリカード（記憶装置）、１６　データ間引き装置、１７　航法装置、５１　処理回路、５２　ＣＰＵ、５３　メモリ、１６１　座標計算部、１６２　特徴点抽出部、１６３　距離計算部、１６４　エッジ判定部、１６５　植生判定部、１６６　要否判定部。

Claims (6)

  1. 　移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    　前記画像毎に、特徴点を抽出する特徴点抽出部と、
    　前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と、
    　前記距離計算部による計算結果から、前記測距点に関するデータのうちの不要なデータを削除する要否判定部と
    　を備えたデータ間引き装置。
  2. 　前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、物体のエッジ部を観測した点であるかを判定するエッジ判定部を備え、
    　前記要否判定部は、前記エッジ判定部による判定結果から、前記測距点に関するデータのうちの不要なデータを削除する
    　ことを特徴とする請求項１記載のデータ間引き装置。
  3. 　前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標が、植生を観測した点であるかを判定する植生判定部を備え、
    　前記要否判定部は、前記植生判定部による判定結果から、前記測距点に関するデータのうちの不要なデータを削除する
    　ことを特徴とする請求項１又は請求項２記載のデータ間引き装置。
  4. 　移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算する座標計算部と、
    　前記画像毎に、特徴点を抽出する特徴点抽出部と、
    　前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と、
    　前記距離計算部による計算結果から、前記測距点に関するデータのうちの不要なデータを削除する要否判定部と、
    　前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置と
    　を備えた測量装置。
  5. 　移動体に搭載され、レーザ光により複数の測距点までの距離及び角度を測定する測距装置と、
    　前記移動体に搭載され、前記レーザ光の照射基準点の座標を測定する座標測定装置と、
    　前記移動体に搭載され、周期的に、前記測距点を含む領域を撮影して画像を得る撮影装置と、
    　前記測距装置により測定された各測距点までの距離及び角度と、前記座標測定装置により測定された座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記撮影装置により得られた対応する画像上での座標を計算する座標計算部と、
    　前記画像毎に、特徴点を抽出する特徴点抽出部と、
    　前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算する距離計算部と、
    　前記距離計算部による計算結果から、前記測距点に関するデータのうちの不要なデータを削除する要否判定部と、
    　前記要否判定部により不要なデータが削除された前記測距点に関するデータを用いて、前記移動体の姿勢角を設定する航法装置と
    　を備えた測量システム。
  6. 　座標計算部が、移動体に搭載された測距装置によりレーザ光を用いて測定された複数の測距点までの距離及び角度と、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の座標とを示す前記測距点に関するデータ、及び、前記移動体の姿勢角から、前記測距点毎に、前記移動体に搭載された撮影装置により周期的に前記測距点を含む領域が撮影されて得られた複数の画像のうちの対応する画像上での座標を計算するステップと、
    　特徴点抽出部が、前記画像毎に、特徴点を抽出するステップと、
    　距離計算部が、前記測距点毎に、前記対応する画像において、前記座標計算部により計算された座標から、前記特徴点抽出部により抽出された特徴点のうちの距離の近い特徴点までの距離を計算するステップと、
    　要否判定部が、前記距離計算部による計算結果から、前記測距点に関するデータのうちの不要なデータを削除するステップと、
    　を有することを特徴とするデータ間引き方法。
PCT/JP2018/012928 2017-07-14 2018-03-28 データ間引き装置、測量装置、測量システム及びデータ間引き方法 WO2019012751A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880045516.4A CN110869699A (zh) 2017-07-14 2018-03-28 数据间除装置、测量装置、测量系统以及数据间除方法
EP18831115.3A EP3637048A4 (en) 2017-07-14 2018-03-28 DATA THINNING DEVICE, SURVEYING DEVICE, SURVEYING SYSTEM AND DATA THINNING METHOD
US16/623,116 US20200116482A1 (en) 2017-07-14 2018-03-28 Data thinning device, surveying device, surveying system, and data thinning method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-138004 2017-07-14
JP2017138004A JP6861592B2 (ja) 2017-07-14 2017-07-14 データ間引き装置、測量装置、測量システム及びデータ間引き方法

Publications (1)

Publication Number Publication Date
WO2019012751A1 true WO2019012751A1 (ja) 2019-01-17

Family

ID=65001584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/012928 WO2019012751A1 (ja) 2017-07-14 2018-03-28 データ間引き装置、測量装置、測量システム及びデータ間引き方法

Country Status (5)

Country Link
US (1) US20200116482A1 (ja)
EP (1) EP3637048A4 (ja)
JP (1) JP6861592B2 (ja)
CN (1) CN110869699A (ja)
WO (1) WO2019012751A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3465267A4 (en) * 2017-08-25 2019-05-22 Beijing Didi Infinity Technology and Development Co., Ltd. METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029794B2 (ja) 1977-12-14 1985-07-12 王子製紙株式会社 アルカリサルフアイドパルプ化法
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法
US20130188841A1 (en) * 2012-01-20 2013-07-25 Richard James Pollock Densifying and colorizing point cloud representation of physical surface using image data
JP6029794B1 (ja) * 2015-09-09 2016-11-24 三菱電機株式会社 航法装置および測量システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944548B2 (en) * 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
KR100792221B1 (ko) * 2006-09-29 2008-01-07 학교법인 포항공과대학교 스테레오 비전의 시각 특징점과 초음파 센서의 선 형상의결합을 통한 동시 위치인식 및 지도형성 방법
CN101718546A (zh) * 2009-12-10 2010-06-02 清华大学 一种车载式道路纵断面测量方法及其测量系统
DE112010004767B4 (de) * 2009-12-11 2024-09-12 Kabushiki Kaisha Topcon Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
JP5356269B2 (ja) * 2010-01-29 2013-12-04 株式会社パスコ レーザデータのフィルタリング方法及び装置
KR101083902B1 (ko) * 2011-06-14 2011-11-15 (주)태일아이엔지 항공 레이저 측량 데이터의 필터링을 이용한 3차원 공간정보 구축 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029794B2 (ja) 1977-12-14 1985-07-12 王子製紙株式会社 アルカリサルフアイドパルプ化法
JP2008089314A (ja) * 2006-09-29 2008-04-17 Topcon Corp 位置測定装置及びその方法
US20130188841A1 (en) * 2012-01-20 2013-07-25 Richard James Pollock Densifying and colorizing point cloud representation of physical surface using image data
JP6029794B1 (ja) * 2015-09-09 2016-11-24 三菱電機株式会社 航法装置および測量システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3637048A4

Also Published As

Publication number Publication date
CN110869699A (zh) 2020-03-06
US20200116482A1 (en) 2020-04-16
EP3637048A1 (en) 2020-04-15
EP3637048A4 (en) 2020-06-24
JP6861592B2 (ja) 2021-04-21
JP2019020218A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
US10059002B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
EP2615580B1 (en) Automatic scene calibration
CN105825498B (zh) 测量数据处理装置、测量数据处理方法以及程序
WO2019113966A1 (zh) 一种避障方法、装置和无人机
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN110799921A (zh) 拍摄方法、装置和无人机
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP4702569B2 (ja) 車両用画像処理装置
RU2621826C1 (ru) Устройство вычисления собственного положения и способ вычисления собственного положения
CN108335337B (zh) 一种正射影像图的生成方法及装置
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN109099889B (zh) 近景摄影测量系统和方法
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
JP2021106025A5 (ja)
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
JP2016138826A5 (ja)
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6398218B2 (ja) 自己位置算出装置及び自己位置算出方法
WO2019012751A1 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831115

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831115

Country of ref document: EP

Effective date: 20200109