WO2021083915A1 - Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks - Google Patents

Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks Download PDF

Info

Publication number
WO2021083915A1
WO2021083915A1 PCT/EP2020/080210 EP2020080210W WO2021083915A1 WO 2021083915 A1 WO2021083915 A1 WO 2021083915A1 EP 2020080210 W EP2020080210 W EP 2020080210W WO 2021083915 A1 WO2021083915 A1 WO 2021083915A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection device
information
mobile detection
image data
point cloud
Prior art date
Application number
PCT/EP2020/080210
Other languages
English (en)
French (fr)
Inventor
Michael Putz
Sinka Ismail
Marcus Opdenberg
Marco Arnold
Peter Rückrich
Original Assignee
Deep Up Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Up Gmbh filed Critical Deep Up Gmbh
Priority to BR112022008096A priority Critical patent/BR112022008096A2/pt
Priority to CA3159078A priority patent/CA3159078A1/en
Priority to AU2020372614A priority patent/AU2020372614A1/en
Priority to JP2022524162A priority patent/JP2022553750A/ja
Priority to CN202080077634.0A priority patent/CN114667434A/zh
Priority to MX2022005059A priority patent/MX2022005059A/es
Priority to EP20800066.1A priority patent/EP4051982A1/de
Priority to US17/770,750 priority patent/US20220282967A1/en
Publication of WO2021083915A1 publication Critical patent/WO2021083915A1/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/06Tracing profiles of cavities, e.g. tunnels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • the invention relates to a method for the correct position detection of exposed infrastructure elements arranged in the ground, in particular in an open excavation, with a mobile detection device.
  • the invention further relates to a mobile detection device for the correct positional detection of exposed infrastructure elements arranged in the subsurface, in particular in an open excavation.
  • the exposed infrastructure elements are in particular infrastructure elements of distribution networks.
  • Underground infrastructure elements are usually found in large numbers in so-called line networks. These line networks differ both in their network structure and the way they are laid, as well as in their regulatory framework in so-called transmission and distribution networks. While transmission networks consist of superordinate, large, individual long-distance lines with straight lines for national and international transport, the distribution networks, with their high degree of intermeshing of several infrastructure elements and small-scale or highly branched structures, take over the regional redistribution to the end consumers. The laying of infrastructure elements of the transmission networks is even significantly deeper than that of distribution networks.
  • the client does not currently receive a geo-referenced, three-dimensional model of the built-in infrastructure elements.
  • B. could be used for quality examinations for compliance with guidelines or for later management information.
  • the construction companies on site often only make hand-drawn sketches using a tape measure for reasons of cost and time. Some of these are very error-prone and also imprecise.
  • the line as an infrastructure element in the documentation drawings is usually only shown with a sequence of polygons. The actual, geometric course of a line is consequently disregarded here.
  • US 2014 210 856 A1 describes a method for recording and visualizing infrastructure elements of a line network that are concealed in a wall or floor element of a building.
  • the infrastructure elements are recorded by means of a laser scanner.
  • a control point is recorded, the coordinates of which are known.
  • a 3D model of the infrastructure elements is created, the coordinates of which are defined in relation to the control point.
  • a marker is placed in a visible place. To visualize the infrastructure elements that are now covered, this marker is captured by a camera of a mobile display unit and the 3D model of the infrastructure elements is displayed superimposed on the camera image in the display unit.
  • WO 2018/213 927 A1 describes a method for detecting exposed infrastructure elements of a large supra-regional long-distance line (“pipeline”) in a transmission network, which pursues the goal of checking the minimum coverage required by the regulatory authorities.
  • a platform mounted on a vehicle outside the excavation is moved forward along the exposed pipeline at constant speed.
  • a local point cloud is generated using a conventional LIDAR measuring device that is connected to the mobile platform via a mechanical device.
  • a geometric feature for example a longitudinal axis of a pipeline, is identified in the local point cloud with the aid of an edge detection algorithm.
  • the geometric feature can be linked to absolute position data obtained via a global navigation satellite system.
  • This system is designed to check the laying depths of pipelines, which are laid bare for a longer period of time in rural areas, with comparatively large diameters of approx. 1 m and straight, predictable courses.
  • this method is not suitable for the correct location of infrastructure elements in underground distribution networks, such as glass fiber lines with a small cross-section and branched course, especially in urban areas.
  • infrastructure elements in underground distribution networks such as glass fiber lines with a small cross-section and branched course, especially in urban areas.
  • the processes of civil engineering projects in urban and suburban distribution networks are more fragmented than in pipeline construction in view of traffic regulations in the street space and the often limited underground area available and the excavation pits are typically between 0.3 and 2 m deep. In such civil engineering projects, it is necessary to record the infrastructure elements with an absolute accuracy in the range of a few centimeters.
  • the mobile platform known from WO 2018/213 927 A1 which is mounted on a vehicle, a robot or an unnamed flight system, is not suitable for the detection of infrastructure elements of underground line networks in the distribution network, or can pose an additional risk for construction site workers and / or depict surrounding passers-by. From a technical point of view, this method is also inadequate, especially in urban areas, since when generating local point clouds with LI DAR alone, sensor-typical and undesirable drift effects as well as the resulting inaccuracies occur. These make it impossible to record with absolute precision in the single-digit centimeter range - as is required when mapping exposed infrastructure elements of underground pipeline networks in the distribution network.
  • US Pat. No. 9 230 453 B2 describes a method for detecting an exposed infrastructure element, in which a QR code manually attached to the infrastructure element is read out using a LIDAR scanner or one or more cameras in order to determine their attributes.
  • a method for recording exposed infrastructure elements with absolute georeferencing is not described.
  • objects relevant to the environment whose coordinates are already known in advance in the respective official coordinate system, must be provided with target markers and recorded with one or more cameras or LI DAR. These environment-relevant objects are therefore in turn to be measured in a further previous step by experts with additional, conventional and expensive GNSS surveying devices or total station equipment.
  • 9 230 453 B2 consists of several separate components:
  • the data are first recorded by a device such as, for example, a LIDAR system or a camera system with several cameras then sent to a data processing system via a communication network.
  • the separate data processing device converts the data into a 3D point cloud using the “AutoCAD” software, then the “Photo Soft” software and additional software are used to recognize QR codes and target markers. This data has to be imported / exported manually between the programs. If absolute georeferencing is required, a surveying system and a target marker must also be used.
  • the task is to enable the correct location of infrastructure elements of an underground line network, especially in a distribution network, with an absolute accuracy of a few centimeters, with a reduced number of work steps, without expert knowledge and with compensation of almost all interference and sensor-typical measurement uncertainties.
  • Image data and / or depth data of a scene are acquired by means of a 3D reconstruction device of the mobile acquisition device, which scene contains at least one exposed infrastructure element arranged in the ground and a 3D point cloud with several points is generated on the basis of this image data and / or depth data;
  • signals from one or more global navigation satellite systems are received by means of one or more receivers of the mobile detection device and a first position indication of the position of the detection device in a global reference system is determined;
  • Detection device detects about these main axes, and b. wherein the 3D reconstruction device has one or more 2D cameras by means of which the image data and / or the depth data of the scene are recorded and one of the second position information and one of the orientation information is determined by means of visual odometry based on the image data and / or the depth data; and c. wherein the 3D reconstruction device has a LIDAR measuring device by means of which the depth data of the scene are recorded and one of the second position information and one of the orientation information is determined by means of visual odometry on the basis of the depth data;
  • a georeference is assigned to the points of the 3D point cloud based on the first position information and several of the second position information as well as several of the orientation information,
  • the mobile detection device can be carried by a person, the mobile detection device can be held with both hands of a person, preferably with one hand of a person, and has a housing, the largest edge length of which is less than 50 cm, wherein the recipient (s), the inertial measuring unit and the 3D reconstruction device are arranged in the housing.
  • Another object of the invention is a mobile detection device for the correct positional detection of exposed infrastructure elements arranged in the ground, in particular in an open excavation, comprising:
  • a 3D reconstruction device for capturing image data and / or depth data of a scene which contains at least one exposed infrastructure element arranged in the ground, and for generating a 3D point cloud with several points on the basis of this image data and / or depth data;
  • one or more receivers for receiving signals from one or more global navigation satellite systems and for determining a first position indication of the position of the detection device in a global reference system
  • An inertial measuring unit for determining a second position specification of the position of the detection device in a local reference system and a Orientation indication of the orientation of the detection device in the local reference system, wherein the inertial measuring unit is set up to detect linear accelerations of the mobile detection device in three orthogonal main axes of the local reference system and angular velocities of the rotation of the mobile detection device about these main axes; and wherein the 3D reconstruction device has one or more 2D cameras, by means of which image data of the scene can be captured, a second position specification of the position of the capture device in the local reference system and the orientation specification being able to be determined by means of visual odometry on the basis of the image data; and wherein the 3D reconstruction device has a LIDAR measuring device, by means of which depth data of the scene can be acquired, a second position specification of the position of the acquisition device in the local reference system and the orientation specification being made by means of visual odometry based on the depth data;
  • the detection device is set up to assign a georeference to the points of the 3D point cloud on the basis of the first position information and several of the second position information as well as several of the orientation information;
  • the mobile detection device can be carried by a person, the mobile detection device can be held with both hands of a person, preferably with one hand of a person, and has a housing, the largest edge length of which is less than 50 cm, wherein the recipient (s), the inertial measuring unit and the 3D reconstruction device are arranged in the housing.
  • the exposed infrastructure elements are detected by means of the mobile detection device, which includes one or more receivers for receiving signals from one or more global navigation satellite systems as well as the 3D reconstruction device and the inertial measuring unit.
  • the mobile detection device includes one or more receivers for receiving signals from one or more global navigation satellite systems as well as the 3D reconstruction device and the inertial measuring unit.
  • This combination of the receiver or receivers for the signals of one or more global navigation satellite systems and the 3D reconstruction device and the inertial measuring unit enables the position and orientation of the infrastructure elements to be easily detected in a geodetic reference system with high accuracy.
  • Generated a 3D point cloud of the recorded scene which contains the given infrastructure element or the given infrastructure elements. A georeference is assigned to each of these points.
  • a georeference is understood to be a position specification of a point in the 3D point cloud in a geodetic reference system, preferably in an official position reference system, for example ETRS89 / UTM, in particular plus geometric and / or physical height reference.
  • the georeference is given to the points of the 3D point cloud on the basis of the first position information - i.e. the determined position of the mobile detection device in the global reference system - and on the basis of the multiple second position information - i.e. the estimated positions of the detection device in the local reference system - and on the basis of the orientation information - i.e. information the estimated orientation of the detection device in the local reference system - assigned.
  • the image data can thus have a position indication that is independent of reference points in the area of the respective infrastructure elements or excavation. As a result, the geo-reference can be determined with increased accuracy and reliability.
  • a compact, robust mobile detection device suitable for construction sites can be provided for detecting the exposed infrastructure elements, which can be used both next to an open construction pit and also enables the mobile detection device to be used in which a person in the opened construction pit can mobile detection device held in one or two hands used to detect the exposed infrastructure element or elements.
  • the method according to the invention and the mobile detection device according to the invention can therefore be used particularly advantageously for detecting exposed infrastructure elements of distribution networks that are arranged in the underground, in particular in an urban environment.
  • underground infrastructure elements include, in particular, line or cable elements such as fiber optics, gas, district heating, Understood water pipes, power or telecommunication cables and associated conduits, cable ducts and connecting elements.
  • the connecting elements can be designed, for example, as connectors for exactly two line or cable elements, as distributors for connecting three or more line or cable elements, or as amplifier elements.
  • the underground infrastructure elements to be detected are preferably those underground infrastructure elements that are part of a distribution network, in particular part of a fiber optic, power or telecommunications cable distribution network.
  • the underground infrastructure elements preferably have a diameter of less than 30 cm, preferably less than 20 cm, particularly preferably less than 10 cm, for example less than 5 cm.
  • image data and / or depth data of several frames of a scene are preferably acquired which contains several exposed infrastructure elements arranged in the ground and a 3D point cloud with several points is generated on the basis of this image data and / or depth data.
  • the receiver or receivers are preferably set up to receive and process signals from a global navigation satellite system. It is particularly preferred if the receiver or receivers are set up to simultaneously acquire and process signals from multiple global navigation satellite systems (GNSS), in particular signals from satellites from various global navigation satellite systems and multiple frequency bands.
  • GNSS global navigation satellite systems
  • the global navigation satellite systems can be, for example, GPS, GLONASS, Galileo or Beidou.
  • the receiver or receivers can alternatively or additionally be set up to receive signals, in particular reference or correction signals, from land-based reference stations. For example, the receiver or receivers can be set up to receive the signals from the land-based transmitting station via a cellular network.
  • the correction signals can be, for example, SAPOS correction signals (German satellite positioning service) or signals from the global HxGN SmartNet.
  • One or more of the following methods are preferably used to determine the position of the detection device: real-time kinematics (RTK), precise point positioning (PPP), post-processed kinematic (PPK)).
  • RTK real-time kinematics
  • PPP precise point positioning
  • PPK post-processed kinematic
  • the accuracy in determining the position of the detection device can be reduced to a range of less than 10 cm, preferably less than 5 cm, particularly preferably less than 3 cm, for example less than 2 cm.
  • a quality investigation of the georeferencing can be carried out.
  • one or more quality parameters of the global satellite navigation systems for example DOP (Dilution of Precision), are preferably monitored.
  • the inertial measurement unit is preferably set up to perform a translational movement in three mutually orthogonal spatial directions - e.g. B. along an x-axis, a y-axis and a z-axis - and in each case a rotary movement around these three spatial directions - z. B. to record the x-axis, the y-axis and the z-axis, in particular to repeat this data acquisition several times at time intervals.
  • the inertial measuring unit can detect three linear acceleration values for the translational movement and three angular speeds for the rotation rates of the rotary movement as observation variables. These observations can be derived from the proportional ratios of measured voltage differences. With the help of other methods such as the strapdown algorithm (SDA), changes in position, speed and orientation can be deduced from the measured specific force and the rotation rates.
  • SDA strapdown algorithm
  • the 3D reconstruction device can be a time-of-flight camera, a structured light camera, a stereo camera, a LIDAR measuring device, a RADAR measuring device and / or a combination of these with one another, in particular with one or more 2D cameras, exhibit.
  • the LIDAR measuring device of the 3D reconstruction device is preferably designed as a solid-state LIDAR measuring device (English. Solid-State-LIDAR or Flash-LIDAR).
  • Solid-state LIDAR measuring devices of this type offer the advantage that they can be designed without mechanical components.
  • Another advantage of the solid-state LIDAR measuring device is that it can capture image and / or depth information from several points at the same time, so that distortion effects due to moving objects in the field of view cannot occur with the solid-state LIDAR measuring device. Measures to correct such distortions that occur in scanning LIDAR measuring devices with a rotating field of view can therefore be dispensed with.
  • the mobile detection device comprises a housing, the receiver or receivers, the inertial measuring unit and the 3D reconstruction device in the Housing are arranged. It is advantageous if the mobile detection device does not have a frame on which the receiver or receivers, the inertial measuring unit and the 3D reconstruction device are arranged in an exposed manner. Due to the common housing, a compact and robust, mobile and construction site-compatible detection device for detecting the exposed infrastructure elements can be provided.
  • the mobile detection device can be carried by a person, the detection device being holdable with both hands of a person, preferably with one hand of a person, so that the mobile detection device is carried by the user to an open excavation and used there can be used to capture exposed infrastructure elements.
  • the mobile detection device has a housing whose largest edge length is smaller than 50 cm, preferably smaller than 40 cm, particularly preferably smaller than 30 cm, for example smaller than 20 cm.
  • the invention provides in particular that the mobile detection device is not designed as an unmanned aircraft.
  • the invention provides, in particular, that the mobile detection device cannot be attached to a ground machine or a ground vehicle, and is preferably not attached.
  • the georeference is preferably determined exclusively by means of the mobile detection device - for example by means of the one or more receivers for signals from one or more global navigation satellite systems, the inertial measuring unit and the 3D reconstruction device.
  • points of the 3D point cloud preferably include a position specification in a geodetic reference system as a result of the georeferencing.
  • the geodetic reference system can be identical to the global reference system.
  • the points of the 3D point cloud are each assigned color or gray value information, the color or gray value information preferably being captured by means of the one or more 2D cameras of the 3D reconstruction device.
  • the color or gray value information can be present, for example, as RGB color information in the RGB color space or HSV color information in the HSV color space.
  • a textured grid model (“mesh”) is generated on the basis of the 3D point cloud and the image data of the one or more 2D cameras.
  • the captured image data and / or the captured depth data and / or the captured linear accelerations of the mobile capture device in three orthogonally mutually perpendicular main axes of the local reference system and the angular speeds of the rotation of the mobile capture device about these main axes; are stored synchronized in time, in particular in a memory unit of the detection device.
  • a common time stamp and / or a common frame designation is stored.
  • the mobile detection device preferably has a memory unit which is set up to store the first position specification of the position in the global reference system and / or raw data assigned to this position specification; and the one or more second position information; and the one or more second orientation indications; and to store the acquired image data and / or the acquired depth data and / or the acquired linear accelerations of the mobile acquisition device in three orthogonally mutually aligned main axes of the local reference system and the angular speeds of the rotation of the mobile acquisition device about these main axes in a time-synchronized manner.
  • the one or more second position details are transformed from the respective local reference system into the global reference system, preferably by means of a rigid body transformation or Helmert transformation or by means of a principal axis transformation.
  • the first position information in the global reference system and the one or more second position information in the respective local reference system can be transformed into a further reference system.
  • one of the second position information and one of the orientation information is determined by means of visual odometry based on the image data and / or the depth data and / or by means of an inertial measuring unit by simultaneous position determination and map creation. Identifying the one or more The second position information and the orientation information contribute to an improved georeferencing of the points of the 3D point cloud in that a more precise determination of the trajectory of the detection device is made possible.
  • the assignment of the georeference to the points of the 3D point cloud takes place by means of sensor data fusion, with a factor graph as a graphic model and / or an applied estimation method preferably being used for optimization, preferably using the first position information of the position in the global reference system become.
  • drift effects and deviations between the second position information and the first position information can be recognized and corrected in the global reference system of the detection device.
  • the acquisition of the first position information from one or more integrated receivers in a global reference system can compensate for the short-term stable limiting factors of the relative sensors and lead to georeferencing of the mobile acquisition device with the help of a transformation into the superordinate coordinate system.
  • An embodiment is advantageous in which the sensor data fusion is based on a non-linear system of equations, on the basis of which the position and the orientation of the mobile detection device are estimated.
  • a non-linear system of equations Preferably, on the basis of the non-linear system of equations, an estimation of the trajectory, that is to say of the time profile of the position of the mobile detection device, and an estimation of the time profile of the orientation of the mobile detection device takes place.
  • At least one infrastructure element in particular a line or a connecting element, is detected and classified using the image data and / or depth data captured with the 3D reconstruction device, and the estimation of the position and orientation of the mobile detection device is based on the non-linear system of equations additionally takes place on the basis of the results of the detection and classification of the infrastructure element, in particular on the basis of result information containing color information and / or line diameter and / or a course and / or a bending radius and / or georeference.
  • a factor graph which depicts the complex relationships between various variables and factors, is preferably used for the fusion of sensor data.
  • the movement information (angular velocities, orientation information, etc.) added sequentially for each frame can be merged with carrier phase observations (GN SS factors) in a bundle block adjustment.
  • the GNSS factors represent direct observations of the georeferenced position of a frame
  • the relative pose factors provide information about the changes in the pose between the frames and feature point factors link the local references detected in the images (e.g. recognizable structures and / or objects) and establish the spatial relationship to the environment.
  • the results of the detection, classification and / or segmentation of infrastructure elements color information, geometric, application-specific features such as e.g.
  • the result is a coherent, globally complete, realigned 3D point cloud recorded frames of a scene, on the basis of which all infrastructure elements can be extracted three-dimensionally, georeferenced with an absolute accuracy of a few centimeters.
  • the one or more receivers of the mobile detection device receive signals from a maximum of three navigation satellites of the global navigation satellite system, the points of the 3D point cloud each preferably having a georeference with an accuracy in the range of less than 10 cm smaller than 5 cm, particularly preferably smaller than 3 cm is assigned. Due to the use of several sensor data sources, three-dimensional absolute geographic coordinates of infrastructure elements in environments in which the satellite visibility is only limited and / or poor cellular coverage is given can be determined in the range of a few centimeters.
  • the second position information of the position of the detection device and / or the orientation information of the mobile detection device as preliminary information support the resolution of ambiguities in differential measurements of carrier phases in order to georeference infrastructure elements even when the receiver reports a failure or by means of the inertial measuring unit only briefly determines a usable second position information and / or orientation information.
  • An advantageous embodiment provides that a plausibility of a temporal sequence of first position details of the position of the detection device in the global reference system is determined, preferably by determining a first speed indication based on the temporal sequence of first position details and a second based on the recorded linear accelerations and angular speeds Speed specification is calculated and compared with the first speed specification. For this purpose, a comparison can be made with the time integral of the linear accelerations. In this way, the reliability of the geo-reference determined or assigned to the points can be increased.
  • the points of the 3D point cloud are therefore preferably based on one or more first position information and one or more of the second position information and one or more of the orientation information and the measured accelerations of the mobile detection device along the main axes of the local reference system and the measured angular speeds of the rotations of the mobile detection device a georeference is assigned to each of these main axes.
  • An advantageous embodiment provides that at least one infrastructure element, in particular a line or a connecting element, is detected and / or classified and / or segmented on the basis of the 3D point cloud and / or on the basis of the image data.
  • one or more methods of image segmentation such as threshold value methods, in particular histogram-based methods, or texture-oriented methods, or region-based methods, or also pixel-based methods such as support, are used for the detection, classification and / or segmentation of an infrastructure element
  • threshold value methods in particular histogram-based methods, or texture-oriented methods, or region-based methods, or also pixel-based methods such as support
  • pixel-based methods such as support
  • color information of the captured image data can be compared with predetermined color information.
  • color information and / or geometrical information of the captured image data can be compared with, for example, given color information and / or geometrical information stored in a database in order to determine the infrastructure elements on the one hand from their environment in the To distinguish between a scene and, on the other hand, to recognize the type of infrastructure element, for example whether it is a fiber optic line or a District heating pipeline acts.
  • Color information of the points of the 3D point cloud is preferably compared with a predetermined color information so that points of the 3D point cloud can be assigned directly to a recognized infrastructure element.
  • the detection, classification and / or segmentation at least one histogram of color and / or gray value information and / or saturation value information and / or
  • Brightness value information and / or an electromagnetic wave spectrum of several points of the 3D point cloud is generated.
  • the generation of a histogram of the color or gray value information enables in a first step the assignment of the points of the point cloud that most closely resemble the predefined color and / or gray value information and / or saturation value information and / or brightness value information and / or an electromagnetic wave spectrum and thus lay the basis for improved detection of infrastructure elements in a scene.
  • a histogram of color or gray value information of the image data is preferably generated in the HSV color space, for example after a previous transformation of the image data into the HSV color space.
  • the histogram of the hue which is also referred to as the color angle, is particularly preferably generated.
  • Local maxima are preferably detected in the histogram or in the histograms and, among the local maxima, those maxima with the smallest distances to a predetermined color, saturation and brightness threshold value of an infrastructure element are determined or detected.
  • a preferred direction-distance threshold value can preferably be specified for a preferred spatial direction, which corresponds to a direction of movement of the mobile detection device when detecting the infrastructure element.
  • the preferred direction distance threshold value can be larger than the distance threshold value for other spatial directions, since it can be assumed that the user will move the mobile detection device in a direction that corresponds to the main direction of extent of the infrastructure elements when detecting the infrastructure elements in the excavation pit.
  • An advantageous embodiment of the invention provides that for the detection, classification and / or segmentation of the infrastructure elements and / or for improved distance measurement and / or for initializing the absolute orientation, a light point of a laser pointer of the detection device is detected and / or displayed in the display direction.
  • the mobile detection device preferably has a laser pointer for the optical marking of infrastructure elements, with which a laser beam can preferably be generated, which is directed in the direction of the scene detected with the 3D reconstruction device.
  • a user of the recording device can mark a point in the recorded scene that represents part of the infrastructure element.
  • the point marked by means of the laser pointer can be identified in the captured image data and points that are at a geometrical distance from the marked point can represent candidate points that are presumably also part of the infrastructure element.
  • the color values of the candidate points can be compared with one another, for example by means of one or more histograms. From this, the local maxima with the smallest distances to the previously defined color value, saturation and brightness values of the infrastructure element can be detected.
  • An advantageous embodiment of the method according to the invention provides that for the detection, classification and / or segmentation of the infrastructure elements, color or gray value information of the captured image data, in particular color or
  • Gray value information of the points of the 3D point cloud and / or the acquired depth data and associated label information can be fed to one or more artificial neural networks for training.
  • the image data can be used as training data for the artificial neural network, with additional correction data being provided by a user of the detection device in order to train the artificial neural network.
  • the artificial neural network can be used as part of a data processing device of the mobile
  • Detection device in particular as software and / or hardware, be designed.
  • the artificial neural network is provided as part of a server with which the mobile detection device is connected via a wireless communication link.
  • a Detection, classification and / or segmentation of infrastructure elements can be made possible with reduced computing effort.
  • An advantageous embodiment provides that an associated 3D object is generated for each detected infrastructure element, in particular on the basis of the 3D point cloud.
  • the 3D object is preferably generated on the basis of the 3D point cloud in the geodetic reference system and is thus georeferenced.
  • the 3D object can have a texture.
  • the mobile detection device preferably comprises a graphics processor (GPU) which is set up to display the 3D object corresponding to the detected infrastructure element.
  • GPU graphics processor
  • the situation can arise for various reasons that part of the infrastructure element arranged in the underground cannot be detected optically due to being covered by the mobile detection device. Optical flaws thus arise in the 3D point cloud or the network defined by the 3D objects.
  • Such a situation can arise, for example, when the infrastructure element is covered by a plate that extends over the construction pit, for example a steel plate, which forms a path over the construction pit.
  • the exposed infrastructure element is connected to another infrastructure element that was laid in a closed construction, such. B. through a press hole.
  • careless movements of a user of the mobile detection device can result in infrastructure elements or parts thereof being covered by sand or earth, or leaves can fall from surrounding trees and lead to obscurations.
  • measures can be taken which are presented below.
  • An advantageous embodiment of the invention provides that an optical flaw between two 3D objects is detected and a connecting 3D object, in particular as a 3D spline, is generated to close the optical flaw.
  • a feature of a first end of a first 3D object and the same feature of a second end of a second 3D object are preferably determined, the first and second features being compared with one another and the first and second features being a diameter or a Color or an orientation or a geo-reference. They are particularly preferred for recognizing the optical flaw several features of a first end of a first 3D object and the same features of a second end of a second 3D object are determined, the first and second features being compared with one another and the first and second features a diameter and / or a color and / or an orientation and / or a georeference.
  • the mobile detection device is put into an optical fault mode and, starting from the first end, is moved to the second end.
  • the optical flaw mode can be activated by an operating element of the detection device.
  • the mobile detection device has a device for voice control.
  • An auditory input of commands and / or information can take place via the device for voice control.
  • An auditory input can prevent unwanted shaking due to the actuation of operating elements during the detection of infrastructure elements, which contributes to improved detection results.
  • an acoustic output of input requests and / or information, in particular feedback and / or warnings, can take place by means of the device for voice control.
  • the device for voice control can comprise one or more microphones and / or one or more loudspeakers.
  • auditory information is recognized by means of the device for voice control and the georeference is additionally assigned to the points of the 3D point cloud on the basis of the auditory information.
  • the auditory information is particularly preferably used, in particular during the sensor data fusion, to estimate the position and the orientation of the mobile detection device.
  • the auditory information can be used to detect and classify the infrastructure elements. For example, by means of the device for voice control, auditory information from a user regarding the type of infrastructure element to be recognized (“the line is a fiber optic cable”) and / or regarding the number of infrastructure elements to be recognized “(three lines are laid”) and / or for Arrangement of the infrastructure elements ("on the left is a gas pipe, on the right a fiber optic cable”) can be recognized.
  • Display device of the mobile detection unit a representation of the 3D point cloud and / or 3D objects, which correspond to infrastructure elements, is or will be displayed. This offers the advantage that the user of the mobile detection device can view and, if necessary, check the 3D point cloud and / or 3D objects corresponding to infrastructure elements on site, for example immediately after the infrastructure elements have been detected in the excavation pit.
  • a textured grid model generated on the basis of the 3D point cloud and the image data of the one or more 2D cameras can be displayed by means of the display device.
  • a 2D site plan is displayed.
  • the 2D site plan can be generated by means of a data processing device of the mobile detection device, for example on the basis of the particularly georeferenced 3D point cloud.
  • the 2D site plan can preferably be saved in a file, for example in the .dxf file format or shape files with individual attributes.
  • the design of such a 2D site plan serves to digitally integrate the infrastructure elements into the individual geographic information systems of the responsible owners.
  • Display device of the mobile detection device a parts list of infrastructure elements, in particular of line elements and connecting elements, is displayed.
  • the parts list can be generated by means of a data processing device of the mobile detection device on the basis of the detected, classified and / or segmented infrastructure elements and can be adapted manually by the user.
  • the parts list can include, for example, infrastructure elements from different line networks.
  • the parts list can for example contain information about the number of the respective infrastructure elements and / or the number of laid length units of the respective infrastructure elements and / or the position information of the respective infrastructure element in a geodetic reference system and / or the construction progress.
  • a display device of the mobile detection device is used to display an overlay of image data from a 2D camera of the detection device with a projection of one or more 3D objects that correspond to an infrastructure element.
  • the orientation of the camera viewing direction of the mobile detection device must first be initialized.
  • the user must move the mobile detection device, for example, over an area of a few meters to the location or carry out a certain movement pattern / procedure in order to have sufficient sensor data from the mobile detection device for orientation in space.
  • An overlay of the image data of the 2D camera provided as part of the 3D reconstruction device is preferably displayed with several projections of the 3D objects which correspond to several, in particular interconnected, infrastructure elements.
  • Such a representation can also be referred to as an “augmented reality” representation and enables a realistic or positionally correct representation of the concealed infrastructure elements even in the closed state.
  • augmented reality representation
  • a display device of the mobile detection device is used to display an overlay of image data from a 2D camera of the detection device provided as part of the 3D reconstruction device with a projection of several points of the 3D point cloud. If a projection of the 3D point cloud is displayed in the display device, there is an increased computational effort in the display compared to the display of the projection of a 3D object. However, a previous generation of the 3D object can then be dispensed with.
  • the mobile detection device preferably comprises a display device for displaying display data and a data processing device which is set up to provide display data, the
  • the display device can be designed as a combined display and operating device, via which inputs from a user can be recorded, for example as a touchscreen.
  • the mobile detection device comprises a laser pointer for the optical marking of infrastructure elements and / or for extended distance measurement and / or for initializing the orientation in the display direction.
  • the mobile detection device comprises a polarization filter to avoid gloss, mirroring and reflections in order to improve the quality and optimize the observation data.
  • the mobile detection device comprises one or more lighting devices for improved detection, classification and / or segmentation of infrastructure elements.
  • the mobile detection device has a device for voice control.
  • the device for voice control is preferably set up to enable an acoustic output of input requests and / or information, in particular feedback and / or warnings.
  • FIG. 1 shows an exemplary embodiment of a mobile detection device according to the invention in a schematic block diagram
  • FIG. 2 shows an exemplary embodiment of a method according to the invention for detecting exposed infrastructure elements and those located in the subsurface in a flowchart
  • FIG. 1 shows an exemplary embodiment of a mobile detection device according to the invention in a schematic block diagram
  • FIG. 2 shows an exemplary embodiment of a method according to the invention for detecting exposed infrastructure elements and those located in the subsurface in a flowchart
  • FIG. 1 shows an exemplary embodiment of a mobile detection device according to the invention in a schematic block diagram
  • FIG. 2 shows an exemplary embodiment of a method according to the invention for detecting exposed infrastructure elements and those located in the subsurface in a flowchart
  • FIG. 1 shows an exemplary embodiment of a mobile detection device according to the invention in a schematic block diagram
  • FIG. 2 shows an exemplary embodiment of a method according to the invention for detecting exposed infrastructure elements and those located in the subsurface in a flowchart
  • 3 shows an exemplary projection of a 3D point cloud
  • FIG. 7 is a block diagram to illustrate the processes involved in assigning the georeference to the points of the 3D point cloud
  • 9a shows a plan view of an excavation pit with several at least partially optically concealed infrastructure elements
  • FIG. 9b shows a plan view of the construction pit according to FIG. 7a with an identified and closed optical defect.
  • the mobile detection device 1 includes, among other things, one or more receivers 2, consisting of a receiving system for receiving and processing signals from one or more global navigation satellite systems and for determining a first position of the detection device in the global reference system based on runtime measurements of the satellite signals.
  • the receiver 2, in particular the receiving system of the receiver 2 can be connected to one or more antennas, which are preferably arranged outside the housing 9 of the mobile detection device 1, particularly preferably on an outer contour of the housing 9. Alternatively, the antenna can be arranged inside the housing 9.
  • the mobile acquisition device 1 also contains a 3D reconstruction device 4 for acquiring image data and / or depth data of a scene, in particular a frame of a scene that contains exposed, underground infrastructure elements.
  • the mobile detection device 1 comprises an inertial measuring unit 3 for measuring the accelerations along the main axes and the angular velocities of the rotations of the mobile detection device 1.
  • second position details of the position of the detection device by means of visual odometry of the image data and / or depth data and by means of a inertial measuring unit 3 estimated by simultaneous position determination and map creation.
  • the multiple second position details of the position of the detection device 1 in a local reference system and the multiple orientation details of the orientation of the detection device 1 in the respective local reference system are determined, a.
  • One of the second position information and one of the orientation information is determined by means of an inertial measuring unit 3 of the mobile detection device 1, which detects linear accelerations of the mobile detection device 1 in three orthogonally superposed main axes of the local reference system and angular speeds of the rotation of the mobile detection device 1 about these main axes , and / or b.
  • the 3D reconstruction device 4 has one or more 2D cameras, by means of which the image data and / or the depth data of the scene are recorded and the determination of one of the second position information and one of the
  • Orientation information is provided by means of visual odometry using the image data and / or the depth data; and / or c.
  • the 3D reconstruction device 4 has a LIDAR measuring device, by means of which the depth data of the scene are recorded and one of the second position information and one of the orientation information is determined by means of visual odometry on the basis of the depth data.
  • the receiver or receivers 2, the inertial measuring unit 3 and the 3D reconstruction device 4 are arranged in a common housing 9.
  • the housing 9 has dimensions which enable the mobile detection device 1 to be held by a user with both hands, preferably in one hand.
  • the housing 9 has a largest edge length which is smaller than 50 cm, preferably smaller than 40 cm, particularly preferably smaller than 30 cm, for example smaller than 20 cm.
  • Further components of the mobile detection device 1, which are also arranged in the housing 9, are a laser pointer 5, a data processing device 6, a storage unit 7, a communication device 10 and a display device 8.
  • the laser pointer 5 can be used for the optical marking of infrastructure elements and / or for supplementary distance measurement and is arranged in the housing or frame 9 in such a way that it can be used to generate a laser beam which points in the direction of the scene captured by the 3D reconstruction device 4, for example in the middle of the scene captured with the 3D reconstruction device 4.
  • the data processing device 6 is connected to the receiver or receivers 2, the inertial measuring unit 3 and the 3D reconstruction device 4, so that the individual measured and estimated data and the image data can be fed to the data processing device 6. Furthermore, the laser pointer 5, the storage unit 7 and the display device 8 are connected to the data processing device 6.
  • the detection device 1 contains a communication device 10, which is designed in particular as a communication device for wireless communication, for example by means of Bluetooth, WLAN or cellular radio.
  • the display device 8 is used to visualize the infrastructure elements detected by means of the detection device 1.
  • the display device 8 is preferably designed as a combined display and operating device, for example in the manner of a touch-sensitive screen.
  • the mobile detection device 1 shown in FIG. 1 can be used in a method for detecting exposed infrastructure elements located underground.
  • An exemplary embodiment of such a method 100 is to be explained below with reference to the illustration in FIG. 2.
  • signals from one or more global navigation satellite systems are received and processed in a detection step 101 by means of one or more receivers 2 of the mobile detection device 1, as well as one or more position information from the Determined position of the detection device 1 in the global reference system.
  • the mobile Acquisition device 1 acquires image data of a scene which contains exposed infrastructure elements located in the subsurface.
  • a LIDAR measuring device of the 3D reconstruction device records image data and / or depth data of the scene.
  • second position details of the position of the detection device are estimated by means of visual odometry of the image data and / or depth data and by means of an inertial measuring unit 3 by simultaneous position determination and map creation.
  • the inertial measuring unit 3 is set up to detect linear accelerations of the mobile detection device 1 in three orthogonal main axes of the local reference system and angular velocities of the rotation of the mobile detection device 1 about these main axes.
  • the detection device 1 is carried by a person, preferably with both hands of a person, particularly preferably with one hand of a person.
  • the estimated second position information in the local system, the estimated orientation information in the local reference system, the measured first position in the global reference system, the measured accelerations along the main axes and the measured angular speeds of the rotations of the mobile detection device 1 about the main axes and the captured image data are synchronized in the Storage unit 7 of detection device 1 is stored.
  • the user can move with the detection device 1 during the detection step 101, for example along an exposed infrastructure element.
  • the synchronized storage of this data ensures that the data can be processed correctly in the subsequent process steps.
  • the image data acquired by the 3D reconstruction device are processed in a subsequent reconstruction step 102 in such a way that they generate a 3D point cloud with several points and color information for the points. In this respect, we speak of a colored 3D point cloud.
  • a georeferencing step 103 the points of the 3D point cloud are then based on the estimated second position information of the 3D reconstruction device 4 in the local reference system, the estimated orientations of the 3D reconstruction device 4 in the local reference system and the measured first positions of the mobile detection device 1 in the global reference system and the measured accelerations of the mobile detection device 1 along the main axes and the measured angular velocities of the rotations of the mobile detection device 1 around the main axes of the mobile detection device 1 a first position specification in a geodetic reference system, for example an officially recognized coordinate system assigned.
  • a colored, georeferenced 3D point cloud is calculated and provided.
  • a recognition step 104 infrastructure elements are then detected on the basis of the color information in the data. For the detection, classification and / or segmentation of the infrastructure elements, color information of the captured image data is compared with a predetermined color information. Alternatively or additionally, the infrastructure elements can be marked by the user when the scene is captured by means of the laser pointer 5. The marking by the laser pointer 5 can be detected in the image data and used to detect the infrastructure elements.
  • several image points of the image data are each assigned to a common infrastructure element, for example a line element or a line connection element.
  • the illustration in FIG. 3 shows an exemplary illustration of a recognized infrastructure element in a 2D projection.
  • a subsequent data processing step 105 the generated data of the individual recognition step are processed and its infrastructure elements are detected.
  • the processing can take place by means of the data processing device 6.
  • Various types of processing are possible here, which can be carried out alternatively or cumulatively:
  • 3D objects can be generated that correspond to the captured infrastructure elements, so that a 3D model of the underground pipeline network is generated.
  • a projection of the 3D point cloud can also be calculated. It is possible that a 2D site plan is generated in which the detected infrastructure elements are reproduced.
  • a parts list of the identified infrastructure elements can be generated.
  • a visualization step 106 the display device 8 of the mobile detection device 1
  • an overlay of image data from a 2D camera of the detection device with a projection of one or more 3D objects that correspond to an infrastructure element, and / or an overlay of image data from a 2D camera of the detection device with a projection of several points of the 3D point cloud can be displayed.
  • FIG. 4 visualizes an application of the method according to the invention and the device according to the invention.
  • Several frames of a recorded scene are shown which contain a large number of infrastructure elements 200, 200 'of a distribution network.
  • the infrastructure elements 200, 200 ‘are glass fiber lines and telecommunication cables, some of which are laid in a common excavation without any spacing from one another.
  • the diameter of these infrastructure elements 200, 200 ‘is less than 30 cm, sometimes less than 20 cm.
  • Some infrastructure elements 200 ‘have a diameter of less than 10 cm.
  • a person 201 stands in the opened excavation and uses a mobile detection device 1 (not visible in FIG. 4) to detect the exposed infrastructure elements 200, 200 'with the method according to the invention.
  • FIGS. 5 and 6 show typical construction sites for laying infrastructure elements of underground distribution networks in an urban environment. These construction sites are located in the urban street space and are characterized by construction pits with a depth of 30 cm to 2 m. Space around the excavation pit is limited and accessibility to the excavation pit is partially restricted by parked cars and ongoing road traffic. The urban environment of the excavation is often characterized by shading of the GNSS signals and cell phone reception.
  • the mobile detection device 1 comprises the inertial measuring unit 3, the receiver 2 for the signals of the global navigation satellite system including mobile radio interface 302, a LIDAR measuring device 303 of the 3D reconstruction device 4, which is designed here as a solid-state LIDAR measuring device, and a first 2D camera 304 of the 3D reconstruction device 4 and optionally a second 2D camera 305 of the 3D reconstruction device 4.
  • the data provided by these data sources or sensors are stored in a synchronized manner in a memory unit 7 of the mobile detection device (step 306). It means that
  • the depth data of the scene are recorded by means of the LIDAR measuring device 303 and one of the second position information and one of the orientation information are determined by means of visual odometry on the basis of the depth data.
  • a local 3D point cloud with several points is generated, see block 307.
  • the image data and / or the depth data of the scene 350 are recorded and one of the second position information and one of the orientation information is determined using visual odometry based on the respective image data and / or the depth data of the 2D camera 304 and possibly 305.
  • feature points are extracted, see block 308 and possibly 309.
  • At least one infrastructure element is detected and classified and, if necessary, segmented using the image data and / or depth data acquired with the 3D reconstruction device 4, cf. block 310.
  • One or more of the following information is obtained: Color of an infrastructure element, diameter of an infrastructure element, course of an infrastructure element, bending radius of an infrastructure element, first and second position information of the mobile detection device.
  • the detection, classification and, if necessary, segmentation can take place by means of an artificial neural network which is designed as part of a data processing device of the mobile detection device, in particular as software and / or hardware.
  • the mobile detection device can optionally have a device for voice control. Auditory information can be recorded via the facility for voice control that are used to detect and classify the infrastructure elements and / or to assign the georeference to the points of the 3D cloud.
  • the output data of blocks 307, 308, 309 and 310 present as local 2D data are first transformed into 3D data (block 311), in particular by back projection.
  • the data of a plurality of frames 350, 351, 352 of a scene transformed in this way are then fed to a sensor data fusion 312, which estimates the position and the orientation of the mobile detection device 1 on the basis of a non-linear system of equations.
  • a factor graph is preferably used, which represents the complex relationships between various variables and factors.
  • the movement information angular velocities, orientation information, etc.
  • GN SS factors carrier phase observations
  • the GNSS factors represent direct observations of the georeferenced position of a frame
  • the relative pose factors provide information about the changes in the pose between the frames and feature point factors link the local references detected in the images (e.g. recognizable structures and / or objects) and establish the spatial relationship to the environment.
  • the results of the detection, classification and / or segmentation of infrastructure elements can be entered into the above. Include sensor data fusion.
  • the result of the sensor data fusion 312 is a coherent, globally complete, realigned 3D point cloud of all frames of a scene, on the basis of which all infrastructure elements can be extracted three-dimensionally, georeferenced, with an absolute accuracy of a few centimeters.
  • FIG. 8 shows a plan view of a section of a distribution network with a plurality of infrastructure elements 200 that were recorded by means of the inventive method and the inventive device.
  • areas are that were recorded as part of a common scene, ie as part of a coherent sequence multiple frames, marked by a box 360.
  • the scenes are recorded one after the other, for example whenever the respective section of the distribution network is exposed.
  • some overlap areas 361 are contained in two different scenes and thus twice.
  • the chronological sequence of the scenes can extend over several days.
  • These scenes are created within the scope of the sensor data fusion merged, so that a single, common 3D point cloud of the distribution network is generated that does not contain any areas recorded twice. It is advantageous if, with the aid of the sensor data fusion, areas of infrastructure elements recorded several times or at different times, such as overlaps between two recordings, are recognized and reduced to the most recent recorded areas of the infrastructure elements.
  • FIG. 9a shows a plan view of part of a distribution network which was partially laid in a closed construction, for example through a press bore.
  • part of the infrastructure element 200 arranged underground cannot be visually detected due to being covered by the mobile detection device 1, cf. covered area 400.
  • a total of four such partially covered infrastructure elements are shown in FIG. 9a.
  • An optical flaw thus arises in the 3D point cloud or the network defined by the 3D objects.
  • the optical flaw is detected between two 3D objects 401, 402, which correspond to a first infrastructure element 200, and a connecting 3D object 403, in particular as a 3D spline, is generated to close the optical flaw, see Fig. 9b.
  • one or more features of a first end of a first 3D object 401 and the same or the same features of a second end of a second 3D object 402 are determined.
  • the features of the two ends are compared with one another.
  • the features can be, for example, the diameter and / or the color and / or the orientation and / or position information.
  • the operator can move the mobile detection device above the concealed infrastructure element, starting from one end of the infrastructure element that corresponds to the first end of the first 3D object 401, along an optical flaw trajectory to the end of the infrastructure element 200, which corresponds to the second end of the second 3D object 402.
  • the mobile detection device 1 can then generate a connection 3D object 403 shown in FIG. 9 b, which connects the first end of the first 3D object 401 to the second end of the second 3D object 402.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung von freiliegenden Infrastrukturelementen eines unterirdischen Leitungsnetzwerks, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung (1).

Description

Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
Die Erfindung betrifft ein Verfahren zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung. Ferner betrifft die Erfindung eine mobile Erfassungsvorrichtung zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube. Bei den freiliegenden Infrastrukturelementen handelt es sich insbesondere um Infrastrukturelemente von Verteilnetzen.
Unterirdische Infrastrukturelemente befinden sich zumeist in großer Zahl in sogenannten Leitungsnetzwerken. Diese Leitungsnetzwerke unterscheiden sich sowohl von ihrer Netzstruktur als auch von ihrer Verlegeweise sowie von ihren regulatorischen Rahmenbedingungen in sogenannte Übertragungs- und Verteilnetze. Während Übertragungsnetze aus übergeordneten, großen, einzelnen Fernleitungen mit geradlinigen Verläufen zum nationalen und internationalen Transport bestehen, übernehmen die Verteilnetze mit ihrem hohen Grad an Vermaschung von mehreren Infrastrukturelementen und kleinteiligen bzw. stark verästelten Struktur die regionale Umverteilung zu den Endverbrauchern. Die Verlegung von Infrastrukturelementen der Übertragungsnetze erfolgt sogar deutlich tiefer als die von Verteilnetzen.
Nach den Vorschriften und Regelwerken der Eigentümer und Betreiber öffentlicher Verteilnetze werden zur Dokumentation von erdverlegten Leitungsnetzwerke heutzutage spartenübergreifend grundsätzlich zwei Messvarianten unterschieden: Entweder erfolgt die Einmessung der Leitungen und Verbindungselemente über elektronische Tachymeter einrichtungen, GNSS Systeme (engl. Global Navigation Satellite System) oder sogar händisch über das klassische Bandmaß. Bei der Verlegung von Glasfaserleitungen werden zur späteren Ortung neuerdings auch sogenannte Kugelmarker mit einem RFID-Chip (engl radio-frequency Identification) eingesetzt, da die Einmessung mit den aktuellen, herkömmlichen Verfahren hinsichtlich der Genauigkeit unzureichend ist. Für die Einmessung von unterirdischen Leitungsnetzwerken werden bei Bauvorhaben in der Regel externe Ingenieurbüros für Vermessungswesen beauftragt. Hierbei besteht ein hoher zeitlicher Koordinationsaufwand zwischen dem Auftraggeber (Netzbetreiber), dem Auftragnehmer (Bauausführende Firma) und dem Subdienstleister (Vermessungsingenieur). Gleichzeitig erhält der Auftraggeber aktuell noch kein georeferenziertes, dreidimensionales Modell der verbauten Infrastrukturelemente, die er z. B. für Qualitätsuntersuchungen auf Richtlinienkonformität oder bei späteren Leitungsauskünften nutzen könnte. Bei kleinen Bauvorhaben wie z. B. dem Anschluss eines einzelnen Verbrauchers an das Verteilnetz werden von den bauausführenden Firmen vor Ort aus Kosten- und Zeitgründen häufig nur Handskizzen mittels Bandmaß angefertigt. Diese sind zum Teil sehr fehleranfällig und auch ungenau. Bei beiden Messvarianten wird die Leitung als Infrastrukturelement in den Dokumentationszeichnungen in der Regel nur mit einer Abfolge von Polygonzügen abgebildet. Der tatsächliche, geometrische Verlauf einer Leitung wird folglich hierbei außer Acht gelassen.
Sowohl für die Instandhaltung dieser Leitungsnetzwerke als auch für die Planung von neuen Tiefbauvorhaben in der Nähe solcher Leitungsnetzwerke im Verteilnetz ist es demnach zwingend erforderlich, eine möglichst präzise Dokumentation mit genauen Positionsangaben dieser unterirdischen Infrastrukturelemente mit absoluter Genauigkeit weniger Zentimeter zur Verfügung zu haben. Unzureichende Lage- und Tiefekenntnisse über diese Infrastrukturelemente kann zu Schäden an diesen Infrastrukturelementen, zu Versorgungsunterbrechungen und im schlimmsten Fall auch zu fatalen Personenschäden führen.
In der US 2014 210 856 A1 wird ein Verfahren zur Erfassung und Visualisierung von Infrastrukturelementen eines Leitungsnetzwerks beschrieben, die verdeckt in einem Wand oder Bodenelement eines Gebäudes angeordnet sind. In einem Zustand, in welchem die Infrastrukturelemente freiliegend angeordnet sind, werden diese mittels eines Laserscanners erfasst. Zudem wird ein Kontrollpunkt erfasst, dessen Koordinaten bekannt sind. Anhand der durch den Laserscanner erfassten Daten wird ein 3D-Modell der Infrastrukturelemente erstellt, dessen Koordinaten in Bezug auf den Kontrollpunkt definiert sind. Nach dem Verdecken der Infrastrukturelemente, wird ein Marker an einer sichtbaren Stelle angeordnet. Zur Visualisierung der nunmehr verdeckten Infrastrukturelemente wird dieser Marker von einer Kamera einer mobilen Anzeigeeinheit erfasst und in der Anzeigeeinheit wird das 3D-Modell der Infrastrukturelemente dem Kamerabild überlagert dargestellt. Als nachteilig hat sich bei dem bekannten Verfahren allerdings herausgestellt, dass sowohl bei dem Erfassen der Infrastrukturelemente zum Erzeugen des 3D-Modells als auch bei der dem Kamerabild überlagerten Visualisierung des 3D-Modells in der von der erfassten Szene jeweils ein Kontrollpunkt bzw. Marker angeordnet sein muss. Hierdurch ergeben sich relativ viele Arbeitsschritte sowie eine erhöhte Anfälligkeit gegenüber Vandalismus, beispielsweise dem unerwünschten Entfernen bzw. Versetzen der Marker.
Die WO 2018/213 927 A1 beschreibt ein Verfahren zur Erfassung von freiliegenden Infrastrukturelementen einer großen überregionalen Fernleitung („Pipeline“) in einem Übertragungsnetz, welches das Ziel verfolgt, die regulatorisch vorgeschriebene Mindestdeckung zu überprüfen. Hierzu wird eine an einem Fahrzeug montierte Plattform außerhalb der Baugrube in Vorwärtsrichtung entlang der freiliegenden Pipeline mit konstanter Geschwindigkeit bewegt. Über eine herkömmliche LIDAR-Messvorrichtung, die über eine mechanische Vorrichtung mit der mobilen Plattform verbunden ist, wird eine lokale Punktwolke erzeugt. In der lokalen Punktwolke wird mit Hilfe eines Kantenerkennungs-Algorithmus ein geometrisches Merkmal, beispielsweise eine Längsachse einer Pipeline, identifiziert. In einem weiteren Schritt kann das geometrische Merkmal mit absoluten Positionsdaten, die über ein globales Navigationssatellitensystem erhalten werden, verknüpft werden. Dieses System ist zur Prüfung der regulatorisch vorgeschriebenen Verlegetiefen von Pipelines, die über einen längeren Zeitraum im ländlichen Raum freiliegen, mit vergleichsweise großen Durchmessern von ca. 1 m und geradlinigen, vorhersehbaren Verläufen ausgelegt. Zur lagerichtigen Erfassung von Infrastrukturelementen unterirdischer Verteilnetze, wie beispielsweise Glasfaserleitungen mit geringem Querschnitt und verzweigtem Verlauf, insbesondere im städtischen Umfeld ist dieses Verfahren jedoch nicht geeignet. Denn die Abläufe von Tiefbauvorhaben in städtischen und vorstädtischen Verteilnetzen verlaufen angesichts verkehrsrechtlicher Anordnungen im Straßenraum und der oftmals begrenzt verfügbare Trassenfläche unter der Erde kleinteiliger als im Pipelinebau und die Baugruben sind typischerweise zwischen 0,3 und 2 m tief. Bei solchen Tiefbauvorhaben ist eine Erfassung der Infrastrukturelemente mit einer absoluten Genauigkeit im Bereich weniger Zentimeter erforderlich. Aufgrund des enormen Termindrucks zur fristgerechten Fertigstellung der Baumaßnahme finden während der Einmessung typischerweise weitere Arbeiten sowohl außerhalb als auch in der Baugrube durch die Baustellenmitarbeiter statt. Ferner ist eine Zugänglichkeit neben und oberhalb der Baugrube wie zum Beispiel durch Bäume, parkende Autos oder Baustellenmaterialien häufig nicht gegeben, wodurch die Baugrube zwischenzeitlich bei der Einmessung überquert werden muss. Die ständig veränderlichen Umgebungsbedingungen gestalten die Erfassung der Infrastrukturelemente somit deutlich unvorhersehbarer. Hinzu kommen sensortypische und äußere Störeinflüsse, die die relative Genauigkeit einer inertialen Messeinheit (engl. Inertial Measurement Unit, (IMU)) sowie die absolute Genauigkeit der Messungen des globalen Navigationssatellitensystems aufgrund begrenzter Satellitensichtbarkeit und schlechter Mobilfunkabdeckung sehr negativ beeinflussen. Eine inertiale Messeinheit ist weiterhin nicht dafür ausgelegt, Ausfälle des Empfängers für das globalen Navigationssatellitensystem hinreichend genau zu kompensieren. Dies bedeutet, dass in manchen Regionen und Bereichen entweder keine oder nur punktuell, hochgenaue satellitengestützte Positionsbestimmung möglich ist. Deshalb ist die aus der WO 2018/213 927 A1 bekannte mobile Plattform, welche auf einem Fahrzeug, einem Roboter oder einem unbenannten Flugsystem montiert ist, zur Erfassung von Infrastrukturelementen unterirdischer Leitungsnetzwerke im Verteilnetz nicht geeignet, bzw. kann eine zusätzliche Gefahr für die Baustellenmitarbeiter und/oder umliegende Passanten darstellen. Aus technischer Sicht ist dieses Verfahren zudem insbesondere im städtischen Raum, unzureichend, da bei der Erzeugung von lokalen Punktwolken allein mit LI DAR sensortypische und unerwünschte Drifteffekte sowie daraus resultierende Ungenauigkeiten auftreten. Diese machen eine Erfassung mit einer absoluten Genauigkeit im einstelligen Zentimeterbereich - wie sie bei der Kartierung von freiliegenden Infrastrukturelementen unterirdischer Leitungsnetzwerke im Verteilnetz erforderlich sind, unmöglich.
Die US 9 230 453 B2 beschreibt ein Verfahren zur Erfassung eines freiliegenden Infrastrukturelements, bei welchem ein auf den Infrastrukturelement händisch angebrachter QR-Code mittels eines LIDAR-Scanners oder einer oder mehrerer Kameras ausgelesen werden, um deren Attribute zu ermitteln. Ein Verfahren zur Erfassung von freiliegenden Infrastrukturelementen mit absoluter Georeferenzierung wird nicht beschrieben. Um die Infrastrukturelemente mit einer absoluten Position zu verknüpfen, müssen umgebungsrelevante Objekte, deren Koordinaten im jeweils amtlichen Koordinatensystem im Vorfeld bereits bekannt sind, mit Zielmarkern versehen und mit einer oder mehreren Kameras oder LI DAR erfasst werden. Diese umgebungsrelevanten Objekte sind somit wiederum in einem weiteren vorherigen Schritt von Experten mit zusätzlichen, herkömmlichen und teuren GNSS-Vermessungsgeräten oder Tachymetereinrichtungen einzumessen. Hieraus ergeben sich insgesamt nicht nur viele fehleranfällige Arbeitsschritte, sondern es werden auch Expertenwissen im Georeferenzierungsbereich vorausgesetzt sowie zahlreiche sensorspezifische Drifteffekte und daraus resultierende Ungenauigkeiten in Kauf genommen, die eine Erfassung mit einer absoluten Genauigkeit im einstelligen Zentimeterbereich - wie sie bei der Kartierung von freiliegenden Infrastrukturelementen unterirdischer Leitungsnetzwerke im Verteilnetz erforderlich sind, unmöglich machen. Darüber hinaus hat das Verfahren durch die Abhängigkeit der Erkennung der QR-Codes einen gravierenden Nachteil. Falls eine Erkennung der QR-Codes aufgrund baustellenüblicher Verschmutzung etwa durch Staub, Dreck oder Niederschlagsablagerung nicht möglich ist, kann das Verfahren nicht eingesetzt werden. Die in US 9 230 453 B2 beschriebene Vorrichtung besteht aus mehreren separaten Komponenten: Hierbei werden die Daten zunächst von einer Vorrichtung wie zum Beispiel einem LIDAR-System oder einem Kamera-System mit mehreren Kameras erfasst und anschließend überein Kommunikationsnetzwerk an ein Datenverarbeitungssystem verschickt. Die separate Datenverarbeitungseinrichtung überführt die Daten mittels der Software „AutoCAD“ in eine 3D-Punktwolke, anschließend wird die Software „Photo Soft“ und noch eine zusätzliche Software zur Erkennung von QR-Codes und Zielmarkern verwendet. Dabei müssen diese Daten manuell zwischen den Programmen importieret/exportiert werden. Sofern eine absolute Georeferenzierung erforderlich ist, muss zusätzlich ein Vermessungssystem und ein Zielmarker eingesetzt werden.
Vor diesem Hintergrund stellt sich die Aufgabe, eine lagerichtige Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks, insbesondere in einem Verteilnetz, mit einer absoluten Genauigkeit weniger Zentimeter, mit reduzierter Anzahl an Arbeitsschritten, ohne Expertenwissen und unter Kompensation nahezu aller Störeinflüsse und sensortypischen Messunsicherheiten zu ermöglichen.
Zur Lösung der Aufgabe wird ein Verfahren zur Erfassung von freiliegenden Infrastrukturelementen eines unterirdischen Leitungsnetzwerks, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung vorgeschlagen, wobei:
- mittels einer 3D-Rekonstruktionseinrichtung der mobilen Erfassungsvorrichtung Bilddaten und/oder Tiefendaten einer Szene erfasst werden, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D-Punktwolke mit mehreren Punkten erzeugt wird;
- mittels einem oder mehreren Empfängern der mobilen Erfassungsvorrichtung Signale eines oder mehrerer globaler Navigationssatellitensysteme empfangen werden und eine erste Positionsangabe der Position der Erfassungsvorrichtung in einem globalen Bezugssystem ermittelt wird; und
- mehrere zweite Positionsangaben der Position der Erfassungsvorrichtung in einem lokalen Bezugssystem und mehrere Orientierungsangaben der Orientierung der Erfassungsvorrichtung in dem jeweiligen lokalen Bezugssystem ermittelt werden, a. wobei die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels einer inertialen Messeinheit der mobilen Erfassungsvorrichtung erfolgt, welche lineare Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen
Erfassungsvorrichtung um diese Hauptachsen erfasst, und b. wobei die 3D-Rekonstruktionseinrichtung eine oder mehrere 2D- Kameras aufweist, mittels derer die Bilddaten und/oder die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten erfolgt; und c. wobei die 3D-Rekonstruktionseinrichtung eine LIDAR-Messeinrichtung aufweist, mittels derer die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten erfolgt;
- den Punkten der 3D-Punktwolke, anhand der ersten Positionsangabe und mehrerer der zweiten Positionsangaben sowie mehrerer der Orientierungsangaben jeweils eine Georeferenz zugewiesen wird,
- wobei die mobile Erfassungsvorrichtung von einer Person tragbar ist, wobei die mobile Erfassungsvorrichtung mit beiden Händen einer Person, bevorzugt mit einer Hand einer Person, haltbar ist und ein Gehäuse aufweist, dessen größte Kantenlänge kleiner ist als 50 cm, wobei der oder die Empfänger, die inertiale Messeinheit und die 3D-Rekonstruktionseinrichtung in dem Gehäuse angeordnet sind.
Ein weiterer Gegenstand der Erfindung ist eine mobile Erfassungsvorrichtung zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, umfassend:
- eine 3D-Rekonstruktionseinrichtung zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält, und zum Erzeugen einer 3D- Punktwolke mit mehreren Punkten anhand dieser Bilddaten und/oder Tiefendaten;
- einen oder mehrere Empfänger zum Empfangen von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Positionsangabe der Position der Erfassungsvorrichtung in einem globalen Bezugssystem;
- eine inertiale Messeinheit zur Ermittlung einer zweiten Positionsangabe der Position der Erfassungsvorrichtung in einem lokalen Bezugssystem und einer Orientierungsangabe der Orientierung der Erfassungsvorrichtung in dem lokalen Bezugssystem, wobei die inertiale Messeinheit eingerichtet ist, lineare Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen zu erfassen; und wobei die 3D-Rekonstruktionseinrichtung eine oder mehrere 2D-Kameras aufweist, mittels derer Bilddaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Bilddaten ermittelbar ist; und wobei die 3D-Rekonstruktionseinrichtung eine LIDAR-Messeinrichtung aufweist, mittels derer Tiefendaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Tiefendaten erfolgt;
- wobei die Erfassungsvorrichtung eingerichtet ist, den Punkten der 3D- Punktwolke, anhand der ersten Positionsangabe und mehrerer der zweiten Positionsangaben sowie mehrerer der Orientierungsangaben jeweils eine Georeferenz zuzuweisen;
- wobei die mobile Erfassungsvorrichtung von einer Person tragbar ist, wobei die mobile Erfassungsvorrichtung mit beiden Händen einer Person, bevorzugt mit einer Hand einer Person, haltbar ist und ein Gehäuse aufweist, dessen größte Kantenlänge kleiner ist als 50 cm, wobei der oder die Empfänger, die inertiale Messeinheit und die 3D-Rekonstruktionseinrichtung in dem Gehäuse angeordnet sind.
Bei dem erfindungsgemäßen Verfahren werden die freiliegenden Infrastrukturelemente mittels der mobilen Erfassungsvorrichtung erfasst, wobei diese einen oder mehrere Empfänger zum Empfang von Signalen eines oder mehrerer globaler Navigationssatellitensysteme sowie die 3D-Rekonstruktionseinrichtung und die inertiale Messeinheit umfasst. Diese Kombination aus dem oder den Empfängern für die Signale eines oder mehrerer globaler Navigationssatellitensysteme und der 3D-Rekonstruktionseinrichtung und der inertialen Messeinheit ermöglicht eine einfache Erfassung der Position und Orientierung der Infrastrukturelemente in einem geodätischen Referenzsystem mit hoher Genauigkeit. Erzeugt wird hierbei eine 3D-Punktwolke der aufgenommen Szene, welche das gegebene Infrastrukturelement oder die gegebenen Infrastrukturelemente beinhaltet. Deren Punkten wird jeweils eine Georeferenz zugewiesen. Als Georeferenz wird in diesem Zusammenhang eine Positionsangabe eines Punkts der 3D-Punktwolke in einem geodätischen Referenzsystem, bevorzugt in einem amtlichen Lagebezugssystem, beispielsweise ETRS89/UTM, insbesondere zzgl. geometrischem und/oder physikalischem Höhenbezug, verstanden.
Den Punkten der 3D-Punktwolke wird die Georeferenz anhand der ersten Positionsangabe - also der ermittelten Position der mobilen Erfassungsvorrichtung in dem globalen Bezugssystem - und anhand der mehreren zweiten Positionsangaben - also der geschätzten Positionen der Erfassungsvorrichtung im lokalen Bezugssystem - und anhand der Orientierungsangaben - also Angaben der geschätzten Orientierung der Erfassungsvorrichtung im lokalen Bezugssystem - zugewiesen. Somit können die Bilddaten eine Positionsangabe aufweisen, die unabhängig von Referenzpunkten im Bereich der jeweiligen Infrastrukturelemente bzw. Baugrube ist. Hierdurch kann die Ermittlung der Georeferenz mit erhöhter Genauigkeit und Zuverlässigkeit erfolgen. Gemäß der Erfindung ist das Anordnen und Erfassen eines Kontrollpunkts oder eines Markers - etwa gemäß US 2014 210 856 A1 - nicht erforderlich, so dass Arbeitsschritte beim Einmessen eingespart werden können. Folglich kann eine möglichst genaue und lagerichtige Erfassung der freiliegenden Infrastrukturelemente mit einer reduzierten Anzahl an Arbeitsschritten ermöglicht werden.
Durch das gemeinsame Gehäuse kann eine kompakte, robuste und baustellentaugliche mobile Erfassungsvorrichtung zur Erfassung der freiliegenden Infrastrukturelemente bereitgestellt werden, welche sowohl neben einer geöffneten Baugrube verwendet werden kann als auch eine Verwendung der mobilen Erfassungsvorrichtung ermöglicht, bei welcher eine sich in der geöffneten Baugrube befindende Person die mobilen Erfassungsvorrichtung in einer oder zwei Händen haltend verwendet, um das freigelegte Infrastrukturelement oder die freiliegenden Infrastrukturelemente zu erfassen. Das erfindungsgemäße Verfahren und die erfindungsgemäße mobile Erfassungsvorrichtung können daher besonders vorteilhaft zur Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen von Verteilnetzen insbesondere im städtischen Umfeld eingesetzt werden.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche und betreffen gleichermaßen das Verfahren zur Erfassung von Infrastrukturelementen als auch die mobile Vorrichtung zur Erfassung von Infrastrukturelementen.
Unter unterirdischen Infrastrukturelementen werden im Sinne der Erfindung insbesondere Leitungs- bzw. Kabelelemente wie beispielsweise Glasfaser-, Gas-, Fernwärme-, Wasserleitungen, Strom- oder Telekommunikationskabel sowie dazugehörige Leerrohre, Kabelschächte und Verbindungselemente verstanden. Die Verbindungselemente können beispielsweise als Verbinder für genau zwei Leitungs- bzw. Kabelelemente, als Verteiler zum Verbinden von drei oder mehr Leitungs- bzw. Kabelelementen, oder als Verstärkerelemente ausgebildet sein. Bevorzugt handelt es sich bei den zu erfassenden, unterirdischen Infrastrukturelementen, um solche unterirdischen Infrastrukturelemente, die Teil eines Verteilnetzes sind, insbesondere Teil eines Glasfaser-, Strom- oder Telekommunikationskabel-Verteilnetzes.
Die unterirdischen Infrastrukturelemente weisen bevorzugt einen Durchmesser von kleiner als 30 cm, bevorzugt kleiner als 20 cm, besonders bevorzugt kleiner als 10 cm, beispielsweise kleiner als 5 cm, auf.
Bevorzugt werden bei dem erfindungsgemäßen Verfahren Bilddaten und/oder Tiefendaten mehrerer Frames einer Szene erfasst, die mehrere im Untergrund angeordnete, freiliegende Infrastrukturelemente enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D- Punktwolke mit mehreren Punkten erzeugt.
Bevorzugt sind der oder die Empfänger dazu eingerichtet, Signale eines globalen Navigationssatellitensystems zu empfangen und zu verarbeiten. Besonders bevorzugt ist es, wenn der oder die Empfänger dazu eingerichtet sind, Signale mehrerer globaler Navigationssatellitensysteme (GNSS), insbesondere Signale von Satelliten verschiedener globaler Navigationssatellitensysteme und mehrerer Frequenzbänder gleichzeitig zu erfassen und zu verarbeiten. Bei den globalen Navigationssatellitensystemen kann es sich beispielsweise um GPS, GLONASS, Galileo oder Beidou handeln. Der oder die Empfänger können alternativ oder zusätzlich dazu eingerichtet sein, Signale, insbesondere Referenz oder Korrektursignale, von landbasierten Referenzstationen zu empfangen. Beispielsweise können der oder die Empfänger dazu eingerichtet sein, die Signale der landbasierten Sendestation über ein Mobilfunknetz zu empfangen. Bei den Korrektursignalen kann es sich beispielsweise um SAPOS-Korrektursignale (deutscher Satellitenpositionierungsdienst) oder um Signale des globalen HxGN SmartNet handeln. Bevorzugt wird zur Ermittlung der Position der Erfassungsvorrichtung eines oder mehrere der folgenden Verfahren eingesetzt: Echtzeitkinematik (engl real time kinematic (RTK), precise point positioning (PPP), post processed kinematic (PPK)). Durch den Einsatz eines oder mehrerer dieser Verfahren kann die Genauigkeit bei der Bestimmung der Position der Erfassungsvorrichtung auf einen Bereich von kleiner 10 cm, bevorzugt kleiner 5 cm, besonders bevorzugt kleiner 3 cm, beispielsweise kleiner 2 cm, reduziert werden. Zur Gewährleistung der Qualität der ermittelten ersten Positionsangaben im globalen Bezugssystem kann, für den Benutzer nicht sichtbar, eine Qualitätsuntersuchung der Georeferenzierung durchgeführt werden. Hierzu werden vorzugsweise ein oder mehrere Qualitätsparameter der globalen Satellitennavigationssysteme, beispielsweise DOP ( Dilution of Precision), überwacht.
Die inertiale Messeinheit (engl. Inertial Measurement Unit, (IMU)) ist bevorzugt dazu eingerichtet, jeweils eine translatorische Bewegung in drei zueinander orthogonalen Raumrichtungen - z. B. entlang einer x-Achse, einer y-Achse und einer z-Achse - und jeweils eine Drehbewegung um diese drei Raumrichtungen - z. B. um die x-Achse, die y-Achse und die z-Achse - zu erfassen, insbesondere diese Datenerfassungen mehrfach in zeitlichen Abständen zu wiederholen. Beispielsweise kann die inertiale Messeinheit als Beobachtungsgrößen drei lineare Beschleunigungswerte für die translatorische Bewegung und drei Winkelgeschwindigkeiten für die Drehraten der Drehbewegung erfassen. Anhand proportionaler Verhältnisse von gemessenen Spannungsunterschieden lassen sich diese Beobachtungsgrößen ableiten. Mit Hilfe weiterer Verfahren wie beispielsweise dem Strapdown-Algorithmus (SDA) kann durch die gemessene spezifische Kraft und der Drehraten auf Änderungen in der Position, in der Geschwindigkeit und in der Orientierung geschlossen werden.
Die 3D-Rekonstruktionseinrichtung kann eine Time-of-Flight-Kamera, eine Structured-Light- Kamera, eine Stereokamera, eine LIDAR-Messeinrichtung, eine RADAR-Messeinrichtung und/oder eine Kombination derer untereinander, insbesondere mit einer oder mehreren 2D- Kameras, aufweisen.
Die LIDAR-Messeinrichtung der 3D-Rekonstruktionseinrichtung ist bevorzugt als Festkörper- LIDAR-Messeinrichtung (engl. Solid-State-LIDAR oder Flash-LIDAR) ausgestaltet. Derartige Festkörper-LIDAR-Messeinrichtung bieten den Vorteil, dass sie ohne mechanische Komponenten ausgestaltet werden können. Ein weiterer Vorteil der Festkörper-LIDAR- Messeinrichtung besteht darin, dass diese Bild- und/oder Tiefeninformationen mehrerer Punkte zu demselben Zeitpunkt erfassen kann, so dass bei der Festkörper-LIDAR- Messeinrichtung Verzerrungseffekte aufgrund sich bewegender Objekte im Blickfeld nicht auftreten können. Auf Maßnahmen zur Korrektur solcher bei scannenden LIDAR- Messeinrichtungen mit sich drehendem Blickfeld auftretenden Verzerrungen kann daher verzichtet werden.
Gemäß der Erfindung umfasst die mobile Erfassungsvorrichtung ein Gehäuse, wobei der oder die Empfänger, die inertiale Messeinheit und die 3D-Rekonstruktionseinrichtung in dem Gehäuse angeordnet sind. Es ist vorteilhaft, wenn die mobile Erfassungsvorrichtung kein Gestell aufweist, auf dem der oder die Empfänger, die inertiale Messeinheit und die 3D- Rekonstruktionseinrichtung freiliegend angeordnet sind. Durch das gemeinsame Gehäuse kann eine kompakte und robuste, mobile und baustellentaugliche Erfassungsvorrichtung zur Erfassung der freiliegenden Infrastrukturelemente bereitgestellt werden.
Die Erfindung sieht vor, dass die mobile Erfassungsvorrichtung von einer Person tragbar ist, wobei die Erfassungsvorrichtung mit beiden Händen einer Person, bevorzugt mit einer Hand einer Person, haltbar ist, so dass die mobile Erfassungsvorrichtung durch den Benutzer zu einer geöffneten Baugrube mitgeführt und dort verwendet werden kann, um freiliegende Infrastrukturelemente zu erfassen. Erfindungsgemäß weist die mobile Erfassungsvorrichtung ein Gehäuse auf, dessen größte Kantenlänge kleiner ist als 50 cm, bevorzugt kleiner ist als 40 cm, besonders bevorzugt kleiner ist als 30 cm, beispielsweise kleiner ist als 20 cm. Die Erfindung sieht insbesondere vor, dass die mobile Erfassungsvorrichtung nicht als unbemanntes Luftfahrzeug ausgebildet ist. Die Erfindung sieht insbesondere vor, dass die mobile Erfassungsvorrichtung nicht an einer Bodenmaschine oder einem Bodenfahrzeug befestigt werden kann, bevorzugt nicht befestigt ist.
Bevorzugt wird die Georeferenz ausschließlich mittels der mobilen Erfassungsvorrichtung ermittelt - beispielsweise mittels dem einen oder den mehreren Empfängern für Signale eines oder mehrerer globaler Navigationssatellitensysteme, der inertialen Messeinheit und der 3D- Rekonstruktionseinrichtung. Bevorzugt umfassen mehrere, insbesondere alle Punkte der 3D- Punktwolke durch die Georeferenzierung eine Positionsangabe in einem geodätischen Referenzsystem. Das geodätischen Referenzsystem kann identisch mit dem globalen Bezugsystem sein.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens ist vorgesehen, dass den Punkten der 3D-Punktwolke jeweils eine Färb- oder Grauwertinformationen zugeordnet ist, wobei die Färb- oder Grauwertinformation bevorzugt mittels der einen oder mehreren 2D-Kameras der 3D-Rekonstruktionseinrichtung erfasst wird. Die Färb- oder Grauwertinformation kann beispielsweise als RGB-Farbinformation im RGB-Farbraum oder HSV-Farbinformation im HSV-Farbraum vorliegen.
Gemäß einer vorteilhaften Ausgestaltung des Verfahrens wird auf Grundlage der 3D- Punktwolke und der Bilddaten der einen oder mehreren 2D-Kameras ein texturiertes Gittermodell (engl „mesh“) erzeugt. Durch die Verwendung eines texturierten Gittermodells kann die zu speichernde Datenmenge reduziert werden, Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass
- die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und
- die einen oder mehreren zweiten Positionsangaben; und
- die einen oder mehreren zweiten Orientierungsangaben; und
- die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen; zeitlich synchronisiert abgespeichert werden, insbesondere in einer Speichereinheit der Erfassungsvorrichtung. Zur Synchronisation kann vorgesehen sein, dass hierbei ein gemeinsamer Zeitstempel und/odereine gemeinsame Framebezeichnung abgespeichert wird. Die mobile Erfassungsvorrichtung weist bevorzugt eine Speichereinheit auf, die dazu eingerichtet ist, die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und die eine oder mehreren zweiten Positionsangaben; und die eine oder mehreren zweiten Orientierungsangaben; und die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung um diese Hauptachsen zeitlich synchronisiert abzuspeichern.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass, insbesondere zur Ermittlung und/oder zum Zuweisen der Georeferenz, die eine oder mehreren zweiten Positionsangaben von dem jeweiligen lokalen Bezugssystem in das globale Bezugssystem transformiert werden, bevorzugt mittels einer Rigid Body Transformation oder Helmert-Transformation oder mittels einer Hauptachsentransformation. Optional können die erste Positionsangabe in dem globalen Bezugssystem und die eine oder mehreren zweiten Positionsangaben in dem jeweiligen lokalen Bezugssystem in ein weiteres Bezugssystem transformiert werden.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten und/oder mittels inertialer Messeinheit durch simultane Positionsbestimmung und Kartenerstellung erfolgt. Die Ermittlung der einen oder mehreren zweiten Positionsangaben und der Orientierungsangaben trägt zu einer verbesserten Georeferenzierung der Punkte der 3D-Punktwolke bei, indem eine genauere Bestimmung der Trajektorie der Erfassungsvorrichtung ermöglicht wird.
Vorteilhaft ist es, wenn das Zuweisen der Georeferenz zu den Punkten der 3D-Punktwolke mittels Sensordatenfusion erfolgt, wobei bevorzugt zu Optimierung ein Faktorgraph als grafisches Modell und/oder ein angewandtes Schätzungsverfahren verwendet wird, wobei bevorzugt die ersten Positionsangaben der Position in dem globalen Bezugssystem verwendet werden. So lassen sich insbesondere Drifteffekte und Abweichungen zwischen den zweiten Positionsangaben und den ersten Positionsangaben in dem globalen Bezugssystem der Erfassungsvorrichtung erkennen und korrigieren. Die Erfassung der ersten Positionsangaben vom einen oder mehreren eingebundenen Empfängern in einem globalen Bezugssystem kann die kurzzeitstabilen limitierenden Faktoren der relativen Sensoriken kompensieren und mit Hilfe einer Transformation ins übergeordnete Koordinatensystem zur Georeferenzierung der mobilen Erfassungsvorrichtung führen.
Vorteilhaft ist eine Ausgestaltung, bei welcher die Sensordatenfusion auf einem nichtlinearen Gleichungssystem basiert, auf dessen Grundlage eine Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung erfolgt. Bevorzugt erfolgt auf Grundlage des nichtlinearen Gleichungssystems eine Schätzung der Trajektorie, also des zeitlichen Verlaufs der Position der mobilen Erfassungsvorrichtung und eine Schätzung des zeitlichen Verlaufs der Orientierung der mobilen Erfassungsvorrichtung. Durch die Schätzung von Position und Orientierung bzw. Trajektorie und Verlauf der Orientierung kann einerseits eine hohe absolute Genauigkeit der Georeferenzierung im Bereich weniger Zentimeter und andererseits der Vorteil erreicht werden, dass ein zeitweiser Ausfall eines Sensors, z.B. wenn aufgrund begrenzter Satellitensichtbarkeit keine verlässlichen ersten Positionsangaben ermittelt werden können, kompensiert werden kann.
Bevorzugt ist es, wenn anhand der mit der 3D-Rekonstruktionseinrichtung erfassten Bilddaten und/oder Tiefendaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert wird und die Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung auf Grundlage des nichtlinearen Gleichungssystems zusätzlich anhand der Ergebnisse der Detektion und Klassifizierung des Infrastrukturelements erfolgt, insbesondere anhand Ergebnis-Angaben enthaltend Farbinformationen und/oder Leitungsdurchmesser und/oder einen Verlauf und/oder einen Biegeradius und/oder Georeferenz. Bei einer solchen Ausgestaltung kann eine besonders robuste und präzise Georeferenzierung der Infrastrukturelemente erreicht werden. Zur Sensordatenfusion wird bevorzugt ein Faktorgraph verwendet, der die komplexen Beziehungen zwischen verschiedenen Variablen und Faktoren abbildet. In diesem Zusammenhang können die für jedes Frame sequentiell hinzugefügten Bewegungsinformationen (Winkelgeschwindigkeiten, Orientierungsangaben, etc.) mit Trägerphasenbeobachtungen (GN SS- Faktoren) in einer Bündelblockausgleichung fusioniert werden. Die GNSS-Faktoren stellen hierbei direkte Beobachtungen der georeferenzierten Position eines Frames dar, die relativen-Posen-Faktoren liefern hingegen eine Information über die Änderungen der Pose zwischen den Frames und Feature Point Faktoren verknüpfen die in den Bildaufnahmen detektierten lokalen Ortsbezüge (z. B. wiederkennbare Strukturen und/oder Objekte) und stellen den räumlichen Bezug zur Umgebung her. Ferner können die Ergebnisse der Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen (Farbinformationen, geometrische anwendungsspezifische Merkmale wie z. B. Durchmesser, Verlauf, Biegeradien, erste/zweite Positionsangaben der mobilen Erfassungsvorrichtung etc.) in die o. g. Sensordatenfusion mit einfließen. Als Ergebnis entsteht eine zusammenhängende, global vollständig, neu ausgerichtete 3D-Punktwolke aufgenommenen Frames einer Szene, auf Basis dessen sich alle Infrastrukturelemente dreidimensional, georeferenziert mit einer absoluten Genauigkeit weniger Zentimeter extrahieren lassen.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels dem einen oder den mehreren Empfängern der mobilen Erfassungsvorrichtung Signale von maximal drei Navigationssatelliten des globalen Navigationssatellitensystems empfangen werden, wobei den Punkten der 3D-Punktwolke jeweils eine Georeferenz mit einer Genauigkeit im Bereich kleiner als 10 cm, bevorzugt kleiner als 5 cm, besonders bevorzugt kleiner als 3 cm zugewiesen wird. Aufgrund der Nutzung mehrerer Sensordatenquellen können dreidimensionale absolute Geokoordinaten von Infrastrukturelementen in Umgebungen, in denen die Satellitensichtbarkeit nur eingeschränkt und/oder schlechte Mobilfunkabdeckung gegeben ist, im Bereich weniger Zentimeter bestimmt werden.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass die zweiten Positionsangaben der Position der Erfassungsvorrichtung und/oder die Orientierungsangaben der mobilen Erfassungsvorrichtung als Vorinformationen die Lösung von Mehrdeutigkeiten von Differenzmessungen von Trägerphasen unterstützen, um Infrastrukturelemente auch dann zu georeferenzieren, wenn der Empfänger einen Ausfall meldet oder mittels der inertialen Messeinheit nur kurzzeitig eine verwertbare zweiten Positionsangabe und/oder Orientierungsangabe ermittelt.
Vorteilhaft ist es, wenn mit Hilfe der Sensordatenfusion mehrfach bzw. zu unterschiedlichen Zeiten aufgenommene Bereiche von Infrastrukturelementen wie zum Beispiel Überlappungen zwischen zwei Szenen erkannt und auf den zeitlich jüngsten, erfassten Bereich der Infrastrukturelemente reduziert werden.
Eine vorteilhafte Ausgestaltung sieht vor, dass eine Plausibilität einer zeitlichen Abfolge von ersten Positionsangaben der Position der Erfassungsvorrichtung in dem globalen Bezugssystem ermittelt wird, bevorzugt indem anhand der zeitlichen Abfolge von ersten Positionsangaben eine erste Geschwindigkeitsangabe ermittelt wird, anhand der erfassten linearen Beschleunigungen und Winkelgeschwindigkeiten eine zweite Geschwindigkeitsangabe berechnet wird und mit der ersten Geschwindigkeitsangabe verglichen wird. Hierzu kann ein Vergleich mit dem Zeitintegral der linearen Beschleunigungen erfolgen. Hierdurch kann die Zuverlässigkeit der ermittelten bzw. den Punkten zugewiesenen Georeferenz erhöht werden. Bevorzugt wird den Punkten der 3D-Punktwolke somit anhand einer oder mehrerer ersten Positionsangaben und einer oder mehrerer der zweiten Positionsangaben und einer oder mehrerer der Orientierungsangaben und der gemessenen Beschleunigungen der mobilen Erfassungsvorrichtung entlang der Hauptachsen des lokalen Bezugssystems und der gemessenen Wnkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung um diese Hauptachsen jeweils eine Georeferenz zugewiesen.
Eine vorteilhafte Ausgestaltung sieht vor, dass anhand der 3D-Punktwolke und/oder anhand der Bilddaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und/oder klassifiziert und/oder segmentiert wird.
In diesem Zusammenhang wird bevorzugt, wenn zur Detektion, Klassifikation und/oder Segmentierung eines Infrastrukturelements ein oder mehrere Verfahren der Bildsegmentierung, wie beispielsweise Schwellwertverfahren, insbesondere Histogramm basierte Verfahren, oder texturorientierte Verfahren, oder Region-basierte Verfahren, oder auch pixelbasierte Verfahren wie beispielsweise Support Vector Maschine, Entscheidungsbäume und Neuronale Netze eingesetzt werden. Beispielsweise können zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Farbinformationen der erfassten Bilddaten mit einer vorgegebenen Farbinformation verglichen werden. Da Infrastrukturelemente unterschiedlicher Leitungsnetzwerke in der Regel eine unterschiedliche Farbgebung und/oder unterschiedliche Geometrieinformation aufweisen, können Farbinformationen und/oder Geometrieinformationen der erfassten Bilddaten mit beispielsweise in einer Datenbank hinterlegten vorgegebenen Farbinformation und/oder Geometrieinformation verglichen werden, um die Infrastrukturelemente einerseits von ihrer Umgebung in der Szene zu unterscheiden, und andererseits den Typ des Infrastrukturelements zu erkennen, beispielsweise, ob es sich eine Glasfaserleitung oder ein Fernwärmeleitung handelt. Bevorzugt werden Farbinformationen der Punkte der 3D- Punktwolke mit einer vorgegebenen Farbinformation verglichen, so dass Punkte der 3D- Punktwolke unmittelbar einem erkannten Infrastrukturelement zugeordnet werden können.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass zur Detektion, Klassifikation und/oder Segmentierung mindestens ein Histogramm von Färb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder
Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums mehrerer Punkte der 3D-Punktwolke erzeugt wird. Das Erzeugen eines Histogramms der Färb- oder Grauwertinformationen ermöglicht in einem ersten Schritt die Zuordnung der Punkte der Punktwolke, die der vordefinierten Färb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums am ehesten ähneln und somit die Basis für eine verbesserte Erkennung von Infrastrukturelementen bei einer Szene legen. Bevorzugt wird ein Histogramm von Färb- oder Grauwertinformationen der Bilddaten im HSV-Farbraum erzeugt, beispielsweise nach einer vorhergehenden Transformation der Bilddaten in den HSV- Farbraum. Besonders bevorzugt wird das Histogramm des Farbwerts (engl hue) erzeugt, der auch als Farbwinkel bezeichnet wird.
Bevorzugt werden in dem Histogramm oder in den Histogrammen lokale Maxima detektiert und unter den lokalen Maxima solche Maxima mit den geringsten Abständen zu einem vorgegebenen Färb-, Sättigung- und Helligkeits-Schwellenwert eines Infrastrukturelements bestimmt oder detektiert.
Als vorteilhaft hat es sich erwiesen, wenn eine Gruppe von Punkten, deren Punkte einen vorgegebenen Abstands-Schwellenwert zu den aus den detektierten lokalen Maxima zusammengesetzten Farbinformationen nicht überschreiten, iterativ durch weitere Punkte, die einen definierten geometrischen und farblichen Abstand zu den dazugehörigen Nachbarpunkten nicht überschreiten, erweitert wird, um einen örtlich zusammenhängenden Bereich eines Infrastrukturelements mit ähnlichen Farbinformationen zu bilden. Auf diese Weise ist es möglich, örtlich zusammenhängende Bereiche eines Infrastrukturelements mit einem ähnlichen Farbwert zu detektieren. Auch ein Infrastrukturelement, dessen Farbwert sich im geometrischen Verlauf des Infrastrukturelements allmählich ändert kann als zusammenhängendes Infrastrukturelement in den Bilddaten erkannt werden. Bevorzugt kann ein Vorzugsrichtung-Abstands-Schwellenwert für eine Vorzugsraumrichtung vorgegeben sein, die einer Bewegungsrichtung der mobilen Erfassungsvorrichtung beim Erfassen des Infrastrukturelements entspricht. Der Vorzugsrichtung-Abstands-Schwellenwert kann größer sein als der Abstands-Schwellenwert für andere Raumrichtungen, da davon ausgegangen werden kann, dass sich der Benutzer beim Erfassen der Infrastrukturelemente in der geöffneten Baugrube die mobile Erfassungsvorrichtung in einer Richtung bewegt, die der Haupterstreckungsrichtung der Infrastrukturelemente entspricht.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente und/oder zur verbesserten Distanzmessung und/oder zur Initialisierung der absoluten Orientierung ein Lichtpunkt eines Laserpointers der Erfassungsvorrichtung erfasst und/oder in der Anzeigerichtung angezeigt wird. Hierzu weist die mobile Erfassungsvorrichtung bevorzugt einen Laserpointer zur optischen Markierung von Infrastrukturelementen auf, mit dem bevorzugt ein Laserstrahl erzeugbar ist, der in Richtung der mit der 3D-Rekonstruktionseinrichtung erfassten Szene gerichtet ist. Mittels des Laserpointers kann ein Benutzer der Erfassungsvorrichtung einen Punkt in der erfassten Szene markieren, der einen Teil des Infrastrukturelements darstellt. Der mittels des Laserpointers markierte Punkt kann in den erfassten Bilddaten identifiziert werden und Punkte, die einen geometrischen Abstand von dem markierten Punkt aufweisen können Kandidaten-Punkte darstellen, die vermutlich ebenfalls Teil des Infrastrukturelements sind. In einem weiteren Schritt können die Farbwerte der Kandidaten-Punkte miteinander verglichen werden, beispielsweise mittels eines oder mehrerer Histogramme. Hieraus können die lokalen Maxima mit den geringsten Abständen zu den zuvor definierten Farbwert-, Sättigung- und Helligkeitswerten des Infrastrukturelements detektiert werden.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht vor, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Färb- oder Grauwertinformationen der erfassten Bilddaten, insbesondere Färb- oder
Grauwertinformationen der Punkte der 3D-Punktwolke, und/oder die erfassten Tiefendaten und zugehörige Label-Informationen einem oder mehreren künstlichen neuronalen Netzen zum Trainieren zugeführt werden. Im Rahmen eines Trainings des künstlichen neuronalen Netzes können die Bilddaten als Trainingsdaten für das künstliche neuronale Netz verwendet werden, wobei zusätzlich Korrekturdaten durch einen Benutzer der Erfassungsvorrichtung bereitgestellt werden, um das künstliche neuronale Netz zu trainieren. Das künstliche neuronale Netz kann als Teil einer Datenverarbeitungseinrichtung der mobilen
Erfassungsvorrichtung, insbesondere als Software und/oder Hardware, ausgebildet sein. Alternativ ist es möglich, dass das künstliche neuronale Netz als Teil eines Servers vorgesehen ist, mit welchem die mobile Erfassungsvorrichtung über eine drahtlose Kommunikationsverbindung in Verbindung steht. Überdas trainierte neuronale Netz kann eine Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen mit verringertem Rechenaufwand ermöglicht werden.
Eine vorteilhafte Ausgestaltung sieht vor, dass für jedes detektierte Infrastrukturelement ein dazugehöriges 3D-Objekt erzeugt wird, insbesondere anhand der 3D-Punktwolke. Das Erzeugen des 3D-Objekts erfolgt bevorzugt ausgehend von der 3D-Punktwolke im geodätischen Referenzsystem und ist somit georeferenziert. Das 3D-Objekt kann eine Textur aufweisen. Bevorzugt umfasst die mobile Erfassungsvorrichtung einen Grafikprozessor (GPU), der dazu eingerichtet ist, das dem erfassten Infrastrukturelement entsprechende 3D- Objekt darzustellen.
Bei der Erfassung von Infrastrukturelementen im Verteilnetz kann aus unterschiedlichen Gründen die Situation entstehen, dass ein Teil des im Untergrund angeordneten Infrastrukturelements aufgrund einer Verdeckung durch die mobile Erfassungsvorrichtung nicht optisch erfassbar ist. In der 3D-Punktwolke bzw. dem durch die 3D-Objekte definierten Netzwerk entstehen somit optische Fehlstellen. Eine solche Situation kann beispielsweise dann entstehen, wenn das Infrastrukturelement durch eine über die Baugrube reichende Platte abgedeckt ist, beispielsweise eine Stahlplatte, welche einen Überweg über die Baugrube bildet. Ferner ist es möglich, dass das freiliegende Infrastrukturelement mit einem weiteren Infrastrukturelement verbunden ist, welches in geschlossener Bauweise verlegt wurde, so z. B. durch eine Pressbohrung. Des Weiteren kann es z.B. durch unachtsame Bewegungen eines Benutzers der mobilen Erfassungsvorrichtung dazu kommen, dass Infrastrukturelemente oder Teile davon durch Sand oder Erde verdeckt werden oder es kann Laub von umstehenden Bäume herabfallen und zu Verdeckungen führen. Um die zusätzliche Erfassung solcher durch die mobile Erfassungsvorrichtung nicht optisch erfassbarer Infrastrukturelemente zu ermöglichen, können Maßnahmen getroffen werden, die nachfolgend vorgestellt werden.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass eine optische Fehlstelle zwischen zwei 3D-Objekten erkannt wird und zur Schließung der optischen Fehlstelle ein Verbindungs- 3D-Objekt, insbesondere als 3D-Spline, erzeugt wird.
Bevorzugt wird zum Erkennen der optischen Fehlstelle ein Merkmal eines ersten Endes eines ersten 3D-Objekts und dasselbe Merkmal eines zweiten Endes eines zweiten 3D-Objekts ermittelt wird, wobei das erste und zweite Merkmal miteinander verglichen werden und das erste und zweite Merkmal ein Durchmesser oder eine Farbe oder eine Orientierung oder eine Georeferenz ist. Besonders bevorzugt werden zum Erkennen der optischen Fehlstelle mehrere Merkmale eines ersten Endes eines ersten 3D-0bjekts und dieselben Merkmale eines zweiten Endes eines zweiten 3D-0bjekts ermittelt, wobei die ersten und zweiten Merkmale miteinander verglichen werden und die ersten und zweiten Merkmale ein Durchmesser und/oder eine Farbe und/oder eine Orientierung und/oder eine Georeferenz sind.
Alternativ kann vorgesehen sein, dass die mobile Erfassungsvorrichtung in einen optischen Fehlstellenmodus versetzt wird und ausgehend von dem ersten Ende zu dem zweiten Ende bewegt wird. Der optische Fehlstellenmodus kann durch ein Bedienelement der Erfassungsvorrichtung aktivierbar sein.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass die mobile Erfassungsvorrichtung eine Einrichtung zur Sprachbedienung aufweist. Über die Einrichtung zur Sprachbedienung kann eine auditive Eingabe von Befehlen und/oder Informationen erfolgen. Durch eine auditive Eingabe kann ein unerwünschtes Verwackeln durch das Betätigen von Bedienelementen während der Erfassung von Infrastrukturelemente verhindert werden, was zu verbesserten Erfassungsergebnissen beiträgt. Ferner kann mittels der Einrichtung zur Sprachbedienung eine akustische Ausgabe von Eingabeaufforderungen und/oder Informationen, insbesondere Rückmeldungen und/oder Warnungen, erfolgen. Die Einrichtung zur Sprachbedienung kann ein oder mehrere Mikrofone und/oderein oder mehrere Lautsprecher umfassen.
Bevorzugt werden mittels der Einrichtung zur Sprachbedienung auditive Informationen erkannt und den Punkten der 3D-Punktwolke wird die Georeferenz zusätzlich anhand der auditiven Informationen zugewiesen. Besonders bevorzugt werden die auditiven Informationen, insbesondere bei der Sensordatenfusion, zur Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung herangezogen. Alternativ oder zusätzlich können die auditiven Informationen zur Detektion und Klassifizierung der Infrastrukturelemente herangezogen werden. Beispielsweise können mittels der Einrichtung zur Sprachbedienung auditive Informationen eines Benutzers betreffend den Typ des zur erkennenden Infrastrukturelements („die Leitung ist ein Glasfaserkabel“) und/oder betreffend die Anzahl der zu erkennenden Infrastrukturelemente „(es sind drei Leitungen verlegt“) und/oder zur Anordnung der Infrastrukturelemente („links liegt eine Gasleitung, rechts ein Glasfaserkabel“) erkannt werden. Bevorzugt ist vorgesehen, dass anhand der mit der 3D-Rekonstruktionseinrichtung erfassten Bilddaten und/oder Tiefendaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert wird und die Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung auf Grundlage des nichtlinearen Gleichungssystems zusätzlich anhand auditiver Informationen erfolgt
Gemäß einer vorteilhaften Ausgestaltung wird vorgesehen, dass mittels einer
Anzeigeeinrichtung der mobilen Erfassungseinheit eine Darstellung der 3D-Punktwolke und/oder 3D-Objekte, die Infrastrukturelementen entsprechen, angezeigt wird bzw. werden. Dies bietet den Vorteil, dass der Benutzer der mobilen Erfassungsvorrichtung, die 3D- Punktwolke und/oder 3D-Objekte, die Infrastrukturelementen entsprechen, vor Ort, beispielsweise unmittelbar nach dem Erfassen der Infrastrukturelemente in der geöffneten Baugrube, betrachten und ggf. überprüfen kann.
Alternativ oder zusätzlich kann mittels der Anzeigeeinrichtung ein auf Grundlage der 3D- Punktwolke und der Bilddaten der einen oder mehreren 2D-Kameras erzeugtes texturiertes Gittermodell angezeigt werden.
Gemäß einer vorteilhaften Ausgestaltung wird vorgesehen, dass mittels einer
Anzeigeeinrichtung der mobilen Erfassungseinheit ein 2D-Lageplan angezeigt wird. Der 2D- Lageplan kann mittels einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung erzeugt werden, beispielsweise anhand der insbesondere georeferenzierten 3D-Punktwolke. Bevorzugt kann der2D-Lageplan in einer Datei gespeichert werden, beispielsweise im .dxf-Dateiformat oder Shapefiles mit individuellen Attributen. Die Ausgestaltung eines solchen 2D-Lageplans dient dazu, die Infrastrukturelemente digital in die individuellen Geoinformationssysteme der zuständigen Inhaber zu integrieren.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer
Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Stückliste von Infrastrukturelementen, insbesondere von Leitungselementen und Verbindungselementen, angezeigt wird. Die Stückliste kann mittels einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung anhand der detektierten, klassifizierten und/oder segmentierten Infrastrukturelemente erzeugt und durch den Benutzer manuell angepasst werden. Die Stückliste kann beispielweise Infrastrukturelemente unterschiedlicher Leitungsnetzwerke umfassen. Die Stückliste kann beispielsweise Informationen über die Anzahl der jeweiligen Infrastrukturelemente und/oder die Anzahl an verlegten Längeneinheiten der jeweiligen Infrastrukturelemente und/oder die Positionsangabe des jeweiligen Infrastrukturelements in einem geodätischen Referenzsystem und/oder den Baufortschritt umfassen. Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, angezeigt wird. Zur Projektion des 3D-Objektes des Infrastrukturelementes auf die Baugrube muss zunächst die Orientierung der Kamerablickrichtung der mobilen Erfassungsvorrichtung initialisiert werden. Dazu muss der Benutzer die mobile Erfassungsvorrichtung beispielweise über einen Bereich weniger Meter zur Örtlichkeit bewegen oderein bestimmtes Bewegungsmuster/Prozedur ausführen, um über ausreichende Sensordaten der mobilen Erfassungsvorrichtung die Orientierung im Raum zu verfügen. Bevorzugt wird eine Überlagerung der Bilddaten der als Teil der 3D- Rekonstruktionseinrichtung vorgesehenen 2D-Kamera mit mehreren Projektionen der 3D- Objekten angezeigt, die mehreren, insbesondere miteinander verbundenen Infrastrukturelementen, entsprechen. Eine derartige Darstellung kann auch als „ augmented realtity“- Darstellung bezeichnet werden und ermöglicht eine realitätsnahe bzw. lagerichtige Darstellung der verdeckt angeordneten Infrastrukturelemente auch im geschlossenen Zustand. Das bedeutet, dass mittels der mobilen Erfassungsvorrichtung einem Benutzer auch nach dem Schließen der Baugrube eine realitätsnahe Darstellung der unter der Erde verlegten Infrastrukturelemente dargestellt werden kann. Aufgrund der georeferenzierten Bilddaten muss der Benutzer die Infrastrukturelemente nicht freilegen, um deren Verlauf mit hoher Genauigkeit wahrnehmen zu können.
Gemäß einer vorteilhaften Ausgestaltung ist vorgesehen, dass mittels einer Anzeigeeinrichtung der mobilen Erfassungsvorrichtung eine Überlagerung von Bilddaten einer als Teil der 3D-Rekonstruktionseinrichtung vorgesehenen 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke angezeigt wird. Wird eine Projektion der 3D-Punktwolke in der Anzeigevorrichtung angezeigt, ergibt sich gegenüber der Darstellung der Projektion eines 3D-Objekts zwar ein erhöhter Rechenaufwand bei der Darstellung. Allerdings kann dann auf eine vorhergehende Erzeugung des 3D-Objekts verzichtet werden.
Die mobile Erfassungsvorrichtung umfasst bevorzugt eine Anzeigeeinrichtung zur Anzeige von Anzeigedaten und eine Datenverarbeitungseinrichtung, die dazu eingerichtet ist, Anzeigedaten bereitzustellen, die
- eine Darstellung der 3D-Punktwolke und/oder
- ein auf Grundlage der 3D-Punktwolke und der Bilddaten der einen oder mehreren 2D-Kameras erzeugtes texturiertes Gittermodell und/oder - 3D-Objekte, die Infrastrukturelementen entsprechen, und/oder
- ein 2D-Lageplan und/oder
- eine Stückliste von Infrastrukturelementen und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke umfassen. Die Anzeigeeinrichtung kann als kombinierte Anzeige- und Bedieneinrichtung ausgebildet sein, über welche Eingaben eines Benutzers erfasst werden können, beispielsweise als Touchscreen.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung einen Laserpointer zur optischen Markierung von Infrastrukturelementen und/oder zur erweiterten Distanzmessung und/oder zur Initialisierung der Orientierung in der Anzeigerichtung.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung einen Polarisationsfilter zur Vermeidung von Glanz, Spiegelung und Reflexionen zur Qualitätssteigerung und Optimierung der Beobachtungsdaten.
Gemäß einer vorteilhaften Ausgestaltung umfasst die mobile Erfassungsvorrichtung eine oder mehrere Beleuchtungseinrichtungen zur verbesserten Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen.
Gemäß einer vorteilhaften Ausgestaltung weist die mobile Erfassungsvorrichtung eine Einrichtung zur Sprachbedienung auf.
Bevorzugt ist die Einrichtung zur Sprachbedienung dazu eingerichtet, eine akustische Ausgabe von Eingabeaufforderungen und/oder Informationen, insbesondere Rückmeldungen und/oder Warnungen, zu ermöglichen.
Weitere Einzelheiten und Vorteile der Erfindung sollen nachfolgend anhand der in den Figuren gezeigten Ausführungsbeispiele erläutert werden. Hierin wird folgendes gezeigt:
Fig. 1 ein Ausführungsbeispiel einer mobilen Erfassungsvorrichtung gemäß der Erfindung in einer schematischen Blockdarstellung; Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Erfassung von freiliegenden und sich im Untergrund befindlichen Infrastrukturelementen in einem Ablaufdiagramm;
Fig. 3 eine beispielhafte Projektion einer 3D-Punktwolke;
Fig. 4 eine beispielhafte Darstellung einer Szene;
Fig. 5, 6 Darstellungen von Baumaßnahmen, bei denen die Erfindung Einsatz finden kann;
Fig. 7 ein Blockdiagramm zu Veranschaulichung der Vorgänge beim Zuweisen der Georeferenz zu den Punkten der 3D-Punktwolke;
Fig. 8 eine schematische Darstellung mehrerer Szenen;
Fig. 9a eine Draufsicht auf eine Baugrube mit mehreren zumindest teilweise optisch verdeckten Infrastrukturelementen; und
Fig. 9b eine Draufsicht auf die Baugrube gemäß Fig. 7a mit erkannter und geschlossener optischer Fehlstelle.
In Fig. 1 ist ein Blockdiagramm eines Ausführungsbeispiels einer mobilen Erfassungsvorrichtung 1 zur Erfassung von freiliegenden, sich im Untergrund befindlichen Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, dargestellt. Die mobile Erfassungsvorrichtung 1 umfasst unter anderem einen oder mehrere Empfänger 2, bestehend aus einer Empfangsanlage zum Empfangen und Verarbeiten von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Position der Erfassungsvorrichtung im globalen Bezugssystem anhand von Laufzeitmessungen der Satellitensignale. Der Empfänger 2, insbesondere die Empfangsanlage des Empfängers 2, kann mit einer oder mehreren Antenne verbunden sein, die bevorzugt außerhalb des Gehäuses 9 der mobilen Erfassungsvorrichtung 1, besonders bevorzugt an einer Außenkontur des Gehäuses 9, angeordnet ist. Alternativ kann die Antenne innerhalb des Gehäuses 9 angeordnet sein. Insbesondere mittels einer Referenzstation oder dem Dienst eines Referenznetzwerks kann diese erste Position der Erfassungsvorrichtung 1 im globalen Bezugssystem verbessert werden. Die mobile Erfassungsvorrichtung 1 enthält auch eine 3D- Rekonstruktionseinrichtung 4 zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, insbesondere eines Frames einer Szene, die freiliegende, sich im Untergrund befindliche Infrastrukturelemente enthält. Weiterhin umfasst die mobile Erfassungsvorrichtung 1 eine inertiale Messeinheit 3 zur Messung der Beschleunigungen entlang der Hauptachsen und der Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1. Darüber hinaus werden mehrere, zweite Positionsangaben der Position der Erfassungsvorrichtung mittels visueller Odometrie der Bilddaten und/oder Tiefendaten und mittels einer inertialen Messeinheit 3 durch simultane Positionsbestimmung und Kartenerstellung geschätzt. Insbesondere werden die mehreren zweiten Positionsangaben der Position der Erfassungsvorrichtung 1 in einem lokalen Bezugssystem und die mehreren Orientierungsangaben der Orientierung der Erfassungsvorrichtung 1 in dem jeweiligen lokalen Bezugssystem ermittelt, a. wobei die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels einer inertialen Messeinheit 3 der mobilen Erfassungsvorrichtung 1 erfolgt, welche lineare Beschleunigungen der mobilen Erfassungsvorrichtung 1 in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung 1 um diese Hauptachsen erfasst, und/oder b. wobei die 3D-Rekonstruktionseinrichtung 4 eine oder mehrere 2D-Kameras aufweist, mittels derer die Bilddaten und/oder die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der
Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten erfolgt; und/oder c. wobei die 3D-Rekonstruktionseinrichtung 4 eine LIDAR-Messeinrichtung aufweist, mittels derer die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten erfolgt.
Der oder die Empfänger 2, die inertiale Messeinheit 3 und die 3D-Rekonstruktionseinrichtung 4 sind in einem gemeinsamen Gehäuse 9 angeordnet.
Das Gehäuse 9 weist Abmessungen auf, die es ermöglichen, dass die mobile Erfassungsvorrichtung 1 durch einen Benutzer mit beiden Händen, bevorzugt in einer einzigen Hand gehalten werden kann. Das Gehäuse 9 weist eine größte Kantenlänge auf, die kleiner ist als 50 cm, bevorzugt kleiner ist als 40 cm, besonders bevorzugt kleiner ist als 30 cm, beispielsweise kleiner ist als 20 cm. Weitere Bestandteile der mobilen Erfassungsvorrichtung 1 , die ebenfalls in dem Gehäuse 9 angeordnet sind, sind ein Laserpointer 5, eine Datenverarbeitungseinrichtung 6, eine Speichereinheit 7, eine Kommunikationseinrichtung 10 und eine Anzeigeeinrichtung 8.
Der Laserpointer 5 kann zur optischen Markierung von Infrastrukturelementen und/oder zur ergänzenden Distanzmessung verwendet werden und ist derart in dem Gehäuse oder Gestell 9 angeordnet, dass mit ihm ein Laserstrahl erzeugbar ist, der in Richtung des mit der 3D- Rekonstruktionseinrichtung 4 erfassten Szene zeigt, beispielsweise in die Mitte der mit der 3D- Rekonstruktionseinrichtung 4 erfasste Szene.
Die Datenverarbeitungseinrichtung 6 ist mit dem oder den Empfängern 2, der inertialen Messeinheit 3 und der 3D-Rekonstruktionseinrichtung 4 verbunden, so dass die einzelnen gemessenen und geschätzten Daten sowie die Bilddaten der Datenverarbeitungseinrichtung 6 zugeführt werden können. Ferner sind der Laserpointer 5, die Speichereinheit 7 und die Anzeigeeinrichtung 8 mit der Datenverarbeitungseinrichtung 6 verbunden.
Die Erfassungsvorrichtung 1 enthält eine Kommunikationseinrichtung 10, die insbesondere als Kommunikationseinrichtung zur drahtlosen Kommunikation, beispielsweise mittels Bluetooth, WLAN oder Mobilfunk, ausgestaltet ist.
Die Anzeigeeinrichtung 8 dient der Visualisierung der mittels der Erfassungsvorrichtung 1 erfassten Infrastrukturelemente. Die Anzeigeeinrichtung 8 ist bevorzugt als kombinierte Anzeige- und Bedieneinrichtung, beispielsweise nach Art eines berührungsempfindlichen Bildschirms, (engl touchscreen) ausgebildet.
Die in Fig. 1 gezeigte mobilen Erfassungsvorrichtung 1 kann in einem Verfahren zur Erfassung von freiliegenden, sich im Untergrund befindlichen Infrastrukturelementen Verwendung finden. Ein Ausführungsbeispiel eines solchen Verfahrens 100 soll nachfolgend anhand der Darstellung in Fig. 2 erläutert werden.
Bei dem Verfahren 100 zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks in einer geöffneten Baugrube mit einer mobilen Erfassungsvorrichtung 1 werden in einem Erfassungsschritt 101 mittels einem oder mehrerer Empfänger 2 der mobilen Erfassungsvorrichtung 1 Signale eines oder mehrerer globaler Navigationssatellitensysteme empfangen und verarbeitet sowie eine oder mehrere Positionsangaben der Position der Erfassungsvorrichtung 1 im globalen Bezugssystem ermittelt. Gleichzeitig werden mittels einer als Teil der 3D-Rekonstruktionseinrichtung 4 vorgesehenen 2D-Kamera der mobilen Erfassungsvorrichtung 1 Bilddaten einer Szene, die freiliegende, sich im Untergrund befindliche Infrastrukturelemente enthält, erfasst. Eine LIDAR-Messeinrichtung der 3D- Rekonstrutionseinrichtung erfasst Bilddaten und/oder Tiefendaten der Szene. Darüber hinaus werden mehrere, zweite Positionsangaben der Position der Erfassungsvorrichtung mittels visueller Odometrie der Bilddaten und/oder Tiefendaten und mittels einer inertialen Messeinheit 3 durch simultane Positionsbestimmung und Kartenerstellung geschätzt. Die inertiale Messeinheit 3 ist dazu eingerichtet, lineare Beschleunigungen der mobilen Erfassungsvorrichtung 1 in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung 1 um diese Hauptachsen zu erfassen. Die Erfassungsvorrichtung 1 wird von einer Person, bevorzugt mit beiden Händen einer Person, besonders bevorzugt mit einer Hand einer Person, getragen.
Die geschätzten zweiten Positionsangaben im lokalen System, die geschätzten Orientierungsangaben im lokalen Bezugssystem, die gemessene erste Position im globalen Bezugssystem, die gemessenen Beschleunigungen entlang der Hauptachsen und die gemessen Winkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1 um die Hauptachsen und die erfassten Bilddaten werden synchronisiert in der Speichereinheit 7 der Erfassungsvorrichtung 1 abgespeichert. Der Benutzer kann sich mit der Erfassungsvorrichtung 1 während des Erfassungsschritts 101 bewegen, beispielsweise entlang eines freiliegendes Infrastrukturelements. Durch die synchronisierte Speicherung dieser Daten wird sichergestellt, dass die Daten in den nachfolgenden Verfahrensschritten korrekt verarbeitet werden können. Die von der 3D-Rekonstruktionseinrichtung erfassten Bilddaten werden in einem nachfolgenden Rekonstruktionsschritt 102 derart aufbereitet, dass sie eine 3D-Punktwolke mit mehreren Punkten und Farbinformationen für die Punkte erzeugen. Insofern wird hier von einer kolorierten 3D-Punktwolke gesprochen.
In einem Georeferenzierungsschritt 103 wird danach den Punkten der 3D-Punktwolke anhand der geschätzten zweiten Positionsangaben der 3D-Rekonstruktionseinrichtung 4 im lokalen Bezugssystem, der geschätzten Orientierungen der 3D-Rekonstruktionseinrichtung 4 im lokalen Bezugssystem und der gemessenen ersten Positionen der mobilen Erfassungsvorrichtung 1 im globalen Bezugssystem und der gemessenen Beschleunigungen der mobilen Erfassungsvorrichtung 1 entlang der Hauptachsen und der gemessenen Wnkelgeschwindigkeiten der Drehungen der mobilen Erfassungsvorrichtung 1 um die Hauptachsen der mobilen Erfassungsvorrichtung 1 eine erste Positionsangabe in einem geodätischen Referenzsystem, beispielsweise einem amtlich anerkannten Koordinatensystem zugewiesen. Insofern wird nach dem Georeferenzierungsschritt 103 eine kolorierte, georeferenzierte 3D-Punktwolke errechnet und bereitgestellt.
Danach werden in einem Erkennungsschritt 104 anhand der Farbinformationen der Daten, Infrastrukturelemente detektiert. Zur Detektion Klassifikation und/oder Segmentierung der Infrastrukturelemente werden Farbinformationen der erfassten Bilddaten mit einer vorgegebenen Farbinformation verglichen. Alternativ oder zusätzlich kann eine Markierung der Infrastrukturelemente durch den Benutzer bei der Erfassung der Szene mittels des Laserpointers 5 erfolgt sein. Die Markierung durch den Laserpointer 5 kann in den Bilddaten detektiert und zur Detektion der Infrastrukturelemente herangezogen werden. Als Ergebnis des Erkennungsschritts 104 sind mehrere Bildpunkte der Bilddaten, insbesondere mehrere Punkte der kolorierten, georeferenzierten 3D-Punktwolke, jeweils einem gemeinsamen Infrastrukturelement zugewiesen, beispielsweise einem Leitungselement oder einem Leitungsverbindungselement. Die Darstellung in Fig. 3 zeigt eine beispielhafte Abbildung eines erkannten Infrastrukturelements in einer 2D-Projektion.
In einem nachfolgenden Datenaufbereitungsschritt 105 werden die erzeugten Daten des einzelnen Erkennungsschritt aufbereitet und dessen Infrastrukturelemente detektiert. Die Aufbereitung kann mittels der Datenverarbeitungseinrichtung 6 erfolgen. Hierbei sind verschiedene Arten der Aufbereitung möglich, die alternativ oder kumulativ durchgeführt werden können: In dem Datenaufbereitungsschritt 105 können 3D-Objekte erzeugt werden, die den erfassten Infrastrukturelementen entsprechen, so dass ein 3D-Modell des unterirdischen Leitungsnetzwerks erzeugt wird. Ferner kann eine Projektion der 3D- Punktwolke berechnet werden. Es ist möglich, dass ein 2D-Lageplan erzeugt wird, in welchen die detektierten Infrastrukturelemente wiedergegeben sind. Darüber hinaus kann eine Stückliste der erkannten Infrastrukturelemente erzeugt werden.
In einem Visualisierungsschritt 106 kann dann mittels der Anzeigeeinrichtung 8 der mobilen Erfassungsvorrichtung 1
- eine Darstellung der 3D-Punktwolke und/oder
- ein 2D-Lageplan und/oder
- eine Stückliste von Infrastrukturelementen und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder - eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke angezeigt werden.
Die Fig. 4 visualisiert einen Anwendungsfall des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung. Dargestellt sind mehrere Frames einer aufgenommenen Szene, die eine Vielzahl von Infrastrukturelementen 200, 200‘ eines Verteilnetzes enthält. Bei den Infrastrukturelementen 200, 200‘ handelt es sich um Glasfaserleitungen und Telekommunikationskabel, die teilweise ohne Abstand zueinander in einer gemeinsamen Baugrube verlegt sind. Der Durchmesser dieser Infrastrukturelemente 200, 200‘ ist kleiner als 30 cm, teilweise kleiner als 20 cm. Einige Infrastrukturelemente 200‘ weisen einen Durchmesser von kleiner als 10 cm auf. Eine Person 201 steht in der geöffneten Baugrube und benutzt eine (in Fig. 4 nicht sichtbare) mobile Erfassungsvorrichtung 1 zur Erfassung der freiliegenden Infrastrukturelemente 200, 200‘ mit dem erfindungsgemäßen Verfahren.
Die Darstellungen in Fig. 5 und 6 zeigen typische Baustellen zur Verlegung von Infrastrukturelementen unterirdischer Verteilnetzwerke im städtischen Umfeld. Diese Baustellen befinden sich im städtischen Straßenraum und zeichnen sich durch Baugruben mit einer Tiefe von 30 cm bis 2 m aus. Um die Baugrube herum sind die Platzverhältnisse beengt und die Zugänglichkeit der Baugrube teilweise durch parkende Autos bzw. den laufenden Straßenverkehr eingeschränkt. Das städtische Umfeld der Baugrube ist oftmals durch Abschattungen der GNSS-Signale und des Mobilfunkempfangs gekennzeichnet.
In der Fig. 7 ist ein Blockdiagramm gezeigt, in welchem der Datenfluss zur Erzeugung der 3D- Punktwolke und der Zuweisung der Georeferenzen zu den Punkten der Punktwolke dargestellt ist. Als Datenquellen bzw. Sensoren umfasst die mobile Erfassungsvorrichtung 1 die inertiale Messeinheit 3, den Empfänger 2 für die Signale des globalen Navigationssatellitensystems inklusive Mobilfunkschnittstelle 302, eine - hier als Festkörper-LIDAR-Messeinrichtung ausgebildete LIDAR-Messeinrichtung 303 der 3D-Rekonstruktionseinrichtung 4 sowie eine erste 2D-Kamera 304 der 3D-Rekonstruktionseinrichtung 4 und optional eine zweite 2D- Kamera 305 der 3D-Rekonstruktionseinrichtung 4.
Die von diesen Datenquellen bzw. Sensoren bereitgestellten Daten werden synchronisiert in einer Speichereinheit 7 der mobilen Erfassungsvorrichtung abgespeichert (Schritt 306). Das bedeutet, dass
- die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und - die eine oder mehreren zweiten Positionsangaben; und
- die eine oder mehreren zweiten Orientierungsangaben; und
- die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung 1 in drei orthogonal aufeinander stehenden Achsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung 1 um diese Achsen; zeitlich synchronisiert in der Speichereinheit 7 der Erfassungsvorrichtung 1 abgespeichert werden.
Mittels der LIDAR-Messeinrichtung 303 werden die Tiefendaten der Szene erfasst und es erfolgt die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten. Anhand der durch Die LIDAR- Messeinrichtung 303 ermittelten Bilddaten und/oder Tiefendaten wird eine lokale 3D- Punktwolke mit mehreren Punkten erzeugt, vgl. Block 307.
Mittels der ersten 2D-Kamera 304 und ggf. der zweiten 2D-Kamera 305 werden die Bilddaten und/oder die Tiefendaten der Szene 350 erfasst und es erfolgt jeweils die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der jeweiligen Bilddaten und/oder der Tiefendaten der 2D-Kamera 304 und ggf. 305. Hierzu werden Feature- Punkte extrahiert, vgl. Block 308 und ggf. 309.
Ferner wird anhand mit der 3D-Rekonstruktionseinrichtung 4 erfassten Bilddaten und/oder Tiefendaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert und ggf. segmentiert, vgl. Block 310. Dabei werden eine oder mehrere der folgenden Informationen gewonnen: Farbe eines Infrastrukturelements, Durchmesser eines Infrastrukturelements, Verlauf eines Infrastrukturelements, Biegeradius eines Infrastrukturelements, erste und zweite Positionsangaben der mobilen Erfassungsvorrichtung. Die Detektion, Klassifikation und ggf. Segmentierung kann mittels eines künstlichen neuronalen Netzes erfolgen, welches als Teil einer Datenverarbeitungseinrichtung der mobilen Erfassungsvorrichtung ausgestaltet ist, insbesondere als Software und/oder Hardware.
Die mobile Erfassungsvorrichtung kann optional eine Einrichtung zur Sprachbedienung aufweisen. Über die Einrichtung zur Sprachbedienung könne auditive Informationen erfasst werden, die zur Detektion und Klassifizierung der Infrastrukturelemente und/oder zur Zuweisung der Georeferenz zu den Punkten der 3D-Wolke herangezogen werden.
Die als lokale 2D-Daten vorliegenden Ausgangsdaten der Blöcke 307, 308, 309 und 310 werden zunächst in 3D-Daten transformiert (Block 311), insbesondere durch Rückprojektion.
Die derart transformierten Daten mehrerer Frames 350, 351 , 352 einer Szene werden dann einer Sensordatenfusion 312 zugeführt, welche eine Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung 1 auf Grundlage eines nichtlinearen Gleichungssystems durchführt. Zur Sensordatenfusion 312 wird bevorzugt ein Faktorgraph verwendet, der die komplexen Beziehungen zwischen verschiedenen Variablen und Faktoren darstellt. In diesem Zusammenhang können die für jedes Frame sequentiell hinzugefügten Bewegungsinformationen (Winkelgeschwindigkeiten, Orientierungsangaben, etc.) mit Trägerphasenbeobachtungen (GN SS- Faktoren) in einer Bündelblockausgleichung fusioniert werden. Die GNSS-Faktoren stellen hierbei direkte Beobachtungen der georeferenzierten Position eines Frames dar, die relativen-Posen-Faktoren liefern hingegen eine Information über die Änderungen der Pose zwischen den Frames und Feature Point Faktoren verknüpfen die in den Bildaufnahmen detektierten lokalen Ortsbezüge (z. B. wiederkennbare Strukturen und/oder Objekte) und stellen den räumlichen Bezug zur Umgebung her. Ferner können die Ergebnisse der Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen (Farbinformationen, geometrische anwendungsspezifische Merkmale wie z. B. Durchmesser, Verlauf, Biegeradien, erste und zweite Positionsangaben der mobilen Erfassungsvorrichtung, etc.) in die o. g. Sensordatenfusion mit einfließen. Als Ergebnis der Sensordatenfusion 312 entsteht eine zusammenhängende, global vollständig, neu ausgerichtete 3D-Punktwolke aller gesamten Frames einer Szene, auf Basis dessen sich alle Infrastrukturelemente dreidimensional, georeferenziert mit einer absoluten Genauigkeit weniger Zentimeter extrahieren lassen.
Die Darstellung in Fig. 8 zeigt eine Draufsicht auf einen Ausschnitt eines Verteilnetzwerks mit mehreren Infrastrukturelementen 200, die mittels dem erfindungsgemäßen Verfahren und der erfindungsgemäßen Vorrichtung erfasst wurden, Dabei sind Bereiche, die als Teil einer gemeinsamen Szene erfasst wurden, d.h. als Teil einer zusammenhängenden Abfolge mehrerer Frames, durch ein Kästchen 360 markiert. Die Szenen werden zeitlich nacheinander aufgenommen beispielswiese immer dann wenn der jeweilige Abschnitt des Verteilnetzes freigelegt ist. Durch Überlappung sind einige Überlappungs-Bereiche 361 in zwei unterschiedlichen Szenen und damit doppelt enthalten. Die zeitliche Abfolge der Szenen kann sich über mehrere Tage erstrecken. Diese Szenen werden im Rahmen der Sensordatenfusion zusammengeführt, so dass eine einzige, gemeinsame 3D-Punktwolke des Verteilnetzwerks erzeugt wird, die keine doppelt aufgenommenen Bereiche enthält. Dabei ist es vorteilhaft, wenn mit Hilfe der Sensordatenfusion mehrfach bzw. zu unterschiedlichen Zeiten aufgenommene Bereiche von Infrastrukturelementen wie zum Beispiel Überlappungen zwischen zwei Aufnahmen erkannt und auf die zeitlich jüngsten, erfassten Bereiche der Infrastrukturelemente reduziert werden.
In Fig. 9a ist eine Draufsicht auf einen Teil eines Verteilnetzwerks gezeigt, welches teilweise in geschlossener Bauweise, z.B. durch eine Pressbohrung, verlegt wurde. Bei der Erfassung dieses Teils des Verteilnetzes ist ein Teil des im Untergrund angeordneten Infrastrukturelemente 200 aufgrund einer Verdeckung durch die mobile Erfassungsvorrichtung 1 nicht optisch erfassbar, vgl. verdeckter Bereich 400. In der Fig. 9a sind insgesamt vier solche teilweise verdeckten Infrastrukturelemente dargestellt. In der 3D-Punktwolke bzw. dem durch die 3D-Objekte definierten Netzwerk entsteht somit eine optische Fehlstelle. Gemäß einer Ausgestaltung der vorliegenden Erfindung wird die optische Fehlstelle zwischen zwei 3D- Objekten 401, 402 erkannt, die einem ersten Infrastrukturelement 200 entsprechen, und zur Schließung der optischen Fehlstelle wird ein Verbindungs-3D-Objekt 403, insbesondere als 3D-Spline, erzeugt, vgl. Fig. 9b. Zum Erkennen der optischen Fehlstelle werden ein oder mehrere Merkmale eines ersten Endes eines ersten 3D-Objekts 401 und dasselbe oder dieselben Merkmale eines zweiten Endes eines zweiten 3D-Objekts 402 ermittelt, Die Merkmale der beiden Enden werden miteinander verglichen. Bei den Merkmalen kann es sich beispielsweise um den Durchmesser und/oder die Farbe und/oder die Orientierung und/oder Positionsangaben handeln. Alternativ kann vorgesehen sein, dass der Benutzer der mobile Erfassungsvorrichtung diese in einen optischen Fehlstellenmodus versetzt, beispielsweise durch aktivieren eines Bedienelements der mobilen Erfassungsvorrichtung. In dem optischen Fehlstellenmodus kann der Bediener die mobile Erfassungsvorrichtung oberhalb des verdeckten Infrastrukturelements ausgehend von einem Ende des Infrastrukturelements, das dem ersten Endes des ersten 3D-Objekts 401 entspricht, entlang einer optischen Fehlstellen- Trajektorie bis zu dem Ende des Infrastrukturelements 200 bewegt werden, welches dem zweiten Ende des zweiten 3D-Objekts 402 entspricht. Die mobile Erfassungsvorrichtung 1 kann dann ein in Fig. 9b dargestelltes Verbindungs-3D-Objekt 403 erzeugen, welches das erste Ende des ersten 3D-Objekts 401 mit dem zweiten Ende des zweiten 3D-Objekts 402 verbindet. Bezugszeichen:
1 Mobile Erfassungsvorrichtung
2 Ein oder mehrere Empfänger
3 Inertiale Messeinheit
4 3D-Rekonstruktionseinrichtung
5 Laserpointer
6 Datenverarbeitungseinrichtung
7 Speichereinheit
8 Anzeigeeinrichtung
9 Gehäuse
10 Kommunikationseinrichtung 100 Verfahren 101 Datenerfassungsschritt 102 Rekonstruktionsschritt
103 Georeferenzierungsschritt
104 Erkennungsschritt
105 Datenaufbereitungsschritt
106 Visualisierungsschritt
200, 200‘, 200“ Infrastrukturelement 201 Person
302 Mobilfunkschnittstelle
303 LI DAR-Messeinrichtung
304 2D-Kamera
305 2D-Kamera
306 Synchronisierung
307 Erzeugung lokale 3D-Punktwolke
308 Extraktion von Feature-Punkten
309 Extraktion von Feature-Punkten
310 Detektion und Klassifikation
311 Rückprojektion
312 Sensordatenfusion
350, 351 , 352 Frame
360 Szene
361 Überlappungs-Bereich 400 optisch verdeckter Bereich
401 , 402 3D-Objekt 403 Verbindungs-3D-Objekt

Claims

Patentansprüche:
1. Verfahren zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, mit einer mobilen Erfassungsvorrichtung (1), wobei:
- mittels einer 3D-Rekonstruktionseinrichtung (4) der mobilen Erfassungsvorrichtung (1) Bilddaten und/oder Tiefendaten einer Szene erfasst werden, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D-Punktwolke mit mehreren Punkten erzeugt wird;
- mittels einem oder mehreren Empfängern (2) der mobilen
Erfassungsvorrichtung (1) Signale eines oder mehrerer globaler
Navigationssatellitensysteme empfangen werden und eine erste
Positionsangabe der Position der Erfassungsvorrichtung (1) in einem globalen Bezugssystem ermittelt wird; und
- mehrere zweite Positionsangaben der Position der Erfassungsvorrichtung (1) in einem lokalen Bezugssystem und mehrere Orientierungsangaben der Orientierung der Erfassungsvorrichtung (1) in dem jeweiligen lokalen Bezugssystem ermittelt werden, a. wobei die Ermittlung einer der zweiten Positionsangaben und einer der
Orientierungsangaben mittels einer inertialen Messeinheit (3) der mobilen Erfassungsvorrichtung (1) erfolgt, welche lineare
Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Hauptachsen erfasst, und b. wobei die 3D-Rekonstruktionseinrichtung (4) eine oder mehrere 2D- Kameras aufweist, mittels derer die Bilddaten und/oder die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Bilddaten und/oder der Tiefendaten erfolgt; und c. wobei die 3D-Rekonstruktionseinrichtung (4) eine LIDAR- Messeinrichtung aufweist, mittels derer die Tiefendaten der Szene erfasst werden und die Ermittlung einer der zweiten Positionsangaben und einer der Orientierungsangaben mittels visueller Odometrie anhand der Tiefendaten erfolgt; - den Punkten der 3D-Punktwolke anhand der ersten Positionsangabe und mehrerer der zweiten Positionsangaben sowie mehrerer der
Orientierungsangaben jeweils eine Georeferenz zugewiesen wird,
- wobei die mobile Erfassungsvorrichtung (1) von einer Person tragbar ist, wobei die mobile Erfassungsvorrichtung (1) mit beiden Händen einer Person, bevorzugt mit einer Hand einer Person, haltbar ist und ein Gehäuse (9) aufweist, dessen größte Kantenlänge kleiner ist als 50 cm, wobei der oder die Empfänger (2), die inertiale Messeinheit (3) und die 3D-
Rekonstruktionseinrichtung (4) in dem Gehäuse (9) angeordnet sind.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das unterirdische Infrastrukturelement eine Glasfaserleitung oder ein Stromkabel oder ein Telekommunikationskabel ist.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die unterirdischen Infrastrukturelemente, Teil eines Verteilnetzes sind, insbesondere Teil eines Glasfaser-, Strom- oder Telekommunikationskabel-Verteilnetzes.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die unterirdischen Infrastrukturelemente einen Durchmesser von kleiner als 30 cm, bevorzugt kleiner als 20 cm, besonders bevorzugt kleiner als 10 cm, beispielsweise kleiner als 5 cm, aufweisen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bilddaten und/oder Tiefendaten mehrerer Frames einer Szene erfasst werden, die mehrere im Untergrund angeordnete, freiliegende Infrastrukturelemente enthält und anhand dieser Bilddaten und/oder Tiefendaten eine 3D-Punktwolke mit mehreren Punkten erzeugt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der eine oder die mehreren Empfänger (2) zusätzlich dazu eingerichtet sind, Signale, insbesondere Referenz- oder Korrektursignale, von landbasierten Referenzstationen zu empfangen.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die LIDAR-Messeinrichtung der 3D-Rekonstruktionseinrichtung (4) als Festkörper- LIDAR ausgestaltet ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Punkten der 3D-Punktwolke jeweils eine Färb- oder Grauwertinformationen zugeordnet ist, wobei die Färb- oder Grauwertinformation bevorzugt mittels der einen oder mehreren 2D-Kameras der 3D-Rekonstruktionseinrichtung (4) erfasst wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage der 3D-Punktwolke und der Bilddaten der einen oder mehreren 2D- Kameras ein texturiertes Gittermodell erzeugt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
- die erste Positionsangabe der Position in dem globalen Bezugssystem und/oder dieser Positionsangabe zugeordnete Rohdaten; und
- die eine oder mehreren zweiten Positionsangaben; und
- die eine oder mehreren zweiten Orientierungsangaben; und
- die erfassten Bilddaten und/oder die erfassten Tiefendaten und/oder die erfassten linearen Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Achsen des lokalen Bezugssystems sowie die Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Achsen; zeitlich synchronisiert abgespeichert werden, insbesondere in einer Speichereinheit (7) der Erfassungsvorrichtung (1).
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die eine oder mehreren zweiten Positionsangaben in dem jeweiligen lokalen Bezugssystem in das globale Bezugssystem transformiert werden, bevorzugt mittels einer Rigid Body Transformation oder Helmert-Transformation oder mittels einer Hauptachsentransformation.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Zuweisen der Georeferenz zu den Punkten der 3D-Punktwolke mittels Sensordatenfusion erfolgt, wobei bevorzugt zur Optimierung ein Faktorgraph als grafisches Modell und/oder ein angewandtes Schätzungsverfahren, insbesondere nach Levenberg-Marquardt, angewendet wird, wobei die ersten Positionsangaben der Position in dem globalen Bezugssystem bevorzugt verwendet werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensordatenfusion auf einem nichtlinearen Gleichungssystem basiert, auf dessen Grundlage eine Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung erfolgt.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass anhand der mit der 3D- Rekonstruktionseinrichtung erfassten Bilddaten und/oder Tiefendaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert wird und die Schätzung der Position und der Orientierung der mobilen Erfassungsvorrichtung auf Grundlage des nichtlinearen Gleichungssystems zusätzlich anhand der Ergebnisse der Detektion und Klassifizierung des Infrastrukturelements erfolgt.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels dem einen oder den mehreren Empfängern (2) der mobilen
Erfassungsvorrichtung (1) Signale von maximal drei Navigationssatelliten des globalen Navigationssatellitensystems empfangen werden, wobei den Punkten der 3D- Punktwolke jeweils eine Georeferenz mit einer Genauigkeit im Bereich kleiner als 10cm, bevorzugt kleiner 5 cm, bevorzugt kleiner als 3 cm zugewiesen wird.
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweiten Positionsangaben der Position der Erfassungsvorrichtung und/oder die Orientierungsangaben der mobilen Erfassungsvorrichtung als Vorinformationen die Lösung von Mehrdeutigkeiten von Differenzmessungen von Trägerphasen unterstützen, um Infrastrukturelemente auch dann zu georeferenzieren, wenn der Empfänger einen Ausfall meldet oder mittels der inertialen Messeinheit nur kurzzeitig eine verwertbare zweiten Positionsangabe und/oder Orientierungsangabe ermittelt.
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit Hilfe der Sensordatenfusion mehrfach bzw. zu unterschiedlichen Zeiten aufgenommene Bereiche von Infrastrukturelementen wie zum Beispiel Überlappungen zwischen zwei Szenen erkannt und auf den zeitlich jüngsten, erfassten Bereich der Infrastrukturelemente reduziert werden.
18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Gewährleistung der Qualität der durch den oder die Empfänger (2) ermittelten einen oder mehreren ersten Positionsangaben im globalen Bezugssystem ein oder mehrere Qualitätsparameter der globalen Satellitennavigationssysteme, beispielsweise DOP (engl. Dilution of Precision), überwacht werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Plausibilität einer zeitlichen Abfolge von ersten Positionsangaben der Position der Erfassungsvorrichtung (1) in dem globalen Bezugssystem ermittelt wird, bevorzugt indem anhand der zeitlichen Abfolge von ersten Positionsangaben eine erste Geschwindigkeitsangabe ermittelt wird, anhand der erfassten linearen Beschleunigungen und Winkelgeschwindigkeiten eine zweite Geschwindigkeitsangabe berechnet wird und mit der ersten Geschwindigkeitsangabe verglichen wird.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der 3D-Punktwolke und/oder anhand der Bilddaten, mindestens ein Infrastrukturelement, insbesondere eine Leitung oder ein Verbindungselement, detektiert und klassifiziert wird.
21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung eines Infrastrukturelements ein oder mehrere Verfahren der Bildsegmentierung, wie beispielsweise Schwellwertverfahren, insbesondere Histogramm-basierte Verfahren, oder texturorientierte Verfahren, Region-basierte Verfahren, oder auch pixelbasierte Verfahren wie beispielsweise Support Vector Maschine, Entscheidungsbäume und Neuronale Netze eingesetzt werden.
22. Verfahren nach Anspruch 20 oder 21 , dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung mindestens ein Histogramm von Farb- und/oder Grauwertinformationen, und/oder Sättigungswertinformationen und/oder Helligkeitswertinformationen und/oder eines elektromagnetischen Wellenspektrums mehrerer Punkte der 3D-Punktwolke erzeugt wird.
23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, dass in dem Histogramm oder in den Histogrammen lokale Maxima detektiert werden und unter den lokalen Maxima solche Maxima mit den geringsten Abständen zu einem vorgegebenen Färb-, Sättigung- und Helligkeits-Schwellenwert eines Infrastrukturelements detektiert werden.
24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, dass eine Gruppe von Punkten, deren Punkte einen vorgegebenen Abstands-Schwellenwert zu den aus den detektierten lokalen Maxima zusammengesetzten Farbinformationen nicht überschreiten, iterativ durch weitere Punkte, die einen definierten geometrischen und farblichen Abstand zu denen der Gruppe nicht überschreiten, erweitert wird, um einen örtlich zusammenhängenden Bereich eines Infrastrukturelements mit ähnlichen Farbinformationen zu bilden.
25. Verfahren nach einem der Ansprüche 20 bis 24, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente und/oder zur verbesserten Distanzmessung und/oder zur Initialisierung der absoluten Orientierung ein Lichtpunkt eines Laserpointers (5) der Erfassungsvorrichtung (1) erfasst und/oder in der Anzeigerichtung (8) angezeigt wird.
26. Verfahren nach einem der Ansprüche 20 bis 25, dadurch gekennzeichnet, dass zur Detektion, Klassifikation und/oder Segmentierung der Infrastrukturelemente Färb- oder Grauwertinformationen der erfassten Bilddaten, insbesondere Färb- oder Grauwertinformationen der Punkte der 3D-Punktwolke, und/oder die erfassten Tiefendaten und zugehörige Label-Informationen einem künstlichen neuronalen Netz zum Trainieren zugeführt werden.
27. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes detektierte Infrastrukturelement ein dazugehöriges 3D-Objekt erzeugt wird, insbesondere anhand der 3D-Punktwolke.
28. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine optische Fehlstelle zwischen zwei 3D-Objekten erkannt wird und zur Schließung der optischen Fehlstelle ein Verbindungs-3D-Objekt, insbesondere als 3D-Spline, erzeugt wird.
29. Verfahren nach Anspruch 28, dadurch gekennzeichnet, dass zum Erkennen der optischen Fehlstelle ein Merkmal eines ersten Endes eines ersten 3D-Objekts und dasselbe Merkmal eines zweiten Endes eines zweiten 3D-Objekts ermittelt wird, wobei das erste und zweite Merkmal miteinander verglichen werden und das erste und zweite Merkmal ein Durchmesser oder eine Farbe oder eine Orientierung oder eine Georeferenz ist.
30. Verfahren nach Anspruch 28, dadurch gekennzeichnet, dass die mobile Erfassungsvorrichtung (1) in einen optischen Fehlstellenmodus versetzt wird und ausgehend von dem ersten Ende zu dem zweiten Ende bewegt wird.
31. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mobile Erfassungsvorrichtung (1) eine Einrichtung zur Sprachbedienung aufweist.
32. Verfahren nach Anspruch 31 , dadurch gekennzeichnet, dass mittels der Einrichtung zur Sprachbedienung eine akustische Ausgabe von Eingabeaufforderungen und/oder Informationen, insbesondere Rückmeldungen und/oder Warnungen, erfolgt.
33. Verfahren nach einem der Ansprüche 31 oder 32, dadurch gekennzeichnet, dass mittels der Einrichtung zur Sprachbedienung auditive Informationen erkannt und den Punkten der 3D-Punktwolke die Georeferenz zusätzlich anhand der auditiven Informationen zugewiesen wird.
34. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Anzeigeeinrichtung (8) der mobilen Erfassungsvorrichtung (1)
- eine Darstellung der 3D-Punktwolke und/oder
- ein auf Grundlage der 3D-Punktwolke und der Bilddaten der einen oder mehreren 2D-Kameras erzeugtes texturiertes Gittermodell und/oder
- 3D-Objekte, die Infrastrukturelementen entsprechen, und/oder
- ein 2D-Lageplan und/oder
- eine Stückliste von Infrastrukturelementen und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke angezeigt wird.
35. Mobile Erfassungsvorrichtung (1) zur lagerichtigen Erfassung von im Untergrund angeordneten, freiliegenden Infrastrukturelementen, insbesondere in einer geöffneten Baugrube, umfassend:
- eine 3D-Rekonstruktionseinrichtung (4) zur Erfassung von Bilddaten und/oder Tiefendaten einer Szene, die mindestens ein im Untergrund angeordnetes, freiliegendes Infrastrukturelement enthält, und zum Erzeugen einer 3D- Punktwolke mit mehreren Punkten anhand dieser Bilddaten und/oder Tiefendaten;
- einen oder mehrere Empfänger (2) zum Empfangen von Signalen eines oder mehrerer globaler Navigationssatellitensysteme und zur Ermittlung einer ersten Positionsangabe der Position der Erfassungsvorrichtung (1) in einem globalen Bezugssystem;
- eine inertiale Messeinheit (3) zur Ermittlung einer zweiten Positionsangabe der Position der Erfassungsvorrichtung (1) in einem lokalen Bezugssystem und einer Orientierungsangabe der Orientierung der Erfassungsvorrichtung (1) in dem lokalen Bezugssystem, wobei die inertiale Messeinheit (3) eingerichtet ist, lineare Beschleunigungen der mobilen Erfassungsvorrichtung (1) in drei orthogonal aufeinander stehenden Hauptachsen des lokalen Bezugssystems und Winkelgeschwindigkeiten der Drehung der mobilen Erfassungsvorrichtung (1) um diese Hauptachsen zu erfassen; und wobei die 3D-Rekonstruktionseinrichtung (4) eine oder mehrere 2D-Kameras aufweist, mittels derer Bilddaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Bilddaten ermittelbar ist; und wobei die 3D-Rekonstruktionseinrichtung (4) eine LIDAR-Messeinrichtung aufweist, mittels derer Tiefendaten der Szene erfassbar sind, wobei eine zweite Positionsangabe der Position der Erfassungsvorrichtung in dem lokalen Bezugssystem und die Orientierungsangabe mittels visueller Odometrie anhand der Tiefendaten erfolgt;
- wobei die Erfassungsvorrichtung eingerichtet ist, den Punkten der 3D- Punktwolke, anhand der ersten Positionsangabe und mehrerer der zweiten Positionsangaben sowie mehrerer der Orientierungsangaben jeweils eine Georeferenz zuzuweisen;
- wobei die mobile Erfassungsvorrichtung (1) von einer Person tragbar ist, wobei die mobile Erfassungsvorrichtung (1) mit beiden Händen einer Person, bevorzugt mit einer Hand einer Person, haltbar ist und ein Gehäuse (9) aufweist, dessen größte Kantenlänge kleiner ist als 50 cm, wobei der oder die Empfänger (2), die inertiale Messeinheit (3) und die 3D- Rekonstruktionseinrichtung (4) in dem Gehäuse (9) angeordnet sind.
36. Mobile Erfassungsvorrichtung nach dem Anspruch 35, dadurch gekennzeichnet, dass der oder die Empfänger (2) dazu eingerichtet sind, Signale eines oder mehrerer globaler Navigationssatellitensysteme und/oder landbasierter Referenzstationen, bevorzugt mit Korrekturdaten aus Referenzdiensten, zu empfangen und zu verarbeiten.
37. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 36, dadurch gekennzeichnet, dass die 3D-Rekonstruktionseinrichtung (4) eine Time-of-Flight- Kamera, eine Structured-Light-Kamera, eine Stereokamera, eine LIDAR- Messeinrichtung, eine RADAR-Messeinrichtung und/oder eine Kombination derer untereinander, insbesondere mit einer oder mehreren 2D-Kameras, aufweist.
38. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 37, gekennzeichnet durch eine Anzeigeeinrichtung (8) zur Anzeige von Anzeigedaten und eine Datenverarbeitungseinrichtung (6) die dazu eingerichtet ist, Anzeigedaten bereitzustellen, die
- eine Darstellung der 3D-Punktwolke und/oder
- ein auf Grundlage der 3D-Punktwolke und der Bilddaten der einen oder mehreren 2D-Kameras erzeugtes texturiertes Gittermodell und/oder
- 3D-Objekte, die Infrastrukturelementen entsprechen, und/oder
- ein 2D-Lageplan und/oder
- eine Stückliste von Infrastrukturelementen und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion eines oder mehrerer 3D-Objekte, die einem Infrastrukturelement entsprechen, und/oder
- eine Überlagerung von Bilddaten einer 2D-Kamera der Erfassungsvorrichtung mit einer Projektion mehrerer Punkte der 3D-Punktwolke umfassen.
39. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 38, gekennzeichnet durch einen Laserpointer (5) zur optischen Markierung von Infrastrukturelementen und/oder zur erweiterten Distanzmessung und/oder zur Initialisierung der Orientierung in der Anzeigerichtung.
40. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 39, gekennzeichnet durch einen Polarisationsfilter zur Vermeidung von Glanz, Spiegelung und Reflexionen zur Qualitätssteigerung und Optimierung der Beobachtungsdaten.
41. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 40, gekennzeichnet durch eine oder mehrere Beleuchtungseinrichtungen zur verbesserten Detektion, Klassifikation und/oder Segmentierung von Infrastrukturelementen.
42. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 41, dadurch gekennzeichnet, dass die mobile Erfassungsvorrichtung (1) eine Einrichtung zur Sprachbedienung aufweist.
43. Mobile Erfassungsvorrichtung nach Anspruch 42, dadurch gekennzeichnet, dass die Einrichtung zur Sprachbedienung dazu eingerichtet ist, eine akustische Ausgabe von
Eingabeaufforderungen und/oder Informationen, insbesondere Rückmeldungen und/oder Warnungen, zu ermöglichen.
44. Mobile Erfassungsvorrichtung nach einem der Ansprüche 35 bis 43, dadurch gekennzeichnet, dass die die LIDAR-Messeinrichtung der 3D-
Rekonstruktionseinrichtung (4) als Festkörper-LIDAR ausgestaltet ist.
PCT/EP2020/080210 2019-10-28 2020-10-27 Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks WO2021083915A1 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
BR112022008096A BR112022008096A2 (pt) 2019-10-28 2020-10-27 Método e aparelho de captura móvel para a captura de elementos de infraestrutura de uma rede de linhas subterrânea
CA3159078A CA3159078A1 (en) 2019-10-28 2020-10-27 Method and mobile capture apparatus for capturing elements of infrastructure of an underground line network
AU2020372614A AU2020372614A1 (en) 2019-10-28 2020-10-27 Method and mobile detection unit for detecting elements of infrastructure of an underground line network
JP2022524162A JP2022553750A (ja) 2019-10-28 2020-10-27 地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置
CN202080077634.0A CN114667434A (zh) 2019-10-28 2020-10-27 用于捕捉地下线路网络的基础设施元件的方法和移动式捕捉设备
MX2022005059A MX2022005059A (es) 2019-10-28 2020-10-27 Procedimiento y dispositivo de deteccion movil para la deteccion de elementos de infraestructura de una red de linea subterranea.
EP20800066.1A EP4051982A1 (de) 2019-10-28 2020-10-27 Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks
US17/770,750 US20220282967A1 (en) 2019-10-28 2020-10-27 Method and mobile detection unit for detecting elements of infrastructure of an underground line network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019216548.6 2019-10-28
DE102019216548.6A DE102019216548A1 (de) 2019-10-28 2019-10-28 Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks

Publications (1)

Publication Number Publication Date
WO2021083915A1 true WO2021083915A1 (de) 2021-05-06

Family

ID=73040055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/080210 WO2021083915A1 (de) 2019-10-28 2020-10-27 Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks

Country Status (11)

Country Link
US (1) US20220282967A1 (de)
EP (1) EP4051982A1 (de)
JP (1) JP2022553750A (de)
CN (1) CN114667434A (de)
AU (1) AU2020372614A1 (de)
BR (1) BR112022008096A2 (de)
CA (1) CA3159078A1 (de)
CL (1) CL2022001061A1 (de)
DE (1) DE102019216548A1 (de)
MX (1) MX2022005059A (de)
WO (1) WO2021083915A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12094153B2 (en) * 2019-05-08 2024-09-17 Nippon Telegraph And Telephone Corporation Point cloud analysis device, method, and program
CN115127516B (zh) * 2022-06-27 2024-02-02 长安大学 一种基于客车底盘的多功能隧道检测车
CN115183694B (zh) * 2022-09-09 2022-12-09 北京江河惠远科技有限公司 输电线路基础数字化测量系统及其控制方法
FR3142025A1 (fr) * 2022-11-10 2024-05-17 Enedis Tracé d’équipements dans un plan géoréférencé

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011102132T5 (de) * 2010-06-25 2013-05-23 Trimble Navigation Ltd. Verfahren und Vorrichtung für eine imagebasierte Positionierung
US20140210856A1 (en) 2013-01-30 2014-07-31 F3 & Associates, Inc. Coordinate Geometry Augmented Reality Process for Internal Elements Concealed Behind an External Element
US9230453B2 (en) 2013-05-21 2016-01-05 Jan Lee Van Sickle Open-ditch pipeline as-built process
WO2018213927A1 (en) 2017-05-23 2018-11-29 Lux Modus Ltd. Automated pipeline construction modelling
WO2019018315A1 (en) * 2017-07-17 2019-01-24 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US9135502B2 (en) * 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
GB2489179B (en) * 2010-02-05 2017-08-02 Trimble Navigation Ltd Systems and methods for processing mapping and modeling data
WO2012097077A1 (en) * 2011-01-11 2012-07-19 Intelligent Technologies International, Inc. Mobile mapping system for road inventory
US9222771B2 (en) * 2011-10-17 2015-12-29 Kla-Tencor Corp. Acquisition of information for a construction site
EP3140613B1 (de) * 2014-05-05 2024-04-03 Hexagon Technology Center GmbH Erfassungssystem
ES2628950B1 (es) * 2016-02-04 2018-08-16 Tubecheck S.L. Sistema y método para determinar trayectorias en conductos subterráneos
JP6987797B2 (ja) * 2016-03-11 2022-01-05 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US10539956B2 (en) * 2016-08-02 2020-01-21 Penguin Automated Systems Inc. Subsurface robotic mapping system and method
CN106327579B (zh) * 2016-08-12 2019-01-15 浙江科技学院 基于bim的多维成像融合技术实现隧道爆破质量数字化的方法
JP7141403B2 (ja) * 2017-01-27 2022-09-22 カールタ インコーポレイテッド 実時間オンライン自己運動推定を備えたレーザスキャナ
US10444761B2 (en) * 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112011102132T5 (de) * 2010-06-25 2013-05-23 Trimble Navigation Ltd. Verfahren und Vorrichtung für eine imagebasierte Positionierung
US20140210856A1 (en) 2013-01-30 2014-07-31 F3 & Associates, Inc. Coordinate Geometry Augmented Reality Process for Internal Elements Concealed Behind an External Element
US9230453B2 (en) 2013-05-21 2016-01-05 Jan Lee Van Sickle Open-ditch pipeline as-built process
WO2018213927A1 (en) 2017-05-23 2018-11-29 Lux Modus Ltd. Automated pipeline construction modelling
WO2019018315A1 (en) * 2017-07-17 2019-01-24 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES

Also Published As

Publication number Publication date
EP4051982A1 (de) 2022-09-07
US20220282967A1 (en) 2022-09-08
CL2022001061A1 (es) 2023-01-06
JP2022553750A (ja) 2022-12-26
CA3159078A1 (en) 2021-05-06
CN114667434A (zh) 2022-06-24
AU2020372614A1 (en) 2022-05-19
DE102019216548A1 (de) 2021-04-29
MX2022005059A (es) 2022-05-18
BR112022008096A2 (pt) 2022-07-12

Similar Documents

Publication Publication Date Title
EP4051982A1 (de) Verfahren und mobile erfassungsvorrichtung zur erfassung von infrastrukturelementen eines unterirdischen leitungsnetzwerks
EP0763185B1 (de) Verfahren zur erfassung, auswertung, ausmessung und speicherung von geo-informationen
EP1673589B1 (de) Verfahren und vorrichtung zur bestimmung der aktualposition eines geodätischen instrumentes
DE102016105496A1 (de) System zur Prüfung von Objekten mittels erweiterter Realität
DE112016006262B4 (de) Dreidimensionaler Scanner und Verarbeitungsverfahren zur Messunterstützung für diesen
DE10308525A1 (de) Vermessungssystem
DE102013202393A1 (de) Bestimmen von Neigungswinkel und Neigungsrichtung unter Verwendung von Bildverarbeitung
DE102015209101A1 (de) Verfahren zum Erzeugen einer Karte für ein autonomes Fahrzeug
DE102006055652A1 (de) Verfahren zur Aufarbeitung dreidimensionaler Daten und Vorrichtung zur Aufarbeitung dreidimensionaler Daten
DE102008002241A1 (de) Verfahren und Messsystem zur bildbasierten Vermessung eines Raumes
EP2573512A2 (de) Verfahren und Anordnung zur Bestimmung der Lage eines Messpunktes im geometrischen Raum
DE102005037841B4 (de) Verfahren und Anordnung zur Bestimmung der relativen Lage eines ersten Objektes bezüglich eines zweiten Objektes, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE102014205640B4 (de) Vermessung mittels mobilem Gerät
EP3387375B1 (de) Verfahren zur erstellung einer tiefenkarte
DE102015120999A1 (de) Verfahren zur Erzeugung und Darstellung einer computergenerierten, eine Realumgebung abbildenden Simulationsumgebung
WO1998043113A1 (de) Messverfahren unter einbeziehung der lasertechnik für dreidimensionale objekte
WO2019043112A1 (de) Verfahren zur raumvermessung mittels eines messfahrzeugs
EP2756261B1 (de) Vermessungsgerät und verfahren zum gefilterten darstellen von objekt-information
DE10151983A1 (de) Verfahren zur Dokumentation einer Unfallsituation
DE102004028736A1 (de) Verfahren zur automatischen Erfassung und Bestimmung von ortsfesten Objekten im Freien von einem fahrenden Fahrzeug aus
EP2749982B1 (de) Bezugsmodellerzeugung und Aktualisierung
DE102011103510A1 (de) Verfahren zum Erstellen einer dreidimensionalen Repräsentation einer Objektanordnung
WO2013143982A1 (de) Verfahren zum automatischen betreiben einer überwachungsanlage
WO2017144033A1 (de) Verfahren zur ermittlung und darstellung von veränderungen in einer ein reales gelände und darin befindliche reale objekte umfassenden realumgebung
WO2021023499A1 (de) Verfahren und anordnung zur darstellung von technischen objekten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20800066

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022524162

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3159078

Country of ref document: CA

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022008096

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2020372614

Country of ref document: AU

Date of ref document: 20201027

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020800066

Country of ref document: EP

Effective date: 20220530

ENP Entry into the national phase

Ref document number: 112022008096

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20220427