WO2020101156A1 - 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 - Google Patents

정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 Download PDF

Info

Publication number
WO2020101156A1
WO2020101156A1 PCT/KR2019/010931 KR2019010931W WO2020101156A1 WO 2020101156 A1 WO2020101156 A1 WO 2020101156A1 KR 2019010931 W KR2019010931 W KR 2019010931W WO 2020101156 A1 WO2020101156 A1 WO 2020101156A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sensor
geometric
observation
information
Prior art date
Application number
PCT/KR2019/010931
Other languages
English (en)
French (fr)
Inventor
박일석
홍승환
손홍규
임광용
노현주
이지상
송승관
Original Assignee
주식회사 스트리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트리스 filed Critical 주식회사 스트리스
Publication of WO2020101156A1 publication Critical patent/WO2020101156A1/ko

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a geometric correction system of a mobile platform equipped with a sensor based on a normal image, and more specifically, analyzes similarity between observation related data and a normal image of a sensor mounted on a mobile platform by utilizing feature geometry in a normal image. And, by generating a geometric model between the two data based on the reference data, thereby relates to a system for securing the accuracy and stability of the three-dimensional geometric information correction of the mobile platform using an orthogonal image composed of two-dimensional terrain information.
  • Mobile mapping and autonomous driving systems that are under development are equipped with riders, cameras, GPS / navigation sensors, and are used for situational awareness and HD map generation. These sensors may be mounted on a mobile platform for mobile mapping for mapping or an autonomous mobile platform for recognition of surrounding geographical conditions during autonomous driving. In order to improve the accuracy and stable operation of the mobile platform, the accuracy of location information must be sufficiently secured.
  • the internal geometric model of the platform needs to be calibrated through monitoring at any time. For this reason, correction of the geometry of the mobile platform is required, and this is generally done by acquiring and correcting the ground reference point through GNSS 'Network-RTK survey.
  • reference surveying through GNSS surveying is included as an essential process, but it is difficult to secure a reference point when shooting difficult access areas such as mountainous areas and waterside spaces.
  • the orthogonal image is image information reflecting an orthogonal projection model in which distortion such as undulation displacement caused by the projection geometric model of the camera is removed, and is data of two-dimensional topographic information mainly used for digital map production.
  • the orthographic image-related data is large-capacity, a lot of time is devoted to searching for data that matches the mobile platform data to be corrected.
  • the spatial information type or characteristics between the orthogonal image and the acquired mobile platform data is different, the accuracy of similarity analysis is not sufficiently secured.
  • the orthogonal image is generally composed of two-dimensional coordinates, there is a limit to apply it to three-dimensional geometric correction for a mobile platform.
  • the technical problem to be achieved by the present invention is to perform similarity analysis between the observation-related data and the orthogonal image of the sensor mounted on the mobile platform by utilizing the feature geometry in the orthoimage, and thereby establish the geometric model between the two data based on the reference data.
  • By generating it is to provide a geometric correction system of a mobile platform equipped with a sensor that secures accuracy and stability of 3D geometric information correction of a mobile platform using an orthogonal image composed of 2D terrain information.
  • a geometric correction system of a mobile platform equipped with a sensor based on a normal image includes at least one of an image sensor, a navigation sensor, and a three-dimensional survey sensor for obtaining three-dimensional geographic data. Similarity analysis is performed between the observation unit and the orthographic image data by performing a similarity analysis between the sensor unit and the orthographic image data having 2D terrain information and observation related data obtained from at least one sensor mounted on the mobile platform.
  • a similarity analysis unit for setting the estimated reference data, a network model construction unit for generating a geometric model between the reference data and the observation-related data based on the reference data and the reference coordinate system of the orthoimage, and the geometric model And a most probable value that minimizes the amount of separation between observation-related data and the reference data, and includes a most-value calculation unit that generates correction data estimated from the observation-related data according to the most-expected value.
  • the orthoimage is image information reflecting an orthogonal projection model that eliminates distortion caused by the projection geometric model of the camera
  • the observation-related data is observation data directly output from each sensor and the position of the mobile platform
  • external geometry that defines the geometric relationship of the sensor according to the posture, time information for the acquisition time of each sensor, point group data related information based on the 3D survey sensor, geocoding image data related information based on the image sensor , Based on at least one of the object information, the attribute of the extracted object based on at least one of the point group data related information and the geocoding image data related information, the point group data related information, and geocoding image data related information.
  • It may include at least any one of the map-related information generated to create a map.
  • observation-related data further includes an internal geometry calculated based on geometric parameters uniquely defined for each sensor, and the network model constructing unit is the reference data based on the geometric information composed of the external geometry and the internal geometry. And a geometric model between the observation-related data.
  • the maximum value is the geometry information generated by at least one of the external geometry, the error information of the internal geometry, the point group data related information, the geocoding image data related information, the object information, and the map related information.
  • At least one selected from error information, and the geometric shape information may be information related to feature geometry estimated to be the same from the reference data and the observation related data.
  • the orthogonal image search unit for retrieving and extracting orthogonal data for a region of interest that matches the movement trajectory of the mobile platform from the orthogonal image, the orthogonal image-related data is characterized by features within the region of interest And orthogonal data having geometric shape information estimated to be, and the geometric shape information may be extracted based on a specific geometric shape of the object extracted in the region of interest.
  • the similarity analysis is performed to set the reference data estimated equally between the orthonormal data and the observation related data, and when the similarity analysis unit acquires the observation related data from the image sensor, the similarity analysis is performed on the observation related data.
  • similarity analysis may be performed by extracting the geometric shape information and setting the reference data by analyzing at least one of the geometric shape change degree and the laser intensity change degree of the point group data belonging to the observation-related data.
  • the similarity analysis unit may perform pre-processing of image brightness adjustment, pre-processing of image resolution, pre-processing of image clarity, and pre-processing of image clarity in at least one of the observation-related data and the ortho-image-related data. At least one pre-processing selected from pre-processing for transformation, pre-processing for transforming an image coordinate system, and pre-processing for extracting boundary information of an object from the data related to the observation and orthogonal image may be performed.
  • predicted error probability analysis for determining whether the predicted error exceeds the allowable error by analyzing the predicted error between the correction data and the observation-related data based on the minimum distance used when calculating the maximum value Further comprising, the predicted error probability analysis unit, when the expected error exceeds the allowable error, the process of retrieving and extracting the orthogonal image-related data by adjusting the region of interest corresponding to the movement trajectory of the mobile platform,
  • the similarity analysis unit performs pre-processing to minimize deformation due to a difference in observed geometric characteristics between the observation-related data and the ortho data before the similarity analysis, the conditions of the pre-processing are changed, or the ortho-image data and the observation-related
  • a process of sampling and extracting geometric shape information estimated to be another object or other feature geometry from data as new reference data, and processing to remove observation-related data determined as abnormal data from the geometric model generated by the network model construction unit A process of changing at least a part of parameters applied to the geometric model, and a process of changing at least some parameters used in the analysis model equation of the
  • the network model configuration unit further includes a supplementary process of adding vertical geometric data to the reference data applied to the geometric model, or the reference without the vertical geometry data when constructing the geometric model Data can be applied.
  • the complementary processing is a process of setting the vertical geometric data to a predetermined value, a process of inverting three-dimensional coordinates with a plurality of reference data, the vertical representation of a raster-shaped digital elevation model or a vector-shaped numerical map.
  • the observation range for each of the plurality of points from a multi-view or stereo-view in which the sensor is acquired at multiple points according to the process of adding geometric data to the reference data and the movement trajectory of the mobile platform It may be performed by at least one of the process of calculating the vertical geometric data by configuring the intersection geometry of the regions overlapping each other.
  • the present invention relates to a geometric correction system of a mobile platform equipped with a sensor based on a normal image, and more specifically, analysis of similarity between observation related data and a normal image of a sensor mounted on a mobile platform by utilizing feature geometry in the normal image
  • a geometric correction system of a mobile platform equipped with a sensor based on a normal image and more specifically, analysis of similarity between observation related data and a normal image of a sensor mounted on a mobile platform by utilizing feature geometry in the normal image
  • FIG. 1 is a diagram illustrating a process in which sensors mounted with various mobile platforms in the region of an orthoimage acquire data related to observation.
  • FIG. 2 is a configuration diagram of a geometric correction system of a mobile platform equipped with a sensor based on a normal image according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a process of estimating correction data implemented in a geometric correction system of a mobile platform equipped with a sensor.
  • FIG. 4 is a view for explaining an orthogonal image distinguished from a general camera image.
  • FIG. 5 is a diagram illustrating a process of detecting and extracting orthogonal data in an area of interest according to a movement trajectory of a mobile platform in an orthogonal image.
  • FIG. 6 is a diagram illustrating a process of extracting geometric shape information from orthoimages and observation-related data in a similarity analysis unit.
  • FIG. 7 is a diagram illustrating a process of setting reference data based on geometric shape information extracted from orthoimages and observation-related data in a similarity analysis unit.
  • FIG. 8 is a diagram illustrating a process of deriving correction data from the most accurate value calculation unit while generating a geometric model between reference data and observation related data in the network model construction unit.
  • FIG. 9 is a diagram illustrating processing for calculating three-dimensional geometric data by constructing an intersection geometry from a multi-view or a stereo-view according to the movement trajectory of the mobile platform.
  • FIG. 10 is a flowchart illustrating a processing process when an expected error according to a maximum value exceeds an allowable error in a geometric correction system of a mobile platform equipped with a sensor according to an embodiment of the present invention.
  • FIG. 11 is a diagram in which correction data geometrically corrected based on a normal image is observed data observed in a 3D survey sensor.
  • modules generally refer to parts such as software (computer programs) and hardware that are logically separable. Therefore, the module in this embodiment indicates not only a module in a computer program, but also a module in a hardware configuration. Therefore, in the present embodiment, a computer program for functioning them as a module (a program for executing each step in the computer, a program for functioning the computer as each means, and a program for realizing each function in the computer) ), The system and method.
  • “save”, “save”, and equivalents to these are used, however, these statements are stored in a storage device or stored in a storage device when the embodiment is a computer program. It means to control like this.
  • the "parts" to the modules may correspond to the functions one-to-one, but in implementation, one module may consist of one program, multiple modules may consist of one program, or conversely, one module may consist of multiple programs. do. Further, multiple modules may be executed by one computer, or one module may be executed by multiple computers by a computer in a distributed or parallel environment. In addition, another module may be included in one module.
  • connection is also employed in the case of a logical connection (exchange of data, instruction, reference relation between data, etc.) in addition to physical connection.
  • predetermined means that it is determined before the target processing, and not only before the processing according to the present embodiment is started, but also after the processing according to the present embodiment is started, before the target processing. It includes the meaning of what is decided according to the situation, condition, or until then, the condition.
  • a system or device is configured by connecting a plurality of computers, hardware, devices, and the like by a communication means such as a network (including one-to-one correspondence communication communication), and one computer, hardware, device, or the like. It is also included when it is realized.
  • a communication means such as a network (including one-to-one correspondence communication communication), and one computer, hardware, device, or the like. It is also included when it is realized.
  • apparatus and “system” are used as synonymous terms. Of course, the "system” does not include anything other than a social “organization” (social system), which is an artificial decision.
  • the target information is read and input from the storage device, and after processing, the result of processing is processed. It is to write in the storage device. Therefore, description may be omitted regarding read input from the storage device before processing and writing to the storage device after processing.
  • the storage device here may include a hard disk, random access memory (RAM), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.
  • FIG. 1 is a view showing a process of acquiring observation-related data by sensors mounted on various mobile platforms in an area of an orthogonal image
  • FIG. 2 is a sensor-based mobile platform based on an orthogonal image according to an embodiment of the present invention.
  • This is a schematic diagram of a geometric correction system.
  • the geometric correction system 100 of the sensor-mounted mobile platform is mounted on a platform such as a ground and / or aerial vehicle, and may be used as a mobile mapping system or a system for autonomous driving depending on the application.
  • a mobile platform equipped with a sensor may be an unmanned aerial vehicle 14 such as a vehicle 10, an aviation 12, or a drone, and the sensor mounted on the mobile platform may be viewed in red. Observe multiple sensor data while observing.
  • the geometric correction system 100 of a mobile platform equipped with a sensor includes an image sensor 102, a three-dimensional survey sensor 104, a navigation sensor 106, an orthogonal image search unit 108, and a sensor data processing unit ( 110), a similarity analysis unit 112, a network model construction unit 114, a most probable value calculation unit 116, and a predicted error probability analysis unit 118.
  • the image sensor 102, the three-dimensional measurement sensor 104, and the navigation sensor 106 constitute a sensor unit, and in this embodiment, it is mainly described that three heterogeneous sensors are mounted, but the sensor unit is at least one of the aforementioned sensors. Examples including the same are not excluded.
  • the image sensor 102 is a sensor that is mounted on a ground or an aerial mobile platform and acquires observation data for an image by photographing surrounding objects, such as terrain and features, as an image. And is not limited thereto.
  • the 3D survey sensor 104 is a sensor that is mounted on a platform and acquires 3D geography data related to objects around it, such as terrain and features, and acquires observation data for 3D survey, and is an active remote sensing sensor.
  • the 3D measurement sensor 104 may be a laser or an ultrasonic sensor, and in the case of a laser sensor, it may be a light detection and ranging (LiDAR) sensor.
  • the lidar sensor scans a laser to an object to acquire data and detects a parallax and energy change of an electromagnetic wave reflected and returned from the object to calculate distance and reflection intensity for the object.
  • the navigation sensor 106 is a sensor that detects navigation information such as positioning information, platform position, posture, and speed, and acquires observation data for navigation, and acquires a position for acquiring a moving position of the platform through a satellite navigation device (GPS)
  • the apparatus may include a device, an inertial measurement unit (IMU), and a posture acquisition device that acquires a vehicle's posture through an inertial navigation system (INS).
  • IMU inertial measurement unit
  • INS inertial navigation system
  • Each sensor may be mounted on the same platform, but may be distributed and mounted on a ground platform and an aerial platform such as satellite, aviation, and drone.
  • the orthogonal image search unit 108 receives a plurality of orthogonal image-related data for a region of interest corresponding to the movement trajectory 18 of the mobile platform from the orthogonal image 16 shown in the left image of FIG. 5. You can search and extract.
  • the orthogonal image 16 is image information that reflects an orthogonal projection model in which distortion such as undulation displacement caused by the projection geometric model of the camera is eliminated, and is data of two-dimensional topographic information mainly used for digital map production.
  • camera image information obtained from a camera or a navigation sensor of a satellite or aeronautical system basically has a perspective projection geometry.
  • An image that is modeled to have the geometric characteristics of orthogonal projection through geometric correction and back modeling (Back-projection, 3D intersection, etc.) through camera image information is an orthogonal image, and is horizontally positioned on each pixel of the orthogonal image. The coordinates are matched.
  • Orthoimages obtained from satellite images or aerial images are constructed all over the world and can be updated periodically according to the shooting cycle. Orthoimages are managed by the National Geographic Information Service in Korea, and since the standards for quality control for location accuracy and resolution are clear, quality control for utilization results is very easy.
  • the orthographic image-related data includes orthogonal data having geometric shape information estimated as feature geometry in the region of interest, and the geometric shape information may be extracted based on a specific geometric shape of the object extracted in the region of interest.
  • the object may be randomly selected as an object capable of easily extracting feature geometry such as points, lines, faces, and columns on a map, such as a road sign, an object of unusual shape, and a building boundary line.
  • the sensor data processing unit 110 may output a plurality of observation-related data by performing predetermined processing on sensor data acquired from the at least one sensor 102 to 106.
  • Observation-related data are calculated based on observation data output directly from each sensor (102 ⁇ 106), external geometry that defines the geometric relationship of the sensor according to the position and attitude of the mobile platform, and geometric parameters uniquely defined for each sensor. It may include at least one of the internal geometry. External geometry and internal geometry can constitute geometric information.
  • observation-related data includes the above-described observation data, geometric information, time information for the acquisition time of each sensor, unique data related to device-specific attributes for each sensor 102-106, point group based on the three-dimensional survey sensor 104 Based on at least one of data-related information, geocoding image data-related information based on the image sensor 102, point group data-related information, and geocoding image data-related information, object information, point group estimated by attribute of the extracted object Based on at least one of data-related information and geocoding image data-related information, at least one of map-related information generated for creating a map may be included.
  • the internal geometry is calculated based on geometric parameters defined for each sensor 102-106, and in this case, may be calculated through a predetermined equation.
  • the internal geometry is an inherent value of the sensor itself, and is an error in observation data for each sensor 102 to 106 due to parameters maintained regardless of whether the platform or the like is moved.
  • the geometric parameter for the image sensor may be at least one of a focal length, a pub position, a lens distortion parameter, and a sensor format size.
  • the geometric parameters for the 3D survey sensor may be at least one of an angle of incidence, a distance scale, a distance offset, and an axial offset of each laser.
  • the geometric parameter for the navigation sensor may be at least one of an axial scale and an axial offset.
  • the sensor data processing unit 110 is an external geometry that defines an internal geometry for each sensor 102-106 and a geometric relationship between each sensor according to the position and posture of a platform on which at least one of the sensors 102-106 is mounted. Data fusion is performed by performing geometric modeling processing based on the configured geometric information.
  • the external geometry is calculated based on the parameter values that change each time the observation data of each sensor 102-106 is acquired due to the position and attitude of the platform being moved, that is, the position and attitude of each sensor 102-106. It is an error of the observed data, and in this case, it can be calculated through a predetermined equation.
  • the unique data of the image sensor 102 includes the illuminance of the sensor, ISO, shutter speed, shooting date / time, time synchronization information, sensor model , Lens model, sensor serial number, image file name, and at least one of a file storage location.
  • the unique data of the 3D survey sensor 104 includes, for example, lidar information, the date and time of the sensor, the sensor model, the sensor serial number, the laser wavelength, the laser intensity, the laser transmission and reception time, the laser observation angle / distance, and the laser pulse. , Electronic time delay, standby delay, and sensor temperature.
  • the unique data of the navigation sensor 106 includes GNSS / IMU / INS sensor model information, GNSS reception information, GNSS satellite information, GNSS signal information, GNSS navigation information, ionospheric / convective signal delay information of the GNSS signal, DOP information, and Earth.
  • Behavior information dual / multiple GNSS equipment information, GNSS base station information, wheel sensor information, gyro sensor scale / bias information, accelerometer scale / bias information, position / posture / velocity / acceleration / angular velocity / angular acceleration information and expected error, navigation It may include at least one of information filtering model, erasure error information, photographing date / time, time synchronization information, or all.
  • the time information may be a time when observation data of each sensor 102 to 106 is generated.
  • the sensor data processing unit 110 may generate 3D point cloud data related information based on the 3D survey sensor 104 and geocoding image data related information based on the image sensor 102 based on the observation data and geometric information. .
  • 3D point cloud data related information based on the 3D survey sensor 104
  • geocoding image data related information based on the image sensor 102 based on the observation data and geometric information.
  • an example of generating all of the point group data and geocoding image data related information is provided, but in some cases, only some of them may be generated.
  • the 3D point cloud data-related information includes point group 3D coordinate data, point group color information, point group class information estimated from an object extracted from point group 3D coordinate data, and laser when the 3D survey sensor is a laser sensor. It may include at least one of the intensity information.
  • the geocoding image data-related information may include at least one of geocoding coordinate data for each pixel, color information for geocoding, and class information for geocoding estimated from a target object extracted from geocoding coordinate data. .
  • the sensor data processing unit 110 extracts object information related to the property of the extracted object based on at least one of the 3D point cloud data related information and the geocoded image data related information, and also extracts map related information for creating a map. You can create and map it through the drawing process.
  • the sensor data processing unit 110 may recognize information on the object by applying machine learning to candidate group data related to the object identified from at least one of the 3D point group data related information and the geocoding image data related information.
  • the object information may include properties related to a specific geometric shape, color, and texture, such as an object type, an overall shape, and lines, faces, circles, and spheres constituting at least a part of the object.
  • the map-related information may include at least one of map coordinate data based on at least one of point group 3D coordinate data and geocoding coordinate data, and object information estimated from an object.
  • map-related information, the 3D coordinate data included in the 3D point cloud data related information, and the geocoding coordinate data included in the geocoding image data related information are two-dimensional or three-dimensional transformation data, such as Rigid-body, Affine, Similartiy It may be composed of any one of the data.
  • the similarity analysis unit 112 performs predetermined pre-processing on at least one of observation related data and orthogonal data obtained from at least one sensor 102 to 106 mounted on a mobile platform and processed by the sensor data processing unit 110, , Similarity analysis between observation-related data and orthogonal data may be performed to set at least one reference data estimated equally from the multiple observation-related data and multiple orthogonal data.
  • the above-described pre-processing is at least one of pre-processing of image luminance adjustment, pre-processing of image resolution adjustment, pre-processing of image sharpness adjustment, pre-processing of image geometric transformation, pre-processing of image coordinate system transformation, and pre-extraction of object boundary information from observation and ortho-image related data. Can be applied.
  • This pre-processing improves the accuracy of similarity analysis by minimizing the amount of deformation of the geometric information, coordinate system, resolution, etc. due to differences in the observed data characteristics such as the unique data of the sensors 102 to 106, the environment during observation, and scale / rotation / displacement values. To be carried out.
  • an orthogonal image of orthogonal data is acquired at a clear weather at noon, and when observation-related data is acquired at rainy weather at sunset, the resolution of both data may be different and errors in similarity analysis may be caused.
  • pre-processing to adjust the resolution of both data to a close value may be performed.
  • the image geometric transformation pre-processing may be image scale transformation or image rotation change.
  • the similarity analysis unit 112 analyzes color changes based on pixel coordinates among geocoding image data-related information belonging to the observation-related data to obtain geometric shape information. Similarity analysis can be performed by extracting and setting reference data.
  • the similarity analysis unit 112 analyzes at least one of the geometric shape gradient and the laser intensity gradient of the point cloud data belonging to the observation-related data. Similarity analysis can be performed by extracting information and setting reference data.
  • the network model constructing unit 114 generates a geometric model between reference data and the observation-related data based on the reference data and the reference coordinate system of the orthoimage.
  • the network model construction unit 114 may generate a geometric model between reference data and observation related data based on geometric information composed of external geometry and internal geometry.
  • the reference coordinate system may be set as the orthogonal image coordinate system 20 of the orthogonal image 16 shown in FIG. 1.
  • observation-related data can be converted into a standardized coordinate system and corrected.
  • the network model construction unit 114 may generate a geometric model between reference data and collected data based on external geometry among geometric information. Considering that the positions and postures of the mobile platform on which the sensors 102 to 106 that have acquired the observation-related data are mounted and the sensors that have acquired the orthoimage are different from each other, external geometry may be preferentially used when generating the geometric model.
  • the network model constructing unit 114 may calculate an objective function that minimizes the distance from observation-related data through a geometric model to which a plurality of parameters are applied.
  • the network model constructing unit 114 may apply the reference data without vertical geometric data when constructing the geometric model, but ortho data is two-dimensional data, and observation-related data obtained from the three-dimensional survey sensor 104 is 3 In the case of dimensional data, in order to increase the consistency of the geometric model, a supplementary process of adding vertical geometric data to the reference data applied to the geometric model may be further included.
  • the complementary processing is a process of setting vertical geometric data to a predetermined value, a process of inverting three-dimensional coordinates with a large number of reference data, a vertical geometry data in a raster form, a high-level numerical model, or a vector form. It may be at least one of the process of adding to the reference data and the process of adding three-dimensional geometric data by the intersection geometry 30 as shown in FIG. 9.
  • the processing of FIG. 9 is based on the movement trajectory 18 of the mobile platform, as shown in FIG. 9, the sensors 102 to 106 are multi-view or stereo-view acquired from multiple points.
  • the vertical geometric data is calculated by constructing the intersection geometry 30 with respect to the feature geometry 22 of the reference data photographed in the regions overlapping each other in the observation range 28 for each point. This is a process to add to the reference data 24 of the orthogonal image 24. If the geometric stability is not secured by the complementary processing by the intersection geometry, the above-described other processing may be additionally applied.
  • observation-related data can be acquired in the form of a navigation sensor 106 coupled to the image sensor 102, equidistant, equisolid-angle, orthographic, which are used for photo analysis, Stereoscopic, perspective geometry, longitudinal cylindrical, transverse cylindrical, mercarto, trasverse mercarto, spherical, orthographic, fisheye lens type, stereoscopic , Geometric modeling is possible with at least one of the central perspectives. If the observation-related data can be obtained in the form of a combination of the navigation sensor 106 and the three-dimensional survey sensor 104, geometric modeling is possible as a model including three-dimensional transformation geometry.
  • the most probable value calculator 116 calculates a most probable value that minimizes the amount of separation between observation-related data and the reference data in the geometric model, and generates correction data estimated from the observation-related data according to the most probable value. .
  • the maximum value calculating unit 116 uses a predetermined analysis model formula, and some parameters among a plurality of parameters may be applied to the model formula.
  • the maximum value may be at least one of external geometric and internal geometric error information.
  • the maximum value may be calculated as at least one of error information of geometric shape information generated by at least one of the above-described information, point group data related information, geocoding image data related information, object information, and map related information. The process of calculating the maximum value will be described later with reference to FIG. 3.
  • the predicted error probability analysis unit 118 analyzes the predicted error between the correction data and the observation-related data based on the minimum distance used when calculating the maximum value, and determines whether the predicted error exceeds the allowable error, In the case of exceeding, at least one of the following processes is instructed to the relevant part and processed.
  • the predicted error probability analysis unit 118 restarts the correction process from the corresponding unit (module) related to the newly set constraint condition after such processing, and controls to regenerate the maximum value and correction data.
  • the predicted error probability analysis unit 118 searches for orthoimages to perform processing to search for and extract orthonormal data by adjusting a region of interest that matches the moving trajectory 18 of the mobile platform when the predicted error exceeds the allowable error.
  • the unit 108 can be controlled.
  • the predicted error probability analysis unit 118 changes at least one of the pre-processing performed by the similarity analysis unit 112 or a new reference based on geometric shape information estimated as another object or other feature geometry in orthogonal data and observation-related data.
  • the similarity analysis unit 112 may be controlled to perform a process of sampling and extracting data.
  • the predicted error probability analysis unit 118 may control the network model construction unit 114 to perform a process of determining and removing observation-related data representing a predetermined distance from the objective function calculated through the geometric model as abnormal data. .
  • the predicted error probability analysis unit 118 may control the network model construction unit 114 to perform a process of changing at least some parameters applied to the geometric model.
  • the predicted error probability analysis unit 118 is configured to perform at least one of the process of changing at least some parameters used in the analysis model formula of the most applicable value applied to the most accurate value calculation unit 116 or changing the analysis model formula. It is also possible to control the value calculation unit 116.
  • the similarity analysis of various techniques between the observation-related data and the orthogonal image of the sensor mounted on the mobile platform is performed, and based on this, between the two data
  • generating a geometric model it is possible to secure accuracy and stability of 3D geometric information correction of a mobile platform using an orthogonal image composed of 2D terrain information.
  • the orthoimage is easy to secure and utilize the reference data in a one-to-one relationship with the coordinates of the ground, and it is possible to easily manage the reference data when performing geometric correction of the mobile platform. Based on this, it is possible to generate highly accurate correction data in correction of observation-related data.
  • FIG. 3 is a flowchart illustrating a process of estimating correction data implemented in a geometric correction system of a mobile platform equipped with a sensor
  • FIG. 4 is a diagram illustrating an orthogonal image distinguished from a general camera image.
  • FIG. 5 is a view showing a process of detecting and extracting orthogonal data from a region of interest according to the movement trajectory of the mobile platform from the orthogonal image
  • FIG. 6 is a process of extracting geometric shape information from the orthogonal image and observation-related data from the similarity analysis unit It is a figure showing.
  • FIG. 7 is a diagram illustrating a process of setting reference data based on geometric shape information extracted from a normal image and observation-related data in a similarity analysis unit
  • FIG. 8 is a geometric model between reference data and observation-related data in a network model construction unit It is a diagram showing the process of deriving correction data from the most accurate value calculation unit while generating.
  • FIG. 9 is a diagram illustrating processing for calculating 3D geometric data by constructing an intersection geometry from a multi-view or stereo view according to a movement trajectory of a mobile platform, and
  • FIG. 11 is observation-related data acquired by a 3D survey sensor A is a diagram representing geometrically corrected correction data based on a normal image.
  • the sensor unit mounted on the mobile platform acquires sensor data from at least one sensor 102 to 106, and the sensor data processing unit 110 processes sensor data to acquire a number of observation related data. Then, the ortho-image retrieval unit 108 searches for a plurality of ortho-images of the ortho-image 16 based on the observation-related data (S305).
  • Observation-related data is calculated based on observation data output directly from each sensor (102 ⁇ 106), external geometry defining the geometric relationship of the sensor according to the position and posture of the mobile platform, and geometric parameters uniquely defined for each sensor. It may include at least one of the internal geometry. External geometry and internal geometry can constitute geometric information.
  • observation-related data includes the above-described observation data, geometric information, time information for the acquisition time of each sensor, unique data related to device-specific attributes for each sensor 102-106, point group based on the three-dimensional survey sensor 104 Based on at least one of data-related information, geocoding image data-related information based on the image sensor 102, point group data-related information, and geocoding image data-related information, object information, point group estimated by attribute of the extracted object Based on at least one of data-related information and geo-coded image data-related information, at least one of map-related information generated to create a map may be included.
  • the orthogonal image search unit 108 searches for and extracts a plurality of orthonormal data as orthogonal image-related data for a region of interest corresponding to the movement trajectory 18 of the mobile platform from the orthogonal image 16 do.
  • Ortho data has geometric shape information estimated to be feature geometries in the region of interest, and the geometric shape information can be extracted based on a specific geometric shape of the object extracted in the region of interest.
  • the object may be randomly selected as an object in which features, such as a road sign, an unusually shaped object, a building boundary line, and the like, can be easily extracted from a map, such as points, lines, faces, and columns, as shown in FIG. 5.
  • the similarity analysis unit 112 sets at least one reference data that is equally estimated from both data by similarity analysis between the searched orthogonal data and observation-related data (S310).
  • the similarity analysis unit 112 may perform predetermined pre-processing on at least one of acquisition observation related data and orthogonal data from at least one sensor 102 to 106 before the similarity analysis.
  • the above-described pre-processing is at least one of pre-processing of image luminance adjustment, pre-processing of image resolution adjustment, pre-processing of image sharpness adjustment, pre-processing of image geometric transformation, pre-transformation of image coordinate system, pre-extraction of object boundary information from observation and ortho-image related data. Can be applied.
  • This pre-processing improves the accuracy of the similarity analysis by minimizing the amount of deformation of the geometric information, coordinate system, resolution, etc. due to differences in the observed data characteristics such as the unique data of the sensors 102 to 106, the environment during observation, and scale / rotation / displacement values. To be carried out.
  • an orthogonal image of orthogonal data is acquired at a clear weather at noon, and when observation-related data is acquired at rainy weather at sunset, the resolution of both data may be different and errors in similarity analysis may be caused.
  • pre-processing to adjust the resolution of both data to a close value may be performed.
  • the image geometric transformation pre-processing may be image scale transformation or image rotation change.
  • the similarity analysis unit 112 changes color based on pixel coordinates among geocoding image data-related information belonging to the observation-related data By analyzing, it is possible to perform similarity analysis to extract geometric shape information and set reference data.
  • the similarity analysis unit 112 at least one of the geometric shape change and the laser intensity change of the point cloud data belonging to the observation-related data as shown in FIG. By analyzing, it is possible to perform similarity analysis to extract geometric shape information and set reference data. According to FIG.
  • the network model constructing unit 114 generates a geometric model between the reference data and the observation-related data based on the reference data and the reference coordinate system 20 of the orthoimage (S315).
  • the network model construction unit 114 generates a geometric model between reference data and the observation-related data based on geometric information composed of external geometry and internal geometry.
  • a geometric model is generated through an optimization process that also considers internal geometry included in reference data and observation-related data.
  • the network model constructing unit 114 may calculate an objective function that minimizes the distance from observation-related data through a geometric model to which a plurality of parameters are applied.
  • the network model constructing unit 134 configures a geometric model in terms of reference data and a reference coordinate system by geometric information including internal geometry and external geometry.
  • the internal geometric model of the 3D measurement sensor 104 may be defined as [Equation 1].
  • the internal geometric model of the image sensor 102 may be defined as [Equation 2].
  • the external geometric model of the three-dimensional survey sensor 104 for data fusion by applying the internal geometric model of the defined three-dimensional survey sensor 104 and the internal geometric model of the defined image sensor 102 is shown.
  • the geometric model of 8 it is defined as in [Equation 3]
  • the external geometric model of the image sensor 102 can be defined as in [Equation 4].
  • the network model construction unit 114 generates a geometric model between reference data and observation-related data based on external geometry among the geometric information. Can be. Considering that the positions and postures of the mobile platform on which the sensors 102 to 106 that have acquired the observation-related data are mounted and the sensors that have acquired the orthoimage are different from each other, external geometry may be preferentially used when generating the geometric model.
  • the network model constructing unit 114 may apply the reference data without vertical geometric data when constructing the geometric model, but ortho data is two-dimensional data, and observation-related data obtained from the three-dimensional survey sensor 104 is 3 In the case of dimensional data, in order to increase the consistency of the geometric model, a supplementary process of adding vertical geometric data to the reference data applied to the geometric model may be further included.
  • the complementary processing is a process of setting vertical geometric data to a predetermined value, a process of inverting three-dimensional coordinates with a large number of reference data, a vertical geometry data in a raster form, a high-level numerical model, or a vector form. It may be at least one of the process of adding 3D to the reference data and the process of calculating the 3D geometric data by the intersection geometry 30.
  • intersection geometry The processing by the intersection geometry is based on the movement trajectory 18 of the mobile platform, as shown in FIG. 9, where the sensors 102-106 are acquired at multiple points in multi-view or stereo view.
  • Vertical geometric data is calculated by constructing an intersection geometry 30 with respect to the feature geometry 22 of the reference data photographed in regions overlapping each other in the observation range 28 for each of the multiple points from the vertical geometry. This is a process of adding data to the reference data 24 of the orthogonal image 24. If the geometric stability is not secured by the complementary processing by the intersection geometry, the above-described other processing may be additionally applied.
  • the maximum value calculating unit 116 calculates a maximum value for minimizing the distance between observation-related data and reference data in the geometric model, and estimates correction data from the observation-related data according to the maximum value (S320).
  • the maximum value calculating unit 116 uses a predetermined analysis model formula, and some parameters among a plurality of parameters may be applied to the model formula.
  • the maximum value may be at least one of external geometric and internal geometric error information.
  • the maximum value may be calculated as at least one of error information of geometric shape information generated by at least one of the above-described information, point group data related information, geocoding image data related information, object information, and map related information.
  • the maximum value may be calculated using numerical analysis that statistically minimizes the separation between reference data such as object information, coordinate data, geometric information, and time information and related information belonging to the collected data, and the maximum value is a scalar value, It can be expressed in the form of a matrix or model.
  • the data geometric model in order to apply the least squares method as a process of finding the maximum value, the data geometric model must be Gauss-Markov modeled, which can be defined by the following equation.
  • y is the observed value
  • F is the basic geometry
  • ( ⁇ 0 ) is the existing geometric model parameter
  • J is the Jacobian matrix derived from the relationship between the basic geometry and the parameter
  • ⁇ is the geometric model parameter correction amount
  • the correction amount of the geometric model parameter can be inversely calculated using Gauss-Markov, which can be defined by the following equation.
  • I the inverse calculated geometric model parameter correction amount, and is the maximum value
  • P the weight ratio of the observation value set according to the accuracy of the observation value.
  • correction data RL_1 can be generated as in FIG. 7.
  • the related data of the correction data may include variance and covariance values together with the above-described values.
  • FIG. 11 An image in which the correction data is estimated according to the system 100 of this embodiment and the geometric correction related to the sensor unit mounted on the mobile platform is made is illustrated through FIG. 11.
  • the 3D observation-related data obtained from the Lidar sensor mounted on the mobile platform is geometrically corrected based on the orthoimage, and the Lidar data is displayed in blue, and the movement trajectory of the mobile platform is displayed in red.
  • the present embodiment by utilizing the feature geometry in the orthoimage to analyze the similarity between the observation-related data and the orthogonal image of the sensor mounted on the mobile platform, thereby generating a geometric model between both data based on the reference data , It is possible to secure the accuracy and stability of the three-dimensional geometric information correction of the mobile platform using an orthogonal image composed of two-dimensional terrain information.
  • the orthoimage is easy to secure and utilize the reference data in a one-to-one relationship with the coordinates of the ground, and it is possible to easily manage the reference data when performing geometric correction of the mobile platform. Based on this, it is possible to generate highly accurate correction data in correction of observation-related data.
  • FIG. 10 is a flowchart illustrating a processing process when an expected error according to a maximum value exceeds an allowable error in a geometric correction system of a mobile platform equipped with a sensor according to an embodiment of the present invention.
  • the predicted error probability analysis unit 118 analyzes the predicted error between the correction data and the observation-related data based on the minimum distance used when calculating the maximum value (S1005), and whether the predicted error exceeds the allowable error It is determined (S1010).
  • At least one of the following processes (at least) of the corresponding unit (module), that is, an orthogonal image search unit 108, a similarity analysis unit 112, a network model construction unit 114, and a maximum value calculation unit 116 It is controlled by instructing any one of them, and the correction process is restarted again from the corresponding part (module) related to the newly set constraint, so as to regenerate the maximum value and the correction data (S1015).
  • the predicted error probability analysis unit 118 searches for orthoimages to perform processing to search for and extract orthonormal data by adjusting a region of interest that matches the moving trajectory 18 of the mobile platform when the predicted error exceeds the allowable error.
  • the unit 108 can be controlled. For example, if the initial region of interest is too wide or the feature geometry is selected less than the city center, such as a mountainous region, the region of interest may be set to be narrow, but the feature region may be set to a relatively large region.
  • the predicted error probability analysis unit 118 changes at least one of the pre-processing performed by the similarity analysis unit 112 or a new reference based on geometric shape information estimated as another object or other feature geometry in orthogonal data and observation-related data.
  • the similarity analysis unit 112 may be controlled to perform a process of sampling and extracting data. For example, image luminance adjustment pre-processing, image resolution adjustment pre-processing, image sharpness adjustment pre-processing, image geometric transformation, image coordinate system transformation, and pre-processing for extracting object boundary information from observation and ortho-image related data may be performed.
  • the predicted error probability analysis unit 118 may control the network model construction unit 114 to perform a process of determining and removing observation-related data representing a predetermined distance from the objective function calculated through the geometric model as abnormal data. . For example, if there is observation-related data having a high objective function and a separation distance among observation-related data L_1 of the first object and observation-related data L_2 of the second object, the data is determined as abnormal data and removed. In some cases, reference data related to this may be excluded.
  • the predicted error probability analysis unit 118 may control the network model construction unit 114 to perform a process of changing at least some parameters applied to the geometric model.
  • the predicted error probability analysis unit 118 is configured to perform at least one of the process of changing at least some parameters used in the analysis model formula of the most applicable value applied to the most accurate value calculation unit 116 or changing the analysis model formula. It is also possible to control the value calculation unit 116.
  • the correction data estimated in step S320 is finally adopted.
  • the accuracy and stability of the geometric correction can be further improved.
  • the components constituting the system 100 shown in FIG. 2 or steps according to the embodiments shown in FIGS. 3 and 10 may be recorded on a computer-readable recording medium in the form of a program for realizing the function.
  • the computer-readable recording medium refers to a recording medium that stores information such as data or programs by electrical, magnetic, optical, mechanical, or chemical action, and can be read by a computer. Examples of such recording media that can be separated from a computer include, for example, portable storage, flexible disks, magneto-optical disks, CD-ROMs, CD-R / Ws, DVDs, DATs, and memory cards. In addition, there are solid state disks (SSDs), hard disks, ROMs, etc., as recording media fixed to mobile devices and computers.
  • SSDs solid state disks

Abstract

정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템이 제공된다. 상기 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서 중 적어도 하나를 포함하는 센서부와, 상기 이동형 플랫폼에 탑재된 적어도 하나의 센서로부터 취득된 관측 관련 데이터와 2차원 지형 정보를 갖는 정사영상 관련 데이터 간에 유사성 분석을 실행하여 상기 관측 관련 데이터와 상기 정사영상 관련 데이터로부터 동일하게 추정되는 기준 데이터를 설정하는 유사성 분석부와, 상기 기준 데이터와 상기 정사영상의 기준 좌표계를 기반으로 상기 기준 데이터 및 상기 관측 관련 데이터 간의 기하 모델을 생성하는 네트워크 모델 구성부와, 상기 기하 모델에서 상기 관측 관련 데이터와 상기 기준 데이터 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며 상기 최확값에 따라 상기 관측 관련 데이터로부터 추정된 보정 데이터를 생성하는 최확값 산출부를 포함한다.

Description

정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
본 발명은 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 관한 것으로, 보다 상세하게는 정사영상에서의 특징 기하를 활용하여 이동형 플랫폼에 탑재된 센서의 관측 관련 데이터와 정사영상 간의 유사성 분석을 수행하고, 이에 의한 기준 데이터를 기반으로 양 데이터 간의 기하 모델을 생성함으로써, 2차원 지형 정보로 구성된 정사영상을 이용한 이동형 플랫폼의 3차원적 기하 정보 보정의 정확도 및 안정성을 확보하는 시스템에 관한 것이다.
최근 개발 중에 있는 모바일 매핑 및 자율주행 시스템에는 라이다, 카메라, GPS/항법센서들이 탑재되어 상황인지, HD map 생성 등에 활용되고 있다. 이러한 센서들은 지도 제작을 위한 모바일 매핑을 위한 이동형 플랫폼 또는 자율주행시에 주변 지리적 상황 인식을 위한 자율주행 이동형 플랫폼에 탑재될 수 있다. 이동형 플랫폼의 정확도 향상과 안정적 운용을 위해선 위치 정보에 대한 정확도가 충분히 확보되어야 한다.
GNSS (Global Navigation Satellite System)과 INS (Inertia Navigation System)의 발전은 정확도 향상 (50cm 수준)에 상당 정도 기여하였으나, 최근 이동형 플랫폼의 안정적 자율주행시스템과 이를 위한 지도 제작에 활용되기에는 충분한 정확도 (cm 수준)를 제공하지 못하고 있다.
이동형 플랫폼 운영 시 센서의 배치가 변경됨에 따라 플랫폼 내부 기하모델은 수시로 모니터링을 통해 보정할 필요가 있다. 이와 같은 원인으로 이동형 플랫폼의 기하에 대한 보정이 요구되고, 이는 일반적으로 GNSS의 Network-RTK 측량을 통해 지상 기준점을 취득하고 보정하는 방식으로 진행된다.
예를 들어, 정밀도로제작에 있어서도 레이저센서, 이미지 센서를 탑재한 고가의 MMS 장비가 활용되고 있으나, 기하 정확도의 한계로 인하여 GNSS 측량을 통해 기준점 측량을 별도로 수행하는 과정이 품질 검보정을 위한 필수과정으로 포함된다.
최근 드론 측량에 있어서도 GNSS 측량을 통한 기준점 측량이 필수과정으로 포함되나, 산지, 수변 공간과 같이 난접근 지역 촬영 시 기준점 확보가 곤란하다.
그러나 GNSS 측량의 경우에는 많은 시간과 인력이 요구되는 전문 측량이 필요로 하여, 많은 비용이 유발되므로, 이동형 플랫폼의 장점을 활용하는데 큰 장애로 작용하고 있는 실정이다.
종래에 이동형 플랫폼의 위치 정확도와 기하모델의 안정성 문제는 충분히 보증되지 않으므로, GNSS 측량을 보조적으로 수행하여 정확도를 높이는 과정이 필수적이다. 그러나, 이 역시 비용/인력/시간 소모가 크고 난접근 지역에서의 측량이 어렵다는 단점이 있다.
이를 극복하기 위해 이미 구축되어 있는 위성 영상 또는 항공 영상 시스템으로 제작된 정사영상에서 기준점을 취득하여 적용하는 방법을 채택하는 방법이 시도되고 있다. 정사영상은 카메라의 투영 기하 모델로 인해 발생하는 기복 변위 등의 왜곡을 제거한 정사투영 모델을 반영하는 영상 정보로 수치지도 제작에 주로 활용되는 2차원 지형 정보의 데이터이다.
정사영상은 공공목적으로 사용하여 국가기관이 관리하는 데이터이므로, 위치 정확도, 해상도에 대한 품질관리에 대한 기준이 명확하고, 활용 결과에 대한 품질 관리 용이한 장점이 있다.
그러나, 정사영상을 활용함에 있어서 몇 가지의 문제점이 유발된다.
정사영상 관련 데이터는 대용량이므로, 보정하고자 하는 이동형 플랫폼 데이터에 부합하는 데이터 검색에 많은 시간이 투입된다. 또한, 정사영상과 취득된 이동형 플랫폼 데이터 간 공간정보 유형 또는 특성이 상이하므로, 유사성 분석의 정확도가 충분히 확보되지 않는다는 단점이 있다. 이에 더하여, 정사영상은 일반적 2차원 좌표로 구성되므로, 이동형 플랫폼에 대한 3차원적 기하보정에 적용하는데 한계가 있다.
본 발명이 이루고자 하는 기술적 과제는 정사영상에서의 특징 기하를 활용하여 이동형 플랫폼에 탑재된 센서의 관측 관련 데이터와 정사영상 간의 유사성 분석을 수행하고, 이에 의한 기준 데이터를 기반으로 양 데이터 간의 기하 모델을 생성함으로써, 2차원 지형 정보로 구성된 정사영상을 이용한 이동형 플랫폼의 3차원적 기하 정보 보정의 정확도 및 안정도를 확보하는 센서 탑재 이동형 플랫폼의 기하 보정 시스템을 제공하는데 있다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 이루기 위한 본 발명의 일 양태에 따르면, 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템은 영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서 중 적어도 하나를 포함하는 센서부와, 상기 이동형 플랫폼에 탑재된 적어도 하나의 센서로부터 취득된 관측 관련 데이터와 2차원 지형 정보를 갖는 정사영상 관련 데이터 간에 유사성 분석을 실행하여 상기 관측 관련 데이터와 상기 정사영상 관련 데이터로부터 동일하게 추정되는 기준 데이터를 설정하는 유사성 분석부와, 상기 기준 데이터와 상기 정사영상의 기준 좌표계를 기반으로 상기 기준 데이터 및 상기 관측 관련 데이터 간의 기하 모델을 생성하는 네트워크 모델 구성부와, 상기 기하 모델에서 상기 관측 관련 데이터와 상기 기준 데이터 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며 상기 최확값에 따라 상기 관측 관련 데이터로부터 추정된 보정 데이터를 생성하는 최확값 산출부를 포함한다.
다른 실시예에서, 상기 정사영상은 카메라의 투영 기하 모델로 인해 발생하는 왜곡을 제거한 정사 투영 모델을 반영하는 영상 정보이고, 상기 관측 관련 데이터는 각 센서로부터 직접 출력된 관측 데이터, 상기 이동형 플랫폼의 위치와 자세에 따른 센서의 기하 관계를 정의하는 외부 기하, 각 센서의 취득 시간에 대한 시간 정보, 상기 3차원 측량 센서에 기반한 점군 데이터 관련 정보, 상기 영상 센서에 기반한 지오코딩(geocoding) 영상 데이터 관련 정보, 상기 점군 데이터 관련 정보 및 상기 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보, 상기 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 기초하여, 지도를 작성하기 위해 생성된 지도 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
여기서, 상기 관측 관련 데이터는 상기 센서마다 고유하게 정의된 기하 파라미터에 기초로 산출된 내부 기하를 더 포함하고, 상기 네트워크 모델 구성부는 상기 외부 기하 및 상기 내부 기하로 구성된 기하 정보에 기초하여 상기 기준 데이터와 상기 관측 관련 데이터 간의 기하 모델을 생성할 수 있다.
또한, 상기 최확값은 상기 외부 기하, 상기 내부 기하의 오차 정보 및 상기 점군 데이터 관련 정보, 상기 지오코딩 영상 데이터 관련 정보, 상기 객체 정보, 상기 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보로부터 선택된 적어도 어느 하나이고, 상기 기하 형태 정보는 상기 기준 데이터와 상기 관측 관련 데이터에서 동일하게 추정되는 특징 기하와 관련된 정보일 수 있다.
또 다른 실시예에서, 상기 정사영상으로부터 상기 이동형 플랫폼의 이동 궤적에 부합되는 관심 지역에 대한 정사 데이터를 검색하여 추출하는 정사영상 검색부를 더 포함하고, 상기 정사영상 관련 데이터는 상기 관심 지역 내의 특징 기하로 추정되는 기하 형태 정보를 갖는 정사 데이터를 포함하고, 상기 기하 형태 정보는 상기 관심 지역에 추출된 객체의 특정 기하하적 형상에 기초하여 추출할 수 있다.
여기서, 상기 유사성 분석은 상기 정사 데이터와 상기 관측 관련 데이터 간에 동일하게 추정되는 상기 기준 데이터를 설정하도록 실행되고, 상기 유사성 분석부는 상기 영상 센서로부터 상기 관측 관련 데이터를 획득하는 경우, 상기 관측 관련 데이터에 속한 지오코딩 영상 데이터 관련 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사성 분석을 실행하고, 상기 3차원 측량 센서로부터 상기 관측 관련 데이터를 획득하는 경우, 상기 관측 관련 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사성 분석을 실행할 수 있다.
또 다른 실시예에서, 상기 유사성 분석부는 상기 유사성 분석의 실행 전에, 상기 관측 관련 데이터와 상기 정사영상 관련 데이터 중 적어도 어느 하나에, 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환 전처리, 영상 좌표계 변환 전처리, 상기 관측 및 상기 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리로부터 선택된 적어도 어느 하나의 전처리를 수행할 수 있다.
또 다른 실시예에서, 상기 최확값의 산출시에 이용된 최소 이격량에 근거하여 보정 데이터와 관측 관련 데이터 간의 예상 오차를 분석하여 상기 예상 오차가 허용 오차보다 초과하는지 여부를 판단하는 예상 오차 확률 분석부를 더 포함하고, 상기 예상 오차 확률 분석부는 상기 예상 오차가 상기 허용 오차보다 초과하는 경우에, 상기 이동형 플랫폼의 이동 궤적에 부합되는 관심 지역을 조정하여 상기 정사영상 관련 데이터를 검색하여 추출하는 처리, 상기 유사성 분석부에서 상기 유사성 분석 전에 상기 관측 관련 데이터와 상기 정사 데이터 간의 관측 기하 특성 차이로 인한 변형량을 최소화하는 전처리를 실시한 경우에 상기 전처리의 조건을 변경하거나, 상기 정사영상 관련 데이터 및 상기 관측 관련 데이터에서 다른 객체 또는 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리, 상기 네트워크 모델 구성부에서 생성된 상기 기하 모델에서 이상 데이터로 판정되는 관측 관련 데이터를 제거하는 처리, 상기 기하 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및 상기 최확값 산출부에 적용되는 상기 최확값의 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 상기 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 상기 유사성 분석부, 상기 네트워크 모델 구성부, 상기 최확값 산출부를 제어하고, 상기 처리 수행 후의 제약 조건에 따라 최확값 및 보정 데이터를 재차 생성하도록 제어할 수 있다.
또 다른 실시예에서, 상기 네트워크 모델 구성부는 상기 기하 모델에 적용되는 상기 기준 데이터에 수직 기하 데이터를 추가하는 보완 처리를 더 포함하여 수행하거나, 상기 기하 모델의 구성시에 싱기 수직 기하 데이터 없는 상기 기준 데이터를 적용할 수 있다.
이에 더하여, 상기 보완 처리는 상기 수직 기하 데이터를 소정 값으로 설정하는 처리, 다수의 기준 데이터로 3차원 좌표를 역산하는 처리, 래스터(raster) 형태의 수치고도모델 또는 벡터 형태의 수치지형도의 상기 수직 기하 데이터를 상기 기준 데이터에 추가하는 처리 및 상기 이동형 플랫폼의 이동 궤적에 따라 상기 센서가 복수 지점에서 획득된 멀티뷰(multi-view) 또는 스테레오 뷰(stereo-view)로부터 상기 복수 지점마다의 관측 범위에서 상호 중첩되는 영역의 인터섹션(intersection) 기하를 구성하여 상기 수직 기하 데이터를 산출하는 처리 중 적어도 어느 하나에 의해 수행될 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 관한 것으로, 보다 상세하게는 정사영상에서의 특징 기하를 활용하여 이동형 플랫폼에 탑재된 센서의 관측 관련 데이터와 정사영상 간의 유사성 분석을 수행하고, 이에 의한 기준 데이터를 기반으로 양 데이터 간의 기하 모델을 생성함으로써, 2차원 지형 정보로 구성된 정사영상을 이용한 이동형 플랫폼의 3차원적 기하 정보 보정의 정확도 및 안정도를 확보할 수 있다.
도 1은 정사영상의 지역 내에서 다양한 이동형 플랫폼이 탑재한 센서가 관측 관련 데이터를 획득하는 과정을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 관한 구성도이다.
도 3은 센서 탑재 이동형 플랫폼의 기하 보정 시스템에서 구현되는 보정 데이터를 추정하는 과정을 나타낸 순서도이다.
도 4는 일반적인 카메라 영상과 구별되는 정사영상을 설명하는 도면이다.
도 5는 정사영상에서 이동형 플랫폼의 이동 궤적에 따른 관심 지역에서 정사 데이터를 검출하여 추출하는 과정을 나타내는 도면이다.
도 6은 유사성 분석부에서 정사영상과 관측 관련 데이터에서 기하 형태 정보를 추출하는 과정을 나타내는 도면이다.
도 7은 유사성 분석부에서 정사영상과 관측 관련 데이터에서 추출된 기하 형태 정보를 기초로 기준 데이터를 설정하는 과정을 나타낸 도면이다.
도 8은 네트워크 모델 구성부에서 기준 데이터와 관측 관련 데이터 간의 기하 모델을 생성함과 아울러서, 최확값 산출부에서 보정 데이터를 도출하는 과정을 나타내는 도면이다.
도 9는 이동형 플랫폼의 이동 궤적에 따라 멀티뷰(multi-view) 또는 스테레오 뷰(stereo-view)로부터 인터섹션(intersection) 기하를 구성하여 3차원 기하 데이터를 산출하는 처리하는 것을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 센서 탑재 이동형 플랫폼의 기하 보정 시스템에서 최확값에 따른 예상 오차가 허용 오차를 초과하는 경우의 처리 과정을 나타내는 순서도이다.
도 11은 3차원 측량 센서에 취측된 관측 관련 데이터가 정사영상을 기준으로 기하 보정된 보정 데이터가 표현된 도면이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, "부" 내지 모듈 이란, 일반적으로 논리적으로 분리 가능한 소프트웨어(컴퓨터 프로그램), 하드웨어 등의 부품을 가리킨다. 따라서, 본 실시형태에 있어서의 모듈은 컴퓨터 프로그램에 있어서의 모듈뿐만 아니라, 하드웨어 구성에 있어서의 모듈도 가리킨다. 그 때문에, 본 실시형태는, 그것들을 모듈로서 기능시키기 위한 컴퓨터 프로그램(컴퓨터에 각각의 단계를 실행시키기 위한 프로그램, 컴퓨터를 각각의 수단으로서 기능시키기 위한 프로그램, 컴퓨터에 각각의 기능을 실현시키기 위한 프로그램), 시스템 및 방법의 설명도 겸하고 있다. 다만, 설명의 형편상, 「저장한다」, 「저장시킨다」, 이것들과 동등한 문언을 이용하지만, 이들 문언은, 실시형태가 컴퓨터 프로그램일 경우에는, 기억 장치에 기억시키는, 또는 기억 장치에 기억시키는 것과 같이 제어하는 것을 의미한다. 또한, "부" 내지 모듈은 기능에 일대일로 대응하고 있어도 되지만, 실장에 있어서는, 1모듈을 1프로그램으로 구성해도 되고, 복수 모듈을 1프로그램으로 구성해도 되고, 반대로 1모듈을 복수 프로그램으로 구성해도 된다. 또한, 복수 모듈은 1컴퓨터에 의해 실행되어도 되고, 분산 또는 병렬 환경에 있어서의 컴퓨터에 의해 1모듈이 복수 컴퓨터로 실행되어도 된다. 또한, 1개의 모듈에 다른 모듈이 포함되어 있어도 된다. 또한, 이하, 「접속」이란 물리적인 접속 외에, 논리적인 접속(데이터의 주고받기, 지시, 데이터간의 참조 관계 등)일 경우에도 채용한다. 「미리 정해진」이란, 대상으로 하고 있는 처리 전에 정해져 있음을 말하고, 본 실시형태에 의한 처리가 개시되기 전은 물론이고, 본 실시형태에 의한 처리가 개시된 후에도, 대상으로 하고 있는 처리 전이면, 그 때의 상황, 상태에 따라, 또는 그때까지의 상황, 상태에 따라 정해지는 것의 의미를 포함해서 이용한다.
또한, 시스템 또는 장치란, 복수의 컴퓨터, 하드웨어, 장치 등이 네트워크(일대 일 대응의 통신 접속을 포함함) 등의 통신 수단에 의해 접속되어 구성되는 것 외에, 1개의 컴퓨터, 하드웨어, 장치 등에 의해 실현될 경우도 포함된다. 「장치」와 「시스템」이란, 서로 동의(同意)의 용어로서 이용한다. 물론이지만, 「시스템」에는, 인위적인 결정인 사회적인 「기구」(사회 시스템)에 지나지 않는 것은 포함하지 않는다.
또한, 각 부 내지 각 모듈에 의한 처리마다 또는 각 부 내지 모듈 내에서 복수의 처리를 행할 경우는 그 처리마다, 대상이 되는 정보를 기억 장치로부터 판독 입력하고, 그 처리를 행한 후에, 처리 결과를 기억 장치에 기입하는 것이다. 따라서, 처리 전의 기억 장치로부터의 판독 입력, 처리 후의 기억 장치에의 기입에 관해서는, 설명을 생략할 경우가 있다. 또한, 여기에서의 기억 장치로서는, 하드디스크, RAM(Random Access Memory), 외부 기억 매체, 통신 회선을 통한 기억 장치, CPU(Central Processing Unit) 내의 레지스터 등을 포함하고 있어도 된다.
이하, 도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 대하여 상세히 설명하기로 한다.
도 1은 정사영상의 지역 내에서 다양한 이동형 플랫폼이 탑재한 센서가 관측 관련 데이터를 획득하는 과정을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 관한 구성도이다.
센서 탑재 이동형 플랫폼의 기하 보정 시스템(100)은 지상 및/또는 공중 이동체와 같은 플랫폼에 탑재되어, 용도에 따라 모바일 맵핑 시스템(Mobile Mapping System) 또는 자율주행용 시스템으로 활용될 수 있다.
예컨대, 도 1에서와 같이, 센서가 탑재된 이동형 플랫폼은 자동차(10), 항공(12), 드론과 같은 무인 항공기(14) 등일 수 있으며, 이동형 플랫폼에 탑재된 센서는 적색으로 표시된 관측 범위로 관측하면서 다수의 센서 데이터를 획득한다.
도 2를 참조하면, 센서 탑재 이동형 플랫폼의 기하 보정 시스템(100)은 영상 센서(102), 3차원 측량 센서(104), 항법 센서(106), 정사영상 검색부(108), 센서 데이터 처리부(110), 유사성 분석부(112), 네트워크 모델 구성부(114), 최확값(most probable value) 산출부(116) 및 예상 오차 확률 분석부(118)를 포함할 수 있다. 영상 센서(102), 3차원 측량 센서(104) 및 항법 센서(106)는 센서부를 구성하고 있으며, 본 실시예에서는 3 개의 이종 센서가 탑재된 것을 위주로 설명하나, 센서부는 전술한 센서 중 적어도 하나를 포함하는 실시예도 제외하지 않는다.
영상 센서(102)는 지상 또는 공중 이동형 플랫폼에 탑재되어 그 주위의 주변 대상물, 예컨대 지형, 지물을 이미지로 촬영하여 영상용 관측 데이터를 취득하는 센서이며, 측량용 또는 비측량용 카메라, 스테레오 카메라일 있으며, 이에 제한되지 않는다.
3차원 측량 센서(104)는 플랫폼에 탑재되어 그 주위의 대상물과 관련된 3차원 지리 데이터, 예컨대 지형, 지물 관련 데이터를 획득하여 3차원 측량용 관측 데이터를 취득하는 센서로서, 능동형 원격 탐사용 센서이다. 예를 들어, 3차원 측량 센서(104)는 레이저 또는 초음파 센서 등일 수 있으며, 레이저 센서의 경우, 라이다(Light Detection and Ranging; LiDAR) 센서일 수 있다. 이러한 라이다 센서는 데이터를 취득하고자 하는 대상물에 레이저를 주사하며 대상물로부터 반사되어 복귀하는 전자파의 시차와 에너지 변화를 감지하여 대상물에 대한 거리와 반사 강도를 산출한다.
항법 센서(106)는 측위 정보, 플랫폼의 위치, 자세 및 속도 등의 항법 정보를 검출하여 항법용 관측 데이터를 취득하는 센서로서, 위성 항법 장치(GPS)를 통해 플랫폼의 이동 위치를 취득하는 위치 취득 장치와 관성 측정 장치(Inertial Measurement Unit; IMU), 관성 항법 장치(Inertial Navigation System; INS)를 통해 차량의 자세를 취득하는 자세 취득 장치 등으로 구성될 수 있다.
각 센서는 동일 플랫폼에 탑재될 수 있으나, 지상 플랫폼과 위성, 항공, 드론 등과 같은 공중 플랫폼에 분산되어 탑재될 수도 있다.
정사영상 검색부(108)는 도 5에서와 같이, 도 5의 좌측 이미지에 도시된 정사영상(16)으로부터 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역에 대한 다수의 정사영상 관련 데이터를 검색하여 추출할 수 있다.
정사영상(16)은 카메라의 투영 기하 모델로 인해 발생하는 기복 변위 등의 왜곡을 제거한 정사투영 모델을 반영하는 영상 정보로 수치지도 제작에 주로 활용되는 2차원 지형 정보의 데이터이다. 구체적으로, 도 4에서와 같이, 위성 또는 항공 시스템의 카메라, 항법 센서로부터 취득된 카메라 영상 정보는 기본적으로 중심 투영(Perspective Projection) 기하를 갖는다. 카메라 영상 정보를 기하보정 과정과 기하 모델링 (Back-projection, 3D intersection 등) 과정 등을 거쳐 정사 투영(orthogonal projection)의 기하 특성을 갖도록 모델링된 영상이 정사영상이며, 정사영상의 각 픽셀에 수평 위치 좌표들이 매칭된다. 위성 영상 또는 항공 영상으로부터 취득된 정사영상은 전세계에 걸쳐 구축되어 있으며, 촬영 주기에 따라 주기적으로 업데이트 될 수 있다. 정사영상은 한국의 경우 국토지리정보원에서 관리하며, 위치 정확도, 해상도에 대한 품질관리에 대한 기준이 명확하므로, 활용 결과에 대한 품질 관리가 매우 용이하다.
정사영상 관련 데이터는 관심 지역 내의 특징 기하로 추정되는 기하 형태 정보를 갖는 정사 데이터를 포함하고, 기하 형태 정보는 관심 지역에 추출된 객체의 특정 기하하적 형상에 기초하여 추출될 수 있다. 객체는 예컨대 도로 표지판, 특이 형상의 물체, 건물 경계선 등과 같이 지도 상에서 점, 선, 면, 기둥 등의 특징 기하가 용이하게 추출가능한 대상물로 랜덤으로 선정될 수 있다.
본 실시예에서와 같이, 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역을 설정하여 정사 데이터를 검색, 추출함으로써, 센서(102-106)로부터 취득된 센서 데이터로부터 처리된 관측 관련 데이터와 대비하는 기준 데이터의 설정과 유사성 분석에 소요되는 시간이 단축될 수 있을 뿐만 아니라, 보정 데이터를 추정하는 과정에서의 정확도가 향상될 수 있다.
센서 데이터 처리부(110)는 적어도 하나의 센서(102~106)로부터 취득된 센서 데이터에 대해 소정의 처리를 수행하여 다수의 관측 관련 데이터를 출력할 수 있다.
관측 관련 데이터는 각 센서(102~106)로부터 직접 출력된 관측 데이터, 이동형 플랫폼의 위치와 자세에 따른 센서의 기하 관계를 정의하는 외부 기하, 각 센서마다 고유하게 정의된 기하 파라미터에 기초로 산출된 내부 기하 중 적어도 하나를 포함할 수 있다. 외부 기하와 내부 기하는 기하 정보를 구성할 수 있다.
또한, 관측 관련 데이터는 전술한 관측 데이터, 기하 정보, 각 센서의 취득 시간에 대한 시간 정보, 각 센서(102~106)마다 장치 고유 속성과 관련된 고유 데이터, 3차원 측량 센서(104)에 기반한 점군 데이터 관련 정보, 영상 센서(102)에 기반한 지오코딩(geocoding) 영상 데이터 관련 정보, 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보, 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 기초하여, 지도를 작성하기 위해 생성된 지도 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
내부 기하는 각 센서(102~106)마다 정의된 기하 파라미터를 기초로 산출되며, 이 경우에 소정의 수학식을 통해 계산될 수 있다.
내부 기하는 센서 자체의 고유값으로서, 플랫폼 등의 이동 여부에 관계없이 유지되는 파라미터에 기인하는 각 센서(102~106)마다의 관측 데이터의 오차이다.
여기서, 영상 센서용 기하 파라미터는 초점거리, 주점 위치, 렌즈왜곡 파라미터 및 센서 포맷 크기 중 적어도 하나일 수 있다. 3차원 측량 센서용 기하 파라미터는 라이다 센서를 예로 들면, 각 레이저의 입사각, 거리 스케일, 거리 방향 오프셋 및 축방향 오프셋 중 적어도 하나일 수 있다. 또한, 항법 센서용 기하 파라미터는 축방향의 스케일 및 축방향의 오프셋 중 적어도 하나일 수 있다.
센서 데이터 처리부(110)에서 수행되는 내부 기하의 상세한 산출 과정은 후술하기로 한다.
센서 데이터 처리부(110)는 각 센서(102~106)마다의 내부 기하 및 센서들(102~106) 중 적어도 하나가 탑재된 플랫폼의 위치와 자세에 따른 각 센서 간의 기하 관계를 정의하는 외부 기하로 구성된 기하 구조 정보에 근거하여 기하학적 모델링 처리를 수행함으로써, 데이터 융합을 수행한다.
외부 기하는 이동 중인 플랫폼의 위치와 자세, 즉 각 센서(102~106)의 위치와 자세로 인해, 각 센서(102~106)의 관측 데이터를 취득할 때마다 가변되는 파라미터 값에 기초하여 산출되는 관측 데이터의 오차이며, 이 경우에 소정의 수학식을 통해 계산될 수 있다.
센서 데이터 처리부(110)에서 수행되는 외부 기하의 상세한 산출 과정은 후술하기로 한다.
이에 더하여, 고유 데이터에 대해 각 센서(102~106)마다 예를 들어 설명하면, 영상 센서(102)의 고유 데이터는 센서의 조도, ISO, 셔터속도, 촬영날짜/시간, 시간 동기화정보, 센서 모델, 렌즈 모델, 센서 시리얼번호, 영상파일 이름, 파일 저장 위치 중 적어도 하나를 포함할 수 있다.
3차원 측량 센서(104)의 고유 데이터는 라이다 정보를 예로 들면, 센서의 촬영날짜와 시간, 센서모델, 센서 시리얼 번호, 레이저파장, 레이저강도, 레이저송수신 시간, 레이저 관측 각/거리, 레이저 펄스, 전자적 시간지연, 대기 지연, 센서 온도 중 적어도 하나를 포함할 수 있다.
항법 센서(106)의 고유 데이터는 GNSS/IMU/INS의 센서 모델 정보, GNSS 수신정보, GNSS 위성 정보, GNSS 신호 정보, GNSS 네비게이션 정보, GNSS 신호의 전리층/대류층 신호지연 정보, DOP 정보, 지구 거동정보, 이중/다중 GNSS 장비 정보, GNSS Base Station 정보, Wheel 센서정보, 자이로 센서 Scale/Bias 정보, 가속도계 Scale/Bias 정보, 위치/자세/속도/가속도/각속도/각가속도 정보 및 예상오차량, 항법정보 필터링 모델 및 소거 오차 정보, 촬영날짜/시간, 시간동기화 정보 전부 또는 일부 중 적어도 하나를 포함할 수 있다.
시간 정보는 각 센서(102~106)의 관측 데이터가 생성되는 시간일 수 있다.
센서 데이터 처리부(110)는 관측 데이터와 기하 정보에 기초하여, 3차원 측량 센서(104)에 기반한 3차원 점군 데이터 관련 정보 및 영상 센서(102)에 기반한 지오코딩 영상 데이터 관련 정보를 생성할 수 있다. 본 실시예에서는 점군 데이터 및 지오코딩 영상 데이터 관련 정보의 전부를 생성하는 예를 들고 있으나, 경우에 따라 이들 중 일부만 생성할 수도 있다.
3차원 점군 데이터 관련 정보는 점군용 3차원 좌표 데이터, 점군용 색상 정보, 점군용 3차원 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 점군용 클래스 정보 및 3차원 측량 센서가 레이저 센서인 경우의 레이저 강도 정보 중 적어도 하나를 포함할 수 있다.
지오코딩 영상 데이터 관련 정보는 각 픽셀마다의 지오코딩용 좌표 데이터, 지오코딩용 색상 정보 및 지오코딩용 좌표 데이터로부터 추출된 대상물에서 종류가 추정된 지오코딩용 클래스 정보 중 적어도 하나를 포함할 수 있다.
센서 데이터 처리부(110)는 3차원 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 하나에 기초하여 추출된 대상물의 속성과 관련된 객체 정보를 추출함과 아울러서, 지도를 작성하기 위한 지도 관련 정보를 생성하여 도화 과정을 통해 지도를 작성할 수 있다.
센서 데이터 처리부(110)는 3차원 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 하나로부터 파악된 대상물과 관련된 후보군 데이터를 기계학습을 적용하여 대상물의 정보를 인식할 수 있다. 이 경우에, 객체 정보는 대상물의 종류, 전체 모양, 대상물의 적어도 일부를 구성하는 선, 면, 원, 구 등과 같은 특정 기하학적 형상, 색상, 질감 관련 속성을 포함할 수 있다.
지도 관련 정보는 점군용 3차원 좌표 데이터 및 지오코딩용 좌표 데이터 중 적어도 하나에 기초한 지도용 좌표 데이터, 대상물로부터 추정된 객체 정보 중 적어도 하나를 포함할 수 있다.
아울러, 지도 관련 정보, 3차원 점군 데이터 관련 정보에 포함된 3차원 좌표 데이터 및 지오코딩 영상 데이터 관련 정보에 포함된 지오코딩용 좌표 데이터는 2차원 또는 3차원 변환 데이터로서 Rigid-body, Affine, Similartiy 중 어느 하나로 구성된 데이터일 수 있다.
유사성 분석부(112)는 이동형 플랫폼에 탑재된 적어도 하나의 센서(102~106)로부터 취득되어 센서 데이터 처리부(110)에서 가공된 관측 관련 데이터와 정사 데이터 중 적어도 어느 하나에 소정의 전처리를 실시하고, 관측 관련 데이터와 정사 데이터 간에 유사성 분석을 실행하여 다수의 관측 관련 데이터와 다수의 정사 데이터로부터 동일하게 추정되는 적어도 하나의 기준 데이터를 설정할 수 있다.
상술한 전처리는 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환 전처리, 영상 좌표계 변환 전처리, 관측 및 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리 중 적어도 어느 하나가 적용될 수 있다. 이러한 전처리는 센서(102~106)의 고유 데이터, 관측시 환경, 스케일/회전/변위값 등의 관측 기하 특성 차이로 인한 기하 정보, 좌표계, 해상도 등의 변형량을 최소화하여 유사성 분석의 정확도를 향상시키기 위해 실시된다. 예컨대, 정사 데이터의 정사영상은 정오의 맑은 날씨에 취득되며, 관측 관련 데이터는 일몰의 우천시에 취득된 경우에, 양 데이터의 해상도가 상이하여 유사성 분석의 오류가 유발될 수 있다. 이를 해소하기 위해, 양 데이터의 해상도를 근접한 값으로 조정하는 전처리가 실시될 수 있다. 영상 기하 변환 전처리는 영상 스케일 변환 또는 영상 회전 변화 등일 수 있다.
또한, 영상 센서(102)로부터 관측 관련 데이터를 획득하는 경우, 유사성 분석부(112)는 관측 관련 데이터에 속한 지오코딩 영상 데이터 관련 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하여 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사성 분석을 수행할 수 있다. 3차원 측량 센서(104)로부터 관측 관련 데이터를 획득하는 경우, 유사성 분석부(112)는 관측 관련 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사성 분석을 실행할 수 있다.
이에 따르면, 기준 데이터와 관측 관련 데이터의 객체 정보, 예컨대 객체의 종류 또는 특정 기하하적 형상 등의 기하 형태 정보를 활용하여 이들 데이터 간의 유사성을 분석함으로써 정합 정밀도를 향상시킬 수 있다.
네트워크 모델 구성부(114)는 기준 데이터와 정사영상의 기준 좌표계에 근거하여, 기준 데이터 및 상기 관측 관련 데이터 간의 기하 모델을 생성한다.
구체적으로, 네트워크 모델 구성부(114)는 외부 기하 및 내부 기하로 구성된 기하 정보에 기초하여 기준 데이터와 관측 관련 데이터 간의 기하 모델을 생성할 수 있다. 또한, 기준 좌표계는 도 1에 도시된 정사영상(16)의 정사영상 좌표계(20)로 설정될 수 있다. 형상 모델링이나 수치해석의 기준이 되는 정사영상 좌표계를 이용함으로써, 관측 관련 데이터를 표준화된 좌표계로 변환하여 보정할 수 있다.
이와 다른 실시예로서, 네트워크 모델 구성부(114)는 기하 정보 중 외부 기하에 기초하여 기준 데이터와 수집 데이터 간의 기하 모델을 생성할 수 있다. 관측 관련 데이터를 취득한 센서(102~106)가 탑재된 이동형 플랫폼과 정사영상을 취득한 센서의 위치와 자세가 서로 상이한 점을 감안하여, 기하 모델 생성시에 외부 기하가 우선적으로 활용될 수 있다.
네트워크 모델 구성부(114) 복수의 파라미터가 적용되는 기하 모델을 통해 관측 관련 데이터와의 이격량이 최소화되는 목적함수를 산출할 수 있다.
상세한 기하 모델의 생성은 도 3 및 도 8을 통해 후술하기로 한다.
네트워크 모델 구성부(114)는 기하 모델의 구성시에 수직 기하 데이터 없는 상기 기준 데이터를 적용할 수도 있으나, 정사 데이터는 2차원 데이터이며, 3차원 측량 센서(104)로부터 획득된 관측 관련 데이터가 3차원 데이터일 경우에 기하 모델의 정합성을 증대하기 위해, 기하 모델에 적용되는 기준 데이터에 수직 기하 데이터를 추가하는 보완 처리를 더 포함하여 수행할 수도 있다.
이 경우에, 보완 처리는 수직 기하 데이터를 소정 값으로 설정하는 처리, 다수의 기준 데이터로 3차원 좌표를 역산하는 처리, 래스터(raster) 형태의 수치고도모델 또는 벡터 형태의 수치지형도의 수직 기하 데이터를 기준 데이터에 추가하는 처리 및 도 9와 같은 인터섹션 기하(30)에 의해 3차원 기하 데이터를 추가하는 처리 중 적어도 하나일 수 있다. 도 9의 처리는 이동형 플랫폼의 이동 궤적(18)에 따라 도 9에서와 같이, 센서(102~106)가 복수 지점에서 획득된 멀티뷰(multi-view) 또는 스테레오 뷰(stereo-view)로부터 복수 지점마다의 관측 범위(28) 중에 상호 중첩되는 영역에서 촬영된 기준 데이터의 특징 기하(22)에 대하여 인터섹션(intersection) 기하(30)를 구성함으로써 수직 기하 데이터를 산출하며, 이러한 수직 기하 데이터를 정사영상(24)의 기준 데이터(24)에 추가하는 처리이다. 인터섹션 기하에 의한 보완 처리로 기하적 안정성이 확보되지 않은 경우에, 전술한 다른 처리가 추가 적용될 수 있다.
관측 관련 데이터가 영상 센서(102)에 항법 센서(106)가 결합된 형태로 취득가능한 경우, 사진 해석에 사용이 되는 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(perspective) 기하, 세로 원통형, 가로 원통형, 메르카토 (mercarto), 역 메르카토 (trasverse mercarto), 구형, 정사투영(orthographic), 어안렌즈형, 스테레오형 (stereographic), 중심투영(central perspective) 중 적어도 하나로 기하모델링이 가능하다. 관측 관련 데이터가 3차원 측량 센서(104)에 항법 센서(106)가 결합된 형태로 취득가능한 경우, 3차원 변환 기하를 포함한 모델로 기하모델링이 가능하다.
최확값 산출부(116)는 기하 모델에서 관측 관련 데이터와 상기 기준 데이터 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며 최확값에 따라 상기 관측 관련 데이터로부터 추정된 보정 데이터를 생성한다. 최확값 산출부(116)는 소정의 해석 모델식을 이용하며, 이 모델식에는 복수의 파라미터 중 일부 파라미터가 적용될 수 있다.
이와 같이 산출된 최확값으로 보정 데이터를 추정함으로써, 기준 데이터를 이용한 관측 관련 데이터의 기하 보정이 수행되며, 이러한 기한 보정은 기준 데이터를 기하 모델에 적용한 결과와 기준 데이터와 대응하는 관측 관련 데이터의 기하 오차량을 분석하여, 기하 오차량이 최소 또는 최적화되는 파라미터를 최확값으로 산출하는 과정이다.
최확값은 외부 기하, 내부 기하의 오차 정보 중 적어도 어느 하나일 수 있다. 또한, 최확값은 전술한 정보 및 점군 데이터 관련 정보, 지오코딩 영상 데이터 관련 정보, 객체 정보, 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보 중 적어도 어느 하나로 산출될 수 있다. 최확값 산출 과정은 도 3을 통해 후술한다.
또한, 예상 오차 확률 분석부(118)는 최확값의 산출시에 이용된 최소 이격량에 근거하여 보정 데이터와 관측 관련 데이터 간의 예상 오차를 분석하여 예상 오차가 허용 오차보다 초과하는지 여부를 판단하고, 초과하는 경우에 이하의 처리 중 적어도 하나를 해당 부에 지시하여 처리한다. 예상 오차 확률 분석부(118)는 이와 같은 처리 후에 새로이 설정된 제약 조건과 관련된 해당 부(모듈)부터 보정 프로세스를 재차 개시하여, 최확값 및 보정 데이터를 재생성 하도록 제어한다.
예상 오차 확률 분석부(118)는 예상 오차가 허용 오차보다 초과하는 경우에, 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역을 조정하여 정사 데이터를 검색하여 추출하는 처리를 수행하도록 정사영상 검색부(108)를 제어할 수 있다.
예상 오차 확률 분석부(118)는 유사성 분석부(112)에서 행해지는 전처리들 중 적어도 하나를 변경하거나, 정사 데이터 및 관측 관련 데이터에서 다른 객체 또는 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리를 수행하도록 유사성 분석부(112)를 제어할 수도 있다.
예상 오차 확률 분석부(118)는 기하 모델을 통해 산출된 목적함수로부터 소정의 이격도를 나타내는 관측 관련 데이터를 이상 데이터로 판정하여 제거하는 처리를 수행하도록 네트워크 모델 구성부(114)를 제어할 수도 있다.
예상 오차 확률 분석부(118)는 기하 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리를 수행하도록 네트워크 모델 구성부(114)를 제어할 수 있다.
예상 오차 확률 분석부(118)는 최확값 산출부(116)에 적용되는 최확값의 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 최확값 산출부(116)를 제어할 수도 있다.
예상 오차 확률 분석부(118)에 의해, 보정 데이터의 충분한 정확도가 더욱 향상될 수 있다.
본 실시예에 따르면, 2차원 정사영상에서의 특징 기하를 활용하여 이동형 플랫폼에 탑재된 센서의 관측 관련 데이터와 정사영상 간의 다양한 기법의 유사성 분석을 진행하고, 이에 의한 기준 데이터를 기반으로 양 데이터 간의 기하 모델을 생성함으로써, 2차원 지형 정보로 구성된 정사영상을 이용한 이동형 플랫폼의 3차원적 기하 정보 보정의 정확도 및 안정도를 확보할 수 있다.
본 실시예에 따르면, 정사영상은 지상의 좌표들과 1대1 관계에서 기준 데이터의 확보 및 활용에 용이하며, 이동형 플랫폼의 기하보정 시 기준 데이터에 대한 관리를 용이하게 할 수 있으므로, 기준 데이터에 기반하여 관측 관련 데이터의 보정함에 있어서 매우 정확한 보정 데이터를 생성할 수 있다.
이하, 도 1 내지 도 9, 도 11을 참조하여, 본 발명의 일 실시예에 따른 시스템에서 구현되는 보정 데이터를 추정하는 과정에 대해 설명하기로 한다.
도 3은 센서 탑재 이동형 플랫폼의 기하 보정 시스템에서 구현되는 보정 데이터를 추정하는 과정을 나타낸 순서도이며, 도 4는 일반적인 카메라 영상과 구별되는 정사영상을 설명하는 도면이다. 도 5는 정사영상에서 이동형 플랫폼의 이동 궤적에 따른 관심 지역에서 정사 데이터를 검출하여 추출하는 과정을 나타내는 도면이며, 도 6은 유사성 분석부에서 정사영상과 관측 관련 데이터에서 기하 형태 정보를 추출하는 과정을 나타내는 도면이다. 도 7은 유사성 분석부에서 정사영상과 관측 관련 데이터에서 추출된 기하 형태 정보를 기초로 기준 데이터를 설정하는 과정을 나타낸 도면이며, 도 8은 네트워크 모델 구성부에서 기준 데이터와 관측 관련 데이터 간의 기하 모델을 생성함과 아울러서, 최확값 산출부에서 보정 데이터를 도출하는 과정을 나타내는 도면이다. 도 9는 이동형 플랫폼의 이동 궤적에 따라 멀티뷰 또는 스테레오 뷰로부터 인터섹션 기하를 구성하여 3차원 기하 데이터를 산출하는 처리하는 것을 도시한 도면이며, 도 11은 3차원 측량 센서에 취득된 관측 관련 데이터가 정사영상을 기준으로 기하 보정된 보정 데이터가 표현된 도면이다.
먼저 도 3에 있어서, 이동형 플랫폼에 탑재된 센서부는 적어도 하나의 센서(102~106)로부터 센서 데이터를 취득함과 아울러서, 센서 데이터 처리부(110)는 센서 데이터를 가공하여 다수의 관측 관련 데이터를 취득하고, 정사영상 검색부(108)는 관측 관련 데이터를 기초로 정사영상(16)의 다수의 정사 데이터를 검색한다(S305).
관측 관련 데이터는 각 센서(102~106)로부터 직접 출력된 관측 데이터, 이동형 플랫폼의 위치와 자세에 따른 센서의 기하 관계를 정의하는 외부 기하, 각 센서마다 고유하게 정의된 기하 파라미터에 기초로 산출된 내부 기하 중 적어도 하나를 포함할 수 있다. 외부 기하와 내부 기하는 기하 정보를 구성할 수 있다.
또한, 관측 관련 데이터는 전술한 관측 데이터, 기하 정보, 각 센서의 취득 시간에 대한 시간 정보, 각 센서(102~106)마다 장치 고유 속성과 관련된 고유 데이터, 3차원 측량 센서(104)에 기반한 점군 데이터 관련 정보, 영상 센서(102)에 기반한 지오코딩(geocoding) 영상 데이터 관련 정보, 점군 데이터 관련 정보 및 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보, 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 기초하여, 지도를 작성하기 위해 생성된 지도 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
정사영상 검색부(108)는 도 1 및 5에서와 같이, 정사영상(16)으로부터 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역에 대한 정사영상 관련 데이터로서의 다수의 정사 데이터를 검색하여 추출한다.
정사 데이터는 관심 지역 내의 특징 기하로 추정되는 기하 형태 정보를 가지며, 기하 형태 정보는 관심 지역에 추출된 객체의 특정 기하하적 형상에 기초하여 추출될 수 있다. 객체는 도 5에서와 같이, 예컨대 도로 표지판, 특이 형상의 물체, 건물 경계선 등과 같이 지도 상에서 점, 선, 면, 기둥 등의 특징 기하가 용이하게 추출가능한 대상물로 랜덤으로 선정될 수 있다.
본 실시예에서와 같이, 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역을 설정하여 정사 데이터를 검색, 추출함으로써, 센서(102~106)로부터 취득된 센서 데이터로부터 처리된 관측 관련 데이터와 대비하는 기준 데이터의 설정과 유사성 분석에 소요되는 시간이 단축될 수 있을 뿐만 아니라, 보정 데이터를 추정하는 과정에서의 정확도가 향상될 수 있다.
다음으로, 유사성 분석부(112)는 검색된 정사 데이터와 관측 관련 데이터 간의 유사성 분석에 의해 양 데이터로부터 동일하게 추정되는 적어도 하나의 기준 데이터를 설정한다(S310).
유사성 분석부(112)는 유사성 분석 전에, 어도 하나의 센서(102~106)로부터 취득관측 관련 데이터와 정사 데이터 중 적어도 어느 하나에 소정의 전처리를 실시할 수 있다.
상술한 전처리는 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환 전처리, 영상 좌표계 변환 전치, 관측 및 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리 중 적어도 어느 하나가 적용될 수 있다. 이러한 전처리는 센서(102~106)의 고유 데이터, 관측시 환경, 스케일/회전/변위값 등의 관측 기하 특성 차이로 인한 기하 정보, 좌표계, 해상도 등의 변형량을 최소화하여 유사성 분석의 정확도를 향상시키기 위해 실시된다. 예컨대, 정사 데이터의 정사영상은 정오의 맑은 날씨에 취득되며, 관측 관련 데이터는 일몰의 우천시에 취득된 경우에, 양 데이터의 해상도가 상이하여 유사성 분석의 오류가 유발될 수 있다. 이를 해소하기 위해, 양 데이터의 해상도를 근접한 값으로 조정하는 전처리가 실시될 수 있다. 영상 기하 변환 전처리는 영상 스케일 변환 또는 영상 회전 변화 등일 수 있다.
전처리 후에 실시되는 유사성 분석에 있어서, 영상 센서(102)로부터 관측 관련 데이터를 획득하는 경우, 유사성 분석부(112)는 관측 관련 데이터에 속한 지오코딩 영상 데이터 관련 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하여 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사성 분석을 수행할 수 있다. 3차원 측량 센서(104)로부터 관측 관련 데이터를 획득하는 경우, 유사성 분석부(112)는 도 6에서와 같이 관측 관련 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 기하 형태 정보를 추출하여 기준 데이터를 설정하는 유사성 분석을 실행할 수 있다. 도 6에 따르면, Lidar 센서의 관측 관련 데이터와 정사 데이터의 기하 형태 정보로서의 특징 기하가 면, 기둥, 점인 경우에 유사성 분석을 수행하여 기준 데이터를 설정하는 과정을 보여주고 있다. 도 7은 영상 센서(102)로부터 취득된 관측 관련 데이터과 정사 데이터의 특징 기하로서의 점, 경계선 정보 등을 이용한 유사성 분석을 진행하여 기준 데이터를 설정하는 과정을 보여주고 있다.
이에 따르면, 기준 데이터와 관측 관련 데이터의 객체 정보로서의 객체의 종류 또는 특정 기하하적 형상 등의 기하 형태 정보를 활용하여 이들 데이터 간의 유사성을 분석함으로써 정합 정밀도를 향상시킬 수 있다.
다음으로, 네트워크 모델 구성부(114)는 기준 데이터와 정사영상의 기준 좌표계(20)에 근거하여, 기준 데이터 및 관측 관련 데이터 간의 기하 모델을 생성한다(S315).
구체적으로, 네트워크 모델 구성부(114)는 외부 기하 및 내부 기하로 구성된 기하 정보에 기초하여 기준 데이터와 상기 관측 관련 데이터 간의 기하 모델을 생성한다. 최확값 산출부(116)에서 보정 데이터가 불안정한 값을 나타내는 경우에, 기준 데이터 및 관측 관련 데이터에 포함된 내부 기하도 고려하는 최적화 과정을 거쳐 기하 모델을 생성한다.
네트워크 모델 구성부(114) 복수의 파라미터가 적용되는 기하 모델을 통해 관측 관련 데이터와의 이격량이 최소화되는 목적함수를 산출할 수 있다.
도 8에서는 네트워크 모델 구성부(134)가 내부 기하와 외부 기하를 포함한 기하 정보에 의해 기준 데이터 및 기준 좌표계 관점의 기하 모델을 구성한 것이다.
구체적으로, 각 센서(102~106)마다 내부 기하를 산출하는 상세 과정은 이하에서 예시한다.
도 8의 기하 모델에서 3차원 측량 센서(104)의 내부 기하 모델은 [수학식 1]과 같이 정의될 수 있다.
[수학식 1]
Figure PCTKR2019010931-appb-I000001
또한, 도 8의 기하 모델에서 영상 센서(102)의 내부 기하 모델은 [수학식 2]와 같이 정의될 수 있다.
[수학식 2]
Figure PCTKR2019010931-appb-I000002
이에 더하여, 정의된 3차원 측량 센서(104)의 내부 기하 모델 및 정의된 영상 센서(102)의 내부 기하 모델을 적용하여 데이터 융합을 하기 위한, 3차원 측량 센서(104)의 외부 기하모델은 도 8의 기하모델 있어서, [수학식 3]에서와 같이 정의되고, 영상 센서(102)의 외부 기하 모델은 [수학식 4]에서와 같이 정의될 수 있다.
[수학식 3]
Figure PCTKR2019010931-appb-I000003
[수학식 4]
Figure PCTKR2019010931-appb-I000004
이와 다른 실시예로서, 최확값 산출부(116)에서 보정 데이터가 안정한 값을 나타내면, 네트워크 모델 구성부(114)는 기하 정보 중 외부 기하에 기초하여 기준 데이터와 관측 관련 데이터 간의 기하 모델을 생성할 수 있다. 관측 관련 데이터를 취득한 센서(102~106)가 탑재된 이동형 플랫폼과 정사영상을 취득한 센서의 위치와 자세가 서로 상이한 점을 감안하여, 기하 모델 생성시에 외부 기하가 우선적으로 활용될 수 있다.
네트워크 모델 구성부(114)는 기하 모델의 구성시에 수직 기하 데이터 없는 상기 기준 데이터를 적용할 수도 있으나, 정사 데이터는 2차원 데이터이며, 3차원 측량 센서(104)로부터 획득된 관측 관련 데이터가 3차원 데이터일 경우에 기하 모델의 정합성을 증대하기 위해, 기하 모델에 적용되는 기준 데이터에 수직 기하 데이터를 추가하는 보완 처리를 더 포함하여 수행할 수도 있다.
이 경우에, 보완 처리는 수직 기하 데이터를 소정 값으로 설정하는 처리, 다수의 기준 데이터로 3차원 좌표를 역산하는 처리, 래스터(raster) 형태의 수치고도모델 또는 벡터 형태의 수치지형도의 수직 기하 데이터를 기준 데이터에 추가하는 처리 및 인터섹션 기하(30)에 의해 3차원 기하 데이터를 산출하는 처리 중 적어도 하나일 수 있다.
인터섹션 기하에 의한 처리는 이동형 플랫폼의 이동 궤적(18)에 따라 도 9에서와 같이, 센서(102~106)가 복수 지점에서 획득된 멀티뷰(multi-view) 또는 스테레오 뷰(stereo-view)로부터 복수 지점마다의 관측 범위(28) 중에 상호 중첩되는 영역에서 촬영된 기준 데이터의 특징 기하(22)에 대하여 인터섹션(intersection) 기하(30)를 구성함으로써 수직 기하 데이터를 산출하며, 이러한 수직 기하 데이터를 정사영상(24)의 기준 데이터(24)에 추가하는 처리이다. 인터섹션 기하에 의한 보완 처리로 기하적 안정성이 확보되지 않은 경우에, 전술한 다른 처리가 추가 적용될 수 있다.
다음으로, 최확값 산출부(116)는 기하 모델에서 관측 관련 데이터와 기준 데이터 간에 이격량을 최소화하는 최확값을 산출하며 최확값에 따라 상기 관측 관련 데이터로부터 보정 데이터를 추정한다(S320).
최확값 산출부(116)는 소정의 해석 모델식을 이용하며, 이 모델식에는 복수의 파라미터 중 일부 파라미터가 적용될 수 있다. 최확값은 외부 기하, 내부 기하의 오차 정보 중 적어도 어느 하나일 수 있다. 또한, 최확값은 전술한 정보 및 점군 데이터 관련 정보, 지오코딩 영상 데이터 관련 정보, 객체 정보, 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보 중 적어도 어느 하나로 산출될 수 있다.
최확값은 예컨대 객체 정보, 좌표 데이터, 기하 정보, 시간 정보 등 기준 데이터와 수집 데이터에 속한 관련 정보들 간의 이격량을 통계적으로 최소화하는 수치 해석을 이용하여 산출될 수 있으며, 최확값은 스칼라 값, 행렬, 모델식 형태로 표현될 수 있다.
예를 들어, 최확값을 구하는 과정으로서 최소제곱법을 적용하기 위해서는 데이터 기하모델을 Gauss-Markov 모델화하여야 하며 이는 다음 수식으로 정의될 수 있다.
[수학식 5]
Figure PCTKR2019010931-appb-I000005
여기서, y는 관측값, F는 기본 기하식, (Δξ0)는 기존 기하 모델 파라미터, J는 기본 기하식과 파라매터 간 관계에서 유도된 자코비안(Jacobian) 행렬, Δξ는 기하 모델 파라미터 보정량, e는 부정 오차이다.
Gauss-Markov을 이용하여 기하모델 파라미터 보정량을 역계산할 수 있으며, 이는 다음 수식으로 정의될 수 있다.
[수학식 6]
Figure PCTKR2019010931-appb-I000006
여기서,
Figure PCTKR2019010931-appb-I000007
는 역계산된 기하 모델 파라미터 보정량으로서 최확값이고, P는 관측값의 정확도에 따라 설정되는 관측값의 경중률이다.
최확값
Figure PCTKR2019010931-appb-I000008
이 수집 데이터에 대해 병합함으로써, 도 7에서와 같이 보정 데이터(RL_1)가 생성될 수 있다.
보정 데이터의 관련 데이터는 상술한 값과 함께, 이의 분산, 공분산 값을 포함할 수 있다.
이와 같이 산출된 최확값으로 보정 데이터를 추정함으로써, 기준 데이터를 이용한 관측 관련 데이터의 기하 보정이 수행되며, 이러한 기한 보정은 기준 데이터를 기하 모델에 적용한 결과와 기준 데이터와 대응하는 관측 관련 데이터의 기하 오차량을 분석하여, 기하 오차량이 최소 또는 최적화되는 파라미터를 최확값으로 산출하는 과정이다.
본 실시예의 시스템(100)에 따라 보정 데이터가 추정되어 이동형 플랫폼에 탑재된 센서부와 관련된 기하 보정이 이루어진 이미지는 도 11을 통해 도시되어 있다. 이는 이동형 플랫폼에 탑재된 Lidar 센서로부터 취득된 3차원 관측 관련 데이터가 정사영상을 기준으로 기하 보정된 Lidar 데이터는 청색으로 표시되어 있으며, 이동형 프랫폼의 이동 궤적은 적색으로 표시되어 있다.
본 실시예에 따르면, 정사영상에서의 특징 기하를 활용하여 이동형 플랫폼에 탑재된 센서의 관측 관련 데이터와 정사영상 간의 유사성 분석을 수행하고, 이에 의한 기준 데이터를 기반으로 양 데이터 간의 기하 모델을 생성함으로써, 2차원 지형 정보로 구성된 정사영상을 이용한 이동형 플랫폼의 3차원적 기하 정보 보정의 정확도 및 안정도를 확보할 수 있다.
본 실시예에 따르면, 정사영상은 지상의 좌표들과 1대1 관계에서 기준 데이터의 확보 및 활용에 용이하며, 이동형 플랫폼의 기하보정 시 기준 데이터에 대한 관리를 용이하게 할 수 있으므로, 기준 데이터에 기반하여 관측 관련 데이터의 보정함에 있어서 매우 정확한 보정 데이터를 생성할 수 있다.
이하, 도 2 및 도 10을 참조하여, 본 발명의 일 실시예에 따른 시스템에서 최확값에 따른 예상 오차가 허용 오차를 초과하는 경우의 처리 과정 과정에 대해 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른 센서 탑재 이동형 플랫폼의 기하 보정 시스템에서 최확값에 따른 예상 오차가 허용 오차를 초과하는 경우의 처리 과정을 나타내는 순서도이다.
먼저, 예상 오차 확률 분석부(118)는 최확값의 산출시에 이용된 최소 이격량에 근거하여 보정 데이터와 관측 관련 데이터 간의 예상 오차를 분석하여(S1005), 예상 오차가 허용 오차보다 초과하는지 여부를 판단한다(S1010).
초과하는 경우에 이하의 처리 중 적어도 하나를 해당 부(모듈), 즉 정사영상 검색부(108), 유사성 분석부(112), 네트워크 모델 구성부(114), 최확값 산출부(116) 중 적어도 어느 하나에 지시하여 처리하고, 새로이 설정된 제약 조건과 관련된 해당 부(모듈)부터 보정 프로세스를 재차 개시하여, 최확값 및 보정 데이터를 재생성 하도록 제어한다(S1015).
예상 오차 확률 분석부(118)는 예상 오차가 허용 오차보다 초과하는 경우에, 이동형 플랫폼의 이동 궤적(18)에 부합되는 관심 지역을 조정하여 정사 데이터를 검색하여 추출하는 처리를 수행하도록 정사영상 검색부(108)를 제어할 수 있다. 예컨대, 최초 관심 지역이 너무 넓거나, 산지 등과 같이 도심보다 특징 기하가 적게 선정되는 경우에, 관심 지역이 좁게 설정하나 특징 기하가 상대적으로 많은 지역으로 설정될 수 있다.
예상 오차 확률 분석부(118)는 유사성 분석부(112)에서 행해지는 전처리들 중 적어도 하나를 변경하거나, 정사 데이터 및 관측 관련 데이터에서 다른 객체 또는 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리를 수행하도록 유사성 분석부(112)를 제어할 수도 있다. 예컨대, 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환, 영상 좌표계 변환, 관측 및 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리 등이 실시될 수 있다.
예상 오차 확률 분석부(118)는 기하 모델을 통해 산출된 목적함수로부터 소정의 이격도를 나타내는 관측 관련 데이터를 이상 데이터로 판정하여 제거하는 처리를 수행하도록 네트워크 모델 구성부(114)를 제어할 수도 있다. 예컨대, 도 8에 나타난 제 1 객체의 관측 관련 데이터(L_1) 및 제 2 객체의 관측 관련 데이터(L_2) 중에서 목적함수와 이격도가 큰 관측 관련 데이터가 있다면, 해당 데이터를 이상 데이터로 판정하여 제거하고, 경우에 따라 이와 관련된 기준 데이터도 제외시킬 수 있다.
예상 오차 확률 분석부(118)는 기하 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리를 수행하도록 네트워크 모델 구성부(114)를 제어할 수 있다.
예상 오차 확률 분석부(118)는 최확값 산출부(116)에 적용되는 최확값의 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 최확값 산출부(116)를 제어할 수도 있다.
만약, 예상 오차가 허용 오차를 초과하지 않으면, S320 단계에서 추정된 보정 데이터가 최종으로 채택된다.
본 실시예에 따르면, 도 3의 보정 프로세스를 검증하여 보다 신뢰도 있는 보정 데이터를 생성함으로써, 기하 보정의 정확성 및 안정성을 더욱 개선할 수 있다.
도 2에 도시된 시스템(100)을 성하는 구성요소 또는 도 3, 도 10에 도시된 실시예들에 따른 단계는 그 기능을 실현시키는 프로그램의 형태로 컴퓨터 판독가능한 기록 매체에 기록될 수 있다. 여기에서, 컴퓨터 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터에서 판독할 수 있는 기록 매체를 말한다. 이러한 기록 매체 중 컴퓨터로부터 분리 가능한 것으로서는, 예를 들면, 휴대용 스토리지(portalbe storage), 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 메모리 카드 등이 있다. 또한, 모바일 디바이스 및 컴퓨터에 고정된 기록 매체로서 SSD(Solid State Disk), 하드디스크나 ROM 등이 있다.
또한, 이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (10)

  1. 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템에 있어서,
    영상 센서, 항법 센서 및 3차원 지리 데이터를 획득하는 3차원 측량 센서 중 적어도 하나를 포함하는 센서부;
    상기 이동형 플랫폼에 탑재된 적어도 하나의 센서로부터 취득된 관측 관련 데이터와 2차원 지형 정보를 갖는 정사영상 관련 데이터 간에 유사성 분석을 실행하여 상기 관측 관련 데이터와 상기 정사영상 관련 데이터로부터 동일하게 추정되는 기준 데이터를 설정하는 유사성 분석부;
    상기 기준 데이터와 상기 정사영상의 기준 좌표계를 기반으로 상기 기준 데이터 및 상기 관측 관련 데이터 간의 기하 모델을 생성하는 네트워크 모델 구성부;
    상기 기하 모델에서 상기 관측 관련 데이터와 상기 기준 데이터 간에 이격량을 최소화하는 최확값(most probable value)을 산출하며 상기 최확값에 따라 상기 관측 관련 데이터로부터 추정된 보정 데이터를 생성하는 최확값 산출부를 포함하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  2. 제 1 항에 있어서,
    상기 정사영상은 카메라의 투영 기하 모델로 인해 발생하는 왜곡을 제거한 정사 투영 모델을 반영하는 영상 정보이고,
    상기 관측 관련 데이터는 각 센서로부터 직접 출력된 관측 데이터, 상기 이동형 플랫폼의 위치와 자세에 따른 센서의 기하 관계를 정의하는 외부 기하, 각 센서의 취득 시간에 대한 시간 정보, 상기 3차원 측량 센서에 기반한 점군 데이터 관련 정보, 상기 영상 센서에 기반한 지오코딩(geocoding) 영상 데이터 관련 정보, 상기 점군 데이터 관련 정보 및 상기 지오코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 근거하여 추출한 대상물의 속성이 추정된 객체 정보, 상기 점군 데이터 관련 정보 및 지오 코딩 영상 데이터 관련 정보 중 적어도 어느 하나에 기초하여, 지도를 작성하기 위해 생성된 지도 관련 정보 중 적어도 어느 하나를 포함하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  3. 제 2 항에 있어서,
    상기 관측 관련 데이터는 상기 센서마다 고유하게 정의된 기하 파라미터에 기초로 산출된 내부 기하를 더 포함하고,
    상기 네트워크 모델 구성부는 상기 외부 기하 및 상기 내부 기하로 구성된 기하 정보에 기초하여 상기 기준 데이터와 상기 관측 관련 데이터 간의 기하 모델을 생성하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  4. 제 3 항에 있어서,
    상기 최확값은 상기 외부 기하, 상기 내부 기하의 오차 정보 및 상기 점군 데이터 관련 정보, 상기 지오코딩 영상 데이터 관련 정보, 상기 객체 정보, 상기 지도 관련 정보 중 적어도 하나에 의해 생성된 기하 형태 정보의 오차 정보로부터 선택된 적어도 어느 하나이고, 상기 기하 형태 정보는 상기 기준 데이터와 상기 관측 관련 데이터에서 동일하게 추정되는 특징 기하와 관련된 정보인 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  5. 제 1 항에 있어서,
    상기 정사영상으로부터 상기 이동형 플랫폼의 이동 궤적에 부합되는 관심 지역에 대한 정사 데이터를 검색하여 추출하는 정사영상 검색부를 더 포함하고,
    상기 정사영상 관련 데이터는 상기 관심 지역 내의 특징 기하로 추정되는 기하 형태 정보를 갖는 정사 데이터를 포함하고, 상기 기하 형태 정보는 상기 관심 지역에 추출된 객체의 특정 기하하적 형상에 기초하여 추출되는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  6. 제 5 항에 있어서,
    상기 유사성 분석은 상기 정사 데이터와 상기 관측 관련 데이터 간에 동일하게 추정되는 상기 기준 데이터를 설정하도록 실행되고, 상기 유사성 분석부는 상기 영상 센서로부터 상기 관측 관련 데이터를 획득하는 경우, 상기 관측 관련 데이터에 속한 지오코딩 영상 데이터 관련 정보 중 픽셀 좌표를 기반으로 하는 색상 변화를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사성 분석을 실행하고, 상기 3차원 측량 센서로부터 상기 관측 관련 데이터를 획득하는 경우, 상기 관측 관련 데이터에 속한 점군 데이터의 기하하적 형상 변화도 및 레이저 강도 변화도 중 적어도 하나를 분석하여 상기 기하 형태 정보를 추출하여 상기 기준 데이터를 설정하는 유사성 분석을 실행하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  7. 제 1 항에 있어서,
    상기 유사성 분석부는 상기 유사성 분석의 실행 전에, 상기 관측 관련 데이터와 상기 정사영상 관련 데이터 중 적어도 어느 하나에, 영상 휘도 조정 전처리, 영상 해상도 조정 전처리, 영상 선명도 조정 전처리, 영상 기하 변환 전처리, 영상 좌표계 변환 전처리, 상기 관측 및 상기 정사영상 관련 데이터들에서의 객체의 경계선 정보를 추출하는 전처리로부터 선택된 적어도 어느 하나의 전처리를 수행하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  8. 제 1 항에 있어서,
    상기 최확값의 산출시에 이용된 최소 이격량에 근거하여 보정 데이터와 관측 관련 데이터 간의 예상 오차를 분석하여 상기 예상 오차가 허용 오차보다 초과하는지 여부를 판단하는 예상 오차 확률 분석부를 더 포함하고,
    상기 예상 오차 확률 분석부는 상기 예상 오차가 상기 허용 오차보다 초과하는 경우에,
    상기 이동형 플랫폼의 이동 궤적에 부합되는 관심 지역을 조정하여 상기 정사영상 관련 데이터를 검색하여 추출하는 처리,
    상기 유사성 분석부에서 상기 유사성 분석 전에 상기 관측 관련 데이터와 상기 정사 데이터 간의 관측 기하 특성 차이로 인한 변형량을 최소화하는 전처리를 실시한 경우에 상기 전처리의 조건을 변경하거나, 상기 정사영상 관련 데이터 및 상기 관측 관련 데이터에서 다른 객체 또는 다른 특징 기하로 추정되는 기하 형태 정보를 신규의 기준 데이터로 샘플링하여 추출하는 처리,
    상기 네트워크 모델 구성부에서 생성된 상기 기하 모델에서 이상 데이터로 판정되는 관측 관련 데이터를 제거하는 처리,
    상기 기하 모델에 적용되는 적어도 일부의 파라미터를 변경하는 처리, 및
    상기 최확값 산출부에 적용되는 상기 최확값의 해석 모델식에 이용된 적어도 일부 파라미터를 변경하거나, 상기 해석 모델식을 변경하는 처리 중 적어도 어느 하나를 수행하도록 상기 유사성 분석부, 상기 네트워크 모델 구성부, 상기 최확값 산출부를 제어하고,
    상기 처리 수행 후의 제약 조건에 따라 최확값 및 보정 데이터를 재차 생성하도록 제어하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  9. 제 1 항에 있어서,
    상기 네트워크 모델 구성부는 상기 기하 모델에 적용되는 상기 기준 데이터에 수직 기하 데이터를 추가하는 보완 처리를 더 포함하여 수행하거나, 상기 기하 모델의 구성시에 상기 수직 기하 데이터 없는 상기 기준 데이터를 적용하는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
  10. 제 9 항에 있어서,
    상기 보완 처리는 상기 수직 기하 데이터를 소정 값으로 설정하는 처리, 다수의 기준 데이터로 3차원 좌표를 역산하는 처리, 래스터(raster) 형태의 수치고도모델 또는 벡터 형태의 수치지형도의 상기 수직 기하 데이터를 상기 기준 데이터에 추가하는 처리 및 상기 이동형 플랫폼의 이동 궤적에 따라 상기 센서가 복수 지점에서 획득된 멀티뷰(multi-view) 또는 스테레오 뷰(stereo-view)로부터 상기 복수 지점마다의 관측 범위에서 상호 중첩되는 영역의 인터섹션(intersection) 기하를 구성하여 상기 수직 기하 데이터를 산출하는 처리 중 적어도 어느 하나에 의해 수행되는 센서 탑재된 이동형 플랫폼의 기하 보정 시스템.
PCT/KR2019/010931 2018-11-15 2019-08-27 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 WO2020101156A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180140500A KR102127679B1 (ko) 2018-11-15 2018-11-15 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
KR10-2018-0140500 2018-11-15

Publications (1)

Publication Number Publication Date
WO2020101156A1 true WO2020101156A1 (ko) 2020-05-22

Family

ID=70732176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010931 WO2020101156A1 (ko) 2018-11-15 2019-08-27 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템

Country Status (2)

Country Link
KR (1) KR102127679B1 (ko)
WO (1) WO2020101156A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2100063A1 (en) * 2021-04-15 2022-10-16 Saab Ab A method, software product, and system for determining a position and orientation in a 3D reconstruction of the Earth´s surface

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220151B1 (ko) * 2020-09-25 2021-02-24 서울대학교 산학협력단 항공 라이더 결측지역 보완 시스템 및 이를 이용한 보완방법, 상기 보완방법을 수행하는 프로그램 기록매체
KR102635421B1 (ko) * 2020-11-18 2024-02-13 서울대학교산학협력단 저해상도의 지형 정보를 활용한 항체의 항법 시스템 및 수행 방법
KR102543871B1 (ko) * 2021-01-18 2023-06-20 네이버랩스 주식회사 도로정보 변화 영역 보완 방법 및 시스템
KR102528951B1 (ko) * 2021-03-31 2023-05-08 한국국토정보공사 건물형상정합 알고리즘을 이용한 3d 모델 위치보정 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033359A (ko) * 2002-10-14 2004-04-28 한국전자통신연구원 공간영상의 효율적인 저장 및 검색을 지원하기 위한공간영상정보시스템 및 그 검색방법
KR20090003787A (ko) * 2007-07-03 2009-01-12 주식회사 에이알맥스 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템
KR100904078B1 (ko) * 2008-12-30 2009-06-23 (주)대한지적기술단 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
US20150042648A1 (en) * 2012-04-25 2015-02-12 University Of Seoul Industry Cooperation Foundation System and method for automatic geometric correction using rpc
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033359A (ko) * 2002-10-14 2004-04-28 한국전자통신연구원 공간영상의 효율적인 저장 및 검색을 지원하기 위한공간영상정보시스템 및 그 검색방법
KR20090003787A (ko) * 2007-07-03 2009-01-12 주식회사 에이알맥스 공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 방법, 이를 수행하는 프로그램을 기록한 기록매체 및공선조건식을 이용한 단영상으로부터 개체의 3차원 정보추출 시스템
KR100904078B1 (ko) * 2008-12-30 2009-06-23 (주)대한지적기술단 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법
US20150042648A1 (en) * 2012-04-25 2015-02-12 University Of Seoul Industry Cooperation Foundation System and method for automatic geometric correction using rpc
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
KR20150101009A (ko) * 2014-02-24 2015-09-03 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2100063A1 (en) * 2021-04-15 2022-10-16 Saab Ab A method, software product, and system for determining a position and orientation in a 3D reconstruction of the Earth´s surface
WO2022220729A1 (en) * 2021-04-15 2022-10-20 Saab Ab A method, software product, and system for determining a position and orientation in a 3d reconstruction of the earth's surface
SE544823C2 (en) * 2021-04-15 2022-12-06 Saab Ab A method, software product, and system for determining a position and orientation in a 3D reconstruction of the Earth´s surface

Also Published As

Publication number Publication date
KR20200056613A (ko) 2020-05-25
KR102127679B1 (ko) 2020-06-29

Similar Documents

Publication Publication Date Title
WO2020101156A1 (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN108303099B (zh) 基于三维视觉slam的无人机室内自主导航方法
WO2019093532A1 (ko) 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
US10970924B2 (en) Reconstruction of a scene from a moving camera
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN103411587B (zh) 定位定姿方法及系统
WO2021015435A1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2021027676A1 (zh) 视觉定位方法、终端和服务器
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
JP2002532770A (ja) 映像に関連してカメラポーズを決定する方法及びシステム
Liu et al. A novel adjustment model for mosaicking low-overlap sweeping images
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN111862146A (zh) 一种目标对象的定位方法及装置
CN111412898B (zh) 基于地空耦合的大区域变形摄影测量方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19884824

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19884824

Country of ref document: EP

Kind code of ref document: A1