WO2020067751A1 - 이종 센서 간의 데이터 융합 장치 및 방법 - Google Patents

이종 센서 간의 데이터 융합 장치 및 방법 Download PDF

Info

Publication number
WO2020067751A1
WO2020067751A1 PCT/KR2019/012562 KR2019012562W WO2020067751A1 WO 2020067751 A1 WO2020067751 A1 WO 2020067751A1 KR 2019012562 W KR2019012562 W KR 2019012562W WO 2020067751 A1 WO2020067751 A1 WO 2020067751A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
fusion
sensor
point cloud
camera sensor
Prior art date
Application number
PCT/KR2019/012562
Other languages
English (en)
French (fr)
Inventor
이진희
아재이쿠마
권순
김광회
원웅재
윤성훈
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180116141A external-priority patent/KR102054455B1/ko
Priority claimed from KR1020190020480A external-priority patent/KR102145557B1/ko
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to US17/274,870 priority Critical patent/US11971961B2/en
Publication of WO2020067751A1 publication Critical patent/WO2020067751A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an apparatus and method for fusion of data between heterogeneous sensors, and more specifically, to perform calibration between heterogeneous sensors, and to convert data identified through each of the heterogeneous sensors, that is, the camera sensor and the lidar sensor, which have been calibrated. It relates to a technique for fusion using a vector and evaluating the accuracy of the fusion data in which the data is fused.
  • distance sensors such as lidar sensors
  • RGB cameras can provide 2D position and color information for an object. Therefore, by mapping 3D location information to 2D image data, it is possible to visualize objects in the real world.
  • the present invention can provide an apparatus and method for improving detection accuracy for a distant object regardless of a mounting position of a heterogeneous sensor by performing calibration between heterogeneous sensors through a 3D marker board with holes.
  • the present invention can provide an apparatus and method for generating fusion data by fusing identified data through each of heterogeneous sensors for which calibration has been performed, and evaluating accuracy of the generated fusion data.
  • a calibration method between heterogeneous sensors includes identifying image data taken by a marker board along a camera sensor; Identifying point cloud data sensed by the marker board through a LiDAR sensor; Recognizing holes present in the marker board from each of the identified image data and point cloud data; Determining a transformation vector for calibration of the camera sensor and the lidar sensor based on the radius of the hole recognized through the image data and the radius of the hole recognized through the point cloud data; And performing calibration between the camera sensor and the lidar sensor by projecting the point cloud data of the lidar sensor into image data of the camera sensor using the determined conversion vector.
  • the method further includes estimating the camera sensor-specific calibration parameters corresponding to the internal characteristics including the focal length, distortion, and center of the image using a checker board, identifying the image data, and
  • the step of identifying the point cloud data may identify the image cloud and the point cloud data corresponding to the field of view (FOV) of the camera sensor extracted using the estimated calibration parameter.
  • FOV field of view
  • the step of recognizing the hole may recognize a hole existing in the marker board based on a change amount of a pixel value for pixels included in the identified image data.
  • the step of recognizing the hole may recognize a hole existing in the marker board by removing points constituting a line having a certain angle among the points included in the identified point cloud data.
  • the step of determining the transform vector may be determined based on a first distance from the camera sensor to the marker board and a second distance from the lidar sensor to the marker board.
  • the first distance and the second distance may be determined using a focal length of the camera sensor, a radius of a hole existing in the marker board, and a hole radius recognized through each of the camera sensor and the lidar sensor.
  • the point cloud data of the lidar sensor may be projected as image data of the camera sensor using the determined transform vector, and may be projected in consideration of movement transformation.
  • the method may further include detecting a target using the camera sensor and the lidar sensor on which the calibration has been performed.
  • the data fusion method between heterogeneous sensors that have been calibrated includes image data for a search area through each of a camera sensor and a LiDAR sensor that are calibrated using a marker board having holes. And identifying point cloud data. Recognizing a transformation vector determined through calibration of the camera sensor and the lidar sensor; And fusing the identified image data and point cloud data by projecting the cloud data of the lidar sensor into image data of the camera sensor using the recognized transformation vector.
  • the conversion vector may be determined based on a first distance from the camera sensor to a marker board and a second distance from the lidar sensor to a marker board.
  • the first distance and the second distance may be determined using a focal length of the camera sensor, a radius of a hole existing in the marker board, and a hole radius recognized through each of the camera sensor and the lidar sensor.
  • the method may further include evaluating the accuracy of the fusion data that fuses the identified image data and point cloud data.
  • the accuracy of the fused data is evaluated by using a correspondence degree between positions of pixels corresponding to the reference region of the identified image data and points of point cloud data corresponding to the reference region in the fused data. You can.
  • the evaluating step may visualize the points of the point cloud data in the fusion data, and evaluate the accuracy of the fusion data by using a correspondence degree between the color values of the visualized points and the pixel values of the identified image data.
  • the estimated distance to the target is determined by using points of the point cloud data aligned to pixels corresponding to the target image in the fusion data, and the estimated estimated distance and the existing target recognition algorithm are determined.
  • the accuracy of the fusion data can be evaluated by comparing the measured distance to the target.
  • a data fusion device between heterogeneous sensors includes a processor that performs data fusion between a camera sensor and a lidar sensor, and the processor is a camera sensor that has been calibrated using a marker board having holes. And a LiDAR sensor to identify image data and point cloud data for a search area, recognize a conversion vector determined through calibration of the camera sensor and a lidar sensor, and use the recognized conversion vector. The identified image data and point cloud data can be fused by projecting the cloud data of the lidar sensor to the image data of the camera sensor.
  • the processor may evaluate the accuracy of the fusion data fusing the identified image data and point cloud data.
  • the processor may evaluate the accuracy of the fusion data by using a correspondence degree between positions of pixels corresponding to the reference region of the identified image data and points of point cloud data corresponding to the reference region in the fusion data. .
  • the processor may visualize the points of the point cloud data from the fusion data, and evaluate the accuracy of the fusion data using the correspondence between the color values of the visualized points and the pixel value of the identified image data.
  • the processor determines the estimated distance to the target using the points of the point cloud data aligned to the pixels corresponding to the image of the target in the fusion data, and measures the estimated distance to the target and the existing target recognition algorithm The accuracy of the fusion data can be evaluated by comparing the measured distance to the target.
  • the present invention can improve the detection accuracy for a distant object regardless of the mounting position of the heterogeneous sensor by performing calibration between heterogeneous sensors through a 3D marker board with holes.
  • the present invention can generate fusion data by fusing identified data through each of the heterogeneous sensors for which calibration has been performed, and evaluate accuracy of the generated fusion data.
  • FIG. 1 is a diagram illustrating a data fusion system between heterogeneous sensors according to an embodiment of the present invention.
  • FIG. 2 is a view showing an example of a marker board according to an embodiment of the present invention.
  • FIG 3 is a view showing an example of extracting a hole from heterogeneous sensor data according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a method for determining a transform vector according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a data fusion method between heterogeneous sensors according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a first embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
  • FIG. 7 is a view showing image data of a camera sensor and point cloud data of a lidar sensor identified in consideration of various scenarios according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a second embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
  • FIG. 9 is a view showing a third embodiment of a method for evaluating the accuracy of a fusion site performed by a data fusion device according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a data fusion system between heterogeneous sensors according to an embodiment of the present invention.
  • the data fusion system 100 between heterogeneous sensors of the present invention includes a first sensor 110, a second sensor 120 different from the first sensor 110, a marker board 130, and a data fusion device It may be composed of 140.
  • the first sensor 110 and the second sensor 120 may be one of various sensors such as a camera sensor, a lidar sensor, and a laser sensor.
  • the present invention provides a method of performing calibration between heterogeneous sensors using a marker board 130 having a plurality of holes as shown in FIG. 2 in order to provide a data fusion method between heterogeneous sensors.
  • the holes 131 to 134 existing in the marker board 130 may be circular, but are not limited to the circular shape and may have various shapes such as polygons.
  • the number of such holes may be present in various numbers only as an example.
  • the communication device 141 of the data fusion device 140 may receive data photographing the marker board 130 from the first sensor 110 and the second sensor 120. At this time, the communication device 141 may be connected to the first sensor 110 and the second sensor 120 by wire or wirelessly to receive data.
  • the processor 142 of the data fusion device 140 may identify data received through the communication device 141 and recognize a hole existing in the marker board 130 from the identified data.
  • the processor 142 may control the first sensor 110 and the first sensor 110 based on the radius of the hole recognized through the data identified from the first sensor 110 and the hole radius recognized through the data identified from the second sensor 120. A conversion vector for calibration between two sensors 120 may be determined.
  • the coordinate system of the first sensor 110 and the coordinate system of the second sensor 120 may be matched through the transformation vector.
  • Such transformation vector may include the first sensor 110 and the second sensor 120.
  • the relative position difference may be determined based on the distance between the first sensor 110 and the marker board 130 and the distance between the second sensor 120 and the marker board 130.
  • the processor 142 performs calibration between heterogeneous sensors such that the coordinate system of the first sensor 110 and the coordinate system of the second sensor 120 coincide with each other using the determined conversion vector. And the data identified from the second sensor 120.
  • the existing calibration method between heterogeneous sensors could cause a measurement error whenever there is a change in the position of the marker board or a change in position between the sensors, or may generate different results depending on the characteristics of the sensor itself when recognizing a long-range target. Therefore, in the existing calibration method between heterogeneous sensors, since the calibration is performed by arranging the mounting position between the heterogeneous sensors as close as possible to increase the recognition accuracy of the target, only the target located within a relatively close distance can be recognized, and thus a long-range target must be recognized. There were disadvantages that are not suitable in autonomous driving systems.
  • the data fusion system 100 of the present invention may provide a method of evaluating the accuracy of the fused data through calibration between heterogeneous sensors, and for this, may further include a separate distance measurement sensor 150.
  • the accuracy evaluation method for more specific fusion data will be described in detail with reference to FIGS. 6 to 9.
  • FIG. 3 is a view showing an example of recognizing a hole from heterogeneous sensor data according to an embodiment of the present invention.
  • the present invention provides a calibration method between a camera sensor and a lidar sensor among calibration methods between various heterogeneous sensors. Therefore, in order to perform calibration between the camera sensor and the lidar sensor, it is first necessary to recognize the holes present in the marker board 130 from the data captured by the camera board and the lidar sensor, respectively.
  • the processor 142 uses a checker board to set a calibration parameter unique to the camera sensor corresponding to the internal characteristics of the camera sensor itself, such as the focal length, distortion, and center of the image. Can be estimated. This may be an essential step for fusion of image data and point cloud data collected through heterogeneous sensors, that is, camera sensors and lidar sensors, respectively.
  • the processor 142 may obtain a camera matrix, distortion coefficient, and camera projection matrix. At this time, the camera projection matrix can be obtained by combining the inner matrix and the outer matrix as shown in Equation 1 below.
  • And internal matrix Can be decomposed into a product of a 2D translation matrix, a 2D scaling matrix, and a 2D shear matrix, as shown in Equation 2 below.
  • 3A illustrates an example in which the processor 142 recognizes a hole existing in the marker board 130 from the identified point cloud data by sensing the marker board 130 using a lidar sensor.
  • the processor 142 may segment the point cloud data collected through the lidar sensor based on the field of view (FOV) of the camera sensor. At this time, the field of view of the camera sensor may be extracted using a calibration parameter unique to the camera sensor.
  • the divided point cloud data may include not only the sensed marker board 130 but also various objects around the marker board 130.
  • the processor 142 calculates normals and curvatures of all objects in order to extract only the marker board 130 from the point cloud data corresponding to the field of view of the camera sensor, and then planes having the same normals and curvatures. Can be identified. At this time, the identified plane may correspond to the marker board 130, and the processor 142 may extract only the identified plane and remove the rest.
  • the processor 142 may recognize a hole existing in the marker board 130 by removing points constituting a line having a certain angle from the point cloud data included in the extracted plane. More specifically, the processor 142 finds a line having the same angle among the points mapped to the plane, extracts a line having the same angle through a line segmentation operation, and extracts the points mapped to the corresponding line. Can be removed. Through this operation, the processor 142 may leave only points of a circle corresponding to a hole in a plane corresponding to the marker board 130.
  • the processor 142 may determine thresholds of a center point and a radius of a circle to recognize holes existing in the marker board 130, and identify holes having a certain radius among variously detected polygons (including circles). .
  • the radius was determined to be 20 to 22 cm for use in an autonomous driving system, and four circles within the corresponding threshold range could be recognized as shown in FIG. 3 (a).
  • 3B shows an example in which the processor 142 recognizes a hole existing in the marker board 130 from the identified image data by sensing the marker board 130 using a camera sensor.
  • the processor 142 extracts the boundary of all objects including the entire marker board 130 from the collected image data corresponding to the field of view of the camera sensor extracted using the calibration parameters unique to the camera sensor, and includes holes ( Only the region of 130) can be extracted separately.
  • the image data from which the edges of all objects are extracted may be in the form of RGB.
  • the processor 142 may convert the image data extracted in the form of RGB into gray scale image data.
  • the processor 142 may recognize a hole existing in the marker board 130 based on a change amount of a pixel value for pixels included in gray scale image data.
  • the processor 142 is configured for grayscale image data. Edges of holes existing in the marker board 130 and the marker board 130 may be extracted using a size matrix as a filter. At this time, the processor 142 applies a filter to all the pixels included in the gray scale image data, and compares the front and back pixel values in each direction based on a point in the image data to detect the amount of change, thereby detecting the edge of the edge. Can be extracted.
  • the processor 142 finds all circular edges belonging to a range of a threshold of a center point and a radius of a preset circle among the extracted edges, and determines a slope threshold of the boundary among the found circular edges to provide a strong boundary strength circle. Only can be extracted.
  • the slope threshold of the boundary can be determined by the user based on the found edge image of the circle, and the processor 142 uses only the determined slope slope of the boundary to obtain a clearer circle among the found edge of the circle. Can be extracted.
  • the processor 142 of the present invention was able to recognize four circles from the image data identified through the camera sensor as shown in FIG. 3B.
  • FIG. 4 is a diagram illustrating a method for determining a transform vector according to an embodiment of the present invention.
  • the processor 142 matches the coordinate system between the camera sensor and the lidar sensor using the recognized hole. Calibration can be performed.
  • the rotation difference is not considered, and the calibration between heterogeneous sensors is performed by considering only the translation difference between the sensors. By doing so, the amount of computation can be minimized.
  • the processor 142 calculates an internal parameter (Intrinsic parameter) of the two sensors, that is, a calibration parameter unique to the camera sensor, and an external parameter (Extrinsic parameter), that is, a transformation vector, and then through the Lidar sensor through Equation 3
  • an internal parameter that is, a calibration parameter unique to the camera sensor
  • an external parameter that is, a transformation vector
  • an external parameter a transformation vector
  • the processor 142 is a transformation vector Component of Wow Before calculating Can be calculated.
  • the distance from each sensor to the marker board 130 Is the focal length of the camera sensor ( ),
  • the radius of the hole respectively recognized from the point cloud data and image data ( ) Can be calculated as in Equation 5 below.
  • the transform vector determined in this way ( By projecting the point cloud data of the lidar sensor to the image data of the camera sensor using), the processor 142 may perform calibration between the camera sensor and the lidar sensor to generate fusion data.
  • FIG. 5 is a diagram illustrating a data fusion method between heterogeneous sensors according to an embodiment of the present invention.
  • the data fusion device 140 of the data fusion system 100 may estimate calibration parameters specific to the camera sensor, such as the focal length, distortion, and center of the image of the camera sensor.
  • the data fusion device 140 may estimate a calibration parameter unique to the camera sensor using a checker board.
  • the data fusion device 140 may obtain a camera matrix, distortion coefficient, and camera projection matrix as a result of the calibration of the camera sensor performed using the calibration parameters unique to the camera sensor, and through this, the camera sensor and the lidar sensor It is possible to fuse the identified image data and point cloud data.
  • the data fusion device 140 identifies the image data taken by the marker board 130 through the camera sensor, and in step 530, the marker board 130 through the LiDAR sensor. Sensing point cloud data can be identified.
  • the holes present in the marker board 130 may be circular, but are not limited to the circular shape and may have various shapes such as polygons, and may exist in various numbers.
  • the data fusion device 140 may recognize a hole existing in the marker board 130 from the identified image data by photographing the marker board 130 using a camera sensor.
  • the data fusion device 140 extracts the boundary of all objects including the entire marker board 130 from the collected image data corresponding to the field of view of the camera sensor extracted using the calibration parameters unique to the camera sensor, and among them, Only the region of the hole can be extracted separately.
  • the image data from which the edges of all objects are extracted may be in the form of RGB.
  • the data fusion device 140 may convert the image data extracted in the form of RGB into gray scale image data.
  • the data fusion device 140 may recognize a hole existing in the marker board 130 based on a change amount of a pixel value for pixels included in the converted gray scale image data.
  • the data fusion device 140 may be configured for grayscale image data. Edges of holes existing in the marker board 130 and the marker board 130 may be extracted using a size matrix as a filter. In this case, the data fusion device 140 applies a filter to all the pixels included in the gray scale image data. By comparing the front and back pixel values in each direction based on a point in the image data, the amount of change is detected to detect edges. Edges can be extracted.
  • the data fusion device 140 finds all circular edges belonging to a range of a threshold of a center point and a radius of a preset circle among the extracted edges, and sets the threshold of the slope of the boundary among the found circular edges to obtain a boundary strength. Only strong circles can be extracted.
  • the slope threshold of the boundary may be determined by the user based on the found edge image of the circle, and the data fusion device 140 may use the determined slope threshold of the boundary to obtain a clearer edge among the found circle edges. Only circles can be extracted.
  • the data fusion device 140 may recognize a hole existing in the marker board 130 from the identified point cloud data by sensing the marker board 130 using a lidar sensor.
  • the data fusion device 140 may segment the point cloud data collected through the lidar sensor based on the field of view (FOV) of the camera sensor.
  • FOV field of view
  • the field of view of the camera sensor may be extracted using a calibration parameter unique to the camera sensor.
  • the divided point cloud data may include not only the sensed marker board 130 but also various objects around the marker board 130.
  • the data fusion device 140 calculates normals and curvatures of all objects in order to extract only the marker board 130 from the point cloud data corresponding to the field of view of the camera sensor, thereby calculating a plane having the same normal and curvature ( Plane) can be identified.
  • Plane normal and curvature
  • the identified plane may correspond to the marker board 130, and the data fusion device 140 may extract only the identified plane and remove the rest.
  • the data fusion device 140 may recognize holes existing in the marker board 130 by removing points constituting a line having a certain angle from the point cloud data included in the extracted plane. More specifically, the data fusion device 140 finds a line having the same angle among points mapped to the plane, extracts a line having the same angle through a line segmentation operation, and maps the line to the corresponding line Points can be removed. Through this operation, the data fusion device 140 may leave only circular points corresponding to holes in the plane corresponding to the marker board 130.
  • the data fusion device 140 determines thresholds of a center point and a radius of a circle to recognize holes existing in the marker board 130, and identifies holes having a certain radius among various detected polygons (including circles).
  • the data fusion device 140 may determine a transform vector based on the distance from the camera sensor and the lidar sensor to the marker boat 130.
  • the second distance from the camera sensor to the marker board 130 ( ) Is the focal length of the camera sensor ( ), The radius of the hole respectively recognized from the point cloud data and image data ( ).
  • the data fusion device 140 generates calibration data by performing calibration between the camera sensor and the lidar sensor by projecting the point cloud data of the lidar sensor into the image data of the camera sensor using the determined transformation vector. Can do, the data fusion device 140 may more accurately detect a target located at a long distance using a camera sensor and a lidar sensor on which calibration has been performed.
  • FIG. 6 is a diagram illustrating a first embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
  • the present invention proposes a method for evaluating the performance of a data fusion method between heterogeneous sensors using a depth sensing context of a driving vehicle.
  • the data fusion method can be evaluated by considering various aspects when sensing the surrounding environment based on the current requirements of autonomous vehicles.
  • the present invention can provide a standard for evaluating the accuracy of the fused data by fusing data of heterogeneous sensors identified through actual road driving as an autonomous vehicle platform.
  • the data fusion device 140 of the present invention has placed a lidar sensor and a camera sensor on an autonomous vehicle platform and performed an evaluation experiment on the fusion accuracy of the identified data according to the movement of the autonomous vehicle.
  • data was acquired using a Velodyne HDL 64E-S2 lidar sensor and a Sekonix SF3321 camera sensor.
  • the sensor can be calibrated to estimate the camera sensor's unique calibration parameters (internal and external parameters).
  • the evaluation experiment was performed using sensor data obtained through the autonomous vehicle platform and sensor placement.
  • data was acquired using a vehicle running at 30-40 km / h.
  • the camera sensor acquired image data at 40-60 frames per second
  • the lidar sensor acquired point cloud data at 20 frames per second.
  • the image data captured by the camera sensor and the point cloud data sensed by the lidar sensor are the same as the left 710 and right 720 of FIG. 7, respectively.
  • a method of estimating the distance to a moving object and a fixed object is an essential technique for autonomous driving. Evaluating the accuracy of the fusion data can be verified by considering factors related to the distance to the target object.
  • the data fusion device 140 may compare the average error by measuring the accuracy of the fusion data when the distance to the target object changes as shown in FIG. 6. Specifically, the data fusion device 140 may evaluate the accuracy of the fusion data by analyzing how many points of the lidar sensor are mapped and aligned to the reference area of the image data identified through the camera sensor.
  • Table 1 is an analysis result of fusing pixels of image data identified through a camera sensor and points of point cloud data identified through a lidar sensor by experimenting different distances on the same flat marker board. In this evaluation method, experiments were performed at a distance of 20 m (a), 30 m (b), and 40 m (c) from the vehicle, respectively, and the same flat board with a size of 1 m ⁇ 1.5 m was used.
  • a separate tape is used to mark the reference area in the image data of the camera sensor, and among the point cloud data of the lidar sensor, points matching the reference area indicated by the tape are found and aligned.
  • the accuracy of the fusion data was evaluated by measuring.
  • the data fusion device 140 fuses the data identified through the camera sensor and the lidar sensor, and then positions the pixels of each reference region included in the image data and points of point cloud data corresponding to the reference region.
  • the accuracy of the fusion data can be evaluated through the degree of correspondence between locations.
  • the average error between the positions of the pixels of the image data corresponding to the reference area and the points of the point cloud data corresponding to the reference area allows the high resolution camera. It can be seen that the result is lower than the error range of 35 pixels. That is, it can be seen that the accuracy of the fused data is high through the data fusion device 140 of the present invention.
  • FIG. 8 is a diagram illustrating a second embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
  • the data fusion device 140 visualizes the points of the point cloud data from the fusion data, and calculates the alignment score between the pixels and the points by using the correspondence between the color values of the visualized points and the pixel values of the identified image data. The accuracy of the fusion data can be evaluated.
  • the data fusion device 140 may evaluate the accuracy of the fusion data by measuring the ratio of the pixel value of a specific object to the RGB point value based on the intensity value in the image data of the camera sensor. .
  • the data fusion device 140 may visualize the points of the point cloud data by converting them to RGB-based intensity values as shown in the right side 820 of FIG. 8.
  • the data fusion device 140 converts 3D point cloud data identified through a lidar sensor into 2D point cloud data, and colors for pixels of 2D image data in the same position as the converted 2D point cloud data.
  • the intensity value of 2D point cloud data can be substituted.
  • the alignment score between the pixel and the point may be calculated based on the ratio of the number of pixels of the image data accurately mapped to the point of the point cloud data converted to RGB.
  • image data 810 representing the same object and fusion data 820 visualizing point clouds are accurately aligned in the same coordinate system.
  • Table 2 is a statistical analysis of the accuracy of the fusion data based on the data obtained through the actual road driving, using the fusion data generated by the data fusion device 140 of the present invention, the average of about 89% the same object It shows the exact result.
  • FIG. 9 is a diagram illustrating a third embodiment of a method for evaluating accuracy of fusion data performed by a data fusion device according to an embodiment of the present invention.
  • the data fusion device 140 may evaluate the accuracy of the fusion data by performing depth estimation of a target for an autonomous vehicle.
  • the data fusion device 140 may use a set of point cloud data aligned with image data of the camera sensor for estimating the depth of the vehicle in the surrounding environment.
  • the data fusion device 140 may estimate the depth of the vehicle using points aligned on pixels corresponding to the image of the vehicle. More specifically, the data fusion device 140 may determine an estimated distance to the corresponding vehicle using an average value of the depths of points arranged on pixels included in a bounding box of a certain vehicle image. . At this time, vehicle recognition in image data may be recognized using an existing vehicle recognition algorithm.
  • Table 3 The statistical analysis of the experimental results performed in the actual road scenario is shown in Table 3, and the image data of the corresponding scene may be shown in FIG. 9.
  • the data fusion device 140 may evaluate the accuracy of the fusion data by comparing the estimated distance to the vehicle thus obtained with an actual measurement distance obtained using a separate distance measurement sensor 150 such as a laser range finder. That is, the accuracy of depth estimation in the fusion data can be calculated in consideration of the difference between the actual measurement distance and the estimated distance.
  • the C3 vehicle of Scene 4 940 is a vehicle measured at a distance of 80 m or more, and it can be confirmed that the difference between the actual measurement distance and the estimated distance is 9 cm. It can be seen that the accuracy of the fusion data generated through the data fusion device 140 of the present invention is high because such a difference exists within the allowable criterion of the maximum distance error.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and / or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed on networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

Abstract

이종 센서 간의 데이터 융합 장치 및 방법이 개시된다. 이종 센서 간의 데이터 융합 방법은 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계; 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계를 포함할 수 있다.

Description

이종 센서 간의 데이터 융합 장치 및 방법
본 발명은 이종 센서 간의 데이터 융합 장치 및 방법에 관한 것으로, 보다 구체적으로는 이종 센서 간의 캘리브레이션을 수행하고, 캘리브레이션이 수행된 이종 센서, 즉, 카메라 센서 및 라이다 센서 각각을 통해 식별된 데이터들을 변환벡터를 이용하여 융합하고, 상기 데이터들이 융합된 융합 데이터의 정확도를 평가하는 기술에 관한 것이다.
최근 센싱 기술의 발달에 따라 카메라, 라이다, 레이더 등의 멀티 센서를 사용한 데이터 융합 및 데이터 통합 기술에 대한 관심이 증가하고 있다. 특히 로봇이나 자율주행 시스템은 센서 간의 상호보완을 통한 안정적 이동성이 중요한 이슈로 대두되었다. 최근 개발된 센서 융합 기술을 통해 각 센서들의 장점을 융합함으로써 개별 센서의 단점을 극복할 수 있고, 안정적 이동에 대한 이슈를 충분히 해결 가능하게 되었다.
일례로, 라이다 센서와 같은 거리 측정 센서는 다양한 객체 탐색을 위해 RGB 카메라와 함께 사용할 수 있다. 라이다 센서는 물체에 대한 3D 위치 및 깊이 정보를 제공할 수 있는 반면 RGB 카메라는 물체에 대한 2D 위치 및 색상 정보를 제공할 수 있다. 따라서 2D 영상 데이터에 3D 위치 정보를 맵핑함으로써 보다 현실 세계 속의 객체를 시각화 할 수 있다.
한편, 자율주행 차량에서 카메라와 라이다를 이용한 인지 기술 개발을 위해서는 우선적으로 카메라와 라이다 사이의 상대적 위치(자세 및 방향 정보 포함)에 대한 정확한 지식이 필요하다. 이것은 두 이종 센서 프레임 간의 변환을 결정하는 것, 다시 말해서 외부 캘리브레이션(extrinsic calibration) 문제로 접근할 수 있다. 라이다의 포인트 클라우드 데이터와 카메라의 이미지 데이터에서 고유한 특징(feature)을 식별하기 위해서는 두 센서 사이의 대응 관계를 설정해야 한다.
그러나 이와 같이 설정된 두 센서 사이의 대응 관계를 통해 각 센서를 통해 식별된 데이터를 융합하는 경우, 해당 융합 데이터가 제대로 융합되었는지를 판단하는 기준이 모호한 실정이다. 따라서, 융합 데이터에 대한 안전성과 신뢰성을 위해 융합 데이터의 정확도를 평가하는 기술이 요구되고 있다.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시키는 장치 및 방법을 제공할 수 있다.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 이종 센서 간의 캘리브레이션 방법은 카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계; 라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계; 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계; 상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계를 포함할 수 있다.
체커 보드를 이용하여 상기 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하는 단계를 더 포함하고, 상기 이미지 데이터를 식별하는 단계 및 상기 포인트 클라우드 데이터를 식별하는 단계는 상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 대응하는 이미지 데이터 및 포인트 클라우드 데이터를 식별할 수 있다.
상기 홀을 인식하는 단계는 상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식할 수 있다.
상기 홀을 인식하는 단계는 상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식할 수 있다.
상기 변환 벡터를 결정하는 단계는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정할 수 있다.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.
상기 캘리브레이션을 수행하는 단계는 상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영할 수 있다.
상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 캘리브레이션이 수행된 이종 센서 간의 데이터 융합 방법은 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계; 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계를 포함할 수 있다.
상기 변환 벡터는 상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정될 수 있다.
상기 제1 거리 및 제2 거리는 상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정될 수 있다.
상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계를 더 포함할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 평가하는 단계는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.
본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 장치는 카메라 센서 및 라이다 센서 간의 데이터 융합을 수행하는 프로세서를 포함하고, 상기 프로세서는 홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고, 상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며, 상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다.
상기 프로세서는 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가할 수 있다.
상기 프로세서는 상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가할 수 있다.
본 발명은 홀이 존재하는 3D 마커 보드를 통해 이종 센서 간의 캘리브레이션을 수행함으로써 이종 센서의 탑재 위치에 상관없이 원거리의 물체에 대한 탐지 정확도를 향상시킬 수 있다.
또한, 본 발명은 캘리브레이션이 수행된 이종 센서 각각을 통해 식별된 데이터들을 융합하여 융합 데이터를 생성하고, 생성된 융합 데이터에 대한 정확도를 평가할 수 있다
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 마커 보드의 예를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 추출하는 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 다양한 시나리오를 고려하여 식별된 카메라 센서의 이미지 데이터와 라이다 센서의 포인트 클라우드 데이터를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 시스템을 도시한 도면이다.
도 1을 참고하면, 본 발명의 이종 센서 간의 데이터 융합 시스템(100)은 제1 센서(110), 제1 센서(110)와는 다른 제2 센서(120), 마커 보드(130) 및 데이터 융합 장치(140)로 구성될 수 있다. 일례로, 제1 센서(110) 및 제2 센서(120)는 카메라 센서, 라이다 센서, 레이저 센서 등 다양한 센서 중 하나일 수 있다.
이와 같이 이종 센서를 통해 수집된 데이터를 융합하기 위해서는 각 센서의 프레임 간 좌표 변환, 즉 캘리브레이션을 수행하여야 한다. 이를 위해서는 이종 센서를 통해 수집된 데이터 각각에서 고유한 특징을 식별하고, 식별된 고유한 특징에 기초하여 이종 센서 간 대응 관계를 설정해야 한다.
본 발명에서는 이종 센서 간의 데이터 융합 방법을 제공하기 위해 도 2와 같이 복수의 홀이 존재하는 마커 보드(130)를 이용하여 이종 센서 간의 캘리브레이션을 수행하는 방법을 제공한다. 이때, 마커 보드(130)에 존재하는 홀(131~134)은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있다. 또한, 도 2의 마커 보드(130)에는 4개의 홀(131~134)이 존재하지만 이와 같은 홀의 개수는 하나의 예시일 뿐 다양한 개수로 존재할 수 있다.
이때, 데이터 융합 장치(140)의 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)로부터 마커 보드(130)를 촬영한 데이터를 수신할 수 있다. 이때, 통신 장치(141)는 제1 센서(110) 및 제2 센서(120)와 유선 혹은 무선으로 연결되어 데이터를 수신할 수 있다.
그리고 데이터 융합 장치(140)의 프로세서(142)는 통신 장치(141)를 통해 수신된 데이터들을 식별하고, 식별된 데이터들로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 그리고 프로세서(142)는 제1 센서(110)로부터 식별된 데이터를 통해 인식한 홀의 반지름과 제2 센서(120)로부터 식별된 데이터를 통해 인식한 홀의 반지름에 기초하여 제1 센서(110)와 제2 센서(120) 간의 캘리브레이션을 위한 변환 벡터를 결정할 수 있다.
다시 말하자면, 제1 센서(110)의 좌표계와 제2 센서(120)의 좌표계는 상기 변환 벡터를 통해 일치될 수 있는데, 이와 같은 변환 벡터는 제1 센서(110)와 제2 센서(120)의 상대적인 위치 차이, 즉 제1 센서(110)와 마커 보드(130) 사이의 거리 및 제2 센서(120)와 마커 보드(130) 사이의 거리에 기초하여 결정될 수 있다. 보다 자세한 변환 벡터 결정 방법은 이후 개시되는 도 4를 통해 보다 자세히 설명하도록 한다.
이후 프로세서(142)는 결정된 변환 벡터를 이용하여 제1 센서(110)의 좌표계 및 제2 센서(120)의 좌표계가 서로 일치하도록 이종 센서 간의 캘리브레이션을 수행함으로써 제1 센서(110)로부터 식별된 데이터와 제2 센서(120)로부터 식별된 데이터를 융합할 수 있다.
기존의 이종 센서 간의 캘리브레이션 방법은 마커 보드의 위치 변화나 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나, 원거리 타겟을 인식하는 경우 센서 자체의 특성에 따라 서로 다른 결과를 생성할 수 있었다. 따라서, 기존의 이종 센서 간의 캘리브레이션 방법은 타겟의 인지 정확도를 높이기 위해 이종 센서 간의 탑재 위치를 최대한 가깝게 배치하여 캘리브레이션을 수행하기 때문에 비교적 가까운 거리 내에 위치한 타겟만을 인식할 수 있으므로, 원거리 타겟을 인지해야 하는 자율주행 시스템 등에서는 적합하지 않는 단점이 있었다.
그러나 본 발명의 이종 센서 간의 캘리브레이션 방법은 홀이 존재하는 마커 보드(130)를 이용하여 캘리브레이션을 수행함으로써 이종 센서 간의 탑재 위치에 상관없이 원거리의 타겟에 대해서도 높은 정확도로 인식할 수 있으므로 자율주행 시스템 등에서도 크게 활용될 수 있다.
추가적으로 본 발명의 데이터 융합 시스템(100)은 이종 센서 간의 캘리브레이션을 통해 융합된 데이터의 정확도를 평가하는 방법을 제공할 수 있으며, 이를 위해 별도의 거리 측정 센서(150)를 더 포함할 수 있다. 보다 구체적인 융합 데이터에 대한 정확도 평가 방법은 도 6 내지 도 9을 통해 자세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 이종 센서 데이터로부터 홀을 인식하는 예를 도시한 도면이다.
본 발명에서는 다양한 이종 센서 간의 캘리브레이션 방법 중 카메라 센서 및 라이다 센서 간의 캘리브레이션 방법을 제공한다. 따라서, 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하기 위해서는 먼저 카메라 센서 및 라이다 센서 각각이 마커 보드(130)를 촬영한 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식하는 것이 필요하다.
먼저, 프로세서(142)는 이종 센서 중 하나가 카메라 센서인 경우, 체커 보드를 이용하여 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 자체의 내부 특성에 대응하는 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이는 이종 센서 즉, 카메라 센서 및 라이다 센서 각각을 통해 수집한 이미지 데이터 및 포인트 클라우드 데이터의 융합을 위해 필수적인 단계일 수 있다. 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 캘리브레이션의 결과로 프로세서(142)는 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있다. 이때, 카메라 투영 행렬은 하기의 식 1과 같이 내부 행렬 및 외부 행렬의 결합으로 획득될 수 있다.
Figure PCTKR2019012562-appb-img-000001
여기서,
Figure PCTKR2019012562-appb-img-000002
이고, 내부 행렬
Figure PCTKR2019012562-appb-img-000003
는 하기의 식 2와 같이 2D 변환 행렬(2D translational matrix), 2D 스케일링 행렬(2D scaling matrix) 및 2D 전단 행렬(2D shear matrix)의 곱으로 분해될 수 있다.
Figure PCTKR2019012562-appb-img-000004
여기서
Figure PCTKR2019012562-appb-img-000005
는 이미지 데이터의 중심이고,
Figure PCTKR2019012562-appb-img-000006
는 픽셀 유닛의 초점 거리이며,
Figure PCTKR2019012562-appb-img-000007
는 전단 계수이다.
도 3의 (a)는 라이다 센서를 이용하여 마커 보드(130)를 센싱 함으로써 식별된 포인트 클라우드 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.
프로세서(142)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.
프로세서(142)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130)만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 프로세서(142)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.
프로세서(142)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 프로세서(142)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 프로세서(142)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다.
이후 프로세서(142)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다. 일례로, 본 발명에서는 자율주행 시스템에 활용하기 위하여 반지름을 20~22cm로 결정하였고, 해당 임계값 범위 내에 있는 네 개의 원을 도 3의 (a)와 같이 인식할 수 있었다.
도 3의 (b)는 카메라 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 이미지 데이터로부터 프로세서(142)가 마커 보드(130) 내에 존재하는 홀을 인식하는 예를 보여준다.
프로세서(142)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀(130)의 영역만을 따로 추출할 수 있다. 이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 프로세서(142)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.
프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 대해
Figure PCTKR2019012562-appb-img-000008
크기의 형렬을 필터로 사용하여 마커 보드(130) 및 마커 보드(130) 내에 존재하는 홀의 에지를 추출할 수 있다. 이때, 프로세서(142)는 그레이 스케일 형태의 이미지 데이터에 포함된 모든 픽셀에 대해 필터를 적용하는데 이미지 데이터 내의 어느 한 점을 기준으로 각 방향의 앞뒤 픽셀 값을 비교하여 그 변화량을 검출함으로써 가장자리 에지를 추출할 수 있다.
프로세서(142)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 프로세서(142)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다. 일례로, 본 발명의 프로세서(142)는 카메라 센서를 통해 식별된 이미지 데이터로부터 네 개의 원을 도 3의 (b)와 같이 인식할 수 있었다.
도 4는 본 발명의 일실시예에 따른 변환 벡터를 결정하기 위한 방법을 도시한 도면이다.
도 3과 같이 카메라 센서 및 라이다 센서를 통해 식별된 데이터로부터 마커 보드(130)에 존재하는 홀이 인식되면, 프로세서(142)는 인식된 홀을 이용하여 카메라 센서와 라이다 센서 간의 좌표계를 일치시키기 위한 캘리브레이션을 수행할 수 있다. 본 발명에서는 자율주행 차량의 카메라 센서 및 라이다 센서가 3축에서 동일한 방향으로 탑재되므로 회전 차이(Rotation difference)는 고려하지 않고, 센서 간 이동 차이(Translation difference)만을 고려하여 이종 센서 간의 캘리브레이션을 수행함으로써 연산량을 최소화할 수 있다.
즉, 프로세서(142)는 두 센서의 내부 파라미터(Intrinsic parameter) 즉, 카메라 센서 고유의 캘리브레이션 파라미터와 외부 파라미터(Extrinsic parameter) 즉, 변환 벡터를 계산한 후 하기의 식 3을 통해 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 카메라 센서를 통해 식별된 이미지 데이터 상에 투영(Projection)함으로써 두 이종 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 수 있다.
Figure PCTKR2019012562-appb-img-000009
이때, 외부 파라미터인 변환 벡터는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 결정될 수 있다. 먼저, 프로세서(142)는 변환 벡터
Figure PCTKR2019012562-appb-img-000010
의 구성요소인
Figure PCTKR2019012562-appb-img-000011
와
Figure PCTKR2019012562-appb-img-000012
를 계산하기 전
Figure PCTKR2019012562-appb-img-000013
를 계산할 수 있다.
이때,
Figure PCTKR2019012562-appb-img-000014
는 라이다 센서로부터 마커 보드(130)까지의 제1 거리(
Figure PCTKR2019012562-appb-img-000015
)과 카메라 센서로부터 마커 보드(130)까지의 제2 거리(
Figure PCTKR2019012562-appb-img-000016
)를 이용하여 하기의 식 4와 같이 계산될 수 있다.
Figure PCTKR2019012562-appb-img-000017
이때, 각 센서로부터 마커 보드(130)까지의 거리
Figure PCTKR2019012562-appb-img-000018
는 카메라 센서의 초점 거리(
Figure PCTKR2019012562-appb-img-000019
), 포인트 클라우드 데이터 및 이미지 데이터로부터 각각 인식된 홀의 반지름(
Figure PCTKR2019012562-appb-img-000020
)을 이용하여 하기의 식 5와 같이 계산될 수 있다.
Figure PCTKR2019012562-appb-img-000021
이후, 프로세서(142)는 계산된
Figure PCTKR2019012562-appb-img-000022
를 이용하여 나머지 변환 벡터인
Figure PCTKR2019012562-appb-img-000023
와
Figure PCTKR2019012562-appb-img-000024
를 하기의 식 6을 이용하여 계산할 수 있다.
Figure PCTKR2019012562-appb-img-000025
이와 같이 결정된 변환 벡터(
Figure PCTKR2019012562-appb-img-000026
)를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 프로세서(142)는 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 이종 센서 간의 데이터 융합 방법을 도시한 도면이다.
단계(510)에서, 데이터 융합 시스템(100)의 데이터 융합 장치(140)는 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심 등 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다. 이때, 데이터 융합 장치(140)는 체커 보드를 이용하여 카메라 센서 고유의 캘리브레이션 파라미터를 추정할 수 있다.
데이터 융합 장치(140)는 이와 같은 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 수행된 카메라 센서의 캘리브레이션의 결과 카메라 행렬, 왜곡 계수 및 카메라 투영 행렬 등을 획득할 수 있으며, 이를 통해 카메라 센서 및 라이다 센서를 통해 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합할 수 있다.
단계(520)에서, 데이터 융합 장치(140)는 카메라 센서를 통해 마커 보드(130)를 촬영한 이미지 데이터를 식별하고, 단계(530)에서 라이다(LiDAR) 센서를 통해 마커 보드(130)를 센싱(Sensing)한 포인트 클라우드 데이터를 식별할 수 있다. 이때, 마커 보드(130)에 존재하는 홀은 원형일 수 있으나, 원형에 한정되지 않고 다각형 등 다양한 모양을 가질 수 있으며 다양한 개수로 존재할 수 있다.
단계(540)에서, 데이터 융합 장치(140)는 카메라 센서를 이용하여 마커 보드(130)를 촬영함으로써 식별된 이미지 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출된 카메라 센서의 시야에 대응하여 수집된 이미지 데이터로부터 전체 마커 보드(130)를 포함한 모든 물체의 가장자리(boundary)를 추출하고 그 중에서 홀의 영역만을 따로 추출할 수 있다.
이때, 모든 물체의 가장자리가 추출된 이미지 데이터는 RGB 형태일 수 있는데 데이터 융합 장치(140)는 RGB 형태로 추출된 이미지 데이터를 그레이 스케일(Gray scale) 형태의 이미지 데이터로 변환할 수 있다.
데이터 융합 장치(140)는 변환된 그레이 스케일 형태의 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 구체적으로 데이터 융합 장치(140)는 그레이 스케일 형태의 이미지 데이터에 대해
Figure PCTKR2019012562-appb-img-000027
크기의 형렬을 필터로 사용하여 마커 보드(130) 및 마커 보드(130) 내에 존재하는 홀의 에지를 추출할 수 있다. 이때, 데이터 융합 장치(140)는 그레이 스케일 형태의 이미지 데이터에 포함된 모든 픽셀에 대해 필터를 적용하는데 이미지 데이터 내의 어느 한 점을 기준으로 각 방향의 앞뒤 픽셀 값을 비교하여 그 변화량을 검출함으로써 가장자리 에지를 추출할 수 있다.
데이터 융합 장치(140)는 이와 같이 추출된 에지 중에서 미리 설정된 원의 중심점과 반지름의 임계값의 범위에 속하는 모든 원형의 에지를 찾고, 찾아진 원형의 에지 중에서 경계의 기울기 임계값을 정해서 경계 강도가 강한 원 만을 추출할 수 있다. 이와 같은 경계의 기울기 임계값은 상기 찾아진 원형의 에지 이미지에 기초하여 사용자에 의해 결정될 수 있으며, 데이터 융합 장치(140)는 결정된 경계의 기울기 임계값을 이용함으로써 상기 찾아진 원형의 에지 중 보다 선명한 원만을 추출할 수 있다.
단계(550)에서, 데이터 융합 장치(140)는 라이다 센서를 이용하여 마커 보드(130)를 센싱함으로써 식별된 포인트 클라우드 데이터로부터 마커 보드(130) 내에 존재하는 홀을 인식할 수 있다. 데이터 융합 장치(140)는 라이다 센서를 통해 수집된 포인트 클라우드 데이터를 카메라 센서의 시야(Field Of View, FOV)에 기초하여 분할(Segment)할 수 있다. 이때, 카메라 센서의 시야는 카메라 센서 고유의 캘리브레이션 파라미터를 이용하여 추출될 수 있다. 분할된 포인트 클라우드 데이터에는 센싱한 마커 보드(130) 뿐만 아니라 마커 보드(130) 주변의 다양한 오브젝트들이 함께 포함될 수 있다.
데이터 융합 장치(140)는 카메라 센서의 시야에 해당하는 포인트 클라우드 데이터에서 마커 보드(130) 만을 추출하기 위하여 모든 오브젝트의 법선(Normal)과 곡률(Curvature)을 계산하여 동일한 법선과 곡률을 가지는 평면(Plane)을 식별할 수 있다. 이때, 식별된 평면은 마커 보드(130)에 해당할 수 있으며, 데이터 융합 장치(140)는 식별된 평면만을 추출하고, 나머지 부분은 제거할 수 있다.
데이터 융합 장치(140)는 추출된 평면에 포함된 포인트 클라우드 데이터에서 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 마커 보드(130)에 존재하는 홀을 인식할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 평면에 맵핑된 포인트들 중에서 동일한 각도를 가지는 선(Line)을 찾고, 선 분할(Line Segment) 작업을 통해 동일한 각도를 가지는 선을 추출하여 해당 선에 맵핑된 포인트들을 제거할 수 있다. 이와 같은 작업을 통해 데이터 융합 장치(140)는 마커 보드(130)에 대응하는 평면에서 홀에 대응하는 원형(Circle)의 포인트들만 남길 수 있다.
이후 데이터 융합 장치(140)는 마커 보드(130) 내에 존재하는 홀을 인식하기 위하여 원의 중심점과 반지름의 임계값을 정하고, 다양하게 검출된 다각형(원 포함) 중에서 일정 반지름을 가지는 홀을 식별할 수 있다
단계(560)에서, 데이터 융합 장치(140)는 카메라 센서 및 라이다 센서로부터 마커 보트(130)까지의 거리에 기초하여 변환 벡터를 결정할 수 있다. 이때, 라이다 센서로부터 마커 보드(130)까지의 제1 거리(
Figure PCTKR2019012562-appb-img-000028
)와 카메라 센서로부터 마커 보드(130)까지의 제2 거리(
Figure PCTKR2019012562-appb-img-000029
)는 카메라 센서의 초점 거리(
Figure PCTKR2019012562-appb-img-000030
), 포인트 클라우드 데이터 및 이미지 데이터로부터 각각 인식된 홀의 반지름(
Figure PCTKR2019012562-appb-img-000031
)을 이용하여 계산될 수 있다.
단계(570)에서, 데이터 융합 장치(140)는 결정된 변환 벡터를 이용하여 라이다 센서의 포인트 클라우드 데이터를 카메라 센서의 이미지 데이터로 투영함으로써 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하여 융합 데이터를 생성할 할 수 있다. 그리고, 데이터 융합 장치(140)는 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 원거리에 위치한 타겟을 보다 정확하게 탐지할 수 있다.
도 6은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제1 실시예를 도시한 도면이다.
본 발명에서는 주행 차량의 깊이 감지 컨텍스트(depth sensing context)를 이용하여 이종 센서 간 데이터 융합 방법의 성능을 평가하는 방법을 제시한다. 데이터 융합 방법은 자율 주행 차량의 현재 요구 사항을 기반으로 주변 환경을 감지할 때 다양한 측면을 고려하여 평가될 수 있다.
또한 본 발명은 자율 주행 차량 플랫폼으로 실제 도로 주행을 통해 식별된 이종 센서의 데이터들을 융합하고, 융합한 데이터의 정확도를 평가하기 위한 기준을 제시할 수 있다.
일례로, 본 발명의 데이터 융합 장치(140)는 자율 주행 차량 플랫폼에 라이다 센서 및 카메라 센서를 배치하고 자율 주행 차량의 이동에 따라 식별된 데이터들의 융합 정확도에 대한 평가 실험을 수행하였다. 자율 주행 차량 플랫폼에는 Velodyne HDL 64E-S2 라이다 센서와 Sekonix SF3321 카메라 센서 1대를 이용하여 데이터를 취득하였다. 라이다 센서 및 카메라 센서에 의해 식별된 데이터를 융합하기 전에 센서를 보정하여 카메라 센서 고유의 캘리브레이션 파라미터(내부 매개 변수와 외부 매개 변수)를 추정할 수 있다.
평가 실험은 이와 같은 자율 주행 차량 플랫폼 및 센서 배치를 통해 얻은 센서 데이터를 사용하여 수행되었다. 다양한 도로 환경 시나리오에서 30-40 km/h로 달리는 차량을 이용하여 데이터를 취득하였는데, 카메라 센서는 초당 40-60 프레임으로 이미지 데이터를 획득하고, 라이다 센서는 초당 20 프레임으로 포인트 클라우드 데이터를 획득하였다. 카메라 센서에 의해 캡처된 이미지 데이터와 라이다 센서에 의해 센싱된 포인트 클라우드 데이터는 각각 도 7의 왼쪽(710)과 오른쪽(720)과 같다.
움직이는 물체 및 고정 물체까지의 거리를 추정하는 방법은 자율 주행을 위한 필수 기술이다. 융합 데이터의 정확도를 평가하는 것은 타겟 물체까지의 거리와 관련된 요소를 고려하여 검증할 수 있다.
데이터 융합 장치(140)는 도 6과 같이 타겟 물체까지의 거리가 변할 때, 융합 데이터의 정확도를 측정하여 평균 오차를 비교할 수 있다. 구체적으로 데이터 융합 장치(140)는 카메라 센서를 통해 식별된 이미지 데이터의 참조 영역에 라이다 센서의 포인트들이 얼마나 맵핑되어 정렬되었는지를 분석함으로써 융합 데이터의 정확도를 평가할 수 있다.
일례로, 표 1은 동일한 평면 마커 보드를 거리를 다르게 실험하여 카메라 센서를 통해 식별된 이미지 데이터의 픽셀들과 라이다 센서를 통해 식별된 포인트 클라우드 데이터의 포인트들을 융합한 분석 결과이다. 이 평가 방법은 차량으로부터 20m(a), 30m(b) 및 40m(c)의 거리에서 각각 실험을 수행하였으며, 1m × 1.5m 크기의 동일한 평면 보드를 사용하였다.
평면 보드의 모서리(Coner)에는 카메라 센서의 이미지 데이터에서 참조 영역을 표시하기 위해 별도의 테이프를 사용하여 표시하였으며, 라이다 센서의 포인트 클라우드 데이터 중 테이프로 표시된 참조 영역에 일치하는 포인트들을 찾아서 정렬 정도를 측정함으로써 융합 데이터의 정확도를 평가하였다.
다시 말해, 데이터 융합 장치(140)는 카메라 센서와 라이다 센서를 통해 식별된 데이터들을 융합한 후 이미지 데이터에 포함된 각 참조 영역의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 통해 융합 데이터의 정확도를 평가할 수 있다.
표 1에서와 같이 평가 실험을 수행한 후 통계 분석을 해본 결과, 참조 영역에 대응하는 이미지 데이터의 픽셀들 위치와 해당 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 평균 오차가 고해상도 카메라의 허용오차 범위인 35 픽셀보다도 낮은 결과를 보이는 것을 확인할 수 있다. 즉, 본 발명의 데이터 융합 장치(140)를 통해 융합된 데이터의 정확도가 높다는 것을 알 수 있다.
Figure PCTKR2019012562-appb-img-000032
도 8은 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제2 실시예를 도시한 도면이다.
데이터 융합 장치(140)는 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 픽셀과 포인트 간의 정렬 점수를 계산함으로써 상기 융합 데이터의 정확도를 평가할 수 있다.
다시 말하자면, 데이터 융합 장치(140)는 카메라 센서의 이미지 데이터에서 특정 객체의 픽셀 값이 해당 강도 값(intensity value) 기반의 RGB 포인트 값과 일치하는 비율 정도를 측정하여 융합 데이터의 정확도를 평가할 수 있다.
일례로, 데이터 융합 장치(140)는 도 8의 오른쪽(820)과 같이 포인트 클라우드 데이터의 포인트들을 RGB 기반의 강도 값(intensity value)으로 변환하여 시각화 할 수 있다. 먼저 데이터 융합 장치(140)는 라이다 센서를 통해 식별된 3D 포인트 클라우드 데이터를 2D 포인트 클라우드 데이터로 변환하고, 변환된 2D 포인트 클라우드 데이터와 동일한 위치(position)에 있는 2D 이미지 데이터의 픽셀에 대한 색상값으로 2D 포인트 클라우드 데이터의 강도 값을 대체할 수 있다. 이때 픽셀과 포인트 간의 정렬 점수는 RGB로 변환된 포인트 클라우드 데이터의 포인트에 정확히 맵핑된 이미지 데이터의 픽셀 개수 비율을 기반으로 계산될 수 있다.
도 8을 참고하면, 동일한 객체를 나타내는 이미지 데이터(810)와 포인트 클라우드들을 시각화한 융합 데이터(820)는 동일한 좌표계에서 정확하게 정렬되었음을 보여준다. 표 2는 실제 도로 주행을 통해 획득한 데이터를 바탕으로 융합 데이터의 정확도를 통계 분석한 것으로써, 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터를 이용하여 평균 89% 정도로 동일한 물체를 정확히 찾아낸 결과를 보여준다.
Figure PCTKR2019012562-appb-img-000033
도 9는 본 발명의 일실시예에 따라 데이터 융합 장치가 수행하는 융합 데이터의 정확도 평가 방법에 대한 제3 실시예를 도시한 도면이다.
도 9를 참고하면, 데이터 융합 장치(140)는 자율주행 차량을 위한 타겟의 깊이 추정을 수행함으로써 융합 데이터의 정확도를 평가할 수 있다. 데이터 융합 장치(140)는 주변 환경에서 차량의 깊이 추정을 위해 카메라 센서의 이미지 데이터에 정렬된 포인트 클라우드 데이터의 집합을 이용할 수 있다.
일례로, 데이터 융합 장치(140)는 차량의 깊이를 차량의 이미지에 대응하는 픽셀들 상에 정렬된 포인트들을 이용하여 추정할 수 있다. 보다 구체적으로 데이터 융합 장치(140)는 일정한 차량 이미지의 바운딩 박스(bounding box)에 포함된 픽셀들 상에 정렬된 포인트들의 거리(depth) 평균값을 이용하여 해당 차량까지의 추정 거리를 판단할 수 있다. 이때, 이미지 데이터에서의 차량 인지는 기존의 차량 인지 알고리즘을 사용하여 인식할 수 있다.
실제도로 시나리오에서 수행된 실험 결과의 통계적 분석은 표 3과 같으며, 해당 장면의 이미지 데이터는 도 9와 같을 수 있다. 다양한 거리에 떨어져 있는 차량들이 포함된 네 개 이미지 데이터가 평가를 위해 고려되었다. 이 이미지 데이터들은 35km/h로 주행하는 동안 캡처되었다.
데이터 융합 장치(140)는 이와 같이 획득한 차량까지의 추정 거리를 레이저 거리 측정기와 같은 별도의 거리 측정 센서(150)를 사용하여 얻은 실제 측정 거리와 비교함으로써 융합 데이터의 정확도를 평가할 수 있다. 즉, 융합 데이터에서 깊이 추정의 정확도는 실제 측정 거리와 추정 거리의 차이를 고려하여 계산될 수 있다.
예를 들어, Scene 4(940)의 C3 차량은 80m 이상 떨어진 거리에서 측정된 차량으로 실제 측정 거리와 추정 거리의 차이가 9cm 임을 확인할 수 있다. 이와 같은 차이는 최대 거리 오차의 허용 기준 내에 존재하므로 본 발명의 데이터 융합 장치(140)를 통해 생성된 융합 데이터의 정확도가 높다는 것을 알 수 있다.
Figure PCTKR2019012562-appb-img-000034
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 이종 센서 간의 캘리브레이션 방법에 있어서,
    카메라 센서를 통해 따라 마커 보드를 촬영한 이미지 데이터를 식별하는 단계;
    라이다(LiDAR) 센서를 통해 상기 마커 보드를 센싱(Sensing)한 포인트 클라우드 데이터를 식별하는 단계;
    상기 식별된 이미지 데이터 및 포인트 클라우드 데이터 각각에서 상기 마커 보드에 존재하는 홀을 인식하는 단계;
    상기 이미지 데이터를 통해 인식한 홀의 반지름과 상기 포인트 클라우드 데이터를 통해 인식한 홀의 반지름에 기초하여 상기 카메라 센서와 라이다 센서의 캘리브레이션을 위한 변환 벡터를 결정하는 단계; 및
    상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 카메라 센서 및 라이다 센서 간의 캘리브레이션을 수행하는 단계
    를 포함하는 이종 센서 간의 캘리브레이션 방법.
  2. 제1항에 있어서,
    체커 보드를 이용하여 상기 카메라 센서의 초점 길이, 왜곡 및 이미지의 중심을 포함하는 내부 특성에 대응하는 상기 카메라 센서 고유의 캘리브레이션 파라미터를 추정하는 단계
    를 더 포함하고,
    상기 이미지 데이터를 식별하는 단계 및 상기 포인트 클라우드 데이터를 식별하는 단계는,
    상기 추정된 캘리브레이션 파라미터를 이용하여 추출된 상기 카메라 센서의 시야(Field Of View, FOV)에 대응하는 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 이종 센서 간의 캘리브레이션 방법.
  3. 제1항에 있어서,
    상기 홀을 인식하는 단계는,
    상기 식별된 이미지 데이터에 포함된 픽셀들에 대한 픽셀 값의 변화량에 기초하여 상기 마커 보드에 존재하는 홀을 인식하는 이종 센서 간의 캘리브레이션 방법.
  4. 제1항에 있어서,
    상기 홀을 인식하는 단계는,
    상기 식별된 포인트 클라우드 데이터에 포함된 포인트들 중 일정 각도를 가지는 선을 구성하는 포인트들을 제거함으로써 상기 마커 보드에 존재하는 홀을 인식하는 이종 센서 간의 캘리브레이션 방법.
  5. 제1항에 있어서,
    상기 변환 벡터를 결정하는 단계는,
    상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정하는 이종 센서 간의 캘리브레이션 방법.
  6. 제5항에 있어서,
    상기 제1 거리 및 제2 거리는,
    상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정되는 이종 센서 간의 캘리브레이션 방법.
  7. 제1항에 있어서,
    상기 캘리브레이션을 수행하는 단계는,
    상기 결정된 변환 벡터를 이용하여 상기 라이다 센서의 포인트 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함에 있어 이동 변환을 고려하여 투영하는 이종 센서 간의 캘리브레이션 방법.
  8. 제1항에 있어서,
    상기 캘리브레이션이 수행된 카메라 센서 및 라이다 센서를 이용하여 타겟을 탐지하는 단계
    를 더 포함하는 이종 센서 간의 캘리브레이션 방법.
  9. 캘리브레이션이 수행된 이종 센서 간의 데이터 융합 방법에 있어서,
    홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하는 단계;
    상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하는 단계; 및
    상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 단계
    를 포함하는 이종 센서 간의 데이터 융합 방법.
  10. 제9항에 있어서,
    상기 변환 벡터는,
    상기 카메라 센서로부터 마커 보드까지의 제1 거리 및 상기 라이다 센서로부터 마커 보드까지의 제2 거리에 기초하여 결정되는 이종 센서 간의 데이터 융합 방법.
  11. 제9항에 있어서,
    상기 제1 거리 및 제2 거리는,
    상기 카메라 센서의 초점 거리, 상기 마커 보드에 존재하는 홀의 반지름 및 상기 카메라 센서와 라이다 센서 각각을 통해 인식된 홀의 반지름을 이용하여 결정되는 이종 센서 간의 데이터 융합 방법.
  12. 제9항에 있어서,
    상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 단계
    를 더 포함하는 이종 센서 간의 데이터 융합 방법.
  13. 제12항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  14. 제12항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  15. 제12항에 있어서,
    상기 평가하는 단계는,
    상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 방법.
  16. 카메라 센서 및 라이다 센서 간의 데이터 융합을 수행하는 프로세서
    를 포함하고,
    상기 프로세서는,
    홀이 존재하는 마커 보드를 이용하여 캘리브레이션이 수행된 카메라 센서 및 라이다(LiDAR) 센서 각각을 통해 탐색 영역에 대한 이미지 데이터 및 포인트 클라우드 데이터를 식별하고,
    상기 카메라 센서 및 라이다 센서의 캘리브레이션을 통해 결정된 변환 벡터를 인식하며,
    상기 인식된 변환 벡터를 이용하여 상기 라이다 센서의 클라우드 데이터를 상기 카메라 센서의 이미지 데이터로 투영함으로써 상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합하는 이종 센서 간의 데이터 융합 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 식별된 이미지 데이터 및 포인트 클라우드 데이터를 융합한 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 상기 식별된 이미지 데이터의 참조 영역에 대응하는 픽셀들의 위치와 상기 참조 영역에 대응하는 포인트 클라우드 데이터의 포인트들의 위치 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 포인트 클라우드 데이터의 포인트들을 시각화 하고, 시각화된 포인트들의 색상 값과 상기 식별된 이미지 데이터의 픽셀 값 간 대응 정도를 이용하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
  20. 제17항에 있어서,
    상기 프로세서는,
    상기 융합 데이터에서 타겟의 이미지에 대응하는 픽셀들에 정렬된 포인트 클라우드 데이터의 포인트들을 이용하여 상기 타겟까지의 추정 거리를 판단하고, 상기 판단된 추정 거리와 기존의 타겟 인지 알고리즘을 통해 측정된 상기 타겟까지의 측정 거리를 비교하여 상기 융합 데이터의 정확도를 평가하는 이종 센서 간의 데이터 융합 장치.
PCT/KR2019/012562 2018-09-28 2019-09-27 이종 센서 간의 데이터 융합 장치 및 방법 WO2020067751A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/274,870 US11971961B2 (en) 2018-09-28 2019-09-27 Device and method for data fusion between heterogeneous sensors

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020180116141A KR102054455B1 (ko) 2018-09-28 2018-09-28 이종 센서 간의 캘리브레이션 장치 및 방법
KR10-2018-0116141 2018-09-28
KR1020190020480A KR102145557B1 (ko) 2019-02-21 2019-02-21 이종 센서 간의 데이터 융합 장치 및 방법
KR10-2019-0020480 2019-02-21

Publications (1)

Publication Number Publication Date
WO2020067751A1 true WO2020067751A1 (ko) 2020-04-02

Family

ID=69952313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012562 WO2020067751A1 (ko) 2018-09-28 2019-09-27 이종 센서 간의 데이터 융합 장치 및 방법

Country Status (2)

Country Link
US (1) US11971961B2 (ko)
WO (1) WO2020067751A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN114157382A (zh) * 2021-12-28 2022-03-08 中电海康集团有限公司 一种光视一体机时间同步控制系统
CN114627275A (zh) * 2022-03-29 2022-06-14 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI722703B (zh) * 2019-12-09 2021-03-21 財團法人工業技術研究院 投影設備與投影校正方法
TWI755765B (zh) * 2020-06-22 2022-02-21 中強光電股份有限公司 視覺與深度座標系的校正系統、校正方法及校正裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
KR20110087893A (ko) * 2010-01-27 2011-08-03 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080112610A1 (en) * 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
US8179393B2 (en) 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
JP5797599B2 (ja) 2012-04-19 2015-10-21 株式会社日立パワーソリューションズ 発電量予測方法及びそのシステム
KR101803705B1 (ko) 2016-05-10 2017-12-05 전자부품연구원 카메라와 거리 센서의 3차원 캘리브레이션 시스템 및 방법, 그리고 캘리브레이션 장치 및 캘리브레이션 지그
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
KR20180092066A (ko) 2017-02-08 2018-08-17 (주)인스페이스 이종센서 영상 융합 알고리즘의 관리 및 평가 장치
KR101918007B1 (ko) 2017-07-17 2018-11-13 서울시립대학교 산학협력단 다중 편광레이더 영상과 전정색 영상의 융합방법 및 장치
KR102143757B1 (ko) 2019-05-07 2020-08-12 오토시맨틱스 주식회사 딥러닝을 포함한 인공지능을 적용시킨 풍력 발전장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110087893A (ko) * 2010-01-27 2011-08-03 삼성전자주식회사 복합 센서의 캘리브레이션 장치 및 방법
KR101033167B1 (ko) * 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법
KR20150069927A (ko) * 2013-12-16 2015-06-24 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AJAY KUMAR GURUMADAIAH, LIDAR AND CAMERA DATA FUSION FOR OBJECT DEPTH ESTIMATION IN AUTONOMOUS VEHICLE, 17 November 2018 (2018-11-17), pages 235 - 240 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN114157382A (zh) * 2021-12-28 2022-03-08 中电海康集团有限公司 一种光视一体机时间同步控制系统
CN114157382B (zh) * 2021-12-28 2024-02-09 中电海康集团有限公司 一种光视一体机时间同步控制系统
CN114627275A (zh) * 2022-03-29 2022-06-14 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法
CN114627275B (zh) * 2022-03-29 2022-11-29 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法

Also Published As

Publication number Publication date
US11971961B2 (en) 2024-04-30
US20220055652A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR102145557B1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
CN106595630B (zh) 一种基于激光导航变电站巡检机器人的建图系统与方法
CN111753797B (zh) 一种基于视频分析的车辆测速方法
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2017131334A1 (ko) 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
KR102106452B1 (ko) Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2022255677A1 (ko) 다중 관측정보를 이용한 고정객체의 위치 결정 방법
CN114066985B (zh) 一种输电线隐患距离的计算方法及终端
WO2013022153A1 (en) Apparatus and method for detecting lane
WO2021235682A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
WO2021167189A1 (ko) 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19868069

Country of ref document: EP

Kind code of ref document: A1