KR20180066618A - Registration method of distance data and 3D scan data for autonomous vehicle and method thereof - Google Patents
Registration method of distance data and 3D scan data for autonomous vehicle and method thereof Download PDFInfo
- Publication number
- KR20180066618A KR20180066618A KR1020160167656A KR20160167656A KR20180066618A KR 20180066618 A KR20180066618 A KR 20180066618A KR 1020160167656 A KR1020160167656 A KR 1020160167656A KR 20160167656 A KR20160167656 A KR 20160167656A KR 20180066618 A KR20180066618 A KR 20180066618A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- distance data
- point cloud
- distance
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000013506 data mapping Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G01S17/023—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Abstract
Description
본 발명은 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 매핑할 수 있는 자율주행차량을 위한 데이터 정합 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for matching distance data and three-dimensional scan data for an autonomous vehicle, and more particularly, to a method and apparatus for matching distance data obtained from a latitudinal sensor with three- And more particularly, to a data matching method and apparatus for an autonomous vehicle that can be mapped on a vehicle.
자율주행차량은 주변 주행 환경을 인식하여 차량의 경로를 자동으로 제어하는 차량을 의미한다. 주변 환경을 인식하는 센서에는 라이다(Lidar), 레이더(Radar), 2D 카메라, 3D 스캐너, 스테레오 비전 등이 존재하며, 이들 센서로부터 거리 및 형상 정보를 획득할 수 있다.An autonomous vehicle means a vehicle that recognizes the surrounding driving environment and automatically controls the path of the vehicle. There are Lidar, Radar, 2D camera, 3D scanner, stereo vision, and so on, which can recognize distance and shape information from these sensors.
최근에는 거리 및 형상 정보 획득 기기들을 복합적으로 활용하는 기법이 주로 사용되고 있다. 여기서 각각의 센서에 획득한 2D/3D 거리 및 형상 정보를 통합하는 과정은 주행 경로 계산 및 차량 제어를 위해 필수적인 전처리 과정 중 하나로 볼 수 있다. Recently, a technique of using a combination of distance and shape information acquisition devices is mainly used. Here, the process of integrating the obtained 2D / 3D distance and shape information to each sensor can be regarded as one of the necessary preprocessing processes for the calculation of the traveling route and the vehicle control.
더욱이, 자율 주행차량의 안정성을 고려하여 본다면, 차량 주행 중에 실시간 변화하는 거리 및 형상 정보를 빠르고 효과적으로 통합하여 시각화하는 기술이 절실히 요구된다.Further, considering stability of the autonomous vehicle, there is a desperate need for a technology for quickly and effectively integrating and visualizing distance and shape information that changes in real time during driving of the vehicle.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1613849호(2016.04.29 공고)에 개시되어 있다.The technology to be a background of the present invention is disclosed in Korean Patent No. 10-1613849 (published on Apr. 29, 2016).
본 발명은, 차량의 주행 중에 획득되는 라이다 센서의 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공할 수 있는 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치를 제공하는데 목적이 있다.The present invention relates to distance data for an autonomous vehicle capable of real-time mapping of distance data of a Lidar sensor obtained during running of a vehicle on a space of three-dimensional scan data obtained from a three-dimensional scanner, And to provide a method and apparatus for the matching.
본 발명은, 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 데이터 획득부와, 상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 데이터 정합부와, 상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 연산부, 및 상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 제어부를 포함하는 자율주행차량을 위한 데이터 정합 장치를 제공한다.The present invention relates to a data acquiring unit that acquires distance data and three-dimensional point cloud data on a surrounding environment using a lidar sensor and a three-dimensional scanner installed in a vehicle, A calculation unit for calculating a coordinate transformation matrix between the distance data and the three-dimensional point cloud data using the coordinates of the plurality of corresponding points detected by the coordinate matching unit; And a control unit for mapping the distance data in real time on the space of the three-dimensional point cloud data using the coordinate transformation matrix when the three-dimensional point cloud data is acquired.
여기서, 상기 데이터 정합 장치는, 상기 매핑한 결과 영상을 시각화하여 제공하는 출력부를 더 포함할 수 있다.The data matching apparatus may further include an output unit for visualizing and providing the mapped result image.
또한, 상기 연산부는, ICP 알고리즘을 사용하여 상기 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 상기 좌표 변환 행렬을 산출할 수 있다.The calculation unit may calculate the coordinate transformation matrix for minimizing a matching error between the first and second coordinates, which correspond to each other, using the ICP algorithm.
그리고, 본 발명은, 차량에 설치된 라이다 센서 및 3차원 스캐너를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군 데이터를 각각 획득하는 단계와, 상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 단계와, 상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 단계, 및 상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 단계를 포함하는 자율주행차량을 위한 데이터 정합 방법을 제공한다.According to another aspect of the present invention, there is provided a computer program for causing a computer to function as: acquiring distance data and three-dimensional point cloud data for a surrounding environment using a Lidar sensor and a 3D scanner installed in a vehicle; Calculating a coordinate transformation matrix between the distance data and the three-dimensional point cloud data by using the coordinates of the plurality of corresponding points detected; And real-time mapping of the distance data on the space of the three-dimensional point cloud data using the coordinate transformation matrix when the point cloud group data is acquired.
본 발명에 따른 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치에 따르면, 자율주행차량의 주행 중에 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공함에 따라, 자율주행차량의 안정성을 높일 수 있음은 물론 운전자에게 주변 환경 및 주행 정보를 시각화하여 효과적으로 전달할 수 있는 이점이 있다.According to a method and apparatus for matching distance data and 3D scan data for an autonomous vehicle according to the present invention, distance data obtained from a Laidai sensor during traveling of an autonomous vehicle is read from three-dimensional scan data It is possible to enhance the stability of the autonomous driving vehicle and to visualize and effectively transmit the surrounding environment and driving information to the driver.
도 1은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법을 나타낸 도면이다.
도 3은 본 발명의 실시예에서 라이다 센서와 3차원 스캐너가 차량에 설치된 모습을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 센서 데이터를 획득하는 모습을 예시한 도면이다.
도 5는 본 발명의 실시예에서 획득되는 거리 데이터와 3차원 점군 데이터의 좌표계를 설명하는 도면이다.
도 6은 본 발명의 실시예에서 좌표 변환 행렬을 연산하는 개념을 설명하는 도면이다.
도 7은 본 발명의 실시예에서 실시간 제공되는 데이터 매핑 결과를 예시한 도면이다.
도 8은 본 발명의 실시예에서 센서 정보 통합 소프트웨어 플랫폼을 제공하는 모습을 설명하는 도면이다.1 is a diagram showing the configuration of a data matching apparatus for an autonomous vehicle according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a method of matching distance data and three-dimensional scan data for an autonomous vehicle using the apparatus of FIG.
FIG. 3 is a view showing a state where a Lidar sensor and a 3D scanner are installed in a vehicle in the embodiment of the present invention.
4 is a diagram illustrating an example of acquiring sensor data in an embodiment of the present invention.
5 is a diagram for explaining a coordinate system of distance data and three-dimensional point cloud data obtained in the embodiment of the present invention.
6 is a view for explaining a concept of calculating a coordinate transformation matrix in an embodiment of the present invention.
7 is a diagram illustrating a data mapping result provided in real time in the embodiment of the present invention.
8 is a view for explaining an aspect of providing a sensor information integration software platform in an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
도 1은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 장치의 구성을 나타낸 도면이다. 도 1에 도시된 것과 같이, 본 발명의 실시예에 따른 데이터 정합 장치(100)는 데이터 획득부(110), 데이터 정합부(120), 연산부(130), 제어부(140), 출력부(150)를 포함한다.1 is a diagram showing the configuration of a data matching apparatus for an autonomous vehicle according to an embodiment of the present invention. 1, the
데이터 획득부(110)는 차량에 설치된 라이다(Lidar) 센서(10) 및 3차원 스캐너(20)를 이용하여 주변 환경에 대한 거리 데이터 및 3차원 점군(point cloud) 데이터를 각각 획득한다. 3차원 점군 데이터는 기 공지된 데이터 종류의 하나이므로 상세한 설명은 생략한다.The
데이터 정합부(120)는 획득한 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출한다. 데이터 정합 방법은 기 공지된 방식 중에서 선택적으로 사용될 수 있다.The
연산부(130)는 검출한 복수의 대응점의 좌표를 이용하여 거리 데이터와 3차원 점군 데이터 간의 좌표 변환 행렬을 산출한다. 산출한 좌표 변환 행렬은 추후 차량의 주행 중에 획득되는 거리 데이터를 3차원 점군 데이터의 공간 상에 실시간 매핑하는데 사용된다.The
제어부(140)는 차량의 주행 중에 거리 데이터 및 3차원 점군 데이터가 획득되면, 앞서 구하여진 좌표 변환 행렬을 이용하여 거리 데이터를 3차원 점군 데이터의 공간상에 매핑하는 것을 통해 매핑 결과를 실시간 제공할 수 있다. When the distance data and the three-dimensional point cloud data are acquired while the vehicle is running, the
출력부(150)는 매핑 결과 영상을 시각화하여 사용자에게 제공할 수 있다. 예를 들어, 차량에 설치된 디스플레이 수단, 내비게이션 장치, 사용자 단말 등을 통하여 매핑 결과 영상을 실시간 제공할 수 있다.The
다음은 본 발명의 실시예에 따른 자율주행차량을 위한 데이터 정합 방법에 관하여 상세히 설명한다.Hereinafter, a data matching method for an autonomous vehicle according to an embodiment of the present invention will be described in detail.
도 2는 도 1의 장치를 이용한 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법을 나타낸 도면이다.FIG. 2 is a diagram illustrating a method of matching distance data and three-dimensional scan data for an autonomous vehicle using the apparatus of FIG.
먼저, 정지한 차량에 라이다 센서(10) 및 3차원 스캐너(20)를 설치한다. 라이다 센서(10) 및 3차원 스캐너(20)는 차량 전방 또는 후방에 나란히 설치될 수 있다.First, the LIDAR
도 3은 본 발명의 실시예에서 라이다 센서와 3차원 스캐너가 차량에 설치된 모습을 나타낸 도면이다. 라이다 센서(10) 및 3차원 스캐너(20)는 차량의 앞부분에 설치되어 차량 전방에 대한 거리 데이터 및 3차원 스캔 데이터를 각각 획득할 수 있다. 물론, 본 발명이 반드시 이에 한정되지 않으며, 라이다 센서(10) 및 3차원 스캐너(20)는 후방 영상에 대한 데이터 획득을 위해 차량의 뒷부분에 나란히 설치되어 운용될 수 있다.FIG. 3 is a view showing a state where a Lidar sensor and a 3D scanner are installed in a vehicle in the embodiment of the present invention. The
이후, 데이터 획득부(110)는 차량이 정지한 상태에서 라이다 센서(10)와 3차원 스캐너(20)로부터 주변 환경에 대한 거리 데이터와 3차원 점군 데이터(3차원 스캔 데이터)를 각각 획득한다(S210). Then, the
이러한 S210 단계는 차량이 흔들림 없이 안정된 상태에서 거리 데이터 및 3차원 점군 데이터를 획득한다. 또한 이를 통해 데이터 획득, 정합, 그리고 행렬 연산을 위한 프로세스의 오차를 최소화할 수 있다.The step S210 acquires the distance data and the three-dimensional point cloud data in a stable state of the vehicle without shaking. This also minimizes process errors for data acquisition, registration, and matrix operations.
도 4는 본 발명의 실시예에서 센서 데이터를 획득하는 모습을 예시한 도면이다. 도 4에 도시된 것과 같이, 라이다 센서(10) 및 3차원 스캐너(20)는 차량 전방에 있는 동일한 장애물에 대해 거리 데이터와 3차원 스캔 데이터를 각각 획득한다.4 is a diagram illustrating an example of acquiring sensor data in an embodiment of the present invention. As shown in Fig. 4, the
이러한 도 4는 차량의 상부에서 바라본 모습을 나타내며 장애물은 집 모양의 건물을 예시하고 있다. 도 4에서 차량의 양쪽에 도시한 3D 스캔 데이터 및 거리 데이터를 보면, 차량과 마주보는 장애물의 전면에는 깊이 정보가 서로 상이한 다수의 면들이 존재하는 것을 확인할 수 있다.FIG. 4 shows a view from above the vehicle, and the obstacle illustrates a house-shaped building. In FIG. 4, the 3D scan data and the distance data on both sides of the vehicle indicate that there are a plurality of surfaces having different depth information on the front surface of the obstacle facing the vehicle.
도 5는 본 발명의 실시예에서 획득되는 거리 데이터와 3차원 점군 데이터의 좌표계를 설명하는 도면이다. 도 5와 같이, 거리 데이터는 라이다 좌표계를 가지고 3차원 점군 데이터는 3차원 글로벌 좌표계를 가진다. 5 is a diagram for explaining a coordinate system of distance data and three-dimensional point cloud data obtained in the embodiment of the present invention. As shown in FIG. 5, the distance data has the Lade coordinate system, and the 3D point cloud data has the 3D global coordinate system.
이처럼, 거리 데이터와 3차원 점군 데이터의 좌표계가 상이하기 때문에, 거리 데이터를 3차원 점군 데이터의 좌표계 상에 매핑하기 위해서는 별도의 좌표 변환 행렬을 필요로 한다. 좌표 변환 행렬을 이용하면 거리 데이터의 라이다 좌표계가 3차원 글로벌 좌표계로 변환될 수 있어 거리 데이터를 3차원 점군 데이터의 좌표 공간 상에 매핑할 수 있게 된다.Since the coordinate system of the distance data and the coordinate data of the three-dimensional point cloud data are different from each other, a separate coordinate transformation matrix is required to map the distance data onto the coordinate system of the three-dimensional point cloud data. Using the coordinate transformation matrix, the Lada coordinate system of the distance data can be converted into the three-dimensional global coordinate system, so that the distance data can be mapped on the coordinate space of the three-dimensional point cloud data.
좌표 변환 행렬을 얻기 위해서는 두 데이터 간의 서로 대응되는 지점 간의 투영이 필요하다. 이를 위해 데이터 정합부(120)는 거리 데이터와 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출함으로써 서로 대응하는 점 간을 매칭한다(S220).In order to obtain the coordinate transformation matrix, it is necessary to project the data between corresponding points between two data. To this end, the
어느 한 좌표계 상의 제1 좌표와 대응하는 다른 좌표계 상의 제2 좌표를 추적하고 투영하는 것은 기 공지된 방법을 사용할 수 있고 특징점 등을 활용할 수 있다. 이후에는 두 좌표계 간 서로 대응하는 점을 이용하여 좌표 변환 공식을 획득한다.Tracking and projecting the first coordinate on one coordinate system and the second coordinate on another coordinate system corresponding to the first coordinate on one coordinate system can use a known method and can utilize minutiae points and the like. Then, a coordinate transformation formula is obtained using points corresponding to each other between the two coordinate systems.
연산부(130)는 검출한 복수의 대응점의 좌표를 이용하여 거리 데이터와 3차원 점군 데이터 간의 좌표 변환 행렬을 산출한다(S230). 이때, 연산부(130)는 ICP(Iterative Closest Point) 알고리즘을 사용하여, 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 좌표 변환 행렬을 산출하도록 한다.The
ICP 알고리즘을 사용하면, 서로 연관이 있는 데이터 쌍 간에 에러를 최소화할 수 있는 회전행렬과 이동벡터를 계산할 수 있다. ICP 알고리즘은 기 공지된 방식으로 그 개념을 간략히 설명하면 다음과 같다.Using the ICP algorithm, a rotation matrix and a motion vector that can minimize errors between mutually related data pairs can be calculated. The concept of the ICP algorithm is briefly described as follows in a known manner.
ICP 알고리즘은 거리 데이터 상의 좌표(M)와 그에 대응하는 3차원 점군 데이터 상의 좌표(S) 간 거리를 최소화하는 좌표 변환 행렬을 구하는 방법으로, M을 3차원 글로벌 좌표계로 변환하기 위한 행렬을 T라고 가정할 때, 좌표 변환 행렬은 간단히 T(M)으로 표현할 수 있다.The ICP algorithm is a method for obtaining a coordinate transformation matrix that minimizes the distance between the coordinates (M) on the distance data and the coordinates (S) on the corresponding three-dimensional point cloud data. Let the matrix for transforming M into the three-dimensional global coordinate system be T Assuming that, the coordinate transformation matrix can be expressed simply as T (M).
또한, S와 T(M) 간의 유클리드 거리 dist(T(M),S)는 다음의 수학식 1과 같이 표현할 수 있다. Further, the Euclidean distance dist (T (M), S) between S and T (M) can be expressed by the following equation (1).
ICP 알고리즘은 수학식 1을 최소화하는 least squares problem으로 정의할 수 있으며, 수학식 1이 최소화되는 좌표 변환 행렬은 M과 S 간의 거리를 최소화하는 T(M,θ)로 다시 정의할 수 있다. 여기서 θ는 행렬의 회전, 이동 확대/축소와 연관된 매개변수를 의미한다.The ICP algorithm can be defined as a least squares problem minimizing Equation (1), and the coordinate transformation matrix minimizing Equation (1) can be redefined as T (M,?) Which minimizes the distance between M and S. Where θ denotes a parameter associated with the rotation and movement magnification / reduction of the matrix.
수학식 1과 같이 3차원 스캔 데이터 상의 좌표점 S와 좌표 변환 행렬을 사용하여 구한 결과 T(M) 사이의 오차를 최소화하기 위한 행렬을 구해야 하며, 다음 수학식 2의 pseudocode와 같은 방식으로 T(M,θ)를 계산한다.A matrix for minimizing an error between a coordinate point S on the 3D scan data and a result T (M) obtained by using the coordinate transformation matrix should be obtained as shown in Equation (1), and a matrix T M, &thetas;).
수학식 2는 기 공지된 방식에 해당하므로 상세한 설명은 생략한다. least squares(X) 함수는 
도 6은 본 발명의 실시예에서 좌표 변환 행렬을 연산하는 개념을 설명하는 도면이다. 도 6은 Offline 환경에서 Lidar의 거리 데이터와 3D 스캔 데이터의 좌표 변환을 위한 이동, 회전, 확대 축소 행렬 T(M,θ)을 추출하는 모습을 나타낸다. 이를 통해 좌표 변환 행렬 T(M,θ)에 두 좌표계 간의 이동, 회전, 확대/축소 인자가 적용될 수 있다. 도 6에서 오른쪽 그림의 경우, 좌표 변환 행렬을 사용하여 3차원 스캔 데이터 상에 거리 데이터를 매핑한 모습을 확인할 수 있다.6 is a view for explaining a concept of calculating a coordinate transformation matrix in an embodiment of the present invention. FIG. 6 shows a state in which the movement, rotation, and enlargement / reduction matrix T (M,?) For coordinate transformation of distance data of Lidar and 3D scan data in the offline environment is extracted. Through this, the movement, rotation, and scaling factors between two coordinate systems can be applied to the coordinate transformation matrix T (M, θ). In the case of the right figure in FIG. 6, it is possible to confirm that the distance data is mapped on the 3D scan data by using the coordinate transformation matrix.
이상과 같이 S230 단계를 통하여 좌표 변환 행렬을 구할 경우, 추후에 차량의 주행 중에 실시간 획득되는 거리 데이터를 3차원 점군 데이터에 실시간 매핑하고, 매핑 결과를 사용자에게 실시간 제공할 수 있다.When the coordinate transformation matrix is obtained through step S230 as described above, the distance data obtained in real time during the running of the vehicle in the future can be mapped in real time to the three-dimensional point cloud data, and the mapping result can be provided to the user in real time.
즉, 제어부(140)는 차량 주행 중에 거리 데이터 및 3차원 점군 데이터가 획득될 때, 좌표 변환 행렬을 이용하여 거리 데이터를 3차원 점군 데이터의 공간상에 실시간 매핑하며(S240), 출력부(150)는 매핑한 결과 영상을 시각화하여 실시간 제공할 수 있다(S250).That is, when the distance data and the three-dimensional point cloud data are obtained while driving the vehicle, the
도 7은 본 발명의 실시예에서 실시간 제공되는 데이터 매핑 결과를 예시한 도면이다. 도 7을 참조하면, 좌표 변환 행렬을 사용하여 Lidar 거리 데이터를 3D 스캔 데이터의 공간 위에 실시간 매핑하여 제공할 수 있음을 알 수 있다. 물론 주행 중에 다른 대상물에 대해서도 이러한 원리를 이용하여 매핑 결과를 시각적으로 제공할 수 있다.7 is a diagram illustrating a data mapping result provided in real time in the embodiment of the present invention. Referring to FIG. 7, it can be seen that Lidar distance data can be mapped on the 3D scan data space in real time using the coordinate transformation matrix. Of course, this principle can also be used to visually provide the mapping results for other objects while driving.
도 8은 본 발명의 실시예에서 센서 정보 통합 소프트웨어 플랫폼을 제공하는 모습을 설명하는 도면이다. 본 발명의 실시예는 매핑 결과물을 소프트웨어 플랫폼 상에서 제공할 수 있다. 소프트웨어 플랫폼 화면에서 라이다 거리 정보가 3D 스캔 데이터에 통합된 결과를 확인할 수 있고, 매핑 결과를 제공하는데 사용된 좌표 변환 행렬도 확인할 수 있다. 8 is a view for explaining an aspect of providing a sensor information integration software platform in an embodiment of the present invention. Embodiments of the invention may provide mapping artifacts on a software platform. On the software platform screen, you can see the result of integrating the Lada distance information into the 3D scan data, and also see the coordinate transformation matrix used to provide the mapping result.
이와 같이 라이다 센서로부터 획득하는 거리 정보를 3D 환경에 통합하면, 라이다 센서 이외에 실제 2D 주행 영상이나 다른 센서로부터 획득하는 정보와 함께 더 정밀한 지도 데이터를 생성할 수 있다. 다양한 센서정보를 통합하는 기술을 활용하여 주변환경 및 지도데이터를 생성하면, 자율 주행 차량의 경로 탐색 및 차량제어의 성능을 향상시켜 자율주행차량의 안전성을 크게 높일 수 있고, 운전자에게 시각적인 주변환경 및 주행정보를 효과적으로 전달할 수 있다. By integrating the distance information obtained from the Lidar sensor in the 3D environment, more precise map data can be generated together with the information obtained from the actual 2D running image or other sensors in addition to the Lidar sensor. When the surrounding environment and the map data are generated by utilizing the technique of integrating various sensor information, the safety of the autonomous driving vehicle can be greatly improved by improving the performance of the route search and the vehicle control of the autonomous driving vehicle, And the traveling information can be effectively transmitted.
또한 다양한 센서 정보를 이용한 빅데이터 분석 및 인공지능 활용을 통하여 현재 레벨 1(가속/조향/제동 중 하나를 자동차가 제어)인 자율주행차량의 기술 수준을 운전자가 전혀 관여하지 않는 레벨 4 수준의 자율주행 차량의 기술 수준까지 높일 수 있을 것으로 기대된다.In addition, by analyzing big data using various sensor information and utilizing artificial intelligence, it is possible to improve the skill level of autonomous driving vehicle, which is the current level 1 (one of acceleration / steering / braking) It is expected that it will be able to increase the technology level of the traveling vehicle.
이상과 같은 본 발명에 따른 자율주행차량을 위한 데이터 정합 방법 및 그 장치에 따르면, 자율주행차량의 주행 중에 라이다 센서로부터 획득되는 거리 데이터를 3차원 스캐너로부터 획득되는 3차원 스캔 데이터의 공간상에 실시간 매핑하여 제공함에 따라, 자율주행차량의 안정성을 높일 수 있음은 물론 운전자에게 주변 환경 및 주행 정보를 시각화하여 효과적으로 전달할 수 있는 이점이 있다.According to the data matching method and apparatus for the autonomous vehicle according to the present invention, the distance data obtained from the Raidasensor during traveling of the autonomous vehicle is stored in the space of the 3D scan data obtained from the 3D scanner Real-time mapping, and provides an advantage that the stability of the autonomous driving vehicle can be enhanced, and the driver can visualize and effectively communicate the surrounding environment and driving information.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100: 데이터 정합 장치
110: 데이터 획득부
120: 데이터 정합부
130: 연산부
140: 제어부
150: 출력부100: Data matching device 110: Data acquisition unit
120: data matching unit 130:
140: control unit 150: output unit
Claims (4)
상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 데이터 정합부;
상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 연산부; 및
상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 제어부를 포함하는 자율주행차량을 위한 데이터 정합 장치.A data acquiring unit for acquiring distance data and three-dimensional point cloud data for the surrounding environment using a lidar sensor and a three-dimensional scanner installed in a vehicle;
A data matching unit for detecting a plurality of corresponding points corresponding to each other between the distance data and the three-dimensional point cloud data;
An arithmetic unit for calculating a coordinate transformation matrix between the distance data and the three-dimensional point cloud data using the coordinates of the detected corresponding points; And
And a controller for real-time mapping the distance data on the space of the three-dimensional point cloud data using the coordinate transformation matrix when the distance data and the three-dimensional point cloud data are acquired while the vehicle is running, / RTI >
상기 매핑한 결과 영상을 시각화하여 제공하는 출력부를 더 포함하는 자율주행차량을 위한 데이터 정합 장치.The method according to claim 1,
And an output unit for visualizing and providing the mapped result image.
상기 연산부는,
ICP 알고리즘을 사용하여 상기 상호 대응되는 대응점인 제1 및 제2 좌표 간의 정합 오차를 최소화하기 위한 상기 좌표 변환 행렬을 산출하는 자율주행차량을 위한 데이터 정합 장치.The method according to claim 1,
The operation unit,
And calculates the coordinate transformation matrix for minimizing a matching error between the first and second coordinates, which are mutually corresponding corresponding points, using the ICP algorithm.
상기 거리 데이터와 상기 3차원 점군 데이터 간의 상호 대응되는 복수의 대응점을 검출하는 단계;
상기 검출한 복수의 대응점의 좌표를 이용하여 상기 거리 데이터와 상기 3차원 점군 데이터 간의 좌표 변환 행렬을 산출하는 단계; 및
상기 차량의 주행 중에 상기 거리 데이터 및 상기 3차원 점군 데이터가 획득되는 경우에, 상기 좌표 변환 행렬을 이용하여 상기 거리 데이터를 상기 3차원 점군 데이터의 공간상에 실시간 매핑하는 단계를 포함하는 자율주행차량을 위한 데이터 정합 방법.Acquiring distance data and three-dimensional point cloud data for a surrounding environment using a lidar sensor and a three-dimensional scanner installed in a vehicle;
Detecting a plurality of corresponding points corresponding to each other between the distance data and the three-dimensional point cloud data;
Calculating a coordinate transformation matrix between the distance data and the three-dimensional point cloud data using coordinates of the detected corresponding points; And
And mapping the distance data in real time on the space of the three-dimensional point cloud data using the coordinate transformation matrix when the distance data and the three-dimensional point cloud data are acquired during running of the vehicle, Lt; / RTI >
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160167656A KR102056147B1 (en) | 2016-12-09 | 2016-12-09 | Registration method of distance data and 3D scan data for autonomous vehicle and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160167656A KR102056147B1 (en) | 2016-12-09 | 2016-12-09 | Registration method of distance data and 3D scan data for autonomous vehicle and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180066618A true KR20180066618A (en) | 2018-06-19 |
| KR102056147B1 KR102056147B1 (en) | 2019-12-17 |
Family
ID=62790446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160167656A KR102056147B1 (en) | 2016-12-09 | 2016-12-09 | Registration method of distance data and 3D scan data for autonomous vehicle and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102056147B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110057370A (en) * | 2019-06-13 | 2019-07-26 | 浙江智玲机器人科技有限公司 | The localization method and device of robot |
| CN111367252A (en) * | 2018-12-26 | 2020-07-03 | 北京图森智途科技有限公司 | Parking control method, equipment and system |
| KR20200087305A (en) * | 2018-12-28 | 2020-07-21 | 한국국토정보공사 | Method of estimating a location by fusing indoor spatial information data |
| CN111683840A (en) * | 2019-06-26 | 2020-09-18 | 深圳市大疆创新科技有限公司 | Interactive method and system of movable platform, movable platform and storage medium |
| CN112835086A (en) * | 2020-07-09 | 2021-05-25 | 北京京东乾石科技有限公司 | Method and device for determining vehicle position |
| KR20210068761A (en) | 2019-12-02 | 2021-06-10 | 가톨릭관동대학교산학협력단 | Deep learning-based autonomous vehicle visualize system for the visually impaired and method thereof |
| CN114071112A (en) * | 2021-10-18 | 2022-02-18 | 北京魔鬼鱼科技有限公司 | Vehicle point cloud identification imaging method and system |
| WO2022206977A1 (en) * | 2021-01-01 | 2022-10-06 | 许军 | Cooperative-vehicle-infrastructure-oriented sensing information fusion representation and target detection method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102428941B1 (en) | 2022-02-28 | 2022-08-08 | 75미리스튜디오 주식회사 | Method, device and system for generating textured 3d scan data through image registration based on scanning of broadband lidar |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5285487B2 (en) * | 2009-03-31 | 2013-09-11 | 日本放送協会 | Image recording system and image recording method |
| KR101664365B1 (en) * | 2015-08-10 | 2016-10-19 | (주)씨소 | 3-dimensional scan image generation method for a pipe |
-
2016
- 2016-12-09 KR KR1020160167656A patent/KR102056147B1/en active IP Right Grant
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367252A (en) * | 2018-12-26 | 2020-07-03 | 北京图森智途科技有限公司 | Parking control method, equipment and system |
| CN111367252B (en) * | 2018-12-26 | 2024-02-06 | 北京图森智途科技有限公司 | Parking control method, device and system |
| KR20200087305A (en) * | 2018-12-28 | 2020-07-21 | 한국국토정보공사 | Method of estimating a location by fusing indoor spatial information data |
| CN110057370A (en) * | 2019-06-13 | 2019-07-26 | 浙江智玲机器人科技有限公司 | The localization method and device of robot |
| CN111683840A (en) * | 2019-06-26 | 2020-09-18 | 深圳市大疆创新科技有限公司 | Interactive method and system of movable platform, movable platform and storage medium |
| US11922583B2 (en) | 2019-06-26 | 2024-03-05 | SZ DJI Technology Co., Ltd. | Interactive method and system of movable platform, movable platform, and storage medium |
| KR20210068761A (en) | 2019-12-02 | 2021-06-10 | 가톨릭관동대학교산학협력단 | Deep learning-based autonomous vehicle visualize system for the visually impaired and method thereof |
| CN112835086A (en) * | 2020-07-09 | 2021-05-25 | 北京京东乾石科技有限公司 | Method and device for determining vehicle position |
| CN112835086B (en) * | 2020-07-09 | 2022-01-28 | 北京京东乾石科技有限公司 | Method and device for determining vehicle position |
| WO2022206977A1 (en) * | 2021-01-01 | 2022-10-06 | 许军 | Cooperative-vehicle-infrastructure-oriented sensing information fusion representation and target detection method |
| CN114071112A (en) * | 2021-10-18 | 2022-02-18 | 北京魔鬼鱼科技有限公司 | Vehicle point cloud identification imaging method and system |
| CN114071112B (en) * | 2021-10-18 | 2023-09-01 | 北京魔鬼鱼科技有限公司 | Vehicle point cloud identification imaging method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102056147B1 (en) | 2019-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180066618A (en) | Registration method of distance data and 3D scan data for autonomous vehicle and method thereof | |
| US20210058608A1 (en) | Method and apparatus for generating three-dimensional (3d) road model | |
| JP5782708B2 (en) | Driving support device | |
| US11138465B2 (en) | Systems and methods for transforming coordinates between distorted and undistorted coordinate systems | |
| KR20190087266A (en) | Apparatus and method for updating high definition map for autonomous driving | |
| CN111263960B (en) | Apparatus and method for updating high definition map | |
| JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
| JP2017215940A (en) | Information processor, vehicle, information processing method and program | |
| JP2020021326A (en) | Information processing method, information processing apparatus and program | |
| WO2020021842A1 (en) | Vehicle display control device, vehicle display control method, control program, and persistent tangible computer-readable medium | |
| JP6901386B2 (en) | Gradient Estimator, Gradient Estimator, Program and Control System | |
| JPWO2017199333A1 (en) | Information output device, terminal device, control method, program, and storage medium | |
| JP7148064B2 (en) | Camera parameter estimation device, camera parameter estimation method, and camera parameter estimation program | |
| CN112824997A (en) | Method and system for local lane of travel perception | |
| JP2023095904A (en) | Self-position estimation device | |
| US10134182B1 (en) | Large scale dense mapping | |
| JP2018206038A (en) | Point group data processing device, mobile robot, mobile robot system, and point group data processing method | |
| JP7081098B2 (en) | Driving environment recognition device, driving environment recognition method, program | |
| JP2017211307A (en) | Measuring device, measuring method, and program | |
| JP2020118575A (en) | Inter-vehicle distance measurement device, error model generation device, learning model generation device, and method and program thereof | |
| US11607999B2 (en) | Method and apparatus for invisible vehicle underbody view | |
| WO2021246170A1 (en) | Information processing device, information processing system and method, and program | |
| JP7337617B2 (en) | Estimation device, estimation method and program | |
| JP7179687B2 (en) | Obstacle detector | |
| JP7051416B2 (en) | Self-position estimation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |