KR20220161022A

KR20220161022A - Method and apparatus for fusing sensor information, and recording medium for recording program performing the method

Info

Publication number: KR20220161022A
Application number: KR1020210069383A
Authority: KR
Inventors: 김성환; 이우영; 김수민
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2021-05-28
Filing date: 2021-05-28
Publication date: 2022-12-06

Abstract

The present invention relates to a sensor information fusion method, an apparatus thereof, and a recording medium recording a program for executing the method. The sensor information fusion method of an embodiment comprises the following steps of: obtaining a nearest point from an own vehicle of each of a target track box and a reference track box generated based on object detection by a plurality of sensors; and selecting an associated box associated with the reference track box from among the target track box included in the reference track box and smaller in size than the reference track box, and an overlapped target track box. Provided are the sensor information fusion method capable of integrating information sensed by the plurality of sensors accurately and reliably, the apparatus thereof, and the recording medium recording the program for executing the method.

Description

Method and apparatus for fusing sensor information, and recording medium for recording program performing the method}

실시 예는 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.Embodiments relate to a sensor information fusion method and apparatus, and a recording medium recording a program for executing the method.

차량의 정확한 위치 찾기, 정밀 측위 기술 및 디지털 맵 기술과, 운전자의 운행 상태를 체크해 주는 첨단 운전자 보조 시스템(Advanced Driving Assistant System: ADAS) 등에서 센서 융합 기술이 이용되고 있다.Sensor convergence technology is used in the precise positioning of vehicles, precise positioning technology, digital map technology, and advanced driver assistance systems (ADAS) that check the driver's driving condition.

센서 융합 기술은 차량에 장착된 복수의 센서 예를 들어 전방 레이더(RaDAR: Radio Detecting And Ranging), 전방 카메라, 측방 레이더에서 센싱된 정보를 융합하는 기술로서, 자차 주변의 상황을 신뢰도 높게 인지할 수 있도록 할 수 있다. 예를 들어, 자율 주행 레벨이 증가함에 따라, 높은 신뢰성과 정확성을 갖는 센서 정보 융합 기술이 요구되고 있다.Sensor fusion technology is a technology that fuses information sensed from multiple sensors mounted on a vehicle, such as front radar (RaDAR: Radio Detecting And Ranging), front camera, and side-view radar, and can recognize the situation around the vehicle with high reliability. can make it For example, as the level of autonomous driving increases, sensor information fusion technology having high reliability and accuracy is required.

실시 예는 복수의 센서에서 센싱된 정보를 정확하고 신뢰성 높게 융합할 수 있는 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.Embodiments provide a sensor information fusion method and apparatus capable of integrating information sensed by a plurality of sensors accurately and reliably, and a recording medium recording a program for executing the method.

실시 예에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Technical problems to be solved in the embodiments are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

일 실시 예에 의한 센서 정보 융합 방법은, 복수의 센서에 의한 객체 검출을 기반으로 생성한 타겟 트랙 박스와 기준 트랙 박스 각각의 자차로부터의 최근접 점을 구하는 (a) 단계 및 상기 기준 트랙 박스에 포함되고 상기 기준 트랙 박스보다 크기가 작은 대상 박스와 중첩하는 타겟 트랙 박스 중에서 상기 기준 트랙 박스와 연관되는 연관 박스를 선택하는 (b)단계를 포함할 수 있다.A sensor information fusion method according to an embodiment includes the step (a) of obtaining the nearest point from an own vehicle of each of a target track box and a reference track box generated based on object detection by a plurality of sensors, and the reference track box and (b) selecting a related box associated with the reference track box from among target track boxes that are included and overlap with target boxes smaller in size than the reference track box.

예를 들어, 상기 센서 정보 융합 방법은, 상기 기준 트랙 박스의 상기 최근접 점을 포함하는 제1 대상 박스와 상기 기준 트랙 박스의 중심을 포함하는 제2 대상 박스 중 적어도 하나를 상기 대상 박스로서 생성하는 단계를 더 포함할 수 있다.For example, the sensor information fusion method generates at least one of a first target box including the nearest point of the reference track box and a second target box including the center of the reference track box as the target box. It may further include steps to do.

예를 들어, 상기 제2 대상 박스는 상기 기준 트랙 박스의 중앙에 위치하고, 상기 제1 대상 박스는 상기 제2 대상 박스의 주변에 위치할 수 있다.For example, the second target box may be located in the center of the reference track box, and the first target box may be located around the second target box.

예를 들어, 상기 센서 정보 융합 방법은, 상기 연관 박스에 대한 정보를 이용하여 퓨전 트랙 박스를 생성하거나 갱신하는 단계를 더 포함할 수 있다.For example, the sensor information fusion method may further include generating or updating a fusion track box using information on the associated box.

예를 들어, 상기 센서 정보 융합 방법은, 상기 복수의 센서 중 임의의 센서에서 생성된 트랙 박스 또는 이전 시점에 생성되거나 갱신된 상기 퓨전 트랙 박스를 상기 기준 트랙 박스로서 선정하는 단계를 더 포함할 수 있다.For example, the sensor information fusion method may further include selecting a track box generated by any sensor among the plurality of sensors or the fusion track box generated or updated at a previous point in time as the reference track box. have.

예를 들어, 상기 최근접 점을 구하는 단계는 상기 기준 트랙 박스 및 상기 타겟 트랙 박스 각각의 꼭지점과 변의 중앙점을 구하는 단계; 상기 꼭지점과 상기 변의 중앙점에 상기 기준 트랙 박스 및 상기 타겟 트랙 박스 각각의 헤딩을 반영하는 단계; 및 상기 헤딩이 반영된 상기 꼭지점 및 상기 중앙점 중에서, 상기 자차의 기준점과 가장 가깝게 위치한 점을 상기 최근접 점으로서 선정하는 단계를 포함할 수 있다.For example, the obtaining of the nearest point may include obtaining a center point of a vertex and a side of each of the reference track box and the target track box; reflecting headings of the reference track box and the target track box, respectively, to the vertex and the midpoint of the side; and selecting, as the closest point, a point located closest to a reference point of the host vehicle, among the vertex and the center point where the heading is reflected.

예를 들어, 상기 자차의 상기 기준점은 상기 자차의 전방 범퍼 중앙에 해당할 수 있다.For example, the reference point of the own vehicle may correspond to the center of the front bumper of the own vehicle.

예를 들어, 상기 기준 트랙 박스의 길이 정보와 폭 정보를 이용하여, 상기 기준 트랙 박스의 상기 꼭지점과 상기 중앙점을 구하고, 상기 타겟 트랙 박스의 길이 정보와 폭 정보를 이용하여, 상기 타겟 트랙 박스의 상기 꼭지점과 상기 중앙점을 구할 수 있다.For example, the vertex and the center point of the reference track box are obtained using length information and width information of the reference track box, and the target track box is obtained using length information and width information of the target track box. The vertex and the center point of can be obtained.

예를 들어, 상기 (b) 단계는 상기 타겟 트랙 박스가 복수의 타겟 트랙 박스를 포함할 때, 상기 복수의 타겟 트랙 박스 중에서 상기 제1 또는 제2 대상 박스 중 적어도 하나와 중첩하는 후보 박스를 선택하는 (b1) 단계; 및 상기 후보 박스 중에서 상기 연관 박스를 선택하는 (b2) 단계를 포함할 수 있다.For example, in step (b), when the target track box includes a plurality of target track boxes, a candidate box overlapping with at least one of the first or second target boxes is selected from among the plurality of target track boxes. (b1) step of doing; and (b2) selecting the associated box from among the candidate boxes.

예를 들어, 상기 센서 정보 융합 방법은, 상기 복수의 타겟 트랙 박스 중에서 상기 후보 박스로 선택되지 않은 타겟 트랙 박스 또는 상기 후보 박스 중에서 상기 연관 박스로 선택되지 않은 후보 박스 중 적어도 일부를 삭제하는 단계를 더 포함할 수 있다.For example, the sensor information fusion method may include deleting at least some of target track boxes that are not selected as the candidate boxes from among the plurality of target track boxes or candidate boxes that are not selected as the association boxes from among the candidate boxes. can include more.

예를 들어, 상기 기준 트랙 박스와 상기 후보 박스 간의 연관성을 나타내는 연관 정보를 구하고, 상기 연관 정보를 이용하여 상기 후보 박스 중에서 상기 연관 박스를 선택할 수 있다.For example, association information indicating association between the reference track box and the candidate box may be obtained, and the association box may be selected from among the candidate boxes using the association information.

예를 들어, 상기 연관 정보는 상기 후보 박스와 상기 제1 및 제2 대상 박스 각각 간의 중첩 정도를 나타내는 중첩 정보; 상기 후보 박스의 상기 최근접 점이 연관 게이트의 내부에 위치하는가의 여부를 나타내는 게이팅 정보; 또는 상기 후보 박스의 상기 최근접 점과 상기 기준 트랙 박스의 상기 최근접 점 간의 이격 거리를 나타내는 이격 정보 중 적어도 하나를 포함할 수 있다.For example, the association information may include overlapping information indicating an overlapping degree between the candidate box and the first and second target boxes, respectively; gating information indicating whether the closest point of the candidate box is located inside an association gate; or at least one of spacing information indicating a spacing distance between the nearest point of the candidate box and the nearest point of the reference track box.

예를 들어, 상기 (b2) 단계는 상기 후보 박스 중에서, 상기 제1 및 제2 대상 박스 모두에 중첩하는 유일한 박스 또는 상기 후보 박스 중에서 상기 제1 또는 제2 대상 박스와 중첩되는 유일한 박스를 상기 연관 박스로서 선택하는 단계; 상기 중첩 정보를 이용하여 상기 연관 박스를 선택할 수 없을 때, 상기 연관 게이트의 내부에 위치하는 최근접 점을 갖는 유일한 후보 박스를 상기 연관 박스로서 선택하는 단계; 및 상기 게이팅 정보를 이용하여 상기 연관 박스를 선택할 수 없을 때, 가장 작은 상기 이격 거리를 갖는 유일한 후보 박스를 상기 연관 박스로서 선택하는 단계를 포함할 수 있다.For example, in the step (b2), the only box overlapping both the first and second target boxes among the candidate boxes or the only box overlapping the first or second target boxes among the candidate boxes is selected as the association. selecting as a box; selecting, as the association box, a unique candidate box having a nearest point located inside the association gate when the association box cannot be selected using the overlapping information; and selecting the only candidate box having the smallest separation distance as the association box when the association box cannot be selected using the gating information.

예를 들어, 상기 센서 정보 융합 방법은, 상기 퓨전 트랙 박스의 융합 고유 번호를 관리하는 단계를 더 포함할 수 있다.For example, the sensor information fusion method may further include managing a fusion unique number of the fusion track box.

예를 들어, 상기 융합 고유 번호를 관리하는 단계는 이전 시점에 생성된 상기 퓨전 트랙 박스가 없을 때, 상기 복수의 센서 중에서 현 시점에서 구해진 상기 퓨전 트랙 박스를 생성한 센서의 고유 번호를 상기 융합 고유 번호로서 설정하는 단계; 상기 이전 시점에서 구해진 상기 퓨전 트랙 박스를 생성한 센서와 상기 현 시점에서 구해진 상기 퓨전 트랙 박스를 생성한 센서가 동일할 때, 상기 융합 고유 번호를 유지하는 단계; 상기 이전 시점에 구한 상기 퓨전 트랙 박스와 상기 현 시점에서 구한 상기 퓨전 트랙 박스 중 상기 연관 게이트의 내부에 포함되는 최근접 점을 갖는 퓨전 트랙 박스를 생성한 센서의 고유 번호를 상기 융합 고유 번호로서 설정하는 단계; 및 상기 이전 시점에 구한 상기 퓨전 트랙 박스와 상기 현 시점에서 구한 상기 퓨전 트랙 박스가 모두 상기 연관 게이트의 내부에 포함되는 최근접 점을 가질 때, 상기 이격 거리가 가장 작은 퓨전 트랙 박스를 생성한 센서의 고유 번호를 상기 융합 고유 번호로서 설정하는 단계를 포함할 수 있다.For example, in the step of managing the fusion unique number, when there is no fusion track box generated at a previous time point, the unique number of the sensor that generated the fusion track box obtained at the current time point among the plurality of sensors is assigned to the fusion unique number. setting as a number; maintaining the fusion unique number when the sensor that generated the fusion track box obtained at the previous time point and the sensor that generated the fusion track box obtained at the current time point are the same; Among the fusion track boxes obtained at the previous time and the fusion track boxes obtained at the current time, the unique number of the sensor that generated the fusion track box having the closest point included in the association gate is set as the fusion unique number. doing; and when both the fusion track box obtained at the previous time point and the fusion track box obtained at the current time point have a nearest point included inside the association gate, a sensor that generates the fusion track box having the smallest separation distance. It may include setting a unique number of as the fusion unique number.

예를 들어, 상기 (b1) 단계는 상기 제1 및 제2 대상 박스 각각인 제k(여기서, k는 1 또는 2) 대상 박스의 확장된 머지 게이트를 생성하고, 상기 복수의 타겟 트랙 박스 중에서 상기 머지 게이트 내에 포함되는 타겟 트랙 박스를 상기 제k 대상 박스와 중첩하는 것으로 결정할 수 있다.For example, the step (b1) generates an extended merge gate of the kth (where k is 1 or 2) target box, which is each of the first and second target boxes, and selects one of the plurality of target track boxes. It may be determined that the target track box included in the merge gate overlaps the kth target box.

예를 들어, 상기 (b1) 단계는 상기 복수의 타겟 트랙 박스 각각의 중심점과 상기 제k 대상 박스의 중심점을 구하는 단계; 및 상기 제k 대상 박스의 상기 중심점을 원점으로 설정하고, 상기 제k 대상 박스의 길이 정보 및 폭 정보를 기반으로 상기 제k 대상 박스의 꼭지점을 구하는 단계를 포함할 수 있다.For example, the step (b1) may include obtaining a center point of each of the plurality of target track boxes and a center point of the kth target box; and setting the center point of the k-th object box as an origin, and obtaining a vertex of the k-th object box based on length information and width information of the k-th object box.

예를 들어, 상기 복수의 타겟 트랙 박스 각각의 상기 중심점, 폭 정보, 길이 정보 및 헤딩 정보를 이용하여, 상기 복수의 타겟 트랙 박스 각각의 상기 꼭지점을 구할 수 있다.For example, the vertex of each of the plurality of target track boxes may be obtained using the center point, width information, length information, and heading information of each of the plurality of target track boxes.

예를 들어, 상기 (b1) 단계는 상기 제k 대상 박스의 헤딩이 상기 자차의 주행 방향과 나란해지도록 상기 제k 대상 박스를 회전하는 단계; 상기 제k 대상 박스의 상기 원점으로 설정되기 이전의 상기 중심점과 상기 타겟 트랙 박스 각각의 상기 중심점이 이격된 거리만큼 상기 원점을 기준으로 상기 복수의 타겟 트랙 박스 각각의 상기 중심점을 이동시키는 단계; 및 상기 제k 대상 박스가 회전한 만큼 상기 복수의 타겟 트랙 박스 각각을 회전시키는 단계를 더 포함할 수 있다.For example, the step (b1) may include rotating the k-th object box such that the heading of the k-th object box is parallel to the driving direction of the host vehicle; moving the center point of each of the plurality of target track boxes based on the origin by a distance by which the center point before being set as the origin of the kth target box is separated from the center point of each target track box; and rotating each of the plurality of target track boxes by the rotation of the kth target box.

예를 들어, 상기 제k 대상 박스의 상기 길이 정보 및 상기 폭 정보를 기반으로 상기 머지 게이트의 크기를 결정할 수 있다.For example, the size of the merge gate may be determined based on the length information and the width information of the kth target box.

예를 들어, 박스인 포인트(Box In Point) 함수를 기반으로, 상기 복수의 타겟 트랙 박스 각각이 상기 제k 대상 박스와 중첩하는가의 여부를 결정하고, 상기 박스인 포인트 함수에 의해 중첩 여부가 결정되지 않은 타겟 트랙 박스가 상기 제k 대상 박스와 중첩하는가의 여부를 박스 크로스드(Box Crossed) 함수에 의해 결정할 수 있다.For example, based on a box in point function, it is determined whether each of the plurality of target track boxes overlaps with the kth target box, and whether the overlapping is determined by the box in point function Whether or not a target track box that is not overlapped with the kth target box may be determined by using a box crossed function.

예를 들어, 상기 박스인 포인트 함수를 기반으로 중첩 여부를 결정하는 단계는 상기 복수의 타겟 트랙 박스 중에서, 상기 제k 대상 박스 내에 존재하는 적어도 하나의 꼭지점을 갖는 타겟 트랙 박스를 상기 제k 대상 박스와 중첩하는 것으로 결정할 수 있다.For example, the step of determining whether the box overlaps based on the point function may include selecting a target track box having at least one vertex existing in the k th target box, among the plurality of target track boxes, as the k th target box. can be determined by overlapping with

예를 들어, 상기 박스 크로스드 함수에 의해 중첩 여부를 결정하는 단계는 상기 제k 대상 박스의 외부 영역을 복수개의 영역으로 구분하고, 상기 타겟 트랙 박스의 꼭지점이 상기 복수개의 영역 내에 위치하는 경우 상기 꼭지점의 위치에 따라 중첩 여부를 결정할 수 있다.For example, the step of determining whether to overlap by the box cross function divides an area outside the kth target box into a plurality of areas, and when the vertex of the target track box is located within the plurality of areas, the Depending on the position of the vertex, whether to overlap can be determined.

예를 들어, 상기 복수개의 영역은 상기 제k 대상 박스의 상부의 영역을 순차적으로 구분하여 정의한 제1 영역, 제2 영역, 및 제3 영역; 상기 제k 대상 박스의 좌측 및 우측에 각각 위치한 제4 및 제5 영역; 및 상기 제k 대상 박스의 하부의 영역을 순차적으로 구분하여 정의한 제6 영역, 제7 영역 및 제8 영역을 포함할 수 있다.For example, the plurality of regions may include a first region, a second region, and a third region defined by sequentially dividing and defining the upper region of the kth target box; fourth and fifth regions located on the left and right sides of the kth target box, respectively; and a sixth area, a seventh area, and an eighth area defined by sequentially classifying areas under the kth target box.

예를 들어, 상기 제2 영역 및 상기 제7 영역에 존재하거나, 상기 제4 영역 및 상기 제5 영역에 존재하는 꼭지점을 갖는 상기 타겟 트랙 박스를 상기 제k 대상 박스와 중첩하는 것으로 결정할 수 있다.For example, it may be determined that the target track box having a vertex existing in the second area and the seventh area, or existing in the fourth area and the fifth area overlaps the kth target box.

예를 들어, 상기 타겟 트랙 박스의 꼭지점 중 적어도 하나가 상기 제2 영역 및 상기 제7 영역에 존재하지 않고, 상기 제4 영역 및 상기 제5 영역에 존재하지 않는 경우, 상기 타겟 트랙 박스의 상기 꼭지점 중 하나인 제1 꼭지점과 상기 제k 대상 박스의 상기 꼭지점 중 하나인 제1 꼭지점을 이어 연장한 선과, 상기 타겟 트랙 박스의 상기 제1 꼭지점에서 상기 제k 대상 박스로 그린 수선과, 상기 제k 대상 박스의 제1 면의 일부에 의해 제1 삼각형을 형성하고, 상기 타겟 트랙 박스의 상기 꼭지점 중 다른 하나인 제2 꼭지점과 상기 제k 대상 박스의 상기 제1 꼭지점을 이어 연장한 선과, 상기 타겟 트랙 박스의 상기 꼭지점 중 다른 하나인 제2 꼭지점에서 상기 제k 대상 박스로 그린 수선과, 상기 제k 대상 박스의 제2 면의 일부에 의해 제2 삼각형을 형성할 수 있다.For example, when at least one of the vertices of the target track box does not exist in the second area and the seventh area, and does not exist in the fourth area and the fifth area, the vertex of the target track box A line extending from one of the first vertices of the k-th target box and one of the vertices of the k-th target box, a perpendicular line drawn from the first vertex of the target track box to the k-th target box, and the k-th target box. A first triangle is formed by a part of the first surface of the target box, and a line connecting and extending a second vertex, which is another one of the vertices of the target track box, and the first vertex of the k-th target box; A second triangle may be formed by a perpendicular line drawn from a second vertex, which is another one of the vertices of the track box, to the k th object box and a part of the second surface of the k th object box.

예를 들어, 상기 제1 삼각형의 탄젠트값과 상기 제2 삼각형의 탄젠트 값을 비교하고, 비교된 결과를 이용하여 상기 타겟 트랙 박스가 상기 제k 대상 박스에 중첩하는가의 여부를 결정할 수 있다.For example, it is possible to compare the tangent value of the first triangle and the tangent value of the second triangle, and determine whether the target track box overlaps the kth target box using the comparison result.

예를 들어, 상기 제1 삼각형의 상기 탄젠트값이 상기 제2 삼각형의 상기 탄젠트 값보다 작으면, 상기 타겟 트랙 박스가 상기 제k 대상 박스에 중첩하는 것으로 결정할 수 있다.For example, if the tangent value of the first triangle is smaller than the tangent value of the second triangle, it may be determined that the target track box overlaps the kth target box.

다른 실시 예에 의한 센서 정보 융합 장치는, 복수의 센서에 의한 객체 검출을 기반으로 생성한 타겟 트랙 박스와 기준 트랙 박스 각각의 자차로부터의 최근접 점을 구하는 최근접 점 선정부; 및 상기 기준 트랙 박스에 포함되고 상기 기준 트랙 박스보다 크기가 작은 적어도 하나의 대상 박스와 중첩하는 타겟 트랙 박스 중에서 상기 기준 트랙 박스와 연관되는 연관 박스를 선택하는 연관 박스 선택부를 포함할 수 있다.An apparatus for fusion of sensor information according to another embodiment includes: a nearest point selector for obtaining a nearest point from a vehicle of each of a target track box and a reference track box generated based on object detection by a plurality of sensors; and a related box selection unit that selects a related box associated with the reference track box from among target track boxes included in the reference track box and overlapping with at least one target box smaller in size than the reference track box.

예를 들어, 상기 센서 정보 융합 장치는, 상기 기준 트랙 박스의 상기 최근접 점을 포함하는 제1 대상 박스와 상기 기준 트랙 박스의 중심을 포함하는 제2 대상 박스 중 적어도 하나를 상기 대상 박스로서 생성하는 대상 박스 생성부를 더 포함할 수 있다.For example, the sensor information fusion device generates at least one of a first target box including the closest point of the reference track box and a second target box including the center of the reference track box as the target box. It may further include a target box generation unit that does.

예를 들어, 상기 센서 정보 융합 장치는, 상기 연관 박스에 대한 정보를 이용하여 퓨전 트랙 박스를 생성하거나 갱신하는 퓨전 트랙 박스부를 더 포함할 수 있다.For example, the sensor information fusion apparatus may further include a fusion track box unit generating or updating a fusion track box using the information on the association box.

또 다른 실시 예에 의하면, 센서 정보 융합 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 복수의 센서에 의한 객체 검출을 기반으로 생성한 타겟 트랙 박스와 기준 트랙 박스 각각의 자차로부터의 최근접 점을 구하는 기능; 및 상기 기준 트랙 박스에 포함되고 상기 기준 트랙 박스보다 크기가 작은 대상 박스와 중첩하는 타겟 트랙 박스 중에서 상기 기준 트랙 박스와 연관되는 연관 박스를 선택하는 기능을 구현하는 프로그램을 기록하고, 컴퓨터로 읽혀질 수 있다.According to another embodiment, a recording medium on which a program for executing the sensor information fusion method is recorded includes a target track box and a reference track box generated based on object detection by a plurality of sensors that are closest to each other from their own vehicle. function to ask for; and a program implementing a function of selecting a related box associated with the reference track box from among target track boxes included in the reference track box and overlapping with a target box having a size smaller than the reference track box, which can be read by a computer. have.

실시 예에 따른 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 복수의 센서에서 센싱된 타겟 트랙 박스의 기준점이 서로 이격된 거리가 크다고 하더라도, 동일한 객체에 대해 센싱된 결과를 연관시킬 수 있어 우수한 센서 정보 융합 성능을 가지며, 추가적인 재료비를 증가시키지도 않는다.The sensor information fusion method and apparatus according to the embodiment and the recording medium recording the program for executing the method result in sensing the same object even if the reference points of the target track boxes sensed by a plurality of sensors are spaced apart from each other. , it has excellent sensor information fusion performance and does not increase additional material cost.

또한, 본 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과는 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition, the effects obtainable in this embodiment are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. There will be.

도 1은 실시 예에 의한 센서 정보 융합 방법을 설명하기 위한 플로우차트이다.
도 2는 기준 트랙 박스와 타겟 트랙 박스 각각의 꼭지점과 변의 중앙점을 예시적으로 나타내는 도면이다.
도 3은 기준 트랙 박스와 타겟 트랙 박스 각각에 헤딩 정보 반영을 설명하기 위한 도면이다.
도 4는 기준 최근접 점과 타겟 최근접 점을 예시적으로 설명하기 위한 도면이다.
도 5는 대상 박스를 설명하기 위한 도면이다.
도 6은 복수의 타겟 트랙 박스 중에서 후보 박스를 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 7은 센서 좌표계에서 제k 대상 박스와 각 타겟 트랙 박스를 예시적으로 나타낸다.
도 8은 도 7에 도시된 제k 대상 박스와 각 타겟 트랙 박스를 기준 좌표계에서 예시적으로 나타내는 도면이다.
도 9는 일 실시 예에 따른 머지 게이트를 예시적으로 나타낸다.
도 10a 및 도 10b는 일 실시 예에 따른 머지 게이트의 크기를 예시적으로 설정하는 과정을 설명하기 위한 도면이다.
도 11a 및 도 11b는 실시 예에 따른 중첩 여부를 결정하기 위해 박스인 포인트 함수를 적용하는 과정을 설명하기 위한 도면이다.
도 12a 내지 도 12d는 실시 예에 따른 중첩 여부를 결정하기 위해 박스 크로스드 함수를 적용하는 과정을 설명하기 위한 도면이다.
도 13은 실시 예에 의한 센서 정보 융합 장치를 포함하는 차량의 블록도이다.
도 14는 도 13에 도시된 프로세서의 실시 예의 블록도이다.
도 15는 비교예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.1 is a flowchart for explaining a sensor information fusion method according to an embodiment.
FIG. 2 is a diagram showing exemplarily the vertices and midpoints of the sides of a reference track box and a target track box.
3 is a diagram for explaining the reflection of heading information in each of a reference track box and a target track box.
4 is a diagram for illustratively explaining a reference nearest point and a target nearest point.
5 is a diagram for explaining a target box.
6 is an exemplary diagram for explaining a process of selecting a candidate box from among a plurality of target track boxes.
7 illustratively shows the kth target box and each target track box in the sensor coordinate system.
FIG. 8 exemplarily shows the kth target box and each target track box shown in FIG. 7 in a reference coordinate system.
9 illustratively illustrates a merge gate according to an embodiment.
10A and 10B are diagrams for explaining a process of exemplarily setting the size of a merge gate according to an embodiment.
11A and 11B are diagrams for explaining a process of applying a box-in-point function to determine overlap according to an embodiment.
12A to 12D are diagrams for explaining a process of applying a box cross function to determine overlapping according to an embodiment.
13 is a block diagram of a vehicle including a sensor information fusion device according to an embodiment.
14 is a block diagram of an embodiment of the processor shown in FIG. 13;
15 is a diagram for explaining a sensor information fusion method according to a comparative example.

이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.Hereinafter, examples will be described in order to explain the present invention in detail, and will be described in detail with reference to the accompanying drawings to help understanding of the present invention. However, embodiments according to the present invention can be modified in many different forms, and the scope of the present invention should not be construed as being limited to the embodiments described below. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art.

본 실시 예의 설명에 있어서, 각 구성요소(element)의 "상(위) 또는 하(아래)(on or under)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 구성요소(element)가 서로 직접(directly)접촉되거나 하나 이상의 다른 구성요소(element)가 상기 두 구성요소(element) 사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다.In the description of this embodiment, in the case where it is described as being formed on or under each element, the upper (above) or lower (below) ( on or under) includes both that two elements are directly in contact with each other or that one or more other elements are disposed between the two elements (indirectly).

또한 "상(위)" 또는 "하(아래)(on or under)"로 표현되는 경우 하나의 구성요소(element)를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when expressed as "upper (up)" or "lower (under) (on or under)", it may include the meaning of not only an upward direction but also a downward direction based on one element.

또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서 이용될 수도 있다.In addition, relational terms such as "first" and "second", "upper/upper/upper" and "lower/lower/lower" used below refer to any physical or logical relationship or It may be used to distinguish one entity or element from another, without necessarily requiring or implying an order.

이하, 실시 예에 의한 센서 정보 융합 방법(100)을 첨부된 도면을 참조하여 다음과 같이 설명한다. 편의상, 데카르트 좌표계(x축, y축, z축)를 이용하여 센서 정보 융합 방법(100)을 설명하지만, 다른 좌표계에 의해서도 이를 설명할 수 있음은 물론이다.Hereinafter, a sensor information fusion method 100 according to an embodiment will be described as follows with reference to the accompanying drawings. For convenience, the sensor information fusion method 100 is described using a Cartesian coordinate system (x-axis, y-axis, z-axis), but it can be described using other coordinate systems as well.

도 1은 실시 예에 의한 센서 정보 융합 방법(100)을 설명하기 위한 플로우차트이다.1 is a flowchart for explaining a sensor information fusion method 100 according to an embodiment.

실시 예에 의한 센서 정보 융합 방법(100)은 타겟 트랙 박스의 자차로부터의 최근접(CP: Closest point)(이하, ‘타겟 최근접 점’이라 한다)을 구하고, 기준 트랙 박스의 자차로부터의 최근접 점(이하, ‘기준 최근접 점’이라 한다)을 구한다(제110 단계).The sensor information fusion method 100 according to the embodiment obtains the closest point (CP: Closest point) from the own vehicle of the target track box (hereinafter, referred to as 'target nearest point'), and obtains the closest point from the own vehicle of the reference track box. A contact point (hereinafter, referred to as a 'reference closest point') is obtained (step 110).

여기서, 타겟 트랙 박스란, 자차에 장착될 수 있는 복수의 센서 중 하나의 센서에 의해 객체 검출을 기반으로 생성된 센싱 트랙 박스(또는, 센싱 트랙)으로 정의할 수 있다.Here, the target track box may be defined as a sensing track box (or sensing track) generated based on object detection by one sensor among a plurality of sensors that may be mounted on the host vehicle.

예를 들어, 복수의 센서는 라이다(LIDAR: Light Detection and Ranging) 센서, 레이더(RaDAR: Radio Detecting And Ranging) 센서, 카메라 등일 수 있으며, 실시 예는 센서의 특정한 종류에 국한되지 않는다.For example, the plurality of sensors may be a Light Detection and Ranging (LIDAR) sensor, a Radio Detecting And Ranging (RaDAR) sensor, or a camera, and the embodiment is not limited to a specific type of sensor.

타겟 트랙 박스는 복수 개일 수 있으며, 복수 개의 타겟 트랙 박스는 복수의 센서에 의해 객체 검출을 기반으로 생성될 수 있다.There may be a plurality of target track boxes, and the plurality of target track boxes may be generated based on object detection by a plurality of sensors.

또한, 기준 트랙 박스란, 복수의 센서 중 다른 하나의 센서에 의해 객체 검출을 기반으로 생성된 센싱 트랙 박스으로 정의할 수 있다. 또는, 이전 시점(t-1)에 생성되거나 갱신된 퓨전 트랙 박스를 현 시점(t)의 기준 트랙 박스로서 선정할 수도 있다.In addition, the reference track box may be defined as a sensing track box generated based on object detection by another sensor among a plurality of sensors. Alternatively, a fusion track box generated or updated at the previous time point (t-1) may be selected as the reference track box at the current time point (t).

예를 들어, 현 시점이 생성된 퓨전 트랙 박스가 존재하지 않은 초기 상태일 때, 복수의 센서 중 임의의 센서(예를 들어, 라이다 센서)에서 생성된 트랙 박스가 기준 트랙 박스로서 선정될 수 있다. 또한, 이전 시점(t-1)에 생성되거나 갱신된 퓨전 트랙 박스가 존재할 경우, 이 퓨전 트랙 박스를 현 시점(t)의 기준 트랙 박스로서 선정할 수 있다. 그러나, 실시 예는 기준 트랙 박스의 특정한 종류에 국한되지 않는다. 여기서, 현 시점(t)이란, 도 1에 도시된 센서 정보 융합 방법(100)이 수행되는 시점을 의미한다.For example, when the current point of time is an initial state in which the generated fusion track box does not exist, a track box generated by an arbitrary sensor (eg, lidar sensor) among a plurality of sensors may be selected as a reference track box. have. In addition, if there is a fusion track box created or updated at the previous time point (t-1), this fusion track box can be selected as the reference track box at the current time point (t). However, embodiments are not limited to a specific type of reference track box. Here, the current time point t means a time point at which the sensor information fusion method 100 shown in FIG. 1 is performed.

예를 들어, 복수의 센서가 A센서, B센서, C센서 및 D센서를 포함할 경우, A센서 및 B센서로부터 수신한 정보를 기반으로 기준 트랙 박스를 생성하고 C센서 및 D센서로부터 수신한 정보를 기반으로 타겟 트랙 박스를 생성할 수 있다.For example, if a plurality of sensors include sensor A, sensor B, sensor C, and sensor D, a reference track box is created based on information received from sensor A and sensor B, and received from sensor C and sensor D. A target track box can be created based on the information.

기준 트랙 박스와 타겟 트랙 박스는 동일한 객체(또는, 대상)에 대한 정보이지만, 센서가 다름에 따라 다르게 인식된 결과물이다. 이에 실시 예에 의한 센서 정보 융합 방법(100)은 기준 트랙 박스와 연관되는 타겟 트랙 박스를 찾아 융합하거나 연관되지 않은 타겟 트랙 박스를 검출하여 삭제하도록 한다.Although the reference track box and the target track box are information about the same object (or object), they are recognized results differently according to different sensors. Accordingly, the sensor information fusion method 100 according to the embodiment searches for a target track box associated with a reference track box and merges it, or detects and deletes an unrelated target track box.

이하, 도 1에 도시된 제110 단계의 일 실시 예를 첨부된 도면을 참조하여 다음과 같이 설명한다.Hereinafter, an embodiment of step 110 shown in FIG. 1 will be described with reference to the accompanying drawings.

도 2는 기준 트랙 박스와 타겟 트랙 박스 각각의 꼭지점과 변의 중앙점을 예시적으로 나타내는 도면이고, 도 3은 기준 트랙 박스와 타겟 트랙 박스 각각에 헤딩 정보 반영을 설명하기 위한 도면이고, 도 4는 기준 최근접 점과 타겟 최근접 점을 예시적으로 설명하기 위한 도면이다.2 is a diagram exemplarily showing the vertices and midpoints of the sides of the reference track box and the target track box, FIG. 3 is a diagram for explaining the reflection of heading information in each of the reference track box and the target track box, and FIG. 4 is It is a diagram for illustratively explaining the reference nearest point and the target nearest point.

일 실시 예에 의하면, 제110 단계를 수행하기 위해, 먼저, 기준 트랙 박스의 꼭지점과 변의 중앙점을 구하고, 타겟 트랙 박스의 꼭지점과 변의 중앙점을 구한다.According to an embodiment, in order to perform step 110, first, the vertices and midpoints of the sides of the reference track box are obtained, and then the vertices and midpoints of the sides of the target track box are obtained.

도 2에 도시된 바와 같이, 기준 트랙 박스(또는, 타겟 트랙 박스)의 4개의 꼭지점(1, 3, 5, 7)과 4변의 중앙점(0, 2, 4, 6)을 구할 수 있다.As shown in FIG. 2, the four vertices (1, 3, 5, 7) and the center points (0, 2, 4, 6) of the four sides of the reference track box (or target track box) can be obtained.

예를 들어, 기준 트랙 박스의 길이(L)에 대한 길이 정보 및 폭(W)에 대한 폭 정보를 이용하여, 기준 트랙 박스의 꼭지점(1, 3, 5, 7)과 중앙점(0, 2, 4, 6)을 구할 수 있다. 또한, 타겟 트랙 박스의 길이(L)에 대한 길이 정보와 폭(W)에 대한 폭 정보를 이용하여, 타겟 트랙 박스의 꼭지점(1, 3, 5, 7)과 중앙점(0, 2, 4, 6)을 구할 수 있다.For example, using length information about the length (L) and width information about the width (W) of the reference track box, vertices (1, 3, 5, 7) and center points (0, 2) of the reference track box , 4, 6) can be obtained. In addition, using length information about the length (L) and width information about the width (W) of the target track box, vertices (1, 3, 5, 7) and center points (0, 2, 4) of the target track box , 6) can be obtained.

기준 트랙 박스(또는, 타겟 트랙 박스)의 기준점을 기준으로 각 꼭지점(1, 3, 5, 7)의 상대적인 좌표와 각 중앙점(0, 2, 4, 6)의 상대적인 좌표를 설정할 수 있다. 여기서, 차량의 뒷 범퍼의 중앙점이 기준 트랙 박스(또는, 타겟 트랙 박스)의 기준점(0)으로서 설정될 수 있다.Relative coordinates of each vertex (1, 3, 5, 7) and each center point (0, 2, 4, 6) can be set based on the reference point of the reference track box (or target track box). Here, the center point of the rear bumper of the vehicle may be set as the reference point (0) of the reference track box (or target track box).

또한, 기준 트랙 박스(또는, 타겟 트랙 박스)의 헤딩(heading)을 이용하여, 꼭지점(1, 3, 5, 7)의 상대적인 좌표와 중앙점(0, 2, 4, 6)의 상대적인 좌표를 추출할 수 있다. 예를 들어, 도 3을 참조하면, 기준 트랙 박스(또는, 타겟 트랙 박스)의 헤딩(HD)이 자차의 진행 방향(예를 들어, x축 방향)을 기준으로 소정 각도(θ1)만큼 기울어져 있을 수 있다. 따라서, 헤딩에 대한 정보(이하, ‘헤딩 정보’라 한다)를 꼭지점(1, 3, 5, 7)의 좌표와 중앙점(0, 2, 4, 6)의 좌표에 반영할 수 있다.In addition, relative coordinates of vertices (1, 3, 5, 7) and center points (0, 2, 4, 6) are calculated using the heading of the reference track box (or target track box). can be extracted. For example, referring to FIG. 3 , the heading HD of the reference track box (or target track box) is tilted by a predetermined angle θ1 relative to the traveling direction (eg, x-axis direction) of the host vehicle. There may be. Therefore, heading information (hereinafter referred to as 'heading information') can be reflected in the coordinates of the vertices (1, 3, 5, 7) and the coordinates of the center point (0, 2, 4, 6).

기준 트랙 박스(또는, 타겟 트랙 박스)의 헤딩 정보를 반영하기 이전의 꼭지점(1, 3, 5, 7) 및 헤딩 정보를 반영하기 이전의 중앙점(0, 2, 4, 6) 각각의 x축 좌표(x)와 y축 좌표(y)를 다음 수학식 1에 대입함으로써, 기준 트랙 박스(또는, 타겟 트랙 박스)의 헤딩 정보가 반영된 꼭지점(1, 3, 5, 7) 및 중앙점(2, 4, 6) 각각의 x축 좌표(X)와 y축 좌표(Y)를 구할 수 있다.Each x of the vertex (1, 3, 5, 7) before reflecting the heading information of the reference track box (or target track box) and the center point (0, 2, 4, 6) before reflecting the heading information By substituting the axis coordinates (x) and the y-axis coordinates (y) into Equation 1 below, the vertices (1, 3, 5, and 7) and the center point ( 2, 4, 6) Each x-axis coordinate (X) and y-axis coordinate (Y) can be obtained.

여기서, x와 y는 도 2에 도시된 기준점(0)의 x축 좌표와 y축 좌표를 각각 나타내고, x’와 y’는 헤딩 정보가 반영되기 이전의 꼭지점(1, 3, 5, 7) 및 헤딩 정보가 반영되기 이전의 중앙점(2, 4, 6) 각각의 기준점(0)에 대한 상대적 x축 좌표와 y축 좌표를 각각 나타낸다.Here, x and y represent the x-axis and y-axis coordinates of the reference point (0) shown in FIG. 2, respectively, and x' and y' are vertices (1, 3, 5, 7) before heading information is reflected. and relative x-axis coordinates and y-axis coordinates with respect to the reference point (0) of each of the central points (2, 4, and 6) before the heading information is reflected, respectively.

이후, 꼭지점 및 중앙점 중에서, 자차의 기준점과 가장 가깝게 위치한 점을 기준 최근접 점(또는, 타겟 최근접 점)으로서 선정할 수 있다. 예를 들어, 자차(200)의 기준점(200P)은 도 4에 예시된 바와 같이 자차(200)의 전방 범퍼 중앙에 해당할 수 있으나, 실시 예는 이에 국한되지 않는다.Thereafter, among the vertices and center points, a point located closest to the reference point of the host vehicle may be selected as a reference nearest point (or a target nearest point). For example, the reference point 200P of the own vehicle 200 may correspond to the center of the front bumper of the own vehicle 200 as illustrated in FIG. 4 , but the embodiment is not limited thereto.

도 4에서, SBP는 기준 트랙 박스(또는, 타겟 트랙 박스) 각각의 꼭지점(1, 3, 5, 7)과 중앙점(0, 2, 4, 6)을 나타내며 도 2에 도시된 꼭지점(1, 3, 5, 7)과 중앙점(0, 2, 4, 6)에 각각 해당하고, CP는 기준 최근접 점(또는, 타겟 최근접 점)을 나타내고, RBP는 후술되는 대상 박스(또는, resized box)의 꼭지점을 각각 나타낸다.In FIG. 4, SBP represents the vertices (1, 3, 5, 7) and the center points (0, 2, 4, 6) of each reference track box (or target track box), and the vertex (1) shown in FIG. , 3, 5, 7) and center points (0, 2, 4, 6) respectively, CP represents the reference closest point (or target closest point), and RBP is a target box (or, Each vertex of the resized box) is indicated.

도 4를 참조하면, 기준 트랙 박스(또는, 타겟 트랙 박스) 각각의 꼭지점(1, 3, 5, 7)과 중심점(0, 2, 4, 6) 중에서 자차(200)로부터의 거리가 가장 가까운 점이 기준 최근접 점(또는, 타겟 최근접 점)(CP)으로 선정됨을 알 수 있다. 예를 들어, 자차(200)의 좌측 상단에 위치한 기준 트랙 박스(또는, 타겟 트랙 박스)의 꼭지점(1, 3, 5, 7)과 중심점(0, 2, 4, 6) 중에서 자차(200)의 기준점(200P)으로부터 가장 가까운 점(7)이 기준 최근접 점(또는, 타겟 최근접 점)으로 선정됨을 알 수 있다.Referring to FIG. 4 , among vertices 1, 3, 5, and 7 and center points 0, 2, 4, and 6 of each reference track box (or target track box), the distance from the host vehicle 200 is the closest. It can be seen that the point is selected as the reference nearest point (or target nearest point) (CP). For example, among the vertices (1, 3, 5, 7) and center points (0, 2, 4, 6) of the reference track box (or target track box) located at the upper left of the host vehicle 200, the host vehicle 200 It can be seen that the closest point 7 from the reference point 200P of is selected as the reference closest point (or target closest point).

다시, 도 1을 참조하면, 제110 단계 후에, 기준 트랙 박스에 포함되고 기준 트랙 박스의 크기보다 작은 크기를 갖는 대상 박스를 생성한다(제120 단계).Referring again to FIG. 1 , after step 110, a target box included in the reference track box and having a size smaller than that of the reference track box is created (step 120).

실시 예에 의하면, 대상 박스는 제1 대상 박스 또는 제2 대상 박스 중 적어도 하나를 포함할 수 있다.According to an embodiment, the target box may include at least one of a first target box and a second target box.

도 5는 대상 박스를 설명하기 위한 도면이다.5 is a diagram for explaining a target box.

도 5를 참조하면, 제1 대상 박스(RB1)는 기준 트랙 박스(REB)의 최근접 점(RCP)을 포함하고, 제2 대상 박스(RB2)는 기준 트랙 박스(REB)의 중심(CEP)을 포함할 수 있다. 도 5에 도시된 바와 같이 제1 및 제2 대상 박스(RB1, RB2)는 모두 기준 트랙 박스(REB) 내에 위치한다. 도시된 바와 같이, 제2 대상 박스(RB2)는 기준 트랙 박스(REB)의 중앙에 위치하고, 제1 대상 박스(RB1)는 제2 대상 박스(RB2)의 주변에 위치할 수 있다.Referring to FIG. 5 , the first target box RB1 includes the nearest point RCP of the reference track box REB, and the second target box RB2 has the center CEP of the reference track box REB. can include As shown in FIG. 5, both the first and second target boxes RB1 and RB2 are located within the reference track box REB. As shown, the second target box RB2 may be located at the center of the reference track box REB, and the first target box RB1 may be located around the second target box RB2.

제1 및 제2 대상 박스(RB1, RB2) 각각의 크기는 기준 트랙 박스(REB)의 길이(L)와 폭(W)의 비율로 결정될 수 있다. 만일, 제1 대상 박스(RB1)의 폭(YS1)이 αW(0<α<1)이고 길이(XS1)가 αL일 경우, 제2 대상 박스(RB2)의 폭(YS2)은 (1-2α)W이고 길이(XS2)는 (1-2α)L일 수 있다.The size of each of the first and second target boxes RB1 and RB2 may be determined by a ratio of the length L to the width W of the reference track box REB. If the width YS1 of the first target box RB1 is αW (0<α<1) and the length XS1 is αL, the width YS2 of the second target box RB2 is (1-2α )W and the length (XS2) may be (1-2α)L.

제120 단계 후에, 대상 박스와 중첩하는 타겟 트랙 박스 중에서 기준 트랙 박스와 연관되는 연관 박스를 선택한다(제130 내지 제170 단계). 이에 대해 다음과 같이 설명한다.After operation 120, a related box associated with the reference track box is selected from target track boxes overlapping with the target box (operations 130 to 170). This is explained as follows.

제120 단계 후에, 복수의 타겟 트랙 박스 중에서 제1 또는 제2 대상 박스 중 적어도 하나와 중첩하는 타겟 트랙 박스를 후보 박스로서 선택한다(제130 및 제150 단계). 즉, 제120 단계 후에, 복수의 타겟 트랙 박스 각각이 제1 또는 제2 대상 박스 중 적어도 하나와 중첩하는가를 검사한다(제130 단계).After step 120, a target track box overlapping at least one of the first or second target box is selected as a candidate box from among the plurality of target track boxes (steps 130 and 150). That is, after step 120, it is checked whether each of the plurality of target track boxes overlaps with at least one of the first or second target boxes (step 130).

복수의 타겟 트랙 박스 중에서, 제1 또는 제2 대상 박스 중 적어도 하나와 중첩하는 타겟 트랙 박스를 후보 박스로서 선택한다(제150 단계).Among the plurality of target track boxes, a target track box overlapping at least one of the first or second target boxes is selected as a candidate box (operation 150).

도 6은 복수의 타겟 트랙 박스 중에서 후보 박스를 선택하는 과정을 설명하기 위한 예시적인 도면이다.6 is an exemplary diagram for explaining a process of selecting a candidate box from among a plurality of target track boxes.

이해를 돕기 위해, 도 6에서 2개의 타겟 트랙 박스(SB1, SB2)만을 도시하였지만, 실시 예는 이에 국한되지 않는다. 즉, 하나의 타겟 트랙 박스가 후보 박스인가를 검사할 수도 있고, 3개 이상의 타겟 트랙 박스 각각이 후보 박스인가를 검사할 수 있다.For ease of understanding, although only two target track boxes SB1 and SB2 are shown in FIG. 6, the embodiment is not limited thereto. That is, it may be checked whether one target track box is a candidate box, or whether each of three or more target track boxes is a candidate box.

도시된 바와 같이, 하나의 객체에 대한 복수의 타겟 트랙 박스(SB1, SB2)가 복수의 센서에서 상이하게 생성될 수 있다.As shown, a plurality of target track boxes SB1 and SB2 for one object may be generated differently from a plurality of sensors.

도 6을 참조하면, 제1 타겟 트랙 박스(SB1)는 제1 및 제2 대상 박스(RB1, RB2)와 모두 중첩되므로 후보 박스로서 선택하고, 제2 타겟 트랙 박스(SB2)는 제2 대상 박스(RB2)와 중첩되므로, 후보 박스로서 선택한다.Referring to FIG. 6, the first target track box SB1 is selected as a candidate box because it overlaps both the first and second target boxes RB1 and RB2, and the second target track box SB2 is the second target box. Since it overlaps with (RB2), it is selected as a candidate box.

복수의 타겟 트랙 박스 각각이 제1 또는 제2 대상 박스(RB1, RB2) 중 적어도 하나와 중첩되는가의 여부를 검사하는 방법은 다양할 수 있으며, 이러한 방법 중 하나에 대해서 도 7 내지 도 12d를 참조하여 상세히 후술된다.There may be various methods of checking whether each of the plurality of target track boxes overlaps with at least one of the first or second target boxes RB1 and RB2. For one of these methods, see FIGS. 7 to 12D This will be described in detail below.

제150 단계 후에, 후보 박스 중에서 연관 박스를 선택한다(제160 단계).After step 150, a related box is selected from among the candidate boxes (step 160).

후보 박스 중에서 연관 박스를 선택하기 위해 연관 정보를 이용할 수 있다. 연관 정보는 기준 트랙 박스와 후보 박스 간의 연관성을 나타내는 정보로서, 예를 들어, 중첩 정보, 게이팅(gating) 정보 또는 이격 정보 중 적어도 하나를 포함할 수 있다.Associated information may be used to select a relevant box from among candidate boxes. The association information is information indicating association between the reference track box and the candidate box, and may include, for example, at least one of overlapping information, gating information, and spacing information.

중첩 정보란, 후보 박스와 제1 및 제2 대상 박스 각각 간의 중첩 정도를 나타내는 정보이다.The overlap information is information indicating the degree of overlap between the candidate box and the first and second target boxes, respectively.

게이팅 정보란, 후보 박스의 최근접 점이 연관 게이트(association gate)(또는, 기준 게이트)(예를 들어, 도 15에 도시된 530)의 내부에 위치하는가(즉, 게이팅되는가)의 여부를 나타내는 정보이다. 또는, 게이팅 정보는 후보 박스의 최근접 점이 제1 또는 제2 대상 박스 중 적어도 하나의 내부에 위치하는가를 나타내는 정보일 수도 있으나, 이에 국한되지 않는다.Gating information is information indicating whether a nearest point of a candidate box is located inside (ie, gated) an association gate (or reference gate) (eg, 530 shown in FIG. 15 ). to be. Alternatively, the gating information may be information indicating whether the closest point of the candidate box is located inside at least one of the first or second target box, but is not limited thereto.

이격 정보란, 후보 박스의 최근접 점과 기준 트랙 박스의 최근접 점 간의 이격 거리를 나타낸다.The separation information represents the separation distance between the nearest point of the candidate box and the nearest point of the reference track box.

예를 들어, 연관 정보는 다음 표 1과 같이 생성될 수 있다.For example, the related information may be generated as shown in Table 1 below.

여기서, Sensor는 중첩 정보를 나타내고, Gating은 게이팅 정보를 나타내고, CP Error는 이격 정보를 나타낸다.Here, Sensor represents overlapping information, Gating represents gating information, and CP Error represents separation information.

표 1에서, 유형 1의 중첩 정보는 후보 박스가 제1 및 제2 대상 박스와 모두 중첩됨을 “By CP & Center”로 나타내고, 유형 2의 중첩 정보는 후보 박스가 제1 대상 박스하고만 중첩됨을 “By CP”로 나타내고, 유형 3의 중첩 정보는 후보 박스가 제2 대상 박스하고만 중첩됨을 “By Center”로 나타낸다.In Table 1, overlapping information of type 1 indicates that the candidate box overlaps with both the first and second target boxes as “By CP & Center”, and overlapping information of type 2 indicates that the candidate box overlaps with only the first target box. It is indicated by “By CP”, and overlapping information of type 3 indicates that the candidate box overlaps only with the second target box by “By Center”.

또한, 유형 1 및 유형 3 각각의 게이팅 정보는 후보 박스의 최근접 점이 연관 게이트의 내부에 위치함을 ‘True”로 나타내고 유형 2의 게이팅 정보는 후보 박스의 최근접 점이 연관 게이트의 내부에 위치하지 않음을 “False”로서 나타낸다.In addition, the gating information of type 1 and type 3 indicates that the closest point of the candidate box is located inside the association gate as 'True', and the gating information of type 2 indicates that the closest point of the candidate box is not located inside the association gate. It is indicated as “False”.

또한, 유형 1의 이격 정보는 후보 박스의 최근접 점과 기준 트랙 박스의 최근접 점 간의 이격 거리가 0.5임을 나타내고, 유형 2의 이격 정보는 후보 박스의 최근접 점과 기준 트랙 박스의 최근접 점 간의 이격 거리가 5임을 나타내고, 유형 3의 이격 정보는 후보 박스의 최근접 점과 기준 트랙 박스의 최근접 점 간의 이격 거리가 0.7임을 나타낸다.In addition, type 1 spacing information indicates that the distance between the nearest point of the candidate box and the reference track box is 0.5, and type 2 spacing information indicates that the nearest point of the candidate box and the reference track box are the closest points. It indicates that the separation distance between the spaces is 5, and type 3 spacing information indicates that the distance between the nearest point of the candidate box and the nearest point of the reference track box is 0.7.

도 6의 경우, 제1 타겟 트랙 박스(SB1)의 중첩 정보는 “By CP & Center”로 나타내고, 게이팅 정보는 “False”로 나타내고, 이격 정보는 제1 타겟 트랙 박스(SB1)의 최근접 점(SCP1)과 기준 트랙 박스(REB)의 최근접 점(RCP) 간의 이격 거리일 수 있다. 또한, 제2 타겟 트랙 박스(SB2)의 중첩 정보는 “By Center”로 나타내고, 게이팅 정보는 “True”로 나타내고, 이격 정보는 제2 타겟 트랙 박스(SB2)의 최근접 점(SCP2)과 기준 트랙 박스(REB)의 최근접 점(RCP) 간의 이격 거리일 수 있다.In the case of FIG. 6 , overlap information of the first target track box SB1 is indicated by “By CP & Center”, gating information is indicated by “False”, and separation information is indicated by the nearest point of the first target track box SB1. It may be the distance between (SCP1) and the closest point (RCP) of the reference track box (REB). In addition, the overlapping information of the second target track box SB2 is indicated by “By Center”, the gating information is indicated by “True”, and the distance information is indicated by the nearest point SCP2 and reference of the second target track box SB2. It may be a separation distance between nearest points RCP of the track box REB.

전술한 연관 정보는 제150 단계 또는 제160 단계에서 생성될 수 있다.The aforementioned association information may be generated in step 150 or step 160.

도 1에 도시된 제160 단계의 실시 예에 대해 다음과 같이 설명한다.An embodiment of step 160 shown in FIG. 1 will be described as follows.

실시 예에 의하면, 후보 박스가 연관 박스인가를 검사하기 위해, 중첩 정보, 게이팅 정보 및 이격 정보의 순서로 순차적으로 이용될 수 있다.According to an embodiment, in order to check whether a candidate box is an associated box, overlapping information, gating information, and spacing information may be sequentially used in order.

먼저, 중첩 정보를 분석하여, 후보 박스가 제1 및 제2 대상 박스와 중첩되는 정도를 검사하고, 검사된 결과를 통해 후보 박스가 연관 박스인가를 검사할 수 있다. 예를 들어, 후보 박스 중에서, 제1 및 제2 대상 박스 모두에 중첩하는 유일한 후보 박스가 존재한다면, 이 후보 박스를 연관 박스로서 선택한다. 또는, 후보 박스 중에서 제1 및 제2 대상 박스 모두에 중첩되는 후보 박스가 존재하지 않고 제1 및 제2 대상 박스 중 하나와 중첩되는 유일한 후보 박스가 존재할 경우, 그 후보 박스를 연관 박스로서 선택한다.First, the degree of overlap between the candidate boxes and the first and second target boxes may be checked by analyzing the overlapping information, and whether the candidate boxes are related boxes may be checked based on the checked result. For example, if there exists a unique candidate box overlapping both the first and second target boxes among the candidate boxes, this candidate box is selected as the associated box. Alternatively, if there is no candidate box overlapping both the first and second target boxes among the candidate boxes and there is the only candidate box overlapping one of the first and second target boxes, the candidate box is selected as the associated box. .

다음으로, 중첩 정보를 이용하여 연관 박스를 선택할 수 없을 때, 게이팅 정보를 분석하여 후보 박스 중에서 연관 게이트의 내부에 위치하는 최근접 점을 갖는 유일한 후보 박스를 연관 박스로서 선택할 수 있다. 여기서, 중첩 정보를 이용하여 연관 박스를 선택할 수 없을 때란, 예를 들어, 제1 및 제2 대상 박스 모두에 중첩되는 후보 박스가 복수 개이거나, 제1 및 제2 대상 박스 모두에 중첩되지 않지만 제1 또는 제2 대상 박스와 중첩되는 후보 박스가 복수 개인 경우를 의미할 수 있다.Next, when an association box cannot be selected using overlapping information, gating information is analyzed to select the only candidate box having the closest point located inside the association gate among candidate boxes as an association box. Here, when a related box cannot be selected using overlapping information, for example, there are a plurality of candidate boxes overlapping both the first and second target boxes, or the first and second target boxes do not overlap, but the second target box is not overlapped. This may mean a case where a plurality of candidate boxes overlap with the first or second target box.

다음으로, 게이팅 정보를 이용하여 연관 박스를 선택할 수 없을 때, 이격 정보를 분석하여 후보 박스 중에서 가장 작은 이격 거리를 갖는 유일한 후보 박스를 연관 박스로서 선택할 수 있다. 여기서, 게이팅 정보를 이용하여 연관 박스를 선택할 수 없을 때란, 예를 들어, 연관 게이트의 내부에 위치하는 최근접 점을 갖는 후보 박스가 복수 개이거나, 연관 게이트의 내부에 위치하는 최근접 점을 갖는 후보 박스가 존재하지 않는 경우를 의미할 수 있다.Next, when an association box cannot be selected using gating information, the only candidate box having the smallest separation distance among candidate boxes may be selected as an association box by analyzing separation information. Here, when the association box cannot be selected using the gating information, for example, there are a plurality of candidate boxes having the nearest point located inside the association gate, or a plurality of candidate boxes having the nearest point located inside the association gate. This may mean a case in which the candidate box does not exist.

한편, 다시 도 1을 참조하면, 복수의 타겟 트랙 박스 중에서 제1 및 제2 대상 박스 중 어느 대상 박스와도 중첩하지 않아 후보 박스로서 선택되지 않은 타겟 트랙 박스, 또는 후보 박스 중에서 연관 박스로서 선택되지 않은 후보 박스 중 적어도 일부를 삭제할 수 있다(제140 단계). 또는, 경우에 따라, 도 1에 도시된 센서 정보 융합 방법(100)은 제140 단계를 포함하지 않을 수도 있다.Meanwhile, referring to FIG. 1 again, a target track box that is not selected as a candidate box because it does not overlap with any of the first and second target track boxes among a plurality of target track boxes, or is not selected as an association box among candidate boxes. At least some of the candidate boxes that do not match may be deleted (step 140). Alternatively, in some cases, the sensor information fusion method 100 shown in FIG. 1 may not include step 140 .

연관 박스에 대한 정보를 이용하여 퓨전 트랙 박스를 생성하거나 갱신한다(제170 단계). 여기서, 연관 박스에 대한 정보란, 연관 박스의 헤딩, 길이 정보 또는 폭 정보 중 적어도 하나를 포함할 수 있다.A fusion track box is created or updated using the information on the associated box (step 170). Here, the information on the related box may include at least one of a header, length information, or width information of the related box.

또한, 도 1에 도시된 센서 정보 융합 방법(100)은, 연관 박스가 선택된 후, 퓨전 트랙 박스의 고유 번호(이하, ‘융합 관리 번호’라 한다)를 관리하는 단계를 더 포함할 수 있다. 이를 위해, 먼저, 이전 시점에 생성된 퓨전 트랙 박스가 없을 때, 복수의 센서 중 현 시점에서 구해진 퓨전 트랙 박스를 생성한 센서의 고유 번호를 융합 고유 번호로서 설정한다.In addition, the sensor information fusion method 100 shown in FIG. 1 may further include managing a unique number (hereinafter referred to as a 'fusion management number') of a fusion track box after a related box is selected. To this end, first, when there is no fusion track box generated at a previous time point, a unique number of a sensor that generated a fusion track box obtained at the current time point among a plurality of sensors is set as a fusion unique number.

그러나, 이전 시점에서 생성되거나 갱신된 퓨전 트랙 박스가 존재할 때, 이전 시점에서 구해진 퓨전 트랙 박스를 생성한 센서와 현 시점에서 구해진 퓨전 트랙 박스를 생성한 센서가 동일할 때, 융합 고유 번호를 유지한다.However, when there is a fusion track box created or updated at the previous time point, when the sensor that generated the fusion track box obtained at the previous time point and the sensor that generated the fusion track box obtained at the current time point are the same, the fusion unique number is maintained. .

그러나, 이전 시점에서 구해진 퓨전 트랙 박스를 생성한 센서와 현 시점에서 구해진 퓨전 트랙 박스를 생성한 센서가 동일하지 않을 때, 이전 시점에 구한 퓨전 트랙 박스와 현 시점에서 구한 퓨전 트랙 박스 중 연관 게이트의 내부에 위치하는 최근접 점을 갖는 퓨전 트랙 박스를 생성한 센서의 고유 번호를 융합 고유 번호로서 설정한다. 즉, 이전 시점에서 구해진 퓨전 트랙 박스를 생성한 센서와 현 시점에서 구해진 퓨전 트랙 박스를 생성한 센서가 동일하지 않을 때, 게이팅 정보가 “True”인 퓨전 트랙 박스를 생성한 센서의 고유 번호를 융합 고유 번호로서 설정한다.However, when the sensor that generated the fusion track box obtained at the previous time and the sensor that generated the fusion track box obtained at the current time are not the same, the fusion track box obtained at the previous time and the fusion track box obtained at the current time are the number of associated gates. The unique number of the sensor that created the fusion track box with the nearest point located inside is set as the fusion unique number. That is, when the sensor that generated the fusion track box obtained at the previous time and the sensor that created the fusion track box obtained at the current time are not the same, the unique number of the sensor that generated the fusion track box whose gating information is “True” is fused. Set as a unique number.

그러나, 이전 시점에 구한 퓨전 트랙 박스와 현 시점에서 구한 퓨전 트랙 박스가 모두 연관 게이트의 내부에 위치하는 최근접 점을 가질 때, 또는 이전 시점에 구한 퓨전 트랙 박스와 현 시점에서 구한 퓨전 트랙 박스가 모두 연관 게이트의 내부에 위치하는 최근접 점을 갖지 않을 때, 이격 거리가 가장 작은 퓨전 트랙 박스를 생성한 센서의 고유 번호를 융합 고유 번호로서 설정한다. 즉, 이전 시점에서 구해진 퓨전 트랙 박스와 현 시점에서 구해진 퓨전 트랙 박스의 게이팅 정보가 모두 “True”이거나 “False”일 때, 최소 이격 거리를 갖는 퓨전 트랙 박스를 생성한 센서의 고유 번호를 융합 고유 번호로서 설정한다.However, when both the fusion track box obtained at the previous time and the fusion track box obtained at the present time have a nearest point located inside the associated gate, or the fusion track box obtained at the previous time and the fusion track box obtained at the current time When all of them do not have a nearest point located inside the association gate, the unique number of the sensor that generated the fusion track box with the smallest separation distance is set as the fusion unique number. That is, when both the gating information of the fusion track box obtained at the previous time and the fusion track box obtained at the present time are “True” or “False”, the unique number of the sensor that generated the fusion track box with the minimum separation distance is fusion unique. Set as number.

전술한 바와 같이, 도 1에 도시된 센서 정보 융합 방법(100)에서, 후보 박스를 선택하기 위해, 타겟 트랙 박스가 제1 및 제2 대상 박스 중 적어도 하나와 중첩되는가를 검사한다.As described above, in the sensor information fusion method 100 shown in FIG. 1, in order to select a candidate box, it is checked whether the target track box overlaps with at least one of the first and second target boxes.

이하, 실시 예에 의한 복수의 타겟 트랙 박스 각각(이하, ‘각 타겟 트랙 박스’라 한다)이 제k 대상 박스와 중첩되는가를 검사하는 방법을 첨부된 도 7 내지 도 12d를 참조하여 다음과 같이 설명한다. 여기서, k는 1 또는 2이다. 즉, 각 타겟 트랙 박스가 제1 대상 박스와 중첩되는가를 검사하는 방법은 각 타겟 트랙 박스가 제2 대상 박스와 중첩되는가를 검사하는 방법과 동일하다.Hereinafter, a method of checking whether each of a plurality of target track boxes (hereinafter referred to as 'each target track box') according to an embodiment overlaps with a k-th target box is as follows with reference to FIGS. 7 to 12D. Explain. Here, k is 1 or 2. That is, the method of checking whether each target track box overlaps with the first target box is the same as the method of checking whether each target track box overlaps with the second target box.

먼저, 제k 대상 박스로부터 확장된 머지 게이트(merge gate)를 생성하고, 복수의 타겟 트랙 박스 중에서 머지 게이트 내에 포함되는 타겟 트랙 박스를 제k 대상 박스와 중첩하는 것으로 결정할 수 있다.First, it may be determined that a merge gate extended from the kth target box is generated, and a target track box included in the merge gate among a plurality of target track boxes is overlapped with the kth target box.

도 7은 센서 좌표계에서 제k 대상 박스와 각 타겟 트랙 박스를 예시적으로 나타낸다.7 illustratively shows the kth target box and each target track box in the sensor coordinate system.

도 8은 도 7에 도시된 제k 대상 박스와 각 타겟 트랙 박스를 기준 좌표계에서 예시적으로 나타내는 도면이다.FIG. 8 exemplarily shows the kth target box and each target track box shown in FIG. 7 in a reference coordinate system.

먼저, 제k 대상 박스(10)의 중심점(x1, y1)과 각 타겟 트랙 박스(20)의 중심점(x2, y2)을 구한다. 예를 들어, 복수의 센서들은 검출된 객체의 중심점에 대한 정보로서, 차량의 전방 중심점 정보 또는 차량의 후방 중심점 정보를 제공할 수 있다. 이에 차량의 전방 중심점 정보 또는 차량의 후방 중심점 정보를 차량의 중심점으로 통일하여 중첩 여부를 검사할 수 있다. 이는, 각 타겟 트랙 박스(20)와 제k 대상 박스(10)의 중심점 정보가 상이할 경우 중첩 여부를 검사하는 정확도가 낮아질 수 있기 때문이다.First, the center point (x1, y1) of the kth target box 10 and the center point (x2, y2) of each target track box 20 are obtained. For example, the plurality of sensors may provide information on the center point of the detected object, information on the front center point of the vehicle or information on the rear center point of the vehicle. Therefore, it is possible to check whether the center point information of the front center point of the vehicle or the center point information of the rear side of the vehicle is unified as the center point of the vehicle. This is because, when the center point information of each target track box 20 and the kth target box 10 are different, the accuracy of checking whether they overlap may be lowered.

각 타겟 트랙 박스(20)의 중심점, 폭 정보, 길이 정보 및 헤딩 정보를 이용하여, 각 타겟 트랙 박스(20)의 꼭지점을 구할 수 있다. 예를 들어, 각 타겟 트랙 박스(20)의 꼭지점은 도 2에서 설명한 바와 같이 구할 수 있다.A vertex of each target track box 20 may be obtained using the center point, width information, length information, and heading information of each target track box 20 . For example, the vertex of each target track box 20 can be obtained as described in FIG. 2 .

이하, 도 7에 도시된 센서 좌표계를 도 8에 도시된 기준 좌표계로 변환하는 과정에 대해 다음과 같이 설명한다.Hereinafter, a process of converting the sensor coordinate system shown in FIG. 7 to the reference coordinate system shown in FIG. 8 will be described as follows.

도 7에 도시된 제k 대상 박스(10)의 중심점(x1, y1)을 도 8에 도시된 원점(0, 0)으로 설정하고, 제k 대상 박스(10)의 길이(L’)에 대한 길이 정보 및 폭(W’)에 대한 폭 정보를 기반으로 제k 대상 박스(10)의 4개의 꼭지점의 좌표를 계산할 수 있다. 예를 들어, 도 8을 참조하면, 제k 대상 박스(10)에서 왼쪽 상부(Top-Left) 꼭지점 좌표는 (L’/2, -W’/2)이고, 오른쪽 상부(Top-Right) 꼭지점 좌표는 (L’/2, W’/2)이고, 왼쪽 하부(Bottom-Left) 꼭지점 좌표는 (-L’/2, -W’/2)이고, 오른쪽 하부(Bottom-Right) 꼭지점 좌표는 (-L’/2, W’/2)이다.Set the center point (x1, y1) of the k-th object box 10 shown in FIG. 7 to the origin (0, 0) shown in FIG. 8, and for the length (L ') of the k-th object box 10 Coordinates of four vertexes of the kth target box 10 may be calculated based on the length information and the width information about the width W'. For example, referring to FIG. 8, the coordinates of the top-left vertex of the kth target box 10 are (L'/2, -W'/2), and the top-right vertex The coordinates are (L'/2, W'/2), the coordinates of the bottom-left vertex are (-L'/2, -W'/2), and the coordinates of the bottom-right vertex are (-L'/2, W'/2).

만일, 제k 대상 박스(10)의 길이 정보 및 폭 정보가 존재하지 않는 경우, (0,0) 포인트를 이용하여 제k 대상 박스(10)의 각 꼭지점 좌표를 산출할 수 있다. 또한, 도 4에 도시된 바와 같이 기준 트랙 박스의 최근접 점(CP)을 포함하도록 제1 대상 박스의 각 꼭지점 좌표를 산출할 수도 있다.If the length information and the width information of the k-th object box 10 do not exist, the coordinates of each vertex of the k-th object box 10 may be calculated using the (0,0) point. Also, as shown in FIG. 4 , the coordinates of each vertex of the first target box may be calculated to include the closest point (CP) of the reference track box.

이후, 제k 대상 박스(10)의 헤딩이 자차의 주행 방향과 나란해지도록 도 7에 도시된 제k 대상 박스(10)를 도 8과 같이 회전할 수 있다. 예를 들어, 제k 대상 박스(10)의 헤딩이 자차의 주행 방향(예를 들어, x축 방향)과 나란하지 않고 소정 각도(θ2)만큼 경사진 경우, 제k 대상 박스(10)를 회전함으로써, 제k 대상 박스(10)의 헤딩이 자차의 주행 방향과 나란해질 수 있다.Thereafter, the k-th object box 10 shown in FIG. 7 may be rotated as shown in FIG. 8 so that the heading of the k-th object box 10 is parallel to the driving direction of the host vehicle. For example, when the heading of the k-th object box 10 is not parallel to the driving direction (eg, x-axis direction) of the host vehicle and is inclined by a predetermined angle θ2, the k-th object box 10 is rotated. By doing so, the heading of the kth object box 10 can be aligned with the running direction of the host vehicle.

이후, 제k 대상 박스(10)의 중심점이 원점(0,0)으로 설정되기 이전의 중심점(x1, y1)과 각 타겟 트랙 박스(20)의 중심점(x2, y2)이 서로 이격된 거리만큼 원점(0,0)을 기준으로 각 타겟 트랙 박스(20)의 도 7에 도시된 중심점(x2, y2)을 도 8에 도시된 중심점(x3, y3)으로 이동시킬 수 있다.Thereafter, the center point (x1, y1) before the center point of the kth target box 10 is set as the origin point (0,0) and the center point (x2, y2) of each target track box 20 are spaced apart from each other by the distance Based on the origin point (0,0), the center point (x2, y2) shown in FIG. 7 of each target track box 20 can be moved to the center point (x3, y3) shown in FIG.

이후, 제k 대상 박스(10)가 회전한 각도만큼 회전한 방향과 동일한 방향으로 각 타겟 트랙 박스(20)를 회전시킬 수 있다.Thereafter, each target track box 20 may be rotated in the same direction as the rotation angle of the kth target box 10 by the rotation angle.

제k 대상 박스(10)의 중심점(x1, y1) 및 각 타겟 트랙 박스(20)의 중심점(x2, y2)을 다음 수학식 2와 같은 회전변환 공식에 적용하면, 각 타겟 트랙 박스(20)의 변환된 중심점(x3, y3)을 산출할 수 있다.If the center point (x1, y1) of the kth target box 10 and the center point (x2, y2) of each target track box 20 are applied to the rotation conversion formula shown in Equation 2 below, each target track box 20 The transformed center point (x3, y3) of can be calculated.

전술한 바와 같이, 제k 대상 박스(10)의 중심점과 각 타겟 트랙 박스(20)의 중심점을 수학식 2의 회전 변환 공식에 적용하여 제k 대상 박스(10)의 원점(0,0)에 대한 상대 좌표로서 각 타겟 트랙 박스(20)의 중심점을 변환할 수 있다.As described above, by applying the center point of the kth target box 10 and the center point of each target track box 20 to the rotation conversion formula of Equation 2, the origin (0,0) of the kth target box 10 The center point of each target track box 20 may be converted as relative coordinates for the .

도 9는 일 실시 예에 따른 머지 게이트를 예시적으로 나타낸다.9 illustratively illustrates a merge gate according to an embodiment.

도 9를 참조하면, 도 8에서와 같이 제k 대상 박스(10)를 기준 좌표계로 변환한 후, 제k 대상 박스(10)로부터 확장된 머지 게이트(30)를 생성할 수 있다. 제k 대상 박스(10)로부터 확장된 머지 게이트의 내부에 각 타겟 트랙 박스(20)가 포함되면, 각 타겟 트랙 박스(20)가 제k 대상 박스(10)에 중첩하는 것으로 결정한다.Referring to FIG. 9 , after transforming the k th object box 10 into a reference coordinate system as in FIG. 8 , an extended merge gate 30 may be generated from the k th object box 10 . If each target track box 20 is included inside the merge gate extended from the kth object box 10, it is determined that each target track box 20 overlaps the kth object box 10.

도 10a 및 도 10b는 일 실시 예에 따른 머지 게이트(30)의 크기를 예시적으로 설정하는 과정을 설명하기 위한 도면이다.10A and 10B are diagrams for explaining a process of exemplarily setting the size of the merge gate 30 according to an embodiment.

도 10a에 도시된 머지 게이트(30)의 가로(M) 및 세로(N)의 길이는 실험에 의해 미리 설정될 수 있다.The horizontal (M) and vertical (N) lengths of the merge gate 30 shown in FIG. 10A may be set in advance through experiments.

또는, 제k 대상 박스(10)의 길이 정보 및 폭 정보를 기반으로 머지 게이트의 크기를 결정할 수도 있다. 예를 들어, 도 10b에서와 같이 제k 대상 박스(10)의 길이(Length)(L’)와 폭(Width)(W’)을 이용하여 머지 게이트의 크기를 설정할 수도 있다. 즉, 도 10b에서, 실험에 의해 머지 게이트의 가로(M) 및 세로(N)의 길이 각각에 제k 대상 박스(10)의 폭(W’)과 길이(L’)를 각각 합하여 머지 게이트의 크기를 결정할 수 있다. 또는, 제k 대상 박스(10)의 길이(L’)와 폭(W’)을 미리 정한 비율로 증대시켜 머지 게이트의 크기를 결정할 수도 있다.Alternatively, the size of the merge gate may be determined based on length information and width information of the kth target box 10 . For example, as shown in FIG. 10B, the size of the merge gate may be set using the length (L') and width (W') of the kth target box 10. That is, in FIG. 10B, the width (W') and the length (L') of the kth target box 10 are added to each of the horizontal (M) and vertical (N) lengths of the merge gate by experiment to obtain a merge gate. size can be determined. Alternatively, the size of the merge gate may be determined by increasing the length (L') and width (W') of the kth object box 10 at a predetermined ratio.

실시 예에 의하면, 박스인 포인트(Box In Point) 함수를 기반으로, 각 타겟 트랙 박스(20)가 제k 대상 박스(10)와 중첩하는가의 여부를 결정할 수 있다.According to the embodiment, it is possible to determine whether each target track box 20 overlaps the kth target box 10 based on a box in point function.

또한, 박스인 포인트 함수에 의해 중첩 여부가 결정되지 않은 각 타겟 트랙 박스(20)가 제k 대상 박스(10)와 중첩하는가의 여부를 박스 크로스드(Box Crossed) 함수를 이용하여 결정할 수도 있다.In addition, whether each target track box 20 whose overlap is not determined by the box-in-point function overlaps the k-th target box 10 may be determined using a box crossed function.

이와 같이, 실시 예에 의하면, 불필요한 연산을 최소화 하기 위해 적은 연산이 필요한 박스인 포인트(Box In Point)함수를 통해 먼저 1차적으로 대부분의 중첩 여부를 판정할 수 있다. 예를 들어, 제k 대상 박스(10) 내에 각 타겟 트랙 박스(20)의 꼭지점 좌표들 중 적어도 하나 이상이 위치하는 경우 즉, 박스인 포인트인 경우, 각 타겟 트랙 박스(20)가 제k 대상 박스(10)와 중첩하는 것으로 결정할 수 있다.In this way, according to the embodiment, it is possible to first determine whether most overlapping occurs through a box in point function that requires a small number of calculations to minimize unnecessary calculations. For example, when at least one of the vertex coordinates of each target track box 20 is located within the k-th target box 10, that is, when the box is a point, each target track box 20 is the k-th target It can be determined that it overlaps with box 10.

도 11a 및 도 11b는 실시 예에 따른 중첩 여부를 결정하기 위해 박스인 포인트 함수를 적용하는 과정을 설명하기 위한 도면이다.11A and 11B are diagrams for explaining a process of applying a box-in-point function to determine overlap according to an embodiment.

제k 대상 박스(10)의 4개의 꼭지점의 좌표와 각 타겟 트랙 박스(20)의 4개의 꼭지점의 좌표를 이용하여, 각 타겟 트랙 박스(20)의 꼭지점 중 적어도 하나가 제k 대상 박스(10)의 내부에 위치하는 경우, 각 타겟 트랙 박스(20)는 제k 대상 박스(10)와 중첩되는 것으로 결정할 수 있다. 이는, 다음 수학식 3을 통해 각 타겟 트랙 박스(20)의 꼭지점 중 적어도 하나가 제k 대상 박스(10)의 내부에 위치하는가를 판단할 수 있다.At least one of the vertices of each target track box 20 is determined by using the coordinates of the four vertices of the kth target box 10 and the coordinates of the four vertices of each target track box 20. ), each target track box 20 may be determined to overlap with the kth target box 10. Through Equation 3 below, it is possible to determine whether at least one of the vertices of each target track box 20 is located inside the kth target box 10.

각 타겟 트랙 박스(20)의 꼭지점 좌표(x4, y4)가 제k 대상 박스(10) 내에 존재하는지를 판단하기 위해 수학식 3를 수행함으로써, 도 11a에 도시된 바와 같이, 각 타겟 트랙 박스(20)의 꼭지점 중에서 한 개의 꼭지점이 제k 대상 박스(10)의 내부에 위치하는가의 여부를 검사할 수 있다. 즉, 수학식 3의 경우, 각 타겟 트랙 박스(20)의 x축 좌표(x4)가 제k 대상 박스(10)의 x축 길이 내에 존재하는지 및 각 타겟 트랙 박스(20)의 y축 좌표(y4)가 제k 대상 박스(10)의 y축 길이 내에 존재하는지를 검사하여, 각 타겟 트랙 박스(20)의 꼭지점 좌표(x4, y4)가 제k 대상 박스(10) 내에 존재하는지를 판단할 수 있다.By performing Equation 3 to determine whether the vertex coordinates (x4, y4) of each target track box 20 exist within the kth target box 10, as shown in FIG. 11A, each target track box 20 It is possible to check whether one of the vertices of ) is located inside the k-th target box 10. That is, in the case of Equation 3, whether the x-axis coordinate (x4) of each target track box 20 exists within the x-axis length of the kth target box 10 and the y-axis coordinate of each target track box 20 ( y4) exists within the y-axis length of the k-th target box 10, and it is possible to determine whether the vertex coordinates (x4, y4) of each target track box 20 exist within the k-th target box 10 .

도 11b는 각 타겟 트랙 박스(20)의 4개의 꼭지점이 모두 제k 대상 박스(10)의 내부에 위치하는 일 모습을 나타낸다.11B shows an appearance in which all four vertices of each target track box 20 are located inside the k-th target box 10 .

한편, 박스인 포인트 함수를 통해 판정되지 않은 타겟 트랙 박스는 2차적으로 박스 크로스드(Box Crossed) 함수를 통해 중첩 여부를 추가로 판정할 수 있다. 이처럼, 각 타겟 트랙 박스(20)의 포인트의 위치를 검사하여 한번 더 중첩 대상들을 필터링 할 수 있다.Meanwhile, target track boxes that are not determined through the box-in-point function may be additionally determined whether or not they overlap through a box crossed function. In this way, the position of the point of each target track box 20 may be inspected to filter overlapping objects once more.

만일, 제k 대상 박스(10) 내에 각 타겟 트랙 박스(20)의 꼭지점 좌표들이 모두 위치하지 않는 경우, 제k 대상 박스(10)의 외부 영역을 복수개의 영역으로 구분하고, 각 타겟 트랙 박스(20)의 꼭지점 좌표들이 복수개의 영역 내에 위치하는 경우 그 꼭지점의 위치에 따라 중첩 여부를 판정할 수 있다.If all vertex coordinates of each target track box 20 are not located within the k-th target box 10, the outer region of the k-th target box 10 is divided into a plurality of regions, and each target track box ( When the vertex coordinates of 20) are located in a plurality of areas, whether or not they overlap may be determined according to the position of the vertex.

도 12a 내지 도 12d는 실시 예에 따른 중첩 여부를 결정하기 위해 박스 크로스드 함수를 적용하는 과정을 설명하기 위한 도면이다.12A to 12D are diagrams for explaining a process of applying a box cross function to determine overlapping according to an embodiment.

제k 대상 박스(10)의 상부의 영역을 제1 영역(①), 제2 영역(②) 및 제3 영역(③)으로 순차적으로 구분하여 정의하고, 제k 대상 박스(10)의 좌측에 위치한 영역을 제4 영역(④)으로 정의하고, 제k 대상 박스(10)의 우측에 위치한 영역을 제5 영역(⑤)으로 정의하고, 제k 대상 박스(10)의 하부의 영역을 제6 영역(⑥), 제7 영역(⑦) 및 제8 영역(⑧)으로 순차적으로 구분하여 정의할 수 있다.The upper area of the k-th object box 10 is sequentially divided into a first area (①), a second area (②), and a third area (③), and is defined on the left side of the k-th object box 10. The area located on the right side of the k-th object box 10 is defined as the fourth area ④, the area located on the right side of the k-th object box 10 is defined as the fifth area ⑤, and the area under the k-th object box 10 is defined as the sixth area. Area (⑥), the seventh area (⑦), and the eighth area (⑧) can be defined sequentially.

각 타겟 트랙 박스(20)의 꼭지점 좌표들 중 적어도 하나가 제2 영역(②) 및 제7 영역(⑦)에 존재하거나, 제4 영역(④) 및 제5 영역(⑤)에 존재하는 경우 제k 대상 박스(10)와 각 타겟 트랙 박스(20)가 중첩된 것으로 판정할 수 있다.When at least one of the vertex coordinates of each target track box 20 exists in the second area ② and the seventh area ⑦ or in the fourth area ④ and the fifth area ⑤, the first It can be determined that the k target box 10 and each target track box 20 overlap.

도 12a와 같이, 각 타겟 트랙 박스(20)의 네 꼭지점이 모두 제k 대상 박스(10)의 내부에 위치하지 않지만 중첩되는 경우를 검출하기 위해, 제k 대상 박스(10)의 외부 영역을 8개의 영역(①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧)으로 나눔은 전술한 바와 같다.As shown in FIG. 12A, in order to detect the case where all four vertices of each target track box 20 are not located inside the k th target box 10 but overlap, the outer area of the k th target box 10 is set to 8 The division into dog areas (①, ②, ③, ④, ⑤, ⑥, ⑦, ⑧) is as described above.

이후, 좌표 비교를 통해 각 타겟 트랙 박스(20)의 네 꼭지점의 좌표 중 적어도 하나 이상이 제k 대상 박스(10) 외부의 8개의 영역 중 어느 영역에 포함되는지를 판단할 수 있다. 도 12a에서는 각 타겟 트랙 박스(20)의 왼쪽 상부 꼭지점이 제2 영역(②)에 위치하고, 우측 상부 꼭지점이 제3 영역(③)에 위치하며, 왼쪽 하부 꼭지점이 제7 영역(⑦)에 위치하고, 우측 하부 꼭지점이 제8 영역(⑧)에 위치함을 알 수 있다. 이처럼 제k 대상 박스(10)의 외부 영역에 각 타겟 트랙 박스(20)의 네 꼭지점 중 적어도 하나가 위치하는 경우 제k 대상 박스(10)와 각 타겟 트랙 박스(20)가 중첩된 것으로 판단할 수 있다.Thereafter, it is possible to determine which region among eight regions outside the k-th target box 10 includes at least one of the coordinates of the four vertices of each target track box 20 through coordinate comparison. In FIG. 12A, the upper left corner of each target track box 20 is located in the second region (②), the upper right corner is located in the third region (③), and the lower left corner is located in the seventh region (⑦). , it can be seen that the lower right vertex is located in the eighth region (⑧). In this way, when at least one of the four vertices of each target track box 20 is located outside the k-th target box 10, it can be determined that the k-th target box 10 and each target track box 20 are overlapped. can

도 12b에서는 제2, 제3, 제7 및 제8 영역(②, ③, ⑦, ⑧)에 각 타겟 트랙 박스(20)의 4개의 꼭지점이 위치하는 경우를 도시하고 있고, 도 12c에서는 제4 및 제5 영역(④, ⑤)에 각 타겟 트랙 박스(20)의 4개의 꼭지점이 위치하는 경우를 도시한다.12b shows a case where four vertexes of each target track box 20 are located in the second, third, seventh, and eighth areas ②, ③, ⑦, and ⑧, and in FIG. 12C, the fourth And it shows a case where four vertexes of each target track box 20 are located in the fifth area ④, ⑤.

한편, 각 타겟 트랙 박스(20)의 꼭지점 좌표들 중 적어도 하나가 제2 영역(②) 및 제7 영역(⑦)에 존재하지 않고, 제4 영역(④) 및 제5 영역(⑤)에 존재하지 않는 경우, 각 타겟 트랙 박스(20)의 꼭지점 중 하나인 제1 꼭지점과 제k 대상 박스(10)의 꼭지점 중 하나인 제1 꼭지점을 이어 연장한 선과, 각 타겟 트랙 박스(20)의 제1 꼭지점에서 제k 대상 박스(10)로 그린 수선과, 제k 대상 박스(10)의 제1 면의 일부에 의해 제1 삼각형을 형성하고, 각 타겟 트랙 박스(20)의 꼭지점 중 다른 하나인 제2 꼭지점과 제k 대상 박스(10)의 제 1 꼭지점을 이어 연장한 선과, 각 타겟 트랙 박스(20)의 꼭지점 중 다른 하나인 제2 꼭지점에서 제k 대상 박스(10)로 그린 수선과, 제k 대상 박스(10)의 제2 면의 일부에 의해 제2 삼각형을 형성할 수 있다. Meanwhile, at least one of the vertex coordinates of each target track box 20 does not exist in the second area ② and the seventh area ⑦, but exists in the fourth area ④ and the fifth area ⑤. If not, a line connecting and extending the first vertex, which is one of the vertices of each target track box 20, and the first vertex, which is one of the vertices of the kth target box 10, and the second vertex of each target track box 20 A first triangle is formed by a perpendicular line drawn from the vertex 1 to the k-th target box 10 and a part of the first surface of the k-th target box 10, which is the other one of the vertices of each target track box 20. A line connecting and extending the second vertex and the first vertex of the k-th target box 10, and a perpendicular line drawn from the second vertex, which is the other of the vertices of each target track box 20, to the k-th target box 10; A second triangle may be formed by a part of the second surface of the kth object box 10 .

제1 삼각형의 탄젠트값과 제2 삼각형의 탄젠트 값을 비교하고, 비교된 결과를 이용하여, 각 타겟 트랙 박스(20)가 제k 대상 박스(10)에 중첩하는가의 여부를 결정할 수 있다.The tangent value of the first triangle and the tangent value of the second triangle are compared, and whether each target track box 20 overlaps the kth target box 10 can be determined using the comparison result.

예를 들어, 제1 삼각형의 탄젠트값이 제2 삼각형의 탄젠트 값보다 작으면, 각 타겟 트랙 박스(20)가 제k 대상 박스(10)에 중첩하는 것으로 결정할 수 있다.For example, if the tangent value of the first triangle is smaller than the tangent value of the second triangle, it may be determined that each target track box 20 overlaps the kth target box 10 .

도 12d에서와 같이 제k 대상 박스(10)의 외부 영역을 8개의 영역 중 제2 및 제3 영역(②, ③)에 각각 한 개의 꼭지점씩 위치하여 각 타겟 트랙 박스(20)의 꼭지점 중 2개의 꼭지점의 위치만 확인되는 경우, 중첩 여부를 정확히 판정하기 어려울 수 있다.As shown in FIG. 12D, the outer area of the kth target box 10 is located in the second and third areas (②, ③) of the eight areas, respectively, so that two of the vertices of each target track box 20 are located. When only the positions of the dog's vertices are confirmed, it may be difficult to accurately determine whether or not they overlap.

따라서, 도 12d에서 각 타겟 트랙 박스(20)의 꼭지점 좌표를 이용하여 제k 대상 박스(10)가 이루는 각도 θ1’, θ2’ 에 대한 tan 값을 다음 수학식 4와 같이 계산하여 높이/밑변의 길이를 산출할 수 있다.Therefore, in FIG. 12D, by using the vertex coordinates of each target track box 20, the tan value for the angles θ1' and θ2' formed by the kth target box 10 is calculated as in Equation 4 below, length can be calculated.

즉, 각 타겟 트랙 박스(20)의 꼭지점 좌표를 이용하여 삼각형(11, 12)의 높이와 밑변을 알 수 있고, 위 수학식 4와 같이, 높이와 밑변의 길이를 적용하여 tanθ를 산출할 수 있다.That is, the height and base of the triangles 11 and 12 can be known using the vertex coordinates of each target track box 20, and tanθ can be calculated by applying the height and the length of the base, as shown in Equation 4 above. have.

제2 영역(②)의 삼각형(11)의 tanθ1’과 제5 영역(⑤)의 tanθ2’를 각각 산출하여 비교한다. 만일, 제2 영역(②)의 삼각형(11)의 tanθ1’이 제5 영역(⑤)의 tanθ2’ 보다 작으면, 각 타겟 트랙 박스(20)와 제k 대상 박스는 서로 중첩하게 된다.The tanθ1′ of the triangle 11 in the second region ② and the tanθ2′ of the fifth region ⑤ are calculated and compared. If tanθ1' of the triangle 11 in the second region (②) is smaller than tanθ2' in the fifth region (⑤), each target track box 20 and the kth target box overlap each other.

타겟 트랙 박스가 40번과 같이 위치한 경우, 즉 제2 영역(②)의 삼각형(11)의 tanθ1’이 제5 영역(⑤)의 tanθ2’ 보다 크거나 같은 경우, 제k 대상 박스(10)의 꼭지점이 각 타겟 트랙 박스(40)의 내부에 존재하지 않게 되며, 이에 제k 대상 박스(10)와 타겟 트랙 박스(40)는 서로 중첩하지 않는다.When the target track box is located as shown in number 40, that is, when tanθ1' of the triangle 11 of the second area ② is greater than or equal to tanθ2' of the fifth area ⑤, the kth target box 10 The vertex does not exist inside each target track box 40, and thus the kth target box 10 and the target track box 40 do not overlap each other.

따라서, 제k 대상 박스(10)의 네 꼭지점 방향에서 모두 동일한 방법으로 각 타겟 트랙 박스(20)와의 중첩 여부를 판정할 수 있다.Therefore, it is possible to determine whether the kth object box 10 overlaps with each target track box 20 in the same way in all four vertex directions.

한편, 센서 정보 융합 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 복수의 센서에 의한 객체 검출을 기반으로 생성한 타겟 트랙 박스와 기준 트랙 박스 각각의 자차로부터의 최근접 점을 구하는 기능; 및 상기 기준 트랙 박스에 포함되고 상기 기준 트랙 박스보다 크기가 작은 대상 박스와 중첩하는 타겟 트랙 박스 중에서 상기 기준 트랙 박스와 연관되는 연관 박스를 선택하는 기능을 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.On the other hand, a recording medium recording a program for executing the sensor information fusion method includes a function of obtaining a nearest point from the own vehicle of each of a target track box and a reference track box generated based on object detection by a plurality of sensors; and a program implementing a function of selecting an associated box associated with the reference track box from among target track boxes included in the reference track box and overlapping with a target box having a smaller size than the reference track box, the computer recording a recording medium. can read

또한, 상기 기록 매체는 상기 기준 트랙 박스의 상기 최근접 점을 포함하는 제1 대상 박스와 상기 기준 트랙 박스의 중심을 포함하는 제2 대상 박스 중 적어도 하나를 상기 대상 박스로서 생성하는 기능을 더 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.In addition, the recording medium further implements a function of generating at least one of a first target box including the nearest point of the reference track box and a second target box including the center of the reference track box as the target box. A program to do this is recorded, and the computer can read the recording medium.

또한, 상기 기록 매체는, 상기 연관 박스에 대한 정보를 이용하여 퓨전 트랙 박스를 생성하거나 갱신하는 기능을 더 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.Also, the recording medium may record a program that further implements a function of creating or updating a fusion track box by using information on the associated box, and a computer may read the recording medium.

또한, 상기 기록 매체는, 상기 복수의 센서 중 임의의 센서에서 생성된 트랙 박스 또는 이전 시점에 생성되거나 갱신된 상기 퓨전 트랙 박스를 상기 기준 트랙 박스로서 선정하는 기능을 더 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.In addition, the recording medium records a program that further implements a function of selecting a track box generated by any sensor among the plurality of sensors or the fusion track box generated or updated at a previous point in time as the reference track box, A computer can read the recording medium.

컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 센서 정보 융합 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.A computer-readable recording medium includes all types of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium is distributed to computer systems connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the sensor information fusion method can be easily inferred by programmers in the technical field to which the present invention belongs.

이하, 실시 예에 의한 센서 정보 융합 장치(320)를 첨부된 도면을 참조하여 다음과 같이 설명한다.Hereinafter, the sensor information fusion device 320 according to the embodiment will be described with reference to the accompanying drawings.

도 13은 실시 예에 의한 센서 정보 융합 장치(320)를 포함하는 차량(300)의 블록도로서, 센싱 장치(310) 및 센서 정보 융합 장치(320)를 포함할 수 있다.13 is a block diagram of a vehicle 300 including a sensor information fusion device 320 according to an embodiment, which may include a sensing device 310 and a sensor information fusion device 320 .

실시 예에 따른 센서 정보 융합 장치(320)는 차량(300)의 내부에 구현될 수 있다. 이때, 센서 정보 융합 장치(320)는 차량(300)의 내부 제어 유닛들(미도시)과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(300)의 제어 유닛들과 연결될 수도 있다.The sensor information fusion device 320 according to the embodiment may be implemented inside the vehicle 300 . At this time, the sensor information convergence device 320 may be integrally formed with the internal control units (not shown) of the vehicle 300, implemented as a separate device, and the control unit of the vehicle 300 by a separate connection means. may be connected with

센싱 장치(310)는 차량(300)의 주변에 위치한 장애물, 예를 들어, 선행 차량을 탐지하고, 해당 장애물의 거리 및/또는 상대 속도를 측정하는 하나 이상의 센서를 포함할 수 있다.The sensing device 310 may include one or more sensors that detect an obstacle located around the vehicle 300, for example, a preceding vehicle, and measure a distance and/or a relative speed of the obstacle.

센싱 장치(310)는 차량(300)의 외부 물체를 감지하기 위해 복수의 센서를 포함할 수 있으며, 외부 물체의 위치, 외부 물체의 속도, 외부 물체의 이동 방향 및/또는 외부 물체의 종류(예: 차량, 보행자, 자전거 또는 모터사이클 등)에 대한 정보를 획득할 수 있다. 이를 위해, 센싱 장치(310)는 초음파 센서, 레이더, 카메라, 레이저 스캐너 및/또는 코너 레이더, 라이다, 가속도 센서, 요레이트 센서, 토크 측정 센서 및/또는 휠스피드 센서, 조향각 센서 등을 포함할 수 있다.The sensing device 310 may include a plurality of sensors to detect an external object of the vehicle 300, and may include the position of the external object, the speed of the external object, the moving direction of the external object, and/or the type of the external object (eg : Information on vehicles, pedestrians, bicycles, motorcycles, etc.) can be obtained. To this end, the sensing device 310 may include an ultrasonic sensor, radar, camera, laser scanner and/or corner radar, lidar, acceleration sensor, yaw rate sensor, torque measurement sensor and/or wheel speed sensor, steering angle sensor, and the like. can

센서 정보 융합 장치(320)는 메모리와 각 동작을 처리하는 프로세서를 포함하는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.The sensor information fusion device 320 may be implemented in the form of an independent hardware device including a memory and a processor for processing each operation, or may be driven in a form included in other hardware devices such as a microprocessor or a general-purpose computer system. .

예를 들어, 센싱 정보 융합 장치(320)는 통신부(322), 저장부(324), 인터페이스부(326) 및 프로세서(processor)(328)를 포함할 수 있다. For example, the sensing information convergence device 320 may include a communication unit 322 , a storage unit 324 , an interface unit 326 and a processor 328 .

통신부(322)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 차량 내 네트워크 통신 기술, 차량 외부의 서버, 인프라, 타 차량 등과 무선 인터넷 접속 또는 근거리 통신(Short Range Communication) 기술을 이용하여 V2I 통신을 수행할 수 있다. 여기서, 차량 내 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등이 있으며 이를 통해 차량 내 통신을 수행할 수 있다. 또한, 무선 통신 기술로는 무선 인터넷 기술로서 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.The communication unit 322 is a hardware device implemented with various electronic circuits to transmit and receive signals through a wireless or wired connection, and wireless Internet access or short-distance communication with in-vehicle network communication technology, servers outside the vehicle, infrastructure, other vehicles, etc. (Short Range Communication) technology can be used to perform V2I communication. Here, in-vehicle network communication technologies include CAN (Controller Area Network) communication, LIN (Local Interconnect Network) communication, Flex-Ray communication, and the like, through which in-vehicle communication can be performed. In addition, wireless communication technologies may include wireless LAN (WLAN), WiBro (Wireless Broadband, WiBro), Wi-Fi, World Interoperability for Microwave Access (WiMAX), etc. as wireless Internet technologies. . In addition, short-range communication technologies may include Bluetooth, ZigBee, Ultra Wideband (UWB), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), and the like.

일 예로서, 통신부(322)는 센싱 장치(310) 내의 센서들로부터 센싱된 결과를 수신할 수 있다. 저장부(324)는 센싱 장치(310)의 센싱 결과, 프로세서(328)에 의해 획득된 데이터, 프로세서(328)가 동작하는데 필요한 데이터 및/또는 알고리즘 등이 저장될 수 있다.As an example, the communication unit 322 may receive a result sensed by sensors in the sensing device 310 . The storage unit 324 may store sensing results of the sensing device 310 , data acquired by the processor 328 , data and/or algorithms necessary for the processor 328 to operate.

일 예로서, 저장부(324)는 카메라, 라이다, 레이더 등에 의해 획득된 전방의 센싱 정보 등이 저장될 수 있고, 머지 게이트의 크기를 결정하기 위해 미리 실험치에 의해 정해진 값이 저장될 수 있고, 기준 트랙 박스나 퓨전 트랙 박스나 연관 게이트에 대한 데이터가 저장될 수도 있다.As an example, the storage unit 324 may store forward sensing information acquired by a camera, lidar, radar, etc., and may store a value determined by an experimental value in advance to determine the size of a merge gate. , data for reference track boxes, fusion track boxes, or association gates may be stored.

저장부(324)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.The storage unit 324 is a flash memory type, a hard disk type, a micro type, and a card type (eg, SD card (Secure Digital Card) or XD card (eXtream Digital Card)). Card), RAM (RAM, Random Access Memory), SRAM (Static RAM), ROM (ROM, Read-Only Memory), PROM (Programmable ROM), EEPROM (Electrically Erasable PROM), magnetic memory (MRAM) , Magnetic RAM), a magnetic disk, and an optical disk type of memory.

인터페이스부(326)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 차량(300)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다. 여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.The interface unit 326 may include an input unit for receiving a control command from a user and an output unit for outputting an operating state and result of the vehicle 300 . Here, the input means may include a key button, and may include a mouse, a joystick, a jog shuttle, a stylus pen, and the like. Also, the input means may include soft keys implemented on a display.

출력수단은 디스플레이 및 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다. 일 예로 출력수단은 센싱 장치(310)에 의해 센싱된 정보를 출력하거나, 센서 정보 융합 장치(320)에 의해 융합된 센서 정보를 출력할 수 있다.The output means may include audio output means such as a display and a speaker. In this case, when a touch sensor such as a touch film, a touch sheet, or a touch pad is provided in a display, the display operates as a touch screen, and an input unit and an output unit may be integrated. For example, the output unit may output information sensed by the sensing device 310 or sensor information fused by the sensor information fusion device 320 .

이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.At this time, the display includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. , a field emission display (FED), and a three-dimensional display (3D display).

프로세서(328)는 통신부(322), 저장부(324), 인터페이스부(326) 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다. 프로세서(328)는 예를 들어, 차량에 탑재되는 ECU(electronic control unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다.The processor 328 may be electrically connected to the communication unit 322, the storage unit 324, the interface unit 326, etc., electrically control each component, and may be an electric circuit that executes software commands, , It is possible to perform various data processing and calculations to be described later. The processor 328 may be, for example, an electronic control unit (ECU) mounted on a vehicle, a micro controller unit (MCU), or another lower level controller.

전술한 구성을 갖는 실시 예에 의한 센서 정보 융합 장치(320)는 첨단 운전자 보조 시스템 (Advanced Driving Assistant System: ADAS)에 적용될 수 있다.The sensor information convergence device 320 according to the embodiment having the above configuration can be applied to an advanced driver assistance system (ADAS).

도 13에 도시된 센서 정보 융합 장치(320)의 프로세서(328)는 도 1에 도시된 센서 정보 융합 방법(100)을 수행할 수 있으나, 실시 예는 이에 국한되지 않는다.The processor 328 of the sensor information fusion device 320 shown in FIG. 13 may perform the sensor information fusion method 100 shown in FIG. 1, but the embodiment is not limited thereto.

도 14는 도 13에 도시된 프로세서(328)의 실시 예(328A)의 블록도로서, 최근접 점 선정부(410), 대상 박스 생성부(420), 연관 박스 선택부(430) 및 퓨전 트랙 박스부(440)를 포함할 수 있다.FIG. 14 is a block diagram of an embodiment 328A of the processor 328 shown in FIG. 13, which includes a nearest point selector 410, a target box generator 420, a related box selector 430, and a fusion track. A box portion 440 may be included.

최근접 점 선정부(410)는 복수의 센서에 의한 객체 검출을 기반으로 생성한 타겟 트랙 박스와 기준 트랙 박스 각각의 자차로부터의 최근접 점을 선정하고, 선정된 최근접 점을 대상 박스 생성부(420) 및 연관 박스 선택부(430)로 출력할 수 있다. 최근접 점 선정부(410)는 도 1에 도시된 제110 단계를 수행하는 역할을 한다. 이를 위해, 최근접 점 선정부(410)는 복수의 센서에서 센싱된 신호를 입력단자 IN을 통해 받아서 기준 트랙 박스 및 센싱 트랙 박스를 생성할 수도 있고, 기준 트랙 박스 또는 센싱 트랙 박스 중 적어도 하나를 입력단자 IN을 통해 받을 수도 있다.The closest point selection unit 410 selects the nearest point from the own vehicle of each of the target track box and the reference track box generated based on object detection by a plurality of sensors, and selects the closest point to the target box creation unit. 420 and the associated box selection unit 430. The closest point selector 410 serves to perform step 110 shown in FIG. 1 . To this end, the nearest point selection unit 410 may generate a reference track box and a sensing track box by receiving signals sensed by a plurality of sensors through the input terminal IN, and may select at least one of the reference track box and the sensing track box. It can also be received through the input terminal IN.

대상 박스 생성부(420)는 기준 트랙 박스의 최근접 점을 포함하는 제1 대상 박스와 기준 트랙 박스의 중심을 포함하는 제2 대상 박스 중 적어도 하나를 대상 박스로서 생성하고, 생성된 대상 박스를 연관 박스 선택부(430)로 출력할 수 있다. 이와 같이, 대상 박스 생성부(420)는 도 1에 도시된 제120 단계를 수행하는 역할을 한다.The target box generating unit 420 creates at least one of a first target box including the nearest point of the reference track box and a second target box including the center of the reference track box as a target box, and converts the created target box to It can be output to the related box selection unit 430. As such, the target box generator 420 serves to perform step 120 shown in FIG. 1 .

연관 박스 선택부(430)는 제1 또는 제2 대상 박스 중 적어도 하나와 중첩하는 후보 박스를 타겟 트랙 박스 중에서 선택하고, 선택된 후보 박스에서 기준 트랙 박스와 연관되는 연관 박스를 선택하고, 선택된 연관 박스를 퓨전 트랙 박스부(440)로 출력한다. 이와 같이, 연관 박스 선택부(430)는 도 1에 도시된 제130, 제150 및 제160 단계를 수행하는 역할을 한다.The association box selection unit 430 selects a candidate box overlapping with at least one of the first or second target boxes from among the target track boxes, selects a association box associated with the reference track box from the selected candidate boxes, and selects the association box associated with the selected association box. is output to the fusion track box unit 440. As such, the association box selection unit 430 serves to perform steps 130, 150, and 160 shown in FIG.

퓨전 트랙 박스부(440)는 연관 박스 선택부(430)로부터 출력되는 연관 박스에 대한 정보를 이용하여 퓨전 트랙 박스를 생성하거나 갱신하고, 생성되거나 갱신된 퓨전 트랙 박스를 출력단자 OUT를 통해 출력한다. 이와 같이, 퓨전 트랙 박스부(440)는 도 1에 도시된 제170 단계를 수행하는 역할을 한다.The fusion track box unit 440 creates or updates a fusion track box using the information on the related box output from the related box selection unit 430, and outputs the created or updated fusion track box through the output terminal OUT. . As such, the fusion track box unit 440 serves to perform step 170 shown in FIG. 1 .

이하, 비교 예 및 실시 예에 의한 센서 정보 융합 방법을 첨부된 도면을 참조하여 다음과 같이 설명한다.Hereinafter, a sensor information fusion method according to comparative examples and embodiments will be described as follows with reference to the accompanying drawings.

비교예에 의하면, 카메라, 레이더, 라이다 등과 같은 복수의 센서에서 센싱된 출력 정보 중에서 서로 연관되는 출력 정보를 취사 선택하기 위해, 기준 포인트 게이팅(Gating) 방법을 이용한다. 그러나, 기준 포인트 게이팅 방법의 경우, 융합 후보 센서들의 기준 포인트를 선정함에 있어서 오차가 클 경우 실제 연관 센서이지만 게이팅의 실패로 이들 센서에서 센싱된 결과가 융합되지 않을 수 있다. 즉, 복수의 타겟 센싱 박스 중 연관 박스로서 선택되어야 할 박스가 선택되지 않음으로써 퓨전 트랙 박스가 정확하게 생성되지 않거나 갱신되지 않을 수 있다.According to the comparative example, a reference point gating method is used to select output information that is related to each other among output information sensed by a plurality of sensors such as a camera, radar, lidar, and the like. However, in the case of the reference point gating method, when an error is large in selecting the reference points of fusion candidate sensors, results sensed by these sensors may not be fused due to failure of gating, even though they are actually related sensors. That is, since a box to be selected as a related box among a plurality of target sensing boxes is not selected, the fusion track box may not be accurately created or updated.

도 15는 비교예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.15 is a diagram for explaining a sensor information fusion method according to a comparative example.

도 15는 동일한 객체에 대해 라이다 센서에서 획득한 타겟 트랙 박스(510)와 레이다 센서에서 획득한 타겟 트랙 박스(520)를 나타낸다.15 shows a target track box 510 obtained from the lidar sensor and a target track box 520 obtained from the radar sensor for the same object.

비교예에 의하면, 차량의 뒷 범퍼 중앙을 기준 포인트(512, 522)로 설정하고, 기준 포인트(512, 522) 간의 거리 오차를 분석하여 2개의 타겟 트랙 박스(510, 520)가 서로 연관된 박스인지를 판정할 수 있다. 즉, 타겟 트랙 박스(510)가 기준 트랙 박스로 설정될 때, 타겟 트랙 박스(520)의 기준점(522)이 연관 게이트 (530)의 내부에 포함되는가(즉, 게이팅되는가) 그렇지 않은가(즉, 게이팅되지 않은가)를 판정한다. 만일, 기준점(522)이 연관 게이트(530)의 내부에 포함될 경우 타겟 트랙 박스(520)는 기준 트랙 박스(510)와 연관된 박스로서 선택되지만, 기준점(522)이 연관 게이트(530)의 내부에 포함되지 않을 경우 타겟 트랙 박스(520)는 기준 트랙 박스(510)와 연관되는 박스로서 선택되지 않는다. 대부분의 연관 게이트(530)의 크기는 차량의 크기보다 작다.According to the comparative example, the center of the rear bumper of the vehicle is set as the reference points 512 and 522, and a distance error between the reference points 512 and 522 is analyzed to determine whether the two target track boxes 510 and 520 are related to each other. can determine. That is, when the target track box 510 is set as the reference track box, whether the reference point 522 of the target track box 520 is included inside the association gate 530 (i.e., gated) or not (i.e., not gated). If the reference point 522 is included inside the association gate 530, the target track box 520 is selected as a box associated with the reference track box 510, but the reference point 522 is inside the association gate 530. If not included, the target track box 520 is not selected as the box associated with the reference track box 510 . The size of most associated gates 530 is smaller than the size of the vehicle.

복수의 센서에서 출력하는 기준 오차 선정이 도 15에 도시된 바와 같이 다를 경우 즉, 도 15에 도시된 기준점(512, 522) 간의 이격 거리가 클 경우, 게이팅에 실패할 수 있다. 만일, 게이팅에 실패할 경우, 동일한 하나의 객체에 대해 복수의 센서에서 센싱된 결과가 융합된 하나의 퓨전 트랙 박스가 생성되는 대신에, 동일 객체에 대해 각 센서에서 센싱된 단독 퓨전 트랙 박스가 다수 생성될 수 있다. 즉, 실제로 센싱되는 객체가 1개임에도 불구하고 다수의 객체가 센싱되는 것으로 판정이 잘못될 수 있다.If the reference error selection output from the plurality of sensors is different as shown in FIG. 15 , that is, if the distance between the reference points 512 and 522 shown in FIG. 15 is large, gating may fail. If gating fails, instead of creating one fusion track box in which the results sensed by multiple sensors for the same object are fused, multiple single fusion track boxes sensed by each sensor for the same object are generated. can be created That is, the determination may be erroneous because a plurality of objects are sensed even though only one object is actually sensed.

반면에, 실시 예에 의하면, 기준 트랙 박스와 타겟 트랙 박스가 중첩되는가를 이용하여 연관 박스를 선택하므로, 복수의 센서에서 센싱된 타겟 트랙 박스의 기준점이 서로 이격된 거리가 크다고 하더라도, 동일한 객체에 대해 센싱된 결과를 연관시킬 수 있다.On the other hand, according to the embodiment, since a related box is selected using whether the reference track box and the target track box overlap, even if the reference points of the target track box sensed by a plurality of sensors are separated from each other, the same object Sensed results can be correlated with each other.

결국, 실시 예에 의한 센서 정보 융합 방법은 비교 예에 의한 게이팅 방법뿐만 아니라(즉, 게이팅 정보를 사용할뿐만 아니라) 중첩을 이용함으로써 서로 다른 센서에서 센싱된 결과의 연관 정도의 파악을 우수하게 향상시켜 단일 트랙(또는, 객체)에 대해 다수의 퓨전 트랙이 생성되지 않도록 할 수 있다. 그러므로, 실시 예의 경우, 동일한 객체에 대해 센싱된 결과가 융합되지 않아 다수의 트랙이 생성되지 않거나 생성될 가능성이 비교예보다 적다.As a result, the sensor information fusion method according to the embodiment excellently improves the understanding of the degree of association between the results sensed by the different sensors by using overlapping as well as the gating method according to the comparative example (ie, using gating information) You can prevent multiple fusion tracks from being created for a single track (or object). Therefore, in the case of the embodiment, the sensed results for the same object are not converged, so that multiple tracks are not generated or are less likely to be generated than the comparative example.

또한, 도 13에 도시된 프로세스(328)에서 수행되는 소프트웨어만을 변경하여 도 1에 도시된 방법(100)을 수행할 수 있으므로, 추가적인 재료비 상승 없이 센서 퓨전 융합 성능을 향상시킬 수 있다.In addition, since the method 100 shown in FIG. 1 can be performed by changing only the software performed in the process 328 shown in FIG. 13 , sensor fusion fusion performance can be improved without additional material cost increase.

전술한 여러 개의 실시 예는 서로 조합될 수 없다고 특별히 언급되지 않는 한, 서로 조합할 수 있다.Several embodiments described above may be combined with each other unless specifically stated otherwise.

또한, 여러 개의 실시 예 중 어느 하나의 실시 예에 대한 설명에서 누락된 부분은 특별히 언급되지 않는 한, 다른 실시 예에 대한 설명이 적용될 수 있다.In addition, a description of another embodiment may be applied to a missing part in the description of one embodiment among several embodiments, unless specifically noted.

이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Although the above has been described with reference to the embodiments, these are only examples and do not limit the present invention, and those skilled in the art to which the present invention belongs will not deviate from the essential characteristics of the present embodiment. It will be appreciated that various variations and applications are possible. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.

Claims

(a) obtaining a nearest point from an own difference between a target track box and a reference track box generated based on object detection by a plurality of sensors; and
(b) selecting an associated box associated with the reference track box from target track boxes included in the reference track box and overlapping with a target box having a smaller size than the reference track box.

According to claim 1,
generating at least one of a first target box containing the nearest point of the reference track box and a second target box containing a center of the reference track box as the target box.

According to claim 2,
The second target box is located at the center of the reference track box, and the first target box is located at the periphery of the second target box.

According to claim 2,
The sensor information fusion method further comprises generating or updating a fusion track box using the information on the association box.

According to claim 4,
and selecting a track box generated by any one of the plurality of sensors or the fusion track box generated or updated at a previous point in time as the reference track box.

The method of claim 4, wherein the step of obtaining the nearest point
obtaining a vertex and a midpoint of a side of each of the reference track box and the target track box;
reflecting headings of the reference track box and the target track box, respectively, to the vertex and the midpoint of the side; and
and selecting, as the closest point, a point located closest to a reference point of the host vehicle among the vertex and the center point where the heading is reflected.

The method of claim 6 , wherein the reference point of the host vehicle corresponds to a center of a front bumper of the host vehicle.

According to claim 6,
obtaining the vertex and the center point of the reference track box using length information and width information of the reference track box;
The sensor information fusion method of obtaining the vertex and the center point of the target track box using length information and width information of the target track box.

The method of claim 6, wherein step (b) is
(b1) when the target track box includes a plurality of target track boxes, selecting a candidate box overlapping with at least one of the first or second target boxes from among the plurality of target track boxes; and
(b2) selecting the associated box from among the candidate boxes.

According to claim 9,
and deleting at least some of target track boxes that are not selected as the candidate boxes from among the plurality of target track boxes or candidate boxes that are not selected as the association boxes from among the candidate boxes.

According to claim 9,
The sensor information fusion method of obtaining association information indicating association between the reference track box and the candidate box, and selecting the association box from among the candidate boxes using the association information.

According to claim 11,
The above related information
overlapping information indicating an overlapping degree between the candidate box and each of the first and second target boxes;
gating information indicating whether the closest point of the candidate box is located inside an association gate; or
and at least one of distance information indicating a distance between the nearest point of the candidate box and the nearest point of the reference track box.

13. The method of claim 12, wherein step (b2)
selecting a unique box overlapping both the first and second target boxes from among the candidate boxes or a unique box overlapping the first or second target box from among the candidate boxes as the associated box;
selecting, as the association box, a unique candidate box having a nearest point located inside the association gate when the association box cannot be selected using the overlapping information; and
and selecting, as the association box, a unique candidate box having the smallest separation distance when the association box cannot be selected using the gating information.

According to claim 12,
The sensor information fusion method further comprising managing a fusion unique number of the fusion track box.

According to claim 14,
Managing the fusion unique number
When there is no fusion track box generated at a previous time point, setting a unique number of a sensor that generated the fusion track box obtained at the present time from among the plurality of sensors as the fusion unique number;
maintaining the fusion unique number when the sensor that generated the fusion track box obtained at the previous time point and the sensor that generated the fusion track box obtained at the current time point are the same;
Among the fusion track boxes obtained at the previous time and the fusion track boxes obtained at the current time, the unique number of the sensor that generated the fusion track box having the closest point included in the association gate is set as the fusion unique number. doing; and
When both the fusion track box obtained at the previous time point and the fusion track box obtained at the current time point have a nearest point included inside the association gate, the sensor that generated the fusion track box having the smallest separation distance and setting a unique number as the fusion unique number.

10. The method of claim 9, wherein step (b1)
An extended merge gate of a kth (where k is 1 or 2) target box, which is each of the first and second target boxes, is generated, and a target track box included in the merge gate is selected from among the plurality of target track boxes. A sensor information fusion method for determining overlapping with the kth target box.

17. The method of claim 16, wherein step (b1)
obtaining a center point of each of the plurality of target track boxes and a center point of the kth target box; and
and setting the center point of the k th target box as an origin and obtaining a vertex of the k th target box based on length information and width information of the k th target box.

According to claim 17,
The sensor information fusion method of obtaining the vertex of each of the plurality of target track boxes by using the center point, width information, length information, and heading information of each of the plurality of target track boxes.

19. The method of claim 18, wherein step (b1)
rotating the k-th object box so that the heading of the k-th object box is parallel to the driving direction of the host vehicle;
moving the center point of each of the plurality of target track boxes based on the origin by a distance by which the center point before being set as the origin of the kth target box is separated from the center point of each target track box; and
and rotating each of the plurality of target track boxes by the rotation of the kth target box.

According to claim 17,
The sensor information fusion method of determining the size of the merge gate based on the length information and the width information of the kth target box.

According to claim 16,
Based on a Box In Point function, determining whether each of the plurality of target track boxes overlaps the kth target box,
The sensor information fusion method of determining, by a box crossed function, whether a target track box whose overlap is not determined by a point function that is the box overlaps the k-th target box.

22. The method of claim 21, wherein the step of determining whether to overlap based on the point function that is the box
Among the plurality of target track boxes, a target track box having at least one vertex existing in the k-th target box is determined to overlap with the k-th target box.

23. The method of claim 22, wherein the step of determining overlapping by the box cross function
Dividing the outer area of the kth target box into a plurality of areas;
When a vertex of the target track box is located within the plurality of areas, determining whether to overlap the sensor information according to the position of the vertex.

24. The method of claim 23, wherein the plurality of regions
a first area, a second area, and a third area defined by sequentially dividing and defining areas above the kth target box;
fourth and fifth regions located on the left and right sides of the kth object box, respectively; and
The sensor information fusion method comprising a sixth region, a seventh region, and an eighth region defined by sequentially dividing and defining regions under the kth target box.

According to claim 24,
The sensor information fusion method of determining that the target track box having a vertex existing in the second area and the seventh area, or existing in the fourth area and the fifth area overlaps with the kth target box.

According to claim 24,
When at least one of the vertices of the target track box does not exist in the second area and the seventh area, and does not exist in the fourth area and the fifth area,
A line connecting and extending a first vertex, which is one of the vertices of the target track box, and a first vertex, which is one of the vertices of the k th target box, and extending from the first vertex of the target track box to the k th target box. A first triangle is formed by a perpendicular line drawn and a part of the first surface of the kth target box;
A line extending from a second vertex, which is the other one of the vertices of the target track box, and the first vertex of the k-th target box, and a second vertex, which is the other one of the vertices of the target track box, connects the k-th target The sensor information fusion method of forming a second triangle by a normal line drawn as a box and a part of the second surface of the kth target box.

27. The method of claim 26,
The sensor information fusion method of comparing the tangent value of the first triangle and the tangent value of the second triangle, and determining whether the target track box overlaps the k-th target box using the comparison result.

According to claim 27,
determining that the target track box overlaps with the k-th target box when the tangent value of the first triangle is smaller than the tangent value of the second triangle.

a nearest point selector for obtaining a nearest point from an own vehicle of each of the target track box and the reference track box, which are generated based on object detection by a plurality of sensors; and
and an association box selection unit for selecting a related box associated with the reference track box from among target track boxes included in the reference track box and overlapping with at least one target box smaller in size than the reference track box.

According to claim 29,
and a sensor information fusion unit configured to generate, as the target box, at least one of a first target box including the nearest point of the reference track box and a second target box including a center of the reference track box. Device.

31. The method of claim 30,
and a fusion track box unit generating or updating a fusion track box using the information on the association box.

A recording medium on which a program for executing a sensor information fusion method is recorded,
a function of obtaining a nearest point from an own vehicle of each of a target track box and a reference track box generated based on object detection by a plurality of sensors; and
A computer-readable recording medium storing a program implementing a function of selecting a related box associated with the reference track box among target track boxes included in the reference track box and overlapping with a target box having a smaller size than the reference track box. .