KR20210037955A - Apparatus and method for tracking moving objects - Google Patents

Apparatus and method for tracking moving objects Download PDF

Info

Publication number
KR20210037955A
KR20210037955A KR1020190120509A KR20190120509A KR20210037955A KR 20210037955 A KR20210037955 A KR 20210037955A KR 1020190120509 A KR1020190120509 A KR 1020190120509A KR 20190120509 A KR20190120509 A KR 20190120509A KR 20210037955 A KR20210037955 A KR 20210037955A
Authority
KR
South Korea
Prior art keywords
moving object
vehicle
information
time
point
Prior art date
Application number
KR1020190120509A
Other languages
Korean (ko)
Inventor
정완석
임수정
강홍석
Original Assignee
인포뱅크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인포뱅크 주식회사 filed Critical 인포뱅크 주식회사
Priority to KR1020190120509A priority Critical patent/KR20210037955A/en
Publication of KR20210037955A publication Critical patent/KR20210037955A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Suggested are a moving object tracking device capable of consecutively connecting data of one single lidar sensor mounted on a plurality of autonomous driving vehicles, thereby identifying the continuous tracking of an external moving object or a remote situation in real time through the application of a moving line and a time concept, and a method thereof. The suggested device includes: a recognition part recognizing information about a moving object outside an autonomous driving vehicle from data generated through one single lidar sensor; a prediction part predicting a moving route and a specific spot arrival time of the corresponding moving object based on the recognized information about the moving object to transmit the same to another vehicle; a sensing part determining whether risk information stored in a point received from a vehicle ahead exists when approaching the corresponding point, and then, if the risk information exists, sensing whether the risk information has connectivity with a host vehicle based on specific spot arrival time information of the corresponding moving object predicted by the vehicle ahead and specific spot arrival time information of the corresponding moving object predicted by the host vehicle; and a merger processing part time-serially merging lidar data from the vehicle ahead with lidar data generated by the host vehicle as the sensing part senses that the information has connectivity.

Description

이동 객체 추적 장치 및 방법{Apparatus and method for tracking moving objects}Apparatus and method for tracking moving objects}

본 발명은 이동 객체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는 다수의 자율주행차량에 설치된 라이다 센서의 데이터를 연속적으로 연결하여 이동 객체를 추적할 수 있도록 하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking a moving object, and more particularly, to an apparatus and method for tracking a moving object by continuously connecting data of a lidar sensor installed in a plurality of autonomous vehicles.

종래의 자율주행을 위한 AI컴퓨팅 모듈의 연산 처리 능력은 대략 144TOPS(초당 테라 연산) 정도가 가능하며, 테슬라 모터스의 경우 상대적으로 연산 부하가 많이 필요한 카메라 영상 인식 기반의 자율주행을 위해 이러한 컴퓨팅모듈을 개발하였다.The conventional AI computing module for autonomous driving has approximately 144 TOPS (tera operations per second), and Tesla Motors uses such a computing module for autonomous driving based on camera image recognition that requires a relatively high computational load. Developed.

하지만, 카메라의 경우 조도가 낮은 곳에서의 인식률이 현저히 떨어지며, 레이다(Radar)의 경우에는 객체를 정밀하게 추출하기에는 적합하지 않다.However, in the case of a camera, the recognition rate in a place with low illumination is significantly reduced, and in the case of a radar, it is not suitable for accurately extracting an object.

이에 반해, 라이다(Lidar)의 경우에는 조도/악천후 등의 환경에 제약을 거의 받지 않으며, 펄스 레이저를 통한 측위로 정밀도와 정확도가 높으며, 무엇보다도 카메라보다 연산 부하가 현저히 적기 때문에 동시 다발적인 객체 인식과 처리가 가능하다. On the other hand, in the case of Lidar, it is hardly restricted by the environment such as illumination/bad weather, the precision and accuracy are high by positioning through a pulsed laser, and above all, since the computational load is significantly less than that of the camera, multiple objects are simultaneously Recognition and processing are possible.

종래 자율주행차량에 장착된 라이다 등의 센서와 관련된 기술은, 장착된 차량 주변으로부터 발생되는 위험요소를 인지하여 회피 또는 정차를 위한 목적으로 사용하는데 집중되어 있다.A technology related to a sensor such as a lidar installed in an autonomous vehicle in the related art is focused on recognizing risk factors generated from around the installed vehicle and using it for the purpose of avoiding or stopping.

또한, 기존의 다중 라이다(Lidar)를 통한 기술의 경우, 한 대의 자율주행차량에 다수의 라이다 센서를 설치하여 자율주행차량의 인지 정확도와 사각지대 해소를 위해 데이터를 병합하는데 대부분의 기술이 집중되어 있다.In addition, in the case of the existing technology through multiple lidar, a number of lidar sensors are installed in one autonomous vehicle to merge data for recognition accuracy of the autonomous vehicle and to eliminate blind spots. Is concentrated.

자율주행차량에 360도로 스캐닝이 가능한 단일의 라이다 센서를 사용한다고 하더라도 전방 차량 또는 도로 구조물에 의해 사각지대가 발생될 수 있어서, 접근중인 위험 이동 객체를 사전에 인지하는 안전 기능이 필요하다. Even if a single lidar sensor capable of scanning 360 degrees is used in an autonomous vehicle, a blind spot may be generated by a vehicle in front or a road structure, so a safety function that recognizes a dangerous moving object being approached in advance is required.

한편, 기존의 방사형태 정보 교환 방식은 한 대 이상의 차량이 동일한 위험요소를 인지하여 관제 센터로 전송후, 주변 차량들이 동일한 정보를 제공받는 형식이다. 이러한 방식은 수신되는 차량마다 시간/공간적 상황이 다르며, 이에 따른 위험요소의 사전 예측이 어렵기 때문에 현상태 위험요소(장애물 등)에 대한 정보만 교환되고 있다. On the other hand, in the existing radiation type information exchange method, after one or more vehicles recognize the same risk factor and transmit it to the control center, neighboring vehicles are provided with the same information. In this method, time/spatial conditions are different for each received vehicle, and it is difficult to predict the risk factors in advance. Therefore, only information on the current risk factors (such as obstacles) is exchanged.

선행기술 1 : 대한민국 공개특허 제10-2019-0095592호(라이다 센서와 카메라를 이용한 객체 검출 방법 및 그를 위한 장치)Prior Art 1: Republic of Korea Patent Laid-Open Patent No. 10-2019-0095592 (Object detection method and apparatus therefor using LiDAR sensor and camera) 선행기술 2 : 대한민국 공개특허 제10-2018-0055292호(다중 라이다 좌표계 통합 방법)Prior Art 2: Republic of Korea Patent Laid-Open Patent No. 10-2018-0055292 (Multi-LIDAR coordinate system integration method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 다수의 자율주행차량에 장착된 단일의 라이다 센서의 데이터를 연속적으로 연결하여, 외부 이동 객체의 지속적인 추적(Trackcing) 또는 원거리의 상황을 동선과 시간개념을 적용하여 실시간으로 파악할 수 있도록 하는 이동 객체 추적 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-described conventional problem, and by continuously connecting data from a single lidar sensor mounted on a plurality of autonomous vehicles, continuous tracking of an external moving object or a distant situation It is an object of the present invention to provide a moving object tracking apparatus and method that enables real-time grasp of the movement line and time concept.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 이동 객체 추적 장치는, 단일의 라이다 센서를 통해 생성된 데이터로부터 자율주행차량 외부의 이동 객체에 대한 정보를 인지하는 인지부; 상기 인지된 이동 객체에 대한 정보를 근거로 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측하여 타 차량에게로 전송하는 예측부; 전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 상기 위험정보가 자차에 연계성이 있는지를 감지하는 감지부; 및 상기 감지부에서 연계성이 있는 것으로 감지됨에 따라 전방 차량으로부터의 라이다 데이터를 자차에서 생성한 라이다 데이터와 시계열적으로 병합하는 병합 처리부;를 포함한다.In order to achieve the above object, a moving object tracking apparatus according to a preferred embodiment of the present invention includes: a recognition unit for recognizing information on a moving object outside an autonomous vehicle from data generated through a single lidar sensor; A prediction unit that predicts a moving path of the moving object and a time to reach a specific point based on the recognized information on the moving object and transmits it to another vehicle; When approaching a point received from a vehicle in front, it determines the presence or absence of danger information stored in the point, and if danger information is present, information on the arrival time of the moving object predicted by the vehicle in front and the corresponding moving object predicted A detection unit that detects whether the risk information is related to the own vehicle based on information on the arrival time at a specific point; And a merge processing unit that merges the lidar data from the front vehicle with the lidar data generated by the host vehicle in a time-sequential manner as the detection unit detects that there is a linkage.

상기 특정 지점 도달 시간은, 상기 이동 객체의 이동 패턴이 규칙적일 경우에는 자차가 통과중인 지점까지의 도달 시간일 수 있다.When the movement pattern of the moving object is regular, the time to reach the specific point may be a time to reach the point where the host vehicle is passing.

상기 특정 지점 도달 시간은, 상기 이동 객체의 이동 패턴이 불규칙적일 경우에는 V2V 통신을 통해 후방 차량의 라이다 화각 정보를 기반으로 후방 차량이 상기 이동 객체를 인지할 수 있는 지점까지의 도달 시간일 수 있다.When the movement pattern of the moving object is irregular, the time to reach the specific point may be a time of arrival to a point at which the rear vehicle can recognize the moving object based on the lidar view angle information of the rear vehicle through V2V communication. have.

상기 예측부는, 근접중인 이동 객체의 현재 위치 도달 시점이 후방 차량의 라이다 센서에서의 인지 시점보다 빠른 경우, 현재 위치 도달 시점 및 해당 지점에 장애물이 있음을 포함하는 정보를 후방 차량에게 전달할 수 있다.The prediction unit may transmit information including the current position arrival time and the presence of an obstacle to the rear vehicle when the current position arrival time point of the moving object in proximity is earlier than the recognition time point by the lidar sensor of the rear vehicle. .

상기 감지부는, 전방 차량 및 자차에서 각각 예측된 상기 이동 객체의 특정 지점 도달 시간 정보를 근거로 하여 볼 때 해당 포인트에서 상기 이동 객체와 자차와의 충돌 또는 추돌 가능성이 있는지를 감지할 수 있다.The detection unit may detect whether there is a collision or a possibility of collision between the moving object and the own vehicle at a corresponding point based on information about the arrival time of the moving object predicted by the front vehicle and the host vehicle, respectively.

상기 병합 처리부에서 병합된 라이다 데이터로부터 상기 이동 객체가 자차에 직접적 장애물인지를 판단하고 직접적 장애물이면 감속과 정차 및 회피중에서 어느 하나를 판단하는 판단부;를 추가로 포함할 수 있다.It may further include a determination unit that determines whether the moving object is a direct obstacle to the host vehicle from the LiDAR data merged by the merge processing unit, and determines any one of deceleration, stopping, and avoidance if the moving object is a direct obstacle.

상기 판단부에서 판단된 결과를 기반으로 차량의 구동 또는 노선 제어를 수행하는 제어부;를 추가로 포함할 수 있다.It may further include a control unit for driving a vehicle or controlling a route based on a result determined by the determination unit.

한편, 본 발명의 바람직한 실시양태에 따른 이동 객체 추적 방법은, 자율주행차량에 탑재된 이동 객체 추적 장치에서 수행되는 이동 객체 추적 방법으로서, 단일의 라이다 센서를 통해 생성된 데이터로부터 자율주행차량 외부의 이동 객체에 대한 정보를 인지하는 단계; 상기 인지된 이동 객체에 대한 정보를 근거로 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측하여 타 차량에게로 전송하는 단계; 전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 상기 위험정보가 자차에 연계성이 있는지를 감지하는 단계; 및 상기 연계성이 있는 것으로 감지됨에 따라 전방 차량으로부터의 라이다 데이터를 자차에서 생성한 라이다 데이터와 시계열적으로 병합하는 단계;를 포함한다.Meanwhile, a moving object tracking method according to a preferred embodiment of the present invention is a moving object tracking method performed by a moving object tracking device mounted on an autonomous vehicle, and is external to the autonomous vehicle from data generated through a single lidar sensor. Recognizing information on the moving object of the unit; Predicting a moving path of the moving object and a time to reach a specific point based on the recognized information on the moving object and transmitting the predicted moving object to another vehicle; When approaching a point received from a vehicle in front, the presence or absence of danger information stored in the point is determined, and if danger information is present, information on the arrival time of the corresponding moving object predicted by the vehicle in front and the corresponding moving object predicted by the host vehicle Detecting whether the risk information is related to the own vehicle based on information on arrival time at a specific point; And merging the lidar data from the front vehicle with the lidar data generated by the host vehicle in a time-sequential manner as the connection is detected.

이러한 구성의 본 발명에 따르면, 다수의 자율주행차량의 라이다 데이터를 선형적으로 연속적으로 연결할 수 있으므로, 외부 이동 객체의 지속적인 추적(Trackcing) 또는 원거리의 상황을 동선과 시간개념을 적용하여 실시간으로 파악할 수 있다.According to the present invention with such a configuration, since LiDAR data of a plurality of autonomous vehicles can be connected linearly and continuously, continuous tracking of an external moving object or a distant situation is applied in real time by applying the concept of movement and time. I can grasp it.

연결된 차량간 시간 속성이 포함된 데이터의 교환이 가능하도록 체인화를 통해, 방사형태의 정보 전달이 아니라 그룹핑된 차량간 동일 위험요소에 대한 무결성이 보장된 정보를 교환할 수 있다. 이로 인해, RSU미설치 구간에서의 V2X 사각지대 해소에도 기여할 수 있다.Through chaining so that data including time attributes can be exchanged between connected vehicles, it is possible to exchange information with guaranteed integrity for the same risk factors between grouped vehicles, rather than transmitting information in a radial form. For this reason, it can also contribute to eliminating the V2X blind spot in the section where the RSU is not installed.

도 1은 본 발명의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 이동 객체 추적 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 이동 객체 추적 방법을 설명하기 위한 플로우차트이다.1 is a view for explaining the concept of the present invention.
2 is a block diagram of a moving object tracking apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a moving object tracking method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate an overall understanding, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.

도 1은 본 발명의 개념을 설명하기 위한 도면이다.1 is a diagram for explaining the concept of the present invention.

먼저, 견주와 반려견이 함께 달리던 중에 반려견의 목줄이 풀려서 반려견이 임의로 도로측으로 이동하는 경우를 가정한다. 그리고, 도 1에서, 자율주행차량 1, 2는 반려견과의 충돌 가능성이 없는 것으로 가정하고, 자율주행차량 3은 반려견과의 충돌 가능성이 있는 것으로 가정한다.First, it is assumed that the dog's collar is loosened while the dog's head and the dog are running together, and the dog moves to the side of the road at will. In addition, in FIG. 1, it is assumed that autonomous vehicles 1 and 2 have no possibility of collision with a companion dog, and autonomous vehicle 3 is assumed to have a possibility of collision with a companion dog.

해당 도로를 주행중인 자율주행차량 1에서는 라이다 센서를 이용하여 주변 환경 및 이동 객체를 실시간으로 감지하던 중에 반려견이 도로측으로 이동해 오는 것을 감지하게 된다. The autonomous vehicle 1 running on the road detects the surrounding environment and moving objects in real time using a lidar sensor, and detects that a dog is moving toward the road.

이어, 자율주행차량 1에서는 해당 반려견의 이동 경로를 예측함과 더불어 특정 지점 도달 시간(예컨대, 자율주행차량 1이 통과중인 지점까지의 도달 시간)을 예측하여 저장후에 후방 차량(즉, 자율주행차량 2)에게로 전송하고 지나간다.In addition, the autonomous vehicle 1 predicts the traveling path of the dog and predicts the time to reach a specific point (e.g., the time to reach the point where the autonomous vehicle 1 is passing), and saves the rear vehicle (i.e., the autonomous vehicle 1). 2) Send to and pass.

자율주행차량 2는 자차(즉, 자율주행차량 2)의 라이다 데이터를 근거로 해당 반려견을 인지함과 더불어 해당 반려견의 이동 경로를 예측하고 특정 지점 도달 시간을 예측하여 저장후에 전방 차량(즉, 자율주행차량 1)으로부터의 예측 정보와 자차(즉, 자율주행차량 2)에서의 예측 정보를 병합(융합 또는 연결)하여 후방 차량(즉, 자율주행차량 3)에게로 전송하고 지나간다. 물론, 이때 자율주행차량 2는 병합된 정보를 근거로 반려견과의 충돌 가능성을 판단하게 되는데, 충돌 가능성이 있다면 미리 감속 등을 행한다.Autonomous vehicle 2 recognizes the dog based on the lidar data of its own vehicle (i.e., autonomous vehicle 2), predicts the dog's movement path, and predicts the time to reach a specific point, and then stores the vehicle in front (i.e., The predicted information from the autonomous vehicle 1) and the predicted information from the own vehicle (ie, autonomous vehicle 2) are merged (fused or linked) to be transmitted to the rear vehicle (ie, autonomous vehicle 3) and passed. Of course, at this time, the autonomous vehicle 2 determines the possibility of a collision with the companion dog based on the merged information, and if there is a possibility of a collision, it decelerates in advance.

자율주행차량 3은 해당 지점에 접근하기 전에 자율주행차량 2의 정보를 근거로 주행중인 전방의 도로상으로 반려견이 진입함을 미리 인지할 수 있어서 미리 감속할 수 있다.Before approaching the point, the autonomous vehicle 3 can recognize in advance that the dog is entering the road ahead, based on the information from the autonomous vehicle 2, so that it can slow down in advance.

도 2는 본 발명의 실시예에 따른 이동 객체 추적 장치의 구성도이다.2 is a block diagram of an apparatus for tracking a moving object according to an embodiment of the present invention.

본 발명의 실시예에 따른 이동 객체 추적 장치는 자율주행차량에 탑재되는 것으로 한다.It is assumed that a moving object tracking device according to an embodiment of the present invention is mounted on an autonomous vehicle.

본 발명의 실시예에 따른 이동 객체 추적 장치는, 인지부(10), 예측부(12), 전송부(14), 감지부(16), 병합 처리부(18), 판단부(20), 및 제어부(22)를 포함할 수 있다.A moving object tracking device according to an embodiment of the present invention includes a recognition unit 10, a prediction unit 12, a transmission unit 14, a detection unit 16, a merge processing unit 18, a determination unit 20, and It may include a control unit 22.

인지부(10)는 단일의 라이다(Lidar) 센서를 통해 생성된 데이터(즉, 포인트 클라우드(Point Cloud) 데이터)로부터 주변의 정적 환경과 이동 객체에 대한 정보를 감지 및 인지할 수 있다.The recognition unit 10 may detect and recognize information on a surrounding static environment and moving objects from data generated through a single Lidar sensor (ie, point cloud data).

여기서, 이동 객체에 대한 정보는 해당 이동 객체의 최초 인지 포인트, 해당 이동 객체의 현재 포인트, 해당 이동 객체의 특성 및 속도 등을 포함할 수 있다.Here, the information on the moving object may include an initial recognition point of the moving object, a current point of the moving object, and characteristics and speed of the moving object.

라이다 센서는 이동 객체의 특성 파악이 가능하고, 이동 객체의 속도 등을 파악할 수 있다. 여기서, 이동 객체의 특성 파악은 예를 들어 이동 객체가 사물(형태/재질)인지 아니면 생명체(사람/동물)인지를 파악하는 것을 의미할 수 있다.The lidar sensor can grasp the characteristics of the moving object and can grasp the speed of the moving object. Here, grasping the characteristics of the moving object may mean grasping whether the moving object is an object (shape/material) or a living body (person/animal), for example.

그에 따라, 인지부(10)는 자율주행차량이 주행 또는 정차중인 도로로 근접해 오는 이동 객체를 인지할 수 있다. Accordingly, the recognition unit 10 may recognize a moving object that approaches the road where the autonomous vehicle is traveling or stopped.

예측부(12)는 이동 객체의 속도, 방향, 이동패턴 등을 기반으로 딥 러닝(Deep Learning) 기법을 통해 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간 등을 예측할 수 있다.The prediction unit 12 may predict a moving path of the moving object and a time to reach a specific point through a deep learning technique based on the speed, direction, and movement pattern of the moving object.

예측부(12)에 대해 보다 구체적으로 설명하면 하기와 같다.The prediction unit 12 will be described in more detail as follows.

먼저, 예측부(12)는 인지부(10)에서 인지된 이동 객체의 특성과 누적 측량을 통한 해당 이동 객체의 속도 및 이동한 경로를 파악하고, 이를 통해 잠재적 위험 요소를 판별한다. First, the prediction unit 12 determines the characteristics of the moving object recognized by the recognition unit 10 and the speed and the moving path of the moving object through cumulative measurement, and determines a potential risk factor through this.

여기서, 예측부(12)는 이동 객체가 위치한 지점의 경사도 및 도로 특성(예컨대, 인도, 차도 등)을 파악할 수 있다. 또한, 예측부(12)는 이동 객체가 구형 사물인지 또는 원통형 사물인지, 아니면 통제가 되지 않은 동물 개체인지, 아니면 운송 보조 수단(예컨대, 자전거, 킥보드, 퍼스널모빌리티, 수레 등)인지를 파악할 수 있다. 또한, 예측부(12)는 현재 차량에서는 인지가 가능하나 후방 차량에서는 인지가 불가능한 사각 지대로부터 근접해 오는 타 이동 객체(차량 등)인지를 파악할 수 있다.Here, the prediction unit 12 may determine the slope and road characteristics (eg, sidewalks, roadways, etc.) of the point where the moving object is located. In addition, the prediction unit 12 may determine whether the moving object is a spherical object or a cylindrical object, or an uncontrolled animal object, or a transportation auxiliary means (e.g., a bicycle, a kickboard, a personal mobility, a wagon, etc.). . In addition, the prediction unit 12 may determine whether another moving object (vehicle, etc.) is approaching from a blind spot that can be recognized by the current vehicle but cannot be recognized by the rear vehicle.

그리고 나서, 예측부(12)는 판별된 잠재적 위험 요소중에서 현재 차량에 대해서는 위험도가 낮으나 후방 차량에게는 위험도가 높은 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측한다. 즉, 예측부(12)는 이동 객체의 특성, 경사도, 이동속도, 가속도, 이동방향, 인지된 이동 패턴 등의 정보를 기반으로 딥 러닝(Deep Learning) 기법을 통해 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측한다.Then, the prediction unit 12 predicts a moving path of a moving object with a low risk for the current vehicle but a high risk for a rear vehicle among the determined potential risk factors and a time to reach a specific point. That is, the prediction unit 12 is based on information such as characteristics, slope, movement speed, acceleration, movement direction, and perceived movement pattern of the moving object, and determines the movement path and specificity of the moving object through a deep learning technique. Predict the time to reach the point.

여기서, 상술한 특정 지점 도달 시간은 이동 객체의 이동 패턴이 규칙적일 경우에는 자차(현재 차량)가 통과중인 지점까지의 도달 시간이 될 수 있다.Here, the above-described specific point arrival time may be the arrival time to the point where the host vehicle (current vehicle) is passing when the moving object's movement pattern is regular.

한편, 상술한 특정 지점 도달 시간은 이동 객체의 이동 패턴이 불규칙적일 경우에는 V2V 통신을 통해 후방 차량의 라이다(Lidar) 화각 정보를 기반으로 후방 차량이 이동 객체를 인지할 수 있는 지점까지의 도달 시간이 될 수 있다. On the other hand, the above-described specific point arrival time is the arrival of the point at which the rear vehicle can recognize the moving object based on the Lidar field of view information of the rear vehicle through V2V communication when the moving object's movement pattern is irregular. It can be time.

그에 따라, 예측부(12)는 근접중인 이동 객체의 현재 위치 도달 시점이 후방 차량 라이다(Lidar)에서의 인지 시점보다 빠른 경우, 현재 위치 도달 시점 및 해당 지점에 가상의 장애물이 있음을 포함하는 정보를 라이다 데이터(즉, 포인트 클라우드 데이터)로 전송부(14)를 통해 후방 차량에게 전달할 수 있다.Accordingly, the prediction unit 12 includes the current position arrival time point and the presence of a virtual obstacle at the corresponding point when the current position arrival time point of the moving object in proximity is earlier than the recognition time point in the rear vehicle Lidar. The information may be transmitted to the rear vehicle through the transmission unit 14 as lidar data (ie, point cloud data).

도 2에서, 전송부(14)는 예측부(12)로부터의 이동 객체의 최초 인지 포인트와 이동 객체의 현재 포인트 및 예측된 포인트들의 3D 좌표(X,Y,Z) 및 이동 객체가 각 예측 포인트에 도달하는 시간(timestamp) 정보를 V2V 통신을 통해 타 차량(예컨대, 후방 차량)에게로 전송한다.In FIG. 2, the transmission unit 14 includes the initial recognition point of the moving object from the prediction unit 12, the current point of the moving object, and 3D coordinates (X, Y, Z) of the predicted points, and the moving object is each prediction point. The timestamp information is transmitted to another vehicle (eg, a rear vehicle) through V2V communication.

상술한 도 2에서는 예측부(12) 및 전송부(14)를 각각 별개의 구성요소로 하였으나, 전송부(14)가 예측부(12)에 포함되는 것으로 보아도 무방하다.In FIG. 2 described above, the prediction unit 12 and the transmission unit 14 are respectively used as separate components, but it is safe to assume that the transmission unit 14 is included in the prediction unit 12.

도 2에서, 감지부(16)는 전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차의 예측부(12)에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 위험정보가 자차에 연계성이 있는지를 감지할 수 있다. In FIG. 2, when approaching a point received from a vehicle in front, the detection unit 16 determines the presence or absence of danger information stored in the point, and when danger information is present, the time to reach a specific point of the moving object predicted by the vehicle in front. Based on the information and information on the arrival time of a specific point of the moving object predicted by the predictor 12 of the own vehicle, it is possible to detect whether the risk information is related to the host vehicle.

여기서, 연계성 여부는 예측된 이동 객체의 특정 지점 도달 시간 정보(즉, 전방 차량 및 자차에서 예측된 이동 객체의 특정 지점 도달 시간 정보)를 근거로 하여 볼 때 해당 포인트에서 이동 객체와 자차와의 충돌 또는 추돌 가능성이 있는지의 여부를 의미할 수 있다.Here, the linkage is determined based on the predicted moving object's arrival time information to a specific point (i.e., the predicted moving object's predicted arrival time information of the moving object to a specific point), the collision between the moving object and the own vehicle at that point. Or it may mean whether there is a possibility of a collision.

병합 처리부(18)는 감지부(16)에서 연계성이 있는 것으로 감지됨에 따라 전방 차량으로부터의 포인트 클라우드 정보를 자차에서 생성한 포인트 클라우드 정보와 시계열적으로 병합할 수 있다. As the detection unit 16 detects that there is a connection, the merge processing unit 18 may merge point cloud information from the front vehicle with the point cloud information generated by the host vehicle in time series.

예를 들어, 병합 처리부(18)는 전방 차량으로부터 인계받은 3D 좌표(X,Y,Z)를 자차(즉, 후방 차량)에서 생성한 포인트 클라우드 정보(즉, 라이다 데이터)와 병합하여 차량내 HDMap에 맵핑할 수 있다.For example, the merge processing unit 18 merges the 3D coordinates (X, Y, Z) inherited from the front vehicle with the point cloud information (i.e., LiDAR data) generated by the host vehicle (ie, the rear vehicle) to It can be mapped to HDMap.

판단부(20)는 병합 처리부(18)에서 병합된 포인트 클라우드 정보로부터 이동 객체가 자차에 직접적 장애물인지를 판단하고, 직접적 장애물이면 감속/정차/회피를 판단한다.The determination unit 20 determines whether the moving object is a direct obstacle to the host vehicle from the point cloud information merged by the merge processing unit 18, and determines deceleration/stop/avoidance if it is a direct obstacle.

다시 말해서, 판단부(20)는 해당 지점에 근접 또는 도달한 자차에 직접적 위험 요소가 되는 이동 객체인 경우에는 해당 이동 객체의 예측 지점까지 감속, 정차, 회피를 판단한다.In other words, in the case of a moving object that is a direct risk factor to an own vehicle that has approached or reached a corresponding point, the determination unit 20 determines deceleration, stopping, and avoidance to the predicted point of the moving object.

한편, 해당 지점에 근접 또는 도달한 자차에 직접적 위험 요소가 되지 않고, 자차 후방에서 접근해 오는 타 차량에게 직접적 위험이 되거나, 근접중인 이동 객체의 현재 위치 도달 시점이 자차 후방에서 접근해 오는 타 차량의 라이다(Lidar) 인지 시점보다 빠른 경우에는 현재 위치 도달 시점 및 해당 지점에 가상의 장애물이 있음을 포함하는 정보를 라이다 데이터(즉, 포인트 클라우드 데이터)로 자차 후방에서 접근해 오는 타 차량에게 전달한다. On the other hand, it does not become a direct risk factor to the own vehicle that has approached or reached the point, but poses a direct danger to other vehicles approaching from the rear of the vehicle, or when the current position of a moving object in proximity is reached from the rear of the host vehicle If it is earlier than the Lidar recognition time, information including the time of reaching the current location and the presence of a virtual obstacle at that point is transmitted as lidar data (i.e., point cloud data) to other vehicles approaching from the rear of the own vehicle. Deliver.

제어부(22)는 판단부(20)에서 판단된 결과를 기반으로 차량의 구동 또는 노선 제어를 수행한다.The controller 22 drives a vehicle or controls a route based on a result determined by the determination unit 20.

즉, 제어부(22)는 판단부(20)에서 직접적 장애물로 판단하여 감속, 정차, 및 회피 중에서 어느 하나로 판단함에 따라 자차에 대해 그에 상응하는 제어를 행한다. That is, the control unit 22 performs a corresponding control on the own vehicle as the determination unit 20 determines that it is a direct obstacle and determines one of deceleration, stopping, and avoidance.

상술한 바와 같은 본 발명의 실시예에 의하면, 각 차량의 라이다 데이터를 체인 형태로 연결하여 원거리의 도로상황을 파악가능하게 된다. 즉, 라이다의 가시거리는 대략 20m 정도 수준이므로, 전방 1Km내 3 ~ 4대의 라이다 장착차량이 존재하게 되면 충분히 음영지역없이 전방 상황을 정확히 인지가능하다.According to the embodiment of the present invention as described above, by connecting the lidar data of each vehicle in the form of a chain, it is possible to grasp the road conditions at a distance. In other words, the visibility of the lidar is approximately 20m, so if there are three to four lidar-equipped vehicles within 1km in front, it is possible to accurately recognize the situation in front without a shaded area.

도 3은 본 발명의 실시예에 따른 이동 객체 추적 방법을 설명하기 위한 플로우차트이다.3 is a flowchart illustrating a moving object tracking method according to an embodiment of the present invention.

주행 또는 정차중인 자율주행차량의 인지부(10)는 주변의 정적 환경과 이동 객체를 감지 및 인지한다(S10). 이때, 인지부(10)는 해당 객체의 특성 및 속도 등을 파악할 수 있다.The recognition unit 10 of the autonomous vehicle being driven or stopped detects and recognizes the surrounding static environment and moving objects (S10). At this time, the recognition unit 10 may grasp the characteristics and speed of the corresponding object.

그리고, 예측부(12)는 인지부(10)에서 인지된 이동 객체의 속도, 방향, 이동패턴 등을 기반으로 딥 러닝(Deep Learning) 기법을 통해 해당 이동 객체의 속도 및 이동한 경로를 파악하고, 이를 통해 잠재적 위험 요소를 판별한다(S12). And, the prediction unit 12 grasps the speed and the moving path of the moving object through a deep learning technique based on the speed, direction, and movement pattern of the moving object recognized by the recognition unit 10. , This determines a potential risk factor (S12).

그리고 나서, 예측부(12)는 판별된 잠재적 위험 요소중에서 현재 차량에 대해서는 위험도가 낮으나 후방 차량에게는 위험도가 높은 이동 객체의 이동 경로 및 특정 지점 도달 시간 등을 예측한다(S14). 여기서, 상술한 특정 지점 도달 시간은 이동 객체의 이동 패턴이 규칙적일 경우에는 자차(현재 차량)가 통과중인 지점까지의 도달 시간이 될 수 있다. 한편, 상술한 특정 지점 도달 시간은 이동 객체의 이동 패턴이 불규칙적일 경우에는 V2V 통신을 통해 후방 차량의 라이다(Lidar) 화각 정보를 기반으로 후방 차량이 인지할 수 있는 지점까지의 도달 시간이 될 수 있다. Then, the prediction unit 12 predicts a moving path of a moving object having a low risk for the current vehicle but a high risk for a rear vehicle, and a time to reach a specific point, among the determined potential risk factors (S14). Here, the above-described specific point arrival time may be the arrival time to the point where the host vehicle (current vehicle) is passing when the moving object's movement pattern is regular. On the other hand, the above-described specific point arrival time is the arrival time to a point that can be recognized by the rear vehicle based on the Lidar field of view information of the rear vehicle through V2V communication when the moving pattern of the moving object is irregular. I can.

그에 따라, 전송부(14)는 예측부(12)로부터의 이동 객체의 최초 인지 포인트와 이동 객체의 현재 포인트 및 예측된 포인트들의 3D 좌표(X,Y,Z) 및 이동 객체가 각 예측 포인트에 도달하는 시간(timestamp) 정보를 V2V 통신을 통해 타 차량(즉, 후방 차량)에게로 전송한다(S16).Accordingly, the transmission unit 14 is the first recognition point of the moving object from the prediction unit 12, the current point of the moving object, and the 3D coordinates (X, Y, Z) of the predicted points, and the moving object is assigned to each prediction point. The arrival time (timestamp) information is transmitted to another vehicle (ie, a rear vehicle) through V2V communication (S16).

이후에, 감지부(16)는 자차가 전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차의 예측부(12)에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 위험정보가 자차에 연계성이 있는지를 감지한다(S18). 여기서, 연계성 여부는 예측된 이동 객체의 특정 지점 도달 시간 정보(즉, 전방 차량 및 자차에서 예측된 이동 객체의 특정 지점 도달 시간 정보)를 근거로 하여 볼 때 해당 포인트에서 이동 객체와 자차와의 충돌 또는 추돌 가능성이 있는지의 여부를 의미할 수 있다.Thereafter, when the host vehicle approaches the point received from the vehicle in front, the detection unit 16 determines the presence or absence of danger information stored in the point, and, if the danger information exists, reaches a specific point of the moving object predicted from the vehicle in front. Based on the time information and the arrival time information of the specific point of the moving object predicted by the predictor 12 of the own vehicle, it is detected whether the risk information is related to the host vehicle (S18). Here, the linkage is determined based on the predicted moving object's arrival time information to a specific point (i.e., the predicted moving object's predicted arrival time information of the moving object to a specific point), the collision between the moving object and the own vehicle at that point. Or it may mean whether there is a possibility of a collision.

감지부(16)에서 연계성이 있는 것으로 감지하게 되면, 자차의 병합 처리부(18)는 전방 차량으로부터의 포인트 클라우드 정보를 자차에서 생성한 포인트 클라우드 정보와 시계열적으로 병합한다(S20). When the sensing unit 16 detects that there is a connection, the merging processing unit 18 of the host vehicle merges the point cloud information from the front vehicle with the point cloud information generated by the host vehicle in time series (S20).

그리고, 자차의 판단부(20)는 병합 처리부(18)에서 병합된 포인트 클라우드 정보로부터 자차에 직접적 장애물인지를 판단하고, 직접적 장애물이면 감속/정차/회피를 판단한다(S22).In addition, the determination unit 20 of the host vehicle determines whether it is a direct obstacle to the host vehicle from the point cloud information merged by the merging processing unit 18, and determines a deceleration/stop/avoidance if it is a direct obstacle (S22).

이후, 제어부(22)는 판단부(20)에서 판단된 결과를 기반으로 차량의 구동 또는 노선 제어를 수행한다. 즉, 제어부(22)는 판단부(20)에서 직접적 장애물로 판단하여 감속, 정차, 및 회피 중에서 어느 하나로 판단함에 따라 자차에 대해 그에 상응하는 제어를 행한다(S24). Thereafter, the controller 22 drives the vehicle or controls the route based on the result determined by the determination unit 20. That is, the control unit 22 performs a corresponding control on the host vehicle according to the determination unit 20 determining that it is a direct obstacle and determining one of deceleration, stopping, and avoidance (S24).

이와 같이, 본 발명의 실시예는 다수의 자율주행차량의 라이다 데이터를 선형적으로 연속적으로 연결할 수 있으므로, 외부 이동 객체의 지속적인 추적(Trackcing) 또는 원거리의 상황을 동선과 시간개념을 적용하여 실시간으로 파악할 수 있다.As described above, according to an embodiment of the present invention, since the LiDAR data of a plurality of autonomous vehicles can be linearly and continuously connected, continuous tracking of an external moving object or a distant situation is applied to the real-time It can be grasped as.

그리고, 연결된 차량간 시간 속성이 포함된 데이터의 교환이 가능하도록 체인화를 통해, 방사형태의 정보 전달이 아니라 그룹핑된 차량간 동일 위험요소에 대한 무결성이 보장된 정보를 교환할 수 있다.In addition, through chaining so that data including time attributes between connected vehicles can be exchanged, information with guaranteed integrity for the same risk factors can be exchanged between grouped vehicles, rather than transmitting information in a radial form.

또한, 상술한 본 발명의 이동 객체 추적 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the moving object tracking method of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices. Further, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention pertains.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specifications. Although specific terms have been used herein, these are only used for the purpose of describing the present invention, and are not used to limit the meaning or the scope of the present invention described in the claims. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical scope of the present invention should be determined by the technical spirit of the appended claims.

10 : 인지부 12 : 예측부
14 : 전송부 16 : 감지부
18 : 병합 처리부 20 : 판단부
22 : 제어부10: cognitive unit 12: prediction unit
14: transmission unit 16: detection unit
18: merge processing unit 20: determination unit
22: control unit

Claims (8)

단일의 라이다 센서를 통해 생성된 데이터로부터 자율주행차량 외부의 이동 객체에 대한 정보를 인지하는 인지부;
상기 인지된 이동 객체에 대한 정보를 근거로 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측하여 타 차량에게로 전송하는 예측부;
전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 상기 위험정보가 자차에 연계성이 있는지를 감지하는 감지부; 및
상기 감지부에서 연계성이 있는 것으로 감지됨에 따라 전방 차량으로부터의 라이다 데이터를 자차에서 생성한 라이다 데이터와 시계열적으로 병합하는 병합 처리부;를 포함하는 것을 특징으로 하는 이동 객체 추적 장치.A recognition unit for recognizing information on a moving object outside the autonomous vehicle from data generated through a single lidar sensor;
A prediction unit that predicts a moving path of the moving object and a time to reach a specific point based on the recognized information on the moving object and transmits it to another vehicle;
When approaching a point received from a vehicle in front, it determines the presence or absence of danger information stored in the point, and if danger information is present, information on the arrival time of the corresponding moving object predicted by the vehicle in front and the corresponding moving object predicted by the host vehicle A detection unit that detects whether the risk information is related to the own vehicle based on information on the arrival time at a specific point; And
And a merge processing unit that merges the lidar data from the front vehicle with the lidar data generated by the host vehicle in a time series as the detection unit detects that there is a linkage. 청구항 1에 있어서,
상기 특정 지점 도달 시간은,
상기 이동 객체의 이동 패턴이 규칙적일 경우에는 자차가 통과중인 지점까지의 도달 시간인 것을 특징으로 하는 이동 객체 추적 장치.The method according to claim 1,
The time to reach the specific point is,
When the movement pattern of the moving object is regular, it is a time of arrival to a point where the host vehicle is passing. 청구항 1에 있어서,
상기 특정 지점 도달 시간은,
상기 이동 객체의 이동 패턴이 불규칙적일 경우에는 V2V 통신을 통해 후방 차량의 라이다 화각 정보를 기반으로 후방 차량이 상기 이동 객체를 인지할 수 있는 지점까지의 도달 시간인 것을 특징으로 하는 이동 객체 추적 장치.The method according to claim 1,
The time to reach the specific point is,
When the moving pattern of the moving object is irregular, it is a time of arrival to a point at which the rear vehicle can recognize the moving object based on the lidar view angle information of the rear vehicle through V2V communication. . 청구항 3에 있어서,
상기 예측부는,
근접중인 이동 객체의 현재 위치 도달 시점이 후방 차량의 라이다 센서에서의 인지 시점보다 빠른 경우, 현재 위치 도달 시점 및 해당 지점에 장애물이 있음을 포함하는 정보를 후방 차량에게 전달하는 것을 특징으로 하는 이동 객체 추적 장치.The method of claim 3,
The prediction unit,
When the current position of the moving object in proximity is reached earlier than the recognition time of the rear vehicle's lidar sensor, information including the current position arrival time and the presence of an obstacle at the corresponding point is transmitted to the rear vehicle. Object tracking device. 청구항 1에 있어서,
상기 감지부는,
전방 차량 및 자차에서 각각 예측된 상기 이동 객체의 특정 지점 도달 시간 정보를 근거로 하여 볼 때 해당 포인트에서 상기 이동 객체와 자차와의 충돌 또는 추돌 가능성이 있는지를 감지하는 것을 특징으로 하는 이동 객체 추적 장치.The method according to claim 1,
The sensing unit,
A moving object tracking device, characterized in that it detects whether there is a collision or a possibility of collision between the moving object and the own vehicle at a corresponding point based on information on the arrival time of the moving object predicted from the front vehicle and the host vehicle, respectively. . 청구항 1에 있어서,
상기 병합 처리부에서 병합된 라이다 데이터로부터 상기 이동 객체가 자차에 직접적 장애물인지를 판단하고 직접적 장애물이면 감속과 정차 및 회피중에서 어느 하나를 판단하는 판단부;를 추가로 포함하는 것을 특징으로 하는 이동 객체 추적 장치. The method according to claim 1,
A moving object, characterized in that the moving object further comprises a determination unit that determines whether the moving object is a direct obstacle to the host vehicle from the merge processing unit merged LiDAR data and, if it is a direct obstacle, determines any one of deceleration, stopping, and avoidance. Tracking device. 청구항 6에 있어서,
상기 판단부에서 판단된 결과를 기반으로 차량의 구동 또는 노선 제어를 수행하는 제어부;를 추가로 포함하는 것을 특징으로 하는 이동 객체 추적 장치. The method of claim 6,
A moving object tracking device, further comprising: a control unit configured to drive a vehicle or control a route based on a result determined by the determination unit. 자율주행차량에 탑재된 이동 객체 추적 장치에서 수행되는 이동 객체 추적 방법으로서,
단일의 라이다 센서를 통해 생성된 데이터로부터 자율주행차량 외부의 이동 객체에 대한 정보를 인지하는 단계;
상기 인지된 이동 객체에 대한 정보를 근거로 해당 이동 객체의 이동 경로 및 특정 지점 도달 시간을 예측하여 타 차량에게로 전송하는 단계;
전방 차량으로부터 수신한 포인트로 접근시 해당 포인트에 저장된 위험정보의 유무를 판별하고, 위험정보가 존재하는 경우 전방 차량에서 예측된 해당 이동 객체의 특정 지점 도달 시간 정보와 자차에서 예측한 해당 이동 객체의 특정 지점 도달 시간 정보를 근거로 상기 위험정보가 자차에 연계성이 있는지를 감지하는 단계; 및
상기 연계성이 있는 것으로 감지됨에 따라 전방 차량으로부터의 라이다 데이터를 자차에서 생성한 라이다 데이터와 시계열적으로 병합하는 단계;를 포함하는 것을 특징으로 하는 이동 객체 추적 방법.As a moving object tracking method performed by a moving object tracking device mounted on an autonomous vehicle,
Recognizing information on a moving object outside the autonomous vehicle from data generated through a single lidar sensor;
Predicting a moving path of the moving object and a time to reach a specific point based on the recognized moving object information and transmitting the predicted moving object to another vehicle;
When approaching a point received from a vehicle in front, it determines the presence or absence of danger information stored in the point, and if danger information is present, information on the arrival time of the corresponding moving object predicted by the vehicle in front and the corresponding moving object predicted by the host vehicle Detecting whether the risk information is related to the own vehicle based on information on the arrival time at a specific point; And
And merging the lidar data from the front vehicle with the lidar data generated by the host vehicle in a time-sequential manner as the connection is detected.
KR1020190120509A 2019-09-30 2019-09-30 Apparatus and method for tracking moving objects KR20210037955A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190120509A KR20210037955A (en) 2019-09-30 2019-09-30 Apparatus and method for tracking moving objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190120509A KR20210037955A (en) 2019-09-30 2019-09-30 Apparatus and method for tracking moving objects

Publications (1)

Publication Number Publication Date
KR20210037955A true KR20210037955A (en) 2021-04-07

Family

ID=75469354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190120509A KR20210037955A (en) 2019-09-30 2019-09-30 Apparatus and method for tracking moving objects

Country Status (1)

Country Link
KR (1) KR20210037955A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784798A (en) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 Target tracking method, intelligent device and computer readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (en) 2016-11-16 2018-05-25 국민대학교산학협력단 Integration method for coordinates of multi lidar
KR20190095592A (en) 2018-01-23 2019-08-16 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055292A (en) 2016-11-16 2018-05-25 국민대학교산학협력단 Integration method for coordinates of multi lidar
KR20190095592A (en) 2018-01-23 2019-08-16 충북대학교 산학협력단 Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117784798A (en) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 Target tracking method, intelligent device and computer readable storage medium
CN117784798B (en) * 2024-02-26 2024-05-31 安徽蔚来智驾科技有限公司 Target tracking method, intelligent device and computer readable storage medium

Similar Documents

Publication Publication Date Title
KR102693520B1 (en) Collision avoidance apparatus and method preventing collision between objects
US9804605B2 (en) Position identification device and mobile robot provided with same
CN110834630A (en) Vehicle driving control method and device, vehicle and storage medium
US9164512B2 (en) Autonomous moving body and control method thereof
JP5160311B2 (en) Autonomous mobile device and control method of autonomous mobile device
KR101417522B1 (en) System and method for traveling self-control expressway
US20140114526A1 (en) Safety apparatus for a vehicle
CN106843223A (en) A kind of intelligent avoidance AGV cart systems and barrier-avoiding method
JP6959056B2 (en) Mobile robot control device and control method
CN112639849A (en) Route selection method and route selection device
EP3894293A1 (en) Method and system for planning a path for a land vehicle for obstacle avoidance with fast reaction, particularly in an autonomous drive scenario
KR102328506B1 (en) System and method for colleting unmanned public information
US20240043034A1 (en) Method and system for conditional operation of an autonomous agent
JP2019530608A (en) Autonomous vehicle with object level fusion
KR20210006551A (en) Vehicle and method for controlling thereof
JP2019148856A (en) Vehicle controller
KR20200072581A (en) Driving Prediction and Safety Driving System Based on Judgment of Driver Emergency Situation of Autonomous Driving Vehicle
Ghandour et al. A hybrid collision avoidance system for indoor mobile robots based on human-robot interaction
KR20210037955A (en) Apparatus and method for tracking moving objects
US11762390B1 (en) Autonomous machine safety management in a dynamic environment
CN109754625A (en) Take out the drive manner of vehicle in a kind of unpiloted campus
CN112327848A (en) Robot obstacle avoidance method and device, storage medium and electronic equipment
JP7411185B2 (en) Guidance of a mobile robot that follows passersby
WO2023109281A1 (en) Method and device for controlling driving of autonomous mobile robot
KR102355426B1 (en) Method and apparatus for detecting and avoiding obstacles on driving path