KR101826628B1 - Preceding vehicle recognizing method and apparatus - Google Patents
Preceding vehicle recognizing method and apparatus Download PDFInfo
- Publication number
- KR101826628B1 KR101826628B1 KR1020170042929A KR20170042929A KR101826628B1 KR 101826628 B1 KR101826628 B1 KR 101826628B1 KR 1020170042929 A KR1020170042929 A KR 1020170042929A KR 20170042929 A KR20170042929 A KR 20170042929A KR 101826628 B1 KR101826628 B1 KR 101826628B1
- Authority
- KR
- South Korea
- Prior art keywords
- trajectory
- vehicle
- information
- preceding vehicle
- host vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G06K9/00825—
-
- G06K9/00798—
-
- G06K9/52—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 선행 차량 인식 방법과 장치에 관한 것으로, 보다 상세하게는 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 하는 선행 차량 인식 방법과 장치에 관한 것이다.More particularly, the present invention relates to a method and apparatus for recognizing a preceding vehicle, and more particularly, to a method for recognizing a preceding vehicle, And more particularly, to a method and apparatus for recognizing a preceding vehicle that can recognize a preceding vehicle using a trajectory.
최근 출시되는 차량에는 스마트 크루즈 컨트롤(Smart Cruise Control) 시스템이 장착되고 있다. 상기 스마트 크루즈 컨트롤 시스템은 레이더 센서를 이용하여 선행 차량과의 거리 및 상대속도를 측정하여 차간 거리를 자동으로 일정하게 유지시키는 시스템이다.Recently launched vehicles are equipped with a Smart Cruise Control system. The smart cruise control system uses a radar sensor to measure distance and relative speed with respect to the preceding vehicle, thereby maintaining the inter-vehicle distance automatically and constantly.
예컨대 스마트 크루즈 컨트롤 시스템이 장착된 차량은 선행 차량이 느려질 경우에 브레이크를 자동으로 작동하며 필요한 경우에는 꺼지지 않고 계속 제동 상태를 유지하고, 선행 차량이 빨라질 경우에는 차량을 자동으로 가속하여 차량간 거리를 일정하게 유지하고, 코너링을 할 경우에는 운전대의 회전각을 인식하여 코너링 중 실수로 선행 차량이 없는 것으로 오 인식하여 가속하지 않도록 하는 안정 기능이 포함되어 있다.For example, a vehicle equipped with a Smart Cruise Control system automatically operates the brakes when the preceding vehicle is slow, keeps braking without turning off if necessary, and automatically accelerates the vehicle when the preceding vehicle is accelerating, When the cornering is carried out, a stable function of recognizing the rotation angle of the steering wheel and recognizing that there is no preceding vehicle by mistake during cornering and not accelerating is included.
상기와 같은 스마트 크루즈 컨트롤 시스템뿐만 아니라, 자율주행 시스템, 및 증강현실 HUD(Head Up Display) 시스템에서는 전방의 객체(즉, 차량) 중 호스트 차량(즉, 자차)과 같은 차로에 있는 선행 차량을 인식하는 기능이 매우 중요한다. In the smart cruise control system as well as the autonomous travel system and the augmented reality HUD (Head Up Display) system, a host vehicle (i.e., a car) among the objects Is very important.
하지만 기존에는 선행 차량을 구분하기 위하여 차선 정보를 검출함에 있어서(즉, 동일한 차로를 주행하고 있는 전방 차량을 검출함에 있어서), 카메라를 이용하여 검출하는 차선 정보에 노이즈가 많고 차선을 인식하지 못하는 경우도 많이 발생하기 때문에 선행 차량(즉, 자차가 주행하는 동일한 차로의 전방에서 주행하는 차량)을 인식하는데 한계가 있었다.However, in the past, in detecting lane information to distinguish a preceding vehicle (that is, in detecting a forward vehicle traveling on the same lane), when lane information detected using a camera has a lot of noise and can not recognize a lane There is a limit in recognizing the preceding vehicle (i.e., the vehicle traveling in front of the same lane on which the vehicle is traveling).
따라서 이러한 문제점을 해결하기 위하여 좀 더 안정적이고 정확하게 선행 차량을 인식할 수 있도록 하는 방법이 요구되고 있다.Therefore, in order to solve such a problem, there is a demand for a method for more reliable and accurate recognition of the preceding vehicle.
본 발명의 배경기술은 대한민국 공개특허 10-2009-0039501호(2009.04.22. 공개, 안전 주행을 위한 선행 차량 검지 방법)에 개시되어 있다. BACKGROUND ART [0002] The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2009-0039501 (published on April 22, 2009, method of detecting a preceding vehicle for safe driving).
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 하는 선행 차량 인식 방법과 장치를 제공하는데 그 목적이 있다. According to an aspect of the present invention, there is provided an information processing apparatus, which is created in order to solve the above-described problems, and which stabilizes lane recognition when there is lane information, recognizes a preceding vehicle based on a location probability of the vehicle, The present invention is directed to a method and apparatus for recognizing a preceding vehicle that can recognize a preceding vehicle using a trajectory of a preceding vehicle.
본 발명의 일 측면에 따른 선행 차량 인식 방법은, 제어부가 카메라부를 통해 입력되는 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하는 단계; 상기 제어부가 상기 객체들을 각기 추적하여 궤적을 생성하는 단계; 상기 제어부가 상기 객체들에 중첩 궤적이 생성되었는지 체크하는 단계; 상기 차선 정보가 산출되면, 상기 제어부가 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하고, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하는 단계; 및 상기 제어부가 상기 산출하거나 생성한 적어도 하나 이상의 기 지정된 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 단계;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a preceding vehicle recognition method, comprising: a control unit processing an image input through a camera unit to calculate lane information and position information of objects; The control unit tracing the objects to generate a trajectory; Checking whether a superimposed trajectory is generated in the objects; Estimating a distance between the left / right lane and each object based on the host vehicle, and calculating a probability that the object is in a lane with the host vehicle, when the lane information is calculated; And estimating a preceding vehicle of the host vehicle based on at least one or more previously designated information calculated or generated by the control unit. When the probability of the host vehicle is greater than or equal to a predetermined threshold, Recognizing an object as a preceding vehicle, and recognizing a nearby object as a preceding vehicle when the number of objects is two or more.
본 발명에 있어서, 상기 적어도 하나 이상의 기 지정된 정보는, 차선 정보, 객체의 궤적 정보, 및 객체가 있는 해당 차로 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.In the present invention, the at least one previously designated information includes at least one of lane information, trajectory information of an object, and corresponding lane information with an object.
본 발명에 있어서, 상기 차선 정보와 객체 위치 정보는, 호스트 차량을 기준으로 산출되는 정보인 것을 특징으로 한다.In the present invention, the lane information and the object position information are information calculated based on the host vehicle.
본 발명에 있어서, 상기 객체의 궤적을 생성하기 위하여, 상기 제어부는, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 상기 제어부는, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 한다.In the present invention, in order to generate the trajectory of the object, the control unit performs coordinate transformation to create a relative coordinate system at a start position of the host vehicle, and the control unit controls the movement amount and heading information of the host vehicle And calculates object position information and lane information in the relative coordinate system.
본 발명에 있어서, 상기 호스트 차량의 이동량과 헤딩(heading) 정보는, 차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보를 이용하여 산출되는 것을 특징으로 한다.In the present invention, the movement amount and heading information of the host vehicle are calculated using the vehicle speed sensor information, the steering angle sensor information, and the yaw sensor information.
본 발명에 있어서, 적어도 하나 이상의 각 객체를 구별하기 위하여, 상기 제어부는, 각 객체별 아이디(ID)를 지정할 수 있으며, 선행 차량의 표시를 위해서 각 객체별 색상을 지정할 수 있음을 특징으로 한다.In the present invention, in order to distinguish at least one object from each other, the control unit can designate an ID for each object, and can designate a color for each object for display of the preceding vehicle.
본 발명에 있어서, 상기 차선 정보를 안정화하기 위하여, 상기 제어부는, 기 설정된 필터를 이용하여 차선의 노이즈를 제거하며, 또한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 한다.According to the present invention, in order to stabilize the lane information, the controller removes noise of a lane using a predetermined filter, reduces a capacity of a storage space, and increases And sampling is performed at regular intervals.
본 발명에 있어서, 상기 제어부는, 상기 카메라부를 통해 입력되는 연속된 영상의 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹하여 관리하는 것을 특징으로 한다.In the present invention, the control unit tracks objects between frames of a continuous image input through the camera unit based on distance and trajectory direction, masks a continuous object as a 'tracking object', and generates a newly generated object Masking the object as a 'generated object', and masking each object as a 'disappearing object'.
본 발명에 있어서, 상기 객체들을 각기 추적하여 궤적을 생성하는 단계에서 상기 궤적은 객체의 이동 경로를 나타내며, 상기 제어부는, 추적 객체에 대한 궤적 생성 시 필요한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 객체의 이동 경로를 샘플링 하는 것을 특징으로 한다.In the present invention, in the step of tracing the objects to generate trajectory, the trajectory represents a movement path of the object, and the control unit reduces the capacity of the storage space required for generating the trajectory for the tracing object, The moving path of the object is sampled at predetermined predetermined intervals.
본 발명에 있어서, 상기 중첩 궤적이 생성되는지 체크하는 단계는, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 한다.In the present invention, the step of checking whether the overlapping trajectory is generated may include the steps of finding two closest trajectory samples that are closest to the position of an object, calculating a distance between the object and the line segment connecting the two trajectory samples, It is determined whether or not it is a superimposed trajectory according to whether or not it is less than the set threshold value.
본 발명에 있어서, 상기 확률을 연산하는 단계에서, 상기 제어부는, 상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 한다.In the present invention, in the step of calculating the probability, the control unit calculates a probability with a normal distribution at a position of each object based on the distance between the estimated object and the lane.
본 발명에 있어서, 상기 차선 정보가 검출되지 않았거나, 확률 기반으로 선행 차량을 인식할 수 없을 경우, 상기 제어부는, 궤적 기반으로 선행 차량 후보 객체를 선정하고, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 한다.In the present invention, if the lane information is not detected or the preceding vehicle can not be recognized based on probability, the control unit selects a preceding vehicle candidate object based on a trajectory, Checks whether the host vehicle overlaps the locus when the preceding vehicle candidate object overlaps the locus of another object and checks whether the host vehicle overlaps the locus. If the host vehicle also overlaps the locus, the host vehicle judges the candidate object as a preceding vehicle And when the host vehicle does not overlap the corresponding trajectory, the candidate object is not determined as a preceding vehicle.
본 발명에 있어서, 상기 궤적 기반으로 선행 차량 후보를 선정하기 위하여, 상기 제어부는, 호스트 차량 위치에서 각 객체의 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾고, 상기 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체를 선행 차량 후보로 선정하며, 상기 임계치 이하가 되는 궤적이 2개 이상이면 다른 객체의 궤적에 중첩하고 있는 객체를 선행 차량 후보 객체로 선정하는 것을 특징으로 한다.In the present invention, in order to select a preceding vehicle candidate on the basis of the trajectory, the control unit calculates a distance from the trajectory of each object at the host vehicle position to find trajectories that fall below a predetermined threshold value, The trajectory of the trajectory is selected as the trajectory of the preceding vehicle and the trajectory of the trajectory of the other trajectory is selected as the preceding vehicle candidate object if the trajectory is less than or equal to the threshold value .
본 발명의 다른 측면에 따른 선행 차량 인식 장치는, 호스트 차량의 전방 영상을 촬영하는 카메라부; 상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부; 상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하고, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a preceding vehicle recognizing apparatus including: a camera section for photographing a forward image of a host vehicle; A sensor unit including a vehicle speed sensor, a steering angle sensor, and a yaw sensor for detecting movement amount and heading information of the host vehicle; Estimating objects in the lane on which the host vehicle exists among the objects, estimating objects in the lane on which the host vehicle exists, processing the forward image to calculate lane information and position information of the objects, And a controller for recognizing the object closest to the vehicle as a preceding vehicle.
본 발명에 있어서, 상기 제어부는, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하되, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 것을 특징으로 한다.In the present invention, the controller estimates the distance between the left and right lane and each object based on the host vehicle, calculates the probability that the object is in the lane with the host vehicle, The object is recognized as a preceding vehicle if the probability is greater than or equal to a predetermined threshold value, and the nearby object is recognized as a preceding vehicle when the object is two or more.
본 발명에 있어서, 상기 객체는, 상기 호스트 차량의 전방에서 주행하는 차량으로서, 상기 호스트 차량의 바로 앞에서 주행하는 객체가 선행 차량이 되고, 상기 선행 차량에 해당하는 객체를 제외한 나머지 객체는 모두 전방 차량인 것을 특징으로 한다.In the present invention, the object is a vehicle that runs on the front side of the host vehicle, the object that runs on the front of the host vehicle is a preceding vehicle, and all the objects other than the object corresponding to the preceding vehicle are all vehicles .
본 발명의 다른 측면에 따른 선행 차량 인식 장치는, 호스트 차량의 전방 영상을 촬영하는 카메라부; 상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부; 상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들을 각기 추적하여 궤적을 생성하며, 상기 객체들에 중첩 궤적이 생성되었는지 체크하고, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 상기 추정한 차선 정보, 객체 궤적 정보, 및 객체가 있는 해당 차로 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a preceding vehicle recognizing apparatus including: a camera section for photographing a forward image of a host vehicle; A sensor unit including a vehicle speed sensor, a steering angle sensor, and a yaw sensor for detecting movement amount and heading information of the host vehicle; The control unit may process the forward image to calculate lane information and position information of the objects, generate trajectories by tracing the objects, check whether overlapping trajectories are generated in the objects, Estimates the distance between the object and the object, calculates the probability that the object is present in the host vehicle, estimates the host vehicle's preceding vehicle based on the estimated lane information, object locus information, A controller for recognizing the object as a preceding vehicle if the probability of the host vehicle is greater than or equal to a predetermined threshold, and recognizing a nearby object as a preceding vehicle when there are two or more objects; And a control unit.
본 발명에 있어서, 상기 제어부는, 상기 객체의 궤적을 생성하기 위하여, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 상기 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 한다.In the present invention, the controller may perform a coordinate transformation to generate a locus of the object to create a relative coordinate system at a start position of the host vehicle, compensate for the amount of movement and heading information of the host vehicle, And calculates object position information and lane information in a coordinate system.
본 발명에 있어서, 상기 제어부는, 상기 차선 정보를 안정화하기 위하여, 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선 정보의 노이즈를 제거하며, 또한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 한다.In the present invention, in order to stabilize the lane information, the control unit removes noise of the lane information by using an exponential filter or a Kalman filter, and further reduces the capacity of the storage space , And the lanes are sampled at predetermined intervals in order to increase the efficiency of the calculation process.
본 발명에 있어서, 상기 제어부는, 상기 중첩 궤적이 생성되는지 체크하기 위하여, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 한다.In the present invention, in order to check whether the superimposed trajectory is generated, the control unit finds two trajectory samples closest to the position of an object, calculates a distance between the object and the line segment connecting the two trajectory samples And determining whether or not the superimposed trajectory is a trajectory according to whether or not the trajectory is less than or equal to a predetermined threshold value.
본 발명에 있어서, 상기 제어부는, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산함에 있어서, 상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 한다.In the present invention, in calculating the probability that the object is in a lane with the host vehicle, the control unit calculates the probability from the position of each object to the normal distribution based on the distance between the estimated object and the lane .
본 발명에 있어서, 상기 제어부는, 상기 차선 정보가 검출되지 않았거나 확률 기반으로 선행 차량을 인식할 수 없을 경우, 궤적 기반으로 선행 차량 후보를 선정하되, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 한다.In the present invention, if the lane information is not detected or the preceding vehicle can not be recognized based on the probability, the controller selects a preceding vehicle candidate based on a trajectory, and if the preceding vehicle candidate object is a trajectory of another object Checking whether the host vehicle overlaps the locus when the trajectory of another object overlaps the trajectory of the other object, and if the host vehicle also overlaps the trajectory, judges the candidate object as the preceding vehicle, And the host vehicle does not judge the candidate object as a preceding vehicle when the host vehicle does not overlap the corresponding trajectory.
본 발명의 일 측면에 따르면, 본 발명은 차선 정보가 있을 경우에 차선 인식을 안정화하고 차량의 위치 확률에 기초하여 선행 차량을 인식하고, 차선 정보가 없을 경우에는 전방 차량들의 궤적을 이용하여 선행 차량을 인식할 수 있도록 함으로써, 좀 더 안정적이고 정확하게 선행 차량을 인식할 수 있도록 한다.According to one aspect of the present invention, the present invention stabilizes lane recognition in the presence of lane information, recognizes a preceding vehicle based on the location probability of the vehicle, and uses the trajectory of the preceding vehicles So that it is possible to recognize the preceding vehicle more stably and accurately.
도 1은 본 발명의 일 실시예에 따른 선행 차량 인식 장치의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 선행 차량 인식 방법을 설명하기 위한 흐름도.
도 3은 상기 도 2에 있어서, 호스트 차량을 기준으로 산출되는 차선 정보와 객체 위치 정보를 보인 예시도.
도 4는 상기 도 2에 있어서, 중첩 궤적이 생성된 객체를 체크하는 방법을 설명하기 위하여 보인 예시도.
도 5는 상기 도 4에 있어서, 중첩 궤적이 생성된 객체 간의 관계를 테이블 형태로 보인 예시도.
도 6은 상기 도 2에 있어서, 좌/우의 두 차선과 객체 간의 거리에 기초하여 해당 각체가 각 차로에 존재할 확률을 연산하는 방법을 설명하기 위한 예시도.
도 7은 본 발명의 일 실시예에 따라 인식한 선행 차량을 HUD에 표시하는 방법을 설명하기 위하여 보인 예시도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is an exemplary diagram showing a schematic configuration of a preceding vehicle recognition apparatus according to an embodiment of the present invention; Fig.
2 is a flowchart illustrating a preceding vehicle recognition method according to an embodiment of the present invention.
3 is an exemplary view showing lane information and object position information calculated based on a host vehicle in FIG.
FIG. 4 is an exemplary diagram for explaining a method for checking an object in which a superimposed trajectory is generated, in FIG. 2; FIG.
FIG. 5 is an exemplary diagram showing a relationship between objects in which overlapping trajectories are generated, in the form of a table in FIG. 4; FIG.
FIG. 6 is an exemplary view for explaining a method of calculating a probability that a corresponding gem exists in each lane based on a distance between two lanes of a left / right and an object in FIG. 2; FIG.
FIG. 7 is an exemplary diagram for illustrating a method of displaying a recognized preceding vehicle on the HUD according to an embodiment of the present invention; FIG.
이하, 첨부된 도면을 참조하여 본 발명에 따른 선행 차량 인식 방법과 장치의 일 실시예를 설명한다. Hereinafter, an embodiment of a method and apparatus for recognizing a preceding vehicle according to the present invention will be described with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 선행 차량 인식 장치의 개략적인 구성을 보인 예시도이다.FIG. 1 is an exemplary diagram showing a schematic configuration of a preceding vehicle recognizing apparatus according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 실시예에 따른 선행 차량 인식 장치는, 카메라부(110), 센서부(120), 제어부(130), 정보 입력부(140), 및 정보 출력부(150)를 포함한다.1, the preceding vehicle recognizing apparatus according to the present embodiment includes a
상기 카메라부(110)는 차량의 전면에 장착되어 자차의 전방 영상을 촬영한다. 또한 상기 카메라부(110)는 전방의 차선 형상(도로 형상), 전방 차량의 크기 및 종류 판단을 위한 정보를 제공한다.The
상기 제어부(130)는 상기 카메라부(110)에서 촬영한 영상 프레임을 이용하여 객체(즉, 전방 차량)의 궤적 및 차선 등을 검출한다.The
상기 센서부(120)는 레이더(radar) 센서나 적외선 센서 등을 이용해 전방에서 주행하는 객체(즉, 전방 차량)와 호스트 차량 간의 거리를 측정한다.The
상기 정보 입력부(140)는 호스트 차량에 자체적으로 구비되어 있는 센서(예 : 차속 센서, 조향각 센서, 자이로 센서, 요레이트(Yaw rate) 센서, 지피에스 센서 등)를 이용해 차량의 자세, 속도, 헤딩각 등의 차량정보를 검출한다.The
여기서, 요 레이트 센서는 차량의 선회여부 및 주행 차선 이탈여부를 확인하는데 사용되고, 자이로 센서는 경사구간 및 곡선구간 진입여부를 판단하는데 사용되며 경사도를 측정한다. Here, the yaw rate sensor is used to check whether the vehicle is turning or leaving the driving lane, and the gyro sensor is used to determine whether to enter the slope section or the curve section, and measures the slope.
또한 상기 정보 입력부(140)는 내비게이션 단말(미도시)과 연동하여 주행 도로의 형상(예 : 직선로, 경사로, 곡선로 등)에 대한 정보, 및 호스트 차량의 위치와 현재 주행하고 있는 지도 데이터(또는 지도 정보)를 전송받을 수 있다.The
상기 정보 출력부(150)는 AVN(Audio Video Navigation) 장치의 디스플레이 수단, 또는 헤드 업 디스플레이(Head Up Display, HUD) 등을 통해 선행 차량 정보를 표시한다. The
상기 제어부(130)는 상기 카메라부(110)를 통해 촬영된 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하며, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체(즉, 전방 객체)를 선행 차량으로서 인식한다. The
그리고 상기 제어부(130)는 상기 인식한(또는 판단한) 차선, 객체(즉, 전방 차량), 및 선행 차량을 판단하여 상기 정보 출력부(150)(예 : AVN, HUD 등)를 통해 표시하거나 음성을 이용한 안내 동작을 수행할 수 있으며(도 7 참조), 또는 선행 차량 정보를 다른 시스템(예 : 스마트 크루즈 컨트롤 시스템, 자율주행 시스템 등)에 출력할 수도 있다. The
이하 상기 제어부(130)의 구체적인 동작에 대해서 도 2의 흐름도를 참조하여 설명한다.Hereinafter, a specific operation of the
도 2는 본 발명의 일 실시예에 따른 선행 차량 인식 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of recognizing a preceding vehicle according to an embodiment of the present invention.
도 2를 참조하면, 제어부(130)는 카메라부(110)를 통해 입력되는 영상을 처리하여 차선 정보와 객체(즉, 전방 차량) 위치 정보를 산출한다. Referring to FIG. 2, the
여기서 상기 차선 정보와 객체(즉, 전방 차량) 위치 정보는 호스트 차량(즉, 자차)을 기준으로 산출되는 정보이다.Here, the lane information and object (i.e., forward vehicle) position information are information calculated based on the host vehicle (i.e., a vehicle).
상기 제어부(130)는 상기 객체(즉, 전방 차량)의 궤적을 생성하기 위해 좌표 변환을 수행한다.The
상기 제어부(130)는 상기 호스트 차량의 시작 위치에서 상대좌표계를 만들고, 도 3에 도시된 바와 같이, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 객체(즉, 전방 차량) 위치 정보와 차선 정보를 산출한다(S101).The
상기 산출된 객체(즉, 전방 차량) 위치 정보와 차선 정보는, 정보 출력부(150)(예 : 디스플레이 수단, HUD 등)를 통해, 도 3에 도시된 바와 같이 표시될 수 있다.The calculated object (i.e., forward vehicle) position information and lane information may be displayed through the information output unit 150 (e.g., display means, HUD, etc.) as shown in FIG.
여기서 상기 호스트 차량의 이동량과 헤딩(heading) 정보는, 차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보 등을 이용하여 계산할 수 있다.Here, the movement amount and heading information of the host vehicle can be calculated using the vehicle speed sensor information, the steering angle sensor information, and the yaw sensor information.
도 3은 상기 도 2에 있어서, 호스트 차량을 기준으로 산출되는 차선 정보와 객체(즉, 전방 차량) 위치 정보를 보인 예시도이다.FIG. 3 is an exemplary diagram showing lane information and object information (ie, forward vehicle) position information calculated based on the host vehicle in FIG. 2; FIG.
도 3에 도시된 바와 같이, 상기 제어부(130)는 카메라부(110)를 통해 입력되는 영상을 미리 설정된 방식으로 처리하여, 차선 정보와 객체(즉, 전방 차량) 위치 정보를 산출할 수 있다. As shown in FIG. 3, the
이때 상기 제어부(130)는 각 객체(즉, 전방 차량)들을 구별하기 위해서 각기 아이디(ID)를 지정할 수 있으며, 표시를 위해서 각 객체(즉, 전방 차량)별로 색상을 지정할 수도 있다.At this time, the
여기서 상기 객체들(예 : ID 1 ~ ID 4) 중 호스트 차량이 주행하는 동일한 차로에서 보다 앞서 주행하는 객체(예 : ID 2)가 선행 차량이 된다.Here, an object (for example, ID 2) running ahead of the host vehicle in the same lane on which the host vehicle travels becomes the preceding vehicle among the objects (for example,
다시 도 2를 참조하면, 상기 제어부(130)는 차선 정보(또는 차선 데이터)를 안정화하기 위해 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선의 노이즈를 제거하여 보다 정확한 차선을 추정한다(S102). Referring back to FIG. 2, the
이때 상기 제어부(130)는 저장 공간(또는 메모리 공간)의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여, 도 3에 도시된 바와 같이, 차선을 기 지정된 일정 간격으로 샘플링 한다.At this time, the
상기와 같이 제어부(130)는 상기 카메라부(110)를 통해 촬영한 영상을 처리하여 인식한 객체(즉, 전방 차량)들에 아이디(ID)를 할당하여 추적한다(S103). As described above, the
예컨대 상기 제어부(130)는 연속된 영상 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹 한다.For example, the
또한 상기 제어부(130)는, 도 3에 도시된 바와 같이, 상기 각 '추적 객체'에 대하여 궤적을 생성한다(S104).Also, as shown in FIG. 3, the
여기서 상기 궤적은 각 객체의 이동 경로를 나타내며, 상기 궤적 생성 시 필요한 저장 공간(또는 메모리 공간)의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 샘플링 한다.Here, the trajectory represents the movement path of each object, and sampling is performed at predetermined predetermined intervals to reduce the capacity of the storage space (or memory space) required for generating the trajectory and increase the efficiency of the computation process.
또한 상기 제어부(130)는 상기 각 객체의 궤적이 서로 겹치는 경우가 있는지(즉, 중첩 궤적이 생성되었는지)를 서칭(또는 체크)한다(S105).Also, the
예컨대 상기 중첩 궤적이 생성되는지 서칭(또는 체크)하는 단계(S105)(즉, 상기 각 객체의 위치가 다른 객체의 궤적과 겹치는지를 판단하는 단계)는, 도 4에 도시된 바와 같이, 어느 하나의 객체(즉, 전방 차량)(예 : ID 2)의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지를 보고 중첩 궤적인지를 판단할 수 있다.For example, the step of checking (or checking) whether the superimposed trajectory is generated (step S105) (i.e., determining whether the position of each object overlaps with the trajectory of another object) Finds two trajectory samples that are closest to the position of the object (i.e., the preceding vehicle) (e.g., ID 2), calculates the distance between the object and the line segment connecting the two trajectory samples and determines whether the distance is below a predetermined threshold value It can be judged whether or not it is a superimposed trajectory.
도 4는 상기 도 2에 있어서, 중첩 궤적이 생성된 객체를 체크하는 방법을 설명하기 위하여 보인 예시도이고, 도 5는 상기 도 4에 있어서, 중첩 궤적이 생성된 객체 간의 관계를 테이블 형태로 보인 예시도이다.FIG. 4 is a diagram for explaining a method of checking an object in which a superimposed trajectory is generated in FIG. 2, and FIG. 5 is a diagram illustrating a relationship between objects in which superimposed trajectories are generated, Fig.
상기 도 4와 도 5를 참조하면, 중첩 궤적이 생성된 객체(예 : ID 1, ID 2)가 무엇인지를 쉽게 알 수 있다.Referring to FIG. 4 and FIG. 5, it can be easily known what object (for example,
또한 상기 제어부(130)는 상기 차선이 인식되었을 때(또는 차선 정보가 산출되었을 때) 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리(즉, 객체-차선 간 거리)를 추정한다(S106).Further, the
예컨대 상기 제어부(130)는, 도 6에 도시된 바와 같이, 각 객체의 위치에서 가장 가까운 좌/우의 두 차선 샘플을 찾고, 상기 좌/우의 두 차선 샘플을 연결한 선분과 객체 간의 거리를 계산(또는 추정)한다. 여기서 상기 좌/우의 두 차선과 객체 간의 거리 계산은 좌/우 차선 각각에 대해서 수행한다.For example, as shown in FIG. 6, the
또한 상기 제어부(130)는 상기 차선이 인식되었을 때(또는 차선 정보가 산출되었을 때) 객체(즉, 전방 차량)가 해당 차로에 있을 확률을 연산한다(S107).Also, the
예컨대 호스트 차량(즉, 자차)을 기준으로 좌 차로/가운데 차로/우 차로의 3차로가 있다고 가정할 때, 객체가 상기 3차로의 각 차로에 대해 존재할 확률을 연산하는데 있어서, 상기 제어부(130)는, 도 6에 도시된 바와 같이, 상기 추정한 객체-차선 간 거리에 기초하여 각 객체의 위치에서 정규 분포(또는 확률 분포)로 확률을 연산하고, 각 객체별로 연산된 확률을 지정된 시간 간격으로 누적(예 : 확률 값을 노멀라이징(normalizing)하여 생성된 빈(bin)의 보팅(Voting) 값을 누적)한다. 실질적으로 상기 누적한 값에 의해 객체가 있는 차로를 추정하게 된다.For example, assuming that there are three lanes of a left lane, a middle lane, and a right lane on the basis of a host vehicle (that is, a child car), the
도 6은 상기 도 2에 있어서, 좌/우의 두 차선과 객체 간의 거리에 기초하여 해당 객체가 각 차로에 존재할 확률을 연산하는 방법을 설명하기 위한 예시도이다.FIG. 6 is an exemplary diagram for explaining a method of calculating a probability that a corresponding object exists in each lane based on a distance between two lanes of a left / right and an object, in FIG.
또한 상기 제어부(130)는 상기 추정한 정보들(예 : 차선, 객체 궤적, 객체가 있는 해당 차로 등)을 바탕으로 호스트 차량의 선행 차량을 추정한다(S108).Also, the
예컨대 상기 제어부(130)는 차선이 인식되었을 경우(또는 차선 정보가 검출되었을 경우)에는 각 객체별 위치 확률 중 가운데 차로 확률이 미리 정해 놓은 임계치(예 : 상기 보팅 값에 대한 임계치) 이상이 되면 해당 객체를 선행 차량으로 인식하고, 만약 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식한다. For example, when the lane is recognized (or the lane information is detected), the
그러나 차선이 인식되지 않았거나(또는 차선 정보가 검출되지 않았거나) 확률 기반으로 선행 차량을 인식할 수 없을 경우, 상기 제어부(130)는 궤적 기반으로 선행 차량 후보를 선정한다. However, if the lane is not recognized (or the lane information is not detected) or if the preceding vehicle can not be recognized based on probability, the
예컨대 상기 제어부(130)는 호스트 차량 위치에서 각 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾는다. 이때 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체가 선행 차량 후보가 되며, 임계치 이하가 되는 궤적이 2개 이상이면(예 : 같은 차로에서 2개 이상의 차량이 근접한 거리에서 앞뒤로 연속해서 주행하고 있는 경우) 다른 객체의 궤적에 중첩하고 있는 객체가 선행 차량 후보 객체가 된다. 다음 상기 제어부(130)는 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 2개 이상의 객체 중 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고, 상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는다.For example, the
다음 상기와 같이 차선, 객체(즉, 전방 차량), 및 선행 차량을 판단(인식)하면, 상기 제어부(130)는, 도 7에 도시된 바와 같이, 차량에 장착된 정보 출력부(150)(예 : AVN, HUD 등)를 통해 선행 차량을 표시(예 : 전방 차량과 구분되게 하는 테두리 등의 시각적인 표시)하거나 음성을 이용해 선행 차량 정보에 대한 안내 동작을 수행한다.7, when the lane, the object (i.e., the forward vehicle) and the preceding vehicle are judged (recognized) as described above, the
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand the point. Accordingly, the technical scope of the present invention should be defined by the following claims.
110 : 카메라부
120 : 센서부
130 : 제어부
140 : 정보 입력부
150 : 정보 출력부110:
120:
130:
140: Information input unit
150: Information output section
Claims (22)
상기 제어부가 상기 객체들을 각기 추적하여 궤적을 생성하는 단계;
상기 제어부가 상기 객체들에 중첩 궤적이 생성되었는지 체크하는 단계;
상기 차선 정보가 산출되면, 상기 제어부가 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하고, 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하는 단계; 및
상기 제어부가 상기 산출하거나 생성한 적어도 하나 이상의 기 지정된 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 단계;를 포함하되,
상기 차선 정보가 검출되지 않았거나, 확률 기반으로 선행 차량을 인식할 수 없을 경우,
상기 제어부는,
궤적 기반으로 선행 차량 후보 객체를 선정하고, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고,
상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 하는 선행 차량 인식 방법.
The control unit processes the image input through the camera unit to calculate the lane information and the position information of the objects;
The control unit tracing the objects to generate a trajectory;
Checking whether a superimposed trajectory is generated in the objects;
Estimating a distance between the left / right lane and each object based on the host vehicle, and calculating a probability that the object is in a lane with the host vehicle, when the lane information is calculated; And
The control unit estimates a preceding vehicle of the host vehicle based on at least one or more previously designated information calculated or generated, and when the host vehicle is present among the position probabilities of the respective objects, the vehicle probability is equal to or greater than a predetermined threshold, And recognizing a nearby object as a preceding vehicle when the number of objects is two or more,
If the lane information is not detected or the preceding vehicle can not be recognized based on probability,
Wherein,
A candidate for a preceding vehicle candidate is selected based on a trajectory, and a check is made as to whether the candidate candidate for the preceding vehicle overlaps the trajectory of another object. If the candidate for the preceding vehicle overlaps the trajectory of another object, and,
Wherein the host vehicle also determines the candidate object as a preceding vehicle when the corresponding trajectory is superimposed, and does not determine the candidate object as a preceding vehicle when the host vehicle does not overlap the corresponding trajectory .
차선 정보, 객체의 궤적 정보, 및 객체가 있는 해당 차로 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 선행 차량 인식 방법.
The method of claim 1, wherein the at least one pre-
Lane information, trajectory information of an object, and corresponding lane information with an object.
호스트 차량을 기준으로 산출되는 정보인 것을 특징으로 하는 선행 차량 인식 방법.
2. The method of claim 1, wherein the lane information and the location information of the objects include:
Wherein the information is calculated based on the host vehicle.
상기 제어부는, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고,
상기 제어부는, 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 하는 선행 차량 인식 방법.
2. The method of claim 1, further comprising:
The control unit performs coordinate transformation to create a relative coordinate system at a start position of the host vehicle,
Wherein the control unit calculates object position information and lane information in the relative coordinate system by compensating movement amount and heading information of the host vehicle.
차속 센서 정보, 조향각 센서 정보, 및 요(Yaw)센서 정보를 이용하여 산출되는 것을 특징으로 하는 선행 차량 인식 방법.
5. The method of claim 4, wherein the amount of movement and heading information of the host vehicle
The vehicle speed sensor information, the steering angle sensor information, and the yaw sensor information.
상기 제어부는,
각 객체별 아이디(ID)를 지정할 수 있으며, 선행 차량의 표시를 위해서 각 객체별 색상을 지정할 수 있음을 특징으로 하는 선행 차량 인식 방법.
The method of claim 1, further comprising:
Wherein,
(ID) of each object can be specified, and the color of each object can be designated for display of the preceding vehicle.
상기 제어부는, 기 설정된 필터를 이용하여 차선의 노이즈를 제거하며, 또한
저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 하는 선행 차량 인식 방법.
The method according to claim 1, wherein, in order to stabilize the lane information,
The control unit removes noise in the lane using a predetermined filter,
Wherein the lanes are sampled at predetermined intervals in order to reduce the capacity of the storage space and to increase the efficiency of the calculation process.
상기 카메라부를 통해 입력되는 연속된 영상의 프레임 간의 객체들을 거리와 궤적방향 기반으로 추적하여, 연속성이 있는 객체를 '추적 객체'로서 마스킹하고, 신규 생성된 객체를 '생성 객체'로서 마스킹하며, 더 이상 존재하지 않는 객체를 '소멸 객체'로서 각기 마스킹하여 관리하는 것을 특징으로 하는 선행 차량 인식 방법.
The apparatus of claim 1,
Tracks the objects between frames of a continuous image inputted through the camera unit based on the distance and the trajectory direction, masks the continuity object as a 'tracking object', masks the newly generated object as a 'generated object' Wherein each of the objects is masked as a 'destruction object'.
상기 제어부는,
추적 객체에 대한 궤적 생성 시 필요한 저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 기 지정된 일정 간격으로 객체의 이동 경로를 샘플링 하는 것을 특징으로 하는 선행 차량 인식 방법.
2. The method according to claim 1, wherein, in the step of tracing each of the objects to generate a trajectory, the trajectory represents a movement path of the object,
Wherein,
Wherein the moving path of the object is sampled at predetermined intervals in order to reduce the capacity of the storage space required for creating the trajectory of the tracked object and to increase the efficiency of the calculation process.
어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 하는 선행 차량 인식 방법.
2. The method of claim 1, wherein checking whether the overlapping trajectory is generated comprises:
The two trajectory samples that are closest to the position of any one object are searched and the distance between the line segment and the object connecting the two trajectory samples is calculated to determine whether or not the trajectory is a superimposed trajectory depending on whether the difference is less than a predetermined threshold value Of the preceding vehicle.
상기 제어부는,
상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 하는 선행 차량 인식 방법.
2. The method of claim 1, wherein, in calculating the probability,
Wherein,
And calculating a probability from a position of each object to a normal distribution based on the distance between the estimated object and the lane.
상기 궤적 기반으로 선행 차량 후보를 선정하기 위하여,
상기 제어부는,
호스트 차량 위치에서 각 객체의 궤적들과의 거리를 계산하여 미리 설정된 임계치 이하가 되는 궤적들을 찾고, 상기 임계치 이하가 되는 궤적이 1개 이면 해당 궤적의 객체를 선행 차량 후보로 선정하며, 상기 임계치 이하가 되는 궤적이 2개 이상이면 다른 객체의 궤적에 중첩하고 있는 객체를 선행 차량 후보 객체로 선정하는 것을 특징으로 하는 선행 차량 인식 방법.
The method according to claim 1,
In order to select a preceding vehicle candidate based on the trajectory,
Wherein,
Calculating a distance between the trajectory of each object and a trajectory of each object at a host vehicle position to find trajectories that fall below a predetermined threshold value and selecting an object of the trajectory as a preceding vehicle candidate if the trajectory is less than the threshold value, Is selected as a preceding vehicle candidate object when the number of trajectories to be traced is two or more.
상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부;
상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들 중 호스트 차량이 있는 차로에 있는 객체들을 추정하고, 상기 호스트 차량이 있는 차로에 있는 것으로 추정된 객체들 중 상기 호스트 차량에 가장 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하되,
상기 제어부는,
상기 차선 정보가 검출되지 않았거나 확률 기반으로 선행 차량을 인식할 수 없을 경우, 궤적 기반으로 선행 차량 후보를 선정하되,
상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩하는지를 체크하여, 상기 선행 차량 후보 객체가 다른 객체의 궤적을 중첩할 경우 호스트 차량도 해당 궤적을 중첩하는지를 체크하고,
상기 호스트 차량도 해당 궤적을 중첩할 경우 상기 후보 객체를 선행 차량으로 판단하며, 상기 호스트 차량이 해당 궤적을 중첩하지 않을 경우에 상기 후보 객체는 선행 차량으로 판단하지 않는 것을 특징으로 하는 선행 차량 인식 장치.
A camera unit for photographing a forward image of the host vehicle;
A sensor unit including a vehicle speed sensor, a steering angle sensor, and a yaw sensor for detecting movement amount and heading information of the host vehicle;
Estimating objects in the lane on which the host vehicle exists among the objects, estimating objects in the lane on which the host vehicle exists, processing the forward image to calculate lane information and position information of the objects, And a controller for recognizing the object closest to the vehicle as a preceding vehicle,
Wherein,
If the lane information is not detected or the preceding vehicle can not be recognized based on the probability, the leading vehicle candidate is selected based on the trajectory,
Checking whether the preceding vehicle candidate object overlaps the trajectory of another object, checking whether the host vehicle also overlaps the trajectory when the preceding vehicle candidate object overlaps the trajectory of another object,
Wherein the host vehicle also determines the candidate object as a preceding vehicle when the corresponding trajectory is overlapped and does not determine the candidate object as a preceding vehicle when the host vehicle does not overlap the corresponding trajectory. .
상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고,
각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하되, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 것을 특징으로 하는 선행 차량 인식 장치.
15. The apparatus of claim 14,
Estimating a distance between the left / right lane and each object based on the host vehicle, calculating a probability that the object is present in the host vehicle,
Recognizing the object as a preceding vehicle when the probability of the host vehicle is greater than a predetermined threshold, and recognizing a nearby object as a preceding vehicle when the number of objects is two or more. A preceding vehicle recognition device.
상기 호스트 차량의 전방에서 주행하는 차량으로서,
상기 호스트 차량의 바로 앞에서 주행하는 객체가 선행 차량이 되고, 상기 선행 차량에 해당하는 객체를 제외한 나머지 객체는 모두 전방 차량인 것을 특징으로 하는 선행 차량 인식 장치.
15. The method of claim 14,
As a vehicle running in front of the host vehicle,
Wherein the object to be driven immediately before the host vehicle is a preceding vehicle, and all objects other than the object corresponding to the preceding vehicle are forward vehicles.
상기 호스트 차량의 이동량과 헤딩(heading) 정보 검출을 위한 차속 센서, 조향각 센서, 및 요(Yaw)센서를 포함하는 센서부;
상기 전방 영상을 처리하여 차선 정보와 객체들의 위치 정보를 산출하고, 상기 객체들을 각기 추적하여 궤적을 생성하며, 상기 객체들에 중첩 궤적이 생성되었는지 체크하고, 상기 호스트 차량을 기준으로 좌/우 차선과 각 객체 간의 거리를 추정하여 해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산하고, 상기 추정한 차선 정보, 객체 궤적 정보, 및 객체가 있는 해당 차로 정보에 기초하여 호스트 차량의 선행 차량을 추정하되, 각 객체별 위치 확률 중 호스트 차량이 존재하는 가운데 차로 확률이 미리 정해 놓은 임계치 이상이 되면 해당 객체를 선행 차량으로 인식하고, 객체가 2개 이상일 경우에는 가까운 객체를 선행 차량으로 인식하는 제어부;를 포함하는 것을 특징으로 하는 선행 차량 인식 장치.
A camera unit for photographing a forward image of the host vehicle;
A sensor unit including a vehicle speed sensor, a steering angle sensor, and a yaw sensor for detecting movement amount and heading information of the host vehicle;
The control unit may process the forward image to calculate lane information and position information of the objects, generate trajectories by tracing the objects, check whether overlapping trajectories are generated in the objects, Estimates the distance between the object and the object, calculates the probability that the object is present in the host vehicle, estimates the host vehicle's preceding vehicle based on the estimated lane information, object locus information, A controller for recognizing the object as a preceding vehicle if the probability of the host vehicle is greater than or equal to a predetermined threshold, and recognizing a nearby object as a preceding vehicle when there are two or more objects; Wherein the preceding vehicle recognizing device comprises:
상기 객체의 궤적을 생성하기 위하여, 좌표 변환을 수행하여 호스트 차량의 시작 위치에서 상대좌표계를 만들고,
상기 호스트 차량의 이동량과 헤딩(heading) 정보를 보상하여 상기 상대좌표계에서의 객체 위치 정보와 차선 정보를 산출하는 것을 특징으로 하는 선행 차량 인식 장치.
18. The apparatus of claim 17,
In order to generate the trajectory of the object, a coordinate transformation is performed to create a relative coordinate system at the start position of the host vehicle,
And calculates the object position information and the lane information in the relative coordinate system by compensating the movement amount and the heading information of the host vehicle.
상기 차선 정보를 안정화하기 위하여, 익스포넨셜 필터(exponential filter)나 칼만 필터(kalman filter)를 이용하여 차선 정보의 노이즈를 제거하며, 또한
저장 공간의 용량을 줄이고, 연산 과정의 효율성을 증대하기 위하여 차선을 기 지정된 일정 간격으로 샘플링 하는 것을 특징으로 하는 선행 차량 인식 장치.
18. The apparatus of claim 17,
In order to stabilize the lane information, noise of the lane information is removed by using an exponential filter or a Kalman filter,
Wherein the lanes are sampled at predetermined intervals in order to reduce the capacity of the storage space and to increase the efficiency of the calculation process.
상기 중첩 궤적이 생성되는지 체크하기 위하여, 어느 하나의 객체의 위치와 가장 가까운 두 개의 궤적 샘플을 찾고, 상기 두 개의 궤적 샘플을 연결한 선분과 객체 간의 거리를 계산하여 미리 정해 놓은 임계치 이하가 되는지 여부에 따라 중첩 궤적인지를 판단하는 것을 특징으로 하는 선행 차량 인식 장치.
18. The apparatus of claim 17,
In order to check whether the superimposed trajectory is generated, two trajectory samples that are closest to the position of an object are searched, and the distance between the object and the line segment connecting the two trajectory samples is calculated to determine whether it is below a predetermined threshold And determining whether the vehicle is a superimposed trajectory according to the detected position.
해당 객체가 호스트 차량이 있는 차로에 있을 확률을 연산함에 있어서,
상기 추정한 객체와 차선 간의 거리에 기초하여, 각 객체의 위치에서 정규 분포로 확률을 연산하는 것을 특징으로 하는 선행 차량 인식 장치.
18. The apparatus of claim 17,
In computing the probability that the object is in a lane with a host vehicle,
And calculates a probability from a position of each object to a normal distribution based on the distance between the estimated object and the lane.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170042929A KR101826628B1 (en) | 2017-04-03 | 2017-04-03 | Preceding vehicle recognizing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170042929A KR101826628B1 (en) | 2017-04-03 | 2017-04-03 | Preceding vehicle recognizing method and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101826628B1 true KR101826628B1 (en) | 2018-02-08 |
Family
ID=61232275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170042929A KR101826628B1 (en) | 2017-04-03 | 2017-04-03 | Preceding vehicle recognizing method and apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101826628B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10832578B2 (en) | 2017-02-28 | 2020-11-10 | Mando Corporation | System and method for collision prevention |
US11501539B2 (en) | 2019-06-14 | 2022-11-15 | Hl Klemove Corp. | Vehicle control system, sensing device and sensing data processing method |
KR20240008223A (en) * | 2022-07-11 | 2024-01-18 | 주식회사 이화네트웍스 | Module and method for recognizing front vehicle in connected car environment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4555699B2 (en) * | 2005-02-01 | 2010-10-06 | 本田技研工業株式会社 | Leading vehicle recognition device |
JP2017056783A (en) * | 2015-09-15 | 2017-03-23 | 株式会社デンソー | Vehicle control device, and vehicle control method |
-
2017
- 2017-04-03 KR KR1020170042929A patent/KR101826628B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4555699B2 (en) * | 2005-02-01 | 2010-10-06 | 本田技研工業株式会社 | Leading vehicle recognition device |
JP2017056783A (en) * | 2015-09-15 | 2017-03-23 | 株式会社デンソー | Vehicle control device, and vehicle control method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10832578B2 (en) | 2017-02-28 | 2020-11-10 | Mando Corporation | System and method for collision prevention |
US10916143B2 (en) | 2017-02-28 | 2021-02-09 | Mando Corporation | System and method for intersection collision prevention |
US11501539B2 (en) | 2019-06-14 | 2022-11-15 | Hl Klemove Corp. | Vehicle control system, sensing device and sensing data processing method |
KR20240008223A (en) * | 2022-07-11 | 2024-01-18 | 주식회사 이화네트웍스 | Module and method for recognizing front vehicle in connected car environment |
KR102700666B1 (en) | 2022-07-11 | 2024-08-29 | 주식회사 이화네트웍스 | Module and method for recognizing front vehicle in connected car environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10019017B2 (en) | Autonomous driving system | |
US10310508B2 (en) | Vehicle control apparatus | |
EP3678113B1 (en) | Travel control method and travel control device for driving-assist vehicle | |
JP5747787B2 (en) | Lane recognition device | |
CN107646114B (en) | Method for estimating lane | |
EP3678110B1 (en) | Method for correcting positional error and device for correcting positional error in a drive-assisted vehicle | |
EP0810569B1 (en) | Lane detection sensor and navigation system employing the same | |
KR101573764B1 (en) | System and method for recognizing driving road of vehicle | |
US11526173B2 (en) | Traveling trajectory correction method, traveling control method, and traveling trajectory correction device | |
US9676412B2 (en) | Driving assistance apparatus and method | |
JP6654923B2 (en) | Map information output device | |
US20160327948A1 (en) | Misrecognition determination device | |
US9786172B2 (en) | Warning guidance system, method, and program that provide information to vehicle navigation systems | |
CN111194459B (en) | Evaluation of autopilot functions and road recognition in different processing phases | |
CN112644489A (en) | Lane following control apparatus and method | |
US20210402992A1 (en) | Apparatus and method for setting planned trajectory | |
KR20190045308A (en) | A vehicle judging method, a traveling path correcting method, a vehicle judging device, and a traveling path correcting device | |
KR101826628B1 (en) | Preceding vehicle recognizing method and apparatus | |
JP2018048949A (en) | Object recognition device | |
JP2005332192A (en) | Steering support system | |
KR20180039900A (en) | Apparatus and method for determining collision possibility according to traveling path scenario and controlling a vehicle | |
KR101588787B1 (en) | Method for determining lateral distance of forward vehicle and head up display system using the same | |
JP2007178271A (en) | Own position recognition system | |
JPH0789443A (en) | Automatic steering device for vehicle | |
CN109314763B (en) | Method and device for estimating vehicle-to-vehicle distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |