KR20180081997A - Pitch rate calculating method and system using a distance information of RADAR - Google Patents

Pitch rate calculating method and system using a distance information of RADAR Download PDF

Info

Publication number
KR20180081997A
KR20180081997A KR1020170003002A KR20170003002A KR20180081997A KR 20180081997 A KR20180081997 A KR 20180081997A KR 1020170003002 A KR1020170003002 A KR 1020170003002A KR 20170003002 A KR20170003002 A KR 20170003002A KR 20180081997 A KR20180081997 A KR 20180081997A
Authority
KR
South Korea
Prior art keywords
vehicle
radar
image
unit
pitch rate
Prior art date
Application number
KR1020170003002A
Other languages
Korean (ko)
Inventor
장재환
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020170003002A priority Critical patent/KR20180081997A/en
Publication of KR20180081997A publication Critical patent/KR20180081997A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/16—Pitch
    • G01S2013/9346—

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

The present invention discloses a system and a method for calculating a pitch rate using distance information of a radar, capable of calculating height coordinates of a forward vehicle using longitudinal distance information provided by a vehicle radar and a vehicle recognition result of a front camera, and calculating a pitch rate of a subject vehicle generated between frames by using variation of the height coordinates between a previous frame and a current frame. The pitch rate calculation system includes: a radar unit for transmitting a radar signal to a forward vehicle and obtaining a longitudinal distance between the forward vehicle and a subject vehicle using a reflected radar signal; an image acquiring unit for acquiring a forward image by photographing a front side of the subject vehicle with a camera; an image processing unit for processing the obtained forward image to recognize the forward vehicle and storing the recognized forward vehicle image in a unit of frames; and a control unit for calculating the pitch rate of the subject vehicle using the longitudinal distance information obtained from the radar unit and the forward vehicle image information recognized through the image processing unit. According to the present invention, it is possible to accurately estimate the pitch rate of the subject vehicle during traveling of the vehicle.

Description

레이다 거리 정보를 이용한 피치 레이트 산출 시스템 및 방법{Pitch rate calculating method and system using a distance information of RADAR}[0001] The present invention relates to a pitch rate calculating method and system using a radar distance information,

본 발명은 레이다 거리 정보를 이용한 피치 레이트 산출 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 차량 레이다에서 제공하는 종방향 거리 정보와 전방 카메라의 차량 인식 결과를 이용하여 전방 차량의 높이 좌표를 계산하고, 이전 프레임과 현재 프레임에 대한 프레임 간 전방 차량의 높이 좌표 변화량을 이용하여 프레임 간에 발생한 자차의 피치 레이트(Pitch rate)를 산출할 수 있도록 하는, 레이다 거리 정보를 이용한 피치 레이트 산출 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for calculating a pitch rate using radar distance information, more specifically, calculating height coordinates of a front vehicle using longitudinal distance information provided by a vehicle radar and a vehicle recognition result of a front camera, The present invention relates to a system and method for calculating a pitch rate using radar distance information, which can calculate a pitch rate of a vehicle generated between frames by using a change amount of a height coordinate of a front vehicle between frames for a current frame and a frame.

일반적으로, 선행 차량의 속도와 위치를 레이다 혹은 카메라 등의 센서로 인식하여 자차와 충돌이 예상되면 자동으로 제동하여 충돌을 방지하기 위한 자동 긴급 제동(Autonomous Emergency Braking : AEB) 시스템의 적용이 확대되고 있다. Generally, the application of the autonomous emergency braking (AEB) system to prevent collision by automatically braking when the collision with the vehicle is anticipated by recognizing the speed and position of the preceding vehicle as a sensor such as a radar or a camera is expanded have.

자동 긴급 제동 시스템은 선행 차량과 충돌할 때까지의 시간(TTC : Time To Collision)을 인자로 가지고 있으며, 이러한 TTC가 너무 짧은 경우 제동시간이 충분하지가 않아 충돌이 발생할 확률이 높아지며, 너무 길게 되면 잦은 자동 제동으로 인한 불편함이 발생할 수 있다. The automatic emergency braking system has a time to collision (TTC) as a factor, and if the TTC is too short, there is not enough braking time to increase the probability of collision, This can cause discomfort due to frequent automatic braking.

차속이 높아지면 차량을 제동하는 데에 보다 큰 제동력이 필요하고, 브레이크가 큰 제동력을 발휘하려면 큰 유압이 있어야 하고, 유압이 없는 상태에서 유압을 생성하는 동안에는 제동력이 생성되지 않으므로 브레이크 유압을 미리 생성(prefill)하여 필요한 경우 즉각적으로 제동할 수 있는 준비를 하게 된다.If the vehicle speed is high, a greater braking force is required to braking the vehicle. In order to exert a braking force with a large brake force, a large hydraulic pressure must be present. Since the braking force is not generated while the hydraulic pressure is being generated without the hydraulic pressure, (prefill) to prepare for immediate braking if necessary.

한편, 차량이 주행하는 중에 전방 카메라만을 이용하여 자차의 피치 레이트를 추정하는 것은 부정확하다는 단점이 있다. 또한, 전방 카메라와 전방 레이다를 융합한 시스템에서 피치 레이트를 추정하는 것도 카메라 정보만을 이용하는 단점이 있다.On the other hand, it is disadvantageous to estimate the pitch rate of the vehicle using only the front camera while the vehicle is traveling. In addition, estimating the pitch rate in a system in which a front camera and a front radar are fused has a disadvantage in that only camera information is used.

한국 공개특허공보 제2015-0071568호(공개일 : 2015.06.26)Korean Laid-open Patent Publication No. 2015-0071568 (Publication date: June 26, 2015)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 차량 레이다에서 제공하는 종방향 거리 정보와 전방 카메라의 차량 인식 결과를 이용하여 전방 차량의 높이 좌표를 계산하고, 이전 프레임과 현재 프레임에 대한 프레임 간 전방 차량의 높이 좌표 변화량을 이용하여 프레임 간에 발생한 자차의 피치 레이트(Pitch rate)를 산출할 수 있도록 하는, 레이다 거리 정보를 이용한 피치 레이트 산출 시스템 및 방법을 제공함에 있다.It is an object of the present invention to solve the above-mentioned problems, and it is an object of the present invention to calculate height coordinates of a forward vehicle using longitudinal distance information provided by a vehicle radar and a vehicle recognition result of a front camera, And a pitch rate computing system and method using the radar distance information so as to calculate a pitch rate of a vehicle generated between frames by using a variation amount of the height coordinate of the front vehicle.

전술한 목적을 달성하기 위한 본 발명에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 시스템은, 전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 이용하여 전방 차량과 자차 간의 종방향 거리를 획득하는 레이다부; 상기 자차의 전방을 카메라로 촬영하여 전방 영상을 획득하는 영상 획득부; 상기 획득된 전방 영상을 처리하여 전방 차량을 인식하고, 인식된 전방 차량 영상을 프레임 단위로 저장하는 영상 처리부; 및 상기 레이다부에서 획득된 종방향 거리 정보와, 상기 영상 처리부를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트를 산출하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a pitch rate calculation system using radar distance information, the system comprising: a radar signal receiving unit for acquiring a longitudinal distance between a vehicle and a preceding vehicle by using a reflected radar signal reflected and reflected back to a preceding vehicle; Radar section; An image acquiring unit for acquiring a forward image by photographing a front side of the vehicle with a camera; An image processing unit for processing the obtained forward image to recognize the forward vehicle and storing the recognized forward vehicle image in units of frames; And a control unit for calculating the pitch rate of the vehicle using the longitudinal distance information obtained from the radar unit and the forward vehicle image information recognized through the image processing unit.

또한, 상기 제어부는, 상기 인식된 전방 차량의 중심점을 산출하며, 상기 레이다부에서 획득된 종방향 거리 정보와 상기 전방 차량의 중심점에 근거해 전방 차량의 높이 좌표를 산출하며, 상기 전방차량 영상정보에서 이전 프레임과 현재 프레임 간의 높이 좌표 변화량(ΔY)을 산출하게 된다.The control unit calculates the center point of the recognized front vehicle, calculates the height coordinates of the front vehicle based on the vertical distance information obtained from the radar unit and the center point of the front vehicle, The height coordinate change amount? Y between the previous frame and the current frame is calculated.

그리고, 상기 제어부는, 상기 종방향 거리의 변화량(Zt)을 산출하고, 상기 산출된 높이 좌표 변화량(ΔY)을 상기 산출된 종방향 거리의 변화량(Zt)으로 나누어 프레임 간 자차의 피치 레이트(Δθ)를 산출하게 된다.And, the controller calculates the amount of change (Z t) of the longitudinal distance, and wherein the calculated cost height coordinate variation (ΔY) calculating the longitudinal distance change amount of (Z t) by dividing the deviation between the frame pitch rate, ([Delta] [theta]).

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 방법은, (a) 레이다부가 전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 수신하는 단계; (b) 제어부가 상기 수신된 반사 레이다 신호에 근거해 전방 차량과 자차 간의 종방향 거리를 산출하는 단계; (c) 영상 획득부에서 상기 자차의 전방을 카메라로 촬영하여 전방 영상을 획득하는 단계; (d) 영상 처리부에서 상기 획득된 전방 영상을 처리하여 전방 차량을 인식하는 단계; 및 (e) 제어부가 상기 레이다부에서 획득된 종방향 거리 정보와, 상기 영상 처리부를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트를 산출하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for calculating a pitch rate using radar distance information, the method including: (a) receiving a reflected radar signal transmitted from a radar unit to a preceding vehicle and reflected back; (b) calculating a longitudinal distance between the vehicle and the preceding vehicle based on the received reflected radar signal; (c) acquiring a forward image by capturing an image of a forward part of the vehicle in the image acquiring unit with a camera; (d) recognizing a forward vehicle by processing the obtained forward image in an image processing unit; And (e) calculating a pitch rate of the vehicle using the longitudinal distance information obtained from the radar unit and the forward vehicle image information recognized through the image processing unit.

또한, 상기 (d) 단계에서 상기 영상 처리부는, 상기 인식된 전방 차량 영상을 프레임 단위로 저장부에 저장하게 된다.Also, in the step (d), the image processing unit stores the recognized forward vehicle image in a storage unit on a frame-by-frame basis.

또한, 상기 (e) 단계에서 상기 제어부는, 상기 인식된 전방 차량의 중심점을 산출하며, 상기 레이다부에서 획득된 종방향 거리 정보와 상기 전방 차량의 중심점에 근거해 전방 차량의 높이 좌표를 산출하며, 상기 전방차량 영상정보에서 이전 프레임과 현재 프레임 간의 높이 좌표 변화량(ΔY)을 산출하게 된다.In the step (e), the control unit calculates a center point of the recognized front vehicle, calculates height coordinates of the front vehicle based on the vertical distance information obtained from the radar unit and the center point of the front vehicle , The height coordinate change amount? Y between the previous frame and the current frame is calculated in the preceding vehicle image information.

그리고, 상기 (e) 단계에서 상기 제어부는, 상기 종방향 거리의 변화량(Zt)을 산출하고, 상기 산출된 높이 좌표 변화량(ΔY)을 상기 산출된 종방향 거리의 변화량(Zt)으로 나누어 프레임 간 자차의 피치 레이트(Δθ)를 산출하게 된다.In addition, the controller in the step (e) is, by dividing the amount of change (Z t), the calculated height coordinate variation (ΔY) to calculate the of the longitudinal distance to the amount of change (Z t) of the calculated longitudinal distance The pitch rate ?? of the inter-frame sub-vehicle is calculated.

본 발명에 의하면, 레이다를 통한 종방향 거리 정보와, 전방 카메라의 차량 인식 결과를 이용하여 실세계 좌표에서 전방 차량의 높이 좌표를 산출하고, 산출한 높이 좌표의 변화량과 레이다를 통해 산출된 종방향 거리의 변화량을 이용해 자차의 피치 레이트를 획득할 수 있다.According to the present invention, height coordinates of the front vehicle in real world coordinates are calculated using the longitudinal distance information through the radar and the vehicle recognition result of the front camera, and the variation in the calculated height coordinates and the calculated longitudinal distance The pitch rate of the car can be obtained by using the change amount of the car.

따라서, 전방 카메라와 전방 레이다를 융합하여 피치 레이트를 추정할 수 있으며, 차량이 주행하는 중에 자차의 피치 레이트를 정확하게 추정할 수 있다.Therefore, the pitch rate can be estimated by fusing the front camera and the front radar, and the pitch rate of the vehicle can be estimated accurately while the vehicle is running.

도 1은 본 발명의 실시예에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 전방 카메라를 통해 획득한 전방 영상에서 전방 차량 및 중심점을 산출하는 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 레이다 신호를 이용하여 종방향 거리 정보를 산출하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 종방향 거리 변화량과 높이 좌표 변화량을 이용해 피치 레이트를 산출하는 예를 나타낸 도면이다.1 is a block diagram schematically illustrating the configuration of a pitch rate calculation system using radar distance information according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a method of calculating a pitch rate using radar distance information according to an embodiment of the present invention. Referring to FIG.
3 is a diagram illustrating an example of calculating a forward vehicle and a center point in a forward image acquired through a forward camera according to an exemplary embodiment of the present invention.
4 is a diagram illustrating an example of calculating vertical distance information using a radar signal according to an embodiment of the present invention.
5 is a diagram illustrating an example of calculating the pitch rate using the vertical distance variation and the height variation according to the embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.If any part is referred to as being "on" another part, it may be directly on the other part or may be accompanied by another part therebetween. In contrast, when a section is referred to as being "directly above" another section, no other section is involved.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.The terms first, second and third, etc. are used to describe various portions, components, regions, layers and / or sections, but are not limited thereto. These terms are only used to distinguish any moiety, element, region, layer or section from another moiety, moiety, region, layer or section. Thus, a first portion, component, region, layer or section described below may be referred to as a second portion, component, region, layer or section without departing from the scope of the present invention.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to limit the invention. The singular forms as used herein include plural forms as long as the phrases do not expressly express the opposite meaning thereto. Means that a particular feature, region, integer, step, operation, element and / or component is specified and that the presence or absence of other features, regions, integers, steps, operations, elements, and / It does not exclude addition.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.Terms indicating relative space such as "below "," above ", and the like may be used to more easily describe the relationship to other portions of a portion shown in the figures. These terms are intended to include other meanings or acts of the apparatus in use, as well as intended meanings in the drawings. For example, when inverting a device in the figures, certain portions that are described as being "below" other portions are described as being "above " other portions. Thus, an exemplary term "below" includes both up and down directions. The device can be rotated by 90 degrees or rotated at different angles, and terms indicating relative space are interpreted accordingly.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms including technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Commonly used predefined terms are further interpreted as having a meaning consistent with the relevant technical literature and the present disclosure, and are not to be construed as ideal or very formal meanings unless defined otherwise.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

도 1은 본 발명의 실시예에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 시스템의 구성을 개략적으로 나타낸 구성도이다.1 is a block diagram schematically illustrating the configuration of a pitch rate calculation system using radar distance information according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 피치 레이트 산출 시스템(100)은, 레이다부(110), 영상 획득부(120), 영상 처리부(130), 저장부(140) 및 제어부(150)를 포함한다.1, the pitch rate calculation system 100 according to the present invention includes a radar 110, an image acquisition unit 120, an image processing unit 130, a storage unit 140, and a control unit 150 do.

레이다부(110)는 전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 이용하여 전방 차량과 자차 간의 종방향 거리를 획득한다. 이를 위해, 레이다부(110)는 레이다 신호를 송출하는 레이다 송신부와, 반사 레이다 신호를 수신하는 레이다 수신부를 포함할 수 있다.The radar unit 110 obtains the longitudinal distance between the preceding vehicle and the preceding vehicle by using the reflected radar signal reflected by the radar signal transmitted to the preceding vehicle. To this end, the radar 110 may include a radar transmitter for transmitting a radar signal and a radar receiver for receiving a reflected radar signal.

영상 획득부(120)는 자차의 전방을 카메라로 촬영하여 전방 영상을 획득한다. 이때, 전방 영상은 전방 차량을 비롯한 차선, 도로 위 표시 및 도로 주변 시설물 등을 포함한다.The image acquiring unit 120 acquires a forward image by photographing the front of the vehicle with a camera. At this time, the forward image includes a front vehicle, a lane, a road mark, and facilities around the road.

영상 처리부(130)는 획득된 전방 영상을 처리하여 전방 차량을 인식하고, 인식된 전방 차량 영상을 프레임 단위로 저장부(140)에 저장한다.The image processing unit 130 processes the acquired forward image to recognize the forward vehicle and stores the recognized forward vehicle image in the storage unit 140 on a frame-by-frame basis.

저장부(140)는 영상 획득부(120)에서 획득된 전방 차량 영상을 프레임 단위로 저장하고 있다.The storage unit 140 stores the forward vehicle image acquired by the image acquisition unit 120 in units of frames.

제어부(150)는 레이다부(110)에서 획득된 종방향 거리 정보와, 영상 처리부(130)를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트를 산출한다.The control unit 150 calculates the pitch rate of the vehicle using the longitudinal distance information obtained from the radar unit 110 and the forward vehicle image information recognized through the image processing unit 130. [

즉, 제어부(130)는, 인식된 전방 차량의 중심점을 산출하며, 레이다부(110)에서 획득된 종방향 거리 정보와 전방 차량의 중심점에 근거해 전방 차량의 높이 좌표를 산출하며, 전방차량 영상정보에서 이전 프레임과 현재 프레임 간의 높이 좌표 변화량(ΔY)을 산출하게 된다.That is, the control unit 130 calculates the center point of the recognized front vehicle, calculates the height coordinates of the front vehicle based on the vertical distance information obtained by the radar unit 110 and the center point of the front vehicle, The height coordinate change amount? Y between the previous frame and the current frame is calculated from the information.

그리고, 제어부(130)는, 종방향 거리의 변화량(Zt)을 산출하고, 산출된 높이 좌표 변화량(ΔY)을 산출된 종방향 거리의 변화량(Zt)으로 나누어 프레임 간 자차의 피치 레이트(Δθ)를 산출하게 된다.The control unit 130 is a pitch rate of the deviation between, divided by the amount of change (Z t) of the longitudinal distance calculating a change amount (Z t) calculated, and the calculated height coordinate change amount of (ΔY) of the longitudinal distance frame ( DELTA &thetas;).

도 2는 본 발명의 실시예에 따른 레이다 거리 정보를 이용한 피치 레이트 산출 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.FIG. 2 is a flowchart illustrating a method of calculating a pitch rate using radar distance information according to an embodiment of the present invention. Referring to FIG.

도 2를 참조하면, 본 발명에 따른 피치 레이트 산출 시스템(100)은, 레이다부(110)가 전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 수신한다(S210).Referring to FIG. 2, the pitch rate calculation system 100 according to the present invention receives a reflected radar signal that the radar unit 110 sends a radar signal to a preceding vehicle, reflects back, and then returns (S210).

이어, 제어부(150)가 수신된 반사 레이다 신호에 근거해 전방 차량과 자차 간의 종방향 거리를 산출한다(S220).Next, the control unit 150 calculates a longitudinal distance between the preceding vehicle and the own vehicle based on the received reflected radar signal (S220).

즉, 제어부(150)는 반사 레이다 신호에 근거해 도 4에 도시된 바와 같은 종방향 거리(Z)를 산출한다. 도 4는 본 발명의 실시예에 따른 레이다 신호를 이용하여 종방향 거리 정보를 산출하는 예를 나타낸 도면이다. 도 4에서, 종방향 거리 정보는 world coordinate (X,Y,Z)에서 Z 좌표에 해당한다. That is, the control unit 150 calculates the longitudinal distance Z as shown in FIG. 4 based on the reflected radar signal. 4 is a diagram illustrating an example of calculating vertical distance information using a radar signal according to an embodiment of the present invention. In Fig. 4, the longitudinal distance information corresponds to the Z coordinate in the world coordinate (X, Y, Z).

이어, 영상 획득부(120)에서 자차의 전방을 카메라로 촬영하여 전방 영상을 획득한다(S230).Then, the image acquiring unit 120 acquires the forward image by photographing the front of the vehicle with the camera (S230).

이때, 카메라를 통해 획득한 전방 영상은 전방 차량을 비롯해 후방 차량, 차선, 도로 위 표시, 주변 시설물 등을 포함할 수 있다.At this time, the forward image acquired through the camera may include a forward vehicle, a rearward vehicle, a lane, a road mark, and peripheral facilities.

이어, 영상 처리부(130)는 영상 획득부(120)를 통해 획득된 전방 영상을 처리하여 도 3에 도시된 바와 같이 전방 차량(310)을 인식한다(S240).Next, the image processing unit 130 processes the forward image obtained through the image obtaining unit 120 to recognize the forward vehicle 310 as shown in FIG. 3 (S240).

또한, 영상 처리부(130)는, 인식된 전방 차량 영상을 이전 프레임, 현재 프레임 등 프레임 단위로 저장부(140)에 저장한다.Also, the image processing unit 130 stores the recognized forward vehicle image in the storage unit 140 in units of frames such as a previous frame and a current frame.

이어, 제어부(150)가 레이다부(110)에서 획득된 종방향 거리 정보와, 영상 처리부(130)를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트를 산출한다(S250).Next, the control unit 150 calculates the pitch rate of the vehicle using the longitudinal distance information obtained from the radar unit 110 and the forward vehicle image information recognized through the image processing unit 130 (S250).

즉, 제어부(150)는, 영상 처리부(130)를 통해 인식된 전방 차량(310)에서 도 3에 도시된 바와 같이 중심점(320)을 산출한다. 도 3은 본 발명의 실시예에 따른 전방 카메라를 통해 획득한 전방 영상에서 전방 차량 및 중심점을 산출하는 예를 나타낸 도면이다. 여기서, 중심점(320)은 도 4에 도시된 image coordinate(x, y)에서 x, y 좌표에 해당한다. That is, the control unit 150 calculates the center point 320 as shown in FIG. 3 in the front vehicle 310 recognized through the image processing unit 130. 3 is a diagram illustrating an example of calculating a forward vehicle and a center point in a forward image acquired through a forward camera according to an exemplary embodiment of the present invention. Here, the center point 320 corresponds to the x, y coordinates in the image coordinate (x, y) shown in FIG.

도 4에서, image coordinate와 world coordinate는 카메라의 Projection Matrix(P)를 이용하여 아래 수학식 1과 같이 나타낼 수 있다.In FIG. 4, the image coordinate and the world coordinate can be expressed by the following equation (1) using the projection matrix (P) of the camera.

Figure pat00001
Figure pat00001

이어, 제어부(150)는 레이다부에서 획득된 종방향 거리(Z) 정보와, 전방 카메라를 통해 획득한 전방 차량의 중심점(320)에 근거해 다음 수학식 2에 따라 전방 차량의 높이 좌표(Y)를 산출한다.Then, the control unit 150 calculates the height coordinate Y of the front vehicle based on the vertical distance Z obtained in the radar unit and the center point 320 of the front vehicle obtained through the front camera according to the following equation (2) ).

Figure pat00002
Figure pat00002

이어, 제어부(150)는 전방차량 영상 정보에 근거해 이전 프레임(t-1)과 현재 프레임(t)에서의 높이 좌표 Yt-1, Yt를 산출하고, 프레임 간의 높이 좌표 변화량(ΔY)을 다음 수학식 3에 따라 산출하게 된다.Next, the controller 150 calculates the height coordinates Y t-1 , Y t in the previous frame t-1 and the current frame t based on the forward vehicle image information, Is calculated according to the following equation (3).

Figure pat00003
Figure pat00003

즉, 제어부(150)는 수학식 3에 따라 이전 프레임(t-1)의 높이 좌표(Yt-1)에서 현재 프레임(t)의 높이 좌표 (Yt)를 감산하여 프레임 간의 높이 좌표 변화량(ΔY)을 산출하는 것이다.That is, the controller 150 subtracts the height coordinate Y t of the current frame t from the height coordinate Y t-1 of the previous frame t-1 according to Equation (3) DELTA Y).

그리고, 제어부(150)는, 피치(Pitch) 변화량(Δθ)에 대해, 도 5에 도시된 바와 같이 현재의 종방향 거리 변화량(Zt-1 - Zt)과 높이 좌표의 변화량(ΔY)을 이용해 다음 수학식 4에 따라 산출한다. 도 5는 본 발명의 실시예에 따라 종방향 거리 변화량과 높이 좌표 변화량을 이용해 피치 레이트를 산출하는 예를 나타낸 도면이다.5, the control unit 150 sets the current longitudinal distance variation Z t-1 -Z t and the height coordinate variation Y to the pitch variation? And is calculated according to the following equation (4). 5 is a diagram illustrating an example of calculating the pitch rate using the vertical distance variation and the height variation according to the embodiment of the present invention.

Figure pat00004
Figure pat00004

즉, 제어부(150)는 수학식 4에서 small angle approximation에 의해서 tan(Δθ)를 Δθ로 근사화 할 수 있으므로, 프레임 간 자차의 피치 레이트(Δθ)에 대해, 높이 좌표 변화량(ΔY)을 종방향 거리의 변화량(Zt)으로 나누어 산출하는 것이다.That is, the controller 150 can approximate tan (??) to ?? by the small angle approximation in Equation (4), and therefore, the controller 150 calculates the height coordinate change amount? Y with respect to the pitch rate ?? By the amount of change (Z t ).

따라서, 본 발명의 실시예에 따르면, 레이다를 통한 종방향 거리 정보와, 전방 카메라의 차량 인식 결과를 이용하여 실세계 좌표에서 전방 차량의 높이 좌표를 산출하고, 레이다를 통해 산출된 종방향 거리의 변화량과 전방 카메라를 통해 산출한 높이 좌표의 변화량을 이용해 자차의 피치 레이트를 획득할 수 있다.Therefore, according to the embodiment of the present invention, the height coordinate of the front vehicle in the real world coordinates is calculated using the longitudinal distance information through the radar and the vehicle recognition result of the front camera, and the variation of the longitudinal distance calculated through the radar And the pitch rate of the vehicle can be obtained by using the amount of change in the height coordinate calculated through the front camera.

전술한 바와 같이 본 발명에 의하면, 차량 레이다에서 제공하는 종방향 거리 정보와 전방 카메라의 차량 인식 결과를 이용하여 전방 차량의 높이 좌표를 계산하고, 이전 프레임과 현재 프레임에 대한 프레임 간 전방 차량의 높이 좌표 변화량을 이용하여 프레임 간에 발생한 자차의 피치 레이트(Pitch rate)를 산출할 수 있도록 하는, 레이다 거리 정보를 이용한 피치 레이트 산출 시스템 및 방법을 실현할 수 있다.As described above, according to the present invention, the height coordinate of the front vehicle is calculated using the longitudinal distance information provided by the vehicle radar and the vehicle recognition result of the front camera, and the height of the front vehicle between the previous frame and the current frame It is possible to realize a pitch rate calculation system and method using the radar distance information so as to calculate the pitch rate of a car generated between frames by using the coordinate change amount.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims and their equivalents. Only. It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .

100 : 피치 레이트 산출 시스템 110 : 레이다부
120 : 영상 획득부 130 : 영상 처리부
140 : 저장부 150 : 제어부100: pitch rate calculation system 110:
120: image acquisition unit 130: image processing unit
140: storage unit 150: control unit

Claims (7)

전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 이용하여 전방 차량과 자차 간의 종방향 거리를 획득하는 레이다부;
상기 자차의 전방을 카메라로 촬영하여 전방 영상을 획득하는 영상 획득부;
상기 획득된 전방 영상을 처리하여 전방 차량을 인식하고, 인식된 전방 차량 영상을 프레임 단위로 저장하는 영상 처리부;
상기 레이다부에서 획득된 종방향 거리 정보와, 상기 영상 처리부를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트를 산출하는 제어부;
를 포함하는 레이다 거리 정보를 이용한 피치 레이트 산출 시스템.
A radar unit for transmitting a radar signal to the front vehicle and obtaining a longitudinal distance between the front vehicle and the vehicle using a reflected radar signal reflected and reflected;
An image acquiring unit for acquiring a forward image by photographing a front side of the vehicle with a camera;
An image processing unit for processing the obtained forward image to recognize the forward vehicle and storing the recognized forward vehicle image in units of frames;
A control unit for calculating a pitch rate of the vehicle using the longitudinal distance information obtained from the radar unit and the forward vehicle image information recognized through the image processing unit;
And a pitch rate calculation unit for calculating a pitch rate based on the radar distance information.
제 1 항에 있어서,
상기 제어부는, 상기 인식된 전방 차량의 중심점을 산출하며, 상기 레이다부에서 획득된 종방향 거리 정보와 상기 전방 차량의 중심점에 근거해 전방 차량의 높이 좌표를 산출하며, 상기 전방차량 영상정보에서 이전 프레임과 현재 프레임 간의 높이 좌표 변화량(ΔY)을 산출하는, 레이다 거리 정보를 이용한 피치 레이트 산출 시스템.
The method according to claim 1,
The control unit calculates a center point of the recognized front vehicle, calculates height coordinates of the front vehicle based on the vertical distance information obtained from the radar unit and the center point of the front vehicle, And calculates a height coordinate change amount (DELTA Y) between the frame and the current frame.
제 2 항에 있어서,
상기 제어부는, 상기 종방향 거리의 변화량(Zt)을 산출하고, 상기 산출된 높이 좌표 변화량(ΔY)을 상기 산출된 종방향 거리의 변화량(Zt)으로 나누어 프레임 간 자차의 피치 레이트(Δθ)를 산출하는, 레이다 거리 정보를 이용한 피치 레이트 산출 시스템.
3. The method of claim 2,
The control unit calculates the variation amount (Z t ) of the longitudinal distance and divides the calculated height coordinate variation (? Y) by the calculated variation amount (Z t ) of the longitudinal distance to calculate a pitch rate ) Of the pitch rate calculated by the pitch distance calculating means.
(a) 레이다부가 전방 차량에 레이다 신호를 송출해 반사되어 되돌아 오는 반사 레이다 신호를 수신하는 단계;
(b) 제어부가 상기 수신된 반사 레이다 신호에 근거해 전방 차량과 자차 간의 종방향 거리를 산출하는 단계;
(c) 영상 획득부에서 상기 자차의 전방을 카메라로 촬영하여 전방 영상을 획득하는 단계;
(d) 영상 처리부에서 상기 획득된 전방 영상을 처리하여 전방 차량을 인식하는 단계; 및
(e) 제어부가 상기 레이다부에서 획득된 종방향 거리 정보와, 상기 영상 처리부를 통해 인식된 전방차량 영상 정보를 이용하여 자차의 피치 레이트(Δθ)를 산출하는 단계;
를 포함하는, 레이다 거리 정보를 이용한 피치 레이트 산출 방법.
(a) receiving a reflected radar signal reflected from a radar unit by transmitting a radar signal to a preceding vehicle;
(b) calculating a longitudinal distance between the vehicle and the preceding vehicle based on the received reflected radar signal;
(c) acquiring a forward image by capturing an image of a forward part of the vehicle in the image acquiring unit with a camera;
(d) recognizing a forward vehicle by processing the obtained forward image in an image processing unit; And
(e) calculating a pitch rate ?? of the vehicle using the longitudinal distance information obtained from the radar unit and the forward vehicle image information recognized through the image processing unit;
And calculating the pitch rate using the radar distance information.
제 4 항에 있어서,
상기 (d) 단계에서 상기 영상 처리부는, 상기 인식된 전방 차량 영상을 프레임 단위로 저장부에 저장하는, 레이다 거리 정보를 이용한 피치 레이트 산출 방법.
5. The method of claim 4,
Wherein the image processing unit stores the recognized forward vehicle image in a storage unit on a frame-by-frame basis in the step (d).
제 4 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 인식된 전방 차량의 중심점을 산출하며, 상기 레이다부에서 획득된 종방향 거리 정보와 상기 전방 차량의 중심점에 근거해 전방 차량의 높이 좌표를 산출하며, 상기 전방차량 영상정보에서 이전 프레임과 현재 프레임 간의 높이 좌표 변화량(ΔY)을 산출하는, 레이다 거리 정보를 이용한 피치 레이트 산출 방법.
5. The method of claim 4,
Wherein the control unit calculates the center point of the recognized front vehicle and calculates a height coordinate of the front vehicle based on the vertical distance information obtained from the radar unit and the center point of the front vehicle, And calculating a height coordinate change amount (DELTA Y) between the previous frame and the current frame in the forward vehicle image information using the radar distance information.
제 6 항에 있어서,
상기 (e) 단계에서 상기 제어부는, 상기 종방향 거리의 변화량(Zt)을 산출하고, 상기 산출된 높이 좌표 변화량(ΔY)을 상기 산출된 종방향 거리의 변화량(Zt)으로 나누어 프레임 간 자차의 피치 레이트(Δθ)를 산출하는, 레이다 거리 정보를 이용한 피치 레이트 산출 방법.
The method according to claim 6,
The control in step (e), between dividing the amount of change (Z t), the calculated height coordinate variation (ΔY) to calculate the of the longitudinal distance to the amount of change (Z t) of the calculated longitudinal distance frame A pitch rate calculation method for calculating pitch rate (??) of a vehicle using radar distance information.
KR1020170003002A 2017-01-09 2017-01-09 Pitch rate calculating method and system using a distance information of RADAR KR20180081997A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170003002A KR20180081997A (en) 2017-01-09 2017-01-09 Pitch rate calculating method and system using a distance information of RADAR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170003002A KR20180081997A (en) 2017-01-09 2017-01-09 Pitch rate calculating method and system using a distance information of RADAR

Publications (1)

Publication Number Publication Date
KR20180081997A true KR20180081997A (en) 2018-07-18

Family

ID=63049269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170003002A KR20180081997A (en) 2017-01-09 2017-01-09 Pitch rate calculating method and system using a distance information of RADAR

Country Status (1)

Country Link
KR (1) KR20180081997A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter

Similar Documents

Publication Publication Date Title
CN108447302B (en) Information processing apparatus and recording medium
US9809223B2 (en) Driving assistant for vehicles
CN108227703B (en) Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon
US9623869B2 (en) Vehicle driving support control apparatus
US20170297488A1 (en) Surround view camera system for object detection and tracking
CN109891262B (en) Object detecting device
JP4615038B2 (en) Image processing device
US10836388B2 (en) Vehicle control method and apparatus
CN109219546B (en) Parking assistance device and parking assistance method
US8175797B2 (en) Vehicle drive assist system
US10384658B2 (en) Estimated time-to-collision (TTC) calculation apparatus and estimated TTC calculation method
CN107004368B (en) Vehicle travel control device and travel control method
US9020747B2 (en) Method for recognizing a turn-off maneuver
US20160107643A1 (en) Object recognition apparatus
WO2016194900A1 (en) Vehicle control device and vehicle control method
JP6166249B2 (en) Transportation support device
US10339393B2 (en) Demarcation line recognition apparatus
US20190073540A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2022068242A (en) Road surface information acquisition method
US20180158336A1 (en) Method and device for operating a vehicle
KR20180081997A (en) Pitch rate calculating method and system using a distance information of RADAR
US10974719B2 (en) Mobile object control system, mobile object control method, and program
EP3217357B1 (en) Estimation of movement of a target object
KR20200082457A (en) Method and apparatus for controlling an alarm output of ADAS
KR102488922B1 (en) Apparatus and Method for Measuring Lateral Distance using Sensor Fusion

Legal Events

Date Code Title Description
N231 Notification of change of applicant